JP2009267648A - Video transmission measuring system, measurement signal generator, measuring apparatus, and video transmission measuring method - Google Patents

Video transmission measuring system, measurement signal generator, measuring apparatus, and video transmission measuring method Download PDF

Info

Publication number
JP2009267648A
JP2009267648A JP2008113117A JP2008113117A JP2009267648A JP 2009267648 A JP2009267648 A JP 2009267648A JP 2008113117 A JP2008113117 A JP 2008113117A JP 2008113117 A JP2008113117 A JP 2008113117A JP 2009267648 A JP2009267648 A JP 2009267648A
Authority
JP
Japan
Prior art keywords
measurement
time
video
transmission
video signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008113117A
Other languages
Japanese (ja)
Other versions
JP4776655B2 (en
Inventor
Akio Matsui
亨生 松井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Communications Corp
Original Assignee
NTT Communications Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Communications Corp filed Critical NTT Communications Corp
Priority to JP2008113117A priority Critical patent/JP4776655B2/en
Publication of JP2009267648A publication Critical patent/JP2009267648A/en
Application granted granted Critical
Publication of JP4776655B2 publication Critical patent/JP4776655B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Monitoring And Testing Of Transmission In General (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To measure transmission time of video images in high accuracy by using only video signals without increasing transmission information quantity. <P>SOLUTION: A measuring signal generator 1 is provided with a control means to control the generation of measuring video signals at a predetermined timing on the basis of reference time acquired from a reference time source, and a brightness modulation means which changes brightness based on the control of the control means to generate measuring video signals. The control means sets an instrumentation time point indicating transmission-side time in a measuring video signal by changing brightness of each pixel in the measuring video signal. The measuring apparatus 2 includes a brightness detection means to detect brightness of measuring video signals transmitted via a predetermined communication apparatus, and a video transmission time computation means which detects the instrumentation time point set in the measuring video signal on the basis of a change of the detected brightness, acquires a receiving-side time including the detected instrumentation time point from the reference time source and subtracts the transmission-side time from the receiving-side time so as to compute the transmission time of the measuring video signal. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、データの伝送時間を測定するシステムおよび方法に関する。   The present invention relates to a system and method for measuring the transmission time of data.

映像の伝送時間に関して、特許文献1には、送信側で現在時刻のタイムコードをデータストリームに付加して送信し、受信側では受信したデータストリームのタイムコードと受信時刻との差から伝送時間を測定することが記載されている。   Regarding the video transmission time, Patent Document 1 discloses that the transmission side adds a time code of the current time to the data stream and transmits the data stream, and the reception side determines the transmission time from the difference between the received time code of the data stream and the reception time. It is described to measure.

また、特許文献2には、出力映像信号と出力音声信号とを生成して画像伝送機器に通した後、出力音声信号に対する出力映像信号の遅延時間を測定する方法が記載されている。
特開2004−254149 特開平8−18930
Japanese Patent Application Laid-Open No. 2004-228561 describes a method of measuring a delay time of an output video signal with respect to an output audio signal after generating an output video signal and an output audio signal and passing them through an image transmission device.
JP 2004-254149 A JP-A-8-18930

特許文献1に記載された現在時刻のタイムコードをデータストリームに付加して送信する場合、伝送時間の測定精度は映像タイムコードの粒度に依存するため、テレビジョン方式のデータストリームの場合、数10ミリ秒単位での誤差が発生する場合がある。   When the time code of the current time described in Patent Document 1 is added to the data stream and transmitted, the measurement accuracy of the transmission time depends on the granularity of the video time code. An error in milliseconds may occur.

また、測定精度を向上させるために、細かい粒度の高精度なタイムコードを、データストリームに重畳させることも考えられる。しかしながら、伝送情報量を少なくするために、重畳された情報が伝送装置内で削除または加工されてしまう場合や、映像圧縮方法によっては重畳された情報が失われてしまう場合がある。   In order to improve the measurement accuracy, it is also conceivable to superimpose a highly accurate time code with a fine granularity on the data stream. However, in order to reduce the amount of transmission information, the superimposed information may be deleted or processed in the transmission apparatus, or the superimposed information may be lost depending on the video compression method.

本発明は上記事情に鑑みてなされたものであり、本発明の目的は、伝送情報量を増加させることなく、映像信号のみを用いて映像の伝送時間をより高精度に測定することにある。   The present invention has been made in view of the above circumstances, and an object of the present invention is to measure a video transmission time with higher accuracy using only a video signal without increasing the amount of transmission information.

上記課題を解決するために、本発明は、測定用の測定映像信号を発生する測定信号発生装置と、前記測定映像信号の伝送時間を測定する測定装置と、を有する映像伝送測定システムであって、前記測定信号発生装置は、基準時刻源から取得した基準時刻に基づいて、所定のタイミングで測定映像信号の発生を制御する制御手段と、前記制御手段の制御に基づいて輝度を変化させて、測定映像信号を発生させる輝度変調手段と、を有し、前記制御手段は、前記測定映像信号の各画素の輝度を変化させることにより、当該測定映像信号の中に送信側時刻を示す計測時刻点を設定し、前記測定装置は、所定の通信機器を介して伝送された前記測定映像信号の輝度を検出する輝度検出手段と、検出した輝度の変化に基づいて前記測定映像信号の中に設定された計測時刻点を検出するとともに、当該計測時刻点を検出した受信側時刻を前記基準時刻源から取得し、前記受信側時刻から前記送信側時刻を減算することにより、前記測定映像信号の伝送時間を演算する映像伝送時間演算手段と、を有する。   In order to solve the above problems, the present invention is a video transmission measurement system comprising a measurement signal generator for generating a measurement video signal for measurement and a measurement device for measuring a transmission time of the measurement video signal. The measurement signal generator is configured to control the generation of the measurement video signal at a predetermined timing based on the reference time acquired from the reference time source, and to change the luminance based on the control of the control unit. Luminance modulation means for generating a measurement video signal, and the control means changes a luminance of each pixel of the measurement video signal to thereby indicate a measurement time point indicating a transmission side time in the measurement video signal. And the measurement apparatus is provided in the measurement video signal based on the detected luminance change and luminance detection means for detecting the luminance of the measurement video signal transmitted via a predetermined communication device. Transmitting the measurement video signal by detecting the measured measurement time point, obtaining the reception time at which the measurement time point was detected from the reference time source, and subtracting the transmission time from the reception time. Video transmission time calculating means for calculating time.

また、本発明は、映像伝送測定システムにおける測定用の測定映像信号を発生する測定信号発生装置であって、基準時刻源から取得した基準時刻に基づいて、所定のタイミングで測定映像信号の発生を制御する制御手段と、前記制御手段の制御に基づいて輝度を変化させて、測定映像信号を発生させる輝度変調手段と、を有し、前記制御手段は、前記測定映像信号の各画素の輝度を変化させることにより、当該測定映像信号の中に送信側時刻を示す計測時刻点を設定する。   The present invention also provides a measurement signal generator for generating a measurement video signal for measurement in a video transmission measurement system, wherein the measurement video signal is generated at a predetermined timing based on a reference time acquired from a reference time source. Control means for controlling, and brightness modulation means for changing the brightness based on the control of the control means to generate a measurement video signal, wherein the control means controls the brightness of each pixel of the measurement video signal. By changing, a measurement time point indicating the transmission side time is set in the measurement video signal.

また、本発明は、映像伝送測定システムにおける測定用の測定映像信号の伝送時間を測定する測定装置であって、所定の通信機器を介して伝送された前記測定映像信号の輝度を検出する輝度検出手段と、検出した輝度の変化に基づいて前記測定映像信号の中に設定された送信側時刻を示す計測時刻点を検出するとともに、当該計測時刻点を検出した受信側時刻を前記基準時刻源から取得し、前記受信側時刻から前記送信側時刻を減算することにより、前記測定映像信号の伝送時間を演算する映像伝送時間演算手段と、を有する。   The present invention is also a measuring apparatus for measuring a transmission time of a measurement video signal for measurement in a video transmission measurement system, and detecting luminance of the measurement video signal transmitted via a predetermined communication device. And a measurement time point indicating a transmission side time set in the measurement video signal based on the detected luminance change, and a reception side time at which the measurement time point is detected is detected from the reference time source. Video transmission time calculating means for calculating the transmission time of the measurement video signal by acquiring and subtracting the transmission side time from the reception side time.

また、本発明は、映像伝送測定システムが行う映像伝送時間の測定方法であって、基準時刻源から取得した基準時刻に基づいて、映像信号の各画素の輝度を変化させて、送信側時刻を示す計測時刻点を設定した測定映像信号を発生させる発生ステップと、所定の通信機器を介して伝送された前記測定映像信号の輝度を検出する輝度検出ステップと、検出した輝度の変化に基づいて前記測定映像信号の中に設定された計測時刻点を検出するとともに、当該計測時刻点を検出した受信側時刻を前記基準時刻源から取得する取得ステップと、前記受信側時刻から前記送信側時刻を減算することにより、前記測定映像信号の伝送時間を演算する映像伝送時間演算ステップと、を有する。   The present invention is also a video transmission time measurement method performed by the video transmission measurement system, wherein the luminance of each pixel of the video signal is changed based on the reference time acquired from the reference time source, and the transmission side time is set. A generation step of generating a measurement video signal in which a measurement time point is indicated, a luminance detection step of detecting the luminance of the measurement video signal transmitted via a predetermined communication device, and the change based on the detected luminance change Detecting a measurement time point set in the measurement video signal, obtaining a reception side time at which the measurement time point is detected from the reference time source, and subtracting the transmission side time from the reception side time And a video transmission time calculating step for calculating the transmission time of the measurement video signal.

本発明により、伝送情報量を増加させることなく、映像信号のみを用いて、映像の伝送時間をより高精度に測定することができる。   According to the present invention, it is possible to measure a video transmission time with higher accuracy using only a video signal without increasing the amount of transmission information.

以下、本発明の実施の形態について説明する。   Hereinafter, embodiments of the present invention will be described.

図1は、本発明の一実施形態が適用された映像伝送測定システムを説明するための全体構成図である。   FIG. 1 is an overall configuration diagram for explaining a video transmission measurement system to which an embodiment of the present invention is applied.

本実施形態の映像伝送測定システムは、測定信号発生装置1と測定装置2とを有する。測定信号発生装置1は、外部信号源91(カメラ、マイク等)に接続され、外部信号源91から外部信号が入力される。測定信号発生装置1は、入力された外部信号に基づいて測定信号(映像信号および音声信号)を発生し、映像音声送信装置92に出力する。映像音声送信装置92は、入力された測定信号をネットワーク93を介して映像音声受信装置94に送信する。   The video transmission measurement system of this embodiment includes a measurement signal generator 1 and a measurement device 2. The measurement signal generator 1 is connected to an external signal source 91 (camera, microphone, etc.), and an external signal is input from the external signal source 91. The measurement signal generator 1 generates a measurement signal (video signal and audio signal) based on the input external signal and outputs it to the video / audio transmitter 92. The video / audio transmission device 92 transmits the input measurement signal to the video / audio reception device 94 via the network 93.

映像音声受信装置94は、受信した測定信号を測定装置2に出力する。測定装置2は、映像信号の伝送時間およびリップシンクを測定する。なお、本明細書におけるリップシンクは、映像信号の伝送時間と音声信号の伝送時間とが異なることにより発生する映像信号の到着時刻と音声信号の到着時刻のずれである。また、測定装置2は、測定信号を映像音声モニタ95に出力する。   The video / audio reception device 94 outputs the received measurement signal to the measurement device 2. The measuring device 2 measures the transmission time and lip sync of the video signal. Note that the lip sync in this specification is a difference between the arrival time of the video signal and the arrival time of the audio signal that occurs when the transmission time of the video signal and the transmission time of the audio signal are different. Further, the measuring device 2 outputs a measurement signal to the video / audio monitor 95.

図示するように、本実施形態の伝送時間は、映像音声送信装置92の処理時間と、ネットワーク93の伝播時間と、映像音声受信装置94の処理時間とを合計した時間である。なお、非測定時においては、測定信号発生装置1は、外部信号源91から入力された映像信号および音声信号を映像音声送信装置92に出力し、測定装置2は、映像音声受信装置94から出力された外部信号源91の映像信号および音声信号を映像音声モニタ95に出力する。   As shown in the figure, the transmission time of the present embodiment is the total time of the processing time of the video / audio transmission device 92, the propagation time of the network 93, and the processing time of the video / audio reception device 94. At the time of non-measurement, the measurement signal generator 1 outputs the video signal and audio signal input from the external signal source 91 to the video / audio transmitter 92, and the measurement device 2 outputs from the video / audio receiver 94. The video signal and audio signal of the external signal source 91 thus output are output to the video / audio monitor 95.

図2は、測定信号発生装置1の構成を示すブロック図である。   FIG. 2 is a block diagram showing the configuration of the measurement signal generator 1.

測定信号発生装置1は、時刻取得部11と、制御部12と、映像フレーム発生部13と、輝度変調部14と、音声信号発生部15と、音声変調部16と、無瞬断切替部17と、内部クロック18とを有する。   The measurement signal generator 1 includes a time acquisition unit 11, a control unit 12, a video frame generation unit 13, a luminance modulation unit 14, an audio signal generation unit 15, an audio modulation unit 16, and an uninterruptible switching unit 17. And an internal clock 18.

時刻取得部11は、基準時刻源96から基準となる共通時刻を取得し、制御部12に出力する。基準時刻源96には、GPS衛星、JJY信号、IPネットワークにおけるNTPプロトコルなどを用いることが考えられ、これらを用いることでより高精度な伝送時間の測定を行うことができる。   The time acquisition unit 11 acquires a reference common time from the reference time source 96 and outputs it to the control unit 12. The reference time source 96 may be a GPS satellite, a JJY signal, an NTP protocol in an IP network, or the like. By using these, it is possible to measure the transmission time with higher accuracy.

映像フレーム発生部13は、外部信号源91から入力される映像信号(映像フレーム)の映像フレーム周波数(タイムベース、フレームレート)を再生成し、外部信号源91の映像信号と同期したフレームパルスを制御部12に出力する。また、映像フレーム発生部13は、外部信号源91から入力される各映像フレームを、輝度変調部14に出力する。   The video frame generator 13 regenerates the video frame frequency (time base, frame rate) of the video signal (video frame) input from the external signal source 91 and generates a frame pulse synchronized with the video signal of the external signal source 91. Output to the control unit 12. The video frame generator 13 outputs each video frame input from the external signal source 91 to the luminance modulator 14.

制御部12は、時刻取得部11から入力される基準時刻と、映像フレーム発生部13から入力されるフレームパルスとに基づいて、測定映像フレームを発生させるタイミングを輝度変調部14に出力する。また制御部12は、測定映像フレームを発生するタイミングと同期して、音声信号を出力するタイミングおよび音声信号の振幅の極性(正極性または負極性)とを音声変調部16に出力する。   The control unit 12 outputs the timing for generating the measurement video frame to the luminance modulation unit 14 based on the reference time input from the time acquisition unit 11 and the frame pulse input from the video frame generation unit 13. The control unit 12 outputs the audio signal output timing and the polarity of the audio signal amplitude (positive or negative polarity) to the audio modulation unit 16 in synchronization with the timing of generating the measurement video frame.

輝度変調部14は、映像フレーム発生部13から入力された各映像フレームを、制御部12の指示に応じて輝度を変化させて測定映像フレームを生成し、生成した測定映像フレームおよびその他の映像フレームを、無瞬断切替部17に出力する。   The luminance modulation unit 14 generates a measurement video frame by changing the luminance of each video frame input from the video frame generation unit 13 in accordance with an instruction from the control unit 12, and generates the generated measurement video frame and other video frames. Is output to the uninterruptible switching unit 17.

音声信号発生部15は、音声信号を発生し、音声変調部16に出力する。音声変調部16は、制御部12からの指示により、測定映像フレームと同期させて測定音声信号を発生させ、さらに当該測定音声信号を指示された極性にして、無瞬断切替部17に出力する。 なお、音声信号発生部15と音声変調部16は、音声発生手段に相当する。   The audio signal generator 15 generates an audio signal and outputs it to the audio modulator 16. In response to an instruction from the control unit 12, the audio modulation unit 16 generates a measurement audio signal in synchronization with the measurement video frame, and further outputs the measurement audio signal to the uninterruptible switching unit 17 with the specified polarity. . The audio signal generation unit 15 and the audio modulation unit 16 correspond to audio generation means.

無瞬断切替部17は、映像用切り替えスイッチ171と、音声用切り替えスイッチ172とを有する。各スイッチ171、172を測定時側に接続されている場合、測定映像信号および測定音声信号が映像音声送信装置92に出力され、測定装置2に伝送される。一方、各スイッチ171、172が非測定時側に接続されている場合、外部信号源91から入力された外部信号(映像信号、音声信号)が、映像音声送信装置92に出力される。   The uninterruptible switching unit 17 includes a video switch 171 and an audio switch 172. When the switches 171 and 172 are connected to the measurement side, the measurement video signal and the measurement audio signal are output to the video / audio transmission device 92 and transmitted to the measurement device 2. On the other hand, when the switches 171 and 172 are connected to the non-measurement time side, external signals (video signals and audio signals) input from the external signal source 91 are output to the video and audio transmission device 92.

本実施形態では、各スイッチ171、172が非測定時側に接続されている非測定時においても、外部信号源91から入力された映像信号は、映像フレーム発生部13および輝度変調部14に入力され、制御部12の指示により測定映像信号を発生させ、音声信号発生部15および音声変調部16は測定音声信号を発生させているものとする。   In the present embodiment, the video signal input from the external signal source 91 is input to the video frame generation unit 13 and the luminance modulation unit 14 even when the switches 171 and 172 are connected to the non-measurement side. Then, it is assumed that the measurement video signal is generated by the instruction of the control unit 12, and the audio signal generation unit 15 and the audio modulation unit 16 generate the measurement audio signal.

これにより、本実施形態では、各スイッチ171、172を測定時側に切替えることで、瞬時に測定状態に移行する。すなわち、映像音声送信装置92には、非測定時の外部信号と測定時の測定信号とが途切れることなく入力される。映像音声送信装置92および映像音声受信装置94は、入力信号が途絶える度に動作状態に変化が生じ、再度安定するまで時間を要する場合があるが、本実施形態では無瞬断で測定が開始されるため、映像音声送信装置92および映像音声受信装置94が安定した動作状態で伝送時間を計測することができる。したがって、より高精度な伝送時間を測定することができる。   Thereby, in this embodiment, it changes to a measurement state instantly by switching each switch 171 and 172 to the measurement time side. That is, the external signal at the time of non-measurement and the measurement signal at the time of measurement are input to the video / audio transmission device 92 without interruption. The video / audio transmission device 92 and the video / audio reception device 94 may change in the operation state every time the input signal is interrupted, and may take time to stabilize again. In this embodiment, measurement is started without interruption. Therefore, the transmission time can be measured in a stable operating state of the video / audio transmission device 92 and the video / audio reception device 94. Therefore, a more accurate transmission time can be measured.

また、前述したように外部信号源91の映像フレーム周波数を用いて測定映像信号を発生させるため、実際に伝送する信号と測定用に発生させた信号の映像フレーム周波数は同じである。これにより、映像フレーム周波数が異なることに起因する動作状態の変化を発生させることなく、映像音声送信装置92および映像音声受信装置94が安定した動作状態で伝送時間を計測することができる。したがって、実際に伝送する映像信号の伝送時間により近い伝送時間を測定することができる。   Further, as described above, since the measurement video signal is generated using the video frame frequency of the external signal source 91, the video frame frequency of the signal actually transmitted and the signal generated for measurement is the same. Thus, the transmission time can be measured in a stable operation state of the video / audio transmission device 92 and the video / audio reception device 94 without causing a change in the operation state due to the difference in the video frame frequency. Therefore, the transmission time closer to the transmission time of the video signal to be actually transmitted can be measured.

なお、測定信号発生装置1は、外部信号源91から映像信号が入力されない場合に、映像フレーム周波数を生成するためのクロック信号を発生し、映像フレーム発生部13に入力する内部クロック18を備えることとしてもよい。また、測定信号発生装置1は、無瞬断切替部17から出力される映像信号と音声信号とを重畳化(多重化)する多重変換部19を備え、映像音声重畳信号を映像音声送信装置92に送信することとしてもよい。   The measurement signal generator 1 includes an internal clock 18 that generates a clock signal for generating a video frame frequency and inputs it to the video frame generator 13 when no video signal is input from the external signal source 91. It is good. In addition, the measurement signal generator 1 includes a multiplex converter 19 that superimposes (multiplexes) the video signal and the audio signal output from the uninterruptible switching unit 17, and the video / audio superimposed signal is transmitted to the video / audio transmitter 92. It is good also as transmitting to.

図3は、測定信号発生装置1が生成する測定信号(測定映像フレーム、測定音声信号)を説明するための説明図である。本実施形態では、あらかじめ想定される伝送時間より長い所定の周期で測定映像フレーム31、32および測定音声信号33、34を発生し、測定する。   FIG. 3 is an explanatory diagram for explaining measurement signals (measurement video frames and measurement audio signals) generated by the measurement signal generator 1. In the present embodiment, the measurement video frames 31 and 32 and the measurement audio signals 33 and 34 are generated and measured at a predetermined period longer than a transmission time assumed in advance.

図3(a)に示す例では、協定世界標準時(UTC)等の基準時刻の端数のない毎正10秒ごとに、測定信号を発生させるものとする。測定映像フレーム31、32は、明輝度(白)および中間輝度(グレー等)で構成された映像フレームである。   In the example shown in FIG. 3A, a measurement signal is generated every 10 seconds without a fraction of a reference time such as Coordinated Universal Standard Time (UTC). The measurement video frames 31 and 32 are video frames composed of bright luminance (white) and intermediate luminance (such as gray).

図3(b)は、図3(a)に示す計測時刻点1の測定映像フレーム31の画面と、その前に表示される測定映像フレーム以外の映像フレーム35の画面とを、模式的に示したものである。本実施形態では、測定映像フレーム以外の映像フレーム35は、暗輝度(黒)の画面となる。測定映像フレーム31は、図3(a)の映像輝度に基づいて、画面の上部から順に、中間輝度領域36、明輝度領域37、中間輝度領域38、明輝度領域39で構成される。   FIG. 3B schematically shows the screen of the measurement video frame 31 at the measurement time point 1 shown in FIG. 3A and the screen of the video frame 35 other than the measurement video frame displayed before that. It is a thing. In the present embodiment, the video frames 35 other than the measurement video frame are dark luminance (black) screens. The measurement video frame 31 includes an intermediate luminance region 36, a bright luminance region 37, an intermediate luminance region 38, and a bright luminance region 39 in order from the top of the screen based on the video luminance of FIG.

図3(c)は、図3(a)に示す計測時刻点2の測定映像フレーム32の画面と、その前に表示される測定映像フレーム以外の映像フレーム35の画面とを、模式的に示したものである。測定映像フレーム以外の映像フレーム35は、図3(b)と同様に、暗輝度(黒)の画面となる。測定映像フレーム32は、図3(a)の映像輝度に基づいて、画面の上部から順に、中間輝度領域、明輝度領域、中間輝度領域、明輝度領域で構成される。また、送信側で計測時刻点2を設定した時刻Tsが[hh:mm:10.0000]で、受信側で計測時刻点2が検出された時刻Trが[hh:mm:11.2340]の場合、伝送時間(Ttr=Ts−Tr)は1.2340秒となる。   FIG. 3C schematically shows the screen of the measurement video frame 32 at the measurement time point 2 shown in FIG. 3A and the screen of the video frame 35 other than the measurement video frame displayed before that. It is a thing. The video frame 35 other than the measurement video frame is a dark luminance (black) screen, as in FIG. The measurement video frame 32 includes an intermediate luminance region, a bright luminance region, an intermediate luminance region, and a bright luminance region in order from the top of the screen based on the video luminance in FIG. Also, when the time Ts at which the measurement time point 2 is set on the transmission side is [hh: mm: 10.0000] and the time Tr at which the measurement time point 2 is detected on the reception side is [hh: mm: 11.2340], the transmission time (Ttr = Ts−Tr) is 1.2340 seconds.

図4は、測定映像フレームを詳細に示した説明図である。図4(a)は、測定映像フレームの有効映像領域に計測時刻点がある場合を示し、図4(b)は、測定映像フレームの不可視領域に計測時刻点がある場合を示したものである。   FIG. 4 is an explanatory diagram showing the measurement video frame in detail. FIG. 4A shows a case where the measurement time point is in the effective video area of the measurement video frame, and FIG. 4B shows a case where the measurement time point is in the invisible area of the measurement video frame. .

図4(a)に示すように、映像フレーム40(映像信号)は、映像が表示される有効映像領域41と、映像が表示されない不可視領域42とを有する。また、計測時刻点の付近の拡大図49で示すように、有効映像領域41内においても、1水平ライン(走査線)毎に、映像が表示されず暗輝度となる不可視部分43と、映像が表示される有効映像領域44とを有する。不可視部分43は、1水平ラインの両端(先頭部分の画素、および最後の部分の画素)に位置する。拡大図49は、ある水平ライン(有効映像領域44)の途中の画素が計測時刻点45となったことを示している。   As shown in FIG. 4A, the video frame 40 (video signal) has an effective video area 41 in which video is displayed and an invisible area 42 in which video is not displayed. Further, as shown in the enlarged view 49 near the measurement time point, even in the effective image area 41, the invisible portion 43 in which the image is not displayed and dark luminance is displayed for each horizontal line (scanning line), and the image is displayed. And an effective video area 44 to be displayed. The invisible part 43 is located at both ends (the first part pixel and the last part pixel) of one horizontal line. The enlarged view 49 shows that a pixel in the middle of a certain horizontal line (effective video area 44) is a measurement time point 45.

本実施形態では、図4(a)に示すように、測定映像フレームの有効映像領域に計測時刻点がある場合、計測時刻点までを中間輝度とし、計測時刻点から無効回避時間Tdの前半の1/2の時間を明輝度とし、後半の1/2の時間を中間輝度とし、無効回避時間Tdの経過後を明輝度とする。   In the present embodiment, as shown in FIG. 4A, when there is a measurement time point in the effective video area of the measurement video frame, the intermediate brightness is set up to the measurement time point, and the first half of the invalidity avoidance time Td from the measurement time point. The half time is defined as bright luminance, the latter half of the time is defined as intermediate luminance, and the luminance after the invalid avoidance time Td has elapsed.

また、図4(b)に示すように、測定映像フレームの不可視領域42に計測時刻点がある場合、図4(a)のように計測時刻点を契機として中間輝度から明輝度へと輝度を変化させることができない。そのため、計測時刻点から無効回避時間Tdの1/2時間が経過した時刻点を第1の補助計測点とみなす。そして、有効映像領域の先頭から第1の補助計測点までを明輝度とし、第1の補助計測点から無効回避時間Tdの1/2時間が経過した第2の補助計測点までを中間輝度とし、第2の補助計測点である無効回避時間Tdの経過後を明輝度とする。   Further, as shown in FIG. 4B, when there is a measurement time point in the invisible region 42 of the measurement video frame, the luminance is changed from intermediate luminance to bright luminance with the measurement time point as shown in FIG. 4A. It cannot be changed. Therefore, the time point at which 1/2 hour of the invalidity avoidance time Td has elapsed from the measurement time point is regarded as the first auxiliary measurement point. Then, the brightness from the head of the effective video area to the first auxiliary measurement point is set as the bright luminance, and the intermediate luminance is set from the first auxiliary measurement point to the second auxiliary measurement point at which 1/2 of the invalidity avoidance time Td has elapsed. The brightness after the invalid avoidance time Td, which is the second auxiliary measurement point, is defined as bright brightness.

一般的に、映像信号の映像フレーム周波数は、各映像フレームの整数倍が基準時刻の整数秒と一致しない。例えばテレビ放送の方式であるNTSC方式では、1秒間で29.97フレームである。このため、10秒単位の計測時刻点が、図4(b)に示すように不可視領域42にきてしまう場合、計測時刻点のみで輝度を変化させるだけでは、誤差が生じ測定精度が低下してしまう。そこで、本実施形態では、図4に示すように、計測時刻点から所定の無効回避時間内で、明輝度から中間輝度へ、また中間輝度から明輝度へと、繰り返し輝度を変化させて、有効映像領域以外の領域に計測時刻点がきても高精度な伝送時間の測定を行えるようにする。   In general, the video frame frequency of a video signal is such that an integer multiple of each video frame does not match an integer second of a reference time. For example, in the NTSC system, which is a television broadcasting system, the number of frames is 29.97 per second. For this reason, when the measurement time point in units of 10 seconds comes to the invisible region 42 as shown in FIG. 4B, an error occurs and the measurement accuracy is lowered only by changing the luminance only at the measurement time point. End up. Therefore, in the present embodiment, as shown in FIG. 4, within a predetermined invalidity avoidance time from the measurement time point, the luminance is repeatedly changed from the bright luminance to the intermediate luminance and from the intermediate luminance to the bright luminance. Even when the measurement time point is in an area other than the video area, the transmission time can be measured with high accuracy.

図5は、制御部12が、図4に示す測定映像フレームを生成するために輝度変調部14に出力する制御信号のフローチャートである。輝度変調部14は、制御部12からの制御信号に基づいて映像フレームの輝度を変化(変調)し、図4に示すような測定映像フレームを生成する。制御部12は、時刻取得部11から取得する基準時刻と、映像フレーム発生部13から入力されるフレームパルスとに基づいて、映像フレーム各々について図5に示す処理を行う。   FIG. 5 is a flowchart of a control signal output from the control unit 12 to the luminance modulation unit 14 in order to generate the measurement video frame shown in FIG. The luminance modulation unit 14 changes (modulates) the luminance of the video frame based on the control signal from the control unit 12, and generates a measurement video frame as shown in FIG. The control unit 12 performs the process shown in FIG. 5 for each video frame based on the reference time acquired from the time acquisition unit 11 and the frame pulse input from the video frame generation unit 13.

制御部12は、処理対象の映像フレームのフレームパルスのフレーム開始(点)から終了(点)の間に、計測時刻点または補助計測点が存在するか否かを判別する(S11)。   The control unit 12 determines whether there is a measurement time point or an auxiliary measurement point between the frame start (point) and end (point) of the frame pulse of the video frame to be processed (S11).

図12は、計測時刻点および補助計測点と、フレームパルスとの関係を説明する説明図である。制御部12は、時刻取得部11から取得する基準時刻に基づいて、所定の周期で測定トリガ(計測時刻点および補助計測点)を発生させる。本実施形態では、10秒に1回の周期で、基準時刻の端数のない毎正10秒を計測時刻点121とし、計測時刻点121から無効回避時間(Td)の1/2が経過した時刻を第1の補助計測点122とし、計測時刻点121から無効回避時間(Td)が経過した時刻を第2の補助計測点123としている。図示するフレームパルスは、例えば、映像フレームの開始点と終了点と示す波形である。   FIG. 12 is an explanatory diagram for explaining the relationship between the measurement time point, the auxiliary measurement point, and the frame pulse. Based on the reference time acquired from the time acquisition unit 11, the control unit 12 generates measurement triggers (measurement time points and auxiliary measurement points) at a predetermined cycle. In this embodiment, every 10 seconds, every 10 seconds without any fraction of the reference time is set as the measurement time point 121, and the time when ½ of the invalid avoidance time (Td) has elapsed from the measurement time point 121. Is the first auxiliary measurement point 122, and the second auxiliary measurement point 123 is the time when the invalid avoidance time (Td) has elapsed from the measurement time point 121. The illustrated frame pulse is, for example, a waveform indicating the start point and end point of a video frame.

制御部12は、起動トリガの計測時刻点121および補助計測点122、123と、フレームパルスとのAND条件をとることにより、処理対象の映像フレームのフレームパルスのフレーム開始(点)から終了(点)の間に、計測時刻点または補助計測点が存在するか否かを判別する。   The control unit 12 ends from the frame start (point) of the frame pulse of the processing target video frame by taking the AND condition of the measurement time point 121 of the activation trigger and the auxiliary measurement points 122 and 123 and the frame pulse. ) To determine whether there is a measurement time point or an auxiliary measurement point.

計測時刻点および補助計測点が存在しない場合(S11:NO)、制御部12は、当該フレームパルスの映像フレームは測定映像フレームではないとみなし、当該映像フレームの全ての画素を暗輝度にする制御信号を輝度変調部14に出力する(S12)。   When the measurement time point and the auxiliary measurement point do not exist (S11: NO), the control unit 12 considers that the video frame of the frame pulse is not a measurement video frame, and controls all pixels of the video frame to have dark luminance. The signal is output to the luminance modulation unit 14 (S12).

計測時刻点または補助計測点が存在する場合(S11:YES)、制御部12は、当該フレームパルスの映像フレームは測定映像フレームであるとみなし、当該映像フレームの有効映像領域における画素毎に、以下の処理を行う。すなわち、制御部12は、計測時刻点を経過していない画素については(S13:NO)、中間輝度にする制御信号を輝度変調部14に出力する(S14)。計測時刻点を経過した画素については(S13:YES)、制御部12は、無効回避時間を経過している場合(S15:YES)には明輝度にする制御信号を輝度変調部14に出力する(S17)。無効回避時間を経過していない画素については(S15:NO)、制御部12は、無効回避時間の1/2未満の場合(S16:YES)には明輝度にする制御信号を輝度変調部14に出力する(S17)し、無効回避時間の1/2を経過した場合(S16:NO)には中間輝度にする制御信号を輝度変調部14に出力する(S14)。   When a measurement time point or an auxiliary measurement point exists (S11: YES), the control unit 12 regards the video frame of the frame pulse as a measurement video frame, and performs the following for each pixel in the effective video area of the video frame. Perform the process. That is, the control unit 12 outputs a control signal for setting intermediate luminance to the luminance modulation unit 14 (S14) for pixels for which the measurement time point has not elapsed (S13: NO). For pixels for which the measurement time point has elapsed (S13: YES), the control unit 12 outputs a control signal for bright brightness to the luminance modulation unit 14 when the invalidity avoidance time has elapsed (S15: YES). (S17). For pixels for which the invalidity avoidance time has not elapsed (S15: NO), the control unit 12 outputs a control signal for bright brightness when the invalidity avoidance time is less than ½ (S16: YES). When a half of the invalidity avoidance time has elapsed (S16: NO), a control signal for setting intermediate luminance is output to the luminance modulation unit 14 (S14).

次に、測定音声信号の生成処理について説明する。本実施形態では、図3に示すように、測定映像フレームの有効映像領域31、32に同期させて音声信号33、34を出力し、それ以外の期間は無音状態とする。また、測定音声信号(音声振幅)は、正極性の正弦波33と、負極性の正弦波34とを交互に出力する。   Next, the measurement sound signal generation process will be described. In the present embodiment, as shown in FIG. 3, the audio signals 33 and 34 are output in synchronization with the effective video areas 31 and 32 of the measurement video frame, and the silent state is set during the other periods. The measurement audio signal (audio amplitude) alternately outputs a positive sine wave 33 and a negative sine wave 34.

図6は、制御部12が、図3に示す測定音声信号を生成するために音声変調部16に出力する制御信号のフローチャートである。音声変調部16は、制御部12からの制御信号に基づいて、音声信号発生部15から入力される音声振幅(正弦波)を、図3に示すような測定音声信号に変調する。   FIG. 6 is a flowchart of the control signal output from the control unit 12 to the sound modulation unit 16 in order to generate the measurement sound signal shown in FIG. The audio modulation unit 16 modulates the audio amplitude (sine wave) input from the audio signal generation unit 15 into a measurement audio signal as shown in FIG. 3 based on the control signal from the control unit 12.

制御部12は、図5に示す測定映像フレームの輝度制御処理と並行して、映像フレーム各々について図6に示す処理を行う。制御部12は、映像フレームの有効映像領域の先頭が暗輝度(黒)の場合(S21:NO)、測定映像フレーム以外の映像フレームであるため、当該映像フレームに同期する音声信号を無音状態とする制御信号を音声変調部16に出力する(S22)。映像フレームの先頭が中間輝度または明輝度(白)の場合(S21:YES)は測定映像フレームであるため、制御部12は、さらに測定サイクルが偶数か奇数かを判別する(S23)。本実施形態では10秒に1回のタイミングで、測定映像フレームを生成するために、計測時刻(秒の10の位の値)に基づいて偶数か奇数かを判別することとする。   The control unit 12 performs the process shown in FIG. 6 for each video frame in parallel with the brightness control process of the measurement video frame shown in FIG. When the head of the effective video area of the video frame is dark luminance (black) (S21: NO), the control unit 12 is a video frame other than the measurement video frame, so that the audio signal synchronized with the video frame is set to the silent state. The control signal to be output is output to the audio modulation unit 16 (S22). When the top of the video frame is intermediate luminance or bright luminance (white) (S21: YES), since it is a measurement video frame, the control unit 12 further determines whether the measurement cycle is even or odd (S23). In this embodiment, in order to generate a measurement video frame at a timing of once every 10 seconds, it is determined whether it is an even number or an odd number based on the measurement time (the value of the tenth digit of the second).

計測サイクルが奇数の場合(S23:NO)、制御部12は、当該測定映像フレームに同期する音声信号を負極性の正弦波として出力する制御信号を音声変調部16に出力する(S24)。計測サイクルが偶数の場合(S23:YES)、制御部12は、当該測定映像フレームに同期する音声信号を正極性の正弦波として出力する制御信号を音声変調部16に出力する(S25)。   When the measurement cycle is an odd number (S23: NO), the control unit 12 outputs a control signal that outputs an audio signal synchronized with the measurement video frame as a negative sine wave to the audio modulation unit 16 (S24). When the measurement cycle is an even number (S23: YES), the control unit 12 outputs a control signal that outputs an audio signal synchronized with the measurement video frame as a positive sine wave to the audio modulation unit 16 (S25).

以上説明したように、測定信号発生装置1は測定信号(映像信号、測定音声信号)を発生させ、当該測定信号は、映像音声送信装置92、ネットワーク93、映像音声受信装置94を介して、測定装置2に受信される。   As described above, the measurement signal generator 1 generates a measurement signal (video signal, measurement audio signal), and the measurement signal is measured via the video / audio transmission device 92, the network 93, and the video / audio reception device 94. Received by device 2.

図7は、測定装置2の構成を示すブロック図である。   FIG. 7 is a block diagram showing the configuration of the measuring device 2.

測定装置2は、時刻取得部21と、輝度検出部22と、映像伝送時間演算部23と、音声検出部24と、リップシンク演算部25と、映像伝送時間表示部26と、リップシンク表示部27とを有する。また、測定装置2は、多重分離部29を有することとしてもよい。   The measuring device 2 includes a time acquisition unit 21, a luminance detection unit 22, a video transmission time calculation unit 23, an audio detection unit 24, a lip sync calculation unit 25, a video transmission time display unit 26, and a lip sync display unit. 27. Further, the measuring device 2 may include a demultiplexing unit 29.

時刻取得部21は、基準時刻源96から基準となる共通時刻を取得する。輝度検出部22は、映像フレームの輝度を検出する。映像伝送時間演算部23は、測定映像フレームの計測時刻点または補助計測点に基づいて受信時刻を取得し、映像フレームの伝送時間を算出する。音声検出部24は、測定音声信号を検出する。リップシンク演算部25は、映像信号と音声信号の伝送時間差であるリップシンクを算出する。映像伝送時間表示部26およびリップシンク表示部27は、映像伝送時間演算部23およびリップシンク演算部25がそれぞれ算出した時間を表示する。   The time acquisition unit 21 acquires a reference common time from the reference time source 96. The luminance detection unit 22 detects the luminance of the video frame. The video transmission time calculation unit 23 acquires the reception time based on the measurement time point or the auxiliary measurement point of the measurement video frame, and calculates the transmission time of the video frame. The voice detector 24 detects the measurement voice signal. The lip sync calculation unit 25 calculates lip sync, which is a transmission time difference between the video signal and the audio signal. The video transmission time display unit 26 and the lip sync display unit 27 display the times calculated by the video transmission time calculation unit 23 and the lip sync calculation unit 25, respectively.

図8は、映像伝送時間演算部23が、映像音声送信装置92、ネットワーク93、映像音声受信装置94を介して、測定信号発生装置1から送信された測定映像信号(測定映像フレーム)の伝送時間を測定する処理のフローチャートである。映像伝送時間演算部23には、映像フレーム毎に、輝度検出部22が検出した有効映像領域の各画素の輝度が入力される。   FIG. 8 shows the transmission time of the measurement video signal (measurement video frame) transmitted from the measurement signal generator 1 through the video / audio transmission device 92, the network 93, and the video / audio reception device 94. It is a flowchart of the process which measures this. The video transmission time calculation unit 23 receives the luminance of each pixel in the effective video area detected by the luminance detection unit 22 for each video frame.

映像伝送時間演算部23は、入力された映像フレームの各画素の輝度について図8に示す処理を行う。映像伝送時間演算部23は、処理対象の画素の輝度がその前の画素の輝度から変化したか否かを判別し(S31)、輝度が変化していない場合(S31:NO)、S31の処理を繰り返し行う。輝度の変化がないまま、処理対象の画素が映像フレームの最後の画素となった場合(S32:YES)、当該映像フレームは測定映像フレーム以外の映像フレーム(黒画面)であるため、伝送時間を測定することなく処理を終了する。   The video transmission time calculation unit 23 performs the process shown in FIG. 8 on the luminance of each pixel of the input video frame. The video transmission time calculation unit 23 determines whether the luminance of the pixel to be processed has changed from the luminance of the previous pixel (S31). If the luminance has not changed (S31: NO), the processing of S31 is performed. Repeat. When the pixel to be processed is the last pixel of the video frame without changing the luminance (S32: YES), the video frame is a video frame (black screen) other than the measurement video frame. The process ends without measuring.

輝度が変化した場合(S31:YES)、当該映像フレームは測定映像フレームであるため、映像伝送時間演算部23は、時刻取得部21を用いて基準時刻源96から現在時刻を取得する(S33)。輝度の変化が明輝度から中間輝度への変化の場合(S34:YES)、映像伝送時間演算部23は、現在時刻から無効回避時間の1/2を減算した時刻を受信時刻とする(S35)。なお、明輝度から中間輝度へ変化した時点は、図4(b)に示す第1の補助計測点である。   If the luminance has changed (S31: YES), the video frame is a measurement video frame, so the video transmission time calculation unit 23 acquires the current time from the reference time source 96 using the time acquisition unit 21 (S33). . When the luminance change is from bright luminance to intermediate luminance (S34: YES), the video transmission time calculation unit 23 sets the time obtained by subtracting 1/2 of the invalid avoidance time from the current time as the reception time (S35). . In addition, the time of changing from bright luminance to intermediate luminance is the first auxiliary measurement point shown in FIG.

輝度の変化が中間輝度から明輝度への変化の場合(S34:NO)であって、当該測定映像フレームの今まで入力された画素の中に明輝度が存在した場合(S36:YES)、現在時刻から無効回避時間を減算した時刻を受信時刻とする(S37)。この中間輝度から明輝度へ変化した時点は、図4(b)に示す第2の補助計測点である。当該測定映像フレームの今まで入力された画素の中に明輝度が存在しない場合(S36:NO)、現在時刻を受信時刻とする(S38)。この中間輝度から明輝度へ変化した時点は、図4(a)に示す計測時刻点である。   If the luminance change is a change from intermediate luminance to bright luminance (S34: NO), and if there is bright luminance among the pixels input so far in the measurement video frame (S36: YES), the current The time obtained by subtracting the invalid avoidance time from the time is set as the reception time (S37). The point of time when the intermediate luminance changes to the bright luminance is the second auxiliary measurement point shown in FIG. If there is no bright luminance among the pixels input so far in the measurement video frame (S36: NO), the current time is set as the reception time (S38). The time point when the intermediate luminance changes to the bright luminance is a measurement time point shown in FIG.

そして、映像伝送時間演算部23は、S35、S37またはS38で取得した受信時刻から送信時刻を減算し、映像信号の伝送時間を算出する(S39)。なお、本実施形態では、基準時刻の端数のない毎正10秒ごとに測定信号を発生させる。そのため、送信時刻は、図3に示すように、受信時刻の秒数の1の位から下の値が全て0の時刻である。   Then, the video transmission time calculation unit 23 subtracts the transmission time from the reception time acquired in S35, S37, or S38, and calculates the transmission time of the video signal (S39). In the present embodiment, the measurement signal is generated every 10 seconds without a fraction of the reference time. Therefore, as shown in FIG. 3, the transmission time is a time in which all values below the first place of the number of seconds of the reception time are zero.

本実施形態では、送信側の測定信号発生装置1と、受信側の測定装置2とは、共通の基準時刻源96から取得した基準時刻を用いている。これにより、測定信号発生装置1と測定装置2とが遠隔地点間(例えば、国際伝送など)にある場合であっても、容易にかつ高い精度で伝送時間を算出することができる。   In the present embodiment, the transmission-side measurement signal generator 1 and the reception-side measurement device 2 use a reference time acquired from a common reference time source 96. Thereby, even when the measurement signal generator 1 and the measurement device 2 are located between remote points (for example, international transmission), the transmission time can be calculated easily and with high accuracy.

図9は、リップシンク演算部25が、映像信号と音声信号の伝送時間差であるリップシンクを算出する処理のフローチャートである。リップシンク演算部25には、音声検出部24が検出した測定音声信号が入力される。   FIG. 9 is a flowchart of processing in which the lip sync calculation unit 25 calculates lip sync, which is the transmission time difference between the video signal and the audio signal. The measurement audio signal detected by the audio detection unit 24 is input to the lip sync calculation unit 25.

リップシンク演算部25は、音声信号が入力されると(S41:YES)、当該音声信号の極性(正極性、負極性)を取得する(S42)。そして、リップシンク演算部25は、時刻取得部21から現在時刻(音声到着時刻)を取得する(S43)。そして、リップシンク演算部25は、S42で取得した音声信号の極性が、計測サイクルと一致しているか否かを判別する(S44)。   When the audio signal is input (S41: YES), the lip sync calculation unit 25 acquires the polarity (positive polarity, negative polarity) of the audio signal (S42). Then, the lip sync calculation unit 25 acquires the current time (voice arrival time) from the time acquisition unit 21 (S43). Then, the lip sync calculation unit 25 determines whether or not the polarity of the audio signal acquired in S42 matches the measurement cycle (S44).

すなわち、図6で説明したように、本実施形態では10秒ごとに測定音声信号を発生させ、計測時刻の10の位の秒の値が偶数の場合は正極性の音声信号を、奇数の場合は負極性の音声信号を発生し、送信する。リップシンク演算部25は、S43で取得した音声到着時刻から秒数のみ抽出し、1の位の秒の値を切り捨てた値(00秒、10秒、20秒、30秒、40秒または50秒)を取得する。そして、リップシンク演算部は、この値が偶数サイクル(00秒、20秒、40秒)の場合、S42で取得した極性が正極性であるとき、音声極性と計測サイクルとが一致していると判別し(S44:YES)、S42で取得した極性が負極性であるとき、音声極性と計測サイクルとが不一致であると判別する(S44:NO)。   That is, as described with reference to FIG. 6, in this embodiment, a measurement audio signal is generated every 10 seconds, and a positive audio signal is generated when the value of the tenth digit of the measurement time is an even number, and an odd number is used. Generates and transmits a negative audio signal. The lip sync calculation unit 25 extracts only the number of seconds from the voice arrival time acquired in S43, and truncates the second digit (00 seconds, 10 seconds, 20 seconds, 30 seconds, 40 seconds or 50 seconds). ) To get. Then, when this value is an even number cycle (00 seconds, 20 seconds, 40 seconds), and the polarity acquired in S42 is positive, the lip sync operation unit agrees that the voice polarity matches the measurement cycle. When the polarity acquired in S42 is negative, it is determined that the voice polarity and the measurement cycle do not match (S44: NO).

同様に、リップシンク演算部25は、この値が奇数サイクル(10秒、30秒、50秒)の場合、S42で取得した極性が負極性であるとき、音声極性と計測サイクルとが一致していると判別し(S44:YES)、S42で取得した極性が正極性であるとき、音声極性と計測サイクルとが不一致であると判別する(S44:NO)。   Similarly, when this value is an odd cycle (10 seconds, 30 seconds, 50 seconds), the lip sync operation unit 25 matches the voice polarity with the measurement cycle when the polarity acquired in S42 is negative. If the polarity acquired in S42 is positive, it is determined that the voice polarity and the measurement cycle do not match (S44: NO).

音声極性と計測サイクルとが一致している場合(S44:YES)、リップシンク演算部25は、S43で取得した音声到着時刻から、測定映像フレームが到着した映像到着時刻を減算してリップシンクを算出する(S45)。   When the audio polarity matches the measurement cycle (S44: YES), the lip sync calculation unit 25 subtracts the video arrival time at which the measurement video frame arrives from the audio arrival time acquired in S43, and performs lip sync. Calculate (S45).

なお、測定映像フレームの映像到着時刻については、リップシンク演算部25は、図9の処理と並行して測定サイクル毎に、輝度検出部22から入力される映像フレームの有効映像領域の先頭が中間輝度または明輝度の場合(すなわち測定映像フレームの場合)、時刻取得部21から現在時刻(映像到着時刻)を取得する。   Note that, for the video arrival time of the measurement video frame, the lip sync calculation unit 25 has the middle of the effective video area of the video frame input from the luminance detection unit 22 in each measurement cycle in parallel with the processing of FIG. In the case of luminance or bright luminance (that is, in the case of a measurement video frame), the current time (video arrival time) is acquired from the time acquisition unit 21.

図10は、図9で説明したリップシンクを説明するための説明図である。図10(a)は、送信側の測定映像フレームと測定音声信号の振幅とを示している。送信側である測定信号発生装置1においては、測定映像フレームと測定音声信号とが同期している。   FIG. 10 is an explanatory diagram for explaining the lip sync described in FIG. 9. FIG. 10A shows the measurement video frame on the transmission side and the amplitude of the measurement audio signal. In the measurement signal generator 1 on the transmission side, the measurement video frame and the measurement audio signal are synchronized.

図10(b)は、受信側である測定装置2に到着した測定映像フレームと測定音声信号とを示し、映像信号の先頭と音声信号の先頭とがずれることなく同時に到着した場合、音声信号が映像信号より遅れて到着した場合、および、音声信号が映像信号より早く到着した場合を示している。   FIG. 10B shows the measurement video frame and the measurement audio signal that have arrived at the measuring apparatus 2 on the receiving side. When the start of the video signal and the start of the audio signal arrive at the same time, the audio signal is It shows the case where it arrives later than the video signal and the case where the audio signal arrives earlier than the video signal.

なお、図9のS45のリップシンク算出において、算出結果が正符号(+)の場合、音声信号が映像信号より遅く到着し、算出結果が負符号(−)の場合、音声信号が映像信号より早く到着したことを意味する。   In the lip sync calculation of S45 in FIG. 9, when the calculation result is a positive sign (+), the audio signal arrives later than the video signal, and when the calculation result is a negative sign (−), the audio signal is from the video signal. It means that we arrived early.

図11は、測定装置2の表示部26、27に表示される測定結果の画面表示例110を示したものである。映像伝送時間表示部26とリップシンク表示部27には、映像伝送時間演算部23およびリップシンク演算部25が算出した測定結果が表示されている。なお、音声極性と計測サイクルが不一致である場合(図9:S44)、測定結果を表示しない、または、測定結果の更新を行わないこととする。   FIG. 11 shows a screen display example 110 of the measurement result displayed on the display units 26 and 27 of the measuring apparatus 2. The video transmission time display unit 26 and the lip sync display unit 27 display the measurement results calculated by the video transmission time calculation unit 23 and the lip sync calculation unit 25. When the voice polarity and the measurement cycle do not match (FIG. 9: S44), the measurement result is not displayed or the measurement result is not updated.

なお、映像音声モニタ95には、測定装置2から出力される測定映像フレームおよび測定映像フレーム以外の映像フレーム(暗輝度)と、測定音声信号とが出力される。   Note that the video / audio monitor 95 outputs a measurement video frame output from the measurement apparatus 2, a video frame other than the measurement video frame (dark luminance), and a measurement audio signal.

上記説明した測定信号発生装置1および測定装置2は、いずれも、CPUと、メモリと、通信制御装置とを備えた汎用的なコンピュータを用いることができる。このコンピュータおいて、CPUがメモリ上にロードされた所定のプログラムを実行することにより、各装置の各機能が実現される。   As the measurement signal generator 1 and the measurement device 2 described above, a general-purpose computer including a CPU, a memory, and a communication control device can be used. In this computer, each function of each device is realized by the CPU executing a predetermined program loaded on the memory.

以上説明した本実施形態では、映像信号の輝度を明輝度および中間輝度に変化させることにより測定映像信号を発生させ、映像信号の伝送時間を測定する。これにより、伝送情報量を増加させることなく、映像信号のみを用いて映像信号の伝送時間を測定することができる。また、伝送する映像の種類、および映像圧縮方法に関わらず、映像信号の伝送時間を測定することができる。   In the present embodiment described above, the measurement video signal is generated by changing the luminance of the video signal to bright luminance and intermediate luminance, and the transmission time of the video signal is measured. Thereby, it is possible to measure the transmission time of the video signal using only the video signal without increasing the amount of transmission information. Further, the transmission time of the video signal can be measured regardless of the type of video to be transmitted and the video compression method.

また、本実施形態では、送信側の測定信号発生装置1と受信側の測定装置2とは、共通の基準時刻源96から取得した基準時刻を用いている。すなわち、測定信号発生装置1は基準時刻に基づいて計測時刻点を映像信号に設定し、測定装置2は計測時刻点または補助計測点を検出した時刻を基準時刻源96から取得する。これにより、測定信号発生装置1と測定装置2とが遠隔地点間(例えば、国際伝送など)にある場合であっても、容易にかつ高い精度で伝送時間を算出することができる。   In the present embodiment, the measurement signal generator 1 on the transmission side and the measurement device 2 on the reception side use the reference time acquired from the common reference time source 96. That is, the measurement signal generator 1 sets the measurement time point to the video signal based on the reference time, and the measurement device 2 acquires the time when the measurement time point or the auxiliary measurement point is detected from the reference time source 96. Thereby, even when the measurement signal generator 1 and the measurement device 2 are located between remote points (for example, international transmission), the transmission time can be calculated easily and with high accuracy.

また、本実施形態では、計測時刻点から所定の無効回避時間内で、明輝度から中間輝度へ、また中間輝度から明輝度へと、繰り返し輝度を変化させる。これにより、有効映像領域以外の領域に計測時刻点が存在する場合であっても、高精度な伝送時間の測定を行うことができる。   In the present embodiment, the luminance is repeatedly changed from the bright luminance to the intermediate luminance and from the intermediate luminance to the bright luminance within a predetermined invalidity avoidance time from the measurement time point. Thereby, even when the measurement time point exists in an area other than the effective video area, the transmission time can be measured with high accuracy.

また、本実施形態では、外部信号源91の映像フレーム周波数を用いて測定映像信号を発生させるため、映像フレーム周波数が異なることに起因する動作状態の変化を発生させることなく、映像音声送信装置92が安定した動作状態で伝送時間を計測することができる。したがって、実際に伝送する映像信号の伝送時間により近い伝送時間を測定することができる。   In the present embodiment, since the measurement video signal is generated using the video frame frequency of the external signal source 91, the video / audio transmission device 92 does not generate a change in the operation state due to the different video frame frequencies. Can measure the transmission time in a stable operating state. Therefore, the transmission time closer to the transmission time of the video signal to be actually transmitted can be measured.

また、本実施形態では、無瞬断切替部17のスイッチを測定時側に切替えることで、瞬時に測定が開始されるため、映像音声送信装置92には非測定時の外部信号と測定時の測定信号とが途切れることなく入力される。これにより、映像音声送信装置92が安定した動作状態で伝送時間を計測することができ、より高精度な伝送時間を測定することができる。   In this embodiment, since the measurement is instantaneously started by switching the switch of the uninterruptible switching unit 17 to the measurement time side, the video / audio transmission device 92 includes an external signal at the time of non-measurement and a measurement time at the time of measurement. The measurement signal is input without interruption. As a result, the transmission time can be measured in a stable operation state of the video / audio transmission device 92, and a more accurate transmission time can be measured.

また、本実施形態では、映像信号の先頭と到着時刻と音声信号の先頭の到着時刻とを用いて、リップシンクを測定することができる。また本実施形態では、正極性の音声信号と負極性の音声信号とを交互に発生させることにより、音声信号の伝送シーケンス異常を検出することができる。   In the present embodiment, the lip sync can be measured using the beginning and arrival time of the video signal and the arrival time of the beginning of the audio signal. Further, in the present embodiment, an audio signal transmission sequence abnormality can be detected by alternately generating a positive audio signal and a negative audio signal.

なお、本発明は上記の実施形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。   In addition, this invention is not limited to said embodiment, Many deformation | transformation are possible within the range of the summary.

本発明の一実施形態が適用された映像伝送測定システムを説明するための説明図である。It is explanatory drawing for demonstrating the video transmission measuring system to which one Embodiment of this invention was applied. 測定信号発生装置のブロック図である。It is a block diagram of a measurement signal generator. 測定信号発生装置が生成する測定信号を説明するための説明図である。It is explanatory drawing for demonstrating the measurement signal which a measurement signal generator generates. 測定映像フレームを詳細に示した説明図である。It is explanatory drawing which showed the measurement video frame in detail. 測定映像信号の発生処理のフローチャートである。It is a flowchart of the generation process of a measurement video signal. 測定音声信号の発生処理のフローチャートである。It is a flowchart of the generation process of a measurement audio | voice signal. 測定装置のブロック図である。It is a block diagram of a measuring device. 映像伝送時間の算出処理のフローチャートである。It is a flowchart of a calculation process of video transmission time. リップシンクの算出処理のフローチャートである。It is a flowchart of a calculation process of lip sync. リップシンクを説明するための説明図である。It is explanatory drawing for demonstrating a lip sync. 測定装置の表示部に表示される測定結果の画面表示例である。It is the example of a screen display of the measurement result displayed on the display part of a measuring device. 計測時刻点および補助計測点とフレームパルスとの関係を説明する説明図である。It is explanatory drawing explaining the relationship between a measurement time point, an auxiliary measurement point, and a frame pulse.

符号の説明Explanation of symbols

1:測定信号発生装置
11:時刻取得部
12:制御部
13:映像フレーム発生部
14:輝度変調部
15:音声信号発生部
16:音声変調部
17:無瞬断切換部
2:測定装置
21:時刻取得部
22:輝度検出部
23:映像伝送時間演算部
24:音声検出部
25:リップシンク演算部
26:映像伝送時間表示部
27:リップシンク表示部
1: Measurement signal generator 11: Time acquisition unit 12: Control unit 13: Video frame generation unit 14: Brightness modulation unit 15: Audio signal generation unit 16: Audio modulation unit
17: Non-instantaneous switching unit 2: Measuring device 21: Time acquisition unit 22: Luminance detection unit 23: Video transmission time calculation unit 24: Audio detection unit 25: Lip sync calculation unit 26: Video transmission time display unit
27: Lip sync display section

Claims (9)

測定用の測定映像信号を発生する測定信号発生装置と、前記測定映像信号の伝送時間を測定する測定装置と、を有する映像伝送測定システムであって、
前記測定信号発生装置は、
基準時刻源から取得した基準時刻に基づいて、所定のタイミングで測定映像信号の発生を制御する制御手段と、
前記制御手段の制御に基づいて輝度を変化させて、測定映像信号を発生させる輝度変調手段と、を有し、
前記制御手段は、前記測定映像信号の各画素の輝度を変化させることにより、当該測定映像信号の中に送信側時刻を示す計測時刻点を設定し、
前記測定装置は、
所定の通信機器を介して伝送された前記測定映像信号の輝度を検出する輝度検出手段と、
検出した輝度の変化に基づいて前記測定映像信号の中に設定された計測時刻点を検出するとともに、当該計測時刻点を検出した受信側時刻を前記基準時刻源から取得し、前記受信側時刻から前記送信側時刻を減算することにより、前記測定映像信号の伝送時間を演算する映像伝送時間演算手段と、を有すること
を特徴とする映像伝送測定システム。
A video transmission measurement system comprising: a measurement signal generator for generating a measurement video signal for measurement; and a measurement device for measuring a transmission time of the measurement video signal,
The measurement signal generator is
Control means for controlling the generation of the measurement video signal at a predetermined timing based on the reference time acquired from the reference time source;
Brightness changing means for changing the brightness based on the control of the control means to generate a measurement video signal,
The control means sets the measurement time point indicating the transmission side time in the measurement video signal by changing the luminance of each pixel of the measurement video signal,
The measuring device is
Brightness detection means for detecting the brightness of the measurement video signal transmitted via a predetermined communication device;
The measurement time point set in the measurement video signal is detected based on the detected luminance change, and the reception side time at which the measurement time point is detected is acquired from the reference time source, and the reception time is Video transmission measurement system comprising: video transmission time calculation means for calculating the transmission time of the measurement video signal by subtracting the transmission side time.
請求項1記載の映像伝送測定システムであって、
前記測定信号発生装置は、
前記制御手段の制御に基づいて測定映像信号と同期させた測定音声信号を発生させる音声発生手段を、さらに有し、
前記測定装置は、
所定の通信機器を介して伝送された前記測定音声信号を検出する音声検出手段と、
前記測定音声信号を検出した音声検出時刻と、前記測定映像信号の輝度に基づいて当該測定映像信号を検出した映像検出時刻との差から、リップシンクを演算するリップシンク演算手段と、をさらに有すること
を特徴とする映像伝送測定システム。
The video transmission measurement system according to claim 1,
The measurement signal generator is
Audio generation means for generating a measurement audio signal synchronized with the measurement video signal based on the control of the control means;
The measuring device is
Voice detection means for detecting the measurement voice signal transmitted via a predetermined communication device;
Lip sync calculation means for calculating lip sync from the difference between the audio detection time at which the measurement audio signal was detected and the video detection time at which the measurement video signal was detected based on the luminance of the measurement video signal A video transmission measurement system characterized by this.
請求項2記載の映像伝送測定システムであって、
前記測定信号発生装置の音声出力手段は、正極性の音声振幅の測定音声信号と、負極性の音声振幅の測定音声信号とを交互に出力し、
前記測定装置のリップシンク演算部は、前記測定音声信号の音声振幅の極性が妥当か否かを判別すること
を特徴とする映像伝送測定システム。
The video transmission measurement system according to claim 2,
The audio output means of the measurement signal generator alternately outputs a positive audio amplitude measurement audio signal and a negative audio amplitude measurement audio signal,
The video transmission measurement system, wherein the lip sync calculation unit of the measurement device determines whether or not the polarity of the audio amplitude of the measurement audio signal is appropriate.
請求項1から請求項3のいずれか1項に記載の映像伝送測定システムであって、
前記測定信号発生装置の制御手段は、前記計測時刻点から所定の無効回避時間内において、前記測定映像信号の各画素の輝度をさらに変化させることにより、当該測定映像信号の中に補助計測点を設定し、
前記測定装置の映像伝送時間演算手段は、前記補助計測点を検出するとともに、当該補助計測点を検出した受信側補助時刻を前記基準時刻源から取得し、当該受信側補助時刻から前記無効回避時間または前記無効回避時間より小さい時間を減算した時刻を受信側時刻とみなし、当該受信側時刻から前記送信側時刻を減算することにより、前記測定映像信号の伝送時間を演算すること
を特徴とする映像伝送測定システム。
The video transmission measurement system according to any one of claims 1 to 3,
The control means of the measurement signal generator further changes the luminance of each pixel of the measurement video signal within a predetermined invalidity avoidance time from the measurement time point, thereby setting an auxiliary measurement point in the measurement video signal. Set,
The video transmission time calculating means of the measuring device detects the auxiliary measurement point, obtains the reception side auxiliary time at which the auxiliary measurement point is detected from the reference time source, and calculates the invalidity avoidance time from the reception side auxiliary time. Alternatively, a time obtained by subtracting a time smaller than the invalid avoidance time is regarded as a reception side time, and the transmission time of the measurement video signal is calculated by subtracting the transmission side time from the reception side time. Transmission measurement system.
請求項1から請求項4のいずれか1項に記載の映像伝送測定システムであって、
前記測定信号発生装置は、
外部信号源から入力された映像信号の映像フレーム周波数を再生成し、前記制御手段に出力する映像フレーム発生手段をさらに有し、
前記制御手段は、基準時刻源から取得した基準時刻と前記映像フレーム周波数とに基づいて、所定のタイミングで測定映像信号である測定映像フレームの生成を制御すること
を特徴とする映像伝送測定システム。
The video transmission measurement system according to any one of claims 1 to 4,
The measurement signal generator is
Video frame generating means for regenerating the video frame frequency of the video signal input from the external signal source and outputting to the control means;
The video transmission measurement system characterized in that the control means controls generation of a measurement video frame as a measurement video signal at a predetermined timing based on a reference time acquired from a reference time source and the video frame frequency.
請求項1から請求項5のいずれか1項に記載の映像伝送測定システムであって、
前記測定信号発生装置の制御手段は、前記測定映像信号の輝度を明輝度および中間輝度に制御し、前記測定映像信号以外の映像信号の輝度を全て暗輝度に制御すること
を特徴とする映像伝送測定システム。
The video transmission measurement system according to any one of claims 1 to 5,
The control means of the measurement signal generator controls the brightness of the measurement video signal to bright brightness and intermediate brightness, and controls all the brightness of video signals other than the measurement video signal to dark brightness. Measuring system.
映像伝送測定システムにおける測定用の測定映像信号を発生する測定信号発生装置であって、
基準時刻源から取得した基準時刻に基づいて、所定のタイミングで測定映像信号の発生を制御する制御手段と、
前記制御手段の制御に基づいて輝度を変化させて、測定映像信号を発生させる輝度変調手段と、を有し、
前記制御手段は、前記測定映像信号の各画素の輝度を変化させることにより、当該測定映像信号の中に送信側時刻を示す計測時刻点を設定すること
を特徴とする測定信号発生装置。
A measurement signal generator for generating a measurement video signal for measurement in a video transmission measurement system,
Control means for controlling the generation of the measurement video signal at a predetermined timing based on the reference time acquired from the reference time source;
Brightness changing means for changing the brightness based on the control of the control means to generate a measurement video signal,
The control means sets the measurement time point indicating the transmission side time in the measurement video signal by changing the luminance of each pixel of the measurement video signal.
映像伝送測定システムにおける測定用の測定映像信号の伝送時間を測定する測定装置であって、
所定の通信機器を介して伝送された前記測定映像信号の輝度を検出する輝度検出手段と、
検出した輝度の変化に基づいて前記測定映像信号の中に設定された送信側時刻を示す計測時刻点を検出するとともに、当該計測時刻点を検出した受信側時刻を前記基準時刻源から取得し、前記受信側時刻から前記送信側時刻を減算することにより、前記測定映像信号の伝送時間を演算する映像伝送時間演算手段と、を有すること
を特徴とする測定装置。
A measuring device for measuring a transmission time of a measurement video signal for measurement in a video transmission measurement system,
Brightness detection means for detecting the brightness of the measurement video signal transmitted via a predetermined communication device;
While detecting the measurement time point indicating the transmission side time set in the measurement video signal based on the detected change in luminance, and acquiring the reception side time at which the measurement time point is detected from the reference time source, And a video transmission time calculation means for calculating the transmission time of the measurement video signal by subtracting the transmission side time from the reception side time.
映像伝送測定システムが行う映像伝送時間の測定方法であって、
基準時刻源から取得した基準時刻に基づいて、映像信号の各画素の輝度を変化させて、送信側時刻を示す計測時刻点を設定した測定映像信号を発生させる発生ステップと、
所定の通信機器を介して伝送された前記測定映像信号の輝度を検出する輝度検出ステップと、
検出した輝度の変化に基づいて前記測定映像信号の中に設定された計測時刻点を検出するとともに、当該計測時刻点を検出した受信側時刻を前記基準時刻源から取得する取得ステップと、
前記受信側時刻から前記送信側時刻を減算することにより、前記測定映像信号の伝送時間を演算する映像伝送時間演算ステップと、を有すること
を特徴とする映像伝送測定方法。
A video transmission time measurement method performed by a video transmission measurement system,
Based on the reference time acquired from the reference time source, the generation step of changing the luminance of each pixel of the video signal and generating a measurement video signal in which the measurement time point indicating the transmission side time is set;
A luminance detection step for detecting the luminance of the measurement video signal transmitted via a predetermined communication device;
An acquisition step of detecting a measurement time point set in the measurement video signal based on the detected luminance change, and acquiring a reception side time at which the measurement time point is detected from the reference time source;
A video transmission time calculating step of calculating a transmission time of the measurement video signal by subtracting the transmission side time from the reception side time.
JP2008113117A 2008-04-23 2008-04-23 Video transmission measurement system, measurement signal generator, measurement device, and video transmission measurement method Active JP4776655B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008113117A JP4776655B2 (en) 2008-04-23 2008-04-23 Video transmission measurement system, measurement signal generator, measurement device, and video transmission measurement method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008113117A JP4776655B2 (en) 2008-04-23 2008-04-23 Video transmission measurement system, measurement signal generator, measurement device, and video transmission measurement method

Publications (2)

Publication Number Publication Date
JP2009267648A true JP2009267648A (en) 2009-11-12
JP4776655B2 JP4776655B2 (en) 2011-09-21

Family

ID=41392964

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008113117A Active JP4776655B2 (en) 2008-04-23 2008-04-23 Video transmission measurement system, measurement signal generator, measurement device, and video transmission measurement method

Country Status (1)

Country Link
JP (1) JP4776655B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016116107A (en) * 2014-12-16 2016-06-23 株式会社日立国際電気 Delay time measurement system and camera

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016116107A (en) * 2014-12-16 2016-06-23 株式会社日立国際電気 Delay time measurement system and camera

Also Published As

Publication number Publication date
JP4776655B2 (en) 2011-09-21

Similar Documents

Publication Publication Date Title
US7843974B2 (en) Audio and video synchronization
US9723193B2 (en) Transmitting device, receiving system, communication system, transmission method, reception method, and program
US8582033B2 (en) Movie reproduction system and movie reproduction method for reducing delay time of reproduced movie
JP2014078793A (en) Imaging display system, imaging device, imaging method and program
US20110013085A1 (en) Method and Apparatus for Measuring Audio-Video Time skew and End-to-End Delay
JP2004282667A (en) Transmitter having correction function of regeneration desynchronization, receiver having the same, and transmission equipment having the transmitter and the receiver
KR101445206B1 (en) Imaging apparatus
JP4776655B2 (en) Video transmission measurement system, measurement signal generator, measurement device, and video transmission measurement method
JP4387894B2 (en) Transmitter and receiver for space optical communication system
JP2008172539A (en) Image transmission time measuring system and image transmission time measuring method
US9571799B2 (en) Wireless communication system and method, and data receiving apparatus, method and program
WO2004093375A1 (en) Radio video transmission system and method
JP2005013558A (en) Subject information transmission system
JP2000244947A (en) Device for measuring dynamic picture transmission efficiency
US20240121505A1 (en) Image synthesis apparatus and image synthesis method
US20060008011A1 (en) Method for synchronizing video signals
KR101103150B1 (en) Synchronization apparatus and method for video and audio
JP2002271649A (en) Camera system
JP7229131B2 (en) Surveillance camera device, monitor device and surveillance system
KR20050020431A (en) Delay time measurement method for mobile communication device
JP2012191285A (en) Image transmitter, image transmission method, image receiver, and image reception method
JP2002112067A (en) Synchronous signal generation circuit
JP2007300516A (en) Lip-sync signal generation apparatus
JP2020107924A (en) Processing device, synchronization control system, control method thereof, and program
JP4186673B2 (en) Dual system video signal synchronization method and synchronization circuit

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101202

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110527

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110607

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110628

R150 Certificate of patent or registration of utility model

Ref document number: 4776655

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140708

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250