JP2018006959A - Communication system, communication apparatus, and communication method - Google Patents
Communication system, communication apparatus, and communication method Download PDFInfo
- Publication number
- JP2018006959A JP2018006959A JP2016130162A JP2016130162A JP2018006959A JP 2018006959 A JP2018006959 A JP 2018006959A JP 2016130162 A JP2016130162 A JP 2016130162A JP 2016130162 A JP2016130162 A JP 2016130162A JP 2018006959 A JP2018006959 A JP 2018006959A
- Authority
- JP
- Japan
- Prior art keywords
- synchronization signal
- communication device
- request
- synchronization
- communication
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Synchronizing For Television (AREA)
- Studio Devices (AREA)
- Synchronisation In Digital Transmission Systems (AREA)
Abstract
Description
本発明は、特に、複数の機器間で同期信号を同期させるために用いて好適な通信システム、通信機器、通信方法、通信機器の制御方法及びプログラムに関する。 In particular, the present invention relates to a communication system, a communication device, a communication method, a communication device control method, and a program suitable for use in synchronizing synchronization signals among a plurality of devices.
被写体を撮像して映像信号を生成する撮像装置は、一般的に撮像装置内部で生成された内部同期信号に従って撮像処理および映像信号処理を行う。ところが、複数の撮像装置間の内部同期信号は位相が合っているとは限らないため、複数の撮像装置を用いて同一の被写体を撮影すると、基準となる機器に対して映像の遅れや進みが発生し、良好な撮影結果が得られないという問題がある。 An imaging apparatus that captures a subject and generates a video signal generally performs imaging processing and video signal processing according to an internal synchronization signal generated inside the imaging apparatus. However, because the internal synchronization signals between multiple imaging devices are not always in phase, if you shoot the same subject using multiple imaging devices, the delay or advance of the video will be relative to the reference device. There is a problem that a good photographing result cannot be obtained.
そこで放送局や映像制作の現場では、複数の撮像装置に対し、外部から基準となる外部同期信号を入力し、内部同期信号と位相を合わせることによって、複数の機器間の同期信号の位相のずれをなくす方法が知られている。この場合、外部同期信号の信号源の機器は、撮像装置とは別の同期信号発生器、または複数の撮像装置のうち一つの撮像装置である。 Therefore, in broadcasting stations and video production sites, the phase of the synchronization signal between multiple devices is shifted by inputting an external synchronization signal as a reference from the outside to multiple imaging devices and matching the phase with the internal synchronization signal. There is a known method for eliminating this. In this case, the device of the signal source of the external synchronization signal is a synchronization signal generator different from the imaging device or one imaging device among a plurality of imaging devices.
また、従来の同期信号の位相あわせ(以下、同期あわせ)では、外部同期信号の信号源の機器と同期させたい撮像装置との間を、同期信号を伝送する伝送ケーブルでつなぐ必要があった。しかしながら、上述の同期あわせの方法では、ケーブルを経由して同期信号を供給するため、同期あわせの度に撮像装置と外部同期信号の信号源の機器との間をケーブルで接続する必要があった。そのため、ケーブルを頻繁に取り付けたり取り外したりすることによって本体側の端子やケーブル側の接点の耐久性が劣化する問題がある。また、撮像装置を小型化させた場合に端子を設けると、本体の小型化とケーブル端子の設置とを両立することを困難としたり、本体形状が制約されたりする。 In addition, in the conventional synchronization signal phase adjustment (hereinafter referred to as synchronization adjustment), it is necessary to connect a transmission cable for transmitting a synchronization signal between an external synchronization signal source device and an imaging device to be synchronized. However, in the synchronization method described above, since the synchronization signal is supplied via the cable, it is necessary to connect the imaging device and the external synchronization signal source device with a cable each time synchronization is performed. . Therefore, there is a problem that durability of the terminal on the main body side and the contact on the cable side deteriorates by frequently attaching and removing the cable. In addition, when a terminal is provided when the imaging device is downsized, it is difficult to achieve both miniaturization of the main body and installation of the cable terminal, or the shape of the main body is restricted.
さらに、撮像装置と外部同期信号の信号源の機器との距離が離れている場合、上記伝送路において信号が遅延して同期信号のずれを含む。このため、同期信号のずれに対して信号遅延の値が十分小さくなる長さの伝送路でしか、同期あわせのためのケーブルを接続するができないという課題もあった。 Furthermore, when the distance between the imaging device and the device that is the signal source of the external synchronization signal is long, the signal is delayed in the transmission path and includes a synchronization signal shift. For this reason, there is a problem that a cable for synchronization can be connected only through a transmission line having a length in which a signal delay value is sufficiently small with respect to a synchronization signal shift.
そこで、上記課題を解決するために、外部同期信号の信号源の機器が撮像装置との間の信号遅延を測定し、測定結果に基づいて、撮像装置に供給する外部同期信号の位相調整を行う技術が知られている(例えば、特許文献1参照)。 Therefore, in order to solve the above-described problem, the device of the signal source of the external synchronization signal measures the signal delay with the imaging device, and adjusts the phase of the external synchronization signal supplied to the imaging device based on the measurement result. A technique is known (see, for example, Patent Document 1).
しかし、上記の機器間の同期信号の位相調整方法では、同期あわせを行うために外部同期信号の入出力を必要としていたため、外部同期信号の入出力を制御する回路が必要であり、各々の機器の回路規模が大きくなるという課題がある。 However, in the above-described method of adjusting the phase of the synchronization signal between the devices, since the input / output of the external synchronization signal is required to perform the synchronization, a circuit for controlling the input / output of the external synchronization signal is necessary. There exists a subject that the circuit scale of an apparatus becomes large.
本発明は前述の問題点に鑑み、回路規模が大きくならないようにして複数の機器間で生成する同期信号のずれを調整できるようにすることを目的としている。 In view of the above-described problems, an object of the present invention is to make it possible to adjust a shift of a synchronization signal generated between a plurality of devices without increasing a circuit scale.
本発明に係る通信システムは、所定の処理を行う基準となる第1の同期信号を生成する第1の通信機器と、前記所定の処理に該当する処理を行うための第2の同期信号を生成する第2の通信機器とがネットワークを介して接続された通信システムであって、前記第1の通信機器は、前記第2の通信機器との間で通信を行う第1の通信手段と、前記第1の同期信号を生成してから、前記第2の通信機器から前記第1の同期信号と同期させるための要求を受信するまでの間の受信待ち量を取得する第1の取得手段と、前記第2の通信機器から前記第1の同期信号と同期させるための要求を受信してから、前記要求に対する応答を送信するまでの送信待ち量を取得する第2の取得手段とを備え、前記第2の通信機器は、前記第1の通信機器との間で通信を行い、前記第2の同期信号を前記第1の同期信号と同期させるための要求を前記第1の通信機器に送信する第2の通信手段と、前記第2の通信手段によって前記要求を送信してから、前記第1の通信機器から前記要求に対する応答を受信するまでの待ち量を取得する第3の取得手段と、前記第2の同期信号を前記第1の同期信号と同期させる同期手段とを有し、前記第1の通信手段は、前記要求に対する応答として、前記第1の取得手段によって取得された受信待ち量と前記第2の取得手段によって取得された送信待ち量との情報を前記第2の通信機器へ送信し、前記同期手段は、前記第1の通信機器から受信された受信待ち量および送信待ち量と、前記第3の取得手段によって取得された待ち量とに基づいて、前記第2の同期信号を前記第1の同期信号と同期させることを特徴とする。 A communication system according to the present invention generates a first communication device that generates a first synchronization signal as a reference for performing a predetermined process, and a second synchronization signal for performing a process corresponding to the predetermined process A second communication device connected via a network, wherein the first communication device communicates with the second communication device; and First acquisition means for acquiring a reception waiting amount from when the first synchronization signal is generated until a request for synchronizing with the first synchronization signal is received from the second communication device; Second acquisition means for acquiring a transmission waiting amount from when a request for synchronizing with the first synchronization signal is received from the second communication device to when a response to the request is transmitted; The second communication device is in communication with the first communication device. And a second communication means for transmitting a request for synchronizing the second synchronization signal with the first synchronization signal to the first communication device, and the request by the second communication means. A third acquisition means for acquiring a waiting amount from the transmission until receiving a response to the request from the first communication device; a synchronization for synchronizing the second synchronization signal with the first synchronization signal; And the first communication means, as a response to the request, information on the reception waiting amount acquired by the first acquisition means and the transmission waiting amount acquired by the second acquisition means Is transmitted to the second communication device, and the synchronization means is based on the reception waiting amount and transmission waiting amount received from the first communication device, and the waiting amount acquired by the third acquisition means. The second synchronization signal And wherein the synchronizing with the serial first synchronization signal.
本発明によれば、回路規模が大きくならないようにして複数の機器間で生成する同期信号のずれを調整することができる。 ADVANTAGE OF THE INVENTION According to this invention, the shift | offset | difference of the synchronizing signal produced | generated between several apparatuses can be adjusted so that a circuit scale may not become large.
以下、図面を参照しながら本発明の好適な実施形態について説明する。
図1は、本実施形態における通信システムの概略構成を説明するための図である。本撮像システムは、第1のカメラ100と、第2のカメラ200とで構成されている。第1のカメラ100および第2のカメラ200は、アンテナ111による無線伝送により互いに接続され、相互に通信が可能である。ここで、第1のカメラ100及び第2のカメラ200は、デジタルカメラ、デジタルビデオカメラ、スマートフォン、タブレットなど撮像機能を有する機器である。
Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a diagram for explaining a schematic configuration of a communication system in the present embodiment. The imaging system includes a first camera 100 and a second camera 200. The first camera 100 and the second camera 200 are connected to each other by wireless transmission using the antenna 111 and can communicate with each other. Here, the first camera 100 and the second camera 200 are devices having an imaging function such as a digital camera, a digital video camera, a smartphone, and a tablet.
第1のカメラ100および第2のカメラ200は、ともに撮像素子を備えた撮像装置であり、同一の構成をしている。以下、本通信システムを構成する撮像装置である第1のカメラ100について、図2を用いて内部構成を説明する。 Both the first camera 100 and the second camera 200 are imaging devices including an imaging element, and have the same configuration. Hereinafter, the internal configuration of the first camera 100, which is an imaging apparatus constituting the communication system, will be described with reference to FIG.
図2は、本実施形態に係る第1のカメラ100の内部構成例を示すブロック図である。
光学部101は、被写体像を結像するレンズ群などから構成される光学系である。
撮像素子102は、光学部101の結像結果を光電変換し、映像信号として出力する。
映像信号処理部103は、撮像素子102から入力された映像信号に対し、画像処理を施して記録部104および表示部106に出力する。
記録部104は、入力された映像信号に対し所定の符号化処理を行い、符号化データに変換する。このとき、符号化に伴いデータの圧縮も行われる。そして、記録部104は、符号化データを記録メディア105へ記録する。
表示部106は、入力された映像信号に対しGUI(Graphical User Interface)を構成するOSD(On Screen Display)データの生成およびOSDデータの映像信号への重畳、リサイズ処理などを行う。
ディスプレイ部107は、表示部106から出力された映像信号を表示する表示装置(例えば液晶ディスプレイ)である。
操作部113は、ユーザーの操作を受け付け、システムコントローラ112は、操作部113から入力信号を取得する。
FIG. 2 is a block diagram illustrating an internal configuration example of the first camera 100 according to the present embodiment.
The optical unit 101 is an optical system including a lens group that forms a subject image.
The image sensor 102 photoelectrically converts the imaging result of the optical unit 101 and outputs it as a video signal.
The video signal processing unit 103 performs image processing on the video signal input from the imaging element 102 and outputs the video signal to the recording unit 104 and the display unit 106.
The recording unit 104 performs a predetermined encoding process on the input video signal and converts it into encoded data. At this time, data compression is also performed with encoding. Then, the recording unit 104 records the encoded data on the recording medium 105.
The display unit 106 performs generation of OSD (On Screen Display) data constituting a GUI (Graphical User Interface), superimposition of OSD data on the video signal, resizing processing, and the like for the input video signal.
The display unit 107 is a display device (for example, a liquid crystal display) that displays the video signal output from the display unit 106.
The operation unit 113 receives a user operation, and the system controller 112 acquires an input signal from the operation unit 113.
映像同期信号発生部108は、撮像のための垂直同期信号および水平同期信号を生成し、撮像素子102、映像信号処理部103およびシステムコントローラ112へ上記同期信号の出力を制御する。さらに映像同期信号発生部108は、システムコントローラ112からの指示で生成する垂直同期信号および水平同期信号の位相調整と同期周期数の変更とを行う。 The video synchronization signal generation unit 108 generates a vertical synchronization signal and a horizontal synchronization signal for imaging, and controls the output of the synchronization signal to the image sensor 102, the video signal processing unit 103, and the system controller 112. Further, the video synchronization signal generation unit 108 adjusts the phase of the vertical synchronization signal and the horizontal synchronization signal generated by an instruction from the system controller 112 and changes the number of synchronization cycles.
計測部109は、入力された所定周波数のクロックの数をカウントする。カウントした結果はシステムコントローラ112から取得する。
システムコントローラ112は、計測部109に対しカウンタ動作の開始、終了、リセットの指示を行う。
The measuring unit 109 counts the number of input clocks having a predetermined frequency. The counted result is acquired from the system controller 112.
The system controller 112 instructs the measurement unit 109 to start, end, and reset the counter operation.
通信部110は、第2のカメラ200を含む撮像装置と相互通信を行う無線通信処理部である。システムコントローラ112からの指示で通信部110は送信データの所定の変調方式で変調し、アンテナ111から送信する。一方で他装置からの通信データをアンテナ111で受信し、復調して受信データを得る。無線通信の規格はIEEE802.11nのように公知の規格であってもよい。 The communication unit 110 is a wireless communication processing unit that performs mutual communication with an imaging apparatus including the second camera 200. In response to an instruction from the system controller 112, the communication unit 110 modulates the transmission data with a predetermined modulation method and transmits the data from the antenna 111. On the other hand, communication data from another device is received by the antenna 111 and demodulated to obtain received data. The standard of wireless communication may be a known standard such as IEEE802.11n.
通信部110において、受信動作は所定周期でポーリング動作され、周期的に受信データの有無を検知し、その結果をシステムコントローラ112へ通知している。システムコントローラ112は、上述した映像同期信号発生部108、計測部109、通信部110に対する指示に加え、後述する同期あわせシーケンスの制御を行う。 In the communication unit 110, the reception operation is polled at a predetermined cycle, periodically detects the presence or absence of received data, and notifies the system controller 112 of the result. The system controller 112 controls the synchronization alignment sequence described later in addition to the instructions for the video synchronization signal generation unit 108, the measurement unit 109, and the communication unit 110 described above.
次に、映像同期信号発生部108が生成する同期信号について説明する。映像同期信号発生部108は、内部の基準クロックを元に垂直同期信号および水平同期信号を生成する。そして、生成されたこれらの同期信号を撮像素子102および映像信号処理部103へ出力する。 Next, the synchronization signal generated by the video synchronization signal generator 108 will be described. The video synchronization signal generator 108 generates a vertical synchronization signal and a horizontal synchronization signal based on an internal reference clock. Then, these generated synchronization signals are output to the image sensor 102 and the video signal processing unit 103.
撮像素子102は、素子の電荷蓄積、電荷転送、信号出力などのタイミング制御の基準として垂直同期信号および水平同期信号を利用する。映像信号処理部103は、入力された映像信号の各種画像処理の実行のタイミング制御の基準として垂直同期信号および水平同期信号を利用する。第1のカメラ100および第2のカメラ200は通常各々独立して動作しているため、本体内部の映像同期信号発生部108の基準クロックの位相と同期開始のタイミングとがずれている。その結果、第1のカメラ100と第2のカメラ200との間では垂直同期信号および水平同期信号の位相がずれている。 The image sensor 102 uses a vertical synchronization signal and a horizontal synchronization signal as a reference for timing control such as charge accumulation, charge transfer, and signal output. The video signal processing unit 103 uses a vertical synchronization signal and a horizontal synchronization signal as a reference for timing control of execution of various image processing of the input video signal. Since the first camera 100 and the second camera 200 normally operate independently from each other, the phase of the reference clock of the video synchronization signal generation unit 108 inside the main body is shifted from the timing of the synchronization start. As a result, the vertical synchronization signal and the horizontal synchronization signal are out of phase between the first camera 100 and the second camera 200.
次に、第1のカメラ100と第2のカメラ200との間で同期信号の同期あわせを行う同期あわせシーケンスについて、図3〜図7を用いて説明する。本実施形態では、第1のカメラ100の垂直同期信号を基準にして第2のカメラ200の垂直同期信号を合わせていくシーケンスを挙げる。 Next, a synchronization sequence for synchronizing synchronization signals between the first camera 100 and the second camera 200 will be described with reference to FIGS. In the present embodiment, a sequence in which the vertical synchronization signal of the second camera 200 is matched based on the vertical synchronization signal of the first camera 100 will be described.
同期あわせシーケンスでは、そのシーケンスの中で3つの通信を行う。
まず、1つ目の通信として、同期あわせ準備通信を行う。同期あわせ準備通信は、同期あわせの実行前段階において、第2のカメラ200から第1のカメラ100に各装置間で同期あわせが可能か状態かを否かを通知する。さらに第1のカメラ100で以降の同期あわせ通信までの経過時間の計測を行う。
In the synchronization sequence, three communications are performed in the sequence.
First, synchronization alignment preparation communication is performed as the first communication. In the synchronization adjustment preparation communication, the second camera 200 notifies the first camera 100 whether or not synchronization is possible between the devices in a stage before execution of synchronization. Further, the elapsed time until the subsequent synchronization communication is measured by the first camera 100.
次に、2つ目の通信として、同期あわせ通信を行う。同期あわせ通信は、第1のカメラ100と第2のカメラ200との間の同期あわせ量と同期あわせタイミングとを決定するために通信遅延量を計測するための通信である。 Next, synchronous communication is performed as the second communication. The synchronization matching communication is communication for measuring a communication delay amount in order to determine the synchronization amount and the synchronization timing between the first camera 100 and the second camera 200.
最後に、3つ目の通信として、同期あわせ終了通信を行う。同期あわせ終了通信は、同期あわせシーケンスの終了を第2のカメラ200から第1のカメラ100へ通知する。結果の送信および受信により、第1のカメラ100および第2のカメラ200は同期あわせ状態を解除し、定常状態へ戻る。 Finally, as the third communication, the synchronization end communication is performed. In the synchronization end communication, the second camera 200 notifies the first camera 100 of the end of the synchronization sequence. By transmitting and receiving the result, the first camera 100 and the second camera 200 cancel the synchronized state and return to the steady state.
本実施形態において、第1のカメラ100および第2のカメラ200の垂直同期信号、水平同期信号の周期は同じであり、垂直同期信号の周期をfVSYNCとする。計測部109が計測する各種計測カウンタの基準クロックは、第1のカメラ100と第2のカメラ200とで同じであり、1カウントあたりのクロック周波数をfCLKとする。この時、計測時間tと計測カウンタの値Cとの間には、以下の式(1)の関係がある。
t=C×(1/fCLK) ・・・(1)
In the present embodiment, the periods of the vertical synchronization signal and the horizontal synchronization signal of the first camera 100 and the second camera 200 are the same, and the period of the vertical synchronization signal is f VSYNC . The reference clocks of various measurement counters measured by the measurement unit 109 are the same for the first camera 100 and the second camera 200, and the clock frequency per count is f CLK . At this time, there is a relationship of the following formula (1) between the measurement time t and the value C of the measurement counter.
t = C × (1 / f CLK ) (1)
すなわち、クロック周波数と計測カウンタの値とから時間を計測することが可能である。 That is, the time can be measured from the clock frequency and the value of the measurement counter.
同期あわせシーケンス実行前の第1のカメラ100および第2のカメラ200の状態は、装置間で無線通信の接続がすでに行われて通信リンクが確立している状態である。また第1のカメラ100および第2のカメラ200は、それぞれ異なる第1のユーザー、第2のユーザーが操作しているものとする。 The state of the first camera 100 and the second camera 200 before execution of the synchronization sequence is a state in which a wireless communication connection has already been established between apparatuses and a communication link has been established. In addition, it is assumed that the first camera 100 and the second camera 200 are operated by different first and second users, respectively.
例えば、第1のユーザーが操作部113を操作して、第1のカメラ100の同期あわせのメニュー項目が選択されると、ディスプレイ部107に図7(a)に示す画面が表示される。この時、第1のカメラ100と第2のカメラ200とで同期あわせ準備通信を開始する。同期あわせ準備通信終了後に第2のカメラ200からの応答を待って同期あわせを行う場合、第1のユーザーは第1のカメラ100の操作部113でGUI画面を操作して同期あわせの開始を指示する。 For example, when the first user operates the operation unit 113 and the menu item for synchronization of the first camera 100 is selected, the screen illustrated in FIG. 7A is displayed on the display unit 107. At this time, the first camera 100 and the second camera 200 start synchronization alignment preparation communication. When synchronization is made after waiting for a response from the second camera 200 after completion of the synchronization adjustment preparation communication, the first user operates the GUI screen on the operation unit 113 of the first camera 100 to instruct to start synchronization. To do.
一方、第2のカメラ200は、第1のカメラ100からの同期あわせ準備通信の通知を受けると、ディスプレイ部107に図7(b)に示す画面を表示して、同期あわせの許可あるいは不許可の選択操作の要求を第2のユーザーに促す。第2のユーザーが図7(b)に示す画面で同期あわせの不許可を選択した場合は、同期あわせシーケンスに入らず、第1のカメラ100、第2のカメラ200とも通常撮影の状態を維持する。一方、第2のユーザーが許可を選択した場合は、同期あわせシーケンスを実行する。その後、同期あわせが終了するまでの期間、第1のカメラ100および第2のカメラ200は、ディスプレイ部107に図7(c)に示す画面を表示し、第1のユーザー、第2のユーザーに同期あわせが実行中であることを知らせる。 On the other hand, when the second camera 200 receives the notification of the synchronization preparation communication from the first camera 100, the second camera 200 displays the screen shown in FIG. 7B on the display unit 107 and permits or disallows synchronization. The second user is prompted to request the selection operation. If the second user selects not to allow synchronization on the screen shown in FIG. 7B, the synchronization sequence is not entered and the first camera 100 and the second camera 200 maintain the normal shooting state. To do. On the other hand, when the second user selects permission, the synchronization alignment sequence is executed. Thereafter, during the period until the synchronization is completed, the first camera 100 and the second camera 200 display the screen shown in FIG. 7C on the display unit 107 to the first user and the second user. Informs that synchronization is in progress.
次に、図3を参照しながら第1のカメラ100および第2のカメラ200のシステムコントローラ112がそれぞれ同期あわせシーケンスで実行する処理について、以下に説明する。 Next, processing executed by the system controllers 112 of the first camera 100 and the second camera 200 in the synchronization alignment sequence will be described below with reference to FIG.
まず、第1のカメラ100の処理について説明する。
ステップS301では、システムコントローラ112は、第1のカメラ100の映像同期信号発生部108から垂直同期信号の入力待機状態となる。垂直同期信号が入力されるとステップS302へ進む。
First, processing of the first camera 100 will be described.
In step S <b> 301, the system controller 112 enters an input standby state for a vertical synchronization signal from the video synchronization signal generation unit 108 of the first camera 100. When the vertical synchronization signal is input, the process proceeds to step S302.
ステップS302では、システムコントローラ112は、通信部110に第2のカメラ200へ同期あわせ準備通信の要求データを生成し、送信を指示する。また、システムコントローラ112は、計測部109に対して、受信待ち期間計測カウンタのリセットと計測開始とを指示する。また、システムコントローラ112内部には、受信待ち期間計測カウンタをリセットした回数を計測するカウンタとしてリセット回数カウンタが設けられており、かかるリセット回数カウンタの値を0にリセットする。通信部110および計測部109への指示が終了すると、第2のカメラ200から受信データの受信待機状態となりステップS303へ進む。 In step S <b> 302, the system controller 112 generates request data for synchronization alignment preparation communication with the second camera 200 in the communication unit 110 and instructs transmission. Further, the system controller 112 instructs the measurement unit 109 to reset the reception waiting period measurement counter and start measurement. In addition, a reset counter is provided in the system controller 112 as a counter for measuring the number of times the reception waiting period measurement counter is reset, and the value of the reset counter is reset to zero. When the instructions to the communication unit 110 and the measurement unit 109 are finished, the reception data reception standby state from the second camera 200 is entered, and the process proceeds to step S303.
ステップS303では、システムコントローラ112は、第2のカメラ200から受信データを受信検知するまで後述の図4に示す受信待機処理を行う。本実施形態のシーケンスでは、受信データの受信を検出しているため、受信データを受信すると受信待機状態を解除し、ステップS306へ進む。 In step S303, the system controller 112 performs a reception standby process shown in FIG. 4 described later until reception data is detected from the second camera 200. In the sequence of this embodiment, since reception of reception data is detected, when reception data is received, the reception standby state is canceled and the process proceeds to step S306.
ステップS306では、システムコントローラ112は、第2のカメラ200から同期あわせ準備通信の応答データを受信する。受信が完了すると第2のカメラ200から受信データの受信待機状態となり、ステップS307へ進む。
ステップS307では、システムコントローラ112は、第2のカメラ200から受信データを受信検知するまで後述の図4に示す受信待機処理を行う。ステップS307が終了すると、第2のカメラ200から受信データを受信検知するまで受信待機状態となる。本実施形態のシーケンスでは、受信データの受信を検出しているため、受信データを受信すると受信待機状態を解除し、ステップS310へ進む。
In step S <b> 306, the system controller 112 receives response data for synchronization adjustment preparation communication from the second camera 200. When the reception is completed, the reception data reception standby state from the second camera 200 is entered, and the process proceeds to step S307.
In step S307, the system controller 112 performs a reception standby process shown in FIG. 4 described later until reception data is detected from the second camera 200. When step S307 is completed, the reception standby state is entered until reception data is detected from the second camera 200. In the sequence of the present embodiment, since reception of reception data is detected, when reception data is received, the reception standby state is canceled and the process proceeds to step S310.
ステップS310では、システムコントローラ112は、第2のカメラ200から同期あわせ通信の要求データを受信する。受信が完了すると、ステップS311へ進む。
ステップS311では、システムコントローラ112は、同期あわせに必要な処理である後述の図5に示す同期あわせ計測処理を行う。処理が終了するとステップS312へ進む。
ステップS312では、システムコントローラ112は、第2のカメラ200への同期あわせ通信の応答データを生成し、通信部110に対し送信の指示を行う。送信が終了すると、第2のカメラ200から受信データを受信検知するまで受信待機状態となる。受信データの受信を検出すると受信待機状態を解除し、ステップS317へ進む。
In step S <b> 310, the system controller 112 receives request data for synchronized communication from the second camera 200. When the reception is completed, the process proceeds to step S311.
In step S311, the system controller 112 performs a synchronization measurement process shown in FIG. 5 described later, which is a process necessary for synchronization. When the process is finished, step S 312 follows.
In step S <b> 312, the system controller 112 generates response data for synchronized communication with the second camera 200 and instructs the communication unit 110 to transmit. When the transmission is completed, the reception standby state is entered until reception data is detected from the second camera 200. When reception of reception data is detected, the reception standby state is canceled, and the process proceeds to step S317.
ステップS317では、システムコントローラ112は、第2のカメラ200から同期あわせ終了通信の要求データを受信する。受信が完了すると同期あわせシーケンスが完了する。 In step S <b> 317, the system controller 112 receives the synchronization alignment end communication request data from the second camera 200. When reception is completed, the synchronization sequence is completed.
図4は、ステップS303およびステップS307で第1のカメラ100で行われる受信待機処理の一例を示すフローチャートである。なお、受信待機中に、映像同期信号発生部108から垂直同期信号が入力される度に、この受信待機処理を繰り返す。 FIG. 4 is a flowchart illustrating an example of a reception standby process performed by the first camera 100 in steps S303 and S307. Note that this reception standby process is repeated each time a vertical synchronization signal is input from the video synchronization signal generator 108 during reception standby.
まず、ステップS401では、システムコントローラ112は、映像同期信号発生部108から垂直同期信号が入力されるまで待機状態となる。垂直同期信号が入力されると、ステップS402へ進む。
ステップS402では、システムコントローラ112は、受信待ち期間計測カウンタのリセットを計測部109に指示する。この指示が終わるとステップS403へ進む。
ステップS403では、システムコントローラ112は、受信待ち期間計測カウンタの計測開始を計測部109に指示する。この指示が終わるとステップS404へ進む。
ステップS404では、システムコントローラ112は、内部に設けたリセット回数カウンタの値を「1」加算し、処理を終了する。
First, in step S401, the system controller 112 is in a standby state until a vertical synchronization signal is input from the video synchronization signal generator 108. When the vertical synchronization signal is input, the process proceeds to step S402.
In step S402, the system controller 112 instructs the measurement unit 109 to reset the reception waiting period measurement counter. When this instruction ends, the process proceeds to step S403.
In step S403, the system controller 112 instructs the measurement unit 109 to start measurement of the reception waiting period measurement counter. When this instruction ends, the process proceeds to step S404.
In step S <b> 404, the system controller 112 adds “1” to the value of the reset number counter provided therein, and ends the process.
図5は、ステップS311で第1のカメラ100で行われる送信待ち期間の計測処理の一例を示すフローチャートである。
ステップS501では、システムコントローラ112は、計測部109に対し受信待ち期間計測カウンタの計測終了を指示する。受信待ち期間計測カウンタは垂直同期信号の入力から同期あわせ通信の要求データを受信するまでの期間を計測する。処理が終わるとステップS502へ進む。
FIG. 5 is a flowchart illustrating an example of a transmission waiting period measurement process performed by the first camera 100 in step S311.
In step S501, the system controller 112 instructs the measurement unit 109 to end the measurement of the reception waiting period measurement counter. The reception waiting period measurement counter measures the period from the input of the vertical synchronization signal to the reception of the synchronization request data. When the process is finished, step S502 follows.
ステップS502では、システムコントローラ112は、計測部109に対し送信待ち期間計測カウンタによる計測開始を指示し、ステップS503へ進む。
ステップS503では、システムコントローラ112は、計測部109に対し送信待ち期間計測カウンタによる計測終了を指示し、処理を終了する。送信待ち期間計測カウンタは第1のカメラ100が受信完了してからその応答までの期間を計測する。
In step S502, the system controller 112 instructs the measurement unit 109 to start measurement using the transmission waiting period measurement counter, and the process proceeds to step S503.
In step S503, the system controller 112 instructs the measurement unit 109 to end measurement by the transmission waiting period measurement counter, and ends the process. The transmission waiting period measurement counter measures a period from when the first camera 100 completes reception until its response.
次に、第2のカメラ200の処理について説明する。
ステップS304では、システムコントローラ112は、通信部110において受信データの受信を検知するまで受信待機状態となる。また、システムコントローラ112には、同期あわせを開始してからの経過フレーム数を計測する同期あわせ経過フレームカウンタが設けられており、かかる同期あわせ経過フレームカウンタの値を0にリセットする。受信を検知すると受信待機状態を解除し、ステップS305へ進む。
Next, the process of the second camera 200 will be described.
In step S304, the system controller 112 enters a reception standby state until the communication unit 110 detects reception of received data. The system controller 112 is provided with a synchronization progress frame counter that measures the number of frames that have elapsed since the start of synchronization, and resets the value of the synchronization progress frame counter to zero. When reception is detected, the reception standby state is canceled, and the process proceeds to step S305.
ステップS305では、システムコントローラ112は、第1のカメラ100から同期あわせ準備通信の要求データを受信する。受信が完了すると、図7(b)に示す通知画面の描画を表示部106に指示する。指示が終わると通信部110に対し第1のカメラ100へ同期あわせ準備通信の応答データの生成と送信とを指示し、ステップS308へ進む。 In step S <b> 305, the system controller 112 receives request data for synchronization adjustment preparation communication from the first camera 100. When the reception is completed, the display unit 106 is instructed to draw the notification screen shown in FIG. When the instruction is finished, the communication unit 110 is instructed to generate and transmit response data for the synchronization alignment preparation communication to the first camera 100, and the process proceeds to step S308.
ステップS308では、システムコントローラ112は、後述の図6に示す垂直同期信号待機処理を行う。処理が終わるとステップS309へ進む。
ステップS309では、システムコントローラ112は、通信部110に対し第1のカメラ100へ同期あわせ通信の要求データを生成して送信する指示を出す。送信後は第1のカメラ100から同期あわせ通信の応答の受信データの受信待機状態となり、ステップS313へ進む。
In step S308, the system controller 112 performs a vertical synchronization signal standby process shown in FIG. When the process is finished, step S309 follows.
In step S <b> 309, the system controller 112 instructs the communication unit 110 to generate and transmit request data for communication in synchronization with the first camera 100. After the transmission, the first camera 100 enters a standby state for receiving the received data in response to the synchronization and communication, and the process proceeds to step S313.
ステップS313では、システムコントローラ112は、第1のカメラ100からの同期あわせ通信の応答データの受信を行い、ステップS314へ進む。
ステップS314では、システムコントローラ112は、第1のカメラ100から通知されたカウンタの値とステップS308で得られる値とから同期あわせ量と同期あわせタイミングとの各データを決定する。ここで、第1のカメラ100から通知されたカウンタの値とは、リセット回数カウンタ、受信待ち期間計測カウンタおよび送信待ち期間計測カウンタの値である。また、詳細は後述するが、ステップS308で得られる値とは、同期あわせ経過フレームカウンタの値である。また、同期あわせ量は、第1のカメラ100と第2のカメラ200との間の垂直同期信号の同期のずれの量であり、同期あわせタイミングの値は、第2のカメラ200が第1のカメラ100に同期をあわせるタイミングである。これらのデータの決定が終わると、ステップS315へ進む。
In step S313, the system controller 112 receives response data for synchronization communication from the first camera 100, and proceeds to step S314.
In step S314, the system controller 112 determines each data of the synchronization amount and the synchronization timing from the counter value notified from the first camera 100 and the value obtained in step S308. Here, the counter values notified from the first camera 100 are values of the reset number counter, the reception waiting period measurement counter, and the transmission waiting period measurement counter. Although details will be described later, the value obtained in step S308 is the value of the synchronization alignment elapsed frame counter. The amount of synchronization is the amount of vertical synchronization signal synchronization between the first camera 100 and the second camera 200, and the value of the synchronization timing is determined by the second camera 200 as the first synchronization. This is the timing to synchronize with the camera 100. When the determination of these data ends, the process proceeds to step S315.
ステップS315では、システムコントローラ112は、決定された同期あわせ量および同期あわせタイミングのデータに基づき同期あわせを実行する。まず、システムコントローラ112は、同期あわせタイミングのデータから計測部109に対し同期あわせタイミング計測カウンタの計測結果が所定の値となるまで待つ。計測が終了するとシステムコントローラ112は、映像同期信号発生部108に垂直同期信号および水平同期信号のリセットを指示する。同期信号がリセットされると撮像素子102の駆動タイミングと映像信号処理部103の映像信号処理のタイミングとが第1のカメラ100と同じ、すなわち同期がとれた状態となる。リセットの指示が終わるとステップS316へ進む。
ステップS316では、システムコントローラ112は、第1のカメラ100に同期あわせ終了通信の要求データを送信する。送信が完了すると同期あわせシーケンスが完了する。
In step S315, the system controller 112 performs synchronization based on the determined synchronization amount and synchronization timing data. First, the system controller 112 waits until the measurement result of the synchronization timing measurement counter reaches a predetermined value from the synchronization timing data to the measurement unit 109. When the measurement is completed, the system controller 112 instructs the video synchronization signal generator 108 to reset the vertical synchronization signal and the horizontal synchronization signal. When the synchronization signal is reset, the drive timing of the image sensor 102 and the video signal processing timing of the video signal processing unit 103 are the same as those of the first camera 100, that is, in a synchronized state. When the reset instruction ends, the process proceeds to step S316.
In step S 316, the system controller 112 transmits request data for end-of-synchronization communication to the first camera 100. When transmission is completed, the synchronization sequence is completed.
図6は、ステップS308で第2のカメラ200により行われる垂直同期信号待機処理の一例を示すフローチャートである。
ステップS601では、システムコントローラ112は、同期あわせ待ち期間計測カウンタのリセットと計測開始とを計測部109に指示する。指示が終わるとステップS602へ進む。
FIG. 6 is a flowchart illustrating an example of the vertical synchronization signal standby process performed by the second camera 200 in step S308.
In step S601, the system controller 112 instructs the measurement unit 109 to reset the synchronization waiting period measurement counter and start measurement. When the instruction ends, the process proceeds to step S602.
ステップS602では、システムコントローラ112は、通信部110に対し同期あわせ通信の送信可能な状態か否かを問い合わせる。その結果、送信可能な状態であれば処理を終了し、送信可能な状態でない場合はステップS603へ進む。
ステップS603では、システムコントローラ112は、第1のカメラ100の映像同期信号発生部108からの垂直同期信号の入力待機状態となる。垂直同期信号が入力されるとステップS604へ進む。
ステップS604では、システムコントローラ112は、同期あわせ経過フレームカウンタの値を「1」加算する。加算を行うとステップS602へ戻る。
In step S <b> 602, the system controller 112 inquires of the communication unit 110 as to whether or not it is possible to transmit synchronization and communication. As a result, if the transmission is possible, the process is terminated. If the transmission is not possible, the process proceeds to step S603.
In step S <b> 603, the system controller 112 enters an input standby state for the vertical synchronization signal from the video synchronization signal generation unit 108 of the first camera 100. When the vertical synchronization signal is input, the process proceeds to step S604.
In step S604, the system controller 112 adds “1” to the value of the synchronization alignment elapsed frame counter. When the addition is performed, the process returns to step S602.
図8は、第1のカメラ100と第2のカメラ200との間で同期あわせを行う場合の通信部110の通信状態、計測部109が計測するカウンタ類の動作、システムコントローラ112が計測する各種カウンタを示したタイミング図である。この図8を用いて同期あわせ量と同期あわせタイミングとの決定について説明する。 FIG. 8 illustrates the communication state of the communication unit 110 when synchronization is performed between the first camera 100 and the second camera 200, the operation of counters measured by the measurement unit 109, and the various types measured by the system controller 112. It is the timing figure which showed the counter. The determination of the synchronization amount and the synchronization timing will be described with reference to FIG.
まず、第1のカメラ100に対し第2のカメラ200の垂直同期信号は同期ずれ量tDの時間だけ遅れているものとする。同期あわせ処理において、この同期ずれ量tDだけ同期信号のタイミングを変更する必要がある。すなわち、同期ずれ量tDは同期あわせ量tDに等しい。 First, it is assumed that the vertical synchronization signal of the second camera 200 is delayed from the first camera 100 by the time of the synchronization shift amount tD. In the synchronization matching process, it is necessary to change the timing of the synchronization signal by this synchronization shift amount tD. That is, the synchronization deviation amount tD is equal to the synchronization alignment amount tD.
任意のフレームID「n」のタイミングで、第1のカメラ100が同期あわせ準備通信を始める。この時、受信待ち期間計測カウンタでは、第1のカメラ100が第2のカメラ200から同期あわせ通信の要求データを受信するまで計測する。同時にフレームカウンタであるリセット回数カウンタも加算される。受信待ち期間計測カウンタは垂直同期信号の入力ごとに0にリセットして計測を行う。一方、第2のカメラ200は同期あわせ準備通信の受信及び送信処理を行う。 At the timing of an arbitrary frame ID “n”, the first camera 100 starts synchronization alignment preparation communication. At this time, the reception waiting period measurement counter performs measurement until the first camera 100 receives the synchronization request communication data from the second camera 200. At the same time, a reset counter that is a frame counter is also added. The reception waiting period measurement counter is reset to 0 every time a vertical synchronization signal is input and performs measurement. On the other hand, the second camera 200 performs reception and transmission processing of synchronization adjustment preparation communication.
フレームID「n+1」のタイミングで、第2のカメラ200は、第1のカメラ100へ同期あわせ通信を行うとともに計測部109で同期あわせ待ち期間計測カウンタを用いて第1のカメラ100と第2のカメラ200との間の通信遅延量の計測を始める。さらに同期あわせ経過フレームカウンタを加算し、通信遅延量の測定に要するフレーム数の計測を行う。 At the timing of the frame ID “n + 1”, the second camera 200 communicates with the first camera 100 in synchronization and uses the synchronization waiting time measurement counter in the measurement unit 109 and the second camera 200 and the second camera 200. The measurement of the communication delay amount with the camera 200 is started. Further, the synchronization alignment elapsed frame counter is added to measure the number of frames required for measuring the communication delay amount.
フレームID「n+2」のタイミングで、第1のカメラ100は、第2のカメラ200からの同期あわせ通信の要求を受信し、受信待ち期間計測カウンタの計測を停止する。この時の受信待ち期間計測カウンタの計測結果をW1とする。また、受信待ち期間計測カウンタの計測停止に合わせてリセット回数カウンタの計測も停止する。この時のリセット回数カウンタの計測結果をRCとする。
受信待ち期間計測カウンタの停止後、第1のカメラ100は、送信待ち期間計測カウンタによる送信待ち期間の計測を始める。通信部110の通信動作モードを切り替えて送信可能な状態となるまでの期間を計測する。計測結果をW2とする。
At the timing of the frame ID “n + 2”, the first camera 100 receives the request for synchronous communication from the second camera 200 and stops the measurement of the reception waiting period measurement counter. The measurement result of the reception waiting period measurement counter at this time is set to W1. In addition, the measurement of the reset counter is stopped when the reception waiting period measurement counter is stopped. The measurement result of the reset number counter at this time is RC.
After stopping the reception waiting period measurement counter, the first camera 100 starts measuring the transmission waiting period using the transmission waiting period measurement counter. The communication operation mode of the communication unit 110 is switched to measure the period until transmission is possible. Let the measurement result be W2.
フレームID「n+3」のタイミングで第1のカメラ100は、同期あわせ通信の要求に対する応答データを送信する。送信するデータは、受信待ち期間計測カウンタの値W1、送信待ち期間計測カウンタの値W2、リセット回数カウンタの値RCである。 At the timing of the frame ID “n + 3”, the first camera 100 transmits response data in response to the synchronous matching communication request. The data to be transmitted are the reception wait period measurement counter value W1, the transmission wait period measurement counter value W2, and the reset count counter value RC.
フレームID「n+4」のタイミングで第2のカメラ200は、第1のカメラ100からの同期あわせ通信の応答データを受信し、同期あわせ待ち期間計測カウンタの計測を停止する。また、同期あわせ待ち期間計測カウンタの計測を停止に合わせて同期あわせ経過フレームカウンタの計測も停止する。同期あわせ待ち期間計測カウンタの計測結果をRTT、同期あわせ経過フレームカウンタの計測結果をFCとする。 At the timing of the frame ID “n + 4”, the second camera 200 receives the response data of the synchronization communication from the first camera 100 and stops the measurement of the synchronization waiting period measurement counter. In addition, the measurement of the synchronization adjustment elapsed frame counter is stopped when the measurement of the synchronization adjustment waiting period measurement counter is stopped. The measurement result of the synchronization adjustment waiting period measurement counter is RTT, and the measurement result of the synchronization adjustment elapsed frame counter is FC.
第2のカメラ200は、同期あわせ待ち期間計測カウンタ、同期あわせ経過フレームカウンタの測定を終えた段階で、第1のカメラ100の受信待ち期間計測カウンタ、送信待ち期間計測カウンタ、リセット回数カウンタの値を受信できている。したがって、同期あわせ待ち期間tRTT、受信待ち期間tW1、送信待ち期間tW2はそれぞれ、下記式(2)〜式(4)により算出できる。
tRTT=RTT×(1/fCLK) ・・・式(2)
tW1=W1×(1/fCLK) ・・・式(3)
tW2=W2×(1/fCLK) ・・・式(4)
When the second camera 200 has finished measuring the synchronization waiting period measurement counter and the synchronization synchronization elapsed frame counter, the values of the reception waiting period measurement counter, the transmission waiting period measurement counter, and the reset count counter of the first camera 100 are measured. Can be received. Therefore, the synchronization waiting period tRTT, the reception waiting period tW1, and the transmission waiting period tW2 can be calculated by the following equations (2) to (4), respectively.
tRTT = RTT × (1 / f CLK ) (2)
tW1 = W1 × (1 / f CLK ) (3)
tW2 = W2 × (1 / f CLK ) (4)
また、上記計測結果から同期あわせ量tDは以下の式(5)により算出できる。
tD=(1/fVSYNC)×(RC−2)}+tW1−T ・・・式(5)
Further, the synchronization amount tD can be calculated from the measurement result by the following equation (5).
tD = (1 / f VSYNC ) × (RC−2)} + tW1−T (5)
ここで、Tは同期あわせ待ち期間計測カウンタで計測した第2のカメラ200から第1のカメラ100への送受信の通信遅延量のうち、実際の通信に要する時間である。送受信の時間が等しいとすると、TとtRTTとの間には以下の式(6)の関係がある。
tRTT=T+tW2+T ・・・式(6)
Here, T is the time required for actual communication out of the communication delay amount of transmission / reception from the second camera 200 to the first camera 100 measured by the synchronization adjustment waiting period measurement counter. If the transmission and reception times are equal, there is a relationship of the following formula (6) between T and tRTT.
tRTT = T + tW2 + T (6)
よって式(5)および式(6)から同期あわせ量tDは、以下の式(7)により算出できる。
tD={(1/fVSYNC)×(RC−2)}+tW1
−{(tRTT−tW2)×(1/2)}
={(1/fVSYNC)×(RC−2)}
+{W1×(1/fCLK)}
−{(RTT−W2)×(1/fCLK)×(1/2)} ・・・式(7)
Therefore, the synchronization amount tD can be calculated from the following equation (7) from the equations (5) and (6).
tD = {(1 / f VSYNC ) × (RC−2)} + tW1
− {(TRTT−tW2) × (1/2)}
= {(1 / f VSYNC ) × (RC-2)}
+ {W1 × (1 / f CLK )}
− {(RTT-W2) × (1 / f CLK ) × (1/2)} (7)
また、同期あわせタイミングは、その計測開始から目標までの時間をtRSTとすると以下の式(8)の関係がある。
{(1/fVSYNC)×FC}
=tD+{tRTT×(1/fCLK)}+tRST ・・・式(8)
Further, the synchronization timing has the relationship of the following formula (8), where tRST is the time from the start of measurement to the target.
{(1 / f VSYNC ) × FC}
= TD + {tRTT × (1 / f CLK )} + tRST (8)
一方、同期あわせ実行までの計測部109の同期あわせタイミング計測カウンタの目標値をRSTとすると、以下の式(9)の関係がある。
tRST=RST×(1/fCLK) ・・・式(9)
On the other hand, when the target value of the synchronization timing measurement counter of the measurement unit 109 until the synchronization is executed is RST, the following equation (9) is established.
tRST = RST × (1 / f CLK ) (9)
同期あわせタイミング計測カウンタの値RSTは、以下の式(10)により算出できる。
RST= tRST×fCLK
= {(1/fVSYNC)×FC}−tD−tRTT}×fCLK
= {(fCLK/fVSYNC)×FC}
−{(fCLK/fVSYNC)×(RC−2)}
−W1+{W2×(1/2)}−{RTT×(3/2)} ・・・式(10)
The value RST of the synchronization timing measurement counter can be calculated by the following equation (10).
RST = tRST × f CLK
= {(1 / f VSYNC ) × FC} −tD−tRTT} × f CLK
= {(F CLK / f VSYNC ) × FC}
-{(F CLK / f VSYNC ) × (RC-2)}
−W1 + {W2 × (1/2)} − {RTT × (3/2)} (10)
第2のカメラ200のシステムコントローラ112は、第1のカメラ100から同期あわせ通信の応答データを受信すると、同期あわせの目標値RSTの値を決定し、計測部109で同期あわせタイミング計測カウンタの計測を開始する。目標値に達したところで、映像同期信号発生部108に対し垂直同期信号と水平同期信号とのリセットを指示し、垂直同期信号と水平同期信号との第1のカメラ100への同期を行う。 When the system controller 112 of the second camera 200 receives the response data of the synchronization communication from the first camera 100, the system controller 112 determines the value of the synchronization synchronization target value RST, and the measurement unit 109 measures the synchronization timing measurement counter. To start. When the target value is reached, the video synchronization signal generator 108 is instructed to reset the vertical synchronization signal and the horizontal synchronization signal, and the vertical synchronization signal and the horizontal synchronization signal are synchronized with the first camera 100.
以上のように本実施形態によれば、通信機器間の通信遅延量を考慮して機器間の映像同期信号のずれ量および同期あわせのタイミングを決定するようにした。これにより、同期あわせ処理において同期信号そのものを外部に出力することを不要にし、装置内部の信号端子や回路規模の大型化を低減することができる。さらに同期信号の入力端子および出力端子を不要にできるため、装置を小型化することが可能となり、小型の装置でも同期あわせを行うことが可能となる。 As described above, according to this embodiment, the amount of video synchronization signal shift between devices and the timing of synchronization are determined in consideration of the amount of communication delay between communication devices. Thereby, it is not necessary to output the synchronization signal itself to the outside in the synchronization matching process, and it is possible to reduce the increase in the signal terminals and the circuit scale inside the apparatus. Furthermore, since the input terminal and output terminal for the synchronization signal can be eliminated, the apparatus can be reduced in size, and synchronization can be performed even with a small apparatus.
また、本実施形態では、さらに受信待ち期間計測カウンタのリセット回数も計測するようにしている。例えば通信品質が悪く通信遅延が発生する環境で同期あわせを行う場合であっても、同期あわせ量と同期あわせタイミングとを決定することができ、通信品質に依らない同期あわせ処理が可能となる。 In this embodiment, the number of resets of the reception waiting period measurement counter is also measured. For example, even when synchronization is performed in an environment where communication quality is poor and communication delay occurs, the synchronization amount and the synchronization timing can be determined, and synchronization processing independent of the communication quality is possible.
また、本実施形態では、各種期間の計測に装置内部の計測部を用いたが、装置内にGPS(Grobal Positioning System)や電波時計など外部の基準時計からの信号を受信する受信部を備えるようにしてもよい。このように各装置の時刻の同期があっている場合に、計測結果の代わりに時刻情報を通信で送受信する方法であってもよく、同期のずれ量および同期あわせタイミングの決定はどのような方法であってもよい。 In this embodiment, the measurement unit inside the apparatus is used for measurement of various periods. However, the apparatus includes a reception unit that receives a signal from an external reference clock such as a GPS (Global Positioning System) or a radio clock. It may be. In this way, when the time of each device is synchronized, it may be a method of transmitting and receiving time information instead of a measurement result by communication, and any method for determining the amount of synchronization deviation and synchronization timing It may be.
また、本実施形態では、無線通信による装置間の通信を例に挙げたが、もちろん装置間を各種有線通信インターフェースで接続した有線通信であってもよい。また、同期あわせに用いる装置は撮像装置同士でなくとも、撮像機能を備えた通信端末と撮像装置、あるいは撮像機能を備えた通信端末同士の同期あわせであっても有効である。さらには3つ以上の装置間の同期あわせを行うようにしてもよい。また、撮像機能に関する同期信号に限らず、その他の機能に関する同期信号を対象としてもよい。 In the present embodiment, communication between devices by wireless communication is taken as an example, but of course, wired communication in which devices are connected by various wired communication interfaces may be used. Even if the apparatus used for synchronization is not between imaging apparatuses, it is also effective to synchronize between a communication terminal and an imaging apparatus having an imaging function, or between communication terminals having an imaging function. Further, synchronization between three or more devices may be performed. Further, not only the synchronization signal related to the imaging function but also the synchronization signal related to other functions may be targeted.
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。 Although the present invention has been described in detail based on preferred embodiments thereof, the present invention is not limited to these specific embodiments, and various forms within the scope of the present invention are also included in the present invention. included. A part of the above-described embodiments may be appropriately combined.
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
(Other embodiments)
The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
108 映像同期信号発生部
109 計測部
110 通信部
112 システムコントローラ
108 video synchronization signal generation unit 109 measurement unit 110 communication unit 112 system controller
Claims (14)
前記第1の通信機器は、
前記第2の通信機器との間で通信を行う第1の通信手段と、
前記第1の同期信号を生成してから、前記第2の通信機器から前記第1の同期信号と同期させるための要求を受信するまでの間の受信待ち量を取得する第1の取得手段と、
前記第2の通信機器から前記第1の同期信号と同期させるための要求を受信してから、前記要求に対する応答を送信するまでの送信待ち量を取得する第2の取得手段とを備え、
前記第2の通信機器は、
前記第1の通信機器との間で通信を行い、前記第2の同期信号を前記第1の同期信号と同期させるための要求を前記第1の通信機器に送信する第2の通信手段と、
前記第2の通信手段によって前記要求を送信してから、前記第1の通信機器から前記要求に対する応答を受信するまでの待ち量を取得する第3の取得手段と、
前記第2の同期信号を前記第1の同期信号と同期させる同期手段とを有し、
前記第1の通信手段は、前記要求に対する応答として、前記第1の取得手段によって取得された受信待ち量と前記第2の取得手段によって取得された送信待ち量との情報を前記第2の通信機器へ送信し、
前記同期手段は、前記第1の通信機器から受信された受信待ち量および送信待ち量と、前記第3の取得手段によって取得された待ち量とに基づいて、前記第2の同期信号を前記第1の同期信号と同期させることを特徴とする通信システム。 A first communication device that generates a first synchronization signal that serves as a reference for performing predetermined processing, and a second communication device that generates a second synchronization signal for performing processing corresponding to the predetermined processing A communication system connected via a network,
The first communication device is:
First communication means for communicating with the second communication device;
First acquisition means for acquiring a reception waiting amount from when the first synchronization signal is generated until a request for synchronization with the first synchronization signal is received from the second communication device; ,
Second acquisition means for acquiring a transmission waiting amount from when a request for synchronizing with the first synchronization signal is received from the second communication device until a response to the request is transmitted;
The second communication device is:
Second communication means for communicating with the first communication device and transmitting a request for synchronizing the second synchronization signal with the first synchronization signal to the first communication device;
Third acquisition means for acquiring a waiting amount from when the request is transmitted by the second communication means until a response to the request is received from the first communication device;
Synchronization means for synchronizing the second synchronization signal with the first synchronization signal;
As a response to the request, the first communication unit uses information on the reception waiting amount acquired by the first acquisition unit and the transmission waiting amount acquired by the second acquisition unit as the second communication. To the device,
The synchronization means sends the second synchronization signal to the first synchronization signal based on the reception waiting amount and transmission waiting amount received from the first communication device and the waiting amount acquired by the third acquisition means. A communication system characterized by being synchronized with one synchronization signal.
前記第1の通信手段は、前記要求に対する応答として、さらに前記リセットの回数の情報を前記第2の通信機器に送信し、
前記同期手段は、さらに前記リセットの回数の情報に基づいて前記第2の同期信号を前記第1の同期信号と同期させることを特徴とする請求項4に記載の通信システム。 The first acquisition means also acquires the number of times the reception waiting amount is reset,
The first communication means further transmits information about the number of resets to the second communication device as a response to the request,
5. The communication system according to claim 4, wherein the synchronization unit further synchronizes the second synchronization signal with the first synchronization signal based on the information on the number of times of reset.
前記外部の通信機器との間で通信を行う通信手段と、
前記第1の同期信号を生成してから、前記外部の通信機器から前記第1の同期信号と同期させるための要求を受信するまでの間の受信待ち量を取得する第1の取得手段と、
前記外部の通信機器から前記第1の同期信号と同期させるための要求を受信してから、前記要求に対する応答を送信するまでの送信待ち量を取得する第2の取得手段とを備え、
前記通信手段は、前記要求に対する応答として、前記第1の取得手段によって取得された受信待ち量と前記第2の取得手段によって取得された送信待ち量との情報を前記外部の通信機器へ送信することを特徴とする通信機器。 A device that generates a first synchronization signal that serves as a reference for performing a predetermined process, and generates a second synchronization signal for performing a process corresponding to the predetermined process, and converts the second synchronization signal into the second synchronization signal. A communication device connected via an external communication device to be synchronized with the first synchronization signal,
A communication means for communicating with the external communication device;
First acquisition means for acquiring a reception waiting amount from when the first synchronization signal is generated until a request for synchronization with the first synchronization signal is received from the external communication device;
Second acquisition means for acquiring a transmission waiting amount from when a request for synchronizing with the first synchronization signal is received from the external communication device until a response to the request is transmitted;
In response to the request, the communication unit transmits information about the reception waiting amount acquired by the first acquisition unit and the transmission waiting amount acquired by the second acquisition unit to the external communication device. Communication equipment characterized by this.
前記外部の通信機器との間で通信を行い、前記第2の同期信号を前記第1の同期信号と同期させるための要求を前記外部の通信機器に送信する通信手段と、
前記通信手段によって前記要求を送信してから、前記外部の通信機器から前記要求に対する応答を受信するまでの待ち量を取得する取得手段と、
前記第2の同期信号を前記第1の同期信号と同期させる同期手段とを有し、
前記通信手段は、前記要求に対する応答として、前記第1の同期信号を生成してから前記要求を受信するまでの間の受信待ち量と前記要求を受信してから前記要求に対する応答を送信するまでの送信待ち量との情報を前記外部の通信機器から受信し、
前記同期手段は、前記外部の通信機器から受信された受信待ち量および送信待ち量と、前記取得手段によって取得された待ち量とに基づいて、前記第2の同期信号を前記第1の同期信号と同期させることを特徴とする通信機器。 A second synchronization signal is generated for performing a process corresponding to the predetermined process, connected to an external communication device that generates a first synchronization signal as a reference for performing the predetermined process via a network. Communication equipment,
A communication means for communicating with the external communication device and transmitting a request for synchronizing the second synchronization signal with the first synchronization signal to the external communication device;
An acquisition unit that acquires a waiting amount from when the request is transmitted by the communication unit until a response to the request is received from the external communication device;
Synchronization means for synchronizing the second synchronization signal with the first synchronization signal;
The communication means, as a response to the request, from the generation of the first synchronization signal until the reception of the request and the amount of reception waiting until the response to the request is transmitted Receiving information from the external communication device with the amount of transmission waiting,
The synchronization means converts the second synchronization signal to the first synchronization signal based on the reception waiting amount and transmission waiting amount received from the external communication device and the waiting amount acquired by the acquisition means. A communication device characterized by being synchronized with.
前記第1の通信機器の制御方法として、
前記第2の通信機器との間で通信を行う第1の通信工程と、
前記第1の同期信号を生成してから、前記第2の通信機器から前記第1の同期信号と同期させるための要求を受信するまでの間の受信待ち量を取得する第1の取得工程と、
前記第2の通信機器から前記第1の同期信号と同期させるための要求を受信してから、前記要求に対する応答を送信するまでの送信待ち量を取得する第2の取得工程とを備え、
前記第2の通信機器の制御方法として、
前記第1の通信機器との間で通信を行い、前記第2の同期信号を前記第1の同期信号と同期させるための要求を前記第1の通信機器に送信する第2の通信工程と、
前記第2の通信工程において前記要求を送信してから、前記第1の通信機器から前記要求に対する応答を受信するまでの待ち量を取得する第3の取得工程と、
前記第2の同期信号を前記第1の同期信号と同期させる同期工程とを有し、
前記第1の通信工程においては、前記要求に対する応答として、前記第1の取得工程において取得された受信待ち量と前記第2の取得工程において取得された送信待ち量との情報を前記第2の通信機器へ送信し、
前記同期工程においては、前記第1の通信機器から受信された受信待ち量および送信待ち量と、前記第3の取得工程において取得された待ち量とに基づいて、前記第2の同期信号を前記第1の同期信号と同期させることを特徴とする通信方法。 A first communication device that generates a first synchronization signal that serves as a reference for performing predetermined processing, and a second communication device that generates a second synchronization signal for performing processing corresponding to the predetermined processing A communication method of a communication system connected via a network,
As a control method of the first communication device,
A first communication step of communicating with the second communication device;
A first acquisition step of acquiring a reception waiting amount from when the first synchronization signal is generated until a request for synchronization with the first synchronization signal is received from the second communication device; ,
A second acquisition step of acquiring a transmission waiting amount from when a request for synchronizing with the first synchronization signal is received from the second communication device until a response to the request is transmitted;
As a control method of the second communication device,
A second communication step of communicating with the first communication device and transmitting a request for synchronizing the second synchronization signal with the first synchronization signal to the first communication device;
A third acquisition step of acquiring a waiting amount from when the request is transmitted in the second communication step until a response to the request is received from the first communication device;
Synchronizing the second synchronization signal with the first synchronization signal,
In the first communication step, as a response to the request, information on the reception waiting amount acquired in the first acquisition step and the transmission waiting amount acquired in the second acquisition step is used. To the communication device,
In the synchronization step, the second synchronization signal is determined based on the reception waiting amount and transmission waiting amount received from the first communication device, and the waiting amount acquired in the third acquisition step. A communication method comprising synchronizing with a first synchronization signal.
前記外部の通信機器との間で通信を行う通信工程と、
前記第1の同期信号を生成してから、前記外部の通信機器から前記第1の同期信号と同期させるための要求を受信するまでの間の受信待ち量を取得する第1の取得工程と、
前記外部の通信機器から前記第1の同期信号と同期させるための要求を受信してから、前記要求に対する応答を送信するまでの送信待ち量を取得する第2の取得工程とを備え、
前記通信工程においては、前記要求に対する応答として、前記第1の取得工程において取得された受信待ち量と前記第2の取得工程において取得された送信待ち量との情報を前記外部の通信機器へ送信することを特徴とする通信機器の制御方法。 A device that generates a first synchronization signal that serves as a reference for performing a predetermined process, and generates a second synchronization signal for performing a process corresponding to the predetermined process, and converts the second synchronization signal into the second synchronization signal. A control method of a communication device connected via an external communication device to be synchronized with a first synchronization signal,
A communication step of communicating with the external communication device;
A first acquisition step of acquiring a reception waiting amount from when the first synchronization signal is generated until a request for synchronization with the first synchronization signal is received from the external communication device;
A second obtaining step of obtaining a transmission waiting amount from when a request for synchronizing with the first synchronization signal is received from the external communication device until a response to the request is transmitted;
In the communication step, as a response to the request, information on the reception waiting amount acquired in the first acquisition step and the transmission waiting amount acquired in the second acquisition step is transmitted to the external communication device. A method for controlling a communication device.
前記外部の通信機器との間で通信を行い、前記第2の同期信号を前記第1の同期信号と同期させるための要求を前記外部の通信機器に送信する通信工程と、
前記通信工程において前記要求を送信してから、前記外部の通信機器から前記要求に対する応答を受信するまでの待ち量を取得する取得工程と、
前記第2の同期信号を前記第1の同期信号と同期させる同期工程とを有し、
前記通信工程においては、前記要求に対する応答として、前記第1の同期信号を生成してから前記要求を受信するまでの間の受信待ち量と前記要求を受信してから前記要求に対する応答を送信するまでの送信待ち量との情報を前記外部の通信機器から受信し、
前記同期工程においては、前記外部の通信機器から受信された受信待ち量および送信待ち量と、前記取得工程において取得された待ち量とに基づいて、前記第2の同期信号を前記第1の同期信号と同期させることを特徴とする通信機器の制御方法。 A second synchronization signal is generated for performing a process corresponding to the predetermined process, connected to an external communication device that generates a first synchronization signal as a reference for performing the predetermined process via a network. A communication device control method,
A communication step of performing communication with the external communication device and transmitting a request for synchronizing the second synchronization signal with the first synchronization signal to the external communication device;
An acquisition step of acquiring a waiting amount from when the request is transmitted in the communication step until a response to the request is received from the external communication device;
Synchronizing the second synchronization signal with the first synchronization signal,
In the communication step, as a response to the request, a reception waiting amount from when the first synchronization signal is generated until the request is received, and a response to the request is transmitted after the request is received. Receiving information from the external communication device with the amount of transmission waiting until
In the synchronization step, the second synchronization signal is converted to the first synchronization based on the reception waiting amount and transmission waiting amount received from the external communication device and the waiting amount acquired in the acquisition step. A method for controlling a communication device, characterized by synchronizing with a signal.
前記外部の通信機器との間で通信を行う通信工程と、
前記第1の同期信号を生成してから、前記外部の通信機器から前記第1の同期信号と同期させるための要求を受信するまでの間の受信待ち量を取得する第1の取得工程と、
前記外部の通信機器から前記第1の同期信号と同期させるための要求を受信してから、前記要求に対する応答を送信するまでの送信待ち量を取得する第2の取得工程とをコンピュータに実行させ、
前記通信工程においては、前記要求に対する応答として、前記第1の取得工程において取得された受信待ち量と前記第2の取得工程において取得された送信待ち量との情報を前記外部の通信機器へ送信することを特徴とするプログラム。 A device that generates a first synchronization signal that serves as a reference for performing a predetermined process, and generates a second synchronization signal for performing a process corresponding to the predetermined process, and converts the second synchronization signal into the second synchronization signal. A program for controlling a communication device connected via an external communication device to be synchronized with a first synchronization signal,
A communication step of communicating with the external communication device;
A first acquisition step of acquiring a reception waiting amount from when the first synchronization signal is generated until a request for synchronization with the first synchronization signal is received from the external communication device;
Causing the computer to execute a second acquisition step of acquiring a transmission waiting amount from when a request for synchronization with the first synchronization signal is received from the external communication device until a response to the request is transmitted. ,
In the communication step, as a response to the request, information on the reception waiting amount acquired in the first acquisition step and the transmission waiting amount acquired in the second acquisition step is transmitted to the external communication device. The program characterized by doing.
前記外部の通信機器との間で通信を行い、前記第2の同期信号を前記第1の同期信号と同期させるための要求を前記外部の通信機器に送信する通信工程と、
前記通信工程において前記要求を送信してから、前記外部の通信機器から前記要求に対する応答を受信するまでの待ち量を取得する取得工程と、
前記第2の同期信号を前記第1の同期信号と同期させる同期工程とをコンピュータに実行させ、
前記通信工程においては、前記要求に対する応答として、前記第1の同期信号を生成してから前記要求を受信するまでの間の受信待ち量と前記要求を受信してから前記要求に対する応答を送信するまでの送信待ち量との情報を前記外部の通信機器から受信し、
前記同期工程においては、前記外部の通信機器から受信された受信待ち量および送信待ち量と、前記取得工程において取得された待ち量とに基づいて、前記第2の同期信号を前記第1の同期信号と同期させることを特徴とするプログラム。 A second synchronization signal is generated for performing a process corresponding to the predetermined process, connected to an external communication device that generates a first synchronization signal as a reference for performing the predetermined process via a network. A program for controlling a communication device,
A communication step of performing communication with the external communication device and transmitting a request for synchronizing the second synchronization signal with the first synchronization signal to the external communication device;
An acquisition step of acquiring a waiting amount from when the request is transmitted in the communication step until a response to the request is received from the external communication device;
Causing the computer to execute a synchronization step of synchronizing the second synchronization signal with the first synchronization signal;
In the communication step, as a response to the request, a reception waiting amount from when the first synchronization signal is generated until the request is received, and a response to the request is transmitted after the request is received. Receiving information from the external communication device with the amount of transmission waiting until
In the synchronization step, the second synchronization signal is converted to the first synchronization based on the reception waiting amount and transmission waiting amount received from the external communication device and the waiting amount acquired in the acquisition step. A program characterized by being synchronized with a signal.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016130162A JP6719994B2 (en) | 2016-06-30 | 2016-06-30 | Communication system, communication device, and communication method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016130162A JP6719994B2 (en) | 2016-06-30 | 2016-06-30 | Communication system, communication device, and communication method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018006959A true JP2018006959A (en) | 2018-01-11 |
JP6719994B2 JP6719994B2 (en) | 2020-07-08 |
Family
ID=60949982
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016130162A Active JP6719994B2 (en) | 2016-06-30 | 2016-06-30 | Communication system, communication device, and communication method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6719994B2 (en) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001211347A (en) * | 2000-01-27 | 2001-08-03 | Fuji Photo Film Co Ltd | Timing generator |
WO2012120763A1 (en) * | 2011-03-09 | 2012-09-13 | 日立コンシューマエレクトロニクス株式会社 | Video transmission device, video transmission method, video receiving device, and video receiving method |
JP2013121014A (en) * | 2011-12-06 | 2013-06-17 | Nippon Telegr & Teleph Corp <Ntt> | Time synchronization device and method |
WO2014091592A1 (en) * | 2012-12-13 | 2014-06-19 | 富士電機株式会社 | Signal synchronization system, node synchronization system, signal synchronization method, and node synchroniz ation method |
JP2015032997A (en) * | 2013-08-02 | 2015-02-16 | 株式会社Kddi研究所 | Base station device, control method of the same, and program |
JP2015171065A (en) * | 2014-03-10 | 2015-09-28 | 富士通株式会社 | system and method |
-
2016
- 2016-06-30 JP JP2016130162A patent/JP6719994B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001211347A (en) * | 2000-01-27 | 2001-08-03 | Fuji Photo Film Co Ltd | Timing generator |
WO2012120763A1 (en) * | 2011-03-09 | 2012-09-13 | 日立コンシューマエレクトロニクス株式会社 | Video transmission device, video transmission method, video receiving device, and video receiving method |
JP2013121014A (en) * | 2011-12-06 | 2013-06-17 | Nippon Telegr & Teleph Corp <Ntt> | Time synchronization device and method |
WO2014091592A1 (en) * | 2012-12-13 | 2014-06-19 | 富士電機株式会社 | Signal synchronization system, node synchronization system, signal synchronization method, and node synchroniz ation method |
JP2015032997A (en) * | 2013-08-02 | 2015-02-16 | 株式会社Kddi研究所 | Base station device, control method of the same, and program |
JP2015171065A (en) * | 2014-03-10 | 2015-09-28 | 富士通株式会社 | system and method |
Also Published As
Publication number | Publication date |
---|---|
JP6719994B2 (en) | 2020-07-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9066023B2 (en) | Image sensing apparatus, communication apparatus, and control method of these apparatuses | |
US10455180B2 (en) | Electronic apparatus and method for conditionally providing image processing by an external apparatus | |
US10349010B2 (en) | Imaging apparatus, electronic device and imaging system | |
KR101121153B1 (en) | Method and system for synchronizing video signal and sensor signal | |
US9992402B2 (en) | Imaging apparatus and imaging control apparatus having synchronous type wireless communication function | |
US8692666B2 (en) | Communication system and communication terminal | |
EP2908513B1 (en) | Image pick-up and display system, image pick-up device, image pick-up method, and program | |
KR20140001740A (en) | Image pickup apparatus, image pickup system, image pickup method and computer readable non-transitory recording medium | |
US20210337087A1 (en) | Method and system for automatically synchronizing audio-video inputs in a multi-camera environment | |
EP2595396A2 (en) | Glasses and method for pairing thereof | |
CN103339954A (en) | Image transmitting/receiving system, image transmitting apparatus, received image displaying apparatus, wireless control apparatus, and image transmitting/receiving method | |
US20120257022A1 (en) | Imaging apparatus and imaging method | |
JP2011077727A (en) | Positioning communication system, imaging device, and positioning device | |
US10827109B2 (en) | Imaging apparatus | |
US10397462B2 (en) | Imaging control apparatus and imaging apparatus for synchronous shooting | |
US10542200B2 (en) | Surveillance camera system | |
JP6719994B2 (en) | Communication system, communication device, and communication method | |
JP5990009B2 (en) | Information processing apparatus, control method thereof, and program | |
JP2013187826A (en) | Imaging device, imaging system, and imaging method | |
JP6251871B2 (en) | Projection display device | |
US20120105677A1 (en) | Method and apparatus for processing location information-based image data | |
US20240236512A1 (en) | Control apparatus, image capturing system and control method thereof, and storage medium | |
CN213602703U (en) | Video camera device with projection function | |
US20240121506A1 (en) | System consisting of electronic device and notification apparatus, control method thereof, and electronic device and notification apparatus | |
JP5995580B2 (en) | COMMUNICATION DEVICE, ITS CONTROL METHOD, PROGRAM |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190606 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200205 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200225 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200402 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200519 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200617 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6719994 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |