JP2020072300A

JP2020072300A - Imaging apparatus, control method of the same, and program

Info

Publication number: JP2020072300A
Application number: JP2018202928A
Authority: JP
Inventors: 俊雄簑島; Toshio Minoshima; 道紀中島; Michinori Nakajima
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2018-10-29
Filing date: 2018-10-29
Publication date: 2020-05-07
Anticipated expiration: 2038-10-29
Also published as: JP7146574B2

Abstract

To provide an imaging apparatus, a control method of the same, and a program for preventing a phase of an external synchronous signal and a phase of a time code from being deviated when synchronizing a plurality of images.SOLUTION: The imaging apparatus includes: first acquisition means for acquiring a first phase shift amount between a synchronous signal input from an external device and a system clock of the imaging apparatus; second acquisition means for acquiring a second phase shift amount between a phase of subframe information more accurate than frame information included in an external time code input from the external device and a phase of an internal time code of the imaging apparatus; and adjusting means for adjusting a system clock of the imaging apparatus based on the first phase shift amount and the second phase shift amount.SELECTED DRAWING: Figure 1

Description

本発明は、映像の同期を行う撮像装置、撮像装置の制御方法およびプログラムに関する。 The present invention relates to an image pickup apparatus for synchronizing images, a control method for the image pickup apparatus, and a program.

近年、ＨＤ（High Definition）と呼ばれる高解像度および高フレームレートの映像が用いられようになっており、ＨＤに対応した規格化も進んでいる。映像の同期に用いられるタイムコードについても、高フレームレート化に対応したタイムコードが用いられるようになっている。例えば、フレームレートが６０ｐ以上にも対応可能なタイムコードがＳＭＰＴＥＳＴ１２−３で規格化されている。 In recent years, high resolution and high frame rate images called HD (High Definition) have been used, and standardization corresponding to HD is also in progress. As for the time code used for video synchronization, the time code corresponding to the high frame rate is also used. For example, a time code capable of supporting a frame rate of 60p or more is standardized by SMPTE ST 12-3.

また、複数のビデオカメラを使用して、複数のビデオカメラが撮影した映像や音声を、所定のコンピュータで実行されるアプリケーションが、タイムコードにより同期させて編集する技術が用いられている。関連する技術として、特許文献１の撮像装置が提案されている。特許文献１の撮像装置では、外部装置から入力されている映像同期信号及びタイムコードを使用して位相を合わせる撮像装置において、外部装置から入力されている映像同期信号及びタイムコードの位相と、フレームレート変換情報の位相とを同期させている。 In addition, a technique is used in which, using a plurality of video cameras, an application executed by a predetermined computer synchronizes images and sounds captured by the plurality of video cameras with a time code to edit them. As a related technique, the imaging device of Patent Document 1 has been proposed. In the image pickup apparatus of Patent Document 1, in an image pickup apparatus that uses an image synchronization signal and a time code input from an external device to adjust the phase, the phase of the image synchronization signal and the time code input from the external device and the frame The phase of the rate conversion information is synchronized.

特許第５８５４８３２号Patent No. 5854832

撮像装置が撮影した映像と外部装置（他の撮像装置）が撮影した映像とを、同期信号およびタイムコードを用いて、複数の撮像装置が撮影した映像を同期させることが考えられる。この場合、外部装置から入力される同期信号の位相およびタイムコードの位相と、撮像装置内部の同期信号の位相およびタイムコードの位相との間にずれを生じる可能性がある。同期信号の位相またはタイムコードの位相にずれが生じていると、複数の映像同士を正常に同期させることができない。 It is conceivable to synchronize the video imaged by the imaging device with the video imaged by the external device (another imaging device) by using the synchronization signal and the time code. In this case, there is a possibility that the phase of the sync signal and the phase of the time code input from the external device may deviate from the phase of the sync signal and the time code in the imaging device. If the phase of the sync signal or the phase of the time code is deviated, the plurality of videos cannot be normally synchronized.

本発明の目的は、複数の映像の同期を行う際に、同期信号の位相およびタイムコードの位相がずれないようにする撮像装置、撮像装置の制御方法およびプログラムを提供することにある。 An object of the present invention is to provide an imaging device, a method for controlling the imaging device, and a program that prevent the phase of a synchronization signal and the phase of a time code from shifting when synchronizing a plurality of images.

上記目的を達成するために、本発明の撮像装置は、外部装置から入力した同期信号と前記撮像装置のシステムクロックとの間の第１位相ずれ量を取得する第１取得手段と、前記外部装置から入力した外部タイムコードに含まれるフレーム情報より精度が高いサブフレーム情報の位相と前記撮像装置の内部タイムコードの位相との間の第２位相ずれ量を取得する第２取得手段と、前記第１位相ずれ量および前記第２位相ずれ量に基づいて、前記撮像装置のシステムクロックを調整する調整手段と、を備えることを特徴とする。 In order to achieve the above object, the image pickup apparatus of the present invention includes a first acquisition unit that acquires a first phase shift amount between a synchronization signal input from an external apparatus and a system clock of the image pickup apparatus, and the external apparatus. Second acquisition means for acquiring a second phase shift amount between the phase of the sub-frame information having a higher accuracy than the frame information included in the external time code input from the input device and the phase of the internal time code of the imaging device; Adjusting means for adjusting the system clock of the imaging device based on the one phase shift amount and the second phase shift amount.

本発明によれば、複数の映像の同期を行う際に、同期信号の位相およびタイムコードの位相がずれないようにすることができる。 According to the present invention, when synchronizing a plurality of images, it is possible to prevent the phase of the synchronization signal and the phase of the time code from deviating from each other.

第１実施形態に係る撮像装置の構成例を示す図である。It is a figure which shows the structural example of the imaging device which concerns on 1st Embodiment. タイムコードおよび拡張タイムコードを示す図である。It is a figure which shows a time code and an extended time code. 第１実施形態に係る撮像装置の処理の流れを示すフローチャートである。6 is a flowchart showing a processing flow of the image pickup apparatus according to the first embodiment. 第１実施形態に係る撮像装置の処理の流れを示すフローチャートである。6 is a flowchart showing a processing flow of the image pickup apparatus according to the first embodiment. 水平同期信号、垂直同期信号およびタイムコードの関係を示す図である。It is a figure which shows the relationship of a horizontal synchronizing signal, a vertical synchronizing signal, and a time code. 図５の状態から水平同期信号の位相を合わせた場合の例を示す図である。It is a figure which shows the example at the time of matching the phase of a horizontal synchronizing signal from the state of FIG. 図６の状態からタイムコードのサブフレーム情報が０でない部分に位相を合わせないようにして垂直同期信号の位相を合わせる場合の例を説明する図である。It is a figure explaining the example in case the phase of a vertical synchronizing signal is matched so that a phase may not be matched with the part where the sub-frame information of time code is not 0 from the state of FIG. （Ａ）は位相合わせが完了したことを示す画面例を示す図であり、（Ｂ）は位相がずれている可能性があることを示す画面例を示す図である。(A) is a diagram showing an example of a screen showing that the phase matching is completed, and (B) is a diagram showing an example of a screen showing that the phases may be shifted. 外部装置から入力されているタイムコードの位相が内部のタイムコードに合った状態の例を示す図である。It is a figure which shows the example of the state in which the phase of the time code input from the external device matched the internal time code. 第２実施形態に係る撮像装置の構成例を示す図である。It is a figure which shows the structural example of the imaging device which concerns on 2nd Embodiment. 第２実施形態に係る撮像装置の処理の流れを示すフローチャートである。7 is a flowchart showing a processing flow of the image pickup apparatus according to the second embodiment. 第２実施形態に係る撮像装置の処理の流れを示すフローチャートである。7 is a flowchart showing a processing flow of the image pickup apparatus according to the second embodiment. 外部タイムコードと内部タイムコードとの位相がずれている場合を示す図である。It is a figure which shows the case where the phase of the external time code and the internal time code has shifted.

以下、本発明の各実施の形態について図面を参照しながら詳細に説明する。しかしながら、以下の各実施の形態に記載されている構成はあくまで例示に過ぎず、本発明の範囲は各実施の形態に記載されている構成によって限定されることはない。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. However, the configurations described in the following respective embodiments are merely examples, and the scope of the present invention is not limited by the configurations described in the respective embodiments.

＜第１実施形態＞
図面を参照して、第１実施形態について説明する。図１は、第１実施形態に係る撮像装置１００の構成例を示す図である。撮像装置１００は、外部装置と接続されており、当該外部装置から同期信号およびタイムコード情報を含む外部信号が撮像装置１００に入力される。撮像装置１００および外部装置（他の撮像装置）は、例えば、ビデオカメラである。撮像装置１００には、複数の外部装置が接続されていてもよい。撮像装置１００は、外部装置と、任意の端子により接続される。例えば、撮像装置１００と外部装置とは、ＳＤＩ（Serial Digital Interface）端子やＨＤＭI（登録商標）（High-Definition Multimedia Interface（登録商標））等により接続されてもよい。撮像装置１００は、システム制御部１０１、撮像部１０２、撮像素子部１０３、動画像記憶部１０４、表示部１０５、表示用データ記憶部１０６、入力部１０７およびシステムクロック生成部１０８を有する。 <First Embodiment>
A first embodiment will be described with reference to the drawings. FIG. 1 is a diagram illustrating a configuration example of the image pickup apparatus 100 according to the first embodiment. The imaging device 100 is connected to an external device, and an external signal including a synchronization signal and time code information is input to the imaging device 100 from the external device. The imaging device 100 and the external device (other imaging device) are, for example, video cameras. A plurality of external devices may be connected to the imaging device 100. The imaging device 100 is connected to an external device by an arbitrary terminal. For example, the imaging device 100 and the external device may be connected by an SDI (Serial Digital Interface) terminal, HDMI (registered trademark) (High-Definition Multimedia Interface (registered trademark)), or the like. The image pickup apparatus 100 includes a system control unit 101, an image pickup unit 102, an image pickup element unit 103, a moving image storage unit 104, a display unit 105, a display data storage unit 106, an input unit 107, and a system clock generation unit 108.

システム制御部１０１は、撮像信号制御部１０９、動画像制御部１１０、表示制御部１１１、表示用データ制御部１１２、入力制御部１１３、タイムコード位相制御部１１４、タイムコード制御部１１５およびタイムコード生成部１１６を有する。また、システム制御部１０１は、外部タイムコード制御部１１７、外部タイムコード検出部１１８、外部信号検出部１１９、同期信号位相制御部１２０、外部同期信号制御部１２１、外部同期信号検出部１２２およびシステムクロック制御部１２３を有する。また、システム制御部１０１は、ＣＰＵ（Central Processing Unit）やＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を有する。システム制御部１０１の各部の機能は、ＣＰＵが、ＲＡＭを作業エリアとして、ＲＯＭに格納された制御プログラムを実行することで実現される。ＣＰＵは、システムクロック生成部１０８から入力されるクロックで動作する。 The system control unit 101 includes an imaging signal control unit 109, a moving image control unit 110, a display control unit 111, a display data control unit 112, an input control unit 113, a time code phase control unit 114, a time code control unit 115, and a time code. It has a generator 116. The system control unit 101 also includes an external time code control unit 117, an external time code detection unit 118, an external signal detection unit 119, a synchronization signal phase control unit 120, an external synchronization signal control unit 121, an external synchronization signal detection unit 122, and a system. It has a clock controller 123. The system control unit 101 has a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and the like. The function of each unit of the system control unit 101 is realized by the CPU executing the control program stored in the ROM using the RAM as a work area. The CPU operates with the clock input from the system clock generation unit 108.

撮像部１０２は、フォーカスレンズやズームレンズ、絞り、シャッター等の光学部を含み、撮像対象から入射する光学像に対して所定の光学処理を行い、撮像素子部１０３に出力する。撮像素子部１０３は、撮像部１０２により光学処理された光学像を電気信号に変換する処理を行い、変換した電気信号を撮像信号制御部１０９に出力する。撮像素子部１０３は、ＣＣＤ（Charge Coupled Device Image Sensor）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等が適用される。表示部１０５は、表示制御部１１１から送られてくる、表示形式に変換されたデータを表示する。表示部１０５は、ＬＣＤ（Liquid Crystal Monitor）やＥＶＦ（Electronic View Finder）等の液晶画面が適用され得る。動画像記憶部１０４は、動画像データを記憶する記憶部である。表示用データ記憶部１０６は、表示用データを記憶する記憶部である。動画像記憶部１０４や表示用データ記憶部１０６は、ＨＤＤ(Hard Disk Drive)やＤＶＤ（Digital Versatile Disc）等の光ディスクが適用されてもよいし、不揮発性のメモリーカードなどの記憶媒体が適用されてもよい。入力部１０７は、ユーザーによる各種の操作を受け付けることが可能であり、例えば、ジョグダイヤルやダイヤルスイッチ等が適用される。 The imaging unit 102 includes an optical unit such as a focus lens, a zoom lens, a diaphragm, and a shutter, performs a predetermined optical processing on an optical image incident from an imaging target, and outputs the optical image to the imaging element unit 103. The imaging element unit 103 performs a process of converting the optical image optically processed by the imaging unit 102 into an electric signal, and outputs the converted electric signal to the imaging signal control unit 109. A CCD (Charge Coupled Device Image Sensor), a CMOS (Complementary Metal Oxide Semiconductor), or the like is applied to the imaging element unit 103. The display unit 105 displays the data converted from the display format sent from the display control unit 111. A liquid crystal screen such as an LCD (Liquid Crystal Monitor) or an EVF (Electronic View Finder) can be applied to the display unit 105. The moving image storage unit 104 is a storage unit that stores moving image data. The display data storage unit 106 is a storage unit that stores display data. The moving image storage unit 104 and the display data storage unit 106 may be an optical disk such as an HDD (Hard Disk Drive) or a DVD (Digital Versatile Disc), or a storage medium such as a non-volatile memory card. May be. The input unit 107 can receive various operations by the user, and for example, a jog dial, a dial switch, or the like is applied.

撮像信号制御部１０９は、撮像素子部１０３から入力した電気信号に対してＡ／Ｄ変換処理や増幅処理等の画像処理を施し、映像信号を生成する。生成される映像信号は、記録方式によりフレームレート（１秒間のフレーム数）が異なる。フレームレートは、ＮＴＳＣ方式の場合は、１２０ｐ、６０ｐ、６０i、３０ｐまたは２４ｐの何れかである。、また、フレームレートは、ＰＡＬ方式の場合は１００ｐ、５０ｐ、５０iまたは２５ｐの何れかである。また、動画像記憶部１０４に記憶されるデータの記録画像サイズは、４０９６×２１６０や３８４０×２１６０、２１６０×１０８０、１９２０×１０８０、１２８０×７２０、１４４０×１０８０等が設定可能である。フレームレートおよび記録画像サイズは、上述した値には限定されない。以下、撮像装置１００における記録画像サイズは、１９２０×１０８０、フレームレートは３０ｐに設定されているものとして説明する。撮像信号制御部１０９は、上記の映像信号を動画像制御部１１０に送る。 The imaging signal control unit 109 performs image processing such as A / D conversion processing and amplification processing on the electric signal input from the imaging element unit 103 to generate a video signal. The frame rate (the number of frames per second) of the generated video signal differs depending on the recording method. The frame rate is either 120p, 60p, 60i, 30p or 24p in the case of the NTSC system. The frame rate is 100p, 50p, 50i or 25p in the PAL system. The recording image size of the data stored in the moving image storage unit 104 can be set to 4096 × 2160, 3840 × 2160, 2160 × 1080, 1920 × 1080, 1280 × 720, 1440 × 1080, or the like. The frame rate and the recorded image size are not limited to the above values. Hereinafter, it is assumed that the recording image size in the imaging device 100 is set to 1920 × 1080 and the frame rate is set to 30p. The imaging signal control unit 109 sends the above video signal to the moving image control unit 110.

動画像制御部１１０は、映像信号の圧縮（エンコード）や伸張（デコード）を行う機能を有している。動画像制御部１１０は、撮像信号制御部１０９から映像信号が送られてきた場合、映像信号を圧縮（エンコード）し、圧縮（エンコード）された動画像データを動画像記憶部１０４に送る。また、動画像制御部１１０は、入力制御部１１３により送られる指示により動画像記憶部１０４に対して所望の動画像データを取得するように指示を送る。そして、動画像制御部１１０は、動画像記憶部１０４から動画像データが送られてくると、動画像データの伸張（デコード）を行い、表示制御部１１１に送る。これにより、表示部１０５に動画像データの表示が行われる。さらに、動画像制御部１１０は、タイムコード位相制御部１１４からタイムコードが送られてきた場合は、映像信号にタイムコードを重畳してから圧縮（エンコード）を行う。 The moving image control unit 110 has a function of compressing (encoding) or expanding (decoding) a video signal. When the video signal is sent from the imaging signal control unit 109, the moving image control unit 110 compresses (encodes) the video signal and sends the compressed (encoded) moving image data to the moving image storage unit 104. The moving image control unit 110 also sends an instruction to the moving image storage unit 104 to acquire desired moving image data according to the instruction sent by the input control unit 113. Then, when the moving image data is sent from the moving image storage unit 104, the moving image control unit 110 decompresses (decodes) the moving image data and sends it to the display control unit 111. As a result, the moving image data is displayed on the display unit 105. Furthermore, when the time code is sent from the time code phase control unit 114, the moving image control unit 110 superimposes the time code on the video signal and then performs compression (encoding).

動画像記憶部１０４は、ＭＰＥＧ２(Moving Picture Experts Group)、Ｈ．２６４、Ｈ．２６５等の形式に基づいた動画像データとして記憶することが可能である。動画像記憶部１０４は、動画像制御部１１０から受けた指示により動画像データの書き込みや読み出しを行うことも可能である。入力制御部１１３は、入力部１０７を介して、入力操作（ユーザーによる入力操作）を受け付ける。入力制御部１１３が、動画像制御部１１０に指示を送ることで記録開始や記録停止、記録フレームレートの選択が可能である。また、入力制御部１１３が、表示用データ制御部１１２に指示を送ることで表示用データ記憶部１０６から所望の表示用データを選択することができる。また、入力制御部１１３が、タイムコード制御部１１５に指示を送ることでタイムコードの設定をユーザーが任意で設定することも可能である。 The moving image storage unit 104 is based on MPEG2 (Moving Picture Experts Group), H.264. H.264, H.264. It can be stored as moving image data based on a format such as H.265. The moving image storage unit 104 can also write and read moving image data according to an instruction received from the moving image control unit 110. The input control unit 113 receives an input operation (input operation by the user) via the input unit 107. The input control unit 113 can start recording, stop recording, and select a recording frame rate by sending an instruction to the moving image control unit 110. Further, the input control unit 113 can select desired display data from the display data storage unit 106 by sending an instruction to the display data control unit 112. Further, the input control unit 113 can also set the time code by the user by sending an instruction to the time code control unit 115.

表示用データ制御部１１２は、入力制御部１１３より受けた指示により表示用データを表示用データ記憶部１０６から読み出すことができ、読み出した表示用データを表示制御部１１１に送る。表示用データ記憶部１０６は、表示用データを記憶しており、表示用データ制御部１１２から受けた指示により表示用データが読み出される。表示制御部１１１は、表示用データや映像信号、タイムコードの情報、同期信号の情報等を合成し、表示部１０５が表示可能な形式のデータに変換する。変換されたデータは、表示部１０５に送られる。 The display data control unit 112 can read the display data from the display data storage unit 106 according to an instruction received from the input control unit 113, and sends the read display data to the display control unit 111. The display data storage unit 106 stores display data, and the display data is read according to an instruction received from the display data control unit 112. The display control unit 111 synthesizes the display data, the video signal, the information of the time code, the information of the synchronization signal, and the like, and converts them into data in a format that the display unit 105 can display. The converted data is sent to the display unit 105.

タイムコード生成部１１６は、タイムコード制御部１１５より受けた指示によりタイムコードの生成を行う。タイムコードは、時、分、秒、フレーム情報、サブフレーム情報単位で生成可能であり、設定されている記録フレームレートによってフレーム数は変わる。サブフレーム情報は、フレーム情報より精度の高いタイムコードの拡張情報である。図２は、タイムコードおよび拡張タイムコードを示す図である。タイムコードに対するタイムコード設定値の詳細はＳＭＰＴＥＳＴ１２を参照とし、ここでの詳細な説明は省略する。図２（Ａ）のように、ＳＭＰＴＥＳＴ１２−１やＳＭＰＴＥＳＴ１２−２で定義されているタイムコード設定値は、時間（ＨＨ）２０１、分（ＭＭ）２０２、秒（ＳＳ）２０３、「００〜２９」までのフレーム情報（ＦＦ）２０４で表現されていた。時間（ＨＨ）２０１は、「００〜２３」の範囲であり、分（ＭＭ）２０２は、「００〜５９」の範囲であり、フレーム情報（ＦＦ）２０４は、「００〜２９」の範囲である。従って、図２（Ａ）のタイムコードの場合、「０〜２９」の３０Ｐまで、各フレームに対して異なるタイムコードを付加することができ、各フレームを区別することができる。 The time code generator 116 generates a time code according to the instruction received from the time code controller 115. The time code can be generated in units of hours, minutes, seconds, frame information, and subframe information, and the number of frames changes depending on the set recording frame rate. The subframe information is time code extension information that is more accurate than the frame information. FIG. 2 is a diagram showing a time code and an extended time code. For details of the time code set value for the time code, refer to SMPTE ST 12 and detailed description thereof will be omitted. As shown in FIG. 2 (A), the time code setting values defined in SMPTE ST 12-1 and SMPTE ST 12-2 are the time (HH) 201, the minute (MM) 202, the second (SS) 203, “ It is represented by frame information (FF) 204 of "00 to 29". The hour (HH) 201 is in the range of "00-23", the minute (MM) 202 is in the range of "00-59", and the frame information (FF) 204 is in the range of "00-29". is there. Therefore, in the case of the time code of FIG. 2A, different time codes can be added to each frame up to 30P of “0 to 29”, and each frame can be distinguished.

しかし、１２０ｐなど、フレームレートが高くなるとＳＭＰＴＥＳＴ１２−１、ＳＭＰＴＥＳＴ１２−２ではフレームの区別をすることができず、異なるフレームに同一のタイムコード値を設定しなくてはならない。そのため、ＳＭＰＴＥＳＴ１２−３では、新たにサブフレーム情報が定義された。サブフレーム情報（ＳＦ）２０５は、「００〜３１」の範囲であり、１つのフレーム情報（ＦＦ）２０４に、複数のサブフレーム情報（ＳＦ）２０５が割り当てられている。その結果、フレーム情報（ＦＦ）２０４とサブフレーム情報（ＳＦ）２０５との両者が用いられることで、「０〜９５９」の９６０ｐまで、各フレームに対して異なるタイムコードを付加することができ、各フレームを区別することが可能となる。 However, when the frame rate becomes high, such as 120p, the SMPTE ST 12-1 and the SMPTE ST 12-2 cannot distinguish the frames, and the same time code value must be set in different frames. Therefore, in SMPTE ST 12-3, subframe information is newly defined. The subframe information (SF) 205 is in the range of “00 to 31”, and one frame information (FF) 204 is assigned with a plurality of subframe information (SF) 205. As a result, by using both the frame information (FF) 204 and the subframe information (SF) 205, different time codes can be added to each frame up to 960p of “0 to 959”. It is possible to distinguish each frame.

図１に示されるように、タイムコード位相制御部１１４は、タイムコード制御部１１５から送られてくるタイムコード（内部タイムコード）と外部タイムコード制御部１１７から送られてくるタイムコード（外部タイムコード）との位相制御を行う。タイムコード位相制御部１１４は、第２取得手段に対応する。以下、内部タイムコードには、サブフレーム情報が定義されてなく、外部タイムコードにはサブフレーム情報が定義されているものとして説明する。 As shown in FIG. 1, the time code phase control unit 114 includes a time code (internal time code) sent from the time code control unit 115 and a time code (external time code) sent from the external time code control unit 117. Code) and phase control. The time code phase control unit 114 corresponds to the second acquisition means. Hereinafter, it is assumed that the subframe information is not defined in the internal time code and the subframe information is defined in the external time code.

タイムコード位相制御部１１４は、タイムコードに基づく位相をずらす必要がある場合、同期信号位相制御部１２０に位相をずらす量を送る。タイムコード位相制御部１１４は、外部タイムコード制御部１１７から外部タイムコードが送られてきた場合は、タイムコード制御部１１５に外部タイムコードを送ることで、撮像装置１００の内部タイムコードが変更される。また、タイムコード位相制御部１１４は、動画像制御部１１０とタイムコードの入出力を行うことで、映像信号にタイムコードを重畳してから圧縮（エンコード）や伸張（デコード）を行う。これにより、映像信号からタイムコードを取得することができる。さらに、タイムコード位相制御部１１４は、位相制御したタイムコードを表示制御部１１１に送ることで表示部１０５にタイムコードを表示することが可能である。 When it is necessary to shift the phase based on the time code, the time code phase control unit 114 sends the phase shift amount to the synchronization signal phase control unit 120. When the external time code control unit 117 sends the external time code, the time code phase control unit 114 sends the external time code to the time code control unit 115 to change the internal time code of the imaging device 100. It Further, the time code phase control unit 114 inputs and outputs the time code to and from the moving image control unit 110, thereby performing compression (encoding) and expansion (decoding) after superimposing the time code on the video signal. As a result, the time code can be acquired from the video signal. Furthermore, the time code phase control unit 114 can display the time code on the display unit 105 by sending the phase-controlled time code to the display control unit 111.

タイムコード制御部１１５は、タイムコード生成部１１６により生成されるタイムコードを読み出しタイムコード位相制御部１１４に送る。また、タイムコード制御部１１５は、タイムコード位相制御部１１４から送られてきたタイムコードをタイムコード生成部１１６に送ることで撮像装置１００のタイムコードを変更することも可能である。また、タイムコード制御部１１５は、入力制御部１１３より受けた指示によりタイムコード生成部１１６にタイムコードを送ることも可能である。 The time code control unit 115 reads the time code generated by the time code generation unit 116 and sends it to the time code phase control unit 114. Further, the time code control unit 115 can change the time code of the imaging device 100 by sending the time code sent from the time code phase control unit 114 to the time code generation unit 116. The time code control unit 115 can also send the time code to the time code generation unit 116 according to an instruction received from the input control unit 113.

外部タイムコード制御部１１７は、外部タイムコード検出部１１８から送られてくるタイムコードの周波数やサブフレーム情報の有無を検出し、検出結果をタイムコード位相制御部１１４に通知する。外部タイムコード検出部１１８は、外部信号検出部１１９によりタイムコードが入力されたか否かを、ＳＤＩ端子やタイムコード端子等によりチェックする。外部タイムコード検出部１１８は、タイムコードの入力が検出された場合にタイムコードを抽出し、抽出されたタイムコードの情報を外部タイムコード制御部１１７に送る。外部信号検出部１１９は、外部装置からの入力信号の有無を検出し、入力信号を検出した場合、当該入力信号を、タイムコードを表す信号と外部同期信号（外部装置から入力した同期信号）とに分離する。外部信号検出部１１９は、分離された２つの信号のうち、タイムコードを外部タイムコード検出部１１８に送り、外部同期信号を外部同期信号検出部１２２に送る。 The external time code control unit 117 detects the frequency of the time code sent from the external time code detection unit 118 and the presence or absence of subframe information, and notifies the time code phase control unit 114 of the detection result. The external time code detection unit 118 checks whether or not the time code is input by the external signal detection unit 119 by using the SDI terminal, the time code terminal, or the like. The external time code detection unit 118 extracts the time code when the input of the time code is detected, and sends the information of the extracted time code to the external time code control unit 117. The external signal detection unit 119 detects the presence or absence of an input signal from the external device, and when the input signal is detected, the input signal is a signal indicating a time code and an external synchronization signal (a synchronization signal input from the external device). To separate. The external signal detection unit 119 sends the time code of the two separated signals to the external time code detection unit 118, and sends the external synchronization signal to the external synchronization signal detection unit 122.

同期信号位相制御部１２０は、外部同期信号制御部１２１から送られてくる外部同期信号とシステムクロック制御部１２３から送られてくるシステムクロックとの位相のずれ量（第１位相ずれ量）を算出することにより、取得する。同期信号位相制御部１２０は、取得された第１位相ずれ量をシステムクロック制御部１２３に送り、撮像装置１００のシステムクロックの位相をずらす要求を出す。同期信号位相制御部１２０は、第１取得手段に対応する。内部タイムコードと外部タイムコードとの位相がずれている場合、同期信号位相制御部１２０に、タイムコード位相制御部１１４からタイムコードの位相のずれ量（第２位相ずれ量）が送られてくる。同期信号位相制御部１２０は、第１位相ずれ量および第２位相ずれ量をシステムクロック制御部１２３に送る。これにより、外部装置の動作周波数と撮像装置１００の内部の動作周波数とが異なる場合でも、同期信号位相制御部１２０は、タイムコードの位相のずれ量を加味して、システムクロックの位相をずらす要求をシステムクロック制御部１２３に出すことができる。また、同期信号位相制御部１２０は、表示制御部１１１に位相合わせが完了した通知を送ることで表示部１０５に位相合わせが完了したことを表示することができる。 The synchronization signal phase control unit 120 calculates the phase shift amount (first phase shift amount) between the external synchronization signal sent from the external synchronization signal control unit 121 and the system clock sent from the system clock control unit 123. To get it. The synchronization signal phase control unit 120 sends the acquired first phase shift amount to the system clock control unit 123, and issues a request to shift the phase of the system clock of the imaging device 100. The synchronization signal phase controller 120 corresponds to the first acquisition means. When the internal time code and the external time code are out of phase with each other, the time code phase control unit 114 sends the time code phase deviation amount (second phase deviation amount) to the synchronization signal phase control unit 120. .. The synchronization signal phase control unit 120 sends the first phase shift amount and the second phase shift amount to the system clock control unit 123. As a result, even when the operating frequency of the external device and the operating frequency of the imaging device 100 are different, the synchronization signal phase control unit 120 requests to shift the phase of the system clock in consideration of the phase shift amount of the time code. Can be output to the system clock controller 123. Further, the synchronization signal phase control unit 120 can display the completion of the phase adjustment on the display unit 105 by sending a notification that the phase adjustment is completed to the display control unit 111.

外部同期信号制御部１２１は、外部同期信号検出部１２２が検出した外部同期信号から水平同期信号および垂直同期信号を抽出し、同期信号位相制御部１２０に送る。外部同期信号検出部１２２は、外部装置からＳＤＩ端子や同期信号入力端子等により同期信号が入力されたか否かをチェックする。外部同期信号検出部１２２は、外部同期信号の入力が検出された場合に垂直同期信号を抽出し、抽出された垂直同期信号の情報を外部同期信号制御部１２１に送る。システムクロック制御部１２３は、同期信号位相制御部１２０からシステムクロックの位相のずれ量が送られてきた場合に、位相のずれ量を調整する制御を行う。システムクロック制御部１２３は、調整手段に対応する。例えば、システムクロック制御部１２３は、システムクロック生成部１０８に対して位相のずれを吸収するようＰＬＬ（Phase Lock Loop）制御を行い、位相を合わせる制御を行う。 The external synchronization signal control unit 121 extracts a horizontal synchronization signal and a vertical synchronization signal from the external synchronization signal detected by the external synchronization signal detection unit 122 and sends them to the synchronization signal phase control unit 120. The external sync signal detection unit 122 checks whether or not a sync signal is input from an external device through the SDI terminal, the sync signal input terminal, or the like. The external synchronization signal detection unit 122 extracts the vertical synchronization signal when the input of the external synchronization signal is detected, and sends the information of the extracted vertical synchronization signal to the external synchronization signal control unit 121. The system clock control unit 123 performs control for adjusting the phase shift amount when the phase shift amount of the system clock is sent from the synchronization signal phase control unit 120. The system clock control unit 123 corresponds to the adjusting means. For example, the system clock control unit 123 performs PLL (Phase Lock Loop) control for the system clock generation unit 108 so as to absorb the phase shift, and performs control for matching the phases.

次に、本実施形態に係る撮像装置１００の位相合わせの処理について、説明する。図３および図４は、本実施形態に係る撮像装置１００の処理の流れを示すフローチャートである。図３および図４のフローチャートは、撮像装置１００に電源が入り、撮像装置１００が起動している状態で実行されるフローチャートである。外部信号検出部１１９は、外部装置から外部同期信号が入力されたか否かを判定する（Ｓ３０１）。外部装置から外部同期信号が入力されていない場合、ステップＳ３０１でＮＯと判定される。この場合、フローは、ステップＳ３０１に戻る。外部装置から外部同期信号が入力されている場合、ステップＳ３０１でＹＥＳと判定される。この場合、システム制御部１０１は、外部装置から入力したタイムコード値を取得し、ハードウェアでデータを検知してから、ソフトウェアでタイムコード値が制御できるまでの遅延調整を行う（Ｓ３０２）。 Next, a phase matching process of the image pickup apparatus 100 according to the present embodiment will be described. 3 and 4 are flowcharts showing the flow of processing of the image capturing apparatus 100 according to this embodiment. The flowcharts of FIGS. 3 and 4 are flowcharts executed when the image pickup apparatus 100 is powered on and the image pickup apparatus 100 is activated. The external signal detection unit 119 determines whether an external synchronization signal is input from the external device (S301). When the external synchronization signal is not input from the external device, NO is determined in step S301. In this case, the flow returns to step S301. When the external synchronization signal is input from the external device, YES is determined in step S301. In this case, the system control unit 101 acquires the time code value input from the external device, performs delay adjustment until the time code value can be controlled by software after the data is detected by hardware (S302).

図５は、外部信号検出部１１９が、外部入力信号を検出した場合の例を示す図である。外部装置から外部同期信号が入力されたときの水平同期信号、垂直同期信号およびタイムコードの関係は、図５に示される関係にある。上述したように、撮像装置１００の記録画像サイズは１９２０×１０８０、フレームレートは３０ｐに設定されているものとする。また、外部装置から入力した外部同期信号およびタイムコードは１２０Ｈｚで入力されているものとする。図５において、外部装置からの水平同期信号４１０１は、外部装置から入力されている水平同期信号のパルスの例を表している。パルスの幅は１水平期間（＝１Ｈ）で１ラインである。また、外部装置からの垂直同期信号４１０２は、外部装置から入力されている垂直同期信号のパルスの例を表している。パルスの幅は１垂直期間（＝１Ｖ）で、１１２５ラインである。外部タイムコードの情報４１０３は外部装置から入力したタイムコード情報の例を表している。 FIG. 5 is a diagram illustrating an example in which the external signal detection unit 119 detects an external input signal. The relationship between the horizontal sync signal, the vertical sync signal, and the time code when the external sync signal is input from the external device is as shown in FIG. As described above, it is assumed that the recording image size of the image pickup apparatus 100 is set to 1920 × 1080 and the frame rate is set to 30p. Further, it is assumed that the external synchronizing signal and the time code input from the external device are input at 120 Hz. In FIG. 5, the horizontal synchronizing signal 4101 from the external device represents an example of a pulse of the horizontal synchronizing signal input from the external device. The pulse width is one line in one horizontal period (= 1H). Further, the vertical synchronizing signal 4102 from the external device represents an example of a pulse of the vertical synchronizing signal input from the external device. The pulse width is 1125 lines in one vertical period (= 1 V). External time code information 4103 represents an example of time code information input from an external device.

図５の例では、タイムコードのフレーム情報およびサブフレーム情報が示されているが、上述したように、タイムコードには、他に、時間、分および秒が含まれる。また、外部タイムコードには、フレーム情報およびサブフレーム情報が含まれているが、内部タイムコードには、フレーム情報は含まれているが、サブフレーム情報は含まれていない。外部タイムコードの１フレーム情報には４つのサブフレーム情報が割り当てられている。 In the example of FIG. 5, the frame information and subframe information of the time code are shown, but as described above, the time code also includes hours, minutes, and seconds. The external time code includes frame information and sub-frame information, and the internal time code includes frame information but does not include sub-frame information. Four pieces of subframe information are assigned to one frame information of the external time code.

内部の水平同期信号４１０４は、撮像装置１００の内部の水平同期信号のパルスの例を表している。パルスの幅は１水平期間（＝１Ｈ）で１ラインである。内部の垂直同期信号４１０５は、撮像装置１００の内部の垂直同期信号のパルスの例を表している。パルスの幅は１垂直期間（＝１Ｖ）で、１１２５ラインである。内部タイムコードの情報４１０６は撮像装置１００の内部のタイムコード情報の例を表している。システムクロック制御部１２３は、外部装置からの水平同期信号４１０１と内部の水平同期信号４１０４との位相合わせを行う（Ｓ３０３）。 The internal horizontal synchronizing signal 4104 represents an example of a pulse of the horizontal synchronizing signal inside the image pickup apparatus 100. The pulse width is one line in one horizontal period (= 1H). The internal vertical synchronizing signal 4105 represents an example of a pulse of the vertical synchronizing signal inside the image pickup apparatus 100. The pulse width is 1125 lines in one vertical period (= 1 V). The internal time code information 4106 represents an example of internal time code information of the imaging device 100. The system clock control unit 123 performs phase alignment between the horizontal synchronizing signal 4101 from the external device and the internal horizontal synchronizing signal 4104 (S303).

図６は、図５の状態から水平同期信号の位相を合わせた場合の例を示す図である。図６に示されるように、外部装置からの水平同期信号４２０１と内部の水平同期信号４２０２とは、位相がずれている。システムクロック制御部１２３は、同期信号位相制御部１２０の制御により、水平同期信号の位相を合わせる調整制御を行う。これにより、図６の例に示されるように、外部装置からの水平同期信号４２０３と内部の水平同期信号４２０４とは、位相が合った状態になる。 FIG. 6 is a diagram showing an example in which the phases of the horizontal synchronizing signals are adjusted from the state of FIG. As shown in FIG. 6, the horizontal synchronizing signal 4201 from the external device and the internal horizontal synchronizing signal 4202 are out of phase with each other. The system clock control unit 123, under the control of the synchronization signal phase control unit 120, performs adjustment control for matching the phase of the horizontal synchronization signal. As a result, as shown in the example of FIG. 6, the horizontal synchronizing signal 4203 from the external device and the internal horizontal synchronizing signal 4204 are in phase with each other.

同期信号位相制御部１２０は、外部装置からの垂直同期信号と内部の垂直同期信号との位相合わせを行うためのずれ量を算出することにより、取得する（Ｓ３０４）。そして、システムクロック制御部１２３は、取得したずれ量に基づいて、内部のシステムクロックを外部装置からの垂直同期信号の位相に合わせる制御を行う。本実施形態では、基本的に、撮像装置１００の内部のシステムクロックは、外部装置からの垂直同期信号に位相が合わせられて処理が行われる。 The synchronization signal phase control unit 120 obtains by calculating a shift amount for performing phase alignment between the vertical synchronization signal from the external device and the internal vertical synchronization signal (S304). Then, the system clock control unit 123 performs control to match the internal system clock with the phase of the vertical synchronization signal from the external device based on the acquired shift amount. In the present embodiment, basically, the system clock inside the image pickup apparatus 100 is processed in phase with the vertical synchronizing signal from the external apparatus.

システム制御部１０１は、外部同期信号の周波数と内部同期信号の周波数とが異なるか否かを判定する（Ｓ３０５）。上述したように、撮像装置１００のフレームレートが３０ｐに設定されており、且つ外部装置から入力した外部同期信号およびタイムコードの周波数が１２０Ｈｚで入力されている場合、Ｓ３０５でＹＥＳと判定される。Ｓ３０５でＹＥＳと判定された場合、システム制御部１０１は、外部装置から入力されたタイムコードにサブフレーム情報があるか否かを判定する（Ｓ３０６）。外部装置から入力したタイムコードにサブフレーム情報がある場合、ステップ３０６はＹＥＳと判定される。この場合、タイムコード位相制御部１１４は、ステップＳ３０４で算出されたずれ量に加えて、タイムコードのサブフレーム情報が０でない部分に位相を合わせないようにずれ量を取得する（Ｓ３０７）。つまり、タイムコード位相制御部１１４は、フレーム情報に割り当てられた複数のサブフレーム情報のうち先頭のサブフレーム情報に位相を合わせるようなずれ量を取得する。 The system control unit 101 determines whether the frequency of the external synchronization signal and the frequency of the internal synchronization signal are different (S305). As described above, when the frame rate of the imaging device 100 is set to 30p and the frequency of the external synchronization signal and the time code input from the external device is 120 Hz, the determination in S305 is YES. When YES is determined in S305, the system control unit 101 determines whether the time code input from the external device includes subframe information (S306). If the time code input from the external device has subframe information, step 306 is determined as YES. In this case, the time code phase control unit 114 acquires the shift amount in addition to the shift amount calculated in step S304 so that the phase is not aligned with the portion where the subframe information of the time code is not 0 (S307). That is, the time code phase control unit 114 acquires a shift amount that matches the phase with the first subframe information among the plurality of subframe information assigned to the frame information.

Ｓ３０５でＮＯと判定された場合、外部同期信号の周波数と内部同期信号の周波数とは同じである。外部同期信号の周波数と内部同期信号の周波数とが同じ場合、サブフレーム情報に起因する位相ずれを考慮する必要がないため、Ｓ３０６およびＳ３０７の処理は行われない。また、Ｓ３０６でＮＯと判定された場合、Ｓ３０７の処理を行うためのサブフレーム情報がないため、Ｓ３０７の処理は実施されない。 If NO is determined in S305, the frequency of the external synchronization signal and the frequency of the internal synchronization signal are the same. When the frequency of the external synchronization signal and the frequency of the internal synchronization signal are the same, there is no need to consider the phase shift caused by the subframe information, and therefore the processes of S306 and S307 are not performed. If NO in S306, the process of S307 is not performed because there is no subframe information for performing the process of S307.

図７は、図６の状態からタイムコードのサブフレーム情報が０でない部分に位相を合わせないようにして垂直同期信号の位相を合わせる場合の例を説明する図である。上述したように、外部装置からの水平同期信号と内部の水平同期信号との位相は合っている。一方、図７に示されるように、外部装置からの垂直同期信号４３０１と内部の垂直同期信号４３０３との位相がずれており、さらに内部の垂直同期信号４３０３の位相とタイムコード情報４３０２のサブフレーム情報との位相もずれている。図７に示される２つの内部の垂直同期信号４３０３に対応するフレーム情報は「１３」であるとする。以下、サブフレーム情報の位相ずれも含めた位相ずれ量が１４２５ラインであるものとする。また、システムクロック制御部１２３は、位相ずれの調整を行う際に、システムクロック周期を短くする方向にずらすものとして説明する。 FIG. 7 is a diagram illustrating an example in which the phase of the vertical synchronizing signal is adjusted so as not to match the phase of the subframe information of the time code from 0 in the state of FIG. As described above, the horizontal synchronizing signal from the external device and the internal horizontal synchronizing signal are in phase with each other. On the other hand, as shown in FIG. 7, the vertical synchronization signal 4301 from the external device and the internal vertical synchronization signal 4303 are out of phase with each other, and the phase of the internal vertical synchronization signal 4303 and the subframe of the time code information 4302 are further deviated. It is also out of phase with the information. It is assumed that the frame information corresponding to the two internal vertical sync signals 4303 shown in FIG. 7 is “13”. Hereinafter, it is assumed that the phase shift amount including the phase shift of the subframe information is 1425 lines. In addition, the system clock control unit 123 will be described as shifting the system clock period in the direction of shortening when adjusting the phase shift.

上述したように、撮像装置１００のフレームレートは３０ｐに設定されており、外部装置から入力した外部同期信号およびタイムコードは１２０Ｈｚである。従って、外部装置からの垂直同期信号４３０１の１周期（１垂直期間）は、内部の垂直同期信号４３０３の１周期（１垂直期間）の４分の１になっている。外部装置からのタイムコード情報４３０２において、１つのフレーム情報には、４つのサブフレーム情報が割り当てられており、各サブフレーム情報には、番号「０〜３」が割り当てられている。先頭のサブフレーム情報は、「０」である。１つのサブフレーム情報は、外部装置からの垂直同期信号４３０１の１周期に対応し、１つのフレーム情報は、内部の垂直同期信号４３０３の１周期に対応する。図７の例では、内部の垂直同期信号４３０３は、１２番のフレーム情報のうち２番のフレーム情報に対応する部分にある。従って、垂直同期信号のみに基づく位相合わせが行われると、内部の垂直同期信号４３０３は、１２番のフレーム情報のうち３番のサブフレーム情報に対応する外部装置からの垂直同期信号４３０１に、位相が合わせられる可能性がある。この場合、外部装置からの垂直同期信号４３０１と内部の垂直同期信号４３０３との間でサブフレーム情報に対応する位相ずれが生じる。図７の例では、外部装置からの垂直同期信号４３０１と内部の垂直同期信号４３０３との間で位相が合う位置は、１３番のフレーム情報のうち０番のサブフレーム情報に外部装置からの垂直同期信号４３０１である。 As described above, the frame rate of the image pickup apparatus 100 is set to 30p, and the external synchronization signal and the time code input from the external device are 120Hz. Therefore, one cycle (one vertical period) of the vertical synchronizing signal 4301 from the external device is one quarter of one cycle (one vertical period) of the internal vertical synchronizing signal 4303. In the time code information 4302 from the external device, one frame information is assigned four subframe information, and each subframe information is assigned a number “0-3”. The first subframe information is “0”. One sub-frame information corresponds to one cycle of the vertical synchronizing signal 4301 from the external device, and one frame information corresponds to one cycle of the internal vertical synchronizing signal 4303. In the example of FIG. 7, the internal vertical synchronization signal 4303 is in the portion corresponding to the 2nd frame information of the 12th frame information. Therefore, when the phase adjustment based on only the vertical synchronization signal is performed, the internal vertical synchronization signal 4303 is phase-shifted to the vertical synchronization signal 4301 from the external device corresponding to the third subframe information of the 12th frame information. May be combined. In this case, a phase shift corresponding to the subframe information occurs between the vertical synchronizing signal 4301 from the external device and the internal vertical synchronizing signal 4303. In the example of FIG. 7, the position where the vertical synchronizing signal 4301 from the external device and the internal vertical synchronizing signal 4303 are in phase with each other is set to the 0th sub-frame information of the 13th frame information. This is the synchronization signal 4301.

本実施形態では、システムクロック制御部１２３は、内部の垂直同期信号の位相を、所定量ずつずらす。以下、所定量は、２５０ラインであるものとして説明するが、所定量は、２５０ラインには限定されない。システムクロック制御部１２３は、外部装置からの垂直同期信号４３０１と内部の垂直同期信号４３０３との位相のずれ量が、所定量（２５０ライン）より小さくなるまで、内部の垂直同期信号の位相を、所定量ずらす制御を行う。図７に示されるように、外部装置からの垂直同期信号４３０１と内部の垂直同期信号４３０３との位相のずれ量は、１４２５ラインである。システムクロック制御部１２３は、内部の垂直同期信号の位相を所定量（２５０ライン）ずらす制御を５回繰り返すと、内部の垂直同期信号の位相をすらした量は、合計で１２５０ラインとなる。図７における内部の垂直同期信号４３０６は、内部の垂直同期信号４３０３の位相が１２５０ラインずらされた場合を示す。この場合、外部装置からの垂直同期信号４３０４と内部の垂直同期信号４３０３との残りの位相のずれ量は、１７５ラインとなっている。なお、外部装置からの垂直同期信号は変化しないため、図７の外部装置からの垂直同期信号４３０１と４３０４と４３０７とに変化はない。上記位相のずれ量の１７５ラインは、所定量（２５０ライン）より小さい。システムクロック制御部１２３は、内部の垂直同期信号４３０６を、残りの１７５ライン分ずらす制御を行う。これにより、外部装置からの垂直同期信号４３０７の位相と内部の垂直同期信号４３０９の位相と一致するため、位相合わせが完了する。 In the present embodiment, the system clock control unit 123 shifts the phase of the internal vertical synchronizing signal by a predetermined amount. Hereinafter, the predetermined amount will be described as being 250 lines, but the predetermined amount is not limited to 250 lines. The system clock control unit 123 keeps the phase of the internal vertical synchronizing signal until the phase shift amount between the vertical synchronizing signal 4301 from the external device and the internal vertical synchronizing signal 4303 becomes smaller than a predetermined amount (250 lines). Control to shift by a predetermined amount is performed. As shown in FIG. 7, the amount of phase shift between the vertical synchronizing signal 4301 from the external device and the internal vertical synchronizing signal 4303 is 1425 lines. When the system clock control unit 123 repeats the control of shifting the phase of the internal vertical synchronizing signal by a predetermined amount (250 lines) five times, the total amount of shifting the phase of the internal vertical synchronizing signal becomes 1250 lines. The internal vertical synchronizing signal 4306 in FIG. 7 shows a case where the phase of the internal vertical synchronizing signal 4303 is shifted by 1250 lines. In this case, the remaining phase shift amount between the vertical synchronizing signal 4304 from the external device and the internal vertical synchronizing signal 4303 is 175 lines. Since the vertical sync signal from the external device does not change, the vertical sync signals 4301, 4304, and 4307 from the external device in FIG. 7 do not change. The phase shift amount of 175 lines is smaller than the predetermined amount (250 lines). The system clock control unit 123 controls the internal vertical synchronization signal 4306 by shifting the remaining 175 lines. As a result, the phase of the vertical synchronizing signal 4307 from the external device matches the phase of the internal vertical synchronizing signal 4309, so that the phase matching is completed.

図３のフローチャートにおいて、システム制御部１０１は、撮像装置１００のシステムクロック周期を短くする方向にずらす設定がされているか否かを判定する（Ｓ３０８）。撮像装置１００のシステムクロック周期を短くする方向にずらす設定がされていない場合、Ｓ３０８でＮＯと判定される。撮像装置１００のシステムクロック周期を短くする方向にずらす設定がされている場合、Ｓ３０８でＹＥＳと判定される。システム制御部１０１は、Ｓ３０８でＹＥＳと判定された場合、Ｓ３０４で算出されたずれ量が所定量より大きいか否かを判定する（Ｓ３０９）。Ｓ３０９の判定は、Ｓ３０８でＹＥＳと判定された場合に行われるため、システムクロック制御部１２３は、システムクロック周期を短くする方向にずらす。ここで、システムクロック制御部１２３が、システムクロック周期を短くする方向に大きくずらす場合、システムクロック周期で制御している処理が破綻する可能性がある。そこで、システムクロック制御部１２３は、内部の垂直同期信号の位相をずらす量に所定量（閾値）を設定し、内部の垂直同期信号の位相を所定量ずらす制御を行う（Ｓ３１０）。上述した所定量（２５０ライン）は、システムクロック周期で制御している処理を破綻させないライン数である。例えば、撮像装置１００のシステムクロックに同期している処理は、業務用端子やパネルへの映像表示等があり、これらの処理を破綻させないために、所定量が設定される。 In the flowchart of FIG. 3, the system control unit 101 determines whether or not the setting is made to shift the system clock cycle of the imaging apparatus 100 in the direction of shortening it (S308). When the setting for shifting the system clock cycle of the image pickup apparatus 100 in the direction of shortening is not made, it is determined as NO in S308. If the setting is made such that the system clock cycle of the image pickup apparatus 100 is shortened, YES is determined in S308. When YES is determined in S308, the system control unit 101 determines whether the shift amount calculated in S304 is larger than a predetermined amount (S309). Since the determination in S309 is performed when YES is determined in S308, the system clock control unit 123 shifts the system clock cycle in the direction of shortening it. Here, when the system clock control unit 123 largely shifts the system clock cycle in the direction of shortening it, there is a possibility that the processing controlled by the system clock cycle will fail. Therefore, the system clock control unit 123 sets a predetermined amount (threshold value) to the amount by which the phase of the internal vertical synchronizing signal is shifted, and performs control to shift the phase of the internal vertical synchronizing signal by the predetermined amount (S310). The above-described predetermined amount (250 lines) is the number of lines that does not break the processing controlled in the system clock cycle. For example, the process synchronized with the system clock of the image pickup apparatus 100 includes a business terminal, a video display on a panel, and the like, and a predetermined amount is set in order not to break these processes.

Ｓ３１０の処理により、内部の垂直同期信号の位相は、２５０ラインずらされる（Ｓ３１１）。このため、外部装置からの垂直同期信号と内部の垂直同期信号との位相のずれ量から、２５０ライン分が差し引かれる。システムクロック制御部１２３は、２５０ライン分が差し引かれた上記の位相のずれ量が正の値であるか否かを判定する（Ｓ３１２）。つまり、Ｓ３１２の判定は、位相のずれ量が「０」以下であるか否かの判定である。例えば、図７の例では、外部装置からの垂直同期信号と内部の垂直同期信号との位相のずれ量は、１４２５ラインであった。この場合、１４２５ラインから２５０ラインが差し引かれた値は、１１７５であり、正の値であるため、Ｓ３１２でＹＥＳと判定される。Ｓ３１２でＹＥＳと判定されると、フローはＳ３０４に移行する。フローがＳ３０４に移行すると、繰り返し、Ｓ３１０の処理が行われる。これにより、外部装置からの垂直同期信号と内部の垂直同期信号との位相のずれ量から、２５０ラインずつ差し引かれていく。Ｓ３１０の処理が５回繰り返されると、外部装置からの垂直同期信号と内部の垂直同期信号との位相合わせを行うためのずれ量は、１７５ラインになる。この場合、Ｓ３１２でＹＥＳと判定される。ずれ量が１７５ラインになった場合、ずれ量は、所定量（２５０ライン）より小さいため、Ｓ３０９でＮＯと判定される。従って、Ｓ３１０の処理は行われない。Ｓ３１１において、システムクロック制御部１２３は、内部の垂直同期信号を、ずれ量である１７５ラインずらす制御を行う。この場合、ずれ量は「０」になるため、Ｓ３１２でＮＯと判定される。 By the processing of S310, the phase of the internal vertical synchronizing signal is shifted by 250 lines (S311). Therefore, 250 lines are subtracted from the phase shift amount between the vertical synchronization signal from the external device and the internal vertical synchronization signal. The system clock control unit 123 determines whether or not the above-described phase shift amount obtained by subtracting 250 lines is a positive value (S312). That is, the determination of S312 is determination of whether or not the phase shift amount is "0" or less. For example, in the example of FIG. 7, the amount of phase shift between the vertical synchronizing signal from the external device and the internal vertical synchronizing signal is 1425 lines. In this case, the value obtained by subtracting 250 lines from 1425 lines is 1175, which is a positive value, and thus is determined as YES in S312. If YES is determined in S312, the flow moves to S304. When the flow moves to S304, the process of S310 is repeated. As a result, 250 lines are subtracted from the phase shift amount between the vertical sync signal from the external device and the internal vertical sync signal. When the process of S310 is repeated five times, the shift amount for performing the phase alignment between the vertical synchronizing signal from the external device and the internal vertical synchronizing signal becomes 175 lines. In this case, YES is determined in S312. When the deviation amount is 175 lines, the deviation amount is smaller than the predetermined amount (250 lines), and thus it is determined as NO in S309. Therefore, the process of S310 is not performed. In step S311, the system clock control unit 123 performs control to shift the internal vertical synchronization signal by 175 lines, which is the shift amount. In this case, the amount of deviation is "0", and thus NO is determined in S312.

同期信号位相制御部１２０は、外部装置からの垂直同期信号と内部の垂直同期信号との位相があっているか否かを判定する（Ｓ３１３）。位相が合っている場合はＳ３１３でＹＥＳと判定され、フローは、「Ａ」に進む。位相が合っていない場合はステップＳ３１３でＮＯと判定され、フローは、ステップＳ３０２へ進む。「Ａ」以降の処理について、図４のフローチャートを用いて説明する。システム制御部１０１は、外部同期信号と内部同期信号とで周波数が異なるか否かを判定する（Ｓ３１４）。外部装置からの垂直同期信号の周波数と内部の垂直同期信号の周波数とが異なる場合、Ｓ３１４でＹＥＳと判定される。この場合、システム制御部１０１は、外部タイムコード検出部１１８により検出された外部タイムコードにサブフレーム情報が含まれているか否かを判定する（Ｓ３１５）。外部タイムコードにサブフレーム情報が含まれている場合、Ｓ３１５でＹＥＳと判定される。 The synchronization signal phase controller 120 determines whether the vertical synchronization signal from the external device and the internal vertical synchronization signal are in phase (S313). If the phases match, YES is determined in S313, and the flow proceeds to “A”. If they are out of phase, NO is determined in step S313, and the flow proceeds to step S302. The processing after "A" will be described with reference to the flowchart of FIG. The system control unit 101 determines whether the frequencies of the external synchronization signal and the internal synchronization signal are different (S314). When the frequency of the vertical synchronizing signal from the external device is different from the frequency of the internal vertical synchronizing signal, YES is determined in S314. In this case, the system control unit 101 determines whether the external time code detected by the external time code detection unit 118 includes subframe information (S315). When the external time code includes subframe information, YES is determined in S315.

Ｓ３１５でＹＥＳと判定された場合、表示制御部１１１は、位相合わせが完了したことを示す画面を、表示部１０５に表示させる。図８（Ａ）は、位相合わせが完了したことを示す画面４５０１の例である。画面４５０１が表示部１０５に表示されることで、正常に位置合わせが完了したことをユーザーに通知することができる。画面４５０１は、記録画像サイズやフレームレート、動画像記憶部１０４の記録可能容量等の情報４５０２、および位置合わせが完了したことを示す情報４５０３を含む。Ｓ３１４でＮＯと判定された場合、外部装置の垂直同期信号の周波数と内部の垂直同期信号の周波数とが同じであるため、フローは、Ｓ３１６に移行する。 If YES is determined in S315, the display control unit 111 causes the display unit 105 to display a screen indicating that the phase matching is completed. FIG. 8A is an example of a screen 4501 indicating that the phase matching has been completed. By displaying the screen 4501 on the display unit 105, the user can be notified that the alignment has been completed normally. The screen 4501 includes information 4502 such as the recording image size and frame rate, the recordable capacity of the moving image storage unit 104, and information 4503 indicating that alignment has been completed. If NO is determined in S314, the frequency of the vertical synchronizing signal of the external device is the same as the frequency of the internal vertical synchronizing signal, and therefore the flow moves to S316.

外部装置から入力されているタイムコードにサブフレーム情報が含まれていない場合、Ｓ３１５でＮＯと判定される。この場合、外部装置の垂直同期信号の周波数と内部の垂直同期信号の周波数とが異なっているが、タイムコードのサブフレーム情報に基づく位相合わせは行われていないことになる。従って、タイムコードに基づく位相がずれている可能性がある。表示制御部１１１は、表示部１０５に、位相合わせは完了したが、位相がずれている可能性があることを示す警告を表示させる（Ｓ３１７）。図８（Ｂ）は、位相合わせは完了したが、位相がずれている可能性があることを示す画面４６０１の例である。画面４６０１が表示部１０５に表示されることで、位相合わせは完了したが、位相がずれている可能性があることをユーザーに通知することができる。画面４６０１は、記録画像サイズやフレームレート、動画像記憶部１０４の記録可能容量等の情報４６０２、および位相合わせは完了したが、位相がずれている可能性があることを示す情報４６０３を含む。 If the subframe information is not included in the time code input from the external device, NO is determined in S315. In this case, the frequency of the vertical synchronizing signal of the external device and the frequency of the internal vertical synchronizing signal are different, but the phase matching based on the subframe information of the time code is not performed. Therefore, the phase based on the time code may be out of phase. The display control unit 111 causes the display unit 105 to display a warning indicating that the phase matching has been completed, but there is a possibility that the phases are out of phase (S317). FIG. 8B is an example of the screen 4601 indicating that the phase matching may be completed but the phase may be shifted. By displaying the screen 4601 on the display unit 105, it is possible to notify the user that the phase matching has been completed but the phases may be out of phase. The screen 4601 includes information 4602 such as the recording image size and frame rate, the recordable capacity of the moving image storage unit 104, and information 4603 indicating that the phase matching has been completed but the phase may be shifted.

そして、タイムコード制御部１１５は、外部装置から入力されたタイムコードに内部のタイムコードの位相を合わせる制御を、タイムコード生成部１１６に対して行う（Ｓ３１８）。以上により、第１実施形態の処理が終了する。図９は、外部装置から入力されているサブフレーム情報も含めたタイムコードと撮像装置１００の内部との位相ずれが調整され、外部装置から入力されているタイムコードの位相が内部のタイムコードに合った状態の例を示す図である。上述した処理により、外部装置からの水平同期信号４４０１と内部の水平同期信号４４０４との位相は合っている。また、外部装置からのタイムコード情報４４０３のフレームと撮像装置１００の内部のフレーム４４０６とは一致しており、外部装置からの垂直同期信号４４０２と内部の垂直同期信号４４０５とも一致している。上述したように、外部装置からの垂直同期信号およびタイムコードの周波数は１２０Ｈｚであり、内部の同期信号およびタイムコードの周波数は３０Ｈｚである。このように、外部装置からの同期信号およびタイムコードの周波数と、撮像装置１００の内部の同期信号およびタイムコードの周波数とが異なる場合でも、位相を合わせることができる。 Then, the time code control unit 115 controls the time code generation unit 116 to match the phase of the internal time code with the time code input from the external device (S318). With the above, the processing of the first embodiment ends. In FIG. 9, the phase shift between the time code including the sub-frame information input from the external device and the inside of the imaging device 100 is adjusted, and the phase of the time code input from the external device becomes the internal time code. It is a figure which shows the example of the matched state. By the processing described above, the phase of the horizontal synchronizing signal 4401 from the external device and the internal horizontal synchronizing signal 4404 match. Further, the frame of the time code information 4403 from the external device and the internal frame 4406 of the imaging device 100 match, and the vertical synchronizing signal 4402 from the external device and the internal vertical synchronizing signal 4405 also match. As described above, the frequency of the vertical synchronizing signal and the time code from the external device is 120 Hz, and the frequency of the internal synchronizing signal and the time code is 30 Hz. In this way, even if the frequency of the sync signal and the time code from the external device and the frequency of the sync signal and the time code inside the imaging device 100 are different, the phases can be matched.

＜第２実施形態＞
図１０は、第２実施形態に係る撮像装置５００の構成例を示す図である。第２実施形態に係る撮像装置５００は、第１実施形態に係る撮像装置１００と、外部タイムコード検出部５０１および外部同期信号検出部５０２が異なる。第２実施形態に係る撮像装置５００は、外部装置から入力された外部同期信号のみを見て、位相合わせを行い、その後にタイムコード情報も含めて位相がずれていた場合は、再度位相合わせの制御を行う。そして、図１０に示されるように、タイムコード情報と外部同期信号とは、分離して撮像装置５００に入力される。タイムコード情報は、外部タイムコード検出部５０１により検出され、外部同期信号は、外部同期信号検出部５０２により検出される。タイムコード情報と外部同期信号とは、それぞれ異なる端子から撮像装置５００に入力されるものとする。また、撮像装置５００のシステムクロック制御部１２３は、システムクロックを短くする方向にのみ位相をずらすことができるものとする。撮像装置５００のうち、外部タイムコード検出部５０１および外部同期信号検出部５０２以外の各部は、第１実施形態と同様であるため、説明を省略する。 <Second Embodiment>
FIG. 10 is a diagram showing a configuration example of the image pickup apparatus 500 according to the second embodiment. The image pickup apparatus 500 according to the second embodiment is different from the image pickup apparatus 100 according to the first embodiment in an external time code detection unit 501 and an external synchronization signal detection unit 502. The image pickup apparatus 500 according to the second embodiment performs phase adjustment by seeing only the external synchronization signal input from the external apparatus, and if the phase is also shifted after including the time code information, the phase adjustment is performed again. Take control. Then, as shown in FIG. 10, the time code information and the external synchronization signal are separately input to the imaging device 500. The time code information is detected by the external time code detection unit 501, and the external synchronization signal is detected by the external synchronization signal detection unit 502. It is assumed that the time code information and the external synchronization signal are input to the image pickup apparatus 500 from different terminals. In addition, the system clock control unit 123 of the imaging device 500 can shift the phase only in the direction of shortening the system clock. In the imaging device 500, each unit other than the external time code detection unit 501 and the external synchronization signal detection unit 502 is the same as that in the first embodiment, and thus the description thereof is omitted.

外部タイムコード検出部５０１は、外部装置から入力された外部タイムコードを検出し、検出した外部タイムコードを外部タイムコード制御部１１７に通知する。外部同期信号検出部５０２は、外部装置から入力された外部同期信号を検出し、検出した外部同期信号を外部同期信号制御部１２１に通知する。図１１および図１２は、第２実施形態の処理の流れを示すフローチャートである。図１１のフローチャートのＳ３０１〜Ｓ３１３は、第１実施形態と同様であり、撮像装置５００に電源が入り、起動している状態で行われる。ただし、図１１のフローチャートにおいて、Ｓ３０４の後に、Ｓ３０５ではなく、Ｓ３０８〜Ｓ３１３の処理が行われる点が、第１実施形態と異なる。Ｓ３１３の処理の後、フローは「Ｂ」から、図１２のＳ３０５に移行する。 The external time code detection unit 501 detects the external time code input from the external device, and notifies the external time code control unit 117 of the detected external time code. The external synchronization signal detection unit 502 detects the external synchronization signal input from the external device and notifies the external synchronization signal control unit 121 of the detected external synchronization signal. 11 and 12 are flowcharts showing the flow of processing of the second embodiment. Steps S301 to S313 in the flowchart of FIG. 11 are the same as those in the first embodiment, and are performed while the image pickup apparatus 500 is powered on and activated. However, the flowchart of FIG. 11 differs from the first embodiment in that after S304, the processes of S308 to S313 are performed instead of S305. After the processing of S313, the flow shifts from "B" to S305 of FIG.

図１２のフローチャートに示されるように、Ｓ３０６の処理の後、タイムコード位相制御部１１４は、外部タイムコードと内部タイムコードとの位相が合っているか否かを判定する（Ｓ６０１）。外部タイムコードと内部タイムコードとの位相が合っている場合は、ステップ６０１でＹＥＳと判定される。この場合、外部タイムコードのフレーム情報の位相と内部タイムコードのフレーム情報の位相とが一致する。そして、内部タイムコードのフレーム情報の切り替わりのタイミングも、外部タイムコードのフレーム情報のうち先頭のフレーム情報の切り替わりのタイミングと一致している。従って、図１１のＳ３１１の処理により垂直同期信号の位置合わせが行われており、且つタイムコードの位相も一致している。このため、Ｓ６０１でＹＥＳと判定された場合、位相合わせが完了しているため、Ｓ３１６の処理が行われる。 As shown in the flowchart of FIG. 12, after the process of S306, the time code phase control unit 114 determines whether the external time code and the internal time code are in phase (S601). If the external time code and the internal time code are in phase with each other, YES is determined in step 601. In this case, the phase of the frame information of the external time code matches the phase of the frame information of the internal time code. The switching timing of the frame information of the internal time code also matches the switching timing of the first frame information of the frame information of the external time code. Therefore, the position of the vertical synchronizing signal is aligned by the process of S311 in FIG. 11, and the phases of the time codes also match. Therefore, when YES is determined in S601, the phase matching is completed, and thus the process of S316 is performed.

外部タイムコードと内部タイムコードとの位相が合っていない場合はステップ６０１でＮＯと判定される。この場合、タイムコード位相制御部１１４は、外部装置から入力されるタイムコードのサブフレーム情報が０ではない部分に内部の位相を合わせないようにずれ量を取得する。外部タイムコードと内部タイムコードとの位相がずれている場合の例を、図１３に示す。図１３の例の場合、外部のタイムコードの位相と内部のタイムコードの位相とは、３Ｖずれている。これは、内部の垂直同期信号７１０５が、外部装置からのタイムコード情報７１０３の１３番のフレーム情報のうち１番のサブフレーム情報の垂直同期信号７１０２に対応していることから認識できる。外部タイムコードと内部タイムコードとの位相がずれていることが認識された場合、当該位相が合うまで、図１１のＳ３０３〜Ｓ３１３の処理が行われる。これにより、外部装置からの水平同期信号７１０１と内部の水平同期信号７１０４とは合った状態になり、且つ外部装置からの垂直同期信号７１０２と内部の垂直同期信号７１０５とは合った状態になる。 When the phases of the external time code and the internal time code do not match, it is determined as NO in step 601. In this case, the time code phase control unit 114 acquires the shift amount so as not to match the internal phase with the part where the sub-frame information of the time code input from the external device is not zero. FIG. 13 shows an example in which the external time code and the internal time code are out of phase. In the example of FIG. 13, the phase of the external time code and the phase of the internal time code deviate by 3V. This can be recognized from the fact that the internal vertical synchronizing signal 7105 corresponds to the vertical synchronizing signal 7102 of the first subframe information of the 13th frame information of the time code information 7103 from the external device. When it is recognized that the external time code and the internal time code are out of phase, the processes of S303 to S313 in FIG. 11 are performed until the phases are matched. As a result, the horizontal sync signal 7101 from the external device and the internal horizontal sync signal 7104 are in a matched state, and the vertical sync signal 7102 from the external device and the internal vertical sync signal 7105 are in a matched state.

タイムコード位相制御部１１４は、タイムコード情報から、上述したようにタイムコードの位相ずれを取得する（Ｓ６０２）。そして、フローは「Ｃ」からＳ３０２に移行する。システムクロック制御部１２３は、Ｓ３０２〜Ｓ３１３の処理を繰り返し行うことにより、外部タイムコードと内部タイムコードとの位相を合わせる。これにより、外部装置からの垂直同期信号およびタイムコードと、撮像装置１００の内部の垂直同期信号およびタイムコードとは、位相が合った状態になる。 The time code phase control unit 114 acquires the phase shift of the time code as described above from the time code information (S602). Then, the flow shifts from “C” to S302. The system clock control unit 123 matches the phases of the external time code and the internal time code by repeatedly performing the processing of S302 to S313. As a result, the vertical synchronization signal and the time code from the external device are in phase with the vertical synchronization signal and the time code inside the imaging device 100.

以上、本発明の好ましい実施の形態について説明したが、本発明は上述した各実施の形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。本発明は、上述の各実施の形態の１以上の機能を実現するプログラムを、ネットワークや記憶媒体を介してシステムや装置に供給し、そのシステム又は装置のコンピュータの１つ以上のプロセッサーがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 Although the preferred embodiments of the present invention have been described above, the present invention is not limited to the above-described embodiments, and various modifications and changes can be made within the scope of the gist thereof. The present invention supplies a program that implements one or more functions of each of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors of a computer of the system or apparatus execute the program. It can also be realized by a process of reading and executing. The present invention can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

１００撮像装置
１０１システム制御部
１０５表示部
１１１表示制御部
１１４タイムコード位相制御部
１２０同期信号位相制御部
１２３システムクロック制御部
５００撮像装置 100 image pickup apparatus 101 system control section 105 display section 111 display control section 114 time code phase control section 120 sync signal phase control section 123 system clock control section 500 image pickup apparatus

Claims

An imaging device,
First acquisition means for acquiring a first phase shift amount between a synchronization signal input from an external device and the system clock of the imaging device;
Second acquisition means for acquiring a second phase shift amount between the phase of the sub-frame information, which is more accurate than the frame information included in the external time code input from the external device, and the phase of the internal time code of the imaging device; ,
Adjusting means for adjusting the system clock of the imaging device based on the first phase shift amount and the second phase shift amount;
An imaging device comprising:

The second acquisition unit acquires the second phase shift amount only when the frequency of the synchronization signal input from the external device and the frequency of the synchronization signal inside the imaging device are different.
The image pickup apparatus according to claim 1, wherein

A plurality of the subframe information is assigned to one frame information,
The second acquisition means sets a phase shift amount between the phase of the first subframe information and the phase of the internal time code among the plurality of subframe information included in the frame information as the second phase shift amount. get,
The image pickup apparatus according to claim 1, wherein the image pickup apparatus is provided.

The adjusting means performs an adjustment for shortening the cycle of the system clock,
The image pickup apparatus according to claim 1, wherein the image pickup apparatus is an image pickup apparatus.

The adjustment unit adjusts the phase shift amount between the synchronization signal input from the external device and the synchronization signal inside the imaging device for each predetermined amount, and the adjusted phase shift amount is greater than the predetermined amount. When it becomes small, adjust the remaining phase shift amount,
The imaging device according to claim 4, wherein

The predetermined amount is an amount by which processing inside the imaging device does not fail,
The imaging device according to claim 5, wherein

If the external time code does not include the sub-frame information, display control means for performing control to display a warning,
The imaging device according to claim 1, further comprising:

After adjusting the first phase shift amount, the adjusting unit adjusts the second phase shift amount only when the phase of the sub-frame information and the phase of the internal time code of the imaging device are shifted. ,
The image pickup apparatus according to claim 1, wherein

The subframe information is information defined in SMPTE ST 12-3,
The image pickup apparatus according to claim 1, wherein the image pickup apparatus is provided.

A method of controlling an imaging device, comprising:
Acquiring a first phase shift amount between a synchronization signal input from an external device and a system clock of the imaging device;
Acquiring a second phase shift amount between the phase of the sub-frame information that is more accurate than the frame information included in the external time code input from the external device and the phase of the internal time code of the imaging device;
Adjusting a system clock of the imaging device based on the first phase shift amount and the second phase shift amount;
A method for controlling an imaging device, comprising:

A program for causing a computer to execute the method for controlling an imaging device according to claim 10.