JP2019145892A - Imaging apparatus and control method for imaging apparatus - Google Patents
Imaging apparatus and control method for imaging apparatus Download PDFInfo
- Publication number
- JP2019145892A JP2019145892A JP2018025783A JP2018025783A JP2019145892A JP 2019145892 A JP2019145892 A JP 2019145892A JP 2018025783 A JP2018025783 A JP 2018025783A JP 2018025783 A JP2018025783 A JP 2018025783A JP 2019145892 A JP2019145892 A JP 2019145892A
- Authority
- JP
- Japan
- Prior art keywords
- video frame
- input
- time information
- captured
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、撮像装置及び撮像装置の制御方法に関する。 The present invention relates to an imaging apparatus and a control method for the imaging apparatus.
ビデオカメラなどの撮像装置は、様々な用途に対応するために、複数の端子を有している。例えば、タイムコードを入力可能なビデオカメラは、タイムコードのみを入力可能な入力端子を有している。また、タイムコードを出力可能なビデオカメラは、タイムコードのみを出力可能な出力端子を有している。その他に、Genlock(Generator Lock)信号などの外部同期信号を入力可能なビデオカメラは、外部同期信号のみを入力可能な入力端子を有している。しかし、ビデオカメラに複数の端子を設けることは、小型化及び低コスト化を阻害する要因となる。 An imaging device such as a video camera has a plurality of terminals in order to cope with various applications. For example, a video camera capable of inputting a time code has an input terminal capable of inputting only the time code. A video camera capable of outputting a time code has an output terminal capable of outputting only the time code. In addition, a video camera that can input an external synchronization signal such as a Genlock (Generator Lock) signal has an input terminal that can input only the external synchronization signal. However, providing a plurality of terminals in the video camera becomes a factor that hinders downsizing and cost reduction.
特許文献1には、タイムコード及びGenlock信号を入力可能なコネクタを有し、コネクタに入力された入力信号がタイムコード及びGenlock信号のいずれであるかを判定する撮像装置が記載されている。 Japanese Patent Application Laid-Open No. 2004-151561 describes an imaging device that has a connector capable of inputting a time code and a Genlock signal and determines whether the input signal input to the connector is a time code or a Genlock signal.
しかしながら、複数のビデオカメラの同時撮影では、Genlock信号を入力しつつタイムコードを入力する必要がある。特許文献1では、Genlock信号とタイムコードを切り替える必要があり、同期をとるのに手間がかかる。
However, in simultaneous shooting by a plurality of video cameras, it is necessary to input a time code while inputting a Genlock signal. In
本発明の目的は、入力映像フレームと撮像映像フレームを用いて、時間情報を補正することができるようにすることである。 An object of the present invention is to make it possible to correct time information using an input video frame and a captured video frame.
本発明の撮像装置は、入力映像フレームと時間情報との組みを時系列で入力する映像入力手段と、撮像映像フレームを時系列で撮像する撮像手段と、前記入力映像フレームと時間情報との組みと、前記撮像映像フレームと時間情報との組みを記憶する記憶手段と、補正値を入力する補正値入力手段と、前記記憶手段に記憶されている第1の時間情報に対応する入力映像フレームと、前記記憶手段に記憶されている前記第1の時間情報に対して前記補正値に対応する時間だけずれた第2の時間情報に対応する撮像映像フレームとを表示するように制御する制御手段とを有する。 An imaging apparatus according to the present invention includes a video input unit that inputs a set of an input video frame and time information in time series, an imaging unit that takes an imaged video frame in time series, and a combination of the input video frame and time information. Storage means for storing a combination of the captured video frame and time information; correction value input means for inputting a correction value; and input video frame corresponding to first time information stored in the storage means; Control means for controlling to display a captured video frame corresponding to second time information shifted by a time corresponding to the correction value with respect to the first time information stored in the storage means; Have
本発明によれば、入力映像フレームと撮像映像フレームを用いて、時間情報を補正することができる。 According to the present invention, time information can be corrected using an input video frame and a captured video frame.
(第1の実施形態)
図1は、本発明の第1の実施形態による撮像システム100の構成例を示す図である。撮像システム100は、ビデオカメラ102xと、SDI(Serial Digital Interface)ケーブル101と、ビデオカメラ102yとを有する。ビデオカメラ102x及び102yは、映像を撮像する撮像装置である。撮像装置は、ビデオカメラの他、デジタルカメラ、スマートフォン、タブレット、工業用カメラ、医療用カメラ等に適用可能である。
(First embodiment)
FIG. 1 is a diagram illustrating a configuration example of an
SDIケーブル101は、ビデオカメラ102xとビデオカメラ102yとを接続する。ビデオカメラ102xは、SDIケーブル101を介して、ビデオカメラ102yに映像及びタイムコードを送信する。タイムコードは、時間情報である。ビデオカメラ102xはマスタとして動作し、ビデオカメラ102yはスレーブとして動作する。ビデオカメラ102xは、映像を撮影する。そして、ビデオカメラ102xは、SDIケーブル101を介して、その撮影した映像及びタイムコードをビデオカメラ102yに送信する。ここで、ビデオカメラ102xが映像を撮影してから、ビデオカメラ102yがその撮影された映像を受信するまでに、2フレームの遅延が発生するものとする。そのため、タイムコードの補正を行わない場合、ビデオカメラ102x及び102yの間において、同一時刻に撮影された映像に付加されるタイムコードには、2フレーム分の差が生じる。そこで、ビデオカメラ102x及び102yは、タイムコード補正用に、同一の被写体103の撮影を行う。この例では、被写体103は、タイムコードを表示するタイムコードジェネレータであるが、同期の確認がしやすい他の被写体を用いてもよい。
The SDI
図2は、ビデオカメラ102x及び120bの各々の構成例を示すブロック図である。以下、ビデオカメラ102x及び102yは、相互に同じ構成を有する。撮影レンズ201は、絞り変更機能、画角変更機能、及び焦点距離変更機能を有し、被写体の光学像を撮像素子202の撮像面上に結像する。撮像素子202は、撮影レンズ201により結像された光学像を電気信号に変換することにより、映像を撮像する。
FIG. 2 is a block diagram illustrating a configuration example of each of the
画像処理部203は、システム制御部205の制御に基づき、撮像素子202により撮像された映像に対して、各種の画像処理等を行う。画像処理部203は、撮像素子202により撮像された映像を、1フレーム期間かけて現像等の処理を行う。その後、画像処理部203は、処理した映像を画像メモリ204に書き込む。そして、画像処理部203は、画像メモリ204内の現像後の映像を読み出し、記録又は表示用の映像としてシステム制御部205に出力、又はSDI出力用の映像としてSDIドライバ/イコライザ206に出力する。
The
SDIドライバ/イコライザ206は、画像処理部203から入力した信号の変換等を行い、SDI信号として、SDI端子207を介して、不図示のレコーダやモニタなどの外部機器に出力する。また、ビデオカメラ102yにおいて、SDI端子207がビデオカメラ102x等の外部機器からSDI信号を入力した場合、SDIドライバ/イコライザ206は、SDI端子207のSDI信号の変換等を行い、変換後の信号を画像処理部203に出力する。SDI信号は、映像及びタイムコードを含む。
The SDI driver /
画像処理部203は、SDIドライバ/イコライザ206から入力された信号から、映像フレームとタイムコードを含むアンシラリーデータを分離抽出し、そのアンシラリーデータをシステム制御部205に出力する。また、画像処理部203は、映像フレームを画像メモリ204に一旦書き込んだ後、画像メモリ204から再度読み出し、記録又は表示用の映像として、システム制御部205に出力する。
The
プログラムメモリ208は、プログラムを記憶する。システム制御部205は、プログラムメモリ208からプログラムを読み出し、そのプログラムに従って各部の制御を行う。また、システム制御部205は、画像処理部203により処理された映像を所定の圧縮符号化方式で圧縮符号化する。そして、システム制御部205は、その圧縮した映像をワーキングメモリ209に一時格納し、その後、ワーキングメモリ209に一時格納した圧縮映像を読み出し、ストレージ210に記録する。
The
撮像素子202は、複数の映像フレームの撮像を行い、システム制御部205に対し、撮像する映像フレーム毎に露光タイミング情報を出力する。システム制御部205は、撮像素子202から入力した露光タイミング情報を基にタイムコードを生成し、そのタイムコードを画像処理部203に出力する。画像処理部203は、画像メモリ204内の映像フレームとそれに対応するタイムコードをSDIドライバ/イコライザ206に出力する。SDIドライバ/イコライザ206は、画像処理部203から入力した映像フレームとタイムコードを含むアンシラリーデータを生成し、SDI信号として、SDI端子207を介して、外部機器に出力する。ビデオカメラ102xでは、SDIドライバ/イコライザ206は、画像処理部203から入力した映像フレームとタイムコードを含むアンシラリーデータを生成し、SDI信号として、SDI端子207を介して、ビデオカメラ102yに出力する。
The
また、システム制御部205は、画像処理部203からタイムコードと映像フレームが入力された場合、入力されたタイムコードを映像フレームに付加してストレージ210に記録する。また、システム制御部205は、撮影レンズ201と通信を行い、絞り、画角変更、焦点距離の調整を行うことができる。
In addition, when a time code and a video frame are input from the
入力装置211は、キーやダイヤル等を有し、ユーザの入力操作を電気的信号に変換し、システム制御部205に出力する。表示装置212は、例えば液晶パネル等である。システム制御部205は、撮像した映像やビデオカメラ102x又は102yの状態を表示装置212上に表示する。
The
図3は、SDI信号によるタイムコードの同期を説明するタイムチャートである。ビデオカメラ102xはタイムコードマスタであり、ビデオカメラ102yはタイムコードスレーブである。ビデオカメラ102xでは、撮像素子202が撮像する映像フレームと、ビデオカメラ102xの内部タイムコードと、SDI端子207が出力する映像フレーム及びタイムコードを示している。ビデオカメラ102yでは、SDI端子207が入力する映像フレーム及びタイムコードと、ビデオカメラ102yの内部タイムコードと、撮像素子202が撮像する映像フレームを示している。
FIG. 3 is a time chart for explaining the synchronization of the time code by the SDI signal. The
この例では、映像フレームの位相は、合わせた状態を維持していると仮定する。また、ビデオカメラ102xは、映像フレームを撮像してからSDI端子207に映像フレームを出力するまでに2フレーム分の時間がかかると仮定する。「Ax」〜「Fx」は、ビデオカメラ102xの撮像素子202が撮像した映像フレームである。「Ay」〜「By」は、ビデオカメラ102yの撮像素子202が撮像した映像フレームである。「Ax」及び「Ay」は、ビデオカメラ102x及び102yの撮像素子202が同時刻に撮像した映像フレームである。同様に、「Bx」及び「By」は、ビデオカメラ102x及び102yの撮像素子202が同時刻に撮像した映像フレームである。「Cx」及び「Cy」等も同様である。
In this example, it is assumed that the phase of the video frame is maintained in the matched state. Further, it is assumed that the
「11」〜「16」の数字は、タイムコードのフレーム番号部分を示している。ビデオカメラ102xは、映像フレーム「Ax」に対し、タイムコード「11」を付加して、SDI端子207を介してビデオカメラ102yに出力する。ビデオカメラ102yは、SDI端子207を介してビデオカメラ102xからタイムコード「11」を入力し、内部タイムコードを「11」に同期させる。そして、ビデオカメラ102yは、内部タイムコード「11」を、ビデオカメラ102yの撮像素子202が撮像する映像フレーム「Cy」に付加する。その際、ビデオカメラ102xは、映像フレーム「Ax」が撮像された時点からSDI端子207に出力される時点までに、2フレーム分の処理遅延が発生する。そのため、ビデオカメラ102yは、タイムコード「11」を、映像フレーム「Cy」が撮像されるタイミングで入力する。SMPTE ST12に準拠したタイムコード端子を使用した同期と同じ手法を行うと、本来、タイムコードが「13」となるべき映像フレーム「Cy」にタイムコード「11」が付加されることになる。
The numbers “11” to “16” indicate the frame number portion of the time code. The
ビデオカメラ102yでは、同時刻に撮像された映像フレーム「Cx」及び「Cy」に対して、異なるタイムコードが付加されるという課題がある。本実施形態では、ビデオカメラ102x及び102yが同時刻に撮像した映像フレームの同期をとるために、ビデオカメラ102yは、タイムコードの補正を行う。
The
図4は、第1の実施形態によるビデオカメラ102yの制御方法を示すフローチャートである。ステップS400では、システム制御部205は、入力装置211のユーザ操作により、タイムコード補正モードに移行する。そして、システム制御部205は、プログラムメモリ208からプログラムを読み出し、そのプログラムに従い、タイムコード補正モードの処理を開始する。
FIG. 4 is a flowchart showing a control method of the
次に、ステップS401では、システム制御部205は、SDI端子207へのSDI信号の入力があるか否かの情報を、画像処理部203を介して取得する。そして、システム制御部205は、SDI端子207に対して映像フレーム及びタイムコードを含むSDI信号の入力があるか否かを判定する。システム制御部205は、映像フレーム及びタイムコードを含むSDI信号の入力がある場合にはステップS403へ進み、映像フレーム及びタイムコードを含むSDI信号の入力がない場合にはステップS402に進む。ステップS402では、システム制御部205は、図4の処理を終了する。
Next, in step S <b> 401, the
ステップS403では、システム制御部205は、撮像素子202を制御し、撮像素子202が撮像する映像フレームのフレームレートを、SDI信号として入力された映像フレームのフレームレートに合わせる。
In step S403, the
次に、ステップS404では、画像処理部203は、SDI端子207に入力されたSDI信号からタイムコードと映像フレームを分離する。システム制御部205は、画像処理部203により分離されたタイムコードで、内部タイムコードの同期処理を行う。内部タイムコードは、内部時間情報であり、上記の分離されたタイムコードと同じになる。この内部タイムコードは、タイムコード補正モード時のみに使用する暫定タイムコードである。
In step S <b> 404, the
ステップS405〜S408の処理は、図5のタイムチャートを参照しながら説明する。図5は、ビデオカメラ102y内の映像フレームとタイムコードを時系列で示す。また、図5は、入力映像フレーム、撮像映像フレーム、入力映像フレームメモリに格納されている映像フレーム、撮像映像フレームメモリに格納されている映像フレーム、ユーザ入力された補正値、表示する入力映像フレーム、表示する撮像映像フレームを示す。
The processing of steps S405 to S408 will be described with reference to the time chart of FIG. FIG. 5 shows video frames and time codes in the
入力映像フレームは、ビデオカメラ102xにより撮像された映像フレームであって、ビデオカメラ102xから入力した映像フレームとタイムコードを示す。撮像映像フレームは、ビデオカメラ102yにより撮像された映像フレームとタイムコードを示す。
The input video frame is a video frame captured by the
SDI端子207は、映像入力端子であり、入力映像フレームとタイムコードとの組みを時系列で入力する。撮像素子202は、撮像映像フレームを時系列で撮像する。入力映像フレームのフレームレートと撮像映像フレームのフレームレートは、同じである。
The
入力映像フレームメモリと撮像映像フレームメモリは、記憶手段であり、それぞれ、画像メモリ204内の3バンクのフレームメモリである。画像処理部203は、SDI端子207に入力された入力映像フレーム及びタイムコードの組みを入力映像フレームメモリに格納する。
The input video frame memory and the captured video frame memory are storage means, each of which is a three-bank frame memory in the
入力映像フレームメモリのバンク0には、最新の入力映像フレーム及びタイムコードの組みが格納される。入力映像フレームメモリのバンク1には、1フレーム前の入力映像フレーム及びタイムコードの組みが格納される。入力映像フレームメモリのバンク2には、2フレーム前の入力映像フレーム及びタイムコードの組みが格納される。なお、前述の通り、ビデオカメラ102xが映像フレームを撮像してから、ビデオカメラ102yがその映像フレームを入力するまで、2フレーム分の遅延がある。そのため、入力映像フレームメモリのバンク0、バンク1、バンク2に格納される映像フレームは、それぞれ、2フレーム前、3フレーム前、4フレーム前に撮像された映像フレームである。
画像処理部203は、撮像素子202により撮像された撮像映像フレーム及びタイムコード(内部タイムコード)の組みを撮像映像フレームメモリに格納する。撮像映像フレームに対応するタイムコードは、入力映像フレームに対応するタイムコードに同期した撮像時の内部タイムコードである。なお、画像処理部203は、1フレーム分の処理時間がかかるため、1フレーム前に撮像素子202が撮像した映像フレーム及びタイムコードの組みを撮像映像フレームメモリに格納する。
The
撮像映像フレームメモリのバンク0には、1フレーム前に撮像素子202が撮像した映像フレーム及びタイムコードの組みが格納される。撮像映像フレームメモリのバンク1には、2フレーム前に撮像素子202が撮像した映像フレーム及びタイムコードの組みが格納される。撮像映像フレームメモリのバンク2には、3フレーム前に撮像素子202が撮像した映像フレーム及びタイムコードの組みが格納される。
図4のステップS405では、ビデオカメラ102yは、図5のタイミング501の処理を行う。タイミング501では、画像処理部203は、SDI端子207に入力された入力映像フレーム「Ax」と、タイムコード「11」との組みを、入力映像フレームメモリのバンク0に格納する。タイミング501では、撮像素子202は、撮像映像フレーム「Cy」を撮像する。画像処理部203は、撮像素子202が撮像した撮像映像フレーム「Cy」に対して、1フレーム期間かけて処理する。
In step S405 of FIG. 4, the
タイミング502では、撮像素子202は、撮像映像フレーム「Dy」を撮像する。タイミング502では、画像処理部203は、入力映像フレームメモリにおいて、映像フレーム「Ax」とタイムコード「11」の組みをバンク0からバンク1に移動させる。そして、画像処理部203は、処理した撮像映像フレーム「Cy」と撮像時のタイムコード「11」との組みを、撮像映像フレームメモリのバンク0に格納する。
At
タイミング502では、システム制御部205は、画像処理部203を介して入力映像フレームメモリのバンク1から、タイムコード「11」に対応する映像フレーム「Ax」を読み出し、映像フレーム「Ax」を表示装置212に表示する。それと同時に、システム制御部205は、画像処理部203を介して撮像映像フレームメモリのバンク0から、同じタイムコード「11」に対応する映像フレーム「Cy」を読み出し、映像フレーム「Cy」を表示装置212に表示する。
At
図6(A)は、タイミング502の表示装置212の表示例を示す図である。表示装置212は、被写体103の入力映像フレーム「Ax」と、被写体103の撮像映像フレーム「Cy」とを並べて同時に表示する。入力映像フレーム「Ax」と撮像映像フレーム「Cy」は、同一の被写体103を含み、相互に異なるタイミングで撮像された映像フレームである。被写体301は、タイムコード(時間情報)を示す被写体である。そのため、入力映像フレーム「Ax」内の被写体103が表示するタイムコードと、撮像映像フレーム「Cy」内の被写体103が表示するタイムコードとは、ずれている。ユーザは、表示装置212に表示された入力映像フレーム「Ax」と撮像映像フレーム「Cy」を見れば、タイムコードの補正が必要であることを判断できる。
FIG. 6A is a diagram illustrating a display example of the
補正値の初期値は、「0」である。補正値が「0」の場合、システム制御部205は、入力映像フレームメモリのバンク1に格納されている映像フレームと、撮像映像フレームメモリのバンク0に格納されている映像フレームとを、表示装置212に表示する。なお、図5では、入力映像フレームメモリのバンク2の入力映像フレームは使用していないが、画像処理部203の現像等の処理にかかる時間が2フレーム期間の場合には、入力映像フレームメモリのバンク2の入力映像フレームを表示に使用することができる。
The initial value of the correction value is “0”. When the correction value is “0”, the
次に、ステップS406では、システム制御部205は、入力装置211のユーザ操作による補正値確定操作がされたか否かを判定する。ユーザは、例えば、入力装置211内のSETボタンを押すことにより、補正値確定操作を行うことができる。補正値確定操作がされていない場合、システム制御部205は、ステップS407に進む。
Next, in step S <b> 406, the
ステップS407では、システム制御部205は、入力装置211のユーザ操作により補正値変更操作がされたか否かを判定する。入力装置211は、補正値を入力する補正値入力手段である。ユーザは、例えば、入力装置211内のダイヤルを回すことにより、補正値変更操作を行うことができる。補正値変更操作がされない場合、システム制御部205は、ステップS405に戻り、次のタイムコードの処理を行う。
In step S <b> 407, the
ステップS405では、システム制御部205は、同じタイムコード「12」に対応する入力映像フレーム「Bx」及び撮像映像フレーム「Dy」を表示装置212に並べて表示する。システム制御部205は、表示フレームレートに従って、表示する入力映像フレームと撮像映像フレームを更新する。表示フレームレートは、入力映像フレーム及び撮像映像フレームのフレームレートと同じである。システム制御部205は、SDI端子207の入力及び撮像素子202の撮像の処理に並列して、入力映像フレーム及び撮像映像フレームを同時に表示するように制御する。
In step S405, the
その後、ステップS407において、補正値変更操作がされた場合、システム制御部205は、ステップS408に進む。ステップS408では、システム制御部205は、補正値を変更する。以下、図5を参照しながら説明する。タイミング503では、ユーザが補正値「1」を入力すると、ステップS408では、システム制御部205は、補正値を「1」に変更し、ステップS405に戻り、次のタイムコードの処理を行う。
Thereafter, when a correction value changing operation is performed in step S407, the
ステップS405では、システム制御部205は、入力映像フレームメモリに格納されているタイムコード「13」に対応する映像フレーム「Cx」と、撮像映像フレームメモリに格納されているタイムコード「12」に対応する映像フレーム「Dy」を表示する。ここで、表示する撮像映像フレームは、表示する入力映像フレーム「Cx」のタイムコード「13」よりも1フレーム前(補正値「1」に対応)のタイムコード「12」に対応する撮像映像フレーム「Dy」である。両者のタイムコード「13」及び「12」の差は、補正値「1」に対応する。システム制御部205は、タイムコード「13」に対応する映像フレーム「Cx」と、タイムコード「13」に対して補正値「1」に対応する時間だけずれたタイムコード「12」に対応する映像フレーム「Dy」とを表示するように制御する。すなわち、補正値が「1」の場合、システム制御部205は、入力映像フレームメモリのバンク1に格納されている映像フレーム「Cx」と、撮像映像フレームメモリのバンク1に格納されている映像フレーム「Dy」を表示する。システム制御部205は、ステップS405〜S408の処理を繰り返す。
In step S405, the
その後、ステップS407において、システム制御部205は、入力装置211の補正値変更操作がされた場合、ステップS408に進む。ステップS408では、システム制御部205は、タイミング504において、補正値変更操作に応じて、補正値を「2」に変更し、ステップS405に戻り、次のタイムコードの処理を行う。
Thereafter, in step S407, when the correction value change operation of the
ステップS405では、システム制御部205は、入力映像フレームメモリに格納されているタイムコード「15」に対応する映像フレーム「Ex」と、撮像映像フレームメモリに格納されているタイムコード「13」に対応する映像フレーム「Ey」を表示する。この処理は、補正値が「2」の場合の処理である。ここで、表示する撮像映像フレームは、表示する入力映像フレーム「Ex」のタイムコード「15」よりも2フレーム前(補正値「2」に対応)のタイムコード「13」に対応する撮像映像フレーム「Ey」である。両者のタイムコード「15」及び「13」の差は、補正値「2」に対応する。すなわち、補正値が「2」の場合、システム制御部205は、入力映像フレームメモリのバンク1に格納されている映像フレーム「Ex」と、撮像映像フレームメモリのバンク2に格納されている映像フレーム「Ey」を表示する。映像フレーム「Ex」及び「Ey」は、相互に同時刻に撮像された映像フレームである。
In step S405, the
図6(B)は、タイミング504の表示装置212の表示例を示す図である。表示装置212は、被写体103の入力映像フレーム「Ex」と、被写体103の撮像映像フレーム「Ey」とを並べて表示する。入力映像フレーム「Ex」と撮像映像フレーム「Ey」は、同じタイミングで撮像された映像フレームである。そのため、入力映像フレーム「Ex」内の被写体103が表示するタイムコードと、撮像映像フレーム「Ey」内の被写体103が表示するタイムコードとは、同じである。ユーザは、表示装置212に表示された入力映像フレーム「Ex」と撮像映像フレーム「Ey」を見れば、適切な補正値を入力できたと判断できる。その場合、ユーザは、入力装置211の補正値確定操作を行うことができる。ステップS406において、システム制御部205は、入力装置211の補正値確定操作がされた場合、ステップS409に進む。
FIG. 6B is a diagram illustrating a display example of the
ステップS409では、システム制御部205は、ステップS404と同様に、SDI信号のタイムコードを取得し、その取得したタイムコードに対して、補正値確定操作がされた時点の補正値で補正し、補正後のタイムコードで内部タイムコードの同期処理を行う。内部タイムコードは、SDI信号のタイムコードを補正値で補正したタイムコードになる。システム制御部205は、補正値の確定後、内部タイムコードを、SDI端子207に入力されたタイムコードに対して補正値に対応する時間だけずれたタイムコードに同期させる。図5の場合、システム制御部205は、SDI信号のタイムコードを2フレーム分進めたタイムコードで、内部タイムコードの同期処理を行う。これにより、システム制御部205は、タイムコード補正モードの処理を終了する。
In step S409, as in step S404, the
次に、ステップS410では、システム制御部205は、入力装置211のユーザ操作に応じて、撮像された映像の記録等の各種動作を行う。次に、ステップS411では、システム制御部205は、SDI信号が途切れることなく入力されているか否かを判定する。システム制御部205は、SDI信号が入力されている場合には、ステップS410に戻る。これにより、システム制御部205は、SDI信号の入力を定期的に監視することができる。ステップS411において、システム制御部205は、SDI信号の入力が終了した場合には、ステップS412に進む。ステップS412では、システム制御部205は、内部タイムコードを補正前のタイムコード(暫定タイムコード)に戻す。すなわち、システム制御部205は、SDI端子207の入力終了後、内部タイムコードを、SDI端子207に入力されたタイムコードの同期したタイムコードに戻し、ステップS410に戻る。
Next, in step S <b> 410, the
以上、第1の実施形態によれば、2台のビデオカメラ102x及び102yは、SDI端子207同士を接続する。ビデオカメラ102xは、撮像した映像フレーム及びタイムコードをビデオカメラ102yに出力する。ビデオカメラ102yは、ビデオカメラ102xにより撮像された映像フレームと、ビデオカメラ102yにより撮像された映像フレームを並べて表示し、ビデオカメラ102xから入力したタイムコードを補正値で補正し、内部タイムコードの同期処理を行う。これにより、ビデオカメラ102yは、ビデオカメラ102xに対して、同期をとることができる。その後、ビデオカメラ102x及び102yは、同時刻に撮像された映像フレームに対して、同一のタイムコードを付加することができる。
As described above, according to the first embodiment, the two
(第2の実施形態)
図7は、本発明の第2の実施形態によるビデオカメラ102yの処理例を示すタイムチャートである。第2の実施形態による撮像システム100の構成は、第1の実施形態によるものと同じである。第2の実施形態では、ビデオカメラ102yは、タイムコード補正モードにおいて、表示フレームレートを低くして、映像フレームを表示する。これにより、第2の実施形態は、第1の実施形態と比較し、ユーザが補正をしやすくなり、メモリ使用量を抑制することができる。以下、本実施形態が第1の実施形態と異なる点を説明する。
(Second Embodiment)
FIG. 7 is a time chart showing a processing example of the
図7の各項目は、図5の各項目と同様である。表示装置212は、入力映像フレーム及び撮像映像フレームのフレームレートより低い表示フレームレートで、映像フレームを表示する。表示フレームレートは、例えば、入力映像フレーム及び撮像映像フレームのフレームレートの1/4であり、入力映像フレーム及び撮像映像フレームのフレームレートより低い。入力映像フレームメモリ及び撮像映像フレームメモリは、いずれも、2バンクのフレームメモリであり、メモリ使用量を抑制することができる。入力映像フレーム及び撮像映像フレームにおいて、バンク0には、表示装置212に表示中の映像フレームが格納され、バンク1には、次の表示タイミングで表示装置212に表示される映像フレームが格納される。
Each item in FIG. 7 is the same as each item in FIG. The
まず、タイミング701では、画像処理部203は、SDI端子207に入力された入力映像フレーム「Ax」と、タイムコード「11」との組みを、入力映像フレームメモリのバンク1に格納する。タイミング701では、撮像素子202は、撮像映像フレーム「Cy」を撮像する。画像処理部203は、撮像素子202により撮像された撮像映像フレーム「Cy」を1フレーム期間かけて処理する。補正値の初期値は、「0」である。
First, at
タイミング702では、画像処理部203は、処理した撮像映像フレーム「Cy」と撮像時のタイムコード「11」との組みを、撮像映像フレームメモリのバンク0に格納する。タイミング702では、画像処理部203は、入力映像フレーム「Ax」を入力映像フレームメモリのバンク1からバンク0に移動させる。入力映像フレームメモリ及び撮像映像フレームメモリのバンク0の映像フレームは、タイミング702からタイミング703までの4フレーム期間保持される。
At
タイミング702〜703の期間では、システム制御部205は、入力映像フレームメモリ及び撮像映像フレームメモリに格納されているタイムコード「11」に対応する映像フレーム「Ax」及び「Cy」を表示装置212に表示する。すなわち、システム制御部205は、入力映像フレームメモリのバンク0に格納されているタイムコード「11」の映像フレーム「Ax」と、撮像映像フレームメモリのバンク0に格納されているタイムコード「11」の映像フレーム「Cy」とを表示する。
In the period of
タイミング703では、画像処理部203は、SDI端子207に入力された入力映像フレーム「Ex」と、タイムコード「15」との組みを、入力映像フレームメモリのバンク1に1フレーム期間格納する。その後、画像処理部203は、入力映像フレーム「Ex」とタイムコード「15」との組みを、入力映像フレームメモリのバンク1からバンク0に移動させる。システム制御部205は、撮像素子202により撮像された映像フレーム「Gy」とタイムコード15の組みを、撮像映像フレームメモリのバンク0に格納する。
At
4フレーム期間では、入力映像フレームメモリ及び撮像映像フレームメモリのバンク0の映像フレームは、保持される。その4フレーム期間では、システム制御部205は、入力映像フレームメモリ及び撮像映像フレームメモリに格納されているタイムコード「15」に対応する映像フレーム「Ex」及び「Gy」を表示装置212に表示する。すなわち、システム制御部205は、入力映像フレームメモリのバンク0に格納されているタイムコード「15」の映像フレーム「Ex」と、撮像映像フレームメモリのバンク0に格納されているタイムコード「15」の映像フレーム「Gy」とを表示する。
In the 4-frame period, the video frames in
4フレーム期間単位で、入力映像フレームメモリ及び撮像映像フレームメモリは、バンク0の映像フレームを保持しつつ、システム制御部205は、表示装置212に映像フレームを表示するという動作を繰り返す。システム制御部205は、4フレーム毎の入力映像フレーム「Ax」、「Ex」、「Ix」を、入力映像フレームメモリのバンク0に格納し、表示装置212に表示する。なお、入力映像フレームが入力映像フレームメモリのバンク1に保持される期間は、画像処理部203の処理にかかる時間と同じである。画像処理部203の処理時間が2フレーム期間の場合には、入力映像フレームメモリのバンク1に保持される期間も、2フレーム期間となる。
The
撮像映像フレームは、入力映像フレームとは異なる処理が行われる。撮像映像フレームメモリのバンク1には、次の表示タイミングよりも、「補正値+画像処理にかかる期間」分前に撮像された映像フレームが格納される。そして、次の表示タイミングでは、システム制御部205は、撮像映像フレームメモリのバンク1からバンク0に映像フレームを移動させ、そのバンク0の映像フレームを表示装置212に表示する。
The captured video frame is processed differently from the input video frame. The
表示装置212は、4フレーム単位で、入力映像フレームと撮像映像フレームの表示を切り替える。これにより、ユーザは、補正値変更操作が必要か否かを容易に判断することができる。例えば、ユーザは、入力装置211を用いて、補正値「2」を入力することができる。
The
タイミング704では、システム制御部205は、入力装置211の補正値変更操作に応じて、補正値を「2」に変更する。次の表示タイミングは、タイミング706である。そのため、システム制御部205は、次の表示タイミング706の2フレーム前(補正値「2」に対応)のタイミング705で、撮像素子202により撮像された撮像映像フレーム「Iy」を撮像映像フレームメモリのバンク1に格納する。
At
その後、タイミング706では、画像処理部203は、撮像映像フレーム「Iy」を撮像映像フレームメモリのバンク1からバンク0に移動する。撮像映像フレーム「Iy」は、タイミング706〜707の4フレーム期間、撮像映像フレームメモリのバンク0に保持され、システム制御部205によって表示装置212に表示される。
Thereafter, at
補正値が「2」の場合、タイミング706以降、システム制御部205は、入力映像フレームメモリ及び撮像映像フレームメモリのバッファ0に格納されている同一時刻に撮像された映像フレーム「Ix」及び「Iy」を表示装置212に並べて表示する。これにより、ユーザは、適切な補正値が入力できたと判断し、補正値確定操作を行うことができる。
When the correction value is “2”, after timing 706, the
以上、第2の実施形態は、第1の実施形態と同様の効果を得ることができる。さらに、第2の実施形態では、入力映像フレーム及び撮像映像フレームのフレームレートより低い表示フレームレートで表示するため、ユーザが表示される入力映像フレームと撮像映像フレームのズレを確認しやすくなり、タイムコードを補正しやくなる。 As described above, the second embodiment can obtain the same effects as those of the first embodiment. Furthermore, in the second embodiment, since the display is performed at a display frame rate lower than the frame rate of the input video frame and the captured video frame, it becomes easier for the user to check the difference between the input video frame and the captured video frame, and the time It becomes easier to correct the code.
(第3の実施形態)
図8は、本発明の第3の実施形態によるビデオカメラ102yの制御方法を示すフローチャートである。第3の実施形態による撮像システム100の構成は、第1の実施形態によるものと同じである。第1及び第2の実施形態では、現在撮像中の映像をリアルタイムに表示し(厳密には内部処理分の遅延が発生する)、ユーザは、その表示を見ながら補正を行う。第3の実施形態では、補正に用いる映像フレームを予め記録しておき、その映像フレームを再生する際に、ユーザが補正を行う。以下、第3の実施形態が第1の実施形態と異なる点を説明する。
(Third embodiment)
FIG. 8 is a flowchart showing a control method of the
まず、ビデオカメラ102yは、ステップS800〜S804の処理を行う。S800〜S804の処理は、図4のステップS400〜S404と同様の動作であるため、説明を省略する。
First, the
次に、ステップS805では、システム制御部205は、SDI端子207に入力された入力映像フレームとタイムコードの組みと、撮像素子202により撮像された撮像映像フレームとタイムコードの組みを、ストレージ210に記録する。システム制御部205は、ユーザが入力装置211により記録停止操作を行ったことを検知すると、記録を終了し、ステップS806に進む。
Next, in step S805, the
ステップS806〜S809の処理は、図9を参照しながら説明する。図9は、ストレージ210内に記録されている入力映像フレーム及びタイムコードの組みと、ストレージ210内に記録されている撮像映像フレーム及びタイムコードの組みと、ユーザ入力された補正値と、表示する入力映像フレーム及び撮像映像フレームを示す。ストレージ210に記録された入力映像フレーム及び撮像映像フレームのうち、太枠で示されたものは、現在表示中の映像フレームを示している。補正値の初期値は、「0」である。
The processes in steps S806 to S809 will be described with reference to FIG. FIG. 9 displays a set of input video frames and time codes recorded in the
ステップS806では、システム制御部205は、ストレージ210に記録されている同一のタイムコードに対応する入力映像フレーム及び撮像映像フレームを読み出し、その入力映像フレーム及び撮像映像フレームを表示装置212に並べて表示する。この処理は、補正値が「0」の場合の処理である。タイミング901では、システム制御部205は、タイムコード「11」に対応する入力映像フレーム「Ax」及び撮像映像フレーム「Cy」を表示装置212に並べて表示する。
In step S806, the
第3の実施形態では、ステップS805のすべての時系列の組みの記録が終了した後、ステップS806において、システム制御部205は、入力撮像フレーム及び撮像映像フレームを表示するように制御する。
In the third embodiment, after the recording of all time-series sets in step S805 is completed, in step S806, the
次に、ステップS807では、システム制御部205は、入力装置211のユーザ操作による補正値確定操作がされたか否かを判定する。補正値確定操作がされていない場合、システム制御部205は、ステップS808に進む。
In step S <b> 807, the
ステップS808では、システム制御部205は、ユーザにより入力装置211の補正値変更操作がされたか否かを判定する。補正値変更操作がされていない場合、システム制御部205は、ステップS806に戻り、次のタイムコードの処理を繰り返す。タイミング901〜902では、補正値が「0」である。その場合、システム制御部205は、同一のタイムコード「12」に対応する入力映像フレーム「Bx」及び撮像映像フレーム「Dy」を表示装置212に並べて表示する。次に、タイミング902では、システム制御部205は、同一のタイムコード「13」に対応する入力映像フレーム「Cx」及び撮像映像フレーム「Ey」を表示装置212に並べて表示する。
In step S808, the
次に、ステップS808において、補正値変更操作がされた場合、システム制御部205は、ステップS809に進む。ステップS809では、システム制御部205は、補正値を変更する。タイミング903では、ユーザが補正値「1」を入力すると、ステップS808では、システム制御部205は、補正値を「1」に変更し、ステップS806に戻り、次のタイムコードの処理を行う。
Next, when a correction value change operation is performed in step S808, the
ステップS806では、システム制御部205は、補正値が「1」であるので、タイミング903の処理を行う。タイミング903では、システム制御部205は、タイムコード「14」に対応する入力映像フレーム「Dx」と、タイムコード「14」の1フレーム前のタイムコード「13」に対応する撮像映像フレーム「Ey」とを表示装置212に並べて表示する。両者のタイムコード「14」及び「13」の差は、補正値「1」に対応する。
In step S806, since the correction value is “1”, the
次のステップS806では、システム制御部205は、タイムコード「15」に対応する入力映像フレーム「Ex」と、タイムコード「15」の1フレーム前のタイムコード「14」に対応する撮像映像フレーム「Fy」とを表示装置212に並べて表示する。
In the next step S806, the
次に、ステップS808において、補正値変更操作がされた場合、システム制御部205は、ステップS809に進む。タイミング904では、ユーザが補正値「2」を入力すると、ステップS809では、システム制御部205は、補正値を「2」に変更し、ステップS806に戻り、次のタイムコードの処理を行う。
Next, when a correction value change operation is performed in step S808, the
ステップS806では、システム制御部205は、タイムコード「16」に対応する入力映像フレーム「Fx」と、タイムコード「16」の2フレーム前のタイムコード「14」に対応する撮像映像フレーム「Fy」とを表示装置212に並べて表示する。両者のタイムコード「16」及び「14」の差は、補正値「2」に対応する。
In step S806, the
表示装置212は、同一時刻に撮像された映像フレーム「Fx」及び「Fy」を並べて表示する。ユーザは、この表示を見て、補正値が適切であると判断し、入力装置211の補正値確定操作を行うことができる。
The
ステップS807において、補正値確定操作がされた場合、システム制御部205は、ステップS810〜S813の処理を行う。ステップS810〜S813の処理は、図4のステップS409〜S412と同様の処理であるため、説明を省略する。
In step S807, when the correction value determination operation is performed, the
なお、ステップS806では、システム制御部205は、第2の実施形態と同様に、表示フレームレートを変えることができる。また、システム制御部205は、記録された映像を繰り返し再生表示してもよい。ユーザは、補正がしやすいように、種々の表示方法を選択できる。
In step S806, the
以上、第3の実施形態は、第1及び第2の実施形態と同様の効果を得ることができる。さらに、第3の実施形態は、補正に用いる入力映像フレーム及び撮像映像フレームを一旦記録するため、同じ映像を繰り返し再生し確認しながら補正できる。 As described above, the third embodiment can obtain the same effects as those of the first and second embodiments. Furthermore, in the third embodiment, since the input video frame and the captured video frame used for correction are temporarily recorded, the same video can be corrected while being repeatedly reproduced and confirmed.
ここまで、本発明の実施形態として、3つの実施形態について説明をした。これらの実施形態では、映像フレーム及びタイムコードを入力する端子としてSDI端子を用いているが、HDMI(登録商標)など、その他の形式の端子を用いてもよい。 Up to this point, three embodiments have been described as embodiments of the present invention. In these embodiments, an SDI terminal is used as a terminal for inputting a video frame and a time code, but other types of terminals such as HDMI (registered trademark) may be used.
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。 The above-described embodiments are merely examples of implementation in carrying out the present invention, and the technical scope of the present invention should not be construed in a limited manner. That is, the present invention can be implemented in various forms without departing from the technical idea or the main features thereof.
100 撮像システム、102x,102y ビデオカメラ、201 撮影レンズ、202 撮像素子、203 画像処理部、204 画像メモリ、205 システム制御部、206 SDIドライバ/イコライザ、207 SDI端子、208 プログラムメモリ、209 ワーキングメモリ、210 ストレージ、211 入力装置、212 表示装置 100 imaging system, 102x, 102y video camera, 201 photographing lens, 202 imaging device, 203 image processing unit, 204 image memory, 205 system control unit, 206 SDI driver / equalizer, 207 SDI terminal, 208 program memory, 209 working memory, 210 storage, 211 input device, 212 display device
Claims (14)
撮像映像フレームを時系列で撮像する撮像手段と、
前記入力映像フレームと時間情報との組みと、前記撮像映像フレームと時間情報との組みを記憶する記憶手段と、
補正値を入力する補正値入力手段と、
前記記憶手段に記憶されている第1の時間情報に対応する入力映像フレームと、前記記憶手段に記憶されている前記第1の時間情報に対して前記補正値に対応する時間だけずれた第2の時間情報に対応する撮像映像フレームとを表示するように制御する制御手段と
を有することを特徴とする撮像装置。 Video input means for inputting a set of input video frames and time information in time series;
Imaging means for imaging the captured video frames in time series;
Storage means for storing a set of the input video frame and time information, and a set of the captured video frame and time information;
Correction value input means for inputting a correction value;
An input video frame corresponding to the first time information stored in the storage means and a second time shifted by a time corresponding to the correction value with respect to the first time information stored in the storage means. An image pickup apparatus comprising: control means for controlling to display a picked-up video frame corresponding to the time information.
前記制御手段は、前記記録手段がすべての時系列の組みの記録を終了した後、前記入力映像フレーム及び前記撮像映像フレームを表示するように制御することを特徴とする請求項1〜5のいずれか1項に記載の撮像装置。 Recording means for recording a set of the input video frame and time information and a set of the captured video frame and time information;
6. The control unit according to claim 1, wherein the control unit performs control so that the input video frame and the captured video frame are displayed after the recording unit finishes recording all sets of time series. The imaging apparatus of Claim 1.
撮像映像フレームを時系列で撮像する撮像ステップと、
前記入力映像フレームと時間情報との組みと、前記撮像映像フレームと時間情報との組みを記憶手段に記憶する記憶ステップと、
補正値を入力する補正値入力ステップと、
前記記憶手段に記憶されている第1の時間情報に対応する入力映像フレームと、前記記憶手段に記憶されている前記第1の時間情報に対して前記補正値に対応する時間だけずれた第2の時間情報に対応する撮像映像フレームとを表示するように制御する制御ステップと
を有することを特徴とする撮像装置の制御方法。 A video input step of inputting a set of input video frames and time information in time series;
An imaging step of imaging the captured video frames in time series;
A storage step of storing in the storage means a set of the input video frame and time information, and a set of the captured video frame and time information;
A correction value input step for inputting a correction value;
An input video frame corresponding to the first time information stored in the storage means and a second time shifted by a time corresponding to the correction value with respect to the first time information stored in the storage means. And a control step of controlling to display a captured video frame corresponding to the time information.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018025783A JP2019145892A (en) | 2018-02-16 | 2018-02-16 | Imaging apparatus and control method for imaging apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018025783A JP2019145892A (en) | 2018-02-16 | 2018-02-16 | Imaging apparatus and control method for imaging apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019145892A true JP2019145892A (en) | 2019-08-29 |
Family
ID=67774000
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018025783A Pending JP2019145892A (en) | 2018-02-16 | 2018-02-16 | Imaging apparatus and control method for imaging apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019145892A (en) |
-
2018
- 2018-02-16 JP JP2018025783A patent/JP2019145892A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10834297B2 (en) | Image capturing apparatus capable of time code synchronization, control method of the same, storage medium, and image capturing system | |
KR20110129342A (en) | Imaging apparatus | |
JP2013165485A (en) | Image processing apparatus, image capturing apparatus, and computer program | |
JP7086552B2 (en) | Information processing equipment, imaging equipment, information processing methods and programs | |
JP2016167710A (en) | Image reproducing device and image reproducing method | |
JP6402934B2 (en) | MOVIE GENERATION DEVICE, MOVIE GENERATION METHOD, AND PROGRAM | |
US20140240542A1 (en) | Image capturing apparatus and method for controlling the same | |
JP2015053741A (en) | Image reproduction device | |
JP6351212B2 (en) | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD AND SYSTEM | |
JP7146574B2 (en) | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD AND PROGRAM | |
JP2018148512A (en) | Imaging device, control method of imaging device, and program | |
JP2010206521A (en) | Image capturing apparatus, method of correcting image, and program | |
JPH11331762A (en) | Image-pickup device | |
JP2013055590A (en) | Imaging device and imaging method | |
JP2019145892A (en) | Imaging apparatus and control method for imaging apparatus | |
JP2015019118A (en) | Imaging apparatus, imaging system and imaging apparatus control program | |
JP2009182754A (en) | Image processor | |
JP2019071522A (en) | Imaging apparatus and control method | |
JP6351213B2 (en) | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD AND SYSTEM | |
JP6594485B2 (en) | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD AND SYSTEM | |
JP6602425B2 (en) | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD AND SYSTEM | |
JP2002271825A (en) | Color matching method, color matching system, and television camera used for them | |
JP2013098877A (en) | Stereo imaging device, synchronous imaging method and electronic information apparatus | |
JP2017085466A (en) | Imaging apparatus and its control method | |
JP2020072301A (en) | Imaging apparatus, control method of the same, and program |