JP2008028607A - Imaging device - Google Patents
Imaging device Download PDFInfo
- Publication number
- JP2008028607A JP2008028607A JP2006197896A JP2006197896A JP2008028607A JP 2008028607 A JP2008028607 A JP 2008028607A JP 2006197896 A JP2006197896 A JP 2006197896A JP 2006197896 A JP2006197896 A JP 2006197896A JP 2008028607 A JP2008028607 A JP 2008028607A
- Authority
- JP
- Japan
- Prior art keywords
- frame rate
- time code
- video
- imaging
- video sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Television Systems (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、フィルムカメラと同等の撮像効果を実現する撮像装置に関し、より詳細には、ノンリニアエディタシステムに取り込んで編集加工することによって、フィルムシネマシステムと同等の映像制作を行うデジタルシネマ制作分野で使用する撮像装置に関する。 The present invention relates to an imaging apparatus that realizes an imaging effect equivalent to that of a film camera, and more specifically, in the digital cinema production field in which video production equivalent to that of a film cinema system is performed by importing and editing into a nonlinear editor system. The present invention relates to an imaging apparatus to be used.
従来のフィルムを用いた映画製作では1秒間に24枚の映像を記録し、1秒間に24枚の映像を再生することが行われていた。さらに特殊効果を演出するために、例えば1秒間に12枚の映像を記録し、1秒間に24枚の映像を再生することによって2倍速のクイックモーションを実現していた。また、例えば1秒間に48枚の映像を記録し、1秒間に24枚の映像を再生することによって1/2倍速のスローモーションを実現していた。1秒間の記録枚数を変えることは記録時にフィルムカメラのフィルム回転数を変えることで行っていた。 In conventional movie production using film, 24 images are recorded per second and 24 images are reproduced per second. Furthermore, in order to produce a special effect, for example, 12 images are recorded per second and 24 images are reproduced per second, thereby realizing a double speed quick motion. In addition, for example, 48 images are recorded per second and 24 images are reproduced per second, thereby realizing a half-speed slow motion. Changing the number of recordings per second was done by changing the film rotation speed of the film camera during recording.
近年、従来フィルムカメラで行われていた映画製作(フィルムシネマ制作)をビデオカメラで代替する提案(デジタルシネマ制作)がなされた。以下にデジタルシネマ制作機器の例を説明する。従来のビデオカメラでは1秒間に60枚の映像信号をビデオテープに記録する方式が用いられていたが、デジタルシネマ制作機器では撮像は1秒間に24枚で行い、1秒間に60枚の映像信号にフレームレートを変換してビデオテープへの記録を行い、再生時に再び1秒間に24枚の映像信号に変換することによって行う。このようにすることによって、従来のビデオカメラの信号処理回路をそのまま用いて安価に品質のよいシステムを提供することが出来た。さらに特殊効果の撮影では、撮像は1秒間に12枚または48枚などで行い、1秒間に60枚の映像信号にフレームレートを変換してビデオテープへの記録を行い、再生された映像信号の有効フレームを抜き取る装置を用いた後、1秒間に24枚の映像信号に変換することによって行う。このようにすることによって、記録速度を可変とすることが困難であったビデオカメラにおいても特殊効果撮影を実現することが出来た。 In recent years, proposals (digital cinema production) have been made to replace movie production (film cinema production), which was conventionally performed with a film camera, with a video camera. Examples of digital cinema production equipment will be described below. In conventional video cameras, a method of recording 60 video signals per second on a video tape was used, but in digital cinema production equipment, imaging was performed at 24 images per second and 60 video signals per second. The frame rate is converted into a video tape and recorded on a video tape, and then converted into 24 video signals per second during reproduction. By doing so, it was possible to provide a high-quality system at low cost by using the signal processing circuit of the conventional video camera as it is. Furthermore, in special effect shooting, imaging is performed at 12 or 48 frames per second, the frame rate is converted to 60 video signals per second, and recording is performed on a video tape. After using a device that extracts an effective frame, it is converted into 24 video signals per second. By doing so, it was possible to realize special effect shooting even in a video camera in which it was difficult to change the recording speed.
次に、従来のデジタルシネマ制作で用いる撮像装置の構成について説明する。図3は従来のデジタルシネマ制作で用いる撮像装置の構成図である。撮像手段31は、システムコントロール部32からのフレームレート変更情報FRp3に応じた撮像フレームレートで撮像を行い、所定のフレームレートへの変換処理を行って出力する。CCD駆動手段35は、システムコントロール部32からのフレームレート変更情報FRp3に従って撮像フレームレートを設定し、その撮像フレームレートでCCDを駆動して映像信号を出力する。フレームレート変換手段36は、CCD駆動手段35から出力された映像信号を入力とし、メモリを使用して、出力フレームレートへのフレームレート変換処理を行い、出力する。操作手段34は、メニュー設定やボタン操作によってユーザーからフレームレートの変更を指示された場合には、フレームレート変更操作情報OP3をシステムコントロール部32に出力する。
Next, the configuration of an imaging device used in conventional digital cinema production will be described. FIG. 3 is a block diagram of an imaging apparatus used in conventional digital cinema production. The
次に、本明細書で用いるフレームレート変換、フレームレート変更について説明する。第1のフレームレート映像をフレームレート変換手段で第2のフレームレートに変換することをフレームレート変換といい、フレームレート変換手段に入力する第1のフレームレートを変更することをフレームレート変更という。例えば、CCD駆動手段が出力する24p(1秒間に24枚のプログレッシブ映像を有する)映像信号を60p(1秒間に60枚のプログレッシブ映像を有する)映像信号に変換するのがフレームレート変換であり、CCD駆動手段が出力するフレームレートを24pから20pに変更するのがフレームレート変更である。 Next, frame rate conversion and frame rate change used in this specification will be described. Converting the first frame rate video to the second frame rate by the frame rate conversion means is called frame rate conversion, and changing the first frame rate input to the frame rate conversion means is called frame rate change. For example, a frame rate conversion is to convert a 24p (having 24 progressive images per second) video signal output from the CCD driving means into a 60p (having 60 progressive images per second) video signal. Changing the frame rate output from the CCD drive means from 24p to 20p is a frame rate change.
次に、従来の撮像装置におけるフレームレート変換の方法について、24p映像信号から60p映像信号への変換を例に挙げて説明する。 Next, a frame rate conversion method in a conventional imaging apparatus will be described by taking conversion from a 24p video signal to a 60p video signal as an example.
図4は、24p映像信号から60p映像信号へのフレームレート変換方法を簡単に示したものである。この方法では、フレームレート変換手段は、映像信号を保存することが出来る3つのメモリを備えると共に、書き込みすべきメモリ番号を示す書き込みメモリ番号と、読み込みすべきメモリ番号を示す読み込みメモリ番号とを保持し、これらを用いてフレームレート変換を実現している。24p映像信号は、例えばCCD駆動手段からフレームレート変換手段に入力される映像信号であり、メモリに格納されている映像信号は、3つのうちいずれかが1/24秒ごとに更新される。 FIG. 4 simply shows a frame rate conversion method from a 24p video signal to a 60p video signal. In this method, the frame rate conversion means has three memories capable of storing video signals, and holds a write memory number indicating a memory number to be written and a read memory number indicating a memory number to be read. These are used to realize frame rate conversion. The 24p video signal is, for example, a video signal input from the CCD driving unit to the frame rate conversion unit, and one of the three video signals stored in the memory is updated every 1/24 seconds.
書き込みメモリ番号は、フレームレート変換前の映像信号の更新単位である1/24秒ごとに24p映像信号に同期して循環する値が設定される。この場合は搭載されているメモリの数が3であるため、1−2−3−1−2−3のように値が設定される。メモリ1には、書き込みメモリ番号が値1である場合に入力された24p映像信号が格納される。メモリ2には、書き込みメモリ番号が値2である場合に入力された24p映像信号が格納される。メモリ3には、書き込みメモリ番号が値3である場合に入力された24p映像信号が格納される。
The write memory number is set to a value that circulates in synchronization with the 24p video signal every 1/24 second, which is the update unit of the video signal before frame rate conversion. In this case, since the number of mounted memories is 3, a value is set as 1-2-3-1-2-3. The
読み出しメモリ番号は、フレームレート変換後の映像信号の更新単位である1/60秒ごとに60p映像信号に同期して循環する値が設定される。ただし、更新してしまうと読み込み対象となるメモリと書き込み対象となるメモリが同一になってしまう場合すなわち書き込みメモリ番号と読み出しメモリ番号が同じとなってしまう場合は更新しないように制御される。読み出しメモリ番号の示すメモリから読み出された映像信号は、60p映像信号としてフレームレート変換手段から出力される。 The read memory number is set to a value that circulates in synchronization with the 60p video signal every 1/60 seconds, which is the update unit of the video signal after frame rate conversion. However, if the memory to be read becomes the same as the memory to be written when it is updated, that is, if the write memory number and the read memory number are the same, it is controlled not to update. The video signal read from the memory indicated by the read memory number is output from the frame rate conversion means as a 60p video signal.
この場合、例えば変換された60p映像信号VF21とVF22は同じ映像情報を持っている。また、60p映像信号VF23とVF24とVF25は同じ映像情報を持っている。このように24p映像信号から変換された60p映像信号は2枚または3枚が同じ映像情報を持っており、5映像フレームごとに繰り返しとなっている。 In this case, for example, the converted 60p video signals VF21 and VF22 have the same video information. The 60p video signals VF23, VF24, and VF25 have the same video information. In this way, two or three 60p video signals converted from the 24p video signal have the same video information, and are repeated every five video frames.
また、変換後の60p映像信号を60i(1秒間に60枚のインターレース映像を有する)映像信号に変換した場合は、60p映像信号VF21およびVF22が60i映像信号の第1フィールドVF26および第2フィールドVF27に変換される。このように60p映像信号の2映像フレームが60i映像信号の1映像フレームに変換されるため、60i映像信号の1映像フレームは1/30秒となり、5映像フレームごとに繰り返しとなる。このように、変換前のフレームレートから変換後のフレームレートへフレームレート変換する際の繰り返し単位を1映像シーケンスと呼ぶ。60i映像信号の映像シーケンスの長さは5映像フレームである。また、60p映像信号は60i映像信号に変換されて配信される場合もあるため、互換を得るために、60p映像信号の映像シーケンスの長さは、60i映像信号の5映像フレームと時間的な長さを合わせて10映像フレームとする。 When the converted 60p video signal is converted into a 60i video signal (having 60 interlaced videos per second), the 60p video signals VF21 and VF22 are converted into the first field VF26 and the second field VF27 of the 60i video signal. Is converted to As described above, two video frames of the 60p video signal are converted into one video frame of the 60i video signal. Therefore, one video frame of the 60i video signal is 1/30 seconds and is repeated every five video frames. As described above, a repetition unit when converting the frame rate from the frame rate before conversion to the frame rate after conversion is called one video sequence. The length of the video sequence of the 60i video signal is 5 video frames. In addition, since the 60p video signal may be converted into a 60i video signal and distributed, the length of the video sequence of the 60p video signal is as long as 5 video frames of the 60i video signal in order to obtain compatibility. The total is 10 video frames.
さらに、20p映像信号から60p映像信号へのフレームレート変換の例について、説明する。 Further, an example of frame rate conversion from a 20p video signal to a 60p video signal will be described.
図5は、20p映像信号から60p映像信号へのフレームレート変換方法を簡単に示したものである。図4と同様に、変換後の60p映像信号の映像シーケンスの長さは60p映像信号の6映像フレームである。 FIG. 5 simply shows a frame rate conversion method from a 20p video signal to a 60p video signal. Similar to FIG. 4, the length of the video sequence of the converted 60p video signal is 6 video frames of the 60p video signal.
次に、変換した映像信号を変換前のフレームレートに逆変換する、あるいは他のフレームレートに変換する場合について説明する。編集されて配信可能となった映像信号は、編集時に用いたフレームレートと異なるフレームレートに変換して配信されることもある。例えば、60p映像信号はそのまま配信される場合もあり、映画上映用に24p映像信号に変換して配信される場合もある。また、テレビ放送用に60i映像信号に変換して配信される場合もある。このようにフレームレートの変換を行う場合、タイムコードを利用すると、映像信号のみを用いてフレームレートの変換を行う場合よりも容易に処理を行うことが出来る。 Next, a case where the converted video signal is inversely converted to a frame rate before conversion or converted to another frame rate will be described. The video signal that has been edited and can be distributed may be distributed after being converted to a frame rate different from the frame rate used at the time of editing. For example, a 60p video signal may be distributed as it is, or may be distributed after being converted into a 24p video signal for movie screening. In addition, there are cases in which a 60i video signal is converted and distributed for television broadcasting. When the frame rate is converted in this way, the processing can be performed more easily when the time code is used than when the frame rate is converted using only the video signal.
図6は、変換した60p映像信号を24p映像信号に逆変換する場合の説明図である。ここで、通常は60p映像信号においても30フレームシステムのタイムコードを用いるため、その取り得る値は00時00分00秒00フレームから23時59分59秒29フレームである。したがって図のように60p映像信号には、連続する2フレームずつに同じタイムコードが生成される。以下、60p映像信号において同じタイムコードが付与されている2つのフレームを、前半映像フレーム、後半映像フレームと呼ぶこととする。なお、図では便宜上タイムコードのうちフレームの値のみを記載している。また、フレームレート変換時に生じる信号遅延に関しては記載を省略している。 FIG. 6 is an explanatory diagram when the converted 60p video signal is inversely converted into a 24p video signal. Here, since the time code of the 30-frame system is normally used even in the 60p video signal, the possible values are from 00:00:00 to 23: 59: 59.29 frames. Therefore, as shown in the figure, the same time code is generated for every two consecutive frames in the 60p video signal. Hereinafter, two frames to which the same time code is assigned in the 60p video signal are referred to as a first half video frame and a second half video frame. In the figure, for convenience, only the frame value of the time code is shown. Further, the description of the signal delay that occurs during frame rate conversion is omitted.
さて、映像信号のみを用いてフレームレートの逆変換、すなわち元の24p映像信号への変換を行う場合、60p映像信号の1映像フレームと、1フレームまたは2フレーム後の1映像フレームが同一か否かを判別するために、1映像フレームを保存するメモリを準備するか、または、少ないメモリを用いて比較演算を繰り返し行う必要がある。 When reverse conversion of the frame rate using only the video signal, that is, conversion to the original 24p video signal, one video frame of the 60p video signal and one video frame after one or two frames are the same. In order to determine whether or not, it is necessary to prepare a memory for storing one video frame, or to repeatedly perform the comparison operation using a small amount of memory.
ここで、60p映像信号における映像シーケンスの先頭フレームのタイムコードが5の倍数となるようにタイムコードを付与すると、タイムコードの値を5で除算した剰余が0のフレームについては、前半映像フレームと後半映像フレームは同一である、すなわち、前半映像フレームは変換後に有効とすべきフレーム(有効フレーム)であり後半映像フレームは変換には使用しないフレーム(無効フレーム)であることが複雑な演算なしに判定することが出来る。同様に、剰余が1の場合は前半映像フレームが有効フレームであり後半映像フレームが無効フレーム、剰余が2の場合は前半映像フレームが無効フレームであり後半映像フレームが有効フレーム、剰余が3の場合は前半映像フレームが無効フレームであり後半映像フレームが有効フレーム、剰余が4の場合は前半映像フレーム、後半映像フレームともに無効フレームであることが判定出来る。なお、上記説明では同じ映像情報をもつ映像フレームの最初の映像フレームを有効フレームとしたが、最後の映像フレームを有効フレームとしてもよいし、2番目の映像フレームを有効フレームとしてもよい。 Here, when a time code is assigned so that the time code of the first frame of the video sequence in the 60p video signal is a multiple of 5, the frame with the remainder obtained by dividing the time code value by 5 is the first half video frame. The second half video frame is the same, that is, the first half video frame is a frame that should be valid after conversion (effective frame), and the second half video frame is a frame that is not used for conversion (invalid frame) without complicated calculations. It can be judged. Similarly, when the remainder is 1, the first half video frame is a valid frame and the second half video frame is an invalid frame, and when the remainder is 2, the first half video frame is an invalid frame and the second half video frame is a valid frame and the remainder is 3. When the first half video frame is an invalid frame, the second half video frame is a valid frame, and when the remainder is 4, it can be determined that both the first half video frame and the second half video frame are invalid frames. In the above description, the first video frame of the video frames having the same video information is the effective frame. However, the last video frame may be the effective frame, or the second video frame may be the effective frame.
以上のように映像シーケンスを特定出来るように映像信号と関連付けたタイムコードの並びをタイムコードシーケンスという。図6の場合、タイムコードシーケンスは0−1−2−3−4、5−6−7−8−9、(以降、5で除算した剰余が0−1−2−3−4と続く)であり、タイムコードシーケンスの長さは5TCフレームである。なお、映像フレームと区別するためタイムコードのフレームをTCフレームという。例えば、60p映像信号においては上記のようにタイムコードが付与されるため、10映像フレームが5TCフレームに相当する。 A sequence of time codes associated with a video signal so that the video sequence can be specified as described above is called a time code sequence. In the case of FIG. 6, the time code sequence is 0-1-2-3-4, 5-6-7-8-9, (the remainder after dividing by 5 is followed by 0-1-2-3-4). The length of the time code sequence is 5TC frames. A time code frame is referred to as a TC frame in order to distinguish it from a video frame. For example, since a time code is given as described above in a 60p video signal, 10 video frames correspond to 5TC frames.
以上のようなフレームレート変換を行う従来の撮像装置としては、特許文献1に記載されたものがある。これは、フィルムカメラと同等の撮像効果をビデオカメラで得ようとするものであり、特にフィルムカメラ特有の画作りに関してフレームレートを自由に変換出来る特徴がある。
As a conventional imaging device that performs the frame rate conversion as described above, there is one described in
また、フレームレートを変換する撮像装置であって、フレームレートの変更が可能な撮像装置としては特許文献2に記載されたものがある。これは、あらかじめ設定されたフレームレート変更情報に従って撮影中のフレームレートの変更が出来る特徴がある。
An imaging apparatus that converts a frame rate and that can change the frame rate is disclosed in
また、フレームレートを変換した映像信号に対してタイムコードを設定する装置としては特許文献3に記載されたものがある。これは、記録時に複数システムのタイムコード、例えば24フレームシステムおよび30フレームシステムおよび25フレームシステムのタイムコードを記録し、再生時に記録されたタイムコードシステムの中から適切なタイムコードシステムを選択出来る特徴がある。
An apparatus for setting a time code for a video signal whose frame rate has been converted is described in
近年のデジタル化に伴い、撮影した映像信号をノンリニアエディタで取り込み編集作業を行うという手法がとられている。タイムコードは撮影時に映像信号と関連付けして記録し、取り込み開始および終了位置指定や編集開始および終了位置指定などに使用される。 Along with recent digitization, a technique has been adopted in which captured video signals are captured and edited by a non-linear editor. The time code is recorded in association with the video signal at the time of shooting, and is used for specifying the start and end positions of capture and the start and end positions of editing.
タイムコードの歩進方式としては記録中のみ歩進させ記録停止中は歩進させないレックラン方式と、記録中、記録停止中を問わず歩進させるフリーラン方式がある。レックラン方式は複数のシーンを撮影した場合でもシーン途中やシーン切り替わり目を問わず連続したタイムコードが記録される特徴がある。一方、フリーラン方式ではシーン切り替わり目ではタイムコードの連続性は損なわれるがそれぞれのシーンに記録されたタイムコードは記録時刻として使用可能であるという特徴がある。このタイムコードの歩進方式は制作形態によって使い分けされる。
以下に、デジタルシネマでの制作に関して撮像装置に求められる条件を説明する。 The conditions required for the imaging apparatus for production in a digital cinema will be described below.
第1の条件として、タイムコードの連続性に関して説明する。 As a first condition, the continuity of time code will be described.
映像信号をノンリニアエディタで取り込む場合、映像信号と共に、連続したタイムコードをノンリニアエディタに入力することが求められることがある。ノンリニアエディタは、タイムコードの連続性から同一ファイルへの記録や取り込みの終了を判断することがある。もしタイムコードが不連続となっていると、ノンリニアエディタが不連続なタイムコードの入力を検出し、そこで撮影シーンが変わったと判断し別ファイルとして保存してしまったり、あるいは入力異常と判断して取り込み動作を停止してしまう。つまり、ノンリニアエディタの操作者はあるシーンを撮影した映像信号を一つのファイルとして保存することを意図していたにもかかわらず、複数のファイルとして保存されてしまい後工程である編集作業の効率が低下してしまう。あるいは自動取り込みを意図していたにもかかわらず途中で中断してしまい取り込み作業をやり直さなければならない、などの不具合が発生するからである。 When capturing a video signal with a nonlinear editor, it may be required to input a continuous time code to the nonlinear editor together with the video signal. The non-linear editor may determine the end of recording or importing into the same file from the continuity of the time code. If the time code is discontinuous, the nonlinear editor detects the input of the discontinuous time code, determines that the shooting scene has changed, and saves it as a separate file, or determines that the input is abnormal. The import operation is stopped. In other words, even though the operator of the nonlinear editor intended to save the video signal of a scene as a single file, it was saved as multiple files, and the efficiency of the editing process, which is the subsequent process, was reduced. It will decline. Or, although automatic capture is intended, there is a problem that the capture operation is interrupted and the capture operation must be performed again.
第2の条件として、映像シーケンスとタイムコードシーケンスの位相の一致に関して説明する。 As the second condition, the phase matching between the video sequence and the time code sequence will be described.
ノンリニアエディタへの取り込み作業および編集作業に関しては映像シーケンスとタイムコードシーケンスの位相を一致させて作業することが望ましい。すなわち、撮像装置から出力する映像信号の映像シーケンスと、撮像装置から出力するタイムコードのタイムコードシーケンスの位相は一致していることが求められる。これは、完成させた映像信号を編集時に用いたフレームレートだけでなく任意のフレームレートに再変換して配信する場合、タイムコードを用いることによって容易に変換出来るからである。 It is desirable that the video sequence and the time code sequence are made to coincide with each other with respect to the importing operation and editing operation into the non-linear editor. That is, it is required that the phase of the video code sequence of the video signal output from the imaging apparatus and the time code sequence of the time code output from the imaging apparatus match. This is because when the completed video signal is re-converted to an arbitrary frame rate for distribution as well as the frame rate used at the time of editing, it can be easily converted by using a time code.
第3の条件として、マルチカメラ撮影時のタイムコードの同期に関して説明する。 As a third condition, a description will be given of time code synchronization during multi-camera shooting.
撮像装置外部で生成されたタイムコードが撮像装置に入力された場合における動作に関して、撮像装置が映像信号と共に出力するタイムコードは、外部から入力されたタイムコードに一致(同期)することが求められる。これは、複数の撮像装置を用いて撮影(以下、マルチカメラ撮影という)を行う場合にそれぞれの撮像装置のタイムコードを一致させておき、編集工程において複数の撮像装置で撮影した複数の素材を時系列に並べることを可能にすることによって、編集作業の効率化を図るためである。 Regarding the operation when the time code generated outside the imaging apparatus is input to the imaging apparatus, the time code output together with the video signal by the imaging apparatus is required to match (synchronize) with the time code input from the outside. . This is because, when shooting using a plurality of imaging devices (hereinafter referred to as multi-camera shooting), the time codes of the respective imaging devices are made to coincide with each other, and a plurality of materials shot with a plurality of imaging devices in the editing process are recorded. This is to improve the efficiency of the editing work by making it possible to arrange them in time series.
なお、マルチカメラ撮影の場合は撮影された素材のタイムコードはシーンが変わるごとに不連続となるのが一般的である。これは、ノンリニアエディタに取り込む際シーンごとに別ファイルとして保存させ、後工程である編集作業の効率化を図るためである。従って、前記第1の条件と本第3の条件とが同時に求められることはない。 In the case of multi-camera shooting, the time code of the shot material is generally discontinuous every time the scene changes. This is to save each scene as a separate file when importing it into the nonlinear editor so as to improve the efficiency of the editing process as a subsequent process. Therefore, the first condition and the third condition are not obtained simultaneously.
しかしながら、従来の撮像装置では、フレームレートの変更を行う場合、前記第1の条件と前記第2の条件を両立させることが出来ないという課題があった。以下、図7から図9を用いて説明する。 However, the conventional imaging apparatus has a problem that when the frame rate is changed, the first condition and the second condition cannot be made compatible. Hereinafter, a description will be given with reference to FIGS.
図7は、20p映像信号から60p映像信号へのフレームレート変換中に、20pから24pへのフレームレート変更を行った場合の説明図である。FRP20p24p1のタイミングで20pから24pへのフレームレート変更を行い、FRA20p24p1のタイミングで60p映像信号に反映されている。フレームレート変更前の映像シーケンスはVS20p1であり、タイムコードシーケンスはタイムコードの値を3で除算した剰余が0のフレームから開始するためTS20p1となり、映像シーケンスとタイムコードシーケンスの位相は一致している。一方、フレームレート変更後の映像シーケンスはVS24p1であり、タイムコードシーケンスはタイムコードの値を5で除算した剰余が0のフレームから開始するため映像シーケンスから2TCフレーム遅れたTS24p1となり、映像シーケンスとタイムコードシーケンスの位相は一致していない。このように、映像シーケンスの長さが互いに異なるフレームレート間でフレームレート変更を行った場合、フレームレート変更後に映像シーケンスとタイムコードシーケンスの位相を一致させることが出来ない。従って、図7では前記第1の条件は満たすことが出来るが前記第2の条件は満たすことが出来ない。 FIG. 7 is an explanatory diagram when the frame rate is changed from 20p to 24p during the frame rate conversion from the 20p video signal to the 60p video signal. The frame rate is changed from 20p to 24p at the timing of FRP20p24p1, and is reflected in the 60p video signal at the timing of FRA20p24p1. The video sequence before the frame rate change is VS20p1, and the time code sequence is TS20p1 because the remainder of dividing the time code value by 3 is 0, so the phase of the video sequence and the time code sequence is the same. . On the other hand, the video sequence after the frame rate change is VS24p1, and the time code sequence starts from a frame with a remainder obtained by dividing the time code value by 5, so that it becomes TS24p1 delayed by 2TC frames from the video sequence. The phase of the code sequence does not match. As described above, when the frame rate is changed between frame rates having different video sequence lengths, the phases of the video sequence and the time code sequence cannot be matched after the frame rate is changed. Accordingly, in FIG. 7, the first condition can be satisfied, but the second condition cannot be satisfied.
この場合フレームレート変更後に映像シーケンスとタイムコードシーケンスの位相を一致させるようにするには、タイムコードシーケンスの位相をずらす手法がある。図8は、20p映像信号から60p映像信号へのフレームレート変換中に、20pから24pへのフレームレート変更を行った場合に、フレームレート変更後に映像シーケンスとタイムコードシーケンスの位相を一致させるようにタイムコードシーケンスの位相をずらす手法の説明図である。図7との相違点は、フレームレート変更後の映像シーケンスVS24p2と位相が一致するように、地点TC24p2のタイムコードを修正している点である。24p映像信号に対するタイムコードシーケンスは5で除算した剰余が0から始まるため、本来は地点TC24p2で値3とすべきタイムコードを値5に修正する。なお、修正するタイムコードは値0としてもよいが最も修正誤差の小さい値5を選択している。このようにすることによって、フレームレート変更後の映像シーケンスVS24p2とタイムコードシーケンスTS24p2の位相を一致させることが出来る。しかしながら、タイムコードは0−1−2−5−6−7と地点TC24p2で不連続となってしまう。従って、図8では前記第2の条件は満たすことが出来るが前記第1の条件は満たすことが出来ない。
In this case, there is a method of shifting the phase of the time code sequence in order to make the phases of the video sequence and the time code sequence coincide after changing the frame rate. FIG. 8 shows that when the frame rate is changed from 20p to 24p during the frame rate conversion from the 20p video signal to the 60p video signal, the phases of the video sequence and the time code sequence are made to coincide after the frame rate is changed. It is explanatory drawing of the method of shifting the phase of a time code sequence. The difference from FIG. 7 is that the time code of the point TC24p2 is corrected so that the phase matches the phase of the video sequence VS24p2 after the frame rate change. In the time code sequence for the 24p video signal, since the remainder divided by 5 starts from 0, the time code that should originally be the
次に、フレームレート変更前に映像シーケンスとタイムコードシーケンスの位相が任意であるときにフレームレート変更を行う場合について説明する。 Next, a case where the frame rate is changed when the phase of the video sequence and the time code sequence is arbitrary before the frame rate is changed will be described.
図9は、20p映像信号から60p映像信号へのフレームレート変換中で、フレームレート変更前の映像シーケンスとタイムコードシーケンスの位相が任意であるときに、20pから24pへのフレームレート変更を行った場合の説明図である。なお、フレームレート変換時に生じる信号遅延に関しては記載を省略している。FRP20p24p5のタイミングで20pから24pへのフレームレート変更を行い、FRA20p24p5のタイミングで60p映像信号に反映されている。フレームレート変更前の映像シーケンスはVS20p5でありフレームレート変更後の映像シーケンスはVS24p5である。フレームレート変更前のタイムコードシーケンスの位相は任意であるからフレームレート変更後のタイムコードシーケンスはTS24p51からTS24p55の5通りの位相となることがあり得る。この場合、変換前のタイムコードシーケンスの位相が図中タイムコード(パターン3)であった場合にフレームレート変更後のタイムコードシーケンスは映像シーケンスと一致するが、それ以外の4通りであった場合はフレームレート変更後のタイムコードシーケンスは映像シーケンスと一致しない。従って、図9では前記第1の条件は満たすことが出来るが前記第2の条件は満たせるとは限らない。 FIG. 9 shows that the frame rate is changed from 20p to 24p when the frame rate conversion from the 20p video signal to the 60p video signal is in progress and the phase of the video sequence before the frame rate change and the time code sequence is arbitrary. It is explanatory drawing in the case. Note that the signal delay that occurs during frame rate conversion is not shown. The frame rate is changed from 20p to 24p at the timing of FRP20p24p5, and is reflected in the 60p video signal at the timing of FRA20p24p5. The video sequence before the frame rate change is VS20p5, and the video sequence after the frame rate change is VS24p5. Since the phase of the time code sequence before the frame rate change is arbitrary, the time code sequence after the frame rate change may have five phases from TS24p51 to TS24p55. In this case, when the phase of the time code sequence before conversion is the time code (pattern 3) in the figure, the time code sequence after the frame rate change matches the video sequence, but there are four other cases The time code sequence after changing the frame rate does not match the video sequence. Accordingly, in FIG. 9, the first condition can be satisfied, but the second condition is not always satisfied.
図9において、フレームレート変更後に映像シーケンスとタイムコードシーケンスの位相を一致させるようにタイムコードシーケンスの位相をずらす手法を実施した場合は、図中タイムコード(パターン3)の場合を除きタイムコードが不連続になってしまうことは図7の説明と同様となることが明白であるので説明は省略する。従って、図9において、フレームレート変更後に映像シーケンスとタイムコードシーケンスの位相を一致させるようにタイムコードシーケンスの位相をずらす手法を実施した場合は、前記第2の条件は満たすことが出来るが前記第1の条件は満たせるとは限らない。
In FIG. 9, when the method of shifting the phase of the time code sequence so as to match the phase of the video sequence and the time code sequence after the frame rate is changed, the time code is changed except for the time code (pattern 3) in the figure. Since the discontinuity is clearly the same as the description of FIG. 7, the description is omitted. Therefore, in FIG. 9, when the method of shifting the phase of the time code sequence so as to match the phase of the video sequence and the time code sequence after the frame rate is changed, the second condition can be satisfied, but the first condition is satisfied. The
また、従来の撮像装置では、フレームレート変換中に前記第2の条件と前記第3の条件を両立させることが出来ないという課題があった。以下、図10から図11を用いて説明する。 In addition, the conventional imaging apparatus has a problem that the second condition and the third condition cannot be made compatible during frame rate conversion. Hereinafter, description will be made with reference to FIGS. 10 to 11.
図10は、24p映像信号から60p映像信号へのフレームレート変換中に、入力タイムコードによる同期を行った場合の説明図である。フレームレート変換手段で24p映像信号から60p映像信号へのフレームレート変換を行っており、映像シーケンスはVS24p6及びVS24p8である。タイムコード同期処理は地点SLV24p1で行っている。なお、フレームレート変換時に生じる信号遅延に関しては記載を省略している。 FIG. 10 is an explanatory diagram in the case of performing synchronization by the input time code during the frame rate conversion from the 24p video signal to the 60p video signal. The frame rate conversion means performs frame rate conversion from a 24p video signal to a 60p video signal, and the video sequences are VS24p6 and VS24p8. The time code synchronization process is performed at the point SLV 24p1. Note that the signal delay that occurs during frame rate conversion is not shown.
下地タイムコードは、入力タイムコードによる同期を行う前のタイムコードであり、タイムコードシーケンスはTS24pbase1である。このとき、映像シーケンスとタイムコードシーケンスの位相は一致している。 The base time code is a time code before synchronization by the input time code, and the time code sequence is TS24pbase1. At this time, the phases of the video sequence and the time code sequence are the same.
入力タイムコードは、撮像装置外部から入力されたタイムコードであり、タイムコードの値およびタイムコードシーケンスは任意である。図では入力タイムコードのタイムコードシーケンスはTS24pin1としている。同期後タイムコードは、撮像装置から出力するタイムコードであり、タイムコード同期処理前は下地タイムコードと一致しており、タイムコード同期処理後はTS24pslave1となり入力タイムコードと一致している。しかしながら、タイムコード同期処理後は映像シーケンスVS24p8とタイムコードシーケンスTS24pslave1の位相は一致しない。以上のように、タイムコード同期処理後のタイムコードシーケンスの位相は入力タイムコードのタイムコードシーケンスの位相と一致するが、映像シーケンスの位相とは一致しない。 The input time code is a time code input from the outside of the imaging apparatus, and the value of the time code and the time code sequence are arbitrary. In the figure, the time code sequence of the input time code is TS24pin1. The post-synchronization time code is a time code output from the imaging apparatus, and matches the base time code before the time code synchronization process, and becomes TS24 pslave1 after the time code synchronization process and matches the input time code. However, after the time code synchronization process, the phases of the video sequence VS24p8 and the time code sequence TS24pslave1 do not match. As described above, the phase of the time code sequence after the time code synchronization processing matches the phase of the time code sequence of the input time code, but does not match the phase of the video sequence.
図11は、24p映像信号から60p映像信号へのフレームレート変換中に、任意のタイムコードシーケンスを持つ入力タイムコードによる同期を行った場合の説明図である。24p映像シーケンスの位相VS24p7に対して入力タイムコードのタイムコードシーケンスとして取り得る位相は、入力タイムコード(パターン1)の入力24pタイムコードシーケンスTS24pin21から入力タイムコード(パターン5)の入力24pタイムコードシーケンスTS24pin25までの5通りとなる。タイムコード同期処理後のタイムコードシーケンスは入力タイムコードのタイムコードシーケンスと一致することから、入力タイムコード(パターン1)の位相で入力された場合を除いて、タイムコード同期処理後に映像シーケンスとタイムコードシーケンスの位相を一致させることが出来ない。なお、前述した、タイムコードを修正することによってタイムコードシーケンスの位相をずらす手法は、タイムコードを同期させる概念と矛盾するため用いることは出来ない。従って、図11において、前記第3の条件は満たすことが出来るが前記第2の条件は満たせるとは限らない。
FIG. 11 is an explanatory diagram when synchronization is performed using an input time code having an arbitrary time code sequence during frame rate conversion from a 24p video signal to a 60p video signal. The phase that can be taken as the time code sequence of the input time code with respect to the phase VS 24p7 of the 24p video sequence is the
上記課題に鑑みて本発明は、撮像フレームレートを変更可能な撮像装置において、映像シーケンスとタイムコードシーケンスの位相を一致させながら、タイムコードに関する所望の条件を満たすことが可能な構成を提供することを目的とする。 In view of the above problems, the present invention provides a configuration capable of satisfying a desired condition related to time code while matching the phases of a video sequence and a time code sequence in an imaging apparatus capable of changing an imaging frame rate. With the goal.
前記従来の課題を解決するために本発明の撮像装置は、映像を撮像するフレームレートである撮像フレームレートを変更可能であり、撮像フレームレートで撮像した映像信号を出力フレームレートに変換して出力映像信号として出力すると共に、撮像フレームレートから出力フレームレートへフレームレート変換するときの繰り返し単位である映像シーケンスの先頭位置を特定するための映像シーケンス情報を出力する撮像手段と、出力映像信号に同期したタイムコード情報を生成するタイムコード生成手段と、フレームレートの変更指令を発生する操作手段と、操作手段によってフレームレート変更を通知されたときにタイムコード生成手段から取り込んだタイムコード情報及び撮像手段から取り込んだ映像シーケンス情報に従って撮像手段のフレームレートを変更するシステムコントロール部とを備え、システムコントロール部は、撮像フレームレートを第1のフレームレートから第2のフレームレートへ変更するときの手順として第1のフレームレートから一旦第3のフレームレートを経由して第2のフレームレートへ変更し、第3のフレームレートで撮像する期間を、第1のフレームレートから出力フレームレートへフレームレート変換するときの繰り返し単位である第1映像シーケンスの長さ、第2のフレームレートから出力フレームレートへフレームレート変換するときの繰り返し単位である第2映像シーケンスの長さ及びフレームレート変更直前の第1映像シーケンスの先頭のタイムコードの値に基づいて決定するように構成している。 In order to solve the above-described conventional problems, the imaging apparatus of the present invention can change the imaging frame rate, which is a frame rate for imaging video, and converts the video signal captured at the imaging frame rate into an output frame rate for output. An image pickup means for outputting video sequence information for specifying a start position of a video sequence as a repetition unit when outputting a video signal and converting a frame rate from an imaging frame rate to an output frame rate, and synchronizing with an output video signal Time code generating means for generating the time code information, an operating means for generating a frame rate change command, and time code information and imaging means captured from the time code generating means when notified of the frame rate change by the operating means According to the video sequence information captured from A system control unit that changes the frame rate of the first frame rate as a procedure for changing the imaging frame rate from the first frame rate to the second frame rate. The first video sequence, which is a repetition unit when the frame rate is changed to the second frame rate and the period for imaging at the third frame rate is converted from the first frame rate to the output frame rate. Length of the second video sequence, which is a repetition unit when converting the frame rate from the second frame rate to the output frame rate, and the time code value at the beginning of the first video sequence immediately before the frame rate change. To be determined.
この構成により適切なフレームレートの選択およびフレームレートの変更タイミングの選択を行うことによって、タイムコードの連続性を保持しつつ、フレームレート変更後の映像シーケンスとフレームレート変更後のタイムコードシーケンスの位相を一致させることが出来る。 With this configuration, by selecting an appropriate frame rate and selecting the frame rate change timing, the phase of the video sequence after changing the frame rate and the phase of the time code sequence after changing the frame rate while maintaining the continuity of the time code Can be matched.
また、本発明の撮像装置は、撮像フレームレートを変更可能であり、撮像フレームレートで撮像した映像信号を出力フレームレートに変換して出力映像信号として出力すると共に、映像シーケンスの先頭位置を特定するための映像シーケンス情報を出力する撮像手段と、外部から入力されるタイムコードを入力タイムコードとして出力するタイムコード処理手段と、タイムコード処理手段が外部からのタイムコードを入力され、入力タイムコードの出力を開始すると、タイムコード処理手段から取り込んだ入力タイムコードおよび撮像手段から取り込んだ映像シーケンス情報に従って撮像手段のフレームレートを変更するシステムコントロール部とを備え、システムコントロール部は、撮像フレームレートを、第1のフレームレートから一旦第3のフレームレートを経由して再び第1の撮像フレームレートへ変更し、第3のフレームレートで撮像する期間を、第1のフレームレートから出力フレームレートへフレームレート変換するときの繰り返し単位である第1映像シーケンスの長さ及びフレームレート変更直前の第1映像シーケンスの先頭のタイムコードの値に基づいて決定するように構成している。
In addition, the imaging apparatus of the present invention can change the imaging frame rate, converts a video signal captured at the imaging frame rate into an output frame rate and outputs it as an output video signal, and specifies the start position of the video sequence. An image pickup means for outputting video sequence information, a time code processing means for outputting a time code input from the outside as an input time code, and a time code processing means for inputting the time code from the outside, A system control unit that changes the frame rate of the imaging unit according to the input time code captured from the time code processing unit and the video sequence information captured from the imaging unit, and the system control unit determines the imaging frame rate, Once from the
この構成により適切なフレームレートの選択およびフレームレートの変更タイミングの選択を行うことによって、外部入力されたタイムコードに同期しつつ、映像シーケンスとタイムコードシーケンスの位相を一致させることが出来る。 By selecting an appropriate frame rate and selecting a frame rate change timing with this configuration, the phases of the video sequence and the time code sequence can be made to coincide with each other while synchronizing with the time code inputted externally.
本発明の撮像装置によれば、デジタルシネマでの制作過程において、撮像装置のフレームレートを変更した場合、タイムコードの連続性を保持しつつ映像シーケンスとタイムコードシーケンスの位相を一致させることが出来るため、ノンリニアエディタの操作者は一つのファイルとして保存することを意図していたにもかかわらず複数のファイルとして保存されてしまい後工程である編集作業の効率が低下してしまう、あるいは自動取り込みを意図していたにもかかわらず途中で中断してしまい取り込み作業をやり直さなければならない、などの不具合発生を防止することが出来る。なおかつ、完成させた映像信号を編集時に用いたフレームレートだけでなく任意のフレームレートに再変換して配信する場合、タイムコードを用いることによって容易に変換出来る。 According to the imaging apparatus of the present invention, when the frame rate of the imaging apparatus is changed in the production process in a digital cinema, the phase of the video sequence and the time code sequence can be matched while maintaining the continuity of the time code. Therefore, even though the operator of the non-linear editor intended to save it as a single file, it was saved as multiple files and the efficiency of the editing process, which is a later process, was reduced, or automatic import was performed. Although it was intended, it is possible to prevent the occurrence of problems such as interruption during the process and the importing operation must be performed again. In addition, when the completed video signal is re-converted to an arbitrary frame rate in addition to the frame rate used at the time of editing, it can be easily converted by using a time code.
また、本発明の撮像装置によれば、デジタルシネマでの制作過程において、マルチカメラ撮影時のタイムコードの同期を行った場合、タイムコードの同期を行った後でも映像シーケンスとタイムコードシーケンスの位相を一致させることが出来るため、完成させた映像信号を編集時に用いたフレームレートだけでなく任意のフレームレートに再変換して配信する場合、タイムコードを用いることによって容易に変換出来る。 Further, according to the imaging apparatus of the present invention, in the production process in the digital cinema, when the time code is synchronized when shooting with the multi-camera, the phase of the video sequence and the time code sequence is performed even after the time code is synchronized. Therefore, when the completed video signal is re-converted and distributed to an arbitrary frame rate as well as the frame rate used at the time of editing, it can be easily converted by using a time code.
以下本発明を実施するための最良の形態について、図面を参照しながら説明する。 The best mode for carrying out the present invention will be described below with reference to the drawings.
(実施の形態1)
図1は、本発明の実施の形態1における撮像装置の構成図である。図1において、撮像手段1は、システムコントロール部2からのフレームレート変更情報FRpに応じた撮像フレームレートで撮像を行い、所定のフレームレートへの変換処理を行って出力する。また、フレームレート変換処理の映像シーケンス情報FRseqをシステムコントロール部2に出力する。ここで、映像シーケンス情報とは、フレームレート変換中の映像シーケンスの先頭位置を特定するための情報であり、本実施の形態では、読み出しメモリ番号を映像シーケンス情報FRseqとしている。撮像手段1は、CCD駆動手段5及びフレームレート変換手段6を有する。CCD駆動手段5は、システムコントロール部2からのフレームレート変更情報FRpに従って撮像フレームレートを設定し、その撮像フレームレートでCCDを駆動して映像信号を出力する。撮像フレームレートとしては、例えば1p(1秒間に1枚のプログレッシブ映像を有する)から60p(1秒間に60枚のプログレッシブ映像を有する)までの任意の値をとるものとする。フレームレート変換手段6は、CCD駆動手段5から出力された映像信号を入力とし、メモリを使用して、出力フレームレートへのフレームレート変換処理を行い、出力する。本実施の形態では出力フレームレートを60pとする。すなわち、フレームレート変換手段6は、撮像フレームレートで撮像された映像信号をフレームレート変換処理し、Voutとして60p映像信号を撮像装置外部に出力する。
(Embodiment 1)
FIG. 1 is a configuration diagram of an imaging apparatus according to
タイムコード生成手段3は、出力される60p映像信号に同期し、TCフレームごとに連続して歩進するようにタイムコードを生成し、これをタイムコード情報TCdetとしてシステムコントロール部2に出力すると共に、TCoutとして撮像装置外部に出力する。ここで用いるタイムコードは、SMPTE(米国映画テレビジョン技術者協会)の定める規格SMPTE12Mに準拠するタイムコードとする。これは、時、分、秒、フレームの要素から成る。本実施の形態では30フレームシステムのタイムコードを用いるため、その取り得る値は00時00分00秒00フレームから23時59分59秒29フレームである。1秒間に30フレームのタイムコードを有するため、1秒間の映像数が30を超える映像信号では、連続する複数の映像に同じタイムコードが生成されることがある。例えば60p映像信号には、連続する2映像フレームずつに同じタイムコードが生成される。なお、各図では便宜上フレームの値のみを記載している。
The time code generation means 3 generates a time code so as to continuously advance every TC frame in synchronization with the
操作手段4は、ユーザーからの入力を受け付け、その情報をシステムコントロール部2に出力する。操作手段4は、メニュー設定やボタン操作によってユーザーからフレームレートの変更を指示された場合には、フレームレート変更操作情報OPをシステムコントロール部2に出力する。なお、操作手段4はあらかじめユーザーによって設定された自動フレームレート変更情報に従って、ボタン操作等のトリガによりフレームレート変更操作情報OPを出力するようにしても良い。
The
システムコントロール部2は、操作手段4からフレームレート変更操作情報OPが入力されると、タイムコード情報TCdetおよび映像シーケンス情報FRseqから、フレームレート変更の適切なタイミングおよび変更すべき適切なフレームレートを生成してフレームレート変更情報FRpとし、これを撮像手段1に対して出力する。
When the frame rate change operation information OP is input from the
次に、映像シーケンス情報FRseqを元に、撮像手段1から出力される映像信号の映像シーケンスの先頭を判別する方法について説明する。図12は、撮像フレームレートを24p、出力フレームレートを60pとし、24p映像信号から60p映像信号へのフレームレート変換の際に、映像シーケンスの先頭を判別する方法に関する説明図である。なお、図4と同じ部分については説明を省略する。撮像手段1は、出力フレームレートである60pに応じて1/60秒ごとに、映像シーケンス情報FRseqとして読み出しメモリ番号を出力する。システムコントロール部2は、1/60秒ごとに映像シーケンス情報FRseqを入力し保存する。また、システムコントロール部2は1/60秒ごとに値を1ずつ更新していくカウンタとして24p映像シーケンス番号を有し、適切なタイミングで0クリアすることによって映像シーケンスの先頭を判別する。図12の場合24p映像シーケンス番号を0クリアするタイミングは次の通りである。すなわち、映像シーケンス情報FRseqが3回連続して同じ値であり、次に異なる値に更新されたとき、タイムコード情報TCdetのタイムコード更新タイミングに一致していれば24p映像シーケンス番号を0クリアする。このようにすれば、システムコントロール部2は、入力される映像シーケンス情報FRseqとタイムコード情報TCdetとから24p映像シーケンス番号を0クリアすることができ、この24p映像シーケンス番号が0のときの映像信号Voutが映像シーケンスの先頭であると判断出来る。例えば図12において映像シーケンス情報FRseqが3回連続して同じ値となり次に異なる値に更新するタイミングはSEQ24pnum11からSEQ24pnum15までの5箇所である。このうちタイムコード情報TCdetの更新タイミングと一致するのはSEQ24pnum12とSEQ24pnum14の2箇所であり、この2箇所のタイミングで24p映像シーケンス番号を0クリアすれば、24p映像シーケンス番号が0のときに映像信号Voutは映像シーケンスの先頭であると判断出来る。なお、フレームレートを変更しない間は毎回映像シーケンスの先頭を判断する必要はなく、一度判断すれば現在のフレームレートが24pであることから映像シーケンスの長さは10映像フレームであることが分かっているので、上記判断をせずに24p映像シーケンス番号が9の次は0に更新するようにしてもよい。
Next, a method for determining the head of the video sequence of the video signal output from the imaging means 1 based on the video sequence information FRseq will be described. FIG. 12 is an explanatory diagram relating to a method of determining the head of a video sequence when frame rate conversion from a 24p video signal to a 60p video signal is performed with an imaging frame rate of 24p and an output frame rate of 60p. The description of the same parts as those in FIG. 4 is omitted. The
図13は、20p映像信号から60p映像信号へのフレームレート変換の際に映像シーケンスの先頭を判別する方法に関する説明図である。なお、図5と同じ部分については説明を省略する。この場合も図12と同様に、20p映像シーケンス番号を0クリアするタイミングは次の通りである。すなわち、映像シーケンス情報FRseqが3回連続して同じ値であり、次に異なる値に更新されたとき、タイムコード情報TCdetのタイムコード更新タイミングに一致していれば20p映像シーケンス番号を0クリアすることにする。このようにすれば、20p映像シーケンス番号が0のときに映像信号Voutが映像シーケンスの先頭であると判断出来る。例えば図13において映像シーケンス情報FRseqが3回連続して同じ値となり次に異なる値に更新するタイミングはSEQ20pnum11からSEQ20pnum17までの7箇所である。このうちタイムコード情報TCdetの更新タイミングと一致するのはSEQ20pnum12とSEQ20pnum14とSEQ20pnum16の3箇所であり、この3箇所のタイミングで20p映像シーケンス番号を0クリアすれば、20p映像シーケンス番号が0のときに映像信号Voutは映像シーケンスの先頭であると判断出来る。なお、フレームレートを変更しない間は毎回映像シーケンスの先頭を判断する必要はなく、一度判断すれば現在のフレームレートが20pであることから映像シーケンスの長さは6映像フレームであることが分かっているので、上記判断をせずに20p映像シーケンス番号が5の次は0に更新するようにしてもよい。 FIG. 13 is an explanatory diagram relating to a method of determining the head of a video sequence at the time of frame rate conversion from a 20p video signal to a 60p video signal. The description of the same parts as those in FIG. 5 is omitted. Also in this case, as in FIG. 12, the timing for clearing the 20p video sequence number to 0 is as follows. That is, when the video sequence information FRseq has the same value three times in succession and is updated to a different value next time, the 20p video sequence number is cleared to 0 if it matches the time code update timing of the time code information TCdet. I will decide. In this way, when the 20p video sequence number is 0, it can be determined that the video signal Vout is the head of the video sequence. For example, in FIG. 13, the video sequence information FRseq becomes the same value three times in succession and is then updated to a different value at seven points from SEQ20pnum11 to SEQ20pnum17. Of these, the update timing of the time code information TCdet coincides with three locations of SEQ20pnum12, SEQ20pnum14, and SEQ20pnum16. If the 20p video sequence number is cleared to 0 at these three timings, It can be determined that the video signal Vout is the head of the video sequence. Note that it is not necessary to determine the start of the video sequence every time while the frame rate is not changed. Once the determination is made, the current frame rate is 20p, so the length of the video sequence is 6 video frames. Therefore, the 20p video sequence number after 5 may be updated to 0 without making the above determination.
次に、図14及び図15を用いて、撮像装置のフレームレートを20pから24pに変更した場合、タイムコードの連続性を保持しつつ映像シーケンスとタイムコードシーケンスの位相を一致させる方法について具体的に説明する。 Next, referring to FIG. 14 and FIG. 15, when the frame rate of the imaging apparatus is changed from 20p to 24p, a specific method for matching the phase of the video sequence and the time code sequence while maintaining the continuity of the time code will be described. Explained.
図14は、タイムコード情報TCdetが図9におけるタイムコード(パターン1)であるときに、撮像装置のフレームレートを20pから24pに変更した場合、タイムコードの連続性を保持しつつ映像シーケンスとタイムコードシーケンスの位相を一致させる方法の説明図である。 FIG. 14 shows that when the time code information TCdet is the time code (pattern 1) in FIG. 9 and the frame rate of the imaging apparatus is changed from 20p to 24p, the video sequence and time are maintained while maintaining the continuity of the time code. It is explanatory drawing of the method of making the phase of a code sequence correspond.
撮像手段1で20pから60pへのフレームレート変換が行われているときに、操作手段4からのフレームレート変更操作情報OPにより20pから24pへのフレームレート変更を行うとき、システムコントロール部2は、フレームレートを20pから経由フレームレートとして一旦30pに変更してから24pへ変更する制御を行う。経由フレームレートは、変更前のフレームレート及び変更後のフレームレート以外であれば任意であってよいが本実施の形態では30pを用いる。
When the frame rate conversion from 20p to 60p is performed in the
経由フレームレートの値はあらかじめ決めておいてもよいし、撮像装置が選択可能な撮像フレームレートのうち、映像シーケンスの最も短いフレームレート値を自動的に選ぶ制御を行ってもよい。また、変更前のフレームレートと変更後のフレームレートとの中間となるようなフレームレート値を自動的に選ぶ制御を行ってもよい。もちろん、メニューなどによってユーザーが選択出来るようにしてもよい。撮像装置が選択可能な撮像フレームレートのうち映像シーケンスの最も短いフレームレート値を用いた場合は、最も短時間にフレームレートの変更を完了することが出来るという利点がある。また、変更前のフレームレートと変更後のフレームレートとの中間となるようなフレームレート値を用いた場合は、フレームレート変更時の映像の見え方として、スムーズな映像効果を得ることが出来るという利点がある。また、本実施の形態では1種類のフレームレートを経由する説明を行うが、複数種類のフレームレートを経由してもよい。その場合は変更前のフレームレートから変更後のフレームレートへ、段階的に経由フレームレートを変更していくことで、よりスムーズな映像効果を得ることが出来るという利点がある。 The value of the via frame rate may be determined in advance, or control may be performed to automatically select the shortest frame rate value of the video sequence from among the imaging frame rates that can be selected by the imaging apparatus. Alternatively, control may be performed to automatically select a frame rate value that is intermediate between the frame rate before the change and the frame rate after the change. Of course, the user may be able to select by a menu or the like. When the shortest frame rate value of the video sequence is used among the imaging frame rates that can be selected by the imaging apparatus, there is an advantage that the change of the frame rate can be completed in the shortest time. In addition, when a frame rate value that is intermediate between the frame rate before the change and the frame rate after the change is used, it is possible to obtain a smooth video effect as the appearance of the image when the frame rate is changed. There are advantages. Further, in the present embodiment, description is given via one type of frame rate, but a plurality of types of frame rates may be used. In that case, there is an advantage that a smoother video effect can be obtained by changing the transit frame rate stepwise from the frame rate before the change to the frame rate after the change.
まず、システムコントロール部2は、撮像手段1が経由フレームレートであるフレームレート30pで撮像する期間、すなわち20pと24pとの間に挿入する挿入フレーム数を求める。図14では、20pから60pへのフレームレート変換後の映像シーケンスのうち、フレームレート変更直前の映像シーケンスの先頭は、映像シーケンス番号が値0に更新されるタイミングVSEQtop20p101であることを判断する。また、このときのタイムコード情報TCdetは20p映像シーケンス先頭タイムコードTCtop20p101である値0であることを検出する。20pから60pへのフレームレート変換時の映像シーケンス(以下、20pの映像シーケンスという。また、他のフレームレートについても同様である。)長さは3TCフレーム(60p映像信号の6映像フレーム)であることから、20pの1映像シーケンスが終了した次のフレームのタイムコードは0+3=3となる。これを24pの映像シーケンスに換算するために、24pの映像シーケンス長さ5TCフレーム(60p映像信号の10映像フレーム)で割った剰余を求めると、3 MOD 5=3となる。これに求めるべき挿入フレーム数を加えたものが24p映像シーケンスの先頭となればよいので、逆に挿入フレーム数は、24pの映像シーケンス長さ5TCフレーム(60p映像信号の10映像フレーム)からこの値を減算して5−3=2となり、フレームレート30pの挿入フレーム数は2TCフレームであることが求まる。
First, the
以上を一般化した式で表記すると、経由フレームレートの映像信号の挿入フレーム数は、(LENyptc−(TCxptc+LENxptc)MOD LENyptc)MOD LENyptc (式1)
となる。ただし、LENxptcは変更前のフレームレートのシーケンス長、LENyptcは、変更後のフレームレートのシーケンス長、TCxptcは、変更前のフレームレートのシーケンス先頭のタイムコードのフレーム値、MODは除算の剰余を求める演算子とする。単位はTCフレームである。
Expressing the above in a generalized expression, the number of inserted frames of the video signal of the transit frame rate is (LEENptc− (TCxptc + LENxptc) MOD LEENyptc) MOD LEENypc (Expression 1)
It becomes. Where LENxptc is the sequence length of the frame rate before the change, LENyptc is the sequence length of the frame rate after the change, TCxptc is the frame value of the time code at the beginning of the sequence of the frame rate before the change, and MOD is the remainder of the division Let it be an operator. The unit is a TC frame.
さらに汎用化するために式1を、映像フレームを求める式に変換すると、
(LENyp−(TCxp*2+LENxp)MOD LENyp)MOD LENyp (式2)
となる。ただし、LENxpは変更前のフレームレートのシーケンス長、LENypは、変更後のフレームレートのシーケンス長、TCxpは、変更前のフレームレートのシーケンス先頭のタイムコードのフレーム値、MODは除算の剰余を求める演算子とする。単位は映像フレームである。
For further generalization, when
(LENyp− (TCxp * 2 + LENxp) MOD LENyp) MOD LENyp (Formula 2)
It becomes. Where LENxp is the sequence length of the frame rate before the change, LENyp is the sequence length of the frame rate after the change, TCxp is the frame value of the time code at the beginning of the sequence of the frame rate before the change, and MOD is the remainder of the division Let it be an operator. The unit is a video frame.
ここで、タイムコードを2倍している理由はTCフレームを映像フレームに換算しているためである。60p映像の場合、映像フレーム長さは1/60秒であり、30フレームシステムのTCフレーム長さは1/30秒であるため、TCフレーム長さ/映像フレーム長さ=60/30=2を乗算している。 Here, the reason why the time code is doubled is that the TC frame is converted into a video frame. In the case of 60p video, the video frame length is 1/60 seconds, and the TC frame length of the 30-frame system is 1/30 seconds, so TC frame length / video frame length = 60/30 = 2. Multiply.
改めて式2を用いて図14におけるフレームレート30pの挿入フレーム数を映像フレームで求めると、
(LENyp−(TCxp*2+LENxp)MOD LENyp)MOD LENyp
=(LEN24p−(TC20p*2+LEN20p)MOD LEN24p)MOD LEN24p
=(10−(0*2+6)MOD 10)MOD 10
=4
となる。単位は60pの映像フレームである。
When the number of inserted frames at the frame rate of 30p in FIG.
(LENyp- (TCxp * 2 + LENxp) MOD LENyp) MOD LENyp
= (LEN24p- (TC20p * 2 + LEN20p) MOD LEN24p) MOD LEN24p
= (10- (0 * 2 + 6) MOD 10)
= 4
It becomes. The unit is a 60p video frame.
次に、システムコントロール部2は20p映像シーケンスVS20p101が終了した後のタイミングFRP20p30p101からフレームレートが30pとなるように撮像手段1に対してフレームレート変更情報FRpを出力する。このタイミングは映像シーケンス番号を参照することによって求めることが出来る。本実施の形態では、実際にフレームレートを変更するタイミングよりも60pでの1フレーム前のタイミング、すなわち、20pの映像シーケンス番号が値5に更新されたタイミングFR30p101としている。撮像手段1は、フレームレート変更情報FRpを入力された次のフレームのタイミングからフレームレートを変更する。
Next, the
次に、システムコントロール部2はフレームレート30pの挿入フレーム数経過後のタイミングFRP30p24p101から、操作手段4からのフレームレート変更操作情報OPで指示されたフレームレートとなるように撮像手段1に対してフレームレート変更情報FRpを出力する。この場合は求めたフレーム数は60pの映像フレームで4フレームのため、30pとなるように指示したタイミングFR30p101の4フレーム後のタイミングFR24p101としている。
Next, from the timing FRP30p24p101 after the passage of the number of inserted frames at the frame rate of 30p, the
以上の制御を行うことによって、タイムコードの連続性を保持しつつ、フレームレート変更後の24p映像シーケンスVS24p101の位相とフレームレート変更後の24pタイムコードシーケンスTS24p101の位相とを一致させることが出来る。 By performing the above control, it is possible to match the phase of the 24p video sequence VS24p101 after the frame rate change with the phase of the 24p time code sequence TS24p101 after the frame rate change while maintaining the continuity of the time code.
図15は、タイムコード情報TCdetが図9におけるタイムコード(パターン3)であった場合に、撮像装置のフレームレートを20pから24pに変更した場合、タイムコードの連続性を保持しつつ映像シーケンスとタイムコードシーケンスの位相を一致させる方法の説明図である。図14の場合と同様に、フレームレート30pの挿入フレーム数を、式2を用いて求めると、
(LENyp−(TCxp*2+LENxp)MOD LENyp)MOD LENyp
=(LEN24p−(TC20p*2+LEN20p)MOD LEN24p)MOD LEN24p
=(10−(2*2+6)MOD 10)MOD 10
=0
となる。単位は60pの映像フレームである。フレームレート30pの挿入フレーム数が0映像フレームなので、フレームレート30pのフレームを挿入しなくてもよいことが分かる。
FIG. 15 shows a case where the time code information TCdet is the time code (pattern 3) in FIG. 9 and the video sequence is maintained while maintaining the continuity of the time code when the frame rate of the imaging apparatus is changed from 20p to 24p. It is explanatory drawing of the method of making the phase of a time code sequence correspond. Similarly to the case of FIG. 14, when the number of inserted frames at a frame rate of 30p is obtained using
(LENyp- (TCxp * 2 + LENxp) MOD LENyp) MOD LENyp
= (LEN24p- (TC20p * 2 + LEN20p) MOD LEN24p) MOD LEN24p
= (10- (2 * 2 + 6) MOD 10)
= 0
It becomes. The unit is a 60p video frame. Since the number of inserted frames at the frame rate of 30p is 0 video frame, it can be seen that it is not necessary to insert a frame at the frame rate of 30p.
次に、システムコントロール部2は20p映像シーケンスVS20p103が終了した後のタイミングFRP20p24p103から、操作手段4からのフレームレート変更操作情報OPで指示されたフレームレートとなるように撮像手段1に対してフレームレート変更情報FRpを出力する。このタイミングは映像シーケンス番号を参照することによって求めることが出来、本実施の形態では20pの映像シーケンス番号が値5に更新されたタイミングFR24p103としている。
Next, the
以上の制御を行うことによって、タイムコードの連続性を保持しつつ、フレームレート変更後の24p映像シーケンスVS24p103とフレームレート変更後の24pタイムコードシーケンスTS24p103の位相を一致させることが出来る。 By performing the above control, the phase of the 24p video sequence VS24p103 after changing the frame rate and the phase of the 24p time code sequence TS24p103 after changing the frame rate can be matched while maintaining the continuity of the time code.
なお、図15の説明ではフレームレート30pを挿入しない説明をしたが、フレームレート24pの映像シーケンス長さすなわち10映像フレームを挿入することにしてもよい。その場合は、以下の式によって導かれる。
(LENyp−(TCxp*2+LENxp)MOD LENyp) (式3)
=(10−(2*2+6)MOD 10)
=10
単位は60pの映像フレームである。
In the description of FIG. 15, the description was made without inserting the
(LENyp- (TCxp * 2 + LENxp) MOD LENyp) (Formula 3)
= (10- (2 * 2 + 6) MOD 10)
= 10
The unit is a 60p video frame.
タイムコード情報TCdetが図9におけるタイムコード(パターン2)または(パターン4)または(パターン5)であった場合も同様である。 The same applies when the time code information TCdet is the time code (pattern 2) or (pattern 4) or (pattern 5) in FIG.
以上のように、本発明によれば、撮像装置のフレームレートを20pから24pに変更した場合でも、タイムコードの連続性を保持しつつ映像シーケンスの位相とタイムコードシーケンスの位相とを一致させることが出来る。これにより、撮像した映像をノンリニアエディタシステムに取り込んで容易に編集加工することが可能となる。 As described above, according to the present invention, even when the frame rate of the imaging device is changed from 20p to 24p, the phase of the video sequence and the phase of the time code sequence can be matched while maintaining the continuity of the time code. I can do it. As a result, the captured video can be taken into the nonlinear editor system and easily edited.
なお、出力フレームレートとして、本実施の形態では60p映像信号を用いたが、他のフレームレートを用いても良い。また、プログレッシブ映像信号を用いても良いし、インターレース映像信号を用いても良い。例えば60i映像信号を用いた場合、60i映像信号は2映像フィールドで1映像フレームを構成するので映像フレームとTCフレームの長さは同じになる。従って
(LENyp−(TCxp+LENxp)MOD LENyp)MOD LENyp
が挿入する映像フレーム数でありTCフレーム数となる。
In this embodiment, the 60p video signal is used as the output frame rate, but other frame rates may be used. Further, a progressive video signal may be used, or an interlace video signal may be used. For example, when a 60i video signal is used, since the 60i video signal constitutes one video frame by two video fields, the lengths of the video frame and the TC frame are the same. Therefore, (LENyp− (TCxp + LENxp) MOD LENyp) MOD LENyp
Is the number of video frames to be inserted and is the number of TC frames.
(実施の形態2)
図2は、本発明の実施の形態2における撮像装置の構成図である。図1と異なる部分のみ説明する。タイムコード処理手段23は、撮像装置外部から入力されたタイムコードTCin2を検出し、入力タイムコード情報TCdet2として出力する。また、タイムコード同期処理前のタイムコード情報としてTCint2を出力する。また、システムコントロール部22からのタイムコード同期指示TCslave2に従ってタイムコードの同期処理を行い、TCout2として撮像装置外部に出力する。システムコントロール部22は、入力タイムコード情報TCdet2および映像シーケンス情報FRseq2から、フレームレート変更の適切なタイミングおよび変更すべき適切なフレームレートを生成してフレームレート変更情報FRp2とし、これを撮像手段21に対して出力するとともに、タイムコード処理手段23に対してタイムコード同期指示TCslave2を出力する。本実施の形態ではユーザー操作によるフレームレート変更を行わないので操作手段は省略している。
(Embodiment 2)
FIG. 2 is a configuration diagram of the imaging apparatus according to
次に、図16を用いて、外部入力されたタイムコードに同期しつつ、映像シーケンスとタイムコードシーケンスの位相を一致させる方法について具体的に説明する。 Next, a method for matching the phase of the video sequence and the time code sequence while synchronizing with the time code input externally will be specifically described with reference to FIG.
図16は、撮像装置で24pから60pへのフレームレート変換中、下地タイムコードが5であるタイミングで撮像装置外部からのタイムコード入力が有効となり、入力タイムコード情報TCdet2が図11におけるタイムコード(パターン2)であるときに、外部入力されたタイムコードに同期しつつ、映像シーケンスとタイムコードシーケンスの位相を一致させる方法の説明図である。なお、外部入力されたタイムコードに同期する以前に、内部で生成しているタイムコードを下地タイムコードと呼ぶ。 FIG. 16 shows that during the frame rate conversion from 24p to 60p in the imaging device, the time code input from the outside of the imaging device becomes valid at the timing when the base time code is 5, and the input time code information TCdet2 is the time code (FIG. 11). It is explanatory drawing of the method to match | combine the phase of a video sequence and a time code sequence, synchronizing with the time code input externally when it is pattern 2). Note that a time code generated internally before synchronizing with an externally input time code is called a base time code.
撮像手段21で24pから60pへのフレームレート変換が行われているときに撮像装置外部からのタイムコード入力TCin2が有効となったとき、システムコントロール部22は、フレームレートを現在の24pから経由フレームレートとして一旦30pに変更してから再び24pへ変更する制御を行う。経由フレームレートは、現在のフレームレート以外であれば任意であってよいが図16の説明では30pを用いる。
When the time rate input TCin2 from the outside of the imaging apparatus becomes valid when the frame rate conversion from 24p to 60p is performed in the
まず、システムコントロール部22は、撮像手段21が経由フレームレートであるフレームレート30pで撮像する期間、すなわち24pの間に挿入する挿入フレーム数を求める。図16では、24pから60pへのフレームレート変換後の映像シーケンスのうち、フレームレート変更直前の映像シーケンスの先頭は、映像シーケンス番号が値0に更新されるタイミングVSEQtop24p201であることを判断する。なお、映像シーケンス番号の算出方法は実施の形態1と同様である。また、このときの入力タイムコード情報TCdet2は24p映像シーケンス先頭タイムコードTCtop24p201である値1であることを検出する。24pの映像シーケンスの長さは5TCフレーム(60p映像信号の10映像フレーム)であることから、24pの1映像シーケンスが終了した次のフレームの入力タイムコードは1+5=6となる。これを24pの映像シーケンスに換算するために、24pの映像シーケンス長さ5TCフレームで割った剰余を求めると、6 MOD 5=1となる。これに求めるべき挿入フレーム数を加えたものが24p映像シーケンスの先頭となればよいので、逆に挿入フレーム数は、24pの映像シーケンス長さ5TCフレームからこの値を減算して5−1=4となり、フレームレート30pの挿入フレーム数は4TCフレームであることが求まる。
First, the
以上は、実施の形態1で用いた式1で変更前後のフレームレートを同一とすることで求めることが出来る。すなわち、経由フレームレートの映像信号の挿入フレーム数は、
(LENyptc−(TCxptc+LENxptc)MOD LENyptc)MOD LENyptc
=(LEN24ptc−(TC24ptc+LEN24ptc)MOD LEN24ptc)MOD LEN24ptc
=(5−(1+5)MOD 5)MOD 5
=4
となる。単位はTCフレームである。
The above can be obtained by using the same frame rate before and after the change in
(LEENptc- (TCxptc + LENxptc) MOD LENyptc) MOD LENyptc
= (LEN24ptc- (TC24ptc + LEN24ptc) MOD LEN24ptc) MOD LEN24ptc
= (5- (1 + 5) MOD 5)
= 4
It becomes. The unit is a TC frame.
同様に式2を用いても求めることが出来る。すなわち、経由フレームレートの映像信号の挿入フレーム数は、
(LENyp−(TCxp*2+LENxp)MOD LENyp)MOD LENyp
=(LEN24p−(TC24p*2+LEN24p)MOD LEN24p)MOD LEN24p
=(10−(1*2+10)MOD 10)MOD 10
=8
となる。単位は60pの映像フレームである。
Similarly, it can be obtained using
(LENyp- (TCxp * 2 + LENxp) MOD LENyp) MOD LENyp
= (LEN24p- (TC24p * 2 + LEN24p) MOD LEN24p) MOD LEN24p
= (10- (1 * 2 + 10) MOD 10)
= 8
It becomes. The unit is a 60p video frame.
次に、システムコントロール部22は24p映像シーケンスVS24p201が終了した後のタイミングFRP24p30p201からフレームレートが30pとなるように撮像手段21に対してフレームレート変更情報FRp2を出力する。このタイミングは映像シーケンス番号を参照することによって求めることが出来る。本実施の形態では、実際にフレームレートを変更するタイミングよりも60pでの1フレーム前のタイミング、すなわち、24pの映像シーケンス番号が値9に更新されたタイミングFR30p201としている。
Next, the
次に、システムコントロール部22はフレームレート30pの挿入フレーム数経過後のタイミングFRP30p24p201から、変更前のフレームレートに戻るように撮像手段21に対してフレームレート変更情報FRp2を出力する。この場合は求めたフレーム数は60pの映像フレームで8フレームのため、30pとなるように指示したタイミングFR30p201の8映像フレーム後のタイミングFR24p201としている。
Next, the
また、システムコントロール部22は、タイムコードの同期処理がタイミングFRP24p30p201またはFRP30p24p201で行われるようにタイムコード処理手段23に対してタイムコード同期指示TCslave2を出力する。そのタイミングは実際に同期処理を行うフレームの1フレーム前となり、フレームレート変更のタイミングと同様にFR30p201、またはFR24p201である。なお、経由フレームレートとして30pを選択した場合はいずれのタイミングでタイムコードの同期処理を行っても、撮像装置から出力する映像信号の映像シーケンスと、撮像装置から出力するタイムコードのタイムコードシーケンスは位相が一致する。
Further, the
以上の制御を行うことによって、外部入力されたタイムコードに同期しつつ、映像シーケンスとタイムコードシーケンスの位相を一致させることが出来る。 By performing the above control, it is possible to match the phases of the video sequence and the time code sequence while synchronizing with the time code input from the outside.
入力タイムコード情報TCdet2が図11におけるタイムコード(パターン1)または(パターン3)または(パターン4)または(パターン5)であった場合も同様である。なお、入力タイムコード情報TCdet2が図11におけるタイムコード(パターン1)であった場合はフレームレート30pの挿入フレーム数は0フレームとなるが、この場合はフレームレート30pのフレームを挿入せず、フレームレート変換後の映像シーケンス先頭のタイミングで外部入力されたタイムコードに同期してもよいし、フレームレート24pの映像シーケンスの長さすなわち10映像フレームを挿入することにしてもよい。
The same applies when the input time code information TCdet2 is the time code (pattern 1) or (pattern 3) or (pattern 4) or (pattern 5) in FIG. If the input time code information TCdet2 is the time code (pattern 1) in FIG. 11, the number of frames inserted at the
次に、図17を用いて、外部入力されたタイムコードがフィールドずれしている場合に関して、外部入力されたタイムコードに同期しつつ、映像シーケンスとタイムコードシーケンスの位相を一致させる方法について具体的に説明する。 Next, with reference to FIG. 17, a specific method for matching the phases of the video sequence and the time code sequence while synchronizing with the externally input time code in the case where the externally input time code is shifted in the field will be described. Explained.
プログレッシブ映像信号には、インターレース映像信号で取り扱うフィールド情報が規定されていないため、入力されたタイムコードが撮像装置で生成するタイムコードの位相と1フィールドずれている可能性がある。 In the progressive video signal, field information handled by the interlaced video signal is not defined, and therefore the input time code may be shifted by one field from the phase of the time code generated by the imaging apparatus.
図17は、撮像装置で24pから60pへのフレームレート変換中に撮像装置外部からのタイムコード入力が有効となり、入力タイムコード情報TCdet2がフィールドずれしているときに、外部入力されたタイムコードに同期しつつ、映像シーケンスとタイムコードシーケンスの位相を一致させる方法の説明図である。 FIG. 17 shows the time code input from the outside when the time code input from the outside of the image pickup apparatus becomes valid during the frame rate conversion from 24p to 60p in the image pickup apparatus and the input time code information TCdet2 is shifted in the field. It is explanatory drawing of the method of making the phase of a video sequence and a time code sequence correspond, synchronizing.
撮像手段21で24pから60pへのフレームレート変換が行われているときに撮像装置外部からのタイムコード入力TCin2が有効となったとき、システムコントロール部22は、フレームレートを現在の24pから経由フレームレートとして一旦60pに変更してから再び24pへ変更する制御を行う。経由フレームレートは、映像シーケンスの長さが奇数であれば任意であってもよいが図17の説明では60pを用いる。
When the time rate input TCin2 from the outside of the imaging apparatus becomes valid when the frame rate conversion from 24p to 60p is performed in the
まず、システムコントロール部22は経由フレームレートであるフレームレート60pの挿入フレーム数を求める。図17では24pから60pへのフレームレート変換後の映像シーケンス先頭は、映像シーケンス番号が値0に更新されるタイミングVSEQtop24p202であることを判断する。また、このときの入力タイムコード情報TCdet2は24p映像シーケンス先頭タイムコードTCtop24p202であることを検出する。このとき、タイムコード同期処理前のタイムコードである下地タイムコードと更新タイミングがずれていることも同時に検出する。これは、1/60秒ごとに入力タイムコード情報TCdet2とタイムコード同期処理前のタイムコード情報TCint2の更新タイミングを比較することで検出することが出来る。図17の場合はVSEQtop24p202を認識した時には、入力タイムコード情報TCdet2は値4に更新されてから1/60秒だけ時間が経過しているので、24p映像シーケンス先頭タイムコードTCtop24p202はこれに0.5を加えた値4.5であると認識する。なお、経由フレームレートを決定するのは入力タイムコードのフィールドずれの有無を検出してからでもよい。例えば、入力タイムコードがフィールドずれしていなかった場合は経由フレームレートを30pとし、フィールドずれしていた場合は60pとするようにしてもよい。
First, the
24pの映像シーケンスの長さは5TCフレーム(60p映像信号の10映像フレーム)であることから、24pの1映像シーケンスが終了した次のフレームの入力タイムコードは4.5+5=9.5となる。これを24pの映像シーケンスに換算するために、24pの映像シーケンス長さ5TCフレームで割った剰余を求めると、9.5 MOD 5=4.5となる。これに求めるべき挿入フレーム数を加えたものが24p映像シーケンスの先頭となればよいので、逆に挿入フレーム数は、24pの映像シーケンス長さ5TCフレームからこの値を減算して5−4.5=0.5となり、フレームレート60pの挿入フレーム数は0.5TCフレームであることが求まる。
Since the length of the 24p video sequence is 5TC frames (10 video frames of the 60p video signal), the input time code of the next frame after the completion of one video sequence of 24p is 4.5 + 5 = 9.5. In order to convert this into a 24p video sequence, the remainder obtained by dividing the 24p video sequence length by 5TC frames is 9.5
以上は、実施の形態1で用いた式1で変更前後のフレームレートを同一とすることで求めることが出来る。すなわち、経由フレームレートの映像信号の挿入フレーム数は、
(LENyptc−(TCxptc+LENxptc)MOD LENyptc)MOD LENyptc
=(LEN24ptc−(TC24ptc+LEN24ptc)MOD LEN24ptc)MOD LEN24ptc
=(5−(4.5+5)MOD 5)MOD 5
=0.5
となる。単位はTCフレームである。
The above can be obtained by using the same frame rate before and after the change in
(LEENptc- (TCxptc + LENxptc) MOD LENyptc) MOD LENyptc
= (LEN24ptc- (TC24ptc + LEN24ptc) MOD LEN24ptc) MOD LEN24ptc
= (5- (4.5 + 5) MOD 5)
= 0.5
It becomes. The unit is a TC frame.
同様に式2を用いても求めることが出来る。すなわち、経由フレームレートの映像信号の挿入フレーム数は、
(LENyp−(TCxp*2+LENxp)MOD LENyp)MOD LENyp
=(LEN24p−(TC24p*2+LEN24p)MOD LEN24p)MOD LEN24p
=(10−(4.5*2+10)MOD 10)MOD 10
=1
となる。単位は60pの映像フレームである。
Similarly, it can be obtained using
(LENyp- (TCxp * 2 + LENxp) MOD LENyp) MOD LENyp
= (LEN24p- (TC24p * 2 + LEN24p) MOD LEN24p) MOD LEN24p
= (10- (4.5 * 2 + 10) MOD 10)
= 1
It becomes. The unit is a 60p video frame.
次に、システムコントロール部22は24p映像シーケンスVS24p202が終了した後のタイミングFRP24p60p202からフレームレートが60pとなるように撮像手段21に対してフレームレート変更情報FRp2を出力する。このタイミングは映像シーケンス番号を参照することによって求めることが出来る。本実施の形態では、実際にフレームレートを変更するタイミングよりも60pでの1フレーム前のタイミング、すなわち、24pの映像シーケンス番号が値9に更新されたタイミングFR60p202としている。
Next, the
次に、システムコントロール部22はフレームレート60pの挿入フレーム数経過後のタイミングFRP60p24p202から、変更前のフレームレートに戻るように撮像手段21に対してフレームレート変更情報FRp2を出力する。この場合は求めたフレーム数は60pの映像フレームで1フレームのため、60pとなるように指示したタイミングFR60p202の1フレーム後のタイミングFR24p202としている。
Next, the
また、システムコントロール部22は、タイムコードの同期処理がタイミングFRP60p24p202で行われるようにタイムコード処理手段23に対してタイムコード同期指示TCslave2を出力する。そのタイミングはFR24p202である。
Further, the
以上の制御を行うことによって、外部入力されたタイムコードに同期しつつ、映像シーケンスとタイムコードシーケンスの位相を一致させることが出来る。 By performing the above control, it is possible to match the phases of the video sequence and the time code sequence while synchronizing with the time code input from the outside.
本発明にかかる撮像装置は、撮像装置のフレームレートを変更した場合でもタイムコードの連続性を保持しつつ映像シーケンスとタイムコードシーケンスの位相を一致させることが出来、さらには、外部入力されたタイムコードに同期しつつ映像シーケンスとタイムコードシーケンスの位相を一致させることが出来るため、フィルムシネマシステムと同等の映像制作を行うデジタルシネマ制作分野で使用する撮像装置等として有用である。 The image pickup apparatus according to the present invention can match the phase of the video sequence and the time code sequence while maintaining the continuity of the time code even when the frame rate of the image pickup apparatus is changed. Since the phase of the video sequence and the time code sequence can be matched while synchronizing with the code, it is useful as an imaging device or the like used in the digital cinema production field that produces video equivalent to a film cinema system.
1 撮像手段
2 システムコントロール部
3 タイムコード生成手段
4 操作手段
5 CCD駆動手段
6 フレームレート変換手段
21 撮像手段
22 システムコントロール部
23 タイムコード処理手段
25 CCD駆動手段
26 フレームレート変換手段
31 撮像手段
32 システムコントロール部
34 操作手段
35 CCD駆動手段
36 フレームレート変換手段
DESCRIPTION OF
Claims (6)
前記出力映像信号に同期したタイムコード情報を生成するタイムコード生成手段と、
フレームレートの変更指令を発生する操作手段と、
前記操作手段によってフレームレート変更を通知されたときに前記タイムコード生成手段から取り込んだ前記タイムコード情報及び前記撮像手段から取り込んだ前記映像シーケンス情報に従って前記撮像手段のフレームレートを変更するシステムコントロール部とを備え、
前記システムコントロール部は、前記撮像フレームレートを第1のフレームレートから第2のフレームレートへ変更するときの手順として前記第1のフレームレートから一旦第3のフレームレートを経由して前記第2のフレームレートへ変更し、前記第3のフレームレートで撮像する期間を、前記第1のフレームレートから前記出力フレームレートへフレームレート変換するときの繰り返し単位である第1映像シーケンスの長さ、前記第2のフレームレートから前記出力フレームレートへフレームレート変換するときの繰り返し単位である第2映像シーケンスの長さ及びフレームレート変更直前の前記第1映像シーケンスの先頭のタイムコードの値に基づいて決定するように構成した、
撮像装置。 An imaging frame rate, which is a frame rate for imaging video, can be changed, and a video signal captured at the imaging frame rate is converted into an output frame rate and output as an output video signal, and from the imaging frame rate to the output frame Imaging means for outputting video sequence information for specifying a start position of a video sequence that is a repetition unit when converting a frame rate to a rate;
Time code generating means for generating time code information synchronized with the output video signal;
Operation means for generating a frame rate change command;
A system control unit that changes the frame rate of the imaging unit according to the time code information captured from the time code generation unit and the video sequence information captured from the imaging unit when a frame rate change is notified by the operation unit; With
The system control unit, as a procedure for changing the imaging frame rate from the first frame rate to the second frame rate, temporarily changes the second frame rate from the first frame rate via the third frame rate. The length of the first video sequence, which is a repetition unit when the frame rate is changed from the first frame rate to the output frame rate, and the period of imaging at the third frame rate is changed to the frame rate, 2 based on the length of the second video sequence, which is a repetition unit when converting the frame rate from the frame rate of 2 to the output frame rate, and the value of the time code at the beginning of the first video sequence immediately before the frame rate change. Configured as
Imaging device.
請求項1記載の撮像装置。 The system control unit selects the third frame rate so that the length of the third video sequence, which is a repetition unit when converting the frame rate from the third frame rate to the output frame rate, is the shortest. Configured as
The imaging device according to claim 1.
請求項1記載の撮像装置。 The system control unit is configured to select a frame rate value that is intermediate between the first frame rate and the second frame rate as the third frame rate.
The imaging device according to claim 1.
請求項1記載の撮像装置。 The system control unit gradually selects a plurality of frame rate values that are intermediate between the first frame rate and the second frame rate as the third frame rate, and gradually changes the frame rate. Configured as
The imaging device according to claim 1.
外部から入力されるタイムコードを入力タイムコードとして出力するタイムコード処理手段と、
前記タイムコード処理手段が外部からのタイムコードを入力され、前記入力タイムコードの出力を開始すると、前記タイムコード処理手段から取り込んだ前記入力タイムコードおよび前記撮像手段から取り込んだ前記映像シーケンス情報に従って前記撮像手段のフレームレートを変更するシステムコントロール部とを備え、
前記システムコントロール部は、前記撮像フレームレートを、前記第1のフレームレートから一旦第3のフレームレートを経由して再び前記第1の撮像フレームレートへ変更し、前記第3のフレームレートで撮像する期間を、前記第1のフレームレートから前記出力フレームレートへフレームレート変換するときの繰り返し単位である第1映像シーケンスの長さ及びフレームレート変更直前の前記第1映像シーケンスの先頭のタイムコードの値に基づいて決定するように構成した、
撮像装置。 An imaging frame rate, which is a frame rate for imaging video, can be changed, and a video signal captured at the imaging frame rate is converted into an output frame rate and output as an output video signal, and from the imaging frame rate to the output frame Imaging means for outputting video sequence information for specifying a start position of a video sequence that is a repetition unit when converting a frame rate to a rate;
A time code processing means for outputting an externally input time code as an input time code;
When the time code processing unit receives an external time code and starts outputting the input time code, the input time code fetched from the time code processing unit and the video sequence information fetched from the imaging unit are used. A system control unit for changing the frame rate of the imaging means,
The system control unit changes the imaging frame rate from the first frame rate to the first imaging frame rate once again via the third frame rate, and performs imaging at the third frame rate. The length of the first video sequence, which is a repetition unit when converting the frame rate from the first frame rate to the output frame rate, and the value of the time code at the beginning of the first video sequence immediately before the frame rate change Configured to make decisions based on
Imaging device.
請求項5記載の撮像装置。 The system control unit selects the third frame rate so that the length of the third video sequence, which is a repetition unit when converting the frame rate from the third frame rate to the output frame rate, is the shortest. Configured
The imaging device according to claim 5.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006197896A JP4952107B2 (en) | 2006-07-20 | 2006-07-20 | Imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006197896A JP4952107B2 (en) | 2006-07-20 | 2006-07-20 | Imaging device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008028607A true JP2008028607A (en) | 2008-02-07 |
JP4952107B2 JP4952107B2 (en) | 2012-06-13 |
Family
ID=39118829
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006197896A Active JP4952107B2 (en) | 2006-07-20 | 2006-07-20 | Imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4952107B2 (en) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004312275A (en) * | 2003-04-04 | 2004-11-04 | Matsushita Electric Ind Co Ltd | Time code conversion device and video conversion device |
-
2006
- 2006-07-20 JP JP2006197896A patent/JP4952107B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004312275A (en) * | 2003-04-04 | 2004-11-04 | Matsushita Electric Ind Co Ltd | Time code conversion device and video conversion device |
Also Published As
Publication number | Publication date |
---|---|
JP4952107B2 (en) | 2012-06-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4501758B2 (en) | MULTI-CAMERA SYSTEM, IMAGING DEVICE, IMAGING CONTROL METHOD, AND IMAGING METHOD | |
JP6324063B2 (en) | Image reproducing apparatus and control method thereof | |
US10171748B2 (en) | Image pickup apparatus, non-transitory computer-readable medium storing computer program, and image pickup method | |
JP5092983B2 (en) | Movie playback device, imaging device, and program | |
JP2008228282A (en) | Image processing device | |
JP2007159088A (en) | Imaging apparatus and method of controlling same | |
KR101108640B1 (en) | Recording apparatus for recording moving picture, recording method, and computer readable rdcording medium | |
JP4556195B2 (en) | Imaging device, moving image playback device, and program | |
JP2009111518A (en) | Imaging apparatus, image reproducing unit and program thereof, and data structure of image file | |
JP2010074323A (en) | Recording apparatus and method, and recording and playback apparatus and method | |
JP2014229929A (en) | Imaging device, and method and system of controlling the same | |
JP4952107B2 (en) | Imaging device | |
JP5058780B2 (en) | Image processing device | |
JP2008258926A (en) | Image reproducing device, image reproduction program, recording medium, and image reproducing method | |
JP2009010903A (en) | Imaging device, and imaging method | |
JP2008021110A (en) | Image processor, image processing procedure, and program | |
JP4561452B2 (en) | IMAGING DEVICE, VIDEO OUTPUT METHOD, AND VIDEO REPRODUCTION PROGRAM | |
JP7146575B2 (en) | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD AND PROGRAM | |
JP2013055590A (en) | Imaging device and imaging method | |
KR20160102898A (en) | Method and apparatus for generating lens-related metadata | |
JP5645096B2 (en) | Movie processing apparatus, movie playback method, movie recording method, and program | |
JP2014229930A (en) | Imaging device, and method and system of controlling the same | |
JP2007221535A (en) | Data processing apparatus, system thereof, method thereof, program thereof, and recording medium for recording the program | |
JP2006270160A (en) | Image data processing apparatus | |
JP5084586B2 (en) | Image recording / reproducing apparatus and image reproducing apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20081202 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20091127 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101013 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101109 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110621 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110810 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120214 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120227 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4952107 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150323 Year of fee payment: 3 |