JP2017216616A - 撮像装置及び撮像装置の制御方法 - Google Patents

Abstract

【課題】複数の画像処理回路に動画像のフレームを振り分けて処理する場合に、簡単な構成で各フレームにタイムコードを付加することができるようにする。【解決手段】撮像手段と、複数の画像処理回路と、前記撮像手段からの動画像データの各フレームに対し、フレーム毎に所定の値ずつ増加する識別情報を付加し、前記複数の画像処理回路に対してフレーム毎に振り分けて出力するとともに、処理の開始のフレームに対応した前記識別情報を前記複数の画像処理回路に出力する出力手段とを有し、前記複数の画像処理回路はそれぞれ、前記出力手段から入力される各フレームに付加された前記識別情報と、前記出力手段から出力された前記処理の開始のフレームに対応した前記識別情報との差分に基づいて、各フレームのタイムコードを生成する生成手段を有する。【選択図】図１

Description

本発明は撮像装置及び撮像装置の制御方法に関するものである。

撮像装置においては、撮像センサー（イメージセンサー）の高画素化、高フレームレート化に伴って、ＭＰＥＧ圧縮等を行う画像処理回路での処理能力が不足する傾向にある。画像処理回路での処理能力が不足すると、高解像度、高フレームレートの動画像記録の実現が困難となる。

前述の画像処理回路での処理能力を改善する技術としては、特許文献１に記載の撮像装置がある。この撮像装置においては、撮像センサーと、２つの画像処理回路と、記録制御回路とを有し、撮像センサーが、２つの画像処理回路に対して、画像データと撮影順を識別するための識別情報を交互に出力する。そして、画像データは画像処理回路で圧縮された後に記録制御回路に送られ、記録制御回路は識別情報に基づき画像データを撮影順に記録する構成となっている。
また、業務用のビデオカメラなどにおいては、記録される動画像の各フレームにタイムコードを付加して記録する構成が一般的である。

特開２００８−２１９３２０号公報

しかしながら、前述の従来例では、２つの画像処理回路により処理されるフレームに対してタイムコードを付加する構成については開示されていない。
本発明は、複数の画像処理回路に動画像のフレームを振り分けて処理する場合に、簡単な構成で各フレームにタイムコードを付加することができるようにすることを目的とする。

本発明の撮像装置は、撮像手段と、複数の画像処理回路と、前記撮像手段からの動画像データの各フレームに対し、フレーム毎に所定の値ずつ増加する識別情報を付加し、前記複数の画像処理回路に対してフレーム毎に振り分けて出力するとともに、処理の開始のフレームに対応した前記識別情報を前記複数の画像処理回路に出力する出力手段とを有し、前記複数の画像処理回路はそれぞれ、前記出力手段から入力される各フレームに付加された前記識別情報と、前記出力手段から出力された前記処理の開始のフレームに対応した前記識別情報との差分に基づいて、各フレームのタイムコードを生成する生成手段を有することを特徴とする。

本発明によれば、複数の画像処理回路に動画像のフレームを振り分けて処理する場合に、簡単な構成で各フレームにタイムコードを付加することができる。

本実施形態に係るデジタルビデオカメラの内部構成例を示すブロック図である。 本実施形態に係るＭＸＦのフォルダ構成例を示す図である。 本実施形態に係るＭＸＦのストリーム構成例を示す図である。 本実施形態に係るフレーム圧縮時の信号入力部より映像信号処理部に入力されるフレームについて説明する図である。 本実施形態に係るデジタルビデオカメラの記録開始時の処理を示すフローチャートである。 本実施形態に係るデジタルビデオカメラの記録中の処理を示すフローチャートである。 本実施形態に係るデジタルビデオカメラの記録停止時の処理を示すフローチャートである。 本実施形態に係るデジタルビデオカメラの記録開始時の処理を示すタイミングを説明する図である。 本実施形態に係るデジタルビデオカメラの記録停止時の処理を示すタイミングを説明する図である。 本実施形態に係るフレーム内圧縮時のデジタルビデオカメラのＲＡＭのデータ配置例を示す図である。 本実施形態に関わるユーザーインタフェースの一例を示す図である。

＜第１の実施形態＞
図１は、本発明に係る撮像装置の一実施形態を実現するデジタルビデオカメラ１００内部構成例を示すブロック図である。
図１において、デジタルビデオカメラ１００は、レンズ１０１〜記録媒体Ｃ１３９により構成されている。
レンズ１０１は、集光のための固定レンズ群、変倍レンズ群、絞り、変倍レンズ群の動きで、移動した結像位置を補正する機能と焦点調節を行う機能とを兼ね備えた補正レンズ群により構成されている。レンズ１０１によって、最終的に後述のイメージセンサー１０２の結像面上に被写体像が結像される。

イメージセンサー１０２は、レンズ１０１からの光を電荷に変換して撮像信号を生成し、信号入力部１０３に出力する。
信号入力部１０３は、イメージセンサー１０２から入力された撮像信号に対して所定の処理を施す画像データ生成処理を行って画像データを生成し、カメラ信号処理部１１１、１２１、１３１へ出力する。
また、信号入力部１０３は、画像データと共に連続したカウント値も生成して、画像データを識別する識別情報を生成する識別情報生成処理を行い、識別情報を前述のカメラ信号処理部１１１、１２１、１３１に出力する。

出力処理部１０４は、外部出力部１１５、１２５、１３５から入力される画像データを、各出力のフォーマットに合わせた形の映像信号としてパネル１０５、ＳＤＩ１０６、ＨＤＭＩ（登録商標）１０７へ出力する。
パネル１０５は、液晶パネルで構成されており、出力処理部１０４から入力される映像信号を表示する表示部である。
ＳＤＩ１０６は、出力処理部１０４から入力される映像信号をＳＤＩ信号として出力するブロックである。
ＨＤＭＩ１０７は、出力処理部１０４から入力される映像信号をＨＤＭＩ信号として出力するブロックである。

画像処理回路である映像信号処理エンジン１１０は、カメラ信号処理部１１１〜メディア制御部１１８で構成される。なお、本実施形態の映像信号処理エンジンは、解像度４０９６×２１６０（以下４Ｋ）、フレームレートは３０フレーム毎秒（以下３０Ｐ）までを処理することができるものである。また、画素数が２Ｋ（１９２０×１０８０画素）の動画を記録する場合は、フレームレートが６０フレーム毎秒（以下６０Ｐ）までを処理できる。

カメラ信号処理部１１１は、イメージセンサー１０２から入力された画像に対して画像データに適したホワイトバランスのゲイン値を算出し、画像データに乗算する。その後、ＹＣｂＣｒ信号に変換して、画像処理部１１２へ出力する。
画像処理部１１２は、カメラ信号処理部１１１から入力される画像データに対して、符号化処理部１１３、外部出力部１１５が扱えるようにリサイズ処理を行い、符号化処理用画像データと、外部出力用画像データを生成してＲＡＭ１１６へ出力する。

符号化処理部１１３は、ＲＡＭ１１６に配置された符号化処理用画像データより記録用の圧縮ビデオフレームを生成し、ＲＡＭ１１６へ出力する。本実施形態では、圧縮されたビデオフレームは、タイムコード等の管理情報や音声データをＭＸＦ（Ｍａｔｅｒｉａｌ ｅＸｃｈａｎｇｅ Ｆｏｒｍａｔ）というコンテナ構造で記録する場合を例に説明する。しかし、ＡＶＣＨＤ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｅｃ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）やＭＰ４（ＭＰＥＧ−４ Ｐａｒｔ１４またはＩＳＯ／ＩＥＣ１４４９６−１４：２００３）等のファイルフォーマットであっても何ら問題はない。

図２に、記録媒体Ａ１１９や記録媒体Ｂ１２９、記録媒体Ｃ１３９に記録されるＭＸＦのフォルダ構成を示す。
記録媒体Ａ１１９や記録媒体Ｂ１２９、記録媒体Ｃ１３９が操作部１１７の操作によりデジタルビデオカメラ１００を操作することで初期化されると、ＣＯＮＴＥＮＴＳフォルダ２０１やＣＬＩＰＳ００１フォルダ２０２が生成される。
操作部１１７が操作されることにより記録が開始されると、ストリームファイルであるＡ００１Ｃ００１＿１４１１２０ＸＸ＿ＣＡＮＯＮ．ＭＸＦ２０４や、編集情報を記載したＡ００１Ｃ００１＿１４１１２０ＸＸ＿ＣＡＮＯＮ．ＸＭＬ２０５が記録される。

複数のクリップが記録されていくと、ＭＸＦファイルとＸＭＬファイルのファイル名が変化し増加していく。そして、それらのクリップの情報を一つにまとめている管理ファイルがＩＮＤＥＸ．ＭＩＦ２０３である。
ＩＮＤＥＸ．ＭＩＦ２０３があることでクリップ数が増えた場合にクリップ単位でフォルダ内を解析せずに一つのファイルを解析すればよいので、解析時間を軽減できる。また、フレーム単位に設定する必要があるフレーム番号やタイムコード等は、Ａ００１Ｃ００１＿１４１１２０ＸＸ＿ＣＡＮＯＮ．ＭＸＦ２０４に記録される。

図３に、ＭＸＦのコンテナ構造を示す。
ヘッダ３１０はファイルの開始を示し、ファイルに関するメタ情報が記録されている。画像データを記録するにあたり、記録する解像度やフレームレートの情報等をこのヘッダ３１０の領域に記録する。
Ｆｒａｍｅ３１１（以下、フレーム情報）は、各フレームのデータを表し、フレームのメタ情報３１３、画像データ３１４、音声データ３１５から構成されている。フッタ３１２はファイルの終了を示す情報である。

フレーム番号は、開始フレームを０として、フレームのメタ情報３１３の領域に記録する。Ａ００１Ｃ００１＿１４１１２０ＸＸ＿ＣＡＮＯＮ．ＸＭＬ２０５は、マークアップ言語のＸＭＬ（ＥｘｔｅｎｓｉｂｌｅＭａｒｋｕｐＬａｎｇｕａｇｅ）ファイルであり、タグ情報を使用して編集情報を書き込むことも可能である。

図１のデジタルビデオカメラ１００の説明にもどる。
制御部１１４は、マイクロコンピュータであり、映像信号処理エンジン１１０の全体を制御する。なお、特に図示はしていないが制御部１１４と制御部１２４と制御部１３４は、ＳＰＩ（Ｓｅｒｉａｌ Ｐｅｒｉｐｈｅｒａｌ Ｉｎｔｅｒｆａｃｅ）で接続されており、情報のやりとりを行うことができる。例えば、操作部１１７からのユーザーの操作情報を制御部１１４を介して制御部１２４と制御部１３４に通知することが可能である。
外部出力部１１５は、ＲＡＭ１１６に配置された外部出力用の画像データを読み込み、出力処理部１０４へ出力する。

ＲＡＭ１１６はメモリであり、カメラ信号処理部１１１や画像処理部１１２、符号化処理部１１３、制御部１１４、などがワークとして使用する揮発性メモリである。
操作部１１７は、ユーザーが操作入力するためのものである。
メディア制御部１１８は、符号化処理部１１３で生成されＲＡＭ１１６に配置された圧縮ビデオデータ（動画像データ）を、ＦＡＴファイルシステムなどコンピュータで使用可能なフォーマットに従って、記録媒体Ａ１１９に記録するためのものである。

記録媒体Ａ１１９は、メモリカード等のランダムアクセスの記録媒体であり、符号化処理部１１３で生成された圧縮ビデオデータをＦＡＴファイルシステムなどコンピュータで使用可能な所定のフォーマットに従って記録するための記録媒体である。この記録媒体Ａ１１９は、デジタルビデオカメラ１００から取り外し可能な着脱可能記録媒体であり、デジタルビデオカメラ以外にもＰＣ等に装着することができる。

映像信号処理エンジン１２０は、映像信号処理エンジン１１０と同様な構成である。カメラ信号処理部１２１、画像処理部１２２、符号化処理部１２３、制御部１２４、外部出力部１２５、ＲＡＭ１２６、メディア制御部１２８、記録媒体Ｂ１２９は映像信号処理エンジン１１０のそれぞれと同等である。
通信部１２７は、映像信号処理エンジン１３０と後述する圧縮ビデオフレーム（エンコード後のデータ）や音声データ、メタデータを含む図３で説明したフレーム情報３１１を交換するためのものである。

映像信号処理エンジン１３０は、映像信号処理エンジン１１０、映像信号処理エンジン１２０と同様な構成である。カメラ信号処理部１３１、画像処理部１３２、符号化処理部１３３、制御部１３４、外部出力１３５、ＲＡＭ１３６、メディア制御部１３８、記録媒体Ｃ１３９は、映像信号処理エンジン１１０、映像信号処理エンジン１２０のそれぞれと同等である。
通信部１３７は、映像信号処理エンジン１２０と圧縮ビデオフレームや音声データ、メタデータを含む図３で説明したフレーム情報３１１を交換するためのものである。

ここで、図４を用いて、信号入力部１０３より各映像信号処理エンジン１１０、１２０、１３０へ出力されるフレームについて説明する。
なお、４０１に示すように、図４中の各四角の中の数値は信号入力部１０３から、各映像信号処理エンジン１１０、１２０、１３０へ出力される映像データと関連づいた識別情報であるカウンタ値である。そして、各四角内の番号は、映像データと関連づいたカウンタ番号である。また、４０２に示すように、図４中の各四角の中の記載は信号入力部１０３から、各映像信号処理エンジン１１０、１２０、１３０へ出力される画像データ（フレーム）であり、各四角内の番号は、フレームの並び順序を表すフレーム番号である。

たとえば、信号入力部１０３は、カウンタ値０とフレーム番号Ａ１からカウンタ値１１とフレーム番号Ａ１２までの画を連続的にイメージセンサー１０２より受け付ける。そして、カウンタ値０とフレーム番号Ａ１の画像データは、映像信号処理エンジン１１０と、映像信号処理エンジン１２０に入力する。また、カウンタ値１とフレーム番号Ａ２の画像データは、映像信号処理エンジン１１０と映像信号処理エンジン１３０へ入力するというものである。
また、フレーム番号Ａ１〜Ａ１２は連続的に並んだ画像データである。同様に、カウンタ値０〜１１も画像データとの関係を表す連続的に並んだカウンタ値である。

デジタルビデオカメラ１００内部の記録方式が、映像信号処理エンジン１１０では、解像度２０４８×１０８０（以下２Ｋ）フレームレート６０Ｐで画像データをエンコードするモードである。
映像信号処理エンジン１２０では、４Ｋ３０Ｐで画像データをエンコードするモードである。
映像信号処理エンジン１３０も同様に、４Ｋ３０Ｐで画像データをエンコードするモードである。なお、前述の動作状態では、記録媒体Ａ１１９には、２Ｋ６０Ｐの圧縮ビデオデータが記録される。また、記録媒体Ｂ１２９、記録媒体Ｃ１３９には後述するエンコード後のデータ交換により映像信号処理エンジン１２０と映像信号処理エンジン１３０でエンコードされた圧縮ビデオフレームが組み合わされ４Ｋ６０Ｐの圧縮ビデオデータが記録される。ここで、圧縮ビデオデータは、圧縮ビデオフレームが連続的に並んだものである。

図４に示すように、信号入力部１０３は、映像信号処理エンジン１１０に対しては、２Ｋ６０Ｐの画像を連続して出力する。一方、映像信号処理エンジン１２０に対しては、奇数フレームの画を出力し、映像信号処理エンジン１３０に対しては偶数フレームの画を出力する。
このように、デジタルビデオカメラ１００は、映像信号処理エンジン１２０と映像信号処理エンジン１３０に対して、フレーム毎に振り分けて入力し別々の映像信号処理エンジンで映像信号処理するようにした。これにより、映像信号処理エンジンの性能限界である４Ｋ３０Ｐを超えたフレームレートの処理を実現することができる。

次に、図５のフローチャートを用いて、デジタルビデオカメラ１００が動画像の記録を開始するまでの処理の流れを説明する。本実施形態では、記録媒体Ｂ１２９に４Ｋ６０Ｐの記録を行う場合を例に説明する。
図５（ａ）は、イメージセンサー１０２に結像した信号入力部１０３を介して入力された画像データを映像信号処理エンジン１１０が記録開始状態になるまでの処理の流れを示したフローチャートである。

Ｓ５０１において、制御部１１４は、ユーザーが操作部１１７を操作して、デジタルビデオカメラ１００に対して記録開始を指示したか否かを判断する。ＹＥＳの時はＳ５０２へ進む。
Ｓ５０２において、信号入力部１０３より入力された画像データとカウンタ値は、カメラ信号処理部１１１で信号処理された後、画像処理部１１２で画像処理が行われてＲＡＭ１１６に配置される。制御部１１４は、操作部１１７により記録開始要求を受け付けた後、カウンタ値（記録開始する画像データ）とタイムコードを決定する。その後、Ｓ５０３へ進む。

Ｓ５０３において、制御部１１４により決定された記録開始するカウンタ値（記録開始する画像データ）とタイムコードと記録開始情報をＳＰＩ（Ｓｅｒｉａｌ Ｐｅｒｉｐｈｅｒａｌ Ｉｎｔｅｒｆａｃｅ）を介して、制御部１２４と制御部１３４に通知する。その後、Ｓ５０４へ進む。
Ｓ５０４において、制御部１１４は、現在の入力された画像データのカウンタ値がＳ５０３で決定した記録開始するカウンタ値以上か否かを判断する。ＹＥＳの場合はＳ５０５に進む。ＮＯの場合はＳ５０４で待機する。

Ｓ５０５において、制御部１１４は、現在の入力された画像データのカウンタ値とＳ５０３で決定した記録開始するカウンタ値の差分を算出する。そして、Ｓ５０３で決定した記録開始するタイムコードに対してカウンタ値の差分の量だけタイムコードを歩進させて管理情報生成処理を行う。その後、Ｓ５０６へ進む。
Ｓ５０６において、制御部１１４は、後述する映像信号処理エンジン１２０や映像信号処理エンジン１３０を記録開始の状態に遷移させる必要があるため、映像信号処理エンジン１１０も記録開始状態に遷移させる。ただし、記録媒体Ａ１１９は接続されていないため、制御部１１４はメディア制御部１１８に対して書き込み指示を行わない。

図５（ｂ）は、イメージセンサー１０２に結像した信号入力部１０３を介して入力された画像データを、映像信号処理エンジン１２０が記録開始状態になるまでの処理の流れを示したフローチャートである。

Ｓ５１１において、制御部１２４は、映像信号処理エンジン１１０の制御部１１４から記録開始要求があったか否かを判断する。ＮＯの場合は待機し、ＹＥＳの時はＳ５１２へ進む。
Ｓ５１２において、制御部１２４は、映像信号処理エンジン１１０の制御部１１４から通知されたカウンタ値（記録開始するフレーム）とタイムコードを取得する。その後、Ｓ５１３へ進む。

Ｓ５１３において、制御部１２４は、現在の入力されたフレームのカウンタ値がＳ５１２で取得した記録開始するカウンタ値以上か否かを判断する。ＹＥＳの場合はＳ５１４に進む。ＮＯの場合はＳ５１３にて待機する。
Ｓ５１４において、制御部１２４は、現在の入力されたフレームのカウンタ値とＳ５１２で取得した記録開始するカウンタ値の差分を算出する。そして、Ｓ５１２で取得した記録開始するタイムコードに対してカウンタ値の差分の量だけタイムコードを歩進させる歩進制御処理を行う。その後、Ｓ５１５へ進む。

Ｓ５１５において、Ｓ５１４で制御部１２４により歩進したタイムコードをＲＡＭ１２６に配置されている管理情報部分に設定する。その後、Ｓ５１６へ進む。ここでは、図３で説明したフレームのメタ情報３１３に設定する。
Ｓ５１６において、制御部１２４は符号化処理部１２３を制御して、ＲＡＭ１２６に配置された符号化用画像データをエンコードするように指示する。符号化処理部１２３は、符号化用画像データに対して圧縮を行い、圧縮ビデオフレームとして、ＲＡＭ１２６に配置する。この処理は、ユーザーより記録停止指示があるまで信号入力部１０３より画像データが入力される毎に繰り返される。その後、Ｓ５１７へ進む。

Ｓ５１７において、制御部１２４は、通信部１２７を制御しＲＡＭ１２６に符号化処理部１２３が配置した圧縮ビデオフレームを映像信号処理エンジン１３０に対して転送する。その後、Ｓ５１８へ進む。
Ｓ５１８において、制御部１２４は通信部１２７を制御して、映像信号処理エンジン１３０より転送されたデータをＲＡＭ１２６に保存する。その後、Ｓ５１９へ進む。

Ｓ５１９において、制御部１２４はＳ５１６でＲＡＭ１２６に配置されたフレームの画像データとＳ５１８でＲＡＭ１２６に配置されたフレームの画像データとをカウンタ情報を元にフレーム単位で並べ替えを行う。その後、Ｓ５２０へ進む。並べ替えの制御は後述する。
Ｓ５２０において、制御部１２４は、映像信号処理エンジン１２０を記録開始の状態に遷移させる。

図５（ｃ）は、イメージセンサー１０２に結像した信号入力部１０３を介して入力された画像データを映像信号処理エンジン１３０が記録開始状態になるまでの処理の流れを示したフローチャートである。
Ｓ５２１において、制御部１３４は、映像信号処理エンジン１１０の制御部１１４から記録開始要求があったか否かを判断する。ＹＥＳの時はＳ５２２へ進む。
Ｓ５２２において、制御部１３４は、映像信号処理エンジン１１０の制御部１１４から通知されたカウンタ値（記録開始する画像データ）とタイムコードを取得する。その後、Ｓ５２３へ進む。

Ｓ５２３において、制御部１３４は、現在の入力されたフレームのカウンタ値がＳ５２２で取得した記録開始するカウンタ値以上か否かを判断する。ＹＥＳの場合はＳ５２４に進む。ＮＯの場合はＳ５２３に戻る。
Ｓ５２４において、制御部１３４は、現在の入力されたフレームのカウンタ値とＳ５２２で取得した記録開始するカウンタ値の差分を算出する。そして、Ｓ５２２で取得した記録開始するタイムコードに対してカウンタ値の差分の量だけタイムコードを歩進させる歩進制御処理を行う。その後、Ｓ５２５へ進む。

Ｓ５２５において、Ｓ５２４で制御部１３４により歩進したタイムコードをＲＡＭ１３６に配置されている管理情報部分に設定する。その後、Ｓ５２６へ進む。ここでは、図３で説明したフレームのメタ情報３１３に設定する。
Ｓ５２６において、制御部１３４は符号化処理部１３３を制御して、ＲＡＭ１３６に配置された符号化用画像データをエンコードするように指示する。符号化処理部１３３は、符号化用画像データに対して圧縮を行い、圧縮ビデオフレームとして、ＲＡＭ１３６に配置する。この処理は、ユーザーより記録停止指示があるまで信号入力部１０３より画像データが入力される毎に繰り返される。その後、Ｓ５２７へ進む。

Ｓ５２７において、制御部１３４は通信部１３７を制御して、ＲＡＭ１３６に符号化処理部１３３が配置した圧縮ビデオフレームを映像信号処理エンジン１２０に対して転送する。その後、Ｓ５２８へ進む。
Ｓ５２８において、制御部１３４は通信部１３７を制御して、映像信号処理エンジン１２０より転送されたデータをＲＡＭ１３６に保存する。その後、Ｓ５２９へ進む。

Ｓ５２９において、制御部１３４はＳ５２６でＲＡＭ１３６に配置された画像データと、Ｓ５２８でＲＡＭ１３６に配置された画像データとをカウンタ情報を元にフレーム単位で並べ替えを行う。その後、Ｓ５３０へ進む。並べ替えの制御は後述する。
Ｓ５３０において、制御部１３４は、映像信号処理エンジン１３０を記録開始の状態に遷移させる。

ここで、図８を用いて、記録開始時の映像信号処理エンジン１１０と、映像信号処理エンジン１２０と、映像信号処理エンジン１３０のカウンタ値、画像データ、タイムコード値のタイミングについて説明する。
図８（ａ）は、イメージセンサー１０２に結像した信号入力部１０３を介して入力された画像データを、映像信号処理エンジン１１０が記録開始状態になるまでの処理の流れを示した図である。

８００１に示すように、操作部１１７から記録開始指示があり、制御部１１４がカウンタ値を２、（時：分：秒：フレーム）を示すタイムコードを００：００：００：００から開始する場合を表している。
８００２は、信号入力部１０３から入力されるカウンタ値、８００３は信号入力部１０３から入力される画像データを表している。
８００４では、記録開始するカウンタ値が２であるため、Ａ３フレームからタイムコードの付加を開始する。

図８（ｂ）は、イメージセンサー１０２に結像した信号入力部１０３を介して入力された画像データを、映像信号処理エンジン１２０が記録開始状態になるまでの処理の流れを示した図である。
８０１１に示すように、制御部１１４から記録開始指示があり、制御部１２４がカウンタ値を２、タイムコードを００：００：００：００から開始する場合を表している。
８０１２は、信号入力部１０３から入力されるカウンタ値、８０１３は信号入力部１０３から入力される画像データを表している。
８０１４では記録開始するカウンタ値が２であるため、Ａ３フレームからタイムコードの付加を開始する。また、記録開始のカウンタ値、タイムコードを決めることにより複数の映像信号処理エンジンを跨いでも同じ画像データから記録を開始することができる。このように本実施形態では、記録開始するタイムコードに対してカウンタ値の差分の量だけタイムコードを歩進させる。そのため、複数の画像処理回路に不規則にフレームが入力された場合でも、連続したタイムコードを付加することができる。

図８（ｃ）は、イメージセンサー１０２に結像した信号入力部１０３を介して入力された画像データを映像信号処理エンジン１３０が記録開始状態になるまでの処理の流れを示した図である。
８０２１に示すように、制御部１１４から記録開始指示があり、制御部１３４がカウンタ値を２、タイムコードを００：００：００：００から開始する場合を表している。
８０２２は、信号入力部１０３から入力されるカウンタ値、８０２３は信号入力部１０３から入力される画像データを表している。
８０２４では、記録開始するカウンタ値が２であるため、２よりも大きいカウンタ値３であるＡ４フレームから画像データの記録を開始する。また、現在のカウンタ値が３、記録開始するカウンタ値が２のため、差分のカウンタ値が１である。そのため、記録開始のタイムコードに対して差分のカウンタ値である１だけタイムコード歩進してタイムコードの付加を開始する。

図８（ｄ）は、映像信号処理エンジン１２０において、画像データをフレーム単位で並べ替えた後を示した図である。映像信号処理エンジン１２０でイメージセンサー１０２に結像した信号入力部１０３を介して入力された画像データと映像信号処理エンジン１３０の通信部１３７、通信部１２７を介して受信した画像データをカウンタ情報を元にフレーム単位で並べ替える。
８０３１は、カウンタ情報を元に映像信号処理エンジン１２０と映像信号処理エンジン１３０に入力された画像データを時間的に連続した順序にフレーム単位で並べ替えている。
８０３２は、メタデータの一部であるタイムコードを並べ替えた図を表している。

次に、図１０を用いて、ＲＡＭ１２６に配置された圧縮ビデオフレームと、ＲＡＭ１３６に配置された圧縮ビデオフレームについて説明する。
図１０（ａ）は、信号入力部１０３より映像信号処理エンジン１２０と映像信号処理エンジン１３０に入力される画像データを示した図である。各四角内の番号は、画と同期したカウンタ値、フレームの並び順序を表すフレーム番号である。
この図１０（ａ）に示すように、映像信号処理エンジン１２０には、イメージセンサー１０２で取り込んだフレームのうち奇数フレームとカウンタ値が入力される。また、映像信号処理エンジン１３０には、イメージセンサー１０２で取り込んだフレームのうち偶数フレームとカウンタ値が入力される。

図１０（ｂ）は、映像信号処理エンジン１２０内のＲＡＭ１２６に配置された圧縮ビデオフレームを示している。
この図１０（ｂ）に示すように、自身の符号化処理部１２３で生成した圧縮ビデオフレームと、映像信号処理エンジン１３０の符号化処理部１３３で生成し、通信部１３７、通信部１２７を介して受信した圧縮ビデオフレームは領域が分かれて配置されている。

また、圧縮ビデオフレームと共にカウンタ値とメタデータであるタイムコードも同期して配置される。
符号化処理部１２３でエンコードが完了する毎に、ＲＡＭ１２６の符号化処理部１２３用の領域に圧縮ビデオフレームとカウンタ値、タイムコードが配置される。また、通信部１２７で圧縮ビデオフレームを受信する毎に、ＲＡＭ１２６の通信部１２７の領域に圧縮ビデオフレームとカウンタ値、タイムコードが配置される。
このように配置することで、カウンタ値を元に連続した画像データとタイムコードを記録することが可能となる。
また、図１０（ｃ）に示すように、映像信号処理エンジン１３０側のＲＡＭ１３６も同様のデータ配置となっている。

次に、図６のフローチャートを用いて、デジタルビデオカメラ１００が動画像の記録を行っている最中の処理の流れを説明する。
図６のフローチャートにおいて、図５のフローチャートと同様の制御を行うステップには同じ番号を付して説明を省略する。
図６（ａ）は、イメージセンサー１０２に結像した信号入力部１０３を介して入力された画像データを映像信号処理エンジン１１０が記録中状態の処理の流れを示したフローチャートである。
Ｓ６０１では、制御部１１４は、現在入力された画像データのカウンタ値が前回入力された画像データのカウンタ値以上になったか否かを判断する。ＹＥＳの時はＳ５０５へ進む。本実施形態では、記録媒体Ａ１１９には記録を行わないが、パネル１０５へのタイムコードのＯＳＤ表示やＳＤＩ１０６やＨＤＭＩ１０７へのタイムコード重畳を行うために必要である。

図６（ｂ）は、イメージセンサー１０２に結像した信号入力部１０３を介して入力された画像データを映像信号処理エンジン１２０が記録中状態の処理の流れを示したフローチャートである。
Ｓ６１１では、制御部１２４は、現在入力された画像データのカウンタ値が前回入力された画像データのカウンタ値以上になったか否かを判断する。ＹＥＳの時はＳ５１４へ進む。ＮＯの時はＳ５１５へ進む。

Ｓ６１２では、制御部１２４は、ＲＡＭ１２６に連続したデータが所定量たまったか否かを判断する。この連続したデータについて説明する。
図１０で説明したように、映像信号処理エンジン１２０には奇数フレームが入力され、映像信号処理エンジン１３０には偶数フレームが入力される。そのため、画像データに連続性を持たせるためには、映像信号処理エンジン１２０内では、圧縮ビデオフレームをフレーム番号順に連続して記録媒体Ｂ１２９に書き込む必要がある。映像信号処理エンジン１２０内では、ＲＡＭ１２６上で、符号化処理部１２３がエンコードした圧縮ビデオフレームと、通信部１２７を介して映像信号処理エンジン１３０より受信した圧縮ビデオフレームをフレーム番号順に連続して記録媒体Ｂ１２９に書き込む。そのためには、ＲＡＭ１２６内に、所定量連続した圧縮ビデオフレームがたまっている必要がある。映像信号処理エンジン１３０内も同様である。所定量たまっていたらＳ６１３へ進む。所定量たまっていなかったらＳ６１２にて待機する。

図６（ｃ）は、イメージセンサー１０２に結像した信号入力部１０３を介して入力された画像データを、映像信号処理エンジン１３０が記録中状態の処理の流れを示したフローチャートである。
Ｓ６２１では、制御部１３４は、現在入力された画像データのカウンタ値が前回入力された画像データのカウンタ値以上になったか否かを判断する。ＹＥＳの時はＳ５２４へ進む。ＮＯの時はＳ５２５へ進む。

次に、図７を用いて、デジタルビデオカメラ１００が動画像の記録停止時の処理の流れを説明する。図７のフローチャートにおいて、図５及び図６のフローチャートと同様の制御を行うステップには同じ番号を付して説明を省略する。
図７（ａ）は、イメージセンサー１０２に結像した信号入力部１０３を介して入力された画像データを映像信号処理エンジン１１０が記録停止状態の処理の流れを示したフローチャートである。

Ｓ７０１では、制御部１１４は、ユーザーが操作部１１７を操作して、デジタルビデオカメラ１００に対して記録停止を指示したか否かを判断する。ＹＥＳの時はＳ７０２へ進む。
Ｓ７０２では、信号入力部１０３より入力された画像データとカウンタ値は、カメラ信号処理部１１１で信号処理された後、画像処理部１１２で画像処理が行われてＲＡＭ１１６に配置される。制御部１１４は、操作部１１７により記録停止要求を受け付けた後、カウンタ値（記録停止する画像データ）とタイムコードを決定する。その後、Ｓ７０３へ進む。

Ｓ７０３では、制御部１１４により決定された記録停止するカウンタ値（記録停止する画像データ）とタイムコードと記録停止情報をＳＰＩ（Ｓｅｒｉａｌ Ｐｅｒｉｐｈｅｒａｌ Ｉｎｔｅｒｆａｃｅ）を介して、制御部１２４と制御部１３４に通知する。その後、Ｓ７０４へ進む。
Ｓ７０４では、制御部１１４は、現在の入力された画像データのカウンタ値がＳ７０３で決定した記録停止するカウンタ値以下になったか否かを判断する。ＹＥＳの場合はＳ５０５へ進む。ＮＯの場合はＳ７０５へ進む。

Ｓ７０５では、制御部１１４は、映像信号処理エンジン１２０や映像信号処理エンジン１３０を記録停止の状態に遷移させる必要があるため、映像信号処理エンジン１１０も記録停止状態に遷移させる。

図７（ｂ）は、イメージセンサー１０２に結像した信号入力部１０３を介して入力された画像データを映像信号処理エンジン１２０が記録停止状態になるまでの処理の流れを示したフローチャートである。
Ｓ７１１では、制御部１２４は、映像信号処理エンジン１１０の制御部１１４から記録停止要求があったか否かを判断する。ＹＥＳの時はＳ７１２へ進む。
Ｓ７１２では、制御部１２４は、映像信号処理エンジン１１０の制御部１１４から通知されたカウンタ値（記録停止する画像データ）とタイムコードを取得する。その後、Ｓ７１３へ進む。

Ｓ７１３では、制御部１２４は、現在の入力された画像データのカウンタ値とＳ７１２で取得した記録停止するカウンタ値以下か否かを判断する。ＹＥＳの場合はＳ５１４に進む。ＮＯの場合はＳ５１５に進む。
Ｓ７１４では、制御部１２４は、映像信号処理エンジン１２０を記録停止の状態に遷移させる。

図７（ｃ）は、イメージセンサー１０２に結像した信号入力部１０３を介して入力された画像データを映像信号処理エンジン１３０が記録停止状態になるまでの処理の流れを示したフローチャートである。
Ｓ７２１では、制御部１３４は、映像信号処理エンジン１１０の制御部１１４から記録停止要求があったか否かを判断する。ＹＥＳの時はＳ７２２へ進む。
Ｓ７２２では、制御部１３４は、映像信号処理エンジン１１０の制御部１１４から通知されたカウンタ値（記録停止する画像データ）とタイムコードを取得する。その後、Ｓ７２３へ進む。

Ｓ７２３では、制御部１３４は、現在の入力された画像データのカウンタ値とＳ７２２で取得した記録停止するカウンタ値以下か否かを判断する。ＹＥＳの場合はＳ５２４に進む。ＮＯの場合はＳ５２５に進む。
Ｓ７２４では、制御部１３４は、映像信号処理エンジン１３０を記録停止の状態に遷移させる。

ここで、図９を用いて、記録停止時の映像信号処理エンジン１１０と映像信号処理エンジン１２０と映像信号処理エンジン１３０のカウンタ値、画像データ、タイムコード値のタイミングについて説明する。
図９（ａ）は、イメージセンサー１０２に結像した信号入力部１０３を介して入力された画像データを映像信号処理エンジン１１０が記録停止状態になるまでの処理の流れを示した図である。

９００１に示すように、操作部１１７から記録停止指示があり、制御部１１４がカウンタ値を５８、タイムコードを００：００：００：２９で停止する場合を表している。
９００２は信号入力部１０３から入力されるカウンタ値、９００３は信号入力部１０３から入力される画像データを表している。
９００４では、記録停止するカウンタ値が５８であるため、Ａ５９フレームに００：００：００：２９のタイムコードを付加して記録停止する。また、操作部１１７から次回の記録開始指示があった場合に記録開始時のタイムコードをパネル１０５やＳＤＩ１０６やＨＤＭＩ１０７に出力することでユーザーに対して次回に記録される開始時のタイムコード通知することができる。

図９（ｂ）は、イメージセンサー１０２に結像した信号入力部１０３を介して入力された画像データを映像信号処理エンジン１２０が記録停止状態になるまでの処理の流れを示した図である。
９０１１に示すように、制御部１１４から記録停止指示があり、制御部１２４がカウンタ値を５８、タイムコードを００：００：００：２９で停止する場合を表している。
９０１２は、信号入力部１０３から入力されるカウンタ値、９０１３は信号入力部１０３から入力される画像データを表している。
９０１４では、記録停止するカウンタ値が５８であるため、５８より小さいカウント値の画像データであるＡ５７フレームに００：００：００：２９のタイムコードを付加して記録停止する。また、記録停止のカウンタ値、タイムコードを決めることにより複数の映像信号処理エンジンを跨いでも同じ画像データまでの記録を停止することができる。

図９（ｃ）は、イメージセンサー１０２に結像した信号入力部１０３を介して入力された画像データを映像信号処理エンジン１３０が記録停止状態になるまでの処理の流れを示した図である。
９０２１に示すように、制御部１１４から記録停止指示があり、制御部１３４がカウンタ値を５８、タイムコードを００：００：００：２９で停止する場合を表している。
９０２２は、信号入力部１０３から入力されるカウンタ値、９０２３は信号入力部１０３から入力される画像データを表している。
９０２４では、記録停止するカウンタ値が５８であるため、５８以下のカウンタ値であるＡ５９フレームまでの画像データの記録を行い、停止する。また、現在のカウンタ値が６０、記録停止するカウンタ値が５８になった場合、現在のカウンタ値のほうが大きいため記録される画像データに対するタイムコードの歩進は行わない。

図９（ｄ）は、映像信号処理エンジン１２０において、画像データをフレーム単位に並べ替えた後を示した図である。イメージセンサー１０２に結像し、信号入力部１０３を介して入力された画像データと、映像信号処理エンジン１３０の通信部１３７、通信部１２７を介して受信した画像データを、カウンタ情報を元にフレーム単位で並べ替えた図である。

９０３１は、カウンタ情報を元に映像信号処理エンジン１２０と映像信号処理エンジン１３０に入力された画像データをフレーム単位で並べ替えている。
また、９０３２は、メタデータの一部であるタイムコードを並べ替えた図を表している。

次に、図１１を用いて、操作者が操作部１１７を操作して、デジタルビデオカメラ１００に対して記録を開始してから記録を停止するまでのＵＩ表示について説明する。なお、イメージセンサー１０２に結像した信号入力部１０３を介して入力された画像データを、映像信号処理エンジン１１０を介して制御部１１４が映像に対してＯＳＤ表示を重畳する。そして、その映像信号を外部出力部１１５を介してパネル１０５やＳＤＩ１０６やＨＤＭＩ１０７に出力することが可能である。

図１１（ａ）は、記録設定画面のＵＩ表示例を示す図である。
１１１１に示すように、解像度４０９６×２１６０、フレームレート６０ｐやフレームレート３０ｐやフレームレート２４ｐで記録するモードを選択することができる。
操作者が記録するモードを選択すると、図１１（ｂ）のＵＩ表示に遷移する。

図１１（ｂ）は、記録スタンバイ状態の表示例を示す図である。
１１２１に示すように、ＳＤカードを示す記録媒体Ａ１１９、ＣＦカードを示す記録媒体Ｂ１２９と記録媒体Ｃ１３９の残記録時間を表示する。
また、１１２２に示すように、デジタルビデオカメラ１００の動作状況（●は記録中、●が表示されてなければ非記録中）を表示する。
さらに、１１２３に示すように、タイムコードを表示する。

図１１（ｃ）は、記録中の状態（図１１（ｂ）から１分同時記録を行った状態）の表示例を示す図である。
１１３１に示すように残記録時間は１分減っている。
また、１１３２に示すように、デジタルビデオカメラ１００が記録中である表示が追加表示される。また、１１３３に示すように、タイムコードは記録時間に応じて加算されていく。

図１１（ｄ）は、記録を停止した状態（図１１（ｃ）から１分記録を行った後に記録の停止を行った状態）の表示例を示す図である。
１１４１に示すように、残時間は図１１（ｃ）の記録前から１分減っている。
また、１１４２に示すように、デジタルビデオカメラ１００は非記録中である旨が表示される。
また、１１４３に示すようにタイムコードは記録時間に応じて加算されていく。

なお、本実施形態では、４Ｋ、６０ｐの動画像を処理する場合について説明したが、これ以外のフレームレートの動画像を処理することも可能である。その場合、各映像信号処理エンジンにおいてタイムコードを付加する際、フレームレートに対応したカウンタ情報の差分の設定値を設定する。そして、この設定値に応じてタイムコードを決定する。
また、本実施形態では、信号入力部１０３は、動画像のフレーム毎にカウンタ値（識別情報）を１ずつ増加したが、これに限らず、所定の値ずつ増加させる構成としてもよい。
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。前述の実施形態の一部を適宜組み合わせてもよい。

（その他の実施例）
本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００ デジタルビデオカメラ
１０１ レンズ
１０２ イメージセンサー
１０３ 信号入力部
１０４ 出力処理部
１０５ パネル
１０６ ＳＤＩ
１０７ ＨＤＭＩ
１１０ 映像信号処理エンジン
１２０ 映像信号処理エンジン
１３０ 映像信号処理エンジン

Claims (9)

1. 撮像手段と、
   複数の画像処理回路と、
   前記撮像手段からの動画像データの各フレームに対し、フレーム毎に所定の値ずつ増加する識別情報を付加し、前記複数の画像処理回路に対してフレーム毎に振り分けて出力するとともに、処理の開始のフレームに対応した前記識別情報を前記複数の画像処理回路に出力する出力手段とを有し、
   前記複数の画像処理回路はそれぞれ、
   前記出力手段から入力される各フレームに付加された前記識別情報と、前記出力手段から出力された前記処理の開始のフレームに対応した前記識別情報との差分に基づいて、各フレームのタイムコードを生成する生成手段を有する
   ことを特徴とする撮像装置。
2. 前記画像処理回路は、操作部により記録開始要求を受け付けた場合、記録を開始するフレームの識別情報とタイムコードとを決定することを特徴とする請求項１に記載の撮像装置。
3. 前記複数の画像処理回路はそれぞれ、前記出力手段によって出力されたフレームを圧縮し、前記圧縮されたフレームを記憶する記憶手段を有することを特徴とする請求項１又は２に記載の撮像装置。
4. 前記複数の画像処理回路はそれぞれ、前記複数の画像処理回路の中の他の画像処理回路から、振り分けられていないフレームを取得する取得手段を有することを特徴とする請求項１〜３の何れか１項に記載の撮像装置。
5. 前記複数の画像処理回路はそれぞれ、前記フレーム毎の識別情報に基づいて、前記出力手段によって出力されたフレームと前記取得手段によって取得されたフレームとの順序を並び替えることを特徴とする請求項４に記載の撮像装置。
6. 前記複数の画像処理回路は、情報のやりとりを行うことができるＳＰＩで互いに接続されていることを特徴とする請求項１〜５の何れか１項に記載の撮像装置。
7. 前記複数の画像処理回路は、接続される記録媒体に動画像データを記録する記録手段をそれぞれ有することを特徴とする請求項１〜６の何れか１項に記載の撮像装置。
8. 撮像手段と、複数の画像処理回路と、を有する撮像装置の制御方法であって、
   前記撮像手段からの動画像データの各フレームに対し、フレーム毎に所定の値ずつ増加する識別情報を付加し、前記複数の画像処理回路に対してフレーム毎に振り分けて出力するとともに、処理の開始のフレームに対応した前記識別情報を前記複数の画像処理回路に出力する出力工程を有し、
   前記複数の画像処理回路における制御方法として、
   前記出力工程において入力される各フレームに付加された前記識別情報と、前記出力工程において出力された前記処理の開始のフレームに対応した前記識別情報との差分に基づいて、各フレームのタイムコードを生成する生成工程を有する
   ことを特徴とする撮像装置の制御方法。
9. 請求項１〜７の何れか１項に記載の撮像装置の各手段としてコンピュータを機能させることを特徴とするプログラム。