JP2013219624A

JP2013219624A - 撮像装置

Info

Publication number: JP2013219624A
Application number: JP2012089696A
Authority: JP
Inventors: Tokuaki Nishida; 徳朗西田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2012-04-10
Filing date: 2012-04-10
Publication date: 2013-10-24
Anticipated expiration: 2032-04-10
Also published as: JP5972016B2; US20130265469A1; US8842193B2

Abstract

【課題】動画信号を複数の系統により出力する際に、動画信号の遅延を適切に制御する。
【解決手段】撮像手段と、前記撮像手段により取得された動画信号から複数の系統の動画信号を生成し、前記複数の系統の動画信号を互いに独立した伝送路を介して出力する出力手段と、前記出力手段による前記複数の系統の動画信号に含まれるフレームの出力タイミングが同じタイミングとなるように前記出力手段を制御する制御手段とを備える。
【選択図】図１

Description

本発明は撮像装置に関し、特に撮影された動画信号を出力する際の制御に関する。

従来、動画を撮影する撮像装置においては、撮影された動画信号が装置外部に出力されるまでには、撮像素子の特性補正処理や動画信号のフォーマット変換処理など様々な処理回路を経由する。そのため、肉眼で見ている画像と、撮像装置から出力される画像との間では遅延が発生する。

例えば、撮影された画像をリアルタイムで出力する系統と、画像信号を遅延させて出力する系統を有する装置も提案されている（例えば、特許文献１参照）。

特開平１１−９８３９６号公報

近年では、撮像装置で撮影可能な動画の画素数やフレームレートが大きくなっている。そのため、出力される動画信号のデータ量（データレート）も大きくなっており、ＳＤＩ（ＳｅｒｉａｌＤｉｇｉｔａｌＩｎｔｅｒｆａｃｅ）のように非圧縮の動画を出力するフォーマットで規定されるデータレートを上回ってしまうことがある。

そこで、元々１系統の動画信号を複数の系統を用いて出力することが考えられる。

しかしながら、従来は、複数の系統を用いて動画を出力する際のフレーム遅延については考慮されていなかった。

本発明はこの様な問題を鑑みてなされたものであり、動画信号を複数の系統により出力する際に、動画信号の遅延を適切に制御可能とすることを目的とする。

撮像装置は、撮像手段と、前記撮像手段により取得された動画信号から複数の系統の動画信号を生成し、前記複数の系統の動画信号を互いに独立した伝送路を介して出力する出力手段と、前記出力手段による前記複数の系統の動画信号に含まれるフレームの出力タイミングが同じタイミングとなるように前記出力手段を制御する制御手段とを備える。

動画信号を複数の系統により出力する際に、動画信号の遅延を適切に制御可能となる。

本発明の実施形態における撮像装置のブロック図である。本発明の実施形態における６０ｆｐｓの動画信号を出力する場合のタイミングチャートである。本発明の実施形態における３０ｆｐｓの動画信号を出力する場合のタイミングチャートである。本発明の実施形態における動画信号の出力処理を示すフローチャートである。

本発明の実施形態について、図面を用いて詳細に説明する。図１は、本発明の実施形態にかかわる撮像装置１００の構成を示すブロック図である。

図１において、撮像部１０１はレンズ、撮像素子等を有し、被写体像を撮影して動画信号を取得する。撮像部１０１により取得される動画信号の画素数やフレームレート（単位時間あたりのフレーム数）は、制御部１０３により制御される。画像処理部１０２は、撮像部１０１により取得された動画信号に対し、様々な処理を施す。例えば、画像処理部１０２は、撮像素子の各画素のゲイン特性の補正、ホワイトバランスの補正、レンズと撮像素子の形状差により発生する周辺光量不足の補正などの処理を行う。画像処理部１０２は、各種の処理を施した動画信号をメモリ１０５に出力する。メモリ１０５はＳＤＲＡＭとこのＳＤＲＡＭに対する信号の書き込み、読み出しを制御するメモリ制御部とを有する。メモリ１０５による動画信号の書き込み、読み出し処理は制御部１０３により制御される。

制御部１０３はＣＰＵ１１４を有し、ＲＯＭ１０８に記憶されたプログラム（ソフトウエア）に従って撮像装置１００の各部を制御する。具体的には、制御部１０３は、撮像部１０１のレンズユニットに対して、ズーム制御やフォーカス制御を、撮像素子に対しては駆動同期信号の生成を行い、撮影フレームレートの設定などを行う。また、制御部１０３は、画像処理部１０２には各種補正制御や制御パラーメーターの送信や受信などを行う。また、制御部１０３は、メモリ１０５に対しては記録アドレスの設定や書き込み、読み出しの制御を行う。また、制御部１０３は、出力部１０４には外部ＩＦ１１０〜１１３から動画信号を出力するための同期信号の生成や出力のＯＮ／ＯＦＦなどを行う。また、制御部１０３は、表示部１０６に撮像部１０１からの動画や各種の情報を表示する。また、制御部１０３は、メモリ１０５による動画信号の書き込み、読み出しタイミングを制御するための各種の同期信号などを生成する同期信号生成部１１５を有する。また、制御部１０３は、メモリ１０５に対する動画信号の書き込み、読み出しのフレームアドレスを制御するためのアドレス制御部１１６を有する。

出力部１０４は、メモリ１０５より読み出した動画信号を外部インターフェイス（ＩＦ）１１０−１１３より所定の伝送路を介して装置外部に出力する。外部Ｉ／Ｆ１１０−１１３はそれぞれ、ＳＤＩに従って動画信号を出力する。ＳＤＩにおける伝送フォーマットは、ＳＭＰＴＥ（ＳｏｃｉｅｔｙｏｆＭｏｔｉｏｎＰｉｃｔｕｒｅａｎｄＴｅｌｅｖｉｓｉｏｎＥｎｇｉｎｅｅｒｓ）により伝送フォーマットが細かく規格化されている。例えば、サンプリング構造やピクセル深度、フレームレートなどが指定されている。３Ｇ−ＳＤＩ規格の場合、出力可能な動画信号は、画角が水平１９２０画素×垂直１０８０画素、サンプリング構造ＲＧＢ４４４であれば、３０フレーム毎秒（ｆｐｓ）までと決められている。

出力部１０４は、メモリ１０５より読み出した動画信号を伝送フォーマットに準拠する形態に変更した後、外部ＩＦ１１０−１１３に出力する。また、外部ＩＦ１１０−１１３の一つ、或いは、全てを使って動画信号を出力することが可能である。ユーザは操作部１０７を操作することにより、動画信号を出力するための外部ＩＦを選択することができる。

表示部１０６は液晶パネル等の表示装置を有し、撮像部１０１により得られた動画や各種の情報を表示する。操作部１０７はユーザが操作可能な各種のボタン、スイッチ等を有する。ＲＯＭ１０８はＣＰＵ１１４の動作プログラムを記憶する。ＲＡＭ１０９は制御部１０３によるワークメモリとして使用される。

次に、撮像装置１００により撮影した動画信号を外部に出力する際の処理について説明する。本実施形態では、撮像部１０１により撮影される動画信号の画素数を横１９２０画素×縦１０８０画素とする。また、撮像部１０１における撮像素子からの画像信号の読み出し方法はプログレッシブ方式、サンプリング構造をＲＧＢ４４４、各画素のデータを１０ｂｉｔとする。また本実施形態では、撮影する動画のフレームレートを、６０ｆｐｓと３０ｆｐｓの間でユーザが任意に設定できる。

図２、図３は撮像装置１００における動作タイミングチャートである。図２は６０ｆｐｓの動画を撮影した場合の動作を示し、図３は３０ｆｐｓの動画を撮影した場合を示している。３Ｇ−ＳＤＩ規格では、水平１９２０画素×垂直１０８０画素、サンプリング構造ＲＧＢ４４４の６０ｆｐｓの動画を出力することができない。そのため、本実施形態では、６０ｆｐｓの動画を撮影した場合、この１系統の６０ｆｐｓの動画信号から２系統の動画信号を生成して出力する。また、３０ｆｐｓの動画を撮影した場合、３０ｆｐｓの動画信号を１系統の動画信号として出力する。

図２、３において、ＳＹＳＴＥＭＳＹＮＣ２０１は撮像装置１００の内部で基準となる同期信号である。本実施形態では、ＳＹＳＴＥＭＳＹＮＣ２０１の周波数は６０Ｈｚとしている。このＳＹＳＴＥＭＳＹＮＣ２０１に合わせて制御部１０３から各ブロックに命令が出力される。ＳＥＮＳＯＲＳＹＮＣ２０２は撮像部１０１の撮像素子の駆動のための同期信号である。このＳＥＮＳＯＲＳＹＮＣ２０２に同期して撮像素子から電気的情報を読み出す。ＳＹＳＴＥＭＳＹＮＣ２０１とＳＥＮＳＯＲＳＹＮＣ２０２はある位相差をもって同期している。書き込みフレームアドレス２０３は制御部１０３からメモリ１０５に出力される書き込み用フレーム番号の情報である。画像処理部１０２から送信される各フレームの動画信号は、このフレーム番号に従いメモリ１０５の指定アドレスに書き込まれる。制御部１０３はＳＹＳＴＥＭＳＹＮＣ２０１に同期してフレーム番号を出力し、メモリ１０５はＳＥＮＳＯＲＳＹＮＣ２０２に同期して書き込みフレームアドレスを取得する。メモリ１０５の容量によって記憶可能なフレーム数は決まっている。そのため、制御部１０３は、メモリ１０５に記憶される動画信号が容量オーバーとならないようにフレームアドレスの値を設定する。

入力フレーム２０４は、撮像部１０１から読み出されてメモリ１０５に書き込まれるフレームを示している。撮像部１０１はＳＥＮＳＯＲＳＹＮＣ２０２に同期して各フレームの動画信号を出力する。撮像部１０１から出力された各フレームの動画信号は、画像処理部１０２による処理に要する時間遅延されてメモリ１０５に出力される。なお、画像処理部１０２による遅延時間は所定の時間であり、フレーム周期に比べると非常に短い。

出力同期２０５は、動画信号を出力する際の同期信号である。撮影画角１９２０×１０８０で、ＲＧＢ４４４の１０ｂｉｔの動画信号を、３Ｇ−ＳＤＩ規格に従って出力するために、１系統の動画信号のフレームレートは３０ｆｐｓが上限である。そのため、出力同期２０５の周波数は３０Ｈｚである。ＳＹＳＴＥＭＳＹＮＣ２０１と出力同期２０５は、ある位相差を持って同期している。

読み出しフレームアドレス２０６、２０８はそれぞれ、制御部１０３からメモリ１０５に送信される読み出し用フレーム番号の情報である。制御部１０３はＳＹＳＴＥＭＳＹＮＣ２０１に同期してフレーム番号を出力し、メモリ１０５は出力同期２０５に同期してフレームアドレスを取得する。このフレームアドレスにより、メモリ１０５から動画信号が読み出される。出力フレーム２０７、２０９は、メモリ１０５から読み出された動画信号を示している。各出力フレームは、出力同期２０５に同期している。尚、メモリ１０５の書き込みコマンドや読み出しコマンドも制御部１０３が出力する。

このように、撮像部により取得された動画信号は一旦、メモリ１０５に記憶されるため、出力するまでに遅延が発生していることがわかる。

まず、６０ｆｐｓの動画を撮影、出力する場合の処理について図２を用いて説明する。動画のフレームレートは６０ｆｐｓであるので、ＳＹＳＴＥＭＳＹＮＣ２０１とＳＥＮＳＯＲＳＹＮＣ２０２は同じ周波数である。制御部１０３から書き込み用フレームアドレス２０３がＳＹＳＴＥＭＳＹＮＣ２０１に同期してメモリ１０５に出力される。メモリ１０５は、ＳＥＮＳＯＲＳＹＮＣ２０２に同期して各フレームの動画信号を記憶する。つまり、メモリ１０５には１秒間に６０フレームの動画信号が書き込まれることになる。メモリ１０５の容量にも依存するが、メモリ１０５に書き込まれる動画信号が容量をオーバーしないように制御部１０３によって制御する。

この様にメモリ１０５に書き込まれた６０ｆｐｓの動画信号を読み出す際に、２系統の動画信号として読み出し、外部ＩＦ１１０−１１３の何れか二つを用いて出力する。１フレーム毎に第１の系統と第２の系統の動画信号に分割し、第１の系統には偶数フレームを、第２の系統には奇数フレームを割り当てる。即ち、取得された１系統の動画信号を、２系統の動画信号に対して１フレーム１おきに交互に割り当てる。

そして、本実施形態では、各系統の動画信号のために、共通の出力同期信号２０５を生成する。一方、各系統の動画信号のために、独立に、読み出し用フレームアドレス２０６、２０８を生成して出力する。この構成にすることで、各系統の動画信号における各フレーム出力タイミングが、同じタイミングとなるように遅延時間を制御することが可能となる。

図２では、メモリ１０５にフレーム０の信号の書き込みに続いてフレーム１の書き込みが開始された後、フレーム１の書き込みが完了する前に、メモリ１０５からフレーム０とフレーム１の読み出しが開始されている。即ち、２系統の動画信号において同時に出力される偶数フレームと奇数フレームのうち、奇数フレームのメモリ１０５への書き込み開始後、この奇数フレームの書き込みが完了する前に、偶数フレームと奇数フレームを読み出す。なお、第１の系統に奇数フレームを割り当て、第２の系統に偶数フレームを割り当てた場合には、同時に出力される偶数フレームと奇数フレームのうち、偶数フレームの書き込みが完了する前に、偶数フレームと奇数フレームを読み出す。即ち、同時に出力される複数のフレームのうち、最後のフレームのメモリ１０５への書き込みが完了する前に、これら複数のフレームを読み出すように制御する。

この場合、出力同期２０５はＳＥＮＳＯＲＳＹＮＣ２０１よりも周波数が低いので、メモリ１０５から読み出されるフレーム番号が、書き込み中のフレーム番号を追い越すことはない。

このように、６０ｆｐｓの動画を撮影した場合、この１系統の動画を、それぞれのフレームレートが６０ｆｐｓよりも低い３０ｆｐｓとなるように複数の系統の動画に分けて出力する。その際、各系統の動画に含まれる各フレームの出力タイミング（位相）が同じになるように制御することにより、共通の出力同期信号により２系統の動画信号を出力することが可能となる。そのため、系統ごとに同期信号を生成する必要がなく、同期信号を生成するための回路規模を削減することができる。

次に、３０ｆｐｓの動画を撮影、出力する場合の処理について、図３を用いて説明する。なお、図３では、外部ＩＦ１１０−１１３のうちの二つを使い、同じ３０ｆｐｓの動画信号を同時に出力する場合を示しているが、もちろん、１系統の動画信号を出力する構成でもよい。

動画信号のフレームレートは３０ｆｐｓであるので、ＳＥＮＳＯＲＳＹＮＣ２０２はＳＹＳＴＥＭＳＹＮＣ２０２の半分の周波数の同期信号となっている。制御部１０３から書き込み用フレームアドレスがＳＹＳＴＥＭＳＹＮＣ２０１に同期して出力されるが、図３の場合、ＳＹＳＴＥＭＳＹＮＣ２０１の二回に一回の割合で書き込みフレームアドレスが出力される。メモリ１０５は、ＳＥＮＳＯＲＳＹＮＣ２０２に同期して各フレームの動画信号を記憶する。つまり、メモリ１０５には１秒間に３０フレームの動画信号が書き込まれることになる。ここで、６０ｆｐｓの動画信号を撮影する時と同様に、メモリ１０５に書き込まれる動画信号がメモリ１０５の容量をオーバーしないように制御部１０３によって制御する。

メモリ１０５より動画信号を読み出す場合、動画信号のフレームレートは３０ｆｐｓであるので、外部ＩＦ１１０−１１３の何れか一つにより１系統の動画信号として出力可能である。また、外部ＩＦ１１０−１１３のうちの二つを使い、同じ３０ｆｐｓの動画信号を同時に出力することもできる。また、制御部１０３は、第１の系統の読み出しフレームアドレス２０６と、第２の系統の読み出しフレームアドレス２０８に対し、同じ値を出力する。

図３では、メモリ１０５にフレーム０の信号の書き込みが開始された後、書き込みが完了する前に、メモリ１０５からフレーム０の信号の読み出しが開始され、第１、第２の系統の動画信号として出力される。また、出力同期２０５はＳＥＮＳＯＲＳＹＮＣ２０１よりも周波数が低いので、メモリ１０５から読み出されるフレーム番号が、書き込み中のフレーム番号を追い越すことはない。

この様に、３０ｆｐｓの動画を撮影する場合にも、出力される動画信号を最短の遅延時間で出力することが可能である。

以上の動作を、図４のフローチャートを用いて説明する。図４は、撮影された動画を外部に出力する際の出力タイミングの制御を示すフローチャートである。図４の処理は制御部１０３により実行される。

ユーザが操作部１０７を操作して電源スイッチを投入すると、制御部１０３は、動画のフレームレートを所定のフレームレートに設定する。そして、この所定のフレームレートで撮影された動画が表示部１０６に表示される。この状態でユーザが操作部１０７を操作して、撮影する動画のフレームレートを変更する（Ｓ４０１）。動画のフレームレートが設定された場合、制御部１０３は、設定されたフレームレートに応じて書き込みフレームアドレスを設定する（Ｓ４０２）。次に、制御部１０３は、設定されたフレームレートに基づいて、撮影された動画信号を複数系統の動画信号に分割して出力するか否かを判別する（Ｓ４０３）。

前記のように、フレームレートが６０ｆｐｓで、３Ｇ−ＳＤＩに従って動画を出力する場合、２系統の動画信号に分割して出力する必要がある。その場合、制御部１０３は、各系統の動画信号を出力するための出力同期信号として、複数の系統の動画信号のための出力同期信号を生成する（Ｓ４０４）。この時、２系統の動画信号において同時に出力される偶数フレームと奇数フレームのうち、メモリ１０５への奇数フレームの書き込みが完了する前に、偶数フレームと奇数フレームを読み出すように出力同期信号が生成される。また、制御部１０３は、各系統の動画信号を出力するために独立に読み出しフレームアドレスを生成する（Ｓ４０５）。

一方、撮影された動画信号を複数系統に分割せずに出力できる場合、制御部１０３は、一つの出力同期信号を生成する（Ｓ４０６）。例えば、図３に示す様に、同じ動画信号を複数の外部ＩＦから出力する場合であっても、制御部１０３は、各外部ＩＦから出力される動画信号のために、共通の出力同期信号を生成して出力する。また、制御部１０３は、一つの読み出しフレームアドレスを生成する。例えば、図３に示す様に、同じ動画信号を複数の外部ＩＦから出力する場合であっても、制御部１０３は、各外部ＩＦから出力される動画信号のために、共通の読み出しフレームアドレスを生成して出力する。

本実施形態では、６０ｆｐｓの動画信号を２系統の動画信号に分割して出力する構成であったが、これ以外のフレームレートの動画信号を３系統以上の動画信号に分割して出力する構成とすることも可能である。

Claims

撮像手段と、
前記撮像手段により取得された動画信号から複数の系統の動画信号を生成し、前記複数の系統の動画信号を互いに独立した伝送路を介して出力する出力手段と、
前記出力手段による前記複数の系統の動画信号に含まれるフレームの出力タイミングが同じタイミングとなるように前記出力手段を制御する制御手段とを備える撮像装置。
前記出力手段は、前記撮像手段により取得された動画信号のフレームレートよりも、前記複数の系統の動画信号それぞれのフレームレートが低くなるように、前記複数の系統の動画信号を生成することを特徴とする請求項１に記載の撮像装置。
前記撮像手段により取得された動画信号を記憶するメモリを備え、
前記出力手段は、前記複数の系統の動画信号について共通の同期信号に同期して前記メモリから動画信号を読み出し、前記メモリから読み出した動画信号を出力し、
前記制御手段は、前記メモリから読み出される動画信号のフレームを前記複数の系統に応じて変更することを特徴とする請求項１または２に記載の撮像装置。
前記制御手段は、前記撮像手段により取得された動画信号のうち、前記複数の系統の動画信号において同じタイミングで出力される複数のフレームの最後のフレームの前記メモリへの書き込みが完了するまでに、前記メモリからの前記複数のフレームの読み出しを開始するように、前記メモリから動画信号を読み出すタイミングを制御することを特徴とする請求項３に記載の撮像装置。
前記制御手段は、前記撮像手段により取得された動画信号から２系統の動画信号を生成し、前記撮像手段により取得された動画信号における複数のフレームが、１フレームおきに交互に前記２系統の動画信号に含まれるように、前記出力手段を制御することを特徴とする請求項１に記載の撮像装置。