【０００１】
【発明の属する技術分野】
本発明は、画角の異なった複数の映像信号を同時に撮影する方法に関する。
【０００２】
【従来の技術】
従来の技術は、特開平１１−１２７４４１のように、撮像素子を複数設け、かつ、少なくても１つ以上の撮像素子の受光面サイズが他の撮像素子の受光面サイズと異なるものとし、それぞれの撮像素子の出力に信号処理を施して画角の異なる画像を同時に撮影する方法が知られている。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記従来例では撮像素子を複数用いているため、撮像素子固有の分光特性や感度等にばらつきがあるため制御が複雑になる。また、撮像素子の駆動を行う回路が少なくとも撮像素子の受光面サイズの種類数だけ必要となり回路的に大規模になりコスト的にも高くなる。
【０００４】
次に受光面サイズの異なった撮像素子を複数用いて画角の異なる画像を同時に撮影しているため、撮像素子の受光面サイズで画角が決まってしまい、生成できる複数の映像の画角が制限され多画面撮影の特徴を充分に生かしたシステムとは言い難いものになる。
【０００５】
本発明の課題点は、（１）単一の撮像素子で行うシステムを実現すること、（２）撮影した複数の映像の画角はそれぞれ可変であること等である。
【０００６】
本発明の目的はかかる課題点を解決できる技術を提供することにある。
【０００７】
【課題を解決するための手段】
上記の問題を解決する為に、本発明では単一の撮像素子から読み出した信号に信号処理を施す信号処理手段を複数設け、該複数の信号処理手段の少なくとも１つの信号処理手段の前段にサンプリング手段を設け、フレームレート、もしくは画角、もしくは画素数の異なった複数の画像を上記複数の信号処理手段で同時に生成する。またサンプリング手段のサンプリングレートを可変にする。
【０００８】
【発明の実施の形態】
図１、図２、図３、図４、図５を用いて本発明の一実施例を説明する。図１は本発明の一実施例を示す撮像装置のブロック図、図２、図３、図４、図５は図１のブロック図の動作を説明した図である。
【０００９】
図１において１は光電変換する撮像素子、２は撮像素子１を駆動する駆動部、３，４は例えばフィールドメモリ、あるいはフレームメモリのように撮像素子の読み出し信号を一時保持する保持部、５、６は保持部３，４の出力に信号処理を施す信号処理部、７はシステム全体の制御を行う制御部、８、９は制御部７が出力する保持部３，４への制御信号、１０はレンズである。
【００１０】
レンズ１０は撮像素子１の受光面に結像し、撮像素子１の光電変換した出力を保持部３，４の入力に接続し、保持部３，４の出力はそれぞれ信号処理部５、６の入力に接続し、信号処理部５、６の出力は本システムの出力とし、また、制御部７の複数の出力は制御部２、保持部３，４、信号処理部５、６のそれぞれの入力に接続し、駆動部２の出力は撮像素子１の入力に接続した構成とする。
【００１１】
また、図２、４において１１は水平同期信号、１２は撮像素子２が読み出しを行う縦方向範囲信号、１３、１４と２３は保持部３，４の信号書込み時縦方向制御の一例を示したパルスでありＬＯＷレベルは書込みを行わないことを示す、１５は画素サイクルを示したパルス、１６は撮像素子２が読み出しを行う横方向範囲信号、１７、１８と２４は保持部３，４の信号書込み時横方向制御の一例を示したパルスでありＬＯＷレベルは書込みを行わないことを示すものである。
【００１２】
図３、５において１９は保持部３の書込み動作を説明した図、２０は信号処理部５の出力結果を示した図、２１、２７は保持部４の書込み動作を説明した図、２２、２８は信号処理部６の出力結果を示した図である。
【００１３】
本実施例の動作を説明する。制御部７は保持部３，４に縦方向の書込みを制御信号１３，１４、横方向の書込みを制御信号１７，１８とする制御を行う。この制御により保持部３は読み出し開始から２ラインごとに書込み、書込み停止を繰り返す。また、書込みラインであっても２画素ごとに書込み、書込み停止を繰り返すため、図３の１９の□に示すようなサンプリングをした信号を保持する。信号処理部５は連続的に読み出された前記サンプリング結果に、例えば輝度信号を生成する処理や、色差を表す信号を生成する処理を施し出力結果２０を出力する。また、保持部４は読み出し開始より数ライン後から書込み領域として連続書込みし、Ｌ／２ライン後に書込み停止領域として連続保持をする。書込み領域であっても横方向は読み出し開始より数画素後から書込み領域として連続書込みし、Ｈ／２画素後に書込み停止領域として連続保持をするため図３の２１に示すようなサンプリングを行う。信号処理部６は連続的に読み出された前記サンプリング結果に、例えば輝度信号を生成する処理や、色差を表す信号を生成する処理を施し出力結果２２を出力する。
【００１４】
以上の動作により撮像素子２の１回の信号読み出しで画角の異なる複数の映像信号を生成することができ、その結果図３に示すように全体を見渡す映像と、中心部分を拡大した画像というような組み合わせの映像信号を同時に得られるといった効果がある。
【００１５】
次に、保持部３は撮像素子２の読み出し信号を少なくとも２フィールド分保持できる容量ものとし、インターレース走査の結果の第一フィールド、第二フィールドを保持する。このときの保持動作は上記信号書込み時縦方向制御信号１３，信号書込み時横方向制御信号１７により行われる。その後第一フィールドの第一ライン読み出し、第二フィールドの第一ライン読み出しの順で読み出しを行い順次走査と同様の出力を得る。この出力を用いて信号処理部５は２フィールド分の時間を使い１枚の画像を生成する。
【００１６】
以上の動作を用いる静止画用信号処理と、保持部４、信号処理部６を用いた通常のインターレース動画用信号処理を行い、動画と静止画といったフレームレートの異なる画像を同時に生成することができ、撮影した動画用のサムネイルとして用いる静止画を、同時に得られるといった効果がある。また、シャッタボタン等からの入力をきっかけにして静止画生成処理を始めるならば、動画撮影中に撮影者のこのみで静止画撮影が行えるといった効果がある。また、動画撮影中に定期的に静止画撮影を行うことで例えば監視カメラでは狭い画角の動画を撮影し要点を大きく撮影しながら、定期的に広い画角の静止画を撮影し全体を把握することができ、監視範囲が広がるといった効果があり、かつ、広い画角の動画と狭い画角の動画を撮影するよりも記録する情報量は少なくすむといった効果もある。
【００１７】
ここでは保持部３、信号処理部５の動作を静止画用信号処理、保持部４、信号処理部６を動画用信号処理としたが、静止画用信号処理と動画用信号処理を入れ替えても、双方とも静止画用信号処理あるいは、動画用信号処理でも動作することは言うまでもない。
【００１８】
次に、保持部３、４、信号処理部５、６は双方とも上記静止画用信号処理を行い、かつ、図４、５の制御例のように制御信号１４を縦方向範囲信号１２と一致させた制御信号２３と、制御信号１６を横方向範囲信号１８と一致させた制御信号２４で撮像素子２が読み出しを行い、縦横方向の全範囲を用いて映像を生成する。その結果図５の２０、２８に示すようにサイズの異なる複数の静止画を得ることができ、例えばサムネイル用の小さいサイズの静止画、表示用の大きいサイズの静止画を同時に得られるといった効果がある。
【００１９】
次に、図６、図２、図３、図４、図５を用いて本発明の第二の実施例を説明する。図２、図３、図４、図５は上記の通りである。
【００２０】
図６は本発明の一実施例を示す撮像装置のブロック図である。図６において１は光電変換する撮像素子、２は撮像素子１を駆動する駆動部、２９は撮像装置からの読出し信号に第一の信号処理を施す第一信号処理部、３，４は例えばフィールドメモリ、あるいはフレームメモリのように撮像素子の読み出し信号を一時保持する保持部、３０，３１は保持部３，４の出力に第二の信号処理を施す第二信号処理部、７はシステム全体の制御を行う制御部、８、９は制御部７が出力する保持部３，４への制御信号、１０はレンズである。
【００２１】
レンズ１０は撮像素子１の受光面に結像し、撮像素子１の光電変換した出力を第一信号処理部３１に接続し、第一信号処理部３１の出力は保持部３、４の入力に接続し、保持部３，４の出力はそれぞれ第二信号処理部３２、３３の入力に接続し、第二信号処理部３２、３３の出力は本システムの出力とし、また、制御部７の複数の出力は制御部２、保持部３，４、信号処理部５、６のそれぞれの入力に接続し、駆動部２の出力は撮像素子１の入力に接続した構成とする。
【００２２】
本実施例の動作を説明する。撮像素子１は制御部７の制御を受け光電変換した信号を出力する。第一信号処理部２９は該出力信号に例えば輝度信号を生成する処理や、色差を表す信号を生成する処理を施し出力結果を保持部３，４に入力する。制御部７は保持部３，４に縦方向の書込みを１３，１４、横方向の書込みを１７，１８とする制御を行う。この制御により保持部３は読み出し開始から２ラインごとに書込み、書込み停止を繰り返す。また、書込みラインであっても２画素ごとに書込み、書込み停止を繰り返すため、図３の１９の□に示すようなサンプリングをした信号を保持する。第二信号処理部３０は連続的に読み出された前記サンプリング結果に、例えばフィルタリングなどの処理を施し出力結果２０を出力する。また、保持部４は読み出し開始より数ライン後から書込み領域として連続書込みし、Ｌ／２ライン後に書込み停止領域として連続保持をする。書込み領域であっても横方向は読み出し開始より数画素後から書込み領域として連続書込みし、Ｈ／２画素後に書込み停止領域として連続保持をするため図３の２１に示すようなサンプリングを行う。第二信号処理部３１は連続的に読み出された前記サンプリング結果に、例えば輝度信号を生成する処理や、色差を表す信号を生成する処理を施し出力結果２２を出力する。
【００２３】
以上の動作により１回の撮像素子からの信号読み出しで画角の異なる複数の映像信号を生成することができ、その結果図３の２０，２２に示すように全体を見渡す映像と、中心部分を拡大した画像というような組み合わせの映像信号を同時に得られるといった効果がある。
【００２４】
次に、保持部３は撮像素子２の読み出し信号を少なくとも２フィールド分保持できる容量ものとし、インターレース走査の結果の第一フィールド、第二フィールドを保持する。このときの保持動作は上記信号書込み時縦方向制御信号１３，信号書込み時横方向制御信号１７により行われる。その後第一フィールドの第一ライン読み出し、第二フィールドの第一ライン読み出しの順で読み出しを行い順次走査と同様の出力を得る。この出力を用いて第二信号処理部３０は２フィールド分の時間を使い１枚の画像を生成する。
【００２５】
以上の動作を用いる静止画用信号処理と、保持部４、第二信号処理部３１を用いた通常のインターレース動画用信号処理を行い、動画と静止画といったフレームレートの異なる画像を同時に生成することができ、撮影した動画用のサムネイルとして用いる静止画を、同時に得られるといった効果がある。また、シャッタボタン等からの入力をきっかけにして静止画生成処理を始めるならば、動画撮影中に撮影者のこのみで静止画撮影が行えるといった効果がある。また、動画撮影中に定期的に静止画撮影を行うことで例えば監視カメラでは狭い画角の動画を撮影し要点を大きく撮影しながら、定期的に広い画角の静止画を撮影し全体を把握することができ、監視範囲が広がるといった効果があり、かつ、広い画角の動画と狭い画角の動画を撮影するよりも記録する情報量は少なくすむといった効果もある。
【００２６】
ここでは保持部３、第二信号処理部３０の動作を静止画用信号処理、保持部４、第二信号処理部３１を動画用信号処理としたが、静止画用信号処理と動画用信号処理を入れ替えても、双方とも静止画用信号処理あるいは、動画用信号処理でも動作することは言うまでもない。
【００２７】
次に、保持部３、４、第二信号処理部３０、３１は双方とも上記静止画用信号処理を行い、かつ、図４、５の制御例のように制御信号１４を縦方向範囲信号１２と一致させた制御信号２３と、制御信号１６を横方向範囲信号１８と一致させた制御信号２４で撮像素子２が読み出しを行い、縦横方向の全範囲を用いて映像を生成する。その結果図５の２０、２８に示すようにサイズの異なる複数の静止画を得ることができ、例えばサムネイル用の小さいサイズの静止画、表示用の大きいサイズの静止画を同時に得られるといった効果がある。
【００２８】
また、複数の映像を生成するにあたり共通の処理を行う時、第一信号処理部３１で共通の処理を行い、第二信号処理部３０，３１でそれぞれの特徴を生かす処理を行う構成とすれば小規模な回路で実現できるといった効果もある。
【００２９】
次に、図７を用いて本発明の第三の実施例を説明する。図７は第二の実施例のブロックである図６に保持部３，４のどちらか一方の出力から白色部分を輝度レベル、色相等の条件から抽出する白抽出部３２と、白抽出部３２に入力する映像信号を選択する選択部３３と、制御部７に白抽出部３２の出力と白色の基準値とのずれを修正する制御を新たに付加したものである。
【００３０】
図６のブロック図に加え、選択部３３のそれぞれの入力に保持部３，４の出力を接続し、選択部３３の出力は白抽出部３２の入力に接続し、白抽出部３２の出力は制御部７の入力に接続し、制御部７の新たな出力は選択部３３、白抽出部３２、第二信号処理部３０、３１のそれぞれの入力に接続した構成である。
【００３１】
本実施例の動作を説明する。保持部３，４の出力までの動作は、図６のブロック図と同一であるのでここでは省略する。制御部７は保持部３，４の出力する映像信号の画角の広い方を選択するように選択部３３を制御する。これにより白抽出部３２は、画角の広い映像信号を用い、制御部７から設定された輝度レベル、色相等の条件をもとに白色抽出して結果を制御部７に出力する。制御部７は抽出結果と白色の基準値とを近づけるために映像信号に色相等を調節する制御データを第二信号処理部３０、３１へ入力し、ホワイトバランス制御を行う。
【００３２】
以上の動作により画角の広い映像信号を用いてホワイトバランスの調整を行うため、白として認識する為の輝度レベル、色相等の条件を満たす部分が映像信号中に多く存在することになり、正確なホワイトバランスを行うことができる。また、それぞれ異なる画角の映像信号のホワイトバランス調整を、あるひとつの映像信号からの白抽出結果をもとに行う為、ホワイトバランスの揃った複数の映像信号を生成することができ、ピクチャー・イン・ピクチャー等を行う時に扱い易いといった効果もある。本実施例は第一及び第二の実施例にオートホワイトバランスの手段を加えたものであり、第一及び第二の実施例と同様の効果もあることは言うまでも無い。また、選択部３３は本質的なものではなく、保持部３，４のどちらか一方の出力を常に白抽出部３２に接続し、画角の広い映像信号用とした構成でも同様の効果がある。
【００３３】
次に、図８を用いて本発明の第四の実施例を説明する。図８は第二の実施例のブロックである図６に映像のフォーカスを自動的に調節するために画像の高周波成分を抽出する高周波成分抽出部３４と、保持部３，４の出力から高周波成分抽出部３４に入力する出力を選択する選択部３３と、レンズ１０の位置を制御部７の制御で前後方向に移動させるレンズ位置調節部３５と、制御部７にレンズ位置調節部３５の制御を新たに付加したものである。
【００３４】
図６のブロック図に加え、選択部３９のそれぞれの入力に保持部３，４の出力を接続し、選択部３３の出力は高周波成分抽出部３４の入力に接続し、高周波成分抽出部３４の出力は制御部７の入力に接続し、制御部７の新たな出力は選択部３３、高周波成分抽出部３４、レンズ位置調節部４１のそれぞれの入力に接続し、レンズ１０はレンズ位置調節部３５によって前後方向に移動するように接続した構成である。
【００３５】
本実施例の動作を説明する。保持部３，４の出力までの動作は、図６のブロック図と同一であるのでここでは省略する。制御部７は、保持部３，４の出力する映像信号のうち、連続した画素を多くサンプリングしている方を選択するように選択部３３を制御する。これにより高周波成分抽出部３４は、連続性が高く高周波成分の欠落が少ない映像信号を用い、制御部７から設定された周波数条件等をもとに高周波成分を抽出して制御部７に出力する。制御部７は抽出結果に高周波成分がより多く現れるようにレンズ１０の位置を修正する制御データをレンズ位置調節部３５へ入力し、フォーカスを合わせる制御を行う。
【００３６】
以上の動作により連続した画素をより多くサンプリングしている映像信号を用いてフォーカスの調整を行うため、より正確にフォーカスを合わすことができる。また、それぞれ異なる画角の映像信号のフォーカス調整を、あるひとつの映像信号からの高周波成分抽出結果をもとに行う為、フォーカスが合った複数の映像信号を生成することができ、ピクチャー・イン・ピクチャー等を行う時に扱い易いといった効果がある。本実施例は第一及び第二の実施例にフォーカスの手段を加えたものであり、第一及び第二の実施例と同様の効果もあることは言うまでも無い。また、選択部３３は本質的なものではなく、保持部３，４のどちらか一方の出力を常に高周波成分抽出部３４に接続し、連続した画素を多くサンプリングしている映像信号用とした構成でも同様の効果がある。
【００３７】
図９、図１０、図１１を用いて本発明の第五の実施例を説明する。図９は第二の実施例のブロックである図６に、撮影時に生じる手ぶれ成分を例えばインターレースを考慮して現在のフィールドの映像と、２つ前のフィールドの映像との相関から抽出する動き抽出部３６と、保持部３，４の出力から動き抽出部３６に入力する出力を選択する選択部３３と、制御部７に撮像素子からの信号読出し領域を変える制御を新たに付加したものである。図１０は駆動部２の動作を説明した図、図１１は第二信号処理部３２、３３の動作を説明した図である。
【００３８】
図９は図６のブロック図に加え、選択部３３のそれぞれの入力に保持部３，４の出力を接続し、選択部３３の出力は動き抽出部３６の入力に接続し、動き抽出部３６の出力は制御部７の入力に接続し、制御部７の新たな出力は選択部３３、動き抽出部３６、駆動部２第二信号処理部３０，３１のそれぞれの入力に接続した構成である。図１０の３８は垂直同期信号、３９は垂直方向の高速転送を行うことができる範囲を示したパルス、４０は垂直方向信号読出し制御パルス、４１は手ぶれ発生後垂直方向信号読出し制御パルスである。図１１の４２、４３は元信号、４４は補間信号である。
【００３９】
本実施例の動作を説明する。ここでは垂直方向の動作について説明し、水平方向の動作については垂直方向と同様のため割愛する。保持部３，４の出力までの動作は、図６のブロック図と同一であるのでここでは省略する。制御部７は保持部３，４の出力する映像信号の画角の狭い方を選択するように選択部３３を制御する。また、あまりにも狭い画角の映像信号を用いると、撮影者の手ぶれで例えば現在のフィールドの映像と、２つ前のフィールドの映像との相関がなくなってしまい、動き検出不可能となるため、制御部７は保持部３，４の選択を逆するように選択部３３を制御することで動き検出を可能にする。動き抽出部３６は、制御部７から設定された抽出領域等の条件をもとに手ぶれ成分を抽出して制御部７に出力する。制御部７は手ぶれ成分を打ち消す方向に撮像素子１の読出し範囲を変更するように駆動部２を制御する。駆動部２は撮像素子１の読出し範囲を変えて信号を読み出す。例えば、垂直方向にΔＬの動きが検出されたとする。ここで撮像素子２の垂直方向の画素間隔がΔＧ、読出し開始ラインの変更数がΔＩであるならば、
ΔＩ ＝ ＩＮＴ（ΔＬ／ΔＧ）
と表せる。このとき制御部７は、垂直方向信号読出し制御パルス４０に３９のパルスがＬｏｗであるところにΔＩ個パルスを挿入した手ぶれ発生後垂直方向信号読出し制御パルス４１を生成する制御を行い、撮像素子１の読出し範囲を変えて信号を読出して１画素刻みの手ぶれ補正を行う。また、上記ΔＩの式の小数部分をΔＭとすると、このΔＭを用いて１画素未満の手ぶれ補正を行う。元信号４２、４３間の距離を１とし、補間により生成する補間信号４４の重心をΔＭとすると、例えば
補間信号４４ ＝ （元信号４２）＊ΔＭ ＋ （元信号４３）＊（１−ΔＭ）
と表す式のより第二信号処理部３０，３１は補間信号４４を生成し、１画素未満の手ぶれ補正を行う。
【００４０】
以上の動作により画角の狭い映像信号を用いて動き抽出を行うため、正確に動き抽出を行い手ぶれ補正することができる。また、従来手ぶれ補正が目立っていた狭い映像信号を生成している方の第二信号処理部には、より細かい精度のΔＭを供給することによって手ぶれ補正の効果を上げることもできる。また、あまりにも狭い画角の映像信号を用いると、制御部７は保持部３，４の選択を逆するように選択部３３を制御し、動き検出を可能にすることができる。
【００４１】
【発明の効果】
本発明は、撮像素子から読み出した映像信号を複数の保持手段に供給し、それぞれ異なった信号書込み制御を行い、その出力信号に信号処理を施したことにより、撮像素子から読み出した信号からフレームレート、もしくは画角、もしくは画素数の異なる複数の映像信号を生成する撮像装置を提供することができる。
また、ホワイトバランスを調節する時に画角の広い方の映像信号を用いて白抽出を行うことにより、抽出範囲内の信号が多くなり正確なホワイトバランス調節を行う撮像装置を提供することができる。
【００４２】
また、フォーカスを調節する時に連続した画素をより多くサンプリングしている映像信号を用いて高周波成分抽出を行うことにより、抽出範囲内の高周波成分が多くなり正確なフォーカス調節を行う撮像装置を提供することができる。
また、手ぶれ補正をする時に画角の狭い方の映像信号を用いて動き抽出を行うことにより、正確な動き抽出をし、拡大画像でも効果のある手ぶれ補正行う撮像装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の第一の実施例における信号処理装置の構成を示すブロック図である。
【図２】図１のブロック図の動作を説明した図である。
【図３】図１のブロック図の効果を説明した図である。
【図４】図１のブロック図の動作を説明した図である。
【図５】図１のブロック図の効果を説明した図である。
【図６】本発明の第二の実施例における信号処理装置の構成を示すブロック図である。
【図７】本発明の第三の実施例における信号処理装置の動作を説明した図である。
【図８】本発明の第四の実施例における信号処理装置の動作を説明した図である。
【図９】本発明の第五の実施例における信号処理装置の動作を説明した図である。
【図１０】図９のブロック図の動作を説明した図である。
【図１１】図９のブロック図の動作を説明した図である。
【符号の説明】
１・・・・・・撮像素子
２・・・・・・駆動部
３、４・・・・保持部
５、６・・・・信号処理部
７・・・・・・制御部
８、９・・・・制御信号
１０・・・・・・レンズ
１１・・・・・・水平同期信号
１２・・・・・・読み出し範囲（垂直方向）
１３・・・・・・保持部３の信号書込み時垂直方向制御信号
１４、２３・・・保持部４の信号書込み時垂直方向制御信号
１５・・・・・・画素サイクル信号
１６・・・・・・読み出し範囲（水平方向）
１７・・・・・・保持部３の信号書込み時水平方向制御信号
１８、２４・・・保持部４の信号書込み時水平方向制御信号
１９・・・・・・保持部３の信号書込み範囲
２０・・・・・・保持部３から読み出した映像信号
２１、２７・・・保持部４の信号書込み範囲
２２、２８・・・保持部４から読み出した映像信号
２９・・・・・・第一信号処理部
３０，３１・・・第二信号処理部
３２・・・・・・白抽出部
３３・・・・・・選択部
３４・・・・・・高周波抽出部
３５・・・・・・レンズ位置調節部
３６・・・・・・動き検出部
３８・・・・・・垂直同期信号
３９・・・・・・垂直方向高速転送範囲
４０・・・・・・垂直方向信号読出し制御パルス
４１・・・・・・手ぶれ発生後垂直方向信号読出し制御パルス
４２、４３・・・元画素
４４・・・・・・補間信号[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a method for simultaneously photographing a plurality of video signals having different angles of view.
[0002]
[Prior art]
In the conventional technology, as disclosed in Japanese Patent Application Laid-Open No. H11-127441, a plurality of image sensors are provided, and the light receiving surface size of at least one or more image sensors is different from the light receiving surface size of another image sensor. There is known a method of performing signal processing on the output of an image sensor to simultaneously capture images having different angles of view.
[0003]
[Problems to be solved by the invention]
However, in the above-described conventional example, since a plurality of image sensors are used, there is a variation in spectral characteristics, sensitivity, and the like unique to the image sensors, so that control is complicated. In addition, a circuit for driving the image sensor is required for at least the number of types of light receiving surface sizes of the image sensor, which results in a large-scale circuit and a high cost.
[0004]
Next, since images having different angles of view are simultaneously captured using a plurality of image sensors having different light receiving surface sizes, the angle of view is determined by the size of the light receiving surface of the image sensor. It is difficult to say that the system is limited and makes full use of the features of multi-screen shooting.
[0005]
It is an object of the present invention to (1) realize a system using a single image sensor, and (2) change the angle of view of each of a plurality of captured images.
[0006]
An object of the present invention is to provide a technique capable of solving such a problem.
[0007]
[Means for Solving the Problems]
In order to solve the above problem, in the present invention, a plurality of signal processing means for performing signal processing on a signal read from a single image sensor are provided, and sampling is performed in a stage preceding at least one of the plurality of signal processing means. Means, and a plurality of images having different frame rates, angles of view, or numbers of pixels are simultaneously generated by the plurality of signal processing means. The sampling rate of the sampling means is made variable.
[0008]
BEST MODE FOR CARRYING OUT THE INVENTION
One embodiment of the present invention will be described with reference to FIGS. 1, 2, 3, 4, and 5. FIG. FIG. 1 is a block diagram of an image pickup apparatus according to an embodiment of the present invention, and FIGS. 2, 3, 4, and 5 are diagrams illustrating the operation of the block diagram of FIG.
[0009]
In FIG. 1, reference numeral 1 denotes an image pickup device for photoelectric conversion, 2 denotes a driving unit for driving the image pickup device 1, and 3 and 4 denote holding units for temporarily holding readout signals of the image pickup device such as a field memory or a frame memory. Reference numeral 6 denotes a signal processing unit that performs signal processing on the outputs of the holding units 3 and 4, 7 denotes a control unit that controls the entire system, and 8 and 9 denote control signals output from the control unit 7 to the holding units 3 and 4. Is a lens.
[0010]
The lens 10 forms an image on the light receiving surface of the image sensor 1, connects the photoelectrically converted output of the image sensor 1 to the input of the holding units 3 and 4, and outputs the outputs of the holding units 3 and 4 to the signal processing units 5 and 6, respectively. The outputs of the signal processing units 5 and 6 are output from the present system, and a plurality of outputs of the control unit 7 are input terminals of the control unit 2, the holding units 3 and 4, and the signal processing units 5 and 6. , And the output of the drive unit 2 is connected to the input of the image sensor 1.
[0011]
2 and 4, reference numeral 11 denotes an example of a horizontal synchronization signal, reference numeral 12 denotes an example of a vertical range signal from which the image sensor 2 reads data, and reference numerals 13, 14 and 23 denote examples of the control of the holding units 3 and 4 in the vertical direction when writing signals. The pulse is a pulse, and the LOW level indicates that writing is not performed. 15 is a pulse indicating a pixel cycle, 16 is a horizontal range signal from which the image sensor 2 performs reading, and 17, 18 and 24 are signals of the holding units 3 and 4. This pulse indicates an example of the lateral control during writing, and the LOW level indicates that writing is not performed.
[0012]
3 and 5, 19 is a diagram illustrating the writing operation of the holding unit 3, 20 is a diagram illustrating the output result of the signal processing unit 5, 21 and 27 are diagrams illustrating the writing operation of the holding unit 4, 22, 28. 4 is a diagram showing an output result of the signal processing unit 6. FIG.
[0013]
The operation of this embodiment will be described. The control unit 7 controls the holding units 3 and 4 to use the control signals 13 and 14 for writing in the vertical direction and the control signals 17 and 18 for writing in the horizontal direction. With this control, the holding unit 3 repeats writing and stopping writing every two lines from the start of reading. In addition, even in the case of the writing line, the writing and stopping of writing are repeated for every two pixels, so that a sampled signal as shown by 19 in FIG. 3 is held. The signal processing unit 5 performs, for example, a process of generating a luminance signal and a process of generating a signal representing a color difference on the continuously read sampling result, and outputs an output result 20. Further, the holding unit 4 continuously writes as a writing area several lines after the start of reading, and continuously holds as a writing stop area after L / 2 lines. Even in the writing area, in the horizontal direction, writing is continuously performed as a writing area several pixels after the start of reading, and sampling is performed as shown in FIG. The signal processing unit 6 performs, for example, a process of generating a luminance signal and a process of generating a signal representing a color difference on the continuously read sampling results, and outputs an output result 22.
[0014]
By the above operation, a plurality of video signals having different angles of view can be generated by one signal readout of the image sensor 2, and as a result, as shown in FIG. There is an effect that a video signal of such a combination can be obtained at the same time.
[0015]
Next, the holding unit 3 has a capacity capable of holding the readout signal of the image sensor 2 for at least two fields, and holds the first field and the second field as a result of the interlaced scanning. The holding operation at this time is performed by the above-described signal writing vertical control signal 13 and the signal writing horizontal control signal 17. Thereafter, reading is performed in the order of the first line reading of the first field and the first line reading of the second field, and an output similar to the sequential scanning is obtained. Using this output, the signal processing unit 5 generates one image using the time for two fields.
[0016]
By performing the signal processing for a still image using the above operation and the signal processing for a normal interlaced moving image using the holding unit 4 and the signal processing unit 6, images having different frame rates such as a moving image and a still image can be simultaneously generated. In addition, a still image used as a thumbnail for a captured moving image can be obtained at the same time. In addition, if the still image generation process is started in response to an input from a shutter button or the like, there is an effect that a still image can be shot by a photographer only during a moving image shooting. In addition, by regularly taking still images during movie shooting, for example, a surveillance camera takes a narrow angle of view video and shoots a large point, while periodically taking a wide angle of view still image and grasping the whole This has the effect of widening the monitoring range, and has the effect of reducing the amount of information to be recorded as compared to shooting a moving image with a wide angle of view and a moving image with a narrow angle of view.
[0017]
Here, the operations of the holding unit 3 and the signal processing unit 5 are still image signal processing, and the holding unit 4 and the signal processing unit 6 are moving image signal processing. However, even if the still image signal processing and the moving image signal processing are interchanged. Needless to say, both operate in still image signal processing or moving image signal processing.
[0018]
Next, both the holding units 3 and 4 and the signal processing units 5 and 6 perform the above-described still image signal processing, and match the control signal 14 with the vertical range signal 12 as in the control examples of FIGS. The image sensor 2 reads out the control signal 23 with the control signal 23 and the control signal 24 that matches the control signal 16 with the horizontal range signal 18, and generates an image using the entire range in the vertical and horizontal directions. As a result, a plurality of still images of different sizes can be obtained as shown at 20 and 28 in FIG. 5. For example, there is an effect that a small-sized still image for thumbnails and a large-sized still image for display can be obtained at the same time. is there.
[0019]
Next, a second embodiment of the present invention will be described with reference to FIGS. 6, 2, 3, 4, and 5. FIG. 2, 3, 4, and 5 are as described above.
[0020]
FIG. 6 is a block diagram of an imaging apparatus showing one embodiment of the present invention. In FIG. 6, reference numeral 1 denotes an imaging element for photoelectric conversion, 2 denotes a driving unit for driving the imaging element 1, 29 denotes a first signal processing unit for performing first signal processing on a read signal from the imaging device, and 3, 4 denote, for example, fields. A holding unit for temporarily holding a read signal of the image sensor, such as a memory or a frame memory; 30, 31 a second signal processing unit for performing second signal processing on outputs of the holding units 3, 4; Control units 8 and 9 perform control, and control signals to the holding units 3 and 4 output by the control unit 7 are lenses.
[0021]
The lens 10 forms an image on the light receiving surface of the image sensor 1, connects the photoelectrically converted output of the image sensor 1 to the first signal processing unit 31, and outputs the first signal processing unit 31 to the inputs of the holding units 3 and 4. The outputs of the holding units 3 and 4 are connected to the inputs of the second signal processing units 32 and 33, respectively, and the outputs of the second signal processing units 32 and 33 are output from the present system. Is connected to respective inputs of the control unit 2, the holding units 3 and 4, and the signal processing units 5 and 6, and the output of the driving unit 2 is connected to the input of the image sensor 1.
[0022]
The operation of this embodiment will be described. The image sensor 1 outputs a signal that has been photoelectrically converted under the control of the control unit 7. The first signal processing unit 29 performs a process of generating, for example, a luminance signal and a process of generating a signal representing a color difference on the output signal, and inputs the output results to the holding units 3 and 4. The control unit 7 controls the holding units 3 and 4 to write 13 and 14 in the vertical direction and 17 and 18 in the horizontal direction. With this control, the holding unit 3 repeats writing and stopping writing every two lines from the start of reading. In addition, even in the case of the writing line, the writing and stopping of writing are repeated for every two pixels, so that a sampled signal as shown by 19 in FIG. 3 is held. The second signal processing unit 30 performs a process such as filtering on the continuously read sampling result, and outputs an output result 20. Further, the holding unit 4 continuously writes as a writing area several lines after the start of reading, and continuously holds as a writing stop area after L / 2 lines. Even in the writing area, in the horizontal direction, writing is continuously performed as a writing area several pixels after the start of reading, and sampling is performed as shown in FIG. The second signal processing unit 31 performs, for example, a process of generating a luminance signal or a process of generating a signal representing a color difference on the continuously read sampling result, and outputs an output result 22.
[0023]
By the above operation, a plurality of video signals having different angles of view can be generated by one signal readout from the image sensor. As a result, as shown in FIG. There is an effect that a combined video signal such as an enlarged image can be obtained at the same time.
[0024]
Next, the holding unit 3 has a capacity capable of holding the readout signal of the image sensor 2 for at least two fields, and holds the first field and the second field as a result of the interlaced scanning. The holding operation at this time is performed by the above-described signal writing vertical control signal 13 and the signal writing horizontal control signal 17. Thereafter, reading is performed in the order of the first line reading of the first field and the first line reading of the second field, and an output similar to the sequential scanning is obtained. Using this output, the second signal processing unit 30 generates one image using the time for two fields.
[0025]
Performing still image signal processing using the above operations and normal interlaced moving image signal processing using the holding unit 4 and the second signal processing unit 31 to simultaneously generate images having different frame rates such as a moving image and a still image. And a still image to be used as a thumbnail for a captured moving image can be obtained at the same time. In addition, if the still image generation process is started in response to an input from a shutter button or the like, there is an effect that a still image can be shot by a photographer only during a moving image shooting. In addition, by regularly taking still images during movie shooting, for example, a surveillance camera takes a narrow angle of view video and shoots a large point, while periodically taking a wide angle of view still image and grasping the whole This has the effect of widening the monitoring range, and has the effect of reducing the amount of information to be recorded as compared to shooting a moving image with a wide angle of view and a moving image with a narrow angle of view.
[0026]
Here, the operations of the holding unit 3 and the second signal processing unit 30 are signal processing for a still image, and the holding unit 4 and the second signal processing unit 31 are signal processing for a moving image. It is needless to say that even if they are exchanged, both of them operate with still image signal processing or moving image signal processing.
[0027]
Next, both the holding units 3 and 4 and the second signal processing units 30 and 31 perform the above-described still image signal processing, and also, as in the control example of FIGS. The image sensor 2 reads out the image using the control signal 23 in which the control signal 23 matches the control signal 16 and the control signal 24 in which the control signal 16 matches the horizontal range signal 18, and generates an image using the entire range in the vertical and horizontal directions. As a result, a plurality of still images of different sizes can be obtained as shown at 20 and 28 in FIG. 5. For example, there is an effect that a small-sized still image for thumbnails and a large-sized still image for display can be obtained at the same time. is there.
[0028]
In addition, when a common process is performed in generating a plurality of videos, the first signal processing unit 31 performs a common process, and the second signal processing units 30 and 31 perform a process that makes use of each feature. There is also an effect that it can be realized with a small-scale circuit.
[0029]
Next, a third embodiment of the present invention will be described with reference to FIG. FIG. 7 is a block diagram of the second embodiment. In FIG. 6, a white extracting unit 32 for extracting a white portion from one of the outputs of the holding units 3 and 4 from conditions such as a luminance level and a hue, and a white extracting unit 32 And a control unit 7 for newly adding a control for correcting a difference between the output of the white extraction unit 32 and the white reference value to the control unit 7.
[0030]
In addition to the block diagram of FIG. 6, the outputs of the holding units 3 and 4 are connected to the respective inputs of the selection unit 33, the output of the selection unit 33 is connected to the input of the white extraction unit 32, and the output of the white extraction unit 32 is A new output of the control unit 7 is connected to inputs of the selection unit 33, the white extraction unit 32, and the second signal processing units 30 and 31, respectively.
[0031]
The operation of this embodiment will be described. Operations up to the output of the holding units 3 and 4 are the same as those in the block diagram of FIG. The control unit 7 controls the selection unit 33 so as to select a wider angle of view of the video signal output from the holding units 3 and 4. Accordingly, the white extraction unit 32 extracts white using the video signal having a wide angle of view based on the conditions such as the luminance level and the hue set by the control unit 7 and outputs the result to the control unit 7. The control unit 7 inputs control data for adjusting the hue and the like to the video signal to make the extraction result close to the white reference value to the second signal processing units 30 and 31, and performs white balance control.
[0032]
Since the white balance is adjusted using a video signal having a wide angle of view by the above operation, many portions satisfying conditions such as a luminance level and a hue for recognizing white are present in the video signal. White balance. In addition, since the white balance of video signals with different angles of view is adjusted based on the white extraction result from a certain video signal, a plurality of video signals with the same white balance can be generated. There is also an effect that it is easy to handle when performing in-picture or the like. This embodiment is obtained by adding a means for auto white balance to the first and second embodiments, and it is needless to say that the present embodiment has the same effect as the first and second embodiments. Further, the selection unit 33 is not essential, and the same effect is obtained even in a configuration in which one of the outputs of the holding units 3 and 4 is always connected to the white extraction unit 32 and is used for a video signal having a wide angle of view. .
[0033]
Next, a fourth embodiment of the present invention will be described with reference to FIG. FIG. 8 is a block diagram of the second embodiment. FIG. 6 is a block diagram of a high-frequency component extracting unit 34 for extracting a high-frequency component of an image for automatically adjusting the focus of an image. A selection unit 33 for selecting an output to be input to the extraction unit 34, a lens position adjustment unit 35 for moving the position of the lens 10 in the front-rear direction under the control of the control unit 7, and a control unit 7 for controlling the lens position adjustment unit 35. It is newly added.
[0034]
In addition to the block diagram of FIG. 6, the outputs of the holding units 3 and 4 are connected to the respective inputs of the selection unit 39, the output of the selection unit 33 is connected to the input of the high frequency component extraction unit 34, The output is connected to the input of the control unit 7, the new output of the control unit 7 is connected to the respective inputs of the selection unit 33, the high frequency component extraction unit 34, and the lens position adjustment unit 41, and the lens 10 is connected to the lens position adjustment unit 35. Is connected so as to move in the front-rear direction.
[0035]
The operation of this embodiment will be described. Operations up to the output of the holding units 3 and 4 are the same as those in the block diagram of FIG. The control unit 7 controls the selection unit 33 so as to select, from the video signals output from the holding units 3 and 4, the one sampling more continuous pixels. Accordingly, the high-frequency component extraction unit 34 extracts the high-frequency component based on the frequency conditions and the like set by the control unit 7 and outputs the extracted high-frequency component to the control unit 7 using the video signal with high continuity and few omissions of the high-frequency component. . The control unit 7 inputs control data for correcting the position of the lens 10 to the lens position adjustment unit 35 so that more high-frequency components appear in the extraction result, and performs control for focusing.
[0036]
By the above operation, the focus is adjusted using the video signal sampling more continuous pixels, so that the focus can be adjusted more accurately. In addition, since focus adjustment of video signals having different angles of view is performed based on a high-frequency component extraction result from a certain video signal, a plurality of focused video signals can be generated. -There is an effect that it is easy to handle when performing a picture or the like. This embodiment is obtained by adding focusing means to the first and second embodiments, and it is needless to say that the same effects as those of the first and second embodiments can be obtained. Further, the selection unit 33 is not essential, and the output of either one of the holding units 3 and 4 is always connected to the high frequency component extraction unit 34, and the selection unit 33 is used for a video signal in which many continuous pixels are sampled. But there is a similar effect.
[0037]
A fifth embodiment of the present invention will be described with reference to FIGS. FIG. 9 is a block diagram of the second embodiment. FIG. 6 is a block diagram of the second embodiment, in which a camera shake component generated at the time of shooting is extracted from the correlation between the video of the current field and the video of the previous field in consideration of, for example, interlacing. The control unit 7 is newly added to the control unit 7, a selection unit 33 for selecting an output to be input to the motion extraction unit 36 from the outputs of the holding units 3 and 4, and a control for changing a signal readout area from the image sensor. . FIG. 10 is a diagram for explaining the operation of the drive unit 2, and FIG. 11 is a diagram for explaining the operation of the second signal processing units 32 and 33.
[0038]
FIG. 9 is a block diagram of FIG. 6. In addition, the outputs of the holding units 3 and 4 are connected to the respective inputs of the selection unit 33. The output of the selection unit 33 is connected to the input of the motion extraction unit 36. Is connected to an input of the control unit 7, and a new output of the control unit 7 is connected to respective inputs of the selection unit 33, the motion extraction unit 36, and the second signal processing units 30 and 31 of the driving unit 2. . In FIG. 10, reference numeral 38 denotes a vertical synchronization signal, 39 denotes a pulse indicating a range in which high-speed transfer in the vertical direction can be performed, 40 denotes a vertical signal read control pulse, and 41 denotes a vertical signal read control pulse after camera shake has occurred. In FIG. 11, 42 and 43 are original signals, and 44 is an interpolation signal.
[0039]
The operation of this embodiment will be described. Here, the operation in the vertical direction will be described, and the operation in the horizontal direction will not be described because it is the same as that in the vertical direction. Operations up to the output of the holding units 3 and 4 are the same as those in the block diagram of FIG. The control unit 7 controls the selection unit 33 so as to select the narrower angle of view of the video signal output from the holding units 3 and 4. In addition, if a video signal having a too narrow angle of view is used, for example, the motion of the photographer loses the correlation between the video of the current field and the video of the two previous fields due to camera shake, and it becomes impossible to detect motion. The control unit 7 enables the motion detection by controlling the selection unit 33 so that the selection of the holding units 3 and 4 is reversed. The motion extracting unit 36 extracts a camera shake component based on conditions such as an extraction area set by the control unit 7 and outputs the extracted component to the control unit 7. The control unit 7 controls the driving unit 2 so as to change the readout range of the image sensor 1 in a direction to cancel the camera shake component. The drive unit 2 reads a signal while changing a read range of the image sensor 1. For example, assume that a movement of ΔL is detected in the vertical direction. Here, if the vertical pixel interval of the image sensor 2 is ΔG and the number of changes of the readout start line is ΔI,
ΔI = INT (ΔL / ΔG)
Can be expressed as At this time, the control unit 7 performs control to generate a vertical signal read control pulse 41 after the occurrence of camera shake by inserting ΔI pulses where 39 pulses are Low in the vertical signal read control pulse 40, and the image sensor 1 The signal is read out by changing the readout range, and the camera shake correction is performed for each pixel. Further, assuming that the decimal part of the above expression ΔI is ΔM, camera shake correction of less than one pixel is performed using this ΔM. Assuming that the distance between the original signals 42 and 43 is 1 and the center of gravity of the interpolation signal 44 generated by interpolation is ΔM, for example, the interpolation signal 44 = (original signal 42) * ΔM + (original signal 43) * (1−ΔM)
The second signal processing units 30 and 31 generate the interpolation signal 44 and perform camera shake correction of less than one pixel according to the expression:
[0040]
Since the motion is extracted using the video signal having a narrow angle of view by the above operation, the motion can be accurately extracted and the camera shake can be corrected. In addition, the effect of the camera shake correction can be enhanced by supplying a smaller precision ΔM to the second signal processing unit that generates a narrow video signal in which the camera shake correction is conspicuous. If a video signal having an extremely narrow angle of view is used, the control unit 7 can control the selection unit 33 so that the selection of the holding units 3 and 4 is reversed, thereby enabling motion detection.
[0041]
【The invention's effect】
According to the present invention, a video signal read from an image sensor is supplied to a plurality of holding units, different signal writing controls are performed, and signal processing is performed on the output signal. Alternatively, an imaging device that generates a plurality of video signals having different angles of view or different numbers of pixels can be provided.
In addition, by performing white extraction using a video signal having a wider angle of view when adjusting white balance, it is possible to provide an imaging apparatus that performs accurate white balance adjustment by increasing the number of signals within the extraction range.
[0042]
Further, the present invention provides an imaging apparatus that performs high-frequency component extraction by using a video signal sampling more continuous pixels when adjusting focus, thereby increasing the number of high-frequency components within the extraction range and performing accurate focus adjustment. be able to.
In addition, by performing motion extraction using a video signal having a narrower angle of view when performing camera shake correction, it is possible to provide an image pickup apparatus that performs accurate motion extraction and performs camera shake correction that is effective even in an enlarged image.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of a signal processing device according to a first embodiment of the present invention.
FIG. 2 is a diagram for explaining the operation of the block diagram of FIG. 1;
FIG. 3 is a diagram illustrating the effect of the block diagram of FIG. 1;
FIG. 4 is a diagram for explaining the operation of the block diagram of FIG. 1;
FIG. 5 is a diagram illustrating the effect of the block diagram of FIG. 1;
FIG. 6 is a block diagram illustrating a configuration of a signal processing device according to a second embodiment of the present invention.
FIG. 7 is a diagram illustrating the operation of a signal processing device according to a third embodiment of the present invention.
FIG. 8 is a diagram illustrating an operation of a signal processing device according to a fourth embodiment of the present invention.
FIG. 9 is a diagram illustrating the operation of a signal processing device according to a fifth embodiment of the present invention.
FIG. 10 is a diagram illustrating the operation of the block diagram of FIG. 9;
FIG. 11 is a diagram for explaining the operation of the block diagram in FIG. 9;
[Explanation of symbols]
1 imaging device 2 driving units 3 and 4 holding units 5 and 6 signal processing unit 7 control units 8 and 9 ... Control signal 10 ... Lens 11 ... Horizontal synchronization signal 12 ... Readout range (vertical direction)
13 ... vertical direction control signal at the time of signal writing of holding unit 3, 14, 23 ... vertical direction control signal 15 at the time of signal writing of holding unit 4 ... pixel cycle signal 16 ... ..Readout range (horizontal direction)
17: Horizontal control signal 18 at the time of signal writing of the holding unit 3, 24 ... Horizontal control signal 19 at the time of signal writing of the holding unit 4 ... Signal writing range 20 of the holding unit 3 ... video signals 21 and 27 read from holding unit 3 ... signal writing ranges 22 and 28 of holding unit 4 ... video signals 29 read from holding unit 4 ... first Signal processing units 30, 31 Second signal processing unit 32 White extraction unit 33 Selection unit 34 High frequency extraction unit 35 Lens position adjustment unit 36 Motion detection unit 38 Vertical synchronization signal 39 Vertical high-speed transfer range 40 Vertical signal read control pulse 41 ..... Control signals 42 and 43 for reading out vertical signals after camera shake has occurred. ... interpolation signal
