JP2009260916A - 撮像装置、および信号処理方法、並びにコンピュータ・プログラム - Google Patents

Abstract

【課題】１つの信号処理チップに記録用画像とライブビュー画像を時分割で入力し、ライブビュー画像の消失及び表示遅れを低減する構成を実現する。
【解決手段】記録用画像を取得するセンサと、ライブビュー画像を取得するセンサを含む複数センサの出力を時分割で切り替えて信号処理部に出力する入力切り替え部において、記録用画像の画像フレームの水平ブランキング区間、または水平ラインデータ内にライブビュー画像の構成データを挟み込んだ出力データを生成して信号処理部に出力する。本構成により単一の信号入力部を有する汎用的な信号処理部を利用して複数のセンサ出力に対する信号処理を行うことが可能となり、またサブイメージセンサのライブビュー画像のモニタ表示の遅れや消失を低減することが可能となる。
【選択図】図１０

Description

本発明は、撮像装置、および信号処理方法、並びにコンピュータ・プログラムに関する。さらに詳細には、一眼レフカメラにおいて、ＬＣＤなどのモニタに画像を表示するライブビュー機能を持つ撮像装置、および信号処理方法、並びにコンピュータ・プログラムに関する。

さらに詳細には、本発明は記録用画像を取得するメインイメージセンサとライブビュー画像を取得するサブイメージセンサとを含む複数のセンサ出力を、時分割で信号処理部に出力する構成を有する撮像装置、および信号処理方法、並びにコンピュータ・プログラムに関する。

従来、カメラで被写体を観察する場合、光学式ビューファインダ（ＯＶＦ：Ｏｐｔｉｃａｌ Ｖｉｅｗ Ｆｉｎｄｅｒ）を介して観察する構成が主流であったが、昨今、イメージセンサ（撮像素子）の出力をカメラ背面などに設けたＬＣＤなどのディスプレイに表示するライブビュー表示機能を有するカメラが増加している。光学式ビューファインダ（ＯＶＦ）に対して、ＬＣＤなどのディスプレイをファインダとして利用する構成は電子式ビューファィンダ（ＥＶＦ：Ｅｌｅｃｔｅｉｃ Ｖｉｅｗ Ｆｉｎｄｅｒ）と呼ばれる。なお光学式ビューファインダ（ＯＶＦ）と電子式ビューファィンダ（ＥＶＦ）とを備えたカメラについては例えば特許文献１に記載されている。

ディスプレイをファインダとするライブビュー表示機能を有するカメラでは、ライブビュー表示のためにイメージセンサ（撮像素子）の出力信号処理が必要となる。また、撮影記録処理においてもイメージセンサ（撮像素子）の出力信号処理が必要となる。例えばイメージセンサの出力に対するホワイトバランス調整、ゲイン制御、γ補正、色補正などの様々な信号処理がＩＣチップなどによって構成される画像信号処理回路において実行される。

表示処理を行わず、撮像素子の出力を記録処理にのみ利用する場合には、図１に示すように、イメージセンサ１の出力を１つの信号処理チップ２に出力し、信号処理チップ２の出力を記録すればよく、信号処理チップ２は記録処理に際してのみ利用されることになる。なお、イメージセンサ１と信号処理チップ２間のデータ転送には、例えば高速データ転送を実現するｓｕｂＬＶＤＳ（Ｓｕｂ−Ｌｏｗ Ｖｏｌｔａｇｅ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｓｉｇｎａｌ）伝送方式が利用される。

一方、ライブビュー表示機能を有するカメラの場合、記録処理用のデータを出力するイメージセンサの他に、ライブビュー表示用のデータを出力するサブイメージセンサを設けて、それぞれのイメージセンサの出力を信号処理することが必要となる。例えば２以上の複数個（Ｎ個）のイメージセンサを有する設定とした場合、図２に示すようにイメージセンサ３−１、３−２、…、３−Ｎと信号処理チップ４−１、４−２、…、４−Ｎの１対１接続構成を複数系統（Ｎ系統）用いる設定が考えられる。しかし信号処理チップは比較的高価であり、このような構成とすることはコストアップを招く要因となる。

高価な信号処理チップの使用数を削減するための構成としては図３のような構成が考えられる。図３のように１つの信号処理チップ６に、複数のイメージセンサ５−１、５−２、…、５−Ｎからの入力部としてのインターフェースを設ける構成である。それぞれのイメージセンサ５−１、５−２、…、５−Ｎからの信号を信号処理チップ６内で切り替えて処理を実行する。しかしこのような構成とするためには、信号処理チップ６に複数の入力を実現するためのインターフェース機能や処理信号を切り替える切り替え機能を付加することが必要となり、既存のチップを利用することは出来なくなり、新たなチップの開発が必要となるという問題がある。
特開２００６−２６７３８１号公報

本発明は、１つの入力信号用インターフェースを備えた既存の信号処理チップに何ら変更を加えることなく、複数のイメージセンサの出力を単独の信号処理チップで処理することを可能とするとともに、ライブビュー画像の未表示期間を短縮することを可能とした撮像装置、および信号処理方法、並びにコンピュータ・プログラムを提供することを目的とする。

本発明の第１の側面は、
記録用画像を取得するメインイメージセンサと、
ライブビュー画像を取得するサブイメージセンサと、
前記メインイメージセンサおよびサブイメージセンサを含む複数のセンサ出力を入力し、入力した複数センサ出力を時分割で切り替えて信号処理部に出力する入力切り替え部と、
前記メインイメージセンサと前記サブイメージセンサを含む複数のセンサ出力の時分割切り替え信号を前記入力切り替え部から入力し、入力信号に対する信号処理を実行する信号処理部を有し、
前記入力切り替え部は、
記録用画像の画像フレームの水平ブランキング区間、または水平ラインデータ内にライブビュー画像の構成データを挟み込んだ出力データを生成して信号処理部に出力することを特徴とする撮像装置にある。

さらに、本発明の撮像装置の一実施態様において、前記入力切り替え部は、記録用画像フレームを構成する水平ラインデータの同期コード、およびライブビュー画像フレームを構成する水平ラインデータの同期コード中に、記録用画像の構成ラインであるかライブビュー画像の構成ラインであるかを示す画像識別コードを設定して信号処理部に出力することを特徴とする。

さらに、本発明の撮像装置の一実施態様において、前記入力切り替え部は、記録用画像の画像フレームの水平ブランキング区間に、ライブビュー画像フレームを構成する１以上の水平ラインデータを挟み込んだ出力データを生成して信号処理部に出力することを特徴とする。

さらに、本発明の撮像装置の一実施態様において、前記入力切り替え部は、記録用画像の画像フレームの１つの水平ラインデータ中に、ライブビュー画像フレームを挟み込んだ出力データを生成して信号処理部に出力することを特徴とする。

さらに、本発明の撮像装置の一実施態様において、前記入力切り替え部は、記録用画像の画像フレームの１つの水平ラインデータ中に、ライブビュー画像フレームを構成する１以上の水平ラインデータを挟み込んだ出力データを生成して信号処理部に出力することを特徴とする。

さらに、本発明の撮像装置の一実施態様において、前記入力切り替え部は、前記記録用画像の出力チャネル数以下のチャネル数で前記ライブビュー画像を前記信号処理部に出力する構成であることを特徴とする。

さらに、本発明の撮像装置の一実施態様において、前記入力切り替え部は、前記記録用画像およびライブビュー画像を、ｓｕｂＬＶＤＳ（Ｓｕｂ−Ｌｏｗ Ｖｏｌｔａｇｅ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｓｉｇｎａｌ）伝送方式を利用して出力する構成であることを特徴とする。

さらに、本発明の撮像装置の一実施態様において、前記入力切り替え部は、前記メインイメージセンサ出力またはサブイメージセンサ出力の少なくともいずれかをメモリに一時的に記憶し、前記メモリからセンサ出力を読み出して前記信号処理部に対して出力する処理を実行する構成であることを特徴とする。

さらに、本発明の撮像装置の一実施態様において、前記メモリは高速読み出し可能なメモリであることを特徴とする。

さらに、本発明の撮像装置の一実施態様において、前記信号処理部は、前記メインイメージセンサのセンサ出力を格納する第１バッファと、前記サブイメージセンサのセンサ出力を格納する第２バッファと、記録用画像またはライブビュー画像の生成を行う出力信号生成部を有し、前記出力信号生成部は、前記第１バッファからの読み出し信号に基づいて記録用画像を生成し、前記第２バッファからの読み出し信号に基づいてライブビュー画像の生成を行う構成である。

さらに、本発明の撮像装置の一実施態様において、前記出力信号生成部は、前記第１バッファの格納データに対する処理を行う第１出力信号生成部と、前記第２バッファの格納データに対する処理を行う第２出力信号生成部を有し、前記第１出力信号生成部による前記第１バッファからのデータ読み出し処理と、前記第２出力信号生成部による前記第２バッファからのデータ読み出し処理とを並列に実行する構成である。

さらに、本発明の撮像装置の一実施態様において、前記入力切り替え部は、前記ライブビュー画像の水平同期信号区間をスロットパルスによって区分したスロットをセンサ出力信号の転送期間単位として設定してセンサ出力信号の転送処理を行なう構成であり、前記信号処理部は、前記入力切り替え部からの入力信号の区切りを、前記スロットを単位として識別する構成である。

さらに、本発明の撮像装置の一実施態様において、前記入力切り替え部は、前記ライブビュー画像の水平同期信号区間の先頭スロットまたは先行スロットをライブビュー画像の転送スロットとし、ライブビュー画像の転送スロット以外のスロットを記録用画像の転送スロットとして設定したセンサ出力信号転送処理を行ない、前記信号処理部は、前記入力切り替え部からの入力信号を、前記スロットを単位として識別する構成である。

さらに、本発明の第２の側面は、
撮像装置のイメージセンサの出力に対する信号処理方法であり、
メインイメージセンサが、記録用画像を取得するメインイメージ取得ステップと、
サブイメージセンサが、ライブビュー画像を取得するサブイメージ取得ステップと、
入力切り替え部が、前記メインイメージセンサおよびサブイメージセンサを含む複数のセンサ出力を入力し、入力した複数センサ出力を時分割で切り替えて信号処理部に出力する入力切り替えステップと、
信号処理部が、前記メインイメージセンサと前記サブイメージセンサを含む複数のセンサ出力の時分割切り替え信号を前記入力切り替え部から入力し、入力信号に対する信号処理を実行する信号処理ステップとを有し、
前記入力切り替えステップは、
記録用画像の画像フレームの水平ブランキング区間、または水平ラインデータ内にライブビュー画像の構成データを挟み込んだ出力データを生成して信号処理部に出力するステップであることを特徴とする信号処理方法にある。

さらに、本発明の信号処理方法の一実施態様において、前記入力切り替えステップは、記録用画像フレームを構成する水平ラインデータの同期コード、およびライブビュー画像フレームを構成する水平ラインデータの同期コード中に、記録用画像の構成ラインであるかライブビュー画像の構成ラインであるかを示す画像識別コードを設定して信号処理部に出力するステップであることを特徴とする。

さらに、本発明の信号処理方法の一実施態様において、前記入力切り替えステップは、記録用画像の画像フレームの水平ブランキング区間に、ライブビュー画像フレームを構成する１以上の水平ラインデータを挟み込んだ出力データを生成して信号処理部に出力するステップであることを特徴とする。

さらに、本発明の信号処理方法の一実施態様において、前記入力切り替えステップは、記録用画像の画像フレームの１つの水平ラインデータ中に、ライブビュー画像フレームを挟み込んだ出力データを生成して信号処理部に出力するステップであることを特徴とする。

さらに、本発明の信号処理方法の一実施態様において、前記入力切り替えステップは、記録用画像の画像フレームの１つの水平ラインデータ中に、ライブビュー画像フレームを構成する１以上の水平ラインデータを挟み込んだ出力データを生成して信号処理部に出力するステップであることを特徴とする。

さらに、本発明の信号処理方法の一実施態様において、前記入力切り替えステップは、前記記録用画像の出力チャネル数以下のチャネル数で前記ライブビュー画像を前記信号処理部に出力するステップであることを特徴とする。

さらに、本発明の第３の側面は、
撮像装置のイメージセンサの出力に対する信号処理を実行させるコンピュータ・プログラムであり、
メインイメージセンサに、記録用画像を取得させるメインイメージ取得ステップと、
サブイメージセンサに、ライブビュー画像を取得させるサブイメージ取得ステップと、
入力切り替え部に、前記メインイメージセンサおよびサブイメージセンサを含む複数のセンサ出力を入力させ、入力した複数センサ出力を時分割で切り替えて信号処理部に出力させる入力切り替えステップと、
信号処理部に、前記メインイメージセンサと前記サブイメージセンサを含む複数のセンサ出力の時分割切り替え信号を前記入力切り替え部から入力させ、入力信号に対する信号処理を実行させる信号処理ステップとを有し、
前記入力切り替えステップは、
記録用画像の画像フレームの水平ブランキング区間、または水平ラインデータ内にライブビュー画像の構成データを挟み込んだ出力データを生成して信号処理部に出力させるステップであることを特徴とするコンピュータ・プログラムにある。

なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本発明の一実施例の構成によれば、記録用画像を取得するメインイメージセンサと、ライブビュー画像を取得するサブイメージセンサを含む複数のセンサ出力を時分割で切り替えて信号処理部に出力する入力切り替え部を設定し、入力切り替え部において、記録用画像の画像フレームの水平ブランキング区間、または水平ラインデータ内にライブビュー画像の構成データを挟み込んだ出力データを生成して信号処理部に出力する構成とした。本構成により単一の信号入力部を有する汎用的な信号処理部を利用して複数のセンサ出力に対する信号処理を行うことが可能となり、またサブイメージセンサのライブビュー画像のモニタ表示の遅れや消失を低減することが可能となる。

以下、図面を参照しながら本発明の実施形態に係る撮像装置、および信号処理方法、並びにコンピュータ・プログラムの詳細について説明する。なお、説明は、以下の項目に従って行う。
（１）撮像装置の構成例について
（２）本発明の基本構成について
（３）本発明の具体的な実施例の構成および処理例
（４）各画像対応の独立バッファを設定した構成例
（５）画像の転送区切り情報であるスロットを利用した構成例

［（１）撮像装置の構成例について］
まず、本発明の適用可能なカメラの一構成例について、図４、図５を参照して説明する。図４は、本発明の適用可能なカメラの一構成例である一眼レフカメラの内部構成を示す図であり、図５は、そのハードウェア構成を示す図である。

なお、図４、図５に示すメインイメージセンサ３５が、記録用の画像信号を出力するイメージセンサであり、サブイメージセンサ２３が、モニタ４０に対するライブビュー表示用の画像信号を出力するイメージセンサである。これらは例えばＣＭＯＳ、ＣＣＤなどによって構成され、これら２つのセンサからの出力は、単一の信号処理チップ、すなわち、図５に示す信号処理部（ＩＣチップ）７７に入力されて信号処理が実行される。なおセンサと信号処理部間のデータ転送および信号処理構成については後段で詳細に説明する。

図４に示すデジタル一眼レフカメラ（以下、カメラと略記する）は、図示されない交換レンズと、カメラ本体部としてのカメラボディ１０から主に構成されており、カメラボディ１０の前面部に設けられたボディマウント４５に、所望の交換レンズが着脱自在に装着される。

図示されない交換レンズより入射された被写体光束は、その一部がハーフミラーで構成されたメインミラー１１の表面で反射され、さらにスクリーン１２を介してプリズム１３に入射する。プリズム１３に入射された被写体光束は、プリズム１３内の反射面とミラーＡ（以下、ミラー（Ａ）と記す）１５で反射され、複数のレンズで構成されるリレー系レンズ１６を介して、更にミラーＢ（以下、ミラー（Ｂ）と記す）１７及びミラーＣ（以下、ミラー（Ｃ）と記す）１８で反射され、複数のレンズで構成された接眼系レンズ（ルーペ光学系）２０を通って、図示されない撮影者の眼により観察される。なお、上記プリズム１３、ミラー（Ａ）１５、リレー系レンズ１６、ミラー（Ｂ）１７及びミラー（Ｃ）１８は、リレー光学系を構成している。これらリレー光学系は、スクリーン１２上に結像された被写体像を、ミラー（Ｃ）１８と接眼系レンズ２０の間に再結像させるためのものである。

上記ミラー（Ｂ）１７はハーフミラーで構成されているもので、その入射光の一部はミラー（Ｂ）１７を透過し、該ミラー（Ｂ）１７の後方に配置された再結合光学系の再結像系レンズ２２を介してサブイメージセンサ２３に導かれる。このサブイメージセンサ２３は、後述する第１の撮像素子であるメインイメージセンサ３５に対して第２の撮像素子を構成しているもので、スルー画としてほぼリアルタイムの動画像をモニタ４０に表示するための画像信号を生成するイメージセンサである。すなわちライブビュー画像（ＬＶ画像）を生成するためのイメージセンサである。

メインミラー１１を透過した被写体光束は、メインミラー１１の裏面側に取り付けられたサブミラー３０によって反射されて自動測距を行うためのＡＦユニット３１に導かれる。また、上記メインミラー１１は、軸１１ａを中心に回動可能に設けられている。被写体観察時は図示される実線位置に配置され、前述したライブビュー画像（ＬＶ画像）を生成するためのイメージセンサであるサブイメージセンサ２３側に光路が設定される。

撮影の開始時は、軸１１ａを回動中心に上方に移動して、図示される点線位置（退避位置）に移動（ＵＰ）し、撮影が終了すると、軸１１ａを回動中心に下方に移動して、図示される実線位置に移動（ＤＯＷＮ）する。すなわち、このＵＰ〜ＤＯＷＮ期間は、ライブビュー画像（ＬＶ画像）を生成するためのイメージセンサであるサブイメージセンサ２３側に対する光路が遮断される。なお、サブミラー３０は、メインミラー１１が退避位置に移動される際に折りたたまれて、メインミラー１１と共に退避位置に移動される。

撮影光軸上でメインミラー１１の後方には、フォーカルプレーンシャッタ３３、ローパスフィルタ３４、及びイメージャプレート３６に装着された第１の撮像素子としてのメインイメージセンサ３５が配設されている。また、イメージャプレート３６の後方には、種々の電気部品が装填された基板３８が配置されている。更に、この基板３８の後方には、液晶ディスプレイ等で構成された表示手段としてのモニタ４０が配置されている。撮影者は、カメラボディ１０の背面側に設けられたモニタ窓４１を通して、モニタ４０の画面に表示された画像を視認することができる。

このモニタ４０には、前述したように、ライブビュー画像（ＬＶ画像）を生成するためのイメージセンサであるサブイメージセンサ２３によって取得されるイメージが表示される。

図５は、本実施形態に於けるデジタル一眼レフカメラの電気系の構成を示すブロック図である。なお、このカメラのブロック図は、図４参照して説明したボディマウント４５に交換レンズ８０が装着された状態を示している。

図５において、制御部５０は、このカメラ全体の制御を司ると共に演算を行うための制御手段であり、例えばＣＰＵ等により構成される。この制御部５０には、モータ駆動回路５１を介してシャッタミラー駆動モータ５２が接続されると共に、シャッタ制御回路５３を介してフォーカルプレーンシャッタ３３が接続されている。また、上記制御部５０には、ＡＦユニット３１内に設けられた測距センサ５５と、被写体の明るさを測定する測光センサ５６と、シャッタチャージが行われたときに切り替わるチャージカムスイッチ（ＳＷ）５７と、フォーカルプレーンシャッタ３３の先幕（図示せず）に取り付けられシャッタの開口部の全開状態を検出するための先幕スイッチ（ＳＷ）５８と、メインイメージセンサ３５を駆動するためのメインイメージセンサ駆動回路６０と、サブイメージセンサ２３を駆動するためのサブイメージセンサ駆動回路６１と、モニタ４０を駆動するためのモニタ駆動回路６２と、ファインダ内表示用ＬＣＤ２６を駆動するためのＬＣＤ駆動回路６３とが接続されている。

さらに、制御部５０には、メインイメージセンサ３５とサブイメージセンサ２３の出力信号の処理を実行する信号処理部（ＩＣチップ）７７、信号処理部７７に対してメインイメージセンサ３５とサブイメージセンサ２３の出力信号の入力を切り替える入力切り替え部７５が接続されている。

さらに、制御部５０には、操作釦６５と、操作ダイヤル６６と、レリーズスイッチ（ＳＷ）６７と、記録メディア６９と、メモリ７０と、画像データメモリ７１とが接続されている。操作釦６５は、図示されないがメニュー釦、十字キー、ＯＫ釦等から成るもので、このカメラに種々の操作を行わせるためのものである。操作ダイヤル６６は、撮影時の撮影モードを設定するための操作部材である。

レリーズスイッチ６７は、撮影準備動作及び露光動作を実行させるための釦である。このレリーズスイッチ６７は、第１レリーズスイッチと第２レリーズスイッチの２段式のスイッチで構成されており、図示されないレリーズ釦が半押し操作されることによって、第１レリーズスイッチがオンされて測光処理や測距処理などの撮影準備動作が実行される。また、上記レリーズ釦が全押し操作されることによって、第２レリーズスイッチがオンされて露光動作が実行される。

記録メディア６９は、図示されないカメラのインターフェースを介してカメラボディ１０に対し脱着可能な各種のメモリカードや外付けのハードディスクドライブ（ＨＤＤ）等の記録媒体である。メモリ７０は、デジタルカメラ全体の制御を行うための制御プログラムが予め記憶されているものである。また、画像データメモリ７１は、画像データを一時的に保管するためのメモリである。

一方、交換レンズ８０には、交換レンズ８０内の各部を駆動制御するＣＰＵ等で構成された制御部８１を有している。この制御部８１には、モータ駆動回路８２を介してフォーカスモータ８３と、絞り駆動回路８４を介して絞りモータ８５と、フォーカスパルスカウンタ８７と、ズームエンコーダ８８と、メモリ９０とが接続されている。

上記フォーカスモータ８３は、上記カメラボディ１０内の測距センサ５５の測距結果に基づいて、この交換レンズ８０内の図示されないフォーカスレンズを駆動するためのモータである。同様に、絞りモータ８５は、上記カメラボディ１０内の測光センサ５６の測光結果に基づいて、この交換レンズ８０内の図示されない絞りを駆動するためのモータである。フォーカスパルスカウンタ８７は、上記フォーカスレンズを駆動させるにあたり、該フォーカスレンズの移動を検出して位置制御を行うためのものである。また、ズームエンコーダ８８は、図示されない撮影レンズの焦点距離に応じた移動信号を検出して制御部８１に出力する。更に、メモリ９０は、この交換レンズ８０内のレンズ情報が記憶されている。

なお、制御部８１は、図示されない通信コネクタ等を介して、カメラボディ１０内の制御部５０と電気的に接続がなされる。そして、制御部８１は、カメラボディ１０の制御部５０の指令に従って制御される。

図４、図５に示すメインイメージセンサ３５が、記録用の画像信号を出力するイメージセンサであり、サブイメージセンサ２３が、モニタ４０に対するライブビュー表示用の画像信号を出力するイメージセンサである。

メインイメージセンサ３５と、サブイメージセンサ２３の出力は、図５に示すように入力切り替え部７５に入力された後、信号処理部（ＩＣチップ）７７に入力される構成となっている。信号処理部７７は、各センサの出力を入力して各種の信号処理、例えばホワイトバランス調整、ゲイン制御、γ補正、色補正などの様々な信号処理を実行する。この信号処理部７７には、例えばｓｕｂＬＶＤＳ（Ｓｕｂ−Ｌｏｗ Ｖｏｌｔａｇｅ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｓｉｇｎａｌ）伝送方式に基づく信号が入力される。

信号処理部（ＩＣチップ）７７は、信号の入力部を１つ備えた汎用的な信号処理用ＩＣチップである。以下、メインイメージセンサ３５、サブイメージセンサ２３各センサと入力切り替え部７５、信号処理部７７の接続構成とデータ転送、信号処理構成について、本発明に従った実施例を説明する。

［（２）本発明の基本構成について］
まず、基本実施例の構成について、図６を参照して説明する。図６には複数のイメージセンサ１０１−１〜Ｎと、入力切り替え部１０２と、信号処理部（ＩＣチップ）１０３を示している。複数のイメージセンサ１０１−１〜Ｎの少なくとも１つが、撮影画像の記録処理に適用するイメージを取得するセンサであり、図４，図５に示すメインイメージセンサ３５に対応する。また、少なくとも１つがモニタに対してライブビューイメージを表示するためのイメージを取得するセンサであり、図４，図５に示すサブイメージセンサ２３に対応する。図６では一般化して示すためにＮ（Ｎ≧２）として示してある。

本構成において、信号処理部（ＩＣチップ）１０３は、信号の入力部を１つ備えた汎用的な信号処理用ＩＣチップであり、入力する信号に対して、様々な信号処理、例えばホワイトバランス調整、ゲイン制御、γ補正、色補正などの様々な信号処理を実行する。入力切り替え部１０２と、信号処理部（ＩＣチップ）１０３との間の信号伝送は、例えば高速データ転送を実現するｓｕｂＬＶＤＳ（Ｓｕｂ−Ｌｏｗ Ｖｏｌｔａｇｅ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｓｉｇｎａｌ）伝送方式に従って実行される。例えばチャネル数を８とする。

入力切り替え部１０２は例えばＩＣチップによって構成され、複数のイメージセンサ１０１−１〜Ｎからの信号を入力する複数の入力部と、信号処理部（ＩＣチップ）１０３に対して選択信号を出力する１つの出力部を備えている。なお、複数のイメージセンサ１０１−１〜Ｎと、入力切り替え部１０２間の信号伝送は、上述の入力切り替え部１０２と、信号処理部（ＩＣチップ）１０３との間の信号伝送と同様、高速データ転送を実現するｓｕｂＬＶＤＳ（Ｓｕｂ−Ｌｏｗ Ｖｏｌｔａｇｅ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｓｉｇｎａｌ）伝送方式に従って実行される。なお、ｓｕｂＬＶＤＳは伝送方式の一例であり、この他の信号伝送方式を利用する構成としてもよい。

本実施例において、信号処理部（ＩＣチップ）１０３は、例えば入力切り替え部１０２から８ｃｈのｓｕｂＬＶＤＳ方式に従ったデータ入力を受けることになり、汎用的なＩＣチップをそのまま利用することができる。

本実施例では、複数（Ｎ）入力−１出力の入力切り替え部１０２を、複数のイメージセンサ１０１−１〜Ｎと、信号処理部（ＩＣチップ）１０３との間に設定するという簡易な構成で汎用的な信号処理部（ＩＣチップ）１０３を利用可能となる。入力切り替え部１０２は信号処理部１０３のように複雑な処理を実行する必要がない回路によって構成され、比較的安価なチップとして製造可能であり、全体コストを増加させることなく、複数のイメージセンサの出力を単一の信号処理部（ＩＣチップ）１０３によって処理する構成が実現される。なお、入力切り替え部１０２は、単純な入出力切り替え機能だけでなく、各イメージセンサ出力に対する信号処理等の回路を実装する構成としてもよい。

［（３）本発明の具体的な実施例の構成および処理例］
次に、上述の基本実施例を具体化した実施例における動作例を図７〜図９を参照して説明する。図７に示すように、メインイメージセンサ２１１、サブイメージセンサ２１２が入力切り替え部２１５に対して、それぞれ取得データを出力する。入力切り替え部２１５の出力信号制御部２１６は、これら２つのセンサ入力の一方を選択して信号処理部２２１に出力する。

図７に示すメインイメージセンサ２１１は、記録画像用のイメージ出力を行うセンサであり、図４、図５において説明したメインイメージセンサ３５に対応するセンサである。サブイメージセンサ２１２は、モニタに表示するライブビュー画像用のイメージ出力を行うセンサであり、図４、図５において説明したサブイメージセンサ２３に対応するセンサである。

図７に示す構成例では、入力切り替え部２１５の出力信号制御部２１６は、サブイメージセンサ２１２から入力するライブビュー画像と、メインイメージセンサ２１１から入力する記録用画像ともに入力されたデータをフレーム毎に切り替えて信号処理部２２１に出力する。メインイメージセンサ２１１からの入力がない場合は、サブイメージセンサ２１２から入力するライブビュー画像を信号処理部２２１に出力し、メインイメージセンサ２１１からの入力が発生した場合は、サブイメージセンサ２１２から入力するライブビュー画像の出力を停止して、記録用信号であるメインイメージセンサ２１１からの入力を信号処理部２２１に優先的に出力する。

前述のように入力切り替え部１０２から信号処理部（ＩＣチップ）１０３への信号伝送は、例えば高速データ転送を実現するｓｕｂＬＶＤＳ（Ｓｕｂ−Ｌｏｗ Ｖｏｌｔａｇｅ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｓｉｇｎａｌ）伝送方式に従って実行され、この伝送路は、８ｃｈの伝送ラインを利用して行われるが、画像サイズは、メイン画像≧ライブビュー画像である。

本発明の一実施例に従った伝送処理においては、図８に示すように、メイン画像の伝送に使用するｓｕｂＬＶＤＳのチャネル数は８チャネル、ライブビュー画像の伝送に使用するｓｕｂＬＶＤＳのチャネル数は１チャネルとする。このようにライブビュー画像の伝送に使用するチャネル数を制御することで消費電力を低減することができる。例えばサブイメージセンサの出力は、メインイメージセンサの出力チャネル数以下のチャネル数で実行する。

図９に信号の入出力タイミングを説明するタイミングチャートを示す。図９には、以下の各信号の入出力および動作タイミングを左から右に時系列で示している。
（ａ）サブイメージセンサ出力（ライブビュー画像）
（ｂ）メインミラーの動作（図４のメインミラー１１）
（ｃ）メインイメージセンサ出力（記録画像）
（ｄ）入力切り替え部出力
（ｅ）モニタ出力（ライブビュー表示）

（ａ）サブイメージセンサ出力（ライブビュー画像）は撮影処理に応じて変更される。例えば連写を行う場合、２００ｍｓ間隔、すなわち５フレーム／秒でフレーム画像を入力切り替え部に出力する。図９に示す例は、６０フレーム／秒で、サブイメージセンサの出力（ライブビュー画像）が入力切り替え部に入力される場合の処理例を示している。例えばサブイメージセンサの出力フレーム３０１ａは、入力切り替え部に入力され、（ｄ）入力切り替え部の出力３０１ｂとして信号処理部に入力され、所定の信号処理が実行された後、（ｅ）モニタに示す出力フレーム３０１ｃとしてライブビュー表示が行われる。

しかし、撮影処理が実行されると、（ｂ）メインミラーは、撮影タイミングの開始時点にアップ（ｕｐ）動作を開始し、図４に示すメインミラー１１の点線位置に移動を開始する。これにより図４に示すようにサブイメージセンサ２３に対する光路が絶たれることになり、撮影が終了してミラーが復帰（ｄｏｗｎ）するまで、サブイメージセンサは露光されないことになる。すなわち、図９に示すタイミングチャートの［ｔ１］〜［ｔ５］の期間は露光できない。

メインミラーが完全にＵＰした後、時間［ｔ２］において、メインイメージセンサ（図４の例ではメインイメージセンサ３５）の露光が実行される。その後、時間［ｔ３］において、メインイメージセンサからのデータ出力が開始し、入力切り替え部に対して記録用のメイン画像が転送される。

入力切り替え部はメモリを持たないので、入力切り替え部は入力データを即座に信号処理部に出力する。図９に示す時間［ｔ４］に出力を開始する。その後、時間［ｔ５］までの間、入力切り替え部から信号処理部に対して、記録用画像であるメインイメージセンサの取得したイメージデータが出力される。

この期間［ｔ４］〜［ｔ５］は、入力切り替え部から信号処理部に対するデータ転送路は記録用画像であるメイン画像によって占有されることになる。従って、この期間中のサブイメージセンサから入力切り替え部に対する入力は、信号処理部に出力されず、この期間の画像についてのライブビュー表示は途絶えることになる。

結果として、（ｂ）メインミラーのアップ（ＵＰ）開始時点［ｔ１］から、入力切り替え部から信号処理部に対するメイン画像の出力が終了する時点［ｔ５］までのライブビュー画像は、モニタに表示されないことになる。この期間は図９（ｅ）モニタに示すライブビュー画像消失期間である。

このライブビュー画像消失期間の前半は、ミラーの動作によってサブイメージセンサの露光が行われていない部分であるが、後半部分は、サブイメージセンサの露光が行われているにもかかわらず、入力切り替え部から信号処理部に対する出力がメイン画像によって占有されていることに起因する画像消失部分となる。すなわち図９（ａ）に示すデータ部３０２ａ、（ｅ）に示す３０２ｃである。

このように、複数のイメージセンサの出力を入力して、信号処理部に対して１つのセンサ出力を選択出力する入力切り替え部を設けた場合、各センサ出力をフレーム単位で時分割して選択出力すると、出力の停止された側の出力停止期間が長期化することで、例えば、上述のようにライブビュー画像の消失期間が長くなるという問題がある。すなわちサブイメージセンサの露光が行われているにもかかわらず、入力切り替え部から信号処理部に対する出力がメイン画像によって占有されているためにサブイメージセンサの取得画像が表示できなくなるという問題がある。

図１０以下を参照してこの問題を解決する複数のデータ転送例、すなわち入力切り替え部と信号処理部間のデータ転送形態を工夫することで、サブイメージセンサの取得画像の消失を低減して、より多くのライブビュー画像をモニタ表示することを可能とした複数のデータ転送例について説明する。
以下、（ａ）〜（ｄ）の４つの処理例について順次説明する。
（ａ）記録用のメイン画像の水平ブランキング区間に、ライブビュー画像のラインデータまたはフレームデータを挿入して送信する処理例（ライブビュー画像は１ｃｈ送信）
（ｂ）記録用のメイン画像の水平ブランキング区間に、ライブビュー画像のラインデータまたはフレームデータを挿入して送信する処理例（ライブビュー画像は８ｃｈ送信）
（ｃ）記録用のメイン画像の１ラインデータ送信期間内に、ライブビュー画像のフレームデータを挿入して送信する処理例
（ｄ）記録用のメイン画像の１ラインデータ送信期間内に、ライブビュー画像のラインデータを挿入して送信する処理例

なお、以下において説明する（ａ）〜（ｄ）の処理例は、例えば図７に示す構成における入力切り替え部２１５と、信号処理部（ＩＣチップ）２２１間の信号伝送処理例であり、この信号伝送は、高速データ転送を実現するｓｕｂＬＶＤＳ（Ｓｕｂ−Ｌｏｗ Ｖｏｌｔａｇｅ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｓｉｇｎａｌ）伝送方式に従って実行され、メイン画像の伝送チャネル数を８とした例である。

（ａ）記録用のメイン画像の水平ブランキング区間に、ライブビュー画像のラインデータまたはフレームデータを挿入して送信する処理例（ライブビュー画像は１ｃｈ送信）
まず、図１０を参照して、記録用のメイン画像の水平ブランキング区間に、ライブビュー画像のラインデータまたはフレームデータを挿入して送信する処理例について説明する。

図１０（ａ）には、例えば図７に示す構成における入力切り替え部２１５と、信号処理部（ＩＣチップ）２２１間の信号伝送処理例として、メイン画像の送信期間においても、ライブビュー画像を可能な限り途切れなく送信する場合の理想的なデータ伝送例を示している。時間［Ｔ０］〜［Ｔ１］は、記録画像としてのメイン画像は転送されず、ライブビュー画像が問題なく転送できる。なおこの期間［Ｔ０］〜［Ｔ１］において、ライブビュー画像は、８ｃｈのｓｕｂＬＶＤＳ中、１ｃｈのみを利用して転送される。なお、チャネル数を削減することで、消費電力を低減できる。

その後、時間［Ｔ１］〜［Ｔ２］の間は記録用画像であるメイン画像が、入力切り替え部と、信号処理部（ＩＣチップ）間において、ｓｕｂＬＶＤＳに従ったデータ経路の８ｃｈすべてを占有して転送される。この［Ｔ１］〜［Ｔ２］間は、ライブビュー画像は転送できない状態となる。その後、時間［Ｔ２］にメイン画像の転送が終了すると、入力切り替え部と、信号処理部（ＩＣチップ）間の信号伝送路が開放され、ライブビュー画像の転送が可能となる。

本実施例では、メイン画像の転送期間においても、ライブビュー画像を間欠的に送信する。具体的には、記録用のメイン画像の水平ブランキング区間に、ライブビュー画像のラインデータを挿入して送信する。

図１０（ｂ）に示すように、時間［Ｔ１］以降のメイン画像の転送期間において、メイン画像の１フレームを構成するラインデータ間に設定される水平ブランキング区間を利用して、ライブビュー画像のフレームデータを構成する１つ以上のラインデータを送信する。水平ブランキング区間にはデータ転送を実行しないブランク領域が設定されており、この期間を利用してライブビュー画像のフレームデータを構成する１つ以上のラインデータを送信する。なお、本処理例では、メイン画像は、ｓｕｂＬＶＤＳの８ｃｈを利用して送信するが、メイン画像の水平ブランキング区間において送信するライブビュー画像はｓｕｂＬＶＤＳの１ｃｈのみを利用する。

図１１を参照して、入力切り替え部と、信号処理部（ＩＣチップ）間の画像信号の伝送フォーマット例について説明する。このフォーマットは、メイン画像、ライブビュー画像ともに共通のフォーマットである。図１１（ａ）に示すように、水平方向の１ライン分の撮像信号は、水平ブランキング、同期コード（開始）、データ、同期コード（終了）、水平ブランキングの順に並んでいる。水平ブランキングは、有効なデータの含まれない期間を示すコードである。本処理例では、このメイン画像の水平ブランキング区間に、ライブビュー画像フレームを構成するラインデータを送信する。同期コードは、１ライン分のデータの開始および終了を示すコードである。

図１１（ｂ）に示すように、水平ブランキング、同期コードおよびデータは、それぞれｎビットを単位として配置される。同期コードは、データ開始部分の４つのｎビットのコード（ＳＡＶ（Ｓｔａｒｔ ｏｆ Ａｃｔｉｖｅ Ｖｉｄｅｏ）１乃至ＳＡＶ４）と、データ終了部分に４つのｎビットのコード（ＥＡＶ（Ｅｎｄ ｏｆ Ａｃｔｉｖｅ Ｖｉｄｅｏ）１乃至ＥＡＶ４）によって構成される。

図１２は、同期コードのフォーマット例を示す図である。ここでは、同期コードとしてＩＴＵ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ）による規格（ＢＴ．６５６、ＢＴ．６０１）に準じたコードを利用するものとし、ビット長ｎが１２ビットの場合について説明する。なお、図１２には、開始同期コード（ＳＡＶ）を示しているが、終了同期コードも同様の構成を持つ。ただし、それぞれの設定ビットによって開始用の同期コードであるか終了用の同期コードであるかが区別可能な設定となっている。

同期コードは、４つの１２ビットコードからなる。第１番目のコードは１２ビットの全てが「１」を示す。第２番目および第３番目のコードは１２ビットの全てが「０」を示す。そして、第４番目のコードには、図１２に示すように、Ｖ、Ｈ、Ｐ３、Ｐ２、Ｐ１、Ｐ０の各信号が含まれる。
ビットＶは、垂直方向のタイミングを示すビットであり、「０」であれば垂直ブランキング以外の有効映像領域と示し、「１」であれば垂直ブランキング期間を示す。
ビットＨは、水平方向のタイミングを示すビットであり、「０」であればデータ開始の同期コードであることを示し、「１」であればデータ終了の同期コードであることを示す。
ビットＰ０乃至Ｐ３はプロテクションビットであり、ビットＶ、Ｈの各値に対応するＣＲＣ（Ｃｙｃｌｉｃ Ｒｅｄｕｎｄａｎｃｙ Ｃｈｅｃｋ）コードを保持する。

図１２に示すように、第４番目のコードには、この他、ビットデータ領域３５１，３５２などが含まれるが、これらのビットデータ領域３５１，３５２は特に用途が限定されないビット領域である。

本処理例では、このような不使用ビット領域を、画像種別を示すビット領域として設定する。すなわち、画像識別ビットの設定領域とする。例えば、ビットデータ領域３５１の１ビットを用いて、
記録用のメイン画像の構成ラインデータ＝［１］
ライブビュー用のサブ画像の構成ラインデータ＝［０］
このような画像識別ビットを設定した同期コードを含むデータを図７に示す入力切り替え部２１５から信号処理部２２１に対して出力する。

信号処理部２２１は、このビットデータ領域３５１の１ビット（画像識別ビット）を取得して、記録用のメイン画像の構成ラインデータであるか、ライブビュー用のサブ画像の構成ラインデータであるかを識別する。識別結果に基づいて各ラインデータをそれぞれの画像の構成ラインとして設定することで、それぞれの画像フレームを確実に再現することができる。なおこの画像識別ビットデータの設定は、例えば図７に示す入力切り替え部２１５の出力信号制御部において実行する。

信号処理部２２１は、ランダムに入力されるラインデータの同期コード中の画像識別ビット）を取得して、記録用のメイン画像の構成ラインデータであるか、ライブビュー用のサブ画像の構成ラインデータであるかを識別し、識別結果に基づいて処理内容の変更や、処理結果の出力先や格納先の変更などを実行し、記録用画像（メイン画像）、ライブビュー画像（サブ画像）を個別に生成する。

なお、図１２に示すように、第４番目のコードには、ビットデータ領域３５１，３５２など複数の未使用ビットが含まれており、上記の１ビットのみを利用するのではなく、例えば２ビットを用いて、
［００］＝センサ１、
［０１］＝センサ２、
［１０］＝センサ３、
［１１］＝センサ４、
上記のように２以上の複数のセンサからの画像フレームの構成ラインを識別可能な設定とすることが可能である。

本処理例では、図１０（ｂ）に示すように、メイン画像の転送期間において、メイン画像の１フレームを構成するラインデータ間に設定される水平ブランキング区間を利用して、ライブビュー画像のフレームデータを構成する１つ以上のラインデータを送信する構成としたので、メイン画像の転送期間中も、間欠的にライブビュー画像を信号処理部に出力することが可能となり、より多くのライブビュー画像をモニタに表示させることが可能となり、ライブビュー画像の消失期間を低減させることが可能となる。

（ｂ）記録用のメイン画像の水平ブランキング区間に、ライブビュー画像のラインデータまたはフレームデータを挿入して送信する処理例（ライブビュー画像を８ｃｈ送信）
次に、図１３を参照して、図１０を参照して説明したと同様、記録用のメイン画像の水平ブランキング区間に、ライブビュー画像のラインデータまたはフレームデータを挿入して送信する処理例において、ライブビュー画像を８ｃｈのｓｕｂＬＶＤＳ中の８ｃｈを利用して転送する処理例について説明する。

先に図１０を参照して説明した処理例では、記録用のメイン画像の水平ブランキング区間に、ライブビュー画像のラインデータを挿入して送信する場合、メイン画像は８ｃｈ全てを利用して送信を行っていたが、ライブビュー画像は１ｃｈのみを利用して送信していた。本処理例では、図１３（ｂ）に示すように、時間［Ｔ１］以降のメイン画像の転送期間において、メイン画像の水平ブランキング区間を利用して、ライブビュー画像の１つ以上のラインデータを、メイン画像送信と同様、ｓｕｂＬＶＤＳの８ｃｈを利用して送信する。８ｃｈを利用して送信することで、メイン画像の１つの水平ブランキング区間に送信可能なライブビュー画像のラインデータが増加することになる。

この処理により、短時間で、ライブビュー画像の１フレーム画像データを送信することが可能となり、モニタ表示するライブビュー画像の消失や遅れを解消または低減することが可能となる。

図１３（ｂ）に示すように、時間［Ｔ０］〜［Ｔ１］は、記録画像としてのメイン画像は転送されず、ライブビュー画像が問題なく転送できる。なおこの期間［Ｔ０］〜［Ｔ１］において、ライブビュー画像は、８ｃｈのｓｕｂＬＶＤＳ中、１ｃｈのみを利用して転送される。

その後、時間［Ｔ１］〜［Ｔ２］の間は記録用画像であるメイン画像が、入力切り替え部と、信号処理部（ＩＣチップ）間において、ｓｕｂＬＶＤＳに従ったデータ経路の８ｃｈすべてを占有して転送される。本処理例では、この［Ｔ１］〜［Ｔ２］のメイン画像の転送期間において、メイン画像の１フレームを構成するラインデータ間に設定される水平ブランキング区間を利用して、ライブビュー画像のフレームデータを構成する１つ以上のラインデータを、ｓｕｂＬＶＤＳの８ｃｈを利用して送信する。この処理では、ライブビュー画像の１フレームデータを送信するのに利用するメイン画像の水平ブランキング区間数は減少し、より早くライブビュー画像を信号処理部に送信することが可能となる。

なお、本処理例においても、処理例（ａ）と同様、メイン画像、ライブビュー画像の各水平ラインデータ中の同期コード内に、メイン画像の構成ラインであるか、ライブビュー画像の構成ラインであるかを示す画像識別ビット情報を設定する。例えば、先に図１２を参照して説明した同期コード中のビットデータ領域３５１の１ビットを用いて、
記録用のメイン画像の構成ラインデータ＝［１］
ライブビュー用のサブ画像の構成ラインデータ＝［０］
このような設定とした画像識別ビットデータを図７に示す入力切り替え部２１５から信号処理部２２１に対して出力する。

なお、図１０〜図１２を参照して説明した処理例では、ライブビュー画像は１ｃｈ送信として、図１３を参照して説明した処理例では、ライブビュー画像は８ｃｈ送信とした例を説明したが、例えばライブビュー画像を４ｃｈ送信とするなど、ｓｕｂＬＶＤＳにおいて利用可能なチャネル数の範囲で任意に設定可能である。

（ｃ）記録用のメイン画像の１ラインデータ送信期間内に、ライブビュー画像のフレームデータを挿入して送信する処理例
次に、図１４を参照して、記録用のメイン画像の１ラインデータ送信期間内に、ライブビュー画像のフレームデータを挿入して送信する処理例について説明する。先に図１０〜図１３を参照して説明した処理例では、メイン画像の個々の水平ラインデータの間に発生する水平ブランキング区間にライブビュー画像のラインデータを挿入する構成としていた。以下、説明する例は、メイン画像の水平ラインの画像信号データの途中にライブビュー画像フレームを挟み込んで送信する例である。

図１３に示す時間［Ｔ０］〜［Ｔ１］は、入力切り替え部と、信号処理部（ＩＣチップ）間において、記録画像としてのメイン画像は転送されず、ライブビュー画像が転送される。なおこの期間［Ｔ０］〜［Ｔ１］において、ライブビュー画像は、８ｃｈのｓｕｂＬＶＤＳ中、１ｃｈのみを利用して転送される。

その後、時間［Ｔ１］〜［Ｔ２］の間は記録用画像であるメイン画像が、入力切り替え部と、信号処理部（ＩＣチップ）間において、ｓｕｂＬＶＤＳに従ったデータ経路の８ｃｈすべてを占有して転送される。本処理例では、この［Ｔ１］〜［Ｔ２］のメイン画像の転送期間において、メイン画像の１フレームを構成する１つの水平ラインデータの転送期間内に、ライブビュー画像のフレームデータを挟み込んで送信する。

例えば、メイン画像の１つの水平ラインデータ４０１内に、１つのライブビュー画像フレームデータ４１１を挟み込んで送信する。メイン画像の１つの水平ラインデータ４０１はデータａ，データｂに分割され、その間に１つのライブビュー画像フレームデータ４１１が挟み込まれて送信される。このライブビュー画像フレームは、メイン画像と同様、ｓｕｂＬＶＤＳの８ｃｈを利用して送信する。次のライブビュー画像のフレームデータ４１２も異なるメイン画像のラインデータ４０２内に挟み込んで送信する。

具体的なデータ転送位置について図１５を参照して説明する。図１５は、先に図１１を参照して説明した転送データの１つの水平ラインのデータフォーマットを示す図である。１ライン分の撮像信号は、水平ブランキング、同期コード（開始）、データ、同期コード（終了）、水平ブランキングの順に並んでいる。図１５に示す水平ラインのデータフォーマットをメイン画像の１つのラインデータであるとする。

本処理例では、例えば図１５に示すように、ライブビュー画像フレームデータ４１１をメイン画像のデータ部内に挿入する。入力切り替え部の出力信号制御部において、メイン画像のラインデータ内に、ライブビュー画像の１つのフレームデータを挿入して信号処理部に対して出力する。

なお、このような処理を入力切り替え部において実行するためには、画像のフレームデータを一時的に記憶するメモリが必要である。すなわち、図１６に示すように、入力切り替え部２１５は、センサからの入力を一時的に記録するメモリ２２２を有し、メモリに記録されたデータを読み出して、図１４、図１５を参照して説明したような出力データを生成して、信号処理部２２１に出力する。メモリ２２２は高速記録読み出し可能な例えばＤＤＲメモリである。

なお、本処理例においても、処理例（ａ），（ｂ）と同様、メイン画像、ライブビュー画像の各水平ラインデータ中の同期コード内に、メイン画像の構成ラインであるか、ライブビュー画像の構成ラインであるかを示す画像識別ビット情報を設定する。例えば、先に図１２を参照して説明した同期コード中のビットデータ領域３５１の１ビットを用いて、
記録用のメイン画像の構成ラインデータ＝［１］
ライブビュー用のサブ画像の構成ラインデータ＝［０］
このような設定とした画像識別ビットデータを図１６に示す入力切り替え部２１５から信号処理部２２１に対して出力する。

本処理例（ｃ）では、先に説明した（ａ），（ｂ）の処理例のごとくメイン画像の水平ブランキング区間のみを利用する構成ではなく、水平ラインデータ内にライブビュー画像のフレームデータを埋め込んで送信するので、メイン画像の送信中であっても任意のタイミングでライブビュー画像を送信することが可能となり、ライブビュー画像のモニタ表示の消失や遅れの発生を低減または解消することが可能となる。

（ｄ）記録用のメイン画像の１ラインデータ送信期間内に、ライブビュー画像のラインデータを挿入して送信する処理例
次に、図１７を参照して、記録用のメイン画像の１ラインデータ送信期間内に、ライブビュー画像の水平ラインデータを間欠的に挿入して送信する処理例について説明する。先に図１４を参照して説明した処理例（ｃ）では、メイン画像の１ラインデータ送信期間内に、ライブビュー画像の１つのフレームデータをまとめて挿入して送信する処理例を説明したが、本処理例（ｄ）は、フレームデータを挿入するのではなく、ライブビュー画像フレームを構成する水平ラインデータを間欠的に記録用のメイン画像の１ラインデータ送信期間内に挿入して送信する。

図１７に示す時間［Ｔ０］〜［Ｔ１］は、入力切り替え部と、信号処理部（ＩＣチップ）間において、記録画像としてのメイン画像は転送されず、ライブビュー画像が転送される。なおこの期間［Ｔ０］〜［Ｔ１］において、ライブビュー画像は、８ｃｈのｓｕｂＬＶＤＳ中、１ｃｈのみを利用して転送される。

その後、時間［Ｔ１］〜［Ｔ２］の間は記録用画像であるメイン画像が、入力切り替え部と、信号処理部（ＩＣチップ）間において、ｓｕｂＬＶＤＳに従ったデータ経路の８ｃｈすべてを占有して転送される。本処理例では、この［Ｔ１］〜［Ｔ２］のメイン画像の転送期間において、メイン画像の１フレームを構成する１つの水平ラインデータの転送期間内に、ライブビュー画像のフレームデータを構成する水平ラインデータを間欠的に挟み込んで送信する。

なお、このような処理を入力切り替え部において実行するためには、画像のフレームデータを一時的に記憶するメモリが必要となるが、先の処理例（ｃ）のように１フレームデータを格納するメモリ容量は不要であり、１つのラインデータを格納する容量があればよい。すなわち、図１６に示す構成において、メモリ２２２の容量は小さくすることができる。図１６に示す入力切り替え部２１５は、メモリに記録された画像データを読み出して、図１７を参照して説明したような出力データを生成して、信号処理部２２１に出力する。

なお、本処理例においても、処理例（ａ），（ｂ），（ｃ）と同様、メイン画像、ライブビュー画像の各水平ラインデータ中の同期コード内に、メイン画像の構成ラインであるか、ライブビュー画像の構成ラインであるかを示す画像識別ビット情報を設定する。例えば、先に図１２を参照して説明した同期コード中のビットデータ領域３５１の１ビットを用いて、
記録用のメイン画像の構成ラインデータ＝［１］
ライブビュー用のサブ画像の構成ラインデータ＝［０］
このような設定とした画像識別ビットデータを図１６に示す入力切り替え部２１５から信号処理部２２１に対して出力する。

本処理例（ｄ）では、先に説明した（ａ），（ｂ）の処理例のごとくメイン画像の水平ブランキング区間のみを利用する構成ではなく、水平ラインデータ内にライブビュー画像のフレームデータを埋め込んで送信するので、メイン画像の送信中であっても任意のタイミングでライブビュー画像を送信することが可能となり、ライブビュー画像のモニタ表示の消失や遅れの発生を低減または解消することが可能となる。また、上述したように先の処理例（ｃ）のように１フレームデータを格納するメモリ容量は不要であり、１つのラインデータを格納する容量があればよい。

なお、上記実施例（ａ）〜（ｄ）において、使用するｓｕｂＬＶＤＳのチャネル数は、１チャネル、８チャネルとしているが、これに限らず何チャネルでも実現可能である。例えば、システムによってライブビュー画像および記録用画像伝送時にｓｕｂＬＶＤＳを何チャネル使うかを予め決めておけば、受信側で同期コードをデコードすることで、使用チャネル数を判別することが可能であり、その後の処理に反映することができる。

［（４）各画像対応の独立バッファを設定した構成例］
上述したように、入力切り替え部は複数のセンサ出力を入力して、これらを信号処理部に出力する。具体的には、例えば、メインイメージセンサの取得した記録用画像とサブイメージセンサの取得したライブビュー画像を信号処理部に出力する。信号処理部ではこれらの画像を区別して信号処理を行うことになる。具体的には、記録用画像についてはメディアに対する記録処理のための記録信号の生成を行い、ライブビュー画像についてはＬＣＤなどによって構成されるモニタなどに表示する表示用信号を生成する。

一般的な信号処理部の構成について図１８を参照して説明する。図１８には、記録用画像を取得するメインイメージセンサ５０１、ライブビュー（ＬＶ）画像を取得するサブイメージセンサ５０２と、これらのセンサの取得信号を入力する入力切り替え部５１０、入力切り替え部５１０からセンサ取得情報を入力して信号処理を行う信号処理部５２０、信号処理部５２０の処理結果である記録用画像を格納する記憶部（ＤＲＡＭ）５３１、信号処理部５２０の処理結果であるライブビュー画像を表示する表示部（ＬＣＤ）５３２を示している。

入力切り替え部５１０は、複数のイメージセンサ５０１，５０２からの信号を入力する複数の入力部と、信号処理部（ＩＣチップ）５２０に対して選択信号を出力する１つの出力部を備えている。なお、入力切り替え部５１０と信号処理部５２０との間の画像信号の転送は、上述した説明に従った伝送方式によって行われるものとする。例えば高速データ転送を実現するｓｕｂＬＶＤＳ（Ｓｕｂ−Ｌｏｗ Ｖｏｌｔａｇｅ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｓｉｇｎａｌ）伝送方式に従って実行される。

図１８に示す例では、入力切り替え部５１０は信号処理部５２０に対して記録用画像とライブビュー画像を出力する。信号処理部５２０は、入力切り替え部５１０が出力する記録用画像とライブビュー画像を受信して信号処理を行う。

信号処理部５２０は、図１８に示すように、入力切り替え部５１０が出力する記録用画像とライブビュー画像を受信する受信部５２１、受信部５２１の受信したデータを、一時的に格納するバッファ５２２、バッファ５２２から順次データを取り出して信号処理を行う出力信号生成部５２３、これらの各処理部における処理タイミングなどの制御処理を行う制御部５２７を有する。

出力信号生成部５２３では、記録用画像とライブビュー画像を区別して、各画像に対応した信号処理を実行する。処理結果としての記録用画像はインターフェース（ＩＦ）５２５を介して記録用画像を一時的に格納する記憶部（ＤＲＡＭ）５３１に出力される。また、処理結果としてのライブビュー画像はバス５２４、インターフェース（ＩＦ）５２６を介して表示部（ＬＣＤ）５３２に出力される。

信号処理部５２０では、まず受信部５２１において、入力切り替え部５１０が出力する信号を受信する。受信データは、制御部５２７の制御の下、バッファ５２２に格納され、出力信号生成部５２３とのクロックやデータの速度の調整を行う。出力信号生成部５２３では各種の信号処理が行われる。すなわち、記録用画像についてはメディアに対する記録処理のための記録信号の生成を行い、ライブビュー画像についてはＬＣＤなどによって構成されるモニタなどに表示する表示用信号を生成する。

出力信号生成部５２３の出力はバス５２４およびインターフェース（ＩＦ）５２５，５２６経由で記憶部（ＤＲＡＭ）５３１、あるいは表示部（ＬＣＤ）５３２へ出力される。すなわち、記録用画像についてはインターフェース（ＩＦ）５２５経由で記憶部（ＤＲＡＭ）５３１へ出力され記録処理が行われる。ライブビュー画像についてはンターフェース（ＩＦ）５２６経由で表示部（ＬＣＤ）５３２に出力される。

図１８に示す信号処理部５２０は、１つのバッファ５２２に入力切り替え部５１０から入力する記録用画像とライブビュー画像を書き込み、出力信号生成部５２３がバッファ５２２からそれぞれの画像信号を読み出して処理を行う構成となっている。

このような構成におけるバッファ５２２に対するデータ書き込み（ｗｒｉｔｅ）とデータ読み取り（ｒｅａｄ）のシーケンス例について図１９を参照して説明する。

図１９には、図１８に示す信号処理部５２０の構成を用いた２つの処理例を示している。すなわち、以下の２つの処理例である。
（１）処理例１：記録用画像の読み出し（ｒｅａｄ）処理と、ライブビュー画像の読み出し（ｒｅａｄ）処理の競合が発生し、処理の破綻が発生する処理例
（２）処理例２：記録用画像の読み出し（ｒｅａｄ）処理と、ライブビュー画像の読み出し（ｒｅａｄ）処理の競合を防止して処理の破綻を回避した処理例

各処理例について説明する。
（１）処理例１
図１９上段に示す処理例１は、記録用画像の読み出し（ｒｅａｄ）処理と、ライブビュー画像の読み出し（ｒｅａｄ）処理の競合が発生し、処理の破綻が発生する処理例である。図には、以下の３つの処理についての処理シーケンスを示している。
（１ａ）入力切り替え部から信号処理部に対する信号入力シーケンス
（１ｂ）バッファＡ面におけるデータ書き込み（ｗｒｉｔｅ）と読み取り（ｒｅａｄ）シーケンス
（１ｃ）バッファＢ面におけるデータ書き込み（ｗｒｉｔｅ）と読み取り（ｒｅａｄ）シーケンス

なお、入力切り替え部５１０から信号処理部５２０に対する信号入力シーケンスは、記録用画像の水平ライン５４１と次の記録用画像の水平ライン５４２の転送の間にライブビュー画像の水平ラインが４本転送される処理例としている。

また、バッファ５２２はＡ面、Ｂ面の２面を持つ。異なる面に対するデータ書き込み（ｗｒｉｔｅ）と読み出し（ｒｅａｄ）は並列処理が可能である。ただし、異なる面に対する並列のデータ書き込み（ｗｒｉｔｅ）や並列のデータ読み出し（ｒｅａｄ）はできない設定である。

図１９（１）に示す処理例１のシーケンスについて説明する。まず、入力切り替え部から信号処理部に転送された記録用画像の水平ライン５４１をバッファ５２２のＡ面に書き込む。時間ｔ１ａ〜ｔ１ｃ間の処理である。このバッファ書き込みデータの読み出し処理は、出力信号生成部５２３の処理タイミングを調整して開始する。出力信号生成部５２３は、時間ｔ１ｂからバッファ５２２のＡ面に書き込まれた記録用画像を読み出して記録用画像に対する信号処理を開始する。

その後、時間ｔ１ｄにおいて、入力切り替え部５１０から信号処理部５２０に転送されたライブビュー（ＬＶ）画像の水平ライン５５１をバッファ５２２のＢ面に書き込む。出力信号生成部５２３は時間ｔ１ｅにおいて、このライブビュー（ＬＶ）画像の水平ライン５５１をバッファ５２２のＢ面から読み出そうとする。

しかし、時間ｔ１ｅにおいて、記録用画像の水平ライン５４１の読出しが完了していない。記録用画像の水平ライン５４１の読出しが完了するのは時間ｔ１ｆである。このように、時間ｔ１ｅ〜ｔ１ｆの期間［Ｔ２］は記録用画像とライブビュー画像の読み出し（ｒｅａｄ）が競合してしまう。先に説明したように、Ａ面とＢ面の並列読み出し（ｒｅａｄ）は実行できないので、処理例１はライブビュー画像の水平ライン５５１の読出しが待たされ破綻する。

（２）処理例２
このような破綻が発生しないようタイミングの調整を行った処理例が図１９の下段に示す（２）処理例２である。
処理例（２）も処理例（１）と同様、入力切り替え部５１０から信号処理部５２０に対する信号入力シーケンスは、記録用画像の水平ライン５６１と次の記録用画像の水平ライン５６２の転送の間にライブビュー画像の水平ラインが４本転送される処理例である。

処理例（２）においても、まず、転送された記録用画像の水平ライン５６１をバッファ５２２のＡ面に書き込む。時間ｔ２ａ〜ｔ２ｃ間の処理である。読み出し処理の開始は、出力信号生成部５２３の処理タイミングを調整して行う。時間ｔ２ｂからバッファ５２２のＡ面に書き込まれた記録用画像が読み出されて出力信号生成部５２３において記録用画像に対する信号処理が開始される。

その後、時間ｔ２ｄにおいて、入力切り替え部５１０から信号処理部５２０に転送されたライブビュー（ＬＶ）画像の水平ライン５５１をバッファ５２２のＢ面に書き込む。時間ｔ２ｅにおいて、このライブビュー（ＬＶ）画像の水平ライン５５１をバッファ５２２のＢ面から読み出す。

本処理例２では、記録用画像の水平ライン５６１の転送終了（ｔ２ｃ）からライブビュー画像の水平ライン５７１転送開始（ｔ２ｄ）までの間が、処理例１より長い時間に設定してある。すなわち、Ｔ３＞Ｔ１の期間［Ｔ３］を設定している。

この処理例２における、期間［Ｔ３］、すなわち、記録用画像の水平ライン５６１の転送終了（ｔ２ｃ）からライブビュー画像の水平ライン５７１転送開始（ｔ２ｄ）までの間の時間は、記録用画像５６１のバッファＡ面からの読み出し（ｒｅａｄ）とライブビュー画像５７１のバッファＢ面からの読み出し（ｒｅａｄ）が競合しないような時間として調整される。

このような転送タイミングの設定により、処理例１のような読み出し（ｒｅａｄ）処理の競合が防止され、処理の破綻が発生しない。しかし、処理例２では、次の記録用画像ライン５６２の書き込み終了時間（ｔ２ｇ）が処理例１における次の記録用画像ライン５４２の書き込み終了時間（ｔ１ｇ）より遅れてしまう。すなわち、時間ｔ１ｇ〜ｔ２ｇの期間［Ｔ４］の遅延が発生することになる。この遅延は、記録用画像の１つの水平ラインごとに発生してしまい。全体としての遅延は無視できないものになる。

このように、入力切り替え部５１０から信号処理部５２０に対して２種類以上の画像を多重化して転送を行う構成では、処理破綻や処理遅延が発生する可能性がある。結果として、先に説明した転送シーケンスを適用してライブビュー画像を効率よく転送してモニタ表示の遅れや消失を防止する設定としても、図１８に示すようなバッファ設定を持つ信号処理部での処理に問題が発生する場合がある。

このような問題を解決する信号処理部の構成および処理例について図２０以下を参照して説明する。図２０は、本発明の一実施例に係る信号処理部６２０の構成を示す図である。

図２０には、先に説明した図１８と同様、記録用画像を取得するメインイメージセンサ６０１、ライブビュー（ＬＶ）画像を取得するサブイメージセンサ６０２と、これらのセンサの取得信号を入力する入力切り替え部６１０、入力切り替え部６１０からセンサ取得情報を入力して信号処理を行う信号処理部６２０、信号処理部６２０の処理結果であるライブビュー画像を表示する表示部（ＬＣＤ）６３２、信号処理部６２０の処理結果である記録用画像を一時的に格納する記憶部（ＤＲＡＭ）６３１を示している。

入力切り替え部６１０は、複数のイメージセンサ６０１，６０２からの信号を入力する複数の入力部と、信号処理部（ＩＣチップ）６２０に対して選択信号を出力する１つの出力部を備えている。なお、入力切り替え部６１０と信号処理部６２０との間の画像信号の転送は、上述した説明に従った伝送方式によって行われるものとする。例えば高速データ転送を実現するｓｕｂＬＶＤＳ（Ｓｕｂ−Ｌｏｗ Ｖｏｌｔａｇｅ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｓｉｇｎａｌ）伝送方式に従って実行される。

図２０に示す例では、入力切り替え部６１０は信号処理部６２０に対して記録用画像とライブビュー画像を出力する。信号処理部６２０は、入力切り替え部６１０が出力する記録用画像とライブビュー画像を受信して信号処理を行う。

信号処理部６２０は、図２０に示すように、入力切り替え部６１０が出力する記録用画像とライブビュー画像を受信する受信部６２１、受信部６２１の受信したデータを、一時的に格納する２つのバッファである第１バッファ６２２、第２バッファ６２３、第１バッファ６２２から順次データを取り出して信号処理を行う第１出力信号生成部６２４、第２バッファ６２３から順次データを取り出して信号処理を行う第２出力信号生成部６２５、これらの各処理部における処理タイミングなどの制御処理を行う制御部６２９を有する。

２つのバッファである第１バッファ６２２、第２バッファ６２３は、それぞれ格納対象とする画像が記録用画像、またはライブビュー画像のいずれか一方の画像として設定された特定画像専用のバッファである。

例えば、第１バッファ６２２が記録用画像を格納するバッファであり、第２バッファ６２３がライブビュー画像を格納するバッファである。受信部６２１は、各画像をそれぞれ区別して、各バッファ６２２，６２３にそれぞれ格納する。各バッファの後段の出力信号生成部も各画像専用の処理部として構成される。すなわち、第１バッファ６２２の後段にある第１出力信号生成部６２４は記録用画像に対する処理を行う。第２バッファ６２３の後段にある第２出力信号生成部６２５はライブビュー画像に対する処理を行う。

第１バッファ６２２の後段にある第１出力信号生成部６２４において生成された記録用画像はバス６２６、インターフェース（ＩＦ）６２７経由で記憶部（ＤＲＡＭ）６３１へ出力され記録処理が行われる。
第２バッファ６２３の後段にある第２出力信号生成部６２５において生成されたライブビュー画像はバス６２６、インターフェース（ＩＦ）６２８経由で表示部（ＬＣＤ）６３２に出力される。

このように、本発明の一実施例に係る信号処理部は、記録用画像専用の第１バッファ６２２と、第１出力信号生成部６２４、さらにライブビュー画像専用の第２バッファ６２３と、第２出力信号生成で６２５を有する。

すなわち、バッファは記録用画像用の第１バッファ６２２と、ライブビュー画像用の第２バッファ６２３の２系統を有する。各系統の第１バッファ６２２、第２バッファ６２３はそれぞれ独立に処理が可能である。すなわち並列書き込みや並列読取りが可能となる。なお、各系統の第１バッファ６２２、第２バッファ６２３の各々は先に説明した例と同様、Ａ面、Ｂ面を持つ。すなわち同一バッファのＡＢ面で書き込み（ｗｒｉｔｅ）処理と読み取り（ｒｅａｄ）処理は並列に実行できる。

バッファ容量は画像サイズの違いから、記録用画像用バッファである第１バッファ６２２の容量を、ライブビュー画像用バッファである第２バッファ６２３より大きくする設定とすることが好ましい。なお、各バッファのＡ面、Ｂ面の各面は各画像の水平ライン分の画素数が格納できるものとする。

このような構成における各バッファ６２２，６２３に対するデータ書き込み（ｗｒｉｔｅ）とデータ読み取り（ｒｅａｄ）のシーケンス例について図２１を参照して説明する。

図２１には、以下の３つの処理についての処理シーケンスを示している。
（ａ）入力切り替え部から信号処理部に対する信号入力シーケンス
（ｂ）記録用画像用バッファ（第１バッファ６２２）におけるデータ書き込み（ｗｒｉｔｅ）と読み取り（ｒｅａｄ）シーケンス
（ｃ）ライブビュー画像用バッファ（第２バッファ６２３）におけるデータ書き込み（ｗｒｉｔｅ）と読み取り（ｒｅａｄ）シーケンス

なお、入力切り替え部６１０から信号処理部６２０に対する信号入力シーケンスは、記録用画像の水平ライン６４１と次の記録用画像の水平ライン６４２の転送の間にライブビュー画像の水平ラインが４本転送される処理例としている。これは、先に図１９を参照して説明したと同様の転送処理である。

また、各バッファ６２２，６２３はＡ面、Ｂ面の２面を持つ。異なる面に対するデータ書き込み（ｗｒｉｔｅ）と読み出し（ｒｅａｄ）は並列処理が可能である。ただし、異なる面に対する並列のデータ書き込み（ｗｒｉｔｅ）や並列のデータ読み出し（ｒｅａｄ）はできない設定である。

図２１に示す処理例において、まず、時間ｔａから入力切り替え部６１０から信号処理部６２０に対して転送された記録用画像の水平ライン６４１を記録用画像用バッファ（第１バッファ６２２）に書き込む。書き込みは時間ｔｃに完了する。読み出し処理の開始は、第１出力信号生成部６２４の処理タイミングを調整して行う。時間ｔｂから記録用画像用バッファ（第１バッファ６２２）に書き込まれた記録用画像が読み出されて第１出力信号生成部６２４において記録用画像に対する信号処理が開始される。

その後、時間ｔｄにおいて、入力切り替え部６１０から信号処理部６２０に転送されたライブビュー（ＬＶ）画像の水平ライン６５１をライブビュー画像用バッファ（第２バッファ６２３）のバッファＡ面に書き込む。

記録用画像の水平ライン６４１の記録用画像用バッファ（第１バッファ６２２）に対する書き込み完了時間ｔｃから、ライブビュー（ＬＶ）画像の水平ライン６５１のライブビュー画像用バッファ（第２バッファ６２３）に対する書き込み開始時間ｔｄまでの期間Ｔ１は、先に説明した図１９の（１）処理例１における時間Ｔ１と同じ期間である。

次に、時間ｔｅにおいて、第２出力信号生成部６２５がライブビュー（ＬＶ）画像の水平ライン６５１をライブビュー画像用バッファ（第２バッファ６２３）のバッファＡ面から読み出す。

本例においても先に説明した図１９の（１）処理例１と同様、時間ｔｅにおいて、記録用画像の水平ライン６４１の読出しが完了していない。しかし、本処理例では、記録用画像用バッファ（第１バッファ６２２）と、ライブビュー画像用バッファ（第２バッファ６２３）は独立に処理が可能な構成である。すなわち、並列にデータ読み出し、書き込みが可能な設定となっている。従って、記録用画像の水平ライン６４１の読出しが完了していない時間ｔｅから即座に、ライブビュー画像用バッファ（第２バッファ６２３）からのライブビュー（ＬＶ）画像水平ライン６５１を読み出すことができる。

ライブビュー画像用バッファ（第２バッファ６２３）から読み出されたデータは、第２出力信号生成部６２５に入力され、第２出力信号生成部６２５においてライブビュー画像に対する信号処理が開始される。

その後は、ライブビュー画像用バッファ（第２バッファ６２３）を用いて、順次ライブビュー画像のラインデータの書き込み、読み出し処理がＡ面、Ｂ面交互に行われる。本処理例では、入力切り替え部６１０から信号処理部６２０に対するデータ入力速度に遅れを発生させることなく、入力速度に追随した処理が実行され表示部（ＬＣＤ）６３２にライブビュー画像の表示が行われる。

信号処理部に対して次の記録用画像ライン６４２が入力され、記録用画像用バッファ（第１バッファ６２２）に対する書き込み（ｗｒｉｔｅ）処理が完了する時間ｔｇは、図１９の（１）処理例１の記録用画像５４２のバッファに対する書き込み処理完了時間ｔ１ｇと同様の時間である。すなわち、本例では、処理の破綻や遅延を発生させることなく記録用画像のバッファ書き込みや読み取り処理も実行可能となる。

このように、本実施例における信号処理部は、例えば記録用画像を取得するメインイメージセンサのセンサ出力を格納する第１バッファと、ライブビュー画像を取得するサブイメージセンサのセンサ出力を格納する第２バッファを有する。さらに、第１バッファからの読み出し信号に基づいて記録用画像を生成する第１出力信号生成部と、第２バッファからの読み出し信号に基づいてライブビュー画像の生成を行う第２出力信号生成部を有する。このような構成において、第１出力信号生成部による第１バッファからのデータ読み出し処理と、第２出力信号生成部による第２バッファからのデータ読み出し処理とを並列に実行することで、バッファ読み出しの待機が不要となり処理を迅速に実行できる。

なお、Ａ面、Ｂ面が入れ替わっても動作は同じである。また、記録用画像、ライブビュー画像で使用する面の組合せが異なっても動作は同じである。
記録用画像用バッファ（第１バッファ６２２）は、図２１に示す転送タイミングの場合、Ａ面、Ｂ面の２面が必要でなく、１面だけのバッファ構成とすることも可能である。

本実施例のように、各画像専用のバッファを設けることで、ライブビュー画像の転送遅延や、表示停止などの発生を減少させることができる。すなわち、転送不可となるラインデータやフレームの存在による単位時間あたりのＬＣＤ表示コマ数の減少を防ぐ事ができる。

なお、本実施例では、図２０に示すように、信号処理部は、各画像に対応する２系統の回路を持つ事になるが、ライブビュー画像は記録用画像に比べ画像サイズがかなり小さいため、ライブビュー画像用回路の規模は記録用画像用回路の規模に比べ相当小さくすることが可能である。すなわちバッファと信号処理回路の回路規模は２倍とはならない。なお、回路規模は画像サイズや演算処理およびディレイラインの構成等により決定されるが、概ね、画像サイズと回路規模は比例する。

［（５）画像の転送区切り情報であるスロットを利用した構成例］
これまで説明してきたように、本発明の撮像装置は、入力切り替え部から信号処理部に対して、複数のセンサによって取得された画像が多重化されて転送される。すなわち記録用画像とライブビュー画像などの複数の異なる画像が多重化されて転送されることになる。

信号処理部では、これらの複数の異なる画像に対する処理を誤りなく行うことが必要となる。以下では、信号処理部から入力切り替え部に対して、画像の出力タイミングを規定する信号を出力して、入力切り替え部が、この入力信号に従って画像の転送を行うことで、信号処理部側において受信するデータの識別を行う構成例について説明する。

本実施例に係る実施例の構成について図２２を参照して説明する。図２２には複数のイメージセンサ７０１−１〜Ｎと、入力切り替え部７０２と、信号処理部（ＩＣチップ）７０３を示している。複数のイメージセンサ７０１−１〜Ｎの少なくとも１つが、撮影画像の記録処理に適用するイメージである記録用画像を取得するセンサである。また、少なくとも１つがモニタに対してライブビューイメージを表示するためのイメージ、すなわちライブビユー画像を取得するセンサである。図２２では一般化して示すためにＮ（Ｎ≧２）として示してある。

本構成において、信号処理部（ＩＣチップ）７０３は、信号の入力部を１つ備えた汎用的な信号処理用ＩＣチップであり、入力する信号に対して、様々な信号処理、例えばホワイトバランス調整、ゲイン制御、γ補正、色補正などの様々な信号処理を実行する。入力切り替え部７０２と、信号処理部（ＩＣチップ）７０３との間の信号伝送は、例えば高速データ転送を実現するｓｕｂＬＶＤＳ（Ｓｕｂ−Ｌｏｗ Ｖｏｌｔａｇｅ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｓｉｇｎａｌ）伝送方式に従って実行される。

本実施例において、入力切り替え部７０２から信号処理部７０３に対するデータ転送タイミングは、信号処理部７０３から入力切り替え部７０２に入力される同期信号およびスロットパルスによって制御される。

図２２に示すように、入力切り替え部７０２と信号処理部７０３間には、入力切り替え部７０２から信号処理部７０３に対して画像を転送する画像転送チャネル７２０の他、信号処理部７０３から入力切り替え部７０２に入力する３つの信号ライン７５１〜７５３が設定される。すなわち、
垂直（Ｖ）同期信号供給ライン
水平（Ｈ）同期信号供給ライン
スロットパルス供給ライン７５３
これらの信号供給ラインである。

このように、本実施例では、入力切り替え部７０２から信号処理部７０３に対する画像信号の転送処理に際して、３種類の同期信号、すなわちＶ同期信号、Ｈ同期信号、スロットパルスを用いて同期を取る。なお、図２２に示す例では、これらの３種類の同期信号を信号処理部７０３が生成して入力切り替え部７０２に供給する設定として示してあるが、入力切り替え部７０２がこれらの同期信号を生成して信号処理部７０３に入力する構成としてもよい。あるいはこれらとは異なる外部の同期信号生成部が、入力切り替え部７０２と、信号処理部７０３にＶ同期信号、Ｈ同期信号、スロットパルスを生成して供給する構成としてもよい。すなわち、入力切り替え部７０２と信号処理部７０３とが同一の同期信号に基づいてタイミング制御を行う構成であればよい。

これらの３つの同期信号を用いた入力切り替え部７０２から信号処理部７０３に対する画像転送シーケンスについて、図２３、図２４を参照して説明する。
図２３は、記録用画像の転送がなくライブビュー画像の転送のみが発生する場合、
図２４は、記録用画像とライブビュー画像の転送を併せて行う場合、
これらの２つの場合の転送シーケンスを示している。

まず、図２３を参照して入力切り替え部７０２から信号処理部７０３に対して記録用画像の転送がなくライブビュー画像の転送のみが発生する場合のシーケンスについて説明する。図２３には、
（ａ）垂直（Ｖ）同期信号、
（ｂ）水平（Ｈ）同期信号、
（ｃ）スロットパルス信号、
（ｄ）転送画像データ
これらのタイミングチャートを示している。図の左から右に時間（ｔ）が経過する。

（ａ）垂直（Ｖ）同期信号、（ｂ）水平（Ｈ）同期信号は、ライブビュー画像の垂直同期信号と水平同期信号に対応する。（ｃ）スロットパルス信号は、（ｂ）水平（Ｈ）同期信号内に複数設定される。図２３に示す例では、１つの水平（Ｈ）同期信号区間を４等分（第１スロット〜第４スロット）するように、スロットパルス信号が設定される。

本処理例では、第１スロットにおいて、ライブビュー画像の１水平ラインの画像信号が転送される。本処理例では、図２２に示す画像転送チャネル７２０は、８ｃｈ−ｓｕｂＬＶＤＳによって構成され、８ｃｈ（０ｃｈ〜７ｃｈ）のすべてを利用してライブビュー画像の１水平ラインの画像信号が転送される。なお、図２３に示すように、第１スロットの期間の全チャネルに相当するデータ量が必要とならない場合は、後半部分には画像信号が含まれない部分が発生する。図には［余り］として示している。

この図２３に示す例では、（ｂ）水平（Ｈ）同期信号の同期パルスの発生直後の第１スロットを利用してライブビュー画像の１水平ラインに相当する画像信号が転送される。図２３に示すように、ライブビュー画像の１ライン目が、図に示す（ｂ）水平（Ｈ）同期信号の最初の同期パルスの直後の第１スロットにおいて転送され、ライブビュー画像の２ライン目が、図に示す（ｂ）水平（Ｈ）同期信号の２番目の同期パルスの直後の第１スロットにおいて転送され、ライブビュー画像の３ライン目が、図に示す（ｂ）水平（Ｈ）同期信号の３番目の同期パルスの直後の第１スロットにおいて転送される。その後も、第１スロットにおいて、後続のライブビュー画像のライン信号が転送されることになる。

この例では、第２スロット〜第４スロットの期間は、画像転送チャネル７２０を介した画像転送は実行されない。

次に、図２４を参照して入力切り替え部７０２から信号処理部７０３に対して記録用画像とライブビュー画像の転送を併せて行う場合のシーケンスについて説明する。図２４には、図２３と同様、
（ａ）垂直（Ｖ）同期信号、
（ｂ）水平（Ｈ）同期信号、
（ｃ）スロットパルス信号、
（ｄ）転送画像データ
これらのタイミングチャートを示している。図の左から右に時間（ｔ）が経過する。

図２３と同様、（ａ）垂直（Ｖ）同期信号、（ｂ）水平（Ｈ）同期信号は、ライブビュー画像の垂直同期信号と水平同期信号に対応しており、（ｃ）スロットパルス信号は、１つの水平（Ｈ）同期信号区間を４等分（第１スロット〜第４スロット）するように、設定される。

図２４に示す処理例でも、図２３に示す処理例と同様、第１スロットにおいて、ライブビュー画像の１水平ラインの画像信号が転送される。さらに本処理例では、第２スロット〜第４スロットが記録用画像の転送スロットとして利用される。

図２２に示す画像転送チャネル７２０は、８ｃｈ−ｓｕｂＬＶＤＳによって構成され、まず、第１スロットにおいて、８ｃｈ（０ｃｈ〜７ｃｈ）のすべてを利用してライブビュー画像の１水平ラインの画像信号が転送される。次に第２スロット〜第４スロットの間では、８ｃｈ（０ｃｈ〜７ｃｈ）のすべてを利用して記録用画像の水平ラインデータが転送される。なお、図に示す例では、最初の第２スロット〜第４スロットのみでは、記録用画像の水平ラインデータの１ラインの転送が完了していない。

記録用画像の最初のラインのデータは、最初の水平（Ｈ）同期信号の同期パルス以後の第２スロット〜第４スロットと、次の２番目の水平（Ｈ）同期信号の同期パルス後に設定される第２スロットと第３スロットを利用して送信される。これらの送信の後、２番目の水平（Ｈ）同期信号の同期パルス後の第４スロットと、３番目の水平（Ｈ）同期信号の同期パルス後の第２スロット以降を利用して記録用画像の２番目のラインのデータが送信される。

このように、入力切り替え部７０２から信号処理部７０３に対して記録用画像とライブビュー画像の転送を併せて行う場合は、第１スロットは、ライブビュー画像の転送スロットとして利用し、第２スロット〜第４スロットは記録用画像の転送スロットとして利用する設定とする。

図２４に示す例では、ライブビュー画像の水平ラインは１スロットで転送しているのに対し、記録用画像の水平ラインは５スロットで転送を行っている。これは各スロット長が均等として、水平ラインの画素数比が概ね、ライブビュー画像：記録用画像＝１：５程度ということを示す。

なお、信号処理部側では、記録用画像のラインの区切りはＨ同期信号で知ることはできないので、例えば、Ｖ同期信号を基点にスロット数をカウントするといった処理を行ってライン区切りを判別する。

なお、先に、図１１、図１２を参照して説明した水平ライン信号の伝送データのフォーマットに含まれるデータ開始部分の同期コード（ＳＡＶ：Ｓｔａｒｔ ｏｆ Ａｃｔｉｖｅ Ｖｉｄｅｏ）あるいはデータ終了部分の同期コード（ＥＡＶ：Ｅｎｄ ｏｆ Ａｃｔｉｖｅ Ｖｉｄｅｏ）と同様、各スロットの開始部分にＳＡＶと同様の同期コードを設定し、各スロットの終了部分にＥＡＶと同様の同期コードを設定して送信を行なって、これらの同期コードに基づいてライン区切りの判別を行う構成としてもよい。また先に説明した例と同様、入力切り替え部においてＳＡＶまたはＥＡＶにどのセンサからの画像であるかの識別コードを埋め込んで、信号処理部側でこのコードに基づいて画像判別を行う構成としてもよい。

なお、スロットの同期に関してはスロットパルスを用いるが、画像信号の送受双方、すなわち、入力切り替え部７０２と、信号処理部７０３の双方においてスロットのクロック数を規定して、Ｖ同期信号やＨ同期信号を基準にクロック等をカウントして、スロット区間を識別する構成としてもよい。このような設定とした場合は、スロットパルスを用いないで同期をとることが可能である。

図２２〜図２４を参照して説明した構成、すなわち、特定のスロットをライブビュー画像の転送スロットとして設定し、残りを記録用画像の転送スロットとする構成は、定期的に転送が発生し、遅延の許容を好まないライブビュー画像を確実に優先的に転送させることを可能とするというメリットがある。

なお、どのスロットのどのチャンネルをどの画像に割り当てるかはハードウェアで固定的に決めても構わない。また、ユーザ設定によって変更可能とする構成としてもよい。例えば設定の切り替えプログラムを記録したソフトウェアを搭載することでこのようなユーザによる設定切り替え構成を実現できる。

このように本実施例の構成では、入力切り替え部はライブビュー画像の水平同期信号区間をスロットパルスによって区分したスロットをセンサ出力信号の転送期間単位として設定してセンサ出力信号の転送処理を行ない、信号処理部は入力切り替え部からの入力信号の区切りを、前記スロットを単位として識別する。

具体的な処理例としては、入力切り替え部は、ライブビュー画像の水平同期信号区間の先頭スロット、または先頭スロットを含む複数のスロットからなる先行スロットをライブビュー画像の転送スロットとし、ライブビュー画像の転送スロット以外のスロットを記録用画像の転送スロットとして設定したセンサ出力信号転送処理を行ない、信号処理部は入力切り替え部からの入力信号を、前記スロットを単位として識別する。

なお、上述の実施例では１つの水平（Ｈ）同期信号区間に４つのスロットを設定する構成として説明したが、この他の数のスロット数設定としてもよい。また、スロット長は全スロット均等でも良いし、各スロットでスロット長を最適化しても構わない。また、ライブビュー画像や記録用画像の末尾に発生する余り部分の領域を最小にするようにスロット長を設定する構成としてもよい。

以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本発明の一実施例構成によれば、記録用画像を取得するメインイメージセンサと、ライブビュー画像を取得するサブイメージセンサを含む複数のセンサ出力を時分割で切り替えて信号処理部に出力する入力切り替え部を設定し、入力切り替え部において、記録用画像の画像フレームの水平ブランキング区間、または水平ラインデータ内にライブビュー画像の構成データを挟み込んだ出力データを生成して信号処理部に出力する構成とした。本構成により単一の信号入力部を有する汎用的な信号処理部を利用して複数のセンサ出力に対する信号処理を行うことが可能となり、またサブイメージセンサのライブビュー画像のモニタ表示の遅れや消失を低減することが可能となる。

ライブビュー表示機能を有さないカメラにおけるセンサと信号処理部間のデータ転送構成例について説明する図である。 ライブビュー表示機能を有するカメラにおけるセンサと信号処理部間のデータ転送構成例について説明する図である。 ライブビュー表示機能を有するカメラにおけるセンサと信号処理部間のデータ転送構成例について説明する図である。 本発明の適用可能なカメラの一構成例である一眼レフカメラの内部構成の一例について説明する図である。 本発明の適用可能なカメラの一構成例である一眼レフカメラのハードウェア構成の一例について説明する図である。 本発明の一実施例に係るライブビュー表示機能を有するカメラにおけるセンサと信号処理部間のデータ転送構成例について説明する図である。 本発明の一実施例に係るライブビュー表示機能を有するカメラにおけるセンサと信号処理部間のデータ転送構成例について説明する図である。 記録用画像であるメイン画像とライブビュー画像についての信号処理部に対するデータ転送処理例について説明する図である。 図７に示す入力切り替え部がイメージセンサ出力を一時的にバッファリングするメモリを備えていない構成における動作例について説明する図である。 本発明の一実施例に係る撮像装置における入力切り替え部と信号処理部間のデータ転送例について説明する図である。 画像信号の伝送フォーマットの例について説明する図である。 画像信号に設定される同期コードの構成及び画像識別コードの設定例について説明する図である。 本発明の一実施例に係る撮像装置における入力切り替え部と信号処理部間のデータ転送例について説明する図である。 本発明の一実施例に係る撮像装置における入力切り替え部と信号処理部間のデータ転送例について説明する図である。 本発明の一実施例に係る撮像装置における入力切り替え部と信号処理部間のデータ転送例について説明する図である。 本発明の一実施例に係るライブビュー表示機能を有するカメラにおけるセンサと信号処理部間のデータ転送構成例について説明する図である。 本発明の一実施例に係る撮像装置における入力切り替え部と信号処理部間のデータ転送例について説明する図である。 信号処理部の一般的構成例について説明する図である。 図１８に示す信号処理部の処理シーケンスについて説明する図である。 本発明の一実施例に係る信号処理部の構成例について説明する図である。 図２０に示す信号処理部の処理シーケンスについて説明する図である。 本発明の一実施例に係る撮像装置における入力切り替え部と信号処理部間のデータ転送例について説明する図である。 図２２に示す構成における画像転送シーケンスについて説明する図である。 図２２に示す構成における画像転送シーケンスについて説明する図である。

符号の説明

１ イメージセンサ
２ 信号処理チップ
３ イメージセンサ
４ 信号処理チップ
５ イメージセンサ
６ 信号処理チップ
１０ カメラボディ
１１ メインミラー
１２ スクリーン
１３ プリズム
１５ ミラーＡ
１６ リレー系レンズ
１７ ミラーＢ
１８ ミラーＣ
２０ 接眼系レンズ
２２ 再結像系レンズ
２３ サブイメージセンサ
２８ ファインダ
３０ サブミラー
３１ ＡＦユニット
３３ フォーカルプレーンシャッタ
３４ ローパスフィルタ
３５ メインイメージセンサ
３６ イメージャプレート
３８ 基板
４０ モニタ
４１ モニタ窓
４５ ボディマウント
５０ 制御部
５１ モータ駆動回路
５２ シャッタミラー駆動モータ
５３ シャッタ制御回路
５５ 測距センサ
５６ 測光センサ
５７ チャージカムスイッチ（ＳＷ）
５８ 先幕スイッチ（ＳＷ）
６０ イメージャ駆動回路
６１ サブイメージャ駆動回路
６２ モニタ駆動回路
６３ ＬＣＤ駆動回路
６５ 操作釦
６６ 操作ダイヤル
６７ レリーズスイッチ（ＳＷ）
６９ 記録メディア
７０ メモリ
７１ 画像データメモリ
７３ 調光ミラー駆動回路
７５ 入力切り替え部
７７ 信号処理部（ＩＣチップ）
８０ 交換レンズ
８１ 制御部
８２ モータ駆動回路
８３ フォーカスモータ
８４ 絞り駆動回路
８５ 絞りモータ
８７ フォーカスパルスカウンタ
８８ ズームエンコーダ
９０ メモリ
１０１ イメージセンサ
１０２ 入力切り替え部
１０３ 信号処理部
２１１，２１２ イメージセンサ
２１５ 入力切り替え部
２１６ 出力信号制御部
２２１ 信号処理部
２２２ メモリ
５０１ メインイメージセンサ
５０２ サブイメージセンサ
５１０ 入力切り替え部
５２０ 信号処理部
５２１ 受信部
５２２ バッファ
５２３ 出力信号生成部
５２４ バス
５２５，５２６ インターフェース（ＩＦ）
５２７ 制御部
５３１ 記憶部（ＤＲＡＭ）
５３２ 表示部（ＬＣＤ）
６０１ メインイメージセンサ
６０２ サブイメージセンサ
６１０ 入力切り替え部
６２０ 信号処理部
６２１ 受信部
６２２ 第１バッファ
６２３ 第２バッファ
６２４ 第１出力信号生成部
６２５ 第２出力信号生成部
６２６ バス
６２７，６２８ インターフェース（ＩＦ）
６２９ 制御部
６３１ 記憶部（ＤＲＡＭ）
６３２ 表示部（ＬＣＤ）
７０１−１〜Ｎ イメージセンサ
７０２ 入力切り替え部
７０３ 信号処理部

Claims (20)

1. 記録用画像を取得するメインイメージセンサと、
   ライブビュー画像を取得するサブイメージセンサと、
   前記メインイメージセンサおよびサブイメージセンサを含む複数のセンサ出力を入力し、入力した複数センサ出力を時分割で切り替えて信号処理部に出力する入力切り替え部と、
   前記メインイメージセンサと前記サブイメージセンサを含む複数のセンサ出力の時分割切り替え信号を前記入力切り替え部から入力し、入力信号に対する信号処理を実行する信号処理部を有し、
   前記入力切り替え部は、
   記録用画像の画像フレームの水平ブランキング区間、または水平ラインデータ内にライブビュー画像の構成データを挟み込んだ出力データを生成して信号処理部に出力することを特徴とする撮像装置。
2. 前記入力切り替え部は、
   記録用画像フレームを構成する水平ラインデータの同期コード、およびライブビュー画像フレームを構成する水平ラインデータの同期コード中に、記録用画像の構成ラインであるかライブビュー画像の構成ラインであるかを示す画像識別コードを設定して信号処理部に出力することを特徴とする請求項１に記載の撮像装置。
3. 前記入力切り替え部は、
   記録用画像の画像フレームの水平ブランキング区間に、ライブビュー画像フレームを構成する１以上の水平ラインデータを挟み込んだ出力データを生成して信号処理部に出力することを特徴とする請求項１に記載の撮像装置。
4. 前記入力切り替え部は、
   記録用画像の画像フレームの１つの水平ラインデータ中に、ライブビュー画像フレームを挟み込んだ出力データを生成して信号処理部に出力することを特徴とする請求項１に記載の撮像装置。
5. 前記入力切り替え部は、
   記録用画像の画像フレームの１つの水平ラインデータ中に、ライブビュー画像フレームを構成する１以上の水平ラインデータを挟み込んだ出力データを生成して信号処理部に出力することを特徴とする請求項１に記載の撮像装置。
6. 前記入力切り替え部は、
   前記記録用画像の出力チャネル数以下のチャネル数で前記ライブビュー画像を前記信号処理部に出力する構成であることを特徴とする請求項１に記載の撮像装置。
7. 前記入力切り替え部は、
   前記記録用画像およびライブビュー画像を、ｓｕｂＬＶＤＳ（Ｓｕｂ−Ｌｏｗ Ｖｏｌｔａｇｅ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｓｉｇｎａｌ）伝送方式を利用して出力する構成であることを特徴とする請求項６に記載の撮像装置。
8. 前記入力切り替え部は、
   前記メインイメージセンサ出力またはサブイメージセンサ出力の少なくともいずれかをメモリに一時的に記憶し、前記メモリからセンサ出力を読み出して前記信号処理部に対して出力する処理を実行する構成であることを特徴とする請求項１に記載の撮像装置。
9. 前記メモリは高速読み出し可能なメモリであることを特徴とする請求項８に記載の撮像装置。
10. 前記信号処理部は、
    前記メインイメージセンサのセンサ出力を格納する第１バッファと、
    前記サブイメージセンサのセンサ出力を格納する第２バッファと、
    記録用画像またはライブビュー画像の生成を行う出力信号生成部を有し、
    前記出力信号生成部は、
    前記第１バッファからの読み出し信号に基づいて記録用画像を生成し、前記第２バッファからの読み出し信号に基づいてライブビュー画像の生成を行う構成である請求項１に記載の撮像装置。
11. 前記出力信号生成部は、
    前記第１バッファの格納データに対する処理を行う第１出力信号生成部と、
    前記第２バッファの格納データに対する処理を行う第２出力信号生成部を有し、
    前記第１出力信号生成部による前記第１バッファからのデータ読み出し処理と、前記第２出力信号生成部による前記第２バッファからのデータ読み出し処理とを並列に実行する構成である請求項１０に記載の撮像装置。
12. 前記入力切り替え部は、
    前記ライブビュー画像の水平同期信号区間をスロットパルスによって区分したスロットをセンサ出力信号の転送期間単位として設定してセンサ出力信号の転送処理を行なう構成であり、
    前記信号処理部は、
    前記入力切り替え部からの入力信号の区切りを、前記スロットを単位として識別する構成である請求項１に記載の撮像装置。
13. 前記入力切り替え部は、
    前記ライブビュー画像の水平同期信号区間の先頭スロットまたは先行スロットをライブビュー画像の転送スロットとし、ライブビュー画像の転送スロット以外のスロットを記録用画像の転送スロットとして設定したセンサ出力信号転送処理を行ない、
    前記信号処理部は、
    前記入力切り替え部からの入力信号を、前記スロットを単位として識別する構成である請求項１２に記載の撮像装置。
14. 撮像装置のイメージセンサの出力に対する信号処理方法であり、
    メインイメージセンサが、記録用画像を取得するメインイメージ取得ステップと、
    サブイメージセンサが、ライブビュー画像を取得するサブイメージ取得ステップと、
    入力切り替え部が、前記メインイメージセンサおよびサブイメージセンサを含む複数のセンサ出力を入力し、入力した複数センサ出力を時分割で切り替えて信号処理部に出力する入力切り替えステップと、
    信号処理部が、前記メインイメージセンサと前記サブイメージセンサを含む複数のセンサ出力の時分割切り替え信号を前記入力切り替え部から入力し、入力信号に対する信号処理を実行する信号処理ステップとを有し、
    前記入力切り替えステップは、
    記録用画像の画像フレームの水平ブランキング区間、または水平ラインデータ内にライブビュー画像の構成データを挟み込んだ出力データを生成して信号処理部に出力するステップであることを特徴とする信号処理方法。
15. 前記入力切り替えステップは、
    記録用画像フレームを構成する水平ラインデータの同期コード、およびライブビュー画像フレームを構成する水平ラインデータの同期コード中に、記録用画像の構成ラインであるかライブビュー画像の構成ラインであるかを示す画像識別コードを設定して信号処理部に出力するステップであることを特徴とする請求項１４に記載の信号処理方法。
16. 前記入力切り替えステップは、
    記録用画像の画像フレームの水平ブランキング区間に、ライブビュー画像フレームを構成する１以上の水平ラインデータを挟み込んだ出力データを生成して信号処理部に出力するステップであることを特徴とする請求項１４に記載の信号処理方法。
17. 前記入力切り替えステップは、
    記録用画像の画像フレームの１つの水平ラインデータ中に、ライブビュー画像フレームを挟み込んだ出力データを生成して信号処理部に出力するステップであることを特徴とする請求項１４に記載の信号処理方法。
18. 前記入力切り替えステップは、
    記録用画像の画像フレームの１つの水平ラインデータ中に、ライブビュー画像フレームを構成する１以上の水平ラインデータを挟み込んだ出力データを生成して信号処理部に出力するステップであることを特徴とする請求項１４に記載の信号処理方法。
19. 前記入力切り替えステップは、
    前記記録用画像の出力チャネル数以下のチャネル数で前記ライブビュー画像を前記信号処理部に出力するステップであることを特徴とする請求項１４に記載の信号処理方法。
20. 撮像装置のイメージセンサの出力に対する信号処理を実行させるコンピュータ・プログラムであり、
    メインイメージセンサに、記録用画像を取得させるメインイメージ取得ステップと、
    サブイメージセンサに、ライブビュー画像を取得させるサブイメージ取得ステップと、
    入力切り替え部に、前記メインイメージセンサおよびサブイメージセンサを含む複数のセンサ出力を入力させ、入力した複数センサ出力を時分割で切り替えて信号処理部に出力させる入力切り替えステップと、
    信号処理部に、前記メインイメージセンサと前記サブイメージセンサを含む複数のセンサ出力の時分割切り替え信号を前記入力切り替え部から入力させ、入力信号に対する信号処理を実行させる信号処理ステップとを有し、
    前記入力切り替えステップは、
    記録用画像の画像フレームの水平ブランキング区間、または水平ラインデータ内にライブビュー画像の構成データを挟み込んだ出力データを生成して信号処理部に出力させるステップであることを特徴とするコンピュータ・プログラム。