JP2008236799A

JP2008236799A - 撮像装置及びその制御方法

Info

Publication number: JP2008236799A
Application number: JP2008158513A
Authority: JP
Inventors: Masahiko Morita; 正彦森田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2008-06-17
Filing date: 2008-06-17
Publication date: 2008-10-02

Abstract

【課題】電子ズームにより画角を変更しながらＥＶＦ機能を実行したり動画記録を行う場合に、よりスムーズな画像の表示或いは記録を行えるようにすること。
【解決手段】被写体を撮像して画像データを出力する撮像素子と、電子ズーム機能を有する撮像装置の制御方法であって、第１の処理モードと第２の処理モードのいずれかを設定し（Ｓ１００、Ｓ２００）、画角を指示し（Ｓ１０）、前記第１の処理モードが設定された場合に、前記指示された画角に基づいて、前記撮像素子からの画像データの読み出し範囲及び読み出し方法を切り替えて前記撮像素子を駆動制御して画像データを読み出し、処理して、前記指示された画角に変更し（Ｓ１０１）、前記第２の処理モードが設定された場合に、画像データの読み出し範囲及び読み出し方法を固定し、前記撮像素子から出力された画像データを処理して、前記指示された画角に変更する（Ｓ１０２）。
【選択図】図８

Description

本発明は、静止画像や動画像を撮像する撮像装置及びその制御方法に関し、更に詳しくは、電子ズーム機能を有する撮像装置及びその制御方法に関する。

被写体光学像を撮像素子上に結像させ、光電変換により得られた画像データに各種の信号処理を施し、液晶モニタに被写界の映像を映し出すと共に、記録媒体に記録する、デジタルカメラやデジタルビデオカメラを始めとした撮像装置が提案されている。記録される画像データは、撮像素子の有効領域に位置するデータ殆ど全てを利用した静止画画像と、撮像素子の有効領域に位置するデータを画素重心が均一になるように間引いたり、加算平均などを行って得られたデータのみを利用した動画画像などがある。

また、撮像装置の中には、撮影される被写体の画角を設定する手段として、変倍レンズによる光学ズームと、撮像素子から得られる画像データを加工する電子ズームとを有する装置がある。電子ズームの方法には、大きく分けて２種類の方法がある。１つは例えば、特許文献１に記載されているように、撮像素子から読み出す駆動方法を操作する方法であり、もう１つは、例えば、特許文献２及び３に記載されているように、撮像素子から得られた画像を拡大処理する方法である。また、例えば、特許文献１及び３に記載されているように、光学ズームと電子ズームを組み合わせてより広範囲な画角設定を実現させる提案もされている。

更に、特許文献１には、ＸＹアドレス型の走査方法の撮像素子を用いて読み出す範囲を変えることによってより高解像度の電子ズームを広範囲に行うことが開示されている。また、特許文献４では、特定倍率になるまで撮像素子の読み出し領域を固定し、撮像素子から得られる画像データを拡大処理して電子ズームを行い、特定倍率を超えた場合に倍率に応じて読み出し領域を変更し、画質の劣化を軽減させる提案がなされている。

特開２００２−３１４８６８号公報特開平０８−００９２２１号公報特開平０９−０３３７９３号公報特開２００３−１２５２７０号公報

こうした撮像装置に使用される撮像素子の画素数は年々増加しており、近年では、１０００万画素を超えるものまである。こうした高画素化に伴って、得られる静止画像の解像度が向上する一方、読み出しにかかる時間も長くなっている。

一方、画像を所定周期で更新して液晶モニタに映し出す電子ビューファインダ（ＥＶＦ）や、動画記録では、液晶モニタの画素数や動画記録の規格により定められた画素数の画像を所定周期で取得する。撮像素子の画素数が多くなる程、ＥＶＦや動画記録用の画素数の画像を得るためにより多くの画素を間引いたり加算平均する必要が生じ、読み出しに掛かる時間がますます長くなる。

更に、特許文献１のように撮像素子の駆動方法を操作して行う電子ズームの場合、電子ズーム倍率に比例して撮像素子からの画像更新レートが下がってしまう可能性がある。その場合には、撮像素子から得られる画像の更新レートを維持する為に、電子ズーム倍率に比例して駆動周波数を上げなければならなくなる。

更に、画質を上げるために撮像素子からより多くの画素情報を得るためには、駆動周波数を上昇させると共に、撮像素子から出力される画像データを高速に処理する為の信号処理周波数も上げる必要が生じるため、全体的に消費電力も上昇する傾向にある。

また、特許文献１のＸＹアドレス型の走査方法を採る撮像素子を用いた撮像装置においては、以下の問題があった。すなわち、撮像素子の読み出し駆動方法を変更する電子ズームと、撮像素子から得られる画像データを拡大処理する電子ズームとを所定倍率毎に使い分けると、駆動切替を行うときにスムーズな画像の表示ができなかった。

本発明は上記問題点を鑑みてなされたものであり、電子ズームにより画角を変更しながらＥＶＦ機能を実行したり動画記録を行う場合に、よりスムーズな画像の表示或いは記録を行えるようにすることを目的とする。

上記目的を達成するために、電子ズーム機能を有する本発明の撮像装置は、被写体を撮像して、画像データを出力する撮像素子と、第１の処理モードと第２の処理モードのいずれかを設定するモード設定手段と、画角を指示する画角指示手段と、前記モード設定手段により設定された処理モードと、前記画角指示手段により指示された画角とに基づいて、前記撮像素子からの画像データの読み出し範囲及び読み出し方法を切り替えて前記撮像素子を駆動制御することで、画角を変更する第１の画角変更手段と、前記撮像素子から出力された画像データを処理して、前記画角指示手段により指示された画角に変更する第２の画角変更手段とを有し、前記第１の処理モードでは、前記第１及び第２の画角変更手段を用いて画角変更を行い、前記第２の処理モードでは、画像データの読み出し範囲及び読み出し方法を切り替えずに、前記第２の画角変更手段を用いて画角変更を行う。

また、被写体を撮像して画像データを出力する撮像素子と、電子ズーム機能を有する撮像装置の本発明の制御方法は、第１の処理モードと第２の処理モードのいずれかを設定するモード設定工程と、画角を指示する画角指示工程と、前記モード設定工程で前記第１の処理モードが設定された場合に、前記画角指示工程で指示された画角に基づいて、前記撮像素子からの画像データの読み出し範囲及び読み出し方法を切り替えて前記撮像素子を駆動制御して画像データを読み出し、該読み出した画像データを処理して、前記画角指示工程で指示された画角に変更する第１の画角変更工程と、前記モード設定工程で前記第２の処理モードが設定された場合に、画像データの読み出し範囲及び読み出し方法を切り替えずに、前記撮像素子から出力された画像データを処理して、前記画角指示工程で指示された画角に変更する第２の画角変更工程とを有する。

上記構成によれば、電子ズームにより画角を変更しながらＥＶＦ機能を実行したり動画記録を行う場合に、よりスムーズな画像の表示或いは記録を行えるようにすることができる。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。

＜第１の実施形態＞
以下、添付図面を参照して本発明を実施する最良の形態を詳細に説明する。

●撮像システムの構成
図１は、本実施の形態に係る撮像システムの構成を示すブロック図である。同図において、１０は撮像装置である。撮像装置１０において、１１は変倍レンズ、１２は焦点調節レンズ、１３は後段への光束を遮断するメカニカルシャッタ、１４は後段への光束を調節する絞りである。また、１５は撮像素子、１６は撮像素子１５の駆動やサンプリングに必要なタイミングパルスを発生するタイミング発生部であり、システム制御回路２４により制御される。１７は撮像素子１５の出力を、タイミング発生部１６のタイミングパルスに基づいて二重相関サンプリング（ＣＤＳ）を行うＣＤＳ素子、１８はタイミング発生部１６のタイミングパルスに基づいてＣＤＳ出力を量子化するＡ／Ｄ変換器である。

１９は、撮像出力となるＡ／Ｄ変換器１８の出力を受けて各種処理を行う、信号処理回路、縮小回路、ラスタブロック変換回路及び、圧縮回路を含む画像処理部である。信号処理回路では、Ａ／Ｄ変換器１８の出力データに、色キャリア除去、アパーチャー補正、ガンマ補正処理等を行って輝度信号を生成すると同時に、色補間、マトリックス変換、ガンマ処理、ゲイン調整等を施して色差信号を生成する。そして、メモリ部２６にＹＵＶ形式の画像データを出力する。

縮小回路では、信号処理回路の出力を受けて、入力される画素データの切り出し、間引き、及び線形補間処理等を行い、水平垂直共に画素データの縮小処理を施す。それを受けて、ラスタブロック変換回路では、縮小回路で変倍されたラスタスキャン画像データをブロックスキャン画像データに変換する。こうした一連の画像処理には、メモリ部２６がバッファメモリとして用いられて実現される。ブロックスキャン画像データに変換された画像データは、圧縮回路でＪＰＥＧ圧縮によりブロック単位に圧縮される。

２０はメカニカルシャッタ１３、絞り１４を制御する露出制御部、２１は変倍レンズ１１及び焦点調節レンズ１２を光軸上に沿って移動させ、被写界像を撮像素子１５上に結像させるレンズ駆動部である。また、２２は、画角設定を行わせるためのＴ／Ｗスイッチ、２３は撮像装置１０の動作を確定させる為のモードダイヤルである。なお、Ｔ／Ｗスイッチ２２の操作に応じて行われる画角の変更には、変倍レンズを移動して行う光学ズームと、撮像素子１５の駆動方式を変更し、得られた撮像素子１５の出力を画像処理する電子ズームとがある。なお、Ｔ／Ｗスイッチ２２による画角変更指示と、ズームの方法との関係については、詳細に後述する。

上述した各制御は、ＣＰＵとそのインターフェイス回路、ＤＭＡＣ（Direct Memory Access Controller）、バスアービター等で構成されるシステム制御回路２４で行われる。ＣＰＵが実行するプログラムは、フラッシュメモリ２５に記憶されている。

４０は撮像装置１０に電池４２を保持する電池ＢＯＸであり、電源となる電池４２とコネクタ４１とを含む。コネクタ４１が撮像装置１０のコネクタ７０と接続することにより撮像装置１０と電池４２が係合する。

３２は画像を記録する記録媒体、２８及び３１は、撮像装置１０と記録媒体３２とを係合させるコネクタ、３３は記録媒体の書き込み禁止スイッチの状態を検出する記録禁止検知部、２９は記録媒体３２の着脱を検出する記録媒体着脱検出部である。また、２７は、コネクタ２８、３１を介して記録媒体３２に対して書き込み及び読み出しを行うＩ／Ｆ部である。

５０は画像処理部１９で生成され、メモリ部２６に記憶された画像データを表示用画像に変換してモニタに転送する再生回路、５１は例えばＬＣＤ等の表示部である。再生回路５０では、ＹＵＶ形式の画像データを輝度成分信号Ｙと変調色差成分Ｃとに分離し、Ｄ／Ａ変換を行い、アナログ化したＹ信号にＬＰＦを施す。また、Ｄ／Ａ変換を行ったアナログＣ信号にはＢＰＦを施して変調色差成分の周波数成分のみを抽出する。こうして生成した信号成分とサブキャリア周波数に基づいてＹ信号とＲＧＢ信号に変換して、表示部５１に出力させる。なお、撮像素子１５から得られる画像データを逐次処理して表示することによって、電子ビューファインダ（ＥＶＦ）機能が実現される。

●Ｔ／Ｗスイッチ２２の構成
図２はＴ／Ｗスイッチ２２の一例を示す図であり、図２（ａ）はＴ／Ｗスイッチ２２の外観の一例を示し、図２（ｂ）は、Ｔ／Ｗスイッチ２２の操作を検出するための回路構成を示している。図２（ａ）に示す中心の突起２２ａを矢印方向に操作することによって、Ｔｅｌｅ（望遠）側若しくは、Ｗｉｄｅ（広角）側への変倍を指示することができる。Ｔ／Ｗスイッチ２２の操作環は、図２（ｂ）に示すＴ／Ｗスイッチ２２に内蔵された可変抵抗Ｒｖｒに接続され、スイッチ操作に応じて一義的に決定する電圧値をシステム制御回路２４のＡ／Ｄ変換器でデジタル信号に変換する。また、システム制御回路２４内のＣＰＵとプログラムによって、Ｔ／Ｗスイッチ２２の操作に応じて変倍スピードを制御することができる。例えば、１０ｂｉｔの変換器で、中心を５１１ＬＳＢとして、±２５５は低速領域、±２５６以上は高速領域とするなどが考えられる。なお、速度分割は２分割に限定されるものではない。

●撮像素子の構成
図３は、本実施の形態における撮像素子１５の一部を示す回路構成図である。本実施の形態における撮像素子１５はＸＹアドレス型の走査方法を採る。図３においては、説明を分かり易くするために４行×４列分の画素を示しているが、実際には通常、数十万〜数千万の画素が並べられている。１０１は単位画素である。実際の撮像素子は単位画素１０１が所定のアスペクト比で２次元に配置される。また単位画素１０１毎にＲ、Ｇ、Ｂいずれかの色相のカラーフィルタにより覆われており、ここでは、カラーフィルタがベイヤ配列に並べられているものとする。

単位画素１０１において、１０２は入射光を電荷に変換するフォト・ダイオード（以下、ＰＤ）、１０３はＰＤ１０２で発生した電荷を一時的に蓄積しておく蓄積領域となるフローティングデフュージョン部（以下、ＦＤ）である。１０４はＰＤ１０２で発生した電荷を転送パルスφＴＸによってＦＤ１０３に転送する転送スイッチ、１０５はリセットパルスφＲＥＳによってＦＤ１０３に蓄積された電荷を除去するリセットスイッチである。１０６はソースフォロアとして機能する増幅ＭＯＳアンプ、１０７は選択パルスφＳＥＬによって画素を選択する選択スイッチである。

転送スイッチ１０４、リセットスイッチ１０５、選択スイッチ１０７のゲート電極は、行単位でそれぞれφＴＸ、φＲＥＳ、φＳＥＬを供給する信号線にそれぞれに接続され、垂直走査回路１１０によって選択走査される。１６０は増幅ＭＯＳアンプ１０６の負荷となる定電流源であり、単位画素１０１と定電流源１６０は信号出力線１０８を介して読み出し回路１２０に列単位で接続される。１４０は読み出し回路１２０から出力する信号を選択する出力選択スイッチであり、水平走査回路１３０によって駆動される。１５０は読み出し回路１２０から出力された信号を撮像素子１５外部に出力する出力アンプである。

なお、図３に示す例では、１チャンネル読み出し構成を示しているが、複数チャンネルに分けて読み出しを高速化するように構成してもよい。例えば、２チャンネル分の読み出し回路と水平走査回路を持たせ、奇数列と偶数列を別々に読み出し、画像処理部１９で並び替えるようにすることができる。

上述した構成を有する撮像素子１５で静止画像を撮影する場合、撮像素子１５の有効領域の殆ど全ての画素の電荷を読み出して画像生成を行う。静止画像の撮影のときには、全ての単位画素１０１のＰＤ１０２とＦＤ１０３の電荷を一括してリセットし、行単位で読み出しを行う一括リセット読み出しが採用されることが多く、後幕にはメカニカルな遮光部材によるシャッタが用いられることが多い。殆ど全画素の電荷を読み出すこの駆動では、撮像素子から得られるフレーム単位の画像データのレートは、例えば、ＥＶＦの表示の更新レートに対して極めて低い。

これに対して、ＥＶＦや動画撮影を行うための駆動では、表示の更新レートに近い方が好ましい。また、ＥＶＦや動画撮影では、表示に必要な解像度が静止画像に比べてきわめて低いため、撮像素子１５から読み出す画素数を表示用画像の生成に必要な画素数近辺になるように間引いたり、加算平均している。但し、画素の加算や間引きを行う上で、でき上がった表示用画像におけるベイヤ配列の各色間の重心が大きくずれないように工夫する必要がある。

また、図３に示すような構成を有する撮像素子１５のＥＶＦや動画撮影のときの駆動では、撮像素子１５からフレーム画像またはフィールド画像を連続的に読み出す必要があるために、以下の走査が採用される。先ず、行単位で、ＰＤ１０２及びＦＤ１０３に蓄積された電荷を順次リセットし、所定時間経過後に、行単位で各画素に蓄積された電荷を順次読み出す。読み出し後は、順次読み出した行単位でＰＤ１０２及びＦＤ１０３を再びリセットする。このような制御により、行単位の蓄積時間を一定に保ちながら連続的に電荷を読み出す。このような読み出し方は、ローリング電子シャッタ、ローリングシャッタ、フォーカルプレーン電子シャッタなどと呼ばれる。本件の説明では、以後ローリングシャッタと呼ぶ。

●ズーム操作のときの光学ズームと電子ズームの切り替え
次に、本発明の第１の実施形態におけるズーム操作のときの撮像装置１０の動作について説明する。

撮像装置１０がメインスイッチ（不図示）のＯＮ操作により起動すると、システム制御回路２４は所定のシーケンスに基づいてレンズ駆動部２１を制御することで、変倍レンズ１１、焦点調節レンズ１２を待機位置に駆動する。この待機位置では、変倍レンズ１１はＷｉｄｅ端（最も広角となる位置）に駆動される。更に、システム制御回路２４は露出制御部２０を駆動することでシャッタ１３及び絞り１４も待機位置に駆動する。また、システム制御回路２４は撮像素子１５を後述するＡ駆動で駆動し、撮像素子１５からの出力をＡ／Ｄ変換器１８を介して画像処理部１９に入力し、前述した処理経路でメモリ部２６に表示用画像ＹＵＶデータを生成して記憶する。なお、詳細は後述するが、Ａ駆動では、撮像素子１５の出力画像を部分切り出しすることなく、画角１００％の表示用画像を生成する。

図４は、本発明の第１の実施形態における光学ズームと電子ズームの切り替え制御を示すフローチャートである。

Ｔ／Ｗスイッチ２２が操作されると（ステップＳ１０でＹＥＳ）、変倍方向を判定し（ステップＳ１１）、Ｔｅｌｅ方向であった場合には、変倍レンズ１１の位置（以下、「変倍レンズ位置」と呼ぶ。）がＴｅｌｅ端（最望遠位置）であるかを判定する（ステップＳ１２）。Ｔｅｌｅ端でない場合には、Ｔ／Ｗスイッチ２２の操作が止まるか、変倍レンズ位置がＴｅｌｅ端となるまで、変倍レンズ１１をＴｅｌｅ側へ移動して画角を狭くして画像を拡大する（ズームインする）光学ズーム処理を行う。そして、Ｔ／Ｗスイッチ２２の操作が止まるか、変倍レンズ位置がＴｅｌｅ端になると、ステップＳ１０に戻る（ステップＳ１３）。

一方、変倍レンズ位置がＴｅｌｅ端の場合には、電子ズームが有効であるかを判定し（ステップＳ１４）、電子ズームが無効である場合には、ステップＳ１０のＴ／Ｗスイッチ操作判定に戻る。電子ズームが有効である場合には、電子ズームの最大倍率（最望遠）か否かを判定する（ステップＳ１５）。最大倍率であればこれ以上ズームインすることができないので、そのままステップＳ１０のＴ／Ｗスイッチ２２の操作判定に戻る。なお、このときに、最大倍率であることをユーザに通知するようにしても良い。一方、最大倍率でない場合には、電子ズーム動作を行って（ステップＳ１６）、ステップＳ１０に戻る。なお、電子ズーム動作については、詳細に後述する。

一方、ステップＳ１１におけるＴ／Ｗスイッチ２２の操作判定でＷｉｄｅ方向であった場合は、電子ズームが有効であるか判定し（ステップＳ１７）、有効であった場合には、電子ズームの最小倍率（最広角）かどうか判定を行う（ステップＳ１８）。最小倍率であれば、そのままステップＳ１８に進む。電子ズームの倍率が最小倍率でない場合には、電子ズーム処理を行って（ステップＳ１９）、ステップＳ１０に戻る。

電子ズームが有効でない場合（ステップＳ１７でＮＯ）或いは、電子ズームが有効で且つ最小倍率であった場合（ステップＳ１８でＹＥＳ）には、ステップＳ２０に移行する。すなわち、変倍レンズ１１がＷｉｄｅ端（最広角位置）にあるかどうかを判定する（ステップＳ２０）。変倍レンズ位置がＷｉｄｅ端にある場合には、そのままステップＳ１０のＴ／Ｗスイッチ２２の操作判定に戻る。これ以上画角を広くする（ズームアウトする）ことができないからである。なお、このときに、最小倍率であることをユーザに通知するようにしても良い。また、Ｗｉｄｅ端でない場合には、変倍レンズ１１をＷｉｄｅ側へ移動してズームアウトする光学ズーム処理を行う。この処理は、Ｔ／Ｗスイッチ２２の操作が止まるか、変倍レンズ位置がＷｉｄｅ端となるまで行われる。そして、Ｔ／Ｗスイッチ２２の操作が止まるか、変倍レンズ位置がＷｉｄｅ端となると、ステップＳ１０に戻る。

上述したように、図４に示す一連の操作によれば、変倍レンズ１１がＷｉｄｅ端にあり、Ｔ／Ｗスイッチ２２により望遠側への指示が行われた場合、以下の動作を行う。すなわち、Ｗｉｄｅ端から光学ズーム動作が始まり、光学的な望遠限界まで到達すると、電子ズームが有効な場合にのみ、電子ズームにより最大倍率に到達するまでズームイン処理を行う。一方、変倍レンズ１１がＴｅｌｅ端にあり、Ｔ／Ｗスイッチ２２により広角側への指示が行われた場合、以下の動作を行う。すなわち、Ｔｅｌｅ端から電子ズーム動作が始まり、画像処理による限界まで到達すると、光学ズーム動作が始まり、光学的な広角限界に到達するまでズームアウトする。つまり望遠側への動作は変倍レンズを優先的に動作させ、広角側への動作は電子ズームが有効な場合には電子ズームを優先して動作させる。このように光学ズームと電子ズームを切り換えることで、電子ズームにおける信号処理による画質の劣化を軽減することができる。

●電子ズーム処理の基本的概念と問題点
本発明では、電子ズームのときに複数の異なる駆動方法を用いて画素の読み出しを行う。以下に、その場合に考えられる駆動方法の切り替え制御と、その問題点について説明する。

本実施の形態では、撮像素子１５からの読み出し方法として、Ａ駆動からＤ駆動の４種類の異なる駆動方法により、画素信号を読み出すものとする。ここでは、Ａ駆動は撮像素子１５のほぼ全領域から、４ライン分の画素信号を１ライン分の画素信号として読み出す駆動方法、Ｂ駆動はＡ駆動よりも狭い領域から３ライン分の画素信号を１ライン分の画素信号として読み出す駆動方法とする。また、Ｃ駆動はＢ駆動よりも狭い領域から２ライン分の画像信号を１ライン分の画素信号として読み出す駆動方法、Ｄ駆動はＣ駆動よりも更に狭い領域から１ライン分の画素信号を１ライン分の画像信号として読み出すものとする。この場合、画角の大小関係はＡ駆動＞Ｂ駆動＞Ｃ駆動＞Ｄ駆動であり、Ａ駆動が最広角、Ｄ駆動が最望遠ということになる。また、読み出した画像データの解像度の関係は、Ａ駆動＜Ｂ駆動＜Ｃ駆動＜Ｄ駆動となる。

なお、上述したように、それぞれの駆動方法では、得られる画像信号がベイヤ配列の各色間の重心が大きくずれないように駆動方法を工夫する必要がある。

図５及び図６（ａ）は撮像素子１５の空間上において、Ａ〜Ｄ駆動の各駆動のときの読み出し領域を示したものである。図５は回路規模等の関係で垂直（行）方向にのみアドレッシングが可能な場合を示し、図６（ａ）では垂直（行）方向と水平（列）方向共にアドレッシングが可能な場合を示している。また、図５及び図６（ａ）では、５００万画素相当の撮像素子で、ＶＧＡ（６４０×４８０）動画画像を生成する上で必要となる行数を読み出すものとして説明する。この場合、撮像素子の有効画素の垂直ライン数は１９４４ラインとなる。

また、ＶＧＡ動画画像の基となる表示用画像を生成する場合、撮像素子１５から読み出されるライン数の２〜３割増しまでは、信号処理（補間処理）による拡大処理しても画質劣化をさほど伴わない想定で説明する。一例として、約２．６割増しの補間を行うとすると、各駆動方法共に、撮像素子１５から読み出す必要がある最低ライン数は３８０ライン（＝４８０÷１．２６）である。また、読み出し時間を短縮するために、ＶＧＡ動画画像に必要な４８０ラインをできるだけ超えないライン数分の画素だけ読み出しを行うことが好ましい。これらの条件を鑑みると、電子ズームの拡大率に対する駆動方法を、表１に示す関係となるように制御することが考えられる。

表１において、対応倍率は画質を保つ上で各駆動方法が適するズーム倍率、読み出しライン数は、１９４４ラインの内、各駆動方法によって読み出されるライン数である。図５及び図６（ａ）に示す例では、撮像領域の内、上下領域を切り取った中央部分の領域のライン数である。また、出力ライン数は、各駆動方法によって読み出しライン数を読み出した場合に、実際に出力されるライン数を示す。また、対応ライン数は、出力ライン数分の画像信号に信号処理を施すことで画質を保ったまま対応可能な画角（ここでは、読み出した画像信号の約２．６割増し）を、ライン数に換算したものである。

また、図６（ｂ）は、Ａ〜Ｄ駆動が表１に示すような読み出しライン数の読み出しを行う場合にそれぞれ得られる画像の画角の概念を示す図である。

ここで、表１に基づいて駆動方法の切り替え制御の一例を説明する。光学ズームがＴｅｌｅ端となった光学ズーム最望遠の状態から、Ｔ／Ｗスイッチ２２により更にズームインが指示された場合、先ず、光学ズーム最望遠の画像に対するズーム倍率を判断する。この判断に応じて、システム制御回路２４はタイミング発生部１６を制御して、撮像素子１５からの読み出し方法及び読み出しライン数を決定する。具体的には、ズーム倍率が１．２８倍までの場合、Ａ駆動で４ラインを１ラインとして読み出す方法で１９３３ラインを読み出し、１．２８〜１．７１倍の場合、Ｂ駆動で３ラインを１ラインとして読み出す方法で１５３６ラインを読み出す。同様に、１．７１〜２．５６倍の場合、Ｃ駆動で２ラインを１ラインを読み出す方法で１１７６ラインを読み出し、２．５６〜５．１２倍の場合、Ｄ駆動で７７４ラインをそのまま読み出す。

このようにＡ〜Ｄ駆動のいずれかで読み出された、４８６、５１２、５８８、または７７４ライン分の画像信号は、更に、ズーム倍率に応じて指定された画角となるように画像処理部１９により切り出し処理及び、必要に応じて縮小処理や補間（拡大）処理を行う。

このように画質を優先して電子ズームを設計すると、出力された画像信号から表示用画像を生成する過程における画素データの水増し率が減少するため、画質の劣化を抑制し、安定化することができる。しかしながら、その一方で、読み出しライン数が増加することと、駆動方式によって１ラインの出力に要する処理が増えて時間がかかるため、同一駆動周波数で画像信号の読み出しを行うと、Ａ〜Ｄ駆動で撮像素子１５からのデータ出力レートが異なってしまう。

更に、ズーム倍率の変化に応じて表１に示すように読み出し駆動を変更することで、各フレームにおいてはより高画質の画像を得ることができるが、駆動方式の切り替えのときに画像がスムーズに繋がらないという問題が生じる。これは、本実施の形態では、Ａ〜Ｄ駆動の４種類の異なる駆動方法のいずれかで撮像素子１５から画像を読み出すが、Ａ〜Ｄ駆動ではそれぞれ、撮像素子１５から画像信号を読み出して出力するまでに掛かる時間が異なることに起因する。これは、それぞれの駆動において、読み出すライン数が互いに異なると共に、読み出したライン数に対する出力ライン数が異なるために処理に係る時間が違ってくるからである。この問題について、図７を参照して説明する。

図７は、ローリングシャッタ動作のときに駆動を切り替えた場合の撮像素子１５の出力を示すタイミングチャートである。

図７において、ｎフィールドで読み出される画像データは、（ｎ−１）フィールドで各行の電荷読み出し後に、リセットされた直後から蓄積されたデータである。また、ｎフィールドでは、画像データの読み出し開始後、ｔ１６０のリセット開始から（ｎ＋１）フィールドの画像データの蓄積が行単位で行われることになる。ここで、ｎフィールドの読み出し終了タイミングｔ１６１と（ｎ＋１）フィールドの読み出し開始タイミングｔ１６２の間に駆動切替が行われ、ある駆動方法からより読み出し速度の速い駆動方法に変更されたものとする。

このように読み出し速度の変更があった場合、ｎフィールドの読み出しのときにはｔ１５９〜ｔ１６１の時間をかけて読み出し及びリセットを行っていたのに対し、（ｎ＋１）フィールドでは、ｔ１６２〜ｔ１６３の短い時間で読み出しが終わる。このため、図７から分かるように（ｎ＋１）フィールド内では蓄積時間がライン毎に異なり、画面上部は明るく、画面下部は暗い、画面の上下で輝度差のある画像になってしまう。逆に、ある駆動方法からより読み出し速度の遅い駆動方法に変更した場合には、画面上部が暗く、画面下部が明るい画像が生成される。

このように、駆動方法の切り替わりのときには、１フレーム分、輝度が不自然な画像が表示され、違和感のある表示となってしまう。

●速度優先モードと画質優先モード
上述した問題を鑑みて、本実施の形態では複数の動作モードを用い、切り換えて電子ズームを制御する。本実施の形態では、変倍速度が速いときの速度優先モードと変倍速度が遅いときの画質優先モードとを有する。

電子ズームの動作モードの設定方法としては、例えば以下の２種類を想定する。１つは、Ｔ／Ｗスイッチ２２の操作加減に応じて、変倍速度をシステム制御回路２４のＣＰＵが制御するプログラムにより自動的に判定させて決定する方法である。もう１つは、撮像装置１０に電子ズームの動作モードを設定記憶させる手段を設け、ユーザが設定する方法である。

まず、Ｔ／Ｗスイッチ２２の操作加減に応じて電子ズームの動作モードを自動的に決定する場合について図８を参照して説明する。なお、この処理は図４のステップＳ１６及びＳ１９で行われる。

図２（ｂ）に示すような構成により得られる、Ｔ／Ｗスイッチ２２の操作加減によるＡ／Ｄ変換結果に応じて、変倍速度が低速であるかどうかを判定する（ステップＳ１００）。低速であると判定されると、画質優先モードで電子ズーム処理を行い（ステップＳ１０１）、高速であると判定されると、速度優先モードで電子ズーム処理を行う（ステップＳ１０２）。各処理の終了後、引き続きＴ／Ｗスイッチ２２が操作されているかどうかを判断する（ステップＳ１０３）。操作されていればステップＳ１０１に戻り、操作されていなければ電子ズーム処理が終了となり、図４の処理にリターンする。

一方、ユーザが電子ズームの動作モードの設定記憶する場合（ユーザ設定）の処理を図９を参照して説明する。なお、このユーザ設定の場合は、Ｔ／Ｗスイッチ２２の操作に先だって、予め以下処理をしておく。先ず、システム制御回路２４に接続された複数の操作スイッチ（不図示）と、システム制御回路２４がメモリ部２６に描画したビットマップ信号を再生回路５０を介して表示部５１にＧＵＩを表示する。このＧＵＩにより使用者に、画質優先モードまたは速度優先モードのいずれかを選択決定させ、その結果をフラッシュメモリ２５の決められた設定記憶領域に記憶する。

システム制御回路２４のＣＰＵは、図４のステップＳ１６及びＳ１９で電子ズーム処理を行う際に、フラッシュメモリ２５の設定記憶領域に記憶された電子ズームの動作モードを読み出して画質優先モードか速度優先モードを判断する（ステップＳ２００）。そして、画質優先モードであると判定されると、画質優先モードで電子ズーム処理を行い（ステップＳ１０１）、速度優先モードであると判定されると、速度優先モードで電子ズーム処理を行う。各処理の終了後、引き続きＴ／Ｗスイッチ２２が操作されているかどうかを判断する（ステップＳ１０３）。操作されていればステップＳ２００に戻り、操作されていなければ電子ズーム処理が終了となり、図４の処理にリターンする。

なお、ユーザ設定により動作モードを設定する場合には、画質優先モードが設定された場合にはＴ／Ｗスイッチ２２の操作加減に関わらず、画角の変倍速度を低速に限定させ、速度優先モードの場合には変倍速度を優先させる。

次に、画質優先モード及び速度優先モードそれぞれにおける電子ズーム処理の詳細について、図１０、図１１、及び表１を参照して説明する。

●画質優先モード
図１０は、Ｔ／Ｗスイッチ２２の操作加減によって決定した変倍速度が低速であったとき、あるいは、使用者によって設定された電子ズームの動作モードが画質優先モードであった場合の電子ズーム処理を示すフローチャートである。この処理は、図８及び図９のステップＳ１０１で行われる。

まず、電子ズームの倍率を確認する。電子ズームの倍率が１．２８未満であった場合（ステップＳ１１０）、Ａ駆動に設定されているかどうかを判断し（ステップＳ１１１）、設定されていなければ、Ａ駆動に設定してから（ステップＳ１１２）、ステップＳ１１３に進む。すでにＡ駆動に設定されていれば（ステップＳ１１１でＹＥＳ）、そのままステップＳ１１３に進む。そして、Ａ駆動で撮像素子１５から得られる画像を電子ズーム倍率に応じて画像処理部１９内の縮小回路で更に変倍し、表示用画像を生成する（ステップＳ１１３）。なお、動画記録中には、生成された表示用画像を画像処理部１９内の圧縮回路で圧縮する。

同様にして、倍率が１．２８以上１．７１未満の場合には（ステップＳ１１４でＹＥＳ）、Ｂ駆動で上述したステップＳ１１１〜Ｓ１１３と同様の処理を行う（ステップＳ１１５〜Ｓ１１７）。同様に、倍率が１．７１以上２．５６未満の場合には（ステップＳ１１４でＹＥＳ）、Ｃ駆動で上述したステップＳ１１１〜Ｓ１１３と同様の処理を行う（ステップＳ１１９〜Ｓ１２１）。また、倍率が２．５６以上最大倍率（５．１２）以下の場合には（ステップＳ１２２）、Ｄ駆動で上述したステップＳ１１１〜Ｓ１１３と同様の処理を行う（ステップＳ１２３〜Ｓ１２５）。

そして、ステップＳ１１３、Ｓ１１７、Ｓ１２１またはＳ１２５で生成された画像を、１フレームおきに表示する（ステップＳ１２６）。また、ステップＳ１１２、Ｓ１１６、Ｓ１２０、Ｓ１２４における駆動切替処理は、表示画像として使用するフィールドと使用しないフィールドの間で行う。図７を参照して説明すると、ｎフィールドで表示用画像を生成した場合、ｎフィールド読み出し終了タイミングで駆動を切り替え、（ｎ＋１）フィールドで出力されるデータは表示に使用しない。

画質優先モードでは、画角の変更速度が遅いか、もしくは、ユーザが画角の変更のときよりも画像の内容を優先して観察したいと考えられる。そのため、変倍倍率に応じた最適な駆動方法に切り替えると共に、切り替えのときにおける画像の上下で輝度差が異なる画像が表示されないように、１フレームおきに画像を表示し、表示されないフレームで駆動方法を切り換える。特に画角の変更速度が遅い場合には、１フレームおきに画像を表示しても表示されるフレーム間の画角の変化はそれほど目立たない。

ステップＳ１２６における表示終了後、図８または図９の処理にリターンする。

上述したように、画質優先モードの場合には表示更新レートが半分になるので、時間解像度を上げるために駆動周波数を上げることも可能である。また、電子ズームの駆動モードと同様に節電モードを設定記憶し、節電モードが設定されている場合には駆動周波数を上げずに表示更新レートを落とし、節電モードが設定されていない場合のみ駆動周波数を上げて、表示更新レートを上げるようにしてもよい。

●速度優先モード
図１１は、Ｔ／Ｗスイッチ２２の操作加減によって決定した変倍速度が高速であったとき、あるいは、使用者によって設定された電子ズームの動作モードが画質優先モードでなかった場合の電子ズーム処理を示すフローチャートである。この処理は、図８及び図９のステップＳ１０２で行われる。

まず、Ｔ／Ｗスイッチ２２の変倍方向を判定し（ステップＳ１３０）、Ｗｉｄｅ方向であった場合には、現在、Ａ駆動かどうかを判定し（ステップＳ１３１）、Ａ駆動でない場合にのみＡ駆動に切り替える（ステップＳ１３２）。Ａ駆動が確定した状態で、Ａ駆動で撮像素子１５から得られる画像を電子ズーム倍率に応じて画像処理部１９内の縮小回路で更に変倍し、表示用画像を生成して（ステップＳ１３３）、ステップＳ１４１に進む。なお、動画記録中には、生成された表示用画像を画像処理部１９内の圧縮回路で圧縮する。

一方、Ｔｅｌｅ方向であった場合には（ステップＳ１３０でＹＥＳ）、現在の駆動方法の確認を行う。Ａ駆動であった場合には（ステップＳ１３４でＹＥＳ）、Ａ駆動で撮像素子１５から得られる画像を、電子ズーム倍率に応じて画像処理部１９内の縮小回路で変倍し、表示用画像を生成して（ステップＳ１３５）、ステップＳ１４１に進む。同様にしてＢ駆動、Ｃ駆動、Ｄ駆動を判定し（ステップＳ１３６〜Ｓ１３８）、各駆動で得られた画像に対して、電子ズーム倍率に応じて表示用画像を生成し（ステップＳ１３７、Ｓ１３９、Ｓ１４０）、ステップＳ１４１に進む。

速度優先モードでは、画角の変更速度が速いか、もしくは、ユーザが画角の変更のときを優先して観察したいと考えられる。そのため、画質優先モードのように１フレームおきの画像を表示するのではなく、画質は落ちるかも知れないが、駆動方法の変更を行わずに画像処理部１９による処理によりリアルタイムに画角の変化が分かるように表示画像を生成する。

従って、Ｔ／Ｗスイッチ２２をＴｅｌｅ方向に操作中は駆動方法を変更せずに得られる画像データを画像処理部１９で処理することにより、Ｔ／Ｗスイッチ２２の操作により指定された画角の表示画像を生成する。また、Ｔ／Ｗスイッチ２２のＷｉｄｅ方向への操作のときには、先ず、電子ズームでは最広角の画像を読み出し可能なＡ駆動にすることで、変倍中に駆動方法の切り替えを行わなくてもよいようにする。

ステップＳ１４１では、変倍倍率が最大（最望遠）または最小（最広角）に達したかどうかを確認し、達していればステップＳ１４２に進んで図１０に示す画質優先モードによる電子ズーム処理を行う。一方、変倍倍率が最大または最小に達していない場合には、図８または図９の処理にリターンする。

このように、本第１の実施形態によれば、画質を優先させるときと、速度を優先させるときとで電子ズームの駆動モードを変更することによって、用途に適した電子ズームを実現することができる。また、画質優先モードでの電子ズームにおいては、１フレーム毎に変倍処理を行い、表示装置に表示する画像をフレーム単位で間引くことによって、変倍操作のときのスムーズな画像表示が可能となる。更に、Ｔ／Ｗスイッチ２２の操作等によって、変倍速度を変化させる場合には、変倍速度に応じて電子ズーム方式を選択させることによって、状況に応じた最適な画像を得ることができる。尚、駆動レートや表示レートに応じて、変倍処理間隔を変えるのは設計事項である。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。

なお、本第２の実施形態におけるシステム構成並びに、撮像素子の構成と制御形態については、第１の実施形態と同じであるので省略する。本第２の実施形態は、第１の実施形態に加えて、表示装置に表示されるＥＶＦ画像の見え方に着目したものである。

上述した第１の実施形態の場合、画質優先モードの電子ズーム制御の場合も、速度優先モードの電子ズームの場合も、撮像素子１５の駆動切り替えが起きると、駆動切り替えの前後で表示装置に表示されるＥＶＦ画像の解像感に大きな違いが生じる。この現象は、撮像素子１５から得られる画像を表示用画像として利用する領域の大きさによって情報量に差があることに起因する。つまり、Ａ駆動に限定して言及すれば、等倍の４８６ラインの撮像出力をそのまま４８０ラインの表示用画像を生成する方が、４８６ラインの撮像出力から中心の３８０ラインを切り出して４８０ラインの表示用画像を生成するよりも解像感は明らかに高い。言い換えれば、画像処理部１９の縮小回路で線形補間処理で帯域が失われるために解像感が低下してしまう。

ここで、図１０に示す画質優先モードの電子ズームのフローチャートを用いて具体的に説明する。変倍過程において、電子ズーム倍率が１．２８未満と判定した場合（ステップＳ１１０でＹＥＳ）、Ａ駆動での最大倍率の信号処理を行って表示用画像を生成する（ステップＳ１１３）。引き続き変倍操作中と判定されると（図８のステップＳ１０３でＹＥＳ）、Ａ駆動読み出しが継続し、電子ズーム倍率がＢになるまでの間、帯域が落ちて解像感は落ちていく。電子ズーム倍率が１．２８以上となると（ステップＳ１１４でＹＥＳ）、Ｂ駆動に切り替わり（ステップＳ１１６）、Ｂ駆動における変倍処理が行われる（ステップＳ１２７）ため、解像感が一気にあがる。

図１２は、画質優先モードの電子ズームにおける解像感の変化を示したものである。図５及びＧに示すように、駆動毎に読み出しライン数（画角）が異なるので、電子ズーム倍率によって各駆動間の最大解像感にも若干の差が生じる。

図１２（ａ）はズームインのときの解像感の変化を表しており、Ａ駆動で得られた画像を画像処理により拡大していくに従って解像感は徐々に低下し、Ｂ駆動に切り替わると解像感は復活する。以降同様に、駆動方法が切り替わるときには解像感が急激に変化する。

図１２（ｂ）はズームアウトのときの解像感の変化を表している。Ｄ駆動における最大倍率から説明すると、画像が拡大されて解像感が低下している状態から画角を広げていくと（縮小）、Ｃ駆動に切り替わるまで解像感は改善方向に遷移するが、Ｃ駆動に切り替わるときに解像感が急激に下がる。以降同様に、駆動方法が切り替わるときに解像感が急激に下がる。

また、図１３は速度優先モードの電子ズームにおける解像感の変化を示したものである。

図１３（ａ）はズームインときの解像感の変化を表し、変倍開始のときから駆動方法を変えずに画像処理により画像を拡大していく。変倍操作解除後には、駆動方法を切り替え、ズーム倍率に最適な駆動方法に変更するため、解像感が一気に上がる。図１３（ａ）に示す通り、Ａ駆動が用いられる倍率から変倍操作を中断することなく拡大していった場合に、最も解像感が劣化することになる。

図１３（ｂ）はズームアウトのときの遷移を示し、如何なる変倍率においても一旦Ａ駆動に切り替えて変倍率を落とす。変倍操作解除後には、駆動方法を切り替え、ズーム倍率に最適な駆動方法に変更するため、解像感が一気に上がる。

上述した解像感の急激な変化を鑑み、本第２の実施形態においては、表示用画像の解像感に違和感を与えないように、信号処理上のエッジ強調フィルタの係数（アパーチャー係数）を変更したり、焦点調節レンズ１２の制御位置を変更する。駆動に応じたアパーチャー係数は図１４及び図１５に示すように設定し、解像感の平滑化を図る。基本的には、画像処理部１９の縮小回路によって劣化した解像感を補う方向に係数を掛ける。

図１４（ａ）を代表して説明すると、Ａ駆動で読み出された画像を変倍することによって徐々に失われていく解像感を補うようにアパーチャー係数を徐々に上げていく。また、Ｂ駆動に切り替えるとアパーチャー係数を駆動に合わせて切り替えると共に、電子ズーム倍率に応じてアパーチャー係数を徐々に上げていく。こうした設定を繰り返すことによって、解像感の変化を極小化する。

ここで、本第２の実施形態におけるズーム動作について説明する。本第２の実施形態においても、光学ズームと電子ズームの駆動関係は図４のフローチャートと同じであるため、説明を省略する。また、Ｔ／Ｗスイッチ２２の操作による画質優先モードと速度優先モードの切り替えも、図８のフローチャートに示す処理または、第１の実施形態でＧＵＩを用いてユーザに選択させる処理と同じであるため、説明を省略する。

●画質優先モード
図１６は、Ｔ／Ｗスイッチ２２の操作加減によって決定した変倍速度が低速であった場合、あるいは、使用者によって設定された電子ズームの動作モードが画質優先モードであった場合の電子ズーム処理を示すフローチャートである。この処理は、第１の実施形態で説明した図８及び図９のステップＳ１０１で行われる。

まず、電子ズームの倍率を確認する。電子ズームの倍率が１．２８未満であった場合には（ステップＳ２１０）、Ａ駆動に設定されているかどうかを判断し、設定されていなければ（ステップＳ２１１でＮＯ）、Ａ駆動に設定する（ステップＳ２１２）。そして、駆動情報に応じて信号処理に用いるアパーチャー係数を変更する（ステップＳ２１３）。これまで説明した撮像駆動は、駆動毎に等倍のときの画像サイズが異なるため、表示画像の解像感が異なってしまい違和感のある画像の繋がりになってしまう恐れがある。そのため、駆動毎に等倍のときのアパーチャー係数を変更している。

更に、駆動方法を変更した場合もしていない場合も、Ａ駆動における電子ズーム倍率に応じてアパーチャー係数を補正する（ステップＳ２１４）。そして、Ａ駆動で撮像素子１５から得られる画像を電子ズーム倍率に応じて画像処理部１９内の縮小回路で更に変倍し、表示用画像を生成する（ステップＳ２１５）。なお、動画記録中には、生成された表示用画像を画像処理部１９内の圧縮回路で圧縮する。

同様にして、倍率が１．２８以上１．７１未満の場合には（ステップＳ２１６でＹＥＳ）、Ｂ駆動で上述したステップＳ２１１〜Ｓ２１５と同様の処理を行う（ステップＳ２１７〜Ｓ２２１）。同様に、倍率が１．７１以上２．５６未満の場合には（ステップＳ２２２でＹＥＳ）、Ｃ駆動で上述したステップＳ２１１〜Ｓ２１５と同様の処理を行う（ステップＳ２２３〜Ｓ２２７）。また、倍率が２．５６以上最大倍率（５．１２）以下の場合には（ステップＳ２２８）、Ｄ駆動で上述したステップＳ２１１〜Ｓ２１５と同様の処理を行う（ステップＳ２２９〜Ｓ２３３）。

そして、ステップＳ２１５、Ｓ２２１、Ｓ２２７またはＳ２３３で生成された画像を、１フレームおきに表示する（ステップＳ２３４）。また、ステップＳ２１２、Ｓ２１８、Ｓ２２４、Ｓ２３０における駆動切替処理は、表示画像として使用するフィールドと使用しないフィールドの間で行う。図７を参照して説明すると、ｎフィールドで表示用画像を生成した場合、ｎフィールド読み出し終了タイミングで駆動を切り替え、（ｎ＋１）フィールドで出力されるデータは表示に使用しない。

●速度優先モード
図１７は、Ｔ／Ｗスイッチ２２の操作加減によって決定した変倍速度が高速であった場合、あるいは、使用者によって設定された電子ズームの動作モードが画質優先モードでなかった場合の電子ズーム処理を示すフローチャートである。この処理は、第１の実施形態で説明した図８及び図９のステップＳ１０２で行われる。なお、図１７に示すステップＳ１３０〜Ｓ１４１の処理は、図１１のステップＳ１３１〜Ｓ１４１の処理と同様の処理であるため、同じ参照番号を付していると共に説明を省略する。

ステップＳ１４１において、変倍倍率が最大（最望遠）または最小（最広角）に達している場合には、一旦焦点調節レンズ１２を焦点位置から所定量ずらす（ステップＳ２５０）。その後、図１６で説明した画質優先電子ズーム処理によって適切な駆動による電子ズームに設定した後（ステップＳ２５１）、焦点調節レンズ１２を徐々に焦点位置に復帰させ（ステップＳ２５２）、元に戻る。

上記の通り、本第２の実施形態によれば、画質優先モードにおいて電子ズーム倍率に応じたアパーチャー係数を掛けることによって、信号処理による解像感の劣化を補うことができる。更に、本第２の実施形態では、第１の実施形態で説明した速度優先モードにおいて電子ズームの駆動方法を切り換えにより解像感が急激に上がるときに、一旦焦点を外してぼかした状態から徐々に復帰させる。これによって、光学ズームときの焦点追従に近い動作を実現し、違和感を緩和させることができる。

本発明の実施の形態に係る撮像システムの構成を示すブロック図である。本発明の実施の形態に係るＴ／Ｗスイッチの外観及びＴ／Ｗスイッチの操作を検出するための回路構成を示す図である。本発明の実施の形態における撮像素子の一部を示す回路構成図である。本発明の実施の形態における光学ズームと電子ズームの切り替え制御を示すフローチャートである。本発明の実施の形態に係る撮像素子の読み出し領域の概念図である。本発明の実施の形態に係る撮像素子の読み出し領域及び画角の概念図である。撮像素子の駆動方式切り替え動作のときの問題点を説明するためのタイミングチャートである。本発明の実施の形態に係る変倍速度に応じて画質優先モードと速度優先モードを切り替える場合の電子ズーム処理を示すフローチャートである。本発明の実施の形態に係るユーザ設定に応じて画質優先モードと速度優先モードを切り替える場合の電子ズーム処理を示すフローチャートである。本発明の第１の実施形態における画質優先モードでの電子ズーム処理を示すフローチャートである。本発明の第１の実施形態における速度優先モードでの電子ズーム処理を示すフローチャートである。画質優先モードでの駆動方法の切り替えのときに起こる解像感の遷移を示す概念図である。速度優先モードでの駆動方法の切り替えのときに起こる解像感の遷移を示す概念図である。本発明の第２の実施形態における画質優先モードでの駆動方法に応じたアパーチャー係数の遷移を示す概念図である。本発明の第２の実施形態における速度優先モードでの駆動方法に応じたアパーチャー係数の遷移を示す概念図である。本発明の第２の実施形態における画質優先モードでの電子ズーム処理を示すフローチャートである。本発明の第２の実施形態における速度優先モードでの電子ズーム処理を示すフローチャートである。

符号の説明

１０：撮像装置、１１：変倍レンズ、１２：焦点調節レンズ、１３：メカニカルシャッタ、１４：絞り、１５：撮像素子、１６：タイミング発生部、１７：ＣＤＳ素子、１８：Ａ／Ｄ変換器、１９：画像処理部、２０：露出制御部、２１：レンズ制御部、２２：Ｔ／Ｗスイッチ、２３：モードダイヤル、２４：システム制御回路、２５：フラッシュメモリ、２６：メモリ部、２７：Ｉ／Ｆ部、２８、３１：コネクタ、２９：記録媒体着脱検出部、３２：記録媒体、３３：記録禁止検知部、４０：電池ＢＯＸ、４１、７０：コネクタ、４２：電池、５０：再生回路、５１：表示部

Claims

電子ズーム機能を有する撮像装置であって、
被写体を撮像して、画像データを出力する撮像素子と、
第１の処理モードと第２の処理モードのいずれかを設定するモード設定手段と、
画角を指示する画角指示手段と、
前記モード設定手段により設定された処理モードと、前記画角指示手段により指示された画角とに基づいて、前記撮像素子からの画像データの読み出し範囲及び読み出し方法を切り替えて前記撮像素子を駆動制御することで、画角を変更する第１の画角変更手段と、
前記撮像素子から出力された画像データを処理して、前記画角指示手段により指示された画角に変更する第２の画角変更手段とを有し、
前記第１の処理モードでは、前記第１及び第２の画角変更手段を用いて画角変更を行い、前記第２の処理モードでは、画像データの読み出し範囲及び読み出し方法を切り替えずに、前記第２の画角変更手段を用いて画角変更を行うことを特徴とする撮像装置。
前記第２の画角変更手段により処理された画像データを予め設定されたレートで表示する表示手段を更に有し、
前記第１の処理モードでは、１フレームおきに前記第２の画角変更手段により処理された画像データを表示すると共に、前記第１の画角変更手段は、前記画像データを表示しないフレームにおいて画像データの読み出し範囲及び読み出し方法を切り替えることを特徴とする請求項１に記載の撮像装置。
前記第２の処理モードでは、広角方向へ画角を変更する場合に、前記第２の画角変更手段による画角変更開始に先だって、読み出し範囲を広くし、読み出し方法を切り替えて固定することを特徴とする請求項１または２に記載の撮像装置。
前記第２の処理モードで広角方向に画角変更の際に、前記画角指示手段による変更指示が終了した場合に、前記第１の処理モードに切り替えることを特徴とする請求項１乃至３のいずれかに記載の撮像装置。
前記第２の処理モードで広角方向に画角変更の際に、最広角倍率を検知した場合に、前記第１の処理モードに切り替えることを特徴とする請求項１乃至３のいずれかに記載の撮像装置。
前記第１の処理モードへの切り替えに伴って、焦点調節レンズを合焦位置から予め設定された量ずらしてから、徐々に前記焦点調節レンズを合焦位置に戻すことを特徴とする請求項４又は５に記載の撮像装置。
前記画像データの読み出し範囲及び読み出し方法は、
読み出し範囲が前記撮像素子の第１の領域であって、読み出し方法が当該第１の領域の画像データから、第１の割合で画像データを出力する第１の方法と、
読み出し範囲が前記第１の領域の部分領域である前記撮像素子の第２の領域から、前記第１の割合よりも高い第２の割合で画像データを出力する第２の方法と
を含むことを特徴とする請求項１乃至６のいずれかに記載の撮像装置。
前記画角指示手段は、画角の変更方向と速度とを指示する手段を有し、前記モード設定手段は、前記画角の変更の速度が予め設定された速度よりも遅い場合に前記第１の処理モードを設定し、速い場合に前記第２の処理モードを設定することを特徴とする請求項１乃至７のいずれかに記載の撮像装置。
前記モード設定手段はモード設定部材を有し、当該モード設定部材の操作に応じて前記第１の処理モードと前記第２の処理モードのいずれかを設定することを特徴とする請求項１乃至７のいずれかに記載の撮像装置。
前記画像データの読み出し範囲及び読み出し方法と、前記画角指示手段に指示された画角とに応じて、画角変更中に前記第２の画角変更手段により生成される画像データの解像感が変化しないように、信号処理用のパラメータを変更するパラメータ変更手段を更に有することを特徴とする請求項１乃至９のいずれかに記載の撮像装置。
画角を変更する変倍光学系を更に有し、
前記画角指示手段により指定された画角が予め設定された画角より広い場合に、前記変倍光学系により画角を変更することを特徴とする請求項１乃至１０のいずれかに記載の撮像装置。
被写体を撮像して画像データを出力する撮像素子と、電子ズーム機能を有する撮像装置の制御方法であって、
第１の処理モードと第２の処理モードのいずれかを設定するモード設定工程と、
画角を指示する画角指示工程と、
前記モード設定工程で前記第１の処理モードが設定された場合に、前記画角指示工程で指示された画角に基づいて、前記撮像素子からの画像データの読み出し範囲及び読み出し方法を切り替えて前記撮像素子を駆動制御して画像データを読み出し、該読み出した画像データを処理して、前記画角指示工程で指示された画角に変更する第１の画角変更工程と、
前記モード設定工程で前記第２の処理モードが設定された場合に、画像データの読み出し範囲及び読み出し方法を切り替えずに、前記撮像素子から出力された画像データを処理して、前記画角指示工程で指示された画角に変更する第２の画角変更工程と
を有することを特徴とする制御方法。