JP2006325276A - 撮像装置 - Google Patents

Abstract

【課題】光学ズームの倍率の間隔を解像度を考慮した上で電子ズームによって補間することにより解像度の段差を少なくすること。
【解決手段】光学的に結像した画像を光電変換電気信号に変換して画像データを取得する撮像素子を有する撮像装置であって、変倍率が離散的である少なくとも二つの変倍率Ｗ，Ｔ（Ｗ＜Ｔ）を有し、撮像素子に結像される像の倍率を光学的に変える光学変倍手段（レンズ移動制御系１０８）と、出力される画像の変倍率として所定の変倍率Ｍ（Ｗ＜Ｍ＜Ｔ）を設定する綜合倍率設定手段１００と、変倍率Ｍの画像を得るにあたり、光学変倍手段により結像される変倍率Ｗの像の拡大処理を行って当該変倍率Ｍの画像を生成するのか、または光学変倍手段により結像される変倍率Ｔの像の縮小処理を行って当該変倍率Ｍの画像を生成するのかを制御する電子変倍手段（同次化処理・フィルタ処理部１０３、変倍処理部１０５、読み出し領域・規則設定手段１０７）と、を有する。
【選択図】 図１

Description

本発明は、光学的に像の倍率を変換する光学変倍手段と、画像データに対して信号処理により縮小あるいは拡大の倍率を変換する電子変倍手段とを備えた撮像装置に関する。

ズームレンズ系を有するビデオカメラやデジタルカメラにおいては、ズームレンズを移動させてズーム比を変化させることにより、焦点位置を一定に保ちながら焦点距離を望遠側又は広角側に変化させて被写体距離を変化させている。しかしながら、微小な撮像素子を構成する上で、レンズの群数を減らすような設計やアクチュエータの数を減らすような設計を行う場合、広角側から望遠側までの光学ズーム（光学変倍）は連続ではなく階段状に変化するようになっている。

例えば図１８に示すような、第１群レンズ３０１が負、第２群レンズ３０２が正の２群構成において像側の第２群レンズ３０２のみが可動であるような光学系を考える。可動レンズ３０２の位置を図の矢印３０４で示すように移動させた場合、像面３０３は図に示すような曲線状に変化する。

すなわち、図１８に示すようなタイプのレンズでは、あるズーム倍率（焦点距離）Ａで無限遠が像面に結像するように光学系を設計した場合には、無限遠が像面に結像するズーム倍率はＡを含めて最大２つしかない。同様に、所定の焦点距離でピントが合うようなズーム倍率は最大２つしかない。しかしながらレンズの個数や駆動部を単純にできるため、小型かつ低コストでステップズームが構成できるというメリットが有る。

また、図１９（Ａ）は、光学ズームレンズの駆動部を簡略化するために用いられるカムリング機構を示している。図１９（Ｂ）は、図１９（Ａ）の鏡枠１０１３の内壁に設けられたカムリング展開図の概略である。この場合、倍率変換用のレンズ１０１１とフォーカス用のレンズ１０１２は鏡枠１０１３の回転によりカム溝１０１３ａ，１０１３ｂに従って駆動する。図の例では、ステップズームの段数は３である。この場合カムリング１個で２群のレンズを駆動できるため、駆動のためのアクチュエータの数を減らすことが出来る。このことも図１８に示す構成と同様に、撮像装置の小型化に貢献する技術である。

上記した技術は、レンズの群数や駆動部の構造を単純化して、撮像装置の小型化に貢献できるが、その反面、その構造に起因して光学ズームの段数が少なくなり、使用者が所望の構図を得ることができないというデメリットが有る。

これに対して、特開平６−３３９０８３においては、電子ズーム（電子変倍）による変倍処理を用いて、２焦点の光学系とズーム付き光学ファインダの倍率を一致させる事を開示している。また、特開２００３−２８３９１０では光学ファインダとステップズームの撮像レンズの駆動制御系を共通にして、光学ファインダと撮像系の画角をほぼ一致させるために、光学ファインダの倍率指定時にその倍率を超えない、最も近い倍率のステップズームを選択し、電子ズームによって画角の調整を行っている。特開２００１−１３６４３６においては撮影モード（静止画、動画）の変更に伴う画角の変動をキャンセルするための光学・電子変倍の技術を用いて変倍処理を行っている。

一方、近年のビデオカメラには、かかる光学ズーム以外に、撮像素子を用いて電子的に像倍率を変化させる電子ズーム機能が搭載している。この電子ズーム機能は、撮像素子の受光画面サイズより小さいサイズの撮像信号を受光画面サイズ相当の映像信号に変換するようにして、ズームレンズを移動させることなく焦点距離を望遠側に変化させる機能である。このような電子ズーム機能を有するビデオカメラにおいては、撮像素子の受光画面サイズより大きいサイズの撮像信号を得ることはできないため、望遠側へズームさせることはできても、広角側へズームさせることはできなかった。

これに対して、撮像素子の画素数と出力画像の画素数の差を利用してレンズを固定しておき、実質的に広角側の画像を生成する装置及び方法が提案されている。このような電子ズームが可能な撮像装置としては、例えば特開２０００−２９５５３０号公報に、２次元に配置された光電変換画素を有し、上記光電変換画素にランダムアクセスする固体撮像装置であって、任意に指定された画素を読み出す第１スキップ手段と、この第１スキップ手段で読み出された画像枠より小さい画像領域を読み出す第２スキップ手段と、を備え、上記第１および第２スキップ手段が読み出す画素数を等しくした固体撮像装置が記載されている。

また、特開平１０−４２１８３号公報には、光学的に画像の画角を変化させる第１の調節手段と、電子的に画像の画角を変化させる第２の調節手段と、上記第１の調節手段および第２の調節手段を制御することにより画角を決定する制御手段と、を備え、上記制御手段は、上記第２の調節手段により使用者の所望の画角に調節し、上記画角を保持しながら該画角の制御を上記第２の調節手段から実質的に上記第１の調節手段に移行させるように構成された撮像装置が記載されている。該公報に記載の撮像装置は、具体的には、ＣＣＤ型撮像素子を用いており、電子ズームを行う際に、該ＣＣＤ型撮像素子から全画素を読み出して一旦フレームメモリ等に記憶させ、その後に、全画角の一部エリアに含まれる少ない画素数に係る画素信号に基づいて電気的な補間処理を行い、所望の画角の出力画像を作り出すものとなっている。

また、特開平６−３３９０８３においては、電子ズームによる変倍処理を用いて、２焦点の光学系とズーム付き光学ファインダの倍率を一致させる事を開示している。また、特開２００２−３１４８６８においては、撮像素子上の光電変換信号をＸ−Ｙアドレス方式で読み出し、さらに、同一クロック数で、間引きの読み出しを行うことにより、撮像素子上の読み出し位置及び範囲が指定可能な撮像素子を用い、撮像位置と撮像画角の切出範囲となる切出画角を変化させる電子ズームを行う電子ズーム手段と、上記電子ズームと光学ズームとを組み合わせて制御することにより最終的に出力される画像信号に係る出力画角のズーム範囲が上記撮像画角の変化のみによりなし得る光学ズーム範囲と上記切出画角の変化のみによりなし得る電子ズーム範囲との何れよりも実質的に広くなるようにする撮像装置が提案されている。

また、特願２００２−２４９９６８においては、間引き読み出しに起因する画像の歪みに関して読み出し時の画像の歪みを、空間的、時間的補間を用いることにより低減させて高画質な画像を得る方法を提案しており、前記の間引き読み出しのステップ幅をある程度細かくとることを可能にしている。
特開平６−３３９０８３ 特開２００３−２８３９１０ 特開２００１−１３６４３６ 特開２０００−２９５５３０ 特開平１０−４２１８３号公報 特開平６−３３９０８３号公報 特開２００２−３１４８６８ 特開２００２−２４９９６８

上記特開２００２−３１４８６８において、電子ズームと光学ズームの併用により多段の変倍が可能になる撮像装置が提案されている。特開平６−３３９０８３においては、拡大処理のみ実装しているので、低倍光学＋電子拡大と、高倍光学の切り替えを行ったときに解像度の段差が大きくなる。特開２００１−１３６４３６においては、縮小・拡大の電子ズームと光学ズームを補間的に使用しているものの、光学ズームの段数を補間によって減らすような事は開示されていない。上記従来例のいずれにおいても、電子ズームと光学ズームを併用し生成された画像の解像度を保証する手段が示されていなかった。

本発明は、このような課題に着目してなされたものであり、その目的とするところは、
光学的な変倍率が離散的であった場合に、その間隔を解像度を考慮した上で電子的に補間することにより解像度の段差を少なくした撮像装置を提供することにある。

上記の目的を達成するために、本発明の第１の態様は、光学的に結像した画像を光電変換電気信号に変換して画像データを取得する撮像素子を有する撮像装置であって、変倍率が離散的である少なくとも二つの変倍率Ｗ，Ｔ（Ｗ＜Ｔ）を有し、前記撮像素子に結像される像の倍率を光学的に変える光学変倍手段と、出力される画像の変倍率として所定の変倍率Ｍ（Ｗ＜Ｍ＜Ｔ）を設定する綜合倍率設定手段と、前記変倍率Ｍの画像を得るにあたり、前記光学変倍手段により結像される変倍率Ｗの像の拡大処理を行って当該変倍率Ｍの画像を生成するのか、または前記光学変倍手段により結像される変倍率Ｔの像の縮小処理を行って当該変倍率Ｍの画像を生成するのかを制御する電子変倍手段と、を有する。

また、本発明の第２の態様は、第１の態様において、前記変倍手段が生成した変倍率Ｍの画像は、表示・記録手段に出力される。

また、本発明の第３の態様は、第１の態様において、前記電子変倍手段は、画像の解像度によって規定された変倍率の上限と下限とを有する。

また、本発明の第４の態様は、第１の態様において、変倍率の設定時の変倍率変化速度に応じて、光学変倍手段および電子変倍率の変倍率を切り替えるタイミングが制御される。

また、本発明の第５の態様は、第１の態様において、変倍率の設定時の変倍率変化方向に応じて、光学変倍手段および電子変倍手段の変倍率を切り替えるタイミングが制御される。

また、本発明の第６の態様は、第４の態様において、前記電子変倍手段の許容範囲がＺ１〜Ｚ２（Ｚ１＜１．０＜Ｚ２）、実際の切り替え倍率近傍での倍率をＺ３，Ｚ４（Ｚ１≦Ｚ３＜１．０＜Ｚ４＜Ｚ２）とすると、前記２つの変倍率Ｗ，Ｔ（Ｗ＜Ｔ）に関して、Ｗ×Ｚ４で求まる解像度とＴ×Ｚ３で求まる解像度とが所定の差以内である。

また、本発明の第７の態様は、第１の態様において、前記２つの変倍率Ｗ，Ｔ（Ｗ＜Ｔ）に関して、絞り値がＣ（Ｗ）、Ｃ（Ｔ）であるとき、倍率変換中において、暗い絞り値から明るい絞り値に変化していくときには、暗い方の絞り値から明るい方の絞り値に徐々に変化するように、電子変倍処理時のゲインに変動を持たせる。

また、本発明の第８の態様は、第１の態様において、前記電子変倍手段の変倍率の範囲を規定する解像度の基準がＳＦＲ（空間周波数応答）に基づいており、当該解像度の基準は、前記電子変倍手段による処理を行わなかった場合のＳＦＲ値で規格化した相対値である。

また、本発明の第９の態様は、第１の態様において、前記光学変倍手段の変倍率の間隔は、前記光学変倍手段と前記電子変倍手段とを用いて生成された画像の解像度が基準以上になるように設定されている。

また、本発明の第１０の態様は、第１の態様において、前記電子変倍手段は、拡大処理時において読み出された画像データの所定の領域に対して画素数を増加させるような補間処理を行い、縮小処理時において倍率変換を行わない場合のサンプリングによる読み出し領域に比べて広い領域を離散的にサンプリングし、補正処理により所定の画像データに変換する。

また、本発明の第１１の態様は、第１の態様において、データの読み出しが行われる前記撮像素子の画素の総数は一定である。

また、本発明の第１２の態様は、第１の態様において、前記光学変倍手段は、光学系の一部を入れ替えるまたは切り替える機構により離散的に光学像の倍率を変換する。

また、本発明の第１３の態様は、光学的に結像した画像を光電変換電気信号に変換して画像データを取得する撮像素子を有する撮像装置であって、変倍率が離散的である少なくとも二つの変倍率Ｗ，Ｔ（Ｗ＜Ｔ）を有し、前記撮像素子に結像される像の倍率を光学的に変える光学変倍手段と、出力される画像の変倍率として所定の変倍率Ｍ（Ｗ＜Ｍ＜Ｔ）を設定する綜合倍率設定手段と、前記変倍率Ｍの画像を得るにあたり、前記光学変倍手段により結像される変倍率Ｔの像の縮小処理を行って当該変倍率Ｍの画像を生成する電子変倍手段と、を有する。

本発明によれば、光学的な変倍率が離散的であった場合に、その間隔を解像度を考慮した上で電子的に補間するようにしたので、解像度の段差を少なくした撮像装置を提供することが可能になる。

以下、図面を参照して本発明の実施形態を詳細に説明する。図１は、本発明が適用される撮像装置の構成を示す図である。図１において、変倍光学系１０１を通った光線３００は撮像素子としてのイメージャ１０２上に結像する。イメージャ１０２は、光電変換により結像した光学像を電気信号に変換する。ゲイン調整部１１０で該電気信号に対するゲイン調整がなされ、さらに同次化処理／フィルタ処理部１０３で同次化処理及びフィルタ処理がなされる。フィルタ処理のなかには、後述するような間引き読み出しに対する歪み補正のフィルタ処理を含んでいる。

さらに、画像メモリ（ラインメモリ）１０４に画像信号を一時的に保持し、変倍処理部１０５で変倍処理を行う。読み出し領域・規則設定手段１０７は、画像データの読み出し領域及び読み出し規則を設定する部分である。ここで、同次化処理・フィルタ処理部１０３、変倍処理部１０５、読み出し領域・規則設定手段１０７は、電子変倍手段に関連する機構である。レンズ移動制御系１０８はレンズの移動制御を行う光学変倍手段である。

さらに、総合倍率設定手段１００は、実効的な変倍画像を提供するための総合倍率を決定する手段であり、倍率によって、レンズの移動、読み出し領域、読み出し規則（間引き読み出し）の設定、撮像後の画像の変倍（拡大処理）および、光学変倍の切り替えに伴う明るさの変化を補償するゲイン調整を制御する。また、総合倍率決定手段１００は、ズーム変更指定時の変化速度に応じて、上記光学変倍手段と、上記電子変倍手段の変更タイミングを制御する。また、総合倍率決定手段１００は、ズームを望遠方向に移動した場合と、広角方向に移動した場合を峻別し、光学変倍手段と電子変倍手段の変更タイミングを制御する。

図２（Ａ）〜（Ｃ）は、電子ズームによる倍率変換について説明するための図である。図２（Ａ）は縮小処理の例であり、図２（Ｂ）は全画素読み出しの例であり、図２（Ｃ）は拡大処理の例を示している。

図２（Ｂ）の全画素読み出しではイメージャ１０２上の領域を全画素サンプリングし、電子的な倍率変換を行わずに画像を形成する。これに対して、図２（Ａ）の間引き読み出しでは、図２（Ｂ）の読み出し領域２０３よりも広い読み出し領域２０１の画素データを間引き読み出しによって読み出し、最終的に図２（Ｂ）の場合と同じサイズの画像を形成する。したがって、図２（Ａ）のサンプリングでは縮小処理を行った事になる。

なお、間引き読み出しを行った場合の画像の歪み等の補正は図１のフィルタ処理部１０３で行う。

図２（Ｃ）の処理では、図２（Ｂ）と同様の全画素読み出しを行った後に、図１の変倍処理部１０５で倍率変換を行う。図２（Ｂ）の全画素読み出しで得られた画像データの一部の領域から、全画素読み出しを行って生成した画像と同じサイズの画像を形成する。従って図２（Ｃ）の処理では拡大処理を行っていることになる。

上記のように、電子変倍を行うときに拡大処理と縮小処理があるが、縮小処理を行う場合には、イメージャが出力する画像よりも多い画素数の領域を取り込み、補間処理等の変倍処理により出力画像を生成する。この場合は、撮像するエリアの大きさによって、取り込み画素の総クロック数が異なる。すなわち、変倍の倍率が広角側になるほど、多くのクロック数を必要とする。すなわち、１画面を得るための撮像のクロック数や処理時間が、画角（ズーミング）によって変化しても問題が無いような使用状況であれば、図２の様な画素混合による読み出しや、間引き読み出しを行う必要は無い。これに対して、図２の様に、間引き読み出し、画素混合による複数画素の同時読み出しを用いて、クロック数を変化させずに読み出し領域の広さだけを変化させることが出来る。

図３（Ａ）〜３（Ｃ）は、光学倍率を一定に保ち電子ズームによって像の変倍を行い、最終的な像倍率を変化させる様子を示している。図３（Ａ）は、イメージャ１．３Ｍ内の０．３７Ｍの画素から間引き読み出しにより０．３Ｍとしてメモリに記憶するとともに、出力する方法であり、広角（ワイド）の状態に相当する。図３（Ｂ）は、イメージャ１．３Ｍ内の０．３Ｍの画素から１画素読み出しを行い、そのままメモリに記憶するとともに出力する方法である。図３（Ｃ）は、イメージャ１．３Ｍ内の０．３Ｍの画素から１画素読み出しを行ってメモリに記憶し、このうち０．２５Ｍのデータを読み出して０．３Ｍに拡大し出力する方法であり、望遠（テレ）の状態に相当する。

このとき、１回取り込んだ画像に対して線形補間などによる拡大処理を行い、この倍率間隔を補間する。しかしながら、補間処理による電子変倍は、その変倍率が大きくなるにつれて、画像が劣化することが知られており、通常１〜１．３倍程度の小さい拡大率であれば問題が無いが、１．５から２倍程度以上の拡大処理を行うと、光学ズームに比べ、劣化が目立つ。

このような拡大処理のみによる画像の劣化を補償するために、イメージャ１０２の間引き読み出しと歪み補正処理による変倍を行う。

図４は、イメージャ１０２上の画素の間引き読み出しを行った後に、歪みの補正処理を行う手段を備えた撮像装置２００の構成を示している。撮像装置２００は、被写体の光学像を結像する電子変倍手段１１０と、この電子変倍手段１１０により結像された光学像の所定の領域の画像信号を出力するイメージャ１０２とを有している。

イメージャ１０２は、電子変倍手段１０１により結像された光学像を光電変換してデジタル画像データ（画素データの集合）を取得するエリア状の光電変換素子２２２と、光電変換素子２２２で取得された画像データを必要に応じて画素間引きして読み出す読み出し制御部２２４とを有している。

さらに、領域設定部１３２は、イメージャ１０２のどの領域を画像として出力するかを設定する。読み出し規則選択部２３４は、設定された読み出し領域に基づいて読み出し規則を選択する部分である。読み出し位相制御部２３０は、読み出し制御部２２４が読み出す画素データの範囲の基準位置をシフトさせる部分である。

ここで、出力する画像のサイズとイメージャ１０２上の領域のサイズに差が有る場合には、イメージャ１０２上の画像を間引いて読み出し、さらに、歪み補正処理部１４０で歪みの補正を行う。歪み補正部１４０は、ＬＵＴ記憶部１４６と、フィルタ係数選択部１４８とを有するフィルタ係数設定部１４４と、フィルタ処理部１４２とを有する。

次に、間引き読み出しの歪み補正処理の詳細について説明する。図５は水平方向・垂直方向共に８画素のうち２画素を間引きして読み出す例を示している。図５の例による読み出し方法では画像に段差が出来てしまう、そこで、図６（Ａ）に示すように、読み飛ばした画素を周囲の画素を用いて線形補間によって埋めて８画素のデータとし、これを線形補間で６画素にする操作を考える。すなわち、図６（Ｂ）に示すように不均一な画素間隔でのサンプリングを均一なサンプリングに変換する処理を行う。

ここで、間引きを伴う１ラインの読み出しについて考える。図７は間引き読み出し処理のパイプライン構成を示しており、シフトレジスタ１６２と、一対のセレクタ１６４，１６６と、一対の乗算器１７４，１７６と、加算器１７８とから構成される。図７の左上を基準とすると読み出した画素位置は、Ｒｉ₀ ，Ｇｉ₁ ，Ｒｉ₂ ，Ｇｉ₃ ，Ｒｉ₄ ，Ｇｉ₅ ，Ｒｉ₆ ，Ｇｉ₇ となり、以下同じ規則の繰り返しになる。この例における歪み補正（変換）の行列表現は、

となる。

図７において、シフトレジスタ１６２は、クロックに従う一回の動作毎に、保持している画像データを右方向に１つシフトする。セレクタ１６４は、選択信号ｓ１の状態に従って、シフトレジスタ１６２に保持されている隣接している５つの画素データｉ０〜ｉ５のうちの１番目と３番目のいずれかを選択する。また、セレクタ１６６は、選択信号ｓ２の状態に従って、シフトレジスタ１６２に保持されている隣接している５つの画素データｉ０〜ｉ５のうちの３番目と５番目のいずれかを選択する。

乗算器１７４は、セレクタ１６４の出力ｄ１に重み付け加算の係数ｋ１を乗算し、乗算器１７６は、セレクタ１６６の出力ｄ２に重み付け加算の係数ｋ２を乗算し、加算器１７８は、乗算器１９４の出力と乗算器１９６の出力とを加算する。

図８は、図４に示したフィルタ処理部１４２のパイプライン処理の動作（状態遷移）を表している。

シフトレジスタ１６２に供給される画素データ列（ｉ０、ｉ１、ｉ２、…）は、Ｃ１＝ｉ０、Ｃ２＝ｉ１、Ｃ３＝ｉ２、…を初期状態として、クロックに従う一回の動作毎に右方向にシフトしていく。これに伴い、セレクタ１６４は、ｓ１が０のときはＣ１を選択し（従ってｄ１＝Ｃ１となり）、ｓ１が１のときはＣ３を選択する（従ってｄ１＝Ｃ３となる）。一方、セレクタ１６６は、ｓ２が０のときはＣ３を選択し（従ってｄ２＝Ｃ３となり）、ｓ２が１のときはＣ５を選択する（従ってｄ２＝Ｃ５となる）。

また、クロックに同期して図４のフィルタ係数設定部１４４内のメモリから係数ｋ１が乗算器１７４に、係数ｋ２が乗算器１７６に供給される。したがって、加算器１７８からはｏｕｔ＝ｋ１×ｄ１＋ｋ２×ｄ２が出力される。

図８から分かるように、逐次データのシフト、ｓ１とｓ２の状態に従ったセレクタの切り換え、式（１）に示した間引き規則に応じた重み付け係数ｋ１とｋ２の出力、重み付け加算演算を同期して行なうことによって、画素の位相操作（セレクタ切り換え）を含めたパイプライン処理が行なわれる。

本実施形態の撮像装置では、入力画像として動画の場合を想定し、インターレース操作が２つのフィールド間で互いの欠落している画素データを補間するように、連続する２つのフレーム間で互いの欠落している画素データを補間する。例えば、読み出し位相制御部２３０は、連続する複数のフレームの画像データがそれら全体で欠落した画素データを持たないように、読み出し制御部２２４が読み出す画素データの範囲の基準位置をシフトさせる。シフト量は２〜８画素程度が好ましい。

図９（Ａ）と図９（Ｂ）は、６／８の間引き読み出しの繰り返しによる読み出しにおける読み出し範囲の基準位置のシフトの様子を模式的に示している。図９（Ａ），図９（Ｂ）において、［ｘ，ｙ］は光電変換素子２２２の画素配列の画素位置、（ｘ，ｙ）は読み出し範囲の画素データ配列を表している。

図９（Ａ）と図９（Ｂ）に示されるように、光電変換素子２２２の画素数は水平方向にｋ画素、垂直方向にｌ画素である。従って、光電変換素子２２２の左上の画素の位置は［０，０］、右下の画素の位置は［ｋ，ｌ］と表せる。また、１フレームの読み出し範囲の画素数は水平方向にｍ画素、垂直方向にｎ画素である。従って、フレームの左上の読み出し開始位置は（０，０）、右下の読み出し終了位置は（ｍ，ｎ）と表せる。図９（Ｂ）のフレームの読み出し範囲は、図９（Ａ）のフレームの読み出し範囲に対して、水平方向に＋２画素、垂直方向に＋２画素シフトしている。

図９（Ａ）のフレームでは、左上の読み出し開始位置（０，０）は、光電変換素子２２２の左上の画素位置［０，０］に一致している。つまり、
（０，０）＝［０，０］ …（３）
である。また、読み出し終了位置（ｍ，ｎ）は、
（ｍ，ｎ）＝［ｋ−２，ｌ−２］ …（４）
である。

一方、図９（Ｂ）のフレームでは、左上の読み出し開始位置は、
（０，０）＝［２，２］ …（５）
である。また、読み出しの終了位置は、
（ｍ，ｎ）＝［ｋ，ｌ］ …（６）
である。

画像範囲選択処理部２４０は、図９（Ａ）のフレームと図９（Ｂ）のフレームに共通する範囲を選択する。すなわち、図９（Ｂ）のフレームに対しては、（２，２）と（ｍ，ｎ）を対角の頂点とする矩形の範囲を選択し、図９（Ａ）のフレームに対しては、（０，０）から（ｍ−２，ｎ−２）を対角の頂点とする矩形の範囲を選択する。画像範囲選択処理部２４０で選択された範囲は、常に（ｍ−２）×（ｎ−２）個の画素データを有している。

また、予めクロップする領域を考慮すると、イメージャ１０２から読み出す画像の総数は出力の画像サイズと位相シフト分を考慮する必要がある。画像範囲選択処理部２４０は、読み出し開始位置の情報に基づいて、クロップの範囲を変更する。

フレームメモリ２５２，２５４，２５６はＦＩＦＯ（First In First Out）のメモリとなっており、フレーム間演算処理部２６０はそれらのフレームメモリ２５２，２５４，２５６にある第１のフレームのデータと第１のフレームとは異なる第２のフレームでの同一位置の画素を用いて出力画像を生成する。

例えば、２フレームの場合、合成画像ｏｕｔ（ｉ，ｊ）は、
out(i,j)＝０．５ｌ(k,i,j)＋０．５ｌ(k-1,i,j) …（７）
である。ここで、ｉ，ｊは画素位置を表し、ｌ（ｋ，ｉ，ｊ）はｋ番目のフレームの画素位置ｉ，ｊの画像信号の強度である。

また、３フレームの場合、合成画像ｏｕｔ（ｉ，ｊ）は、加重配分を用いて、
out(i,j)＝0.25ｌ(k,i,j)＋0.5ｌ(k-1,i,j)＋0.25ｌ(k-2,i,j) …（８）
である。

複数のフレーム間で異なる読み出し規則で読み出され、歪み補正のフィルタ処理を行った画像データは画像範囲選択処理部２４０でフレーム間の画像の位置ずれを補正する。フレームメモリ２５２，２５４，２５６で所定のフレーム分のデータを蓄積し、フレーム間演算処理部２６０でフレーム間演算が行われ、画像信号処理部１５２で所定の処理を行った後、画像表示部１５４及び画像記録部１５６にデータを出力する。フレーム間補間を行なうことによって、１フレームの歪み補正の効果に加えて、ローパスによる画像の平滑化の効果が得られる。

図１０（Ａ）〜（Ｃ）は、デジタル画像の解像度を評価する際に用いられるＳＦＲ（空間周波数応答）の原理を説明するための図である。まず、図１０（Ａ）に示すような既知の傾きをもつエッジを有する画像を用意する。このエッジの位置を図１０（Ｂ）に示すような離散的にサンプリングした画素に適用する。そして、当該エッジの位置を基準に格子位置をエッジが直立した状態になるまでシフトさせ（図１０（Ｃ））、理想的なエッジが有ったと仮定した場合におけるサンプリング間隔で得られるデータの応答を示すことが出来る。このような方法によりデジタル画像の格子間隔に対応する周波数よりも高い周波数までの空間周波数応答特性を評価することが出来る。

図１１は、ＳＦＲによって測定した空間周波数応答の例を示している。横軸は画像の画素をサンプリング単位とした場合のナイキスト周波数を１として規格化した相対空間周波数であり、縦軸はＤＣの応答を１として規格化した空間周波数応答の相対利得である。デジタル画像の解像度の評価値としてナイキストでの利得を使用することが出来る。もちろん他の周波数を基準として用いることが出来るが、有効な範囲としてナイキストの１／３から１倍程度である。

図１２は、図２、図３に示したような電子ズームによる変倍操作を行ったときの解像度の変化を、図１１で示したような、ナイキスト周波数での利得を解像度の評価値として用いて示したものである。ここでは、変倍操作を行わない１倍のときの解像度の評価値を１として規格化している。このような解像度の評価を行うことで所定の解像度評価値の下限を設定し、所望の解像度以上を得るための有効な電子ズーム変倍率の範囲を設定することが出来る。

図１３は、離散的な２つの光学倍率Ａ，Ｂと、図５で示した電子変倍率の範囲を比較して示す図である。図１１の解像度の基準を用いて、電子ズームで有効な変倍率を０．７５から１．２とし０．０５倍ごとにステップを設ける。

0.75／0.8／0.85／0.9／0.95／1.0／1.05／1.1／1.15／1.2
これに対して、２群構成の光学ズームの倍率を１倍と１．７倍で設計すると、光学ズームと電子ズームの併用で以下の倍率が実現する。

光学１倍：
0.75／0.8／0.85／0.9／0.95／1.0／1.05／1.1／1.15／1.2
光学１．７倍：
1.275／1.36／1.45／1.53／1.62／1.7／1.79／1.87／1.96／2.04
従って総合変倍率が０．７５倍から２．０４倍のズーム倍率を持つ撮像装置になり、倍率のステップは２０段階になる。

図１４は光学ズームと電子ズームの組み合わせによる変倍に於いて、倍率の切り替え時の光学ズームの倍率変動に伴うＦ値の変動を補償するため、図１のゲイン調整部１１０によってゲイン調整を行う様子を示している。倍率がＡ，Ｂ，Ｃと有りそれぞれの開放ｆ値がａ１≧ｂ１≧ｃ１とすると、Ａ→Ｂの倍率切り替えで明るさはａ₁ ²／ｂ₁ ²倍になるので、この明るさに自然に接続するようにゲインを調整する。同じくＢ→Ｃの切り替えでは、ｂ₁ ²／ｃ₁ ²倍となり、これを補償する様にゲイン調整を行う、光学倍率がＣになったところでは、これよりＦ値が低い倍率に接続する必要が無いので、ゲインは一定のままにしておく。

このように、光学ズームと拡大縮小の電子ズームの組み合わせと解像度補償を行っても、切り替えの前後では解像度の段差は僅かながら残る。そこで、目標とするフレーミングより前に切り替えのポイントが来るように、Ｗ（ワイド）→Ｔ（テレ），Ｔ→Ｗで光学ズームの切り替えポイントを変更する。

図１５はその様子を示したもので、Ｗ→Ｔに於いては低倍率で高倍光学系に切り替え、Ｔ→Ｗでは高倍率で広角光学系に切り替える様にする。本実施形態ではこのように、Ｗ→Ｔ，Ｔ→Ｗで光学ズームの切り替えポイントを変更するので、目標のフレーミングになる前に光学ズームの切り替えが終了することになり、これによって解像度の段差感を低減することが出来る。

図１８あるいは図１９に示したように離散的な変倍率を有するような光学配置、鏡胴の構造を持つ光学ズーム手段を用いて電子ズームとの組み合わせることによって、多くの倍率のズームが可能となり、さらに、解像度の基準を補償するような電子ズームの変倍範囲と光学ズームの設計を行うことで、２つの変倍方式を具備し、解像度を補償するような撮像装置を提供することが可能となる。

さらに、段階的に焦点距離を変える方法としては、レンズ系の構成を切り替える方法が考えられる。図１６に示したように、ミラー１０４１を用いて望遠のレンズ系１０４２と広角のレンズ系１０４３の光路を切り替える。

同様に図１７に示すようなリレーレンズ系において、マスターレンズ１０５１に対して、負正の２群構成の広角レンズ１０５２と、正負の２群構成の望遠レンズ１０５３とを代替的に光路に挿入することにより広角と望遠を実現することができる。なお、図１７においては、前２群と集光レンズとマスターレンズの間は、ほぼ並行光束となっている。

本発明が適用される撮像装置の構成を示す図である。 イメージャ１０２上のサンプリング方式と電子的な倍率変換について説明するための図である。 光学倍率を一定に保ち電子変倍によって像の変倍を行い、最終的な像倍率を変化させる様子を示す図である。 イメージャ１０２上の画素の間引き読み出しを行った後に、歪みの補正処理を行う手段を備えた撮像装置２００の構成を示す図である。 水平方向・垂直方向共に８画素のうち２画素を間引きして読み出す例を示す図である。 歪み補正処理の概念図である。 間引き読み出し処理のパイプライン構成を示す図である。 図４に示したフィルタ処理部１４２のパイプライン処理の動作（状態遷移）を表す図である。 ６／８の間引き読み出しの繰り返しによる読み出しにおける読み出し範囲の基準位置のシフトの様子を模式的に示す図である。 デジタル画像の解像度を評価する際に用いられるＳＦＲ（空間周波数応答）の原理を説明するための図である。 ＳＦＲによって測定した空間周波数応答の例を示す図である。 図２、図３に示したような電子ズームによる変倍操作を行ったときの解像度の変化を、図１１で示したような、ナイキスト周波数での利得を解像度の評価値として用いて示す図である。 離散的な２つの光学倍率Ａ，Ｂと、図５で示した電子変倍率の範囲を比較して示す図である。 光学ズームと電子ズームの組み合わせによる変倍に於いてゲイン調整を行う様子を示す図である。 Ｗ→Ｔ，Ｔ→Ｗで光学ズームの切り替えポイントを変更するようすを示す図である。 ミラー１０４１により望遠のレンズ系１０４２と広角のレンズ系１０４３の光路を切り替える構成を示す図である。 マスターレンズ１０５１に対して、負正の２群構成の広角レンズ１０５２と、正負の２群構成の望遠レンズ１０５３に切り替える構成を示す図である。 第１群レンズ３０１が負、第２群レンズ３０２が正の２群構成において像側の第２群レンズ３０２のみが可動で光学系を示す図である。 （Ａ）は、光学ズームレンズの駆動部を簡略化するために用いられるカムリング機構を示す図であり、（Ｂ）は、（Ａ）の鏡枠１０１３の内壁に設けられたカムリング展開図の概略を示す図である。

符号の説明

１００ 結合倍率設定手段
１０１ 変倍光学系
１０２ イメージャ
１０３ 同次化処理／フィルタ処理部
１０４ 画像メモリ
１０５ 変倍処理部
１０６ 表示・記録部
１０７ 読み出し領域・規則設定手段
１０８ レンズ移動制御系
１１０ ゲイン調整部
１１１ 像

Claims (13)

1. 光学的に結像した画像を光電変換電気信号に変換して画像データを取得する撮像素子を有する撮像装置であって、
   変倍率が離散的である少なくとも二つの変倍率Ｗ，Ｔ（Ｗ＜Ｔ）を有し、前記撮像素子に結像される像の倍率を光学的に変える光学変倍手段と、
   出力される画像の変倍率として所定の変倍率Ｍ（Ｗ＜Ｍ＜Ｔ）を設定する綜合倍率設定手段と、
   前記変倍率Ｍの画像を得るにあたり、前記光学変倍手段により結像される変倍率Ｗの像の拡大処理を行って当該変倍率Ｍの画像を生成するのか、または前記光学変倍手段により結像される変倍率Ｔの像の縮小処理を行って当該変倍率Ｍの画像を生成するのかを制御する電子変倍手段と、
   を有することを特徴とする撮像装置。
2. 前記変倍手段が生成した変倍率Ｍの画像は、表示・記録手段に出力されることを特徴とする請求項１記載の撮像装置。
3. 前記電子変倍手段は、画像の解像度によって規定された変倍率の上限と下限とを有することを特徴とする請求項１記載の撮像装置。
4. 変倍率の設定時の変倍率変化速度に応じて、光学変倍手段および電子変倍率の変倍率を切り替えるタイミングが制御されることを特徴とする請求項１記載の撮像装置。
5. 変倍率の設定時の変倍率変化方向に応じて、光学変倍手段および電子変倍手段の変倍率を切り替えるタイミングが制御されることを特徴とする請求項１記載の撮像装置。
6. 前記電子変倍手段の許容範囲がＺ１〜Ｚ２（Ｚ１＜１．０＜Ｚ２）、実際の切り替え倍率近傍での倍率をＺ３，Ｚ４（Ｚ１≦Ｚ３＜１．０＜Ｚ４＜Ｚ２）とすると、前記２つの変倍率Ｗ，Ｔ（Ｗ＜Ｔ）に関して、Ｗ×Ｚ４で求まる解像度とＴ×Ｚ３で求まる解像度とが所定の差以内であることを特徴とする請求項４記載の撮像装置。
7. 前記２つの変倍率Ｗ，Ｔ（Ｗ＜Ｔ）に関して、絞り値がＣ（Ｗ）、Ｃ（Ｔ）であるとき、倍率変換中において、暗い絞り値から明るい絞り値に変化していくときには、暗い方の絞り値から明るい方の絞り値に徐々に変化するように、電子変倍処理時のゲインに変動を持たせることを特徴とする請求項１記載の撮像装置。
8. 前記電子変倍手段の変倍率の範囲を規定する解像度の基準がＳＦＲ（空間周波数応答）に基づいており、当該解像度の基準は、前記電子変倍手段による処理を行わなかった場合のＳＦＲ値で規格化した相対値であることを特徴とする請求項１記載の撮像装置。
9. 前記光学変倍手段の変倍率の間隔は、前記光学変倍手段と前記電子変倍手段とを用いて生成された画像の解像度が基準以上になるように設定されていることを特徴とする請求項１記載の撮像装置。
10. 前記電子変倍手段は、拡大処理時において読み出された画像データの所定の領域に対して画素数を増加させるような補間処理を行い、縮小処理時において倍率変換を行わない場合のサンプリングによる読み出し領域に比べて広い領域を離散的にサンプリングし、補正処理により所定の画像データに変換することを特徴とする請求項１記載の撮像装置。
11. データの読み出しが行われる前記撮像素子の画素の総数は一定であることを特徴とする請求項１記載の撮像装置。
12. 前記光学変倍手段は、光学系の一部を入れ替えるまたは切り替える機構により離散的に光学像の倍率を変換することを特徴とする請求項１記載の撮像装置。
13. 光学的に結像した画像を光電変換電気信号に変換して画像データを取得する撮像素子を有する撮像装置であって、
    変倍率が離散的である少なくとも二つの変倍率Ｗ，Ｔ（Ｗ＜Ｔ）を有し、前記撮像素子に結像される像の倍率を光学的に変える光学変倍手段と、
    出力される画像の変倍率として所定の変倍率Ｍ（Ｗ＜Ｍ＜Ｔ）を設定する綜合倍率設定手段と、
    前記変倍率Ｍの画像を得るにあたり、前記光学変倍手段により結像される変倍率Ｔの像の縮小処理を行って当該変倍率Ｍの画像を生成する電子変倍手段と、
    を有することを特徴とする撮像装置。

Images