JP2007037176A

JP2007037176A - 撮像装置

Info

Publication number: JP2007037176A
Application number: JP2006246129A
Authority: JP
Inventors: Nobuyuki Watanabe; 伸之渡辺; Fumiyuki Shiratani; 文行白谷; Noriyuki Iyama; 紀之猪山; Shinichi Mihara; 伸一三原; Hiroyuki Namikata; 寛之南方
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2006-09-11
Filing date: 2006-09-11
Publication date: 2007-02-08

Abstract

【課題】連続する複数の画像を用いて画像データを補正することが可能な撮像装置を提供すること。
【解決手段】光学的に結像した画像を光電変換により電気信号に変換して画像データを取得する撮像素子を有する撮像装置であって、撮像素子で取得された画像データを必要に応じて画素間引きして読み出す読出し制御部２２４と、読み出し制御部２２４が読み出す画素データの範囲の基準位置をシフトさせる読み出し位相制御部２３０と、を備え、前記読み出し位相制御部２３０は連続する複数のフレームの画像データがそれら全体で欠落した画素データを持たないように、読出し制御部２２４が読み出す画素データの範囲の基準位置をシフトさせる。
【選択図】図１

Description

本発明は、連続する複数の画像を用いた画像処理機能を備えた撮像装置に関する。

ズームレンズ系を有するビデオカメラ、デジタルカメラにおいては、ズームレンズを移動させてズーム比を変化させることにより、焦点位置を一定に保ちながら焦点距離を望遠側又は広角側に変化させることにより被写体距離を変化させている。しかしながら微小な撮像素子を構成する上で、レンズの群数を減らすような設計を行う場合、光学ズームは広角側から望遠側までのズームは連続ではなく、段階的に変化するようになっている。

図１０に示すように、物体側から順に負の屈折力を有し、変倍・合焦時固定の第１レンズ群１００１と、正の屈折力を有し、変倍あるいは合焦時に移動する第２レンズ群１００２とを含む光学系において、第２レンズ群１００２の位置を図に示すように移動させた場合、像面は図に示すような曲線状に変化する。駆動部が一群しかないため、フォーカスと像倍率は同時に変化せざるを得ず、使用者が希望している構図が常に作れるとは限らない。

図１０に示すａの曲線に対応するような被写体に対してフォーカスを行っているときに、被写体がａ’の曲線に対応する位置に移動した場合、フォーカスを行うことにより画角が広角側に移動する。

なお、図１０からわかるように、ａ’はａに比べて無限遠に近い。すなわち、広角付近で関心のある被写体が遠ざかって行った場合、フォーカシングによって画角は広角側に移動し不自然な感じを与えてしまう。また、望遠側の場合には被写体が遠ざかることによって画角が小さくなる。この場合、遠ざかることによって拡大方向になるので、問題は広角側のときほど深刻ではない。

一方、図１２のように正、負、正の構成をもつレンズタイプ１０３１、１０３２、１０３３を用いたときは、広角側では被写体が遠ざかることによりアップになり、場合によっては好ましい結果になるが、望遠側においては、遠ざかる物体に対して、フォーカスにより画角は広くなる方向に変化する。この場合、使用者が意図しているフレーミングというよりは、レンズのフォーカスによってフレーミングの変化が起きてしまい、それを使わざるを得ないという状況である。さらに、止まっている物体のフォーカシングとフレーミングに対しても問題が生じる。

図１３はこの問題を説明するための図である。図１３において、使用者は画角１０２２を意図して被写体ａ，ｂを撮影しようとして合焦させた結果、画角１０２２は１０２３の様になり、被写体ｂの一部が欠けてしまう。

さらに、マクロ撮影の場合は焦点変動が大きいので画角の変動も大きくなる。しかしながら図１０〜図１２に示した１群のみ可動なズーム光学系はレンズの個数や駆動部を単純にできるため、小型、低コストでステップズームが構成できるという大きなメリットが有る。

特開平６−３３９０８３号公報においては、電子ズームによる変倍処理を用いて、２焦点の光学系とズーム付き光学ファインダの倍率を一致させる事を開示している。電子ズームによって、フォーカス時の画角変動を補償するという技術に関しては、特開２００２−１８２３０２号公報、特開平１１−２３９４９号公報に開示されており、電子ズームの倍率を目的の倍率に滑らかに前記させることによって使用者の違和感を低減させている。また、特開２００３−２８３９１０号公報では光学ファインダとステップズームの撮像レンズの駆動制御系を共通にして、光学ファインダと撮像系の画角をほぼ一致させるために、光学ファインダの倍率指定時にその倍率を超えない、最も近い倍率のステップズームを選択し、電子ズームによって画角の調整を行っている。

一方、近年のビデオカメラには、かかる光学ズーム以外に、撮像素子を用いて電子的に像倍率を変化させる電子ズーム機能が搭載している。この電子ズーム機能は、撮像素子の受光画面サイズより小さいサイズの撮像信号を受光画面サイズ相当の映像信号に変換するようにして、ズームレンズを移動させることなく焦点距離を望遠側に変化させる機能である。

このような電子ズーム機能を有するビデオカメラにおいては、撮像素子の受光画面サイズより大きいサイズの撮像信号を得ることはできないため、望遠側へズームさせることはできても広角側へズームさせることはできなかった。これに対して、撮像素子の画素数と出力画像の画素数の差を利用して、レンズを固定しておき、実質的に広角側の画像を生成する装置・方法が提案されている。このような電子ズームが可能な撮像装置としては、例えば特開２０００−２９５５３０号公報が挙げられる。これは、２次元に配置された光電変換画素を有し、上記光電変換画素にランダムアクセスする固体撮像装置であって、任意に指定された画素を読み出す第１スキップ手段と、この第１スキップ手段で読み出された画像枠より小さい画像領域を読み出す第２スキップ手段と、を備え、上記第１および第２スキップ手段が読み出す画素数を等しくした固体撮像装置を開示している。

また、特開平１０−４２１８３号公報は、光学的に画像の画角を変化させる第１の調節手段と、電子的に画像の画角を変化させる第２の調節手段と、上記第１の調節手段および第２の調節手段を制御することにより画角を決定する制御手段と、を備え、上記制御手段は、上記第２の調節手段により使用者の所望の画角に調節し、上記画角を保持しながら該画角の制御を上記第２の調節手段から実質的に上記第１の調節手段に移行させるように構成された撮像装置を開示している。この撮像装置はＣＣＤ型撮像素子を用いており、電子ズームを行う際に、該ＣＣＤ型撮像素子から全画素を読み出して一旦フレームメモリ等に記憶させ、その後に、全画角の一部エリアに含まれる少ない画素数に係る画素信号に基づいて電気的な補間処理を行い、所望の画角の出力画像を生成している。

また、特開２００２−３１４８６８は、撮像素子上の光電変換信号をＸ−Ｙアドレス方式で読み出し、さらに、同一クロック数で間引きの読み出しを行うことにより、撮像素子上の読み出し位置及び範囲が指定可能な撮像素子を用いた撮像装置を開示している。この撮像装置は、撮像位置と撮像画角の切出範囲となる切出画角を変化させる電子ズームを行う電子ズーム手段と、上記電子ズームと光学ズームとを組み合わせて制御することにより最終的に出力される画像信号に係る出力画角のズーム範囲が上記撮像画角の変化のみによりなし得る光学ズーム範囲と上記切出画角の変化のみによりなし得る電子ズーム範囲との何れよりも実質的に広くなるように制御することを開示している。

また、特願２００２−２４９９６８号公報は、間引き読み出しに起因する画像の歪みに関して読み出し時の画像の歪みを、空間的かつ時間的補間を用いることにより低減させ高画質な画像を得る方法を提案しており、前記の間引き読み出しのステップ幅を有る程度細かく取る事を可能にしている。
特開平６−３３９０８３号公報特開２００２−１８２３０２号公報特開平１１−２３９４９号公報特開２００３−２８３９１０号公報特開２０００−２９５５３０号公報特開平１０−４２１８３号公報特開２００２−３１４８６８号公報特願２００２−２４９９６８号公報

上記のように、図１０に示すような、物体側から順に負の屈折力を有し、変倍・合焦時固定の第１レンズ群１００１と、正の屈折力を有し、変倍あるいは合焦時に移動する第２レンズ群１００２とを含む光学系において、第２レンズ群１００２の位置を図に示すように移動させた場合、駆動部が一群しかないため、フォーカスと像倍率は同時に変化せざるを得ず、使用者が希望している構図が常に作れるとは限らない。

例えば、広角付近で関心のある被写体が遠ざかって行った場合、フォーカシングによって画角は広角側に移動し不自然な感じを与えてしまう。

一方、図１２のように正、負、正の構成をもつレンズタイプを用いたときは、広角側では被写体が遠ざかることによりアップになり、望遠側においては、遠ざかる物体に対して、フォーカスにより画角は広くなる方向に変化する。この場合、使用者が意図しているフレーミングというよりは、レンズのフォーカスによってフレーミングの変化が起きてしまい、それを使わざるを得ないという状況である。さらに、止まっている物体のフォーカシングとフレーミングに対しても問題が生じる。

例えば、図１３において、使用者は画角１０２２を意図して被写体ａ，ｂを撮影しようとして合焦させた結果、画角１０２２は１０２３の様になり、被写体ｂの一部が欠けてしまう。

ところで、電子変倍を行うときに、拡大処理と縮小処理が有り、縮小処理を行う場合、イメージャ１０２上では出力する画像より多い画素数の領域を取り込み、補間処理等の変倍処理により出力画像を生成する。このとき図２のように、間引き読み出しを用いて、クロック数を変化させずに読み出し領域の広さだけを変化させることができる。

ただし、間引き読み出しを行っただけでは、たとえフレーム間の補間処理を行ったときに画像の歪みが発生してしまい画質の劣化は免れない。

本発明はこのような課題を鑑み、その目的とするところは、連続する複数の画像を用いて、フォーカシングを行う際に生じる画角の変動を補償することによって、使用者が意図する画角での撮像を可能にし、また、動画像のＡＦにおいても、被写体の移動に伴う画角の変動を抑止することができる撮像装置を提供することにある。あるいは、間引き読み出しを行ったときに発生する画像の歪みを低減することができる撮像装置を提供することにある。

上記の目的を達成するために、本発明の第１の態様は、光学的に結像した画像を光電変換により電気信号に変換して画像データを取得する撮像素子を有する撮像装置であって、前記撮像素子で取得された画像データを必要に応じて画素間引きして読み出す読出し制御手段と、該読み出し制御手段が読み出す画素データの範囲の基準位置をシフトさせる読み出し位相制御手段と、を備え、前記読み出し位相制御手段は連続する複数のフレームの画像データがそれら全体で欠落した画素データを持たないように、前記読出し制御手段が読み出す画素データの範囲の基準位置をシフトさせる。

また、本発明の第２の態様は、光学的に結像した画像を光電変換により電気信号に変換して画像データを取得する撮像素子を有する撮像装置であって、光学的に像の倍率を変換する光学変倍手段と、画像データに対して信号処理により縮小あるいは拡大の倍率を変換する電子変倍手段と、前記撮像素子で取得された画像データを必要に応じて画素間引きして読み出す読出し制御手段と、該読み出し制御手段が読み出す画素データの範囲の基準位置をシフトさせる読み出し位相制御手段と、を備え、前記光学変倍手段と前記電子変倍手段とに基づいた所定の変倍率による変倍画像を提供するものであり、前記光学変倍手段は、変倍率が離散的であり、かつ、焦点距離と共に焦点位置が変動する構成であり、前記読出し制御手段は間引き読出しを用いて、取り込み画素のクロック数を変化させずに読み出し領域の広さだけを変化させることで前記撮像素子から読み出される画素の総和を一定にし、
前記電子変倍手段は、拡大処理時は、読み出された画像データの所定の領域に対して画素数を増加させるような補間処理を行い、縮小処理時は、倍率変換を行わないときのサンプリングによる読み出し領域に比べて広い領域を離間的にサンプリングし、補正処理により所定の画像データに変換する処理を行うことによって、前記光学変倍手段における焦点位置の変動を相殺し、前記読み出し位相制御手段は連続する複数のフレームの画像データがそれら全体で欠落した画素データを持たないように、前記読み出し制御手段が読み出す画素データの範囲の基準位置をシフトさせる。

また、本発明の第３の態様は、光学的に結像した画像を光電変換により電気信号に変換して画像データを取得する撮像素子を有する撮像装置であって、前記撮像素子の読み出し規則を設定する読み出し規則設定手段と、前記撮像素子から読み出された画像の歪み補正を行なう歪み補正手段と、前記読み出し規則設定手段により複数のフレーム間で異なる読み出し規則で読み出され、前記歪み補正手段で歪み補正のフィルタ処理を行なった画像データのフレーム間の画像の位置ずれを補正する画像範囲選択処理部と、前記位置ずれを補正された画像データにフレーム間演算を行なうフレーム間演算部と、を有する。

また、本発明の第４の態様は、第３の態様において、前記撮像装置は更に、前記撮像素子で取得された画像データを必要に応じて画素間引きして読み出す読み出し制御手段と、前記撮像素子のどの領域を画像として出力するかを設定する領域設定手段とを有し、前記読み出し規則設定手段は前記領域設定手段で設定された読み出し領域に基づいて読み出し規則を設定し、前記歪み補正手段は前記読み出し制御手段で読み出された画像の歪み補正を行なう。

また、本発明の第５の態様は、第４の態様において、前記読み出し制御手段が読み出す画素データの範囲の基準位置をシフトさせる読み出し位相制御手段更に有する。

また、本発明の第６の態様は、第４乃至第６のいずれか１つの態様において、前記読み出し位相制御手段は連続する複数のフレームの画像データがそれら全体で欠落した画素データを持たないように、前記読出し制御手段が読み出す画素データの範囲の基準位置をシフトさせる。

また、本発明の第７の態様は、第４乃至第６のいずれか１つの態様において、前記歪み補正手段は、ルックアップテーブル（ＬＵＴ）記憶部とフィルタ係数選択部とを有するフィルタ係数設定部と、フィルタ処理部とを有する。

請求項１に記載の発明によれば、連続する複数のフレーム間で互いの欠落しているデータを補間することができる。

また、請求項２に記載の発明によれば、連続する複数のフレーム間で互いの欠落しているデータを補間することができ、さらに電子変倍時に読み出しレートを一定に保つことができる。

また、請求項３から７のいずれか１つの発明によれば、フレーム間補間を行なうことによって、歪み補正の効果に加えてローパスによる画像の平滑化効果が得られる。

以下、図面を参照して本発明の実施形態を詳細に説明する。図１は、本発明が適用される撮像装置の構成を示す図であり、光学ズームを持つ撮像系と、電子的に倍率変換を行う信号処理系の構成を含む。レンズ移動制御系１０８によって変倍光学系１０１の移動を制御することによりイメージャ１０２上の結像倍率を変化させて光学ズームを行う。また、イメージャ１０２により光電変換された画像信号に対して、同次化処理・フィルタ処理部１０３にて同次化処理（フルカラー化）及び、後述するような間引き読み出しを行った場合のフィルタ処理を行う。フィルタ処理された画像データは画像メモリ１０４に記憶される。変倍処理部１０５では、画像メモリ１０４に記録された画像データを用いて、線形補間などの手法で倍率変換処理を行う。

その後、画像データは表示・記録部１０６へ伝送されて表示・記録される。読み出し領域設定手段１０７は後述するように、イメージャ１０２上の画素のうち所定の範囲を所定の読み出し規則によって読み出す部分である。読み出し領域設定手段１０７はさらに、レンズ移動制御系１０８と同次化処理・フィルタ処理部１０３とイメージャ１０２に対して変倍率の情報に関する信号を提供する。

図２（Ａ）〜（Ｃ）は、電子ズームによる倍率変換について説明するための図である。図２（Ａ）は縮小処理の例であり、図２（Ｂ）は全画素読み出しの例であり、図２（Ｃ）は拡大処理の例を示している。

図２（Ｂ）の全画素読み出しではイメージャ１０２上の領域を全画素サンプリングし、電子的な倍率変換を行わずに画像を形成する。これに対して、図２（Ａ）の間引き読み出しでは、図２（Ｂ）の読み出し領域２０３よりも広い読み出し領域２０１の画素データを間引き読み出しによって読み出し、最終的に図２（Ｂ）の場合と同じサイズの画像を形成する。したがって、図２（Ａ）のサンプリングでは縮小処理を行った事になる。

なお、間引き読み出しを行った場合の画像の歪み等の補正は図１のフィルタ処理部１０３で行う。

図２（Ｃ）の処理では、図２（Ｂ）と同様の全画素読み出しを行った後に、図１の変倍処理部１０５で倍率変換を行う。図２（Ｂ）の全画素読み出しで得られた画像データの一部の領域から、全画素読み出しを行って生成した画像と同じサイズの画像を形成する。従って図２（Ｃ）の処理では拡大処理を行っていることになる。

図１３で説明したように、図１１の光学系では、フォーカスと画角が同時に変動してしまうという問題が有った。また、図１１に示す光学系の他に、図１２に示すような３群構成の光学変倍手段で、物体側から正の屈折力を有し変倍・合焦時固定の第１レンズ群１０３１、負の屈折力を有し変倍あるいは合焦時に移動する第２レンズ群１０３２、正の屈折力を有し変倍あるいは合焦時に固定の第３レンズ群１０３３を含む光学系では、第２レンズ群の移動に伴い無限遠焦点面が図示したように移動する。従ってこの場合も上述と同様に、有るズーム倍率（焦点距離）Ａで無限遠が像面に結像するように設計した場合、無限遠が像面に結像するズーム倍率はＡを含めて最大２つしかない。同様に、所定の焦点距離でピントが合うようなズーム倍率は最大２つしかなく、上述のようにフォーカシングの際に画角も変動する。

そこで、図３を参照して以下に説明する電子変倍方法により、フォーカスによって変動した倍率をキャンセルするように画角補正を行う。

図３（Ａ）は、イメージャ１．３Ｍ内の０．３７Ｍの画素から間引き読み出しにより０．３Ｍ（ＶＧＡ）としてメモリに記憶するとともに、出力する方法であり、広角（ワイド）の状態に相当する。図３（Ｂ）は、イメージャ１．３Ｍ内の０．３Ｍの画素から１画素読み出しを行い、そのままメモリに記憶するとともに出力する方法である。図３（Ｃ）は、イメージャ１．３Ｍ内の０．３Ｍの画素から１画素読み出しを行ってメモリに記憶し、このうち０．２５Ｍのデータを読み出して０．３Ｍに拡大し出力する方法であり、望遠（テレ）の状態に相当する。

すなわち、フォーカスによって画角の変動が０．９倍（図３（Ｃ））、１倍（図３（Ｂ））、１．１倍（図３（Ａ））と変動したときに、０．９倍の時は小さくなった像を拡大するように、また１．１倍では逆に大きくなった像を縮小するよう電子変倍処理を行う。

図１の構成において、レンズ制御系の状態からフォーカスによって変化する画角の方向フォーカスが広角方向に移動した場合、それを打ち消す方向に拡大処理を行い、逆に拡大方向に移動した場合、これを打ち消す様に縮小処理を行う。

従って、図１１に示すような負、正の構成あるいは図１２に示すような正、負、正の構成において広角側で被写体が遠ざかっていった場合に、画角の変動を押さえるために、画像の拡大処理を行う。望遠側では、この逆に、縮小処理によって画角の変動の補償を行う。この場合は逆に広角側では、遠ざかる物体に対して、画角はより狭い方向に変化し、望遠側では、より広角に変化するため、これを補償する。

また、このような処理を意図しない使用者の為に、画角補償のアルゴリズムを選択的に停止する事もできる。

ところで、電子変倍を行うときに、拡大処理と縮小処理が有り、縮小処理を行う場合、イメージャ１０２上では出力する画像より多い画素数の領域を取り込み、補間処理等の変倍処理により出力画像を生成する。この場合は、撮像するエリアの大きさによって、取り込み画素の総クロック数が異なる。すなわち、変倍の倍率が広角側になるほど、多くのクロック数を必要とする。すなわち、１画面を得るための撮像のクロック数や処理時間が、画角（ズーミング）によって変化しても問題が無いような使用状況であれば、図２の様な画素混合による読み出しや、間引き読み出しを行う必要は無い。これに対して、図２の様に、間引き読み出しを用いて、クロック数を変化させずに読み出し領域の広さだけを変化させることが出来る。

ただし、間引き読み出しを行っただけでは、たとえフレーム間の補間処理を行ったときに画像の歪みが発生してしまい画質の劣化は免れない。そこで、間引き読み出しを行った画像を極力低減するようなフィルタ処理を行う。

図４は、イメージャ１０２上の画素の間引き読み出しを行った後に、歪みの補正処理を行う手段を備えた撮像装置２００の構成を示している。撮像装置２００は、被写体の光学像を結像する光学変倍系１０１と、この光学変倍系１０１により結像された光学像の所定の領域の画像信号を出力するイメージャ１０２とを有している。

イメージャ１０２は、光学変倍系１０１により結像された光学像を光電変換してデジタル画像データ（画素データの集合）を取得するエリア状の光電変換素子２２２と、光電変換素子２２２で取得された画像データを必要に応じて画素間引きして読み出す読み出し制御部２２４とを有している。

さらに、領域設定部１３２は、イメージャ１０２のどの領域を画像として出力するかを設定する。読み出し規則選択部２３４は、設定された読み出し領域に基づいて読み出し規則を選択する部分である。読み出し位相制御部２３０は、読み出し制御部２２４が読み出す画素データの範囲の基準位置をシフトさせる部分である。

ここで、出力する画像のサイズとイメージャ１０２上の領域のサイズに差が有る場合には、イメージャ１０２上の画像を間引いて読み出し、さらに、歪み補正処理部１４０で歪みの補正を行う。歪み補正部１４０は、ＬＵＴ記憶部１４６と、フィルタ係数選択部１４８とを有するフィルタ係数設定部１４４と、フィルタ処理部１４２とを有する。

次に、間引き読み出しの歪み補正処理の詳細について説明する。図５は水平方向・垂直方向共に８画素のうち２画素を間引きして読み出す例を示している。図５の例による読み出し方法では画像に段差が出来てしまう、そこで、図６（Ａ）に示すように、読み飛ばした画素を周囲の画素を用いて線形補間によって埋めて８画素のデータとし、これを線形補間で６画素にする操作を考える。すなわち、図６（Ｂ）に示すように不均一な画素間隔でのサンプリングを均一なサンプリングに変換する処理を行う。

ここで、間引きを伴う１ラインの読み出しについて考える。図７は間引き読み出し処理のパイプライン構成を示しており、シフトレジスタ１６２と、一対のセレクタ１６４，１６６と、一対の乗算器１７４，１７６と、加算器１７８とから構成される。図７の左上を基準とすると読み出した画素位置は、Ｒｉ0 ，Ｇｉ1 ，Ｒｉ2 ，Ｇｉ3 ，Ｒｉ4 ，Ｇｉ5 ，Ｒｉ6 ，Ｇｉ7 となり、以下同じ規則の繰り返しになる。この例における歪み補正（変換）の行列表現は、

となる。

図７において、シフトレジスタ１６２は、クロックに従う一回の動作毎に、保持している画像データを右方向に１つシフトする。セレクタ１６４は、選択信号ｓ１の状態に従って、シフトレジスタ１６２に保持されている隣接している５つの画素データｉ０〜ｉ５のうちの１番目と３番目のいずれかを選択する。また、セレクタ１６６は、選択信号ｓ２の状態に従って、シフトレジスタ１６２に保持されている隣接している５つの画素データｉ０〜ｉ５のうちの３番目と５番目のいずれかを選択する。

乗算器１７４は、セレクタ１６４の出力ｄ１に重み付け加算の係数ｋ１を乗算し、乗算器１７６は、セレクタ１６６の出力ｄ２に重み付け加算の係数ｋ２を乗算し、加算器１７８は、乗算器１９４の出力と乗算器１９６の出力とを加算する。

図８は、図４に示したフィルタ処理部１４２のパイプライン処理の動作（状態遷移）を表している。

シフトレジスタ１６２に供給される画素データ列（ｉ０、ｉ１、ｉ２、…）は、Ｃ１＝ｉ０、Ｃ２＝ｉ１、Ｃ３＝ｉ２、…を初期状態として、クロックに従う一回の動作毎に右方向にシフトしていく。これに伴い、セレクタ１６４は、ｓ１が０のときはＣ１を選択し（従ってｄ１＝Ｃ１となり）、ｓ１が１のときはＣ３を選択する（従ってｄ１＝Ｃ３となる）。一方、セレクタ１６６は、ｓ２が０のときはＣ３を選択し（従ってｄ２＝Ｃ３となり）、ｓ２が１のときはＣ５を選択する（従ってｄ２＝Ｃ５となる）。

また、クロックに同期して図４のフィルタ係数設定部１４４内のメモリから係数ｋ１が乗算器１７４に、係数ｋ２が乗算器１７６に供給される。したがって、加算器１７８からはｏｕｔ＝ｋ１×ｄ１＋ｋ２×ｄ２が出力される。

図８から分かるように、逐次データのシフト、ｓ１とｓ２の状態に従ったセレクタの切り換え、式（１）に示した間引き規則に応じた重み付け係数ｋ１とｋ２の出力、重み付け加算演算を同期して行なうことによって、画素の位相操作（セレクタ切り換え）を含めたパイプライン処理が行なわれる。

本実施形態の撮像装置では、入力画像として動画の場合を想定し、インターレース操作が２つのフィールド間で互いの欠落している画素データを補間するように、連続する２つのフレーム間で互いの欠落している画素データを補間する。例えば、読み出し位相制御部２３０は、連続する複数のフレームの画像データがそれら全体で欠落した画素データを持たないように、読み出し制御部２２４が読み出す画素データの範囲の基準位置をシフトさせる。シフト量は２〜８画素程度が好ましい。

図９（Ａ）と図９（Ｂ）は、６／８の間引き読み出しの繰り返しによる読み出しにおける読み出し範囲の基準位置のシフトの様子を模式的に示している。図９（Ａ），図９（Ｂ）において、［ｘ，ｙ］は光電変換素子２２２の画素配列の画素位置、（ｘ，ｙ）は読み出し範囲の画素データ配列を表している。

図９（Ａ）と図９（Ｂ）に示されるように、光電変換素子２２２の画素数は水平方向にｋ画素、垂直方向にｌ画素である。従って、光電変換素子２２２の左上の画素の位置は［０，０］、右下の画素の位置は［ｋ，ｌ］と表せる。また、１フレームの読み出し範囲の画素数は水平方向にｍ画素、垂直方向にｎ画素である。従って、フレームの左上の読み出し開始位置は（０，０）、右下の読み出し終了位置は（ｍ，ｎ）と表せる。図９（Ｂ）のフレームの読み出し範囲は、図９（Ａ）のフレームの読み出し範囲に対して、水平方向に＋２画素、垂直方向に＋２画素シフトしている。

図９（Ａ）のフレームでは、左上の読み出し開始位置（０，０）は、光電変換素子２２２の左上の画素位置［０，０］に一致している。つまり、
（０，０）＝［０，０］ …（３）
である。また、読み出し終了位置（ｍ，ｎ）は、
（ｍ，ｎ）＝［ｋ−２，ｌ−２］ …（４）
である。

一方、図９（Ｂ）のフレームでは、左上の読み出し開始位置は、
（０，０）＝［２，２］ …（５）
である。また、読み出しの終了位置は、
（ｍ，ｎ）＝［ｋ，ｌ］ …（６）
である。

画像範囲選択処理部２４０は、図９（Ａ）のフレームと図９（Ｂ）のフレームに共通する範囲を選択する。すなわち、図９（Ｂ）のフレームに対しては、（２，２）と（ｍ，ｎ）を対角の頂点とする矩形の範囲を選択し、図９（Ａ）のフレームに対しては、（０，０）から（ｍ−２，ｎ−２）を対角の頂点とする矩形の範囲を選択する。画像範囲選択処理部２４０で選択された範囲は、常に（ｍ−２）×（ｎ−２）個の画素データを有している。

また、予めクロップする領域を考慮すると、イメージャ１０２から読み出す画像の総数は出力の画像サイズと位相シフト分を考慮する必要がある。画像範囲選択処理部２４０は、読み出し開始位置の情報に基づいて、クロップの範囲を変更する。

フレームメモリ２５２，２５４，２５６はＦＩＦＯ（First In First Out）のメモリとなっており、フレーム間演算処理部２６０はそれらのフレームメモリ２５２，２５４，２５６にある第１のフレームのデータと第１のフレームとは異なる第２のフレームでの同一位置の画素を用いて出力画像を生成する。

例えば、２フレームの場合、合成画像ｏｕｔ（ｉ，ｊ）は、
out(i,j)＝０．５ｌ(k,i,j)＋０．５ｌ(k-1,i,j) …（７）
である。ここで、ｉ，ｊは画素位置を表し、ｌ（ｋ，ｉ，ｊ）はｋ番目のフレームの画素位置ｉ，ｊの画像信号の強度である。

また、３フレームの場合、合成画像ｏｕｔ（ｉ，ｊ）は、加重配分を用いて、
out(i,j)＝0.25ｌ(k,i,j)＋0.5ｌ(k-1,i,j)＋0.25ｌ(k-2,i,j) …（８）
である。

複数のフレーム間で異なる読み出し規則で読み出され、歪み補正のフィルタ処理を行った画像データは画像範囲選択処理部２４０でフレーム間の画像の位置ずれを補正する。フレームメモリ２５２，２５４，２５６で所定のフレーム分のデータを蓄積し、フレーム間演算処理部２６０でフレーム間演算が行われ、画像信号処理部１５２で所定の処理を行った後、画像表示部１５４及び画像記録部１５６にデータを出力する。フレーム間補間を行なうことによって、歪み補正の効果に加えて、ローパスによる画像の平滑化効果が得られる。

このように、拡大・縮小の電子変倍処理によって、焦点距離と共に、焦点位置が変動する光学的変倍手段を備えた撮像装置におけるフォーカシングを行う際に生じる画角の変動を補償することによって、使用者が意図する画角での撮像を可能にし、また、動画像のＡＦにおいて、被写体の移動に伴う画角の変動を抑止することが出来る。

本発明が適用される撮像装置の構成を示す図である。電子ズームによる倍率変換について説明するための図である。画角補正について説明するための図である。歪みの補正処理を行う手段を備えた撮像装置２００の構成を示す図である。水平方向・垂直方向共に８画素のうち２画素を間引きして読み出す例を示す図である。歪み補正処理の概念図である。間引き読み出し処理のパイプライン構成を示す図である。図４に示したフィルタ処理部１４２のパイプライン処理の動作（状態遷移）を表す図である。６／８の間引き読み出しの繰り返しによる読み出しにおける読み出し範囲の基準位置のシフトの様子を模式的に示す図である。負、正の構成からなる従来の光学系を示す図である。負、正、正の構成からなる従来の光学系を示す図である。正、負、正の構成からなる従来の光学系を示す図である。従来の光学系の問題点を説明するための図である。

符号の説明

１０１変倍光学系
１０２イメージャ
１０３同次化処理・フィルタ処理部
１０４画像メモリ
１０５変倍処理部
１０６表示・記録部
１０７読み出し領域設定手段
１０８レンズ移動制御系

Claims

光学的に結像した画像を光電変換により電気信号に変換して画像データを取得する撮像素子を有する撮像装置であって、
前記撮像素子で取得された画像データを必要に応じて画素間引きして読み出す読出し制御手段と、該読み出し制御手段が読み出す画素データの範囲の基準位置をシフトさせる読み出し位相制御手段と、を備え、
前記読み出し位相制御手段は連続する複数のフレームの画像データがそれら全体で欠落した画素データを持たないように、前記読出し制御手段が読み出す画素データの範囲の基準位置をシフトさせることを特徴とする撮像装置。
光学的に結像した画像を光電変換により電気信号に変換して画像データを取得する撮像素子を有する撮像装置であって、
光学的に像の倍率を変換する光学変倍手段と、画像データに対して信号処理により縮小あるいは拡大の倍率を変換する電子変倍手段と、前記撮像素子で取得された画像データを必要に応じて画素間引きして読み出す読出し制御手段と、該読み出し制御手段が読み出す画素データの範囲の基準位置をシフトさせる読み出し位相制御手段と、を備え、前記光学変倍手段と前記電子変倍手段とに基づいた所定の変倍率による変倍画像を提供するものであり、
前記光学変倍手段は、変倍率が離散的であり、かつ、焦点距離と共に焦点位置が変動する構成であり、
前記読出し制御手段は間引き読出しを用いて、取り込み画素のクロック数を変化させずに読み出し領域の広さだけを変化させることで前記撮像素子から読み出される画素の総和を一定にし、
前記電子変倍手段は、拡大処理時は、読み出された画像データの所定の領域に対して画素数を増加させるような補間処理を行い、縮小処理時は、倍率変換を行わないときのサンプリングによる読み出し領域に比べて広い領域を離間的にサンプリングし、補正処理により所定の画像データに変換する処理を行うことによって、前記光学変倍手段における焦点位置の変動を相殺し、
前記読み出し位相制御手段は連続する複数のフレームの画像データがそれら全体で欠落した画素データを持たないように、前記読み出し制御手段が読み出す画素データの範囲の基準位置をシフトさせることを特徴とする撮像装置。
光学的に結像した画像を光電変換により電気信号に変換して画像データを取得する撮像素子を有する撮像装置であって、
前記撮像素子の読み出し規則を設定する読み出し規則設定手段と、
前記撮像素子から読み出された画像の歪み補正を行なう歪み補正手段と、
前記読み出し規則設定手段により複数のフレーム間で異なる読み出し規則で読み出され、前記歪み補正手段で歪み補正のフィルタ処理を行なった画像データのフレーム間の画像の位置ずれを補正する画像範囲選択処理部と、前記位置ずれを補正された画像データにフレーム間演算を行なうフレーム間演算部と、を有することを特徴とする撮像装置。
前記撮像装置は更に、前記撮像素子で取得された画像データを必要に応じて画素間引きして読み出す読み出し制御手段と、前記撮像素子のどの領域を画像として出力するかを設定する領域設定手段とを有し、
前記読み出し規則設定手段は前記領域設定手段で設定された読み出し領域に基づいて読み出し規則を設定し、
前記歪み補正手段は前記読み出し制御手段で読み出された画像の歪み補正を行なうことを特徴とする請求項３に記載の撮像装置。
前記読み出し制御手段が読み出す画素データの範囲の基準位置をシフトさせる読み出し位相制御手段更に有することを特徴とする請求項４に記載の撮像装置。
前記読み出し位相制御手段は連続する複数のフレームの画像データがそれら全体で欠落した画素データを持たないように、前記読出し制御手段が読み出す画素データの範囲の基準位置をシフトさせることを特徴とする請求項４乃至６の何れか１つに記載の撮像装置。
前記歪み補正手段は、
ルックアップテーブル（ＬＵＴ）記憶部とフィルタ係数選択部とを有するフィルタ係数設定部と、フィルタ処理部とを有することを特徴とする請求項４乃至６のいずれか１つに記載の撮像装置。