JP2006067009A - 撮像装置 - Google Patents

Abstract

【課題】 より正確な動静判定に基づくインターレース画像信号からプログレッシブ画像信号への変換を実現する撮像装置を提供する。
【解決手段】 ＣＣＤ２は、被写体を撮像してフィールド単位の撮像信号を出力する。カメラ信号処理回路５は、ＣＣＤ２が出力した撮像信号を基に被写体像を含むインターレース走査形式の第１の画像信号を生成する。信号方式変換回路１００は、カメラ信号処理回路５が出力する第１の画像信号をプログレッシブ走査形式の第２の画像信号に変換する変換処理を行う。動きベクトル検出回路７は、カメラ信号処理回路５が出力する第１の画像信号を基に動きベクトルを検出する。ぶれ補正演算回路１７等は、動きベクトル検出回路７により検出された動きベクトルに応じて被写体像のぶれを補正する。ここで、信号方式変換回路１００は、動きベクトル検出回路７により検出された動きベクトルに応じて変換処理を制御する。
【選択図】 図１

Description

本発明は、撮像装置に関し、特に、撮影されたインターレース信号をプログレッシブ信号に変換する機能を有する撮像装置に関するものである。

従来、撮像された２：１インターレース信号をプログレッシブ信号に変換する際、動き部分、静止部分のいずれにも好適な変換を行うためには、例えば、画素毎の動き係数を求め、これに応じた比率でフィールド内補間による信号とフィールド間補間による信号を混合してプログレッシブ信号への変換を行う技術が開示されている（例えば、特許文献１参照。）。
また、垂直エッジを動き部分と誤認してフィールド内補間を行うと、細いエッジのちらつきを発生させてしまう。これを防ぐために、例えば、現フィールドと前フィールドの各エッジのうち大きい方を垂直エッジとして安定したエッジ信号を生成するための技術が開示されている（例えば、特許文献２参照。）。

特開昭５８−７７３７３号公報 特開平７−１３１６７８号公報

しかしながら、前記の特許文献１及び２に記載の装置においては、画素毎の動き係数を求める際に、フィールド間、あるいはフレーム間の信号の差分をとるので、時間軸方向に輝度レベルが変化したときに、「動き」と誤認してしまうという問題点がある。

本発明は、上述した事情を考慮してなされたもので、より正確な動静判定に基づくインターレース画像信号からプログレッシブ画像信号への変換を実現する撮像装置を提供することを目的とする。

この発明は、上述した課題を解決すべくなされたもので、本発明による撮像装置においては、被写体を撮像してフィールド単位の撮像信号を出力する撮像手段と、撮像手段が出力する撮像信号を基に被写体像を含むインターレース走査形式の第１の画像信号を生成する画像処理手段と、画像処理手段が出力する第１の画像信号を基に動きベクトルを検出する動きベクトル検出手段と、動きベクトル検出手段により検出された動きベクトルに応じて撮像信号に係る被写体像のぶれを補正するぶれ補正手段と、動きベクトル検出手段により検出された動きベクトルに応じて画像処理手段が出力する第１の画像信号をプログレッシブ走査形式の第２の画像信号に変換する変換手段とを具備することを特徴とする。

また、本発明による信号処理装置においては、被写体像を含むインターレース走査形式の第１の画像信号を入力する入力手段と、画像処理手段が出力する第１の画像信号を基に動きベクトルを検出する動きベクトル検出手段と、動きベクトル検出手段により検出された動きベクトルに応じて一又は複数フィールド単位の被写体像のぶれを補正するぶれ補正手段と、動きベクトル検出手段により検出された動きベクトルに応じて入力手段に入力された第１の画像信号をプログレッシブ走査形式の第２の画像信号に変換する変換手段とを具備することを特徴とする。
ここで、信号処理装置とは、例えば上述した撮像装置の一部を構成する。

本発明による撮像装置は、近年の撮像装置に標準的に具備された防振装置が出力する動きベクトル値を用いて、フィールド内補間とフィールド間補間の混合比の制御に用いることで、より正確な動静判定に基づくインターレース信号からプログレッシブ信号への変換を実現する。

以下、図面を用いて本発明の実施形態について説明する。
［第１の実施形態］
まず、本発明の第１の実施形態における撮像装置の概略構成について説明する。図１は、本発明の第１の実施形態における撮像装置の概略構成を示すブロック図である。図１に示す撮像装置では、入力キー１５からマイコン１６に指示を入力し、マイコン１６から各構成素子に対してデータバス１４を介してデータ等を送る。レンズ１を通過した光は電荷結合素子（ＣＣＤ）２の撮像面上に結像する。ＣＣＤ２は、タイミングジェネレータ（ＴＧ）１８で駆動され、撮像面での受光を光電変換して撮像信号を出力する。前処理回路３は、ＣＣＤ２が出力する撮像信号のノイズ除去（ＣＤＳ）、利得調整（ＡＧＣ）等の処理等を行う。アナログ／デジタル（Ａ／Ｄ）変換器４は、前処理回路３が出力する撮像信号に対してＡ／Ｄ変換を行う。

この後、カメラ信号処理回路５は、デジタル信号となった撮像信号に対して、アパーチャ補正、ガンマ補正、ホワイトバランス等の撮像系の信号処理を行う。カメラ信号処理回路５の出力信号は、フィールドメモリ６に送られ、ＴＶ信号の１フィールド期間遅延された信号を出力する。減算器８は、カメラ信号処理回路５の出力とフィールドメモリ６の出力から、フィールド間の差分信号ｆｄｄを算出する。また、カメラ信号処理回路５の出力は垂直エッジ検出回路９で現フィールドの垂直エッジを検出する。フィールドメモリ６の出力から、垂直エッジ検出回路１０は、前フィールドの垂直エッジを検出する。垂直エッジ検出回路９、１０の出力はともに最大値回路１１に送られる。最大値回路１１は、垂直エッジ検出回路９、１０の出力において大きい方を選択し、垂直エッジ信号ｅｇｖとして出力する。

動きベクトル検出回路７は、カメラ信号処理回路５の出力とフィールドメモリ６の出力から、フィールド間の動きベクトルを検出する。動きベクトル検出回路７では１画面を図８（ｂ）に示すように任意のブロック数に分割して、ブロック毎に例えば図８（ａ）に示す垂直方向、水平方向の動きベクトル（ｍｖ＿ｖ，ｍｖ＿ｈ）を検出する。動きベクトル検出回路７で検出された動きベクトル（ｍｖ＿ｖ，ｍｖ＿ｈ）の値は、データバス１４を介してマイコン１６に送られる。マイコン１６では、動きベクトルデータをぶれ補正演算回路１７に適したフォーマットに変換し、データバス１４を介して、ぶれ補正演算回路１７に送る。ぶれ補正演算回路１７は、動きベクトルデータを基に、ＴＧ１８に対し制御データを送り、被写体像のぶれを打ち消すようにＣＣＤ２の画像読み出し位置を制御させる。ここで、被写体像のぶれとしては、例えば撮像装置を保持する利用者の手が動くことで生じる「手ぶれ」などが有名である。

減算器８の出力であるフィールド間の差分信号ｆｄｄ、最大値回路１１の出力である垂直エッジ信号ｅｇｖ、動きベクトル検出回路７の出力である垂直方向、水平方向の動きベクトル（ｍｖ＿ｖ，ｍｖ＿ｈ）、及びマイコン１６で発生させた定数ｉは、信号方式変換回路１００の内部の動き検出回路１２に入力される。尚、この定数ｉの求め方については、詳細を後述する。動き検出回路１２は、入力される信号を基に画素毎に被写体像の動き量を示す信号である動き判定信号ｋを算出する。その回路構成の一例を図４に示す。図４は、図１に示した動き検出回路１２の回路構成例を示す図である。

図４に示すように、逆数回路４１は、最大値回路１１の出力である垂直エッジ信号ｅｇｖが入力され、その逆数１／ｅｇｖを出力する。逆数回路４１の出力する逆数１／ｅｇｖは乗算器４２に入力され、減算器８が出力する信号ｆｄｄと乗算される。これにより、乗算器４２は、ｆｄｄ／ｅｇｖの演算を行い、エッジ成分とフィールド間差分のいずれが大きいか判別をする。

絶対値回路４４は、動きベクトル検出回路７の出力である垂直方向、水平方向の動きベクトル（ｍｖ＿ｖ，ｍｖ＿ｈ）の絶対値ｍを求め、更に、下記のｋの値が１を超えないよう、正規化して出力する。乗算器４５は、マイコン１６で発生した定数ｉと絶対値回路４４の出力ｍを掛け合わせる。乗算器４３は、乗算器４２の出力と乗算器４５の出力を乗算する。以上の構成により動き検出回路１２は、以下の（式１）の計算を行い、判定信号ｋを求める回路といえる。
ｋ＝（ｆｄｄ）×ｉ×ｍ／ｅｇｖ … （式１）

ここで、図１の説明に戻る。動き適応補間回路１３は、動き検出回路１２が出力する判定信号ｋを基に、以下の演算を行う。具体的には、１フレームを構成する２つのフィールドの内、現フィールドの上下画素の平均値：Ａ、前フィールドの同位置の画素値：Ｂを用いて、
ｋ×Ａ＋（１−ｋ）×Ｂ
の演算により動き適応補間を行い、インターレース信号をプログレッシブ信号に変換する。ここで、Ａはフィールド内補間の値であり、Ｂはフィールド間補間の値であり、上記式に示すように判定信号ｋにより、補間対象の画素の近傍に位置する現フィールドの画素の平均値であるフィールド内補間値Ａと、補間対象となる前フィールドの画素の値であるフィールド間補間値Ｂの混合比を制御している。また、ｋの値は、０≦ｋ≦１となる。

従来の撮像装置では、フィールド間の差分で動き判定を行っていたので、画面の輝度レベルが変化した場合に「動き」と誤判定してインターレース信号をプログレッシブ信号に変換していたため、画質の劣化が生じていた。しかし、本実施形態の撮像装置では動き判定に、レベル変化には反応しないブロック毎の動きベクトルの検出結果を併用するので、例えば、輝度レベルの変化により（式１）においてフィールド間差分ｆｄｄが大きくても動きベクトルの絶対値ｍが小さければｋが小さくなり、前述のような誤判定を防ぐことができる。また逆に、（式１）においてｆｄｄが小さくてもｍが大きければ、ｋが大きくなり、「動き」を「静止」と誤判定することを防ぐことも可能である。

ここで、図１に示した動き検出回路１２の回路構成において、図４に示した動き検出回路１２の回路構成例と異なる、他の回路構成例を図５、図６を用いて説明する。
図５は、図１に示した動き検出回路１２の他の回路構成例を示す図である。図５において、上述した図４と異なる点は、乗算器４５の出力（ｉ×ｍ）とフィールド間差分ｆｄｄを加算器４６により加算して、その加算結果と逆数回路４１の出力を乗算器４７で乗算する点である。図５に示す回路構成により、以下の（式２）の演算が行われる。
ｋ＝（（ｆｄｄ）＋ｉ×ｍ）／ｅｇｖ … （式２）

図６は、図１に示した動き検出回路１２の他の回路構成例を示す図である。図６において、上述した図４と異なる点は、減算器４８により、最大値回路１１の出力である垂直エッジ信号ｅｇｖから乗算器４５の出力（ｉ×ｍ）を減算して逆数回路４１により逆数１／（ｅｇｖ−（ｉ×ｍ））を求める点と、乗算器４９により、逆数回路４１の出力する逆数にフィールド間差分ｆｄｄを乗算する点である。図６に示す回路構成により、以下の（式３）の演算が行われる。
ｋ＝ｆｄｄ／（ｅｇｖ−ｉ×ｍ） … （式３）

以上に示したように、図４に示した動き検出回路１２の回路構成例と、図５、６に示した動き検出回路１２の回路構成例は異なるが、（式１）と同様に、（式２）（式３）ともに、フィールド間差分ｆｄｄが大きくてもｍが小さければｋが小さくなり、また逆に、フィールド間差分ｆｄｄが小さくてもｍが大きければ、ｋが大きくなり、誤判定を防ぐことが可能である。すなわち、上述した実施形態では、図１に示す動き検出回路１２の回路構成として、図４乃至図６に示した回路構成例のいずれを用いてもよい。また本実施形態の撮像装置では、動き判定にフィールド間差分、フィールド間の動きベクトルを求めたが、これに限ったものではなく、フレーム間の差分や動きベクトルを求めてもよい。

［第２の実施形態］
次に、本発明の第２の実施形態における撮像装置について説明する。図２は、本発明の第２の実施形態における撮像装置の概略構成を示す図である。図２に示すように第２の実施形態における撮像装置においては、第１の実施形態として上述した撮像装置のようにぶれ補正をＣＣＤ２の駆動で行うのではなく、可変頂角プリズム（ＶＡＰ）２０で光学防振を行っている。このとき、ＶＡＰ２０を作動させるためのアクチュエ−タ１９を、ぶれ補正演算回路１７の出力で制御して、手ぶれを打ち消す。図２に示す第２の実施形態における撮像装置のその他の構成は、第１の実施形態として図１に示した構成と同様であるので説明を省略する。

［第３の実施形態］
次に、本発明の第３の実施形態における撮像装置について説明する。図３は、本発明の第３の実施形態における撮像装置の概略構成を示す図である。図３に示す第３の実施形態における撮像装置は、上述した第１、第２の実施形態における撮像装置のように動きベクトルの値を、ＴＧ１８やＶＡＰ２０にフィードバックして防振するのではなく、動きベクトルの値を、後方にある防振用メモリ２１にフィードフォワードして防振する点が異なる。

カメラ信号処理回路５の出力（画像データ）は、フィールドメモリ６や動きベクトル検出回路７以外に、防振用メモリ２１に入力される。ぶれ補正演算回路１７の出力も防振用メモリ２１に入力される。防振用メモリ２１は、ぶれ補正演算回路１７の出力に応じてメモリからの画像データの読み出しを制御し、ぶれを打ち消すように書き込んだ画像データを読み出す。

防振用メモリ２１の出力は、フィールドメモリ２２に入力され、第１、第２の実施形態と同様、動き判定を行うが、防振用メモリ２１の出力は防振動作（ぶれ補正処理）でぶれを打ち消しているので、仮にここで動きベクトルを検出したとすると、動きベクトル検出回路７で求めた動きベクトルよりも小さな値になるはずである。したがって、第３の実施形態では、第１、第２の実施形態ほどは動き判定に動きベクトルの絶対値ｍの重み付けを行う必要はない。つまり、マイコン１６が出力する（式１）〜（式３）の定数ｉを小さくして、ｋのｍに対する依存度を下げることができる。ただし、このとき、防振動作がオフになっていれば、防振用メモリ２１の出力における動きベクトルを求めたとすると、動きベクトル検出回路７で求めた動きベクトルと一致するので、（式１）〜（式３）の定数ｉを小さくする必要はない。

ここで、上述した第１〜３の実施形態のいずれにも適用される（式１）〜（式３）で用いる定数ｉを決定するアルゴリズムについて説明する。図７は、上述した第１〜３の実施形態のいずれにも適用される（式１）〜（式３）で用いる定数ｉを決定するアルゴリズムを示すフローチャートである。

図７に示すように、ステップＳ７０１において、マイコン１６は、定数ｉを求める処理を開始する。次に、ステップＳ７０２において、マイコン１６は、防振動作がオンかオフかを識別する。ここで、防振動作がオンであれば、ステップＳ７０３に進み、マイコン１６は、防振方式（ぶれ補正方式）がフィードフォワード方式かフィードバック方式か識別する。ここで、第３の実施形態のようなフィードフォワード方式であれば、マイコン１６は、ステップＳ７０５に進み、定数ｉを第１の所定値、例えば０．５程度に設定する。また、防振方式が第１、第２の実施形態のようなフィードバック方式である場合（ステップＳ７０３のＮＯ）、又は、防振動作がオフの場合（ステップＳ７０２のＮＯ）には、マイコン１６は、定数ｉを第２の所定値、例えば１に設定する。ステップＳ７０４又はＳ７０５の処理を終えると、マイコン１６は、定数ｉを求める処理動作を終了する（ステップＳ７０６）。

以上に示したように、信号方式変換回路１００において、マイコン１６が出力する適切な定数ｉと防振装置が出力する動きベクトル値を基に動き判定信号ｋを生成して、生成した動き判定信号ｋをフィールド内補間とフィールド間補間の混合比の制御に用いることで、より正確な動静判定に基づくインターレース信号からプログレッシブ信号への変換処理を実現することができる。

尚、上述した実施形態におけるマイコン１６は、中央処理装置（ＣＰＵ）及び図７に示す各ステップの処理機能を実現する為のプログラムを格納するメモリを備える。これにより、図７に示す各ステップの処理機能を実現する為のプログラムをメモリより読み出して中央処理装置（ＣＰＵ）が実行することにより図７に示す各処理の機能を実現させている。また、本実施形態のようにＣＰＵがプログラムを実行することにより各処理ステップを実現する方法以外にも、各処理ステップにおける処理の全部または一部の機能を専用のハードウェアにより実現してもよい。

また、上述したマイコン１６が備えるメモリは、光磁気ディスク装置、フラッシュメモリ等の不揮発性のメモリや、ＣＤ−ＲＯＭ等の読み出しのみが可能な記録媒体、ＲＡＭ以外の揮発性のメモリ、あるいはこれらの組み合わせによるコンピュータ読み取り、書き込み可能な記録媒体より構成されてもよい。

また、上述したマイコン１６において各種処理を行う機能を実現する為のプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各処理を行っても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。

また、上記プログラムは、前述した機能の一部を実現する為のものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

また、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体等のプログラムプロダクトも本発明の実施形態として適用することができる。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

本発明の第１の実施形態における撮像装置の概略構成を示すブロック図である。 本発明の第２の実施形態における撮像装置の概略構成を示す図である。 本発明の第３の実施形態における撮像装置の概略構成を示す図である。 図４は、図１に示した動き検出回路１２の回路構成例を示す図である。 図１に示した動き検出回路１２の他の回路構成例を示す図である。 図１に示した動き検出回路１２の他の回路構成例を示す図である。 第１〜３の実施形態のいずれにも適用される（式１）〜（式３）で用いる定数ｉを決定するアルゴリズムを示すフローチャートである。 動きベクトル検出回路７が検出する動きベクトルの垂直方向ｍｖ＿ｖ、水平方向ｍｖ＿ｈの概念と、動きベクトル検出回路７における画面のブロック分割例とを示す図である。

符号の説明

１ レンズ
２ ＣＣＤ
３ 前処理回路
４ Ａ／Ｄ変換器
５ カメラ信号処理回路
６ フィールドメモリ
７ 動きベクトル検出回路
８ 減算器
９、１０ 垂直エッジ検出回路
１１ 最大値回路
１２ 動き検出回路
１３ 動き適応補間回路
１４ データバス
１５ 入力キー
１６ マイコン
１７ ぶれ補正演算回路
１８ ＴＧ
１９ アクチュエータ
２０ ＶＡＰ
２１ 防振用メモリ
２２ フィールドメモリ
４１ 逆数回路
４４ 絶対値回路
４５ 乗算器

Claims (10)

1. 被写体を撮像してフィールド単位の撮像信号を出力する撮像手段と、
   前記撮像手段が出力する撮像信号を基に被写体像を含むインターレース走査形式の第１の画像信号を生成する画像処理手段と、
   前記画像処理手段が出力する前記第１の画像信号を基に動きベクトルを検出する動きベクトル検出手段と、
   前記動きベクトル検出手段により検出された動きベクトルに応じて前記撮像信号に係る被写体像のぶれを補正するぶれ補正手段と、
   前記動きベクトル検出手段により検出された動きベクトルに応じて前記画像処理手段が出力する前記第１の画像信号をプログレッシブ走査形式の第２の画像信号に変換する変換手段と
   を具備することを特徴とする撮像装置。
2. 前記動きベクトル検出手段は、前記第１の画像信号に対して所定数の画素からなるブロック単位で前記動きベクトルを検出することを特徴とする請求項１記載の撮像装置。
3. 前記動きベクトル検出手段は、前記第１の画像信号から連続する２つのフィールド間の動きベクトルを検出することを特徴とする請求項１又は２記載の撮像装置。
4. 前記変換手段は、
   前記動きベクトル検出手段が検出する前記動きベクトル及び前記第１の画像信号における１フレームを構成するフィールド間の差分情報を少なくとも利用した演算を行い、前記被写体像の動き量を示す信号である動き判定信号を生成する動き判定手段と、
   前記第１の画像信号に対して、前記動き判定手段が出力する前記動き判定信号に応じた補間処理を行い、前記第２の画像信号を生成する画像補間手段と
   を具備することを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
5. 前記第１の画像信号における１フレームを構成する２フィールドの内の一方のフィールドから垂直方向のエッジ成分に関する情報であるエッジ情報を抽出する抽出手段を更に具備し、
   前記動き判定手段は、前記抽出手段が抽出した前記エッジ情報を更に利用した演算を行うことで、前記動き判定信号を生成して出力することを特徴とする請求項４記載の撮像装置。
6. 前記画像補間手段における前記補間処理は、前記第１の画像信号における１フレームを構成する２つのフィールドの内の一方のフィールドにおける補間対象となる画素の値と他方のフィールドにおける前記補間対象となる画素の近傍に位置する画素の値とを前記動き判定信号に応じて演算する処理であることを特徴とする請求項４又は５記載の撮像装置。
7. 前記ぶれ補正手段における前記被写体像のぶれ補正方式に応じて定める定数を出力する定数出力手段を更に具備し、
   前記動き判定手段は、前記定数出力手段が出力する前記定数と前記動きベクトル検出手段が検出する前記動きベクトルを乗算した値を利用した演算を行うことで、前記動き判定信号を生成して出力することを特徴とする請求項４〜６のいずれか１項に記載の撮像装置。
8. 前記ぶれ補正手段によるぶれ補正処理を行うか否かを切り替える切り替え手段を更に具備し、
   前記定数出力手段は、前記切り替え手段による前記ぶれ補正処理の切り替えに応じて前記定数の値を変更することを特徴とする請求項７記載の撮像装置。
9. 前記変換手段は、前記動き判定手段による動き判定の演算処理に対する前記動きベクトルの重み付けを変更可能であることを特徴とする請求項４記載の撮像装置。
10. 被写体像を含むインターレース走査形式の第１の画像信号を入力する入力手段と、
    前記画像処理手段が出力する前記第１の画像信号を基に動きベクトルを検出する動きベクトル検出手段と、
    前記動きベクトル検出手段により検出された動きベクトルに応じて一又は複数フィールド単位の前記被写体像のぶれを補正するぶれ補正手段と、
    前記動きベクトル検出手段により検出された動きベクトルに応じて前記入力手段に入力された前記第１の画像信号をプログレッシブ走査形式の第２の画像信号に変換する変換手段と
    を具備することを特徴とする信号処理装置。

Images