JP2014135615A - 画像処理装置及び方法、及び撮像装置 - Google Patents

Abstract

【課題】 １フィールド期間を超える蓄積時間により電荷の蓄積を行い、フィールド期間ごとに各フィールドからインターレース読み出しを行っている間に静止画を生成する場合に、静止画における重心ずれによる解像度劣化を低減すること。
【解決手段】 撮像素子から、奇数フィールドと偶数フィールドとを交互に１フィールド期間ごとにインターレース読み出しにより読み出した電解を処理する画像処理装置であって、撮像素子の蓄積時間を取得する取得手段と、静止画の生成を指示する指示手段と、静止画の生成が指示された場合に、蓄積時間が、１フィールド期間よりも長い予め決められた第１の時間よりも長ければ、指示された直後の奇数または偶数フィールドのいずれか一方の信号に基づいて静止画を生成し、蓄積時間が第１の時間以下であれば、指示された直後の奇数及び偶数フィールドの信号に基づいて静止画を生成する静止画生成手段とを有する。
【選択図】 図２

Description

本発明は、画像処理装置及び方法、及び撮像装置に関し、更に詳しくは、動画撮影時に静止画の同時記録が可能な撮像装置及びその制御方法に関するものである。

従来、ビデオカメラ等の撮像装置に使用されるＣＭＯＳセンサは、１秒間に予め決められた数の画像を出力するように駆動される。例えば、ＮＴＳＣ方式の場合、１秒間に６０コマの画像を出力するように駆動しており、この場合、１フィールドでの最大の蓄積時間は１／６０秒である。

一方、ＣＭＯＳセンサの感度は、セルピッチの面積に依存することが広く知られており、セルピッチの微細化が進むにつれて、感度が低下する問題がある。この問題により、ビデオカメラの仕様としてある最低被写体照度をなるべく低くするためには、撮像装置が備える露出補正用のＡＧＣゲインを大きくする必要がある。なお、最低被写体照度は、グレースケール被写体撮影において、グレースケールの白ピーク輝度レベルが５０％となるときの照度を示す。

しかし、ＡＧＣゲインを大きくするにつれて、低照度時のＳ／Ｎ比や固定パターンノイズ、ＣＭＯＳセンサのキズレベルが劣化することにより、画質が著しく低下するという問題がある。そのため、ＣＭＯＳセンサの感度を向上する必要があるが、同じ感度のＣＭＯＳセンサを用いて低照度の被写体を撮影する場合に、ＣＭＯＳセンサの電荷蓄積時間を１／６０秒（＝１フィールド）よりも長くにする手法が広く用いられている。

しかし、１フィールドよりも長い時間で蓄積時間制御をした場合、１秒間に６０コマの画像が出力されなくなる（例えば、蓄積時間が１／３０秒の場合は２フィールド分の蓄積時間が必要なので、１秒間に３０コマ出力）。そのために、映像の滑らかさが損なわれるという問題があった。

これを回避するために、インターレース読み出しが可能なＣＭＯＳセンサにおいて、ＯＤＤフィールドと、ＥＶＥＮフィールドの蓄積時間をオーバーラップさせる（重なり合わせる）手法がある。これにより、１／６０秒以上の長い蓄積時間（「スローシャッター」と称する。）を実現すると共に、１秒間に６０コマの画像を出力することができる。

一方、動画撮影中に、同時に静止画撮影を行う機能を有する撮像装置がある。このような撮像装置では、１フィールドの画像から静止画を生成すると、垂直ライン数が半分となることにより、垂直解像度が劣化するという問題がある。この問題を回避するために、従来より、２フィールド（ＯＤＤフィールドと、ＥＶＥＮフィールド）の画像を合成して、１枚の静止画を生成することが行われている。この場合、垂直解像度の低下を防止できるが、ＯＤＤフィールドとＥＶＥＮフィールドの時間差により、画像ブレが生じる問題がある。

このような画像ブレを回避するための手法が、例えば、特許文献１で提案されている。この手法では、画像から検出した動きベクトル値に応じて、ＯＤＤフィールドに対するＥＶＥＮフィールドの動き補償を行い、動き補償を行ったＥＶＥＮフィールドと、ＯＤＤフィールドとの２フィールド分の画像を合成して静止画を生成する。

特開平０８−０２３５０５号公報

しかしながら、特許文献１の手法では、フィールド間の時間差による画像ブレを低減することはできるが、上述したようなスローシャッターの場合に、次のような問題があった。即ち、ＯＤＤフィールドの蓄積時間と、ＥＶＥＮフィールドの蓄積時間が重なり合うことを特徴とするＣＭＯＳセンサでは、２フィールド分の画像から静止画を生成した場合、蓄積時間が重なり合うと共に、蓄積時間によっては重なり時間が異なる。そのため、１／６０の蓄積時間ずれによる重心ズレを補正したとしても、ＯＤＤフィールドの各ライン（ＨＯＤＤ）とＥＶＥＮフィールド（ＨＥＶＥＮ）の各ラインの重心がずれるために生じる垂直解像度劣化（ギザギザ）は、補正することができない。

本発明は上記問題点を鑑みてなされたものであり、１フィールド期間を超える蓄積時間により電荷の蓄積を行い、フィールド期間ごとに各フィールドからインターレース読み出しを行っている間に静止画を生成する場合に、静止画における蓄積時間の重心ずれによる解像度劣化を低減することを目的とする。

上記目的を達成するために、撮像素子から、奇数フィールドと偶数フィールドとを交互に１フィールド期間ごとにインターレース読み出しにより読み出した信号を処理する本発明の画像処理装置は、前記撮像素子の蓄積時間を取得する取得手段と、静止画の生成を指示する指示手段と、前記指示手段により静止画の生成が指示された場合に、前記蓄積時間が、前記１フィールド期間よりも長い予め決められた第１の時間よりも長ければ、前記指示された直後の奇数フィールドまたは偶数フィールドのいずれか一方の信号に基づいて静止画を生成し、前記蓄積時間が前記第１の時間以下であれば、前記指示された直後の奇数フィールド及び偶数フィールドの信号に基づいて静止画を生成する静止画生成手段とを有する。

本発明によれば、１フィールド期間を超える蓄積時間により電荷の蓄積を行い、フィールド期間ごとに各フィールドからインターレース読み出しを行っている間に静止画を生成する場合に、静止画における蓄積時間の重心ずれによる解像度劣化を低減することができる。

本発明の実施形態における撮像装置の一構成例を示すブロック図。 実施形態におけるカメラ信号処理部の一構成例を示すブロック図。 実施形態におけるＣＰＵの一構成例を示すブロック図。 実施形態における静止画生成手法の判定方法を示す図。 実施形態における蓄積時間が１／３０秒での静止画同時記録時の問題点を説明するための図。 実施形態における静止画生成手法の説明図。 実施形態における静止画生成手法の動作を示すフローチャート。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。

図１は、本発明を適用した撮像装置の構成を示すブロック図である。同図において、レンズ１を通った光信号は、絞り２を介して、インターレース読み出し駆動可能なＣＭＯＳセンサ３に入力される。撮像素子であるＣＭＯＳセンサ３の出力信号は、アナログ信号をデジタル信号に変換するＡ／Ｄ変換器４と、信号レベル調節用のＡＧＣ５を介して、連続したＲＡＷデータとしてカメラ信号処理部６に出力する。

カメラ信号処理部６は、図２に示すように、動画生成ブロック１０２と、静止画生成ブロック１０３と、輝度値算出部１００と、シャッター情報部１０４と、基準値Ａ（第２の時間）及び基準値Ｂ（第１の時間）を格納したメモリ１０５と、比較器１０７を含む。なお、基準値Ａ及び基準値Ｂは、例えばメモリ７などのカメラ信号処理部６の外部にあるメモリに保持しておき、読み出すようにしても構わない。カメラ信号処理部６は、動画撮影時には、入力信号に基づいて露出制御用の輝度値算出を行うと共に、動画像用の画像処理を行って色処理を施した映像信号をビデオ信号処理部９に出力する。

ビデオ信号処理部９は、入力された映像信号をモニタなどの表示装置に表示するための処理を行う。一方、カメラ信号処理部６の輝度値算出部１００にて生成された露出制御用の輝度値情報は、ＣＰＵ８に入力される。ＣＰＵ８は、得られた輝度値情報に基づいて、現在の露出が適切であるか否かを判定する。露出が適切ではないと判定した場合、絞り２と、ＣＭＯＳセンサ３の蓄積時間を制御するための電子シャッターと、ＡＧＣ５に制御信号を送信する。

次に、ＣＭＯＳセンサ３から動画撮影用にインターレース読み出しをしている場合における静止画同時記録時の問題点について、図５を用いて説明する。ここでは、ＣＭＯＳセンサ３の蓄積時間が１／６０秒よりも長秒であって、ＯＤＤフィールド（奇数フィールド）とＥＶＥＮフィールド（偶数フィールド）の蓄積時間が重なり合う場合について説明する。

図５（ａ）は、ＣＭＯＳセンサ３の蓄積時間が１／３０秒の場合を示している。蓄積が開始される１Ｖ目で、初めに、ＯＤＤフィールドの蓄積を開始し、１／３０秒の蓄積が終了するのは、２Ｖ目となる。一方、ＥＶＥＮフィールドの蓄積開始タイミングは、２Ｖ目となるため、１／３０秒の蓄積が終了するのは、３Ｖ目となる。

これにより、ＯＤＤフィールドの読み出しと、ＣＭＯＳセンサ３の出力タイミングは、３Ｖ目、５Ｖ目、７Ｖ目、・・・・、（２Ｎ＋１）Ｖ目となる。一方、ＥＶＥＮフィールドの読み出しと、ＣＭＯＳセンサ３の出力タイミングは、４Ｖ目、６Ｖ目、８Ｖ目、・・・・、（２Ｎ＋２）Ｖ目となる。したがって、ＣＭＯＳセンサ３からの出力信号は、１フィールド期間ごと（１／６０秒）に、ＯＤＤフィールド、ＥＶＥＮフィールド、ＯＤＤフィールド、ＥＶＥＮフィールド、・・・・の順で交互に出力される。これにより、１／６０秒に１コマの信号がＣＭＯＳセンサ３から出力されるので、１秒間のコマ数が、表示装置であるテレビに最適な１秒間に６０コマとなることから、滑らかな映像となる。

しかし、ＯＤＤフィールドと、ＥＶＥＮフィールドの蓄積時間が、重なり合うことにより、ＯＤＤフィールドと、ＥＶＥＮフィールドそれぞれでの１ラインの重心がずれてしまう。この状態で、図５（ｂ）の左側のような、特に動いている被写体を動画撮影中に静止画同時記録を実行すると、１フィールドの画像は、図５（ｂ）の右側に示すように、被写体の垂直成分がギザギザした画像となり、画像の品位が劣化するという問題がある。

そこで、上記問題点を解決するための本発明の動画撮影中の静止画同時記録の動作について、図１と、図２及び図３を用いて説明する。

動画撮影中に、撮像装置に備えたフォトボタン１１がユーザーにより選択された直後、図３に示すＣＰＵ８内部の静止画同時記録部１０９に、フォトボタン１１からの制御信号が入力され、静止画同時記録の動作を開始する。静止画同時記録部１０９は、静止画記録を表わす制御信号をカメラ信号処理部６に出力し、カメラ信号処理部６内部の比較器１０７に入力される。更に、ＣＰＵ８は該制御信号と同時に、現在のシャッター情報（蓄積期間）もカメラ信号処理部６内部のシャッター情報部１０４を介して、比較器１０７に出力する。

一方、カメラ信号処理部６のメモリ１０５には、静止画生成用のフィールド数を決定するために基準となる基準値Ａと基準値Ｂが予め備えられており、比較器１０７に入力する。ここで、基準値Ａと基準値Ｂの関係は、
１／６０秒＜基準値Ａ（例えば１／５０秒）＜基準値Ｂ（例えば１／４０秒）
である。

比較器１０７は、シャッター情報部１０４から取得したシャッター情報と、基準値Ａと、基準値Ｂを元に、現在のシャッタースピードがどの範囲にあるのかを判定した後、判定結果を静止画生成ブロック１０３に出力する。静止画生成ブロック１０３は、入力された情報を元に、静止画を生成した後、記録部１０に静止画データを出力する。

次に、比較器１０７における判定方法について、図４を用いて説明する。比較器１０７は、現在のシャッタースピード（蓄積時間）Ｓと、入力された基準値Ａ及び基準値Ｂとの比較を行う。現在のシャッタースピードＳが基準値Ａ以下であると判定した場合（Ｓ≦基準値Ａ）には、ＯＤＤフィールドと、ＥＶＥＮフィールドの２フィールドの合成により、静止画の生成を行うと判断し、判断結果を静止画生成ブロック１０３に出力する。

一方、現在のシャッタースピードＳが基準値Ａよりも長く、基準値Ｂ以下であると判定した場合（基準値Ａ＜Ｓ≦基準値Ｂ）には、ＯＤＤフィールドとＥＶＥＮフィールドを加重平均したフィールド画から静止画の生成を行うと判断する。そして、判断結果を静止画生成ブロック１０３に出力する。

また、現在のシャッタースピードＳが基準値Ｂよりも長いと判定した場合（Ｓ＞基準値Ｂ）には、ＯＤＤフィールドもしくは、ＥＶＥＮフィールドのどちらか一方のフィールド画から静止画の生成を行うと判断し、判断結果を静止画生成ブロック１０３に出力する。

静止画生成ブロック１０３は、比較器１０７からの判断結果に応じて、メモリ７から画像データを読み出し、静止画を生成した後、静止画に最適な輪郭強調や、色処理などの信号処理を施し、記録部１０に出力する。

次に、ＣＭＯＳセンサ３の蓄積時間に応じた静止画生成の手法について、図６を参照して説明する。ここでは、上述したように、図２に示す基準値Ａには１／５０秒を示すデータが、また、基準値Ｂには１／４０秒を示すデータが予め設定されているものとする。

そして、被写体撮影を行い、図６（ａ）に示すように、ＣＭＯＳセンサ３のシャッタースピードＳが１／５５秒であった場合、基準値Ａである１／５０秒と比較すると短秒である。このような状態の場合には、ＯＤＤフィールドと、ＥＶＥＮフィールドの蓄積時間のオーバーラップ時間が少ないため、１ラインの重心ずれが少ない。従って、静止画記録が実行された直後のＯＤＤフィールドと、ＥＶＥＮフィールドの２フィールドの画像を合成して、１枚の静止画を生成する。

また、図６（ｂ）に示すように、ＣＭＯＳセンサ３のシャッタースピードＳが１／４５秒であった場合には、基準値Ａである１／５０秒と比較すると長秒であり、基準値Ｂである１／４０秒と比較すると短秒である。そのため、フィールド間の重なり時間は軽微である。このような状態の場合には、ＯＤＤフィールドと、ＥＶＥＮフィールドの蓄積時間のオーバーラップ時間が一定時間あることより、静止画記録が実行された直後のＯＤＤフィールドと、ＥＶＥＮフィールドの加重平均により、１枚の静止画を生成する。ここでは、例えば、ＯＤＤフィールドに対して、ＥＶＥＮフィールドの解像度を下げるように、輪郭強調を行うゲイン値の比率をＯＤＤフィールドに対してＥＶＥＮフィールドで下げることにより、加重平均を行う。

また、図６（ｃ）に示すように、ＣＭＯＳセンサ３のシャッタースピードが１／３０秒であった場合には、基準値Ｂである１／４０秒と比較すると長秒である。このような状態では、ＯＤＤフィールドと、ＥＶＥＮフィールドの蓄積時間のオーバーラップ時間が１フィールド期間分（＝１／６０秒）ある。このような場合には、静止画記録が実行された直後のＯＤＤフィールドもしくは、ＥＶＥＮフィールドのどちらか一方のフィールド画像から、静止画を生成する。

次に、図７を用いて、本発明の動画撮影時の静止画同時記録の動作フローを説明する。撮像装置の電源投入後、動画撮影が開始されると、被写体の明るさに応じて、撮像装置が備える絞りと、ＣＭＯＳセンサ３の蓄積時間を制御する電子シャッターと、ＡＧＣ５を制御し、露出補正を行う（Ｓ１１）。この状態において、ユーザーにより静止画記録を指示するためのフォトボタン１１が選択された直後に（Ｓ１２）、静止画撮影動作を開始する（Ｓ１３）。

そして、静止画撮影動作開始直後のシャッタースピードＳを検出し（Ｓ１４）、検出したシャッタースピードＳと、撮像装置内部に予め備えたシャッター判定基準値である基準値Ａ及び基準値Ｂとの比較を行う（Ｓ１５）。ここで、現在のシャッタースピードＳと基準値Ａとを比較した結果において、基準値Ａ以下（第２の時間以下）であると判定した場合（Ｓ１６でＮＯ）には、静止画撮影開始直後のＯＤＤフィールドと、ＥＶＥＮフィールドの２フィールドの画像を検出する（Ｓ１７）。次に、該検出した２フィールドの画像を合成して、１枚の静止画を生成し（Ｓ１８）、撮像装置に備えた記録媒体にデータを記録する（Ｓ２４）。

一方、シャッタースピードＳと基準値Ａとを比較した結果において、基準値Ａよりも大きい（長い）と判定した場合（Ｓ１６でＹＥＳ）、次に、シャッタースピードＳを基準値Ｂと比較する。該比較結果において、基準値Ｂ以下（第１の時間以下）であると判定した場合（Ｓ１９でＮＯ）には、静止画撮影開始直後のＯＤＤフィールドと、ＥＶＥＮフィールドの２フィールドの画像を加重平均し（Ｓ２０）、１枚の静止画を生成する（Ｓ２１）。生成した静止画は、撮像装置に備えた記録媒体にそのデータが記録される（Ｓ２４）。

一方、シャッタースピードＳが基準値Ｂよりも大きい（長い）と判定した場合（Ｓ１９でＹＥＳ）には、静止画撮影開始直後のＯＤＤフィールドもしくは、ＥＶＥＮフィールドのどちらか一方を選択する（Ｓ２２）。そして、選択したフィールド画像から１枚の静止画を生成する（Ｓ３）。生成した静止画は、撮像装置に備えた記録媒体にそのデータが記録される（Ｓ２４）。

以上のように、被写体の明るさに応じた露出制御により２フィールドに跨って電荷蓄積を行う動画撮影中に静止画撮影が指示された場合に、その時の蓄積時間に応じて静止画を生成するためのフィールド数を変更する。これにより、ＯＤＤフィールドと、ＥＶＥＮフィールドの蓄積時間が重なり合うことで生じるＯＤＤフィールドの各ライン（ＨＯＤＤ）とＥＶＥＮフィールド（ＨＥＶＥＮ）の各ラインの重心ずれによる縦線の解像度劣化を低減することができる。

＜他の実施形態＞
なお、本発明は、複数の機器（例えばホストコンピュータ、インターフェイス機器、カメラヘッドなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、デジタルビデオカメラなど）に適用してもよい。

なお、上述した例では、撮像装置における動画撮影時に、同時に静止画を生成する場合について説明したが、本発明はこれに限るものではない。例えば、動画に蓄積時間の情報を付加して記録しておき、動画再生時に静止画の生成が指示された場合に、記録された蓄積時間の情報を用いて上述した処理を行うようにしても良い。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (9)

1. 撮像素子から、奇数フィールドと偶数フィールドとを交互に１フィールド期間ごとにインターレース読み出しにより読み出した信号を処理する画像処理装置であって、
   前記撮像素子の蓄積時間を取得する取得手段と、
   静止画の生成を指示する指示手段と、
   前記指示手段により静止画の生成が指示された場合に、前記蓄積時間が、前記１フィールド期間よりも長い予め決められた第１の時間よりも長ければ、前記指示された直後の奇数フィールドまたは偶数フィールドのいずれか一方の信号に基づいて静止画を生成し、前記蓄積時間が前記第１の時間以下であれば、前記指示された直後の奇数フィールド及び偶数フィールドの信号に基づいて静止画を生成する静止画生成手段と
   を有することを特徴とする画像処理装置。
2. 前記指示手段により静止画の生成が指示された場合に、前記静止画生成手段は、前記蓄積時間が前記第１の時間以下であって、該第１の時間よりも短い第２の時間よりも長ければ、前記指示された直後の奇数フィールド及び偶数フィールドの信号を加重平均して静止画を生成し、前記第２の時間以下であれば、前記指示された直後の前記奇数フィールド及び前記偶数フィールドの信号を合成して静止画を生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記インターレース読み出しにより読み出した信号から、動画を生成する動画生成手段を更に有することを特徴とする請求項１または２に記載の画像処理装置。
4. 請求項１乃至３のいずれか１項に記載の画像処理装置と、
   前記撮像素子と、
   前記撮像素子から、奇数フィールドと偶数フィールドとを交互に１フィールド期間ごとにインターレース読み出しするように駆動する駆動手段とを有し、
   前記駆動手段は、１フィールド期間よりも長い時間、電荷蓄積を行い、奇数フィールドと偶数フィールドから交互に１フィールド期間ごとにインターレース読み出しするように前記撮像素子を駆動可能であることを特徴とする撮像装置。
5. 撮像素子から、奇数フィールドと偶数フィールドとを交互に１フィールド期間ごとにインターレース読み出しにより読み出した信号を処理する画像処理方法であって、
   取得手段が、前記撮像素子の蓄積時間を取得する取得工程と、
   指示手段が、静止画の生成を指示する指示工程と、
   静止画生成手段が、前記指示工程で静止画の生成が指示された場合に、前記蓄積時間が、前記１フィールド期間よりも長い予め決められた第１の時間よりも長ければ、前記指示された直後の奇数フィールドまたは偶数フィールドのいずれか一方の信号に基づいて静止画を生成し、前記蓄積時間が前記第１の時間以下であれば、前記指示された直後の奇数フィールド及び偶数フィールドの信号に基づいて静止画を生成する静止画生成工程と
   を有することを特徴とする画像処理方法。
6. 前記静止画生成工程では、前記指示工程で静止画の生成が指示された場合に、前記蓄積時間が前記第１の時間以下であって、該第１の時間よりも短い第２の時間よりも長ければ、前記指示された直後の奇数フィールド及び偶数フィールドの信号を加重平均して静止画を生成し、前記第１の時間以下であれば、前記指示された直後の前記奇数フィールド及び前記偶数フィールドの信号を合成して静止画を生成することを特徴とする請求項５に記載の画像処理方法。
7. 動画生成手段が、前記インターレース読み出しにより読み出した信号から、動画を生成する動画生成工程を更に有することを特徴とする請求項５または６に記載の画像処理方法。
8. コンピュータを、請求項１乃至３のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
9. 請求項８に記載のプログラムを格納したコンピュータが読み取り可能な記憶媒体。

Images