JP2010283630A5 - - Google Patents

Description

撮像装置及びその制御方法

本発明は、ビデオカメラやデジタルスチルカメラ等の撮像装置に関し、特に動画の撮像中に静止画の撮像が可能な撮像装置に関する。

上記のような撮像装置において、動画の撮像中に静止画の撮像を行う場合、所定の周期（例えば、１／６０秒のフレームレート）で取得されている動画用フレーム画像の一部が、静止画の撮像処理のために欠落することがある。この結果、特に動きのある被写体を撮像した動画を再生する際に、再生動画の連続性が損なわれる可能性がある。

このような問題を解決するために、特許文献１には、動画撮像中に静止画撮像がなされた際の欠落フレームを、その前後のフレーム画像によって補間する撮像装置が開示されている。

また、静止画撮像により得られた静止画データを使用して、欠落フレームを補間する方法も知られている。

特開２００１−１１１９３４号公報

しかしながら、欠落フレームを補間する際に、補間用のフレーム画像のフィールド情報（ＥｖｅｎフィールドやＯｄｄフィールド）を考慮しないと、補間されたフレームの直後において、斜め線等の被写体が滑らかに表示されない等の画質劣化が生ずる可能性がある。

本発明は、動画撮像中の静止画撮像によって生じた欠落フレームを適切なフィールド情報を持った画像データで補間することによって、再生動画の画質劣化を少なくすることができるようにした撮像装置を提供する。

本発明の一側面としての撮像装置は、被写体像を光電変換する撮像素子を有し、動画の撮像中に静止画の撮像が可能である。該撮像装置は、撮像素子の動画用駆動により得られた信号を用いて動画用画像データを生成し、該撮像素子の静止画用駆動により得られた信号を用いて静止画用画像データを生成する画像生成手段と、各画像データを一時的に保持する画像保持手段と、該画像保持手段により保持された各画像データを記録する記録手段と、動画撮像中に静止画撮像が指示された場合において、撮像素子の静止画用駆動によって動画において欠落したフレームを、該静止画用駆動の次の撮像素子の動画用駆動によって生成された動画用画像データを第１の補間用画像データとして用いて補間する第１の補間処理を行う補間処理手段とを有する。さらに、撮像装置は、第１の補間用画像データのフィールド情報が、静止画撮像の指示がなされたタイミングでの撮像素子の動画用駆動により生成された動画用画像データのフィールド情報と同じになるように、撮像素子の動画用駆動を制御する制御手段を有することを特徴とする。

また、本発明の他の一側面としての制御方法は、被写体像を光電変換する撮像素子を有し、動画の撮像中に静止画の撮像が可能な撮像装置に適用される。該制御方法は、撮像素子の動画用駆動により得られた信号を用いて動画用画像データを生成し、該撮像素子の静止画用駆動により得られた信号を用いて静止画用画像データを生成するステップと、画像保持手段によって一時的に保持された各画像データを記録又は表示するステップと、動画撮像中に静止画撮像が指示された場合において、撮像素子の静止画用駆動によって動画において欠落したフレームを、該静止画用駆動の次の撮像素子の動画用駆動によって生成された動画用画像データを第１の補間用画像データとして用いて補間する第１の補間処理を行うステップとを有する。さらに、該制御方法は、第１の補間用画像データのフィールド情報が、静止画撮像の指示がなされたタイミングでの前記撮像素子の動画用駆動により生成された動画用画像データのフィールド情報と同じになるように、前記撮像素子の動画用駆動を制御するステップとを有することを特徴とする。

本発明によれば、動画撮像中の静止画撮像によって生じた欠落フレームを適切なフィールド情報を有する第１の補間用画像データで補間するので、再生動画の画質劣化を少なくすることができる。

本発明の実施例１である撮像装置の構成を示すブロック図。 実施例１における動画撮像シーケンスを示すタイミングチャート。 実施例１における再生フィールドの例を示す図。 従来の撮像装置における動画撮像中に静止画撮像が行われた場合の記録シーケンスを示すタイミングチャート。 実施例１における動画撮像中に静止画撮像が行われた場合の記録シーケンスを示すタイミングチャート。 実施例１における動画撮像中に静止画撮像が行われた場合のフィールド情報の変化を示す図。 実施例１における再生フィールドの例を示す図。 実施例１における、動きが大きい被写体の動画撮像中に静止画撮像が行われた場合の記録シーケンスを示すタイミングチャート。 本発明の実施例２である撮像装置における、動きが大きい被写体の動画撮像中に静止画撮像が行われた場合の記録シーケンスを示すタイミングチャート。

以下、本発明の実施例について図面を参照しながら説明する。

図１には、本発明の実施例１である撮像装置としてのビデオカメラの構成を示している。なお、ここでは、ビデオカメラについて説明するが、本発明は、動画撮像及び静止画撮像（動画撮像中の静止画撮像を含む）を行うことができるデジタルスチルカメラにも適用することができる。

１０１はフォーカスレンズや絞り等を含む光学系である。１０２はＣＣＤセンサやＣＭＯＳセンサ等の撮像素子であり、光学系１０１により形成された被写体像を光電変換する。

１０３は撮像素子１０２から読み出されたアナログ画素信号をデジタル画素信号に変換するＡ／Ｄ変換部である。

１０４は該デジタル画素信号（つまりは撮像された動画）から被写体の動きを検出する動き検出部（検出手段）である。

１０５はデジタル画素信号に対して、色変換、ホワイトバランス、ガンマ補正等の画像処理や解像度変換処理等の信号処理を行って画像データを生成するカメラ信号処理部（画像生成手段）である。

１０６はカメラ信号処理部１０５で生成された画像データや、後述する他の処理が行われた画像データを一時的に格納（保持）するＳＤＲＡＭ等のメインメモリである。また、１０７はカメラ信号処理部１０５からの画像データの出力タイミングを調整するために該画像データを一時的に保持（バッファリング）するバッファ部である。メインメモリ１０６は第１の画像保持手段に、バッファ部１０７は第２の画像保持手段にそれぞれ相当する。

１０８はセレクタ部（選択手段）であり、これよりも後段の処理（記録又は表示）を行う画像データとして、バッファ部１０７から出力された画像データとメインメモリ１０６から読み出された画像データのうち一方を選択する。

１０９はセレクタ部１０８から出力された画像データ（動画データ）のサイズ（画角又は画素数）を、動画記録に適したサイズに変換（リサイズ）するための動画リサイズ部である。１１０は動画リサイズ部１０９にてリサイズされた画像データに対してノイズリダクション処理を行うＮＲ処理部である。

１１１はメインメモリ１０６から読み出された画像データのサイズを、後述する被写体検出部１１２での被写体検出処理に適したサイズにリサイズする被写体検出リサイズ部である。

被写体検出部１１２は、被写体検出リサイズ部１１１にてリサイズされた画像データに含まれる被写体を検出する被写体検出処理を行う。

１１３はメインメモリ１０６に格納された画像データ（静止画データ）に対してＪＰＥＧ等の符号化処理を行う静止画符号化部である。１１４は静止画符号化部１１３にて符号化された静止画データを半導体メモリ等の静止画記録媒体（図にはｃａｒｄと記す）１１４に記録する静止画記録部である。

１１５は動画リサイズ部１０９にてリサイズされた動画データを符号化する動画符号化部である。１１６は動画データと不図示のマイクロフォンから入力された音声データとを、所定の動画／音声記録用フォーマットに変換する記録信号処理部（記録手段）である。

１１７は記録信号処理部１１６にてフォーマット変換された動画像データ及び音声データを記録する、半導体メモリ、光ディスク及び磁気テープ等の動画記録媒体である。記録信号処理部１１６は、所定の動画／音声記録用フォーマットに変換した画像データや音声データを動画記録媒体１１７に記録する。また、記録信号処理部１１６は、動画記録媒体１１７に記録された動画データを再生する際には、動画データと音声データを復号処理し、動画データをメインメモリ１０６を介して後述する表示部１１８に出力するとともに、音声データを不図示のスピーカに出力する。

表示部１１８は、液晶パネル等の表示素子を含み、画像データ（動画データ及び静止画データ）を表示素子に表示させる。

１１９は、ビデオカメラの動作全体を制御するシステム制御部である。システム制御部１１９には、ユーザによって操作される不図示の操作部から、動画撮像を指示する信号（動画トリガ）や静止画撮像（動画撮像中の静止画撮像を含む）を指示する信号（静止画トリガ）が入力される。

１２０は撮像素子制御部であり、システム制御部１１９からの制御信号に応じて、撮像素子１０２の駆動（電荷蓄積及び電荷読み出し）を制御する。システム制御部１１９は、動画撮像を行う場合には撮像素子制御部１２０に撮像素子１０２の動画用駆動を行わせ、動画撮像を行う場合には撮像素子制御部１２０に撮像素子１０２の静止画用駆動を行わせる。システム制御部１１９と撮像素子制御部１２０とにより、制御手段が構成される。また、システム制御部１１９は、補間処理手段としても機能する。

このように構成されたビデオカメラにおける動画撮像時の処理タイミングを図２に示す。図中の丸囲みの数字１〜１１は、動画の垂直同期信号（ＶＤ）に同期した時間（タイミング）を示している。以下の説明において、この時間をＶＤと称する。撮像素子１０２での電荷蓄積（センサ蓄積）、撮像素子１０２からの電荷（アナログ画像信号）読み出し、バッファ部１０７又はメインメモリ１０６での一時保持（バッファ）及び画像データの記録の各処理は、ＶＤに同期して行われる。

図中の灰色部分はフィールド情報としてのＥｖｅｎフィールドを、白色部はフィールド情報としてのＯｄｄフィールドを示す。フィールド情報は、撮像素子１０２の駆動フィールということもできる。

動画撮像中（動画記録中）は、撮像素子１０２からＥｖｅｎフィールド、Ｏｄｄフィールド、Ｅｖｅｎフィールド、Ｏｄｄフィールド、…の順番でアナログ画素信号としての電荷が読み出される。このため、前述した処理を経て、動画記録媒体１１７にも、Ｅｖｅｎフィールド、Ｏｄｄフィールド、Ｅｖｅｎフィールド、Ｏｄｄフィールド、…の順番で動画データの各フレームを構成するフレーム画像データ（以下、単に画像データという）が記録される。

動画記録媒体１１７に記録された動画データを表示部１１８にて再生表示する場合には、Ｅｖｅｎフィールドの画像データとＯｄｄフィールドの画像データとが交互に再生される。これにより、滑らかな動画を再生表示することができる。例えば、図３に示すように、動画撮像された被写体が斜め線であった場合には、図３の左側に示すように、動画記録媒体１１７にはそれぞれ途切れた斜め線を含むＥｖｅｎフィールドの画像データとＯｄｄフィールドの画像データが記録される。そして、これらが交互に再生されることで、図３の右側に示すように滑らかな斜め線が表示される。

図４には、従来のビデオカメラ（撮像装置）における動画撮像中に静止画撮像が行われた場合の記録シーケンス（処理タイミング）を示している。図中の灰色部分はフィールド情報としてのＥｖｅｎフィールドを、白色部分はフィールド情報としてのＯｄｄフィールドを示している。また、網掛け部分は、静止画撮像における各処理でのフィールド情報を示す。

動画撮像中のＶＤ２〜ＶＤ３の間の▼印を付したタイミングで静止画トリガが入力されると、ＶＤ３〜ＶＤ４において静止画撮像のためのセンサ蓄積が行われる。その後、ＶＤ４〜ＶＤ６までの２ＶＤ期間において撮像素子１０２からＥｖｅｎフィールドとＯｄｄフィールドの両フィールドの電荷読み出しが行われる。このため、ＶＤ４〜ＶＤ６までの２ＶＤ期間では、動画撮像のためのセンサ蓄積を行うことができない。したがって、ＶＤ５のタイミングでは、撮像素子１０２からの電荷読み出しを行うことができず、図中に点線で示すように、動画用の画像データＥを得ることはできない。すなわち、静止画撮像を行ったことによって、本来画像データＥが記録されるはずであったフレームが欠落する。

従来のビデオカメラでは、まず静止画撮像によって取得した静止画データＤを、Ｅｖｅｎフィールドの画像データＣの次に記録するＯｄｄフィールドの画像データＤとして用いる。次に、得られなかった画像データＥの代わりに、静止画データＤをＥｖｅｎフィールドの画像データＤとしても用いて、欠落したフレームを補間する。この場合、Ｅｖｅｎフィールドの画像データＤが補間用画像データとなる。

この結果、図４に示すように、記録される画像データは、Ａ→Ｂ→Ｃ→Ｄ→Ｄ→Ｆ→…となる。しかしながら、撮像している被写体の動きが大きい場合にこのような補間処理を行うと、記録された動画を再生した場合に、Ｃ→Ｄ→Ｄ→Ｆの間に被写体が一瞬止またように表示され、動画としての連続性が損なわれ、これを見るユーザに違和感を与える。

このため、本実施例では、システム制御部１１９は、動き検出部１０４に、撮像素子１０２から読み出した画素信号（Ａ／Ｄ変換後のデジタル画素信号）から被写体の動きを検出させる。該検出では、まず、基準フィールド）の画素信号中の特徴点（被写体）を抽出する処理と、基準フィールドに続くフィールドの画素信号において上記特徴点に対応する対応点を抽出する処理とが行われる。次に、特徴点と対応点との間の動きの方向と量を示す動きベクトルを算出する処理が行われる。動きベクトルが、被写体の動きを示す。

そして、システム制御部１１９は、動き検出部１０４により検出された被写体の動きが所定の大きさよりも大きいか否かを判断する。被写体の動きが所定の大きさよりも大きい場合には、システム制御部１１９は、図４に示した静止画データＤを用いた欠落フレーム（画像データＥ）の補間処理を行わず、図５に示すような記録処理（言い換えれば、第１の補間処理を含む記録処理）を行う。図５は、本発明の実施例としての制御方法における各ステップを時間の流れに従って示したものである。

なお、ここでは動き検出部１０４により被写体の動きを検出する場合について説明するが、被写体検出部１１２による被写体の検出結果を用いて被写体の動きを得てもよい。このことは、後述する実施例２でも同じである。

システム制御部１１９は、まず静止画撮像でのセンサ蓄積タイミング（静止画データＤ用のセンサ蓄積タイミング）よりも前のタイミングで生成されてバッファ部１０７にてバッファリングされている画像データＡ，Ｂ，Ｃをセレクタ部１０８を通じて選択する。そして、これら画像データＡ，Ｂ，Ｃを動画記録媒体１１７に記録する。

一方、静止画データＤ用のセンサ蓄積タイミングよりも後では、セレクタ部１０８をバッファ部１０７側からメインメモリ１０６側に切り替える。これにより、カメラ信号処理部１０５にて生成された画像データのうち、バッファ部１０７にてバッファリングされない画像データＦ，Ｇ，Ｈ，Ｉを選択して動画記録媒体１１７に記録する。

このような記録処理（第１の補間処理）によれば、再生される画像データは、Ａ→Ｂ→Ｃ→Ｄ→Ｆ→…となる。すなわち、補間用画像データとして静止画データＤを用いずに、画像データＦを用いて欠落フレームを補間する。これにより、記録された動画を再生した場合に、被写体が一瞬止まったように表示されることを回避することができ、動画としての連続性を維持することができる。

図６には、上記のように被写体の動きに応じた記録処理（第１の補間処理）を行う場合の各画像データのフィールド情報を示す。本実施例では、静止画撮像によって、静止画データＤとして、Ｅｖｅｎフィールドの画像データＤとＯｄｄフィールドの画像データＤとが生成される。この場合に、システム制御部１１９は、静止画撮像の直前の動画撮像により得られた画像データＣのフィールド情報に応じて、これら両画像データＤのうち一方を選択する。つまり、画像データＣのフィールド情報とは異なるフィールド情報を有する画像データＤを選択する。これにより、画像データＣ→Ｄ間においては滑らかな再生動画を得ることができる。

そして、Ｏｄｄフィールドの画像データＤの次に、第１の補間用画像データとしての画像データＦを動画記録媒体１１７に記録する。このときの画像データＦのフィールド情報は、従来通りの撮像素子１０２からの電荷読み出しを行うと、必ずＯｄｄフィールドとなる。この場合に動画記録媒体１１７に記録される画像データとそのフィールド情報を記すと、
Ａ（Ｅｖｅｎ）→Ｂ（Ｏｄｄ）→Ｃ（Ｅｖｅｎ）→Ｄ（Ｏｄｄ）→Ｆ（Ｏｄｄ）→Ｇ（Ｅｖｅｎ）…となる。

ここで、前述したように、画像データＤを記録した次に画像データＤではなく、画像データＦを記録することで、記録動画を再生したときに動きのある被写体が一瞬止まって表示されることは回避できる。ただし、図７に示すように、被写体が斜め線である場合、Ｄ（Ｏｄｄ）→Ｆ（Ｏｄｄ）においてＯｄｄフィールドの画像データが連続して再生されることになり、滑らかな斜め線が表示されない。

そこで本実施例では、静止画撮像の次（直後）の動画撮像（第１の補間用画像データＦ）に対する撮像素子１０２の駆動フィールドを、静止画トリガが入力されたタイミングでの動画撮像（画像データＣ）に対する駆動フィールドと同じにする。つまり、画像データＦを生成するための撮像素子１０２の駆動フィールドを、画像データＣを生成するための駆動フィールドと同じＥｖｅｎフィールドとする。

このようなフィールド制御によれば、図８に示すように、静止画撮像により得られた画像データＤとその前後の動画撮像によって得られた画像データＣ，Ｆにおいて、同じフィールド情報が連続することはない。すなわち、互いに隣接するフィールドは必ずＥｖｅｎフィールドとＯｄｄフィールドの組み合わせとなる。したがって、斜め線も滑らかに表示され、画質の劣化を抑制することができる。

以上説明したように、本実施例によれば、動画撮像中の静止画撮像によって生じた欠落フレームを、適切なフィールド情報を有する動画用画像データで補間することができ、再生動画の画質劣化を少なくすることができる。

なお、音声データに関しても、画像データと同様にバッファリングしてタイミング調整を行うことにより、画像データに合わせて出力することができる。このことは、後述する実施例１でも同じである。

本発明の実施例２について説明する。本実施例において、ビデオカメラの構成は図１に示した実施例１のビデオカメラの構成と同じである。このため、以下の説明において、実施例１と共通する構成要素には実施例１（図１）と同符号を付す。

本実施例のビデオカメラにおける動画撮像時の処理タイミングを図９に示す。図中の丸囲みの数字１〜１６は、動画の垂直同期信号（ＶＤ）に同期した時間（タイミング：以下、ＶＤと称する）を示している。本実施例でも、撮像素子１０２での電荷蓄積（センサ蓄積）、撮像素子１０２からの電荷（アナログ画像信号）読み出し、バッファ部１０７又はメインメモリ１０６での一時保持（バッファ）及び画像データの記録の各処理は、ＶＤに同期して行われる。

また、図中の灰色部分、白色部分及び網掛け部分はそれぞれ、Ｅｖｅｎフィールド、Ｏｄｄフィールド、及び静止画撮像における各処理でのフィールド情報を示す。

本実施例でも、動画撮像中（動画記録中）は、撮像素子１０２からＥｖｅｎフィールド、Ｏｄｄフィールド、Ｅｖｅｎフィールド、Ｏｄｄフィールド、…の順番でアナログ画素信号としての電荷が読み出される。このため、前述した処理を経て、動画記録媒体１１７にも、Ｅｖｅｎフィールド、Ｏｄｄフィールド、Ｅｖｅｎフィールド、Ｏｄｄフィールド、…の順番でフレーム画像としての画像データが記録される。

動画撮像中のＶＤ２〜ＶＤ３の間の▼印を付したタイミングで静止画トリガが入力されると、ＶＤ３〜ＶＤ４において静止画撮像のためのセンサ蓄積が行われる。その後、ＶＤ４〜ＶＤ６までの２ＶＤ期間において撮像素子１０２からＥｖｅｎフィールドとＯｄｄフィールドの両フィールドの電荷読み出しが行われる。このため、ＶＤ５のタイミングでは撮像素子１０２からの電荷読み出しを行うことができず、図中に点線で示すように、動画用の画像データＥを得ることはできない。つまり、実施例１と同様に、静止画撮像を行ったことによって、本来画像データＥが記録されるはずであったフレームが欠落する。

本実施例でも、システム制御部１１９は、動き検出部１０４により検出された被写体の動きが所定の大きさよりも大きいか否かを判断する。そして、被写体の動きが所定の大きさよりも大きい場合には、静止画用画像データＤを用いた欠落フレーム（画像データＥ）の補間処理を行わず、動画用画像データＦを用いた記録処理（補間処理）を行う。該記録処理の具体的な方法は、実施例１で説明した通りである。これにより、記録された動画を再生した場合に、被写体が一瞬止まったように表示されることを回避することができ、動画としての連続性を維持することができる。

しかも、静止画撮像により得られる画像データＤとその前後の動画撮像によって得られる画像データＣ，Ｆに関して、実施例１にて説明したフィールド制御を行うことで、斜め線も滑らかに表示され、画質の劣化を抑制することができる。

また、本実施例のように画像データＦを用いて欠落フレーム（画像データＥ）を補間した後、次の静止画撮像に備えるため、システム制御部１１９は、動き検出部１０４に被写体の動きを検出させる。そして、該検出結果から被写体の動きが所定の大きさよりも小さいと判断した場合には、バッファ部１０７にバッファリングされている画像データを選択するようにセレクタ部１０８を制御し、該画像データを動画記録媒体１１７に記録させる。これにより、先の静止画トリガが入力される前と同じ動画記録状態（動画撮像状態：バッファ部１０７にバッファリングされた画像データが記録される状態）に戻す。

ここで、図中の▽印を付したタイミング（特定タイミング）で撮像素子１０２から読み出した、画像データＩ，Ｊ，Ｋに対応する画素信号から被写体の動きが所定の大きさよりも小さいと判断した場合について説明する。この場合、仮にシステム制御部１１９がセレクタ部１０８を制御して、バッファ部１０７にバッファリングされている画像データを選択したとする。このとき、ＶＤ１３〜ＶＤ１４の期間とＶＤ１４〜ＶＤ１５の期間にそれぞれ動画記録媒体１１７に記録される画像データは、ともにバッファ部１０７にバッファリングされている画像データＬとなる。つまり、ＶＤ１３〜ＶＤ１５の２ＶＤの期間にて同一の画像データが連続して記録されることになる。

これを回避するためには、ＶＤ１４〜ＶＤ１５の期間に記録する画像データ（つまりは特定フレーム）を、画像データＬ以外の第２の補間用画像データを用いて補間する（第２の補間処理を行う）必要がある。

そこで本実施例では、補間タイミングであるＶＤ１４〜ＶＤ１５の期間より前にて該補間タイミングにできるだけ（又は最も）近いタイミングで生成され、かつ画像データＬとは逆のフィールド情報を持つ画像データＫを第２の補間用画像データとして用いる。

さらに、本実施例では、システム制御部１１９は、被写体の動きが小さいと判断した▽印のタイミングでの画像データＬに対する撮像素子１０２の駆動フィールドと同じ駆動フィールドで次の画像データＭに対する撮像素子１０２の動画用駆動を行う。具体的には、画像データＬと同じＥｖｅｎフィールドで画像データＭに対する撮像素子１０２の動画用駆動を行う。これにより、図９に示すように、バッファ部１０７には、Ｅｖｅｎフィールドの画像データＭがバッファリングされる。

画像データの補間後（ＶＤ１５以降）は、システム制御部１１９は、バッファ部１０７にバッファリングされている画像データを動画記録媒体１１７に記録する。

以上のような制御を行うことで、バッファ部１０７にバッファリングされている画像データを動画記録媒体１１７に記録する動画記録状態に戻した場合でも、互いに隣接する画像データのフィールド情報は必ずＥｖｅｎ／Ｏｄｄの組み合わせとなる。この結果、滑らかで良好な再生動画を得つつ、静止画トリガが入力される前の動画記録状態に戻すことができる。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

動画撮像中の静止画撮像によって生じた欠落フレームを補間することによる再生動画の画質劣化を少なくすることができる撮像装置を実現できる。

１０１ 光学系
１０２ 撮像素子
１０４ 動き検出部
１０５ カメラ信号処理部
１０６ メインメモリ
１０７ バッファ部
１０８ セレクタ部
１１９ システム制御部