JP2006033242A - 画像再生方法および撮像装置 - Google Patents

Abstract

【課題】順次に撮像される複数のフレーム画像を合成する場合に、高品質な合成画像による動画再生を適切に行える画像再生技術を提供する。
【解決手段】撮像装置では、動画再生の際のフレームレートに対して３倍の高速フレームレートでの撮影が可能である。この撮像装置における動画撮影時には、例えば主被写体に対する合焦位置に関して３段階に合焦状態を変更しつつ撮影動作を繰り返すことで３種類(ａ〜ｃ系列)のフレーム画像を順次に取得して記録する。そして、再生時には、指定された２系列または３系列のフレーム画像が順次に合成されて、３０ｆｐｓのフレームレート(フレーム間の時間間隔が３３.３ｍｓ)で表示部に再生される。その結果、高品質な合成画像による動画再生を適切に行える。
【選択図】図１０

Description

本発明は、表示手段に画像を再生する画像再生技術に関する。

撮像装置における動画撮影では、異なる露光時間で撮像される２種類のフレーム画像を交互に取得し、これを合成することにより、原画像と同一のフレームレートでダイナミックレンジの広がった動画を生成する技術がある(特許文献１参照)。

特開２００３−４６８５７号公報

しかしながら、上記の特許文献１の技術では、動画再生で用いられる一般的なフレームレートで２種類のフレーム画像を交互に撮像するため、２種類のフレームを撮像する時間差が上記フレームレートの１フレーム周期に相当する。このため、この時間差に被写体が比較的速く動く場合には合成元のフレーム画像における被写体の位置ずれが大きくなるため、精度の良い画像合成が困難となり、合成画像の品質が低下してしまう。

本発明は、上記課題に鑑みてなされたものであり、順次に撮像されるフレーム画像を合成する場合に、高品質な合成画像による動画再生を適切に行える画像再生技術を提供することを目的とする。

上記の課題を解決するため、請求項１の発明は、所定の表示手段に画像を再生する方法であって、前記所定の表示手段に動画を表示する際の表示フレームレートに対するＮ倍（Ｎは２以上の整数）のフレームレートに基づくタイミングで、撮影条件をＭ段階（Ｍは整数で２≦Ｍ≦Ｎ）に変更しつつ撮像手段により撮像し、Ｍ種類の撮影条件それぞれに対応する各フレーム画像を順次に取得する撮影工程と、前記Ｍ種類の撮影条件から２種類以上の撮影条件を指定する指定工程と、前記指定工程で指定される前記２種類以上の撮影条件それぞれで撮像された各フレーム画像を順次に画像合成して、合成画像を前記表示フレームレートで前記所定の表示手段に再生する画像合成工程とを備える。

また、請求項２の発明は、請求項１の発明に係る画像再生方法において、前記撮影条件の変更は、合焦状態の変更である。

また、請求項３の発明は、請求項２の発明に係る画像再生方法において、前記画像合成工程は、前記２種類以上の撮像条件それぞれで撮像された各フレーム画像に対して、ハイパスフィルタおよび／またはローパスフィルタによるフィルタ処理を施した後に画像合成することにより、合成画像を生成する合成処理工程を有する。

また、請求項４の発明は、請求項１ないし請求項３のいずれかの発明に係る画像再生方法において、前記画像合成工程は、前記撮影工程で順次に取得されるフレーム画像を所定の記録手段に記録する工程と、前記２種類以上の撮影条件それぞれで撮像された各フレーム画像を前記所定の記録手段から順次に読み出して画像合成を行い、合成画像を前記所定の表示手段に再生する工程とを有する。

また、請求項５の発明は、請求項１ないし請求項３のいずれかの発明に係る画像再生方法において、前記画像合成工程は、前記撮影工程において前記２種類以上の撮影条件それぞれで取得された各フレーム画像を順次に画像合成し、合成画像を所定の記録手段に記録する記録工程、前記記録工程で記録した合成画像を前記所定の記録手段から順次に読み出して前記所定の表示手段に再生する工程とを有する。

また、請求項６の発明は、画像表示が可能な表示手段を有する撮像装置であって、(a)被写体に係るフレーム画像を順次に生成する撮像手段と、(b)前記表示手段に動画を表示する際の表示フレームレートに対するＮ倍（Ｎは２以上の整数）のフレームレートに基づくタイミングで、撮影条件をＭ段階（Ｍは整数で２≦Ｍ≦Ｎ）に変更しつつ前記撮像手段により撮像し、Ｍ種類の撮影条件それぞれに対応する各フレーム画像を順次に取得する撮影制御手段と、(c)前記Ｍ種類の撮影条件から２種類以上の撮影条件を指定する指定手段と、(d)前記指定手段で指定される前記２種類以上の撮影条件それぞれで撮像された各フレーム画像を順次に画像合成して、合成画像を前記表示フレームレートで前記表示手段に再生する画像合成手段とを備える。

請求項１ないし請求項６の発明によれば、表示フレームレートに対するＮ倍のフレームレートに基づくタイミングで撮影条件をＭ段階に変更しつつ撮像手段により撮像してＭ種類の撮影条件それぞれに対応する各フレーム画像を順次に取得するとともに、指定される２種類以上の撮影条件それぞれで撮像された各フレーム画像を順次に画像合成し合成画像を表示フレームレートで再生する。その結果、高品質な合成画像による動画再生を適切に行える。

特に、請求項２の発明においては、撮影条件の変更が合焦状態の変更であるため、様々な視覚効果を持つ合成画像が生成できる。

また、請求項３の発明においては、２種類以上の撮像条件それぞれで撮像された各フレーム画像に対してハイパスフィルタおよび／またはローパスフィルタによるフィルタ処理を施した後に画像合成することにより合成画像を生成するため、適切な合成画像を簡易に生成できる。

また、請求項４の発明においては、撮影工程で順次に取得されるフレーム画像を所定の記録手段に記録し、２種類以上の撮影条件それぞれで撮像された各フレーム画像を所定の記録手段から順次に読み出して画像合成を行い合成画像を所定の表示手段に再生するため、再生時における合成処理の選択肢が増える。

また、請求項５の発明においては、撮影工程において２種類以上の撮影条件それぞれで取得された各フレーム画像を順次に画像合成して合成画像を所定の記録手段に記録し、記録した合成画像を所定の記録手段から順次に読み出して所定の表示手段に再生するため、記録画像のデータサイズを低減できるとともに、合成画像を従来の再生方法で簡易に再生できる。

＜第１実施形態＞
＜撮像装置の要部構成＞
図１は、本発明の第１実施形態に係る撮像装置１Ａを示す斜視図である。また、図２は、撮像装置１Ａの背面図である。なお、図１および図２には方位関係を明確にするために互いに直交するＸ，Ｙ，Ｚの三軸を示している。

撮像装置１Ａは、例えばデジタルカメラとして構成されており、カメラ本体１０の前面には撮影レンズ１１とフラッシュ１２とが設けられている。撮影レンズ１１の奥には、撮影レンズ１１を介して入射する被写体像を光電変換してカラーの画像信号を生成する撮像素子としてのＣ−ＭＯＳセンサ(以下では単に「ＣＭＯＳ」という)２１が設けられている。

撮影レンズ１１は、ズームレンズ１１１とフォーカスレンズ１１２(図３参照)とを含んでおり、これらのレンズを光軸方向に駆動することにより、ＣＭＯＳ２１に結像される被写体像のズーミングや合焦を実現することができる。

撮像装置１Ａの上面には、シャッターボタン１３が配設されている。このシャッターボタン１３は、被写体の撮影を行うときにユーザがその押下操作を行って撮像装置１Ａに撮影指示を与えるもので、半押し状態(Ｓ１状態)と押し込んだ全押し状態(Ｓ２状態)とを検出可能な２段階スイッチとして構成されている。ここで、撮影モードとして動画撮影が設定された状態で全押し状態(Ｓ２状態)とすれば、再度全押し状態とされるまでの期間、動画撮影が行われることとなる。

撮像装置１Ａの側面部には、シャッターボタン１３の押下操作に伴う本撮影動作で得られた画像データを記録するメモリカード９を装着する装着部１４が形成されている。さらに、撮像装置１Ａの側面には、装着部１４からメモリカード９を取り出す際に操作するカード取り出しボタン１５が配設されている。

撮像装置１Ａの背面には、本撮影前に被写体を動画的態様で表示するライブビュー表示や、撮影した画像等の画像表示を行う液晶ディスプレイ(ＬＣＤ：Liquid Crystal Display)１６と、シャッタースピードやズームなど撮像装置１Ａの各種設定状態を変更するための背面操作部１７とが設けられている。

背面操作部１７は、複数の操作ボタン１７１〜１７３で構成されており、例えば操作ボタン１７１に対する操作によってズーム操作や露出設定等を行えるとともに、操作ボタン１７３に対する操作によって動画撮影モードや通常再生モード、合成再生モードに設定できる。

図３は、撮像装置１Ａの機能ブロックを示す図である。以下では、動画撮影のシーケンスに沿って、各部の機能を説明する。なお、本実施形態では動画フォーマットとしてＭｏｔｉｏｎＪＰＥＧ形式を用いている。

メインスイッチが操作されカメラが起動された場合には、ズームレンズ１１１およびフォーカスレンズ１１２を通って被写体光像がＣＭＯＳ２１に結像され、被写体に関するアナログ信号のフレーム画像が順次に生成される。そして、このアナログ信号は、信号処理部２２でのＡ／Ｄ変換によりデジタル信号に変換されて、メモリ２３に一次記憶される。

メモリ２３に一次記憶された画像データは、画像処理部２４でγ変換やアパーチャコントロール等の画像処理を行った後、ＬＣＤ１６に表示するための処理が施されてＬＣＤ１６にライブビュー画像が表示される。

このような被写体のライブビュー表示により、構図の確認を行えるとともに、被写体の画像を視認しつつ操作ボタン１７１への操作によって画角を変更できる。この場合、操作ボタン１７１によるズーム操作が制御部２０Ａで検出されると、ズームレンズ１１１を駆動してユーザの所望する画角が設定されることとなる。なお、撮像装置１ＡのＣＭＯＳ２１では、後述のように９０ｆｐｓでの撮像が可能であるが、ライブビュー表示の際にはＬＣＤ１６で３フレームに１回の頻度で画像が更新される。

そして、制御部２０Ａがシャッターボタン１３の半押し(Ｓ１)を検出すると、ＣＭＯＳ２１からの出力に基づきＡＥ演算部２５が撮影画像全体に対して適正な露出量を演算して、シャッタースピードや、信号処理部２２におけるアンプのゲインを設定する。

ＡＥ演算部２６での演算が終了すると、ホワイトバランス(ＷＢ)演算部２７で適正なＷＢ設定値を演算して、画像処理部２４でホワイトバランス補正を行うためのＲゲインおよびＧゲインを設定する。

そして、ＷＢ演算部２７での演算が終了すると、合焦演算部２５において、ＣＭＯＳ２１からの出力に基づきコントラスト方式のＡＦで利用するＡＦ評価値を演算し、この演算結果に基づきフォーカスレンズ１１２の駆動を制御部２０Ａが制御して、被写体に合焦させる。具体的には、フォーカスモータ(不図示)を駆動し、ＣＭＯＳ２１で取得される画像の高周波成分がピークとなるレンズ位置を検出して、この位置にフォーカスレンズ１１２を移動させる。

次に、シャッターボタン１３の全押しが行われると、動画撮影が開始する。動画撮影中においては、画像処理部２４からの画像データはメモリカード９に保存される。そして、再度シャッターボタン１３の全押しが行われると動画撮影は終了するが、ライブビュー表示は引き続き行われる。

以上で説明した撮像装置１Ａの動画撮影のシーケンスは、制御部２０Ａが各部を統括的に制御することにより実行される。

制御部２０Ａは、ＣＰＵを有するとともに、ＲＯＭ２０１およびＲＡＭ２０２を備えている。そして、このＲＯＭ２０１には、撮像装置１Ａを制御するための各種の制御プログラムが格納される。

以下では、撮像装置１Ａの動画撮影動作および再生動作について詳述する。

＜動画撮影動作および再生動作＞
図４は、撮像装置１Ａにおける動画撮影動作および再生動作を説明するための図である。図４(ａ)〜(ｄ)においては、横軸が時間軸を表している。

撮像装置１ＡのＣＭＯＳ２１では、図４(ａ)に示すように、９０ｆｐｓ、つまりフレーム間の時間間隔が約１１.１ｍｓで動画撮影が可能となっている。すなわち、ＬＣＤ１６に動画を表示する際の表示フレームレート(３０ｆｐｓ)に対して３倍のフレームレートに基づくタイミングでＣＭＯＳ２１を駆動できる。なお、図４(ａ)中の数字１、２、３、・・・は、フレーム番号(Ｎｏ)で、番号が増加するほど後で撮影されたことを表している。

このようなフレームレートで録画された動画についても、一般的な３０ｆｐｓのフレームレート（フレーム間の時間間隔が約３３.３ｍｓ）で再生すれば人の目で見る限り十分に動画として通用するため、撮像装置１Ａでは、９０ｆｐｓで記録された動画に対して１／３に間引きして再生する。なお、この再生は後述の通常再生モードでの再生動作に相当する。

具体的には、図４(ｂ)に示すように、図４(ａ)に示すフレーム群（Ｎｏ.１〜２４)のうち、フレームＮｏが１、４、７・・・、つまり３ｎ−２(ｎは自然数）となる画像を抽出して、動画として再生する。なお、以下では、説明の便宜上、フレームＮｏが１、４、７・・・の画像をａ系列の画像群と呼び、ａ１、ａ２、ａ３・・・とも表示する。

また、図４(ｃ)に示すように、図４(ａ)に示すフレーム群（Ｎｏ.１〜２４)のうち、フレームＮｏが２、５、８・・・、つまり３ｎ−１(ｎは自然数）となる画像を抽出して、動画として再生する。なお、以下では、説明の便宜上、フレームＮｏが２、５、８・・・の画像をｂ系列の画像群と呼び、ｂ１、ｂ２、ｂ３・・・とも表示する。

また、図４(ｄ)に示すように、図４(ａ)に示すフレーム群（Ｎｏ.１〜２４)のうち、フレームＮｏが３、６、９・・・、つまり３ｎ(ｎは自然数）となる画像を抽出して、動画として再生する。なお、以下では、説明の便宜上、フレームＮｏが３、６、９・・・の画像をｃ系列の画像群と呼び、ｃ１、ｃ２、ｃ３・・・とも表示する。

以上のように撮像装置１Ａでは、１回の撮影でａ〜ｃ系列の画像群を同時に取得できるが、これらａ〜ｃ系列それぞれで異なる撮影条件の撮影を行うことで、３種類の動画の取得が可能となる。例えば、ａ〜ｃ系列の画像群それぞれで、撮影レンズを主被写体（ここでは画像中央に位置する部分とする）に対して、合焦の位置、少し手前に合焦する位置、少し奥に合焦する位置の３段階に変更しつつＣＭＯＳ２１により撮像することで、３種類の合焦状態の動画が取得できる。具体的には、９０ｆｐｓのフレームレートで合焦条件(撮影条件)を上記３つの合焦位置に順番に変更しつつＣＭＯＳ２１により撮像し、３種類の合焦状態それぞれに対応する各フレーム画像を順次に取得する。

図５は、３種類の合焦状態を説明するための図である。図５(ａ)〜(ｃ)は、それぞれ３台の自動車Ｐ１〜Ｐ３が走行しているシーンを表しており、撮像装置１Ａからの距離が自動車Ｐ３、Ｐ２、Ｐ１の順番で後ろになるほど大きくなっている。

図５(ａ)に示す画像は、合焦演算部２５で主被写体(合焦被写体)の自動車Ｐ２に対する合焦演算を行った後に、この合焦位置から多少奥に合焦位置を設定して撮影した画像であり、自動車Ｐ１に合焦している。なお、図５(ａ)〜(ｃ)では、自動車Ｐ１〜Ｐ３を描く線幅が太くなるほど合焦状態から外れていることを表現している。

図５(ｂ)に示す画像は、合焦演算部２５で主被写体の自動車Ｐ２に対する合焦演算を行った後に、この合焦位置で撮影した画像であり、画面中央の自動車Ｐ１に合焦している。

図５(ｃ)に示す画像は、合焦演算部２５で主被写体の自動車Ｐ２に対する合焦演算を行った後に、この合焦位置から多少手前に合焦位置を設定して撮影した画像であり、自動車Ｐ３に合焦している。

以上のような３種類の合焦状態の動画を取得する具体的な動画撮影動作を、次で説明する。

図６は、撮像装置１Ａにおける動画撮影動作を説明するフローチャートである。本動作は、制御部２０Ａによって実行される。

まず、操作ボタン１７３の操作により、動画撮影モードに設定され、ＬＣＤ１６でプレビュー表示が行われている状態で、ユーザによってシャッターボタン１３が半押しされたかを判定する(ステップＳＴ１)。ここで、シャッターボタン１３が半押しされた場合には、ステップＳＴ２に進み、半押しされていない場合には、ステップＳＴ１を繰り返す。

ステップＳＴ２では、ＡＥ演算部２６でＡＥ演算を行い、適正なＣＭＯＳ２１のシャッタースピードおよび信号処理部２２のゲインを決定する。

ステップＳＴ３では、ＷＢ演算部２７でＷＢ演算を行い、適正なＲゲインおよびＢゲインを決定する。

ステップＳＴ４では、合焦演算部２５で合焦演算を行い、上述したコントラスト方式のＡＦによってフォーカスレンズ１１２を主被写体の合焦位置に移動させる。

ステップＳＴ５では、ユーザによってシャッターボタン１３が全押しされたかを判定する。ここで、シャッターボタン１３が全押しされた場合には、ステップＳＴ６に進み、全押しされていない場合には、ステップＳＴ２に戻る。

ステップＳＴ６では、フォーカスレンズ１１２の合焦位置を奥側に設定する。具体的には、ステップＳＴ４で検出した主被写体の合焦位置から、フォーカスレンズ１１２を合焦位置が奥側に対応する方向に移動させる。

ステップＳＴ７では、ステップＳＴ６で設定された合焦状態で図５(ａ)に示すようなａ系列の画像を撮影する。ここで、ＣＭＯＳ２１で取得された画像は、信号処理部２２で信号処理されメモリ２３に一旦格納された後に、画像処理部２４で画像処理が施されてメモリカード９に記録される。

ステップＳＴ８では、フォーカスレンズ１１２を合焦位置に設定する。具体的には、ステップＳＴ４で検出した主被写体の合焦位置に、フォーカスレンズ１１２を移動させる。

ステップＳＴ９では、主被写体に合焦した状態で図５(ｂ)に示すようなｂ系列の画像を撮影する。ここで、ＣＭＯＳ２１で取得された画像は、信号処理部２２で信号処理されメモリ２３に一旦格納された後に、画像処理部２４で画像処理が施されてメモリカード９に記録される。

ステップＳＴ１０では、フォーカスレンズ１１２の合焦位置を手前側に設定する。具体的には、ステップＳＴ４で検出した主被写体の合焦位置から、フォーカスレンズ１１２を合焦位置が手前側に対応する方向に移動させる。

ステップＳＴ１１では、ステップＳＴ１０で設定された合焦状態で図５(ｃ)に示すようなｃ系列の画像を撮影する。ここで、ＣＭＯＳ２１で取得された画像は、信号処理部２２で信号処理されメモリ２３に一旦格納された後に、画像処理部２４で画像処理が施されてメモリカード９に記録される。

ステップＳＴ１２では、シャッターボタン１３が再度全押しされたかを判定する。ここで、シャッターボタン１３が全押しされた場合には、ステップＳＴ１３に進み、全押しされていない場合には、ステップＳＴ６に戻り、撮影動作を繰り返す。

ステップＳＴ１３では、後処理を行う。具体的には、上記のステップＳＴ７、ＳＴ９、ＳＴ１１の動作によりメモリ２３に未だ残っている画像に対して、画像処理を施し後述するタブの作成を行いメモリカード９に記録する動作を行う。

ステップＳＴ１４では、後処理が終了したかを判定する。ここで、後処理が終了した場合には、ステップＳＴ１に戻り、後処理が終了していない場合には、ステップＳＴ１３を繰り返す。

以上のような動画撮影動作により、図７に示す各フレームの画像が取得できることとなる。すなわち、ステップＳＴ７の動作によってフレームｆ１(ａ１)、ｆ４(ａ２)、ｆ７(ａ３)、ｆ１０(ａ４)のａ系列の画像が順次に撮影され、ステップＳＴ９の動作によってフレームｆ２(ｂ１)、ｆ５(ｂ２)、ｆ８(ｂ３)、ｆ１１(ｂ４)のｂ系列の画像が順次に撮影されるとともに、ステップＳＴ１１の動作によってフレームｆ３(ｃ１)、ｆ６(ｃ２)、ｆ９(ｃ３)、ｆ１２(ｃ４)のｃ系列の画像が順次に撮影される。

なお、上記のステップＳＴ６およびステップＳＴ１０においては、主被写体の合焦位置から所定量だけ前後にずらせて設定するのは必須でなく、例えば図５に示す自動車Ｐ１および自動車Ｐ３それぞれに対する合焦演算を撮像の都度行って合焦させるようにしても良い。この場合には、主被写体以外のターゲットに対して合焦精度が向上する。

以上のように撮影された動画の再生について、以下で説明する。

＜再生動作＞
図８は、メモリカード９に記録されたフレーム画像のデータ配列を示す図である。

記録された各フレームの画像データＤＩには、撮影条件等を示すタグ情報ＴＧが付加されているが、このタグ情報ＴＧの一部ＴＧｐに、画像データＤＩが、どの撮影条件で撮影されたか、つまりどの合焦状態で撮影されたかを示す撮影条件タグが設けられている。

このように撮影条件の各段階を区別する判別情報をフレーム画像に付与することにより、記録された画像データがａ系列、ｂ系列、ｃ系列のいずれの画像に該当するかが判断でき、適切な再生を行える。

次に、以上のように記録された動画(フレーム画像群)の再生処理について、通常再生モードでの再生処理と、合成再生モードでの再生処理とに分けて説明する。

(１)通常再生モード
図９は、通常再生モードにおける再生処理を説明するための図である。なお、本図のフレーム画像ｆ１〜ｆ１２は、図７に示す動画撮影時のフレーム画像ｆ１〜ｆ１２に対応している。

ａ系列が再生対象としてユーザにより指定された場合には、図８(ａ)に示す撮影条件タグＴＧｐに基づきフレーム画像ｆ１(ａ１)、ｆ４(ａ２)、ｆ７(ａ３)、ｆ１０(ａ４)が全フレーム画像から抽出されて、図４(ｂ)に示すように順番にＬＣＤ１６で再生表示される。

また、ｂ系列が再生対象としてユーザにより指定された場合には、図８(ｂ)に示す撮影条件タグＴＧｐに基づきフレーム画像ｆ２(ｂ１)、ｆ５(ｂ２)、ｆ８(ｂ３)、ｆ１１(ｂ４)が全フレーム画像から抽出されて、図４(ｃ)に示すように順番にＬＣＤ１６に再生表示される。

同様に、ｃ系列が再生対象としてユーザにより指定された場合には、図８(ｃ)に示す撮影条件タグＴＧｐに基づきフレーム画像ｆ３(ｃ１)、ｆ６(ｃ２)、ｆ９(ｃ３)、ｆ１２(ｃ４)が全フレーム画像から抽出されて、図４(ｄ)に示すように順番にＬＣＤ１６に再生表示される。

(２)合成再生モード
図１０は、合成再生モードにおける再生処理を説明するための図である。図１０(ａ)〜(ｃ)においては、横軸が時間軸に対応している。

撮像装置１Ａでは、図６のフローチャートに示す動画撮影動作を行うことにより、図１０(ａ)に示すように９０ｆｐｓの高速フレームレートで撮像されたフレーム画像が順次にメモリカード９に記録される。録画された画像群は、主被写体の合焦位置に対して被写体側にずらした合焦状態のａ系列のフレーム画像群と、主被写体の合焦位置に対応する合焦状態のｂ系列のフレーム画像群と、主被写体の合焦位置に対してカメラ側にずらせた合焦状態のｃ系列のフレーム画像群とに分類できるが、撮像装置１Ａの合成再生モードでは、このうちの２系列または３系列のフレーム画像を順次に合成して再生することが可能となっている。

すなわち、撮像装置１Ａでは、２種類以上の合焦状態それぞれで撮像された各フレーム画像同士をメモリカード９から順次に読み出して画像合成を行い、合成画像をＬＣＤ１６に再生することが可能となっている。

以下では、まず２系列を合成する場合について、詳しく説明する。なお、説明を分かりやすくするため、ａ系列のフレーム画像とｂ系列のフレーム画像を合成するケースを具体例として挙げる。

ａ・ｂ系列を合成する場合には、図１０(ｂ)に示すようにフレームＮｏが１(ａ１)、４(ａ２)、７(ａ３)・・・のａ系列の各フレーム画像と、フレームＮｏが２(ｂ１)、５(ｂ２)、８(ｂ３)・・・のｂ系列の各フレーム画像とが合成される。そして、合成されたフレーム画像は、３０ｆｐｓのフレームレート（フレーム間の時間間隔が約３３.３ｍｓ)でＬＣＤ１６に再生表示されることとなる。

ここで、合成される２系列をａ〜ｃ系列から選択するには、図１１に示すように、動画撮影により取得された１枚のフレーム画像をＬＣＤ１６に表示し、この画像にオーバーラップして表示される２つのカーソルＣＲ１、ＣＲ２で、ユーザが合焦させたい２つの被写体(自動車Ｐ１、Ｐ２)を選択する。この場合、例えば操作ボタン１７１に対するユーザ操作により、ＬＣＤ１６の画面上をカーソルＣＲ１(ＣＲ２)が移動することで、所望の被写体が指定される。これにより、ａ・ｂ系列に対応する２種類の合焦状態がユーザによって指定されることとなる。

このように合焦させたい被写体がユーザによって指定されると、図１２に示す合成処理部３でメモリ２３を活用しつつ合成処理が行われる。

合成処理部３は、画像処理部２４に設けられており、２つのハイパスフィルタ(ＨＰＦ)３１、３３と、２つのローパスフィルタ(ＬＰＦ)３２、３４と、増幅率(ゲイン)が１/２に設定されたアンプ３５と、２つの加算器３６、３７とを備えている。そして、合成処理部３に２種類の画像Ｇａ、Ｇｂが入力されると、画像Ｇａ、Ｇｂから高周波成分(合焦している被写体部分)がＨＰＦ３１、３３により抽出されて加算器３７で加算されるため、２つの被写体に対して合焦した、つまり合焦具合が拡大した合成画像Ｇｃが得られる。このように２種類の合焦状態それぞれで撮像された各フレーム画像に対してハイパスフィルタやローパスフィルタによるフィルタ処理を施した後に画像合成することにより、適切な合成画像を簡易に取得できる。

以上のような合成処理部３において、２種類の合焦状態それぞれで撮像されたａ系列のフレーム画像ａ１〜ａ４とｂ系列のフレーム画像ｂ１〜ｂ４とが順次に入力されると、図１３に示すように自動車Ｐ１および自動車Ｐ２の各被写体に合焦しているフレーム画像ｈ１〜ｈ４が合成画像として順次に出力される。そして、出力されたフレーム画像ｈ１〜ｈ４が３０ｆｐｓの表示フレームレートで順次にＬＣＤ１６に更新表示されることで、適切な動画再生を行えることとなる。

次に、ａ〜ｃ系列の３系列を全て合成する場合には、合焦したい３つの被写体（例えば自動車Ｐ１〜Ｐ３）を指定することで、図１０(ｃ)に示すようにフレームＮｏが１(ａ１)、４(ａ２)、７(ａ３)・・・のａ系列の各フレーム画像と、フレームＮｏが２(ｂ１)、５(ｂ２)、８(ｂ３)・・・のｂ系列の各フレーム画像とフレームＮｏが３(ｃ１)、６(ｃ２)、９(ｃ３)・・・のｃ系列の各フレーム画像とが順次に合成される。そして、合成されたフレーム画像は、３０ｆｐｓのフレームレート（フレーム間の時間間隔が約３３.３ｍｓ)でＬＣＤ１６に再生表示されることとなる。

この３系列のフレーム画像の合成については、上述した２系列の合成を３系列に拡張することで、適切な合成処理を行えることとなる。

以上の撮像装置１Ａの動作により、９０ｆｐｓの高速フレームレートで動画撮影して記録された３種類の撮影条件のフレーム画像から指定された撮影条件のフレーム画像を順次に合成して再生するため、合成元のフレームの時間差が短くなり、高品質な合成画像による動画再生を適切に行える。また、合焦状態を変更したフレーム画像を合成するため、パンフォーカス等がなされた動画として再生できる。

なお、撮像装置１Ａにおいては、複数の被写体に合焦させるための画像合成を行うのは必須でなく、ぼけの範囲を拡大させる画像合成を行っても良い。この場合には、例えば図１４に示す合成処理部４でメモリ２３を活用しつつ、２枚のフレーム画像に関する合成処理が行われる。

この合成処理部４は、２つのハイパスフィルタ(ＨＰＦ)４１、４３と、ローパスフィルタ(ＬＰＦ)４２と、ゲインが２に設定されたアンプ４４と、ゲインが１/２に設定されたアンプ４５と、加算器４６とを備えている。そして、合成処理部４に合焦状態の異なる画像Ｊａ、Ｊｂが入力されると、画像Ｊａから低周波成分(ぼけた画像部分)がＬＰＦ４２により抽出されてアンプ４４で強調されるとともに画像Ｊｂから高周波成分(合焦部分)がＨＰＦ４３により抽出されてアンプ４５からの出力が減算されるため、ぼけ具合が拡大した合成画像Ｊｃが得られる。

以上のような合成処理部４において、例えばａ系列のフレーム画像とｂ系列のフレーム画像とを合成する処理を繰り返すことで、ぼけの範囲が拡大した合成画像が３０ｆｐｓのフレームレートで動画として適切に再生できることとなる。

＜第２実施形態＞
本発明の第２実施形態に係る撮像装置１Ｂは、図１〜図３に示す第１実施形態と類似の構成を有しているが、制御部の構成が異なっている。

すなわち、撮像装置１Ｂの制御部２０Ｂでは、以下で説明する録画動作を行うための制御プログラムがＲＯＭ２０１内に格納されている。

＜録画動作＞
図１５は、撮像装置１Ｂにおける録画動作を説明するための図である。図１５(ａ)〜(ｃ)においては、横軸が時間軸に対応している。

撮像装置１Ｂでは、例えば操作ボタン１７３に対する操作によって通常録画モードおよび合成録画モードに設定が可能となっている。

上記の通常録画モードでは、図６のフローチャートに示す動画撮影動作を行うことにより、９０ｆｐｓのフレームレートで順次に撮像される動画の録画が可能である。

この通常録画モードにより、９０ｆｐｓで撮像された全てのフレーム画像がメモリカード９に記録されるため、再生時にはａ〜ｃ系列の動画から１系列を選択して、ＬＣＤ１６に再生できることとなる。

一方、合成録画モードにおいては、撮像装置１Ａの合成再生モードで行ったフレーム画像の合成処理を動画記録時に行うことにより合成画像を順次にメモリカード９に記録する。この合成録画モードでは、２系列または３系列のフレーム画像を順次に合成して記録することが可能である。

すなわち、撮像装置１Ｂでは、９０ｆｐｓの高速フレームレートによる動画撮影動作において、指定される各合焦状態で撮像されたフレーム画像同士を順次に合成し、合成画像をメモリカード９に記録する。そして、記録した合成画像をメモリカード９から読み出してＬＣＤ１６に再生することとなる。

以下では、まず２系列を合成する場合について説明する。なお、説明を分かりやすくするため、ａ系列のフレーム画像とｂ系列のフレーム画像とを合成するケースを具体例として挙げる。

ａ・ｂ系列を合成する場合には、図１５(ｂ)に示すようにフレームＮｏが１(ａ１)、４(ａ２)、７(ａ３)・・・のａ系列の各フレーム画像と、フレームＮｏが２(ｂ１)、５(ｂ２)、８(ｂ３)・・・のｂ系列の各フレーム画像とを合成した後に、メモリカード９に記録する。なお、記録の際には、合成元の画像を含むａ〜ｃ系列のフレーム画像をメモリカード９に記録せず合成画像のみを記録すれば、メモリカード９の記録容量を削減できる。そして、記録されたフレーム画像は、３０ｆｐｓのフレームレート（フレーム間の時間間隔が約３３.３ｍｓ)でＬＣＤ１６に再生表示されることとなる。

ここで、合成される２系列をａ〜ｃ系列から選択するには、図１１に示すように、ライブビュー画像をＬＣＤ１６に表示し、この画像にオーバーラップして表示される２つのカーソルＣＲ１、ＣＲ２で、ユーザが合焦させたい２つの被写体(自動車Ｐ１、Ｐ２)を指定する。この場合、例えば操作ボタン１７１に対するユーザ操作により、ＬＣＤ１６の画面上をカーソルＣＲ１(ＣＲ２)が移動することで、所望の被写体が指定される。

このように合焦させたい被写体がユーザによって指定されると、上述した合成処理部３(図１２)でメモリ２３を活用しつつ合成処理が行われる。

この合成処理部３において、ａ系列のフレーム画像ａ１〜ａ４とｂ系列のフレーム画像ｂ１〜ｂ４とが順次に入力されると、図１３に示すように自動車Ｐ１および自動車Ｐ２の各被写体に合焦しているフレーム画像ｈ１〜ｈ４が順次に出力される。そして、出力されたフレーム画像ｈ１〜ｈ４がメモリカード９に記録された後、この記録画像をＬＣＤ１６に順次に更新表示することで動画として再生できることとなる。

次に、ａ〜ｃ系列の３系列を全て合成する場合には、図１５(ｃ)に示すようにフレームＮｏが１(ａ１)、４(ａ２)、７(ａ３)・・・のａ系列の各フレーム画像と、フレームＮｏが２(ｂ１)、５(ｂ２)、８(ｂ３)・・・のｂ系列の各フレーム画像とフレームＮｏが３(ｃ１)、６(ｃ２)、９(ｃ３)・・・のｃ系列の各フレーム画像とが順次に合成されて、メモリカード９に記録される。そして、記録された合成画像は、３０ｆｐｓのフレームレート（フレーム間の時間間隔が約３３.３ｍｓ)でＬＣＤ１６に再生表示されることとなる。

この３系列のフレーム画像の合成については、上述した２系列の合成を３系列に拡張することで、適切な合成処理を行えることとなる。

以上の撮像装置１Ｂの動作により、９０ｆｐｓの高速フレームレートで撮像された３種類の撮影条件のフレーム画像から指定された撮影条件のフレーム画像を順次に合成して記録するため、高品質な合成画像による動画再生を適切に行える。また、撮像装置１Ｂにおいて合成画像のみを記録すれば、記録画像のデータサイズを低減できる。

＜変形例＞
◎上記の各実施形態においては、動画を表示する際の表示フレームレート(３０ｆｐｓ)に対して３倍のフレームレート(９０ｆｐｓ)で動画撮影を行うのは必須でなく、２倍や４倍以上のフレームレート、つまりＮ倍（Ｎは２以上の整数）のフレームレートで動画撮影を行っても良い。この時、Ｎを大きくして多くの条件で撮影を行えば、適性条件に対して、さらに幅を持たせた撮影が可能であり、ユーザの満足のいく動画を得ることのできる可能性がより高くなる。

一方、合焦状態(撮影条件)を３段階に変更するのは必須でなく、例えば２段階に変更するようにしても良い。すなわち、フレームレートの倍数と撮影条件の倍数とは一致させる必要がなく、撮影条件をＭ段階（Ｍは整数で２≦Ｍ≦Ｎ）に変更しつつ撮影しても良い。

◎上記の各実施形態においては、撮像素子としてＣＭＯＳを使用するのは必須でなく、ＣＣＤを使用しても良い。

◎上記の各実施形態においては、撮像装置で再生を行うのは必須でなく、例えばメモリカード９に記録された動画ファイルをパーソナルコンピュータなどで再生するようにしても良い。また、その場合、ＲＯＭ２０１内のプログラムが、実施のためのハンドリング可能なプログラムとしても良い。

本発明の第１実施形態に係る撮像装置１Ａを示す斜視図である。 撮像装置１Ａの背面図である。 撮像装置１Ａの機能ブロックを示す図である。 撮像装置１Ａにおける動画撮影動作および再生動作を説明するための図である。 ３種類の合焦状態を説明するための図である。 撮像装置１Ａにおける動画撮影動作を説明するフローチャートである。 動画撮影によって取得されるフレーム画像を説明するための図である。 メモリカード９に記録されたフレーム画像のデータ配列を説明するための図である。 通常再生モードにおける再生処理を説明するための図である。 合成再生モードにおける再生処理を説明するための図である。 合成再生モードにおける被写体(合焦状態)の指定を説明するための図である。 合成処理部３の要部構成を示す図である。 合成されたフレーム画像の再生を説明するための図である。 合成処理部４の要部構成を示す図である。 本発明の第２実施形態に係る撮像装置１Ｂにおける録画動作を説明するための図である。

符号の説明

１Ａ、１Ｂ 撮像装置
３、４ 合成処理部
９ メモリカード
１６ 液晶ディスプレイ(ＬＣＤ)
２０Ａ、２０Ｂ 制御部
２１ ＣＭＯＳ
２２ 信号処理部
２３ メモリ
２４ 画像処理部
２５ 合焦演算部
３１、３３、４１、４３ ハイパスフィルタ
３２、３４、４２ ローパスフィルタ
１１１ ズームレンズ
１１２ フォーカスレンズ
１７１〜１７３ 操作ボタン
２０１ フラッシュＲＯＭ
ａ１〜ａ４ ａ系列の画像
ｂ１〜ｂ４ ｂ系列の画像
ｃ１〜ｃ４ ｃ系列の画像
ＣＲ１、ＣＲ２ カーソル
ｆ１〜ｆ１２ フレーム画像
ｈ１〜ｈ４ 合成されたフレーム画像
ＴＧｐ 撮影条件タグ

Claims (6)

1. 所定の表示手段に画像を再生する方法であって、
   前記所定の表示手段に動画を表示する際の表示フレームレートに対するＮ倍（Ｎは２以上の整数）のフレームレートに基づくタイミングで、撮影条件をＭ段階（Ｍは整数で２≦Ｍ≦Ｎ）に変更しつつ撮像手段により撮像し、Ｍ種類の撮影条件それぞれに対応する各フレーム画像を順次に取得する撮影工程と、
   前記Ｍ種類の撮影条件から２種類以上の撮影条件を指定する指定工程と、
   前記指定工程で指定される前記２種類以上の撮影条件それぞれで撮像された各フレーム画像を順次に画像合成して、合成画像を前記表示フレームレートで前記所定の表示手段に再生する画像合成工程と、
   を備えることを特徴とする画像再生方法。
2. 請求項１に記載の画像再生方法において、
   前記撮影条件の変更は、合焦状態の変更であることを特徴とする画像再生方法。
3. 請求項２に記載の画像再生方法において、
   前記画像合成工程は、
   前記２種類以上の撮像条件それぞれで撮像された各フレーム画像に対して、ハイパスフィルタおよび／またはローパスフィルタによるフィルタ処理を施した後に画像合成することにより、合成画像を生成する合成処理工程、
   を有することを特徴とする画像再生方法。
4. 請求項１ないし請求項３のいずれかに記載の画像再生方法において、
   前記画像合成工程は、
   前記撮影工程で順次に取得されるフレーム画像を所定の記録手段に記録する工程と、
   前記２種類以上の撮影条件それぞれで撮像された各フレーム画像を前記所定の記録手段から順次に読み出して画像合成を行い、合成画像を前記所定の表示手段に再生する工程と、
   を有することを特徴とする画像再生方法。
5. 請求項１ないし請求項３のいずれかに記載の画像再生方法において、
   前記画像合成工程は、
   前記撮影工程において前記２種類以上の撮影条件それぞれで取得された各フレーム画像を順次に画像合成し、合成画像を所定の記録手段に記録する記録工程、
   前記記録工程で記録した合成画像を前記所定の記録手段から順次に読み出して前記所定の表示手段に再生する工程と、
   を有することを特徴とする画像再生方法。
6. 画像表示が可能な表示手段を有する撮像装置であって、
   (a)被写体に係るフレーム画像を順次に生成する撮像手段と、
   (b)前記表示手段に動画を表示する際の表示フレームレートに対するＮ倍（Ｎは２以上の整数）のフレームレートに基づくタイミングで、撮影条件をＭ段階（Ｍは整数で２≦Ｍ≦Ｎ）に変更しつつ前記撮像手段により撮像し、Ｍ種類の撮影条件それぞれに対応する各フレーム画像を順次に取得する撮影制御手段と、
   (c)前記Ｍ種類の撮影条件から２種類以上の撮影条件を指定する指定手段と、
   (d)前記指定手段で指定される前記２種類以上の撮影条件それぞれで撮像された各フレーム画像を順次に画像合成して、合成画像を前記表示フレームレートで前記表示手段に再生する画像合成手段と、
   を備えることを特徴とする撮像装置。

Images