JP2014007680A - 画像生成装置 - Google Patents

Abstract

【構成】イメージセンサ１６は、撮像面で捉えられたシーンを表す画像を繰り返し出力する。ＣＰＵ２６は、イメージセンサ１６から出力された画像と指定画像とを合成する処理をイメージセンサ１６の出力周期で実行し、生成された複数の合成画像を格納する。ＣＰＵ２６はまた、格納された複数の合成画像のうち２周期以上過去の合成画像を指定画像として指定する。
【効果】特殊効果処理の効果の向上
【選択図】図２

Description

この発明は、画像生成装置に関し、特に動画像を構成するフレーム画像を用いて特殊効果を実現する、画像生成装置に関する。

この種の装置の一例が、特許文献１に開示されている。この背景技術によれば、固体撮像素子は、フォトダイオード、Ｖ−ＣＣＤおよびＨ−ＣＣＤを有する。固体撮像素子のＶ−ＣＣＤを駆動するＶ系駆動回路と、Ｈ−ＣＣＤを駆動するＨ系駆動回路とを有する固体撮像装置において、フォトダイオードからＶ−ＣＣＤへ電荷を読み出す際の読み出し電圧を駆動電圧切り換え回路によって変化させることができるようにする。ストロボ効果の撮影を行うには、読み出し電圧を低くして、読み出し時にフォトダイオード内に光電変換電荷を強制的に残留させて、残像を発生させる。

特開平５−１４５８６１号公報

しかし、背景技術では、画像に現れた物体の動くスピードやイメージセンサのフレームレートによっては残像が現れる範囲が限られて、動く物体の軌跡を明確に表現することができない。このため、特殊効果処理の効果が低下する恐れがある。

それゆえに、この発明の主たる目的は、特殊効果処理の効果を高めることができる、画像生成装置を提供することである。

この発明に従う画像生成装置(10：実施例で相当する参照符号。以下同じ)は、撮像面で捉えられたシーンを表す画像を繰り返し出力する撮像手段(16)、撮像手段から出力された画像と指定画像とを合成する処理を撮像手段の出力周期で実行する合成手段(S47~S51)、合成手段によって生成された複数の合成画像を格納する格納手段(S17~S79)、格納手段に格納された複数の合成画像のうち２周期以上過去の合成画像を指定画像として指定する指定手段(S43)を備える。

好ましくは、合成手段によって生成された複数の合成画像を用いて動画像データを作成する作成手段(S11, S19, S21~S27, S31~S33)をさらに備える。

好ましくは、合成手段によって生成された複数の合成画像を用いて動画像を表示する表示手段(S73~S75, S79~S85)をさらに備える。

好ましくは、撮像面で捉えられたシーンに現れた物体の動きを検出する検出手段(S41)、および指定手段の指定態様を検出手段の検出結果に基づいて制御する制御手段(S45)をさらに備える。

さらに好ましくは、検出手段は物体の動きの速度を検出し、制御手段は、検出手段によって検出された速度の上昇に従って指定手段の指定態様を過去方向に制御し、検出手段によって検出された速度の低下に従って指定手段の指定態様を未来方向に制御する。

好ましくは、合成手段は撮像手段から出力された画像および指定画像の各々に重み付けを施して処理を実行する。

この発明に従う画像生成プログラムは、撮像面で捉えられたシーンを表す画像を繰り返し出力する撮像手段(16)を備える画像生成装置(10)のプロセッサ(26)に、撮像手段から出力された画像と指定画像とを合成する処理を撮像手段の出力周期で実行する合成ステップ(S47~S51)、合成ステップによって生成された複数の合成画像を格納する格納ステップ(S17~S79)、格納ステップに格納された複数の合成画像のうち２周期以上過去の合成画像を指定画像として指定する指定ステップ(S43)を実行させるための、画像生成プログラムである。

この発明に従う画像生成方法は、撮像面で捉えられたシーンを表す画像を繰り返し出力する撮像手段(16)を備える画像生成装置(10)によって実行される画像生成方法であって、撮像手段から出力された画像と指定画像とを合成する処理を撮像手段の出力周期で実行する合成ステップ(S47~S51)、合成ステップによって生成された複数の合成画像を格納する格納ステップ(S17~S79)、格納ステップに格納された複数の合成画像のうち２周期以上過去の合成画像を指定画像として指定する指定ステップ(S43)を備える。

この発明に従う外部制御プログラムは、撮像面で捉えられたシーンを表す画像を繰り返し出力する撮像手段(16)、およびメモリ(44)に保存された内部制御プログラムに従う処理を実行するプロセッサ(26)を備える画像生成装置(10)に供給される外部制御プログラムであって、撮像手段から出力された画像と指定画像とを合成する処理を撮像手段の出力周期で実行する合成ステップ(S47~S51)、合成ステップによって生成された複数の合成画像を格納する格納ステップ(S17~S79)、格納ステップに格納された複数の合成画像のうち２周期以上過去の合成画像を指定画像として指定する指定ステップ(S43)を内部制御プログラムと協働してプロセッサに実行させるための、外部制御プログラムである。

この発明に従う画像生成装置は、撮像面で捉えられたシーンを表す画像を繰り返し出力する撮像手段(16)、外部制御プログラムを受信する受信手段(60)、および受信手段によって受信された外部制御プログラムとメモリ(44)に保存された内部制御プログラムとに従う処理を実行するプロセッサ(26)を備える画像生成装置(10)であって、外部制御プログラムは、撮像手段から出力された画像と指定画像とを合成する処理を撮像手段の出力周期で実行する合成ステップ(S47~S51)、合成ステップによって生成された複数の合成画像を格納する格納ステップ(S17~S79)、格納ステップに格納された複数の合成画像のうち２周期以上過去の合成画像を指定画像として指定する指定ステップ(S43)を内部制御プログラムと協働して実行するプログラムに相当する。

撮像手段から出力された画像は指定画像と合成され、生成された複数の合成画像が格納される。このようにして格納された複数の合成画像のうち、２周期以上過去の合成画像が指定画像として指定される。

したがって、撮像面で動きのある物体が捉えられた場合、合成の繰り返しによって、動きの軌跡を画像に表す特殊効果処理を実現することができる。また、２周期以上過去の画像と合成することによって、合成の繰り返しによる過去の画像の劣化を抑制し、動きの軌跡の長さを大きくすることができるので、特殊効果処理の効果を高めることができる。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

この発明の一実施例の基本的構成を示すブロック図である。 この発明の一実施例の構成を示すブロック図である。 図２実施例に適用されるＳＤＲＡＭのマッピング状態の一例を示す図解図である。 図２実施例に適用されるバッファの割り当て状態の一例を示す図解図である。 合成処理の一例を示す図解図である。 合成処理の他の一例を示す図解図である。 合成処理が施される前のフレーム画像の一例を示す図解図である。 （Ａ）は合成後のフレーム画像の一例を示す図解図であり、（Ｂ）は合成後のフレーム画像の他の一例を示す図解図であり、（Ｃ）は合成後のフレーム画像のその他の一例を示す図解図である。 図２実施例に適用されるＣＰＵの動作の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。 この発明の他の実施例の構成を示すブロック図である。

以下、この発明の実施の形態を図面を参照しながら説明する。
［基本的構成］

図１を参照して、この実施例の画像生成装置は、基本的に次のように構成される。撮像手段１は、撮像面で捉えられたシーンを表す画像を繰り返し出力する。合成手段２は、撮像手段１から出力された画像と指定画像とを合成する処理を撮像手段１の出力周期で実行する。格納手段３は、合成手段２によって生成された複数の合成画像を格納する。指定手段４は、格納手段３に格納された複数の合成画像のうち２周期以上過去の合成画像を指定画像として指定する。

撮像手段１から出力された画像は指定画像と合成され、生成された複数の合成画像が格納される。このようにして格納された複数の合成画像のうち、２周期以上過去の合成画像が指定画像として指定される。

したがって、撮像面で動きのある物体が捉えられた場合、合成の繰り返しによって、動きの軌跡を画像に表す特殊効果処理を実現することができる。また、２周期以上過去の画像と合成することによって、合成の繰り返しによる過去の画像の劣化を抑制し、動きの軌跡の長さを大きくすることができるので、特殊効果処理の効果を高めることができる。
［実施例］

図２を参照して、この実施例のディジタルビデオカメラ１０は、ドライバ１８ａおよび１８ｂによってそれぞれ駆動されるフォーカスレンズ１２および絞りユニット１４を含む。これらの部材を経たシーンの光学像は、イメージセンサ１６の撮像面に照射され、光電変換を施される。これによって、シーンを表す電荷が生成される。

電源が投入されると、ＣＰＵ２６は、キー入力装置２８に設けられたモード変更ボタン２８ｍｄの状態（つまり現時点の動作モード）をメインタスクの下で判別する。ＣＰＵ２６は、キー入力装置２８に設けられたモード設定スイッチ２８ｍｄによってストロボ撮像モードが選択されているときストロボ撮像タスクを起動し、同じモード設定スイッチ２８ｍｄによってストロボ再生モードが選択されているときストロボ再生タスクを起動する。

ストロボ撮像タスクが起動されると、ＣＰＵ２６は、動画取り込み処理を実行するべく、ドライバ１８ｃを起動する。ドライバ１８ｃは、１／６０秒毎に発生する垂直同期信号Ｖｓｙｎｃに応答して、撮像面を露光し、撮像面で生成された電荷を順次走査態様で読み出す。イメージセンサ１６からは、シーンを表す生画像データが６０ｆｐｓのフレームレートで出力される。

前処理回路２０は、イメージセンサ１６から出力された生画像データにディジタルクランプ，画素欠陥補正，ゲイン制御などの処理を施す。このような前処理を施された生画像データは、メモリ制御回路３０を通してＳＤＲＡＭ３２の生画像エリア３２ａ（図３参照）に書き込まれる。

後処理回路３４は、メモリ制御回路３０を通して生画像エリア３２ａにアクセスし、生画像データを順次走査態様で１／６０秒毎に読み出す。読み出された生画像データは色分離，白バランス調整，ＹＵＶ変換，エッジ強調，ズームなどの処理を施され、この結果、ＹＵＶ画像データが作成される。作成されたＹＵＶ画像データは、メモリ制御回路３０を通してＳＤＲＡＭ３２のＹＵＶ画像エリア３２ｂ（図３参照）に書き込まれる。

ＬＣＤドライバ３６は、ＹＵＶ画像エリア３２ｂに格納されたＹＵＶ画像データを繰り返し読み出し、読み出された画像データをＬＣＤモニタ３８の解像度に適合するように縮小し、そして縮小された画像データに基づいてＬＣＤモニタ３８を駆動する。この結果、シーンを表すリアルタイム動画像（スルー画像）がＬＣＤモニタ３８に表示される。

前処理回路２０はまた、生画像データを簡易的にＹデータに変換し、変換されたＹデータをＣＰＵ２６に与える。ＣＰＵ２６は、ＹデータにＡＥ処理を施し、適正ＥＶ値を算出する。算出された適正ＥＶ値を定義する絞り量および露光時間はドライバ１８ｂおよび１８ｃにそれぞれ設定され、これによってスルー画像の明るさが適度に調整される。ＣＰＵ２６はまた、ＡＦ起動条件が満足されるときに、Ｙデータの高周波成分にＡＦ処理を施す。フォーカスレンズ１２はドライバ１８ａによって合焦点に配置され、これによってスルー画像の鮮鋭度が継続的に向上する。

キー入力装置２８に向けて記録開始操作が行われると、ＣＰＵ２６は、ストロボ撮像タスクの下でＩ／Ｆ４０を通して記録媒体４２にアクセスし、ＭＰＥＧ４ファイルを記録媒体４２に新規に作成する。作成されたＭＰＥＧ４ファイルはオープンされる。

ストロボ撮像タスクにおいては、物体の動きの軌跡を表現するいわゆるストロボ撮影のための処理が実行される。ファイル作成＆オープン処理が完了すると、ＣＰＵ２６は、過去の複数のＹＵＶ画像の合成によって生成されたフレーム画像と最新のＹＵＶ画像とを合成する処理を実行するように、垂直同期信号Ｖｓｙｎｃが発生する毎に画像合成回路５０に命令する。このような合成処理を繰り返すことによって、動画像を構成する各々のフレーム画像に物体の動きの軌跡が表現される。

このような合成処理のために、図３を参照して、ＳＤＲＡＭ３２にバッファエリア３２ｃが設けられる。図４を参照して、バッファエリア３２ｃは、合成処理によって生成された合成画像データをフレーム画像データとして格納するための４つのフレームバッファ３２ｃ１〜３２ｃ４によって構成される。

合成処理によって生成された合成画像データは、合成画像エリア３２ｄ（図３参照）に格納されるとともに、フレーム画像データとしてフレームバッファ３２ｃ１に格納される。次の合成処理が実行されると、フレームバッファ３２ｃ１に格納されたフレーム画像データはフレームバッファ３２ｃ２に移される一方、フレームバッファ３２ｃ１には、新たに生成されたフレーム画像データが格納される。

このようにして、合成処理によって生成されたフレーム画像データは、その後に合成処理が実行される毎にフレームバッファ３２ｃ１，３２ｃ２，３２ｃ３，および３２ｃ４の順に移される。なお、新たな合成処理が実行されると、フレームバッファ３２ｃ４に格納されたフレーム画像データは、削除される。つまり、バッファエリア３２ｃには、直近に生成された最大４つのフレーム画像データが格納される。

合成処理においては、ＹＵＶ画像エリア３２ｂに格納されたＹＵＶ画像データが示す画像とフレームバッファ３２ｃ１〜３２ｃ４に格納された４つのフレーム画像データのいずれかが示す画像とが合成される。

ＹＵＶ画像の各々において動きのある物体が捉えられている場合、この物体に相当する部分画像が占める位置は各々の画像において互いに異なる。したがって、合成処理によってこれらの複数の部分画像が単一の合成画像に現れる。このような合成処理を繰り返すことによって、単一の合成画像に含まれる部分画像が増加し、物体の動きの軌跡が現れる。また、物体の動きの軌跡が明確となるように、合成対象の画像が以下の要領で選択される。

動き検出回路４８は、垂直同期信号Ｖｓｙｎｃが発生する毎に、ＹＵＶ画像エリア３２ｂに格納された最新のＹＵＶ画像データを取得し、撮像面に現れた物体の複数のフレームの間での動きを示す動き情報を繰り返し作成する。作成された動き情報はＣＰＵ２６に与えられる。このような動き情報に基づいて、ＣＰＵ２６は、フレームバッファ３２ｃ１〜３２ｃ４に格納された４つのフレーム画像データの中から、最新のＹＵＶ画像との合成対象とすべきフレーム画像データを選択する。

例えば、物体の動くスピードが速い場合は新しいフレーム画像データを選択し、物体の動くスピードが遅い場合は古いフレーム画像データを選択する。また、この選択に際して、イメージセンサ１６のフレームレートを考慮してもよい。例えば、イメージセンサ１６のフレームレートが高い場合は古いフレーム画像データを選択し、イメージセンサ１６のフレームレートが低い場合は新しいフレーム画像データを選択するようにしてもよい。

このような選択によって、物体に相当する複数の部分画像の各々の位置が合成後の画像において互いに適度な間隔となり、物体の動きの軌跡が明確となる。

なお、物体の動きが検出されない場合、ＣＰＵ２６は、フレームバッファ３２ｃ１〜３２ｃ４のうち既定のフレームバッファに格納されたフレーム画像データを選択する。例えば、物体の動きが検出されない場合は、フレームバッファ３２ｃ３に格納されたフレーム画像データを合成対象にすればよい。

合成処理においては、ＹＵＶ画像データが示す信号に係数Ｋを乗じて、選択されたフレーム画像データが示す信号に係数１−Ｋを乗じた上で、これらの２つの信号を合成することによって合成画像データを生成する。なお、係数Ｋは“０＜Ｋ＜１”を満たす値であればよい。

図５を参照して、Ｋが“０．３”に設定され、フレームバッファ３２ｃ３に格納されたフレーム画像データが合成対象とされた場合を例に挙げると、合成処理は以下の要領で実行される。記録開始操作の直後の先頭フレームを示すＹＵＶ画像データ“Ｆ０１”がＹＵＶ画像エリア３２ｂに作成された時点では、フレームバッファ３２ｃ１〜３２ｃ４のいずれにもフレーム画像データは格納されていない。したがって、“Ｆ０１×０．３”を示す画像が合成処理によって生成される。生成された合成画像データは、合成画像エリア３２ｄに格納されるとともに、フレーム画像データとして最初にフレームバッファ３２ｃ１に格納される。

“Ｆ０１”に続いて、ＹＵＶ画像データ“Ｆ０２”および“Ｆ０３”の各々がＹＵＶ画像エリア３２ｂに作成された時点でも、フレームバッファ３２ｃ３にフレーム画像データは格納されていない。したがって、“Ｆ０２×０．３”および“Ｆ０３×０．３”を示す画像が合成処理によって生成される。

“Ｆ０３”に続いて、ＹＵＶ画像データ“Ｆ０４”がＹＵＶ画像エリア３２ｂに作成された時点では、フレームバッファ３２ｃ４にはフレーム画像データが格納されていない。しかし、フレームバッファ３２ｃ３，３２ｃ２，および３２ｃ１には、“Ｆ０１×０．３”，“Ｆ０２×０．３”，および“Ｆ０３×０．３”を示すフレーム画像データがそれぞれ格納されている。

したがって、この時点で初めて実行される複数の画像に基づく合成処理によって、“Ｆ０４×０．３”を示す信号と“Ｆ０１×０．３×０．７”を示す信号とが合成される。この結果、“Ｆ０４×０．３＋Ｆ０１×０．２１”を示す合成画像データが生成され、合成画像エリア３２ｄに格納されるとともに、フレーム画像データとしてフレームバッファ３２ｃ１に格納される。

ＹＵＶ画像データ“Ｆ０５”および“Ｆ０６”が作成されたときも同様に、“Ｆ０５×０．３＋Ｆ０２×０．２１”を示す合成画像データおよび“Ｆ０６×０．３＋Ｆ０３×０．２１”を示す合成画像データがそれぞれ生成され、合成画像エリア３２ｄにそれぞれ格納されるとともに、フレーム画像データとしてフレームバッファ３２ｃ１にそれぞれ格納される。

ＹＵＶ画像データ“Ｆ０７”がＹＵＶ画像エリア３２ｂに作成された時点では、フレームバッファ３２ｃ３には、“Ｆ０４×０．３＋Ｆ０１×０．２１”を示すフレーム画像データが格納されている。

したがって、“Ｆ０７×０．３”を示す信号と“（Ｆ０４×０．３＋Ｆ０１×０．２１）×０．７”を示す信号とが合成される。この結果、“Ｆ０７×０．３＋Ｆ０４×０．２１＋Ｆ０１×０．１４７”を示す合成画像データが生成され、フレーム画像データとしてフレームバッファ３２ｃ１に格納される。

このように、ＹＵＶ画像“Ｆ０７”，“Ｆ０４”，および“Ｆ０１”が合成されるので、各々のＹＵＶ画像に動きのある物体が捉えられている場合、各々がこの物体に相当する複数の部分画像が合成処理によって単一の合成画像に現れる。

図６を参照して、フレームバッファ３２ｃ４に格納されたフレーム画像データが合成対象とされた場合は、以下の要領で合成処理が実行される。

ＹＵＶ画像データ“Ｆ０１”，“Ｆ０２”，“Ｆ０３”，および“Ｆ０４”が作成された時点では、フレームバッファ３２ｃ４にフレーム画像データは格納されていない。しかし、ＹＵＶ画像データ“Ｆ０５”がＹＵＶ画像エリア３２ｂに作成された時点では、フレームバッファ３２ｃ４には、“Ｆ０１×０．３”を示すフレーム画像データが格納されている。したがって、この時点で初めて合成処理が実行され、“Ｆ０５×０．３＋Ｆ０１×０．２１”を示す合成画像データが生成され、フレーム画像データとしてフレームバッファ３２ｃ１に格納される。

これ以降に作成されるＹＵＶ画像データに対しては、フレームバッファ３２ｃ４に格納されたフレーム画像データが合成対象となる点を除き、図５に示す例と同様に合成処理が実行される。

図７を参照して、撮像面右下から左上に向けて動くボールがＹＵＶ画像“Ｆ０１”〜“Ｆ１２”において捉えられた場合を例に挙げると、合成処理によって例えば図８（Ａ）〜（Ｃ）に示すフレーム画像が作成される。

フレームバッファ３２ｃ３に格納されたフレーム画像データが合成対象とされた場合、ＹＵＶ画像データ“Ｆ１０”が作成された時点では、ＹＵＶ画像データ“Ｆ０７”，“Ｆ０４”，および“Ｆ０１”の合成によって作成されたフレーム画像データがフレームバッファ３２ｃ３に格納されている。したがって、図８（Ａ）に示すように、ＹＵＶ画像“Ｆ１０”，“Ｆ０７”，“Ｆ０４”，および“Ｆ０１”のボールに相当する部分画像を含むフレーム画像が、作成される。

ＹＵＶ画像データ“Ｆ１１”および“Ｆ１２”が作成された時点でも同様に、図８（Ｂ）に示すフレーム画像および図８（Ｃ）に示すフレーム画像がそれぞれ作成される。図８（Ｂ）のフレーム画像は、ＹＵＶ画像“Ｆ１１”，“Ｆ０８”，“Ｆ０５”，および“Ｆ０２”のボールに相当する部分画像を含む。図８（Ｃ）のフレーム画像は、ＹＵＶ画像“Ｆ１２”，“Ｆ０９”，“Ｆ０６”，および“Ｆ０３”のボールに相当する部分画像を含む。

このようにして作成されたフレーム画像を用いることによって、物体の動きの軌跡が表現された動画像を作成することができる。

上述の合成処理によって合成画像データが合成画像エリア３２ｄに格納されると、ＭＰＥＧ４コーデック５２は、合成画像エリア３２ｄに格納された合成画像データをメモリ制御回路３０を通して繰り返し読み出し、読み出された画像データをＭＰＥＧ４方式に従って符号化し、そして符号化画像データつまりＭＰＥＧ４データをメモリ制御回路３０を通してＳＤＲＡＭ３２の符号化画像エリア３２ｅ（図３参照）に書き込む。

ＣＰＵ２６はその後、６０フレームのＭＰＥＧ４データが得られる毎に、最新６０フレームのＭＰＥＧ４データをオープン状態のＭＰＥＧ４ファイルに転送する。最新６０フレームのＭＰＥＧ４データは、メモリ制御回路３０によって符号化画像エリア３２ｅから読み出され、Ｉ／Ｆ４０を介してＭＰＥＧ４ファイルに書き込まれる。

キー入力装置２８に向けて記録終了操作が行われると、ＣＰＵ２６は、ＭＰＥＧ４符号化処理を終了するべくＭＰＥＧ４コーデック５２を停止する。

ＣＰＵ４６はその後、終端処理を実行する。これによって、ＳＤＲＡＭ３２に残存する６０フレーム未満のＭＰＥＧ４データがＭＰＥＧ４ファイルに書き込まれる。オープン状態のＭＰＥＧ４ファイルは、終端処理が完了した後にクローズされる。

上述の合成処理は、通常の処理によって記録された動画像ファイルの再生時にも用いることができる。キー入力装置２８を通じて再生開始操作が行われると、ストロボ再生タスクの下で、指定されたＭＰＥＧ４ファイルに格納されたＭＰＥＧ４データがＩ／Ｆ４０を通して読み出され、読み出されたＭＰＥＧ４データはメモリ制御回路３０を通して符号化画像エリア３２ｅに書き込まれる。

ＭＰＥＧコーデック５２は、書き込まれたＭＰＥＧ４データをＭＰＥＧ４方式に従って復号し、復号された画像データつまりＹＵＶ画像データをメモリ制御回路３０を通してＹＵＶ画像エリア３２ｂに書き込む。

１フレームの復号が完了してＹＵＶ画像エリア３２ｂにＹＵＶ画像データが書き込まれる毎に、ＣＰＵ２６は上述の合成処理を実行する。

ＬＣＤドライバ３６は、合成画像エリア３２ｄに格納された合成画像データを読み出し、読み出された画像データをＬＣＤモニタ３８の解像度に適合するように縮小し、そして縮小された画像データに基づいてＬＣＤモニタ３８を駆動する。この結果、指定動画ファイルの１フレームに対応する画像がＬＣＤモニタ３８に表示される。

このような処理が１フレームの復号が完了する毎に実行されることによって、動画像の再生において物体の動きの軌跡が表現される。

ＣＰＵ２６は、図１１〜１３に示すストロボ撮像タスクおよび図１５〜図１６に示すストロボ再生タスクを含む複数のタスクを並列的に実行する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ４４に記憶される。

図１１を参照して、ステップＳ１では変数Ｇの既定値Ｇｄｅｆを“３”に設定し、ステップＳ３では変数Ｋを“０．３”に設定する。ステップＳ５では動画取り込み処理を開始する。この結果、スルー画像がＬＣＤモニタ３８に表示される。

ステップＳ７では変数Ｎを“１”に設定し、ステップＳ９では記録開始操作が行われたか否かを判別する。判別結果がＮＯであればステップＳ７に戻り、判別結果がＹＥＳであればステップＳ１１に進む。ステップＳ１１ではＭＰＥＧ４ファイルを記録媒体４２に新規に作成する。作成されたＭＰＥＧ４ファイルはオープンされる。

ステップＳ１３では垂直同期信号Ｖｓｙｎｃが発生したか否かを繰り返し判別し、判別結果がＮＯからＹＥＳに更新されるとステップＳ１５で画像合成処理を実行する。

ステップＳ１７では、合成処理によって生成されたフレーム画像データを、フレームバッファ３２ｃ１から３２ｃ２へ、３２ｃ２から３２ｃ３へ、３２ｃ３から３２ｃ４へとそれぞれ移す。フレームバッファ３２ｃ４に格納されたフレーム画像データは、削除される。

ステップＳ１９では、ＭＰＥＧ４コーデック５２に合成画像データの符号化を命令する。ＭＰＥＧ４コーデック５２は、ステップＳ１５の処理によって合成画像エリア３２ｄに格納された合成画像データを読み出し、読み出された合成画像データをＭＰＥＧ４方式に従って符号化する。符号化画像データは、メモリ制御回路３０を通してＳＤＲＡＭ３２の符号化画像エリア３２ｅ（図３参照）に格納される。

ステップＳ２１では変数Ｎをインクリメントし、この結果変数Ｎが“６０”を超えたか否かをステップＳ２３で判別する。判別結果がＮＯであればステップＳ２９に進む一方、判別結果がＹＥＳであればステップＳ２５およびＳ２７の処理を経てステップＳ２９に進む。

ステップＳ２５では、最新６０フレームの符号化画像データをオープン状態のＭＰＥＧ４ファイルに転送する。最新６０フレームのＭＰＥＧ４データは、メモリ制御回路３０によって符号化画像エリア３２ｅから読み出され、Ｉ／Ｆ４０を介してＭＰＥＧ４ファイルに書き込まれる。

ステップＳ２７では変数Ｎを“１”に設定し、ステップＳ２９では記録終了操作が行われたか否かを判別する。判別結果がＮＯであればステップＳ１３に戻る一方、判別結果がＹＥＳであればステップＳ３１に進む。

ステップＳ３１では終端処理を実行し、ＳＤＲＡＭ３２に残存する６０フレーム未満の符号化画像データがＭＰＥＧ４ファイルに書き込まれる。ステップＳ３３ではオープン状態のＭＰＥＧ４ファイルをクローズし、その後にステップＳ７に戻る。

図１２のステップＳ１５および図１６のステップＳ７９の画像合成処理は、図１４に示すサブルーチンに従って実行される。ステップＳ４１では、動き検出回路４８から与えられた動き情報に基づいて、撮像面に現れた物体の動きが検出されたか否かを判別する。判別結果がＮＯであればステップＳ４３を経てステップＳ４７に進む一方、判別結果がＹＥＳであればステップＳ４５を経てステップＳ４７に進む。

ステップＳ４３では変数Ｇに既定値Ｇｄｅｆを設定する。ステップＳ４５では、ステップＳ４１で検出された物体の動きの速さに基づいて、Ｇ番目のフレームバッファに格納されたフレーム画像データを合成対象と決定する。
ステップＳ４７では、フレームバッファ３２ｃ１〜３２ｃ４のうちＧ番目のフレームバッファから合成画像データを読み出す。ステップＳ４９では、ＹＵＶ画像エリア３２ｂからＹＵＶ画像データを読み出す。

ステップＳ５１では、ステップＳ４９で読み出されたＹＵＶ画像データが示す信号に係数Ｋを乗じて、ステップＳ４７で読み出された合成画像データが示す信号に係数１−Ｋを乗じた上で、これらの２つの信号を合成する。この結果生成された合成画像データは、合成画像エリア３２ｄに格納される。ステップＳ５１の処理が完了すると、上階層のルーチンに復帰する。

図１５を参照して、ステップＳ６１では記録媒体４２に記録された最新の動画ファイルを指定し、ステップＳ６３では指定動画ファイルの先頭フレームの復号をＭＰＥＧ４コーデック５２に命令する。指定動画ファイルの先頭フレームに対応する符号化画像データは、符号化画像エリア３２ｅに読み出される。ＭＰＥＧ４コーデック５２は、読み出された符号化画像データをＭＰＥＧ４方式に従って復号する。このような復号によって、ＹＵＶ画像エリア３２ｂに先頭フレームに対応するＹＵＶ画像データが作成される。

ステップＳ６５では、ＹＵＶ画像エリア３２ｂに格納されたＹＵＶ画像データに基づく縮小ズーム表示をＬＣＤドライバ３６に命令する。ＬＣＤドライバ３６は、ＹＵＶ画像エリア３２ｂに格納されたＹＵＶ画像データを読み出し、読み出された画像データをＬＣＤモニタ３８の解像度に適合するように縮小し、そして縮小された画像データに基づいてＬＣＤモニタ３８を駆動する。この結果、指定動画ファイルの先頭フレームに対応する静止画像がＬＣＤモニタ３８に表示される。

ステップＳ６７では再生開始操作が行われたか否かを判別し、判別結果がＮＯであればステップＳ６９で送り操作が行われたか否かを判別する。ステップＳ６９の判別結果がＮＯであればステップＳ６７に戻る一方、ステップＳ６９の判別結果がＹＥＳであれば次の動画ファイルをステップＳ７１で指定してからステップＳ６３に戻る。この結果、次の動画ファイルの先頭フレームに対応する静止画像がＬＣＤモニタ３８に表示される。

ステップＳ６７の判別結果がＮＯであれば、指定動画ファイル全体の復号処理の開始をステップＳ７３でＭＰＥＧ４コーデック５２に命令する。

ステップＳ７３の復号処理の開始によって、指定動画ファイルの符号化画像データは、符号化画像エリア３２ｅに順次読み出される。ＭＰＥＧ４コーデック５２は、読み出された符号化画像データをＭＰＥＧ４方式に従って復号する。この結果、１フレームの復号が完了したか否かをステップＳ７５で繰り返し判別し、判別結果がＮＯからＹＥＳに更新されると、ステップＳ７７で画像合成処理を実行する。

ステップＳ７９では、合成処理によって生成されたフレーム画像データを、フレームバッファ３２ｃ１から３２ｃ２へ、３２ｃ２から３２ｃ３へ、３２ｃ３から３２ｃ４へとそれぞれ移す。フレームバッファ３２ｃ４に格納されたフレーム画像データは、削除される。

ステップＳ８１では、合成画像エリア３２ｄに格納された合成画像データに基づく縮小ズーム表示をＬＣＤドライバ３６に命令する。ＬＣＤドライバ３６は、合成画像エリア３２ｄに格納された合成画像データを読み出し、読み出された画像データをＬＣＤモニタ３８の解像度に適合するように縮小し、そして縮小された画像データに基づいてＬＣＤモニタ３８を駆動する。この結果、指定動画ファイルの１フレームに対応する画像がＬＣＤモニタ３８に表示される。

ステップＳ８３では、再生終了操作が行われたか或いは再生画像が末尾フレーム画像に到達したという論理和条件が満足されたか否かを判別する。判別結果がＮＯであればステップＳ７５に戻る一方、判別結果がＹＥＳであればステップＳ８５で復号処理の停止をＭＰＥＧ４コーデック５２に命令する。ステップＳ８５の処理が完了すると、ステップＳ６３に戻る。

以上の説明から分かるように、イメージセンサ１６は、撮像面で捉えられたシーンを表す画像を繰り返し出力する。ＣＰＵ２６は、イメージセンサ１６から出力された画像と指定画像とを合成する処理をイメージセンサ１６の出力周期で実行し、生成された複数の合成画像を格納する。ＣＰＵ２６はまた、格納された複数の合成画像のうち２周期以上過去の合成画像を指定画像として指定する。

イメージセンサ１６から出力された画像は指定画像と合成され、生成された複数の合成画像が格納される。このようにして格納された複数の合成画像のうち、２周期以上過去の合成画像が指定画像として指定される。

したがって、撮像面で動きのある物体が捉えられた場合、合成の繰り返しによって、動きの軌跡を画像に表す特殊効果処理を実現することができる。また、２周期以上過去の画像と合成することによって、合成の繰り返しによる過去の画像の劣化を抑制し、動きの軌跡の長さを大きくすることができるので、特殊効果処理の効果を高めることができる

なお、この実施例では、先頭付近のフレームを処理する場合など合成対象のフレームバッファにフレーム画像データが格納されていない場合、ＹＵＶ画像データに“１−Ｋ”を乗じて生成された画像データをフレーム画像データとしてフレームバッファ３２ｃ１に格納するようにした。しかし、生成される合成画像データが示す信号の強度を安定させるために、合成対象のフレームバッファにフレーム画像データが格納されていない場合、ＹＵＶ画像データをそのままフレーム画像データとしてフレームバッファ３２ｃ１に格納するようにしてもよい。

また、この実施例では、フレームバッファの数を４つとした。しかし、複数であれば４つ以外の数のフレームバッファを準備するようにしてもよい。

また、この実施例では、画像合成回路および複数のフレームバッファを用いた。しかし、３次元ＤＮＲ（Digital Noise Reduction）を用いて上述の処理を実行するようにしてもよい。この場合、部品点数を削減することができる。

また、この実施例では、マルチタスクＯＳおよびこれによって実行される複数のタスクに相当する制御プログラムは、フラッシュメモリ４４に予め記憶される。しかし、外部サーバに接続するための通信Ｉ／Ｆ６０を図１５に示す要領でディジタルビデオカメラ１０に設け、一部の制御プログラムを内部制御プログラムとしてフラッシュメモリ４４に当初から準備する一方、他の一部の制御プログラムを外部制御プログラムとして外部サーバから取得するようにしてもよい。この場合、上述の動作は、内部制御プログラムおよび外部制御プログラムの協働によって実現される。

また、この実施例では、ＣＰＵ２６によって実行される処理を、図９〜１１に示すストロボ撮像タスクおよび図１３〜１４に示すストロボ再生タスクを含む複数のタスクに区分するようにしている。しかし、これらのタスクをさらに複数の小タスクに区分してもよく、さらには区分された複数の小タスクの一部を他のタスクに統合するようにしてもよい。また、転送タスクを複数の小タスクに区分する場合、その全部または一部を外部サーバから取得するようにしてもよい。

また、この実施例では、ディジタルビデオカメラを用いて説明したが、本発明は、ディジタルスチルカメラ，携帯電話端末またはスマートフォンなどにも適用することができる。

１０ … ディジタルビデオカメラ
２６ … ＣＰＵ
３２ … ＳＤＲＡＭ
３８ … ＬＣＤモニタ
４２ … 記録媒体
４８ … 動き検出回路
５０ … 画像合成回路
５２ … ＭＰＥＧ４コーデック

Claims (10)

1. 撮像面で捉えられたシーンを表す画像を繰り返し出力する撮像手段、
   前記撮像手段から出力された画像と指定画像とを合成する処理を前記撮像手段の出力周期で実行する合成手段、
   前記合成手段によって生成された複数の合成画像を格納する格納手段、
   前記格納手段に格納された複数の合成画像のうち２周期以上過去の合成画像を前記指定画像として指定する指定手段を備える、画像生成装置。
2. 前記合成手段によって生成された複数の合成画像を用いて動画像データを作成する作成手段をさらに備える、請求項１記載の画像生成装置。
3. 前記合成手段によって生成された複数の合成画像を用いて動画像を表示する表示手段をさらに備える、請求項１記載の画像生成装置。
4. 前記撮像面で捉えられたシーンに現れた物体の動きを検出する検出手段、および
   前記指定手段の指定態様を前記検出手段の検出結果に基づいて制御する制御手段をさらに備える、請求項１ないし３のいずれかに記載の画像生成装置。
5. 前記検出手段は前記物体の動きの速度を検出し、
   前記制御手段は、前記検出手段によって検出された速度の上昇に従って前記指定手段の指定態様を過去方向に制御し、前記検出手段によって検出された速度の低下に従って前記指定手段の指定態様を未来方向に制御する、請求項４記載の画像生成装置。
6. 前記合成手段は前記撮像手段から出力された画像および前記指定画像の各々に重み付けを施して処理を実行する、請求項１ないし５のいずれかに記載の画像生成装置。
7. 撮像面で捉えられたシーンを表す画像を繰り返し出力する撮像手段を備える画像生成装置のプロセッサに、
   前記撮像手段から出力された画像と指定画像とを合成する処理を前記撮像手段の出力周期で実行する合成ステップ、
   前記合成ステップによって生成された複数の合成画像を格納する格納ステップ、
   前記格納ステップに格納された複数の合成画像のうち２周期以上過去の合成画像を前記指定画像として指定する指定ステップを実行させるための、画像生成プログラム。
8. 撮像面で捉えられたシーンを表す画像を繰り返し出力する撮像手段を備える画像生成装置によって実行される画像生成方法であって、
   前記撮像手段から出力された画像と指定画像とを合成する処理を前記撮像手段の出力周期で実行する合成ステップ、
   前記合成ステップによって生成された複数の合成画像を格納する格納ステップ、
   前記格納ステップに格納された複数の合成画像のうち２周期以上過去の合成画像を前記指定画像として指定する指定ステップを備える、画像生成方法。
9. 撮像面で捉えられたシーンを表す画像を繰り返し出力する撮像手段、および
   メモリに保存された内部制御プログラムに従う処理を実行するプロセッサを備える画像生成装置に供給される外部制御プログラムであって、
   前記撮像手段から出力された画像と指定画像とを合成する処理を前記撮像手段の出力周期で実行する合成ステップ、
   前記合成ステップによって生成された複数の合成画像を格納する格納ステップ、
   前記格納ステップに格納された複数の合成画像のうち２周期以上過去の合成画像を前記指定画像として指定する指定ステップを前記内部制御プログラムと協働して前記プロセッサに実行させるための、外部制御プログラム。
10. 撮像面で捉えられたシーンを表す画像を繰り返し出力する撮像手段、
    外部制御プログラムを受信する受信手段、および
    前記受信手段によって受信された外部制御プログラムとメモリに保存された内部制御プログラムとに従う処理を実行するプロセッサを備える画像生成装置であって、
    前記外部制御プログラムは、
    前記撮像手段から出力された画像と指定画像とを合成する処理を前記撮像手段の出力周期で実行する合成ステップ、
    前記合成ステップによって生成された複数の合成画像を格納する格納ステップ、
    前記格納ステップに格納された複数の合成画像のうち２周期以上過去の合成画像を前記指定画像として指定する指定ステップを前記内部制御プログラムと協働して実行するプログラムに相当する、画像生成装置。

Images