JP2011086209A - 動画処理装置および動画処理方法 - Google Patents

Abstract

【課題】動画の時間的な変化特性に依らず、常に効果的な視覚効果を得ることが可能な動画を提供する。
【解決手段】特徴量算出部１１０によって動画像の特徴量を検出するステップ（Ｓ４５）と、特徴量変化特性演算部によって特徴量の時間的な変化特性を演算するステップ（Ｓ４６）と、特殊効果付加部１１１によって特徴量の時間的な変化特性に基づいて動画像に施す特殊効果処理の特性を調整するステップ（Ｓ４７）を有し、動画に変化が少ない場合には、特殊効果を施す。
【選択図】 図５

Description

本発明は、動画処理装置および動画処理方法に関し、詳しくは、カメラ等の撮影装置や画像編集装置等において、動画に対する特殊効果の特性を調整するようにした動画処理装置および動画処理方法に関する。

魚眼レンズを用いると、独特な歪が生じた画像を撮影することができ、また被写体に接近すると、標準レンズでは表現できないような印象的な画像を撮影することができる。このような魚眼レンズの効果は、必ずしも魚眼レンズを装着しなくても画像処理により得ることができる。例えば、特許文献１には、画像を領域に分割し、画像の端にいくほど画像を縮小させるような画像処理を施すことにより、魚眼レンズで撮影した画像と類似の画像を得る画像処理装置が提案されている。

一方、撮像された画像を再生表示するにあたって、特殊効果を施すことにより付加価値の高める機能を搭載したデジタルカメラが提案されている。例えば、特許文献２には、顔を含む画像をその顔の表情の度合いに応じて効果的に再生できるようにした画像処理装置が開示されている。

特開２０００−１４８１２８号公報 特開２００８−０８４２１３号公報

動画の再生にあたって、変化の少ないシーンが長時間続くと、鑑賞者が退屈してしまうことがある。このような退屈してしまいそうなシーンに対して、特殊効果を適用することができれば、単調な動画に変化を持たせることができ、退屈しない動画を提供することができる。前述した先行技術文献には、退屈しない動画の作成については、何ら示唆されていない。

本発明は、このような事情を鑑みてなされたものであり、動画の時間的な変化特性に依らず、常に効果的な視覚効果を得ることが可能な動画を提供することを目的とする。

上記目的を達成するため第１の発明に係わる動画処理装置は、動画像の特徴量を検出する特徴量検出部と、上記特徴量の時間的な変化特性を演算する特徴量変化特性演算部と、上記特徴量の時間的な変化に基づいて上記動画像に施す特殊効果処理の特性を調整する特殊効果処理部と、を備える。

第２の発明に係わる動画処理装置は、上記第１の発明において、上記特徴量検出部は、上記動画像を構成する注目画像と該動画像を構成する他の画像との類似度を表す特徴量を検出するものであり、上記特徴量変化特性演算部は、上記注目画像を含む所定範囲内に含まれる複数画像のそれぞれの画像との類似度を表す上記特徴量に対して平均化処理を行う。
第３の発明に係わる動画処理装置は、上記第２の発明において、上記特殊効果処理部は、上記特徴量によって表わされる類似度および上記平均化処理の結果得られた平均値に基づいて、上記特殊効果処理を調整する。

第４の発明に係わる動画処理装置は、上記第１の発明において、上記特徴量検出部は、上記動画像を構成する注目画像と該動画像を構成する他の画像との類似度を表わす特徴量を検出するものであり、上記特徴量変化特性検出部は、所定範囲内の特徴量を有する画像が連続する時間を検出する。
第５の発明に係わる動画処理装置は、上記第４の発明において、上記特殊効果処理部は、上記特徴量によって表わされる類似度および上記特徴量変化特性検出部によって検出される上記連続時間に基づいて、上記特殊効果処理を調整する。

第６の発明に係わる動画処理装置は、上記第３および第５の発明において、上記特殊効果処理は、上記特徴量の時間的な変化特性に基づいて、画像の拡大率、歪率、ガンマ、彩度、ノイズ量のいずれか１つ以上を調整する。

第７の発明に係わる動画処理方法は、特徴量検出部によって動画像の特徴量を検出するステップと、特徴量変化特性演算部によって上記特徴量の時間的な変化特性を演算するステップと、特殊効果処理部によって上記特徴量の時間的な変化特性に基づいて上記動画像に施す特殊効果処理の特性を調整するステップと、を有する。

第１および第７の発明によれば、動画の時間的な変化特性に依らず、常に効果的な視覚効果を得ることが可能な動画を提供することができる。
第２ないし第６の発明によれば、動画像の類似度の時間的な変化特性に依らず、常に効果的な視覚効果を得ることが可能な動画を提供することができる。

本発明の第１実施形態に係わるカメラの主として電気的構成を示すブロック図である。 本発明の第１実施形態に係わるカメラのメイン動作を示すフローチャートである。 本発明の第１実施形態に係わるカメラの静止画撮影・画像処理の動作を示すフローチャートである。 本発明の第１実施形態に係わるカメラの現像処理の動作を示すフローチャートである。 本発明の第１実施形態に係わるカメラの動画撮影・画像処理の動作を示すフローチャートである。 本発明の第１実施形態に係わるカメラの特徴量算出の動作を示すフローチャートである。 本発明の第１実施形態に係わるカメラの特殊効果強度算出の動作を示すフローチャートである。 本発明の第１実施形態に係わるカメラにおいて、特徴量と強度の関係を示すグラフである。 本発明の第１実施形態に係わるカメラの特殊効果付加の動作を示すフローチャートである。 本発明の第１実施形態に係わるカメラにおいて、画像に特殊効果を付加する様子を示す図であり、（ａ）は特殊効果強度に応じて算出する歪補正係数を説明する図であり、（ｂ）は歪補正係数を施された画像を説明する図であり、（ｃ）は理想像高と実像高の関係を示すグラフである。 本発明の第２実施形態に係わるカメラの特徴量算出の動作を示すフローチャートである。 本発明の第２実施形態に係わるカメラの特殊効果強度算出の動作を示すフローチャートである。 本発明の第２実施形態に係わるカメラにおいて、画像の無変化継続時間と特殊効果強度の関係を示すグラフである。 本発明の第２実施形態に係わるカメラの特殊効果付加の動作を示すフローチャートである。 本発明の第２実施形態に係わるカメラにおいて、特殊効果の付加を説明する図であって、（ａ）は特殊効果強度と彩度ゲインの関係を示すグラフであり、（ｂ）は特殊効果強度とノイズゲインの関係を示すグラフであり、（ｃ）はコントラスト調整の際の入力に対する出力の関係を示すグラフである。

以下、図面に従って本発明を適用したカメラを用いて好ましい一実施形態について説明する。図１は、本発明の第１実施形態に係わるカメラの主として電気的構成を示すブロック図である。このカメラはデジタルカメラであり、カメラ本体１００と、これに脱着可能な交換式レンズ１０００とから構成される。

交換式レンズ１０００は、撮影レンズ１０１０、フラッシュメモリ１０１１、マイクロコンピュータ１０１２、ドライバ１０１３、絞り１０１４から構成され、後述するカメラ本体１００との間にインターフェース（以後、Ｉ／Ｆと称す）９９９を有する。

撮影レンズ１０１０は、被写体像を形成するための光学レンズであって、単焦点レンズまたはズームレンズで構成される。この撮影レンズ１０１０の光軸の後方には、絞り１０１４が配置されており、絞り１０１４は口径が可変であり、撮影レンズ１０１０の通過した被写体光束を制限する。また、撮影レンズ１０１０はドライバ１０１３によって光軸方向に移動可能であり、マイクロコンピュータ１０１２からの制御信号に基づいて、撮影レンズ１０１０のピント位置が制御され、ズームレンズの場合には、焦点距離も制御される。このドライバ１０１３は、絞り１０１４の口径の制御も行う。

ドライバ１０１３に接続されたマイクロコンピュータ１０１２は、Ｉ／Ｆ９９９およびフラッシュメモリ１０１１に接続されている。マイクロコンピュータ１０１２は、フラッシュメモリ１０１１に記憶されているプログラムに従って動作し、後述するカメラ本体１００内のマイクロコンピュータ１１５と通信を行い、マイクロコンピュータ１１５からの制御信号に基づいて交換式レンズ１０００の制御を行う。

フラッシュメモリ１０１１には、前述したプログラムの他、交換式レンズ１０００の光学的特性や調整値等の種々の情報が記憶されている。Ｉ／Ｆ９９９は、交換式レンズ１０００内のマイクロコンピュータ１０１２とカメラ本体１００内のマイクロコンピュータ１１５の相互間の通信を行うためのインターフェースである。

カメラ本体１００内であって、撮影レンズ１０１０の光軸上には、メカシャッタ１０１が配置されている。このメカシャッタ１０１は、被写体光束の通過時間を制御し、公知のレンズシャッタまたはフォーカルプレーンシャッタが採用される。このメカシャッタ１０１の後方であって、撮影レンズ１０１０によって被写体像が形成される位置には、撮像素子１０２が配置されている。

撮像素子１０２は、各画素を構成するフォトダイオードが二次元的にマトリックス状に配置されており、各フォトダイオードは受光量に応じた光電変換電流を発生し、この光電変換電流は各フォトダイオードに接続するキャパシタによって電荷蓄積される。各画素の前面には、ベイヤー配列のカラーフィルタが配置されている。ベイヤー配列は、水平方向にＲ画素とＧ（Ｇｒ）画素が交互に配置されたラインと、Ｇ（Ｇｂ）画素とＢ画素が交互に配置されたラインを有し、さらにその３つのラインを垂直方向にも交互に配置することで構成されている。

撮像素子１０２はアナログ処理部１０３に接続されており、このアナログ処理部１０３は、撮像素子１０２から読み出した光電変換信号（アナログ画像信号）に対し、リセットノイズ等を低減した上で波形整形を行い、さらに適切な輝度になるようにゲインアップを行う。アナログ処理部１０３はＡ／Ｄ変換部１０４に接続されており、このＡ／Ｄ変換部１０４は、アナログ画像信号をアナログ―デジタル変換し、デジタル画像信号（以後、画像データという）をバス１０５に出力する。

バス１０５は、カメラ本体１００の内部で読み出され若しくは生成された各種データをカメラ本体１００の内部に転送するための転送路である。バス１０５は、前述のＡ／Ｄ変換部１０４の他、ＳＤＲＡＭ１０６、画像処理部１０７、ＡＥ処理部１０８、ＡＦ処理部１０９、特徴量算出部１１０、特殊効果付加部１１１、画像圧縮展開部１１２、メモリインターフェース（以後、メモリＩ／Ｆという）１１３、液晶（以後、ＬＣＤという）ドライバ１１５、マイクロコンピュータ１１７が接続されている。

バス１０５に接続されたＳＤＲＡＭ１０６は、画像データ等の一時記憶用の電気的書き換え可能な不揮発性メモリである。このＳＤＲＡＭ１０６は、Ａ／Ｄ変換部１０４から出力された画像データや、画像処理部１０７や画像圧縮展開部１１２等において処理された画像データを一時記憶する。

画像処理部１０７は、ホワイトバランス補正部（以後、ＷＢ補正部という）１０７１、同時化処理部１０７２、色再現処理部１０７３、ノイズリダクション処理部（以後、ＮＲ処理部という）１０７４を含み、ＳＤＲＡＭ１０６に一時記憶された画像データを読出し、この画像データに対して種々の画像処理を施す。

ＷＢ補正部１０７１は、ＳＤＲＡＭ１０６から読み出した画像データに対してオプティカルブラック減算処理を行う。このオプティカルブラック減算処理では、画像データを構成する各画素の画素値から、撮像素子１０２の暗電流等に起因するオプティカルブラック値を減算する。オプティカルブラック減算処理を行うと、次に、画像データに対して、ホワイトバランス補正を行う。ホワイトバランス補正は、さまざまな色温度の光源のもとで、白色を正確に白く映し出すように補正する。晴天、曇天、電球、蛍光灯などの光源モードをユーザが設定するか、若しくはカメラ側で自動的に光源を設定するオートホワイトバランスモードを選択するので、この設定されたモードに応じて、画像データに対してホワイトバランス補正を行う。

同時化処理部１０７２は、ベイヤー配列の下で取得された画像データに対して、１画素あたりＲ、Ｇ、Ｂの情報からなる画像データへ同時化処理を行う。色再現処理部１０７３は、ガンマ補正処理、および画像の色味を変化させる色再現処理を行う。また、画像データに対してカラーマトリックスを乗じる線形変換を行って画像データの色を補正する。さらに、画像データからエッジを抽出し、画像データのエッジを強調するエッジ強調も行う。

ＮＲ処理部１０７４は、高周波を低減するフィルタを用いたり、またコアリング処理等により、画像データのノイズを低減する処理を行う。画像処理部１０７は、必要に応じて、各部１０７１〜１０７４を選択し各処理を行い、画像処理を施された画像データは、バス１０５を介してＳＤＲＡＭ１０６に一時記憶される。

ＡＥ処理部１０８は、被写体輝度測定し、バス１０５を介してマイクロコンピュータ１１７に出力する。被写体輝度測定のために専用の測光センサを設けても良いが、本実施形態においては、画像データに基づいて被写体輝度を算出する。ＡＦ処理部１０９は、画像データから高周波成分の信号を抽出し、積算処理により合焦評価値を取得し、バス１０５を介してマイクロコンピュータ１１７に出力する。本実施形態においては、いわゆるコントラスト法によって撮影レンズ１０１０のピント合わせを行う。

特徴量算出部１１０は、動画を構成する各フレームの画像データを入力し、各フレーム間における画像の類似度、すなわち特徴量を算出する。この特徴量の算出は、本実施形態においては、ソフトウエアによって行われ、その詳細は図６に示すフローチャートを用いて後述する。

特殊効果付加部１１１は、特徴量に基づいて画像データに歪補正等の特殊効果処理を施す際の特性を調整する。この特殊効果処理は、ハードウエアによって行われるが、一部をソフトウエアによって行っても良い。特殊効果処理の詳細は、図９に示すフローチャートを用いて後述する。

画像圧縮展開部１１２は、画像データの記録媒体１１４への記録時に、ＳＤＲＡＭ１０６から画像データを読み出し、この読み出した画像データをＪＰＥＧ圧縮方式に従って圧縮し、この圧縮した画像データをＳＤＲＡＭ１０６に一旦記憶する。マイクロコンピュータ１１７は、ＳＤＲＡＭ１０６に一時記憶されたＪＰＥＧ画像データに対して、ＪＰＥＧファイルを構成するために必要なＪＰＥＧヘッダを付加してＪＰＥＧファイルを作成し、この作成したＪＰＥＧファイルをメモリＩ／Ｆ１１３を介して記録媒体１１４に記録する。

また、画像圧縮展開部１１２は、画像再生表示用にＪＰＥＧ画像データの伸張も行う。伸張にあたっては、記録媒体１１４に記録されているＪＰＥＧファイルを読み出し、画像圧縮展開部１１２において伸張処理を施した上で、伸張した画像データをＳＤＲＡＭ
１０６に一時記憶する。なお、本実施形態においては、画像圧縮方式としては、ＪＰＥＧ圧縮方式を採用するが、圧縮方式はこれに限らずＴＩＦＦ、ＭＰＥＧ等、他の圧縮方式でも勿論かまわない。記録媒体１１４は、例えば、カメラ本体１００に着脱自在なメモリカード等の記録媒体であるが、これに限らず、カメラ本体１００に内蔵されたハードディスク等であっても良い。

ＬＣＤドライバ１１５は、ＬＣＤ１１６に接続されており、ＳＤＲＡＭ１０６や記録媒体１１４から読み出され、画像圧縮展開部１１２によって伸張された画像データに基づいて画像をＬＣＤ１１６において表示させる。ＬＣＤ１１６は、カメラ本体１００の背面等に配置された液晶パネルを含み、画像表示を行う。画像表示としては、撮影直後、記録される画像データを短時間だけ表示するレックビュー表示、記録媒体１１２に記録された静止画や動画の画像ファイルの再生表示、およびライブビュー表示等の動画表示が含まれる。なお、圧縮されている画像データを表示する場合には、前述したように、画像圧縮展開部１１２によって伸張処理を施した後に表示する。また、表示部としては、ＬＣＤに限らず、有機ＥＬ等、他の表示パネルを採用しても勿論かまわない。

マイクロコンピュータ１１７は、このカメラ全体の制御部としての機能を果たし、カメラの各種シーケンスを総括的に制御する。マイクロコンピュータ１１７には、前述のＩ／Ｆ９９９以外に、操作部１１８およびフラッシュメモリ１１９が接続されている。

操作部１１８は、電源釦、レリーズ釦、動画釦、各種入力釦や各種入力キー等の操作部材を含み、これらの操作部材の操作状態を検知し、検知結果をマクロコンピュータ１１７に出力する。マイクロコンピュータ１１７は、操作部１１８からの操作部材の検知結果に基づいて、ユーザの操作に応じた各種シーケンスを実行する。電源釦は、当該デジタルカメラの電源のオン／オフを指示するための操作部材である。電源釦が押されると当該デジタルカメラの電源はオンとなり、再度、電源釦が押されると当該デジタルカメラの電源はオフとなる。

レリーズ釦は、半押しでオンになるファーストレリーズスイッチと、半押しから更に押し込み全押しとなるとオンになるセカンドレリーズスイッチからなる。マイクロコンピュータ１１７は、ファーストレリーズスイッチがオンとなると、ＡＥ処理やＡＦ処理等の撮影準備シーケンスを実行する。また、セカンドレリーズスイッチがオンとなると、メカシャッタ１０１等を制御し、撮像素子１０２等から被写体画像に基づく画像データを取得し、この画像データを記録媒体１１４に記録する一連の撮影シーケンスを実行して撮影を行う。

動画釦は、動画の撮影を開始させ、また終了させるための釦である。初期状態では動画未撮影状態であるので、この状態で動画釦を押すと動画の撮影を開始し、動画撮影中に動画釦を押すと、動画の撮影を終了する。従って、動画釦を押すたびに、動画の撮影開始と終了を交互に繰り返す。

フラッシュメモリ１１９は、マイクロコンピュータ１１７の各種シーケンスを実行するためのプログラムを記憶している。マイクロコンピュータ１１７はこのプログラムに基づいて当該デジタルカメラの制御を行う。また、フラッシュメモリ１１９は、被写体輝度に対して適正露光となる露出制御値（ＩＳＯ感度、絞り値、シャッタ速度）の組合せを示すテーブル（露出条件決定テーブル）、ホワイトバランス補正を行うためのホワイトバランスゲインや、カラーマトリックス係数を記憶している。また、後述する図８に示すような特徴量と強度の関係を示すテーブルも記憶している。このようにフラッシュメモリ１１９は、当該デジタルカメラの動作に必要な各種パラメータやテーブルを記憶しており、マイクロコンピュータ１１７が前述のプログラムに従って、これらのパラメータを読み出し、各処理を実行する。

次に、図２に示すメインのフローチャートを用いて、本実施形態におけるカメラのメイン処理について説明する。電源釦が操作され、電源オンとなると、図２に示すメインフローが動作を開始する。動作を開始すると、まず、記録中フラグをオフに初期化する（Ｓ１１）。この記録中フラグは、動画の記録中であるか否かを示すフラグであり、オンの場合には動画を記録中であることを示し、オフの場合には動画の記録を行っていないことを示す。

記録中フラグをオフに初期化すると、次に、動画釦が押されたか否かの判定を行う（Ｓ１２）。このステップでは、操作部１１８において、動画釦の操作状態を検知し、この検知結果に基づいて判定する。この判定の結果、動画釦が押された場合には、次に、記録中フラグの反転を行う（Ｓ１３）。前述したように、動画釦は押されるたびに、動画撮影開始と終了を交互に繰り返すので、このステップでは、記録中フラグがオフであった場合にはオンに、またオンであった場合にはオフに、記録中フラグを反転させる。

記録中フラグの反転を行うと、またはステップＳ１２における判定の結果、動画釦が押されていなかった場合には、次に、動画の記録中か否かの判定を行う（Ｓ１４）。記録中フラグが動画の撮影状態を示しているので、このステップでは、記録中フラグがオンであるか否かの判定を行う。この判定の結果、動画記録中でなかった場合には、次に、ファーストレリーズが押されたか否か、言い換えると、ファーストレリーズスイッチがオフからオンとなったか否かの判定を行う（Ｓ１５）。この判定は、レリーズ釦に連動するファーストレリーズスイッチの状態を操作部１１８によって検知し、この検知結果に基づいて行う。なお、このステップでは、ファーストレリーズスイッチがオフからオンに変化したかを判定し、オン状態が維持されている場合には、判定結果はＮｏとなる。

ステップＳ１５における判定の結果、ファーストレリーズが押された場合には、ＡＦ（オートフォーカス）動作を実行する（Ｓ１６）。ここでは、ＡＦ処理部１０９によって取得された合焦評価値がピーク値となるように、交換式レンズ１０００内のマイクロコンピュータ１０１２を介してドライバ１０１３が撮影レンズ１０１０のピント位置を制御する。したがって、動画記録中ではない場合に、レリーズ釦が半押しされると、その時点で、撮影レンズ１０１０のピント合わせを１回行う。

ステップＳ１５における判定の結果、ファーストレリーズが押されていなかった場合には、セカンドレリーズが押されたか否か、言い換えると、レリーズ釦が全押しされセカンドレリーズスイッチがオフからオンとなったか否かの判定を行う（Ｓ１７）。このステップでは、レリーズ釦に連動するセカンドレリーズスイッチの状態を操作部１１８によって検知し、この検知結果に基づいて判定を行う。

ステップＳ１７における判定の結果、セカンドレリーズが押された場合には、静止画撮影およびその画像処理を行う（Ｓ１８）。ここでは、撮像素子１０２からの画像信号に基づく静止画の画像データについて画像処理および画像圧縮処理を行った後、記録媒体１１４に記録する。この静止画撮影・画像処理の詳しい動作については、図３を用いて後述する。

ステップＳ１４における判定の結果、動画記録中であった場合、またはステップＳ１７における判定の結果、セカンドレリーズが押されていない場合には、動画撮影および画像処理を行う（Ｓ１９）。このステップでは、動画記録中であった場合には、撮像素子１０２からの画像信号に基づく動画の画像データについて画像処理および画像圧縮を行った後、記録媒体に１１４に記録する。また、動画記録中ではない場合には、静止画撮影における被写体構図やシャッタタイミングの決定を行うためにライブビュー表示を行う。この動画撮影・画像処理の詳しい動作については、図５を用いて後述する。

ステップＳ１６におけるＡＦ動作を実行すると、またはステップＳ１８における静止画撮影・画像処理を実行すると、またはステップＳ１９における動画撮影・画像処理を実行すると、次に、電源オフか否かの判定を行う（Ｓ２０）。このステップでは、操作部１１８の電源釦が再度、押されたか否かを判定する。この判定の結果、電源オフではなかった場合には、ステップＳ１２に戻る。一方、判定の結果、電源オフであった場合には、メインのフローの終了動作を行ったのち、メインフローを終了する。

このように、本実施形態におけるメインフローでは、初期設定では静止画撮影モードになっており、この状態では、ステップＳ１２→Ｓ１４→Ｓ１５→Ｓ１７→Ｓ１９→Ｓ２０→Ｓ１２を順次実行し、この間ライブビュー表示を行う。ライブビュー表示中に、レリーズ釦が半押しされると、ステップＳ１６においてＡＦ動作を行い、またレリーズ釦が全押しされると、ステップＳ１８において静止画の撮影を行う。また、動画釦を押すと、ステップＳ１３において記録中フラグをオンとし、ステップＳ１４→Ｓ１９→Ｓ２０→Ｓ１２→Ｓ１４を繰り返し実行することにより、動画撮影を継続する。この状態で再度、動画釦を押すと、ステップＳ１３において記録中フラグがオフとなることから、前述の静止画のフローに戻る。

次に、ステップＳ１８における静止画撮影・画像処理について、図３を用いて説明する。静止画撮影・画像処理のフローに入ると、まず、ＡＥ処理を行う（Ｓ２１）。このステップでは、ＡＥ処理部１０８によって取得された被写体輝度に基づいて、マイクロコンピュータ１１７はフラッシュメモリ１１９に予め記憶されている露出条件決定テーブルから、撮影時に適正露光となるＩＳＯ感度、絞り値、シャッタ速度を決定する。

ＡＥ処理を行うと、撮影動作を行う（Ｓ２２）。ここでは、ステップＳ３１において算出された露出制御値に基づいて、メカシャッタ１０１や絞り１０１４等の制御を行い、また、撮像素子１０２の光電電流の電荷蓄積制御を行う。撮像素子１０２における露光動作が終了すると、画像信号の読み出しを行う。

ステップＳ２２における撮影動作が終了すると、次に、現像処理を行う（Ｓ２３）。このステップでは撮像素子１０２から読み出された画像信号に対して、画像処理部１０７において、オプティカルブラック補正、ホワイトバランス補正、同時化処理、カラーマトリックス演算等、種々の画像処理を行い、ベイヤー配列の下で得られたベイヤーデータをＹＣｂＣｒデータに変換する。なお、ＹＣｂＣｒデータへの変換に代えて、ＲＧＢデータへの変換でも構わない。この現像処理の詳しい動作については、図４を用いて後述する。

ステップＳ２３における現像処理が終了すると、次に、ＪＰＥＧファイル生成を行う（Ｓ２４）。このステップでは、ＹＣｂＣｒデータ形式の静止画の画像データを、画像圧縮展開部１１２によってＪＰＥＧ圧縮を行う。そして、画像サイズや撮影条件等の情報をヘッダ情報として作成し、このヘッダ情報をＪＰＥＧ圧縮された画像データに付加し、ＪＰＥＧファイルを生成する。続いて、ＪＰＥＧファイルの記録を行う（Ｓ３２）。このステップでは、ステップＳ３４において生成されたＪＰＥＧファイルをメモリＩ／Ｆ１１３を介して記録媒体１１４に記録する。ＪＰＥＧファイルの記録を行うと、元のフローに戻る。

次に、ステップＳ３３における現像処理について、図４を用いて説明する。現像処理のフローに入ると、まず、オプティカルブラック（ＯＢ）演算を行う（Ｓ３１）。このステップでは、前述したように、ＷＢ補正部１０７１によって、画像データを構成する各画素の画素値から、撮像素子１０２の暗電流等に起因するオプティカルブラック値をそれぞれ減算する。

ＯＢ演算を行うと、次に、ホワイトバランス（ＷＢ）演算を行う（Ｓ３２）。このステップでは、前述したようにＷＢ補正部１０７１によって、設定されているホワイトバランスモードに応じて、画像データに対してホワイトバランス補正を行う。具体的には、ベイヤー配列の画像データに対して、ユーザが設定したホワイトバランスモードに応じたＲゲインとＢゲインをカメラ本体のフラッシュメモリ１１９から読み出し、その値を乗じることで補正を行う。

続いて、同時化処理を行う（Ｓ３３）。このステップでは、ホワイトバランス補正を行った画像データに対して、同時化処理部１０７２によって、各画素がＲＧＢデータで構成されるデータに変換する。具体的には、その画素にないデータを周辺から補間によって求め、ＲＧＢデータに変換する。

続いて、カラーマトリックス演算を行う（Ｓ３４）。このステップでは、前述したように色再現処理部１０７３によって、画像データに対して設定されているホワイトバランスモードに応じたカラーマトリックス係数を乗じる線形変換を行って画像データの色を補正する。カラーマトリックス係数はフラッシュメモリ１１９に記憶されているので、読み出して使用する。続いて、ガンマ・色再現を行う（Ｓ３５）。このステップでは、前述したように色再現処理部１０７３によって、画像データに対して、ガンマ補正処理や色差成分の強調等の色再現処理を行う。

次に、エッジ強調を行う（Ｓ３６）。このステップでは、前述したように、色再現処理部１０７３によって、ガンマ補正および色再現処理の行われた画像データから、バンドパスフィルタによりエッジ成分を抽出し、エッジ強調度に応じて係数を乗じて画像データに加算することにより、画像データのエッジを強調する。続いて、ノイズ低減処理（ＮＲ）を行う（Ｓ３７）。このステップでは、前述したようにＮＲ処理部１０７４によって、高周波を低減するフィルタを用いたり、またコアリング処理等により、画像データのノイズを低減させる。ノイズ低減処理を行うと、元のフローに戻る。

次に、ステップＳ１９における動画撮影・画像処理について、図５を用いて説明する。動画撮影・画像処理のフローに入ると、まず、ＡＥ処理を行う（Ｓ４１）。このステップでは、ＡＥ処理部１０８によって被写体輝度を測定し、この被写体輝度に基づいて適正露光となる露出制御値を決定する。露出制御値の決定にあたっては、動画撮影におけるＡＥ処理であることから、メカシャッタ１０１は開放のままで、露光時間の制御は電子シャッタのシャッタ速度を用い、適正露光となるシャッタ速度、絞り値やＩＳＯ感度値を決定する。なお、静止画の場合と同様、フラッシュメモリ１１９に記憶されているテーブルを用いて決定する。

次に、撮影動作を行う（Ｓ４２）。このステップでは、ステップＳ４１で算出された露出制御値に従って絞り値や電子シャッタ等の制御を行い、また、撮像素子１０２の光電電流の電荷蓄積制御を行う。１フレーム分の露光が終わると、画像信号の読み出しを行う。続いて、現像処理を行う（Ｓ４３）。この現像処理は、前述した図４に示した現像処理のサブルーチンと同様であり、ベイヤーデータを画像処理し、ＹＣｂＣｒデータに変換するが、静止画の場合と同様、ＲＧＢデータも構わない。但し、この現像処理のサブルーチンは、動画用の現像処理であり、パラメータ等は適宜動画に相応しい値とする。

現像処理を行うと、次に、直前フレームが存在するか否かの判定を行う（Ｓ４４）。後述するように、動画を構成する各フレームの画像データは、ステップＳ５１においてＳＤＲＡＭ１０６において一時記憶されているので、このステップでは、ＳＤＲＡＭ１０６に直前の所定数のフレームが記憶されているか否かを判定する。後述する特殊効果強度算出にあたっては、直前の１フレームの画像データのみならず、直前の所定数のフレームを用いて算出を行っているので、このステップでは、所定数のフレームがＳＤＲＡＭ１０６に蓄積されているか否かを判定する。一般に、動画の場合には、３０フレーム／秒程度の画像が記録されることから、直前の所定数のフレームの画像データが蓄積されるまでの時間はそれほど長時間かかることはない。

ステップＳ４４における判定の結果、直前フレームが存在していた場合には、次に、特徴量の算出を行う（Ｓ４５）。このステップでは、直前の１フレームと現在フレームの間における画像の類似度、すなわち、特徴量を算出する。この特徴量の算出の詳細については、図６を用いて後述する。

特徴量の算出を行うと、次に、特徴効果強度算出を行う（Ｓ４６）。次のステップで特殊効果の付加を行うが、このときの特殊効果の強度を算出する。具体的には、前のステップで求めた特徴量を用いて強度を算出し、さらにこの強度を前述の所定数のフレームを用いて求めた平均特徴量によって補正した値を、特殊効果強度として算出する。この特殊効果強度算出の詳細については、図７を用いて後述する。

特徴効果強度算出を行うと、次に、画像データに特殊効果の付与を行う（Ｓ４７）。このステップでは、画像データに対して、ステップＳ４６で求めた特殊効果強度に応じた特殊効果を付加する。特殊効果としては、例えば、画像の歪率を変える魚眼レンズ効果であり、このときの画像の歪具合は、特殊効果強度に応じて変化させる。

特殊効果の付加を行うと、次に、特殊効果の付加された画像をＬＣＤ１１６に表示する（Ｓ４８）。この図５に示すフローは静止画撮影時のライブビュー表示、および動画撮影時の撮影画像の表示の際に実行され、このステップでは、特殊効果が付加された画像をＬＣＤ１１６に表示する。

ＬＣＤに表示すると、次に、ステップＳ１４と同様に、動画記録中であるか否かの判定を行う（Ｓ４９）。このステップでは、記録中フラグがオンとなっているか否かの判定を行う。この判定の結果、動画記録中であった場合には、次に、動画ファイルの保存を行う（Ｓ５０）。ステップＳ４７において特殊効果が付加された画像データを、画像圧縮展開部１１２によって動画ファイルの形式に合わせた圧縮を行い、記録媒体１１４に記録する。

動画ファイルの保存を行うと、またはステップＳ４９における判定の結果、動画記録中でないと判定された場合、またはステップＳ４４における判定の結果、直前フレームが存在しなかった場合には、次にＳＤＲＡＭ１０６に直前フレームとして、画像データを記憶する（Ｓ５１）。このステップでは、現像処理直後のＹｂＣｂＣｒデータを、次フレーム処理に使用するためにＳＤＲＡＭ１０６に記憶する。所定数のフレームを記憶すればよいことから、このための画像データを記憶するにはリングバッファがあれば十分である。ＳＤＲＡＭ１０６に直前フレームの画像として記憶すると、元のフローに戻る。

次に、ステップＳ４５における特徴量算出について、図６を用いて説明する。特徴量算出のフローに入ると、まず、画像の読み込みを行う（Ｓ６１）。このステップでは、ＳＤＲＡＭ１０６から、直前の１フレームのＹＣｂＣｒデータと、現在のフレームのＹＣｂＣｒデータを読み込む。

画像の読み込みを行うと、次に、読み出したＹＣｂＣｒデータに対してローパスフィルタ処理を行う（Ｓ６２）。わずかな画角のずれなどによって、以後の処理に大きく影響を与えないように、画像の高周波成分をカットすることによって、画像をぼかす処理を行う。続いて、差分絶対値算出を行う（Ｓ６３）。このステップでは、２つの画像の全画素または特定領域の対応画素ごとに差分の絶対を算出する。

差分絶対値を算出すると、次に、差分絶対値のコアリングを行う（Ｓ６４）。このステップでは、ノイズによる影響を除去するためにコアリング、すなわち、差分絶対値から予め設計上決めた値を減算し、この減算値が０未満となった場合には０にクリップする。続いて、差分絶対値の合計を算出する（Ｓ６５）。このステップでは、コアリングした差分絶対値の合計を算出し、この値を現在フレームの画像に対する特徴量とする。差分絶対値の合計を算出すると、元のフローに戻る。

このように特徴量算出のフローでは、現在のフレームの画像と、直前の１フレームの画像の間で、どの位、類似しているか、言い換えると、画像に変化が生じているか否かを表わす特徴量を算出している。本実施形態においては、特徴量は２つの画像の間の各画素の差分値から算出していることから、画像に変化が大きいほど特徴量が大きくなり、画像に変化がない場合には特徴量は小さくなる。

次に、ステップＳ４６における特徴効果強度算出について、図７を用いて説明する。特徴効果強度算出のフローに入ると、まず、平均特徴量の算出を行う（Ｓ７１）。図６に示した特徴量の算出は、直前の１フレームと現在フレームの画像間の特徴量を算出していたが、このステップでは、直前の予め設計値で決めた所定数のフレームの画像それぞれに対して、現在フレームの画像との差分を算出する。算出方法としては、図６に示した特徴量算出と同様の方法で、現在フレームの画像とｎフレーム前（ｎは１〜所定数）のフレームの画像間で各画素の差分を算出し特徴量を求める。そして、フレームごとに求めた特徴量の平均を算出し、この値を平均特徴とする。なお、平均演算としては、単純平均の他、相加平均、相乗平均、調和平均でも良い。

平均特徴量を算出すると、次に、強度算出を行う（Ｓ７２）。強度の算出は、フラッシュメモリ１１９に記憶されている、図８に示すような特徴量と強度の関係を示すテーブルから、ステップＳ６５において求めた特徴量に基づいて、テーブル参照により強度を求める。なお、図８に示す特徴量と強度の関係のグラフでは、横軸に特徴量をとり、縦軸に強度をとっている。特徴量が０に近づくにつれ、フレーム間の変化が小さく、特徴量が最大に近づくにつれフレーム間の変化が大きくなる。特徴量が小さい場合には、画像に変化がなく単調な画像であることから、強度を大きくし特殊効果を強くしている。一方、特徴量が大きい場合には、画像に変化があることから強度を小さくし特殊効果が弱くなるようにしている。

強度算出を行うと、次に、強度補正を行う（Ｓ７３）。ステップＳ７２において求めた強度は、現在のフレームの画像と直前の１フレームの画像との差分に基づいて算出された画像の類似度、すなわち特徴量に基づいて算出されている。しかし、直前の１フレームだけでは単調なシーンが続いているか否かが不明であることから、ステップＳ７１において算出した平均特徴量を用いて、強度の補正を行っている。

補正強度は、
［強度］×（１−α×［平均特徴量］）
により求め、この値を最終的な強度とする。なお、上記式において、補正強度が負値となる場合には０でクリップする。また、αは予め設計値として決めた定数である。補正強度を算出すると元のフローに戻る。

このように特殊効果強度の算出においては、フレーム間の画像の変化が小さい場合には、特殊効果の程度を決める強度の値を大きくし、一方、フレーム間の画像の変化が大きい場合には、強度の値を小さくしている。このため、フレーム間の画像の変化が小さく単調で退屈な動画の場合には、特殊効果が強く施されるようにして、画像に変化を付けるようにしている。

また、強度を算出するにあたって、平均特徴量によって強度を補正するようにしている。このため、フレーム間の画像の変化の経過を考慮することができ、つまらないシーンが続いている場合には、強度がより大きくなるようにし、画像の変化を大きくしている。なお、強度の補正演算は、前述の演算式に限らず、所定範囲内の複数画像との類似度を考慮できれば、他の演算式でも良い。

次に、ステップＳ４７における特徴効果付加について、図９を用いて説明する。本実施形態においては、特徴効果として魚眼レンズを装着したかのような歪を付加している。特殊効果付加のフローに入ると、まず、歪係数の算出を行う（Ｓ７６）。このステップでは、ステップＳ７３において算出した補正強度に応じた歪補正係数を算出する。

歪補正係数は、図１０（ａ）に示すように、画像の中心部ほど係数を大きくして外側に大きく拡大させ、周辺部では係数を小さくし縮小するような係数を予め用意しておく。この歪係数に対して、ステップＳ７３において算出した補正強度に応じて歪係数を変化させる。すなわち、図１０（ｃ）に示すように、補正強度が０の場合には、理想像高に対して実像高の関係が直線状になるようにする。そして補正強度が大きくなるほど、理想像高に対する実像高の関係において湾曲の度合いが強くなるようにする。

歪係数を算出すると、次に、歪補正を行う（Ｓ７７）。歪補正は、ステップＳ７６において算出した歪係数を用いて画像データを部分的に拡大又は縮小する。画像データに乗算することにより行う。歪補正を行うと、例えば、図１０（ａ）に示す等間隔に並んだ破線の三重の四角形が、図１０（ｂ）に示すような破線の三重の四角形になる。歪補正を行うと、元のフローに戻る。

このように、特殊効果付加においては、図７に示した特殊効果強度算出のフローによって算出された強度を用いて、画像データに特殊効果を施すようにしている。強度はフレーム間の画像の類似度（画像の変化）に応じた値となることから、動画に変化が少ない場合には、特殊効果の度合いが大きくなり、変化に富んだ動画となる。

以上説明したように、本発明の第１実施形態においては、動画の類似度を表わす特徴量を求め、この特徴量を用いて特殊効果に施す強度を調整するようにしている。このため、動画に変化が少ない場合には、特殊効果を施した動画となり、変化に富んだ画像となる。また、現在フレームから遡って所定数のフレームを用いて平均特徴量を求め、この平均特徴量を用いて、特殊効果に施す強度を補正している。このため、単調なシーンが長い場合ほど、特殊効果を強く施すことができる。

次に、本発明の第２実施形態について、図１１ないし図１５を用いて説明する。第１実施形態においては、動画の類似度を示す特徴量を算出するにあたって、対応する各画素の差分の合計を用いていたが、第２実施形態においては、相関係数を用いる点で相違する。また、第１実施形態においては、強度を補正するにあたって平均特徴量を用いていたが、第２実施形態においては、特徴量が所定値より小さくなった場合に、その継続時間を用いて強度を補正している。さらに、第１実施形態においては、特殊効果として魚眼レンズと類似の歪補正を行っていたが、第２実施形態においては、彩度の変更等、複数種類の特殊効果を施すようにしている。

第２実施形態における構成は、図１に示したブロック図と同様であるので、詳しい説明は省略する。ただし、フラッシュメモリ１１９には、後述する図１３における継続時間と特殊効果強度のテーブル、図１５（ａ）における特殊効果強度と彩度ゲインのテーブル、図１５（ｂ）における特殊効果強度とノイズゲインのテーブル、および図１５（ｃ）におけるコントラスト特性を調整するための入力と出力のテーブルが記憶されている。また、フラッシュメモリ１１９には、ノイズパターンが記憶されている。

また図２に示したメインフロー、図３に示した静止画撮影・画像処理のフロー、図４に示した現像処理のフロー、図５に示した動画撮影・画像処理のフローは第２実施形態においても同様であるので、詳しい説明は省略する。図６に示した特徴量算出のフロー、図７に示した特殊効果強度算出のフロー、図９に示した特殊効果付加のフローは、それぞれ、図１１、図１２、図１４に置き換えるので、これらのフローについて詳細に説明する。

図１１に示す特徴量算出のフローに入ると、まずステップＳ６１と同様に、画像読み込みを行う（Ｓ８１）。このステップでは、ＳＤＲＡＭ１０６から、直前の１フレームのＹＣｂＣｒデータと、現在のフレームのＹＣｂＣｒデータを読み込む。続いて、ステップＳ６２と同様に、ローパスフィルタ処理を行う（Ｓ８２）。ここでは、画像の高周波成分をカットし、画像をぼかす処理を行う。

次に、相関係数算出を行う（Ｓ８３）。このステップでは、ステップＳ８１において読み込みローパス処理を行った現在フレームと直前の１フレームの画像の相関係数を算出する。相関係数の求め方は種々あるが、例えば、下記のような式でも良い。なお、下記式は、データ｛ｘ_１、ｘ_２、ｘ_３、・・・、ｘ_ｎ｝と｛ｙ_１、ｙ_２、ｙ_３、・・・、ｙ_ｎ｝があり、ｘ_ｉとｙ_ｉが対応している場合の相関係数である。

データ｛ｘ_１，ｘ_２，ｘ_３，・・・，ｘ_ｎ｝を注目しているフレームをラスタスキャンした画素データ、データ｛ｙ_１，ｙ_２，ｙ_３，・・・，ｙ_ｎ｝を相関係数を求める相手のフレームをラスタスキャンした画像データと考えれば、注目フレームの画像と相手のフレームの画像との間の相関係数を上式で求めることができる。

ここで、ラスタスキャンとは、画像の左上から右下に向かって、行方向にスキャンする方向をいう。画像高さと幅がそれぞれＨとＷの場合、スキャンしたデータ列のサイズはＷ×Ｈになる（１ｃｈデータの場合）。ＲＧＢやＹＣｂＣｒのような１画素が3つのデータからなる場合には、例えば、下記のデータのように、各画素同じ順番にデータを並べればよい。
｛ｘ_１ｙ，ｘ_１ｃｂ，ｘ_１ｃｒ，ｘ_２ｙ，ｘ_２ｃｂ，ｘ_２ｃｒ，ｘ_３ｙ，ｘ_３ｃｂ，ｘ_３ｃｒ，・・・、ｘ_ｎｙ，ｘ_ｎｃｂ，ｘ_ｎｃｒ｝
｛ｙ_１ｙ，ｙ_１ｃｂ，ｙ_１ｃｒ，ｙ_２ｙ，ｙ_２ｃｂ，ｙ_２ｃｒ，ｙ_３ｙ，ｙ_３ｃｂ，ｙ_３ｃｒ，・・・，ｙ_ｎｙ，ｙ_ｎｃｂ，ｙ_ｎｃｒ｝

もちろん、Ｙのみスキャンし、続いてＣｂのみスキャンし、更に続いてＣｒのみスキャンするといった方法でも良い。いずれにせよ、対応する画素の対応する色のデータを用いて上式に当てはめればよい。なお、スキャン方式としてはラスタスキャンに限る必要は無く、例えば、ジグザグスキャンでも良い。

ステップＳ８３において、相関係数を算出すると、元のフローに戻る。この特徴量算出の処理により、フレーム間の画像の低周波成分の相関係数を、特徴量として算出することができる。特徴量が１付近であれば、フレーム間の画像の差異が非常に小さいことになる。

次に、特殊効果強度算出のフローについて、図１２を用いて説明する。このフローは、特殊効果を行うにあたって、特性を調整するための強度を算出するためのフローであり、シーンの変化のない時間の長さに応じて、強度の補正を行うようにしている。まず、特徴量が閾値Ｔｈ以上であるか否かの判定を行う（Ｓ９１）。このステップでは、特徴量が予め設定した閾値Ｔｈ以上か、言い換えると、２つの画像が、一定以上類似しているか否かを判定する。なお、特徴量としては、ステップＳ８３において算出した相関係数を用いる。

ステップＳ９１における判定の結果、特徴量が閾値Ｔｈ以上でなかった場合には、時刻記録変数ｔのリセットを行う（Ｓ９２）。特徴量が閾値未満であれば、類似性が殆どないことから、フレーム間の画像で差があり、シーン変化があるとみなし、時刻記録変数ｔをリセットする。続いて、継続時間を０とする（Ｓ９３）。

ステップＳ９１における判定の結果、特徴量が閾値Ｔｈ以上であった場合には、次に時刻記録があるか否かの判定を行う（Ｓ９４）。このステップでは、時刻記録変数ｔがリセットされているか否かの判定を行う。この判定の結果、時刻記録変数ｔがリセットされていた場合には、次に、時刻記録を行う（Ｓ９５）。ここでは、現在の時刻を時刻記録変数ｔに記録する。

ステップＳ９５において時刻を記録すると、またはステップＳ９４における判定の結果、時刻記録がなかった場合には、次に、継続時間を算出する（Ｓ９６）。ここでは、ステップＳ９５において時刻記録変数ｔとして記録した時刻と現在の時刻の差から、特徴量が閾値Ｔｈ以上であった時間を算出する。

ステップＳ９６において継続時間の算出を行うと、またはステップＳ９３において継続時間を０とすると、次に、特殊効果強度の算出を行う（Ｓ９７）。ここでは、継続時間に応じて、特殊効果強度を算出する。特徴量が閾値Ｔｈ以上となり、変化の少ない状態が長く続くと、特殊効果を強めるようにしている。なお、特殊効果の強度の算出にあたっては、フラッシュメモリ１１９に記憶されている図１３に示すようなテーブルから、ステップＳ９３またはＳ９６における継続時間に対応する特殊効果強度を、テーブル参照で読み出す。特殊効果強度の算出を行うと、元のフローに戻る。

次に、特殊効果付加のフローについて、図１４を用いて説明する。このフローでは、特殊効果として、彩度調整、ノイズ付加、コントラスト強調を行っている。まず、彩度ゲインの算出を行う（Ｓ１０１）。ここでは、ステップＳ９７において算出した特殊効果強度に応じて、彩度変更割合を算出する。特殊効果強度と彩度ゲインの関係は、図１５（ａ）に示したように、特殊効果強度が１の場合に彩度ゲインが０、特殊効果強度が０の場合に彩度ゲインが１であり、直線状に変化する。

彩度ゲイン算出を行うと、次に、彩度の低下を行う（Ｓ１０２）。ここでは、ステップＳ１０１において算出した彩度ゲインを用いて彩度の調整を行う。すなわち、彩度ゲインをＹＣｂＣｒデータおよびＣｒデータに乗じ、彩度を低下させる。このとき、Ｃｂ、Ｃｒデータの範囲を［−１２８〜１２７］の範囲で記憶する方式であれば、そのまま乗じればよいが、［０：２５５］の範囲で記憶する方式の場合には、１２８を減算して乗じた後、１２８を加算する必要がある。このような彩度低下を行うと、シーンに変化が少なければ少ないほど、色味成分を０に近づけ、特殊効果強度が１の場合には、色味成分を完全に０にしてモノトーンにする。

彩度低下を行うと、次に、ノイズゲイン算出を行う（Ｓ１０３）。ここでは、ステップＳ９７において算出した特殊効果強度に応じて、ノイズゲインを算出する。特殊効果強度とノイズゲインの関係は、図１５（ｂ）に示したように、特殊効果強度が１の場合にノイズゲインが１、特殊効果強度が０の場合に彩度ゲインが０であり、直線状に変化する。

ノイズゲインの算出を行うと、次に、ノイズ付加を行う（Ｓ１０４）。ここでは、フラッシュメモリ１１９に記憶されているノイズパターンに対し、ステップＳ１０３において算出したノイズゲインを乗じてノイズパターンを生成する。そして、画像データのＹ信号に対して、この生成されたノイズパターンを加算することによって、ノイズを付加する。

ノイズ付加を行うと、次に、コントラスト特性決定を行う（Ｓ１０５）。コントラスト特性を決定するためのテーブルは、図１５（ｃ）に示すように、特殊効果強度が０の場合には、入力がそのまま線形で出力されるが、特殊効果強度が１の場合には、湾曲した特性となっている。したがって、このステップでは、特殊効果強度に応じて、複数ある特性線の中からいずれを使用するか決定する。

コントラスト特性の決定を行うと、次に、コントラスト強調を行う（Ｓ１０６）。このステップでは、画像データ中のＹデータを、決定されたコントラスト特性線を用いて変更する。シーンの変化が少なく、単調な動画の場合には、コントラストが強調される。コントラスト強調を行うと、元のフローに戻る。

以上説明したように、本発明の第２実施形態においても、動画の各画像の相関係数を特徴量として用い、この特徴量を用いて特殊効果に施す強度を調整するようにしている。このため、動画の各フレーム間の類似度が低く、画像に変化が少ない場合には、特殊効果を施した動画となり、変化に富んだ画像となる。また、特徴量が閾値Ｔｈ未満であった継続時間を求め、この継続時間を用いて、特殊効果強度を求めている。このため、単調なシーンが長い場合ほど、特殊効果を強く施すことができる。

なお、本実施形態においては、特殊効果の付加として、彩度調整、ノイズ付加、コントラスト強調の３つを行っていたが、いずれか１つ又は２つでも良く、上述の３種類以外の特殊効果を付加するようにしても勿論かまわない。

以上、説明したように、本発明の各実施形態においては、動画像の特徴量を検出し、この特徴量の時間的な変化特性を演算し、この時間的な変化に基づいて動画像に施す特殊効果処理の特性を調整している。このため、動画の時間的な変化特性に依らず、常に効果的な視覚効果を得ることができる。つまり、動画に時間的な変化が有る場合には、特殊効果を施さないが、動画に変化が少ない場合には、魚眼レンズで撮影したかのように歪率を変化させる等、特殊効果を施している。特殊効果を施すことにより、シーンに変化をつけることができ、動画を楽しむことができる。

なお、本発明の各実施形態においては、現在のフレームの画像と、過去に取得しＳＤＲＡＭ１０６に記憶したフレームの画像を用いて、特徴量等の算出を行った。しかし、現在フレームの画像に代えて、ＳＤＲＡＭ１０６に記憶されている任意のフレームの画像を注目画像とし、その注目画像を基準として、前後のフレームの画像との間で特徴量等の算出を行うようにしても良い。また、平均特徴量の算出を行うにあたって、特定のフレームの画像と連続するそれぞれの所定数のフレームの画像との間で相関演算を行なって平均特徴量を算出してもよいし、特定のフレームの画像と不連続なそれぞれのフレームの画像との間で相関演算を行なって平均特徴量を算出してもよい。

また、本発明の各実施形態においては、特殊効果の付加として、歪率、彩度、ノイズ、コントラストの特性を調整する例について説明したが、これに限らず、例えば、画像の拡大率、ガンマのいずれか１つ以上を調整するようにしても勿論かまわない。

さらに、本発明の各実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵されるカメラでも構わない。

さらに、本発明の各実施形態においては、動画処理装置をデジタルカメラに適用した例を説明したが、本発明は、動画を処理する装置であれば、例えば、画像処理装置、画像編集装置や、パーソナルコンピュータにおける動画再生プログラムの実行等、種々の装置に適用することができる。各実施形態においては、撮影時に動画処理を行ってから記録していたが、通常の動画撮影を行って記録し、この記録された動画の画像データに対して、図６〜図１５を用いて説明を行った動画処理を施すようにしても勿論かまわない。

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１００・・・カメラ本体、１０１・・・メカシャッタ、１０２・・・撮像素子、１０３・・・アナログ処理部、１０４・・・Ａ／Ｄ変換部、１０５・・・バス、１０６・・・ＳＤＲＡＭ、１０７・・・画像処理部、１０７１・・・ＷＢ補正部、１０７２・・・同時化処理部、１０７３・・・色再現処理部、１０７４・・・ＮＲ処理部、１０８・・・ＡＥ処理部、１０９・・・ＡＦ処理部、１１０・・・特徴算出部、１１１・・・特殊効果付加部、１１２・・・画像圧縮展開部、１１３・・・メモリＩ／Ｆ、１１４・・・記録媒体、１１５・・・ＬＣＤドライバ、１１６・・・ＬＣＤ、１１７・・・マイクロコンピュータ、１１８・・・操作部、１１９・・・フラッシュメモリ、９９９・・・Ｉ／Ｆ、１０００・・・交換式レンズ、１０１０・・・撮影レンズ、１０１１・・・フラッシュメモリ、１０１２・・・マイクロコンピュータ、１０１３・・・ドライバ、１０１４・・・絞り

Claims (7)

1. 動画像の特徴量を検出する特徴量検出部と、
   上記特徴量の時間的な変化特性を演算する特徴量変化特性演算部と、
   上記特徴量の時間的な変化に基づいて上記動画像に施す特殊効果処理の特性を調整する特殊効果処理部と、
   を備えたことを特徴とする動画処理装置。
2. 上記特徴量検出部は、上記動画像を構成する注目画像と該動画像を構成する他の画像との類似度を表す特徴量を検出するものであり、
   上記特徴量変化特性演算部は、上記注目画像を含む所定範囲内に含まれる複数画像のそれぞれの画像との類似度を表す上記特徴量に対して平均化処理を行う、
   ことを特徴とする請求項１に記載の動画処理装置。
3. 上記特殊効果処理部は、上記特徴量によって表わされる類似度および上記平均化処理の結果得られた平均値に基づいて、上記特殊効果処理を調整することを特徴とする請求項２に記載の動画処理装置。
4. 上記特徴量検出部は、上記動画像を構成する注目画像と該動画像を構成する他の画像との類似度を表わす特徴量を検出するものであり、
   上記特徴量変化特性検出部は、所定範囲内の特徴量を有する画像が連続する時間を検出する、
   ことを特徴とする請求項１に記載の動画処理装置。
5. 上記特殊効果処理部は、上記特徴量によって表わされる類似度および上記特徴量変化特性検出部によって検出される上記連続時間に基づいて、上記特殊効果処理を調整することを特徴とする請求項４に記載の動画処理装置。
6. 上記特殊効果処理は、上記特徴量の時間的な変化特性に基づいて、画像の拡大率、歪率、ガンマ、彩度、ノイズ量のいずれか１つ以上を調整するものであることを特徴とする請求項３、５に記載の動画処理装置。
7. 特徴量検出部によって動画像の特徴量を検出するステップと、
   特徴量変化特性演算部によって上記特徴量の時間的な変化特性を演算するステップと、
   特殊効果処理部によって上記特徴量の時間的な変化特性に基づいて上記動画像に施す特殊効果処理の特性を調整するステップと、
   を有することを特徴とする動画処理方法。