JP4924727B2 - 画像処理装置及び画像処理プログラム - Google Patents

Description

本発明は、画像処理装置及び画像処理プログラムに関する。

この種の技術として、例えば、特許文献１には、画像内で注目される領域（注目領域）を特定する画素値等を予め記憶し、これを用いることにより、デジタルカメラ等により取得される画像データにより表される画像から注目領域を特定し、特定した注目領域を他の領域より強調する画像処理装置が開示されている。

また、特許文献２には、被写体の顔等の特徴を識別する被写体情報を予め記憶し、これを用いることにより、画像内で被写体が存在する被写体領域を注目領域として特定し、特定した注目領域を他の領域より強調する画像処理装置が開示されている。

特開２００６−０３１６８８号公報 特開２００４−２１３７４号公報

しかしながら、上記特許文献１及び２では、予め記憶された画像内の注目領域を特定する所定の情報を用いて、静止画像内の注目領域を特定しているので、例えば、動画像を構成する静止画像について画像処理を施す場合、動画像において動きがある領域（動く被写体が写っている領域等）が正確に特定されず、動きがある領域とそれ以外の領域とを区別せずに、両者を同じ強度の画像処理（画風を変更する画像処理）を行うことになる。そのため、ユーザは、画風が変更された動画像において動きがある領域が認識しにくくなる。

本発明は、このような点に鑑みてなされたものであり、ユーザが、異なる画風に変更された動画像において動きがある領域を認識しやすい、画像処理装置及び画像処理プログラムを提供することを目的とする。

本発明の第１の観点に係る画像処理装置は、
静止画像に動く被写体像を重畳させた合成画像を表す動画像データを取得する動画像データ取得手段と、
前記動画像データ取得手段が取得した前記動画像データにより表される前記合成画像において前記動く被写体像の領域を注目領域として特定する注目領域特定手段と、
前記合成画像に対して画風を絵画調に変更する画像処理を、前記注目領域特定手段が特定した前記合成画像内の前記注目領域と他の領域とで異なる内容で行う画像処理手段と、
を備える。

本発明の第２の観点に係る画像処理プログラムは、
コンピュータに、
静止画像に動く被写体像を重畳させた合成画像を表す動画像データを取得する動画像データ取得工程と、
前記動画像データ取得工程で取得した前記動画像データにより表される前記合成画像において前記動く被写体像の領域を注目領域として特定する注目領域特定工程と、
前記合成画像に対して画風を絵画調に変更する画像処理を、前記注目領域特定工程で特定した前記合成画像内の前記注目領域と他の領域とで異なる内容で行う画像処理工程と、
を行わせる。

本発明によれば、ユーザは、異なる画風に変更された動画像において動きがある領域を認識しやすくなる。

本発明の実施形態に係る画像処理装置の機能を示したブロック図である。 本発明の実施形態に係る画像処理装置のハードウェア構成を示したブロック図である。 本発明の実施形態に係る画像処理装置が行う画像処理を示したフローチャートである。 所定の大きさに区分けした画像処理対象の静止画像（ａ）と、その前の静止画像（ｂ）とを示した図である。 所定の大きさに区分けしたブロック毎に対応付ける、注目領域又は他の領域を表す情報のイメージを示した図である。 画像処理対象の静止画像（ａ）と、その前に取得された静止画像（ｂ）とを示した図である。 注目領域と他の領域とで異なる内容によって画像処理を行ったイメージを示した図である。

本発明に係る実施形態を、図面を参照して以下に説明する。本実施形態では、本発明に係る画像処理装置１を、デジタルカメラによって実現した形態を説明する。画像処理装置１は、撮影モードとして一般的な静止画撮影モード及び動画撮影モードの他、絵画像モードを有する。

絵画像モードは、ユーザにより、メニュー画面から絵画像モードを選択する操作が行われた時点から、予め設定されたフレームレートにより、画像を表すフレームデータ（以下、元画像データという）を順次取得し、取得した元画像データにより表される画像（元画像データは所定の画像データに適宜変更される。）を絵画調に変換する画像処理を行って絵画像データを生成し、これにより表される絵画像を表示画面にライブビュー表示する形態である。絵画調の画像（絵画像）とは、元の写真画像とは趣（画風）の異なる、油絵風、ちぎり絵風、水墨画風等の画像をいう。

はじめに、図１を用いて画像処理装置１の構成を説明する。画像処理装置１は、制御部１０と、記憶部２０と、撮像部３０と、入力部４０と、表示部５０と、読出書込部６０と、を備える。

制御部１０は、画像処理装置１の各部の制御を行い、画像処理装置１全体の制御を行う。また、制御部１０は、動画像データ取得部１０ａ、注目領域特定部１０ｂ、画像処理部１０ｃを備え、これらは、動画像データにより表される動画像において動きがある領域（注目領域）を特定し、特定した注目領域を他の領域とは異なる内容で画像処理を行う。ここで、動画像とは、複数の連続する静止画像により構成される画像をいう。

記憶部２０は、制御部１０の制御のもと、制御部１０が処理中に生成した各種データ、及び、読出書込部６０が記録媒体１００から読み出した記録画像データ等を適宜記憶する。

撮像部３０は、制御部１０の制御のもと、所定のフレームレートにより画像を撮像する。撮像部３０は、撮影した画像を表す撮像信号を生成し、生成した撮像信号をもとに、デジタルの元画像データ（１フレーム分の静止画像データ）を生成する。撮像部３０は、生成した元画像データを制御部１０に供給する。

入力部４０は、ユーザの操作入力を受け付ける操作部であり、受け付けた操作入力の内容に対応する操作入力データを制御部１０に供給する。

表示部５０は、制御部１０の制御のもと、撮像部３０が撮影した画像、操作画面、及び、読出書込部６０が記録媒体１００から読み出した記録画像データによって表現される記録画像を表示する。

読出書込部６０は、制御部１０の制御のもと、記録媒体１００に記録された記録画像データを読み出し、制御部１０に供給する。また、読出書込部６０は、制御部１０の制御のもと、画像データを記録媒体１００に書き込む（記録する）。

記録媒体１００は、動画像データ又は静止画像データを記録画像データとして記憶する。

次に、図２を用いて画像処理装置１のハードウェアの構成を説明する。画像処理装置１は、ＣＰＵ（Central Processing Unit）１１と、一次記憶装置１２と、二次記憶装置２１と、撮影装置３１と、入力装置４１と、駆動回路５１と、表示パネル５２と、読出書込装置６１と、を備える。

図１の制御部１０は、ＣＰＵ１１と一次記憶装置１２とによって実現される。ＣＰＵ１１は、二次記憶装置２１から一次記憶装置１２にロードされた画像処理プログラム２１ａに従って、画像処理装置１全体を制御し、また、特に、図１の制御部１０が備える、動画像データ取得部１０ａ、注目領域特定部１０ｂ、画像処理部１０ｃが行う処理を実際に行う。制御部１０は、その他、ＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）等を含んでも良い。この場合、ＡＳＩＣ等が、ＣＰＵ１１が行う処理の少なくとも一部を行う。

一次記憶装置１２は、ＲＡＭ（Random Access Memory）等によって実現される。一次記憶装置１２は、ＣＰＵ１１のワーキングメモリ等として機能し、ＣＰＵ１１が他の構成要素（例えば、撮影装置３１等）から受け取るデータ、及び、ＣＰＵ１１が他の構成要素（例えば、駆動回路５１等）に供給するデータは、一旦、一次記憶装置１２の記憶領域に記録される。ＣＰＵ１１は、一次記憶装置１２に記録されたデータを読み出し、読み出したデータを用いて演算（処理）を行い、演算結果（処理結果）のデータを随時一次記憶装置１２に記録する。

図１の記憶部２０は、二次記憶装置２１によって実現される。二次記憶装置２１は、フラッシュメモリ又はハードディスク等によって構成される。また、二次記憶装置２１は、画像処理プログラム２１ａを記憶している。ＣＰＵ１１は、二次記憶装置２１が記憶している画像処理プログラム２１ａを一次記憶装置１２にロードし、一次記憶装置１２にロードした画像処理プログラム２１ａの指令に基づいて処理を行う。

図１の撮像部３０は、撮影装置３１によって実現される。撮影装置３１は、ＣＣＤ（Charge Coupled Device）イメージセンサー又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサー等の撮像素子、ＡＦＥ（Analog Front End）、ＤＳＰ（Digital Signal Processor）等を備えるカメラ等によって構成される。

撮影装置３１は、撮影した画像を表す撮像信号を撮像素子によって生成し、生成した撮像信号に各種処理（ＡＦＥ、ＤＳＰ等によって行われる処理）を施して、デジタルの元画像データを生成する。なお、各種処理には、例えば、相関二重サンプリング（Correlated Double Sampling）の処理と、サンプリング後の撮像信号に施す自動利得調整（Automatic Gain Control）の処理と、自動利得調整後のアナログの撮像信号をデジタル信号に変換するアナログ・デジタル変換の処理と、輪郭強調、オートホワイトバランス、オートアイリス等の画質を向上させる処理とがある。

元画像データは、撮像素子によって撮像された１フレーム分（１つの撮像画像分）の静止画像を表すデータである。撮影装置３１は、元画像データを生成する毎に、一次記憶装置１２に供給する。一次記憶装置１２は、撮影装置３１から受け取った元画像データを記憶する。ＣＰＵ１１は、一次記憶装置１２が記憶する元画像データを用いて、後述の処理を行う。

図１の入力部４０は、入力装置４１によって実現される。入力装置４１は、撮影キー、再生キー、停止キー、メニューキー、画像変換モード選択キー、セットキー、電源キー等の複数の操作キーを含む、ユーザにより操作が行われるインターフェース装置である。ユーザがこれらのキーを操作すると、入力装置４１は、各キーに応じた操作入力データを一次記憶装置１２に供給する。一次記憶装置１２は、入力装置４１から供給される操作入力データを受け取り、受け取った操作入力データを記憶する。ＣＰＵ１１は、一次記憶装置１２が記憶する操作入力データに従って、後述の処理を行う。

図１の表示部５０は、駆動回路５１と、表示パネル５２とによって実現される。ＣＰＵ１１は、各種画像データを用いて、表示用のデータ（例えば、ＲＧＢ（ＲＥＤ−ＧＲＥＥＮ−ＢＬＵＥ）データ）を生成し、生成した表示用のデータを駆動回路５１に供給する。駆動回路５１は、受け取った表示用のデータに基づいて表示パネル５２を駆動し、各種画像データによって表される各種画像を表示パネル５２に表示させる。

表示パネル５２は、例えば、液晶表示パネル又は有機ＥＬ（Organic Electro-Luminescence：OEL）表示パネル等によって構成される。表示パネル５２には、駆動回路５１によって各種画像が表示される。

なお、図１の入力部４０と表示部５０とを、タッチパネルによって実現してもよい。この場合、入力装置４１及び表示パネル５２は、タッチパネルによって構成される。タッチパネルは、所定の操作を受け付ける入力画面を表示すると共に、入力画面においてユーザが接触操作を行った位置に対応する操作入力データを一次記憶装置１２に供給する。一次記憶装置１２は、タッチパネルから供給される操作入力データを受け取り、受け取った操作入力データを記憶する。ＣＰＵ１１は、一次記憶装置１２が記憶する操作入力データに従って、後述の処理を行う。

図１の読出書込部６０は、読出書込装置６１によって実現される。読出書込装置６１は、データの読み出しや書き込みを行うインターフェース装置である。読出書込装置６１は、記録媒体１００に記録された記録画像データ（静止画像データ又は動画像データ）を読み出し、読み出した記録画像データを一次記憶装置１２に供給する。一次記憶装置１２は、読出書込装置６１から供給される記録画像データを受け取り、受け取った記録画像データを記憶する。ＣＰＵ１１は、一次記憶装置１２が記憶する記録画像データを用いて後述の処理を行う。

記録媒体１００は、フラッシュメモリタイプのメモリーカード１０１等によって実現される。メモリーカード１０１としては、記録画像データを記録するＳＤメモリーカード等がある。

次に、図３を用いて、画像処理装置１が行う画像処理を説明する。

ユーザは、電源投入後に表示部５０に表示されるメニュー画面から絵画像モードを選択する操作を、入力部４０を用いて行う。また、この時、ユーザは、水彩画、カラースケッチ、パステル画、点描画、エアブラシ、油彩画、ゴシック様式の油絵等、絵画調の種類を選択する操作も行う。入力部４０は、絵画像モード及び絵画調の種類の選択操作の入力に応じた操作入力データを制御部１０に供給する。

制御部１０は、当該操作入力データを入力部４０から受け取ることにより画像処理を開始する（図３の画像処理開始）。

この画像処理では、動画像データ取得部１０ａは、予め設定されたフレームレートにより、撮像部３０の駆動制御を行って撮像部３０に画像を撮像させる。動画像データ取得部１０ａは、撮像部３０により生成される元画像データをフレーム毎に順次取得し、取得した順に所定の記憶領域（例えば、図２に示す一時記憶装置１２）に保持（一時記録）する。輪郭強調、オートホワイトバランス、オートアイリス等の画質を向上させる処理は、制御部１０（動画像データ取得部１０ａ）が行っても良い。この場合、制御部１０（動画像データ取得部１０ａ）が前記の処理を撮像部３０から取得するデータを用いて行うことによって、元画像データを生成（取得）する。

注目領域特定部１０ｂは、動画像データ取得部１０ａが１フレーム分の元画像データを取得する毎に、当該元画像データにより表される静止画像内の注目領域を特定する処理を行う。注目領域特定部１０ｂは、ｎ＝１を設定する（ステップＳ１０１）。ｎは、動画像データ取得部１０ａがフレーム毎に取得した元画像データの順番を示す。その後、注目領域特定部１０ｂは、ｎ＝ｎ＋１とする（ステップＳ１０２）。つまり、ここで画像処理の対象となるのはｎ番目（２番目）の元画像データである。

注目領域特定部１０ｂは、ｎ及びｎ−１番目の元画像データを取得する（ステップＳ１０３）。つまり、注目領域特定部１０ｂは、動画像データ取得部１０ａがｎ番目（２番目）に取得した元画像データとｎ−１番目（１番目）に取得した元画像データとを所定の記憶領域（図２の一時記憶装置１２）から取得する。

注目領域特定部１０ｂは、画像処理の対象となるｎ番目（２番目）の元画像データと、その前に取得したｎ−１番目（１番目）の元画像データとを用いて、これらのデータにより表される各静止画像を、図４に示すように所定の大きさのブロックに区分けする（ステップＳ１０４）。例えば、注目領域特定部１０ｂは、１ブロックを８×８画素として、各静止画像をブロック毎に区分けする。なお、これ以降の処理では、元画像データは、所定の処理し易いデータ形式に適宜変更されるものとする。

区分けされた各ブロックは、ブロックを一意に識別できる識別情報（例えば、ブロック番号）によって特定される。例えば、画像の左上隅のブロックのブロック番号を“１”とし、当該ブロックから右方向に、右上隅のブロックに向かってブロック毎にブロック番号を付していき、さらに、右上隅のブロックにブロック番号“ｍ”を付した後は、画像の左上隅のブロックの１つ下にあるブロックにブロック番号“ｍ＋１”を付していく。このように、各静止画像において区分けされた各ブロックはブロック番号によって特定される。なお、区分けされるブロックの大きさは、適宜設定でき、均等に区分けされなくても良い。また、区分けされるブロックの大きさは、処理中においては不変である。

注目領域特定部１０ｂは、各静止画像の互いに対応するブロック毎に比較を行って、画像処理の対象であるｎ番目（２番目）の元画像データの動きベクトルをブロック毎に取得する（ステップＳ１０５）。つまり、注目領域特定部１０ｂは、画像処理対象であるｎ番目（２番目）の元画像データと、その前に取得したｎ−１番目（１番目）の元画像データとを用いて、ｎ番目（２番目）の元画像データにより表される静止画像（図４（ａ））と、ｎ−１番目（１番目）の元画像データにより表される静止画像（図４（ｂ））との比較を行って、ｎ−１番目（１番目）の元画像データにより表される元画像からｎ番目（２番目）の元画像データにより表される元画像にかけての移動距離及び移動方向を表す動きベクトルをブロック毎に取得する。

注目領域特定部１０ｂは、ｎ番目（２番目）の元画像データのブロック毎に取得した動きベクトルが、予め設定された動きベクトル閾値以上である（又は閾値を超える）ブロックを特定する（ステップＳ１０６）。この特定したブロックは、各静止画像間の被写体の移動距離等が一定基準を満たし、動きがある領域（動く被写体が写っている領域等）であるものとして扱われる。

具体的に、注目領域特定部１０ｂは、ブロック毎に取得した動きベクトルが動きベクトル閾値以上であるか（または閾値を超えるか）をブロック毎に判別する。ブロックの動きベクトルが動きベクトル閾値以上である（または閾値を超えた）場合、注目領域特定部１０ｂは、当該ブロックは動きがある領域（注目領域）であると判別し、例えば、図５に示すように、ｎ番目の元画像について、当該ブロック（ブロック番号）に、注目領域（動きのある領域）であることを表す情報“１”を対応付ける。一方、ブロックの動きベクトルが動きベクトル閾値未満である（または閾値以下である）場合、注目領域特定部１０ｂは、当該ブロックは動きがない領域（注目領域以外の領域）であると判別し、当該ブロックに、注目領域以外の領域（動きがない領域）であることを表す情報“０”を対応付ける。これにより、注目領域特定部１０ｂは、ｎ番目（２番目）の元画像データにより表される静止画像において動く被写体２００を含むブロック２１０の集合を特定することができる。

その後、画像処理部１０ｃは、絵画像モード選択時にユーザが入力部４０を用いて選択した絵画調の種類に従って、ｎ番目（２番目）の元画像データを絵画調に変換する画像処理を行う。例えば、ユーザにより水彩画が選択されている場合、画像処理部１０ｃは、ｎ番目（２番目）の元画像データが有する種々のパラメータを変更して水彩画風の絵画像を表す絵画像データを生成する。ここでパラメータは、画像を絵画調に変更する画像処理を行うときの画像処理の処理強度を規定する数値である。また、パラメータには、明るさ、コントラスト、色の濃さ、色合い、シャープネス等を表す各種パラメータがある。また、パラメータは、絵画調の種類（画像処理の種類）によって、それぞれ規定されている。なお、この絵画調に変換する画像処理としては、例えば、フォトショップ（登録商標）で使用される各種フィルタ等での処理がある。

画像処理部１０ｃは、注目領域特定部１０ｂが注目領域として特定したブロックと他の領域（ブロック）とを、異なる処理強度によって、画像処理を行う（ステップＳ１０７）。画像処理の処理強度は、種々のパラメータの数値を上下して調節する。具体的に、画像処理部１０ｃは、例えば、注目領域の画像部分に行う画像処理の処理強度を高くし、注目領域以外の領域の画像部分に行う画像処理の処理強度を低くする。つまり、画像処理部１０ｃは、注目領域であることを表す情報“１”に対応付けられたブロックの画像部分を、予め設定された各種パラメータの数値（基準値）を上げて画像処理を行う。これにより、当該画像部分は、詳細に描画されて絵画調のタッチが細かく表される。一方、画像処理部１０ｃは、例えば、注目領域以外の領域であることを表す情報“０”に対応付けられたブロックの画像部分を、予め設定された各種パラメータの数値（基準値）を下げて画像処理を行う。これにより、当該画像部分は、大まかに描画されて絵画調のタッチが荒く表される。

このように、本実施形態では、各種のパラメータの数値が上がれば、画像処理の処理強度が大きくなり、これによって、絵画調のタッチが細かくなる。また、各種のパラメータの数値が下がれば、画像処理の処理強度が小さくなり、これによって、絵画調のタッチが荒くなる。なお、処理強度の大小、パラメータの数値、タッチの荒い細かいの関係は、これに限らない。また、これらの関係は、絵画調の種類によって異なり、予め設定されているものとする。ここでは、画像処理部１０ｃは、処理強度を変化させ、注目領域を細かいタッチで表し、その他の領域を注目領域よりも荒いタッチで表すような画像処理を行う。なお、画像処理部１０ｃは、このような例に限らず、処理強度を変化させ、注目領域とその他の領域とで、元画像から変換の度合いが異なるような画像処理を行う。

画像処理部１０ｃは、上記画像処理を全てのブロックを対象にして行うことにより、ｎ番目（２番目）の元画像データを基に絵画像データを生成する。画像処理部１０ｃは、生成された絵画像データを、所定の記憶領域（図２の一時記憶装置１２等）に記録すると共に表示用のデータに変換して表示部５０に供給する。画像処理部１０ｃの制御のもと、表示部５０（図２の表示パネル５２）には、受け取った絵画像データにより表される絵画像が表示される。

その後、制御部１０が絵画像モードの撮影を終了したことを判定する（ステップＳ１０８；Ｙｅｓ）まで、動画像データ取得部１０ａ、注目領域特定部１０ｂ、画像処理部１０ｃは、上記と同様の処理（ステップＳ１０２乃至Ｓ１０７）を繰り返し行い、動画像データ取得部１０ａが撮像部３０から１フレーム分の元画像データを順次取得する毎に、当該元画像データを基に１フレーム分の絵画像データを生成する処理を行う。

また、画像処理部１０ｃは、１フレーム分の絵画像データを生成する毎に、記憶領域（図２の一時記憶装置１２）に記録すると共にこのデータを表示用のデータに変換して表示部５０に供給する。これにより、表示部５０（図２の表示パネル５２）には、表示用のデータにより表される絵画像がライブビュー表示される。

また、表示部５０（図２の表示パネル５２）にライブビュー表示されている絵画像をユーザが確認し、ユーザが撮影開始キーを操作することにより、画像処理部１０ｃは、撮影開始を判断し、その操作時から順次フレーム毎に取得する絵画像データを記憶領域（図２の一時記憶装置１２）に記録していき、ユーザが撮影終了キーを操作することにより、画像処理部１０ｃは、操作時から記録された複数の連続する絵画像データにより構成される動画像データを、二次記憶装置２１やメモリーカード１０１等に記録することができる。なお、ユーザが撮影開始キーと撮影終了キーの操作を行った時、動画像データ取得部１０ａが所定の記憶領域（図２の一次記憶装置１２）に記録した複数の連続する元画像データにより構成される動画像データを記録することもできる。

なお、動画像データ取得部１０ａが最初（１番目）に取得する元画像データについては、当該元画像データと比較できる画像データが存在しないため、本実施形態では、所定の画像処理を行うものとする。例えば、最初（１番目）に取得した元画像データについては、予め設定した画像内の中央領域を基に、当該元画像データにより表される静止画像内の中央領域とそれ以外の領域とに分け、中央領域に相当する画像部分を詳細に描画する画像処理を行い、それ以外の領域に相当する画像部分を大まかに描画する画像処理を行う。つまり、画像処理部１０ｃは、静止画像内の中央領域に相当する画像部分の画像処理を、パラメータの数値を上げることにより、画像処理の処理強度を大きくして、絵画調のタッチを細かく表す。一方、画像処理部１０ｃは、静止画像内の中央領域に相当する画像部分の画像処理を、パラメータの数値を下げることにより、画像処理の処理強度を小さくして、絵画調のタッチを荒く表す。

本実施形態に係る画像処理装置１によれば、動画像データ（ここでは、連続して取得される元画像データの集合）により表される複数の静止画像のうち、例えば、画像処理対象の静止画像（例えば、図６（ａ））と、その前に取得された静止画像（例えば、図６（ｂ））とを用いて、各静止画像間において動きがある領域を注目領域として特定し、静止画像の画風を変更する画像処理を、図７に示すように、特定した静止画像内の注目領域７０と他の領域７１とで異なる内容によって行う。これにより、ユーザは、絵画調に変換された動画像において動きがある領域を認識しやすい。また、異なる内容の画像処理によって、ユーザは、動きのある領域の特徴を認識し易い。

また、本実施形態に係る画像処理装置１によれば、注目領域特定部１０ｂは、各静止画像間の変化を表す被写体の移動距離等が一定基準を満たす領域を注目領域として特定するので、各静止画像間において被写体の移動距離等が一定基準を満たした領域（つまり、動きが大きい領域）のみを、注目領域として特定することができる。

また、本実施形態に係る画像処理装置１によれば、注目領域特定部１０ｂは、動画像データにより表される動画像を構成する複数の静止画像それぞれについて、静止画像を所定の大きさのブロックに区分けし、区分けしたブロック毎に、各静止画像の互いに対応するブロックの静止画像間の変化が一定基準を満たす領域（ブロック）を、注目領域として特定するので、注目領域とそれ以外の領域とをブロック単位で区別することができる。

なお、本実施形態においては、説明の便宜上、ステップＳ１０２乃至Ｓ１０７の一通りの処理を行った後、次の元画像データを画像処理対象としているが、各ステップが進む毎に、順次、次の元画像データの画像処理を行っても良い。

また、画像処理装置１が画像処理を行う動画像データは、１フレーム分の静止画像を表す静止画像データを複数組み合わせたもの（上記参照）、ＭＰＥＧ（Moving Picture Experts Group）等の映像圧縮方式により１フレーム分の基準画像（通常複数）を表す基準画像データと基準画像との差分を表す複数の差分データとを組み合わせたもの等が含まれる。

例えば、上記実施形態において、画像処理装置１は、絵画像モードの撮影を行って、順次生成される絵画像データにより表される絵画像をライブビュー表示する例を説明したが、記憶部２０や記録媒体１００等に記憶された動画像データを用いて、上記実施形態と同様の画像処理（図３のステップＳ１０１乃至Ｓ１０７）を行うこともできる。この場合において、画像処理装置１（注目領域特定部１０ｂ）は、最初（１番目）の元画像データを、次（２番目）の元画像データと比較し、最初（１番目）の元画像データにより表される静止画像において所定基準以上の動きがある領域を、注目領域として特定する。これにより、最初（１番目）の元画像データにより表される静止画像の注目領域の画像部分とそれ以外の領域の画像部分とで異なる内容の画像処理を行う。なお、この場合の元画像データは、ＪＰＥＧ（Joint Photographic Experts Group）等のデータ形式であってもよい。この場合は、元画像データは上記処理において適宜処理し易いデータ形式に変換されるものとする。

また、記憶部２０や記録媒体１００等に記憶された動画像データが、ＭＰＥＧ（Moving Picture Experts Group）等のデータ圧縮方式によるものである場合、このデータを用いて、動画像データが表す動画像を構成する各静止画像をデータ上で再現し、上記の処理を各静止画像について行う。

また、その他の実施形態として、画像処理装置１は、動画像データにより表される動画像において、人間や動物の顔の像を検出し、動きがある顔の像の領域を注目領域として特定することもできる。

具体的に、画像処理装置１において、動画像データ取得部１０ａは、動画像データを取得する。注目領域特定部１０ｂは、所定の顔の特徴を表すテンプレート顔画像を用いて、最初（１番目）の元画像データにより表される静止画像において、例えば、１画素ずつ左右方向または上下方向にずらしながら、テンプレート顔画像と同じ領域の画像との比較を行っていく。注目領域特定部１０ｂは、テンプレート顔画像と最も一致する画像（類似度が高い画像）を探索することにより、被写体の顔の像を検出する。この探索は、例えば、顔であるか否かを識別するのに有効な特徴量を抽出することによって行う。特徴量は、水平エッジ、垂直エッジ、右斜めエッジ、及び、左斜めエッジ等である。なお、この時、テンプレート顔画像を一定割合で縮小又は拡大し、縮小又は拡大後のテンプレート顔画像と最も一致する画像を探索することにより被写体の顔の像を検出しても良い。

その後（２番目以降の元画像データ）の画像処理は、追跡処理により行う。つまり、１番目の画像から検出された被写体の顔の像をテンプレート画像として用いて、順次取得する元画像データにより表される画像と上記と同様のマッチング処理を行うことにより、順次、被写体の顔の像を検出することができる。

そして、注目領域特定部１０ｂは、画像処理の対象となる元画像データにより表される静止画像と、その前に取得した元画像データにより表される静止画像とを用いて、各静止画像において被写体の顔の像を検出し、各静止画像間において、所定基準以上の動きがある顔の像の領域（静止画像内で、顔の像が所定基準以上の距離を移動している領域）を、注目領域として特定する。これに基づいて、上記実施形態と同様、画像処理部１０ｃが静止画像の画風を変更する画像処理を、特定した静止画像内の注目領域と他の領域とで異なる内容で行うことにより、ユーザは、絵画調に変換された動画像において動きがある顔の像の領域を認識しやすい。

特に、この手法によれば、所定の範囲で分割したブロック単位で注目領域を特定した上記実施形態とは異なり、各静止画像内の顔の像の領域を注目領域として特定することができ、より絵画調に変換された動画像において動きがある顔自体、又は、顔の輪郭等が認識しやすくなる。顔は、ユーザに注目されやすく、絵画調に変換された動画像においてユーザの注目しやすい領域である顔を目立たせることができる。

また、その他の実施形態として、画像処理装置１は、動画像データにより表される動画像として、合成画像を用いても良い。合成画像は、例えば、背景画像に前景画像を重畳させた画像であり、同じ背景画像内で前景画像のみが動いていく動画像をいう。この動画像データは、例えば、背景画像を表す静止画像データと、動く被写体像（前景画像）を表す静止画像データと、前景画像が背景画像で動く軌跡を表すデータと、を含む合成画像データ（ブレンディング画像データ）である。この場合、合成画像は、同じ背景画像内で前景画像が軌跡に従って動く、静止画像の連続となる。

注目領域特定部１０ｂは、連続する静止画像の各静止画像間において、軌跡に従って動く前景画像が所定基準以上の動きがある前景画像の領域を注目領域として特定し、画像処理部１０ｃは、注目領域特定部１０ｂによって特定された注目領域と他の領域とを処理強度を異ならせて画像処理を行う。

特に、この手法によれば、所定の範囲で分割したブロック単位で注目領域を特定した上記実施形態とは異なり、各静止画像内の被写体像の領域を注目領域として特定することができ、より絵画調に変換された動画像において動きがある被写体像自体が認識しやすくなる。なお、合成画像データは、例えば、同じ背景画像内で前景画像のみが動いていく、複数の連続する合成画像を表すデータであってもよい。この場合には、この合成画像データによって表される合成画像は、上記実施形態と同様の処理によって、注目領域を特定し、特定した注目領域とそれ以外の領域とを区別して画像処理を行う。

また、その他の実施形態として、画像処理装置１は、注目領域毎に、注目の度合いを表す値（注目度）をさらに特定しても良い。具体的に、注目領域特定部１０ｂは、各静止画像間の注目領域の変化の大きさ、又は、静止画像内において注目領域が占める割合等について、一定の範囲毎に注目度（例えば注目度１〜５）を対応付けて記憶部２０に記録された対応表を参照し、注目領域特定部１０ｂが特定した注目領域の変化の大きさ、又は、静止画像内において注目領域が占める割合等に基づいて、注目領域毎に、注目領域の注目度を特定する。例えば、各静止画像間の注目領域の変化（例えば、被写体の移動距離等）が大きいほど、その注目領域の注目度は高くなる。また、静止画像内の注目領域が占める割合が大きいほど、その注目領域の注目度は高くなる。

画像処理部１０ｃは、注目領域特定部１０ｂが注目領域毎に特定した、注目領域の注目度に応じて、画像処理の処理強度を変化させる。画像処理の処理強度は、上記実施形態と同様、種々のパラメータの数値を上下して調節する。具体的に、画像処理部１０ｃは、注目領域の注目度が高いほど、予め設定された各種パラメータの数値（基準値）を上げて画像処理を行う。これにより、注目領域特定部１０ｂが特定した注目領域の注目度に応じて、画像処理部１０ｃは、静止画像それぞれに対して画風を変更する画像処理で異なる内容によって行うことができる。

その他、画像処理部１０ｃが行う、静止画像の画風を変更する画像処理について、本実施形態では、異なる処理強度（画像処理の内容）により画像処理を行っているが、それ以外の形態として、異なる画風（水彩画、カラースケッチ、パステル画、点描画、エアブラシ、油彩画、ゴシック様式の油絵等）により画像処理を行っても良い。例えば、画像処理部１０ｃは、注目領域特定部１０ｂにより特定された注目領域の画像部分を水彩画、それ以外の領域の画像部分を点描画として画像処理を行っても良い。このようにして、画像処理部１０ｃが、注目領域と他の領域とに対して異なる種別（画像処理の内容）の画像処理を行うことによって、ユーザは、絵画調に変換された動画像において動きがある領域を認識しやすいだけでなく、ユーザに新たな印象を与えることができる。

また、上記実施形態においては、画像処理装置の一例として、デジタルカメラを挙げたが、その他、デジタルフォトフレームやパーソナルコンピュータ、携帯電話等、画像処理機能を有する各種装置で実現することができる（特に記憶部２０や記録媒体１００等に記憶された動画像データを用いる場合。）。

なお、上記実施形態の画像処理プログラムは、持ち運び可能な記録媒体等に記録されてもよい。持ち運び可能な記録媒体には、例えば、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）又はＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）等がある。また、画像処理プログラムは、持ち運び可能な記録媒体から各種の読取装置を介して画像処理装置にインストールされても良い。さらに、画像処理プログラムは、インターネット等のネットワークから図示しない通信部を介して画像処理装置にダウンロード及びインストールされても良い。また、画像処理プログラムは、画像処理装置と通信可能なサーバ等の記憶装置に格納されて、ＣＰＵ等への指令を行っても良い。画像処理プログラムを記憶した読み取り可能な記録媒体（例えば、ＲＡＭ、ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＤＶＤ−Ｒ、ハードディスク、又は、フラッシュメモリ）は、コンピュータが読み取り可能なプログラム製品となる。

１・・・画像処理装置、１０・・・制御部、１０ａ・・・動画像データ取得部、１０ｂ・・・注目領域特定部、１０ｃ・・・画像処理部、１１・・・ＣＰＵ、１２・・・一次記憶装置、２０・・・記憶部、２０ａ・・・プログラム記憶部、２１・・・二次記憶装置、２１ａ・・・画像処理プログラム、３０・・・撮像部、３１・・・撮影装置、４０・・・入力部、４１・・・入力装置、５０・・・表示部、５１・・・駆動回路、５２・・・表示パネル、６０・・・読出書込部、６１・・・読出書込装置、７０・・・注目領域、７１・・・他の領域（注目領域以外の領域）、１００・・・記録媒体、１０１・・・メモリーカード、２００・・・動く被写体、２１０・・・ブロック

Claims (5)

1. 静止画像に動く被写体像を重畳させた合成画像を表す動画像データを取得する動画像データ取得手段と、
   前記動画像データ取得手段が取得した前記動画像データにより表される前記合成画像において前記動く被写体像の領域を注目領域として特定する注目領域特定手段と、
   前記合成画像に対して画風を絵画調に変更する画像処理を、前記注目領域特定手段が特定した前記合成画像内の前記注目領域と他の領域とで異なる内容で行う画像処理手段と、
   を備える画像処理装置。
2. 前記画像処理手段は、前記注目領域特定手段が特定した前記合成画像内の前記注目領域と前記他の領域とに対して異なる処理強度の前記画像処理を行う、ことを特徴とする請求項１に記載の画像処理装置。
3. 前記画像処理手段は、前記注目領域特定手段が特定した前記合成画像内の前記注目領域と前記他の領域とに対して異なる種別の前記画像処理を行う、ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記注目領域特定手段は、前記合成画像内の前記注目領域として特定された前記動く被写体像の領域の動きの大きさ、又は、前記合成画像内の前記注目領域が占める割合に応じて変化する値を前記注目領域毎にさらに特定し、
   前記画像処理手段は、前記注目領域特定手段が特定した前記値に応じて、前記画像処理の内容を変化させる、
   ことを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
5. コンピュータに、
   静止画像に動く被写体像を重畳させた合成画像を表す動画像データを取得する動画像データ取得工程と、
   前記動画像データ取得工程で取得した前記動画像データにより表される前記合成画像において前記動く被写体像の領域を注目領域として特定する注目領域特定工程と、
   前記合成画像に対して画風を絵画調に変更する画像処理を、前記注目領域特定工程で特定した前記合成画像内の前記注目領域と他の領域とで異なる内容で行う画像処理工程と、
   を行わせる画像処理プログラム。

Images