JP2010103876A - 画像処理装置、画像処理方法およびプログラム - Google Patents

画像処理装置、画像処理方法およびプログラム Download PDF

Info

Publication number
JP2010103876A
JP2010103876A JP2008275141A JP2008275141A JP2010103876A JP 2010103876 A JP2010103876 A JP 2010103876A JP 2008275141 A JP2008275141 A JP 2008275141A JP 2008275141 A JP2008275141 A JP 2008275141A JP 2010103876 A JP2010103876 A JP 2010103876A
Authority
JP
Japan
Prior art keywords
image
frame
calculated
unit
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008275141A
Other languages
English (en)
Other versions
JP4623199B2 (ja
Inventor
Shingo Tsurumi
辰吾 鶴見
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2008275141A priority Critical patent/JP4623199B2/ja
Priority to US12/565,230 priority patent/US8368815B2/en
Priority to BRPI0906263-7A priority patent/BRPI0906263A2/pt
Priority to RU2009139437/08A priority patent/RU2423736C1/ru
Priority to CN2009102068987A priority patent/CN101729792B/zh
Priority to EP09174205A priority patent/EP2180481A1/en
Publication of JP2010103876A publication Critical patent/JP2010103876A/ja
Application granted granted Critical
Publication of JP4623199B2 publication Critical patent/JP4623199B2/ja
Priority to US13/605,384 priority patent/US9153289B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/322—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier used signal is digitally coded

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Social Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Abstract

【課題】動画に関する興味を高める合成画像を選択する。
【解決手段】カメラワーク検出部１２０は、撮像動画を構成する２つの画像間に関する動き情報を算出する。区間選択部１６０は、算出された動き情報の確からしさを示す信頼度に基づいて、合成対象画像を選択するための画像合成対象区間を選択する。合成対象画像選択部１７０は、画像合成対象区間に含まれる各画像の相対的な位置関係に基づいて、画像合成対象区間に含まれる複数の画像のうちから、合成対象画像を選択する。合成対象画像選択部１７０は、例えば、既に選択された合成対象画像を基準画像とし、画像合成対象区間に含まれる他の対象画像と基準画像とのそれぞれを動き情報により変換し、変換後の対象画像と基準画像との重複率に基づいて新たな合成対象画像を選択する。
【選択図】図１

Description

本発明は、画像処理装置に関し、特に、画像を解析して画像処理を行う画像処理装置および画像処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
近年、デジタルビデオカメラ（例えば、カメラ一体型レコーダー）等の撮像装置が普及している。このため、例えば、各地の観光地を旅行にしている場合に、有名な建物や風景等を背景にした人物等について撮像装置により動画撮影を行うことが広く行われている。
このように撮影された動画については、例えば、家庭内において、再生装置を用いて再生することができる。しかしながら、再生装置を用いて再生する場合において、例えば、動画全体を最初から再生すると、再生時間が長くなってしまい、動画に対する興味が低減してしまうおそれがある。また、複数の観光地において撮影された複数の動画を再生すると、再生時間がさらに長くなってしまい、全ての動画を観賞するという興味が低減してしまうおそれがある。また、動画の鑑賞に要する時間が比較的長いため、一度再生して鑑賞した動画については、その鑑賞により満足してしまい、繰り返し鑑賞する機会が少ないことが多い。
そこで、例えば、フィルムロール画像を表示部に表示する再生装置が提案されている（例えば、特許文献１参照。）。このフィルムロール画像は、例えば、動画を構成する各シーンを代表する静止画のサムネイル画像が、それぞれに対応するシーンの再生時刻順に配置された画像である。
特開２００８−１６７１５５号公報（図７）
上述の従来技術によれば、例えば、複数の観光地において撮影された複数の動画を鑑賞する場合に、これらの動画の全体的な内容をユーザに容易に把握させることができる。
しかしながら、動画を構成する各シーンを代表するサムネイル画像を表示する場合には、そのサムネイル画像に対応する撮像範囲が表示されるものの、そのサムネイル画像に対応するシーンにおける他の撮像空間が表示されない。例えば、そのシーンの撮像範囲に人物が含まれている場合、そのシーンが撮影された場所や周りの雰囲気等を容易に把握することができれば、そのシーンに関する興味をさらに高めることができると考えられる。この場合に、例えば、ユーザが興味を引くような画像を選択することにより、その動画に関する興味をさらに高めることが重要となる。
本発明はこのような状況に鑑みてなされたものであり、動画に関する興味を高めることを目的とする。
本発明は、上記課題を解決するためになされたものであり、その第１の側面は、撮像動画を構成する２つの画像間に関する動き情報を算出する算出部と、上記算出された動き情報の確からしさを示す信頼度に基づいて上記撮像動画を構成する複数の画像のうちから合成対象となる合成対象画像を選択する選択部とを具備する画像処理装置および画像処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、撮像動画を構成する２つの画像間に関する動き情報の信頼度に基づいて、動画を構成する複数の画像のうちから合成対象画像を選択するという作用をもたらす。
また、この第１の側面において、上記選択部は、上記信頼度に基づいて上記撮像動画を構成する複数の画像のうちから上記合成対象画像を選択するための区間を選択する区間選択部と、上記選択された区間に含まれる各画像の相対的な位置関係に基づいて上記選択された区間に含まれる複数の画像のうちから上記合成対象画像を選択する画像選択部とを備えるようにしてもよい。これにより、信頼度に基づいて、合成対象画像を選択するための区間を選択し、この区間に含まれる各画像の相対的な位置関係に基づいて、合成対象画像を選択するという作用をもたらす。
また、この第１の側面において、上記画像選択部は、上記選択された合成対象画像を基準画像とし、上記選択された区間に含まれる他の画像である対象画像と上記基準画像とのそれぞれが上記動き情報により変換された場合における上記対象画像と上記基準画像との重複率に基づいて新たな合成対象画像を選択するようにしてもよい。これにより、選択された区間に含まれる対象画像と、基準画像とのそれぞれが動き情報により変換された場合における重複率に基づいて新たな合成対象画像を選択するという作用をもたらす。
また、この第１の側面において、上記画像に含まれる対象物の属性を判定する判定部をさらに具備し、上記画像選択部は、上記判定された属性に基づいて上記合成対象画像を選択するようにしてもよい。これにより、判定された属性に基づいて合成対象画像を選択するという作用をもたらす。
また、この第１の側面において、上記画像選択部は、上記画像に含まれる対象物毎に上記判定された属性に基づいた評価値を算出して上記対象物毎に算出された評価値に基づいて上記合成対象画像を選択するようにしてもよい。これにより、画像に含まれる対象物毎に評価値を算出し、この対象物毎に算出された評価値に基づいて合成対象画像を選択するという作用をもたらす。
また、この第１の側面において、上記画像選択部は、上記選択された合成対象画像を基準画像とし、上記選択された区間に含まれる他の画像である対象画像に含まれる対象物毎に算出された上記評価値と上記基準画像に含まれる対象物毎に算出された上記評価値とに基づいて新たな合成対象画像を選択するようにしてもよい。これにより、選択された区間に含まれる対象画像に含まれる対象物毎に算出された評価値と、基準画像に含まれる対象物毎に算出された評価値とに基づいて、新たな合成対象画像を選択するという作用をもたらす。
また、この第１の側面において、上記区間選択部は、上記区間として一定範囲の画像を含む区間を選択するようにしてもよい。これにより、一定範囲の画像を含む区間を選択するという作用をもたらす。
また、この第１の側面において、上記動き情報は、拡大縮小と並進移動と回転とに関する要素を含み、上記算出された動き情報に基づいて上記信頼度を判定するためのスコアを示す信頼度判定スコアを算出する信頼度判定スコア算出部をさらに具備し、上記区間選択部は、上記算出された信頼度判定スコアと上記動き情報に関する上記並進成分と上記回転成分と上記拡大縮小成分とに基づいて上記区間を選択するようにしてもよい。これにより、動き情報に基づいて信頼度判定スコアを算出し、この信頼度判定スコアと動き情報に関する並進成分と回転成分と拡大縮小成分とに基づいて、区間を選択するという作用をもたらす。
また、この第１の側面において、上記算出部は、上記撮像動画を構成する第１の画像に含まれる各画素に基づいて上記第１の画像における特徴点を抽出する特徴点抽出部と、上記抽出された各特徴点に基づいて上記撮像動画を構成する上記第１の画像に連続する画像である第２の画像の上記第１の画像に対する動き量を算出する動き量算出部と、上記算出された動き量に基づいて上記動き情報を算出する動き情報算出部とを備え、上記信頼度判定スコア算出部は、上記抽出された各特徴点のうち上記動き情報算出部による上記動き情報の算出の際に支配的な動きを見せた特徴点の割合を示す値を上記信頼度判定スコアとして算出するようにしてもよい。これにより、第１の画像における特徴点を抽出し、第２の画像の第１の画像に対する動き量を算出して動き情報を算出し、第１の画像における各特徴点のうち動き情報の算出の際に支配的な動きを見せた特徴点の割合を示す値を信頼度判定スコアとして算出するという作用をもたらす。
また、この第１の側面において、上記信頼度判定スコア算出部は、上記撮像動画を構成する第１の画像を基準として上記動き情報に基づいて上記撮像動画を構成する上記第１の画像に連続する画像である第２の画像が変換された場合における上記第１の画像および上記第２の画像の重複領域における各画素の輝度の差分値を算出して当該差分値に基づいて上記信頼度判定スコアを算出するようにしてもよい。これにより、第１の画像を基準として、動き情報に基づいて第２の画像が変換された場合における第１の画像および第２の画像の重複領域における各画素の輝度の差分値を算出し、この差分値に基づいて信頼度判定スコアを算出するという作用をもたらす。
また、この第１の側面において、上記算出部は、上記第１の画像に含まれる各画素に基づいて上記第１の画像における特徴点を抽出する特徴点抽出部と、上記抽出された各特徴点に基づいて上記第２の画像の上記第１の画像に対する動き量を算出する動き量算出部と、上記算出された動き量に基づいて上記動き情報を算出する動き情報算出部とを備え、上記信頼度判定スコア算出部は、上記重複領域において上記抽出された各特徴点のうち上記動き情報算出部による上記動き情報の算出の際に支配的な動きを見せた特徴点の周りの画素の輝度の差分値を算出して当該差分値に基づいて上記信頼度判定スコアを算出するようにしてもよい。これにより、第１の画像における特徴点を抽出し、第２の画像の第１の画像に対する動き量を算出して動き情報を算出し、変換後の第１の画像および第２の画像の重複領域において、第１の画像における各特徴点のうち、動き情報の算出の際に支配的な動きを見せた特徴点の周りの画素の輝度の差分値を算出し、この差分値に基づいて信頼度判定スコアを算出するという作用をもたらす。
本発明によれば、動画に関する興味を高めることができるという優れた効果を奏し得る。
以下、本発明を実施するための最良の形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（合成画像作成制御：動画から合成対象画像を選択し、これらを用いて合成画像を作成する例）
２．第２の実施の形態（画像合成対象区間選択制御：合成対象画像を選択するための画像合成対象区間を動画から選択する変形例）
３．第３の実施の形態（合成対象画像選択制御：画像合成対象区間から合成対象画像を選択する変形例）
４．第４の実施の形態（装飾画像決定制御：合成対象画像に付す装飾画像を決定する例）
５．第５の実施の形態（特徴点抽出処理およびオプティカルフロー算出処理：マルチコアプロセッサにより行う例）
＜１．第１の実施の形態＞
［画像処理装置の構成例］
図１は、本発明の第１の実施の形態における画像処理装置１００の機能構成例を示すブロック図である。画像処理装置１００は、動画入力部１１０と、カメラワーク検出部１２０と、顔検出部１３０と、表情評価値算出部１４０と、判別軸情報記憶部１４１と、記録制御部１５０と、区間選択部１６０と、合成対象画像選択部１７０とを備える。また、画像処理装置１００は、ファイル取得部１８０と、画像変換部１９０と、動画記憶部２００と、メタデータ記憶部２１０と、画像合成部２２０と、画像メモリ２３０とを備える。また、画像処理装置１００は、表示制御部２４０と、表示部２５０と、操作受付部２６０と、合成対象画像メタデータ記憶部２７０とを備える。画像処理装置１００は、例えば、デジタルビデオカメラ等の撮像装置で撮像された動画について、映像解析により特徴量を抽出し、この抽出された特徴量を用いて各種画像処理を施すことが可能なパーソナルコンピュータによって実現することができる。
動画入力部１１０は、デジタルビデオカメラ等の撮像装置（以下では、単に「カメラ」と称する。）により撮像された動画（ビデオデータ）を入力する動画入力部である。そして、入力された動画をカメラワーク検出部１２０、顔検出部１３０、表情評価値算出部１４０および記録制御部１５０に出力する。
カメラワーク検出部１２０は、動画入力部１１０から出力された動画を解析して、撮影時におけるカメラの動き情報（カメラワーク）を検出し、このカメラの動き情報に基づいてカメラワークパラメータを算出するものである。また、カメラワーク検出部１２０は、カメラワークパラメータを算出する際に、このカメラワークパラメータの確からしさを示す信頼度判定スコアを算出する。そして、算出されたカメラワークパラメータおよび信頼度判定スコアが記録制御部１５０に出力される。具体的には、カメラワーク検出部１２０は、動画を構成する各画像から特徴点を抽出するとともに、この特徴点に対するオプティカルフロー（動きベクトル）を算出する。そして、この算出された特徴点に対するオプティカルフローを解析して支配的な動きを見せた特徴点を選択し、この支配的な動きを見せた特徴点に対するオプティカルフローに基づいてカメラの動きを推定する。ここで、支配的な動きとは、複数の特徴点に対するオプティカルフローの中で、比較的多数のオプティカルフローが示す規則的な動きを意味する。また、画像における特徴点のうちで、支配的な動きを見せた特徴点と、これ以外の特徴点との割合に基づいて、信頼度判定スコアが算出される。なお、カメラワーク検出部１２０の内部構成については、図２を参照して詳細に説明する。なお、カメラワーク検出部１２０は、特許請求の範囲に記載の算出部の一例である。
顔検出部１３０は、動画入力部１１０から出力された動画を構成する画像に含まれる人物の顔を検出するものであり、検出された顔に関する顔検出情報を表情評価値算出部１４０および記録制御部１５０に出力する。この顔検出方法として、例えば、顔の輝度分布情報が記録されているテンプレートと実画像とのマッチングによる顔検出方法（例えば、特開２００４−１３３６３７参照。）、画像に含まれる肌色の部分や人間の顔の特徴量に基づいた顔検出方法を用いることができる。また、顔を含む画像である顔画像について、この顔画像上の２画素間の輝度差を学習し、この学習により得られた特徴量を顔検出基準データとして予め保持しておき、この顔検出基準データを用いて顔検出を行う顔検出方法を用いることができる。この顔検出基準データを用いた顔検出方法については、図８を参照して詳細に説明する。また、顔検出情報には、検出された顔の画像における位置およびサイズが含まれる。ここで、顔検出情報に含まれる顔の位置は、例えば、検出された顔の周囲を囲む矩形の顔検出ウィンドウの位置（例えば、顔検出ウィンドウの左上端の座標。以下、「顔の位置情報」と称する。）である。また、顔検出情報に含まれる顔のサイズは、例えば、その顔検出ウィンドウのサイズ（例えば、顔検出ウィンドウの水平方向および垂直方向の各画素数。以下、「顔のサイズ情報」と称する。）である。なお、顔検出情報には、検出された顔の向きを示すロール（roll）、ピッチ（picth）、ヨー（yaw）を含めるようにしてもよい。
表情評価値算出部１４０は、判別軸情報記憶部１４１に記憶されている判別軸情報を用いて、顔検出部１３０により検出された顔の表情に関する表情評価値を算出するものであり、算出された表情評価値を記録制御部１５０に出力する。例えば、顔検出部１３０から出力された顔検出情報（顔の位置およびサイズ）を用いて、顔検出部１３０により検出された顔の少なくとも一部を含む矩形状の領域である顔画像が、動画入力部１１０から出力された動画を構成する画像から取り出される。この取り出された顔画像が正規化され、正規化された顔画像について表情評価値が算出される。この算出された表情評価値を用いて、算出対象となった顔の表情が特定の表情であるか否かを判定することができる。なお、本発明の第１の実施の形態では、特定の表情として笑顔を判定する例について説明する。また、表情評価値算出については、図９乃至図１２を参照して詳細に説明する。また、表情評価値算出部１４０は、特許請求の範囲に記載の判定部の一例である。
判別軸情報記憶部１４１は、表情評価値算出部１４０による表情評価値の算出に用いられる判別軸情報を記憶するものであり、記憶されている判別軸情報を表情評価値算出部１４０に供給する。なお、この判別軸情報については、図９等を参照して詳細に説明する。
記録制御部１５０は、動画記憶部２００、メタデータ記憶部２１０および合成対象画像メタデータ記憶部２７０に対する記録制御を行うものである。すなわち、記録制御部１５０は、動画入力部１１０から出力された動画を動画ファイルとして動画記憶部２００に記録する。また、記録制御部１５０は、カメラワーク検出部１２０から出力されたアフィン変換パラメータおよび信頼度判定スコアと、顔検出部１３０から出力された顔検出情報と、表情評価値算出部１４０から出力された表情評価値とをメタデータ記憶部２１０に記録する。これらの各情報は、動画およびフレーム（画像）に関連付けてメタデータファイルとしてメタデータ記憶部２１０に記録される。また、記録制御部１５０は、合成対象画像選択部１７０から出力された合成対象画像情報（フレーム選択情報）を合成対象画像メタデータとして合成対象画像メタデータ記憶部２７０に記録する。
区間選択部１６０は、メタデータ記憶部２１０に記憶されているメタデータを用いて、動画記憶部２００に記憶されている動画について、合成画像を作成する対象となる区間である画像合成対象区間を選択するものである。そして、選択された画像合成対象区間に関する情報を合成対象画像選択部１７０に出力する。なお、画像合成対象区間の選択については、図２４乃至図２６を参照して詳細に説明する。
合成対象画像選択部１７０は、メタデータ記憶部２１０に記憶されているメタデータを用いて、区間選択部１６０から出力された画像合成対象区間に含まれるフレームの中から、合成画像を作成するためのフレームを選択するものである。そして、選択されたフレームに関する合成対象画像情報（フレーム選択情報）を記録制御部１５０に出力する。具体的には、合成対象画像選択部１７０は、最初に、合成画像の一番上側に重ねて合成される最前面画像（最前面フレーム）を選択する。そして、選択された最前面画像を基準画像として、他の合成対象画像を順次選択する。この選択の際には、最前面画像を基準画像として、選択された合成対象画像をアフィン変換するためのアフィン変換パラメータが算出される。なお、合成対象画像選択については、図２７乃至図２９を参照して詳細に説明する。また、区間選択部１６０および合成対象画像選択部１７０は、特許請求の範囲に記載の選択部の一例である。合成対象画像選択部１７０は、特許請求の範囲に記載の画像選択部の一例である。
動画記憶部２００は、記録制御部１５０の制御に基づいて動画入力部１１０から出力された動画を動画ファイルとして記憶するものである。また、動画記憶部２００は、ファイル取得部１８０からの要求に応じて動画ファイルをファイル取得部１８０に供給し、表示制御部２４０からの要求に応じて動画ファイルを表示制御部２４０に供給する。なお、動画記憶部２００に記憶される動画ファイルについては、図３を参照して詳細に説明する。
メタデータ記憶部２１０は、記録制御部１５０の制御に基づいて、カメラワーク検出部１２０、顔検出部１３０および表情評価値算出部１４０から出力された各情報を、動画およびフレームに関連付けてメタデータファイルとして記憶するものである。また、メタデータ記憶部２１０は、区間選択部１６０および合成対象画像選択部１７０にメタデータファイルを供給する。なお、メタデータ記憶部２１０に記憶されるメタデータファイルについては、図３を参照して詳細に説明する。
合成対象画像メタデータ記憶部２７０は、記録制御部１５０の制御に基づいて、合成対象画像選択部１７０から出力された合成対象画像情報を合成対象画像メタデータファイルとして記憶するものである。また、合成対象画像メタデータ記憶部２７０は、ファイル取得部１８０からの要求に応じて合成対象画像メタデータファイルをファイル取得部１８０に供給する。なお、合成対象画像メタデータ記憶部２７０に記憶されるメタデータファイルについては、図４を参照して詳細に説明する。
ファイル取得部１８０は、操作受付部２６０により受け付けられた操作入力に応じて、動画記憶部２００およびメタデータ記憶部２１０に記憶されている各ファイルを取得し、取得された各ファイルの情報を画像変換部１９０に供給するものである。具体的には、ファイル取得部１８０は、合成画像を表示させるための指示操作が操作受付部２６０により受け付けられた場合には、動画記憶部２００から動画ファイルを取得する。また、この動画ファイルに対応する合成対象画像メタデータファイルを合成対象画像メタデータ記憶部２７０から取得する。そして、合成対象画像メタデータファイルを用いて、取得された動画ファイルを構成する各画像の中から、合成対象となる画像を抽出し、この抽出された画像と、この画像に対応する合成対象画像メタデータを画像変換部１９０に出力する。
画像変換部１９０は、ファイル取得部１８０から出力された画像について、この画像に対応する合成対象画像メタデータを用いてアフィン変換を施すものである。そして、アフィン変換された画像を画像合成部２２０に出力する。具体的には、画像変換部１９０は、１つの画像（例えば、最前面画像）の位置を基準として他の画像を順次アフィン変換する。また、画像変換部１９０は、合成画像を表示させるための指示操作が操作受付部２６０により受け付けられた場合には、その指示操作に係る表示順序に応じて画像を順次アフィン変換する。なお、これらの画像変換については、図１５乃至図２３、図３１および図３２等を参照して詳細に説明する。
画像合成部２２０は、画像メモリ２３０を用いて、画像変換部１９０によりアフィン変換された画像を合成して合成画像を作成するものである。そして、作成された合成画像を表示制御部２４０に順次出力する。また、画像合成部２２０は、画像変換部１９０によりアフィン変換された画像を合成する際に、画像の周縁に白枠を付して合成する。これらの画像合成については、図３１および図３２等を参照して詳細に説明する。
画像メモリ２３０は、画像合成部２２０により合成画像が作成される際に用いられるワークバッファであり、画像変換部１９０によりアフィン変換された画像を含む履歴画像を保持する。そして、保持されている履歴画像を画像合成部２２０に供給する。なお、画像メモリ２３０は、画像データを記憶する１面分のメモリに相当するキャンバスと称される。
表示制御部２４０は、操作受付部２６０により受け付けられた操作入力の内容に応じて、画像合成部２２０から出力された合成画像を表示部２５０に表示させるものである。また、表示制御部２４０は、操作受付部２６０により動画を再生させるための指示操作が受け付けられた場合には、この指示操作に係る動画ファイルを動画記憶部２００から取得し、この動画ファイルを構成する画像を表示部２５０に表示させる。
表示部２５０は、表示制御部２４０の制御に基づいて各画像を表示するものである。表示部２５０は、例えば、パーソナルコンピュータやテレビジョンのディスプレイにより実現することができる。なお、合成画像の表示例については、図３１乃至図３３等を参照して詳細に説明する。
操作受付部２６０は、各種入力キーからなるキーボードやマウス（ポインティングデバイス）等からの操作入力を受け付けるものであり、受け付けられた操作入力の内容をファイル取得部１８０、画像変換部１９０または表示制御部２４０に出力する。
図２は、本発明の第１の実施の形態におけるカメラワーク検出部１２０の機能構成例を示すブロック図である。カメラワーク検出部１２０は、特徴点抽出部１２１と、オプティカルフロー算出部１２２と、カメラワークパラメータ算出部１２３と、信頼度判定スコア算出部１２４とを備える。
特徴点抽出部１２１は、動画入力部１１０から出力された動画を構成するフレームに対応する画像全体から特徴点を抽出するものであり、抽出された特徴点をオプティカルフロー算出部１２２および信頼度判定スコア算出部１２４に出力する。ここで、特徴点抽出部１２１は、動画入力部１１０から出力された動画を構成するフレームのうちの先頭のフレームについては、画像全体から特徴点を抽出する。また、先頭以外のフレームについては、直前のフレームに対応する画像と比較して新しく撮像された領域部分から特徴点を抽出する。なお、特徴点として、例えば、縦方向および横方向にエッジの勾配が強い点（一般に「コーナー点」と呼ばれている。以下では、「コーナー点」と称する。）を抽出することができる。このコーナー点は、オプティカルフローの計算に強い特徴点であり、エッジ検出を用いて求めることができる。なお、このコーナー点の抽出については、図５および図６を参照して詳細に説明する。なお、この例では、特徴点抽出部１２１は、先頭のフレームについては画像全体から特徴点を抽出し、先頭以外のフレームについては直前の画像と比較して新しく撮像された領域部分から特徴点を抽出する。しかしながら、処理能力等に応じて、先頭以外の各フレームについても、画像全体から特徴点を抽出するようにしてもよい。
オプティカルフロー算出部１２２は、特徴点抽出部１２１から出力された各特徴点に対するオプティカルフローを算出するものであり、算出されたオプティカルフローをカメラワークパラメータ算出部１２３に出力する。具体的には、オプティカルフロー算出部１２２は、動画入力部１１０から出力された動画を構成する連続する２つのフレーム（現フレームおよび直前のフレーム）に対応する各画像を比較することにより、現フレームのオプティカルフローを算出する。すなわち、オプティカルフロー算出部１２２は、直前のフレームに対応する画像における各特徴点について、現フレームに対応する画像に対するオプティカルフローを算出する。このオプティカルフローは、動画を構成するフレーム毎に算出される。なお、オプティカルフローを検出する検出方法として、勾配法やブロックマッチング方法等の検出方法を用いることができる。なお、このオプティカルフローの計算については、図５および図６を参照して詳細に説明する。また、オプティカルフロー算出部１２２は、特許請求の範囲に記載の動き量算出部の一例である。
カメラワークパラメータ算出部１２３は、オプティカルフロー算出部１２２から出力された各特徴点に対応するオプティカルフローを用いて、カメラワークパラメータを算出するカメラワークパラメータ算出処理を行うものである。そして、算出されたカメラワークパラメータを記録制御部１５０に出力し、このカメラワークパラメータの算出に用いられた特徴点に関する情報を信頼度判定スコア算出部１２４に出力する。このカメラワークパラメータは、連続する２つのフレーム（現フレームおよび直前のフレーム）に関する変換情報（カメラの動き情報）である。
ここで、本発明の第１の実施の形態では、再生の対象となる動画について選択された合成対象画像をカメラの動きに合わせてそれぞれ変換して合成する。この画像の変換を行うため、オプティカルフロー算出部１２２により計算されたオプティカルフローを用いてカメラの動きが抽出され、この抽出された動きに基づいて、カメラワークパラメータ（変換パラメータ）が計算される。
また、本発明の第１の実施の形態では、合成対象画像を変換する画像変換方法として、アフィン変換を用いる例について説明する。また、カメラワークパラメータとして、オプティカルフローに基づいて算出されたアフィン変換パラメータを用いる例について説明する。なお、カメラワークパラメータとして射影変換パラメータ等を用いて他の画像変換方法を用いるようにしてもよい。なお、アフィン変換パラメータは、３点のベクトルを用いて計算して求めることができる。また、射影変換パラメータは、４点のベクトルを用いて計算して求めることができる。ここで、カメラワークパラメータは、撮像動画を構成する撮像画像のうちの少なくとも１つの撮像画像を基準にして他の撮像画像を変換するための変換情報であり、少なくともカメラの座標系で記述される位置情報および姿勢情報を含むものである。すなわち、カメラワークパラメータは、撮影者により撮影されている場合におけるカメラの位置や姿勢に関する情報を含むものである。また、カメラワークパラメータ算出部１２３により算出されたアフィン変換パラメータに基づいて、例えば、ズームイン、ズームアウト、パン、チルト、ローテーション等の撮影者の操作によるカメラの動きを推定することができる。なお、アフィン変換パラメータの計算については、図５および図６を参照して詳細に説明する。すなわち、本発明の第１の実施の形態では、連続する画像のうちの１つの画像を基準画像とした場合に、この基準画像の次の画像がどこに移動するかを示すアフィン行列に対応するアフィン変換パラメータと定義する。なお、カメラワークパラメータ算出部１２３は、特許請求の範囲に記載の動き情報算出部の一例である。
信頼度判定スコア算出部１２４は、特徴点抽出部１２１から出力された特徴点と、カメラワークパラメータ算出部１２３から出力された特徴点に関する情報とに基づいて、信頼度判定スコアを算出するものである。そして、算出された信頼度判定スコアを記録制御部１５０に出力する。この信頼度判定スコアは、例えば、アフィン変換パラメータの算出対象となった画像の画面全体における特徴点の数と、この画面全体において支配的な動きを見せた特徴点の数との割合に基づいて算出される。この信頼度判定スコアの算出については、図５および図６を参照して詳細に説明する。
図３は、本発明の第１の実施の形態における動画記憶部２００およびメタデータ記憶部２１０に記憶されている各ファイルを模式的に示す図である。図３（ａ）には、動画記憶部２００に記憶されている動画ファイル２０１乃至２０３と、動画ファイル２０１乃至２０３に関連付けてメタデータ記憶部２１０に記憶されているメタデータファイル２１１乃至２１３とを示す。ここで、動画記憶部２００に記憶されている各動画ファイルを識別するための識別情報である動画ＩＤが、各動画ファイルに付与されているものとする。例えば、動画ファイル２０１には「＃１」が付与され、動画ファイル２０２には「＃２」が付与され、動画ファイル２０３には「＃ｎ」が付与されている。
図３（ｂ）には、動画記憶部２００に記憶されている動画ファイル２０１と、動画ファイル２０１に関連付けてメタデータ記憶部２１０に記憶されているメタデータファイル２１１とを模式的に示す。ここで、動画ファイル２０１は、ｍ枚のフレームで構成された動画のファイルであり、これらのｍ枚のフレームをフレーム「１」２０４乃至「ｍ」２０７として示す。また、メタデータファイル２１１には、動画ＩＤ２１４と、フレーム番号２１５と、アフィン変換パラメータ２１６と、信頼度判定スコア２１７と、顔検出情報２１８と、表情評価値２１９とが関連付けて記憶されている。
動画ＩＤ２１４は、対応する動画ファイルに付与されている動画ＩＤであり、例えば、動画ファイル２０１に付与されている「＃１」が格納される。
フレーム番号２１５は、対応する動画ファイルを構成する各フレームの通し番号であり、例えば、動画ファイル２０１の動画を構成するフレーム「１」２０４乃至「ｍ」２０７に対応する「１」乃至「ｍ」が格納される。
アフィン変換パラメータ２１６は、フレーム番号２１５に対応する動画の各フレームについて算出されたアフィン変換パラメータである。なお、フレーム番号２１５の「１」に対応するアフィン変換パラメータ２１６「ａ１，ｂ１，ｃ１，ｄ１，ｅ１，ｆ１」は、単位行列のアフィン変換パラメータである。また、例えば、フレーム番号２１５の「ｉ（ｉは２以上の整数）」に対応するアフィン変換パラメータ２１６の「ａｉ，ｂｉ，ｃｉ，ｄｉ，ｅｉ，ｆｉ」は、フレーム「ｉ」の直前フレーム「ｉ−１」に対するアフィン変換パラメータである。
信頼度判定スコア２１７は、フレーム番号２１５に対応する動画の各フレームについて算出された信頼度判定スコアであり、例えば、０乃至１の値が格納される。
顔検出情報２１８は、フレーム番号２１５に対応する動画の各フレームについて検出された顔検出情報であり、顔検出部１３０から出力された顔検出情報が格納される。なお、図３（ｂ）では、顔検出情報の具体的な内容の記載を省略して示す。また、１フレームから複数の顔が検出されている場合には、これらの複数の顔検出情報がそのフレームに関連付けて格納される。
表情評価値２１９は、フレーム番号２１５に対応する動画の各フレームに含まれる顔について算出された表情評価値であり、表情評価値算出部１４０から出力された表情評価値が格納される。なお、対応するフレームに顔が含まれていない場合には「０」が格納される。例えば、フレーム番号２１５の「１」および「ｍ」に対応するフレームから顔が検出されていない場合には、表情評価値算出部１４０により表情評価値が算出されないため、表情評価値２１９に「０」が格納される。一方、フレーム番号２１５の「ｉ」および「ｊ」に対応するフレームから顔が検出されている場合には、表情評価値算出部１４０により算出された表情評価値が表情評価値２１９に格納される。例えば、フレーム番号２１５の「ｉ」に対応する表情評価値２１９には「１２４」が格納され、フレーム番号２１５の「ｊ」に対応する表情評価値２１９には「４０５」が格納される。この場合には、例えば、フレーム「ｊ」について検出された顔が、フレーム「ｉ」について検出された顔よりも笑顔である可能性が高いと判定することができる。なお、ｉ、ｊは、１＜ｉ＜ｊ＜ｍを満たす整数である。また、１フレームから複数の顔が検出されている場合には、これらの複数の顔について算出された表情評価値がそのフレームに関連付けて格納される。
図４は、本発明の第１の実施の形態における合成対象画像メタデータ記憶部２７０の記憶内容を模式的に示す図である。合成対象画像メタデータ記憶部２７０には、動画ＩＤ２７１と、区間番号２７２と、フレーム番号２７３と、アフィン変換パラメータ２７４と、最前面フレーム２７５と、顔データ２７６とが関連付けて記憶されている。
動画ＩＤ２７１は、対応する動画ファイルに付与されている動画ＩＤであり、例えば、動画記憶部２００に記憶されている各動画ファイルに付与されている「＃１」「＃２」等が格納される。
区間番号２７２は、区間選択部１６０により選択された画像合成対象区間を識別するための通し番号であり、例えば、動画ファイル２０１について選択された順序で「＃１０１」「＃１０２」「＃１０３」等が格納される。例えば、動画ファイル２０１について合成画像が作成される場合には、区間番号２７２の区間毎（例えば、「＃１０１」、「＃１０２」、「＃１０３」）に合成画像が作成される。
フレーム番号２７３は、区間選択部１６０により選択された画像合成対象区間において、合成対象画像選択部１７０により選択されたフレームのフレーム番号である。このフレーム番号は、図３（ｂ）に示すフレーム番号２１５に対応するものである。例えば、区間番号２７２の「＃１０１」において、合成対象画像選択部１７０によりフレーム「１」、「６」、「９」、「１７」が選択された場合には、これらの各フレームのフレーム番号「１」、「６」、「９」、「１７」が格納される。
アフィン変換パラメータ２７４は、合成対象画像選択部１７０により選択された各フレームをアフィン変換するためのアフィン変換パラメータである。ここで、アフィン変換パラメータ２７４に格納されるアフィン変換パラメータは、同一の画像合成対象区間内の１つのフレームを基準フレームとして、他のフレームをアフィン変換するためのアフィン変換パラメータである。この基準フレームは、例えば、最前面フレームとすることができる。また、この基準フレームに関連付けてアフィン変換パラメータ２７４に格納されるアフィン変換パラメータは、単位行列のアフィン変換パラメータである。
最前面フレーム２７５は、合成対象画像選択部１７０により選択された最前面フレームを示す情報である。例えば、対応するフレームが最前面フレームとして選択されている場合には最前面フレーム２７５に「１」が格納され、最前面フレームとして選択されていない場合には最前面フレーム２７５に「０」が格納される。例えば、動画ＩＤ２７１「＃１」の区間番号２７２「＃１０１」の各フレームの中で、フレーム「９」が最前面フレームに選択された場合には、フレーム「９」の最前面フレーム２７５に「１」が格納される。この場合に、区間番号２７２「＃１０１」の各フレームの中で、フレーム「９」以外のフレームについては、最前面フレーム２７５に「０」が格納される。
顔データ２７６は、合成対象画像選択部１７０により選択された各フレームに含まれる顔に関する情報である。この情報として、顔検出情報２１８に含まれる顔検出情報のうちで、例えば、顔の位置情報およびサイズ情報が格納される。図４に示す例では、顔の位置情報を（ｘｎ，ｙｎ）で示し、顔のサイズ情報を（Ｈｎ，Ｗｎ）で示す。ここで、ｎは、フレーム番号２７３に対応する数値である。なお、１フレームから複数の顔が検出されている場合には、これらの複数の顔データがそのフレームに関連付けて格納される。
［カメラワークパラメータおよび信頼度判定スコアの算出例］
次に、画像変換に用いられるカメラワークパラメータ（アフィン変換パラメータ）および信頼度判定スコアを算出する算出方法について図面を参照して詳細に説明する。
図５は、動画を構成する画像の一例を示す図である。図６は、動画を構成する画像について背景等を省略して簡略化した画像を示す図である。図５（ａ）乃至（ｃ）には、動画を構成する画像の一例として画像３００を示す。また、図６（ａ）には、画像３００の１つ前のフレームに対応する画像について背景等を省略して簡略化した画像３２０を示す。また、図６（ｂ）および（ｃ）には、画像３００について背景等を省略して簡略化した画像３３０を示す。
図５および図６に示す画像３００、３２０、３３０には、人が跨っている馬の像３０１、３２１、３３１と、この馬の像３０１、３２１、３３１の手前に設置されている蛇の像３０２、３２２、３３２とが含まれている。また、図５に示すように、これらの像の背景には旗や椅子等が存在し、この旗が風になびいている。
図６（ａ）に示す画像３２０は、図５（ａ）乃至（ｃ）および図６（ｂ）および（ｃ）に示す画像３００、３３０に対応するフレームの１つ前のフレームに対応する画像を簡略化した画像である。また、２つの連続するフレームに対応する画像３２０および３３０は、画面内の被写体がしだいに大きくなる場合における遷移を示す画像である。すなわち、この撮影時には、画面内の被写体をしだいに大きくする操作であるズームイン操作がされている。
本発明の第１の実施の形態では、動画を構成する画像から特徴点を検出し、この特徴点に対応するオプティカルフローを用いてアフィン変換パラメータを計算する方法を例にして説明する。また、この例では、特徴点としてコーナー点を用いる場合について説明する。
ここで、図６（ａ）乃至（ｃ）では、画像３２０および３３０から検出された３つのコーナー点に対応するオプティカルフローを用いてアフィン変換パラメータを計算する方法を例にして説明する。
例えば、図６（ａ）に示す画像３２０において、特徴点として、馬の像３２１における口付近のコーナー点３２３と、馬の像３２１における人のお尻付近のコーナー点３２４と、蛇の像３２２の口付近のコーナー点３２５とが検出されているものとする。この場合において、図６（ｂ）に示す画像３３０において、勾配法やブロックマッチング法等により、画像３２０におけるコーナー点３２３、３２４および３２５に対するオプティカルフロー３３７、３３８および３３９が検出される。そして、この検出されたオプティカルフロー３３７、３３８および３３９に基づいて、画像３２０におけるコーナー点３２３、３２４および３２５に対応するコーナー点３３３、３３４および３３５が検出される。
ここで、例えば、図６（ａ）および（ｂ）に示す画像３２０および３３０に含まれる馬の像３２１、３３１や蛇の像３２２、３３２は、地面に設置されているものであるため、カメラの動きとは無関係に動くものではない。このため、馬の像３２１、３３１や蛇の像３２２、３３２について検出されたコーナー点に対して求められたオプティカルフローに基づいて、カメラの動きを正確に推定することができる。例えば、図６（ｃ）に示すように、画像３３０において検出された３つのオプティカルフロー３３７乃至３３９に基づいて、画像３３０が、点３３６を中心にして画像３２０を拡大したものであることを推定することができる。これにより、画像３３０の撮影時におけるカメラの動きは、点３３６を中心とするズームイン動作であると判断することができる。このように、カメラの動きとは無関係に動くものではない物体についてコーナー点を検出し、このコーナー点に対して求められたオプティカルフローに基づいて、一定の規則性を備えるカメラの動きを正確に検出することができる。このため、これらのコーナー点に対して求められたオプティカルフローを用いて、アフィン変換パラメータを計算して求めることができる。
しかしながら、風になびいている旗等のように、カメラの動きとは無関係に動く物体が画像内に含まれる場合が考えられる。例えば、図５に示す画像３００には、風になびいている旗が含まれている。このようなカメラの動きとは無関係に動く物体についてコーナー点が検出され、このコーナー点に対して求められたオプティカルフローを用いてカメラの動きを推定する場合には、カメラの動きを正確に推定することができない。
例えば、図５（ｂ）に示す画像３００において検出されたオプティカルフローを矢印で示すとともに、このオプティカルフローにより検出されたコーナー点を矢印の先端に白抜きの丸で示す。ここで、コーナー点３０３乃至３０５は、図６（ｂ）および（ｃ）に示すコーナー点３３３乃至３３５に対応するコーナー点である。また、コーナー点３０６乃至３１１は、馬の像３０１の背景に存在する旗について検出されたコーナー点である。そして、これらの旗が風になびいているため、風の影響による旗の動きがオプティカルフローとして検出されている。すなわち、コーナー点３０６乃至３１１に対応する各オプティカルフローは、カメラの動きとは無関係に動く旗について検出されたものである。このため、アフィン変換パラメータを計算する場合に用いられる３つのオプティカルフローに、コーナー点３０６乃至３１１のうちの少なくとも１つのコーナー点に対応するオプティカルフローが含まれている場合には、正確なカメラの動きを検出することができない。この場合には、正確なアフィン変換パラメータを計算することができない。
以上で示したように、例えば、カメラの動きとは無関係に動く物体に対するオプティカルフロー（図５（ｂ）に示すコーナー点３０６乃至３１１に対応する各オプティカルフロー）が、撮像画像から検出されることがある。また、カメラの動きとの関係で一定の規則性を備えるオプティカルフロー（図５（ｂ）に示すコーナー点３０６乃至３１１に対応する各オプティカルフロー以外のオプティカルフロー）が、撮像画像から検出されることがある。
そこで、本発明の第１の実施の形態では、３個のオプティカルフローに基づいてアフィン変換パラメータを計算するアフィン変換パラメータ計算処理を複数回行い、複数のアフィン変換パラメータを求める。そして、これらの複数のアフィン変換パラメータの中から最適なアフィン変換パラメータを選択する例について説明する。なお、この例では、動画を構成する各画像に含まれている動物体の大きさが、画像の面積に対して比較的小さいものとする。
ここで、アフィン変換について説明する。２次元座標上において、移動元の位置を（ｘ，ｙ）とし、アフィン変換後の移動先の位置を（ｘ´，ｙ´）とした場合に、アフィン変換の行列式は、式１で表すことができる。なお、式１の右辺の３×３の行列はアフィン行列である。
ここで、ａ乃至ｆは、アフィン変換パラメータである。また、このアフィン変換パラメータを行列ＡＭとして次式で表すことができる。なお、Ｘ方向のズーム成分ＸＺ、Ｙ方向のズーム成分ＹＺ、Ｘ方向の並進成分ＸＴ、Ｙ方向の並進成分ＹＴ、Ｘ方向の回転成分θｘ、Ｘ方向の回転成分θｙについては、それぞれ次の式で求めることができる。なお、単位行列の場合には、ａ＝ｅ＝１、ｂ＝ｃ＝ｄ＝ｆ＝０となる。
このように、アフィン変換パラメータから、カメラワークの各成分（Ｘ方向およびＹ方向のズーム成分、並進成分、回転成分）を求めることができる。なお、回転成分については、図７を参照して説明する。
図７は、アフィン変換パラメータを用いて矩形３４０が変換された場合を示す図である。図７に示すように、矩形３４０の１つの頂点を原点とし、この原点に対応する頂点に接する矩形３４０の２辺のそれぞれをｘ軸およびｙ軸とするｘｙ座標において、所定のアフィン変換パラメータを用いて矩形３４０が変換された後の矩形を矩形３４１とする。この場合に、矩形３４０および３４１のｘ軸側の辺により形成される角度を回転成分θｘとし、矩形３４０および３４１のｙ軸側の辺により形成される角度を回転成分θｙとする。
次に、カメラワーク成分の加算値の算出方法について説明する。
カメラワーク成分の加算値は、算出対象となる画像合成対象区間の先頭のフレームから、算出対象となる現フレームまでの各フレームに対応するカメラワークの各成分を加算した値である。例えば、先頭のフレームから現フレームまでの各フレームをフレーム１乃至５とし、これらのフレーム１乃至５のカメラワーク成分のＸ方向の並進成分をそれぞれＸＴ１乃至ＸＴ５とする。この場合において、カメラワーク成分のＸ方向の並進成分の加算値は、「ＸＴ１＋ＸＴ２＋ＸＴ３＋ＸＴ４＋ＸＴ５」により算出することができる。また、他のカメラワークの各成分の加算値についても同様に算出することができる。
次に、アフィン変換パラメータの計算方法について説明する。
最初に、動画を構成するフレームの中の１つのフレームである現フレームに対応する画像において、オプティカルフローが検出された特徴点の中から３個の特徴点が選択される。例えば、図５（ｂ）に示す画像３００において検出されたコーナー点（白抜きの丸で示す）の中からランダムに３個のコーナー点が選択される。なお、カメラワークパラメータとして、射影変換パラメータを用いる場合には、４個の特徴点がランダムに選択される。
続いて、選択された３個の特徴点に対応する３個のオプティカルフローを用いてアフィン変換パラメータが計算される。例えば、図５（ｂ）に示す画像３００におけるコーナー点（白抜きの丸で示す）の中から選択された３個のコーナー点に対応するオプティカルフロー（白抜きの丸に接続される矢印で示す）を用いてアフィン変換パラメータが計算される。このアフィン変換パラメータは、式１を用いて求めることができる。
続いて、求められたアフィン変換パラメータに基づいて、アフィン変換パラメータのスコアが計算される。具体的には、求められたアフィン変換パラメータを用いて、現フレームの直前のフレームに対応する画像における全ての特徴点の移動先の位置を求める。そして、このアフィン変換パラメータを用いて求められた特徴点の位置と、現フレームにおいて検出された特徴点の位置とを比較して、互いに対応する２つの特徴点の位置の差分値が特徴点毎に計算される。差分値として、例えば、互いに対応する２つの特徴点の位置間の絶対距離が計算される。続いて、計算された差分値と、予め設定されている閾値とを特徴点毎に比較して、その差分値が閾値よりも小さい特徴点の個数をアフィン変換パラメータのスコアとして求める。このように、オプティカルフローが検出された特徴点の中から３個の特徴点をランダムに選択する。そして、これらの特徴点に対応するオプティカルフローに基づいてアフィン変換パラメータのスコアを算出する処理を所定回数繰り返し、アフィン変換パラメータのスコアを複数算出する。この所定回数は、比較の対象となる画像の種類や画像処理装置１００の処理能力等に応じて適宜設定するようにしてもよく、固定値を用いるようにしてもよい。この所定回数として、例えば、画像処理装置１００の処理能力を考慮して２０回程度と設定することができる。
例えば、図５（ｂ）に示す画像３００において検出されたコーナー点の中から、コーナー点３０６乃至３１１以外のコーナー点が３個選択された場合を考える。このように選択された３個のコーナー点に対応する３個のオプティカルフローを用いてアフィン変換パラメータが計算されると、上述したように、この３個のオプティカルフローは一定の規則性を備えている。このため、直前のフレームに対応する画像を一定の規則に従って変換させるアフィン変換パラメータが求められる。また、アフィン変換パラメータを用いて求められたコーナー点の位置と、現フレームにおいて検出されたコーナー点の位置とについて、コーナー点３０６乃至３１１以外のコーナー点に関して求められる差分値は、比較的小さい値が算出される。このため、アフィン変換パラメータのスコアは、大きい値になる。
一方、図５（ｂ）に示す画像３００において検出されたコーナー点の中から、コーナー点３０６乃至３１１のうちの少なくとも１個を含む３個のコーナー点が選択された場合を考える。このように選択された３個のコーナー点に対応する３個のオプティカルフローを用いてアフィン変換パラメータが計算されると、上述したように、この３個のオプティカルフローには、一定の規則性を備えていないオプティカルフローが含まれる。このため、直前のフレームに対応する画像を一定の規則に従って変換させるものではないアフィン変換パラメータが求められる。また、アフィン変換パラメータを用いて求められたコーナー点の位置と、現フレームにおいて検出されたコーナー点の位置とについて求められる差分値は、任意のコーナー点で比較的大きい値が算出される。このため、アフィン変換パラメータのスコアは、小さい値になる。
続いて、求められた複数のアフィン変換パラメータのスコアの中で、スコアの値が最も大きいアフィン変換パラメータを代表アフィン変換パラメータとして選択する。そして、選択された代表アフィン変換パラメータを用いて、直前のフレームを基準フレームとして現フレームをアフィン変換させるためのアフィン変換パラメータを算出し、このアフィン変換パラメータを現フレームに関連付けてメタデータ記憶部２１０に記録する。これにより、動画を構成する画像をアフィン変換する場合に、最適なアフィン変換パラメータを用いてアフィン変換することができる。
また、本発明の第１の実施の形態では、このように選択された代表アフィン変換パラメータのスコアを用いて、信頼度判定スコアを算出する。例えば、代表アフィン変換パラメータの算出対象となった画像の画面全体において検出された特徴点の数をＮとし、代表アフィン変換パラメータのスコアをＮｍ１とした場合に、以下の式により信頼度判定スコアＳＨＳを算出することができる。
ＳＨＳ＝Ｎｍ１／Ｎ
ここで、代表アフィン変換パラメータのスコアＮｍ１は、検出対象となった画像の画面全体において支配的な動きを見せた特徴点の数である。また、特徴点の数Ｎは、支配的な動きを見せた特徴点の数Ｎｍ１と、その他の特徴点（ノイズ的な動きを見せた特徴点）の数Ｎｍ２との合計値となる（すなわち、Ｎ＝Ｎｍ１＋Ｎｍ２）。また、信頼度判定スコアＳＨＳとして、０乃至１の値が算出される。
このように算出された信頼度判定スコアを現フレームに関連付けてメタデータ記憶部２１０に記録する。この信頼度判定スコアを用いて、動画から画像合成対象区間を選択する。
以上で示したように、動画を構成する各画像に人物や車等の動いている物体（動物体）が含まれている場合でも、画像の面積に対するその動物体の大きさが比較的小さい場合には、動物体の影響を受けずにカメラの動きを抽出することができる。
また、カメラの動きを抽出することによって、ズームイン、ズームアウト、パン、チルト、ローテーション等の意図的に撮影者が移動させたと思われる動きを推定することができる。なお、式１において、ａ＝ｅ、ｄ＝−ｂとして、２個のオプティカルフローに基づいてアフィン変換パラメータを算出することができる。例えば、３個のオプティカルフローに基づいて計算されたアフィン変換パラメータを用いて、画像をアフィン変換する場合には、長方形の画像が平行四辺形に変形される場合がある。これに対して、２個のオプティカルフローに基づいて計算されたアフィン変換パラメータを用いて、画像をアフィン変換する場合には、並進移動、回転、ズーム（ｘｙ方向のズーム率が同じもの）の少なくとも１つの変換を長方形の画像の状態で行うことができる。本発明の第１の実施の形態では、３個のオプティカルフローに基づいて計算されたアフィン変換パラメータを用いて画像を変換する例について説明する。しかしながら、２個のオプティカルフローに基づいて計算されたアフィン変換パラメータを用いて画像を変換する場合についても同様に適用することができる。
［表情評価値の算出例］
次に、画像から検出された顔に関する表情評価値を算出する表情評価値算出方法について図面を参照して詳細に説明する。
図８は、本発明の第１の実施の形態における顔検出部１３０による顔検出方法を概略的に示す図である。図８（ａ）および（ｂ）には、動画入力部１１０から出力された動画を構成する画像４５０を示す。また、画像４５０には人物４５１の顔４５２が含まれているものとする。このように、画像４５０に顔４５２が含まれている場合には、顔検出部１３０により画像４５０から顔４５２が検出される。なお、図８では、顔検出基準データを用いて顔検出を行う場合を例にして説明する。
例えば、図８（ａ）に示すように、一定の大きさの顔検出ウィンドウ４５３が画像４５０の左上隅に配置され、顔検出ウィンドウ４５３内の画像に顔が含まれるか否かを判定するための推定値が顔検出基準データに基づいて算出される。続いて、顔検出ウィンドウが右側方向（矢印４５４に示す方向）に１画素シフトされて、同様に推定値が算出される。以下同様に、顔検出ウィンドウが１画素ずつ右側方向に順次シフトされて、推定値が順次算出される。そして、顔検出ウィンドウが画像４５０の右端の位置にシフトされて推定値が算出されると、顔検出ウィンドウが１画素下側にシフトされるとともに画像４５０の左端に移動される。続いて、画像４５０の左端に移動直後の推定値が算出された後に、顔検出ウィンドウが１画素ずつ右側方向に順次シフトされて推定値が順次算出される。以下同様に推定値が順次算出される。そして、顔検出ウィンドウが画像４５０の右端および下端の位置にシフトされて推定値が算出されると、画像４５０を所定倍率で縮小して同様の処理を順次行う。このように、一定の大きさの顔検出ウィンドウを用いて、順次縮小される画像４５０について推定値の算出を順次行う。そして、算出された各推定値に基づいて、顔が検出され、この顔の少なくとも一部を含む矩形領域である顔領域が求められる。例えば、図８（ｂ）に示すように、画像４５０に含まれる人物４５１の顔４５２が検出され、顔４５２を含む顔領域４５５が求められる。また、検出された顔に関する顔検出情報（顔の位置、サイズ等）が求められる。例えば、図８（ｃ）に示すように、画像４５０の左上隅を原点とし、水平方向をｘ軸とし、垂直方向をｙ軸とするｘｙ座標を設定する。このｘｙ座標において、顔領域４５５の左上隅を頂点４５６の座標（ｘ，ｙ）が顔の位置として算出される。同様に、このｘｙ座標において、顔領域４５５の水平方向の長さＷと、顔領域４５５の垂直方向の長さＨとが顔のサイズとして算出される。これらの顔検出情報を顔検出部１３０が表情評価値算出部１４０および記録制御部１５０に出力する。
続いて、表情評価値算出部１４０は、顔検出部１３０から出力された顔検出情報に基づいて、顔領域４５５の画像（画像データ）を画像４５０から取り出す。すなわち、表情評価値算出部１４０は、顔の検出対象となった画像データが一時的に記憶されているメモリ（ＲＡＭ）にアクセスし、顔検出部１３０から出力された顔検出情報に対応する顔領域内の画像データのみを読み出す。
続いて、表情評価値算出部１４０は、取り出された画像を一定サイズの画像に変換して正規化して正規化顔画像を生成する。すなわち、取り出された画像が、一定サイズ（一定の解像度）の画像として解像度変換されることにより正規化顔画像が生成される。この正規化後の画像サイズは、表情評価値算出部１４０が顔に関する表情評価値を算出する際の処理単位となるサイズとする。本発明の第１の実施の形態では、例えば、正規化の一定サイズを４８画素×４８画素のサイズとする。
続いて、表情評価値算出部１４０は、正規化顔画像と、判別軸情報記憶部１４１に記憶されている判別軸情報とに基づいて、正規化顔画像に含まれる顔の表情の度合いを示す表情評価値を算出する。この算出された表情評価値が記録制御部１５０に出力される。この表情評価値は、２つの異なる表情のうちでどちらの表情に近いかの度合いを示す値である。本発明の第１の実施の形態では、２つの異なる表情を「笑顔」および「通常時の表情」とし、算出された表情評価値が高くなるに応じて「笑顔」である度合いが強いと評価する例について説明する。一方、算出された表情評価値が低くなるに応じて「通常時の表情」である度合いが強いと評価される。なお、この表情評価値の算出方法については、図９乃至図１２を参照して詳細に説明する。
図９は、表情評価値の算出に用いられる判別軸情報と、この判別軸情報を生成する際の流れとを概念的に示す図である。
本発明の第１の実施の形態では、いわゆる「フィッシャー（Fisher）の線形判別分析」を用いた表情評価値算出方法を例にして説明する。この表情評価値算出方法では、最初に、２つの異なる顔の表情の何れかを含むサンプル画像を事前に多数用意しておく。そして、２つの異なる表情間の２クラス問題と考えて、これらのサンプル画像のデータに基づいて、線形判別分析（ＬＤＡ：Linear Discriminant Analysis）を行う。これにより、これらの２つの異なる表情を良く判別する判別軸４６６（図９（ｃ）に示す）を形成する。そして、この判別軸４６６を判別軸情報記憶部１４１に記憶する。また、表情評価の際には、評価対象となる顔画像のデータと判別軸４６６との内積を求めることにより表情評価値を算出する。以下では、図面を参照して具体的に説明する。
本発明の第１の実施の形態では、特定の表情として「笑顔」を例にするため、２つの異なる表情に関するサンプル画像として、笑顔のサンプル画像および通常の表情のサンプル画像を用いる場合を例にして説明する。図９（ａ）では、笑顔のサンプル画像の集合を笑顔のサンプル画像群４６１として示し、通常の表情のサンプル画像の集合を通常の表情のサンプル画像群４６２として示す。これらのサンプル画像群４６１および４６２に含まれる各サンプル画像は、例えば、４８画素×４８画素の一定サイズの矩形画像内において顔が一定サイズとなるように正規化された画像であるものする。そして、これらのサンプル画像群４６１および４６２に含まれる各サンプル画像のデータを４８×４８次元のベクトルデータとして取り扱い、ＬＤＡ処理を行う。
ここで、４８×４８次元のベクトルデータを取り扱うベクトル空間は、４８×４８本の座標軸を有する非常に次元の高い空間となる。そこで、ＬＤＡ処理を行う前に、４８×４８次元のベクトルデータについて主成分分析（ＰＣＡ：Principal Component Analysis）を行う。そして、顔の特徴のみを効率良く表す次元の低い空間のデータに、４８×４８次元のベクトルデータを変換（次元圧縮）する。
このＰＣＡ処理では、入力されたＭ個（例えば、Ｍ＝３００）のＮ次元（Ｎ＝４８×４８）のサンプル画像群間のバラツキ（分散）が最大になるように、Ｍ本の軸を得ることを考える。このような軸は、サンプル画像群の共分散行列の固有値問題の解（固有ベクトル）として求めることができる。そして、係数の比較的大きいベクトル成分のみを主成分として取り出すことにより、顔の特徴を表すのに適したベクトル成分のみのＮ'次元（Ｎ＞＞Ｎ'）のデータに次元圧縮することができる。例えば、Ｎ'＝４０程度とすることにより、顔の表情判別について十分な精度を維持することが可能なことが知られている。なお、ＰＣＡ処理で得られた主成分のうち、係数の大きいものから順に数個程度除外することにより、表情判別精度を保ちつつ、次元数をさらに減らして次のＰＣＡ処理の負荷を軽減することができる。
ここで、ＰＣＡ処理時に入力されるサンプル画像のマスキング処理について図１０を参照して詳細に説明する。
図１０は、本発明の第１の実施の形態におけるＰＣＡ処理時に入力されるサンプル画像のマスキング処理を概略的に示す図である。
図１０（ａ）には、笑顔のサンプル画像群４６１に属するサンプル画像４７０を示す。サンプル画像４７０には笑っている顔４７５が含まれる。なお、上述したように、サンプル画像４７０は、顔４７５が一定サイズとなるように矩形状に正規化された画像である。
ここで、図１０（ａ）に示すように、サンプル画像４７０をそのまま用いてＰＣＡ処理を行う場合には、顔４７５の背景や髪等の影響により、適切な主成分を選択することができない場合がある。このため、図１０（ｂ）に示すように、顔４７５の肌部分以外の領域にマスク４７２をかけて、肌部分の顔領域のみが残されるようにサンプル画像４７０を変換させる。なお、図１０（ｂ）および（ｃ）では、マスク４７２および４７４の領域を斜線領域で示す。図１０（ｂ）に示す変換後のサンプル画像４７１について、顔の情報濃度を上げた状態でＰＣＡ処理することにより、さらに高精度な次元圧縮を行うことができる。なお、顔領域の中でも口は表情によって大きく変化することがあるため、口が擾乱要素となることが多い。そこで、図１０（ｃ）に示すように、顔４７５の口の周辺領域についてもマスク４７４をかけて、口の周辺領域を除く肌部分の顔領域のみが残されるようにサンプル画像４７０を変換させる。図１０（ｃ）に示す変換後のサンプル画像４７３を用いてＰＣＡ処理することにより、さらに次元圧縮の精度を高めることができる。そこで、本発明の第１の実施の形態では、ＰＣＡ処理時に入力されるサンプル画像について、図１０（ｃ）に示すマスキング処理を施した場合を例にして説明する。
ここで、図９（ｂ）および（ｃ）に示すＰＣＡ空間４６５は、サンプル画像に含まれる顔の特徴を効率良く表す座標軸のみを有する部分空間であるものとする。
上述したＰＣＡ処理により次元圧縮された笑顔のサンプル画像群４６１および通常の表情のサンプル画像群４６２に属する各サンプル画像は、図９（ｂ）に示すように、ＰＣＡ空間４６５上のベクトルデータに変換される。図９（ｂ）では、笑顔のサンプル画像群４６１および通常の表情のサンプル画像群４６２に属する各サンプル画像が、ＰＣＡ空間４６５に射影された状態を模式的に示す。図９（ｂ）に示すように、同一のサンプル画像群に属する各サンプル画像がＰＣＡ空間４６５に射影された場合には、これらの各サンプル画像同士の距離は比較的近い距離となる。そこで、笑顔のサンプル画像群４６１に属する各サンプル画像がＰＣＡ空間４６５上に射影された後の各サンプル画像により形成されるクラスタをクラスタ４６３とする。また、通常の表情のサンプル画像群４６２に属する各サンプル画像がＰＣＡ空間４６５上に射影された後の各サンプル画像により形成されるクラスタをクラスタ４６４とする。そして、クラスタ４６３および４６４同士を最も良く分離する射影軸（判別軸４６６）をＬＤＡ処理により形成する。このような判別軸４６６は、「フィッシャーの射影軸」と呼ばれる。
ＬＤＡ処理では、一般的に、Ｎ'次元の固有ベクトル上に射影されたクラス内およびクラス間の分散が最大になるような判別軸が求められる。すなわち、クラス内、クラス間の各共分散行列の最大固有値に対応する固有ベクトルを求め、これを判別軸４６６上のベクトル（フィッシャー・ベクトル）とする。各共分散行列と固有値、固有ベクトルとの関係を、式１１および式１２に示す。
ここで、ＲＷはクラス内共分散行列を示し、ＲＢはクラス間共分散行列を示し、λは固有値を示す。また、式１２の逆行列、固有値、固有ベクトルの演算には、それぞれＬＵ（Lower-Upper）分解法、ＱＲ分解法（Ｑ：直交行列，Ｒ：上三角行列）、ガウスの消去法を用いることができる。このように算出された判別軸４６６の情報として、フィッシャー・ベクトルの各成分の係数等の情報が判別軸情報記憶部１４１に記憶される。すなわち、判別軸４６６の情報は、２つの異なる表情に関する多数の顔サンプル画像の画像データから主成分分析によって得られた信号成分に基づいて、線形判別分析を行うことにより得られた表情の判別軸を示すベクトルの係数等を含む情報である。
図１１は、ピクセル空間およびＰＣＡ空間における判別軸および評価の対象となる顔画像の関係を概念的に示す図である。
図９（ｃ）に示す判別軸４６６を用いて表情評価値を算出する場合、最初に、撮像画像から検出された顔の画像データ（顔画像）をＰＣＡ処理し、主成分を抽出する。その画像データに対応する顔画像の表情は、図１１のＰＣＡ空間４６５に示すように、ＰＣＡ処理された顔画像ベクトル（入力顔画像ベクトル）の判別軸４６６（ベクトルＡｄ）に対する射影成分として評価される。すなわち、表情評価値Ｅｅｘｐは、式１５に示すように、入力顔画像ベクトルとフィッシャー・ベクトルとの内積により算出することができる。
ここで、フィッシャー・ベクトルの情報は、ピクセル空間Ｓｐｘｌ（ＰＣＡ処理前の元の画像データが持つ次元の空間）での情報に換算しておくこともできる。式１３および式１４は、入力顔画像ベクトルおよびフィッシャー・ベクトルをピクセル空間Ｓｐｘｌでのベクトルとして表す式である。図１１には、この式１３および式１４により表される関係を概念的に表す。式１３、式１４および図１１に示すように、ＰＣＡ処理により得られる主成分μ１〜μＮ'以外のベクトル成分は、全ての入力画像の平均値として定数Ｃで近似することができる。したがって、式１５に示すような内積演算は、式１６に示すように、ピクセル空間Ｓｐｘｌの上でのベクトルの内積演算として等価的に表すことができる。
式１６に示すように、ピクセル空間Ｓｐｘｌでのフィッシャー・ベクトル成分と定数Ｃとの減算結果は事前に算出することができる。このため、この減算結果および定数Ｃを判別軸情報として判別軸情報記憶部１４１に記憶しておく。そして、表情評価値算出部１４０は、撮像画像から検出された顔画像のベクトルを算出した後に、このベクトルをＰＣＡ処理することなく、式１６の内積演算を実行する。ここで、式１６による１つの顔に対する表情評価値の演算では、それぞれ最大で４８×４８回の減算、乗算および加算が実行されるのみであり、実際には、４０個程度の主成分μ１〜μＮ'に対応する係数の演算のみが実行されることになる。したがって、ＰＣＡ空間４６５でのベクトルの内積演算を行う場合と比較して、表情評価の精度を落とすことなく演算量を大幅に削減することができ、撮像画像を記録する前の画角合わせの状態で表情評価値Ｅｅｘｐをリアルタイムで容易に算出することができる。
このような表情評価値算出方法を用いることにより、例えば、多数の顔画像のテンプレートと、検出された顔画像とのマッチングにより表情を評価する表情評価方法と比較しても、処理の負荷を低減するとともに、高精度の表情評価を行うことが可能である。例えば、テンプレートを用いたマッチングを行う場合、通常は、検出された顔画像から目や口等のパーツを抽出し、パーツ毎にマッチング処理を行う必要がある。これに対して、本発明の第１の実施の形態に用いられる表情評価値算出方法では、検出された顔画像を一定サイズに正規化した後、その顔画像をベクトル情報に置き換えて、そのまま（または部分的にマスクするだけで）内積演算に適用することができる。そして、その内積演算を上述の通り４０次元程度の減算、乗算および加算からなる単純なものとすることができる。
図１２は、本発明の第１の実施の形態における表情評価値を数値として出力する場合の算出例を示す図である。
本発明の第１の実施の形態では、例えば、サンプル画像のＰＣＡ処理結果に基づいて、ＰＣＡ空間における笑顔の顔画像の分布４８１の平均４８２と、ＰＣＡ空間における通常の表情の顔画像の分布４８３の平均４８４とを求める。そして、これらの平均４８２および４８４の判別軸４６６に対する射影点を決めておく。そして、各平均４８２および４８４の射影点の中点４８５を基準として表情評価値Ｅｅｘｐを数値に換算する。すなわち、図１２に示すように、顔画像の判別軸４６６に対する射影点４８６と、各平均４８２および４８４の射影点の中点４８５との距離を表情評価値Ｅｅｘｐとし、笑顔のサンプル画像の分布している側を正の数値とする。これにより、検出された顔画像が笑顔と通常の表情のどちらに近いかを連続的な数値として出力することができる。この場合に、表情評価値Ｅｅｘｐが高くなるに応じて、笑顔の度合いが高いと評価することができる。また、顔検出部１３０により１枚の画像から複数の顔が検出された場合には、これらの各顔について表情評価値算出部１４０により表情評価値の算出が行われる。そして、これらの各顔について算出された表情評価値がメタデータ記憶部２１０に記憶される。
［画像処理装置の動作例］
次に、本発明の第１の実施の形態における画像処理装置１００の動作について図面を参照して説明する。
図１３は、本発明の第１の実施の形態における画像処理装置１００によるメタデータ記録処理の処理手順を示すフローチャートである。
最初に、動画入力部１１０に動画ファイルが入力される（ステップＳ９０１）。続いて、動画入力部１１０に入力された動画ファイルがデコードされ、時系列の順序で１つのフレームの画像が取得される（ステップＳ９０２）。続いて、顔検出部１３０が、取得された１つのフレームについて顔検出処理を行う（ステップＳ９０３）。続いて、表情評価値算出部１４０が、顔検出処理により検出された顔について表情評価値算出処理を行う（ステップＳ９０４）。
続いて、取得された１つのフレームが動画入力部１１０に入力された動画ファイルの先頭のフレームであるか否かが判断される（ステップＳ９０５）。取得された１つのフレームが、先頭のフレームである場合には（ステップＳ９０５）、この先頭のフレームに対応する画像の全体から特徴点が抽出される（ステップＳ９０６）。続いて、アフィン変換パラメータとして単位行列のアフィン変換パラメータが選択され（ステップＳ９０７）、信頼度判定スコアとして「１．０」が算出され、ステップＳ９１３に進む。
一方、取得された１つのフレームが、先頭のフレームではない場合には（ステップＳ９０５）、直前のフレームに対応する画像を基準として新たに撮像された領域から特徴点が抽出される（ステップＳ９０５）。すなわち、直前のフレームに対応する画像において既に抽出されている特徴点については、この特徴点に対応するオプティカルフローにより求めることができるため、現フレームに対応する画像においては抽出されない。続いて、直前のフレームに対応する画像全体における特徴点の数が保持される（ステップＳ９１０）。
続いて、直前のフレームに対応する画像から抽出された各特徴点に対するオプティカルフローが計算される（ステップＳ９１１）。続いて、カメラワークパラメータ算出部１２３が、アフィン変換パラメータ算出処理を行う（ステップＳ９２０）。このアフィン変換パラメータ算出処理については、図１４を参照して詳細に説明する。なお、ステップＳ９２０は、特許請求の範囲に記載の算出手順の一例である。
続いて、保持されている画像全体における特徴点の数と、選択された代表アフィン変換パラメータのスコアとに基づいて信頼度判定スコアが算出される（ステップＳ９１２）。続いて、現フレームについて求められた各メタデータが現フレームに関連付けてメタデータ記憶部２１０に記録される（ステップＳ９１３）。なお、現フレームが先頭のフレームである場合には、選択された単位行列のアフィン変換パラメータが、先頭のフレームに関連付けてメタデータ記憶部２１０に記録される。続いて、現フレームに対応する画像と、この画像における特徴点とが上書き保存される（ステップＳ９１４）。
続いて、現フレームが、動画入力部１１０に入力された動画ファイルの最後のフレームであるか否かが判断される（ステップＳ９１５）。現フレームが、最後のフレームではない場合には（ステップＳ９１５）、ステップＳ９０２に戻り、メタデータ記録処理を繰り返す（ステップＳ９０１乃至Ｓ９１４、ステップＳ９２０）。一方、現フレームが、最後のフレームである場合には（ステップＳ９１５）、メタデータ記録処理を終了する。
図１４は、本発明の第１の実施の形態における画像処理装置１００によるメタデータ記録処理の処理手順のうちのアフィン変換パラメータ算出処理手順（図１３に示すステップＳ９２０の処理手順）を示すフローチャートである。
最初に、変数ｉが「１」に初期化される（ステップＳ９２１）。続いて、オプティカルフローが検出された特徴点の中から、Ｍ個の特徴点が選択される（ステップＳ９２２）。例えば、カメラワークパラメータとして、アフィン変換パラメータを用いる場合には、３個の特徴点がランダムに選択される。また、カメラワークパラメータとして、射影変換パラメータを用いる場合には、４個の特徴点がランダムに選択される。続いて、選択されたＭ個の特徴点に対応して計算されたＭ個のオプティカルフローに基づいて、アフィン変換パラメータが算出される（ステップＳ９２３）。
続いて、算出されたアフィン変換パラメータに基づいて、アフィン変換パラメータのスコアが計算される（ステップＳ９２４）。具体的には、算出されたアフィン変換パラメータを用いて、直前のフレームに対応する画像における全ての特徴点の移動先の位置を求める。そして、このアフィン変換パラメータを用いて求められた特徴点の位置と、ステップＳ９１１でオプティカルフローを計算した際に求められた現フレームに対応する画像における特徴点の位置とを比較する。そして、互いに対応する２つの特徴点の位置の差分値が特徴点毎に計算される。差分値として、例えば、互いに対応する２つの位置間の絶対距離が計算される。続いて、計算された差分値と、予め設定されている閾値とを特徴点毎に比較して、その差分値が閾値よりも小さい特徴点の個数をアフィン変換パラメータのスコアとして求める。
続いて、変数ｉに「１」が加算され（ステップＳ９２５）、変数ｉが、定数Ｎよりも大きいか否かが判断される（ステップＳ９２６）。変数ｉが、定数Ｎ以下である場合には（ステップＳ９２６）、ステップＳ９２２に戻り、アフィン変換パラメータのスコア算出処理を繰り返す（ステップＳ９２２乃至Ｓ９２５）。例えば、定数Ｎとして、２０を用いることができる。
一方、変数ｉが定数Ｎよりも大きい場合には（ステップＳ９２６）、求められたアフィン変換パラメータのスコアのうちで、スコアの値が最も大きいアフィン変換パラメータが代表アフィン変換パラメータとして選択される（ステップＳ９２７）。
本発明の第１の実施の形態では、カメラワークパラメータの検出として、動画を構成する画像において検出されたオプティカルフローに基づいてアフィン変換パラメータを検出する例について説明した。しかしながら、例えば、加速度センサやジャイロセンサ等のセンサやズーム操作をする際に用いられるズームボタンをカメラに設け、このセンサやズームボタンによって撮影時におけるカメラの移動量を検出する。そして、このカメラの移動量に基づいてカメラワークパラメータを求めるようにしてもよい。また、カメラワークパラメータ算出部１２３により複数のカメラワークパラメータを検出しておき、撮影時において検出されたカメラの移動量に基づいて、この複数のカメラワークパラメータの中から１つのカメラワークパラメータを選択するようにしてもよい。
［画像のアフィン変換例］
次に、カメラワーク検出部１２０により算出されたアフィン変換パラメータを用いて、動画を構成する画像をアフィン変換する場合について図面を参照して詳細に説明する。なお、図１５乃至図２３に示す各画像は、説明のため、簡略化するとともに、動画を構成する各画像のうち、画像間の移動量が比較的小さい画像を示すものとする。また、図１５乃至図２３に示す各画像は、合成対象画像選択部１７０により選択された画像であるものとする。また、時間軸において前のフレームに後のフレームを上書きする場合を例にして示す。
最初に、カメラの撮影時において、倍率が変更されないものの、カメラの位置を中心として、カメラのレンズの方向が上下左右の何れかに移動されている場合について説明する。
図１５は、カメラにより撮影された動画の遷移の一例を示す図である。図１５には、山を背景にして人４００を撮影した場合における動画を構成する画像４０１乃至４０３を示す。また、この例では、カメラのレンズの方向を右および上側に移動しながら、撮影者が撮影を行っている場合を示す。この場合には、カメラにより撮影される動画に含まれる人４００が、その動画を構成する画像において右側から左側に移動するとともに下側に移動する。
図１６は、本発明の実施の形態における合成対象画像選択部１７０により選択された画像４０１乃至４０３に含まれる被写体の軌跡を概略的に示す図である。なお、図１６（ｂ）および（ｃ）に示す画像４０２および４０３において、前のフレームに対応する画像を破線で示す。図１６（ａ）に示す画像４０１は、図１５（ａ）に示す画像４０１と同じものである。また、図１６（ｂ）に示す画像４０２のうちの実線の部分は、図１５（ｂ）に示す画像４０２と同じものであり、図１６（ｂ）に示す画像４０２のうちの破線の部分は、図１６（ａ）に示す画像４０１の実線の部分と同じものである。また、図１６（ｂ）に示す画像４０２における矢印４０４乃至４０６は、画像４０１および画像４０２に含まれる被写体の軌跡を示す矢印である。また、図１６（ｃ）に示す画像４０３のうちの実線の部分は、図１５（ｃ）に示す画像４０３と同じものであり、図１６（ｃ）に示す画像４０３のうちの破線の部分は、図１６（ｂ）に示す画像４０２の実線の部分と同じものである。また、図１６（ｃ）に示す画像４０３における矢印４０７乃至４０９は、画像４０２および画像４０３に含まれる被写体の軌跡を示す矢印である。
図１６（ｂ）および（ｃ）に示すように、カメラの移動に合わせて、画像に含まれる人４００および背景の山が移動する。この移動により検出される各オプティカルフローに基づいて、各画像間のアフィン変換パラメータを求めることができる。例えば、画像４０１を基準画像とする場合、画像４０１および４０２の各画像について算出されたアフィン変換パラメータのアフィン行列を乗算することにより、画像４０２をアフィン変換させるためのアフィン変換パラメータを求めることができる。また、画像４０１乃至４０３の各画像について算出されたアフィン変換パラメータのアフィン行列を乗算することにより、画像４０３をアフィン変換させるためのアフィン変換パラメータを求めることができる。なお、基準画像のアフィン変換パラメータは、単位行列のアフィン変換パラメータとする。
図１７は、本発明の第１の実施の形態における画像合成部２２０により画像を合成する場合における画像合成例を示す図である。この例では、画像４０１を基準画像とし、合成対象画像メタデータ記憶部２７０に記憶されているアフィン変換パラメータを用いて、画像４０２および４０３をアフィン変換する場合を例にして説明する。
例えば、画像４０１に関連付けられているアフィン変換パラメータのアフィン行列をＡ１とする場合に、画像変換部１９０が、先頭のフレームの画像４０１の位置および大きさを基準にして、Ａ１の行列により画像４０１をアフィン変換する。ここで、画像４０１は基準画像であるため、Ａ１は単位行列である。このため、画像４０１の位置および大きさは変換されない。
続いて、次のフレームに対応する画像４０２が合成される場合には、画像変換部１９０が、画像４０２に関連付けられているアフィン変換パラメータを用いて画像４０２をアフィン変換する。例えば、画像４０２に関連付けられているアフィン変換パラメータの行列をＡ２とする。この場合において、画像変換部１９０が、画像４０１の位置および大きさを基準にして、行列Ａ２により画像４０２をアフィン変換する。なお、図１７（ｂ）に示す例では、矢印４１５および４１６に示すように、画像４０２の位置のみが変換される。続いて、画像合成部２２０が、画像変換部１９０によりアフィン変換された画像４０２を、前のフレームに対応する画像４０１に重なるように上書きして合成する。すなわち、画像４０１の領域のうちで、画像４０２と重複する領域４１０については、画像４０２の画像が上書きされる。また、画像４０１の領域のうちで、画像４０２と重複しない領域４１１については、画像４０２の画像が上書きされない。すなわち、２つ目のフレームに対応する画像４０２が合成される場合には、図１７（ｂ）に示すように、画像４０２の全体部分と、画像４０１のうちの領域４１１に対応する部分とが合成された画像が作成される。
続いて、次のフレームに対応する画像４０３が表示される場合には、画像変換部１９０が、画像４０３に関連付けられているアフィン変換パラメータを用いて画像４０３をアフィン変換する。例えば、画像４０３に対応するアフィン変換パラメータの行列をＡ３とする。この場合において、画像変換部１９０が、画像４０１の位置および大きさを基準にして、行列Ａ３により画像４０３をアフィン変換する。なお、図１７（ｃ）に示す画像においては、矢印４１７および４１８に示すように、画像４０３の位置のみが変換される。続いて、画像合成部２２０が、画像変換部１９０によりアフィン変換された画像４０３を、前のフレームに対応する画像４０１および４０２の合成画像に重なるように上書きして合成する。すなわち、画像４０１および４０２の合成画像の領域のうちで、画像４０３と重複する領域４１３および４１４については、画像４０３の画像が上書きされる。また、画像４０１および４０２の合成画像の領域のうちで、画像４０３と重複しない領域４１１および４１２については、画像４０１および４０２の合成画像が合成される。すなわち、３つ目のフレームに対応する画像４０３が合成される場合には、図１７（ｃ）に示すように、画像４０３の全体部分と、画像４０１のうちの領域４１１に対応する部分と、画像４０２のうちの領域４１２に対応する部分とが合成された画像が作成される。
次に、カメラの撮影時において、カメラのレンズの方向は移動されないものの、倍率が変更されている場合について説明する。
図１８は、カメラにより撮影された動画の遷移の一例を示す図である。図１８には、山を背景にして人４２０を撮影した場合における動画に含まれる連続するフレームに対応する画像４２１乃至４２３を示す。この例では、カメラのレンズの倍率を上げながら、撮影者が撮影を行っている場合を示す。この場合には、カメラにより撮影される動画に含まれる人４２０が、その動画を構成する画像において次第に大きくなる。なお、倍率を上げる際にカメラの位置が多少移動する場合があるものの、この例では、カメラの位置の移動については考慮せずに説明する。
図１９は、本発明の実施の形態における合成対象画像選択部１７０により選択された画像４２１乃至４２３に含まれる被写体の軌跡を概略的に示す図である。なお、図１９に示すアフィン変換パラメータの算出例は、図１６に示すアフィン変換パラメータの算出例と同様であるため、ここでの説明を省略する。
図２０は、本発明の第１の実施の形態における画像合成部２２０により画像を合成する場合における画像合成例を示す図である。なお、図２０に示す画像合成例は、図１７に示す画像合成例と同様であるため、ここでの説明を省略する。
次に、カメラの撮影時において、カメラのレンズの方向や倍率は変更されないものの、光軸方向を回転中心にしてカメラが回転されている場合について説明する。
図２１は、カメラにより撮影された動画の遷移の一例を示す図である。図２１には、山を背景にして人４４０を撮影した場合における動画に含まれる連続するフレームに対応する画像４４１乃至４４３を示す。この例では、光軸方向を回転中心にしてカメラを回転しながら、撮影者が撮影を行っている場合を示す。この場合には、カメラにより撮影される動画に含まれる人４４０が、その動画を構成する画像において回転していく。なお、カメラの回転によりカメラの位置が多少移動する場合があるものの、この例では、カメラの位置の移動については考慮せずに説明する。
図２２は、本発明の実施の形態における合成対象画像選択部１７０により選択された画像４４１乃至４４３に含まれる被写体の軌跡を概略的に示す図である。なお、図２２に示すアフィン変換パラメータの算出例は、図１６に示すアフィン変換パラメータの算出例と同様であるため、ここでの説明を省略する。
図２３は、本発明の第１の実施の形態における画像合成部２２０により画像を合成する場合における画像合成例を示す図である。なお、図２３に示す画像合成例は、図１７に示す画像合成例と同様であるため、ここでの説明を省略する。
［画像合成対象区間の選択例］
次に、動画から合成対象画像を選択するための区間（画像合成対象区間）を選択する区間選択方法について図面を参照して詳細に説明する。本発明の第１の実施の形態では、次の（１）乃至（４）の条件を満たす区間を画像合成対象区間として選択する例について説明する。
（１）カメラワーク検出の信頼度が高いこと。
（２）ズーム率が小さいこと。すなわち、ズームの変化が少ないこと。
（３）水平方向（左右方向）または垂直方向（上下方向）へ一定画素数以上移動していること。
（４）画像合成対象区間の長さは、一定の範囲内の長さ（例えば、３秒から２０秒までの範囲内）であること。
また、本発明の第１の実施の形態では、次の（ａ）および（ｂ）の条件を満たす場合に、上記条件（１）のカメラワーク検出の信頼度が高いと判定する。
（ａ）画像の画面全体における特徴点のうち、支配的な動きを見せた特徴点の割合を示す値が閾値を越えていること。
（ｂ）フレーム間の変化率が一定の範囲内であること。このフレーム間の変化率は、フレーム間に関するアフィン変換パラメータにより算出されるカメラワークの各成分を示す値である。
図２４は、本発明の第１の実施の形態におけるカメラワーク検出部１２０により算出された信頼度判定スコアを時系列で示す図である。図２４（ａ）には、信頼度判定スコアの算出対象となったフレームを矩形で模式的に示す。なお、図２４（ａ）では、各フレームを示す矩形内にフレームの通し番号を付す。
図２４（ｂ）には、図２４（ａ）に示すフレーム１乃至１５について算出された信頼度判定スコアをフレーム毎に表すグラフを示す。図２４（ｂ）に示すグラフにおいて、横軸は撮像時刻を示す軸であり、縦軸は各フレームについて算出された信頼度判定スコアの値を示す軸である。また、縦軸において、上記条件（１）の閾値を閾値ＴＨ１とする。ここで、閾値ＴＨ１として、例えば、０．５〜０．８の値を設定することができる。なお、図２４（ｂ）に示すグラフの横軸では、撮像時刻に応じた各フレーム番号を示す。ここで、信頼度判定スコアＳＨＳは、信頼度判定スコア算出部１２４により算出された値であり、動画記憶部２００に記憶されている動画ファイルを構成する各フレームに関連付けられてメタデータ記憶部２１０に記憶されている。
この例では、説明の容易のため、図２４（ａ）に示すように、上記条件（４）の一定の範囲をＫ１以上Ｋ２以下の範囲とする。また、図２４（ｂ）に示すグラフにおいて、各フレームについて算出された信頼度判定スコアを白抜きの丸で示す。この信頼度判定スコアを示す白抜きの丸のうち、閾値ＴＨ１を超えているものについては、太線の丸で示す。
図２４（ｂ）に示すように、例えば、フレーム１、３の信頼度判定スコアは閾値ＴＨ１以下であるため、フレーム１および３は画像合成対象区間候補とは判定されない。また、フレーム２の信頼度判定スコアは閾値ＴＨ１を越えているが、隣のフレーム１および３の何れの信頼度判定スコアも閾値ＴＨ１以下であるため、上記条件（４）の条件を満たさない。このため、フレーム２は画像合成対象区間候補とは判定されない。これに対して、例えば、フレーム４乃至１４の信頼度判定スコアは閾値ＴＨ１を越えている。しかしながら、フレーム４乃至１４の長さは、上記条件（４）の一定の範囲（Ｋ１以上Ｋ２以下の範囲）を超えている。このため、フレーム４乃至１４のうち、上記条件（４）の一定の範囲内のフレーム４乃至１３が、区間選択部１６０により画像合成対象区間候補５００と判定される。すなわち、区間選択部１６０は、上記条件（４）の一定の範囲内に含まれる各フレームの信頼度判定スコアＳＨＳが閾値ＴＨ１以上となる連続するフレームを画像合成対象区間候補として抽出する。
続いて、区間選択部１６０は、画像合成対象区間候補に含まれる各フレームの変化率（カメラワークの各成分）が、以下の条件（１１）乃至（１７）を満たすか否かを判定する。
（１１）ＸＺｔｈ１＜ＸＺ＜ＸＺｔｈ２
（１２）ＹＺｔｈ１＜ＹＺ＜ＹＺｔｈ２
（１３）ＸＴ＜ＸＴｔｈ
（１４）ＹＴ＜ＹＴｔｈ
（１５）ＸＲ＜ＸＲｔｈ
（１６）ＹＲ＜ＹＲｔｈ
（１７）｜ＸＲ−ＹＲ｜＜ＡＤＲｔｈ
ここで、ＸＺはカメラワークのＸ方向のズーム成分を示し、ＹＺはカメラワークのＹ方向のズーム成分を示す。また、ＸＴはカメラワークのＸ方向の並進成分を示し、ＹＴはカメラワークのＹ方向の並進成分を示す。また、ＸＲはカメラワークのＸ方向の回転成分を示し、ＹＲはカメラワークのＹ方向の回転成分を示す。また、ＸＺｔｈ１、ＸＺｔｈ２、、ＹＺｔｈ１、ＹＺｔｈ２、ＸＴｔｈ、ＹＴｔｈ、ＸＲｔｈ、ＹＲｔｈ、ＡＤＲｔｈは、閾値を示す。
ここで、閾値ＸＺｔｈ１、ＹＺｔｈ１として、例えば、０．７〜０．９の値を設定することができる。また、閾値ＸＺｔｈ２、ＹＺｔｈ２として、例えば、１．１〜１．３の値を設定することができる。また、閾値ＸＴｔｈとして、例えば、Ｗ／２０〜Ｗ／５の値を設定することができる。なお、Ｗは、対象となる画像の水平方向の画素数を示す値である。また、閾値ＹＴｔｈとして、例えば、Ｈ／２０〜Ｈ／５の値を設定することができる。なお、Ｈは、対象となる画像の垂直方向の画素数を示す値である。また、閾値ＸＲｔｈ、ＹＲｔｈとして、例えば、３ｄｅｇ〜５ｄｅｇを設定することができる。また、閾値ＡＤＲｔｈとして、例えば、０．５ｄｅｇ〜１．０ｄｅｇを設定することができる。
信頼度判定スコアに基づいて抽出された画像合成対象区間候補に含まれる各フレームのカメラワークの各成分が、条件（１１）乃至（１７）を満たす場合には、条件（２）および（３）を満たすか否かが判定される。一方、その画像合成対象区間候補に含まれる各フレームのカメラワークの各成分が、条件（１１）乃至（１７）を満たさない場合には、その画像合成対象区間候補は画像合成対象区間と判定されない。
図２５は、本発明の第１の実施の形態におけるカメラワーク検出部１２０により算出されたアフィン変換パラメータを用いて算出される積算ズーム成分を時系列で示す図である。図２５（ａ）には、積算ズーム成分の算出対象となったフレームを矩形で模式的に示す。なお、図２５（ａ）に示すフレーム１乃至１５は、図２４（ａ）に示すものと同じである。
図２５（ｂ）には、図２５（ａ）に示すフレーム１乃至１５について算出された水平方向（Ｘ方向）の積算ズーム成分をフレーム毎に表すグラフを示す。図２５（ｂ）に示すグラフにおいて、横軸は撮像時刻を示す軸であり、縦軸は各フレームについて算出された積算ズーム成分の値を示す軸である。この積算ズーム成分は、１つのフレームを基準フレームとして、この基準フレームから対象フレームまでのそれぞれに関連付けられているアフィン変換パラメータのアフィン行列の乗算により算出されたアフィン行列のズーム成分の値である。なお、基準フレームに関連付けられているアフィン変換パラメータは、単位行列の値とする。すなわち、基準フレームの積算ズーム成分の値は１．０であり、対象フレームの積算ズーム成分の値は、基準フレームに対する相対的な値となる。また、この積算ズーム成分は、カメラワークのＸ方向のズーム成分およびＹ方向のズーム成分について算出される。なお、図２５に示す例では、Ｘ方向のズーム成分について算出された積算ズーム成分を一例として示す。
図２５（ｂ）に示すグラフにおいて、各フレームについて算出された積算ズーム成分を白抜きの丸で示す。また、画像合成対象区間候補５００に含まれる各フレームについて算出された積算ズーム成分を示す白抜きの丸のうち、先頭のフレームに対応する白抜きの丸を積算ズーム成分５０１として示す。また、画像合成対象区間候補５００に含まれる各フレームについて算出された積算ズーム成分を示す白抜きの丸のうち、最大値を示す白抜きの丸を積算ズーム成分５０２とし、最小値を示す白抜きの丸を積算ズーム成分５０３として示す。なお、図２５（ｂ）に示すグラフの横軸では、撮像時刻に応じた各フレーム番号を示す。また、図２５（ｂ）に示すグラフの縦軸では、最大値を示す積算ズーム成分５０２の値をＭ２とし、最小値を示す積算ズーム成分５０３の値をＭ１として示す。
ここで、条件（２）に用いられるズーム率は、積算ズーム成分の最大値と最小値との比を示す値である。この条件（２）は、画像合成対象区間候補に含まれる各フレームに対するズーム率が、一定範囲内にあるか否かに基づいて判定される。この一定範囲は、例えば、以下で示すように、閾値ＸＺｔｈ２未満の範囲とすることができる。
ＸＺｍ１／ＸＺｍ２＜ＸＺｔｈ２
ここで、ＸＺｍ１は、画像合成対象区間候補に含まれる各フレームについて算出されたＸ方向の積算ズーム成分のうち最大の値であり、ＸＺｍ２は、その積算ズーム成分のうち最小の値である。なお、閾値ＸＺｔｈ２として、例えば、１．５〜３．０の値を設定することができる。また、Ｙ方向のズーム成分について算出されたズーム率についても、以下に示す式を満たすか否かに基づいて判定することができる。
ＹＺｍ１／ＹＺｍ２＜ＹＺｔｈ２
ここで、ＹＺｍ１は、画像合成対象区間候補に含まれる各フレームについて算出されたＹ方向の積算ズーム成分のうち最大の値であり、ＹＺｍ２は、その積算ズーム成分のうち最小の値である。なお、閾値ＹＺｔｈ２として、例えば、１．５〜３．０の値を設定することができる。
条件（１１）乃至（１７）を満たす画像合成対象区間候補に含まれる各フレームについて算出されたＸ方向およびＹ方向のズーム率が、条件（２）を満たす場合には、条件（３）を満たすか否かが判定される。一方、その画像合成対象区間候補に含まれる各フレームについて算出されたＸ方向およびＹ方向のズーム率が、条件（２）を満たさない場合には、その画像合成対象区間候補は画像合成対象区間と判定されない。
図２６は、本発明の第１の実施の形態におけるカメラワーク検出部１２０により算出されたアフィン変換パラメータを用いて算出される積算並進成分を時系列で示す図である。図２６（ａ）には、積算並進成分の算出対象となったフレームを矩形で模式的に示す。なお、図２６（ａ）に示すフレーム１乃至１５は、図２４（ａ）に示すものと同じである。
図２６（ｂ）には、図２６（ａ）に示すフレーム１乃至１５について算出された水平方向（Ｘ方向）の積算並進成分をフレーム毎に表すグラフを示す。図２６（ｂ）に示すグラフにおいて、横軸は撮像時刻を示す軸であり、縦軸は各フレームについて算出された積算並進成分の値を示す軸である。この積算並進成分は、１つのフレームを基準フレームとして、この基準フレームから対象フレームまでのそれぞれに関連付けられているアフィン変換パラメータのアフィン行列の乗算により算出されたアフィン行列の並進成分の値である。なお、基準フレームに関連付けられているアフィン変換パラメータは、単位行列の値とする。すなわち、基準フレームの積算並進成分の値は０．０であり、対象フレームの積算並進成分の値は、基準フレームに対する相対的な値となる。また、この積算並進成分は、カメラワークのＸ方向の並進成分およびＹ方向の並進成分について算出される。なお、図２６に示す例では、Ｘ方向の並進成分について算出された積算並進成分を一例として示す。
図２６（ｂ）に示すグラフにおいて、各フレームについて算出された積算並進成分を白抜きの丸で示す。また、画像合成対象区間候補５００に含まれる各フレームについて算出された積算並進成分を示す白抜きの丸を太線で示す。なお、図２６（ｂ）に示すグラフの横軸では、撮像時刻に応じた各フレーム番号を示す。また、図２６（ｂ）に示すグラフの縦軸では、条件（２）に用いられる閾値ＸＴｔｈ２および−ＸＴｔｈ２を示す。
ここで、条件（３）は、水平方向または垂直方向へ一定画素数以上移動しているか否かに基づいて判定される。すなわち、パンニングおよびチルチングの少なくとも１つが比較的大きいか否かに基づいて判定される。例えば、以下で示すように、積算並進成分ＸＴ１の絶対値が、閾値ＸＴｔｈ２を超えているか否かに基づいて判定される。
｜ＸＴ１｜＞ＸＴｔｈ２
ここで、閾値ＸＴｔｈ２として、例えば、３Ｗ〜１０Ｗの値を設定することができる。なお、Ｗは、画像の水平方向の画素数を示す値である。また、Ｙ方向の積算並進成分ＹＴ１についても、以下に示す式を満たすか否かに基づいて判断することができる。
｜ＹＴ１｜＞ＹＴｔｈ２
ここで、閾値ＹＴｔｈ２として、例えば、３Ｈ〜１０Ｈの値を設定することができる。なお、Ｈは、画像の垂直方向の画素数を示す値である。
例えば、図２６に示す例では、画像合成対象区間候補５００に含まれるフレーム１２および１３について算出されたＸ方向の積算並進成分の値が閾値ＸＴｔｈ２を超えている。すなわち、図２６に示す例では、画像合成対象区間候補５００に含まれる各フレームについて算出されたＸ方向の積算並進成分の絶対値が閾値ＸＴｔｈ２を超えているため、条件（３）を満たすと判定される。また、画像合成対象区間候補に含まれる各フレームについて算出されたＹ方向の積算並進成分の絶対値が閾値ＸＴｔｈ２を超えている場合でも、条件（３）を満たすと判定される。このように、条件（３）を満たすと判断された画像合成対象区間候補については、区間選択部１６０が、画像合成対象区間として選択する。一方、その画像合成対象区間候補に含まれる各フレームについて算出されたＸ方向およびＹ方向の何れの積算並進成分も、条件（３）を満たさない場合には、その画像合成対象区間候補は画像合成対象区間と判定されない。
以上では、条件（１）および（４）を満たす画像合成対象区間候補に含まれる各フレームについて、条件（１１）乃至（１７）を満たすか否かを判定する。そして、条件（１１）および（１７）を満たす画像合成対象区間候補に含まれる各フレームについて、条件（２）および（３）を満たすか否かを判定する例を示した。しかしながら、これらの判定は、異なる順序で行うようにしてもよい。また、条件（１）乃至（４）、条件（１１）乃至（１７）のうち、何れかの判定条件を省略するようにしてもよい。また、例えば、画像合成対象区間候補に含まれる各フレームについて、他の判定条件を用いて画像合成対象区間を選択するようにしてもよい。例えば、積算回転成分を用いて回転率が少ないことを判定条件とするようにしてもよい。
このように選択された画像合成対象区間に含まれるフレームの全てを用いて合成画像を作成することができる。しかしながら、例えば、同一の撮影場所において、比較的広範囲の空間が撮像された複数の静止画像を貼り合わせたような合成画像を作成することにより、動画の再生では味わうことができない面白みをユーザに提供することができると考えられる。すなわち、動画の再生では味わうことができないパノラマ風の静止画の合成画像（例えば、写真を貼り合わせたような画像）をユーザに提供することができる。そこで、本発明の第１の実施の形態では、画像合成対象区間に含まれる各フレームから、合成画像の作成に用いられるフレームをさらに選択する。ここで、本発明の第１の実施の形態では、画像合成対象区間において、顔が含まれる画像を優先的に選択して、この画像を最前面フレームとして選択し、この最前面フレームとの重複率に基づいて、他のフレームを選択する例について説明する。また、顔が含まれる画像が複数存在する場合には、複数の顔のうちの笑顔の度合いを示す表情評価値（笑顔スコア）が最も高い画像を最前面フレームとして選択することができる。なお、表情評価値以外に、例えば、ボケ具合評価値等を判定に用いてもよい。
図２７は、本発明の第１の実施の形態における区間選択部１６０により選択された画像合成対象区間に含まれる画像を時系列で模式的に示す図である。図２７（ａ）には、静止している犬、人物および車を被写体として、カメラのレンズの方向を水平方向に移動しながら、撮影者が撮影を行った場合における画像の遷移を示す。図２７（ｂ）には、木および山を被写体として、カメラのレンズの方向を水平方向に移動しながら、撮影者が撮影を行った場合における画像の遷移を示す。なお、図２７に示す各画像は、説明のため、簡略化するとともに、連続する２つのフレーム間の移動量を大きくして示している。
図２７（ａ）に示す画像５１１乃至５１８のうちで、画像５１２乃至５１５には人物の顔が含まれている。また、画像５１２乃至５１５に含まれる顔のうちで、画像５１３に含まれる顔について算出された表情評価値が最も高い値であるものとする。区間選択部１６０により選択された画像合成対象区間に含まれる画像に顔が含まれている場合には、合成対象画像選択部１７０が、顔が含まれる画像を最前面フレームとして選択する。また、図２７（ａ）に示すように、複数の画像に顔が含まれている場合には、これらの顔について算出された表情評価値の最も高い顔を含む画像が、最前面フレームとして選択される。図２７（ａ）に示す例では、画像５１３が選択される。
また、図２７（ｂ）に示す画像５２１乃至５２８には、人物の顔が含まれていない。このように、区間選択部１６０により選択された画像合成対象区間に含まれる画像に顔が含まれていない場合には、合成対象画像選択部１７０が、画像合成対象区間に含まれる画像のうちの時間軸における先頭の画像を最前面フレームとして選択する。図２７（ｂ）に示す例では、画像合成対象区間に含まれる先頭フレームに対応する画像５２１が選択される。
このように、画像合成対象区間から選択された最前面フレームを基準フレームとし、この基準フレームに基づいて他のフレームを選択する。本発明の第１の実施の形態では、画像合成対象区間に含まれる画像間における重複領域に基づいて、フレームを選択する例について説明する。
図２８は、本発明の第１の実施の形態における合成対象画像選択部１７０により合成対象画像を選択する場合における選択方法を模式的に示す図である。この例では、２つのワークバッファを用いて、最前面フレームに対する他のフレームを選択する場合を例にして説明する。
第１ワークバッファ５３１および第２ワークバッファ５３２は、画像を構成する各画素を１ビットで表すワークバッファである。すなわち、第１ワークバッファ５３１および第２ワークバッファ５３２に画像を貼り付ける場合には、貼り付け位置のビットが立てられる。また、第１ワークバッファ５３１には、選択された画像が合成画像として貼り付けられ、第２ワークバッファ５３２には、選択の判定対象となる１つの画像がアフィン変換されて貼り付けられる。そして、第１ワークバッファ５３１に張り付けられた合成画像と、第２ワークバッファ５３２に貼り付けられた画像との重複部分が算出される。ここで、算出された重複部分の領域の面積を面積Ｃとし、第１ワークバッファ５３１に張り付けられた合成画像の面積を面積Ａとし、第２ワークバッファ５３２に貼り付けられた画像の面積を面積Ｂとする。この場合に、面積Ｃ／面積Ａの値と、面積Ｃ／面積Ｂの値とが算出され、この２つの値のうちで大きい値が重複率として算出される。
続いて、算出された重複率が閾値を下回った場合に、その画像を選択する。この閾値として、例えば、６０％を設定することができる。そして、算出された重複率が閾値を下回った画像については、合成対象画像として選択されるとともに、第１のワークバッファ５３１に貼り付けられる。そして、次のフレームについて、同様の判定処理が行われる。
例えば、図２８（ａ）に示す第１ワークバッファ５３１には、最前面フレームとして選択された画像５３４と、次に選択された画像５３５との合成画像が貼り付けられているものとする。また、画像５３４および５３５により作成された合成画像の領域を実線で示す。また、図２８（ａ）に示す第２ワークバッファ５３２には、判定対象となる画像５３６が貼り付けられているものとする。また、画像５３６の領域を実線の矩形で示す。ここで、判定対象となる画像については、図２８（ａ）に示す第１ワークバッファ５３１に貼り付けられた最前面フレーム（画像５３４）の位置を基準として、アフィン変換された後に第２ワークバッファ５３２に貼り付けられる。このアフィン変換は、メタデータ記憶部２１０に記憶されているアフィン変換パラメータを用いて行われる。なお、図２８に示す例では、画像５３６は位置のみが変換され、角度および大きさは変換されていない例を示す。
続いて、図２８（ｂ）に示すように、第１ワークバッファ５３１に貼り付けられた合成画像（画像５３４および５３５の合成画像）と、第２ワークバッファ５３２に張り付けられた画像５３６との重複部分５３８が算出される。なお、図２８（ｂ）に示すワークバッファ範囲５３３は、第１ワークバッファ５３１および第２ワークバッファ５３２に対応する大きさを示す範囲である。このワークバッファ範囲５３３において、算出された重複部分５３８については内部に斜線を付した矩形で示し、他の画像部分については点線で示す。ここで、算出された重複部分５３８の面積を面積Ｃ１とし、第１ワークバッファ５３１に張り付けられた合成画像（画像５３４および５３５の合成画像）の面積を面積Ａ１とし、第２ワークバッファ５３２に貼り付けられた画像５３６の面積を面積Ｂ１とする。この場合には、面積Ｂ１の値よりも面積Ａ１の値が大きいため、面積Ｃ１／面積Ａ１の値よりも、面積Ｃ１／面積Ｂ１の値が大きくなる。このため、面積Ｃ１／面積Ｂ１の値が重複率として算出される。
続いて、算出された重複率（面積Ｃ１／面積Ｂ１の値）が閾値を下回った場合に、画像５３６が合成対象画像として選択される。このように合成対象画像が選択された場合には、最前面フレームから現在のフレームまでのアフィン変換パラメータのアフィン行列を乗算した行列の値が算出される。ここで、最前面フレームのアフィン変換パラメータについては、単位行列の値が用いられる。そして、算出された行列のアフィン変換パラメータと、選択された合成対象画像のフレーム番号および顔データとが合成対象画像メタデータ記憶部２７０に記録される。なお、最前面画像として選択された合成対象画像については、これらの情報ともに、最前面フレームを示す情報が合成対象画像メタデータ記憶部２７０に記録される。
また、画像５３６が合成対象画像として選択された場合には、図２８（ｃ）に示すように、第１のワークバッファ５３１に画像５３６が貼り付けられる。すなわち、第１のワークバッファ５３１に画像５３４乃至５３６の合成画像が貼り付けられる。そして、図２８（ｄ）に示すように、次の画像５３７について判定処理が同様に行われる。一方、算出された重複率が閾値を下回らなかった場合には画像５３６が選択されず、第１のワークバッファ５３１に画像５３６が貼り付けられない。この場合には、次の画像と、画像５３４および５３５との間で判定処理が行われる。
なお、この例では、２つのワークバッファを用いて重複率を順次算出して合成対象画像を選択する例を示すが、メタデータ記憶部２１０に記憶されているアフィン変換パラメータのみを用いて重複率を算出して合成対象画像を選択するようにしてもよい。
図２９は、本発明の第１の実施の形態における区間選択部１６０および合成対象画像選択部１７０による判定対象となる動画について時系列で模式的に示す図である。図２９（ａ）には、動画記憶部２００に記憶されている動画ファイルである動画ファイル５４０を構成するフレームを模式的に示す。図２９（ｂ）には、動画ファイル５４０について選択された画像合成対象区間の集合である画像合成対象区間群５４１を示す。図２９（ｃ）には、動画ファイル５４０を構成する各フレームについて顔が検出された区間を示す顔検出区間の集合である顔検出区間群５４４を示す。図２９（ｄ）には、動画ファイル５４０を構成する各フレームについて検出された顔が笑顔と判定された区間を示す笑顔検出区間の集合である笑顔検出区間群５４６を示す。図２９（ｅ）には、画像合成対象区間において選択された最前面フレームと、この最前面フレームを基準フレームとして他のフレームを探索する方向である探索方向５４８を示す。図２９（ｆ）には、動画ファイル５４０について選択されたフレーム（合成対象画像）の集合である選択フレーム群５５４を示す。なお、動画ファイル５４０を構成する各フレームについては、内部にフレーム番号を付した矩形で示す。また、各区間については、内部に斜線を付した矩形で示す。また、図２９（ｅ）では、最前面フレームを白抜きの丸で示し、この最前面フレームからの探索方向を矢印で示す。
例えば、動画ファイル５４０について区間選択部１６０により画像合成対象区間５４２および５４３が選択されたものとする。さらに、画像合成対象区間５４２に含まれる各フレームのうちで顔検出区間５４５において顔が検出されたものとする。また、顔検出区間５４５に含まれる各フレームのうちで笑顔検出区間５４７において表情評価値が一定値以上であり、笑顔であると判定されたものとする。この例では、笑顔検出区間５４７に含まれる各フレームのうちで、最も表情評価値が高い値のフレームをフレームｈとする。この場合には、画像合成対象区間５４２において、フレームｈが最前面フレーム５４９として選択される。そして、時間軸において前側の探索方向である探索方向５５０と、時間軸において後側の探索方向である探索方向５５１とに向かって、フレームの選択処理が行われる。この選択方法は、図２８に示す選択方法と同様である。この場合に、例えば、フレームｇ＋２、…、ｈ、…、ｈ＋ｍ、…、ｉが選択されたものとする。
また、画像合成対象区間５４３に含まれる各フレームにおいては、顔が検出されなかったものとする。この場合には、画像合成対象区間５４３に含まれる各フレームのうちで、時間軸において最も前側のフレームｊ＋１が最前面フレーム５５２として選択される。そして、時間軸において後側の探索方向である探索方向５５３に向かってフレームが選択される。この選択方法は、図２８に示す選択方法と同様である。この場合に、例えば、フレームｊ＋１、…、ｊ＋ｎ、…、ｋ−３が選択されたものとする。
このように、１つの動画ファイルについて、１または複数の画像合成対象区間が選択され、この画像合成対象区間から複数のフレームが選択される。このように選択された複数のフレームを用いて合成画像が作成される。
このように、選択された画像合成対象区間の識別番号と、選択された各フレーム番号とが関連付けて合成対象画像メタデータ記憶部２７０に記録される。同時に、算出されたアフィン変換パラメータと、最前面フレームを示す最前面フレーム情報と、フレームについて検出された顔に関するデータである顔データとが関連付けて合成対象画像メタデータ記憶部２７０に記録される。そして、合成対象画像メタデータ記憶部２７０に記憶されている各情報を用いて、ユーザ操作により、合成画像を表示させることができる。例えば、画像合成対象区間５４２において選択されたフレームｇ＋２、…、ｈ、…、ｈ＋ｍ、…、ｉの合成画像を表示させることができる。また、画像合成対象区間５４３において選択されたフレームｊ＋１、…、ｊ＋ｎ、…、ｋ−３の合成画像を表示させることができる。
ここで、例えば、動画を構成する複数のフレームに顔が含まれている場合に、各顔について算出された各表情評価値が一定値よりも低い場合には、顔検出情報に含まれる位置および大きさ等を用いて最前面フレームを選択するようにしてもよい。例えば、検出された顔の位置が中心寄りであるとともに、そのサイズが比較的大きい画像を最前面フレームとして選択することができる。
［画像合成例］
次に、実際にカメラにより撮影された動画について選択された合成対象画像および合成対象画像の合成例を示す。
図３０は、カメラにより撮影された動画について選択された合成対象画像の一例を示す図である。図３０では、岩場のある山の斜面を背景して立っている女性を、カメラを移動させながら撮影した場合における動画について選択された画像５６１乃至５６８を示す。この動画は、時間軸において前側のフレームに対応する画像を画像５６１とし、矢印方向に沿って時系列で撮像されたものとする。また、被写体の女性の位置が画像のほぼ真中であり、笑顔となっている画像５６６が最前面フレームとして選択されているものとする。
図３１および図３２は、本発明の第１の実施の形態における画像合成部２２０により作成される合成画像の遷移を示す図である。図３１および図３２に示す画像５７１乃至５７８は、図３０に示す画像５６１乃至５６８の周縁に白枠を付した画像であり、白枠を付した点以外は、画像５６１乃至５６８と同一である。
例えば、最前面フレームとして選択されている画像５７６を基準として、他の画像５６１乃至５７５、５７７、５６８に関連付けられているアフィン変換パラメータを用いて、画像５７１乃至５７８について作成される合成画像の大きさが算出される。このように算出された合成画像の大きさに基づいて、最前面フレームの位置および大きさが算出される。そして、この最前面フレームの位置および大きさに基づいて、他の画像が順次アフィン変換され、画像メモリ２３０に合成される。例えば、図３１（ａ）乃至（ｄ）および図３２（ａ）に示すように、同一の画像合成対象区間において選択されたフレームのうちで、先頭のフレームから最前面画像の直前のフレームまでが時系列で順次合成される。すなわち、画像５７１乃至５７５が順次合成される。続いて、例えば、図３２（ｂ）および（ｃ）に示すように、同一の画像合成対象区間において選択されたフレームのうちで、最後のフレームから最前面画像の直前のフレームまでが時系列で順次合成される。すなわち、画像５７７および５７８が順次合成される。続いて、例えば、図３２（ｄ）に示すように、同一の画像合成対象区間において選択された最前面画像５７６が合成される。このように、同一の画像合成対象区間において選択された各フレームについて、時間軸において最前のフレームおよび最後のフレームのそれぞれから画像を重ねていき、最後に最前面フレームとして選択された画像を上書きする。これにより、最前面フレームとして選択された画像が一番上側に表示され、綺麗な合成画像を作成することができる。
このように、合成対象画像メタデータ記憶部２７０に記憶されているメタデータファイルを用いて、動画を構成する一部の画像を合成して、その動画に含まれる１シーンを表すパノラマ風の合成画像を作成することができる。この場合に、動画を構成する連続するフレームの全てを用いることなく、一定条件を満たすフレームに白枠を付して合成するため、写真を貼り合わせたような合成画像を表示させることができる。この場合には、通常の動画再生に閲覧することができる画像とは全く異なる面白みのある画像を提供することができる。また、動画に含まれる各シーンについてパノラマ風の合成画像を自動で表示させることができるため、ユーザはその動画がどのようなシーンにより構成されているのかを容易に把握することができる。また、重点的に撮影されたシーンを表示させることができるため、ユーザに有意義な画像を提供することができる。また、人物の笑顔の画像を最前面画像とし、この画像に基づいて合成対象となる他の画像を選択するため、その笑顔の人物を引き立たせるようなパノラマ合成画像を提供することができる。
以上では、最前面フレームとして選択された画像を一番前に上書き合成する例を示したが、例えば、次図に示すように、ユーザ選択により時刻順に上書き合成をするようにしてもよい。
図３３は、本発明の第１の実施の形態における画像合成部２２０により作成される合成画像の他の合成例を示す図である。図３３（ａ）には、画像合成部２２０により作成され、表示部２５０に表示される合成画像の表示方法を選択する表示方法選択画面５８０を示す。この表示方法選択画面５８０には、チェック欄５８１および５８２と、「パノラマ風合成画像表示」ボタン５８３と、「キャンセル」ボタン５８４とが設けられている。
チェック欄５８１は、図３１および図３２に示すように、最前面フレームを一番上側に重ねて合成して表示する表示方法を選択するためのチェック欄である。チェック欄５８２は、図３３（ｂ）に示すように、時系列の順序で各フレームを重ねながら合成して表示する表示方法を選択するためのチェック欄である。これらのチェック欄にチェック印を付す操作入力は、カーソル５８５を用いて行われる。
「パノラマ風合成画像表示」ボタン５８３は、合成画像を表示部２５０に表示させる際に押下されるボタンである。すなわち、チェック欄５８１および５８２の何れかにチェック印が付された後に、カーソル５８５を用いて「パノラマ風合成画像表示」ボタン５８３を押下することにより、チェック印が付された合成方法により合成された画像が順次表示される。
「キャンセル」ボタン５８４は、チェック欄５８１および５８２の何れかに付されたチェック印を消去する場合に押下されるボタンである。
例えば、チェック欄５８１にチェック印が付された状態で、「パノラマ風合成画像表示」ボタン５８３が押下された場合には、図３１および図３２に示すように、最前面フレームの両側のフレームから順次合成が行われ、最前面フレームが一番上側に重ねて合成される。また、チェック欄５８２にチェック印が付された状態で、「パノラマ風合成画像表示」ボタン５８３が押下された場合には、図３３（ｂ）に示すように、時系列の順序で各フレームを重ねながら合成して表示される。
図３３（ｂ）には、画像５７１乃至５７８を合成する場合に、時系列の順序で合成された場合を示す。なお、画像５７１乃至５７８は、図３１および図３２に示す画像５７１乃至５７８と同様である。このように、時系列の順序で画像を合成した場合には、表示されている合成画像により、撮像時間を明確に把握することができる。しかしながら、例えば、最前面フレームとして選択された画像５７６に含まれる人物の近くの領域まで次の画像が上書きされるため、その人物が隠れてしまうおそれがある。そこで、例えば、画像５７６に関連付けて合成対象画像メタデータ記憶部２７０に記憶されている顔データを用いて、顔領域から一定範囲に他の画像が重ならないようにすることができる。
図３３（ｃ）には、最前面フレームに対応する画像５７６に含まれる顔の領域５８６から一定範囲（例えば、距離Ｌ１）内に上書きされた画像を移動させる場合を概略的に示す。例えば、図３３（ｃ）に示すように、画像５７１乃至５７８を時系列で通常の合成をする場合には、画像５７６に含まれる顔の領域５８６から距離Ｌ１内に画像５７７が上書きされる。そこで、図３３（ｃ）に示すように、画像５７６に含まれる顔の領域５８６から距離Ｌ１以上離れるように、矢印５８７方向に、画像５７７を移動させる。このように最前面画像の上側に重ねられる画像を移動させた場合には、移動された画像以降の画像についても同様の距離を移動させる。すなわち、画像５７７と同様の距離を、画像５７８を移動させる。これにより、例えば、図３３（ｃ）に示すように、画像５７６に含まれる人物の顔の周りが見えて、合成画像をさらに楽しむことができる。
また、１または複数の動画に関する合成画像を予め作成して記憶しておき、この記憶されている各合成画像をユーザ操作に基づいて表示させるようにしてもよい。また、合成画像の合成の遷移を画像毎に順次記憶しておき、これらの遷移を順次表示させるようにしてもよい。
［画像処理装置の動作例］
次に、本発明の第１の実施の形態における画像処理装置１００の動作について図面を参照して説明する。
図３４は、本発明の第１の実施の形態における画像処理装置１００による合成対象画像のメタデータ記録処理の処理手順を示すフローチャートである。
最初に、区間選択部１６０が、区間抽出処理を行う（ステップＳ９３０）。この区間抽出処理については、図３５を参照して詳細に説明する。続いて、合成対象画像選択部１７０が、フレーム選択処理を行う（ステップＳ９５０）。このフレーム選択処理については、図３６を参照して詳細に説明する。なお、ステップＳ９３０およびＳ９５０は、特許請求の範囲に記載の選択手順の一例である。
図３５は、本発明の第１の実施の形態における画像処理装置１００による合成対象画像のメタデータ記録処理の処理手順のうちの区間抽出処理手順（図３４に示すステップＳ９３０の処理手順）を示すフローチャートである。
最初に、変数ｔが「１」に初期化され（ステップＳ９３１）、動画ファイルを構成するフレームｔが基準フレームとして設定される（ステップＳ９３２）。続いて、フレームｔに対応するアフィン変換パラメータおよび信頼度判定スコアが、メタデータ記憶部２１０に記憶されているメタデータファイルから取得される（ステップＳ９３３）。
続いて、基準フレームからフレームｔまでの経過時間Ｔが算出され（ステップＳ９３４）、経過時間Ｔが閾値ＴＭ１を超えているか否かが判断される（ステップＳ９３５）。経過時間Ｔが閾値ＴＭ１を超えている場合には（ステップＳ９３５）、ステップＳ９４６に進む。一方、経過時間Ｔが閾値ＴＭ１を超えていない場合には（ステップＳ９３５）、フレームｔに対応する信頼度判定スコアＳＨＳが、閾値ＴＨ１を超えているか否かが判断される（ステップＳ９３６）。フレームｔに対応する信頼度判定スコアＳＨＳが、閾値ＴＨ１を超えている場合には（ステップＳ９３６）、フレームｔに対応するアフィン変換パラメータからカメラワークの各成分が算出される（ステップＳ９３７）。続いて、カメラワークの各成分の全ての値が閾値の範囲内であるか否かが判断される（ステップＳ９３８）。カメラワークの各成分の全ての値が閾値の範囲内である場合には（ステップＳ９３８）、基準フレームからフレームｔまでの各フレームに対応するズーム率が算出される（ステップＳ９３９）。
続いて、算出されたズーム率が閾値の範囲内であるか否かが判断される（ステップＳ９４０）。算出されたズーム率が閾値の範囲内である場合には（ステップＳ９４０）、基準フレームからフレームｔまでの各フレームに対応する移動量（積算並進成分）が算出される（ステップＳ９４１）。続いて、算出された移動量が閾値の範囲内であるか否かが判断される（ステップＳ９４２）。算出された移動量が閾値の範囲内である場合には（ステップＳ９４２）、対象となっている動画ファイルを構成するフレームの中で、フレームｔが最後のフレームであるか否かが判断される（ステップＳ９４３）。フレームｔが最後のフレームではない場合には（ステップＳ９４３）、変数ｔに「１」が加算され（ステップＳ９４４）、ステップＳ９３３に戻り、区間選択処理を繰り返す。一方、フレームｔが最後のフレームである場合には（ステップＳ９４３）、区間選択処理を終了する。
また、フレームｔに対応する信頼度判定スコアＳＨＳが閾値ＴＨ１を超えていない場合（ステップＳ９３６）、または、カメラワークの各成分の全ての値が閾値の範囲内でない場合には（ステップＳ９３８）、ステップＳ９４５に進む。また、算出されたズーム率が閾値の範囲内でない場合（ステップＳ９４０）、または、算出された移動量が閾値の範囲内でない場合には（ステップＳ９４２）、ステップＳ９４５に進む。
続いて、経過時間Ｔが画像合成対象区間範囲ＴＭ２以下であるか否かが判断される（ステップＳ９４５）。経過時間Ｔが画像合成対象区間範囲ＴＭ２以下でない場合には（ステップＳ９４５）、基準フレームからフレームｔまでの区間が画像合成対象区間として選択される（ステップＳ９４６）。一方、経過時間Ｔが画像合成対象区間範囲ＴＭ２以下である場合には（ステップＳ９４５）、変数ｔに「１」が加算され（ステップＳ９４４）、ステップＳ９３２に戻り、区間選択処理を繰り返す。
図３６は、本発明の第１の実施の形態における画像処理装置１００による合成対象画像のメタデータ記録処理の処理手順のうちのフレーム選択処理手順（図３４に示すステップＳ９５０の処理手順）を示すフローチャートである。
最初に、区間選択部１６０により選択された１つの画像合成対象区間に含まれる各フレームに対応するアフィン変換パラメータ、顔検出情報および表情評価値が、メタデータ記憶部２１０に記憶されているメタデータファイルから取得される（ステップＳ９５１）。続いて、取得された画像合成対象区間に含まれる各フレームに対応するアフィン変換パラメータを用いて各フレームに対応する画像を合成する際に必要な大きさが算出され、この大きさのワークバッファが２つ確保される（ステップＳ９５２）。
続いて、取得された顔検出情報に基づいて、選択対象となる画像合成対象区間に含まれる各フレームに対応する画像に顔が含まれているか否かが判断される（ステップＳ９５３）。各フレームに対応する画像に顔が含まれている場合には（ステップＳ９５３）、顔が含まれる各画像に対応する表情評価値のうちで最も値が高い画像が最前面フレームとして選択される（ステップＳ９５４）。一方、各フレームに対応する画像に顔が含まれていない場合には（ステップＳ９５３）、画像合成対象区間に含まれるフレームのうちの先頭フレームが最前面フレームとして選択される（ステップＳ９５５）。
続いて、選択された最前面フレームが第１ワークバッファに貼り付けられ（ステップＳ９５６）、選択された最前面フレームに関する各メタデータが合成対象画像メタデータ記憶部２７０に記録される（ステップＳ９５７）。続いて、選択された最前面フレームと、この最前面フレームの何れかの方向に隣接するフレームとの重複率が算出される（ステップＳ９５８）。すなわち、重複率の算出対象となるフレームが第２ワークバッファに貼り付けられ、第１ワークバッファに貼り付けられている最前面フレームとの重複率が算出される。
続いて、算出された重複率が閾値以下であるか否かが判断される（ステップＳ９５９）。算出された重複率が閾値以下である場合には（ステップＳ９５９）、その重複率の算出対象となったフレームが選択され、選択されたフレームが第１のワークバッファに貼り付けられる（ステップＳ９６０）。続いて、選択されたフレームに関する各メタデータが合成対象画像メタデータ記憶部２７０に記録され（ステップＳ９６１）、ステップＳ９６１に進む。
一方、算出された重複率が閾値以下でない場合には（ステップＳ９５９）、選択対象となる画像合成対象区間に含まれる各フレームについて重複率の算出が終了したか否かが判断される（ステップＳ９６２）。各フレームについて重複率の算出が終了していない場合には（ステップＳ９６２）、直前に重複率が算出されたフレームに隣接するフレームの重複率が算出される（ステップＳ９６４）。すなわち、重複率の算出対象となるフレームが第２ワークバッファに貼り付けられ、第１ワークバッファに貼り付けられている合成画像との重複率が算出される。なお、直前に重複率が算出されたフレームが、画像合成対象区間の先頭フレームまたは最後のフレームである場合には、最前面フレームの他の方向に隣接するフレームの重複率が算出される。
選択対象となる画像合成対象区間に含まれる各フレームについて重複率の算出が終了した場合には（ステップＳ９６２）、区間選択部１６０により選択された全ての画像合成対象区間についてフレーム選択処理が終了したか否かが判断される（ステップＳ９６３）。全ての画像合成対象区間についてフレーム選択処理が終了していない場合には（ステップＳ９６３）、ステップＳ９５１に戻り、フレーム選択処理を繰り返す（ステップＳ９５１乃至Ｓ９６４）。一方、全ての画像合成対象区間についてフレーム選択処理が終了した場合には（ステップＳ９６３）、フレーム選択処理の動作を終了する。
図３７は、本発明の第１の実施の形態における画像処理装置１００による合成画像表示処理の処理手順を示すフローチャートである。この例では、最前面フレームを一番上側に重ねて合成する例を示す。また、この例では、動画記憶部２００に記憶されている動画ファイルに関する合成画像を順次表示させる例について説明する。
最初に、ファイル取得部１８０が、合成対象画像メタデータ記憶部２７０に記憶されている各メタデータを取得する（ステップＳ９７０）。続いて、ファイル取得部１８０が、取得された各メタデータに対応する動画ファイルをデコードし、動画ファイルを構成する各フレームを取得する（ステップＳ９７１）。続いて、合成対象となる１つの画像合成対象区間のメタデータに含まれる各アフィン変換パラメータを用いて各フレームに対応する画像を合成する際に必要な大きさが算出され、この大きさのワークバッファが画像メモリ２３０に確保される（ステップＳ９７２）。また、このように算出された合成画像の大きさに基づいて、最前面フレームの位置および大きさが算出される。
続いて、取得されたメタデータに含まれる最前面フレーム情報に基づいて、最前面フレームが画像合成対象区間の先頭フレームであるか否かが判断される（ステップＳ９７３）。最前面フレームが画像合成対象区間の先頭フレームである場合には（ステップＳ９７３）、取得されたメタデータに含まれる各フレームのうち、フレーム番号の小さい画像から順番に取り出される（ステップＳ９７４）。
続いて、画像変換部１９０が、取り出された画像に関連付けられているアフィン変換パラメータを用いて、その画像をアフィン変換する（ステップＳ９７５）。続いて、画像合成部２２０が、アフィン変換された画像の周縁に白枠を付し、この白枠が付された画像を画像メモリ２３０に保持させる（ステップＳ９７６）。すなわち、アフィン変換されて白枠が付された画像が画像メモリ２３０に保持されている履歴画像に合成される。なお、最初の画像の場合には、その画像のみが画像メモリ２３０に保持される。続いて、表示制御部２４０が、画像メモリ２３０に保持されている合成画像を表示部２５０に表示させる（ステップＳ９７７）。続いて、画像メモリ２３０に保持された画像が、合成対象となっている画像合成対象区間の最後のフレームであるか否かが判断される（ステップＳ９７８）。最後のフレームである場合には（ステップＳ９７８）、全ての画像合成対象区間について合成画像表示処理が終了したか否かが判断される（ステップＳ９７９）。全ての画像合成対象区間について合成画像表示処理が終了していない場合には（ステップＳ９７９）、ステップＳ９７２に戻り、合成画像表示処理を繰り返す（ステップＳ９７２乃至Ｓ９７８、Ｓ９８０）。一方、全ての画像合成対象区間について合成画像表示処理が終了した場合には（ステップＳ９７９）、合成画像表示処理の動作を終了する。
また、最前面フレームが画像合成対象区間の先頭フレームでない場合には（ステップＳ９７３）、画像合成処理が行われる（ステップＳ９８０）。この画像合成処理については、図３８を参照して詳細に説明する。
図３８は、本発明の第１の実施の形態における画像処理装置１００による合成画像表示処理の処理手順のうちの画像合成処理手順（図３７に示すステップＳ９８０の処理手順）を示すフローチャートである。この例では、画像合成対象区間の先頭フレームから最前面フレームに向かって画像合成をした後に、最後のフレームから最前面フレームに向かって画像合成をし、最後に最前面フレームを合成する例を示す。
最初に、取得されたメタデータに含まれる各フレームのうち、フレーム番号の小さい画像から順番に取り出される（ステップＳ９８１）。続いて、画像変換部１９０が、取り出された画像に関連付けられているアフィン変換パラメータを用いて、その画像をアフィン変換する（ステップＳ９８２）。続いて、画像合成部２２０が、アフィン変換された画像の周縁に白枠を付し、この白枠が付された画像を画像メモリ２３０に保持させる（ステップＳ９８３）。すなわち、アフィン変換されて白枠が付された画像が画像メモリ２３０に保持されている履歴画像に合成される。なお、最初の画像の場合には、その画像のみが画像メモリ２３０に保持される。続いて、表示制御部２４０が、画像メモリ２３０に保持されている合成画像を表示部２５０に表示させる（ステップＳ９８４）。続いて、画像メモリ２３０に保持された画像が、合成対象となっている画像合成対象区間の最前面フレームの直前のフレームであるか否かが判断される（ステップＳ９８５）。最前面フレームの直前のフレームでない場合には（ステップＳ９８５）、ステップＳ９８１に戻り、先頭フレームから最前面フレームの直前のフレームまでの画像合成処理を繰り返す（ステップＳ９８１乃至Ｓ９８４）。
一方、最前面フレームの直前のフレームである場合には（ステップＳ９８５）、取得されたメタデータに含まれる各フレームのうち、フレーム番号の大きい画像から順番に取り出される（ステップＳ９８６）。続いて、画像変換部１９０が、取り出された画像に関連付けられているアフィン変換パラメータを用いて、その画像をアフィン変換する（ステップＳ９８７）。続いて、画像合成部２２０が、アフィン変換された画像の周縁に白枠を付し、この白枠が付された画像を画像メモリ２３０に保持させる（ステップＳ９８８）。すなわち、アフィン変換されて白枠が付された画像が画像メモリ２３０に保持されている履歴画像に合成される。続いて、表示制御部２４０が、画像メモリ２３０に保持されている合成画像を表示部２５０に表示させる（ステップＳ９８９）。続いて、画像メモリ２３０に保持された画像が、合成対象となっている画像合成対象区間の最前面フレームの直後のフレームであるか否かが判断される（ステップＳ９９０）。最前面フレームの直後のフレームでない場合には（ステップＳ９９０）、ステップＳ９８６に戻り、最後のフレームから最前面フレームの直後のフレームまでの画像合成処理を繰り返す（ステップＳ９８６乃至Ｓ９８９）。
一方、最前面フレームの直後のフレームである場合には（ステップＳ９９０）、最前面フレームの画像が取り出される（ステップＳ９９１）。続いて、画像変換部１９０が、取り出された最前面フレームの画像に関連付けられているアフィン変換パラメータを用いて、最前面フレームの画像をアフィン変換する（ステップＳ９９２）。なお、最前面フレームに関連付けられているアフィン変換パラメータは単位行列の値であるため、実際は最前面フレームの画像は変換されない。続いて、画像合成部２２０が、アフィン変換された最前面フレームの画像の周縁に白枠を付し、この白枠が付された画像を画像メモリ２３０に保持させる（ステップＳ９９３）。すなわち、アフィン変換されて白枠が付された画像が画像メモリ２３０に保持されている履歴画像に合成される。続いて、表示制御部２４０が、画像メモリ２３０に保持されている合成画像を表示部２５０に表示させる（ステップＳ９９４）。
＜２．第２の実施の形態＞
［画像処理装置の構成例］
本発明の第１の実施の形態では、フレーム間に関するアフィン変換パラメータを算出する際に、支配的な動きとなる特徴点の割合を信頼度判定スコアとして算出する例について説明した。以下では、他の算出方法により信頼度判定スコアを算出する例について図面を参照して詳細に説明する。ここで、本発明の第２の実施の形態における機能構成は、図１に示す画像処理装置１００が備えるカメラワーク検出部１２０が異なる以外は画像処理装置１００と略同一である。このため、カメラワーク検出部１２０以外の構成については、本発明の第１の実施の形態と同一の符号を付して、機能が異なるものについてのみ説明し、他の説明を省略する。
図３９は、本発明の第２の実施の形態におけるカメラワーク検出部１２５の機能構成例を示すブロック図である。カメラワーク検出部１２５は、特徴点抽出部１２１と、オプティカルフロー算出部１２２と、カメラワークパラメータ算出部１２３と、信頼度判定スコア算出部１２６とを備える。ここで、特徴点抽出部１２１、オプティカルフロー算出部１２２およびカメラワークパラメータ算出部１２３については、図２に示すカメラワーク検出部１２０と同一である。そこで、以下では、信頼度判定スコア算出部１２６を中心に説明する。また、この例では、連続する２つのフレームの重複領域に含まれる各画素の輝度の差分値を利用して、信頼度判定スコアを算出する例について説明する。
信頼度判定スコア算出部１２６は、カメラワークパラメータ算出部１２３から出力されたカメラワークパラメータを用いて、動画入力部１１０から出力された動画を構成する連続する２つのフレームに関する信頼度判定スコアを算出するものである。そして、算出された信頼度判定スコアを記録制御部１５０に出力する。なお、信頼度判定スコア算出については、図４０を参照して詳細に説明する。
［信頼度判定スコア算出例］
図４０は、本発明の第２の実施の形態における信頼度判定スコア算出部１２６が信頼度判定スコアを算出する際における算出方法の概略を示す図である。図４０には、動画を構成する連続する２つのフレームとして、時間軸における前のフレーム５９０と、後のフレーム５９１を示す。また、図４０（ａ）には、フレーム５９０を基準として、フレーム５９１をアフィン変換し、このアフィン変換後のフレーム５９１をフレーム５９０に重ねた場合を示す。また、フレーム５９０および５９１の重複領域５９２の範囲を太線で示す。図４０（ｂ）には、図４０（ａ）に示すフレーム５９０を示し、図４０（ｃ）には、図４０（ａ）に示すフレーム５９１を示す。また、フレーム５９０および５９１に含まれる正方形は、各フレームを構成する画素を示すものとする。なお、図４０（ｂ）および（ｃ）には、重複領域５９２に含まれる画素のみを正方形で示す。
信頼度判定スコア算出部１２６が信頼度判定スコアを算出する場合には、最初に、動画入力部１１０から出力された動画を構成する連続する２つのフレームについて、時間軸において前のフレームを基準フレームとして、後のフレームをアフィン変換する。このアフィン変換は、カメラワークパラメータ算出部１２３から出力されたカメラワークパラメータ（前のフレーム（基準フレーム）および後のフレームに関するアフィン変換パラメータ）を用いて行われる。続いて、信頼度判定スコア算出部１２６は、連続する２つのフレームに含まれる各画素のうち、アフィン変換後の重複領域に含まれる各画素の輝度の差分値の絶対値を算出する。続いて、信頼度判定スコア算出部１２６は、画素毎に算出された差分値の絶対値の合計値を算出し、この算出された合計値を、算出の対象となった画素数で除算した値を信頼度判定スコアとして算出する。
例えば、図４０（ａ）乃至（ｃ）に示すように、フレーム５９０の左上隅を原点とし、フレーム５９０の上側の辺をｘ軸とし、フレーム５９０の左側の辺をｙ軸とするｘｙ座標を想定する。このｘｙ座標において、例えば、フレーム５９０における重複領域の座標（ｉ，ｊ）における輝度値をＩ１（ｉ，ｊ）とし、アフィン変換後のフレーム５９１における重複領域の座標（ｉ，ｊ）における輝度値をＩ２（ｉ，ｊ）とする。また、差分値の算出に用いられた画素の数をＰｎｕｍとすると、信頼度判定スコアＳＨＳ１は、以下の式で求めることができる。
ここで、Ｒは、フレーム５９０およびフレーム５９１の重複領域を示す。すなわち、図４０（ｂ）および（ｃ）に示す矢印５９３乃至５９５のように、フレーム５９０およびフレーム５９１の重複領域に含まれる各画素のうち、対応する位置に存在する２つの画素の輝度の差分値の絶対値が順次算出される。そして、これらの差分値の絶対値を用いて、信頼度判定スコアＳＨＳ１が算出される。
このように、信頼度判定スコア算出部１２６により算出された信頼度判定スコアが、記録制御部１５０に出力され、メタデータ記憶部２１０に記録されている。すなわち、図３（ｂ）に示すメタデータファイル２１１の信頼度判定スコア２１７に記録される。なお、信頼度判定スコア２１７の記録内容は、図３（ｂ）に示す場合と数値が異なる。また、区間選択部１６０は、この信頼度判定スコアを用いて、閾値を超えたか否かに基づいて画像合成対象区間の選択を行う。例えば、この信頼度判定スコアがある閾値よりも低い場合に信頼度が高いと判定することができる。
以上では、連続する２つのフレームにおける重複領域に含まれる全ての画素を用いて信頼度判定スコアを算出する例について説明した。しかしながら、例えば、カメラワークパラメータ算出部１２３によるアフィン変換パラメータの算出対象となった特徴点に関する情報を用いて、信頼度判定スコアを算出するようにしてもよい。
［画像処理装置の構成例］
図４１は、本発明の第２の実施の形態におけるカメラワーク検出部１２７の機能構成例を示すブロック図である。カメラワーク検出部１２７は、特徴点抽出部１２１と、オプティカルフロー算出部１２２と、カメラワークパラメータ算出部１２３と、信頼度判定スコア算出部１２８とを備える。ここで、特徴点抽出部１２１、オプティカルフロー算出部１２２およびカメラワークパラメータ算出部１２３については、図２に示すカメラワーク検出部１２０と同一である。そこで、以下では、信頼度判定スコア算出部１２８を中心に説明する。また、この例では、連続する２つのフレームの重複領域に含まれる各画素のうち、支配的な動きとなる特徴点の周囲に存在する画素の輝度の差分値を利用して、信頼度判定スコアを算出する例について説明する。
信頼度判定スコア算出部１２８は、動画入力部１１０から出力された動画を構成する連続する２つのフレームに関する信頼度判定スコアを算出するものであり、算出された信頼度判定スコアを記録制御部１５０に出力する。この信頼度判定スコア算出では、カメラワークパラメータ算出部１２３により算出されたカメラワークパラメータと、このカメラワークパラメータ算出に用いられた特徴点とが用いられる。なお、信頼度判定スコア算出については、図４２を参照して詳細に説明する。
［信頼度判定スコア算出例］
図４２は、本発明の第２の実施の形態における信頼度判定スコア算出部１２８が信頼度判定スコアを算出する際における算出方法の概略を示す図である。ここで、図４２に示すフレーム５９０および５９１の関係と、フレーム５９０および５９１の重複領域５９２とについては、図４０と同様であるため、ここでの説明を省略する。なお、図４２（ｂ）および（ｃ）では、重複領域５９２の範囲を破線で示す。また、図４２（ａ）乃至（ｃ）に示す重複領域５９２に含まれる各画素（正方形で示す）において、支配的な動きとなる特徴点については、正方形の内部に一重丸を付し、その他の特徴点については、正方形の内部に二重丸を付す。例えば、図４０（ａ）乃至（ｃ）に示す重複領域５９２には、４つの支配的な動きとなる特徴点と、その他の１つの特徴点とが含まれている。この例では、重複領域５９２に含まれる各画素のうち、４つの支配的な動きとなる特徴点の周囲（例えば、８近傍）の画素を用いて、輝度の差分値を算出する例について説明する。ここで、重複領域５９２に含まれる各画素のうち、その他の１つの特徴点の周囲の画素は用いない。また、例えば、４つの支配的な動きとなる特徴点の周囲の画素と、その他の１つの特徴点の周囲の画素とが共通する場合には、１つの特徴点を優先して、これらの画素を計算に用いない。すなわち、図４２に示す例では、領域６０１乃至６０８に含まれる各画素が、信頼度判定スコアの算出対象として用いられる。
信頼度判定スコア算出部１２８が信頼度判定スコアを算出する場合には、最初に、動画入力部１１０から出力された動画を構成する連続する２つのフレームについて、時間軸において前のフレームを基準フレームとして、後のフレームをアフィン変換する。このアフィン変換は、図４０に示す例と同様である。続いて、信頼度判定スコア算出部１２８は、連続する２つのフレームに含まれる各画素のうち、アフィン変換後の重複領域に含まれる支配的な動きとなる特徴点の周囲の画素の輝度の差分値の絶対値を算出する。続いて、信頼度判定スコア算出部１２８は、支配的な動きとなる特徴点の周囲の画素毎に算出された差分値の絶対値の合計値を算出し、この算出された合計値を、算出の対象となった画素数で除算した値を信頼度判定スコアとして算出する。
例えば、図４２（ａ）乃至（ｃ）に示すように、フレーム５９０の左上隅を原点とし、フレーム５９０の上側の辺をｘ軸とし、フレーム５９０の左側の辺をｙ軸とするｘｙ座標を想定する。このｘｙ座標において、例えば、フレーム５９０における重複領域の座標（ｉ，ｊ）における輝度値をＩ１１（ｉ，ｊ）とし、アフィン変換後のフレーム５９１における重複領域の座標（ｉ，ｊ）における輝度値をＩ１２（ｉ，ｊ）とする。また、差分値の算出に用いられた画素の数をＰ１ｎｕｍとすると、信頼度判定スコアＳＨＳ２は、以下の式で求めることができる。
ここで、Ｒ１は、フレーム５９０およびフレーム５９１の重複領域のうち、支配的な動きとなる特徴点の周囲（例えば、８近傍）の領域を示す。なお、Ｒ１は、支配的な動きとなる特徴点の周囲の画素と、その他の特徴点の周囲の画素とが共通する場合には、これらの画素が含まれない領域とする。すなわち、図４２（ｂ）および（ｃ）に示す領域６０１乃至６０８について、対応する位置に存在する２つの画素の輝度の差分値の絶対値が順次算出される。そして、これらの差分値の絶対値を用いて、信頼度判定スコアＳＨＳ２が算出される。
このように、信頼度判定スコア算出部１２８により算出された信頼度判定スコアが、記録制御部１５０に出力され、メタデータ記憶部２１０に記録されている。すなわち、図３（ｂ）に示すメタデータファイル２１１の信頼度判定スコア２１７に記録される。なお、信頼度判定スコア２１７の記録内容は、図３（ｂ）に示す場合と数値が異なる。また、区間選択部１６０は、この信頼度判定スコアを用いて、閾値を超えたか否かに基づいて画像合成対象区間の選択を行う。例えば、この信頼度判定スコアがある閾値よりも低い場合に信頼度が高いと判定することができる。
以上では、輝度の差分値を用いて信頼度判定スコアを算出する例を示した。しかし、輝度の差分値の代わりに、例えば、Ｇ（Green：緑）、Ｒ（Red：赤）、Ｂ（Blue：青）のそれぞれについて差分値を算出し、この差分値に基づいて信頼度判定スコアを算出するようにしてもよい。
また、例えば、連続する２つのフレームに対応する画像にガウシアンフィルタをかけて平滑化し、この平滑化された画像を縮小し、この縮小された画像における画素を用いて、上記と同様に、信頼度判定スコアを算出するようにしてもよい。
また、以上では、連続する２つのフレームに対応する画像を用いて信頼度判定スコアを算出する例について説明したが、例えば、カメラセンサ情報を用いて信頼度判定スコアを算出するようにしてもよい。例えば、３軸加速度センサおよび３軸ジャイロセンサを備えているカメラにより動画を記録する場合に、これらのセンサから出力されたセンサ情報をカメラ動き情報として動画に関連付けて記録する。そして、センサ情報が関連付けられている動画を動画入力部１１０に入力し、この動画を構成する各フレームについて算出された動き情報と、センサ情報により特定される動き情報との差分値を算出する。そして、この差分値を信頼度判定スコアとして用いることができる。この場合には、信頼度判定スコアが閾値以内の場合に、信頼度が高いと判定することができる。すなわち、カメラから出力されたセンサ情報を用いて推定された画像の動きと、動画を構成する画像から算出された画像の動きとの一致の程度が大きい場合に、信頼度が高いと判断する方法を採用することができる。
＜３．第３の実施の形態＞
［画像処理装置の動作例］
本発明の第１の実施の形態では、画像に含まれる顔または笑顔を用いて、最前面フレームを選択する例について説明した。本発明の第３の実施の形態では、顔に関する笑顔以外の顔属性や顔の状態を用いて、最前面フレームを選択する例について図面を参照して詳細に説明する。
図４３は、本発明の第３の実施の形態における画像処理装置１０１の機能構成例を示すブロック図である。画像処理装置１０１は、合成対象画像選択部１７１と、顔属性状態判定部２８０と、基準情報記憶部２８１と、メタデータ記憶部２９０とを備える。なお、他の機能構成については、図１に示す画像処理装置１００と略同一であるため、画像処理装置１００の符号と同一の符号を付して、機能が異なるものを中心にして説明し、他の説明を省略する。
合成対象画像選択部１７１は、メタデータ記憶部２９０に記憶されているメタデータを用いて、区間選択部１６０から出力された画像合成対象区間に含まれるフレームの中から、合成画像を作成するためのフレームを選択するものである。そして、選択されたフレームに関する合成対象画像情報（フレーム選択情報）を記録制御部１５０に出力する。なお、合成対象画像選択については、図４５乃至図４８を参照して詳細に説明する。
顔属性状態判定部２８０は、基準情報記憶部２８１に記憶されている基準情報を用いて、顔検出部１３０により検出された顔の属性および状態を判定するものであり、判定結果を記録制御部１５０に出力する。具体的には、顔属性状態判定部２８０は、動画入力部１１０から出力された動画を構成する画像から取り出されて正規化された顔画像と、基準情報記憶部２８１に記憶されている各種データとの相関性を示す相関値を算出する。そして、算出された相関値に基づいて相関性の高さを判定し、正規化された顔画像に関する各種データを抽出する。これらの抽出処理を繰り返し実行し、抽出された各種データに基づいて、正規化された顔画像の表情等を判定する。このように、人の顔を認識するために、多数の顔データを統合させたデータベースとテンプレート・マッチングを取る手法を用いることができる（例えば、特開２００３−２７１９３３、特開２００４−３０６２９等参照）。例えば、笑顔に関して、多数の笑顔のサンプル画像から笑顔データベースを構築しておき、これと画像の一部を取り出した顔画像とをテンプレート・マッチング処理することにより、「笑顔である」／「笑顔でない」の判定が可能である。同様に、他の属性または状態についても判定を行うことができる。なお、本発明の第１の実施の形態で示した評価値を用いて判定するようにしてもよい。また、顔属性状態判定部２８０は、特許請求の範囲に記載の判定部の一例である。
基準情報記憶部２８１は、性別判定等に用いる顔の各部等の基準情報を記憶するものであり、記憶されている基準情報を顔属性状態判定部２８０に供給する。なお、基準情報記憶部２８１に記憶される基準情報については、図４４を参照して詳細に説明する。
メタデータ記憶部２９０は、記録制御部１５０の制御に基づいて、カメラワーク検出部１２０、顔検出部１３０および顔属性状態判定部２８０から出力された各情報を、動画およびフレームに関連付けてメタデータファイルとして記憶するものである。また、メタデータ記憶部２９０は、区間選択部１６０および合成対象画像選択部１７１にメタデータファイルを供給する。なお、メタデータ記憶部２９０に記憶されるメタデータファイルについては、図４４を参照して詳細に説明する。
図４４は、本発明の第３の実施の形態における基準情報記憶部２８１およびメタデータ記憶部２９０に記憶されている内容を模式的に示す図である。図４４（ａ）には、基準情報記憶部２８１に記憶されている基準情報を示す。この基準情報は、例えば、目や口等の画像そのもの、人の顔としての特徴データベース、特定の人物の顔に関する特徴データベース等である。例えば、図４４（ａ）に示すように、基準情報記憶部２８１には、性別データベース２８２と、年齢データベース２８３と、笑顔データベース２８４と、目瞑りデータベース２８５と、登録人物データベース２８６とが記憶されている。性別データベース２８２は、顔画像における性別を判定するためのデータベースであり、年齢データベース２８３は、顔画像における年齢を判定するためのデータベースである。また、笑顔データベース２８４は、顔画像における笑顔を判定するためのデータベースであり、目瞑りデータベース２８５は、顔画像における目瞑りを判定するためのデータベースである。また、登録人物データベース２８６は、ユーザによって特定された人物を登録人物として判定するためのデータベースである。一般に、画像そのものよりも特徴データの方が、多くの各種データベースを比較的少ない記憶容量で保持することができる。
図４４（ｂ）には、動画記憶部２００に記憶されている動画ファイル２０１に関連付けてメタデータ記憶部２９０に記憶されているメタデータファイル２９１を模式的に示す。なお、動画ファイル２０１とメタデータファイル２９１との対応関係は、図３（ｂ）に示す例と同様であるため、ここでの説明を省略する。メタデータファイル２９１には、動画ＩＤ２９２、フレーム番号２９３、アフィン変換パラメータ２９４、信頼度判定スコア２９５、顔検出情報２９６、性別２９７、年齢２９８、笑顔２９９、目瞑り２８７、登録人物２８８が関連付けて記憶されている。なお、動画ＩＤ２９２、フレーム番号２９３、アフィン変換パラメータ２９４、信頼度判定スコア２９５および顔検出情報２９６については、図３（ｂ）に示す例と同様であるため、ここでの説明を省略する。
性別２９７は、フレーム番号２９３に対応する動画の各フレームに含まれる顔について判定された性別であり、顔属性状態判定部２８０から出力された判定結果が格納される。例えば、対応するフレームに顔が含まれていない場合には何も格納されない。例えば、対応するフレームに含まれる顔が男性であると判定された場合には、性別２９７に「１」が格納される。一方、対応するフレームに含まれる顔が女性であると判定された場合には、性別２９７に「０」が格納される。
年齢２９８は、フレーム番号２９３に対応する動画の各フレームに含まれる顔について判定された年齢であり、顔属性状態判定部２８０から出力された判定結果が格納される。例えば、対応するフレームに顔が含まれていない場合には何も格納されない。例えば、対応するフレームに含まれる顔が大人であると判定された場合には、年齢２９８に「１」が格納される。一方、対応するフレームに含まれる顔が子供であると判定された場合には、年齢２９８に「０」が格納される。
笑顔２９９は、フレーム番号２９３に対応する動画の各フレームに含まれる顔について判定された笑顔の有無であり、顔属性状態判定部２８０から出力された判定結果が格納される。例えば、対応するフレームに顔が含まれていない場合には何も格納されない。例えば、対応するフレームに含まれる顔が笑顔であると判定された場合には、笑顔２９９に「１」が格納される。一方、対応するフレームに含まれる顔が笑顔でないと判定された場合には、笑顔２９９に「０」が格納される。
目瞑り２８７は、フレーム番号２９３に対応する動画の各フレームに含まれる顔について判定された目瞑りの有無であり、顔属性状態判定部２８０から出力された判定結果が格納される。例えば、対応するフレームに顔が含まれていない場合には何も格納されない。例えば、対応するフレームに含まれる顔が目瞑り顔でないと判定された場合には、目瞑り２８７に「１」が格納される。一方、対応するフレームに含まれる顔が目瞑り顔であると判定された場合には、目瞑り２８７に「０」が格納される。
登録人物２８８は、フレーム番号２９３に対応する動画の各フレームに含まれる顔について判定された登録人物の有無であり、顔属性状態判定部２８０から出力された判定結果が格納される。例えば、対応するフレームに顔が含まれていない場合には何も格納されない。例えば、対応するフレームに含まれる顔がＡ氏であると判定された場合には、登録人物２８８に「Ａ」が格納される。また、対応するフレームに含まれる顔がＢ氏であると判定された場合には、登録人物２８８に「Ｂ」が格納される。
［合成対象画像の選択例］
図４５は、本発明の第３の実施の形態における表示部２５０に表示される選択画面の一例を示す図である。選択画面６１０は、ユーザが希望する合成画像を表示させるための選択操作を行う選択画面である。選択画面６１０には、例えば、顔属性として、性別６１１、年齢層６１２、登録人物６１３、表情６１４を選択するチェック欄が備えられる。また、選択画面６１０には、合成順序を選択するための合成順序６１５、重複率６１６を選択するためのプルダウンボタン６１７が備えられている。また、選択画面６１０には、「パノラマ風合成画像表示」ボタン６１９および「キャンセル」ボタン６２０が備えられている。
例えば、選択画面６１０において、カーソル６１８を用いて、性別６１１の女性欄にチェックを付し、年齢層６１２の大人欄にチェックを付し、登録人物６１３の登録人物欄にチェックを付し、表情６１４の笑顔欄にチェックを付す。また、登録人物６１３の登録人物欄にチェックを付した場合には、登録人物データベース２８６に登録されている登録人物の名前（例えば、Ａ氏、Ｂ氏、Ｃ氏）が表示され、これらの登録人物から所望の名前の欄にチェックを付す。例えば、Ｂ氏にチェックを付す。また、選択画面６１０において、カーソル６１８を用いて、合成順序６１５の昇順欄にチェックを付す。また、カーソル６１８を用いて、プルダウンボタン６１７を押下することにより、図４５に示すように、「高い」、「中程度」、「低い」の重複率一覧が表示される。この重複率一覧の中から所望の重複率を選択することができる。ここで、例えば、「高い」を選択した場合には、６０％乃至７０％の重複率のものを選択し、「中程度」を選択した場合には、６０％乃至４０％の重複率のものを選択し、「低い」を選択した場合には、４０％乃至３５％の重複率のものを選択する。なお、この例では、重複率一覧の中から所望の重複率をユーザが選択する例について示すが、所望の重複率をユーザが直接入力するようにしてもよい。なお、特にユーザが希望しない項目については、選択をしなくてもよい。
また、これらの各項目についてユーザによる選択操作が終了した場合には、ユーザがカーソル６１８を用いて「パノラマ風合成画像表示」ボタン６１９を押下する。これにより、「パノラマ風合成画像表示」ボタン６１９の押下時に選択されていた各項目の選択情報が、操作受付部２６０から合成対象画像選択部１７１に出力される。この選択情報に基づいて、合成対象画像選択部１７１がフレーム選択処理を行う。なお、「キャンセル」ボタン６２０が押下されると、各項目における選択状態が解除される。
図４６は、本発明の第３の実施の形態における合成対象画像選択部１７１による選択判定スコアの算出に用いられるスコアの一例を示す図である。選択判定スコアは、フレームを選択するための値であり、フレームに含まれる顔に関する各情報に基づいて算出される。また、１つのフレームに複数の顔が含まれている場合には、これらの顔に関するスコアが顔毎に算出され、顔毎のスコアを加算した値が選択判定スコアとして算出される。また、選択判定スコアは、例えば、図４５に示す選択画面６１０において選択された項目と、図４６に示すスコアと、顔に関する属性および状態とに基づいて算出される。この顔に関する属性および状態は、メタデータ記憶部２９０に記憶されているメタデータを用いる。
具体的には、判定された顔の属性を示す属性値Ｚ１と、判定された顔の状態を示す状態値Ｊ１とが算出され、この属性値Ｚ１および状態値Ｊ１を加算することにより、選択判定スコアが算出される。ここで、属性値Ｚ１は、例えば、顔の属性として、性別６２１、年齢層６２２、特定人物６２３の有無を用いて決定される値である。また、状態値Ｊ１は、例えば、顔の状態として、笑顔６２４、目瞑り６２５、画像における顔の位置（画像中心からの距離６２６）、画像における顔の大きさ６２７を用いて決定される値である。
例えば、性別６２１、年齢層６２２および特定人物６２３については、図４５に示す選択画面６１０において選択された項目と、選択判定スコアの算出対象となる画像に含まれる顔の属性とが一致するか否かが判断される。そして、一致した項目に関する図４６に示すスコアが属性値Ｚ１に加算される。また、笑顔６２４については、図４５に示す選択画面６１０において選択された項目と、選択判定スコアの算出対象となる画像に含まれる顔の状態（笑顔）とが一致した場合に図４６に示すスコアが状態値Ｊ１に加算される。また、目瞑り６２５、画像中心からの距離６２６、画像における顔の大きさ６２７については、メタデータ記憶部２９０に記憶されているメタデータに応じた各スコアが状態値Ｊ１に加算される。そして、算出された属性値Ｚ１および状態値Ｊ１を加算することにより、選択判定スコアが算出される。
また、１つのフレームに複数の顔が含まれている場合には、属性値Ｚ１および状態値Ｊ１を顔毎に算出し、これらの属性値Ｚ１および状態値Ｊ１を加算した値が、その画像における選択判定スコアとして算出される。なお、この例では、各スコアを算出する際に、各値を加算する例を示すが、例えば、各値を乗算して各スコアを算出するようにしてもよい。また、図４６に示す各スコアの代わりに、顔の属性および状態に応じた重み付け係数を用いて、各スコアを算出するようにしてもよい。
このように算出された選択判定スコアを用いて、最前面画像（最前面フレーム）が選択される。すなわち、区間選択部１６０により選択された画像合成対象区間に含まれる各画像について選択判定スコアを算出し、算出された選択判定スコアのうちで、最も高い値が算出された画像が最前面画像として選択される。続いて、最前面フレーム以外の他のフレームが選択される。この選択方法については、図４７および図４８を参照して詳細に説明する。
図４７は、本発明の第３の実施の形態における合成対象画像選択部１７１によるフレーム選択を行う場合における選択方法の概略を示す図である。図４７（ａ）には、既に選択されたフレームの下側に重ねられるフレームの選択判定スコアを算出する場合の例を示す。例えば、フレーム６４０は、最前面フレームとして選択されたフレームであるものとする。フレーム６４０を基準フレームとして、他のフレームを選択する場合には、フレーム６４０により上書きされる領域に含まれる顔に関するスコアは除外される。例えば、フレーム６４１に顔６４３乃至６４６が含まれる場合において、最前面フレーム６４０との重複領域６４２に顔６４３および６４４の少なくとも一部が含まれているものとする。この場合には、例えば、フレーム６４１について選択の要否を判定する場合には、重複領域６４２が、設定された範囲内の重複率であるか否かが判断される。この重複率の設定範囲は、図４５に示す選択画面６１０において選択された内容とする。続いて、重複領域６４２が、設定された範囲内の重複率でない場合には、フレーム６４１が選択されない。重複領域６４２が、設定された範囲内の重複率である場合には、フレーム６４１について選択判定スコアが算出される。この場合に、フレーム６４１の選択判定スコアは、フレーム６４１に含まれる顔６４３乃至６４６のうち、重複領域６４２に含まれない顔６４５および６４６に関する値を用いて算出される。
図４７（ｂ）には、既に選択されたフレームの下側に重ねられるフレームの選択判定スコアを算出する場合の例を示す。例えば、フレーム６６０は、フレーム６５０への上書き合成の対象となるフレームである。このように、フレーム６５０を基準フレームとして、フレーム６５０への上書き合成の対象となる他のフレームを選択する場合には、フレーム６５０に上書きされる領域以外の領域に含まれる顔に関するスコアを加算する。例えば、フレーム６５０に顔６５１乃至６５３が含まれ、フレーム６６０との重複領域６５５に顔６５３の少なくとも一部が含まれているものとする。また、フレーム６６０に顔６６１乃至６６４が含まれているものとする。この場合には、例えば、フレーム６６０について選択の要否を判定する場合には、重複領域６５５が、設定された範囲内の重複率であるか否かが判断される。続いて、重複領域６５５が、設定された範囲内の重複率でない場合には、フレーム６６０が選択されない。一方、重複領域６５５が、設定された範囲内の重複率である場合には、フレーム６６０について選択判定スコアが算出される。この場合に、フレーム６６０の選択判定スコアは、フレーム６５０および６６０に含まれる顔６５１乃至６５３、６６１乃至６６４のうち、フレーム６５０の重複領域６５５に含まれない顔６５１および６５２、６６１乃至６６４に関する値を用いて算出される。すなわち、２つの画像が合成された場合に表示の対象となる領域に含まれる顔に関する値が選択判定スコアとして算出される。
図４８は、本発明の第３の実施の形態における合成対象画像選択部１７１によるフレーム選択を行う場合における選択方法の概略を示す図である。図４８に示す例では、重ね合わせる順序をユーザ操作により予め指定する場合を例にして説明する。この例では、撮像時刻の古い画像から新しい画像に向かって上書き合成する場合（昇順に上書き合成する場合）における選択方法を例にして示す。ただし、最前面フレームとして選択された画像については、一番上側に重ねて合成されるものとする。
図４８（ａ）には、最前面フレーム６７０を基準フレームとして、探索方向６７１に向かって画像を選択する例を示す。この場合には、最前面画像６７６から時系列を遡る方向に探索することになるため、既に選択された画像が、選択対象となる画像に対して上に重なることになる。このため、重なり領域が考慮されてスコアが計算され、指定された重複率の範囲内に含まれる画像のうちで最も高いスコアの画像が選択される。例えば、基準フレーム６７０に対応する画像６７６を基準画像として画像６７５および６７４が選択されているものとする。画像６７４を基準画像として、次の画像６７３の選択の要否を判定する場合には、画像６７３および６７４の重複領域６７７の重複率の判定がされた後に、画像６７３に含まれる顔について算出された選択判定スコアが算出される。ここで、画像６７３に含まれる４つの顔のうち顔６７８については、その一部が重複領域６７７に含まれる。このため、画像６７３に含まれる顔について選択判定スコアが算出される場合には、画像６７３に含まれる顔６７８以外の３つの顔を用いて算出される。
図４８（ｂ）には、最前面フレーム６８０を基準フレームとして、探索方向６８２に向かって画像を選択する例を示す。この場合には、最前面画像６８３から時系列方向に探索することになるため、選択対象となる画像が既に選択された画像に対して上に重なることになる。ただし、最前面画像６８３のみが全ての画像の上に重なることになる。このため、画像６８４については、図４８（ａ）に示す場合と同様に、画像６８３との重なり領域が考慮されてスコアが計算され、指定された重複率の範囲内に含まれる画像のうちで最も高いスコアの画像が選択される。一方、画像６８５以降の画像については、指定された重複率の範囲内で、選択対象となる画像とこの画像と重複する画像との合計スコアをなるべく減らさず、かつ現画像上のスコアが高い画像を選択する。すなわち、既に選択された合成画像上の合計スコアと、現画像上のスコアとが最も高くなる画像が選択される。
例えば、基準フレーム６８０に対応する画像６８３を基準画像として画像６８４および６８５が選択されているものとする。画像６８５を基準画像として、次の画像６８６の選択の要否を判定する場合には、画像６８５および６８６の重複領域６８７の重複率の判定がされる。そして、画像６８３乃至６８５の合成画像と、画像６８６とに含まれる各顔について算出された選択判定スコアが算出される。ここで、画像６８６に含まれる３つの顔については重複領域６８７に含まれるか否かにかかわらず、算出の対象となる。
また、例えば、撮像時刻の新しい画像から古い画像に向かって上書き合成する場合（降順に上書き合成する場合）には、昇順の場合とは逆方向に選択処理を行うようにする。なお、合成順序が指定されていない場合には、最前面画像から時系列を遡る方向と、最前面画像から時系列への方向とに探索が行われる。このように合成順序が指定されていない場合には、何れの方向に探索をする場合でも、図４８（ａ）と同様の選択処理を行う。これらの合成順序については、画像合成の際の合成順序として用いられるため、合成対象画像メタデータ記憶部２７０の画像合成対象区間に関連付けて記憶される。
なお、本発明の第３の実施の形態では、画像に含まれる顔に関する固有の属性を顔属性とし、顔の状態に関する属性を状態とし、これらの顔に関する各情報を用いて選択判定スコアを算出する例について説明した。しかしながら、他の対象物に関する各情報を用いて選択判定スコアを算出するようにしてもよい。例えば、猫や犬等のペットや動物、家、乗り物等の様々な対象物に関する各情報を用いて選択判定スコアを算出するようにしてもよい。例えば、ペットを個体識別する場合は、色、模様、耳の形等の違いにより、人間を個人識別する場合よりも識別し易い。また、顕著性マップ（Saliency Map）を用いて選択判定スコアを算出するようにしてもよい。この顕著性マップは、例えば、人が注目するであろう領域を画素毎にスコアで表したものである。例えば、この顕著性マップを用いて画像の選択判定スコアを計算する場合は、重複領域以外の領域の画素毎のスコアを積算した値を画像の選択判定スコアとして算出することができる。また、例えば、顕著性マップを用いて算出されたスコアと、対象物に関するスコアとを加算した値を選択判定スコアとして算出するようにしてもよい。
［画像処理装置の動作例］
次に、本発明の第３の実施の形態における画像処理装置１０１の動作について図面を参照して説明する。
図４９は、本発明の第３の実施の形態における画像処理装置１０１によるフレーム選択処理手順の処理手順を示すフローチャートである。この処理手順は、図３４に示すステップＳ９５０の処理手順の変形例である。また、この例では、メタデータ記憶部２１０に記憶されているアフィン変換パラメータのみを用いて重複率を算出する例を示す。また、この例では、合成順序が指定されていない場合を示す。
最初に、区間選択部１６０により選択された１つの画像合成対象区間に含まれる各フレームに対応するメタデータが、メタデータ記憶部２１０に記憶されているメタデータファイルから取得される（ステップＳ１００１）。続いて、操作受付部２６０により受け付けられた各項目の選択情報が取得される（ステップＳ１００２）。
続いて、取得されたメタデータに基づいて、選択対象となる画像合成対象区間に含まれる各フレームについて選択判定スコアが算出され、算出された選択判定スコアのうち、最も値が高いフレームが最前面フレームとして選択される（ステップＳ１００３）。また、選択された最前面フレームが代表フレームとして選択される。続いて、選択された最前面フレームに関する各メタデータが合成対象画像メタデータ記憶部２７０に記録される（ステップＳ１００４）。
続いて、選択された代表フレームから降順に探索して、指定された重複率の範囲内となるフレームが抽出され、これらのフレームについて選択判定スコアが算出される（ステップＳ１００５）。続いて、指定された重複率の範囲内となるフレームについて算出された選択判定スコアのうち、最も値が高いフレームが新たな代表フレームとして選択される（ステップＳ１００６）。続いて、新たに選択された代表フレームに関する各メタデータが合成対象画像メタデータ記憶部２７０に記録される（ステップＳ１００７）。続いて、選択対象となる画像合成対象区間の先頭フレームまで選択判定スコアの算出が行われたか否かが判断される（ステップＳ１００８）。選択対象となる画像合成対象区間の先頭フレームまで選択判定スコアの算出が行われていない場合には（ステップＳ１００８）、ステップＳ１００５に戻り、代表フレームの選択処理を繰り返す（ステップＳ１００５乃至Ｓ１００７）。
一方、選択対象となる画像合成対象区間の先頭フレームまで選択判定スコアの算出が行われた場合には（ステップＳ１００８）、既に選択されている最前面フレームが代表フレームとして選択される（ステップＳ１００９）。続いて、選択された代表フレームから昇順に探索して、指定された重複率の範囲内となるフレームが抽出され、これらのフレームについて選択判定スコアが算出される（ステップＳ１０１０）。続いて、指定された重複率の範囲内となるフレームについて算出された選択判定スコアのうち、最も値が高いフレームが新たな代表フレームとして選択される（ステップＳ１０１１）。続いて、新たに選択された代表フレームに関する各メタデータが合成対象画像メタデータ記憶部２７０に記録される（ステップＳ１０１２）。続いて、選択対象となる画像合成対象区間の最後のフレームまで選択判定スコアの算出が行われたか否かが判断される（ステップＳ１０１３）。選択対象となる画像合成対象区間の最後のフレームまで選択判定スコアの算出が行われていない場合には（ステップＳ１０１３）、ステップＳ１０１０に戻り、代表フレームの選択処理を繰り返す（ステップＳ１０１０乃至Ｓ１０１２）。
一方、最後のフレームまで選択判定スコアの算出が行われた場合には（ステップＳ１０１３）、区間選択部１６０により選択された全ての画像合成対象区間についてフレーム選択処理が終了したか否かが判断される（ステップＳ１０１４）。全ての画像合成対象区間についてフレーム選択処理が終了していない場合には（ステップＳ１０１４）、ステップＳ１００１に戻り、フレーム選択処理を繰り返す（ステップＳ１００１乃至Ｓ１０１３）。一方、全ての画像合成対象区間についてフレーム選択処理が終了した場合には（ステップＳ１０１４）、フレーム選択処理の動作を終了する。
このように、画像に含まれる顔に関する属性および状態等を用いて、最前面画像および合成対象画像を選択することにより、動画に含まれる人物に関する面白みのある画像を提供することができる。また、ユーザの好みに応じて、顔に関する属性および状態等の各項目を設定して表示させることができるため、ユーザの好みに応じた合成画像を提供することができる。
＜４．第４の実施の形態＞
［画像処理装置の構成例］
本発明の第１の実施の形態では、一定の太さの白枠を周縁に付した画像を合成してパノラマ風の合成画像を作成する例について説明した。本発明の第４の実施の形態では、画像の周縁に付す装飾画像として一定の太さの白枠以外の装飾画像を付す例について図面を参照して詳細に説明する。
図５０は、本発明の第４の実施の形態における画像処理装置１０２の機能構成例を示すブロック図である。画像処理装置１０２は、画像合成部２２１と、合成対象画像メタデータ記憶部２７７と、装飾画像決定部７００とを備える。なお、他の機能構成については、図１に示す画像処理装置１００と略同一であるため、画像処理装置１００の符号と同一の符号を付して、機能が異なるものを中心にして説明し、他の説明を省略する。
記録制御部１５０は、装飾画像決定部７００から出力された装飾画像に関する情報を合成対象画像メタデータとして合成対象画像メタデータ記憶部２７７に記録する。
合成対象画像選択部１７０は、画像合成対象区間に含まれるフレームの中から、合成対象画像を選択するものであり、選択された合成対象画像に関する合成対象画像情報を記録制御部１５０および装飾画像決定部７００に出力する。
装飾画像決定部７００は、合成対象画像選択部１７０から出力された合成対象画像情報に対応する各フレームに付す装飾画像を決定するものであり、決定された装飾画像に関する装飾画像情報を記録制御部１５０に出力する。例えば、装飾画像決定部７００は、メタデータ記憶部２１０に記憶されているメタデータに基づいて装飾画像を決定する。また、装飾画像決定部７００は、メタデータ記憶部２１０に記憶されているメタデータと、合成対象画像情報に対応する各フレームとに基づいて装飾画像を決定する。なお、装飾画像の決定方法については、図５２乃至図６２を参照して詳細に説明する。
合成対象画像メタデータ記憶部２７７は、記録制御部１５０の制御に基づいて、合成対象画像選択部１７０から出力された合成対象画像情報を合成対象画像メタデータファイルとして記憶するものである。また、合成対象画像メタデータ記憶部２７７は、装飾画像決定部７００から出力された装飾画像情報を合成対象画像メタデータファイルとして記憶する。また、合成対象画像メタデータ記憶部２７７は、ファイル取得部１８０からの要求に応じて合成対象画像メタデータファイルをファイル取得部１８０に供給する。なお、合成対象画像メタデータ記憶部２７７に記憶されるメタデータファイルについては、図５１を参照して詳細に説明する。
ファイル取得部１８０は、合成画像を表示させるための指示操作が操作受付部２６０により受け付けられた場合には、合成対象画像メタデータ記憶部２７０から取得した合成対象画像メタデータを画像合成部２２１に出力する。
画像合成部２２１は、画像メモリ２３０を用いて、画像変換部１９０によりアフィン変換された画像に、合成対象画像メタデータの内容に応じた装飾画像を付して、この装飾画像が付された画像を合成して合成画像を作成するものである。
図５１は、本発明の第４の実施の形態における合成対象画像メタデータ記憶部２７７の記憶内容を模式的に示す図である。合成対象画像メタデータ記憶部２７７には、動画ＩＤ２７１と、区間番号２７２と、フレーム番号２７３と、アフィン変換パラメータ２７４と、最前面フレーム２７５と、顔データ２７６と、装飾画像データ２７８とが関連付けて記憶されている。動画ＩＤ２７１、区間番号２７２、フレーム番号２７３、アフィン変換パラメータ２７４、最前面フレーム２７５および顔データ２７６については、図４に示す例と同様であるため、ここでの説明を省略する。
装飾画像データ２７８は、装飾画像決定部７００により決定された合成対象画像に付される装飾画像に関する情報である。この情報として、例えば、合成対象画像に付される装飾画像の位置、大きさ、態様、色、種類等が格納される。この装飾画像データ２７８の内容に基づいて、対応するフレームの周縁に装飾画像が付される。なお、図５１に示す例では、装飾画像に関する情報を省略して示す。
［白枠の決定例］
最初に、装飾画像を付す対象となる画像をアフィン変換して、前の合成画像に重ねた上で、この合成画像と、アフィン変換後の画像との重複領域の情報を用いて画像解析を行うことにより、装飾画像を決定する例について説明する。この例では、装飾画像として白枠を例にして説明する。
図５２は、本発明の第４の実施の形態における装飾画像決定部７００が白枠の太さを決定する決定方法の概略を示す図である。図５２（ａ）には、合成対象画像選択部１７０により選択されたフレームのうち、時系列で連続する３つのフレーム７１１乃至７１３を示す。合成画像７１４は、時系列で連続する２つのフレーム７１２および７１３がアフィン変化後に合成された画像を示す。また、フレーム７１３は、フレーム７１２と時系列で隣り合うフレームであり、アフィン変換された状態を示す。これらの各フレームは、合成対象画像選択部１７０により選択されたフレームに関する情報に基づいて、装飾画像決定部７００が、動画記憶部２００に記憶されている動画ファイルから取得する。また、合成画像を保持するためのワークバッファを装飾画像決定部７００が備える。
図５２（ａ）に示すように、選択されたフレームのうちの直前までのフレームが合成された合成画像７１４に、アフィン変換された次のフレームであるフレーム７１４が重ねられる。この際に、合成画像７１４と、フレーム７１３に対応する画像との重複領域７１５について、本発明の第１の実施の形態で示した方法と同様の方法により、合成画像７１４における特徴点が抽出され、この特徴点についてオプティカルフローが算出される。そして、カメラワークパラメータおよび信頼度が算出される。このように、画像全体ではなく、重複領域のみの局所的な領域についてカメラワークパラメータおよび信頼度を算出した場合には、画像全体について算出されたカメラワークパラメータおよび信頼度とは異なる場合がある。また、合成対象画像選択部１７０により選択されたフレームは、動画を構成する連続するフレームではないため、複数のアフィン変換パラメータの乗算により、フレーム間でズレが生じている可能性がある。なお、重複領域７１５のうち、領域７１６は、フレーム７１１とフレーム７１３との重複領域であり、重複領域７１５のうち、領域７１６以外の領域は、フレーム７１２とフレーム７１３との重複領域である。図５２（ａ）では、重複領域７１５において抽出された特徴点を黒塗り丸および白塗り丸で模式的に示す。また、これらの特徴点について算出されたオプティカルフローについては、特徴点を始点とする矢印で示す。ここで、重複領域７１５における黒塗り丸で示す特徴点は、支配的な動きを見せた特徴点であり、白塗り丸は、その他の特徴点であるものとする。
図５２（ｂ）には、図５２（ａ）に示す重複領域７１５について算出されたアフィン変換パラメータを用いて、重複領域７１５をアフィン変換した場合を示す。図５２（ｂ）では、アフィン変換パラメータを用いた移動の遷移を４つの矢印で示し、重複領域７１５がアフィン変換された後の領域をアフィン変換後の重複領域７１７として示す。また、図５２（ｃ）には、重複領域７１５およびアフィン変換後の重複領域７１７のみを示す。
このように、動画を構成する連続するフレーム間について算出されたアフィン変換パラメータを用いて、選択されたフレームを合成する場合には、ズレが生じる可能性がある。そこで、この例では、ズレの大きさに基づいて、白枠の太さを決定する。
ここで、ズレ量として、以下の式を用いて、２つのはみ出し率ＤＲ１およびＤＲ２を算出する。
はみ出し率ＤＲ１＝（１−（Ｃ／Ａ））
はみ出し率ＤＲ２＝（１−（Ｃ／Ｂ））
ここで、Ｃは、対象となる画像の重複領域と、この重複領域のアフィン変換後の領域とを合成した領域の面積を示す。また、Ａは、対象となる画像の重複領域の面積を示し、Ｂは、対象となる画像の重複領域のアフィン変換後の面積を示す。例えば、図５２（ｃ）に示す例では、重複領域７１５およびアフィン変換後の重複領域７１７を合成した領域の面積を面積Ｃとし、重複領域７１５の面積を面積Ａとし、アフィン変換後の重複領域７１７の面積を面積Ｂとする。そして、２つのはみ出し率ＤＲ１およびＤＲ２が算出される。
このように算出された２つのはみ出し率ＤＲ１およびＤＲ２について、大きい値を選択する。そして、この選択されたはみ出し率をＤＲとして、以下の式を用いて、装飾画像としての白枠の太さを算出する。
水平方向の両端の辺に付す白枠の太さＳＨ１＝Ｗ×ＤＲ
垂直方向の両端の辺に付す白枠の太さＳＨ２＝Ｈ×ＤＲ
ここで、付与の対象となる画像に対して、白枠が極端に太くならないように、はみ出し率に上限および下限を設けるようにしてもよい。はみ出し率の上限および下限の範囲として、例えば、０．１〜０．０３とすることができる。
このように算出された水平方向および垂直方向の両端の辺に付す白枠の太さＳＨ１およびＳＨ２が記録制御部１５０に出力され、合成対象画像メタデータ記憶部２７７の装飾画像データ２７８に記録される。
例えば、はみ出し率が小さい場合には、白枠を付す対象となる対象画像と、この画像の下側に重ねられる合成画像とのズレが小さい。このため、その対象画像に付す白枠の太さを細くした場合でも、対象画像と合成画像との間で自然な画像を形成すると考えられる。これに対して、はみ出し率が大きい場合には、対象画像と、この画像の下側に重ねられる合成画像とのズレが大きい。このため、その対象画像に付す白枠の太さを太くすることにより、そのズレを目立たなくすることができる。また、画像に付される白枠のため、ズレによる不自然さを解消することができる。なお、白枠を付す位置は、対象画像の外側、内側または縁上の何れかとすることができる。これらの白枠を付す例を図５６乃至図５８に示す。
図５３は、本発明の第４の実施の形態における装飾画像決定部７００により決定される装飾画像の一例を示す図である。図５３（ａ）には、フレーム７２０の周縁の外側に白枠画像７２１を付す例を示し、図５３（ｂ）には、フレーム７２０の周縁を含むように、白枠画像７２２を付す例を示し、図５３（ｃ）には、フレーム７２０の周縁の内側に白枠画像７２３を付す例を示す。なお、画像の周縁を含むように白枠画像を付す場合には、画像の周縁上を斜めに跨ぐように、白枠画像を付すようにしてもよい。なお、図５３では、見易いように、画像に対する白枠を大きくして示す。また、図５３（ａ）乃至（ｃ）において、フレーム７２０の大きさを見易くするため、画像の周縁を太線で示す。
また、このように算出された白枠の太さについては、算出の対象となった画像毎に決定することができる。しかしながら、見栄えのよい合成画像を提供するため、例えば、同一の画像合成対象区間について算出された各はみ出し率のうち、最も大きな値のはみ出し率を用いて、その区間に含まれる各フレームの白枠の比率を統一するようにしてもよい。また、例えば、はみ出し率の平均値を用いるようにしてもよい。また、図５４で示すように、画像間の相対的な位置関係に応じて、白枠を付す位置を変更するようにしてもよい。
図５４は、本発明の第４の実施の形態における装飾画像決定部７００による装飾画像の決定方法の一例を示す図である。図５４（ａ）には、フレーム７３０を基準フレームとして、フレーム７４０をアフィン変換する場合を示す。この例では、フレーム７４０の上側の周縁に付される画像の位置を決定する例について説明する。例えば、フレーム７３０を基準フレームとして、フレーム７４０をアフィン変換してフレーム７３０の上側の２隅の点を移動する場合における移動ベクトルを移動ベクトル７３１および７３２で示す。また、フレーム７３０の上辺における法線ベクトルを法線ベクトル７３３および７３４で示す。
図５４（ｂ）には、移動ベクトル７３１および７３２と、法線ベクトル７３３および７３４との関係を示す。例えば、フレーム７４０の上辺について白枠を付す位置を算出する場合には、移動ベクトル７３１および移動ベクトル７３２を加算したベクトル７３５と、ベクトル７３３とのなす角７３６を計算する。また、ベクトル７３５とベクトル７３４とのなす角７３７を計算する。続いて、角７３６の値と、角７３７の値との大きさを比較する。この比較結果、角７３６の値が小さい場合には、フレーム７４０の周縁の内側に白枠を配置する。一方、角７３７の値の小さい場合には、フレーム７４０の周縁の外側に白枠を配置する。例えば、図５４（ｂ）に示すように、角７３６の値と、角７３７の値との大きさを比較した結果、角７３７の値の小さいため、フレーム７４０の上辺の周縁に付される白枠は、その外側に配置すると決定される。また、他の３辺についても同様に白枠の位置を決定することができる。
図５４（ｃ）には、フレーム７４０に付される白枠の一例である白枠画像７４１を示す。このように、基準フレームに対する相対的な位置に応じて、白枠画像の位置を決定することができる。なお、２つの移動ベクトルの和が０となった場合には、外側内側の何れかに配置すると決定するようにしてもよい。また、この場合には、周縁上に配置すると決定するようにしてもよい。また、２つの移動ベクトルの和が０以外の場合でも、周縁の外側または内側の何れかに決定するだけでなく、その周縁を跨ぐような配置とするようにしてもよい。例えば、加算ベクトルと、法線ベクトルとのなす角に応じて、白枠画像の中心位置を変更することができる。また、図５５に示すように、同一の辺について配置される白枠画像をその辺の両端で異なる配置とすることができる。
図５５は、本発明の第４の実施の形態における装飾画像決定部７００による装飾画像の決定方法の一例を示す図である。図５５（ａ）には、フレーム７５０を基準フレームとして、フレーム７６０をアフィン変換する場合を示す。例えば、移動ベクトル７５１と、法線ベクトル７５３とのなす角が小さく、移動ベクトル７５２と、法線ベクトル７５４とのなす角が小さい場合には、移動ベクトル７５１の終点の付近は内側とする。また、移動ベクトル７５２の終点の付近は外側とする配置に決定するようにしてもよい。他の辺についても同様に決定することができる。このように決定した場合には、例えば、図５５（ｂ）に示すように配置することができる。ただし、このように白枠画像を配置する場合には、画像の外形が変わってしまう可能性がある。例えば、図５５（ｂ）に示すように、フレーム７６０が長方形の場合に、白枠画像を付した画像が、平行四辺形となる場合がある。また、例えば、対象フレームが長方形である場合には、白枠画像を付した画像が台形となる場合が想定され、対象フレームが平行四辺形である場合には、白枠画像を付した画像が台形となる場合が想定される。
［白枠の合成例］
図５６は、本発明の第４の実施の形態における装飾画像決定部７００により決定された装飾画像を合成した合成例を示す図である。この装飾画像の合成は、合成対象画像メタデータ記憶部２７７の装飾画像データ２７８の内容に基づいて画像合成部２２０が行う。すなわち、合成対象画像メタデータ記憶部２７７のアフィン変換パラメータ２７４の内容に基づいて、画像変換部１９０により画像がアフィン変換される。そして、合成対象画像メタデータ記憶部２７７の装飾画像データ２７８の内容に基づいて、アフィン変換後の画像に画像合成部２２０が装飾画像を付して画像合成を行う。また、図５６に示す例では、並進方向のズレの影響について説明する。なお、図５６乃至図５７では、装飾画像として白枠を付す例を示す。
図５６（ａ）には、合成対象画像７３８および７３９を示す。図５６（ｂ）には、合成対象画像７３８を基準画像として、合成対象画像７３９をアフィン変換して合成した場合の例を示す。図５６（ｂ）に示す例では、合成対象画像７３９が右下にズレた場合を示す。例えば、円７４２で囲まれた画像領域では、合成対象画像７３８に含まれる屋根の部分が余計に見えてしまう。また、例えば、円７４３で囲まれた画像領域では、合成対象画像７３８に含まれる芝の部分を合成対象画像７３９が隠してしまう。また、例えば、円７４４で囲まれた画像領域では、合成対象画像７３８に含まれる傘の部分が余計に見えてしまう。そこで、図５６（ｃ）に示すように、装飾画像決定部７００により決定された装飾画像７４５を合成対象画像７３９に合成することにより、例えば、円７４２乃至７４４で囲まれた領域部分の不自然な画像を隠すことができる。一方、図５６（ｄ）に示すように、装飾画像決定部７００により決定された領域とは反対方向に装飾画像７４６を合成対象画像７３９に合成した場合には、例えば、円７４２乃至７４４で囲まれた領域部分の不自然な画像を隠すことができない。
図５７は、本発明の第４の実施の形態における装飾画像決定部７００により決定された装飾画像を合成した合成例を示す図である。なお、図５７に示す例では、拡大縮小方向のズレの影響について説明する。
図５７（ａ）には、合成対象画像７４７および７４８を示す。図５７（ｂ）には、合成対象画像７４７を基準画像として、合成対象画像７４８をアフィン変換して合成した場合の例を示す。図５７（ｂ）に示す例では、合成対象画像７４７が縮小方向にズレた場合を示す。例えば、円７４９で囲まれた画像領域では、合成対象画像７４７に含まれる屋根の部分が余計に見えてしまう。また、例えば、円７５５で囲まれた画像領域では、合成対象画像７４７に含まれる電灯の部分が余計に見えてしまう。また、例えば、円７５６で囲まれた画像領域では、合成対象画像７４７に含まれる傘の部分が余計に見えてしまう。そこで、図５７（ｃ）に示すように、装飾画像決定部７００により決定された装飾画像７５７を合成対象画像７４８に合成することにより、例えば、円７４９、７５５、７５６で囲まれた領域部分の不自然な画像を隠すことができる。一方、図５７（ｄ）に示すように、装飾画像決定部７００により決定された領域とは反対方向に装飾画像７５８を合成対象画像７４８に合成した場合には、例えば、円７４９、７５５、７５６で囲まれた領域部分の不自然な画像を隠すことができない。
図５８は、本発明の第４の実施の形態における装飾画像決定部７００により決定された装飾画像を合成した合成例を示す図である。なお、図５８に示す例では、回転方向のズレの影響について説明する。
図５８（ａ）には、合成対象画像７５９および７６２を示す。図５８（ｂ）には、合成対象画像７５９を基準画像として、合成対象画像７６２をアフィン変換して合成した場合の例を示す。図５８（ｂ）に示す例では、合成対象画像７６２が右回り方向にズレた場合を示す。例えば、円７６３で囲まれた画像領域では、合成対象画像７５９に含まれる石畳の部分が不自然に見えてしまう。そこで、図５８（ｃ）に示すように、装飾画像決定部７００により決定された装飾画像７６４を合成対象画像７６４に合成することにより、例えば、円７６３で囲まれた領域部分の不自然な画像を隠すことができる。一方、図５８（ｄ）に示すように、装飾画像決定部７００により決定された領域とは反対方向に装飾画像７６５を合成対象画像７６２に合成した場合には、例えば、円７６３で囲まれた領域部分の不自然な画像を隠すことができない。ここで、単に回転方向にのみズレている場合には、図５４で説明したように、２つの移動ベクトルの和が０となる。このため、外側内側の何れかに配置すると決定するようにしてもよく、周縁上に配置すると決定するようにしてもよい。
このように、装飾画像決定部７００により決定された装飾画像を合成対象画像に合成することにより、パノラマ風の自然な合成画像をユーザに提供することができる。
［顔を考慮した白枠の決定例］
ここで、例えば、装飾画像を付した合成対象画像を合成する場合には、下側に重ねられた合成画像に含まれる顔が隠れてしまう可能性がある。このような場合には、顔が隠れない方向に装飾画像の位置を変更することができる。または、装飾画像の太さを調整するようにしてもよい。
図５９は、本発明の第４の実施の形態における装飾画像決定部７００による顔を考慮した装飾画像の決定方法の一例を示す図である。ここでは、合成対象画像７６６乃至７６８の装飾画像を決定する例を示す。また、合成対象画像７６７および７６８には顔が含まれているものとし、これらの顔を含む領域を顔領域７６９および７７０で示す。
例えば、合成対象画像７６６を基準画像として、合成対象画像７６７および７６８が順次アフィン変換されて合成されるものとする。この場合には、合成対象画像７６７に合成対象画像７６８が上書き合成されるため、例えば、合成対象画像７６８に付される装飾画像が大きい場合（または、外側に付される場合）には、顔領域７６９に含まれる顔が隠れてしまうおそれがある。
ここで、例えば、合成対象画像メタデータ記憶部２７７の顔データ２７６に格納されている顔データを用いて、合成対象画像に含まれる顔領域を特定することができる。そこで、例えば、装飾画像決定部７００は、顔を考慮する前に決定された装飾画像の領域と、顔領域とが重複するか否かを計算し、装飾画像の領域と顔領域とが重複する場合には、装飾画像の位置を、決定された位置の反対側に変更する。例えば、合成対象画像７６７に含まれる顔領域７６９と、合成対象画像７６８の左端の外側に付すと決定された装飾画像７７１とが重複する場合には、装飾画像７７１を内側に付すように変更する。すなわち、装飾画像７７２に変更される。また、例えば、合成対象画像７６８に含まれる顔領域７７０と、合成対象画像７６８の上端の内側に付すと決定された装飾画像７７３とが重複する場合には、装飾画像７７３を外側に付すように変更する。すなわち、装飾画像７７４に変更される。
ここで、例えば、合成対象画像の内側または外側の何れに変更しても、装飾画像と顔領域とが重複する場合には、装飾画像と顔領域との距離を計算し、装飾画像の太さを変更するようにしてもよい。このように、太さを変更しても重複する場合には、例えば、重複する面積が小さい位置に装飾画像の位置を変更する。しかしながら、例えば、上側に重ねられる合成対象画像を優先させ、装飾画像と顔領域とが重複する場合には、合成対象画像の外側に付すと装飾画像を決定するようにしてもよい。また、顔領域と装飾画像との距離を各辺毎に計算しておき、顔に重ならない装飾画像の最大の太さを合成対象画像メタデータ記憶部２７７に記憶しておき、この値を用いて装飾画像を付すようにしてもよい。
［影の決定例］
以上では、装飾画像として合成対象画像に白枠を付す例について説明したが、例えば、装飾画像として合成対象画像に影を付すようにしてもよい。
図６０は、本発明の第４の実施の形態における装飾画像決定部７００により合成対象画像に付す装飾画像として決定される影の例を示す図である。以下では、合成対象画像に付される影を内部に斜線を付して示す。図６０（ａ）には、合成対象画像に付される影の基本形を示す。例えば、影の方向については、影３５１のように、合成対象画像の真上から光を当てた際に四方へ広がる様子を基本とする。また、影３５２または３５３のように、合成対象画像の斜め上または斜め下から光を当てたような効果を演出することもできる。
図６０（ｂ）には、合成対象画像の斜め上から光を当てたような効果を演出して、合成画像を作成した場合を示す。すなわち、影３５２を付した合成対象画像を順次合成することにより、図６０（ｂ）に示す合成画像を作成することができる。また、図６０（ｃ）には、合成対象画像の斜め下から光を当てたような効果を演出して、合成画像を作成した場合を示す。すなわち、影３５３を付した合成対象画像を順次合成することにより、図６０（ｃ）に示す合成画像を作成することができる。
ここで、例えば、合成対象画像の斜め上または斜め下から光を当てたような効果を演出する場合には、最終的な合成画像の重なり方向に応じて、なるべく下の画像上に影が落ちるような方向を影の方向として決定することが好ましい。また、影の太さについては、例えば、一定の値とすることができる。また、例えば、上述した白枠の場合と同様に、はみ出し率に応じて影の太さを決定するようにしてもよい。
図６１は、本発明の第４の実施の形態における装飾画像決定部７００が影の方向を決定する決定方法の概略を示す図である。図６１（ａ）には、ワークバッファ３５８に保持されている合成対象画像３５４乃至３５７を示す。例えば、他の合成対象画像上に上書きされている合成対象画像の辺の長さを計算して、その辺の外向き法線ベクトルを計算し、この法線ベクトルの大きさを辺の上書き部分の長さとする。例えば、図６１（ａ）に示す合成対象画像３５５乃至３５７において、他の合成対象画像上に上書きされている辺を太線で示す。また、その辺の外向き法線ベクトルを太線上に示す。このように計算された合成対象画像の法線ベクトルが全て積算され、積算して求められた法線ベクトルの方向が影を付す方向と決定される。図６１（ｂ）には、このように決定された影を付した合成対象画像３５４乃至３５７により形成された合成画像を示す。このように影の方向を決定することにより、影が合成対象画像上に投影されるため、影の効果を強調することができる。
なお、上述した法線ベクトルの積算による影の方向の決定以外に、法線ベクトルの方向を参照して、予め決めておいたいくつかの方向から影の方向を選択して決定するようにしてもよい。また、各合成対象画像に関連付けられているアフィン変換パラメータを乗算して求められたアフィン行列を用いてカメラワークの積算並進成分を求め、この積算並進成分の方向を影の方向とするようにしてもよい。
［顔を考慮した影の決定例］
ここで、例えば、影を付した合成対象画像を合成する場合には、下側に重ねられた合成画像に含まれる顔が隠れてしまう可能性がある。このような場合には、上述した白枠の場合と同様に、顔が隠れない方向に陰の位置を変更することができる。または、影の太さを調整するようにしてもよい。また、顔領域に影がかかる場合には、影の色を薄くするようにしてもよい。以下では、顔に影がかかる場合に、その辺における法線ベクトルの方向を反転させることにより、影の方向を変更する例を示す。
図６２は、本発明の第４の実施の形態における装飾画像決定部７００による顔を考慮した影の決定方法の一例を示す図である。図６２に示す例は、ワークバッファ３５８に保持されている合成対象画像３５４乃至３５７のうち、合成対象画像３５６に顔領域３５９が含まれている点以外は、図６１（ａ）に示す場合と同様である。例えば、図６１（ａ）に示す場合と同様に法線ベクトルを求めるが、顔領域に影がかかる場合には、その辺における法線ベクトルの方向を反転させる。例えば、図６２に示す合成対象画像３５７において、他の合成対象画像３５６上に上書きされている辺のうち、左端の辺が顔領域３５９と重複している。そこで、その辺における法線ベクトルの方向を反転させる。すなわち、法線ベクトル３６０のように反転させる。なお、影の方向の決定方法は、法線ベクトルの方向を反転させる点以外は、図６１（ａ）に示す場合と同様であるため、ここでの説明を省略する。
ここで、図６２に示す例では、法線ベクトルの方向を反転させた後に算出される法線ベクトルの積算ベクトルの方向は、反転させない場合とほとんど変わらないため、影で顔が隠れることになる。しかしながら、複数の合成対象画像の左辺の影が顔にかかるような場合には、影の方向が右上方向になるため、顔が影で隠れることを防止することができる。また、例えば、反転させた法線ベクトルの方向および長さに応じて、全体の影の濃さを薄くするようにしてもよい。または、反転させた法線ベクトルの方向および長さに応じて、影の太さを細くするようにしてもよい。また、顔に影がかかる場合には、全体の影の濃さをある割合だけ薄くしたり、太さをある割合だけ細くしたりする影の変更方法を行うようにしてもよい。
このように、下側に重ねられた合成画像に含まれる顔が隠れてしまう可能性がある場合には、顔が隠れない方向に影の位置を変更することができる。しかしながら、白枠と比較すると、顔に影がかかる場合でも、それほど気にならないと考えられる。そこで、顔領域に影がかかる場合には、これらの変更や調整を全く行わなくてもよいし、何れか１つを行うようにしてもよく、組み合わせて行うようにしてもよい。
以上では、装飾画像として白枠または影の何れかを決定する例について説明したが、合成対象画像の周縁に白枠を付すとともに、この白枠の周縁に影を付す場合についても本発明の第４の実施の形態を適用することができる。
また、以上では、合成対象画像に付す装飾画像をフレーム選択時に決定する例を示したが、例えば、合成画像の表示時に合成対象画像に付す装飾画像を決定するようにしてもよい。また、ユーザ操作による設定により装飾画像を決定するようにしてもよい。例えば、合成対象画像の白枠の有無、白枠の位置、白枠の太さ、影の有無、影の方向等をユーザ操作により指定するようにしてもよい。
また、以上では、装飾画像として白枠または影の太さおよび位置を決定する例について説明したが、例えば、はみ出し率や法線ベクトルに基づいて、装飾画像の色や態様を決定するようにしてもよい。また、以上では、合成対象画像間の相対的な位置関係等に基づいて、装飾画像を決定する例について示したが、例えば、合成対象画像に含まれる被写体の属性や色等に基づいて、装飾画像を決定するようにしてもよい。例えば、装飾画像として枠を付す場合には、合成対象画像の周辺部の色ヒストグラムを計算し、最も多い色の補色を枠の色として決定することができる。このように、白以外の色を付した枠を合成対象画像に付すことにより、合成対象画像の縁が目立たなくなることを防ぐことができる。例えば、図３２および図３３に示す画像５７６のように、合成対象画像の周辺部に緑が多い場合には、緑に対する補色として赤系の色を採用し、赤系の枠を付すことができる。また、本発明の第３の実施の形態で示した顔に関する各メタデータを用いて、枠の色や態様を決定するようにしてもよい。例えば、合成対象画像に含まれる人物の性別や年代に応じて、枠の色を変更することができる。また、合成対象画像が撮像された時刻に応じて、枠の色を変更することができる。
また、図５２で示した方法により算出されたカメラワークパラメータおよび信頼度を用いて、合成対象画像の表示時に、ズレを補正しながら合成をするようにしてもよい。例えば、図５２で示した方法により算出されたカメラワークパラメータおよび信頼度を合成対象画像メタデータ記憶部２７７に記憶しておく。そして、合成対象画像を表示する際に、信頼度が高い合成対象画像については、対応するカメラワークパラメータを用いて、合成対象画像を変換させるためのアフィン変換パラメータを補正することができる。
［画像処理装置の動作例］
次に、本発明の第４の実施の形態における画像処理装置１０２の動作について図面を参照して説明する。
図６３は、本発明の第４の実施の形態における画像処理装置１０２による合成対象画像のメタデータ記録処理の処理手順を示すフローチャートである。この処理手順は、図３４に示す処理手順の変形例であるため、図３４に示す処理手順と同一の手順については同一の符号を付して、これらの説明を省略する。
合成対象画像選択部１７０によるフレーム選択処理が終了した後に、装飾画像決定部７００が、装飾画像決定処理を行う（ステップＳ１０２０）。この装飾画像決定処理については、図６４を参照して詳細に説明する。
図６４は、本発明の第４の実施の形態における画像処理装置１０２による合成対象画像のメタデータ記録処理の処理手順のうちの装飾画像決定処理手順（図６３に示すステップＳ１０２０の処理手順）を示すフローチャートである。この例では、装飾画像として白枠を決定する例を示す。また、同一の画像合成対象区間に含まれる各フレームに付す白枠を同一の太さとする場合を例にして示す。
最初に、合成対象画像選択部１７０により選択された１つの画像合成対象区間に含まれる各合成対象画像に対応するメタデータが、メタデータ記憶部２１０に記憶されているメタデータファイルから取得される（ステップＳ１０２１）。続いて、取得された画像合成対象区間に含まれる各合成対象画像に対応するアフィン変換パラメータを用いて各合成対象画像を合成する際に必要な大きさが算出され、この大きさのワークバッファが２つ確保される（ステップＳ１０２２）。この２つのワークバッファは、画像を構成する各画素を８ビットで表すワークバッファであり、この例では、第１ワークバッファおよび第２ワークバッファとして示す。
続いて、選択対象となる画像合成対象区間に含まれる各合成対象画像のうち、最前面フレームが基準フレームとして選択される（ステップＳ１０２３）。続いて、基準フレームが第１ワークバッファに貼り付けられる（ステップＳ１０２４）。続いて、基準フレームの隣のフレームが第２ワークバッファに貼り付けられる（ステップＳ１０２５）。この場合には、直前に貼り付けられていたフレームが消去され、基準フレームの隣のフレームのみが第２ワークバッファに貼り付けられる。続いて、第１ワークバッファに貼り付けられている履歴画像と、第２ワークバッファに貼り付けられているフレームとの重複領域のはみ出し率が算出される（ステップＳ１０２６）。このはみ出し率は、図５２に示す算出方法により算出される。
続いて、選択対象となる画像合成対象区間に含まれる各合成対象画像について、はみ出し率の算出が終了したか否かが判断される（ステップＳ１０２７）。各合成対象画像についてはみ出し率の算出が終了していない場合には（ステップＳ１０２７）、直前にはみ出し率が算出されたフレームが基準フレームとして選択され（ステップＳ１０２８）、ステップＳ１０２４に戻る。そして、新たに選択された基準フレームが第１ワークバッファの履歴画像上に貼り付けられる（ステップＳ１０２４）。なお、直前にはみ出し率が算出されたフレームが、画像合成対象区間の先頭フレームまたは最後のフレームである場合には、最前面フレームの他の方向に隣接するフレームが基準フレームとして選択される。
各合成対象画像についてはみ出し率の算出が終了した場合には（ステップＳ１０２７）、各合成対象画像について算出されたはみ出し率に基づいて選択対象となる画像合成対象区間に含まれる各合成対象画像に付す白枠の太さが算出される（ステップＳ１０２９）。続いて、算出された白枠の太さが合成対象画像メタデータ記憶部２７７に記録される（ステップＳ１０３０）。続いて、区間選択部１６０により選択された全ての画像合成対象区間について装飾画像決定処理が終了したか否かが判断される（ステップＳ１０３１）。全ての画像合成対象区間について装飾画像決定処理が終了していない場合には（ステップＳ１０３１）、ステップＳ１０２１に戻り、装飾画像決定処理を繰り返す（ステップＳ１０２１乃至Ｓ１０３０）。一方、全ての画像合成対象区間について装飾画像決定処理が終了した場合には（ステップＳ１０３１）、装飾画像決定処理の動作を終了する。
図６５は、本発明の第４の実施の形態における画像処理装置１０２による合成対象画像のメタデータ記録処理の処理手順のうちの装飾画像決定処理手順（図６３に示すステップＳ１０２０の処理手順）を示すフローチャートである。この例は、装飾画像として影を決定する例であり、図６４に示す処理手順の変形例である。このため、図６４に示す処理手順と異なる手順のみを説明し、他の説明を省略する。
基準フレームの隣のフレームが第２ワークバッファに貼り付けられた後に（ステップＳ１０２５）、第１ワークバッファに貼り付けられている履歴画像と、第２ワークバッファに貼り付けられているフレームとの法線ベクトルが算出される（ステップＳ１０４１）。この法線ベクトルは、図６１に示す算出方法により算出される。
また、各合成対象画像について法線ベクトルの算出が終了した場合には（ステップＳ１０２７）、各合成対象画像について算出された法線ベクトルの積算値が算出され、積算して求められた法線ベクトルの方向が影を付す方向として算出される（ステップＳ１０４２）。続いて、算出された影を付す方向が合成対象画像メタデータ記憶部２７７に記録される（ステップＳ１０４３）。
図６６は、本発明の第４の実施の形態における画像処理装置１０２による合成画像表示処理の処理手順を示すフローチャートである。この処理手順は、図３７に示す処理手順の変形例であるため、図３７に示す処理手順と同一の手順については同一の符号を付して、これらの説明を省略する。
画像合成部２２１が、取得された各メタデータに含まれる装飾画像データに基づいて、アフィン変換された画像の周縁に装飾画像を付す（ステップＳ１０５１）。続いて、この装飾画像が付された画像を画像メモリ２３０に保持させる（ステップＳ１０５２）。すなわち、アフィン変換されて装飾画像が付された画像が画像メモリ２３０に保持されている履歴画像に合成される。
また、最前面フレームが画像合成対象区間の先頭フレームでない場合には（ステップＳ９７３）、画像合成処理が行われる（ステップＳ１０６０）。この画像合成処理については、図６７を参照して詳細に説明する。
図６７は、本発明の第４の実施の形態における画像処理装置１０２による合成画像表示処理の処理手順のうちの画像合成処理手順（図６６に示すステップＳ１０６０の処理手順）を示すフローチャートである。この処理手順は、図３８に示す処理手順の変形例であるため、図３８に示す処理手順と同一の手順については同一の符号を付して、これらの説明を省略する。
画像合成部２２１が、取得された各メタデータに含まれる装飾画像データに基づいて、アフィン変換された画像の周縁に装飾画像を付す（ステップＳ１０６１）。続いて、この装飾画像が付された画像を画像メモリ２３０に保持させる（ステップＳ１０６２）。
また、画像合成部２２１が、取得された各メタデータに含まれる装飾画像データに基づいて、アフィン変換された画像の周縁に装飾画像を付す（ステップＳ１０６３）。続いて、この装飾画像が付された画像を画像メモリ２３０に保持させる（ステップＳ１０６４）。
また、画像合成部２２１が、取得された各メタデータに含まれる装飾画像データに基づいて、アフィン変換された画像の周縁に装飾画像を付す（ステップＳ１０６５）。続いて、この装飾画像が付された画像を画像メモリ２３０に保持させる（ステップＳ１０６６）。
＜５．第５の実施の形態＞
［画像処理装置の構成例］
次に、本発明の第５の実施の形態における特徴点抽出処理およびオプティカルフロー算出処理をマルチコアプロセッサにより行う場合について図面を参照して詳細に説明する。
図６８は、本発明の第５の実施の形態におけるマルチコアプロセッサ８００の一構成例を示す図である。マルチコアプロセッサ８００は、１つのＣＰＵ（Central Processing Unit）パッケージ上に異なる種類のプロセッサコアが複数搭載されているプロセッサである。すなわち、マルチコアプロセッサ８００には、各プロセッサコア単体の処理性能を維持するとともに、シンプルな構成にするため、あらゆる用途（アプリケーション）に対応する２種類のプロセッサコアが複数搭載されている。この２種類のプロセッサコアは、１種類のコアと、所定の用途にある程度最適化されている他の種類のコアとである。
マルチコアプロセッサ８００は、制御プロセッサコア８０１と、演算プロセッサコア（＃１）８１１乃至（＃８）８１８と、バス８０２とを備え、メインメモリ７８１と接続されている。また、マルチコアプロセッサ８００は、例えば、グラフィックスデバイス７８２やＩ／Ｏデバイス７８３等の他のデバイスと接続される。マルチコアプロセッサ８００として、例えば、本願出願人等により開発されたマイクロプロセッサである「Ｃｅｌｌ（セル：Cell Broadband Engine）」を採用することができる。
制御プロセッサコア８０１は、オペレーティング・システムのような頻繁なスレッド切り替え等を主に行う制御プロセッサコアである。なお、制御プロセッサコア８０１については、図６９を参照して詳細に説明する。
演算プロセッサコア（＃１）８１１乃至（＃８）８１８は、マルチメディア系の処理を得意とするシンプルで小型の演算プロセッサコアである。なお、演算プロセッサコア（＃１）８１１乃至（＃８）８１８については、図７０を参照して詳細に説明する。
バス８０２は、ＥＩＢ（Element Interconnect Bus）と呼ばれる高速なバスである。また、バス８０２は、制御プロセッサコア８０１および演算プロセッサコア（＃１）８１１乃至（＃８）８１８のそれぞれが接続され、各プロセッサコアによるデータアクセスはバス８０２を経由して行われる。
メインメモリ７８１は、バス８０２に接続され、各プロセッサコアにロードすべき各種プログラムや、各プロセッサコアの処理に必要なデータを格納するとともに、各プロセッサコアにより処理されたデータを格納するメインメモリである。
グラフィックスデバイス７８２は、バス８０２に接続されているグラフィックスデバイスであり、Ｉ／Ｏデバイス７８３は、バス８０２に接続されている外部入出力デバイスである。
図６９は、本発明の第５の実施の形態における制御プロセッサコア８０１の一構成例を示す図である。制御プロセッサコア８０１は、制御プロセッサユニット８０３および制御プロセッサストレージシステム８０６を備える。
制御プロセッサユニット８０３は、制御プロセッサコア８０１の演算処理を行う核となるユニットである。また、制御プロセッサユニット８０３は、マイクロプロセッサのアーキテクチャをベースとする命令セットを備え、一次キャッシュとして命令キャッシュ８０４およびデータキャッシュ８０５が搭載されている。命令キャッシュ８０４は、例えば、３２ＫＢの命令キャッシュであり、データキャッシュ８０５は、例えば、３２ＫＢのデータキャッシュである。
制御プロセッサストレージシステム８０６は、制御プロセッサユニット８０３からメインメモリ７８１へのデータアクセスを制御するユニットである。また制御プロセッサストレージシステム８０６は、制御プロセッサユニット８０３からのメモリアクセスを高速化させるために５１２ＫＢの二次キャッシュ８０７が搭載されている。
図７０は、本発明の第５の実施の形態における演算プロセッサコア（＃１）８１１の一構成例を示す図である。演算プロセッサコア（＃１）８１１は、演算プロセッサユニット８２０およびメモリフローコントローラ８２２を備える。なお、演算プロセッサコア（＃２）８１２乃至（＃８）８１８は、演算プロセッサコア（＃１）８１１と同様の構成であるため、ここでの説明を省略する。
演算プロセッサユニット８２０は、演算プロセッサコア（＃１）８１１の演算処理を行う核となるユニットであり、制御プロセッサコア８０１の制御プロセッサユニット８０３とは異なる独自の命令セットを備える。また、演算プロセッサユニット８２０には、ローカルストア（ＬＳ：Local Store）８２１が搭載されている。
ローカルストア８２１は、演算プロセッサユニット８２０の専用メモリであるとともに、演算プロセッサユニット８２０から直接参照することができる唯一のメモリである。ローカルストア８２１として、例えば、容量が２５６Ｋバイトのメモリを用いることができる。なお、演算プロセッサユニット８２０が、メインメモリ７８１や他の演算プロセッサコア（演算プロセッサコア（＃２）８１２乃至（＃８）８１８）上のローカルストアにアクセスするためには、メモリフローコントローラ８２２を利用する必要がある。
メモリフローコントローラ８２２は、メインメモリ７８１や他の演算プロセッサコア等との間でデータのやり取りするためのユニットであり、ＭＦＣ（Memory Flow Controller）と呼ばれるユニットである。ここで、演算プロセッサユニット８２０は、チャネルと呼ばれるインタフェースを介してメモリフローコントローラ８２２に対してデータ転送等を依頼する。
以上で示したマルチコアプロセッサ８００のプログラミング・モデルとして、さまざまなものが提案されている。このプログラミング・モデルの中で最も基本的なモデルとして、制御プロセッサコア８０１上でメインプログラムを実行し、演算プロセッサコア（＃１）８１１乃至（＃８）８１８上でサブプログラムを実行するモデルが知られている。本発明の第５の実施の形態では、このモデルを用いたマルチコアプロセッサ８００の演算方法について図面を参照して詳細に説明する。
図７１は、本発明の第５の実施の形態におけるマルチコアプロセッサ８００の演算方法を模式的に示す図である。この例では、データ７８５を用いて制御プロセッサコア８０１がタスク７８４を実行する場合に、タスク７８４の一部であるタスク７８６の処理に必要なデータ７８７（データ７８５の一部）を用いて、タスク７８６を各演算プロセッサコアに実行させる例を示す。
同図に示すように、データ７８５を用いて制御プロセッサコア８０１がタスク７８４を実行する場合には、タスク７８４の一部であるタスク７８６の処理に必要なデータ７８７（データ７８５の一部）を用いて、タスク７８６を各演算プロセッサコアに実行させる。本発明の第５の実施の形態では、動画を構成するフレーム毎に各演算プロセッサコアにより演算処理が行われる。
同図に示すように、マルチコアプロセッサ８００が演算を行うことにより、演算プロセッサコア（＃１）８１１乃至（＃８）８１８を並列に利用して、比較的少ない時間で多くの演算を行うことができる。また、演算プロセッサコア（＃１）８１１乃至（＃８）８１８上でＳＩＭＤ（Single Instruction/Multiple Data：単一命令／複数データ）演算を利用して、さらに少ない命令数により、比較的多くの演算処理を行うことができる。なお、ＳＩＭＤ演算については、図７５乃至図７８等を参照して詳細に説明する。
図７２は、本発明の第５の実施の形態におけるマルチコアプロセッサ８００により演算を行う場合におけるプログラムおよびデータの流れを模式的に示す図である。ここでは、演算プロセッサコア（＃１）８１１乃至（＃８）８１８のうちの演算プロセッサコア（＃１）８１１を例にして説明するが、演算プロセッサコア（＃２）８１２乃至（＃８）８１８についても同様に行うことができる。
最初に、制御プロセッサコア８０１は、メインメモリ７８１に格納されている演算プロセッサコアプログラム８２３を演算プロセッサコア（＃１）８１１のローカルストア８２１にロードする指示を演算プロセッサコア（＃１）８１１に送る。これにより、演算プロセッサコア（＃１）８１１は、メインメモリ７８１に格納されている演算プロセッサコアプログラム８２３をローカルストア８２１にロードする。
続いて、制御プロセッサコア８０１は、ローカルストア８２１に格納された演算プロセッサコアプログラム８２５の実行を演算プロセッサコア（＃１）８１１に指示する。
続いて、演算プロセッサコア（＃１）８１１は、ローカルストア８２１に格納された演算プロセッサコアプログラム８２５の実行処理に必要なデータ８２４をメインメモリ７８１からローカルストア８２１に転送する。
続いて、演算プロセッサコア（＃１）８１１は、ローカルストア８２１に格納された演算プロセッサコアプログラム８２５に基づいて、メインメモリ７８１から転送されたデータ８２６を加工する。そして、条件に応じた処理を実行して処理結果をローカルストア８２１に格納する。
続いて、演算プロセッサコア（＃１）８１１は、ローカルストア８２１に格納された演算プロセッサコアプログラム８２５に基づいて実行された処理結果をローカルストア８２１からメインメモリ７８１に転送する。
続いて、演算プロセッサコア（＃１）８１１は、制御プロセッサコア８０１に演算処理の終了を通知する。
次に、マルチコアプロセッサ８００を用いて行うＳＩＭＤ演算について図面を参照して詳細に説明する。ここで、ＳＩＭＤ演算とは、複数のデータに対する処理を１つの命令で行う演算方式である。
図７３（ａ）は、複数のデータに対する処理をそれぞれの命令で行う演算方式の概要を模式的に示す図である。図７３（ａ）に示す演算方式は、通常の演算方式であり、例えば、スカラー演算と呼ばれている。例えば、データ「Ａ１」およびデータ「Ｂ１」を加算する命令によりデータ「Ｃ１」の処理結果が求められる。また、他の３つの演算についても同様に、同一の行にあるデータ「Ａ２」、「Ａ３」、「Ａ４」と、データ「Ｂ２」、「Ｂ３」、「Ｂ４」とを加算する命令がそれぞれの処理について行われる。そして、この命令により、各行の値が加算処理され、この処理結果がデータ「Ｃ２」、「Ｃ３」、「Ｃ４」として求められる。このように、スカラー演算では、複数のデータに対する処理については、それぞれに対して命令を行う必要がある。
図７３（ｂ）は、複数のデータに対する処理を１つの命令で行う演算方式であるＳＩＭＤ演算の概要を模式的に示す図である。ここで、ＳＩＭＤ演算用に１まとまりにしたデータ（点線８２７および８２８で囲まれる各データ）は、ベクターデータと呼ばれることがある。また、このようなベクターデータを用いて行われるＳＩＭＤ演算は、ベクトル演算と呼ばれることがある。
例えば、点線８２７で囲まれるベクターデータと、点線８２８で囲まれるベクターデータとを加算する１つの命令により「Ｃ１」、「Ｃ２」、「Ｃ３」、「Ｃ４」の処理結果（点線８２９で囲まれているデータ）が求められる。ここで、点線８２７で囲まれるベクターデータは、「Ａ１」、「Ａ２」、「Ａ３」、「Ａ４」であり、点線８２８で囲まれるベクターデータは、「Ｂ１」、「Ｂ２」、「Ｂ３」、「Ｂ４」である。このように、ＳＩＭＤ演算では、複数のデータに対する処理を１つの命令で行うことができるため、演算処理を迅速に行うことができる。また、これらのＳＩＭＤ演算に関する命令を、マルチコアプロセッサ８００の制御プロセッサコア８０１が行い、この命令に対する複数データの演算処理について演算プロセッサコア（＃１）８１１乃至（＃８）８１８が並列処理を行う。
一方、例えば、データ「Ａ１」と「Ｂ１」とを加算し、データ「Ａ２」と「Ｂ２」とを減算し、データ「Ａ３」と「Ｂ３」とを乗算し、データ「Ａ４」と「Ｂ４」とを除算する処理については、ＳＩＭＤ演算では行うことができない。すなわち、複数のデータのそれぞれに対して異なる処理をする場合には、ＳＩＭＤ演算による処理を行うことがではできない。
次に、特徴点抽出処理およびオプティカルフロー算出処理を行う場合におけるＳＩＭＤ演算の具体的な演算方法について図面を参照して詳細に説明する。
図７４は、本発明の第５の実施の形態における制御プロセッサコア８０１または演算プロセッサコア（＃１）８１１により実行されるプログラムの構成例を示す図である。ここでは、演算プロセッサコア（＃１）８１１についてのみ図示するが、演算プロセッサコア（＃２）８１２乃至（＃８）８１８についても同様の処理が行われる。
制御プロセッサコア８０１は、デコード８５１としてデコード８５２、インターレース８５３およびリサイズ８５４を実行する。デコード８５２は、動画ファイルをデコードする処理である。インターレース８５３は、デコードされた各フレームについてインターレース除去する処理である。リサイズ８５４は、インターレース除去された各フレームについて縮小する処理である。
また、制御プロセッサコア８０１は、演算プロセッサコア管理８５６として命令送信８５７および８５９、終了通知受信８５８および８６０を実行する。命令送信８５７および８５９は、演算プロセッサコア（＃１）８１１乃至（＃８）８１８に対するＳＩＭＤ演算の実行命令を送信する処理である。また、終了通知受信８５８および８６０は、上記命令に対する演算プロセッサコア（＃１）８１１乃至（＃８）８１８からのＳＩＭＤ演算の終了通知を受信する処理である。さらに、制御プロセッサコア８０１は、カメラワーク検出８６１としてカメラワークパラメータ算出処理８６２を実行する。カメラワークパラメータ算出処理８６２は、演算プロセッサコア（＃１）８１１乃至（＃８）８１８によるＳＩＭＤ演算により算出されたオプティカルフローに基づいてフレーム毎にアフィン変換パラメータを算出する処理である。
演算プロセッサコア（＃１）８１１は、特徴点抽出処理８６３として、ソベルフィルタ（Sobel Filter）処理８６４、二次モーメント行列（Second Moment Matrix）処理８６５を実行する。また、セパラブルフィルタ（Separable Filter）処理８６６、ハリスコーナー点抽出（Calc Harris）処理８６７、膨張処理（Dilation）８６８、並べ替え処理（Sort）８６９を実行する。
ソベルフィルタ処理８６４は、Ｐ２のフィルタ（ｘ方向）を使って得られるｘ方向の値ｄｘと、Ｙ方向のフィルタを使って得られるｙ方向の値ｄｙとを算出する処理である。なお、ｘ方向の値ｄｘの算出については、図７５乃至図７８を参照して詳細に説明する。
二次モーメント行列処理８６５は、ソベルフィルタ処理８６４により算出されたｄｘおよびｄｙを用いて、ｄｘ２，ｄｙ２，ｄｘ・ｄｙの各値を算出する処理である。
セパラブルフィルタ処理８６６は、二次モーメント行列処理８６５により算出されたｄｘ２，ｄｙ２，ｄｘ・ｄｙの画像に対してガウシアンフィルタ（ぼかし処理）を掛ける処理である。
ハリスコーナー点抽出処理８６７は、セパラブルフィルタ処理８６６により、ぼかし処理が施されたｄｘ２，ｄｙ２，ｄｘ・ｄｙの各値を用いて、ハリスコーナーのスコアを算出する処理である。このハリスコーナーのスコアＳは、例えば、次の式により算出される。
Ｓ＝（ｄｘ２×ｄｙ２−ｄｘ・ｄｙ×ｄｘ・ｄｙ）／（ｄｘ２＋ｄｙ２＋ε）
膨張処理８６８は、ハリスコーナー点抽出処理８６７により算出されたハリスコーナーのスコアで構成された画像に対してぼかし処理を行う処理である。
並べ替え処理８６９は、ハリスコーナー点抽出処理８６７により算出されたハリスコーナーのスコアが高い順に画素を並べ、このスコアが高い方から所定の数だけピックアップし、このピックアップされた点を特徴点として抽出する処理である。
演算プロセッサコア（＃１）８１１は、オプティカルフロー（Optical Flow）演算処理８７０として、ピラミッド画像作成（Make Pyramid Image）処理８７１を実行する。また、オプティカルフロー算出（Calc Optical Flow）処理８７２を実行する。
ピラミッド画像作成処理８７１は、カメラによる撮像時の画サイズから所定数の段階に縮小された画像を順次作成する処理であり、作成された画像は多重解像度画像と呼ばれる。
オプティカルフロー算出処理８７２は、ピラミッド画像作成処理８７１により作成された多重解像度画像のうちで、最も小さい画像についてオプティカルフローを計算する。そして、この計算結果を用いて、１つ上の解像度の画像について再びオプティカルフローを計算する処理であり、この一連の処理を最も大きい画像に辿り着くまで繰り返し行う。
このように、例えば、特徴点抽出処理およびオプティカルフロー算出処理については、マルチコアプロセッサ８００を用いてＳＩＭＤ演算によって並列処理することにより処理結果を求めることができる。ここで、例えば、特徴点抽出処理は、図２等に示す特徴点抽出部１２１により行われる特徴点抽出処理であり、オプティカルフロー算出処理は、オプティカルフロー算出部１２２により行われるオプティカルフロー算出処理である。なお、図７４等で示す特徴点抽出処理およびオプティカルフロー算出処理は、一例であり、動画を構成する画像に対する各種フィルタ処理や閾値処理等により構成される他の処理を用いて、マルチコアプロセッサ８００によるＳＩＭＤ演算を行うようにしてもよい。
図７５は、本発明の第５の実施の形態におけるメインメモリ７８１に格納されている画像データについて、ソベルフィルタ８３０を用いてフィルタリング処理を行う場合におけるデータ構造と処理の流れを概略的に示す図である。この画像データは、カメラにより撮像された動画を構成する１つのフレームに対応する画像データである。なお、同図に示すメインメモリ７８１に格納されている画像データについては、横の画素数を３２画素として簡略化して示す。また、ソベルフィルタ８３０は、３×３のエッジ抽出フィルタである。同図に示すように、メインメモリ７８１に格納されている画像データについて、ソベルフィルタ８３０を用いたフィルタリング処理を行い、このフィルタリング処理の結果が出力される。この例では、ＳＩＭＤ演算を用いて４つ分のフィルタ結果を一度に得る例について説明する。
図７６は、本発明の第５の実施の形態におけるメインメモリ７８１に格納されている画像データについてソベルフィルタ８３０を用いてＳＩＭＤ演算を行う場合におけるデータの流れを概略的に示す図である。最初は、メインメモリ７８１に格納されている画像データのうちの最初のラインを含む所定数のラインが演算プロセッサコアのローカルストア８２１に備えられる第一バッファ８３１にＤＭＡ（Direct Memory Access）転送される。また、第一バッファ８３１にＤＭＡ転送された各ラインを１つ下にずらした所定数のラインが第二バッファ８３２にＤＭＡ転送される。ここで、所定数のラインは、例えば、３ラインである。このように、ダブルバッファを使用することにより、ＤＭＡ転送による遅延を隠蔽することができる。
図７７は、本発明の第５の実施の形態におけるソベルフィルタ８３０を用いてフィルタリング処理を行う場合において、第一バッファ８３１に格納されている画像データから９つのベクトルを作成するベクトル作成方法を概略的に示す図である。図７６に示すように、ＤＭＡ転送が行われた後に、第一バッファ８３１に格納されている画像データから９つのベクトルが作成される。具体的には、第一バッファ８３１に格納されている画像データの１ラインにおいて左隅から４つのデータによりベクターデータ８４１が作成され、その４つのデータを右側に１つずらした４つのデータによりベクターデータ８４２が作成される。同様に、その４つのデータを右側に１つずらした４つのデータによりベクターデータ８４３が作成される。また、２ラインおよび３ラインにおいても同様に４つのデータによりベクターデータ８４４乃至８４９が作成される。
図７８は、本発明の第５の実施の形態におけるソベルフィルタ８３０を用いてフィルタリング処理を行う場合において、ベクターデータ８４１乃至８４９についてＳＩＭＤ命令を用いてベクトル演算を行うベクトル演算方法を概略的に示す図である。具体的には、ベクターデータ８４１乃至８４３についてＳＩＭＤ演算が順次行われ、ベクトルＡが求められる。このＳＩＭＤ演算では、最初に、『「−１」×「ベクターデータ８４１」』のＳＩＭＤ演算が実行される。続いて、『「０」×「ベクターデータ８４２」』のＳＩＭＤ演算が実行され、『「１」×「ベクターデータ８４３」』のＳＩＭＤ演算が実行される。ここで、『「０」×「ベクターデータ８４２」』については、演算結果が「０」であると確定しているため、省略することが可能である。また、『「１」×「ベクターデータ８４３」』については、演算結果が「ベクターデータ８４３」と同じ値であることが確定しているため、省略することが可能である。
続いて、『「−１」×「ベクターデータ８４１」』の演算結果と、『「０」×「ベクターデータ８４２」』の演算結果との加算処理がＳＩＭＤ演算により実行される。続いて、この加算処理の結果と、『「１」×「ベクターデータ８４３」』の演算結果との加算処理がＳＩＭＤ演算により実行される。ここで、例えば、「ベクターデータ１」×「ベクターデータ２」＋「ベクターデータ３」となるデータ構造の演算については、ＳＩＭＤ演算により実行することが可能である。そこで、ベクトルＡの演算については、例えば、『「０」×「ベクターデータ８４２」』および『「１」×「ベクターデータ８４３」』についてのＳＩＭＤ演算を省略する。そして、『「−１」×「ベクターデータ８４１」＋「ベクターデータ８４３」』を一度のＳＩＭＤ演算により実行するようにしてもよい。
また、同様に、ベクターデータ８４４乃至８４６についてＳＩＭＤ演算が行われ、ベクトルＢが求められ、ベクターデータ８４７乃至８４９についてＳＩＭＤ演算が行われ、ベクトルＣが求められる。
続いて、ＳＩＭＤ演算により求められたベクトルＡ乃至ＣについてＳＩＭＤ演算が行われ、ベクトルＤが求められる。このように、ＳＩＭＤ演算を行うことにより、ベクトルの要素数分（この例では４つのデータ）の結果をまとめて得ることができる。
ベクトルＤが算出された後は、図７６に示す第一バッファ８３１に格納されている画像データにおいて、取り出すデータの位置を右側に１つずらしながら、同様の処理を繰り返し実行して、それぞれのベクトルＤの算出を順次行う。そして、図７６に示す第一バッファ８３１に格納されている画像データの右端までの処理が終了した場合には、処理結果をメインメモリ７８１にＤＭＡ転送する。
続いて、メインメモリ７８１に格納されている画像データのうちで、第二バッファ８３２にＤＭＡ転送された各ラインを１つ下にずらした所定数のラインが第一バッファ８３１にＤＭＡ転送される。この転送とともに、第二バッファ８３２に格納されている画像データについて、上述した処理を繰り返し行う。そして、メインメモリ７８１に格納されている画像データの各ラインのうちの下端のラインに達するまで、同様の処理を繰り返し行う。
同様に、特徴点抽出とオプティカルフロー算出の大部分の処理をＳＩＭＤ演算により行うことによって高速化を実現することができる。
図７９は、本発明の第５の実施の形態におけるカメラワークパラメータ算出処理の流れを時系列で概略的に示す図である。上述したように、例えば、マルチコアプロセッサ８００を用いてＳＩＭＤ演算を行うことにより、動画についてのデコードおよび解析処理を並列化して行うことができる。このため、動画を構成する１フレームの解析時間を、デコード時間よりも短縮することが可能である。
例えば、同図において、ｔ１は、制御プロセッサコア８０１が動画を構成する１フレームのデコード処理に要する時間を示す。また、ｔ２は、演算プロセッサコア（＃１）８１１乃至（＃８）８１８が動画を構成する１フレームの特徴点抽出処理に要する時間を示す。また、ｔ３は、演算プロセッサコア（＃１）８１１乃至（＃８）８１８が動画を構成する１フレームのオプティカルフロー算出処理に要する時間を示す。また、ｔ４は、制御プロセッサコア８０１が動画を構成する１フレームのカメラワーク検出処理に要する時間を示す。なお、ｔ５は、制御プロセッサコア８０１および演算プロセッサコア（＃１）８１１乃至（＃８）８１８が動画を構成する１フレームについて、カメラワーク検出処理に要する時間を示す。また、ｔ６は、ｔ６は、制御プロセッサコア８０１が演算プロセッサコア（＃１）８１１乃至（＃８）８１８を管理する処理に要する時間を示す。例えば、ｔ１を「２５．０ｍｓ」とし、ｔ２を「７．９ｍｓ」とし、ｔ３を「６．７ｍｓ」とし、ｔ４を「１．２ｍｓ」とし、ｔ５を「１５．８ｍｓ」とすることができる。
次に、本発明の第５の実施の形態におけるメタデータファイルを用いた動画コンテンツを再生する場合について図面を参照して詳細に説明する。
図８０（ａ）は、記録媒体の一例であるブルーレイディスク（Blu-ray Disc（登録商標））８８０を模式的に示す上面図であり、図８０（ｂ）は、ブルーレイディスク８８０に記録されている各データ８８１乃至８８４を模式的に示す図である。ブルーレイディスク８８０には、例えば、動画コンテンツ８８２、字幕８８３、メタデータ８８４、Ｊａｖａ（登録商標）プログラム８８１が記録されている。例えば、動画コンテンツ８８２は、カメラ等により撮像された動画であり、字幕８８３は、動画コンテンツ８８２の字幕であり、メタデータ８８４は、動画コンテンツ８８２について解析されて得られたメタデータ（例えば、図３、図４等に示す各情報）である。また、Ｊａｖａプログラム８８１は、本発明の各実施の形態における動画再生に係るＪａｖａプログラムである。
図８０（ｃ）は、ブルーレイディスク８８０を再生可能なブルーレイ再生機（Blu-ray Disc Player）８９０の内部構成を模式的に示す図である。ここで、ブルーレイディスクを再生可能なブルーレイ再生機８９０は、ＣＰＵ８９１およびＯＳ８９２とともに、Ｊａｖａ ＶＭ（Ｊａｖａ仮想マシン）およびライブラリ８９３が標準で搭載されているため、Ｊａｖａプログラムを実行することが可能である。このため、ブルーレイディスク８８０をブルーレイ再生機８９０に装着することにより、ブルーレイ再生機８９０がＪａｖａプログラム８８１をロードして実行することが可能である。これにより、ブルーレイ再生機８９０が動画コンテンツ８８２を再生する場合に、メタデータ８８４を用いて、本発明の各実施の形態における動画に対応するパノラマ画像の表示や、複数の動画の中からの動画の検索等を行うことが可能である。すなわち、専用のＰＣソフト等を使わずに、全てのブルーレイ再生機で本発明の各実施の形態における動画再生を実現することが可能になる。
以上で示したように、本発明の実施の形態によれば、撮影場所における雰囲気やその場の状況等を的確に伝達することができ、その撮影場所における撮像空間を把握することができる。また、その動画に関する面白みを高めることができ、動画に関する興味を高めることができる。例えば、動画は写真に比べて一度撮影したら満足してしまい、繰り返し鑑賞する人は少ないと言われている。そこで、本発明の実施の形態では、動画から見栄えのよい画像を選択し、この画像により合成画像を作成することにより、動画により撮影されたシーンを再び鑑賞する機会を容易に提供することができる。例えば、複数の画像をパノラマ的に合成して紙の写真を複数毎重ねたような１枚の合成を作成することができる。
また、本発明の実施の形態では、合成画像を表示部に表示する画像処理装置を例にして説明したが、合成画像を他の画像表示装置において表示させるための画像情報を出力する画像出力手段を設けた画像処理装置に本発明の実施の形態を適用することができる。さらに、動画を再生することが可能な動画再生装置や撮影された動画を再生することが可能なデジタルビデオカメラ等の撮像装置、画像データに基づいて画像を表示することが可能なフォトフレーム等に本発明の実施の形態を適用することができる。
また、本発明の実施の形態では、画像処理装置を例にして説明したが、動画を再生することが可能な動画再生装置等に本発明の実施の形態を適用することができる。また、本発明の実施の形態では、カメラにより撮像された動画について説明したが、例えば、カメラにより撮像された動画が編集された場合における編集後の動画やアニメーション等が一部に合成された動画等についても、本発明の実施の形態を適用することができる。
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、上述のように特許請求の範囲における発明特定事項とそれぞれ対応関係を有する。ただし、本発明は実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。
また、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。
本発明の第１の実施の形態における画像処理装置１００の機能構成例を示すブロック図である。 本発明の第１の実施の形態におけるカメラワーク検出部１２０の機能構成例を示すブロック図である。 本発明の第１の実施の形態における動画記憶部２００およびメタデータ記憶部２１０に記憶されている各ファイルを模式的に示す図である。 本発明の第１の実施の形態における合成対象画像メタデータ記憶部２７０の記憶内容を模式的に示す図である。 動画を構成する画像の一例を示す図である。 図６は、動画を構成する画像について背景等を省略して簡略化した画像を示す図である。 アフィン変換パラメータを用いて矩形３４０が変換された場合を示す図である。 本発明の第１の実施の形態における顔検出部１３０による顔検出方法を概略的に示す図である。 表情評価値の算出に用いられる判別軸情報と、この判別軸情報を生成する際の流れとを概念的に示す図である。 本発明の第１の実施の形態におけるＰＣＡ処理時に入力されるサンプル画像のマスキング処理を概略的に示す図である。 ピクセル空間およびＰＣＡ空間における判別軸および評価の対象となる顔画像の関係を概念的に示す図である。 本発明の第１の実施の形態における表情評価値を数値として出力する場合の算出例を示す図である。 本発明の第１の実施の形態における画像処理装置１００によるメタデータ記録処理の処理手順を示すフローチャートである。 本発明の第１の実施の形態における画像処理装置１００によるメタデータ記録処理の処理手順のうちのアフィン変換パラメータ算出処理手順を示すフローチャートである。 カメラにより撮影された動画の遷移の一例を示す図である。 本発明の実施の形態における合成対象画像選択部１７０により選択された画像４０１乃至４０３に含まれる被写体の軌跡を概略的に示す図である。 本発明の第１の実施の形態における画像合成部２２０により画像を合成する場合における画像合成例を示す図である。 カメラにより撮影された動画の遷移の一例を示す図である。 本発明の実施の形態における合成対象画像選択部１７０により選択された画像４２１乃至４２３に含まれる被写体の軌跡を概略的に示す図である。 本発明の第１の実施の形態における画像合成部２２０により画像を合成する場合における画像合成例を示す図である。 カメラにより撮影された動画の遷移の一例を示す図である。 本発明の実施の形態における合成対象画像選択部１７０により選択された画像４４１乃至４４３に含まれる被写体の軌跡を概略的に示す図である。 本発明の第１の実施の形態における画像合成部２２０により画像を合成する場合における画像合成例を示す図である。 本発明の第１の実施の形態におけるカメラワーク検出部１２０により算出された信頼度判定スコアを時系列で示す図である。 本発明の第１の実施の形態におけるカメラワーク検出部１２０により算出されたアフィン変換パラメータを用いて算出される積算ズーム成分を時系列で示す図である。 本発明の第１の実施の形態におけるカメラワーク検出部１２０により算出されたアフィン変換パラメータを用いて算出される積算並進成分を時系列で示す図である。 本発明の第１の実施の形態における区間選択部１６０により選択された画像合成対象区間に含まれる画像を時系列で模式的に示す図である。 本発明の第１の実施の形態における合成対象画像選択部１７０により合成対象画像を選択する場合における選択方法を模式的に示す図である。 本発明の第１の実施の形態における区間選択部１６０および合成対象画像選択部１７０による判定対象となる動画について時系列で模式的に示す図である。 、カメラにより撮影された動画について選択された合成対象画像の一例を示す図である。 本発明の第１の実施の形態における画像合成部２２０により作成される合成画像の遷移を示す図である。 本発明の第１の実施の形態における画像合成部２２０により作成される合成画像の遷移を示す図である。 本発明の第１の実施の形態における画像合成部２２０により作成される合成画像の他の合成例を示す図である。 本発明の第１の実施の形態における画像処理装置１００による合成対象画像のメタデータ記録処理の処理手順を示すフローチャートである。 本発明の第１の実施の形態における画像処理装置１００による合成対象画像のメタデータ記録処理の処理手順のうちの区間抽出処理手順を示すフローチャートである。 本発明の第１の実施の形態における画像処理装置１００による合成対象画像のメタデータ記録処理の処理手順のうちのフレーム選択処理手順を示すフローチャートである。 本発明の第１の実施の形態における画像処理装置１００による合成画像表示処理の処理手順を示すフローチャートである。 本発明の第１の実施の形態における画像処理装置１００による合成画像表示処理の処理手順のうちの画像合成処理手順を示すフローチャートである。 本発明の第２の実施の形態におけるカメラワーク検出部１２５の機能構成例を示すブロック図である。 本発明の第２の実施の形態における信頼度判定スコア算出部１２６が信頼度判定スコアを算出する際における算出方法の概略を示す図である。 本発明の第２の実施の形態におけるカメラワーク検出部１２７の機能構成例を示すブロック図である。 本発明の第２の実施の形態における信頼度判定スコア算出部１２８が信頼度判定スコアを算出する際における算出方法の概略を示す図である。 本発明の第３の実施の形態における画像処理装置１０１の機能構成例を示すブロック図である。 本発明の第３の実施の形態における基準情報記憶部２８１およびメタデータ記憶部２９０に記憶されている内容を模式的に示す図である。 本発明の第３の実施の形態における表示部２５０に表示される選択画面の一例を示す図である。 本発明の第３の実施の形態における合成対象画像選択部１７１による選択判定スコアの算出に用いられるスコアの一例を示す図である。 本発明の第３の実施の形態における合成対象画像選択部１７１によるフレーム選択を行う場合における選択方法の概略を示す図である。 本発明の第３の実施の形態における合成対象画像選択部１７１によるフレーム選択を行う場合における選択方法の概略を示す図である。 本発明の第３の実施の形態における画像処理装置１０１によるフレーム選択処理手順の処理手順を示すフローチャートである。 本発明の第４の実施の形態における画像処理装置１０２の機能構成例を示すブロック図である。 本発明の第４の実施の形態における合成対象画像メタデータ記憶部２７７の記憶内容を模式的に示す図である。 本発明の第４の実施の形態における装飾画像決定部７００が白枠の太さを決定する決定方法の概略を示す図である。 本発明の第４の実施の形態における装飾画像決定部７００により決定される装飾画像の一例を示す図である。 本発明の第４の実施の形態における装飾画像決定部７００による装飾画像の決定方法の一例を示す図である。 本発明の第４の実施の形態における装飾画像決定部７００による装飾画像の決定方法の一例を示す図である。 本発明の第４の実施の形態における装飾画像決定部７００により決定された装飾画像を合成した合成例を示す図である。 本発明の第４の実施の形態における装飾画像決定部７００により決定された装飾画像を合成した合成例を示す図である。 本発明の第４の実施の形態における装飾画像決定部７００により決定された装飾画像を合成した合成例を示す図である。 本発明の第４の実施の形態における装飾画像決定部７００による顔を考慮した装飾画像の決定方法の一例を示す図である。 本発明の第４の実施の形態における装飾画像決定部７００により合成対象画像に付す装飾画像として決定される影の例を示す図である。 本発明の第４の実施の形態における装飾画像決定部７００が影の方向を決定する決定方法の概略を示す図である。 本発明の第４の実施の形態における装飾画像決定部７００による顔を考慮した影の決定方法の一例を示す図である。 本発明の第４の実施の形態における画像処理装置１０２による合成対象画像のメタデータ記録処理の処理手順を示すフローチャートである。 本発明の第４の実施の形態における画像処理装置１０２による合成対象画像のメタデータ記録処理の処理手順のうちの装飾画像決定処理手順を示すフローチャートである。 本発明の第４の実施の形態における画像処理装置１０２による合成対象画像のメタデータ記録処理の処理手順のうちの装飾画像決定処理手順を示すフローチャートである。 本発明の第４の実施の形態における画像処理装置１０２による合成画像表示処理の処理手順を示すフローチャートである。 本発明の第４の実施の形態における画像処理装置１０２による合成画像表示処理の処理手順のうちの画像合成処理手順を示すフローチャートである。 本発明の第５の実施の形態におけるマルチコアプロセッサ８００の一構成例を示す図である。 本発明の第５の実施の形態における制御プロセッサコア８０１の一構成例を示す図である。 本発明の第５の実施の形態における演算プロセッサコア（＃１）８１１の一構成例を示す図である。 本発明の第５の実施の形態におけるマルチコアプロセッサ８００の演算方法を模式的に示す図である。 本発明の第５の実施の形態におけるマルチコアプロセッサ８００により演算を行う場合におけるプログラムおよびデータの流れを模式的に示す図である。 複数のデータに対する処理をそれぞれの命令で行う演算方式の概要、複数のデータに対する処理を１つの命令で行う演算方式であるＳＩＭＤ演算の概要を模式的に示す図である。 本発明の第５の実施の形態における制御プロセッサコア８０１または演算プロセッサコア（＃１）８１１により実行されるプログラムの構成例を示す図である。 本発明の第５の実施の形態におけるメインメモリ７８１に格納されている画像データについて、ソベルフィルタ８３０を用いてフィルタリング処理を行う場合におけるデータ構造と処理の流れを概略的に示す図である。 本発明の第５の実施の形態におけるメインメモリ７８１に格納されている画像データについてソベルフィルタ８３０を用いてＳＩＭＤ演算を行う場合におけるデータの流れを概略的に示す図である。 本発明の第５の実施の形態におけるソベルフィルタ８３０を用いてフィルタリング処理を行う場合において、第一バッファ８３１に格納されている画像データから９つのベクトルを作成するベクトル作成方法を概略的に示す図である。 本発明の第５の実施の形態におけるソベルフィルタ８３０を用いてフィルタリング処理を行う場合において、ベクターデータ８４１乃至８４９についてＳＩＭＤ命令を用いてベクトル演算を行うベクトル演算方法を概略的に示す図である。 本発明の第５の実施の形態におけるカメラワークパラメータ算出処理の流れを時系列で概略的に示す図である。 記録媒体の一例であるブルーレイディスク８８０、ブルーレイディスク８８０に記録されている各データ８８１乃至８８４、ブルーレイディスク８８０を再生可能なブルーレイ再生機８９０の内部構成を模式的に示す図である。
符号の説明
１００、１０１、１０２ 画像処理装置
１１０ 動画入力部
１２０、１２５、１２７ カメラワーク検出部
１２１ 特徴点抽出部
１２２ オプティカルフロー算出部
１２３ カメラワークパラメータ算出部
１２４、１２６、１２８ 信頼度判定スコア算出部
１３０ 顔検出部
１４０ 表情評価値算出部
１４１ 判別軸情報記憶部
１５０ 記録制御部
１６０ 区間選択部
１７０、１７１ 合成対象画像選択部
１８０ ファイル取得部
１９０ 画像変換部
２００ 動画記憶部
２１０、２９０ メタデータ記憶部
２２０、２２１ 画像合成部
２３０ 画像メモリ
２４０ 表示制御部
２５０ 表示部
２６０ 操作受付部
２７０ 合成対象画像メタデータ記憶部
２７７ 合成対象画像メタデータ記憶部
２８０ 顔属性状態判定部
２８１ 基準情報記憶部
７００ 装飾画像決定部

Claims (13)

  1. 撮像動画を構成する２つの画像間に関する動き情報を算出する算出部と、
    前記算出された動き情報の確からしさを示す信頼度に基づいて前記撮像動画を構成する複数の画像のうちから合成対象となる合成対象画像を選択する選択部と
    を具備する画像処理装置。
  2. 前記選択部は、
    前記信頼度に基づいて前記撮像動画を構成する複数の画像のうちから前記合成対象画像を選択するための区間を選択する区間選択部と、
    前記選択された区間に含まれる各画像の相対的な位置関係に基づいて前記選択された区間に含まれる複数の画像のうちから前記合成対象画像を選択する画像選択部とを備える
    請求項１記載の画像処理装置。
  3. 前記画像選択部は、前記選択された合成対象画像を基準画像とし、前記選択された区間に含まれる他の画像である対象画像と前記基準画像とのそれぞれが前記動き情報により変換された場合における前記対象画像と前記基準画像との重複率に基づいて新たな合成対象画像を選択する
    請求項２記載の画像処理装置。
  4. 前記画像に含まれる対象物の属性を判定する判定部をさらに具備し、
    前記画像選択部は、前記判定された属性に基づいて前記合成対象画像を選択する
    請求項２記載の画像処理装置。
  5. 前記画像選択部は、前記画像に含まれる対象物毎に前記判定された属性に基づいた評価値を算出して前記対象物毎に算出された評価値に基づいて前記合成対象画像を選択する
    請求項４記載の画像処理装置。
  6. 前記画像選択部は、前記選択された合成対象画像を基準画像とし、前記選択された区間に含まれる他の画像である対象画像に含まれる対象物毎に算出された前記評価値と前記基準画像に含まれる対象物毎に算出された前記評価値とに基づいて新たな合成対象画像を選択する
    請求項５記載の画像処理装置。
  7. 前記区間選択部は、前記区間として一定範囲の画像を含む区間を選択する請求項２記載の画像処理装置。
  8. 前記動き情報は、拡大縮小と並進移動と回転とに関する要素を含み、
    前記算出された動き情報に基づいて前記信頼度を判定するためのスコアを示す信頼度判定スコアを算出する信頼度判定スコア算出部をさらに具備し、
    前記区間選択部は、前記算出された信頼度判定スコアと前記動き情報に関する前記並進成分と前記回転成分と前記拡大縮小成分とに基づいて前記区間を選択する
    請求項２記載の画像処理装置。
  9. 前記算出部は、
    前記撮像動画を構成する第１の画像に含まれる各画素に基づいて前記第１の画像における特徴点を抽出する特徴点抽出部と、
    前記抽出された各特徴点に基づいて前記撮像動画を構成する前記第１の画像に連続する画像である第２の画像の前記第１の画像に対する動き量を算出する動き量算出部と、
    前記算出された動き量に基づいて前記動き情報を算出する動き情報算出部とを備え、
    前記信頼度判定スコア算出部は、前記抽出された各特徴点のうち前記動き情報算出部による前記動き情報の算出の際に支配的な動きを見せた特徴点の割合を示す値を前記信頼度判定スコアとして算出する
    請求項８記載の画像処理装置。
  10. 前記信頼度判定スコア算出部は、前記撮像動画を構成する第１の画像を基準として前記動き情報に基づいて前記撮像動画を構成する前記第１の画像に連続する画像である第２の画像が変換された場合における前記第１の画像および前記第２の画像の重複領域における各画素の輝度の差分値を算出して当該差分値に基づいて前記信頼度判定スコアを算出する
    請求項８記載の画像処理装置。
  11. 前記算出部は、
    前記第１の画像に含まれる各画素に基づいて前記第１の画像における特徴点を抽出する特徴点抽出部と、
    前記抽出された各特徴点に基づいて前記第２の画像の前記第１の画像に対する動き量を算出する動き量算出部と、
    前記算出された動き量に基づいて前記動き情報を算出する動き情報算出部とを備え、
    前記信頼度判定スコア算出部は、前記重複領域において前記抽出された各特徴点のうち前記動き情報算出部による前記動き情報の算出の際に支配的な動きを見せた特徴点の周りの画素の輝度の差分値を算出して当該差分値に基づいて前記信頼度判定スコアを算出する
    請求項１０記載の画像処理装置。
  12. 撮像動画を構成する２つの画像間に関する動き情報を算出する算出手順と、
    前記算出された動き情報の確からしさを示す信頼度に基づいて前記撮像動画を構成する複数の画像のうちから合成対象となる合成対象画像を選択する選択手順と
    を具備する画像処理方法。
  13. 撮像動画を構成する２つの画像間に関する動き情報を算出する算出手順と、
    前記算出された動き情報の確からしさを示す信頼度に基づいて前記撮像動画を構成する複数の画像のうちから合成対象となる合成対象画像を選択する選択手順と
    をコンピュータに実行させるプログラム。
JP2008275141A 2008-10-27 2008-10-27 画像処理装置、画像処理方法およびプログラム Active JP4623199B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2008275141A JP4623199B2 (ja) 2008-10-27 2008-10-27 画像処理装置、画像処理方法およびプログラム
US12/565,230 US8368815B2 (en) 2008-10-27 2009-09-23 Image processing apparatus, image processing method, and program
BRPI0906263-7A BRPI0906263A2 (pt) 2008-10-27 2009-10-23 aparelho e método de processamento de imagem, e, programa
RU2009139437/08A RU2423736C1 (ru) 2008-10-27 2009-10-26 Устройство обработки изображения, способ обработки изображения и программа
CN2009102068987A CN101729792B (zh) 2008-10-27 2009-10-27 图像处理装置、图像处理方法和程序
EP09174205A EP2180481A1 (en) 2008-10-27 2009-10-27 Image processing apparatus, image processing method, and program
US13/605,384 US9153289B2 (en) 2008-10-27 2012-09-06 Image processing apparatus, image processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008275141A JP4623199B2 (ja) 2008-10-27 2008-10-27 画像処理装置、画像処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2010103876A true JP2010103876A (ja) 2010-05-06
JP4623199B2 JP4623199B2 (ja) 2011-02-02

Family

ID=41667170

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008275141A Active JP4623199B2 (ja) 2008-10-27 2008-10-27 画像処理装置、画像処理方法およびプログラム

Country Status (6)

Country Link
US (2) US8368815B2 (ja)
EP (1) EP2180481A1 (ja)
JP (1) JP4623199B2 (ja)
CN (1) CN101729792B (ja)
BR (1) BRPI0906263A2 (ja)
RU (1) RU2423736C1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013172311A1 (ja) * 2012-05-14 2013-11-21 日立アロカメディカル株式会社 超音波診断装置および画像評価表示方法
JP2015130546A (ja) * 2014-01-03 2015-07-16 大木　光晴 画像処理装置、方法、プログラム、および、データフォーマット

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090158309A1 (en) * 2007-12-12 2009-06-18 Hankyu Moon Method and system for media audience measurement and spatial extrapolation based on site, display, crowd, and viewership characterization
JP2009151896A (ja) 2007-12-21 2009-07-09 Sony Corp 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム
US8923510B2 (en) 2007-12-28 2014-12-30 Intel Corporation Method and apparatus for efficiently implementing the advanced encryption standard
US9639740B2 (en) * 2007-12-31 2017-05-02 Applied Recognition Inc. Face detection and recognition
US9721148B2 (en) * 2007-12-31 2017-08-01 Applied Recognition Inc. Face detection and recognition
JP4869270B2 (ja) * 2008-03-10 2012-02-08 三洋電機株式会社 撮像装置及び画像再生装置
JP2011180792A (ja) * 2010-03-01 2011-09-15 Sony Corp 画像処理装置及び画像処理方法、並びにコンピューター・プログラム
JP5190560B2 (ja) * 2010-05-28 2013-04-24 楽天株式会社 コンテンツ出力装置、コンテンツ出力方法、コンテンツ出力プログラム、及びコンテンツ出力プログラムが記録された記録媒体
JP5675214B2 (ja) * 2010-08-18 2015-02-25 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
JP5531865B2 (ja) * 2010-09-03 2014-06-25 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP5609628B2 (ja) * 2010-12-24 2014-10-22 カシオ計算機株式会社 情報表示装置及びプログラム
JP2012217144A (ja) * 2011-03-30 2012-11-08 Panasonic Corp 画像編集装置、画像編集方法、およびプログラム
JP2012234258A (ja) * 2011-04-28 2012-11-29 Sony Corp 画像処理装置と画像処理方法およびプログラム
JP2012244245A (ja) * 2011-05-16 2012-12-10 Olympus Imaging Corp 撮影装置、撮影装置の制御方法、画像表示装置、画像表示方法、およびプログラム
JP5780418B2 (ja) * 2011-05-30 2015-09-16 ソニー株式会社 撮影装置および方法、画像再生装置および方法、プログラム、並びに記録媒体
JP2013025748A (ja) * 2011-07-26 2013-02-04 Sony Corp 情報処理装置、動画要約方法、及びプログラム
JP2013033317A (ja) * 2011-08-01 2013-02-14 Sony Corp 画像処理装置、画像処理方法、及び、プログラム
JP2013074572A (ja) * 2011-09-29 2013-04-22 Casio Comput Co Ltd 画像処理装置、画像処理方法及びプログラム
JP5848662B2 (ja) * 2012-04-04 2016-01-27 キヤノン株式会社 画像処理装置およびその制御方法
US20140244987A1 (en) * 2013-02-22 2014-08-28 Mips Technologies, Inc. Precision Exception Signaling for Multiple Data Architecture
CN110730296B (zh) * 2013-04-30 2022-02-11 索尼公司 图像处理装置、图像处理方法及计算机可读介质
US9467750B2 (en) * 2013-05-31 2016-10-11 Adobe Systems Incorporated Placing unobtrusive overlays in video content
US9454838B2 (en) 2013-09-05 2016-09-27 Pullstring, Inc. Multi-character authoring interface for large scale animations
JP6614472B2 (ja) 2013-09-30 2019-12-04 サン パテント トラスト 画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置
US20160014482A1 (en) * 2014-07-14 2016-01-14 The Board Of Trustees Of The Leland Stanford Junior University Systems and Methods for Generating Video Summary Sequences From One or More Video Segments
US10157327B2 (en) * 2014-08-06 2018-12-18 Sony Semiconductor Solutions Corporation Image processing device, image processing method, and program
JP2016046642A (ja) * 2014-08-21 2016-04-04 キヤノン株式会社 情報処理システム、情報処理方法及びプログラム
KR102128319B1 (ko) * 2014-10-24 2020-07-09 에스케이 텔레콤주식회사 팬틸트줌 카메라 기반의 영상 재생방법 및 장치
EP3032538A1 (en) 2014-12-12 2016-06-15 Thomson Licensing Method and apparatus for rearrangement of media data using visual representations of the same
US10043064B2 (en) * 2015-01-14 2018-08-07 Samsung Electronics Co., Ltd. Method and apparatus of detecting object using event-based sensor
RU2632473C1 (ru) * 2016-09-30 2017-10-05 ООО "Ай Ти Ви групп" Способ обмена данными между ip видеокамерой и сервером (варианты)
US10445565B2 (en) * 2016-12-06 2019-10-15 General Electric Company Crowd analytics via one shot learning
EP3633518B1 (en) * 2017-05-23 2023-12-20 Sony Group Corporation Information processing device, information processing method, and information processing program
JP6806264B2 (ja) * 2017-09-22 2021-01-06 日本電気株式会社 情報処理装置、情報処理システム、情報処理方法、及び、プログラム
US11432470B2 (en) 2017-12-01 2022-09-06 Sony Group Corporation Information processing apparatus, information processing method, and vegetation management system
JP7086630B2 (ja) * 2018-02-09 2022-06-20 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
US10630990B1 (en) 2018-05-01 2020-04-21 Amazon Technologies, Inc. Encoder output responsive to quality metric information
US10958987B1 (en) * 2018-05-01 2021-03-23 Amazon Technologies, Inc. Matching based on video data
RU2686154C1 (ru) * 2018-05-29 2019-04-24 Акционерное общество Научно-производственный центр "Электронные вычислительно-информационные системы" (АО НПЦ "ЭЛВИС") Телекамера и способ для формирования панорамного видеоизображения и распознавания объектов на нем
US11200636B2 (en) * 2018-11-30 2021-12-14 Mediatek Inc. Method and apparatus for generating a series of frames with aid of synthesizer to offload graphics processing unit rendering in electronic device
CN111627051B (zh) * 2019-02-27 2023-12-15 中强光电股份有限公司 电子装置及用以估计光流的方法
JP7183085B2 (ja) * 2019-03-14 2022-12-05 株式会社東芝 移動体行動登録装置、移動体行動登録システム、移動体行動登録方法、移動体行動登録プログラム、及び移動体行動決定装置
CN113421285B (zh) * 2021-06-28 2024-03-01 上海齐感电子信息科技有限公司 视觉目标跟踪系统及跟踪方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11168685A (ja) * 1997-12-04 1999-06-22 Sony Corp 画像処理方法
WO2005046221A1 (ja) * 2003-11-11 2005-05-19 Seiko Epson Corporation 画像処理装置、画像処理方法、そのプログラムおよび記録媒体
JP2006277731A (ja) * 2005-03-03 2006-10-12 Fuji Photo Film Co Ltd 画像抽出装置、画像抽出方法、及び画像抽出プログラム
JP2007036359A (ja) * 2005-07-22 2007-02-08 Casio Comput Co Ltd 画像合成装置、画像合成方法及びプログラム
JP2007235642A (ja) * 2006-03-02 2007-09-13 Hitachi Ltd 障害物検知システム
JP2008084287A (ja) * 2006-08-28 2008-04-10 Sony Corp 情報処理装置、撮像装置、情報処理システム、装置制御方法及びプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0765087B1 (en) * 1995-08-29 2003-11-12 Sharp Kabushiki Kaisha Video coding device
JP3832895B2 (ja) * 1996-05-28 2006-10-11 キヤノン株式会社 画像合成装置及び画像合成システム
US6307550B1 (en) 1998-06-11 2001-10-23 Presenter.Com, Inc. Extracting photographic images from video
US6229570B1 (en) * 1998-09-25 2001-05-08 Lucent Technologies Inc. Motion compensation image interpolation—frame rate conversion for HDTV
SE9902328A0 (sv) 1999-06-18 2000-12-19 Ericsson Telefon Ab L M Förfarande och system för att alstra sammanfattad video
WO2001041451A1 (en) 1999-11-29 2001-06-07 Sony Corporation Video/audio signal processing method and video/audio signal processing apparatus
US7133068B2 (en) * 2000-03-06 2006-11-07 Sony Corporation System and method for creating still images by utilizing a video camera device
JP4978760B2 (ja) * 2000-08-23 2012-07-18 ソニー株式会社 画像処理方法および画像処理装置
EP1589763A2 (en) * 2004-04-20 2005-10-26 Sony Corporation Image processing apparatus, method and program
JP2008167155A (ja) 2006-12-28 2008-07-17 Sony Corp 再生装置および再生方法、並びにプログラム
JP4902562B2 (ja) * 2007-02-07 2012-03-21 パナソニック株式会社 撮像装置、画像処理装置、制御方法およびプログラム
US20090306500A1 (en) * 2008-06-06 2009-12-10 Norbert Rahn Workflow for minimally invasive heart treatment

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11168685A (ja) * 1997-12-04 1999-06-22 Sony Corp 画像処理方法
WO2005046221A1 (ja) * 2003-11-11 2005-05-19 Seiko Epson Corporation 画像処理装置、画像処理方法、そのプログラムおよび記録媒体
JP2006277731A (ja) * 2005-03-03 2006-10-12 Fuji Photo Film Co Ltd 画像抽出装置、画像抽出方法、及び画像抽出プログラム
JP2007036359A (ja) * 2005-07-22 2007-02-08 Casio Comput Co Ltd 画像合成装置、画像合成方法及びプログラム
JP2007235642A (ja) * 2006-03-02 2007-09-13 Hitachi Ltd 障害物検知システム
JP2008084287A (ja) * 2006-08-28 2008-04-10 Sony Corp 情報処理装置、撮像装置、情報処理システム、装置制御方法及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013172311A1 (ja) * 2012-05-14 2013-11-21 日立アロカメディカル株式会社 超音波診断装置および画像評価表示方法
JP2015130546A (ja) * 2014-01-03 2015-07-16 大木　光晴 画像処理装置、方法、プログラム、および、データフォーマット

Also Published As

Publication number Publication date
RU2009139437A (ru) 2011-05-10
CN101729792B (zh) 2013-08-28
US8368815B2 (en) 2013-02-05
US9153289B2 (en) 2015-10-06
EP2180481A1 (en) 2010-04-28
US20120321218A1 (en) 2012-12-20
BRPI0906263A2 (pt) 2011-03-29
CN101729792A (zh) 2010-06-09
US20100104256A1 (en) 2010-04-29
RU2423736C1 (ru) 2011-07-10
JP4623199B2 (ja) 2011-02-02

Similar Documents

Publication Publication Date Title
JP4623199B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP4623201B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP4623200B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP5223318B2 (ja) 画像処理装置、画像処理方法およびプログラム
TWI388212B (zh) An image processing apparatus, an image reproduction apparatus, an image processing method, and a memory medium
JP5092722B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP4678404B2 (ja) 撮像装置、その制御方法およびプログラム
EP2180701A1 (en) Image processing device, dynamic image reproduction device, and processing method and program in them
JP4692550B2 (ja) 画像処理装置、その処理方法およびプログラム
JP2009077363A (ja) 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム
JP4697221B2 (ja) 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム
CN101617531A (zh) 图像处理装置、运动图像播放装置及其处理方法和程序

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100205

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100709

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100713

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100910

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101005

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101018

R151 Written notification of patent or utility model registration

Ref document number: 4623199

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131112

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250