JP2010016621A - 画像データ処理装置と画像データ処理方法およびプログラムと記録媒体 - Google Patents

Abstract

【課題】ユーザの所望する画像データを容易に記録メディアから読み出すことができるようにする。
【解決手段】撮像部２２で生成された画像データから特徴抽出処理部２５で視覚的特徴を抽出する。視覚的特徴は、人物の顔検出を行って得られた顔検出結果、顔検出結果を用いて顔属性検出と人物特定と人体検出の少なくともいずれかを行って得られた結果、また人物だけでなく物体の検出結果等を用いる。記録メディア３１には、画像データと該画像データから抽出した視覚的特徴を関連付けて記録する。特徴比較処理部２６は特徴抽出処理部２５で抽出された視覚的特徴と記録メディア３１に記録されている視覚的特徴を比較する。制御部４０は、比較結果に基づき、抽出された視覚的特徴を示す画像データを記録メディア３１から読み出す。
【選択図】 図１

Description

この発明は、画像データ処理装置と画像データ処理方法に関する。詳しくは、記録メディアに保存されている大量の静止画や動画の画像データから、簡単に所望の画像データを探し出して、再生や編集を行うことができるようにするものである。

近年、記録メディアの大容量化に伴い、ディジタルスチルカメラやカメラ一体型ビデオレコーダーで得られた静止画や動画の画像データを大量に記録することが可能となってきている。しかし、記録メディアに大量の静止画や動画の画像データを記録できるようになると、画像データの再生や編集等を行う場合、所望の画像データを簡単に探し出すことができなくなる。このため、特許文献１では、記録時に記録対象データの特徴を抽出して、この特徴に基づくメタデータを保存しておき、再生時にはメタデータを検索することで、所望のデータを容易に得られるようにすることが開示されている。

また、人物の顔の検出を行い、検出した顔をキーワードとして記録メディアから所望のデータを探し出す方法も提案されている。例えば、特許文献２では、再生対象データ中から検出した顔と特定人物の顔との類似度を判定して、類似度の高い顔が含まれる画像を順次再生する方法が開示されている。また、特許文献３では、再生対象データ中の特定人物をユーザが指示することによって、再生対象データ中からその人物を含む部分動画を抽出する方法が開示されている。

特開２００７−４９３３２号公報 特開２００５−３３２７６号公報 特開２００７−２８１８５８号公報

ところで、記録時に記録対象データ中から特徴を抽出して、この特徴に基づくメタデータを保存する場合、どのような特徴に基づくメタデータを保存するかについては、特徴を抽出する際に予め設定されている。このため、所望のデータの検索を容易とする特徴が抽出されていないと、メタデータを検索しても所望のデータを容易に得ることができない。また、多くの特徴を抽出して、この抽出した特徴に基づくメタデータを保存しておけば、メタデータを検索して所望のデータを容易に得ることができる。しかし、多くの特徴が抽出されていると、所望のデータを得るためにいずれの特徴を用いればよいか、特徴の選択が容易でなくなってしまう。

また、再生対象データ中から検出した顔と特定人物の顔との類似度を判定して、判定結果に基づき画像の再生を行う方法では、再生対象画像登録データベースから特定人物画像が指定される。このため、特定人物画像を指定できるように再生対象画像登録データベースを予め設けておかなければならない。さらに、再生対象画像登録データベースに登録されている人物が多くなると、特定人物画像を容易に指定することが困難となってしまう。

また、再生対象データ中の特定人物をユーザが指示することによって、再生対象データ中からその人物を含む部分動画を抽出する方法では、再生中の動画（または静止画）や再生対象データ中に含まれる人物を指定操作が必要となる。このため、所望の人物が含まれた画像を再生しなければ人物の指定を行えないので、簡単に所望の人物を含む部分動画を抽出することができない。

そこで、この発明では、ユーザの所望する画像データを容易に記録メディアから読み出すことができる画像データ処理装置と画像データ処理方法を提供するものである。

本発明の第１の側面は、被写体を撮像して画像データを生成する撮像部と、生成された画像データから視覚的特徴を抽出する特徴抽出処理部と、記録メディアに記録されている画像データから抽出されて該画像データに関連付けられている視覚的特徴と、特徴抽出処理部で抽出された視覚的特徴の比較を行う特徴比較処理部と、比較結果に基づいて、記録メディアから特徴抽出処理部で抽出された視覚的特徴を示す画像データの読み出しを行う制御部とを備える画像データ処理装置にある。

この画像データ処理装置では、撮像部で生成された画像データから視覚的特徴が抽出される。視覚的特徴は、人物の顔検出を行って得られた顔検出結果、顔検出結果を用いて顔属性検出と人物特定と人体検出の少なくともいずれかを行って得られた結果、また人物だけでなく物体の検出結果等が用いられる。記録メディアには、例えば画像データと該画像データから抽出された視覚的特徴が関連付けて記録されている。撮像部で生成された画像データから抽出された視覚的特徴は、記録メディアに記録されている視覚的特徴と比較されて、この比較結果に基づき、撮像部で生成された画像データから抽出された視覚的特徴を示す画像データが、記録メディアから読み出される。また、読み出された画像データは、つなぎ合わされて１つのファイルとされる場合もある。

本発明の第２の側面は、被写体を撮像して画像データを生成するステップと、生成された画像データから視覚的特徴を抽出するステップと、記録メディアに記録されている画像データから抽出されて該画像データに関連付けられている視覚的特徴と、抽出された視覚的特徴の比較を行うステップと、比較結果に基づいて、抽出された視覚的特徴を示す画像データを記録メディアから読み出すステップとを有する画像データ処理方法にある。

この発明によれば、被写体を撮像して生成された画像データから抽出された視覚的特徴と、記録メディアに記録されている視覚的特徴が比較されて、この比較結果に基づき、撮像部で生成された画像データから抽出された視覚的特徴を示す画像データが記録メディアから読み出される。

このため、再生対象画像登録データベースに登録されている人物から特定の人物を指定したり、特定人物が含まれる画像を再生して、再生中の画像が特定人物を指定する操作を行わなくとも、所望の被写体を撮像するだけで、所望の被写体が含まれる画像データを記録メディアから容易に読み出すことができる。

以下、図を参照しながら、この発明の実施の一形態について説明する。図１は画像データ処理装置の構成を示している。

画像データ処理装置１０は、レンズ部２１、撮像部２２、カメラ信号処理部２３、解像度変換処理部２４、特徴抽出処理部２５、特徴比較処理部２６、記録再生処理部２７、入出力インタフェース部２８、メモリ部２９、記録メディア駆動部３０、記録メディア３１、表示部３５、ユーザインタフェース部３９、制御部４０を備えている。また、カメラ信号処理部２３、解像度変換処理部２４、特徴抽出処理部２５、特徴比較処理部２６、記録再生処理部２７、入出力インタフェース部２８、メモリ部２９、制御部４０は、バス５０を介して接続されている。また、入出力インタフェース部２８には、記録メディア３１に対して画像データ等の記録再生を行う記録メディア駆動部３０、および画像表示やメニュー表示等を行う表示部３５が接続されている。

レンズ部２１は、撮像部２２を構成する撮像素子の撮像面上に被写体画像を結像させる。撮像部２２は、被写体を撮像して画像データＤＶａを生成する。この撮像部２２は、撮像素子や撮像素子を駆動するための駆動回路等で構成されている。撮像部２２は、光電変換等を行うことで撮像信号を生成する。また、撮像部２２は、撮像信号のノイズ除去や信号レベル調整を行う。さらに、撮像部２２は、ノイズ除去や信号レベル調整等が行われたアナログの撮像信号をディジタル信号に変換して、画像データＤＶａとしてカメラ信号処理部２３に供給する。

カメラ信号処理部２３は、色再現性を向上させるためのマトリクス演算、高輝度部分を圧縮するニー補正、忠実な階調表現を行うためのガンマ補正、撮像画像の輪郭を補償するディテール処理等を行う。また、カメラ信号処理部２３は、信号処理後の画像データＤＶｂを解像度変換処理部２４またはメモリ部２９に供給する。

解像度変換処理部２４は、カメラ信号処理部２３から供給された画像データＤＶｂ、またはメモリ部２９に記憶されている画像データＤＶｂを所望の解像度の画像データＤＶｃに変換する。さらに、解像度変換処理部２４は、変換後の画像データＤＶｃをメモリ部２９に記憶させる。

特徴抽出処理部２５は、メモリ部２９に記憶されている画像データＤＶｃから画像データの視覚的特徴を抽出して、抽出した視覚的特徴を示す特徴量Ｖａを制御部４０に供給する。

図２は、特徴抽出処理部２５の構成を示している。特徴抽出処理部２５は、顔検出部２５１、顔属性検出部２５２、人物特定部２５３、人体検出部２５４、物体検出部２５５を備えており、各部はバス５０を介して特徴比較処理部２６やメモリ部２９および制御部４０と接続可能とされている。

顔検出部２５１は、画像データＤＶｃに基づく画像から、人物の顔部分を検出するものである。顔検出部２５１は、顔の数や画像内の顔の位置、顔のサイズ等を検出して、この検出結果を顔検出結果Ｖａ-1として制御部４０と顔属性検出部２５２と人物特定部２５３および人体検出部２５４に通知する。顔検出部２５１は、例えば画像データＤＶｃに基づく画像から顔画像テンプレートとマッチング度が高い肌色領域を顔部分として、この顔部分と判別された領域に基づいて顔検出結果Ｖａ-1を生成する。

顔属性検出部２５２は、画像データＤＶｃに基づく画像において、顔検出結果Ｖａ-1で示された顔部分の画像から顔属性を検出する。顔属性検出部２５２は、顔属性として、顔の表情、瞬き、男性であるか女性であるか、大人であるか子供であるか等を検出して、顔属性検出結果Ｖａ-2を制御部４０に通知する。顔属性検出部２５２は、例えば顔の表情（笑顔など）の度合いや、瞬きの度合いなどをスコア化して顔属性検出結果とする。

人物特定部２５３は、画像データＤＶｃに基づく画像において、顔検出結果Ｖａ-1で示された顔部分の画像が、いずれの人物の顔であるかを特定して、人物特定結果Ｖａ-3を制御部４０に通知する。人物特定部２５３は、例えば顔検出結果Ｖａ-1で示された顔部分の画像と予め登録されている顔画像の類似度をスコア化して人物特定結果とする。

人体検出部２５４は、画像データＤＶｃに基づく画像から、人体部分を検出して人体検出結果Ｖａ-4を制御部４０に通知するものである。人体検出部２５４は、例えば顔検出結果Ｖａ-1で示された顔部分とつながっている人体部分の複数点、例えば肩や肘および手首や膝などの関節部分を検出して、画像内における関節部分の位置を人体検出結果とする。

物体検出部２５５は、画像データＤＶｃに基づく画像から、人物以外の物体を検出して、物体検出結果Ｖａ-5を制御部４０に通知するものである。物体検出部２５５は、例えば検出した物体の種類（既知の対象物との類似度を示すスコア）、物体の画像内の位置、物体を示す画像のサイズなどを物体検出結果とする。

なお、顔検出や顔属性検出、人物特定、人体検出、物体検出は、上述の方法に限られるものではなく、他の種々の方法を用いるものとしてもよい。また、特徴抽出処理部２５は、上述の各部を用いて構成する場合に限られるものではなく、一部のみを用いて構成するものとしたり、新たな特徴を抽出するようにしてもよい。例えば、画像データ処理装置のリソース（処理能力およびハードウェアの制限規模・動作周波数など）により自由に設定できるものとする。

図１の特徴比較処理部２６は、特徴抽出処理部２５で抽出された特徴と記録メディア３１に画像データと関連付けて記録されている特徴を比較するものである。特徴比較処理部２６は、比較対象元の付随データと比較対象先の付随データを蓄える記憶部を備えている。付属データは、後述するように、視覚的特徴を示す特徴量および撮影条件（例えば撮像日時やズーム位置など）を示す情報等を示す所定フォーマットのデータである。特徴比較処理部２６は、特徴抽出処理部２５で抽出された特徴を示す付随データＤＮａと、入出力インタフェース部２８に接続されている記録メディア駆動部３０の記録メディア３１に記録されている付随データＤＮｒの比較を行い、比較結果ＪＧを特徴比較処理部２６の記憶部に記憶する。

記録再生処理部２７は、メモリ部２９に記憶されている画像データＤＶｃを所定のフォーマット、例えばＪＰＥＧやＭＰＥＧ４等のフォーマットの符号化データに変換して、入出力インタフェース部２８に接続されている記録メディア駆動部３０に供給する。また、記録再生処理部２７は、記録メディア駆動部３０によって記録メディア３１から読み出されたデータのデコードを行う。

入出力インタフェース部２８は、バス５０に記録メディア駆動部３０を接続するためのインタフェースである。メモリ部２９は、画像データ、また場合によっては、特徴量Ｖａや比較結果ＪＧを記憶する。

記録メディア駆動部３０は、記録メディア３１を駆動して記録メディア３１に対してデータの書き込みや、書き込まれているデータの読み出しを行う。記録メディア３１は、光ディスクや磁気ディスクまたは半導体メモリ等で構成されており、種々のデータが記録される。記録メディア３１は、記録メディア駆動部３０に対して着脱可能とされていてもよく、記録メディア駆動部３０と一体に構成されて、画像データ処理装置の内部に設けられるものであってもよい。

表示部３５は、静止画や動画の表示、動作設定等のためのメニュー表示等を行う。なお、表示部３５は、画像データ処理装置と一体に設けられていてもよく、画像データ処理装置と別個に設けられていてもよい。

ユーザインタフェース部３９は操作キー等で構成されており、ユーザ操作に応じた操作信号ＰＳを生成して制御部４０に供給する。

制御部４０は、ＣＰＵ(Central Processing Unit)やＲＯＭ(Read Only Memory)およびＲＡＭ(Random Access Memory)等で構成されている。ＣＰＵは、ＲＯＭまたはＲＡＭに記録されているプログラムを実行して、画像データ処理装置の動作がユーザ操作に応じた動作となるように、操作信号ＰＳに基づき各部の動作を制御する。例えば、所望の画像データを記録メディア３１から読み出して再生する処理や、所望の画像データを記録メディア３１から読み出して編集する処理を行う。また、制御部４０は、所望の画像データを記録メディア３１から読み出す際に、特徴量Ｖａ（Ｖａ-1〜Ｖａ-5）を利用して画像データの検索を行う。

次に、画像データ処理装置の動作について説明する。図３は、所望の静止画を記録メディアから自動的に検索して順次再生する場合のフローチャート、図４は、このときの処理工程図を例示している。具体的には、対象人物やその他の人物、および風景等を大量に撮影した静止画が記憶されているディジタルスチルカメラを外部モニターにつないで、静止画を大勢で閲覧する場合、例えば対象人物が笑顔で写っている写真のみを自動的に検索してスライドショー表示するような場合などである。なお、記録メディアから自動的に所望の画像を検索して再生する場合の動作モードを、「自動再生モード」とよぶものとする。

また、図１の記録メディア３１には、撮像した静止画の画像データだけでなく、静止画の撮像時に特徴抽出処理部２５で得られた特徴量、および撮影条件（例えば日時やズーム位置など）を示す情報等が所定フォーマットの付随データＤＮｒとして、画像データに関係付けて記憶されているものとする。

ここで、画像の検索を行う場合、動作モード毎にプリセット情報が設定されているものとする。このプリセット情報は、所望の画像を検索するとき、どのような視覚的特徴を抽出して検索を行うか指示する情報である。すなわち、プリセット情報は、所望の画像を検索するとき、どのような項目の特徴量を用いるものとするか、またはどのような特徴量がどのような値等であるとき検索対象とするか等を示す情報である。例えば特徴量の項目として、画像データのファイルが動画ファイルであるか静止画ファイルであるかを示す「ファイル種類」・「顔検出結果」・「顔属性検出結果」・「人物特定結果」をプリセット情報で示すものする。この場合、所望の画像を検索するときに、「ファイル種類」・「顔検出結果」・「顔属性検出結果」・「人物特定結果」が検索条件として用いられる。また、プリセット情報では、特徴量の項目だけでなく特徴量の値等を示すものとしてもよい。例えば特徴量の値として、「ファイル種類が静止画」・「検出された顔の数が所定数以上」・「検出された顔属性が笑顔」・「特定された人物が検索対象の人物」であることを示すものする。この場合、ファイル種類が静止画であって、検出された顔の数が所定数以上、検出された顔属性が笑顔の条件を満たす画像が検索対象となる。なお、プリセット情報は、動作モードが選択される前に設定されてもよく、動作モードが選択されたときに、プリセット情報の設定や既に設定されているプリセット情報の変更を行うことができるようにしてもよい。

ステップＳＴ１で制御部４０は、自動再生モードが選択されているか否かを判別する。制御部４０は、ユーザによって自動再生モードの選択操作（図４のユーザ操作ＵＳ１）が行われたことにより、自動再生モードが選択されていると判別したときステップＳＴ２に進む。また、制御部４０は、他の再生モードが選択されているときステップＳＴ２９に進み、他の再生モードで動作を行う。なお、動作モードの選択は、例えば画像データ処理装置１０の表示部３５で動作モードの選択メニュー表示を行い、選択メニュー表示から自動再生モードを選択できるようにする。

ステップＳＴ２で制御部４０は、付随データに含める情報の設定指示を行う（図４の制御部の動作ＣＡ１）。制御部４０は、プリセット情報で示された特徴量だけでなく他のどのような情報を付随データに含めて比較対象とするかユーザに設定させる。制御部４０は、表示部３５で情報の設定を行う設定画面を表示させて、例えば、自動再生モードであるときの検索条件で人物の特定を外したり、検索条件に撮像日時やズーム位置などの撮像条件等を比較対象とするための撮像情報を設定できるようにする（図４の他部の動作ＭＡ１）。ユーザは、設定画面にしたがい、付随データに含める撮像情報の設定を行う（図４のユーザ操作ＵＳ２）。なお、ステップＳＴ２で制御部４０は、プリセット情報の設定や設定されているプリセット情報の変更を行うことができるようにしてもよい。また、制御部４０は、既にプリセット情報の設定がなされており、プリセット情報とは異なる撮像情報の設定や変更等が必要ない場合、このステップの処理を省略できるものとする。

ステップＳＴ３で制御部４０は、モニタリング動作を開始させてステップＳＴ４に進む。制御部４０は、レンズ部２１、撮像部２２、カメラ信号処理部２３、解像度変換処理部２４等の動作を制御して（図４の制御部の動作ＣＡ２）、表示部３５に撮像画像を表示させる（図４の他部の動作ＭＡ２）。

ステップＳＴ４で制御部４０はシャッター操作が行われたか否かを判別して、シャッター操作が行われていないときはステップＳＴ４に戻り、シャッター操作が行われたときにはステップＳＴ５に進む。ユーザは、所望の静止画を検索するための画像データを生成させる。例えば対象人物が笑顔で写っている写真のみを自動的に検索する場合、ユーザは、対象人物が笑顔であるときにシャッター操作を行い（図４のユーザ操作ＵＳ３）、対象人物が笑顔で写っている画像データを生成させる。

ステップＳＴ５で制御部４０は特徴抽出の指示を行いステップＳＴ６に進む。制御部４０は、シャッター操作が行われたときの撮像画像から特徴抽出の指示を行う（図４の制御部の動作ＣＡ３）。

ステップＳＴ６で制御部４０は、記録メディア３１に記録されている付随データＤＮｒを読み出してステップＳＴ７に進む（図４の制御部の動作ＣＡ４）。

ステップＳＴ７で制御部４０は、読み出した付随データＤＮｒを特徴比較処理部２６に転送してステップＳＴ２０に進む（図４の制御部の動作ＣＡ５）。

図５は、所望の静止画を自動的に検索して順次再生する場合の特徴抽出動作を示すフローチャートである。制御部４０によって特徴抽出の指示が行われると、ステップＳＴ１１でカメラ信号処理部２３は、画像データの取り込みを行い（図４の他部の動作ＭＡ３）、シャッター操作が行われたときの撮像画像の画像データをメモリ部２９に記憶させてステップＳＴ１２に進む。

ステップＳＴ１２で解像度変換処理部２４は、メモリ部２９に記憶された画像データに対して解像度変換を行いステップＳＴ１３に進む。解像度変換処理部２４は、メモリ部２９に記憶された画像データを、特徴抽出処理部２５が必要とする解像度に変換してメモリ部２９に戻す処理を行う（図４の他部の動作ＭＡ４）。

ステップＳＴ１３で特徴抽出処理部２５の顔検出部２５１は顔検出を行う。顔検出部２５１は、メモリ部２９に記憶されている解像度変換後である画像データの画像中から人物の顔の検出を行い、画像内における人物の顔の位置や顔のサイズ等を検出して、この検出結果を顔検出結果Ｖａ-1として制御部４０に通知する（図４の特許抽出処理部の動作ＭＢ１）。

ステップＳＴ１４で特徴抽出処理部２５の顔属性検出部２５２は顔属性検出を行う。顔属性検出部２５２は、ステップＳＴ１３で検出した人物の顔に対して、顔属性の検出を行い、顔属性検出結果Ｖａ-2を制御部４０に通知する（図４の特許抽出処理部の動作ＭＢ２）。ここで、対象人物が笑顔であるときにシャッター操作が行われた場合、検出結果では笑顔のスコアが大きく、その他の属性のスコアは小さいものとなる。

ステップＳＴ１５で特徴抽出処理部２５の人物特定部２５３は人物特定を行う。人物特定部２５３は、ステップＳＴ１３で検出した顔がいずれの人物の顔であるかを特定して人物特定結果Ｖａ-3を制御部４０に通知する（図４の特許抽出処理部の動作ＭＢ３）。

このステップＳＴ１１〜ステップＳＴ１５の処理を行うことで、所望の静止画を検索するための特徴、すなわち対象人物が笑顔で写っている写真のみを自動的に検索する場合に、この対象人物の笑顔に対応した特徴が得られたことになる。

図３のステップＳＴ２０で制御部４０は、所望の静止画を検索するための特徴が抽出されたか否かを判別する。制御部４０は、特徴抽出が完了していないときステップＳＴ２０に戻り、特徴抽出が完了したときステップＳＴ２１に進む。

ステップＳＴ２１で制御部４０は、付随データＤＮａの生成を行ってステップＳＴ２２に進む。制御部４０は、抽出された特徴を用いて、記録メディア３１に記録されている付随データＤＮｒと同様のフォーマットでの付随データＤＮａを生成する（図４の制御部の動作ＣＡ６）。

図６は、付随データのフォーマットを例示している。付随データは、例えば「付随データ識別情報」・「ファイルの種類」・「先頭からのバイト数」・「顔検出数」・「顔属性検出結果」・「人物検出結果」・「人体検出結果」・「物体検出数」・「検出物体特定結果」のデータを有している。

付随データ識別情報は、付随データの先頭に設けられており、付随データであることを示す固有データ列である。ファイルの種類は、静止画または動画のいずれの画像データであるかを示すデータである。先頭からのバイト数は、記録媒体の先頭から付随データが記録された位置までのバイト数を示している。顔検出数は、顔検出部２５１で画像フレーム中から検出された顔の数を示すデータである。

顔属性検出結果は、顔属性検出部２５２で検出された顔の属性を示すデータである。 図７は、顔属性検出結果を示している。顔属性検出部２５２では、顔妥当性検出やＹａｗ角度検出、男女検出、大人子供検出、笑顔検出、瞬き検出を行い、顔妥当性検出結果ＶＤＴ、Ｙａｗ角度検出結果ＹＤＴ、男女検出結果ＧＤＴ、大人子供検出結果ＣＤＴ、笑顔検出結果ＳＤＴ、瞬き検出結果ＢＤＴを示すものとする。この顔属性検出では、例えば各属性のスコアと閾値の比較結果を各検出結果として用いる。

人物検出結果は、人物特定部２５３において、例えば予め登録されている人物から、検出された顔と最も類似すると特定された人物の識別情報を示すデータである。

人体検出結果は、人体検出部２５４で検出された検出結果を示すデータである。図８は、人体検出結果を示している。人体検出では、図８の（Ａ）に示すように、顔の中心を基準として、左肩位置（ＱＳ１）、右肩位置（ＱＳ２）、左肘位置（ＱＥ１）、右肘位置（ＱＥ２）、左手位置（ＱＨ１）、右手位置（ＱＨ２）、腰位置（ＱＷ）、左膝位置（ＱＫ１）、右膝位置（ＱＫ２）を検出する。この検出結果に基づき、図８の（Ｂ）に示すように、各検出位置の検出結果例えば各検出位置において、顔中心からのＸ座標とＹ座標を示すデータを人体検出結果とする。ここで、人体が離れた位置であるときは、顔の中心から各位置までの距離が、人体が接近した位置であるときよりも短くなる。したがって、人体検出結果は、顔の大きさ（ＱＮ）に応じて正規化したデータとする。

物体検出結果は、物体検出部２５５において、画像フレーム中から検出した物体の数を示すデータである。検出物体特定結果は、物体検出部２５５において、例えば予め登録されている物体から、検出された物体と最も類似すると特定された物体の識別情報を示すデータである。

なお、図６では、付随データＤＮａにおいて、「付随データ識別情報」・「ファイルの種類」・「先頭からのバイト数」・「顔検出数」・「顔属性検出結果」・「人物検出結果」・「人体検出結果」・「物体検出数」・「検出物体特定結果」のデータを示す場合を例示した。しかし、各動作モードにおける付随データＤＮａの生成では、動作モード毎に必要なデータのみを示す付随データＤＮａを生成する。例えば、顔検出結果を用いて、顔属性検出と人物特定と人体検出の少なくともいずれかを行い、これらの結果を視覚的特徴に含めるものとして、この視覚的特徴を示す付随データＤＮａを生成する。また、プリセット情報のみが設定されて、このプリセット情報で、上述のように「ファイルの種類」および視覚的特徴として「顔検出数」と「属性検出結果」および「人物特定結果」の項目が示されている場合、「付随データ識別情報」・「ファイルの種類」・「先頭からのバイト数」・「顔検出数」・「属性検出結果」・「人物特定結果」を示す付随データＤＮａを生成する。

ステップＳＴ２２で制御部４０は生成した付随データＤＮａを特徴比較処理部２６に転送する処理を行ったのちステップＳＴ２３に進む（図４の制御部の動作ＣＡ７）。

ステップＳＴ２３で特徴比較処理部２６は付随データＤＮａと付随データＤＮｒの比較を行ってステップＳＴ２４に進む。特徴比較処理部２６は、制御部４０からの比較方法の指示にしたがい、ステップＳＴ２２で転送された付随データＤＮａをステップＳＴ７で転送された付随データＤＮｒと比較して、検索条件に合致する静止画を検出する。例えば、ステップＳＴ４でシャッター操作が行われたと判別されたときの撮像画を検索条件として、検索条件に合致する静止画を検出するように制御部４０で比較方法の指示が行われたとき、検索条件に合致する静止画を検出する。すなわち、対象人物が笑顔である静止画のファイル名を選択する指示が行われたとき、特徴比較処理部２６は、付随データの比較として顔属性検出結果Ｖａ-2および人物特定結果Ｖａ-3等を比較して、対象人物が笑顔である静止画のファイル名を検出する（図４の特徴比較処理部の動作ＭＣ１）。

ステップＳＴ２４で特徴比較処理部２６は全付随データの比較が終了したか否かを判別する。特徴比較処理部２６は、ステップＳＴ２２で転送された付随データＤＮａを、ステップＳＴ７で転送された全ての付随データＤＮｒと比較する処理が終了していないときステップＳＴ２３に戻り、全ての付随データＤＮｒとの比較が終了したときステップＳＴ２５に進む。

ステップＳＴ２５で制御部４０は、付随データの比較結果ＪＧを読み出してステップＳＴ２６に進む。制御部４０は、特徴比較処理部２６から付随データの比較結果ＪＧ、すなわち検索条件に合致する静止画のファイル名を読み出す（図４の制御部の動作ＣＡ８）。

ステップＳＴ２６で制御部４０は、付随データの比較結果ＪＧに基づいた再生指示を行ってステップＳＴ２７に進む。制御部４０は、付随データの比較結果ＪＧで示されたファイル名を記録再生処理部２７に通知して、記録再生処理部２７によって、比較結果で示されたファイル名の静止画を順次再生させる（図４の制御部の動作ＣＡ９）。検索された静止画の再生は、比較結果に格納されている順番に順次再生するものとしてもよく、ランダムな順番で順次再生するものとしてもよい。また、複数の再生画像を同時に表示したり、再生画像毎の間に特殊効果を入れてもよい。なお、再生動作によってはメモリ部２９に複数の再生画像が置かれる場合もある。

記録再生処理部２７は、付随データの比較結果ＪＧで示されたファイル名の画像データを記録メディアから読み出してメモリ部２９に記憶させるとともに、メモリ部２９に記憶させた画像データＤＲａ，ＤＲｂ，ＤＲｃ・・・を表示部３５に供給する処理を行う（図４の他部の動作ＭＡ５）。

ステップＳＴ２７で制御部４０は、再生終了操作が行われたか否かを判別する。制御部４０は、再生終了操作が行われていないと判別したときステップＳＴ２６に戻り、再生終了操作が行われていないと判別したとき再生動作を終了させる。

なお、上述の動作では、記録メディア３１に記録されている付随データＤＮｒを一度で読み出して特徴比較処理部２６に転送して付随データの比較を行ったが、付随データの容量が大きい場合などは、特徴比較処理部２６で処理できる容量毎の単位で、記録メディア３１に記録されている付随データＤＮｒの読み出しや、付随データの比較を行うものとする。

このようにすれば、ユーザは自動再生モードを選択して対象人物の笑顔を撮像するだけで、記録メディア３１に保存されている大量の静止画から対象人物が笑顔である静止画を探し出して、この静止画の画像データを読み出して自動的に再生することが可能となる。

なお、ステップＳＴ６とステップＳＴ７の処理、すなわち記録メディア３１に記録されている付随データの読み出しと、読み出した付随データを特徴比較処理部２６に転送する処理は、シャッター操作が行われる前に行うことも可能である。しかし、ユーザがシャッター操作を行うことなく再生動作を中止させてしまうと、付随データの読み出しと転送の処理が無効となってしまう。したがって、シャッター操作が行われたあとに付随データの読み出しと転送の処理を行うことが好ましい。

ところで、上述の実施の形態は、記録メディア３１に静止画が記録されている場合について説明したが、動画が記録されている場合でも、同様にして所望の動画を容易に検索することができる。

次に、記録メディア３１に記録されている動画から所望の動画を自動的検索する場合について説明する。図９は、所望の動画を記録メディアから自動的に読み出して編集する場合のフローチャート、図１０は、このときの処理工程図を例示している。具体的には、大量に撮影した動画が入っているカメラ一体型ビデオレコーダー中から所望の動画を編集する場合、例えば人物がゴルフのスイングをしている場面のみを全て取り出して編集したいような場合などである。なお、記録メディアから自動的に所望の動画を検索して編集する場合の動作モードを「自動動画編集モード」とよぶものとする。

また、図１の記録メディア３１には、撮像した動画の画像データだけでなく、動画の撮像時に特徴抽出処理部２５で得られた特徴量、および撮影条件（例えば日時やズーム位置など）を示す情報等が所定フォーマットの付随データＤＮｒとして、画像データに関係付けて記憶されているものとする。

ステップＳＴ３１で制御部４０は、自動動画編集モードが選択されているか否かを判別する。制御部４０は、ユーザによって自動動画編集モードの選択操作（図１０のユーザ操作ＵＳ１１）が行われたことにより、自動動画編集モードが選択されていると判別したときステップＳＴ３２に進む。また、制御部４０は、他の編集モードが選択されているときステップＳＴ５９に進み、他の編集モードで動作を行う。なお、編集モードの選択は、例えば画像データ処理装置１０の表示部３５で編集モードの選択メニュー表示を行い、選択メニュー表示から自動動画編集モードを選択できるようにする。

ステップＳＴ３２で制御部４０は、付随データに含める情報の設定指示を行う（図１０の制御部の動作ＣＢ１）。制御部４０は、プリセット情報で示された特徴量だけでなく他のどのような情報を付随データに含めて比較対象とするかユーザに設定させる。制御部４０は、表示部３５で情報の設定を行う設定画面を表示させて、例えば、自動動画編集モードであるときの検索条件に、上半身のみを比較対象としたり、撮像日時やズーム位置などの撮像条件等を比較対象とするための撮像情報を設定できるようにする（図１０の他部の動作ＭＤ１）。ユーザは、設定画面にしたがい、付随データに含める情報の設定を行う（図１０のユーザ操作ＵＳ１２）。なお、ステップＳＴ３２で制御部４０は、プリセット情報の設定や設定されているプリセット情報の変更を行うことができるようにしてもよい。また、制御部４０は、既にプリセット情報の設定がなされており、プリセット情報とは異なる撮像情報の設定や変更等が必要ない場合、このステップの処理を省略できるものとする。

ステップＳＴ３３で制御部４０は、モニタリング動作を開始させてステップＳＴ３４に進む。制御部４０は、レンズ部２１、撮像部２２、カメラ信号処理部２３、解像度変換処理部２４等の動作を制御して（図１０の制御部の動作ＣＢ２）、表示部３５に撮像画像を表示させる（図１０の他部の動作ＭＤ２）。

ステップＳＴ３４で制御部４０は撮像開始操作が行われたか否かを判別して、撮像開始操作が行われていないときはステップＳＴ３４に戻り、撮像開始操作が行われたときにはステップＳＴ３５に進む。ユーザは、所望の動画を検索するための画像を生成させる。例えば記録メディア３１に記録されている動画の中から所望の画像データに近い状態である被写体の動作を、撮像画像として取り込む。撮像画像の取り込みでは、動画を撮影するときと同様に、撮影開始時および終了時に、ビデオカメラの録画スタートボタンを操作することによって行う。具体的には、検索の対象となる人物にビデオカメラを向けて、対象となる人物がゴルフスイングの動作開始と同時に録画スタートボタンを操作して（図１０のユーザ操作ＵＳ１３）、モニタリング動作から撮像動作に動作を切り換える。

ステップＳＴ３５で制御部４０は特徴抽出の指示を行ってステップＳＴ３６に進む。制御部４０は、録画スタートボタンが操作されて撮像動作開始後の画像から特徴を抽出する指示を行う（図１０の制御部の動作ＣＢ３）。

ステップＳＴ３６で制御部４０は、記録メディア３１に記録されている付随データＤＮｒを読み出してステップＳＴ３７に進む（図１０の制御部の動作ＣＢ４）。

ステップＳＴ３７で制御部４０は、読み出した付随データＤＮｒを特徴比較処理部２６に転送してステップＳＴ５０に進む（図１０の制御部の動作ＣＢ５）。

図１１は、所望の動画を自動的に読み出して編集する場合の特徴抽出動作を示すフローチャートである。制御部４０によって特徴量抽出の指示が行われると、ステップＳＴ４１でカメラ信号処理部２３は、画像データの取り込みを行い（図１０の他部の動作ＭＤ３）、撮像画像の画像データをメモリ部２９に記憶させてステップＳＴ４２に進む。

ステップＳＴ４２で解像度変換処理部２４は、メモリ部２９に記憶された画像データに対して解像度変換を行いステップＳＴ４３に進む。解像度変換処理部２４は、メモリ部２９に記憶された画像データを、特徴抽出処理部２５が必要とする解像度に変換してメモリ部２９に戻す処理を行う（図１０の他部の動作ＭＤ４）。

ステップＳＴ４３で特徴抽出処理部２５の顔検出部２５１は顔検出を行ってステップＳＴ４４に進む。顔検出部２５１は、メモリ部２９に記憶されている解像度変換後である画像データの画像中から人物の顔の検出を行い、画像内における人物の顔の位置や顔のサイズ等を検出して、この検出結果を顔検出結果Ｖａ-1として制御部４０に通知する（図１０の特許抽出処理部の動作ＭＥ１）。

ステップＳＴ４４で特徴抽出処理部２５の人体検出部２５４は人体検出を行う。人体検出部２５４は、ステップＳＴ４３で検出した人物の顔とつながった人体部分の検出を行い、人体検出結果Ｖａ-4を制御部４０に通知する（図１０の特許抽出処理部の動作ＭＥ２）。人体検出部２５４は、人体検出結果Ｖａ-4として、肩や肘および手首や膝などの関節部分の画像内における位置を検出する。

このステップＳＴ４１〜ステップＳＴ４４の処理を行うことで、所望の動画を検索するための特徴、すなわち人物がゴルフスイングを行っている動画を自動的に検索する場合に、この人物のゴルフスイングに対応した特徴が得られることになる。

図９のステップＳＴ５０で制御部４０は、所望の動画を検索するための条件に対応する特徴が抽出されたか否かを判別する。制御部４０は、特徴抽出が完了していないときステップＳＴ５０に戻り、特徴抽出が完了したときステップＳＴ５１に進む。

ステップＳＴ５１で制御部４０は、付随データＤＮａの生成を行ってステップＳＴ５２に進む。制御部４０は、抽出された特徴を用いて、記録メディア３１に記録されている付随データＤＮｒと同様のフォーマットでの付随データＤＮａを生成する（図１０の制御部の動作ＣＢ６）。なお、付随データＤＮａの生成は、動作モード毎に必要な付随データのみを作成すればよい。例えば、プリセット情報のみが設定されて、このプリセット情報で「ファイルの種類」と「顔検出数」および「人体検出結果」の項目が示されており、プリセット情報以外の情報が設定されていない場合、「ファイルの種類」と「顔検出数」および「人体検出結果」を示す付随データを生成する。

ステップＳＴ５２で制御部４０は、撮像終了操作が行われたか否かを判別する。制御部４０は、例えば録画ストップボタンが操作されていないときステップＳＴ５０に戻り、録画ストップボタンが操作されて（図１０のユーザ操作ＵＳ１４）撮像動作が終了されるときステップＳＴ５３に進む。すなわち、撮像期間中は、ステップＳＴ４１〜ステップＳＴ４４およびステップＳＴ５０，ステップＳＴ５１の処理が繰り返されて、撮像画像毎に付随データＤＮａが生成されることになる。

ステップＳＴ５３で制御部４０は、生成した付随データＤＮａを特徴比較処理部２６に転送する処理を行ったのちステップＳＴ５４に進む（図１０の制御部の動作ＣＡ７）。

ステップＳＴ５４で特徴比較処理部２６は、付随データＤＮａと付随データＤＮｒの比較を行ってステップＳＴ５５に進む。特徴比較処理部２６は、制御部４０からの比較方法の指示にしたがい、ステップＳＴ５３で転送された付随データＤＮａをステップＳＴ３７で転送された付随データＤＮｒと比較して、検索条件に合致する動画の位置を検出する。例えば、撮像動作の開始から終了までの撮像画像を検索条件として、検索条件に合致する動画を検出するように制御部４０で比較方法の指示が行われたとき、検索条件に合致する動画の位置を検出する。すなわち、人物がゴルフスイングを行っている部分動画を含む動画のファイル名と部分動画の位置を検出する指示が行われたとき、特徴比較処理部２６は、付随データの比較として顔検出結果Ｖａ-1および人体検出結果Ｖａ-4等の比較を行い、人物がゴルフスイングを行っている動画のファイル名と部分動画の位置を検出する。（図１０の特徴比較処理部の動作ＭＦ１）。

ステップＳＴ５５で特徴比較処理部２６は全付随データの比較が終了したか否かを判別する。特徴比較処理部２６は、ステップＳＴ５３で転送された付随データＤＮａを、ステップＳＴ３７で転送された全ての付随データＤＮｒと比較する処理が終了していないときステップＳＴ５４に戻り、全ての付随データＤＮｒとの比較が終了したときステップＳＴ５６に進む。

ステップＳＴ５６で制御部４０は、付随データの比較結果ＪＧを読み出してステップＳＴ５７に進む。制御部４０は、特徴比較処理部２６から付随データの比較結果ＪＧ、すなわち検索条件に合致する静止画のファイル名を読み出す（図１０の制御部の動作ＣＢ８）。

ステップＳＴ５７で制御部４０は、付随データの比較結果ＪＧに基づいて動画編集を行う（図１０の制御部の動作ＣＢ９）。制御部４０は、付随データの比較結果で示されたファイル名の画像データから、検索条件に合致する部分動画の画像データを記録メディア３１から読み出して結合する処理を行って、ステップＳＴ５８に進む。

図１２は、動画編集の概念を示している。図１２の（Ａ）は、記録メディア３１に記録されている動画を示しており、斜線部は、付随データの比較結果によって示された検索条件に合致する部分動画ＤＭａ，ＤＭｂ，ＤＭｃを示している。

制御部４０は、図１２の（Ｂ）に示すように、検索条件に合致する部分動画を、記録メディア３１に記録された時間順、すなわち部分動画ＤＭａ，ＤＭｂ，ＤＭｃの順につなぎ合わせる。また、制御部４０は、図１２の（Ｃ）に示すように、検索条件に合致する部分動画をランダムにつなぎ合わせてもよい。例えば部分動画ＤＭｂ，ＤＭａ，ＤＭｃの順につなぎ合わせる。つなぎ合わせた動画のファイルは、つなぎ合わせを行う毎にメモリ部２９に随時記憶させる（図１０のＤＭａｃ）。

図９のステップＳＴ５８で制御部４０は、動画編集の終了後、メモリ部２９に記憶されている編集後の画像データファイル（図１０のＤＭａｃ）にヘッダ等を付加して、編集済みファイルとして記録メディア３１に書き込む（図１０の制御部の動作ＣＢ１０）。その後、通常の再生モード等に遷移して本モードの処理を終了する。

なお、上述の動作では、記録メディア３１に記録されている付随データを一度で読み出して特徴比較処理部に転送して付随データの比較を行ったが、付随データの容量が大きい場合などは、特徴比較処理部２６で処理できる容量毎の単位で、記録メディア３１に記録されている付随データの読み出しや、付随データの比較を行うものとする。また、同様に、付随データの一部を生成中に、付随データを一度に処理できる容量以上に大きくなった場合などは、生成中の付随データの一部をメモリ部２９に転送し、撮像終了操作が行われたとき、特徴比較処理部２６で処理できる容量毎の単位で、特徴比較処理部２６への付随データの転送を行うものとする。

また、ステップＳＴ３６とステップＳＴ３７の処理、すなわち記録メディアに記録されている付随データの読み出しと、読み出した付随データを特徴比較処理部２６に転送する処理は、撮像開始操作が行われる前に行うことも可能である。しかし、ユーザが撮像開始操作を行うことなく編集動作を中止させてしまうと、付随データの読み出しと転送の処理が無効となってしまう。したがって、撮像開始操作が行われたあとに付随データの読み出しと転送の処理を行うことが好ましい。

このようにすれば、ユーザは自動動画編集モードを選択して、人物の例えばゴルフスイングの動作を撮像するだけで、記録メディアに保存された大量の動画から、人物のゴルフスイングの部分動画を探し出して、自動的に編集することが可能となる。

また、検索する被写体は人物に限られるものではなく、人物以外の物体を検出して、画像の再生や編集を行うものとしてもよい。例えば、小動物が写っている静止画を記録メディアから読み出して順次再生する場合、対象となる小動物（若しくは小動物に似せたぬいぐるみなど）を撮像して、このときの静止画の画像データを用いて物体検出部２５５で特徴抽出を行う。さらに、抽出した特徴を用いて付随データの生成を行い、生成した付随データと、記録メディア３１に記録されている付随データとの比較結果を用いることで、小動物が写っている静止画を記録メディアから読み出して順次再生することができる。

また、上述の画像データ処理装置は、撮像装置とコンピュータ装置を用いて構成するものとしてもよい。この場合、撮像装置で生成された画像データから視覚的特徴を抽出するステップと、抽出された視覚的特徴と記録メディアに画像データと関連付けられて記録されている視覚的特徴を比較するステップと、比較結果に基づいて、抽出された視覚的特徴を示す画像データを記録メディアから読み出すステップとコンピュータ装置で実行させるプログラムを用いる。コンピュータ装置は、このプログラムを実行することで、記録メディアに記録されている静止画や動画から、撮像装置で生成された撮像画像に基づいて所望の画像の検索を行い、検索された画像の画像データを読み出して、再生や編集を行う。

なお、プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ装置に対して、コンピュータ読み取り可能な形式で提供する記憶媒体、通信媒体、例えば光ディスクや磁気ディスクおよび半導体メモリ等の記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能とする。

この発明によれば、撮像部で生成した撮像画像に含まれる被写体と類似の被写体を含む画像を容易に検索することが可能となる。このため、静止画や動画が大量に記録される記録メディアを用いる機器に好適である。

画像データ処理装置の構成を示す図である。 特徴抽出処理部の構成を示す図である。 所望の静止画を自動的に検索して順次再生する場合の動作を示すフローチャートである。 所望の静止画を自動的に検索して順次再生する場合の処理工程図である。 所望の静止画を自動的に検索して順次再生する場合の特徴抽出動作を示すフローチャートである。 付随データのフォーマットを示す図である。 顔属性検出結果を示す図である。 人体検出結果を示す図である。 所望の動画を自動的に読み出して編集する場合の動作を示すフローチャートである。 所望の動画を自動的に読み出して編集する場合の処理工程図である。 所望の動画を自動的に読み出して編集する場合の特徴抽出動作を示すフローチャートである。 編集動作を説明するための図である。

符号の説明

１０・・・画像データ処理装置、２１・・・レンズ部、２２・・・撮像部、２３・・・カメラ信号処理部、２４・・・解像度変換処理部、２５・・・特徴抽出処理部、２６・・・特徴比較処理部、２７・・・記録再生処理部、２８・・・入出力インタフェース部、２９・・・メモリ部、３０・・・記録メディア駆動部、３１・・・記録メディア、３５・・・表示部、３９・・・ユーザインタフェース部、４０・・・制御部、５０・・・バス、２５１・・・顔検出部、２５２・・・顔属性検出部、２５３・・・人物特定部、２５４・・・人体検出部、２５５・・・物体検出部

Claims (8)

1. 被写体を撮像して画像データを生成する撮像部と、
   前記生成された画像データから視覚的特徴を抽出する特徴抽出処理部と、
   記録メディアに記録されている画像データから抽出されて該画像データに関連付けられている視覚的特徴と、前記特徴抽出処理部で抽出された視覚的特徴の比較を行う特徴比較処理部と、
   前記比較結果に基づいて、前記記録メディアから前記特徴抽出処理部で抽出された視覚的特徴を示す画像データの読み出しを行う制御部と
   を備える画像データ処理装置。
2. 前記特徴抽出処理部は、人物の顔検出を行い、顔検出結果を前記視覚的特徴に含める
   請求項１記載の画像データ処理装置。
3. 前記特徴抽出処理部は、前記顔検出結果を用いて、顔属性検出と人物特定と人体検出の少なくともいずれかを行い、得られた結果を前記視覚的特徴に含める
   請求項２記載の画像データ処理装置。
4. 前記特徴抽出処理部は、抽出する視覚的特徴を指示するプリセット情報に基づいて、前記視覚的特徴の抽出を行う
   請求項１記載の画像データ処理装置。
5. 前記特徴比較処理部は、前記プリセット情報とは異なる撮像情報をさらに用いるものとし、前記生成された画像データに関連付けられている撮像情報と、前記記録メディアに記録されている画像データに関連付けられている撮像情報の比較を行い、
   前記制御部は、前記比較結果に基づいて、前記特徴抽出処理部で抽出された視覚的特徴と前記生成された画像データに関連付けられている撮像情報を示す画像データを、前記記録メディアから読み出す
   請求項４記載の画像データ処理装置。
6. 前記制御部は、読み出した画像データをつなぎ合わせて１つのファイルとする
   請求項１記載の画像データ処理装置
7. 前記制御部は、前記撮像部で生成された画像データを前記記録メディアに記録する際に、前記特徴抽出処理部で抽出された視覚的特徴を画像データに関連付けて記録する請求項１記載の画像データ処理装置。
8. 被写体を撮像して画像データを生成するステップと、
   前記生成された画像データから視覚的特徴を抽出するステップと、
   記録メディアに記録されている画像データから抽出されて該画像データに関連付けられている視覚的特徴と、前記抽出された視覚的特徴の比較を行うステップと、
   前記比較結果に基づいて、前記抽出された視覚的特徴を示す画像データを前記記録メディアから読み出すステップと
   を有する画像データ処理方法。

Images