JP2008165700A - 画像処理装置、電子機器、画像処理システム、画像処理方法、および、プログラム - Google Patents

Abstract

【課題】画像コンテンツの内容を、容易に、かつ確実に分類することが可能な画像処理装
置、電子機器、画像処理システム、画像処理方法、および、プログラムを提供する。
【解決手段】入力された撮影画像データの特徴を画像解析部１４０の各部によって検出す
るとともに、撮影画像データが撮影された状況に関する関連情報を関連情報解析部１６１
によって取得し、この関連情報と撮影画像データの特徴とに基づいて、分類推定部１７０
によって撮影画像データに対応する分類を推定し、この推定した分類を含むメタデータを
生成する。
【選択図】図３

Description

本発明は、撮影画像の内容を示す関連情報を生成する画像処理装置、この画像処理装置
を備えた電子機器、画像処理システム、画像処理方法、および、プログラムに関する。

従来、映像コンテンツの管理を容易にするため、映像コンテンツの内容に基づく分類等
を行う装置が提案されている（例えば、特許文献１参照）。この種の装置は、映像中にお
ける動きや色を解析することで映像の内容を分類するものであり、例えば、スポーツに関
連する映像を解析して関連するスポーツの種目に関する情報を得る。
特開２００４−１２７２８５号公報

ところが、動きや色のみに基づいて映像の内容を解析しても、例えば似たような動きや
色が現れる複数の映像を区別することは難しく、映像の内容を的確に把握することは困難
であった。また、映像の動きや色等を緻密に解析しようとすれば、処理の負荷が著しく高
くなってしまい、非常に時間がかかるという問題があった。
そこで本発明は、画像コンテンツの内容に関する情報を、高速かつ確実に得ることが可
能な画像処理装置、電子機器、画像処理システム、画像処理方法、および、プログラムを
提供することを目的とする。

〔形態１〕 上記目的を達成するため、形態１の画像処理装置は、撮影画像の特徴を検
出する特徴検出手段と、前記撮影画像が撮影された状況に関する撮影関連情報を取得する
関連情報取得手段と、前記関連情報取得手段によって取得された撮影関連情報と前記特徴
検出手段により検出された前記撮影画像の特徴とに基づいて、前記撮影画像の内容を推定
する推定手段と、前記推定手段により推定された内容を示す情報を含む付加情報を生成す
る付加情報生成手段と、を備えることを特徴とする。
この構成によれば、撮影画像の特徴と撮影された状況に関する撮影関連情報とに基づい
て撮影画像の内容を推定し、推定した内容を示す情報を含む撮影画像の付加情報を生成す
る。一般に、画像が撮影される状況と撮影画像の内容とは関連することが多く、特に撮影
する人が比較的限られていたり、撮影場所や撮影日が限られたりする環境では、撮影が撮
影された状況と撮影画像の内容との関連性が極めて高くなる。このため、撮影画像の特徴
のみに基づいて内容を判別する場合に比べ、撮影された状況を加味することで、撮影画像
の内容を正確に推定することができ、撮影画像の内容に良く適合する付加情報を生成でき
る。そして、この画像処理装置によって生成された付加情報を利用すれば画像を的確に検
索や抽出することが可能になり、画像の有効活用を図るとともに画像管理の負担を大幅に
軽減できる。

〔形態２〕 形態２の画像処理装置は、形態１の画像処理装置において、前記特徴検出
手段は複数の項目について前記撮影画像の特徴を検出するものであり、前記推定手段は、
前記特徴検出手段により検出された複数項目の特徴と前記関連情報取得手段により取得さ
れた撮影関連情報とを、項目毎に予め定められた順序で条件に適合するか否かを判定する
ことによって、前記撮影画像の内容を推定することを特徴とする。
この場合、複数項目の撮影画像の特徴と撮影関連情報とを用いることで、より正確に撮
影画像の内容を推定できる。また、複数項目の情報を予め定められた順序で項目毎に条件
に適合するか否かを判定することによって、撮影画像の内容を推定するので、複数項目の
情報を高速かつ確実に処理して推定を行える。

〔形態３〕 形態３の画像処理装置は、形態１の画像処理装置において、前記特徴検出
手段は複数の項目について前記撮影画像の特徴を検出するものであり、前記推定手段は、
前記特徴検出手段により検出された複数項目の特徴と前記関連情報取得手段により取得さ
れた撮影関連情報とを項目毎に評価し、各項目の評価を集計することによって、前記撮影
画像の内容を推定することを特徴とする。
この場合、複数項目の撮影画像の特徴と撮影関連情報とを用いることで、より正確に撮
影画像の内容を推定できる。また、複数項目の情報を項目毎に評価し、各項目の評価を集
計することによって撮影画像の内容を推定するので、複数項目の撮影情報を高速かつ確実
に処理するとともに、全ての項目を漏れなく反映させて多面的な推定を行うことができる
。

〔形態４〕 形態４の画像処理装置は、形態１の画像処理装置において、前記特徴検出
手段は複数の項目について前記撮影画像の特徴を検出するものであり、前記推定手段は、
前記特徴検出手段により検出された特徴と前記関連情報取得手段により取得された撮影関
連情報との各項目を非独立の要素として統計的に処理することによって、前記撮影画像の
内容を推定することを特徴とする。
この場合、複数項目の撮影画像の特徴と撮影関連情報との各項目の情報を非独立の要素
として統計的に処理することにより、より複雑な条件等を用い、さらに各項目の解析結果
どうしの関係を加味して、撮影画像の内容に適した分類を推定できる。加えて、全ての項
目を漏れなく反映させて画一的でない高度な推定を行うこともできる。

〔形態５〕 形態５の画像処理装置は、形態１から４のいずれかの画像処理装置におい
て、前記撮影関連情報は、少なくとも撮影場所、撮影日、撮影時刻のいずれかを示す情報
を含むことを特徴とする。
この場合、少なくとも撮影場所、撮影日、撮影時刻のいずれかを示す情報を撮影関連情
報として用いることにより、撮影画像の内容と強く関連する撮影関連情報を用いて、適切
な属性情報を生成できる。

〔形態６〕 形態６の画像処理装置は、形態１から５のいずれかの画像処理装置におい
て、前記特徴検出手段は、少なくとも前記撮影画像に写っている人物又は物の名前、前記
撮影画像に写っている人物の服装の色、人物又は物の背景部分の色、前記撮影画像が動画
像である場合の動きベクトルのうちいずれかを特徴として検出することを特徴とする。
この場合、少なくとも撮影画像に写っている人物又は物の名前、前記撮影画像に写って
いる人物の服装の色、人物又は物の背景部分の色、撮影画像が動画像である場合の動きベ
クトルのいずれかを前記撮影画像の特徴として用いるので、撮影画像の内容に関連する特
徴を撮影関連情報と合わせて用いることで、より正確に撮影画像の内容を推定できる。

〔形態７〕 形態７の画像処理装置は、形態１から６のいずれかの画像処理装置におい
て、前記推定手段は、前記特徴検出手段により検出された前記撮影画像の特徴と前記関連
情報取得手段により取得された撮影関連情報とに基づいて、前記撮影画像の内容に関連す
る人物の名前を特定し、前記付加情報生成手段は、前記推定手段により推定された内容を
示す情報と特定された人物の名前とを含む前記付加情報を生成することを特徴とする。
この場合、撮影画像の内容に関連する人物の名前が付加情報に含まれるので、この付加
情報を利用すれば画像の検索性が大幅に向上し、加えて、付加情報だけで撮影画像の内容
を明確に把握できる。

〔形態８〕 形態８の画像処理装置は、形態７の画像処理装置において、前記関連情報
取得手段により取得される撮影関連情報に対応する人物の名前を記憶した人物名記憶手段
を備え、前記特徴検出手段は、前記撮影画像から人物の顔画像を検出して、この顔画像の
人物を特定する人物認識手段と、を備え、前記付加情報生成手段は、前記関連情報取得手
段により取得された撮影関連情報に対応して前記人物名記憶手段に記憶された人物の名前
と、前記人物認識手段により特定された人物の名前とのいずれか又は両方を含む前記付加
情報を生成することを特徴とする。
この場合、付加情報に含まれる人物の名前は、撮影画像に写っていた人物名又は撮影関
連情報から推定される人物名であり、撮影画像の内容と人物の名前との関連が非常に強い
。このため、付加情報の確実性および信頼性をより一層高めることができる。

〔形態９〕 形態９の画像処理装置は、形態１から８のいずれかの画像処理装置におい
て、前記推定手段は、前記撮影画像が撮影されたイベントを示す情報を推定し、前記付加
情報生成手段は、前記推定手段により推定されたイベントを示す情報を含む前記付加情報
を生成することを特徴とする。
この場合、イベントを示す情報は撮影日や場所などの撮影関連情報から高い確実性で推
定できるので、より適切な属性情報を生成できる。

〔形態１０〕 形態１０の画像処理装置は、形態１から９のいずれかの画像処理装置に
おいて、前記撮影画像に付属する音を解析して、この音により表される情報を取得する音
解析手段を備え、前記推定手段は、前記特徴検出手段により検出された前記撮影画像の特
徴と前記関連情報取得手段により取得された撮影関連情報とともに、前記音解析手段によ
り取得された情報に基づいて前記撮影画像の内容を推定することを特徴とする。
この場合、撮影画像の特徴と撮影関連情報とともに、撮影画像に付属する音が示す情報
を利用して撮影画像の内容を推定するので、撮影画像の内容をより正確に推定できる。

〔形態１１〕 形態１１の電子機器は、上記形態１から１０のいずれかの画像処理装置
を備えたことを特徴とする。
この電子機器によれば、形態１から１０のいずれかに記載の画像処理装置と同等の効果
が得られる。
ここで、電子機器としては、例えば、パーソナルコンピュータ、ＰＤＡ、携帯型電話機
、デジタルスチルカメラ、デジタルビデオカメラ、スキャナ、プロジェクタ、テレビ、プ
リンタ等、映像および／または画像を処理することが可能な電子機器が挙げられる。

〔形態１２〕 上記課題を解決するため、形態１２の画像処理システムは、撮影画像を
出力する撮影装置と、前記撮影画像を処理する画像処理装置とを備え、前記画像処理装置
は、前記撮影画像の特徴を検出する特徴検出手段と、前記撮影画像が撮影された状況に関
する撮影関連情報を取得する関連情報取得手段と、前記関連情報取得手段により取得され
た撮影関連情報と前記特徴検出手段により検出された前記撮影画像の特徴とに基づいて、
前記撮影画像の内容を推定する推定手段と、前記推定手段により推定された内容を示す情
報を含む付加情報を生成する付加情報生成手段と、を備えること、を特徴とする。
この画像処理システムによれば、撮影した撮影画像の特徴と撮影された状況に関する撮
影関連情報とに基づいて撮影画像の内容を推定し、推定した内容を示す情報を含む付加情
報を生成するので、撮影画像内容を良好に反映した付加情報を生成できる。

〔形態１３〕 上記課題を解決するため、形態１３の画像処理方法は、撮影画像の特徴
を検出する特徴検出工程と、前記撮影画像が撮影された状況に関する撮影関連情報を取得
する関連情報取得工程と、前記関連情報取得工程で取得した撮影関連情報と前記特徴検出
工程で検出した前記撮影画像の特徴とに基づいて、前記撮影画像の内容を推定する推定工
程と、前記推定工程で推定した内容を示す情報を含む前記撮影画像の付加情報を生成する
付加情報精製工程とを含むことを特徴とする画像処理方法を提供する。
この画像処理方法によれば、形態１の画像処理装置と同等の効果が得られる。

〔形態１４〕 上記課題を解決するため、形態１４のプログラムは、コンピュータを、
撮影画像の特徴を検出する特徴検出手段と、前記撮影画像が撮影された状況に関する撮影
関連情報を取得する関連情報取得手段と、前記関連情報取得手段により取得された撮影関
連情報と前記特徴検出手段により検出された前記撮影画像の特徴とに基づいて、前記撮影
画像の内容を推定する推定手段と、前記推定手段により推定された内容を示す情報を含む
付加情報を生成する付加情報生成手段と、して機能させるためのプログラムを提供する。
このプログラムによれば、コンピュータによってプログラムが読み取られ、読み取られ
たプログラムにしたがってコンピュータが処理を実行すると、形態１の画像処理装置と同
等の作用および効果が得られる。

〔形態１５〕 上記課題を解決するため、形態１５の記録媒体は、コンピュータを、撮
影画像の特徴を検出する特徴検出手段と、前記撮影画像が撮影された状況に関する撮影関
連情報を取得する関連情報取得手段と、前記関連情報取得手段により取得された撮影関連
情報と前記特徴検出手段により検出された前記撮影画像の特徴とに基づいて、前記撮影画
像の内容を推定する推定手段と、前記推定手段により推定された内容を示す情報を含む付
加情報を生成する付加情報生成手段として機能させるためのプログラムを、コンピュータ
読取可能に記録した記録媒体である。
この記録媒体によれば、コンピュータによってプログラムが記録媒体から読み取られ、
読み取られたプログラムにしたがってコンピュータが処理を実行すると、形態１の画像処
理装置と同等の作用および効果が得られる。
ここで、記録媒体とは、ＲＡＭ、ＲＯＭ等の半導体記録媒体、ＦＤ、ＨＤ等の磁気記憶
型記録媒体、ＣＤ、ＣＤＶ、ＬＤ、ＤＶＤ等の光学的読取方式記録媒体、ＭＯ等の磁気記
録型／光学的読取方式記録媒体であって、電子的、磁気的、光学的等の読み取り方法のい
かんにかかわらず、コンピュータで読み取り可能な記録媒体であれば、どのような記録媒
体であってもよい。

以下、図面を参照して本発明を適用した実施形態について説明する。
［第１の実施形態］
図１は、第１の実施形態に係る画像処理システム１の構成を示すブロック図である。
この画像処理システム１は、画像処理装置１０に、画像を撮影する撮影装置４０と、記
録媒体読取装置３０とを接続した構成を有する。
画像処理装置１０は、撮影装置４０によって撮影された撮影画像データ又は記録媒体読
取装置３０により読み取った撮影画像データ、若しくは他の外部装置から入力された撮影
画像データを解析して、撮影画像データを内容に基づいて分類し、その分類を示す情報を
撮影画像データに付加する装置である。情報を付加する方法としては、撮影画像データの
ファイル名に含める方法や、撮影画像データに付属するメタデータに情報を方法等がある
が、本第１の実施形態および以降の実施形態では、分類を示す情報を含むメタデータを生
成する例について説明する。
また、本第１の実施形態および以降の実施形態では、画像処理装置１０によって、撮影
画像の内容に関係するイベントを特定し、このイベントによる分類を行う。例えば、クリ
スマスパーティの様子を写した撮影画像データについては、「クリスマス」というイベン
ト名を含むメタデータを生成する。
なお、画像処理装置１０において処理される撮影画像データは、動画像データおよび静
止画像データを含む。また、撮影画像データが動画像データである場合、この動画像に対
応する音声データをも処理できる。本第１の実施形態および後述する他の実施形態では、
画像処理装置１０において、主に動画像データを撮影画像データとして処理する場合を例
に挙げて説明する。

画像処理装置１０は、後述するように撮影画像データ中のオブジェクト（被写体として
写っている人物および物）を検出する処理を行い、その後、検出したオブジェクト（人物
又は物）および撮影画像データ全体を解析して、撮影画像データの特徴を検出するととも
に、画像処理装置１０は、撮影画像データの撮影条件等を含む関連情報を取得し、この関
連情報から撮影画像データが関係するイベントを特定できる情報を検出する。そして、画
像処理装置１０は、撮影画像データの特徴と関連情報から検出した情報とをもとに、撮影
画像データに対応する撮影画像の内容に関連するイベント名を特定して、このイベント名
を含むメタデータを生成する。
さらに、画像処理装置１０は、撮影画像の内容に関連するイベント名とともに、撮影画
像データに関連するオブジェクトの名前を特定し、この名前をイベント名とともに含むメ
タデータを生成する。

画像処理装置１０の構成について説明する。
図１に示すように、画像処理装置１０は、画像処理装置１０の各部の制御を実行する制
御部１１と、制御部１１によって実行される各種プログラムを記憶したＲＯＭ１２と、制
御部１１によって処理されるプログラムやデータ等を一時的に記憶するＲＡＭ１４とを備
えている。ＲＯＭ１２は、半導体記憶デバイス等を用いた記録媒体であり、制御部１１に
より実行される制御プログラム１３、および、制御プログラム１３に係るデータを不揮発
的に記憶している。
また、画像処理装置１０は、制御部１１によって処理される画像等を記憶する記憶部１
５と、画像処理装置１０に対する指示入力等を行うための入力部１６と、制御部１１によ
って実行される処理の結果等を出力する出力部１７と、外部の装置（図示略）に接続され
る外部インタフェース（Ｉ／Ｆ）１９とを備えている。これらの各部はバス２０により相
互に接続されている。

記憶部１５は、磁気的記録媒体、光学的記録媒体、或いは半導体記憶デバイスを用いて
各種情報を不揮発的に記憶する。記憶部１５には、各種情報を記憶する複数の記憶領域が
設けられ、この記憶領域には、図３を参照して後述する画像特徴ＤＢ１４２、１４４、分
類キーワードＤＢ１５２、関連情報ＤＢ１６２、および推定ルール格納部１７１が含まれ
る。
入力部１６は、数字・文字・記号等を入力するキーや特定の動作を指示する機能キー等
の各種キースイッチ、ロータリースイッチ、電源ＯＮ／ＯＦＦボタン等を備え、これらス
イッチ或いはボタン等の操作に対応する操作信号を生成して、制御部１１に出力する。
また、出力部１７は、撮影装置４０により撮影された撮影画像や制御部１１による処理
結果等を、ＬＣＤ（液晶ディスプレイ）等を備えた表示画面１８に映像として表示させ、
或いは、図示しない印刷装置により印刷させる。

外部インタフェース部１９は、画像処理装置１０の外部の装置に接続されるインタフェ
ースである。ここで外部の装置としては、ハードディスクドライブや半導体メモリを内蔵
したストレージデバイス、パーソナルコンピュータ、デジタルスチルカメラ、デジタルビ
デオカメラ、携帯型電話機等が挙げられる。外部インタフェース部１９の具体的な構成と
しては、USB（Universal Serial Bus）、IEEE1394、Ethernet（登録商標）等の通信方
式に対応した有線接続インタフェース、および、IEEE802.11、Bluetooth（登録商標）、U
WB、ZigBee（登録商標）等の通信方式に対応した無線通信インタフェース等が挙げられる
。また、外部インタフェース部１９は、上記各種規格に準じたコネクタの他、上記各種規
格により規定されたプロトコルを実行可能なインタフェース回路を備えていてもよい。さ
らに、外部インタフェース部１９は、画像処理システム１の外部の通信回線（図示略）に
接続され、この通信回線を介して外部の通信ネットワーク（図示略）に接続可能な構成と
してもよい。

外部インタフェース部１９には、記録媒体読取装置３０が接続されている。記録媒体読
取装置３０は、ＣＤ、ＤＶＤ等の光学的ディスク型記録媒体、ＭＤ等の光磁気ディスク型
記録媒体、半導体記憶デバイスを利用した記録媒体の各種記録媒体等に記録されたデータ
を読み取る装置である。記録媒体読取装置３０は、上記の各種記録媒体から撮影画像デー
タを読み取って、外部インタフェース部１９を介して制御部１１に出力する。また、記録
媒体読取装置３０は、撮影画像データに付属する関連情報（例えば、メタデータやファイ
ル名など）があれば、この関連情報を上記の各種記録媒体から読み取って出力する。

また、外部インタフェース部１９には、撮影装置４０が接続されている。
撮影装置４０は、動画像又は静止画像を撮影して撮影画像データを出力する装置であり
、動画像を撮影する場合には同時に音声を録音して、音声データを動画像データに付加し
て出力できる。
撮影装置４０は、外部インタフェース部１９に接続される外部インタフェース部４１、
撮影装置４０の各部を制御するカメラ制御部４２、静止画像又は動画像を撮影する撮像部
４３、音声を録音する音声記録部４４、撮影装置４０を操作するためのカメラ操作部４５
、撮像部４３による撮影時の撮影条件等を記憶する撮影条件記憶部４６、撮影画像データ
を記憶するデータ記憶部４７、および、撮影時における撮影装置４０の位置座標を取得す
るＧＰＳユニット４８を備え、これらの各部はバス４９により相互に接続されている。

外部インタフェース部４１は、外部インタフェース部１９と同様に各種規格に準じた有
線接続インタフェースや無線通信インタフェース、および、これらインタフェースを介し
て通信を行うための回路等を具備する。外部インタフェース部４１は、画像処理装置１０
から入力される制御情報をカメラ制御部４２に出力する一方、カメラ制御部４２の制御の
もとにデータ記憶部４７に記憶した撮影画像データを画像処理装置１０に出力するインタ
フェースである。
カメラ制御部４２は、カメラ操作部４５の操作により入力された指示に従って撮影装置
４０の各部を制御する。具体的には、カメラ制御部４２は、撮像部４３による撮影および
音声記録部４４による録音を実行させ、撮影条件を示す情報を撮影条件記憶部４６に記憶
させ、撮像部４３から出力される撮影画像データおよび音声記録部４４から出力される音
声データをデータ記憶部４７に記憶させ、さらに、ＧＰＳユニット４８により取得された
位置座標を撮影画像データに対応づけてデータ記憶部４７に記憶させる。また、カメラ制
御部４２は、画像処理装置１０から入力される制御情報に従って、撮影条件記憶部４６に
記憶された撮影条件、データ記憶部４７に記憶された撮影画像データ（音声データを含む
）および位置座標を外部インタフェース部４１から出力させる。

撮像部４３は、ＣＣＤやＣＭＯＳ等の撮像素子により静止画像又は動画像を撮影し、撮
影画像データを出力する。音声記録部４４は、内蔵するマイク（図示略）により集音した
音声のデジタル音声データを出力する。カメラ操作部４５は、各種キースイッチや電源Ｏ
Ｎ／ＯＦＦボタン等を備え、これらスイッチ或いはボタン等の操作に対応する操作信号を
生成してカメラ制御部４２に出力する。
撮影条件記憶部４６およびデータ記憶部４７は、磁気的記録媒体、光学的記録媒体、或
いは半導体記憶デバイスを用いて各種情報を不揮発的に記憶する。撮影条件記憶部４６は
、撮像部４３による撮影時の撮影条件を記憶する。また、データ記憶部４７は、撮像部４
３により撮影された静止画像データ又は動画像データを撮影画像データとして記憶し、さ
らに、位置座標を示すデータを撮影画像データに対応づけて記憶する。
ＧＰＳユニット４８は、衛星測位システムを利用して撮影時における撮影装置４０の位
置座標を求め、この位置座標を示すデータを出力する。

図２および図３は、画像処理装置１０が備える制御部１１、および、記憶部１５に設け
られた記憶領域によって実現される機能を示す機能ブロック図である。この図２に示す各
機能ブロックは、制御部１１によって制御プログラム１３を実行することで実現される仮
想的なもの、および、記憶部１５に仮想的又は物理的に設けられる記憶領域である。この
ため、画像処理装置１０を構成する具体的なハードウェアが、図２に示す通りに区分され
て実装される必要はない。
図２は、画像処理装置１０の概略構成を示し、図３は、画像処理装置１０が備える分類
推定装置１２０の構成を特に詳細に示す。

図２に示すように、画像処理装置１０は、画像入力部１１０と、解析処理部１３０およ
び分類推定部１７０を備えた分類推定装置１２０と、メタデータ生成部１８０とを備えて
構成される。
画像入力部１１０は、撮影画像データが入力された場合に、この撮影画像データから、
動画像または静止画像の画像データと、撮影画像データに含まれる音声音声データと、撮
影画像データのファイル名やメタデータ等に含まれていた情報からなる関連情報とを抽出
する。画像入力部１１０が出力する画像データ、音声データおよび関連情報は、分類推定
装置１２０が備える解析処理部１３０に入力される。

詳細に説明すると、画像入力部１１０は、処理対象の撮影画像データが静止画像データ
である場合には、この静止画像のデータを出力する。
一方、処理対象の撮影画像データが動画像データである場合、画像入力部１１０は、こ
の動画像データを構成するフレームを抽出して、順次、フレームの静止画像データを出力
する。本実施形態では、画像入力部１１０は、撮影画像データの全編のフレームを順次出
力する。なお、分類推定装置１２０の処理能力等に応じて、画像入力部１１０が、予め設
定された単位時間分の撮影画像データを構成するフレームを順次抽出して出力し、単位時
間分のフレームについて、後段の分類推定装置１２０の処理が終わってから、次の単位時
間分のフレームを出力する構成としてもよい。
また、画像入力部１１０は、動画像データを構成する全てのフレームを静止画像データ
として出力することも可能であるが、フレームの間引きを行って、一部のフレームのみを
静止画像データとして出力してもよい。例えば、ＭＰＥＧ２形式で記録された動画像デー
タが撮影画像データとして入力された場合に、Ｉピクチャのみ、或いはＩピクチャとＰピ
クチャのみを静止画像データとして抽出できる。さらに、一つのＧＯＰから予め定められ
た数のピクチャを静止画像データとして出力することも可能であり、この場合、Ｉピクチ
ャを優先して出力する構成としてもよい。

画像入力部１１０が出力する音声データは、撮影画像データが動画像データである場合
に、この動画像データに対応づけて入力される音声データである。画像入力部１１０は、
動画像データのフレームを抽出して静止画像データとして出力する際に、この動画像デー
タに対応する音声データをフレームの出力に同期させて出力する。また、撮影画像データ
が静止画像データであって、音声データが対応づけられている場合、画像入力部１１０は
、この音声データを抽出して出力することができる。
また、画像入力部１１０が出力する関連情報には、撮影画像データのファイル名やメタ
データ等から抽出される撮影画像データの撮影条件（ＩＳＯ感度、ズーム倍率、露出、ホ
ワイトバランス、撮影時の焦点距離、撮影モード、記録フォーマット等）、撮影場所に係
る情報（撮影場所のＧＰＳ座標情報など）、撮影日時、撮影時の気温、予めユーザが付与
したタイトル等が含まれる。

分類推定装置１２０は、画像入力部１１０から入力された画像データ、音声データおよ
び関連情報を解析する解析処理部１３０と、解析処理部１３０の解析結果をもとに撮影画
像データの分類を推定する分類推定部１７０を備えている。分類推定部１７０によって推
定された分類は、分類情報としてメタデータ生成部１８０に出力される。
メタデータ生成部１８０（付加情報生成手段）は、分類推定部１７０から入力された分
類情報をもとに、撮影画像データの分類を含むメタデータを生成して、撮影画像データに
対応づけて記憶する。ここで、既に撮影画像データに対応するメタデータがある場合、メ
タデータ生成部１８０は、新たに生成したメタデータを用いて既存のメタデータを更新し
てもよいし、新たに生成したメタデータと既存のメタデータとの両方を撮影画像データに
付加してもよい。また、分類推定部１７０によって撮影画像データの分類が推定できなか
った場合、メタデータ生成部１８０は、解析処理部１３０の解析結果の一部（人物名など
）を含むメタデータを生成してもよいし、或いは、メタデータを生成しないようにするこ
ともできる。

図３は、分類推定装置１２０の構成を詳細に示す機能ブロック図である。また、図４か
ら図６の各図は、分類推定装置１２０の各部から出力される解析結果の例を示す図である
。図４（Ａ）はオブジェクト解析部１４１による解析結果の例を示し、図４（Ｂ）は人物
画像解析部１４３による解析結果の一例を示し、図４（Ｃ）は人物画像解析部１４３によ
る解析結果の別の例を示す。また、図５（Ａ）は色解析部１４５による解析結果の例を示
し、図５（Ｂ）は服装解析部１４６による解析結果の例を示し、図５（Ｃ）は動き解析部
１４７による解析結果の例を示す。図６（Ａ）は音声認識部１５１による解析結果の例を
示し、図６（Ｂ）は関連情報解析部１６１による解析結果の例を示す。
以下、これらの図を参照して分類推定装置１２０の構成および機能について詳述する。

図３に示すように、分類推定装置１２０が備える解析処理部１３０は、画像入力部１１
０から入力される画像データを解析する画像解析部１４０（特徴検出手段）と、画像入力
部１１０から入力される音声データを解析する音声解析部１５０（音解析手段）と、画像
入力部１１０から入力される関連情報を解析する関連情報解析部１６１（関連情報取得手
段）とを備えている。

画像解析部１４０は、画像入力部１１０から入力された画像データを解析するオブジェ
クト解析部１４１、人物画像解析部１４３（人物認識手段）、色解析部１４５、服装解析
部１４６、および動き解析部１４７を備えている。
オブジェクト解析部１４１は、画像入力部１１０から入力された画像データをもとに、
この画像データに対応する画像に含まれるオブジェクト画像を検出する。そして、オブジ
ェクト解析部１４１は、後述する画像特徴ＤＢ１４２に格納されたオブジェクト画像の特
徴に基づいて、検出した静止画像中のオブジェクト画像が人以外のオブジェクトの画像で
あるか否かを判別する。さらに、オブジェクト解析部１４１は、人以外のオブジェクト画
像について、予め画像特徴ＤＢ１４２に格納されたオブジェクトのうち、どのオブジェク
トの画像であるかを特定し、オブジェクト毎に検出した回数をカウントして、この回数を
を解析結果として出力する。

オブジェクト解析部１４１は、例えば、図４（Ａ）に示すように、オブジェクトの種類
毎に、画像入力部１１０から入力された画像データにオブジェクトの画像が含まれていた
回数（出現回数）をカウントした値を、解析結果として出力する。上述のように、撮影画
像データが動画像データである場合、画像入力部１１０によって動画像データの全編のフ
レームが順次抽出され、これらのフレームの画像データがオブジェクト解析部１４１に順
次入力される。従って、オブジェクト解析部１４１は、撮影画像データの全編における各
オブジェクトの出現回数をカウントし、撮影画像データの入力が終了したところで解析結
果を出力する。また、オブジェクト解析部１４１は、撮影画像データが静止画像データで
あり、画像入力部１１０から単独の静止画像データが入力された場合、この静止画像にお
ける各オブジェクトの画像の数を出現回数としてカウントする。

人物画像解析部１４３は、画像入力部１１０から入力された画像データをもとに、この
画像データに対応する画像に含まれる人物の顔画像を検出する。そして、人物画像解析部
１４３は、検出した顔画像の数をカウントする。さらに、人物画像解析部１４３は、後述
する画像特徴ＤＢ１４４に格納された人物画像の特徴に基づいて、検出した顔画像が誰の
顔であるかを特定し、各人物の顔を検出した回数をカウントして、この回数を解析結果と
して出力する。
人物画像解析部１４３は、例えば、図４（Ｂ）に示すように、画像入力部１１０から入
力された画像に含まれる人の顔の数（画像内の顔数）に基づいて、画像入力部１１０から
入力された画像の数を集計した値を、解析結果として出力する。図４（Ｂ）の例では、１
個の顔を含む画像の数が最も多く、次いで、２個の顔を含む画像が多いことがわかる。こ
の顔の数は、同時に撮影された人間の数（同時撮影人数）を示しており、図４（Ｂ）の例
からは、一人または二人が同時に撮影された画像が多かったことがわかる。
さらに、人物画像解析部１４３は、図４（Ｃ）に示すように、人物毎に、画像入力部１
１０から入力された画像データに顔画像が含まれていた回数（出現回数）をカウントした
値を、解析結果として出力する。

上述のように、撮影画像データが動画像データである場合、画像入力部１１０によって
動画像データの全編のフレームが順次抽出され、これらのフレームの画像データが人物画
像解析部１４３に順次入力される。
人物画像解析部１４３は、一つのフレームに対応する画像において検出された顔の数を
求めることで、図４（Ｂ）に例示した画像内の顔数を求める。この画像内の顔数は、画像
入力部１１０から入力されるフレーム毎に集計される。一方、各人物の出現回数について
は、人物画像解析部１４３は、撮影画像データの全編における各人物の出現回数をカウン
トして、撮影画像データの入力が終了したところで解析結果を出力する。ここで、撮影画
像データが静止画像データであり、画像入力部１１０から単独の静止画像データが入力さ
れた場合、人物画像解析部１４３は、この静止画像における各人物の数を出現回数として
カウントする。

色解析部１４５は、画像入力部１１０から入力された画像データをもとに、この画像デ
ータに対応する画像に含まれる人物またはオブジェクトの画像を検出し、検出した画像以
外の部分、すなわち背景の色を解析する。そして、色解析部１４５は、背景に含まれる色
のうち代表的な色を検出し、さらに検出した代表的な色の分布（各色が占める面積等）を
求め、代表的な背景色に関する解析結果を出力する。
ここで、代表的な背景色とは、背景の領域において支配的な面積を占める色であり、例
えば画像中で最も大きい面積を占める色を指す。
色解析部１４５は、例えば、図５（Ａ）に示すように、色ごとに、画像入力部１１０か
ら入力される各画像で代表的な背景色となった回数を集計した値を解析結果として出力す
る。上述のように、撮影画像データが動画像データである場合、画像入力部１１０によっ
て動画像データの全編のフレームが順次抽出され、これらのフレームの画像データが色解
析部１４５に順次入力される。色解析部１４５は、撮影画像データの全編を構成する各々
のフレームについて代表的な背景色を求め、色毎に代表的な背景色になった回数をカウン
トし、撮影画像データの入力が終了したところで解析結果を出力する。また、色解析部１
４５は、撮影画像データが静止画像データであり、画像入力部１１０から単独の静止画像
データが入力された場合、この静止画像における代表的な背景色とその分布等を示す情報
を解析結果として出力する。

服装解析部１４６は、画像入力部１１０から入力された画像データをもとに、この画像
データに対応する画像に含まれる人物の顔画像を検出し、検出した顔画像に対応する人物
画像領域を求め、この領域において皮膚の色と思われる色を除いた色、すなわち服装の色
を検出する。服装解析部１４６は、一つの顔画像に対応して一つの人物画像領域を求める
ので、画像に写っている人物ひとりひとりについて、服装の色を検出する。そして、服装
解析部１４６は、各々の人物画像領域において支配的な面積を占める色を代表的な服装の
色として、この代表的な色に関する解析結果を出力する。
服装解析部１４６は、例えば図５（Ｂ）に示すように、色ごとに、画像入力部１１０か
ら入力される各画像で代表的な服装の色となった回数（出現回数）を集計した値を解析結
果として出力する。上述のように、撮影画像データが動画像データである場合、画像入力
部１１０によって動画像データの全編のフレームが順次抽出され、これらのフレームの画
像データが服装解析部１４６に順次入力される。服装解析部１４６は、撮影画像データの
全編を構成する各々のフレームにおいて人物画像領域を求め、各々の人物画像領域の代表
的な服装の色を求め、色毎に代表的な服装の色になった回数をカウントし、撮影画像デー
タの入力が終了したところで解析結果を出力する。このため、図５（Ｂ）に例示する出現
回数の総和は、人物の数にフレーム数または画像の数を乗じた値に等しい。また、服装解
析部１４６は、撮影画像データが静止画像データであり、画像入力部１１０から単独の静
止画像データが入力された場合、この静止画像における代表的な服装の色とその分布等を
示す情報を解析結果として出力する。

動き解析部１４７は、撮影画像データが動画像データであって、画像入力部１１０から
複数のフレームの画像データが入力された場合に、これら複数のフレーム間における動き
ベクトルを求め、上記単位時間又は予め定められた数のフレームにおける平均動きベクト
ル強度等を示す情報を解析結果として出力する。動き解析部１４７は、画像入力部１１０
から入力される多数のフレームについて、隣接するフレーム間の動きベクトル強度ｘをフ
レーム毎に求め、さらに、求めた動きベクトル強度を量子化して動きベクトル強度ｘの値
の範囲毎に集計を行う。
例えば図５（Ｃ）に示すように、動き解析部１４７は、値の範囲毎の動きベクトル強度
の分布を解析結果として出力する。図５（Ｃ）には一例として、動きベクトル強度ｘの値
がｘ１≦ｘ＜ｘ２、ｘ２≦ｘ＜ｘ３、ｘ３≦ｘ＜、…の範囲で量子化された場合、動きベ
クトル強度ｘの値が属する数を集計した例を示している。この解析結果から、例えば最も
数が多い動きベクトル強度ｘの値の範囲から、撮影画像データにおける動きの大小を判断
することができ、動きベクトル強度の平均値を近似的に求めることもできる。また、動き
ベクトル強度ｘの値を量子化することで、演算処理の負荷の軽減を図っている。

また、分類推定装置１２０は、音声を解析する音声認識部１５１（音解析手段）、およ
び、関連情報を解析する関連情報解析部１６１（関連情報取得手段）を備えている。
音声認識部１５１は、画像入力部１１０から出力された音声について音声認識処理を実
行して、テキストデータを生成し、生成したテキストデータを分類キーワードＤＢ１５２
に格納されたキーワードと照合する。そして、音声認識部１５１は、画像入力部１１０か
ら入力される音声データの全編におけるキーワードの出現回数や、単位時間又は予め定め
られたフレーム数に相当する時間における音量の分布や音量変化を、解析結果として出力
する。
図６（Ａ）には、音声認識部１５１の解析結果の一例を示す。図６（Ａ）の例では、予
め分類キーワードＤＢ１５２に記憶されたキーワード（登録キーワード）毎に、画像入力
部１１０から入力された音声における出現回数を集計した情報が、解析結果として出力さ
れる。

関連情報解析部１６１は、画像入力部１１０から入力された関連情報から、撮影画像デ
ータの分類に用いることが可能な情報を抽出して、解析結果として出力する。例えば、関
連情報解析部１６１は、関連情報から撮影場所に係る情報、撮影日時、撮影時の天候、撮
影条件（ＩＳＯ感度、ズーム倍率、露出、ホワイトバランス、撮影時の焦点距離、撮影モ
ード、記録フォーマット等）等の情報を抽出する。
そして、関連情報解析部１６１は、抽出した情報を元に、後述する関連情報ＤＢ１６２
に格納された情報を取得して、取得した情報を撮影画像データの分類に適した解析結果と
して出力する。例えば、関連情報解析部１６１は、関連情報に含まれる撮影場所のＧＰＳ
座標情報から撮影場所の地名や住所地番を特定し、或いは、撮影日時から曜日を特定して
、特定した情報を解析結果として出力する。ここで、画像入力部１１０から関連情報とし
て複数の情報（例えば、撮影場所と撮影日時）が入力された場合には、これら複数の情報
毎に処理を行って、全ての解析結果を順次出力してもよいし、予め設定された優先順位に
従って一種類の関連情報を選び、選んだ関連情報に係る解析結果のみを出力してもよい。

或いは、関連情報解析部１６１は関連情報ＤＢ１６２を利用することなく、画像入力部
１１０から入力された情報をもとに、分類に適した情報を生成して出力することが可能で
ある。すなわち、関連情報解析部１６１は、外部インタフェース部１９を介して外部の通
信ネットワーク（図示略）にアクセスし、この通信ネットワーク上に設置されたサーバ装
置（図示略）等により公開されている情報を収集することが可能である。例えば、関連情
報解析部１６１は、関連情報から抽出した撮影場所のＧＰＳ座標情報を元に、外部の通信
ネットワーク上のサーバから、地名や住所地番に関する情報を取得する。また、例えば、
関連情報から抽出した撮影場所のＧＰＳ座標情報と撮影日時を示す情報とをもとにして、
上記サーバから撮影時の天候に関する情報を取得する。そして、関連情報解析部１６１は
、これら外部の通信ネットワークを介して取得した情報を、撮影画像データに対応する関
連情報の解析結果として、出力することができる。この場合、分類推定装置１２０に関連
情報ＤＢ１６２を設ける必要はない。
図６（Ｂ）には、関連情報解析部１６１が出力する解析結果の一例を示す。この図６（
Ｂ）の例では、画像入力部１１０から入力された関連情報をもとに、撮影場所の緯度、経
度、地名、撮影日の日付、および撮影時の天候に関する情報が取得され、関連情報解析部
１６１から出力される。この図６（Ｂ）に示す解析結果を取得および生成する方法は、関
連情報ＤＢ１６２を用いる方法、或いは、外部の通信ネットワークを用いる方法のいずれ
であってもよい。

画像特徴ＤＢ１４２、１４４、分類キーワードＤＢ１５２、および関連情報ＤＢ１６２
は、記憶部１５に仮想的または物理的（実体的）に設けられる記憶領域である。
画像特徴ＤＢ１４２は、撮影画像において検出されたオブジェクト画像を認識するため
の情報を格納したデータベースである。特に、画像特徴ＤＢ１４２は、人以外のオブジェ
クトを認識するための情報を格納する。人以外のオブジェクトとしては、例えば、自動車
、オートバイ、自転車等の乗り物や、建物、屋内外の施設・設備、銅像、モニュメント等
の静物、或いは、ペットや野生動物を含む動物等が挙げられる。
画像特徴ＤＢ１４２には、各オブジェクトの画像の特徴を示す情報が、オブジェクトを
特定する情報に対応づけて格納されている。ここで、オブジェクトを特定する情報とは、
例えばオブジェクトの名前（一般名詞および固有名詞のいずれでもよい）である。
一方、画像特徴ＤＢ１４４は、撮影画像において検出されたオブジェクト画像を認識す
るために用いる情報を格納したデータベースであり、特に、人の顔を認識するための情報
を格納する。画像特徴ＤＢ１４４には、複数の人物について顔画像の特徴を示す情報が、
顔を特定する情報（人物の名前等）に対応づけて格納されている。

分類キーワードＤＢ１５２は、予め登録された複数のキーワードを格納している。キー
ワードの数や種類は任意であるが、撮影画像の内容を象徴的に示すような語であることが
好ましい。本第１の実施形態および後述する他の実施形態では撮影画像の内容に関連する
イベントを特定し、このイベントにより撮影画像データを分類するので、分類キーワード
ＤＢ１５２には、日常用語として用いられる語の中で特定のイベントに関連する特徴的な
語が格納されていることが好ましい。
関連情報ＤＢ１６２は、画像入力部１１０から入力される関連情報から、撮影画像デー
タの分類に用いることが可能な情報を抽出するための各種情報を格納しており、具体的に
は、ＧＰＳ位置座標データと地名や住所地番との対応、撮影日と曜日との対応等を示す情
報を格納する。

分類推定部１７０（推定手段）は、上記のように解析処理部１３０が備える各部から出
力される解析結果に基づき、後述する分類推定処理を実行し、撮影画像の内容を推定して
、推定した内容に対応する分類としてイベント名を特定する。分類推定部１７０は、解析
結果から撮影画像データの分類および人物名を推定するためのルールおよびアルゴリズム
を格納した推定ルール格納部１７１（人物名記憶手段）を備え、この推定ルール格納部１
７１に格納されたルールおよびアルゴリズムに従って、分類推定処理を実行する。

図７は、推定ルール格納部１７１に格納される情報の構成例を模式的に示す図であり、
図７（Ａ）はオブジェクト解析部１４１により検出されるオブジェクトと分類とを対応づ
ける情報の構成例を示し、図７（Ｂ）は人物画像解析部１４３により検出された同時撮影
人数と分類とを対応づける情報の構成例を示し、図７（Ｃ）は撮影場所と分類とを対応づ
ける情報の構成例を示し、図７（Ｄ）は撮影日と分類とを対応づける情報の構成例を示す
。

図７（Ａ）に例示する情報では、オブジェクト解析部１４１によって検出されるオブジ
ェクトと、撮影画像データの分類とが対応づけられている。例えば、ケーキやロウソクは
「誕生日」のイベントに対応しており、鉢巻は「運動会」のイベントに対応している。つ
まり、オブジェクト解析部１４１の解析結果においてケーキやロウソクの出現回数が多い
撮影画像は、「誕生日」の画像として分類される蓋然性が高い。
図７（Ｂ）に例示する情報では、人物画像解析部１４３により検出された同時撮影人数
（画像内の顔の数）と分類とが対応づけられている。例えば、「誕生日」に分類される撮
影画像の同時撮影人数は１０人以下、「運動会」に分類される撮影画像の同時撮影人数は
２０人以上とされている。つまり、人物画像解析部１４３の解析結果において同時撮影人
数が１０人以下でない撮影画像は、「誕生日」の画像として分類されない蓋然性が高いと
いえる。

また、図７（Ｃ）に例示する情報では、関連情報解析部１６１から解析結果として出力
される撮影場所の住所地名や名称と撮影画像データの分類とが対応づけられている。例え
ば、撮影場所のうち「家」は「誕生日」、「クリスマス」のイベントに対応づけられ、「
学校」は「運動会」や「入学式」のイベントに対応している。
図７（Ｄ）に例示する情報では、関連情報解析部１６１から解析結果として出力される
撮影の日付と、撮影画像データの分類とが対応づけられている。例えば、撮影日時が人物
Ａや人物Ｂの誕生日の場合、撮影画像データの分類としては「誕生日」が対応し、撮影日
時が５月か１０月のいずれかであれば「運動会」のイベントに対応する。

ここで、図７（Ａ）〜（Ｄ）は、推定ルール格納部１７１に格納される情報の一例を示
すもので、日付と天候を対応づける情報等、他の情報を格納することも勿論可能である。
さらに、推定ルール格納部１７１には、図示はしないが、撮影場所の住所地名や場所の
名称と人物名とを対応づける情報が格納されている。より具体的には、「学校」や「家」
など撮影が行われる可能性がある場所と、この場所に関連する人物の名前とが対応づけら
れている。この情報によれば、撮影場所のＧＰＳ座標情報をもとに撮影が行われた場所の
名前が得られれば、その撮影画像データに関連する人物の名前を特定できる。

図８は、分類推定部１７０により実行される分類推定処理の一例を示すフローチャート
である。
この分類推定処理において、分類推定部１７０は、関連情報解析部１６１から出力され
た解析結果（例えば、図６（Ｂ））と、推定ルール格納部１７１に格納された情報（例え
ば、図７（Ｃ））とをもとに、撮影場所が学校であるか否かを判別する（ステップＳ１１
）。
撮影場所が学校であった場合（ステップＳ１１；Ｙｅｓ）、分類推定部１７０は、色解
析部１４５から出力された解析結果（例えば、図５（Ａ））を参照して、代表的な背景色
として土の色の回数が多く含まれているか否かを判別する（ステップＳ１２）。代表的な
背景色に土の色が含まれない場合（ステップＳ１２；Ｎｏ）、分類推定部１７０は、この
撮影画像データに対応する分類を「授業参観」として（ステップＳ１３）、後述するステ
ップＳ２３に移行する。

一方、撮影場所が学校であって（ステップＳ１１；Ｙｅｓ）、代表的な背景色として土
の色又は類似する色が含まれている場合（ステップＳ１２；Ｙｅｓ）、分類推定部１７０
は、動き解析部１４７の解析結果（例えば、図５（Ｃ））を参照して、撮影画像データに
おける動きが所定基準より激しい動きであるか否かを判別する（ステップＳ１４）。この
判別は、例えば、動き解析部１４７の解析結果から動きベクトル平均の近似値を求め、こ
の近似値の大きさを予め設定された基準と比較することで行われる。そして、撮影画像デ
ータの動きが激しい場合（ステップＳ１４；Ｙｅｓ）、分類推定部１７０は、この撮影画
像データに対応する分類を「運動会」として（ステップＳ１５）、後述するステップＳ２
３に移行する。また、撮影画像データの動きが激しくない場合（ステップＳ１４；Ｎｏ）
、分類推定部１７０は撮影画像データに対応する分類を決めずに（ステップＳ１６）、後
述するステップＳ２３に移行する。

また、撮影場所が学校でない場合（ステップＳ１１；Ｎｏ）、分類推定部１７０は、撮
影場所が家であるか否かを判別し（ステップＳ１７）、撮影場所が家でなければ（ステッ
プＳ１７；Ｎｏ）、撮影画像データに対応する分類を決めずに（ステップＳ１８）、後述
するステップＳ２３に移行する。
撮影場所が家であった場合（ステップＳ１７；Ｙｅｓ）、分類推定部１７０は、関連情
報解析部１６１から出力された解析結果から得られる撮影距離が、予め設定された基準よ
り撮影距離が近いか否かを判別する（ステップＳ１９）。撮影距離は、関連情報解析部１
６１から出力される関連情報のうち、焦点距離に係る情報等から容易に求められる。

撮影距離が遠い場合（ステップＳ１９；Ｎｏ）、分類推定部１７０は撮影画像データに
対応する分類を決めずに（ステップＳ１８）、後述するステップＳ２３に移行する。
これに対し、撮影距離が近い場合（ステップＳ１９；Ｙｅｓ）、分類推定部１７０は、
関連情報解析部１６１から出力された解析結果に含まれる撮影日時をもとに、推定ルール
格納部１７１に格納された撮影日付に係る情報（例えば、図７（Ｄ））を参照し、撮影日
が誕生日に該当するか否かを判別する（ステップＳ２０）。そして、撮影日が誕生日に該
当する場合（ステップＳ２０；Ｙｅｓ）、分類推定部１７０は、この撮影画像データに対
応する分類を「誕生日」として（ステップＳ２１）、後述するステップＳ２３に移行する
。また、撮影日が誕生日に該当しない場合（ステップＳ２０；Ｎｏ）、分類推定部１７０
は、この撮影画像データに対応する分類を「記念日」として（ステップＳ２２）、後述す
るステップＳ２３に移行する。

ステップＳ２３で、分類推定部１７０は、撮影画像データに関連する人物の名前を決定
する。上述のように撮影画像データを解析すると、関連する人物の名前として、人物画像
解析部１４３により認識された人物の名前や、関連情報解析部１６１から出力される解析
結果に対応する人物の名前を含めて、複数の名前が明らかになる。全ての人物の名前をメ
タデータ生成部１８０によってメタデータに含めることも可能であるが、本第１の実施形
態に係る分類推定部１７０は、図９に示す処理により撮影画像データに関連する名前を決
定する。

図９は、関連する人物名を決定する処理の一例を示すフローチャートである。
この図９に示す処理において、分類推定部１７０は、撮影場所が学校であるか否かを判
別し（ステップＳ３１）、撮影場所が学校であった場合は、人物画像解析部１４３の解析
結果（例えば、図４（Ｂ））をもとに、同時撮影人数の最大値が５人以上であるか否かを
判別する（ステップＳ３２）。
同時撮影人数の最大値が５人未満（４人以下）であった場合、分類推定部１７０は、人
物画像解析部１４３により特定された撮影画像中の人物の名前を取得し（ステップＳ３３
）、後述するステップＳ３９に移行する。
また、撮影場所が学校であり（ステップＳ３１；Ｙｅｓ）、同時撮影人数の最大値が５
人以上であった場合（ステップＳ３２；Ｙｅｓ）、分類推定部１７０は、撮影場所である
学校に対応づけて推定ルール格納部１７１に格納された情報（例えば、図７（Ｃ））から
人物の名前を取得し（ステップＳ３４）、後述するステップＳ３９に移行する。

一方、撮影場所が学校でない場合（ステップＳ３１；Ｎｏ）、分類推定部１７０は撮影
場所が家であるか否かを判別し（ステップＳ３５）、撮影場所が家であった場合は、図８
の処理で撮影画像データの分類が「誕生日」又は「記念日」に決定されたか否かを判別す
る（ステップＳ３６）。
そして、撮影画像データの分類が「誕生日」又は「記念日」である場合、分類推定部１
７０は、撮影日に対応づけて推定ルール格納部１７１に格納された情報から人物の名前を
取得し（ステップＳ３７）、後述するステップＳ３９に移行する。
また、撮影場所が家でない場合（ステップＳ３５；Ｎｏ）、および、撮影画像データの
分類が「誕生日」および「記念日」のどちらでもない場合（ステップＳ３６；Ｎｏ）、分
類推定部１７０は、人物画像解析部１４３により特定された撮影画像中の人物の名前を取
得し（ステップＳ３８）、後述するステップＳ３９に移行する。

そして、ステップＳ３９で、分類推定部１７０は、取得した人物の名前を撮影画像デー
タに関連する人物の名前として決定し、図８のステップＳ２４に移行する。
図８のステップＳ２４で、分類推定部１７０は、決定した分類又は分類を決定しなかっ
たことを示す情報と、ステップＳ２３で決定した人物の名前とをメタデータ生成部１８０
に出力して、本処理を終了する。

このように、分類推定部１７０は、解析処理部１３０の各部からそれぞれ入力される複
数項目の解析結果を、項目毎に、予め決められた順序で条件に適合するか否かを判定する
ことにより、撮影画像データの分類を決定する。そして、分類推定部１７０により決定さ
れた分類を含むメタデータがメタデータ生成部１８０によって生成され、撮影画像データ
に対応づけて記憶される。

以上のように、第１の実施形態に係る画像処理システム１によれば、撮影装置４０によ
り撮影された撮影画像データ、または、記録媒体読取装置３０を介して入力された撮影画
像データから処理対象の部分を画像入力部１１０によって抽出し、抽出した撮影画像デー
タの特徴を、画像解析部１４０の各部によって解析するとともに、関連情報解析部１６１
によって撮影画像データが撮影された状況に関する関連情報を解析し、これらの解析結果
に基づいて、撮影画像データに対応する分類を推定して、推定した分類を含むメタデータ
を生成する。
ここで、関連情報解析部１６１によって関連情報を解析した解析結果を利用することで
、撮影場所、撮影日時、撮影条件等の撮影状況に係る情報を加味して撮影画像の内容に適
した分類を推定するので、撮影画像データの特徴のみを用いて撮影画像の内容を判別する
場合に比べ、撮影画像の内容を正確に推定して、撮影画像の内容を良く反映したメタデー
タを生成できる。
一般に、画像が撮影される状況と撮影画像の内容とは関連することが多く、例えば家庭
において撮影される画像のように、撮影する人が比較的限られていたり、撮影場所や撮影
日が限られたりする環境では、撮影が撮影された状況と撮影画像の内容との関連性が極め
て高くなる。このため、撮影画像データの特徴とともに関連情報をもとにすれば、撮影画
像の内容を正確に推定できる。そして、この画像処理装置によって生成された付加情報を
利用すれば的確な画像を検索や抽出が可能になり、画像の有効活用を図るとともに画像管
理の負担を大幅に軽減できる。

また、画像処理システム１は、解析処理部１３０の各部からそれぞれ出力される複数項
目の解析結果を用いることで、より好適な分類を推定できる。さらに、分類推定部１７０
は分類推定処理において、複数項目の情報を、項目毎に、予め定められた順序で条件に適
合するか否かを判定することで分類を推定するので、複数項目の情報を高速かつ確実に処
理して、メタデータに反映させることができる。
そして、画像処理システム１は、予め推定ルール格納部１７１に記憶された条件（ルー
ルまたはアルゴリズム）のいずれにも適合しない場合、撮影画像データに対応する分類を
決定しないで「分類せず」として処理する。このため、撮影画像の内容と関係のない分類
が推定されるおそれがなく、予期されない内容の撮影画像データをも適切に処理できる。

また、画像処理システム１によれば、撮影画像の内容に対応する分類とともに関連する
人物の名前がメタデータに含まれるので、このメタデータを利用すれば画像の検索性が大
幅に向上し、さらにメタデータだけで撮影画像の内容を明確に把握できる。この場合、人
物の名前が撮影画像データの特徴と関連情報とから特定されるので、撮影画像の内容と人
物の名前との関連が非常に強く、確実性および信頼性が高いメタデータを生成できる。さ
らに、メタデータに含まれる人物の名前は、撮影画像に写っていた人物名または関連情報
から推定される人物名であり、撮影画像の内容と人物の名前との関連が非常に強い。この
ため、メタデータの確実性および信頼性をより一層高めることができる。

また、関連情報解析部１６１は、撮影場所の位置を示す情報、撮影日時のいずれかを関
連情報として用いるので、撮影画像の内容と強く関連する関連情報を用いて、適切な分類
を決定できる。加えて、撮影条件に関する情報や撮影時の天候に関する情報等を用いるこ
とで、より適切な分類を決定できる。
さらに、撮影画像データに写っている人または物の名前、撮影画像データに写っている
人の服装の色、人または物の背景部分の色、撮影画像データの動きベクトルのいずれかを
撮影画像データの特徴として用いるので、撮影画像の内容に関連する特徴を関連情報と合
わせて用いることで、適切な分類を決定できる。
また、上記第１の実施形態では、撮影画像データが撮影されたイベントを示す情報を分
類として用いる。イベントの推定は、撮影日や場所などの関連情報から高い確実性で実行
できるので、より適切なメタデータを生成できる。
さらに、分類推定部１７０は、音声認識部１５１によって音声を認識し、この音声に含
まれる情報を用いて撮影画像データに対応する分類を推定するので、撮影画像の内容をよ
り確実に反映した適切な分類が可能となる。

なお、上記第１の実施形態においては、図９に示した処理によって、人物画像解析部１
４３により特定された人物の名前、或いは関連情報解析部１６１の解析結果をもとに推定
ルール格納部１７１に格納された情報を参照して得られる名前を、メタデータに含ませる
ものとして説明したが、本発明はこれに限定されるものではない。例えば、人物画像解析
部１４３から出力される解析結果（例えば、図４（Ｃ））において、最も出現回数が多か
った人物の名前を、メタデータ生成部１８０によってメタデータに含ませてもよい。或い
は、予め分類キーワードＤＢ１５２に人物の名前を格納し、音声認識部１５１によって人
物の名前を認識した場合に、人物毎の出現回数をカウントする構成としてもよい。この場
合、音声認識部１５１の解析結果から最も出現回数が多かった人物の名前を特定し、この
名前をメタデータ生成部１８０によってメタデータに含ませてもよい。
このいずれの場合も、分類推定部１７０による処理を経ることなく、人物画像解析部１
４３または音声認識部１５１による解析結果を利用して撮影画像に関連の深い人物の名前
を特定してメタデータに含ませることができ、処理の簡略化によって、より一層の高速化
を図ることができる。

また、上記第１の実施形態において、分類推定部１７０は、人物画像解析部１４３の解
析結果から得られる人物の名前と、関連情報解析部１６１の解析結果と推定ルール格納部
１７１の情報をもとに得られた人物の名前とのいずれか一方を選択するものとして説明し
たが、本発明はこれに限定されるものではない。すなわち、メタデータ生成部１８０が生
成するメタデータに含まれる人物の名前の数について制限はなく、複数の人物の名前を含
むメタデータを生成してもよい。この場合において、例えば、人物画像解析部１４３の解
析結果から得られた名前と、関連情報解析部１６１の解析結果および推定ルール格納部１
７１の情報から得られた名前との両方をメタデータ生成部１８０に出力してもよい。
さらに、分類推定部１７０は、解析処理部１３０の各部から入力される解析結果の一部
が欠落した場合に、他の解析部から入力される情報に基づいて、欠落した情報を補完する
ようにしてもよい。具体的には、例えば、関連情報解析部１６１によって撮影場所の住所
地番が特定できなかった場合に、人物画像解析部１４３によって特定された人物の名前と
、推定ルール格納部１７１に格納された撮影場所と人物の名前とを対応づける情報とをも
とに、撮影場所を特定してもよい。

さらにまた、人物名に限らず、オブジェクト解析部１４１により特定されたオブジェク
トの名称を含むメタデータを生成してもよい。具体的には、分類推定部１７０が、オブジ
ェクト解析部１４１から入力された解析結果から、撮影画像データで検出されたオブジェ
クトおよび出現回数を取得し、最も出現回数の多いオブジェクトの名前をメタデータ生成
部１８０に出力し、メタデータ生成部１８０がオブジェクト名を含むメタデータを生成す
ればよい。ここで、メタデータ生成部１８０は、オブジェクト名のみを含むメタデータを
生成してもよいし、人物の名前とオブジェクト名との両方を含むメタデータを生成しても
よい。

また、上記第１の実施形態においては、分類推定部１７０によって、解析処理部１３０
の各部から出力された解析結果を予め決められた順序で、項目毎に、条件に適合するか否
かを判定する例について説明したが、本発明はこれに限定されるものではない。例えば、
解析処理部１３０の各部から出力された解析結果を項目毎に評価し、各項目に対する評価
結果を総合することによって分類を決定することも可能である。以下、この例について第
２の実施形態として説明する。

［第２の実施形態］
図１０は、本発明を適用した第２の実施形態に係る画像処理システム１において、推定
ルール格納部１７１に格納される推定ルールの構成例を模式的に示す図である。図１０（
Ａ）は撮影画像データを「運動会」に分類するためのルールの例を示し、図１０（Ｂ）は
撮影画像データを「誕生日」に分類するためのルールの例を示す。
この第２の実施形態に係る画像処理システム１は、上記第１の実施形態に係る画像処理
システム１と同様に構成されるものであり、その構成については各部に同符号を付すこと
で図示および説明を省略する。

図１０（Ａ）の例では、運動会で撮影された撮影画像データの特徴に基づき、解析処理
部１３０の各部から出力される解析結果について、項目毎にルールが定められている。
例えば、運動会には多くの人が参加するため、撮影画像データに写る人数が多い。この
ため、人物画像解析部１４３の解析結果に含まれる同時撮影人数の最大値が、「２０人以
上」であるとのルールが定められている。また、運動会の多くは屋外で開催されるので、
色解析部１４５の解析結果として含まれる背景画像の代表的な色は「土色」と定められて
いる。同様に、服装解析部１４６の解析結果に含まれる代表的な服装の色、動き解析部１
４７の解析結果から判別される動きベクトル強度、関連情報解析部１６１の解析結果から
得られる撮影日時、撮影場所、天候の各項目について、運動会の特徴に応じたルールが定
められている。
そして、分類推定部１７０に入力された解析結果が所定数以上の項目で図１０（Ａ）の
ルールに適合する場合、撮影画像データの分類が「運動会」に決定される。

図１０（Ｂ）の例では、撮影画像データが誕生日に分類される場合の撮影画像データの
特徴に基づき、複数項目のルールが定められている。同時撮影人数の最大値については１
０人以下と定められ、同様に、背景画像の代表的な色、代表的な服装の色、動きベクトル
強度、撮影日時、撮影場所の各項目についてルールが定められている。解析処理部１３０
の各部から出力された解析結果が所定数以上の項目で図１０（Ｂ）のルールに適合する場
合、撮影画像データの分類が「誕生日」に決定される。
推定ルール格納部１７１には、図１０（Ａ）および図１０（Ｂ）に示したルールの他、
画像処理システム１により分類可能な全ての分類について、１又は複数の項目からなるル
ールが格納されている。

図１１は、分類推定部１７０により実行される分類推定処理を示すフローチャートであ
る。
この図１１に示す処理において、分類推定部１７０は、まず、解析処理部１３０の各部
から出力された解析結果を取得する（ステップＳ４１）。続いて、分類推定部１７０は、
推定ルール格納部１７１に格納された複数の分類に対応するルールのうち、一つの分類の
ルールを選択し（ステップＳ４２）、選択した分類のルールの各項目と、ステップＳ３１
で取得した解析結果とを照合する（ステップＳ４３）。

そして、分類推定部１７０は、各項目のルールと解析結果との適合度を項目毎に求めた
後、全項目の適合度を集計する（ステップＳ４４）。ここで、ルールの適合度は、一致す
るか否かをＹｅｓとＮｏの二値で表したものであってもよいし、適合の度合いを、より多
段階の数値で表したものであってもよい。
その後、分類推定部１７０は、全ての分類のルールについて照合を行ったか否かを判別
し（ステップＳ４５）、まだ照合を行っていない分類があれば、ステップＳ４２に戻って
新たに選択を行う。

また、全ての分類のルールを選択して照合を行った場合（ステップＳ４５；Ｙｅｓ）、
分類推定部１７０は、集計した適合度が最も高く、撮影画像データに最も良く対応する分
類を特定する（ステップＳ４６）。さらに、分類推定部１７０は、撮影画像データに関連
する人物名を特定する（ステップＳ４７）。このステップＳ４７の処理は、例えば、上記
第１の実施形態で図９を参照して説明した処理、若しくは上記第１の実施形態において述
べた別の処理と同様であってもよいし、人物名を特定するためのルールを推定ルール格納
部１７１に格納しておき、このルールと撮影画像データの解析結果との適合度に基づいて
人物名を決めてもよい。
その後、分類推定部１７０は、特定した分類と人物の名前をメタデータ生成部１８０に
出力し（ステップＳ４８）、本処理を終了する。

この図１１に示す分類推定処理によれば、解析処理部１３０の各部から出力された複数
項目の解析結果を、項目毎に推定ルールと照合して評価し、各々の評価を数値化するとと
もに各項目の評価を集計することで、分類の適否を判断する。そして、最も適している分
類を、撮影画像データに対応する分類として推定し、この分類を含むメタデータを生成す
る。このため、複数項目の撮影画像データの特徴、および、複数項目の関連情報を漏れな
く評価して、最適な分類を決定できる。
従って、複数項目の撮影画像データの特徴と関連情報とを項目毎に評価し、各項目の評
価を集計することによって撮影画像の内容を推定してメタデータを生成するので、上記第
１の実施形態により得られる利点に加え、多数の項目の情報を高速かつ確実に処理するこ
とができ、さらに、全ての項目の情報を生かして多面的な推定を行い、より適切な分類が
できるという利点がある。
この第２の実施形態において、全ての分類について各項目の評価を集計した値が所定の
基準を下回った場合に、分類不能として、分類を定めないようにしてもよい。この場合、
このため、撮影画像の内容と関係のない分類が推定されるおそれがなく、予期されない内
容の撮影画像データをも適切に処理できる。

なお、上記第２の実施形態において、図１０に示す推定ルールはあくまで一例であり、
例えば、撮影条件（ＩＳＯ感度、ズーム倍率、露出、ホワイトバランス、撮影時の焦点距
離、撮影モード、記録フォーマット等）の項目について設定されたルールを含んでいても
よい。この場合、例えば撮影モードが「屋内撮影モード」であれば、ほぼ確実に撮影場所
が屋内であったと判別できるので、より適切な分類を決定できる。
また、上記第２の実施形態において、推定ルールは図１０に示した例に限らず、例えば
、各項目の解析結果を、分類毎の確率を用いて評価してもよい。
図１２は、推定ルール格納部１７１に格納される推定ルールの別の例を示す図である。
この図１２に示す例は、服装解析部１４６の解析結果において代表的な服装の色として
、最も頻出する色と、その撮影画像データに対応する分類毎の確率を対応づけたルールで
ある。
例えば、服装解析部１４６の解析結果において「白」が最頻出の色であった場合、その
撮影画像の内容に「運動会」が適合する確率は「０．８」、「入学式」が適合する確率は
「０．７」、「卒業式」が適合する確率は「０．２」とされている。この例では、服装解
析部１４６の解析結果を各分類と対照した場合の評価が、確率として表現されるので、分
類を推定する際に各分類の適合の度合いを詳細に反映させることができる。

［分類の推定に関する別の形態］
上記第１の実施形態では、解析処理部１３０の各部がそれぞれ出力した複数項目の解析
結果を、予め設定された順序で、項目毎に判定することにより、分類を推定するものとし
て説明した。また、第２の実施形態では、解析処理部１３０の各部がそれぞれ出力した複
数項目の解析結果を、項目毎に評価し、さらに各項目の評価を集計することで、分類を推
定するものとして説明した。すなわち、解析処理部１３０の各部がそれぞれ出力した複数
項目の解析結果を独立して判定・評価していた。
しかしながら、本発明はこれに限定されるものではなく、解析処理部１３０の各部がそ
れぞれ出力した複数項目の解析結果を、非独立の形で同時に考慮して、撮影画像の内容に
適した分類を推定することも可能である。

画像処理システム１において、解析処理部１３０の各部が出力した複数項目の解析結果
をもとに、分類推定部１７０で分類を推定する手法は、以下の式により表現できる。
分類：c＿i
各項目の解析結果：X＝x1,x2,…,xN
解析結果Xが与えられた場合に分類c＿iが適切な分類となる確率：P(c＿i｜X)
解析結果xj(j＝1〜Nのいずれか)がある値である場合に、分類が適切な分類となる確率
：P(c＿i｜xj)
とする。
この場合、上記第１の実施形態で説明した手法は、下記式（１）で表現される。
P(c＿i｜X)＝P(c＿i｜x1)＊P(c＿i｜x2)＊P(c＿i｜x3)＊…＊P(c＿i｜xN) …（１）
ここで、P(c＿i｜xj)の値は「０（零）」または「１」であり、いずれか一つの解析結
果kについてP(c＿i｜xk)が「０」となった場合、P(c＿i｜X)＝0となり、その分類c＿iが
撮影画像に適した分類として推定されることはない。

また、上記第１の実施形態で説明した手法は、下記式（２）で表現される。
P(c＿i｜X)＝｛P(c＿i｜x1)＋P(c＿i｜x2)＋P(c＿i｜x3)＋…＋P(c＿i｜xN)｝／N …（
２）
ここで、P(c＿i｜xj)の値は各項目の評価を数値化した値であり、「０」または「１」
の二値か、或いは、より多段階の数値である。そして、上記式（２）に従って複数の分類
についてP(c＿i｜X)を求め、このP(c＿i｜X)の値が最大の分類が、撮影画像に適した分類
として推定される。また、P(c＿i｜X)の値が一定の値を下回った場合は、分類不能として
処理すればよい。

しかしながら、上記第１および第２の実施形態とは別の形態として、x1,x2,…,xNを非
独立として処理することも可能である。
すなわち、項目毎の評価P(c＿i｜xj)を用いることなく、下記式（３）で表現されるよ
うに、各項目を合わせて統計的に処理してもよい。
P(c＿i｜X)＝P(c＿i｜x1,x2,x3,…,xN) …（３）
上記式（３）に示される処理を用いた場合、複数項目の解析結果を非独立の要素として
統計的に処理することが可能となり、より複雑な基準（ルール、或いは条件）を用い、さ
らに各項目の解析結果どうしの関係を加味して、撮影画像の内容に適した分類を推定でき
、全ての項目を漏れなく反映させて画一的でない高度な推定を行える。

なお、上記第１および第２の実施形態では、撮影画像データが動画像データである場合
に、画像入力部１１０から解析処理部１３０に対し、撮影画像データの全編を対象として
分類を推定するものとして説明したが、本発明はこれに限定されるものではなく、撮影画
像データの一部のみをもとに分類を推定してもよい。以下、この場合について、第３およ
び第４の実施形態として説明する。

［第３の実施形態］
図１３は、本発明を適用した第３の実施形態に係る画像処理装置１０Ａの構成を示す図
である。本第３の実施形態に係る１において図１３に示した部分を除く各構成部は、上記
第１および第２の実施形態と同様に構成されるので、これら各構成部については同符号を
付して図示および説明を省略する。
画像処理装置１０Ａは、画像入力部１１０と、分類推定装置１２１と、メタデータ生成
部１８０とを備えて構成される。この分類推定装置１２１は、上述した分類推定装置１２
０と同様に解析処理部１３０および分類推定部１７０を備え、さらに、動画データ分割部
１２２、推定結果記憶部１２３、および最終推定部１２４を具備している。
動画データ分割部１２２は、撮影画像データが動画像データである場合に、画像入力部
１１０から出力された画像データおよび音声データを分割し、分割した画像データおよび
音声データを、画像入力部１１０から出力された関連情報とともに、解析処理部１３０へ
出力する。
推定結果記憶部１２３は、分類推定部１７０により推定された分類を一時的に記憶する
記憶部である。
また、最終推定部１２４は、推定結果記憶部１２３に記憶された分類を総合して、最終
的に、撮影画像の内容に適した分類を推定する処理部である。
図１３に示す動画データ分割部１２２および最終推定部１２４は、図１に示す制御部１
１により制御プログラム１３を実行することにより実現され、推定結果記憶部１２３は、
記憶部１５に仮想的または物理的に設けられた記憶領域である。

図１４は、動画データ分割部１２２により画像データを分割する処理を模式的に示す図
である。
この図１４に示すように、動画データ分割部１２２は、画像入力部１１０から出力され
た動画像データの全編のうち、予め指定された区間を切り出す処理を行う。すなわち、動
画データ分割部１２２は、動画像データの全編から予め指定された区間（図中、選択区間
１および選択区間２）を、それぞれ選択して切り出し、切り出した選択区間１および選択
区間２を合わせて選択区間動画データを生成する。ここで切り出される選択区間は、互い
に連続しない複数の区間である。
具体的には、例えば撮影画像データを１分刻みの区間に分割し、これら分割した区間を
一つおきに選択区間として切り出し、選択区間動画データを生成する。この例では、撮影
画像データのおよそ半分の長さを持つ選択区間動画データが生成される。
そして、動画データ分割部１２２は、生成した選択区間動画データを解析処理部１３０
に出力する。
ここで、選択区間として切り出すべき区間は、例えば、入力部１６の操作によって指定
され、記憶部１５に記憶されているか、或いは、制御プログラム１３に予め設定されてい
る。

上述のように、画像入力部１１０は、処理対象の撮影画像データが動画像データである
場合、この動画像データを構成するフレームを抽出して、順次、フレームの静止画像デー
タを出力する。動画データ分割部１２２は、画像入力部１１０から入力される画像データ
の全編から選択区間１および選択区間２に相当する部分のフレームを選択して蓄積するこ
とで、選択区間動画データの全フレームを生成する。また、動画データ分割部１２２は、
動画像データのフレームとともに、画像入力部１１０から入力される音声データについて
も、その全編から選択区間１および選択区間２に相当する部分の音声データを選択して蓄
積することで、選択区間動画データに付属する音声データを生成する。
そして、動画データ分割部１２２は、選択区間動画データのフレームを分類推定装置１
２０に順次出力するとともに、この選択区間動画データに付属する音声データを、フレー
ムと同期させながら分類推定装置１２０に出力する。

そして、分類推定装置１２０および分類推定部１７０は、上述した第１および第２の実
施形態で説明した通りの動作を行う。ここで分類推定部１７０から出力された分類情報は
、推定結果記憶部１２３および最終推定部１２４をパススルーしてメタデータ生成部１８
０に入力され、メタデータ生成部１８０によってメタデータが生成される。
この第３の実施形態の構成によれば、上記第１および第２の実施形態の利点に加え、撮
影画像データが動画像データである場合に、撮影画像データの一部分を切り出して撮影画
像の内容に対応する分類を推定することにより、撮影画像データの全編を処理する場合に
比べて処理の負荷が軽いことから、より高速に処理を行えるという利点がある。また、撮
影画像データから連続する一部分を抽出するのではなく、連続しない複数の区間（例えば
、図１４の選択区間１および２）を切り出すので、撮影画像の一部分に特有の特徴に影響
されることなく、撮影画像全体の特徴をよく反映した分類を推定できる。さらに、選択区
間として切り出す部分を適宜設定することで、分類の推定に適さない部分を除去すること
ができるので、より正確な推定を行えるという利点もある。
また、動画データ分割部１２２によって選択区間動画データを生成し、解析処理部１３
０および分類推定部１７０は、撮影画像データの全編を処理する場合と同様の処理を行え
ばよいので、容易に実現可能である。

［第４の実施形態］
第４の実施形態は、上記第３の実施形態で説明した画像処理装置１０Ａを備えた画像処
理システム１において、図１４に示す選択区間１および２の各々について分類を推定する
場合について説明する。
図１５は、第４の実施形態における画像データの処理を模式的に示す図である。
動画データ分割部１２２は、画像入力部１１０から出力された動画像データの全編から
予め指定された区間（図１４中、選択区間１および選択区間２）を、それぞれ選択して切
り出す。この切り出しの過程は上記第３の実施形態で説明したものと同様である。
次いで、動画データ分割部１２２は、図１５（Ａ）に示すように、選択区間１を構成す
るフレーム及び音声データを、順次、解析処理部１３０に出力する。解析処理部１３０及
び分類推定部１７０は、上記第１及び第２の実施形態と同様の処理を行って、選択区間１
の撮影画像に対応する分類として、分類推定結果１を出力する。また、動画データ分割部
１２２は、選択区間２を構成するフレーム及び音声データを順次、解析処理部１３０に出
力し、解析処理部１３０及び分類推定部１７０が上記第１及び第２の実施形態と同様の処
理を行うことで、選択区間２の撮影画像に対応する分類として、分類推定結果２が出力さ
れる。
これら分類推定結果１及び分類推定結果２は、推定結果記憶部１２３（図１３）に一時
的に記憶される。推定結果記憶部１２３は、処理対象の撮影画像データから動画データ分
割部１２２によって切り出された全てのＮ（Ｎは自然数）個の選択区間に対応する分類推
定結果１〜Ｎを記憶した場合に、図１５（Ｂ）に示すように、記憶している全ての分類推
定結果１〜Ｎを最終推定部１２４に出力する。
最終推定部１２４は、推定結果記憶部１２３から入力された分類推定結果１〜Ｎを組み
合わせて総合的に推定を行い、撮影画像の内容に適した分類を推定する。

最終推定部１２４の具体的な動作としては、例えば、［１］分類推定結果１〜Ｎの中で
最も多い分類を、撮影画像データに対応する分類とする、［２］上記第２の実施形態また
は別の形態として説明した手法により各分類推定結果１〜Ｎを推定した場合、各分類推定
結果１〜Ｎの尤度（または確率）を取得し、この尤度（確率）が最も高い分類を、撮影画
像データに対応する分類とする、等の手法が挙げられる。

そして、最終推定部１２４により推定された分類がメタデータ生成部１８０に入力され
、メタデータ生成部１８０によってメタデータが生成される。
この第４の実施形態の構成によれば、上記第１および第２の実施形態の利点に加え、第
３の実施形態と同様に、撮影画像データが動画像データである場合に、撮影画像データの
一部分を切り出して撮影画像の内容に対応する分類を推定することにより、撮影画像デー
タの全編を処理する場合に比べて処理の負荷が軽いことから、より高速に処理を行えると
いう利点がある。また、撮影画像データから連続する一部分を抽出するのではなく、連続
しない複数の区間（例えば、図１４の選択区間１および２）を切り出すので、撮影画像の
一部分に特有の特徴に影響されることなく、撮影画像全体の特徴をよく反映した分類を推
定できる。さらに、選択区間として切り出す部分を適宜設定することで、分類の推定に適
さない部分を除去することができるので、より正確な推定を行えるという利点もある。
加えて、撮影画像データから切り出された複数の区間について、それぞれ分類が推定さ
れ、各々の区間に対応する分類をもとにして最終的に撮影画像データに対応する分類が推
定される。これにより、よりきめ細かく撮影画像を解析して、撮影画像の内容に最適な分
類を推定できるという利点がある。
なお、本第４の実施形態で、最終推定部１２４は、区間毎に重み付けを行ってもよい。
すなわち、分類推定部１７０により出力された分類推定結果１〜Ｎの各々に、予め設定さ
れた基準に従って重み付けを行い、この重みに基づいて、例えば最も多い分類を撮影画像
データの分類としてもよい。この場合、撮影画像データのうち特定の部分を重視して撮影
画像の内容を反映させて分類を推定できるという利点がある。

また、上記第３および第４の実施形態で説明した例に加え、動画データ分割部１２２に
おいて分割した区間毎に、解析処理部１３０の各部が解析を行い、各区間に対応する解析
結果に基づいて分類推定部１７０が分類を推定してもよい。
この場合、分類推定部１７０は、解析処理部１３０から入力される解析結果を蓄積し、
蓄積した解析結果を項目毎に集計および平均化して加工し、二次的な解析結果を生成して
、この解析結果を、上記単位時間より長い第２の単位時間分の解析結果として処理する。
例えば、分類推定部１７０は、区間毎にオブジェクト解析部１４１が求めた各オブジェク
トの出現回数を、さらに集計して推定処理用の情報を生成すればよい。同様に、人物画像
解析部１４３、色解析部１４５、服装解析部１４６、動き解析部１４７の各部の解析結果
、および音声認識部１５１から出力される各区間の解析結果をもとにして、推定処理用の
解析結果を生成してもよい。この場合、区間毎に重み付けを行って、撮影画像データの特
定の区間が、推定に大きく影響するようにしてもよい。

さらに、上記第１から第４の実施形態において、推定ルール格納部１７１に格納した推
定ルールに従って分類を推定した結果に基づき、ユーザが入力操作を行うことで、推定ル
ール（基準、アルゴリズムを含む）を変更できるものとしてもよい。
例えば、運動会で撮影された撮影画像データを、画像処理システム１によって「学芸会
」と分類した場合に、ユーザが入力部１６（図１）を操作して、分類結果を「運動会」と
修正する。このとき、分類推定装置１２０または分類推定部１７０が、解析処理部１３０
の解析結果をもとに、この解析結果が「運動会」に対応することを示す推定ルールを新た
に作成して、推定ルール格納部１７１に格納する。具体的には、推定ルール格納部１７１
に格納された推定ルールにおいて、服装解析部１４６の解析結果で最頻出の服装の色が「
白」であれば、「運動会」に分類される推定ルールがあった場合、これを変更または新た
な推定ルールを追加して、服装解析部１４６の解析結果で最頻出の服装の色が「緑」であ
れば「運動会」に分類されるようにする。また、或いは、関連情報解析部１６１により取
得される撮影場所の情報が、上記撮影画像データに対応する解析結果の撮影場所とは別の
場所であれば「運動会」に分類するという、新たな推定ルールを追加する。
このように、画像処理システム１によって推定した分類をユーザが変更することで、結
果のフィードバックによる推定ルールの学習を行うようにすれば、画像処理システム１を
使用するユーザの環境に合わせて、推定ルールの最適化を行うことができる。

また、上記第１から第４の実施形態に係る画像処理システム１は、撮影装置４０と、画
像処理装置１０として機能する機能部を備えた全ての電子機器に適用可能であり、例えば
、デジタルカメラ（デジタルスチルカメラ、デジタルビデオカメラを含む）自体或いはデ
ジタルカメラを内蔵するパーソナルコンピュータやＰＤＡ、携帯型電話機等に適用可能で
ある。また、撮影装置４０としてのデジタルカメラ装置と、このデジタルカメラ装置に外
部接続される画像処理装置１０としての電子機器とを用いて、本発明に係る画像処理シス
テム１を構成してもよい。この場合の電子機器としては、例えば、ビデオレコーダー、テ
レビ受像機等が挙げられる。その他、画像処理システム１を構成する各部の具体的な細部
構成については、本発明の趣旨を逸脱しない範囲において、任意に変更可能である。

第１の実施形態に係る画像処理システムの構成を示すブロック図である。 画像処理装置の機能的構成を示す図である。 分類推定装置の機能的構成を示す図である。 解析処理部の各部から出力される解析結果の例を示す図である。 解析処理部の各部から出力される解析結果の例を示す図である。 解析処理部の各部から出力される解析結果の例を示す図である。 推定ルール格納部に格納される情報の構成例を模式的に示す図である。 分類推定処理を示すフローチャートである。 関連する人物名を決定する処理を示すフローチャートである。 第２の実施形態における推定ルールの構成例を示す図である。 分類推定部の動作を示すフローチャートである。 推定ルールの別の例を示す図である。 第３の実施形態に係る画像処理装置の構成を示すブロック図である。 第３の実施形態における画像データの処理を模式的に示す図である。 第４の実施形態における画像データの処理を模式的に示す図である。

符号の説明

１…画像処理システム、１０…画像処理装置、１１…制御部、１２…ＲＯＭ、１３…制
御プログラム（プログラム）、１５…記憶部、３０…記録媒体読取装置、４０…撮影装置
、４３…撮像部、４４…音声記録部、４８…ＧＰＳユニット、１１０…画像入力部、１２
０…分類推定装置、１３０…解析処理部、１４０…画像解析部（特徴検出手段）、１４１
…オブジェクト解析部、１４２…画像特徴ＤＢ、１４３…人物画像解析部（人物認識手段
）、１４４…画像特徴ＤＢ、１４５…色解析部、１４６…服装解析部、１４７…動き解析
部、１５０…音声解析部（音解析手段）、１５１…音声認識部、１５２…分類キーワード
ＤＢ、１６１…関連情報解析部（関連情報取得手段）、１６２…関連情報ＤＢ、１７０…
分類推定部（推定手段）、１７１…推定ルール格納部（人物名記憶手段）、１８０…メタ
データ生成部（付加情報生成手段）。

Claims (14)

1. 撮影画像の特徴を検出する特徴検出手段と、
   前記撮影画像が撮影された状況に関する撮影関連情報を取得する関連情報取得手段と、
   前記特徴検出手段により検出された前記撮影画像の特徴と前記関連情報取得手段により
   取得された撮影関連情報とに基づいて、前記撮影画像の内容を推定する推定手段と、
   前記推定手段により推定された内容を示す情報を含む付加情報を生成する付加情報生成
   手段と、
   を備えることを特徴とする画像処理装置。
2. 前記特徴検出手段は複数の項目について前記撮影画像の特徴を検出するものであり、
   前記推定手段は、前記特徴検出手段により検出された複数項目の特徴と前記関連情報取
   得手段により取得された撮影関連情報とを、項目毎に予め定められた順序で条件に適合す
   るか否かを判定することによって、前記撮影画像の内容を推定すること、
   を特徴とする請求項１記載の画像処理装置。
3. 前記特徴検出手段は複数の項目について前記撮影画像の特徴を検出するものであり、
   前記推定手段は、前記特徴検出手段により検出された複数項目の特徴と前記関連情報取
   得手段により取得された撮影関連情報とを項目毎に評価し、各項目の評価を集計すること
   によって、前記撮影画像の内容を推定すること、
   を特徴とする請求項１記載の画像処理装置。
4. 前記特徴検出手段は複数の項目について前記撮影画像の特徴を検出するものであり、
   前記推定手段は、前記特徴検出手段により検出された特徴と前記関連情報取得手段によ
   り取得された撮影関連情報との各項目を非独立の要素として統計的に処理することによっ
   て、前記撮影画像の内容を推定すること、
   を特徴とする請求項１記載の画像処理装置。
5. 前記関連情報取得手段により取得される撮影関連情報は、少なくとも撮影場所、撮影日
   、撮影時刻のいずれかを示す情報を含むことを特徴とする請求項１から４のいずれかに記
   載の画像処理装置。
6. 前記特徴検出手段は、少なくとも前記撮影画像に写っている人物又は物の名前、前記撮
   影画像に写っている人物の服装の色、人物又は物の背景部分の色、前記撮影画像が動画像
   である場合の動きベクトルのいずれかを前記撮影画像の特徴として検出すること、
   を特徴とする請求項１から５のいずれかに記載の画像処理装置。
7. 前記推定手段は、前記特徴検出手段により検出された前記撮影画像の特徴と前記関連情
   報取得手段により取得された撮影関連情報とに基づいて、前記撮影画像の内容に関連する
   人物の名前を特定し、
   前記付加情報生成手段は、前記推定手段により推定された内容を示す情報と特定された
   人物の名前とを含む前記付加情報を生成すること、
   を特徴とする請求項１から６のいずれかに記載の画像処理装置。
8. 前記関連情報取得手段により取得される撮影関連情報に対応する人物の名前を記憶した
   人物名記憶手段を備え、
   前記特徴検出手段は、前記撮影画像から人物の顔画像を検出して、この顔画像の人物を
   特定する人物認識手段を備え、
   前記付加情報生成手段は、前記関連情報取得手段により取得された撮影関連情報に対応
   して前記人物名記憶手段に記憶された人物の名前と、前記人物認識手段により特定された
   人物の名前とのいずれか又は両方を含む前記付加情報を生成すること、
   を特徴とする請求項７記載の画像処理装置。
9. 前記推定手段は、前記撮影画像が撮影されたイベントを推定し、
   前記付加情報生成手段は、前記推定手段により推定されたイベントを示す情報を含む前
   記付加情報を生成すること、
   を特徴とする請求項１から８のいずれかに記載の画像処理装置。
10. 前記撮影画像に付属する音を解析して、この音により表される情報を取得する音解析手
    段を備え、
    前記推定手段は、前記関連情報取得手段により取得された撮影関連情報と前記特徴検出
    手段により検出された前記撮影画像の特徴とともに、前記音解析手段により取得された情
    報に基づいて前記撮影画像の内容を推定すること、
    を特徴とする請求項１から８のいずれかに記載の画像処理装置。
11. 請求項１から１０のいずれかに記載の画像処理装置を備えたことを特徴とする電子機器
    。
12. 撮影画像を出力する撮影装置と、前記撮影画像を処理する画像処理装置とを備え、
    前記画像処理装置は、
    前記撮影画像の特徴を検出する特徴検出手段と、
    前記撮影画像が撮影された状況に関する撮影関連情報を取得する関連情報取得手段と、
    前記関連情報取得手段により取得された撮影関連情報と前記特徴検出手段により検出さ
    れた前記撮影画像の特徴とに基づいて、前記撮影画像の内容を推定する推定手段と、
    前記推定手段により推定された内容を示す情報を含む付加情報を生成する付加情報生成
    手段と、を備えること、
    を特徴とする画像処理システム。
13. 撮影画像の特徴を検出する特徴検出工程と、
    前記撮影画像が撮影された状況に関する撮影関連情報を取得する関連情報取得工程と、
    前記関連情報取得工程で取得した撮影関連情報と前記特徴検出工程で検出した前記撮影
    画像の特徴とに基づいて、前記撮影画像の内容を推定する推定工程と、
    前記推定工程で推定した内容を示す情報を含む前記撮影画像の付加情報を生成する付加
    情報生成工程と、
    を含むことを特徴とする画像処理方法。
14. コンピュータを、
    撮影画像の特徴を検出する特徴検出手段と、
    前記撮影画像が撮影された状況に関する撮影関連情報を取得する関連情報取得手段と、
    前記関連情報取得手段により取得された前記撮影関連情報と前記特徴検出手段により検
    出された前記撮影画像の特徴とに基づいて、前記撮影画像の内容を推定する推定手段と、
    前記推定手段により推定された内容を示す情報を含む付加情報を生成する付加情報生成
    手段と、
    して機能させるためのプログラム。

Images