JP2011107997A - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
JP2011107997A
JP2011107997A JP2009262513A JP2009262513A JP2011107997A JP 2011107997 A JP2011107997 A JP 2011107997A JP 2009262513 A JP2009262513 A JP 2009262513A JP 2009262513 A JP2009262513 A JP 2009262513A JP 2011107997 A JP2011107997 A JP 2011107997A
Authority
JP
Japan
Prior art keywords
image
person
registered
information processing
key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2009262513A
Other languages
English (en)
Inventor
Satoru Sasa
哲 佐々
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2009262513A priority Critical patent/JP2011107997A/ja
Priority to US12/925,427 priority patent/US20110115937A1/en
Priority to CN2010105441746A priority patent/CN102065218A/zh
Publication of JP2011107997A publication Critical patent/JP2011107997A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/775—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/781—Television signal recording using magnetic recording on disks or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

【課題】保存されている数多くの画像の中から、検索条件として与えられたキー画像の被写体に関連する画像を選抜する。
【解決手段】ステップＳ２２で、キー画像が入力され、ステップＳ２３で、キー画像が解析される。ステップＳ２４で、キー画像で検出された顔に対応する人物ＩＤが特定される。ステップＳ２５では、選抜基準が関連人物画像または類似表情画像のどちらであるか確認され、関連人物画像の場合、ステップＳ２６およびＳ２７で、キー画像の人物と同じグループの人物の画像群から画像リストが生成される。類似表情画像の場合、ステップＳ２８で、キー画像の人物が類似した表情で写っている画像群から画像リストが生成される。本発明は、例えば、デジタルスチルカメラに適用できる。
【選択図】図８

Description

本発明は、情報処理装置、情報処理方法、およびプログラムに関し、例えば、保存されている数多くの画像の中から、検索条件となるキー画像の被写体である人物に関連すると推定される人物が写っている画像を選択してスライドショーを実行する場合に用いて好適な情報処理装置、情報処理方法、およびプログラムに関する。
従来、デジタルスチルカメラには、いわゆるスライドショー機能が設けられているものが多い。このスライドショー機能によれば、撮像して保存した画像を、例えば撮影順に順次再生したり、ランダムな順序で再生したりしてディスプレイに表示することができる（例えば、特許文献１参照）。
特開２００５−１１００８８号公報
ところで、保存されている数多くの画像を従来のスライドショー機能によって表示させた場合、画像の枚数が多過ぎて全てを見終わるまでに多くの時間を要してしまう。これを防ぐためには、撮像された数多くの画像のうち、所定の条件に合致するものだけを選抜してスライドショーを実行するようにすればよい。
本発明はこのような状況に鑑みてなされたものであり、保存されている数多くの画像の中から、検索条件として与えられたキー画像の被写体に関連する画像を選抜できるようにするものである。
本発明の第１の側面である情報処理装置は、複数の登録画像の中から検索条件に対応する画像を選抜する情報処理装置において、画像に写っている人物の顔の特徴量を抽出する画像解析手段と、前記画像から抽出された前記顔の特徴量を、その類似性に基づいて、人物ＩＤが付与されているクラスタに分類する分類手段と、前記画像に写っている人物の顔に、その特徴量が分類された前記クラスタに付与されている前記人物ＩＤを対応付ける対応付け手段と、同一の前記画像に一緒に写っている頻度に基づき、前記登録画像に写っている人物が属するグループを推定する推定手段と、既に解析されて、写っている人物の顔に人物ＩＤが対応付けられ、前記人物が属するグループが推定されている複数の前記登録画像の中から、検索条件としてのキー画像に写っている人物と同一のグループに属すると推定されている人物が写っている画像を選抜する選抜手段とを含む。
本発明の第１の側面である情報処理装置は、前記画像解析手段による解析結果に基づき、前記登録画像の評価値を算出する算出手段をさらに含むことができ、前記選抜手段は、複数の前記登録画像の中から、前記キー画像に写っている人物と同一のグループに属すると推定されている人物が写っている画像を前記評価値の順に選抜するようにすることができる。
前記算出手段は、前記登録画像の構図にも基づき、前記登録画像の評価値を算出するようにすることができる。
本発明の第１の側面である情報処理装置は、前記登録画像または前記キー画像のうち、少なくとも一方の画像を撮像する撮像手段をさらに含むことができる。
本発明の第１の側面である情報処理方法は、複数の登録画像の中から検索条件に対応する画像を選抜する情報処理装置の情報処理方法において、前記情報処理装置により、前記登録画像に写っている人物の顔の特徴量を抽出し、複数の前記登録画像それぞれから抽出された前記顔の特徴量を、その類似性に基づいて、人物ＩＤが付与されているクラスタに分類し、前記登録画像に写っている人物の顔に、その特徴量が分類された前記クラスタに付与されている前記人物ＩＤを対応付け、同一の前記登録画像に一緒に写っている頻度に基づき、前記登録画像に写っている人物が属するグループを推定し、検索条件としてのキー画像に写っている人物の顔の特徴量を抽出し、前記キー画像から抽出された前記顔の特徴量を、その類似性に基づいて、人物ＩＤが付与されているクラスタに分類し、前記キー画像に写っている人物の顔に、その特徴量が分類された前記クラスタに付与されている前記人物ＩＤを対応付け、キー画像に写っている人物と同一のグループに属すると推定されている人物が写っている画像を選抜するステップを含む。
本発明の第１の側面であるプログラムは、複数の登録画像の中から検索条件に対応する画像を選抜する情報処理装置の制御用のプログラムであって、前記登録画像に写っている人物の顔の特徴量を抽出し、複数の前記登録画像それぞれから抽出された前記顔の特徴量を、その類似性に基づいて、人物ＩＤが付与されているクラスタに分類し、前記登録画像に写っている人物の顔に、その特徴量が分類された前記クラスタに付与されている前記人物ＩＤを対応付け、同一の前記登録画像に一緒に写っている頻度に基づき、前記登録画像に写っている人物が属するグループを推定し、検索条件としてのキー画像に写っている人物の顔の特徴量を抽出し、前記キー画像から抽出された前記顔の特徴量を、その類似性に基づいて、人物ＩＤが付与されているクラスタに分類し、前記キー画像に写っている人物の顔に、その特徴量が分類された前記クラスタに付与されている前記人物ＩＤを対応付け、キー画像に写っている人物と同一のグループに属すると推定されている人物が写っている画像を選抜するステップを含む処理を情報処理装置のコンピュータに実行させる。
本発明の第１の側面においては、登録画像に写っている人物の顔の特徴量が抽出され、複数の登録画像それぞれから抽出された顔の特徴量が、その類似性に基づいて、人物ＩＤが付与されているクラスタに分類され、登録画像に写っている人物の顔に、その特徴量が分類されたクラスタに付与されている人物ＩＤが対応付けられ、同一の前記登録画像に一緒に写っている頻度に基づき、登録画像に写っている人物が属するグループが推定される。さらに、検索条件としてのキー画像に写っている人物の顔の特徴量が抽出され、キー画像から抽出された顔の特徴量が、その類似性に基づいて、人物ＩＤが付与されているクラスタに分類し、キー画像に写っている人物の顔に、その特徴量が分類されたクラスタに付与されている人物ＩＤが対応付けられ、キー画像に写っている人物と同一のグループに属すると推定されている人物が写っている画像が選抜される。
本発明の第２の側面である情報処理装置は、複数の登録画像の中から検索条件に対応する画像を選抜する情報処理装置において、画像に写っている人物の顔の表情を含む特徴量を抽出する画像解析手段と、前記画像から抽出された前記顔の特徴量を、その類似性に基づいて、人物ＩＤが付与されているクラスタに分類する分類手段と、前記画像に写っている人物の顔に、その特徴量が分類された前記クラスタに付与されている前記人物ＩＤを対応付ける対応付け手段と、既に解析されて、写っている人物の顔に人物ＩＤが対応付けられている複数の前記登録画像の中から、検索条件としてのキー画像に写っている人物がその表情と類似する表情で写っている画像を選抜する選抜手段とを含む。
本発明の第２の側面である情報処理装置は、前記画像解析手段による解析結果に基づき、前記登録画像の評価値を算出する算出手段をさらに含むことができ、前記選抜手段は、複数の前記登録画像の中から、前記キー画像に写っている人物がその表情と類似する表情で写っている画像を前記評価値の順に選抜するようにすることができる。
前記算出手段は、前記登録画像の構図にも基づき、前記登録画像の評価値を算出するようにすることができる。
本発明の第２の側面である情報処理装置は、前記登録画像または前記キー画像のうち、少なくとも一方の画像を撮像する撮像手段をさらに含むことができる。
本発明の第２の側面である情報処理方法は、複数の登録画像の中から検索条件に対応する画像を選抜する情報処理装置の情報処理方法において、前記情報処理装置による、複数の前記登録画像に写っている人物の顔の表情を含む特徴量を抽出し、前記登録画像から抽出された前記顔の特徴量を、その類似性に基づいて、人物ＩＤが付与されているクラスタに分類し、前記登録画像に写っている人物の顔に、その特徴量が分類された前記クラスタに付与されている前記人物ＩＤを対応付け、検索条件としてのキー画像に写っている人物の顔の表情を含む特徴量を抽出し、前記キー画像から抽出された前記顔の特徴量を、その類似性に基づいて、人物ＩＤが付与されているクラスタに分類し、前記キー画像に写っている人物の顔に、その特徴量が分類された前記クラスタに付与されている前記人物ＩＤを対応付け、前記キー画像に写っている人物がその表情と類似する表情で写っている画像を選抜するステップを含む。
本発明の第２の側面であるプログラムは、複数の登録画像の中から検索条件に対応する画像を選抜する情報処理装置の制御用のプログラムであって、複数の前記登録画像に写っている人物の顔の表情を含む特徴量を抽出し、前記登録画像から抽出された前記顔の特徴量を、その類似性に基づいて、人物ＩＤが付与されているクラスタに分類し、前記登録画像に写っている人物の顔に、その特徴量が分類された前記クラスタに付与されている前記人物ＩＤを対応付け、検索条件としてのキー画像に写っている人物の顔の表情を含む特徴量を抽出し、前記キー画像から抽出された前記顔の特徴量を、その類似性に基づいて、人物ＩＤが付与されているクラスタに分類し、前記キー画像に写っている人物の顔に、その特徴量が分類された前記クラスタに付与されている前記人物ＩＤを対応付け、前記キー画像に写っている人物がその表情と類似する表情で写っている画像を選抜するステップを含む処理を情報処理装置のコンピュータに実行させる。
本発明の第２の側面においては、複数の登録画像に写っている人物の顔の表情を含む特徴量が抽出され、登録画像から抽出された顔の特徴量が、その類似性に基づいて、人物ＩＤが付与されているクラスタに分類され、登録画像に写っている人物の顔に、その特徴量が分類されたクラスタに付与されている人物ＩＤが対応付けられる。さらに、検索条件としてのキー画像に写っている人物の顔の表情を含む特徴量が抽出され、キー画像から抽出された顔の特徴量が、その類似性に基づいて、人物ＩＤが付与されているクラスタに分類され、キー画像に写っている人物の顔に、その特徴量が分類されたクラスタに付与されている人物ＩＤを対応付けられ、キー画像に写っている人物がその表情と類似する表情で写っている画像が選抜される。
本発明の第１の側面によれば、保存されている数多くの画像の中から、検索条件として与えられるキー画像の被写体である人物に関連すると推定される人物が写っている画像を選抜することができる。
本発明の第２の側面によれば、保存されている数多くの画像の中から、検索条件となるキー画像の被写体である人物が類似した表情で写っている画像を選抜することができる。
本発明を適用したデジタルスチルカメラの構成例を示すブロック図である。 制御部により実現される機能ブロックの構成例を示す図である。 顔のサイズについての抽出条件を示す図である。 顔の位置についての抽出条件を示す図である。 データベースの構成例を示す図である。 登録処理を説明するフローチャートである。 総合評価値算出処理を説明するフローチャートである。 再生処理を説明するフローチャートである。 コンピュータの構成例を示すブロック図である。
以下、発明を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。なお、説明は、以下の順序で行なう。
１．実施の形態の概要
２．第１の実施の形態
３．第２の実施の形態
４．変形例
＜１．実施の形態の概要＞
本願発明をデジタルスチルカメラに適用した第１の実施の形態は、撮像して保存した画像を対象としてデータベースを作成するための登録処理を実行する。その後、改めて検索条件とするキー画像を撮像して解析し、キー画像の解析結果とデータベースを照らし合わせることにより、撮像して保存した画像の中から、キー画像の被写体となっている人物に関連する画像を選抜したり、キー画像の被写体となっている人物が同じ表情で写っている画像を選抜したりする。そして、選抜した画像を用いてスライドショーなどを実行することができる。
本願発明をコンピュータに適用した第２の実施の形態は、入力される多数の画像を対象としてデータベースを作成するための登録処理を実行する。その後、検索条件として与えられるキー画像を解析し、キー画像の解析結果とデータベースを照らし合わせることにより、入力された多数の画像の中から、キー画像の被写体となっている人物に関連する画像を選抜したり、キー画像の被写体となっている人物が同じ表情で写っている画像を選抜したりする。そして、選抜した画像を用いてスライドショーなどを実行することができる。
＜２．第１の実施の形態＞
［デジタルスチルカメラの構成例］
図１は、第１の実施の形態であるデジタルスチルカメラの構成例を示している。

このデジタルスチルカメラ１０は、制御部１１、メモリ１２、操作入力部１３、位置情報取得部１４、バス１５、撮像部１６、画像処理部１７、符号化復号部１８、記録部１９、および表示部２０から構成される。
制御部１１は、操作入力部１３から入力されるユーザの操作に応じた操作信号に従い、デジタルスチルカメラ１０に各部を制御する。また、制御部１１は、メモリ１２に記録されている制御用プログラムを実行することにより、図２に示す機能ブロックを実現し、後述する登録処理などを実行する。
メモリ１２には、制御用プログラムが予め記録されている。また、メモリ１２には、後述する被写体データベース３８（図５）や登録処理などの結果も保持される。
操作入力部１３は、デジタルスチルカメラ１０の筺体に設けられるボタンや表示部２０に積層されるタッチパネルなどのユーザインタフェースからなり、ユーザからの操作に応じた操作信号を発生して制御部１１に出力する。
位置情報取得部１４は、撮像タイミングにおいて、GPS(Global Positioning System)信号を受信して解析することにより、撮像日時（年月日、時刻）および位置（緯度、経度、高度）を示す情報を取得する。ここで得られた撮像日時および位置を示す情報は、撮像された画像に対応付けて記録されるexif情報に採用される。なお、撮像日時については、制御部１１に内蔵される時計の時刻情報を利用するようにしてもよい。
撮像部１６は、レンズ群とCCD、CMOSなどの光電変換素子を内蔵しており、レンズ群を介して入射される被写体の光学像を光電変換素子により画像信号に変換して画像処理部１７に出力する。
画像処理部１７は、撮像部１６から入力される画像信号に所定の画像処理を施して符号化復号部１８に出力する。また、画像処理部１７は、撮像時においては撮像部１６から、再生時においては符号化復号部１８から入力される画像信号の画素を間引くなどして表示用の画像信号を生成して表示部２０に出力する。
符号化復号部１８は、撮像時において、画像処理部１７から入力される画像信号をJPEG方式などに従って符号化し、その結果得られる画像符号化信号を記録部１９に出力する。また、符号化復号部１８は、再生時において、記録部１９から入力される画像符号化信号を復号し、その結果得られる画像信号を画像処理部１７に出力する。
記録部１９は、撮像時において、符号化復号部１８から入力される画像符号化信号を記録メディア（不図示）に記録する。また、記録部１９は、画像符号化信号に対応付けたexif情報も記録メディアに記録する。さらに、記録部１９は、再生時において、記録メディアに記録されている画像符号化信号を読み出して符号化復号部１８に出力する。
表示部２０は、液晶ディスプレイなどから成り、画像処理部１７から入力される画像信号の画像を表示する。
次に、図２は、制御部１１が制御用プログラムを実行することにより実現される機能ブロックの構成例を示している。これらの機能ブロックがそれぞれ動作することにより、後述する登録処理や再生処理が行われる。ただし、図２に示す各機能ブロックをICチップなどのハードウェアにより構成するようにしてもよい。
画像解析部３１は、顔検出部４１、構図検出部４２、および特徴量抽出部４３を内蔵し、登録処理時には、撮像されて記録メディアに記録されている画像を、再生処理時には、検索条件として与えられるキー画像を処理対象として解析し、解析結果を後段の評価値算出部３２、クラスタリング処理部３３、およびグループ推定部３４に出力する。
具体的には、顔検出部４１は、処理対象の画像内に存在する人物の顔を検出する。構図検出部４２は、検出された顔の数に基づいて、処理対象の画像の被写体の人数を推定し、例えば１人、２人、３乃至５人、１０人未満、または１０人以上の人数タイプに分類する。また、構図検出部４２は、処理対象の画像を、縦長、または横長のどちらかに分類し、さらに、顔画像、上半身画像、または全身画像の構図タイプに分類する。
特徴量抽出部４３は、処理対象の画像から検出された顔のうち、顔のサイズについての抽出条件と、顔の位置についての抽出条件を満たす顔についてその特徴量を抽出する。また、特徴量抽出部４３は、抽出した特徴量に基づいて、検出された顔の表情（大笑い、微笑、正視、カメラ目線、泣き顔、よそ見、目を閉じている、口を開けているなど）、人物の年齢、人物の性別を推定する。なお、顔のサイズについての抽出条件、および顔の位置についての抽出条件は、構図検出部４２における分類結果の組み合わせに応じて予め設定されている。
図３は、特徴量抽出部４３における顔のサイズについての抽出条件を示している。同図において、画像内の円形は検出された顔を意味するものとする。
同図Ａは、人数タイプが１人で横長全身画像の場合を示しており、画像の縦幅1.0に対して顔の縦幅は0.1以上0.2未満とし、それ以外の顔は除外（特徴量を抽出しない）するようにする。同図Ｂは、人数タイプが１人で横長上半身画像の場合を示しており、画像の縦幅1.0に対して顔の縦幅は0.2以上0.4未満とし、それ以外は除外するようにする。同図Ｃは、人数タイプが１人で横長顔画像の場合を示しており、画像の縦幅1.0に対して顔の縦幅は0.4以上とし、それ以外は除外するようにする。
この他、例えば、人数タイプが３乃至５人で横長上半身画像の場合、画像の縦幅1.0に対して各顔の縦幅は0.2以上0.4未満とされている。人数タイプが３乃至５人で横長全身画像の場合、画像の縦幅1.0に対して各顔の縦幅は0.１以上0.2未満とされている。人数タイプが１０人以上で横長の場合、画像の縦幅1.0に対して各顔の縦幅は0.05以上0.3未満とされている。
図４は、特徴量抽出部４３における顔の位置についての抽出条件を示している。同図において、画像内の円形は検出された顔を意味するものとする。
同図は、人数タイプが３乃至５人で横長上半身画像の場合の抽出条件を示しており、画像の縦幅1.0に対して上側0.1、下側0.15、画像の横幅1.0に対して左右0.1を除外範囲とし、この除外範囲内で検出された顔については除外するようにする。
なお、上述した抽出条件は一例であり、顔の縦幅を示す値や除外範囲を示す値はこれに限定されるものではない。
図２に戻る。評価値算出部３２は、画像解析部３１による解析結果に基づき、処理対象の画像に対して、構図と顔の表情の善し悪しを示す総合評価値を算出し、算出結果をデータベース管理部３５に出力する。なお、この総合評価値の算出については、図７を参照して詳述する。
クラスタリング処理部３３は、データベース管理部３５にて管理される同一人物クラスタ群７１を参照することにより、処理対象の各画像において検出された顔の特徴量を、その類似性に基づいて同一人物クラスタに分類し、分類結果をデータベース管理部３５に出力する。これにより、各画像に写っている類似した顔が同一のクラスタ（人物ＩＤが付与された同一人物クラスタ）に分類されることになる。また、これにより、各画像において検出された顔に対して人物ＩＤを対応付けることができる。
グループ推定部３４は、データベース管理部３５にて管理される登場人物対応表７２を参照することにより、複数の人物が同一の画像に一緒に写っている頻度（高い方から順に高頻度、中頻度、または低頻度）に応じて各人物をグルーピングする。さらに、その頻度と、推定された人物の性別と、年齢とに基づいて、各人物が属するグループクラスタを推定し、推定結果をデータベース管理部３５に出力する。グループクラスタは、例えば、家族（親子、夫婦、兄弟姉妹を包含する）、友人、趣味関係の集団、仕事関係の集団などに分類されている。
具体的には、例えば、以下のようなグループ判断基準に従ってグループが推定される。
高頻度であって、年齢差がある場合には親子である。
高頻度であって、性別が異なり、年齢差が比較的少ない場合には夫婦である。
高頻度であって、低年齢でその差が比較的少ない場合には兄弟姉妹である。
中頻度であって、性別が同じて年齢差が比較的少ない場合には友人である。
中頻度であって、人数が比較的多く、年齢差が比較的少ない場合には趣味関連の集団である。
中頻度であって、人数が比較的多く、成人年齢でその分布が広い場合には仕事関連の集団である。
なお、低頻度の場合には、関わりがない複数の人物が偶然同一の画像に一緒に写っていると判断し、その人物については、グルーピングの対象から除外する。
データベース管理部３５は、クラスタリング処理部３３による分類結果である同一人物クラスタ群７１を管理する。また、データベース管理部３５は、同一人物クラスタ群７１と、評価値算出部３２から入力される各画像の総合評価値に基づき、登場人物対応表７２を生成して管理する。さらに、データベース管理部３５は、グループ推定部３４による推定結果であるグループクラスタ群７３（いずれも図５）を管理する。
図５は、データベース管理部３５にて管理される同一人物クラスタ群７１、登場人物対応表７２、およびグループクラスタ群７３の構成例を示している。
同一人物クラスタ群７１の各同一人物クラスタには、類似した特徴量（各画像にて検出された顔の特徴量）が集められており、各同一人物クラスタに対して、人物ＩＤが付与されている。したがって、各画像から検出された顔の特徴量の分類先である同一人物クラスタの人物ＩＤを当該顔の人物の人物ＩＤとすることができる。
登場人物対応表７２には、各画像に対応付けて、検出された１以上の顔の特徴量（表情、推定年齢および性別を含む）とその人物ＩＤが記録されている。また、各画像に対応付けて、その構図と顔の表情の善し悪しを示す総合評価値が記録されている。したがって、例えば、人物ＩＤに基づいて、登場人物対応表７２を検索することにより、当該人物ＩＤに対応する人物が写っている画像を特定することができる。また、特徴量に含まれる所定の表情に基づいて、登場人物対応表７２を検索することにより、当該表情の顔が写っている画像を特定することができる。
グループクラスタ群７３の各グループクラスタには、同一のグループに属すると推定された人物の人物ＩＤが集められており、各グループクラスタに対しては、当該グループの種類（家族、友人、趣味関係の集団、仕事関係の集団など）を示す情報が付与されている。したがって、人物ＩＤに基づいて、グループクラスタ群７３を検索することにより、当該人物ＩＤに対応する人物が属するグループとその種類を特定することができ、さらに、そのグループに属する他の人物の人物ＩＤを取得することができる。
図２戻る。画像リスト生成部３６は、データベース管理部３５にて管理される同一人物クラスタ群７１、登場人物対応表７２、およびグループクラスタ群７３を参照することにより、キー画像に関連する画像を特定し、その一覧を示す画像リストを生成して再生制御部３７に出力する。再生制御部３７は、入力される画像リストに従い、スライドショーなどを実行させる。
［動作説明］
デジタルスチルカメラ１０の動作について説明する。
初めに、登録処理について説明する。図６は、登録処理を説明するフローチャートである。
この登録処理の前提として、デジタルスチルカメラ１０の記録メディアには、既に人物が撮像されている複数の画像（以下、登録画像と称する）が保存されているものとする。この登録処理は、ユーザからの所定の操作に応じて開始される。
ステップＳ１において、画像解析部３１は、保存されている複数の登録画像のうちの１枚を順次処理対象に指定する。顔検出部４１は、処理対象の登録画像から人物の顔を検出する。構図検出部４２は、検出された顔の数に基づいて、処理対象の登録画像の人数タイプおよび構図タイプを分類する。
ステップＳ２において、特徴量抽出部４３は、検出された顔のうち、分類された人数タイプおよび構図タイプに基づいて決定される、顔のサイズについての抽出条件と、顔の位置についての抽出条件を満たさないものを除外する。ステップＳ３において、特徴量抽出部４３は、除外されずに残った顔についてその特徴量を抽出する。また、特徴量抽出部４３は、抽出した特徴量に基づいて、検出された顔の表情、人物の年齢、人物の性別を推定する。
なお、ステップＳ１乃至Ｓ３の処理については、画像が撮像されたときに実行するようにしてもよい。
ステップＳ４において、クラスタリング処理部３３は、データベース管理部３５にて管理される同一人物クラスタ群７１を参照することにより、処理対象の登録画像において検出された顔の特徴量を、その類似性に基づいて同一人物クラスタに分類し、分類結果をデータベース管理部３５に出力する。データベース管理部３５は、クラスタリング処理部３３による分類結果である同一人物クラスタ群７１を管理する。
ステップＳ５において、評価値算出部３２は、画像解析部３１による解析結果に基づき、処理対象の登録画像に対する総合評価値を算出し、算出結果をデータベース管理部３５に出力する。データベース管理部３５は、同一人物クラスタ群７１と、評価値算出部３２から入力される各画像の総合評価値に基づき、登場人物対応表７２を生成して管理する。
図７は、ステップＳ５における総合評価値算出処理を詳述するフローチャートである。
ステップＳ１１において、評価値算出部３２は、登録画像の構図評価値を算出する。すなわち、登録画像に写っている人数（特徴量が抽出された顔の数）に応じて設定される条件の下、顔のサイズ、各顔の中心（重心）位置の縦方向および横方向の分散状況、隣り合う顔との距離、隣り合う顔のサイズの類似性、および隣り合う顔の高さの差の類似性に応じて点数を付与する。
具体的には、顔のサイズについては、対象者全員の顔のサイズが、写っている人数に応じた条件において定められた範囲内である場合に所定の点数を付与する。各顔の中心位置の縦方向の分散状況については、分散が、写っている人数に応じた条件において定められた閾値内である場合に所定の点数を付与する。各顔の中心位置の横方向の分散状況については、左右対称性がある場合に所定の点数を付与する。隣り合う顔との距離については、隣り合う顔との距離を顔のサイズを基準として求め、その距離が小さいほど大きな点数を付与する。
隣り合う顔のサイズの類似性については、隣り合う顔のサイズの差が少ない場合にはカメラから同一距離に位置していると考えられるので、その場合には所定の点数を付与する。ただし、隣り合う顔が大人の顔と子供の顔に場合には顔のサイズが元々異なるので、この点を配慮する。隣り合う顔の高さの差の類似性については、顔の高さが揃っている場合に所定の点数を付与する。
このようにして付与された各点数にそれぞれ所定の重み係数を乗算し、これらを積算することにより構図評価値を算出する。
ステップＳ１２において、評価値算出部３２は、登録画像の表情評価値を算出する。すすなわち、登録画像に写っている各顔（特徴量が抽出された顔）が良い表情の項目（例えば、大笑い、正視、およびカメラ目線とする）に該当している項目数に応じて点数を付与する。そして、各顔の平均値に所定の重み係数を乗算することにより、表情評価値を算出する。
ステップＳ１３において、評価値算出部３２は、構図評価値と表情評価値とにそれぞれ所定の重み係数を乗算して、その結果を積算することにより総合評価値を算出する。
以上のようにして、登録画像の総合評価値を算出した後、処理は図６のステップＳ６に進められる。
ステップＳ６において、画像解析部３１は、保存されている全ての登録画像を処理対象に指定したか否かを判断する。処理対象に指定されていない登録画像が残っている場合、処理はステップＳ１に戻されてそれ以降が繰り返される。そして、ステップＳ６において、保存されている全ての登録画像が処理対象に指定されたと判断された場合、処理はステップＳ７に進められる。
ステップＳ７において、グループ推定部３４は、データベース管理部３５にて管理される登場人物対応表７２を参照することにより、複数の人物が同一の画像に一緒に写っている頻度に応じて各人物をグルーピングする。さらに、その頻度と、推定された人物の性別と、年齢とに基づいて、各人物が属するグループクラスタを推定し、推定結果をデータベース管理部３５に出力する。データベース管理部３５は、グループ推定部３４による推定結果であるグループクラスタ群７３を管理する。以上で、登録処理が終了される。
次に、再生処理について説明する。図８は、再生処理を説明するフローチャートである。
この再生処理の前提として、キー画像の被写体となる人物が写っている画像を含む複数の登録画像を処理対象として既に登録処理が実行されており、データベース管理部３５により、同一人物クラスタ群７１、登場人物対応表７２、およびグループクラスタ群７３が管理されているものとする。この再生処理は、ユーザからの所定の操作に応じて開始される。
ステップＳ２１において、画像リスト生成部２１は、ユーザの操作に従って選抜基準を設定する。選抜基準とは、複数の登録画像から画像を選抜するときの基準であり、撮像期間の設定、関連人物画像／類似表情画像の設定、本人／関連人物／両方の設定からなる。
撮像期間の設定では、例えば、本日を基準として、１日以内、１週回以内、１か月以内、１年以内などを設定することができる。関連人物画像／類似表情画像の設定では、キー画像の人物に関連する人物（本人を含む）の画像（関連人物画像）を総合評価値に基づいて選抜するのか、またはキー画像の人物が類似した表情で写る画像を表情評価値に基づいて選抜するのかを設定できる。本人／関連人物／両方の設定では、キー画像の人物本人が写っている画像を主に選抜するのか、キー画像の人物に関連する人物（本人を含まず）が写っている画像を主に選抜するのか、またはそれをほぼ半数ずつ選抜するのかを設定できる。
さらに、画像リスト生成部２１は、ユーザの操作に従って再生順序を設定する。再生順序の設定では、選抜された画像の再生順序を、撮像日時順、総合評価値順、撮像日時をまんべんなく分散させた順、またはランダムの順に設定することができる。
なお、選抜基準および再生順序は、再生処理が行われる毎にユーザが指定できるが、前回の設定を流用するように指定したり、ランダムに設定するように指定したりすることもできる。
ステップＳ２２において、ユーザに対してキー画像の撮像が促される。これに応じて、ユーザが任意の人物を被写体として撮像を行うと、その画像がキー画像として画像解析部３１に入力される。なお、キー画像をその場で撮像するのではなく、保存されている画像の中からキー画像を指定するようにしてもよい。また、キー画像は１枚に限らず、複数であってもよい。
ステップＳ２３において、画像解析部３１の顔検出部４１は、キー画像から人物の顔を検出する。特徴量抽出部４３は、検出された顔の特徴量を抽出するとともに、その顔の表情、人物の年齢、人物の性別を推定し、その結果をクラスタリング処理部３３に出力する。
ステップＳ２４において、クラスタリング処理部３３は、データベース管理部３５にて管理される同一人物クラスタ群７１を参照することにより、キー画像において検出された顔の特徴量をその類似性に基づいていずれかの同一人物クラスタに決定し、決定した同一人物クラスタに付与されている人物ＩＤを特定して画像リスト生成部３６に通知する。
ステップＳ２５において、画像リスト生成部３６は、ステップＳ２１で選抜基準の関連人物画像／類似表情画像の設定がどちらに設定されているかを確認し、関連人物画像に設定されている場合、処理をステップＳ２６に進める。
ステップＳ２６において、画像リスト生成部３６は、データベース管理部３５により管理されるグループクラスタ群７３を参照することにより、キー画像の人物に対して特定された人物ＩＤが属するグループクラスタを特定し、特定したクループクラスタを構成する人物ＩＤ（キー画像の人物が属しているグループに属する人物の人物ＩＤ。キー画像の人物に対応する人物ＩＤも含む）を取得する。
ステップＳ２７において、画像リスト生成部３６は、データベース管理部３５により管理される登場人物対応表７２を参照することにより、取得した人物ＩＤの人物が写っている登録画像を抽出する。これにより、キー画像の人物に関連する人物が写っている登録画像が抽出される。さらに、画像リスト生成部３６は、抽出した登録画像の中から、ステップＳ２１で設定された選抜基準に基づき、総合評価値が大きい方から所定の枚数だけ登録画像を絞り込むことにより画像リストを生成する。
一方、ステップＳ２６において、類似表情画像に設定されていると確認された場合、処理はステップＳ２８に進められる。
ステップＳ２８において、画像リスト生成部３６は、データベース管理部３５により管理される登場人物対応表７２を参照することにより、キー画像の人物が写っており、その表情が類似している登録画像を抽出する。ここで、表情が類似している登録画像を抽出するには、顔の特徴量のうちの表情に関する成分を多次元ベクトルとみなした場合の差分（ユークリッド距離）が所定の閾値以下のものを選べばよい。さらに、画像リスト生成部３６は、抽出した登録画像の中から、ステップＳ２１で設定された選抜基準に基づき、総合評価値が大きい方から所定の枚数だけ登録画像を絞り込むことにより画像リストを生成する。
ステップＳ２９において、再生制御部３７は、画像リスト生成部３６にて生成された画像リストに含まされる登録画像を、ステップＳ２１で設定された再生順序に従って再生する。以上で再生処理は終了される。
以上に説明した再生処理によれば、キー画像の人物に関連深い人物（本人を含む）が写っている登録画像を選抜するか、またはキー画像の人物が同じ表情で写っている登録画像を選抜することができる。そして、選抜した登録画像を用いてスライドショーなどを実行することができる。
なお、再生処理は、上述したように、キー画像の被写体となる人物が写っている画像が登録画像に含まれていることを前提としているが、この前提は必須ではない。すなわち、キー画像の被写体となった人物が登録画像に写っていない場合にも、例えば、キー画像の被写体となった人物に似ている人物（親、子、兄弟のみならず、他人の場合もある）が写っている登録画像が選抜されるので、面白味のある画像リストを生成することができる。
また、登録処理および再生処理によれば、スライドショーにて画像を見せたい相手をキー画像として撮像することにより、当該相手に適した画像（例えば、本人のみならず、その家族の画像など）を選抜して提示することができる。あるいは、キー撮像時と同様の表情の画像を選抜して提示することができる。
＜３．第２の実施の形態＞
［コンピュータの構成例］
上述した第１の実施の形態であるデジタルスチルカメラ１０においては、デジタルスチルカメラ１０で撮像した画像を登録画像およびキー画像としていたが、第２の実施の形態であるコンピュータでは、入力される複数の画像を処理対象として登録処理を実行し、また外部から入力されるキー画像に基づいて再生処理を実行する。
図９は、第２の実施の形態であるコンピュータの構成例を示している。このコンピュータ１００において、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。
以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５およびバス１０４を介して、RAM１０３にロードして実行することにより、上述した登録処理と再生処理が行われる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
＜４．変形例＞
なお、上述した第１および第２の実施の形態は、上述した内容に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。また、以下のように拡張することが考えられる。
本発明は、スライドショーにおいて表示させる画像を選抜する場合だけでなく、例えば、写真集に載せる画像を選抜するような場合にも適用することができる。
また、キー画像を検索条件として、画像を検索する場合にも適用することができる。
さらに、複数の画像をキー画像とする場合、各キー画像に対応する選抜結果の論理和、または論理積をユーザに選択させて画像リストに反映させるようにしてもよい。これにより、例えば、キー画像として撮像した全員が写っている登録画像だけを選抜したり、キー画像として撮像した全員がそれぞれ個別に写っている登録画像を選抜したりすることができる。
また、人物を撮像したときに、その撮像画像をキー画像として採用し、撮像画像のレビュー表示とともに、保存されている画像から類似した表情の画像を選抜して表示するようにしてもよい。
さらに、キー画像の撮像タイミングをユーザの操作ではなくカメラ側に委ねるようにし、ファインダ画像内に人物が検出できたときにキー画像を撮像して、その人物に関連する画像や類似の表情の画像を選抜して表示するようにしてもよい。
またさらに、キー画像として、風景を採用するようにしてもよい。これにより、例えば、山を撮像したキー画像に基づいて、類似した山岳の画像を選抜したり、海を撮像したキー画像に基づいて、類似した海岸の画像を選抜したりすることができる。
１０ デジタルスチルカメラ， １１ 制御部， １２ メモリ， １３ 操作入力部，１４ 位置情報取得部， １６ 撮像部， ３１ 画像解析部， ３２ 評価値算出部， ３３ クラスタリング処理部， ３４ グループ推定部， ３５ データベース管理部， ３６ 画像リスト生成部， ３７ 再生制御部， ４１ 顔検出部， ４２ 特徴量抽出部， ４３ 構図検出部， １００ コンピュータ， １０１ CPU

Claims (12)

  1. 複数の登録画像の中から検索条件に対応する画像を選抜する情報処理装置において、
    画像に写っている人物の顔の特徴量を抽出する画像解析手段と、
    前記画像から抽出された前記顔の特徴量を、その類似性に基づいて、人物ＩＤが付与されているクラスタに分類する分類手段と、
    前記画像に写っている人物の顔に、その特徴量が分類された前記クラスタに付与されている前記人物ＩＤを対応付ける対応付け手段と、
    同一の前記画像に一緒に写っている頻度に基づき、前記登録画像に写っている人物が属するグループを推定する推定手段と、
    既に解析されて、写っている人物の顔に人物ＩＤが対応付けられ、前記人物が属するグループが推定されている複数の前記登録画像の中から、検索条件としてのキー画像に写っている人物と同一のグループに属すると推定されている人物が写っている画像を選抜する選抜手段と
    を含む情報処理装置。
  2. 前記画像解析手段による解析結果に基づき、前記登録画像の評価値を算出する算出手段をさらに含み、
    前記選抜手段は、複数の前記登録画像の中から、前記キー画像に写っている人物と同一のグループに属すると推定されている人物が写っている画像を前記評価値の順に選抜する
    請求項１に記載の情報処理装置。
  3. 前記算出手段は、前記登録画像の構図にも基づき、前記登録画像の評価値を算出する
    請求項２に記載の情報処理装置。
  4. 前記登録画像または前記キー画像のうち、少なくとも一方の画像を撮像する撮像手段を
    さらに含む請求項２に記載の情報処理装置。
  5. 複数の登録画像の中から検索条件に対応する画像を選抜する情報処理装置の情報処理方法において、
    前記情報処理装置により、
    前記登録画像に写っている人物の顔の特徴量を抽出し、
    複数の前記登録画像それぞれから抽出された前記顔の特徴量を、その類似性に基づいて、人物ＩＤが付与されているクラスタに分類し、
    前記登録画像に写っている人物の顔に、その特徴量が分類された前記クラスタに付与されている前記人物ＩＤを対応付け、
    同一の前記登録画像に一緒に写っている頻度に基づき、前記登録画像に写っている人物が属するグループを推定し、
    検索条件としてのキー画像に写っている人物の顔の特徴量を抽出し、
    前記キー画像から抽出された前記顔の特徴量を、その類似性に基づいて、人物ＩＤが付与されているクラスタに分類し、
    前記キー画像に写っている人物の顔に、その特徴量が分類された前記クラスタに付与されている前記人物ＩＤを対応付け、
    キー画像に写っている人物と同一のグループに属すると推定されている人物が写っている画像を選抜する
    ステップを含む情報処理方法。
  6. 複数の登録画像の中から検索条件に対応する画像を選抜する情報処理装置の制御用のプログラムであって、
    前記登録画像に写っている人物の顔の特徴量を抽出し、
    複数の前記登録画像それぞれから抽出された前記顔の特徴量を、その類似性に基づいて、人物ＩＤが付与されているクラスタに分類し、
    前記登録画像に写っている人物の顔に、その特徴量が分類された前記クラスタに付与されている前記人物ＩＤを対応付け、
    同一の前記登録画像に一緒に写っている頻度に基づき、前記登録画像に写っている人物が属するグループを推定し、
    検索条件としてのキー画像に写っている人物の顔の特徴量を抽出し、
    前記キー画像から抽出された前記顔の特徴量を、その類似性に基づいて、人物ＩＤが付与されているクラスタに分類し、
    前記キー画像に写っている人物の顔に、その特徴量が分類された前記クラスタに付与されている前記人物ＩＤを対応付け、
    キー画像に写っている人物と同一のグループに属すると推定されている人物が写っている画像を選抜する
    ステップを含む処理を情報処理装置のコンピュータに実行させるプログラム。
  7. 複数の登録画像の中から検索条件に対応する画像を選抜する情報処理装置において、
    画像に写っている人物の顔の表情を含む特徴量を抽出する画像解析手段と、
    前記画像から抽出された前記顔の特徴量を、その類似性に基づいて、人物ＩＤが付与されているクラスタに分類する分類手段と、
    前記画像に写っている人物の顔に、その特徴量が分類された前記クラスタに付与されている前記人物ＩＤを対応付ける対応付け手段と、
    既に解析されて、写っている人物の顔に人物ＩＤが対応付けられている複数の前記登録画像の中から、検索条件としてのキー画像に写っている人物がその表情と類似する表情で写っている画像を選抜する選抜手段と
    を含む情報処理装置。
  8. 前記画像解析手段による解析結果に基づき、前記登録画像の評価値を算出する算出手段をさらに含み、
    前記選抜手段は、複数の前記登録画像の中から、前記キー画像に写っている人物がその表情と類似する表情で写っている画像を前記評価値の順に選抜する
    請求項７に記載の情報処理装置。
  9. 前記算出手段は、前記登録画像の構図にも基づき、前記登録画像の評価値を算出する
    請求項８に記載の情報処理装置。
  10. 前記登録画像または前記キー画像のうち、少なくとも一方の画像を撮像する撮像手段を
    さらに含む請求項８に記載の情報処理装置。
  11. 複数の登録画像の中から検索条件に対応する画像を選抜する情報処理装置の情報処理方法において、
    前記情報処理装置による、
    複数の前記登録画像に写っている人物の顔の表情を含む特徴量を抽出し、
    前記登録画像から抽出された前記顔の特徴量を、その類似性に基づいて、人物ＩＤが付与されているクラスタに分類し、
    前記登録画像に写っている人物の顔に、その特徴量が分類された前記クラスタに付与されている前記人物ＩＤを対応付け、
    検索条件としてのキー画像に写っている人物の顔の表情を含む特徴量を抽出し、
    前記キー画像から抽出された前記顔の特徴量を、その類似性に基づいて、人物ＩＤが付与されているクラスタに分類し、
    前記キー画像に写っている人物の顔に、その特徴量が分類された前記クラスタに付与されている前記人物ＩＤを対応付け、
    前記キー画像に写っている人物がその表情と類似する表情で写っている画像を選抜する
    ステップを含む情報処理方法。
  12. 複数の登録画像の中から検索条件に対応する画像を選抜する情報処理装置の制御用のプログラムであって、
    複数の前記登録画像に写っている人物の顔の表情を含む特徴量を抽出し、
    前記登録画像から抽出された前記顔の特徴量を、その類似性に基づいて、人物ＩＤが付与されているクラスタに分類し、
    前記登録画像に写っている人物の顔に、その特徴量が分類された前記クラスタに付与されている前記人物ＩＤを対応付け、
    検索条件としてのキー画像に写っている人物の顔の表情を含む特徴量を抽出し、
    前記キー画像から抽出された前記顔の特徴量を、その類似性に基づいて、人物ＩＤが付与されているクラスタに分類し、
    前記キー画像に写っている人物の顔に、その特徴量が分類された前記クラスタに付与されている前記人物ＩＤを対応付け、
    前記キー画像に写っている人物がその表情と類似する表情で写っている画像を選抜する
    ステップを含む処理を情報処理装置のコンピュータに実行させるプログラム。
JP2009262513A 2009-11-18 2009-11-18 情報処理装置、情報処理方法、およびプログラム Withdrawn JP2011107997A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2009262513A JP2011107997A (ja) 2009-11-18 2009-11-18 情報処理装置、情報処理方法、およびプログラム
US12/925,427 US20110115937A1 (en) 2009-11-18 2010-10-20 Information processing apparatus, information processing method, and program
CN2010105441746A CN102065218A (zh) 2009-11-18 2010-11-11 信息处理装置、信息处理方法和程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009262513A JP2011107997A (ja) 2009-11-18 2009-11-18 情報処理装置、情報処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
JP2011107997A true JP2011107997A (ja) 2011-06-02

Family

ID=44000304

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009262513A Withdrawn JP2011107997A (ja) 2009-11-18 2009-11-18 情報処理装置、情報処理方法、およびプログラム

Country Status (3)

Country Link
US (1) US20110115937A1 (ja)
JP (1) JP2011107997A (ja)
CN (1) CN102065218A (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012004748A (ja) * 2010-06-15 2012-01-05 Toshiba Corp 電子機器及び動画像再生方法
JP2014093572A (ja) * 2012-10-31 2014-05-19 Buffalo Inc 画像処理装置及びプログラム
JP2015219904A (ja) * 2014-05-15 2015-12-07 富士ゼロックス株式会社 ユーザの人口統計学特性を推定する方法、コンピュータ・システム、及びプログラム
US9922239B2 (en) 2016-07-19 2018-03-20 Optim Corporation System, method, and program for identifying person in portrait
WO2018180588A1 (ja) * 2017-03-27 2018-10-04 株式会社日立国際電気 顔画像照合システムおよび顔画像検索システム
WO2019088651A1 (ko) * 2017-10-30 2019-05-09 명홍철 소스 비디오 내에서 관심 동영상을 추출하는 장치 및 방법
US11908192B2 (en) 2018-05-29 2024-02-20 Samsung Electronics Co., Ltd. Electronic device and control method therefor

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011109428A (ja) * 2009-11-18 2011-06-02 Sony Corp 情報処理装置、情報処理方法、およびプログラム
WO2011089884A1 (ja) * 2010-01-25 2011-07-28 パナソニック株式会社 画像分類装置、方法、プログラム、プログラムを記録する記録媒体及び集積回路
US8856656B2 (en) * 2010-03-17 2014-10-07 Cyberlink Corp. Systems and methods for customizing photo presentations
RU2543950C2 (ru) * 2011-12-28 2015-03-10 Кэнон Кабусики Кайся Устройство формирования изображения и способ управления указанным устройством
US9036069B2 (en) * 2012-02-06 2015-05-19 Qualcomm Incorporated Method and apparatus for unattended image capture
US9936114B2 (en) * 2013-10-25 2018-04-03 Elwha Llc Mobile device for requesting the capture of an image
JP6729678B2 (ja) * 2016-02-26 2020-07-22 日本電気株式会社 情報処理装置、容疑者情報生成方法及びプログラム
JP6885682B2 (ja) * 2016-07-15 2021-06-16 パナソニックｉ−ＰＲＯセンシングソリューションズ株式会社 監視システム、管理装置、及び監視方法
US10657189B2 (en) 2016-08-18 2020-05-19 International Business Machines Corporation Joint embedding of corpus pairs for domain mapping
US10642919B2 (en) 2016-08-18 2020-05-05 International Business Machines Corporation Joint embedding of corpus pairs for domain mapping
US10579940B2 (en) 2016-08-18 2020-03-03 International Business Machines Corporation Joint embedding of corpus pairs for domain mapping
US10489690B2 (en) * 2017-10-24 2019-11-26 International Business Machines Corporation Emotion classification based on expression variations associated with same or similar emotions

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030210808A1 (en) * 2002-05-10 2003-11-13 Eastman Kodak Company Method and apparatus for organizing and retrieving images containing human faces
US7362919B2 (en) * 2002-12-12 2008-04-22 Eastman Kodak Company Method for generating customized photo album pages and prints based on people and gender profiles
US7286723B2 (en) * 2003-06-27 2007-10-23 Hewlett-Packard Development Company, L.P. System and method for organizing images
JP4423131B2 (ja) * 2004-08-02 2010-03-03 キヤノン株式会社 情報管理装置
JP2006079220A (ja) * 2004-09-08 2006-03-23 Fuji Photo Film Co Ltd 画像検索装置および方法
JP2006295890A (ja) * 2005-03-15 2006-10-26 Fuji Photo Film Co Ltd アルバム作成装置、アルバム作成方法、及びプログラム
JP2007206920A (ja) * 2006-02-01 2007-08-16 Sony Corp 画像処理装置および方法、検索装置および方法、プログラム、並びに記録媒体
CN101021857A (zh) * 2006-10-20 2007-08-22 鲍东山 基于内容分析的视频搜索系统
JP4367663B2 (ja) * 2007-04-10 2009-11-18 ソニー株式会社 画像処理装置、画像処理方法、プログラム
JP5503921B2 (ja) * 2009-08-21 2014-05-28 ソニーモバイルコミュニケーションズ， エービー 情報端末、情報端末の情報制御方法及び情報制御プログラム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012004748A (ja) * 2010-06-15 2012-01-05 Toshiba Corp 電子機器及び動画像再生方法
US8494347B2 (en) 2010-06-15 2013-07-23 Kabushiki Kaisha Toshiba Electronic apparatus and movie playback method
JP2014093572A (ja) * 2012-10-31 2014-05-19 Buffalo Inc 画像処理装置及びプログラム
JP2015219904A (ja) * 2014-05-15 2015-12-07 富士ゼロックス株式会社 ユーザの人口統計学特性を推定する方法、コンピュータ・システム、及びプログラム
US9922239B2 (en) 2016-07-19 2018-03-20 Optim Corporation System, method, and program for identifying person in portrait
WO2018180588A1 (ja) * 2017-03-27 2018-10-04 株式会社日立国際電気 顔画像照合システムおよび顔画像検索システム
JPWO2018180588A1 (ja) * 2017-03-27 2020-01-16 株式会社日立国際電気 顔画像照合システムおよび顔画像検索システム
WO2019088651A1 (ko) * 2017-10-30 2019-05-09 명홍철 소스 비디오 내에서 관심 동영상을 추출하는 장치 및 방법
US11908192B2 (en) 2018-05-29 2024-02-20 Samsung Electronics Co., Ltd. Electronic device and control method therefor

Also Published As

Publication number Publication date
CN102065218A (zh) 2011-05-18
US20110115937A1 (en) 2011-05-19

Similar Documents

Publication Publication Date Title
JP2011107997A (ja) 情報処理装置、情報処理方法、およびプログラム
JP4924742B2 (ja) 画像処理装置及び方法、並びにプログラム
JP5735330B2 (ja) 画像処理装置および画像処理方法
US7868924B2 (en) Image capturing apparatus, image capturing method, album creating apparatus, album creating method, album creating system and computer readable medium
US8462224B2 (en) Image retrieval
US10839199B2 (en) Image selecting device, image selecting method, image pickup apparatus, and computer-readable medium
US8314854B2 (en) Apparatus and method for image recognition of facial areas in photographic images from a digital camera
US8762659B2 (en) Storage apparatus and method, program, and playback apparatus and method
US8786753B2 (en) Apparatus, method and program for selecting images for a slideshow from among a large number of captured images
US8861801B2 (en) Facial image search system and facial image search method
US10089532B2 (en) Method for output creation based on video content characteristics
CN101295354A (zh) 图像处理装置、成像装置、图像处理方法和计算机程序
JP2007041964A (ja) 画像処理装置
JP2006236218A (ja) 電子アルバム表示システム、電子アルバム表示方法、及び電子アルバム表示プログラム
JP2011517791A (ja) イベントマーカーとしての装飾
JP2008165700A (ja) 画像処理装置、電子機器、画像処理システム、画像処理方法、および、プログラム
US20120013783A1 (en) Photgraphing support system, photographing support method, server photographing apparatus, and program
JP4490214B2 (ja) 電子アルバム表示システム、電子アルバム表示方法、及び電子アルバム表示プログラム
JP4208450B2 (ja) 顔画像監視システム
JP2006079460A (ja) 電子アルバム表示システム、電子アルバム表示方法、電子アルバム表示プログラム、画像分類装置、画像分類方法、及び画像分類プログラム
JP6410427B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP6197063B2 (ja) 画像処理装置、重要人物判定方法、画像レイアウト方法ならびにプログラムおよび記録媒体
CN104935807B (zh) 摄像装置、摄像方法以及计算机可读取的记录介质
JP6221487B2 (ja) 情報処理装置、画像表示システム、情報処理装置における画像表示方法及びプログラム
JP2012104155A (ja) 画像処理装置及び方法、並びにプログラム

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20130205