JP2005202746A - 予測装置、予測方法及びプログラム - Google Patents

Abstract

【課題】 扱うデータ量及び処理の負荷を低減できる予測装置、予測方法及びプログラムを提供する。
【解決手段】 予め、統計量データベース３４に、夫婦関係にある男女の顔画像を結合（マージ）して一つのデータとした多数のサンプルからなる夫婦顔の固有空間Ａ（参照符号３６）を蓄積しておく。そして、データ作成手段１５が撮影手段１０で撮影した男女１組の顔画像を結合（マージ）して１つのデータとし、統計量算出手段１６が、固有空間Ａとの関係を統計量に基づいて計算し、判定手段１８が計算結果に基づいて男女の結婚可能性を判定し、表示手段２０が判定結果を表示する。
【選択図】 図１

Description

本発明は、互いの関係が未知である複数の対象間の関係を予測し、または、少なくとも１つの対象と所定関係にある対象を予測する予測装置、予測方法及びプログラムに関する。

従来、複数の対象間の関係を予測する場合、複数の対象のそれぞれを示す各データについて処理を行っている。例えば、２つの顔画像を用いてその２つの顔の相性を占う場合、各顔画像について、特徴量（顔の輪郭、眉、目、鼻、口の位置及び形状）を抽出し、人相学に基づいた典型的なパターンの顔の画像データ（人相データ）から一致する特徴部分が最も多い人相データを抽出し、この人相データに対応付けられた運勢や性格をこの顔画像の運勢や性格であると判定する。そして、２つの顔画像の判定結果を比較して、その２つの顔の相性を占う（特許文献１参照）。

特開２００３−６０９５６号公報

しかしながら、個々の画像データについてデータベース内の多数のデータとの比較を行った後、総合的な判定を行う場合、扱うデータ量が多く、処理の負荷が大きい。したがって、ＣＰＵの処理能力やメモリ容量に制限がある携帯端末等に搭載するには不向きである。

本発明は、上記事情に鑑みてなされたものであって、扱うデータ量及び処理の負荷を低減できる予測装置、予測方法及びプログラムを提供することを目的とする。

本発明の予測装置は、互いの関係が未知である複数の対象間の関係を予測する予測装置であって、互いの関係が既知である複数の対象を示す各データをマージした場合の統計量データと、互いの関係が未知である複数の対象を示す各データをマージしたデータとを比較する手段と、比較結果に基づいて互いの関係が未知である複数の対象間の関係を判定する手段とを備える。

上記構成によれば、互いの関係が既知である複数の対象を示す各データをマージした場合の統計量データと、互いの関係が未知である複数の対象を示す各データをマージしたデータとを比較する手段を備えることにより、複数のデータをマージした場合の統計量データとの比較により互いの関係が未知である複数の対象間の関係を予測することができるため、複数のデータのそれぞれを比較する従来技術に比べて扱うデータ量及び処理の負荷を低減できる。

また、本発明の予測装置は、少なくとも１つの対象と所定関係にある対象を予測する予測装置であって、互いの関係が既知である複数の対象を示す各データをマージした場合の統計量データと少なくとも１つの対象を示すデータとを比較する手段と、比較結果に基づいて少なくとも１つの対象と所定関係にある対象を特定する手段とを備える。

上記構成によれば、互いの関係が既知である複数の対象を示す各データをマージした場合の統計量データと少なくとも１つの対象を示すデータとを比較する手段を備えることにより、複数のデータをマージした場合の統計量データを利用した比較により所定関係にある対象を予測することができるため、扱うデータ量及び処理の負荷を低減できる。

また、本発明の予測装置は、複数の対象間の関係を予測する予測装置であって、互いの関係が既知である複数の対象を示す各データをマージした場合の統計量データを複数格納するデータベースと、予測対象となる複数の対象を示す各データをマージしたデータを作成する作成手段と、作成したデータと前記データベースに格納された統計量データとの間の関係を統計量に基づいて計算する計算手段と、計算結果に基づいて予測結果を判定する判定手段と、を備える。

上記構成によれば、作成したデータとデータベースに格納された統計量データとの間の関係を統計量に基づいて計算する計算手段を備えることにより、複数の対象を示す各データをマージした場合の統計量データとの比較により互いの関係が未知である複数の対象間の関係を予測することができるため、複数のデータのそれぞれを比較する従来技術に比べて扱うデータ量及び処理の負荷を低減できる。

また、本発明の予測装置は、少なくとも１つの対象と所定関係にある対象を予測する予測装置であって、互いの関係が既知である複数の対象を示す各データをマージした場合の統計量データを複数格納するデータベースと、予測対象を示すデータと前記データベースに格納された統計量データとの関係を統計量に基づいて計算する計算手段と、計算結果に基づいて所定関係にある対象を特定する特定手段と、を備える。

上記構成によれば、予測対象を示すデータと前記データベースに格納された統計量データとの関係を統計量に基づいて計算する計算手段を備えることにより、複数のデータをマージした場合の統計量データを利用した比較により所定関係にある対象を予測することができるため、扱うデータ量及び処理の負荷を低減できる。

また、本発明の予測装置は、予測対象を示すデータから顔領域を抽出する抽出手段を備える。

また、本発明の予測方法は、互いの関係が未知である複数の対象間の関係を予測する予測方法であって、互いの関係が既知である複数の対象を示す各データをマージした場合の統計量データと、互いの関係が未知である複数の対象を示す各データをマージしたデータとを比較し、比較結果に基づいて複数の対象間の関係を判定する。

また、本発明の予測方法は、少なくとも１つの対象と所定関係にある対象を予測する予測方法であって、互いの関係が既知である複数の対象を示す各データをマージした場合の統計量データと少なくとも１つの対象を示すデータとを比較し、比較結果に基づいて少なくとも１つの対象と所定関係にある対象を特定する。

また、本発明のプログラムは、互いの関係が未知である複数の対象間の関係を予測するプログラムであって、コンピュータを、互いの関係が既知である複数の対象を示す各データをマージした場合の統計量データと、互いの関係が未知である複数の対象を示す各データをマージしたデータとを比較する手段、比較結果に基づいて複数の対象間の関係を判定する手段として機能させる。

さらに、本発明のプログラムは、少なくとも１つの対象と所定関係にある対象を予測するプログラムであって、コンピュータを、互いの関係が既知である複数の対象を示す各データをマージした場合の統計量データと少なくとも１つの対象を示すデータとを比較する手段、比較結果に基づいて少なくとも１つの対象と所定関係にある対象を特定する手段として機能させる。

本発明によれば、複数のデータをマージした場合の統計量データを利用して複数の対象間の関係を予測したり所定関係にある対象を予測することができるため、扱うデータ量及び処理の負荷を低減できる。

（第１の実施形態）
図１は、本発明の第１の実施形態を説明するための顔画像占い装置の構成を示すブロック図である。本発明は、複数の対象間の関係を予測するものであるが、本実施形態では、撮影した一組の男女の顔画像に基づいて、２人が結婚するかどうかを予測する顔画像占い装置について説明する。

図１に示す顔画像占い装置は、予測対象を示す画像を撮影する撮影手段（カメラ）１０と、画像メモリ１２と、予測対象を示すデータから顔領域を抽出する顔検出手段１１及び顔切り出し手段１４と、予測対象となる複数の対象を示す各データをマージしたデータを作成するデータ作成手段１５と、互いの関係が既知である複数の対象を示す各データをマージした場合の統計量データを複数格納する統計量データベース３４と、データ作成手段１５が作成したデータと統計量データベース３４に格納された統計量データとの間の関係を統計量に基づいて計算する統計量算出手段１６と、計算結果に基づいて予測結果を判定する判定手段１８と、判定結果を出力する表示手段２０とを有している。なお、統計量データベース３４は、データベース用メモリ２４０に格納されている。

撮影手段（カメラ）１０は、占い対象となる一組の男女の画像（顔画像を含む）を撮影するものである。一組の男女の顔画像は、２人が同時に写っている画像でもよいし、各人が写っている１枚ずつの画像でもよい。なお、画像を他の機器から入力してもよい。画像メモリ１２は、男女の画像を一時的に記憶するものである。顔切り出し手段１４は、画像中の顔の部分を認識して顔画像の一部を切り出すものである。入力手段１９は、各画像に対して男の顔画像であるか女の顔画像であるかを指定するためのものである。

データ作成手段１５は、切り出された画像データ同士を結合（マージ）して一つのベクトルデータ（統計量）とするものである。統計量算出手段１６は、データ作成手段１５で作成したデータと、統計量データベース３４に蓄積されている統計量（固有空間Ａ（参照符号３６））を使って、所定の統計計算（例えば、夫婦顔の固有空間Ａとの距離を求める計算）を実行する（この点については、後述する）。判定手段１８は、統計計算の結果から、２人が結婚する可能性を判定するものである。表示手段２０は、その判定結果（予測結果）を表示するものである。

統計量データベース３４は、夫婦の顔画像をマージした場合の統計量データ（固有空間Ａ）を複数格納するものである。固有空間Ａの作成は、以下のように行われる。夫婦の顔画像を１つのデータにマージしたものを、例えば、2000組作成する。これをXj（jは1〜2000の整数、Xは600次元ベクトル）と表現する。600次元ベクトルの内、前半300次元分は男性の顔画像（15×20画素）の各画素（の輝度値）を並べたもの、後半300次元は女性の顔の各画素（の輝度値）を並べたものとする。次に、Xjの張る空間の主成分を求め、寄与率が大きい順に50個の主成分（ベクトル）を並べて固有空間Ａ（600×50の行列）を求める。そして、固有空間Ａ（参照符号３６）を、統計量データベース３４に蓄積する。

統計量算出手段１６は、データ作成手段１５で作成したデータと、統計量データベース３４に保存されている統計量（夫婦顔の固有空間Ａ）とを使用して、データ作成手段１５で作成したデータｙと固有空間A（行列）との距離H（データ作成手段１５で作成したデータと統計量データベース３４に保存されている統計量との間の関係）を求める。

ただし、A’はAの転置行列とし、mは、統計量算出の基本となった母集団Xjの平均ベクトルとする。

図２は、顔切り出し手段１４による顔切り出しの例を示す図である。参照符号ＣＴ１は、画像メモリ１２に記憶されている顔全体の画像ＦＣ１から切り出される領域を示している。図２（ａ）は顔全体を含む画像を示し、図２（ｂ）は切り出された顔画像を示している。

顔の切り出しに際しては、あらかじめ、顔領域を定義しておく。例えば、右目と左目の間の距離Ｌを基準にして、横1.5L×縦２L画素を顔領域とする。顔領域を所定の画素数（横Ｎ画素×縦Ｍ画素）に縮小したもの（つまり、切り出したもの）を、マージ（結合）対象の顔画像とする。ここでは、Ｎ=15，Ｍ＝20とする。したがって、男女の顔画像は、それぞれ300画素（15×20）である。したがって、夫婦の顔画像を１つのデータにマージしたデータは、600次元ベクトルとなり、600次元ベクトルの内、前半300次元分は男性の顔画像（15×20画素）の各画素（の輝度値）を並べたもの、後半300次元は女性の顔の各画素（の輝度値）を並べたものとなる。

本実施形態では、互いの関係が既知である複数の対象を示す各データ（夫婦の顔画像データ）をマージした場合の統計量データと、互いの関係が未知である複数の対象を示す各データ（予測対象となる男女の顔画像データ）をマージしたデータとを比較し、比較結果に基づいて複数の対象間の関係（結婚の可能性）を判定するため、取り扱うデータ量を低減でき、メモリ使用量や処理の負荷を低減できる。また、本実施形態では、人物の顔の輪郭や目、口、鼻といった各パーツの正確な形状判断が不要であり、顔の一部を切り出したデータを用いて結婚の可能性を予測することができるため、扱うデータ量を一層低減でき、より高速な処理が可能となる。

図３は、第１の実施形態の顔画像占い装置の動作（処理手順）を示すフロー図である。 まず、撮影手段１０が、二人の顔（を含む部位）を撮影する（Ｓ５０）。次に、二人の画像から、顔検出手段１１が、顔領域を検出し（Ｓ５１）、顔切り出し手段１４が、二人の顔画像を切り出す（Ｓ５２）。切り出された顔画像は、画像メモリ１２に一時的に記憶される。入力手段（操作キー）１９によって、男性の顔又は女性の顔のいずれであるかが指定される（Ｓ５３）。

次に、データ作成手段１５が、画像メモリ１２から二人の顔画像を取り出し、二人の顔画像をマージ（結合）して１つのデータとする（Ｓ５４）。統計量算出手段１６が、データ作成手段１５で作成したデータと、統計量データベース３４に保存されている統計量（ここでは、夫婦顔の固有空間Ａ）とを使用して、所定の統計計算を実施する（Ｓ５５）。

次に、判定手段１８は、統計計算の結果として得られた距離Hの逆数を正規化した値を求める。この値は、二人が結婚する可能性を示す情報である。この値に基づいて、判定手段１８が二人の結婚可能性を判定し（例えば、所定のしきい値と比較する）、判定結果を表示手段２０に出力する（Ｓ５６）。そして、表示手段２０が、判定結果を表示する（Ｓ５７）。

このように、本実施形態の顔占い診断装置では、男女２人の顔画像を一つのベクトルデータとして扱い、数回の四則演算を実行して占いの結果（予測結果）を出すことができるため、扱うデータ量や計算量を抑えることができる。また、顔画像としては、例えば目の位置を基準に矩形領域を切り出すだけでよく、輪郭などを正確に切り出す必要がないため、さらにメモリ容量の削減や高速な処理を実現することができる。

図４は、第１の実施形態の顔画像占い装置を搭載したカメラ付き携帯電話端末装置の外観を示す斜視図であり、（ａ）は正面（上側筐体のＡ面）側から見た斜視図、（ｂ）は裏面（上側筐体のＢ面）側から見た斜視図である。図４（ａ），（ｂ）に示されるように、カメラ付き携帯電話端末装置は、折り畳み式の携帯電話端末装置であり、上側筐体１００と下側筐体１０２を折り畳むことができる。また、上側筐体１００の表面（Ａ面）および裏面（Ｂ面）に、それぞれ、表示部（液晶ディスプレイ等）２０ａ，２０ｂを備える。これにより、筐体の開閉状態にかかわらず、画像を視認可能になっている。図４（ａ）において、参照符号６０はマイク（送話器）であり、参照符号７０はスピーカ（受話器）であり、参照符号８０は操作キー（図１の入力手段１９に相当する）である。また、図４（ｂ）に示すように、表示部２０ｂの下側に、カメラ（撮影手段）１０が設けられている。このカメラ１０で撮影した画像は、表示部２０ａ，２０ｂに表示される。

図５は、図４のカメラ付き携帯電話端末装置の構成を示すブロック図である。図示されるように、顔画像占い装置を搭載しているカメラ付き携帯電話端末装置は、カメラ（撮影手段）１０と、画像メモリ１２と、表示部２０ａ，２０ｂと、マイク６０と、スピーカ７０と、操作キー８０（図１の入力手段１９に相当する）と、アンテナ２００と、電池（バッテリー）２１０と、筐体の開閉状態を検知するためのホール素子２２０と、データベース用メモリ２４０（統計量データベースが記憶されている）と、制御部２５０（ＣＰＵ２６０およびメモリ２７０）と、を備える。

制御部２５０のＣＰＵ２６０が、顔画像占い用のプログラム（アプリケーションソフト）に従って動作することによって、顔画像占い装置として機能する。

本実施形態の顔画像占い装置をカメラ付き携帯電話端末に搭載することによって、カメラで撮影した画像を用いて、手軽に顔画像占いを実施することができる。また、占い結果をきっかけとして、コミュニケーションが活発化されることも期待できる。したがって、携帯端末（携帯電話端末の他、ＰＤＡやゲーム専用機等も含む）に、高い付加価値を付与することができる。

（第２の実施形態）
第１の実施形態では、予測対象となる複数の顔画像データをマージした結果（作成したデータ）と夫婦顔の固有空間（データベースに格納された統計量データ）との距離を求めて、作成したデータとデータベースに格納された統計量データとの間の関係を計算したが、本実施形態では、人物間の相性の度合いに応じてクラス分けされた統計量をデータベース化しておき、入力されたデータと各クラスとの近似度を求めることによって、作成したデータとデータベースに格納された統計量データとの間の関係を計算する。この計算結果に基づいて、人物間の相性度を判定し、結果を出力する。

人が相手に抱く印象は、外観（顔、服装、持ち物、しぐさ等）に依存するところが大きいが、容姿（特に顔立ち）が人に与える印象は、その中でも大きい。したがって、人物間（ここでは二人）の相性について、あらかじめ大量のサンプルが得られれば、相性の良い顔の組合せ（つまり、相性が良いグループに共通する特徴をもつ顔の組合せ）と、相性の悪い顔（相性が悪いグループに共通する特徴をもつ顔の組合せ）と、を区別（分類）することができると考えられる。

つまり、仲の良い顔の組み合わせの統計量（クラス）と、仲の悪い顔の組み合わせの統計量（クラス）が最も分離されるように、二人の顔の判別特徴空間を構成しておけば、入力データの、二人の顔の判別特徴空間上における位置（つまり、仲の良い組の作る分布と、悪い組の作る分布のどちらに近いか）を求めることで、統計的に見た二人の相性度を判定することができる。

図６は、本発明の第２の実施形態を説明するための顔画像占い装置の構成を示すブロック図である。なお、図６において、図１と同じ部分（共通する部分）には、同一の参照符号を付してある。同図において、統計量データベース３４内に、判別特徴空間Ｂ（参照符号３８）蓄積されている点が図１と異なる。

統計量データベース３４は、相性の度合いに応じてグルーピングされた多数のサンプル（統計データ）に基づいて作成された、クラスＡ〜クラスＤの特徴行列からなる判別特徴空間Ｂが構築されている。クラスＡ〜Ｄは、それぞれ、仲の良さの度合が「0〜25%」，「25%〜50%」，「50%〜75%」，「75%〜100%」に対応している。特徴判別空間の作成方法については、後述する。

統計量算出手段１６は、データ作成手段１５で作成したデータと、統計量データベース３４に蓄積されている判別特徴空間ＢのクラスＡ〜Ｄの各々とを照合して近似度（統計量）を算出する。判定手段１８は、統計計算の結果から、二人の相性の度合いを判定する。相性の度合いの判定方法としては、各クラスの平均位置との距離から、どのクラスに属しているかを判断する方法がある。この場合は、最も近いクラスの数値が、二人の仲の良さ度合いを示す。各クラスとの距離比から一定の重みつき和を算出して総合的に判断することもできる。

本実施形態では、二人の画像の合成ベクトルをデータベースの統計量と照合して相性を占うため、相手（二人のうちの一人）が変わると相性の度合いも変化する。よって、相手を変えることで、何回でも、顔占いによる相性診断を楽しむことができる。上記の例では、相性の度合いを占っているが、これに限定されるものではなく、例えば、結婚（または交際）した結果、ハッピーな結果になった顔の組み合わせのクラスと、不幸な結果に終わった顔の組み合わせのクラスとの近似度を判定することで、結婚生活や交際後の運命を占うことができる。

以下、統計量データベース３４に蓄積する判別特徴空間の作成方法の具体例について説明する。まず、事前処理として、仲の良さの度合いに応じた一組の人物の顔画像のサンプルを大量に収集する。ここで、各サンプルについて、仲の良さの度合いをあらかじめ数値化（例：仲の良さ度合い＝８０％）しておく。次に、二人の顔から特徴量を抽出し、それらを合成して特徴ベクトル作成する。特徴量は、例えば、濃淡、特徴点位置関係、周波数成分等に関するものである。次に、仲の良さ度合いでクラス分けを行い、判別特徴空間を作成する。例えば、仲の良さ度合が、0〜25%のクラス、25%〜50%のクラス、50%〜75%のクラス、75%〜100%のクラス（クラスＡ〜Ｄ）に分ける。判別特徴空間を構成する手法としては線形判別分析がある。ここで、線形判別分析とは、Fisherの多クラス版の分析手法であり、クラス間分散を最大に、クラス内分散を最小にするよう空間を構成するものである。具体的には、下記の行列Aを求めて判別特徴空間を構成する。結果の行列Aを統計量として保存しておく。

まず、多数のデータをK個のクラスに分類しておく（データｘはＭ次元である）。例えば、夫と妻の15×20画素の顔画像の画素を並べたもの（2人合わせて600画素）を１つのデータとし、仲の良さ度合で2000組の夫婦を4個のクラスに分類したときはM=600、K=4である。次に、下記の固有値問題を解いて固有ベクトル行列Aを求める。

この式において、左辺の左端の変数がクラス間共分散行列（M×M）で、右辺の左端の変数がクラス内共分散行列（M×M）を表す。また、Λは、対角要素が固有値でそれ以外の要素が０になる行列であり、固有値問題の解として行列Aと共に算出されるものである。Aは、固有値問題の解として算出された固有ベクトルを、固有値が大きい順にN個並べたものである（M×N次元）。なお、Nは、K−1以下で、かつ、M以下の値にする。この例の場合には、Nは３以下にする。

ｋ番目のクラスのデータ数をNk、ｋ番目のクラスのデータの平均をｍｋ、全データの平均をｍ、ｋ番目のクラスのｊ番目のデータをｘkjと表すとき、クラス間共分散行列はすべてのｋに対するNk（ mk - m ）( mk - m )’の総和になり、クラス内共分散行列はすべてのｋ、ｊに対する( ｘkj - mk )( xkj - mk )’の総和になる。

次に、行列Aが下記の式を満足するように修正することで、固有ベクトルAを正規化する。なお、A’はAの転置行列を表す。

この行列Aを用いて、ｙ＝A’ｘを実行して、判別特徴空間への写像を行う。

ここで、ｘは、結合（マージ）された一つのデータ（M次元）であり、また、ｙは、出力（N次元）であり、A’は、統計量として保存した行列Aの転置行列である。この写像によって、入力特徴量（二人分の顔特徴ベクトル）が、クラス（仲の良さ度合い）間分散を大きく、クラス内分散を小さくするような特徴空間へ写像される。

ｙを使って相性度合を判定するときは、例えば、次のような処理をすればよい。仲のよさによって４つのクラス（仲のよさ０〜２５％、２５〜５０％、５０〜７５％、７５〜１００％）に分けていた場合を例にとると、それぞれのクラスの中心ｍ25, m50, m75, m100とｙとを比較し、その差が最も小さくなるクラスを相性度合のクラスとすればよい。

図７は、線形写像の例を示す図であり、次元を減じると共にクラス間の分離を最大限強調する写像の例を示す。図７（ａ）では、Ｓ軸およびＴ軸で規定される２次元の空間において、２つのクラス（Ｃ１，Ｃ２）が定義されている。上記写像を行うと、図７（ｂ）に示されるように、２つのクラス（Ｃ１，Ｃ２）を各々、Ｕ軸（１次元）上に写像することができる。この写像により、２つのクラス（Ｃ１，Ｃ２）は、Ｕ軸上の領域（Ｋ１，Ｋ２）に変換される。

図８は、第２の実施形態の顔画像占い装置の動作手順を示すフロー図である。まず、撮影手段１０により、二人の顔（を含む部位）を撮影する（Ｓ５００）。撮影された画像は、画像メモリ１２に一時的に記憶される。次に、二人の画像から、顔検出手段１１が、顔領域を検出する（Ｓ５０１）。顔切り出し手段１４が、二人の顔画像を切り出す（Ｓ５０２）。切り出した後、濃淡で表現されている顔画像を、特徴点、位置関係、周波数成分などの特徴量に変換してもよい。切り出された顔画像（あるいは、抽出された特徴量）は、画像メモリ１２に一時的に記憶される。入力手段（操作キー）１９によって、男性の顔又は女性の顔のいずれであるかが指定される（Ｓ５０３）。

次に、データ作成手段１５が、画像メモリ１２から二人の顔画像を取り出し、二人の顔画像をマージ（結合）して１つのデータとする（Ｓ５０４）。統計量算出手段１６が、データ作成手段１５で作成したデータと、統計量データベース３４に保存されている統計量（ここでは、判別特徴空間Ｂ）とを用いて、所定の統計計算を実施する（Ｓ５０５）。

次に、判定手段１８は、統計計算の結果に基づいて、二人の相性の度合いを判定し、判定結果を表示手段２０に出力する（Ｓ５０６）。そして、表示手段２０が、判定結果を表示する（Ｓ５０７）。

このように、本実施形態の顔占い診断装置では、顔画像を一つのベクトルデータとして扱い、数回の四則演算を実行して占いの結果（予測結果）を出すことができるため、扱うデータ量や計算量を抑えることができる。また、顔画像としては、例えば目の位置を基準に矩形領域を切り出すだけでよく、輪郭などを正確に切り出す必要がないため、さらにメモリ容量の削減や高速な処理を実現することができる。

また、判別特徴空間に複数のクラスを設け、入力されたデータとの近似度を判定することで、複数の対象間の関係（入力された二人の顔画像間の関係）を、より細かく判定することができる。なお、本実施形態の顔画像占い装置を携帯端末に搭載しても良い。

（第３の実施形態）
本実施形態の顔画像占い装置は、少なくとも１つの対象と所定関係にある対象を予測するものであり、例えば、入力された男性の顔画像と理想的な相性の女性の顔画像を予測する。

複数の人物（例えば二人の人物）の相性について、あらかじめ大量のサンプルが得られれば、例えば、相性の良い顔、悪い顔の組み合わせを統計的に分析することが可能である。したがって、相性の良い組の二人の顔の相関を統計的にモデル化しておくことで、一人の顔に対して統計的に相性の良い顔を、相関モデルから計算できる。相性の悪い相手も同様に計算することが可能となる。例えば、ベイズの定理（事後確率を事前確率で表した定理）を用いて事後確率密度関数を利用した演算を行うことで、入力顔画像Ａにとって、相性が良い組み合わせである（Ａ，Ｂ）対象顔画像Ｂを、統計モデルからみた期待値として一義的に定義することができる。

図９は、本発明の第３の実施形態を説明するための顔画像占い装置の構成を示すブロック図である。同図において、図１と同じ部分（共通する部分）には、同一の参照符号を付してある。以下、顔占い診断装置は、入力された画像に基づき、相性の良い異性の顔を推定して表示する例を説明する（ただし、これに限定されるものではない）。

図９において、撮影手段（カメラ）１０で撮影された顔（を含む部位）の画像ＤＡは、画像メモリ１２に一旦、蓄積され、顔検出手段（図９では不図示：図１，図６を参照）１１で顔の検出がなされた後、顔切り出し手段１４により切り出されて顔画像が得られる。

ここで、ユーザーが、入力画像が男性、女性のいずれの顔画像であるかを指定する。統計量取り出し手段２１は、予測対象を示すデータと統計量データベース３４に格納された統計量データとの関係を統計量に基づいて計算し、統計量データベース３４に格納されている所望の統計量（入力画像が男性の顔である場合には、女性の顔を推定するための統計量、逆の場合には、男性の顔を推定するための統計量）を取り出す。統計量取り出し手段２１は、具体的には、ベイズの公式（事後確率を事前確率で表現した公式）によって得られる事後確率密度関数を取り出す。

この事後確率密度関数は、図９の右側に示される一組の男女間の相関関係を示す相関モデル（図中のQ1、Q2）であり、相関モデルQ1を用いれば、男性の顔画像P1から女性の顔画像P2の期待値を求めることができ、相関モデルQ2を用いれば、女性の顔画像P2から男性の顔画像P1の期待値を求めることができる（この点は後述する）。

顔画像データ算出手段２３は、顔画像と統計量（事後確率密度関数）とを用いて所定の演算（期待値を求める演算）を行い、相性の良い相手の顔画像を特定する。特定された顔画像（ここでは、女性の顔画像とする）は表示手段２０に表示される。

次に、統計量データベース３４を作成する手順について説明する。相関モデル作成のために、仲の良さの度合い（仲が良い／悪いという主観的な判断のみでもよい）に応じた一組の男女の顔画像のサンプルを大量に収集し、二人の顔から特徴量を抽出して、2人の顔の特徴量を１つのセットにして特徴ベクトルを作成する。ここで、特徴量として、濃淡、特徴点位置関係、周波数成分等を用いる。

次に、一方の顔を入力サンプルX、もう一方の顔を出力サンプルYとしてベイズ関数近似の学習を行い、相関モデルを作成する。具体的には、平均ベクトルμや共分散行列Σを求める。

これらの相関モデルを用いると、以下のように、一つの画像から、他方の画像の期待値E[Y]を求めることができる。確率分布を単一正規分布とし、ベイズの公式によって得られる事後確率密度関数を用いて、入力Ｉが観測されたときの出力Ｙの期待値E[Y]を求めると、E[Y]は次の式のようになる。ここで、Xは学習時の入力である。

ここで、μｒ，μｘは、XおよびYの平均ベクトルである。また、Σ(x,y)は、XとYの共分散行列（Ｎ×Ｍ次元）である。また、Σxは、Xの共分散行列（Ｎ×Ｎ次元）である。ただし、Ｎは入力Ｉの次元数、Ｍは出力Yの次元数である。これらは、上記のとおり、予め計算されて統計量として保存されている。

次に、切り出された顔画像（入力サンプル）と、推定された相手の顔画像（出力サンプル）の関係について説明する。

図１０は、入力画像の一部を切り出す領域（入力サンプルの領域）と出力画像の顔領域（出力サンプルの領域）との関係を説明するための図であり、（ａ）は、入力画像の一部を切り出す領域（入力サンプルの領域）を示し、（ｂ）は、出力画像の顔領域（出力サンプルの領域）を示す。入力サンプルの顔領域と出力サンプルの顔領域は、必ずしも一致しなくてもよい。例えば、図１０（ａ）に示すように、入力サンプルについては、右目と左目の間の距離Lを基準に、入力サンプルの顔領域I1，I2（横２L画素×縦L画素＋横Ｌ×縦２Ｌ画素）を定義し、一方、図１０（ｂ）に示すように、出力サンプルの顔領域CO（横３Ｌ画素×縦３Ｌ画素）を定義しておくこともできる。顔領域を切り出して縮小することで入力サンプルを作成するが、入力サンプルの縮小後の画素数を横16×縦8画素＋横5×縦10画素とし、一方、出力サンプルの縮小後の画素数を25×25画素にするなど、別々に、柔軟に定義することができる。

図１１は、本発明の第３の実施形態の顔画像占い装置の動作手順を説明するためのフロー図である。まず、撮影手段（カメラ）１０を用いて、顔（を含む部位）の画像を撮影する（Ｓ６０１）次に、顔の画像から、顔検出手段１１が顔領域を検出し、続いて、顔切り出し手段１４が、顔画像を切り出す（Ｓ６０２）。このとき、切り出した後、濃淡で表現している顔画像を特徴点位置関係、周波数成分などの特徴量に変換してもよい。次に、撮影した顔が男性か女性かを指定する（Ｓ６０３）。このとき、切り出した顔画像が入力データＩとなり（Ｓ６０４）、男女の顔の別を判定した後（Ｓ６０５）、統計量取り出し手段２１が、所望の統計量（事後確率密度関数のμやΣ）を統計量データベース３４から取り出す（Ｓ６０６，Ｓ６０７）。

顔画像データ算出手段２３が、切り出した顔画像（入力Ｉ）と、あらかじめ保存しておいた統計量（μ、Σ）を使って、所定の統計計算を行い、理想の相手の顔画像を特定する（Ｓ６０８）。なお、上述したように、撮影した顔が男性か女性かによって、統計量を切り替える。表示手段２０が、特定された顔画像を表示する（Ｓ６０９）。

このように、本実施形態によれば、複数のデータをマージした場合の統計量データを利用した比較により、少ないデータ量で、入力された顔画像と所定関係にある顔画像を予測することができる。上記の例では、理想的な相性の異性の顔を予測しているが、これに限定されるものではなく、例えば、理想の同性の友達の顔を推定することもできる。なお、第２及び第３の実施形態の顔画像占い装置を、第１の実施形態と同様に携帯端末に搭載しても良い。

本発明の予測装置、予測方法及びプログラムは、扱うデータ量及び処理の負荷を低減できる効果を有し、互いの関係が未知である複数の対象間の関係を予測し、少なくとも１つの対象と所定関係にある対象を予測する技術等に有用である。

本発明の第１の実施形態を説明するための顔画像占い装置の構成を示すブロック図 顔切り出し手段による顔切り出しの例を示す図であり、（ａ）は顔全体を含む画像、（ｂ）は切り出された顔画像 第１の実施形態の顔画像占い装置の動作（処理手順）を示すフロー図 第１の実施形態の顔画像占い装置を搭載したカメラ付き携帯電話端末装置の外観を示す斜視図であり、（ａ）は正面（上側筐体のＡ面）側から見た斜視図、（ｂ）は裏面（上側筐体のＢ面）側から見た斜視図 図４のカメラ付き携帯電話端末装置の構成を示すブロック図 本発明の第２の実施形態を説明するための顔画像占い装置の構成を示すブロック図 線形写像の例を示す図 第２の実施形態の顔画像占い装置の動作手順を示すフロー図 本発明の第３の実施形態を説明するための顔画像占い装置の構成を示すブロック図 入力画像の一部を切り出す領域と出力画像の顔領域との関係を説明するための図 本発明の第３の実施形態の顔画像占い装置の動作手順を説明するためのフロー図

符号の説明

１０ 撮影手段（カメラ）
１１ 顔検出手段
１２ 画像メモリ
１４ 顔切り出し手段
１５ データ作成手段
１６ 統計量算出手段
１８ 判定手段
１９ 入力手段
２０ 表示手段
３４ 統計量データベース
２４０ 統計量データベース用メモリ

Claims (9)

1. 互いの関係が未知である複数の対象間の関係を予測する予測装置であって、
   互いの関係が既知である複数の対象を示す各データをマージした場合の統計量データと、互いの関係が未知である複数の対象を示す各データをマージしたデータとを比較する手段と、比較結果に基づいて互いの関係が未知である複数の対象間の関係を判定する手段とを備える予測装置。
2. 少なくとも１つの対象と所定関係にある対象を予測する予測装置であって、
   互いの関係が既知である複数の対象を示す各データをマージした場合の統計量データと少なくとも１つの対象を示すデータとを比較する手段と、比較結果に基づいて少なくとも１つの対象と所定関係にある対象を特定する手段とを備える予測装置。
3. 複数の対象間の関係を予測する予測装置であって、
   互いの関係が既知である複数の対象を示す各データをマージした場合の統計量データを複数格納するデータベースと、
   予測対象となる複数の対象を示す各データをマージしたデータを作成する作成手段と、
   作成したデータと前記データベースに格納された統計量データとの間の関係を統計量に基づいて計算する計算手段と、
   計算結果に基づいて予測結果を判定する判定手段と、
   を備える予測装置。
4. 少なくとも１つの対象と所定関係にある対象を予測する予測装置であって、
   互いの関係が既知である複数の対象を示す各データをマージした場合の統計量データを複数格納するデータベースと、
   予測対象を示すデータと前記データベースに格納された統計量データとの関係を統計量に基づいて計算する計算手段と、
   計算結果に基づいて所定関係にある対象を特定する特定手段と、
   を備える予測装置。
5. 請求項３又は４に記載の予測装置において、
   予測対象を示すデータから顔領域を抽出する抽出手段を備える予測装置。
6. 互いの関係が未知である複数の対象間の関係を予測する予測方法であって、
   互いの関係が既知である複数の対象を示す各データをマージした場合の統計量データと、互いの関係が未知である複数の対象を示す各データをマージしたデータとを比較し、比較結果に基づいて互いの関係が未知である複数の対象間の関係を判定する予測方法。
7. 少なくとも１つの対象と所定関係にある対象を予測する予測方法であって、
   互いの関係が既知である複数の対象を示す各データをマージした場合の統計量データと少なくとも１つの対象を示すデータとを比較し、比較結果に基づいて少なくとも１つの対象と所定関係にある対象を特定する予測方法。
8. 互いの関係が未知である複数の対象間の関係を予測するプログラムであって、コンピュータを、
   互いの関係が既知である複数の対象を示す各データをマージした場合の統計量データと、互いの関係が未知である複数の対象を示す各データをマージしたデータとを比較する手段、比較結果に基づいて互いの関係が未知である複数の対象間の関係を判定する手段として機能させるプログラム。
9. 少なくとも１つの対象と所定関係にある対象を予測するプログラムであって、コンピュータを、
   互いの関係が既知である複数の対象を示す各データをマージした場合の統計量データと少なくとも１つの対象を示すデータとを比較する手段、比較結果に基づいて少なくとも１つの対象と所定関係にある対象を特定する手段として機能させるプログラム。

Images