JP2017033307A - プログラム，グループ予測装置，及びグループ予測方法 - Google Patents

Abstract

【課題】対象が複数人によりどのように評価されるかの傾向を知ることができる。【解決手段】コンピュータに、複数のサンプルデータについて複数人から得られた二値属性値を用いて前記各サンプルデータが属するグループを決定するステップと、前記各サンプルデータと対象データとの類似度に基づき前記対象データが属するグループを予測するステップとを実行させるプログラムである。【選択図】図３

Description

本発明は、プログラム，グループ予測装置，及びグループ予測方法に関する。

従来、顔の美しさを判定する方法として、例えば、人の顔の写真に対する顔認識技術で顔の部品（目，鼻，口等）の位置を特定し、美しさの基準となる部品の配置バランスとのの比較において評価する方法がある。また、顔の部品のバランスを元に、そのバランスが近い人物を特定する方法もある。また、ランダムに表示される人の顔に得点を与え、得点の平均値を用いてランキングを作成する方法もある。

特開平１１−０５３３８６号公報

顔認識を用いて顔の部品のバランスを基準と対比して美人か否かを判断する方法では、基準に対して精度の高い判定結果を得ることができる。しかし、「美人」の基準は、基準が作成された時代や地域（居住地など）など、基準の作成に用いた背景によって異なる。また、基準作成者の主観的評価が基準に強く反映されている場合では、基準作成に用いた背景とも乖離している可能性がある。

従って、判定に一つの基準を用いる手法では、「美人」か否かの判定結果が判定対象の顔を持つ人物に係る時代や地域での一般的な評価結果に合致するとは言えない場合があった。換言すれば、基準の作成に用いた背景と、評価結果を享受する一般との背景との相違による「美人」の主観的評価基準の乖離を吸収できない場合があった。

このような判定基準に相違や乖離による問題は、「美人」，すなわち人に限られず、人の五感を通じて「好み」が生じる対象（有体物だけでなく、楽曲等の無体物も含まれる）に或る評価を与える場合に共通する問題である。

本発明は、上記問題に鑑みなされたものであり、対象が複数人によりどのように評価されるかの傾向を知ることができる技術を提供することを目的とする。

本発明の第１の態様は、コンピュータに、複数のサンプルデータについて複数人から得られた二値属性値を用いて前記各サンプルデータが属するグループを決定するステップと、
前記各サンプルデータと対象データとの類似度に基づき前記対象データが属するグループを予測するステップとを実行させるプログラムである。

第１の態様によれば、対象データが属するグループが予測されることで、対象データが複数人によりどのように評価されるかの傾向を知ることができる。

前記サンプルデータ及び対象データは、画像データ，音声データ，文字列データ，センサデータ，時系列データ，動画データの何れかであることができる。このため、人の嗜好が現れる対象データについて、複数人が対象データをどのように評価するかの傾向を知る
ことができる。

前記サンプルデータ及び対象データは、人の顔を含む写真画像データである構成を採用しても良い。この場合、写真画像データの被写体人物が複数人によりどのように評価されるかの傾向を知ることができる。

第１の態様において、前記グループは、前記各サンプルデータの二値属性値の統計値に基づき順位付けされており、前記対象データが前記対象データとの類似度が最も高いサンプルデータが属するグループに属すると予測される様にしても良い。

第１の態様において、前記複数のサンプルデータについての二値属性値の更新に応じて前記各サンプルデータが属するグループを再決定するステップ
をさらに実行させるようにしても良い。

第１の態様において、前記対象データが属するグループの予測結果を反映した前記複数のサンプルデータ及び前記対象データのそれぞれに対するグループ分けの結果を作成するステップをさらに実行させる様にしても良い。

また、第１の態様では、複数のサンプルデータが、サンプルデータの属性情報及び前記二値属性値の入力者の属性情報の少なくとも一方に基づき絞り込まれたデータである構成が採用されても良い。

第１の態様は、被写体が撮影された写真画像のデータであり、前記被写体に係る属性情報に基づき抽出されたデータであるように構成できる。この場合、被写体に係る属性情報に基づきサンプルデータが抽出されるので、その属性情報に基づく傾向の範囲に収まる複数のサンプル画像に対する二値属性値に基づくグループ分けの結果を得ることができる。

本発明の第２の態様は、複数のサンプルデータについて複数人から得られた二値属性値を用いて前記各サンプルデータが属するグループを決定する決定部と、前記各サンプルデータと対象データとの類似度を用いて前記対象データが属するグループを予測する予測部とを含むグループ予測装置である。

本発明の第３の態様は、コンピュータが、複数のサンプルデータについて複数人から得られた二値属性値を用いて前記各サンプルデータが属するグループを決定し、前記各サンプルデータと対象データとの類似度を用いて前記対象データが属するグループを予測することを含むグループ予測方法である。

また、本発明の他の態様としては、第１の態様として示したプログラムを記録したコンピュータ読み取り可能な記録媒体を挙げることができる。

本発明によれば、対象が複数人による二値評価においてどのように評価されるかの傾向を知ることができる。

図１は、予測システムの構成を示す図である。 図２（Ａ）は、無線端末の構成例を示す図であり、図２（Ｂ）は、固定端末の構成例を示す図である。 図３は、予測システムを模式的に示す図である。 図４は、二値属性値入力画面の例を示す。 図５は、二値属性値の記憶部のデータ構造例を示す。 図６は、特徴量の記憶部のデータ構造例を示す。 図７は、類似度の記憶部のデータ構造例を示す。 図８は、ランキングの記憶部のデータ構造例を示す。 図９は、ランキング予測結果の表示画面（ランキング画面）の例を示す。 図１０（Ａ）は、ランキング予測における処理例を示すフローチャートであり、図１０（Ｂ）は、二値属性値が入力された際における処理例を示すフローチャートである。 図１１は、類似度の記憶部の更新の一例を示す。 図１２は、実施形態の変形例を示す。 図１３は、変形例に係る処理例を示すフローチャートである。

以下、本発明の実施形態について、図面を用いて説明する。実施形態の構成は例示であり、本発明は実施形態の構成に限定されない。

実施形態では、コンピュータに、複数のサンプルデータについて複数人から得られた二値属性値を用いて前記各サンプルデータが属するグループを決定するステップと、前記各サンプルデータと対象データとの類似度を用いて前記対象データが属するグループを予測するステップとを実行させる。

＜サンプルデータ及び対象データ＞
サンプルデータ及び対象データは、時間及び空間の一方の周波数成分を有するデータである。時間及び空間の一方の周波数成分を有するデータは、画像データ，音声データ，文字列データ，センサデータ，時系列データ，映像（動画）データを含む。

（画像データ）
画像データは、イメージスキャナやディジタルカメラのような撮像装置によって得られた画像データであっても良く、コンピュータ上での描画により作成された画像データであっても良い。撮像装置によって得られる画像は、例えば顔を含む女性の写真画像である。もっとも、男性の写真画像であっても良い。人物の写真画像の画像データが適用される場合には、人の顔を含む胸から上の部分が撮影された画像が適用されるのが好ましい。もっとも、腹、腰、膝から上の部分が写っている画像であっても、全身画像であっても良い。

また、撮像装置の被写体は、人以外の動植物，絵画，彫刻，骨董などの美術品，自動車（二輪車を含む），自転車，航空機，鉄道車両，特殊車両，船舶などの移動体，装置，機器，道具，玩具，模型，食品などの物品（人工物），岩石，鉱物などの天然物，風景などを含み得る。

（音声データ）
音声データは、例えば、ＰＣＭ（パルス符号変調）を用いて得られた音声データである。但し、音声データのコーデック（ＣＯＤＥＣ）形式やファイルフォーマットは問わない。また、音声は楽曲であっても、講演や会話などであっても良い。
（文字列データ）
文字列データは、例えば、ＤＮＡ配列や、テキストによる文章データを含む。

（センサデータ）
センサデータは、センサにより検出された時間又は空間の情報を示すデータである。センサデータとしては、例えば、加速度センサによって検出される物体の加速度データ，ジャイロセンサによって検出される物体の角度や角速度データ，地磁気センサにより検出さ
れる方位データなどが考えられる。但し、センサ及びセンサによって検出されるセンサデータの種別は、センサによる検出又は測定の対象に依存する。

（時系列データ，統計データ）
時系列データとは、時間的順序を追って一定間隔ごとに観察され，しかも相互に統計的依存関係が認められるようなデータの系列を指す。例えば、株価のデータである。
（映像データ）
映像データは、例えば、映画や動画のデータである。

＜類似度計算＞
本実施形態では、サンプルデータと対象データとの類似度を用いて対象データが属するグループを予測する。このため、サンプルデータ及び対象データの特徴量を用いた類似度計算を行う。

（画像データの類似度計算）
画像データについては、例えば、画像の特徴点の計算により得られた特徴量としての特徴点の情報を用いて、画像間の類似度（スコア）を計算する。特徴点の抽出計算に関しては、例えば、Scale-Invariant Feature Transform（ＳＩＦＴ）を用いることができる。
類似度計算については、例えば、文献“Jegou, H.; Perronnin, F.; Douze, M.; Sanchez, J.; Perez, P.; Schmid, C., "Aggregating Local Image Descriptors into Compact Codes", IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.34, no.9, pp.1704-1716, IEEE, Sept 2012.”に記載された周知の方法を適用可能である。

また、画像の類似度計算の方法としては、スパースコーディング（Sparse Coding）と
呼ばれる手法を適用し得る。スパースコーディングは、ＳＩＦＴにて得られた特徴点情報を元に、階層的に疎な辞書（類似すると思われる部分を大まかに纏めたデータ）を生成し、辞書を比較することで対比画像の類似度を数値化する手法である。スパースコーディングは例えば、文献“Jianchao Yang; Kai Yu; Yihong Gong; Huang, T., "Linear spatial
pyramid matching using sparse coding for image classification", In proceedings of IEEE Conference on Computer Vision and Pattern Recognition 2009 (CVPR 2009) ,
pp.1794-1801, IEEE, Jun 2009”に記載された周知の手法である。

また、画像の類似度計算としては、画像の画素値のヒストグラムを生成し、ヒストグラムを比較することで類似度を判定することも可能である。類似度計算については、上記した手法以外の手法も適用し得る。

（音楽データの類似度計算）
音声データに適用可能な類似度の計算手法として、音響的特徴の類似度を楽曲の類似度として用いる手法を適用できる。例えば、メル周波数ケプスロラム係数（Mel-Frequency Cepstrum Coefficient:ＭＦＣＣ）を用いた特徴量や、スペクトル形状に基づく特徴量を
求め、類似度を計算する方法がある。また、人の主観的な特徴量をさらに加える場合もあり得る。

音声データに適用可能な類似度計算方法としては、音声データの特徴量をｋ平均法でクラスタとして求め、Earth Mover距離を用いて類似度を計算する方法がある。当該方法は
、例えば文献“Logan, Beth; Salomon, A., "A music similarity function based on signal analysis", In proceedings of IEEE International Conference on Multimedia and Expo 2001 (ICME 2001), pp.745-748, IEEE, Aug 2001.”に記載されているような周知の方法である。

（文字列データの類似度計算）
文字列データに適用可能な類似度計算方法としては、最小編集距離、例えば、レーベンシュタイン距離を用いた類似度計算を適用することができる。レーベンシュタイン距離を用いた類似度計算方法は、例えば、最低限の編集回数で済むような編集の組み合わせを基準にして類似度を計算する方法である。

（センサデータ，時系列データの類似度計算）
センサデータの類似度計算方法としては、例えば、主成分分析によってセンサデータや時系列データの類似度を求めることができる。主成分分析を用いた類似度計算の手法は、例えば、文献“S. Lhermitte, J. Verbesselt, W.W. Verstraeten, P. Coppin, "A comparison of time series similarity measures for classification and change detection
of ecosystem dynamics", Remote Sensing of Environment, Volume 115, Issue 12, Pages 3129-3152, ELSEVIER, Dec 2011.”に記載されたような周知の方法である。

時系列データについては、センサデータに適用可能な類似度計算方法を適用することができる。また、時系列データの類似度計算方法として、遺伝アルゴリズム（ＧＡ）を用いて類似度を計算することもできる。

（映像、動画データの類似度計算）
映像データ，動画データの類似度計算方法としては、ｋ近傍法とコサイン類似度を用いた類似度推定法を適用し得る。

以下の実施形態の説明では、一例として、サンプルデータ及び対象データとして、女性の写真画像データが適用された例について説明する。

＜システム構成＞
図１は、実施形態に係るグループ予測システムの全体構成例を示す図である。図１において、予測システムは、サーバ装置１（以下「サーバ１」）と、サーバ１とネットワーク（ＮＷ）２を介して接続される端末装置とを含む。図１に示す例では、端末装置として、ネットワーク２と無線接続される無線端末３Ａと、ネットワーク２と有線接続される固定端末３Ｂとが図示されている。以下の説明において、無線端末３Ａと固定端末３Ｂとを区別しない場合には、「端末３」との表記を用いる。

実施形態に係るグループ予測システムでは、サーバ１が端末３に対してサンプル画像データを供給し、各端末３のユーザ（複数人に相当）が、端末３を操作して各サンプル画像に対する二値属性値をサーバ１に送信する。サーバ１は、各端末３から受信した二値属性値に基づき、サンプル画像のランキングを作成する（ランクを有する複数のグループのうち各サンプル画像が属するグループを決定する）。端末３から対象画像データ（グループの予測対象のデータ）がサーバ１に入力されると、サーバ１は、各サンプル画像と対象画像との類似度に基づき対象画像の属するグループ（ランク）を予測する。サーバ１は、「グループ予測装置」に相当する。

サーバ１は、汎用又は専用のコンピュータ（情報処理装置）である、汎用のコンピュータとして、例えば、パーソナルコンピュータ（ＰＣ）やワークステーションを適用できる。専用コンピュータとして、例えばサーバマシンを適用できる。但し、サーバ１は、後述する機能を提供できる限り、上記例示のコンピュータに制限されない。

サーバ１は、図１に示すように、例えば、ＣＰＵ１１にバスを介して接続されたメモリ１２，入力装置１３，出力装置１４，及び通信インタフェース（通信ＩＦ）１５を含む。

メモリ１２は、主記憶装置と補助記憶装置とを含む。主記憶装置は、は、ＣＰＵ１１の作業領域，プログラムやデータの記憶領域，通信データのバッファ領域として使用される。主記憶装置は、例えば、Random Access Memory（ＲＡＭ），或いはＲＡＭとRead Only Memory（ＲＯＭ）との組み合わせで形成される。

補助記憶装置は、ＣＰＵ１１によって実行されるプログラム，及びプログラムの実行に際して使用されるデータを記憶する。補助記憶装置は、例えば、ハードディスクドライブ（ＨＤＤ），Solid State Drive（ＳＳＤ），フラッシュメモリ，Electrically Erasable
Programmable Read-Only Memory（ＥＥＰＲＯＭ）などである。また、補助記憶装置は、情報処理装置に対して着脱自在な可搬性記憶媒体を含む。可搬性記憶媒体は、例えばUniversal Serial Bus(ＵＳＢ)メモリである。また、補助記憶装置は、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒなどのディスク記憶媒体及びディスク記憶媒体のドライブ装置を含む。ディスク記憶媒体は可搬性記憶媒体の一つである。

入力装置１３は、サーバ１に情報やデータを入力するために使用される。入力装置１３は、例えば、ボタン、キー、マウスなどのポインティングデバイス，タッチパネルなどを含む。入力装置１３は、マイクロフォンのような音声入力装置を含み得る。また、入力装置１３は、カメラやイメージスキャナのような撮像装置を含む。

出力装置１４は、情報やデータを出力する。出力装置は、例えばディスプレイ装置である。通信ＩＦ１５は、ネットワーク２に接続される。出力装置１４は、スピーカのような音声出力装置を含み得る。通信ＩＦ１５は、例えばLocal Area Network（ＬＡＮ）カードである。

ＣＰＵ１１は、メモリ（主記憶装置及び補助記憶装置）１２の少なくとも一方に記憶されたプログラムを主記憶装置にロードして実行する。メモリ１２には、オペレーティングシステム及びアプリケーションプログラムがインストールされている。アプリケーションプログラムは、例えばＰＨＰ（Hypertext Preprocessor）スクリプトが動作可能なApache，Apache2などのHyperText Transfer Protocol（ＨＴＴＰ）サーバと、MySQLのようなデ
ータベースプログラムを含む。

ＣＰＵ１１がプログラムを実行することによって、サーバ１は、ＨＴＴＰサーバ１１１と、メモリ１２に記憶されたデータベース（ＤＢ）１２１とを含む装置として動作する。なお、図１では、ＨＴＴＰサーバ１１１及びＤＢ１２１を含むサーバ１を例示しているが、サーバ１は、２以上の情報処理装置（コンピュータ）によって構成されても良い。例えば、サーバ１は、ＨＴＴＰサーバ１１１として動作するコンピュータと、ＤＢ１２１を備えるコンピュータとから構成されても良い。また、ＨＴＴＰサーバ１１１で行われる処理が複数のコンピュータで実行されるようにしても良い。

ネットワーク２は、図１に示すように、一部区間が無線のネットワークであっても良く、有線ネットワークであっても良い。ネットワーク２は、例えば、インターネットなどのInternet Protocol（ＩＰ）網，ＬＡＮや無線ＬＡＮ，セルラー網回線などである。

図２（Ａ）は、無線端末３Ａの構成例を示す図であり、図２（Ｂ）は、固定端末３Ｂの構成例を示す図である。無線端末３Ａは、例えば、スマートフォン，フィーチャーフォン，無線ＬＡＮ端末，タブレット端末のような無線通信機能を備えた端末装置である。但し、無線端末３Ａの種別は、無線端末３Ａが後述する二値属性値入力装置及び画像入力装置との少なくとも一方として動作できる限り、上記例示に限定されない。

無線端末３Ａは、バスを介して相互に接続されたＣＰＵ３１，メモリ３２，入力装置３
３，出力装置３４，無線モジュール３５を備える。ＣＰＵ３１，メモリ３２，入力装置３３，出力装置３４については、ＣＰＵ３１，メモリ３２，入力装置１３及び出力装置１４と同様のものを適用可能であるので、重ねての説明は省略する。

無線モジュール１５は、無線通信機能を提供する機器である。無線モジュール３５は、例えば、データをディジタルベースバンド信号（ＢＢ信号）との間の変換処理を司るベースバンド回路（ＢＢ回路）と、ベースバンド信号と無線信号との変換処理を司るＲＦ（Radio Frequency）回路とを含む。ＲＦ回路は、無線信号の送受信を行う送受信アンテナ３
６と接続されている。無線モジュール３５が適合又は準拠する無線アクセス方式として、適宜の方式が適用される。無線アクセス方式としては、３Ｇ（Ｗ−ＣＤＭＡなど），Long
Term Evolution(ＬＴＥ)，無線ＬＡＮ(IEEE802.11シリーズやWi-Fi)，WiMax，Bluetooth（登録商標）のような各種の方式を含む。

固定端末３Ｂは、無線端末３Ａが備える無線モジュール１５の代わりに通信ＩＦ３７を備える点で無線端末３Ａと相違する。通信ＩＦ３６は、通信ＩＦ１５と同様に、ＬＡＮカードを適用することができる。

端末３のメモリ３２には、ＯＳ及びアプリケーションプログラムが記憶されており、アプリケーションプログラムは、仕分けアプリと画像入力アプリとを含む。仕分けアプリの実行によって、端末３は、二値属性値入力装置３１１として動作し、画像入力アプリの実行によって、端末３は、画像入力装置３１２として動作する。

なお、ＣＰＵ１１及びＣＰＵ３１は、「プロセッサ」，「制御装置」の一例であり、通信ＩＦ１４，通信ＩＦ３７，無線モジュール３５は、「送信部」，「受信部」，「通信部」の一例である。メモリ１２，メモリ３２のそれぞれは、「記憶部」，「記憶装置」，「コンピュータ読み取り可能な記憶媒体」の一例である。

なお、ＣＰＵ１１で実行される処理は、複数のＣＰＵ（プロセッサ）によって実行されても良い。ＣＰＵ１１で実行される処理の少なくとも一部は、例えばDigital Signal Processor（ＤＳＰ）によって実行されても良い。また、ＣＰＵ１１で実行される処理の少なくとも一部は、Field Programmable Gate Array（ＦＰＧＡ）のようなプログラマブルロ
ジックデバイス（ＰＬＤ）や集積回路（ＩＣ，ＬＳＩ，Application Specific Integrated Circuit（ＡＳＩＣ）など）のような半導体デバイスで実行されても良い。

図３は、予測システム（サーバ１及び端末３で実行される機能及び処理）を模式的に示す図である。図３に示すように、サーバ１は、プログラムの実行によって、二値属性値取得部１１２と、類似度計算部１１３と、ランキング計算部１１４と、画像取得部１１５と、ランキング予測計算部１１６と、ランキング出力部１１７とを備えた装置として動作する。例えば、ＨＴＴＰサーバ１１１として動作するＣＰＵ１１は、二値属性値取得部１１２と、類似度計算部１１３と、ランキング計算部１１４と、画像取得部１１５と、ランキング予測計算部１１６と、ランキング出力部１１７として動作することができる。ランキング計算部１１４は、「決定部」に相当し、ランキング予測計算部１１６は、「予測部」に相当する。

さらに、サーバ１は、サンプル画像の記憶部１２２と、特徴量の記憶部１２３と、二値属性値の記憶部１２４と、類似度の記憶部１２５と、ランキングの記憶部１２６とを含む。記憶部１２２〜１２６は、メモリ１２上に形成されるＤＢ１２１に含まれる。

端末３は、プログラムの実行によって、二値属性値入力装置３１１，画像入力装置３１２，ランキング出力装置３１３の少なくとも一つとして動作することができる。

記憶部１２２には、二値属性値の取得対象の複数の画像データ（複数のサンプルデータに相当する）が、画像データの識別子（ＩＤ）と対応づけて所定順序で記憶されている。二値属性値取得部１１２は、二値属性値を得る対象の画像（サンプル画像）を記憶部１２２から読み出し、二値属性値入力装置３１１に送る。端末３が二値属性値入力装置３１１として動作する場合、端末３は、ネットワーク２を介してサーバ１からサンプル画像を受信する。

二値属性値入力装置３１１は、二値属性値の入力用のユーザインタフェース（ＵＩ）を提供する。図４は、ＵＩの一例である二値属性値入力画面の例を示す。二値属性値入力画面は、二値属性値の入力対象の画像と、サンプル画像に対する二値属性値を入力するボタンとを含む。本実施形態の一例では、サンプル画像は、女性の胸から上の部分（顔を含む）を含んだ写真画像である。「胸から上の部分」は、画像（写真）の構図の一例である。サンプル画像及び対象画像の構図を揃えることで、類似度計算の精度を上げることができる。

二値属性値は、異なる二つの値であれば良い。例えば、二値属性値は、背反関係にある二つの異なる値である。二つの異なる値は、例えば、対象（サンプル画像）の肯定的に受け取るか否かを示す評価値である。例えば、対象のサンプル画像を好きか嫌い（好きでない）かである。本実施形態では、二値属性値として、二値属性値入力画面におけるサンプル画像の評価者（例えば、端末３のユーザ）がサンプル画像の女性を美人と思うか否かを示す情報が入力される。但し、二値属性値は、異なる二つの値である限り、必ずしも二値が背反関係になくとも良い（例えば、「良い」と「より良い」など）。実施形態では、二値属性値が画像が好きか否かを示す二値評価値である例について説明する。

二値属性値の入力ボタンとして、図４の例では、ボタンとして、ユーザが、サンプル画像の女性を美人と思う場合に押す“LIKE”ボタンと、美人と思わない場合に押す“Next”ボタンとを含む。“LIKE”ボタンが押された場合には、二値属性値“LIKE（Yes）”が取
得される。一方、“Next”ボタンが押された場合には、二値属性値“NOT LIKE(No)”が取得される。なお、“Next”ボタンが押された場合には、写真画像の表示領域には、記憶部１２２にて次に格納されている写真画像が表示される。但し、写真画像の表示順は、固定であってもランダムであっても良い。サンプル画像は、一つずつ二値属性値入力装置３１１（端末３）に供給されても良く、２以上のサンプル画像が纏めて供給されても良い。

二値属性値入力装置３１１が無線端末３Ａ（例えばスマートフォン）である場合には、図２（Ａ）に示したメモリ１２には、サーバ１から写真画像を入手して二値属性値入力画面を表示して二値属性値の入力を促し、入力結果（二値属性値）をサーバ１へ送信するアプリケーション（仕分けアプリ）がインストールされる。そして、ＣＰＵ３１が仕分けアプリを実行することによって、端末３を二値属性値入力装置３１１として動作させる。ＣＰＵ３１は、二値属性値入力画面を出力装置３４に含まれるディスプレイ装置に表示する。

これにより、端末３のユーザは、入力装置３３を操作して、二値属性値入力画面に表示された“LIKE”ボタンと“Next”ボタンとの一方を押すことで、二値属性値を入力することができる。

なお、図１に示したサーバ１の出力装置１４に二値属性値入力画面を表示して入力装置１３から二値属性値を入力させる構成を採用することもできる。また、記憶部１２２に記憶された画像は、例えば、サーバ１以外のコンピュータ（通信機器）から二値属性値入力装置３１１に供給されても良く、可搬性記憶媒体に記憶されて二値属性値入力装置３１１
に入力されても良い。

二値属性値取得部１１２は、二値属性値入力装置３１１で入力された二値属性値を取得し、記憶部１２４に記憶する。図５は、記憶部１２４のデータ構造例を示す。記憶部１２４は、例えば、テーブル形式で、サンプル画像（サンプルデータ）の識別子（ＩＤ）に対応する二値属性値（“LIKE”及び“NOT LIKE”）の累積数（得票数）の集計結果を記憶する。

図３に戻って、記憶部１２３には、各サンプル画像の特徴量が記憶されている。特徴量は、例えば、ＳＩＦＴを用いて得られた特徴点の情報である。図６は、記憶部１２３のデータ構造例を示す。図６に示すように、記憶部１２３は、例えば、テーブル形式で、サンプル画像のＩＤに対応する特徴点の情報を記憶する。

類似度計算部１１３は、記憶部１２３から特徴量の情報を読み出して、サンプル画像間での類似度（スコアと呼ばれる）を計算し、記憶部１２５に記憶する。図７は、記憶部１２５のデータ構造例を示す。図７に示すように、記憶部１２５は、テーブル形式で、サンプル画像のＩＤ毎に、各他のサンプル画像との類似度を示す値（スコア）が記憶される。なお、類似度（スコア）は、スコアは対象画像を起点とした値として求められ、値が大きい程、類似度が高いことを示す。スコアは、例えば、一致の場合に“１００”（最大値）となり、最低値は０である。

ランキング計算部１１４は、記憶部１２４に記憶された各サンプル画像の二値属性値に基づくサンプル画像のランキングを生成し、記憶部１２６に記憶する。例えば、各サンプル画像について入力された二値属性値（“YES”及び“NO”）のうち“YES”が占める割合（以下“YES”占有率という）が大きい順で、サンプル画像を順位付けする。もっとも、
単に“YES”の数の多い順でサンプル画像の順序付けをすることもできる。また、目的に
応じて逆順でランキングする場合もあり得る。

ランキングは、グルーピングの一例である。すなわち、ランキングは、“YES”占有率
が一番高いグループ（ランク１位のグループ）、二番目に高いグループ（ランク２位のグループ）、三番目に高いグループ（ランク３位のグループ）・・・の何れかから各サンプル画像（サンプルデータ）が属するグループを決定する処理である。但し、グループ間が順序づけられていることは必ずしも必要ではなく、サンプルデータのグルーピングの目的に依存する。すなわち、グルーピング条件は、ランキング以外の条件を適宜設定可能である。

ランキング計算は、例えば、記憶部１２４に記憶された二値属性値が更新される毎に実行することができる。或いは、記憶部１２４に記憶された二値属性値の更新を示すフラグを設定し、一定時間経過毎にフラグを参照し、二値属性値の更新を示すフラグがセットされている場合にランキング計算が実行される構成を採用することができる。一定時間は、ハードウェア又はソフトウェアによるタイマの設定により計時することができる。

ランキング計算部１１４の計算結果（ランキングの情報）は、記憶部１２６に記憶される。図８は、記憶部１２６のデータ構造例を示す。記憶部１２６では、例えば、グループの識別情報（例えば名称：ランク１，ランク２，・・・）と、各グループ（ランク）に属するサンプル画像のＩＤ（画像ＩＤ）とが対応づけて記憶される。同順位の画像ＩＤは、同一のグループ（ランク）に属する。また、図８に示すように、当該ＩＤを有するサンプル画像について得られた“YES”占有率（％）がさらに記憶されるようにしても良い。“YES”占有率は、“YES”の数であっても良い。このような、割合のデータは、後述するラ
ンキング画面におけるグラフ作成用に使用される。

画像入力装置３１２は、ランキングの予測対象の女性画像（「対象画像」と称する。対象データに相当）をサーバ１に入力するために使用される。対象画像は、画像入力装置３１２として動作する端末３が備えるカメラで撮影された画像であっても良く、端末３のメモリ１２に記憶された画像であっても良く、端末３が外部の通信機器や可搬性記憶媒体から入手した画像であっても良い。また、対象画像は、サーバ１の入力装置１３に含まれるイメージスキャナにて取り込まれた女性の写真画像であっても良い。

画像取得部１１５は、画像入力装置３１２から入力された対象画像のデータを類似度計算部１１３に供給する。類似度計算部１１３は、画像取得部１１５から供給された対象画像に対するＳＩＦＴを用いた処理を行い、対象画像の特徴点の情報（特徴量）を得る。続いて、類似度計算部１１３は、記憶部１２３に記憶された各サンプル画像の特徴点の情報（特徴量）との類似度（スコア）を計算し、対象画像に最も類似する（最高スコアの）サンプル画像のＩＤを特定する。サンプル画像のＩＤは、ランキング予測計算部１１６に供給される。

ランキング予測計算部１１６は、記憶部１２６に記憶されたランキングの情報を参照して、対象画像に対する二値属性値の入力が行われた場合におけるランキング予測を計算する。当該計算は、対象画像と最も類似するサンプル画像が属するグループを特定することで行う。例えば、最高スコアのサンプル画像のＩＤに対応づけられたグループのＩＤを記憶部１２６から読み出し、グループＩＤからグループを特定することで、最高スコアのサンプル画像が属するグループ（ランク）を特定することができる。

対象画像のランキング予測結果は、ランキング出力部１１７から出力され、ランキング出力装置３１３に供給される。ランキング出力装置３１３は、例えば対象画像を送信した端末３（画像入力装置３１２として動作する端末３）であり、ランキング予測結果を示す画面は、例えば画像入力アプリによる機能として、端末３の出力装置３４（ディスプレイ装置）に表示される。或いは、サーバ１の出力装置１４（ディスプレイ装置）に表示することもできる。或いは、ランキング予測結果は、シートに印刷することもできる。

図９は、ランキング予測結果の表示画面（「ランキング画面」と称する）例を示す。図９に示す例では、各グループは、“YES”占有率が高い順（ランク順）で、左から右方向
に棒グラフで示される。棒グラフの高さは、“YES”占有率（％）を示す。対象画像が属
するグループは、他のグループと異なる表示態様（例えば色や明度）で表示される。ランキング画面には、対象画像の順位や、偏差値を表示するようにしても良い。

図１０（Ａ）は、ランキング予測における処理例を示すフローチャートであり、図１０（Ｂ）は、二値属性値が入力された際における処理例を示すフローチャートである。図１０（Ａ）及び図１０（Ｂ）に示す処理は、例えば、サーバ１のＣＰＵ１１によって実行される。

図１０（Ａ）のステップＳ０１において、ＣＰＵ１１は、対象画像のデータを取得する。ステップＳ０２において、ＣＰＵ１１は、対象画像の特徴点の情報を生成する。ステップＳ０３において、ＣＰＵ１１は、スコア計算を行う。

すなわち、ＣＰＵ１１は、サンプル画像の特徴点の情報と対象画像の特徴点の情報とを用いて、サンプル画像と対象画像との類似度（スコア）を算出する。ＣＰＵ１１は、スコア計算を、対象画像と、記憶部１２３に特徴点の情報が記憶された全てのサンプル画像との間で実行する。

ステップＳ０４では、ＣＰＵ１１は、ステップＳ０３で得られたスコア値を記憶部１２５に記憶（保存）する。図１１は、記憶部１２５の更新の一例を示す。図１１に示す例では、例えば、ＩＤ＝１，ＩＤ＝２，ＩＤ＝３のサンプル画像の類似度が記憶部１２５に記憶されていると仮定する。記憶部１２５には、各ＩＤ毎に、比較対象のサンプル画像との類似度がカンマ（，）区切りで格納されている。

例えば、ＩＤ＝１のサンプル画像に関して、ＩＤ＝１のサンプル画像との類似度“１００”（最高値：完全一致），ＩＤ＝２のサンプル画像との類似度“１０”，ＩＤ＝３のサンプル画像との類似度“２０”が記憶されている。また、ＩＤ＝２のサンプル画像に関して、ＩＤ＝１のサンプル画像との類似度“１０”，ＩＤ＝２のサンプル画像との類似度“１００”，ＩＤ＝３のサンプル画像との類似度“２０”が記憶されている。また、ＩＤ＝３のサンプル画像に関して、ＩＤ＝１のサンプル画像との類似度“２０”，ＩＤ＝２のサンプル画像との類似度“２０”，ＩＤ＝３のサンプル画像との類似度“１００”が記憶されている。

ここで、ＩＤ＝４を有する新規のサンプル画像の類似度が追加される場合を仮定する。ＩＤ＝４とＩＤ＝１との類似度は“１５”であり、ＩＤ＝２との類似度は“２５”であり、ＩＤ＝３との類似度は“３５”であると仮定する。

この場合、図１１に示すように、ＩＤ＝４に関するレコード（行）が追加され、ＩＤ＝４と、ＩＤ＝１〜４（全てのサンプル画像）との類似度が、ＩＤ順（記憶部１２５をなすテーブルへの登録順）で登録される。さらに、ＩＤ＝１〜３のレコード（行）には、ＩＤ＝４との類似度が追加される。すなわち、更新前における各レコードに登録された類似度のエントリ数をＮとすると、更新によって、Ｎ＋１個の類似度がカンマ区切りの数字列で登録される。

ステップＳ０５では、ＣＰＵ１１は、ステップＳ０４で計算されたスコアのうち最大のスコアを求める。ステップＳ０６では、ＣＰＵ１１は、最大スコアが得られたときのサンプル画像のＩＤを取得する。

ステップＳ０７では、ＣＰＵ１１は、サンプル画像のＩＤに対応するグループ（サンプル画像が属するランク）を、対象画像のランク（予測順位）として出力する。なお、ステップＳ０８では、ＣＰＵ１１は、対象画像を新規のサンプル画像として記憶部１２２に記憶する。また、ステップＳ０２で得られた対象画像の特徴点の情報（特徴量）を記憶部１２３に入力する。

また、図示しないが、新規のサンプル画像としての対象画像に対する二値属性値の推定値が記憶部１２４に記憶される。二値属性値の推定値として、例えば、最大のスコアが得られたときの特徴量を有するサンプル画像に対応する二値属性値の統計情報（“YES”及
び“NO”）の数が推定値として適用される。或いは、任意の値を推定値として適用することもできる。例えば、サンプル画像の特徴量との比較で得られた最大スコアとスコアの最大値“１００”との差分に応じた二値属性値の統計値（推定値）を作成することもできる。例えば、差分に応じて“YES”及び“NO”の数の少なくとも一方を増減させることが考
えられる。

図１０（Ｂ）のステップＳ１１では、ＣＰＵ１１は、サンプル画像の少なくとも一つに対する二値属性値の入力を検出する。ステップＳ１２では、ＣＰＵ１１は、二値属性値を記憶部１２４に記憶する。ステップＳ１３では、ＣＰＵ１１は、二値属性値の更新に伴い、記憶部１２６に記憶されたランキング（順位）を更新する。

実施形態によれば、対象画像データの女性がどのランクとなるのかを予測することができる。すなわち、対象画像の女性が美人として評価される傾向を知ることが可能となる。評価は、複数人による二値属性値に基づいて行われるので、或る者が単独で基準を作成した場合のような、基準作成者の主観による評価基準の偏りをなくすことができる。すなわち、実施形態によれば、サンプル画像についての複数の評価者が対象画像（対象データ）を評価したときの予測結果を得ることができる。

図１２は、予測システムの変形例を示す図である。図１２に示すように、サーバ１が、付加属性の記憶部１２７を含む。記憶部１２７は、メモリ１２上に作成され、ＤＢ１２１に含まれる。

記憶部１２７は、付加属性として、サンプル画像の被写体に係る属性情報を記憶する。属性情報は、地理情報（例えば、被写体人物の撮影場所，被写体人物の居住地や出身地），撮影時期，被写体人物の年齢，性別，職種，趣味などの「美人」（評価の一例）の主観的判断基準形成の背景となり得る属性情報を記憶する。

また、二値属性値の記憶部１２４には、二値属性値のタイムスタンプ、すなわち、二値属性値が作成された時間（年月日、時間を含める場合もあり得る）が二値属性値の統計値と関連づけて記憶される。各記憶部１２２から１２７は、共通のサンプル画像のＩＤを用いて管理される。

図１３は、変形例に係る処理例を示すフローチャートである。図１３に示す処理は、例えば、サーバ１のＣＰＵ１１によって実行される。例えば、サーバ１の入力装置１３を用いて付加属性が指定される（ステップＳ２１）。すると、ＣＰＵ１１は、記憶部１２３に記憶されたサンプル画像毎の特徴量のうち、指定された付加属性を有する特徴量を抽出する（ステップＳ２２）。

また、サーバ１の入力装置１３を用いて期間が指定されると、ＣＰＵ１１は、記憶部１２４に記憶されたサンプル画像毎の二値属性値のうち、期間内に作成（入力）された二値属性値を抽出し、抽出された二値属性値を用いて、ステップＳ２２で特徴量が抽出されたサンプル画像についてのランキングを生成する。このとき、抽出された特徴量を用いてサンプル画像間の類似度が算出され、記憶部１２５に記憶されても良い。

その後、対象画像データが入力されると、ＣＰＵ１１は、ステップＳ２２で抽出された特徴量と対象画像データの特徴量とを用いた類似度を算出する（ステップＳ２３）。そして、ＣＰＵ１１は、最大の類似度（スコア）を有するサンプル画像が属するグループ（ランク）を、対象画像の属するグループ（ランク）として予測する（ステップＳ２６）。なお、期間指定に係る構成はオプションである。

変形例によれば、サンプル画像が付加属性に基づき抽出されるので、被写体の撮影時期や撮影場所に鑑みた評価（二値属性値入力）を端末３のユーザ（二値属性値の入力者）に求めることができ、時代や地域性を考慮した美人のランキングを作成することができる。また、二値属性値が期間により限定されることで、その期間における評価の傾向で時代の変遷に伴うぶれの少ない二値属性値による評価を得ることが可能となる。

また、他の変形例としては、ランキングの絞り込みに係る付加機能を持たせることが考えられる。例えば、端末３（画像入力装置３１２）からの指定により、ランキングの範囲を指定可能とする。例えば、ランキングを二つに分けて、上位ランキング、下位ランキングから選択可能とする。但し、ランキングの分割数は適宜設定可能である。この場合、上位ランキングが選択された場合には、二値属性値の肯定的な属性（“YES”）に対する順
位予測の精度を上げることができる。一方、下位ランキングが選択された場合には、二値属性値の否定的な属性（“NO”）に対する順位予測の精度を上げることができる。

また、実施形態では、対象画像と全てのサンプル画像との類似度が計算されているが、対象画像とランキングのＮ（Ｎは正の整数）位までのサンプル画像との類似度がされるようにしても良い。これにより、類似度計算に要する時間の短縮化を図ることができる。この場合、例えばＮ＝１００であれば、１００位内のサンプル画像との類似度計算を元に、対象画像が属するランク（順位）の予測結果を示すことができる。このとき、例えば、サンプル画像との類似度の最大スコアが予め用意された閾値（予めメモリ１２に記憶）より低い場合には、「ランク外（Ｎ位より下位）」との結果をランキング出力部１１７から出力するようにしても良い。対象画像が１００位までのサンプル画像のいずれにも似ていないからである。

また、サーバ１が、端末３のユーザ（二値属性値の入力者）についての付加的な属性情報を収集し、当該属性情報を用いた入力者の絞り込み（抽出）を実行し、抽出された入力者の二値属性値を用いてランキング（グルーピング）が実行されるようにしても良い。

この場合、入力者の属性情報としては、以下を適用し得る。
・地理情報（出身地、入力している場所）
・趣味
・嗜好（好きな色や食べ物、動物など、マーケットで良く買うものなどを含む。例えばFacebookの情報から好みを抽出し、それに応じた二値属性値入力情報を選出する、といった使用方法が考えられる）
・年齢、性別、職種、年収、学歴、等の個人情報
・氏名又は名称（例えば、「鈴木」という名前の人の嗜好は、これこれに偏る、のような抽出）
・入力時刻（期間）
・入力時の環境情報（温度、風景、天気など。例えば、晴れの日に選ばれる「美人」はこの人、のような抽出）

また、実施形態では、女性の写真画像について説明したが、男性の写真画像であっても良い。また、被写体は、人に制限されず、人以外の動植物，人工物，天然物であっても良い。また、実施形態で説明した構成は、画像データ以外のデータ，すなわち、音声データ，文字列データ，センサデータ，時系列データ，映像（動画）データにも適用が可能である。上述した実施形態の構成は、適宜組み合わせることができる。

１・・・サーバ
３・・・端末
１１・・・ＣＰＵ
１２・・・メモリ

Claims (10)

1. コンピュータに、
   複数のサンプルデータについて複数人から得られた二値属性値を用いて前記各サンプルデータが属するグループを決定するステップと、
   前記各サンプルデータと対象データとの類似度を用いて前記対象データが属するグループを予測するステップと
   を実行させるプログラム。
2. 前記サンプルデータ及び対象データが、画像データ，音声データ，文字列データ，センサデータ，時系列データ，動画データの何れかである
   請求項１に記載のプログラム。
3. 前記サンプルデータ及び対象データが人の顔を含む写真画像データである
   請求項２に記載のプログラム。
4. 前記グループは、前記各サンプルデータの二値属性値の統計値に基づき順位付けされており、
   前記対象データが前記対象データとの類似度が最も高いサンプルデータが属するグループに属すると予測される
   請求項１から３の何れか１項に記載のプログラム。
5. 前記コンピュータに、
   前記複数のサンプルデータについての二値属性値の更新に応じて前記各サンプルデータが属するグループを再決定するステップ
   をさらに実行させる請求項１から４の何れか１項に記載のプログラム。
6. 前記コンピュータに、
   前記対象データが属するグループの予測結果を反映した前記複数のサンプルデータ及び前記対象データのそれぞれに対するグループ分けの結果を作成するステップ
   をさらに実行させる請求項１から５の何れか１項に記載のプログラム。
7. 前記複数のサンプルデータが、サンプルデータの属性情報及び前記二値属性値の入力者の属性情報の少なくとも一方に基づき絞り込まれたデータである
   請求項１から６の何れかに記載のプログラム。
8. 前記複数のサンプルデータが、被写体が撮影された写真画像のデータであり、前記被写体に係る属性情報に基づき抽出されたデータである
   請求項１から７の何れか１項に記載のプログラム。
9. 複数のサンプルデータについて複数人から得られた二値属性値を用いて前記各サンプルデータが属するグループを決定する決定部と、
   前記各サンプルデータと対象データとの類似度を用いて前記対象データが属するグループを予測する予測部と
   を含むグループ予測装置。
10. コンピュータが、
    複数のサンプルデータについて複数人から得られた二値属性値を用いて前記各サンプルデータが属するグループを決定し、
    前記各サンプルデータと対象データとの類似度を用いて前記対象データが属するグルー
    プを予測する
    ことを含むグループ予測方法。

Images