JP2005078590A - 顔照合システム - Google Patents

Abstract

【課題】 顔認証と顔照合を組み合わせたエンターテイメントサービスを提供する。
【解決手段】 カメラ付き携帯電話機に、カメラで撮影した顔の画像の特徴を抽出する顔認証機能を付与する。抽出された特徴は、電話機能を用いてサーバに送信される。サーバは、有名人や動物などのキャラクタの顔画像を格納したデータベースにアクセスし、受信した特徴とキャラクタの特徴を比較して、顔の部位ごとに類似度を算出する。サーバは、類似度が大きいキャラクタの画像と、類似度が大きい部位と、過去にそのキャラクタと類似していた人の中における類似度のランキングとを携帯電話機に送信する。携帯電話機は、受信したキャラクタの画像と、その画像において類似度が大きい部位を指し示す矢印と、類似度のランキングとを表示する。
【選択図】図１

Description

本発明は、顔の特徴を認識して検索するシステムに関する。

現在、顔の画像を他の顔の画像と照合する顔照合システムが開発されている。顔照合システムを用いたサービスが開発されることが望まれている。

多数のキャラクタ画像からその人物を印象づける画像を抽出する装置であって、予め、キャラクタ画像の属性情報として、印象的な項目の測定量を保持する手段を有し、対象人物の顔や身体を画像入力する手段と、前記入力された画像から顔や身体の各部分の測定量を抽出する手段と、前記各測定量から印象的な部分を判定する手段と、前記印象的な部分のみを照合対象として、キャラクタ画像の属性情報を照合する手段と、前記照合結果に基づいて、キャラクタ画像を抽出する手段とを有することを特徴とする画像抽出装置が知られている（特許文献１参照）。

有名人等に似せた似顔絵的な顔や体形を容易に作成でき、しかも、作成した似顔絵的な顔等と、元となる有名人等の顔等との相似程度を客観的に判定することを可能にすることを目的とするモンタージュデータ出力装置が知られている（特許文献２参照）。

特開２００２−７４３４１号公報 特開平６−２０３１２４号公報

本発明の目的は、顔認証とその顔認証に基づく顔照合とを用いたサービスを可能にするシステムを提供することである。

本発明の他の目的は、顔の一部分が類似しているキャラクタを探し出すことを可能にするシステムを提供することである。

以下に、［発明を実施するための形態］で使用される番号を括弧付きで用いて、課題を解決するための手段を説明する。これらの番号は、［特許請求の範囲］の記載と［発明を実施するための形態］との対応関係を明らかにするために付加されたものである。ただし、それらの番号を、［特許請求の範囲］に記載されている発明の技術的範囲の解釈に用いてはならない。

本発明による顔照合システム（１）は、顔画像を入力する入力部（１０）と、複数のキャラクタ画像（５２）を格納するデータベース（４２）と、顔画像とキャラクタ画像（５２）とを照合して類似度の大小を示す類似度情報（９０）を作成し、類似度が大きいキャラクタ画像（５２）を類似キャラクタ画像（８４）として選び出す照合部（３６）と、類似キャラクタ画像（８４）を表示する表示部（２２）とを具備している。

入力部（１０）が入力する顔画像は、デジタルカメラにより撮影された画像のデータ、ダウンロードされた画像ファイル、又はスキャンされた画像のデータである。キャラクタ画像（５２）を例示すると、有名人、動物、又はマンガ等に登場する架空のキャラクタである。

類似度の大小は、顔の各部位（髪、眉、目、鼻、口、輪郭、肌の色）の位置あるいは形状の偏差を用いて計算される。あるいは類似度の大小は、従来知られている顔認証の技術における認証方法を用いて計算される。類似キャラクタ画像（８４）は、入力された顔画像との類似度が最も大きいキャラクタ、類似度が大きい方から順に所定の順位まで選び出された複数のキャラクタ、あるいは類似度が所定の値よりも大きいすべてのキャラクタの画像である。

本発明による顔照合システム（１）は、顔画像から特徴量を抽出する認証部（１８）を具備している。類似度情報（９０）は、特徴量を用いて作成される。

特徴量として、髪、眉、目、鼻、口、又は耳の特定部分の位置を用いることが可能である。特徴量として、肌の色を用いることが可能である。特徴量として、顔の輪郭を所定の分類により区分したものを用いることが可能である。

本発明による顔照合システム（１）において、入力部（１０）と表示部（２２）とは通信機能を備えた携帯端末に含まれている。照合部（３６）はデータベース（４２）にアクセス可能なサーバ（４）に含まれている。携帯端末（２）は、通信機能を用いてサーバ（４）に顔画像を送信する。

こうした顔照合システム（１）によれば、携帯電話、又はＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）を用いて顔照合を行うことが可能である。携帯電話はエンターテイメント性の高さが求められており、こうした顔照合システムは特にカメラ付き携帯電話に好適に用いられる。携帯電話が電気通信回線を介してデータベース（４２）を利用することにより、常に内容が新しいキャラクタ画像（５２）を用いて顔照合を行うことが可能になる。

好ましくは、携帯端末（２）は、認証部（１８）が抽出した特徴量を用いた使用制限機能を備えていることが好ましい。こうした場合、携帯端末（２）から所定の操作がなされると、認証部（１８）が抽出した特徴量はメモリ（１６）に記憶され、それ以降、携帯端末（２）に操作が加えられると、携帯端末（２）が備えるカメラ（１０）により使用者が撮影される。撮影された画像とメモリ（１６）に記憶されている特徴量とが照合されることにより認証が行われ、認証の結果が一致しないときには携帯端末（２）が有する機能の一部または全部は使用が不可能となる。

照合部（３６）による照合は、サーバ（４）が格納しているプログラムにより行われる。あるいは照合部（３６）による照合は、携帯端末（２）がサーバ（４）からダウンロードしたプログラムにより行われる。

本発明による顔照合システム（１）は、顔の部位を示す複数の部位情報を格納するテーブル（４０）を具備している。類似度情報（９０）は、複数の部位情報の各々に対応して作成される。

こうした顔照合システム（１）によれば、例えば目の形状に特徴があるユーザは、そのユーザと目の形状が類似しているキャラクタを検索することが可能である。こうした顔照合システム（１）は面白く、かつ検索のバリエーションが豊富であるためにユーザが多様な使い方をすることができる。

本発明による顔照合システム（１）において、部位情報は、髪型、輪郭、目、鼻、耳、眉、又は肌の色を示す情報を含む。

本発明による顔照合システム（１）において、表示部（２２）は、類似度情報（９０）に示される類似度が最も大きい部位を指示する指示表示（７６、７８）を行う。

指示表示（７６、７８）は、携帯端末（２）からの操作に応答して行われることが好ましい。こうした顔照合システム（１）によれば、例えばユーザに似ている有名人が検索されたときに、顔のどこがその有名人と似ているかを同時に知ることができる。多くの人は、自分と有名なキャラクタとの顔の特定の部位が似ていると指摘されると面白く感ずる。そのため、こうした顔照合システム（１）はエンターテイメント性が高い。

本発明による顔照合システム（１）において、指示表示は、顔画像またはキャラクタ画像（５２）の一部を指示するポインタ（７６）により表示される。

本発明による顔照合システム（１）において、指示表示は、文字（７８）により表示される。

本発明による顔照合システム（１）は、複数の顔画像に対応する類似度情報（９０）を格納する類似度データベース（４４）と、キャラクタ画像（５２）に対応して類似度が大きい顔画像を類似度データベース（４４）を用いて抽出するランキング部（３８）とを具備している。

こうした顔照合システム（１）によれば、例えばこの顔照合システム（１）を利用した人の中で、あるタレントに似ている人が現在までに１２３６人おり、今回利用したユーザはその中で３番目に似ている、というランキングがユーザに提供される。こうした情報は、多くのユーザが面白く感じることが期待される。

本発明による顔照合システム（１）は、キャラクタ画像（５２）に対応する付加情報を格納する付加情報データベース（４６）を具備している。表示部（２２）は、表示されるキャラクタ画像（５２）に対応する付加情報を表示する。

付加情報は、携帯端末（２）からの操作に応答して表示されることが好ましい。付加情報としては、性格診断、またはその日の運勢を含む占いの情報が例示される。特にキャラクタ画像（５２）が動物であるとき、動物の種類と関連づけられた占いは人気があり、多くのユーザが面白く感じることが期待される。

本発明によれば、顔認証とその顔認証に基づく顔照合とを用いたサービスを可能にするシステムが提供される。

更に本発明によれば、顔の一部分が類似しているキャラクタを探し出すことを可能にするシステムが提供される。

図１を参照すると、本発明の実施の形態における顔照合システムの構成が示されている。顔照合システム１は、携帯電話機２と、センターサーバ４と、通信ネットワーク６と、サーバ８とを備えている。

図２を参照すると、携帯電話機２の構成が示されている。携帯電話機２は、カメラ１０と、操作部１２と、ＣＰＵ１４と、メモリ１６と、表示部２２と、無線送受信部２４とを備えている。メモリ１６は、顔認証プログラム１８と、結果表示プログラム２０とを記憶している。

図３を参照すると、センターサーバ４の構成が示されている。センターサーバ４は、送受信部３０と、ＣＰＵ３２と、メモリ３４と、キャラクタ画像データベース４２と、類似度データベース４４と、占いデータベース４６とを備えている。メモリ３４は、照合プログラム３６と、ランキングプログラム３８と、占いプログラム３９と、顔部位テーブル４０と、出力テーブル４１とを記憶している。顔部位テーブル４０は、人間の顔の中から眉、目、鼻、口、耳の位置または形状、肌の色、及び顔の輪郭の類型（卵型、四角など）を抽出するための情報である顔部位情報（図示されない）を格納している。

図４を参照すると、出力テーブル４１の構成が示されている。出力テーブル４１は、ユーザ名８０と、類似キャラクタ名８２と、類似キャラクタ画像８４と、類似部位８８と、類似度９０と、ランキング順位９２と、性格９４と、今日の運勢９６とを対応づけて格納する。

図５を参照すると、キャラクタ画像データベース４２の構成が示されている。キャラクタ画像データベース４２は、キャラクタ名５０と、キャラクタ画像５２とを対応づけて格納している。キャラクタ名５０とは有名人、動物、架空のキャラクタに例示される、著名なキャラクタを示す名前である。キャラクタ画像５２とは、キャラクタ名５０によって指定されるキャラクタの顔を含む画像データである。

図６を参照すると、類似度データベース４４の構成が示されている。類似度データベース４４は、キャラクタ名５０を格納している。類似度データベース４４は更に、過去に照合プログラム３６が当該キャラクタ名により指定されるキャラクタに似ていると判定したユーザのユーザ名を顔類似ユーザ名５４として、その類似度５５と類似度５５の順位５３と共に格納している。

図７を参照すると、占いデータベース４６の構成が示されている。占いデータベース４６は、キャラクタ名５０と性格情報５６とを対応づけて格納している。占いデータベース４６は更に、キャラクタ名５０と日付とに対応して、運勢情報６０を格納している。

こうした構成を備える顔照合システム１の動作が以下に示されている。但し、ＣＰＵがプログラムを読み出し、そのプログラムに記述された手順により実行する動作は、そのプログラムが行う動作として記載される。

携帯電話機２のユーザは、カメラ１０を用いて自分または他人の顔を撮影する。撮影された顔の画像である顔画像は、メモリ１６に格納される。あるいは携帯電話機２のユーザは、携帯電話機２に所定の操作を行うことにより通信ネットワークを介して顔画像を受信する。受信した顔画像は、メモリ１６に格納される。

ユーザが操作部１２から所定の操作を行うと、顔認証プログラム１８は、メモリ１６に記憶された顔画像から特徴量（例示：髪型、目、鼻、口、耳、眉の位置または形状、それらの相互の位置関係、顔の輪郭、肌の色）を抽出する。無線送受信部２４は顔画像とその顔画像から抽出された特徴量とユーザ名とを通信ネットワーク６を介してセンターサーバ４に送信する。

あるいは携帯電話機２は顔認証プログラム１８を備えておらず、ユーザが操作部１２から行う所定の操作に応答して、センターサーバ４から顔認証プログラム１８をダウンロードして利用する。

センターサーバ４は、送受信部３０により顔画像と特徴量とユーザ名とを受信する。受信したユーザ名は、出力テーブル４１にユーザ名８０として格納される。照合プログラム３６は、キャラクタ画像データベース４２を検索し、受信した特徴量を用いて、その顔画像とキャラクタ画像データベース４２に格納されている複数のキャラクタ画像５２との照合を行い、各々のキャラクタ画像５２に対する顔画像の類似度（好ましくは数値で表される）を計算する。

照合プログラム３６は、顔画像との類似度が最も大きいキャラクタ画像５２を選び出す。あるいは、顔画像との類似度が所定の数値よりも大きいキャラクタ画像５２を選び出す。選び出されたキャラクタ画像５２は、類似キャラクタ画像８４として出力テーブル４１に格納される。選び出されたキャラクタ画像に対応するキャラクタ名５０は、類似キャラクタ名８２として出力テーブル４１に格納される。受信した顔画像と選び出されたキャラクタ画像５２との類似度は、類似度９０として出力テーブル４１に格納される。

照合プログラム３６は、顔部位テーブル４０を参照して、受信した顔画像と、その顔画像に対応する類似キャラクタ画像８４とから複数の顔の部位を抽出し、抽出された顔の部位ごとに顔画像とキャラクタ画像５２とを照合して部分類似度（好ましくは数値で表される）を計算する。その結果、例えば眉の類似度は８０パーセント、顔の輪郭の類似度は３５パーセントという部分類似度が得られる。部分類似度が所定の数値よりも大きい部分は、類似部位８８として出力テーブル４１に格納される。

ランキングプログラム３８は、キャラクタ名５０に対応して、新規に受信した顔画像の類似度と、それ以前に記録された顔画像の類似度５５との大小関係を比較して、受信した顔画像の類似度の順位５３を計算する。計算された順位５３は、ランキング順位９２として出力テーブル４１に格納される。ランキングプログラム３８は、新規に受信した顔画像に対応するユーザ名５４と類似度５５と順位５３とを類似度データベース４４に追加する。

占いプログラム３９は占いデータベース４６を参照し、照合プログラム３６により選び出されたキャラクタ名５０に対応する性格５６と、照合プログラム３６により選び出されたキャラクタ名５０及び顔画像を受信した日付に対応する占いの内容とを、各々性格９４及び今日の運勢９６として、出力テーブル４１に格納する。

あるいはセンターサーバ４は占いプログラム３９と占いデータベース４６とを備えておらず、代わりにサーバ８が占いサービスを提供している。こうした顔照合システム１において、センターサーバ４は、通信ネットワーク６を介してサーバ８に類似キャラクタ名８２あるいは日付を送信し、それらの類似キャラクタ名８２あるいは日付に対応する占いの結果をサーバ８から取得する。

送受信部３０は、以上の手順により出力テーブル４１に格納されたユーザ名８０と、類似キャラクタ名８２と、類似キャラクタ画像８４と、類似部位８８と、類似度９０と、ランキング順位９２と、性格９４と、今日の運勢９６とを含む情報を携帯電話機２に送信する。

携帯電話機２が備える無線送受信部２４は、センターサーバ４から送信された情報を受信する。表示部２２は、ＣＰＵ１４による制御に基づいて受信した情報を表示画面に表示する。

図８を参照すると、携帯電話機２の表示画面の一例が示されている。表示画面７０はキャラクタ表示画面７４を有している。キャラクタ表示画面７４には、類似キャラクタ画像８４が表示される。類似キャラクタ画像８４の類似部位８８に対応する部分は、矢印７６で指し示されている。類似部位８８は更に、類似部位を示す情報を含んだ文章をテキストデータあるいは画像データの形式で含んでおり、その文章は文章７８として表示される。文章７８が画像データであると、テキストデータに比べて多彩な表現が可能となり好ましい。

表示画面７０は、類似度表示部７２を有している。類似度表示部７２には、類似キャラクタ名８２と類似度９０とランキング順位９２とが表示される。

ユーザが操作部１２から所定の操作を行うことにより、表示画面７０には更に、性格９４または今日の運勢９６が表示される。ユーザの顔に対応した性格や運勢の情報は、マスメディアにより提供される占いとは異なる分類に基づき、多くのユーザにとって目新しく面白い。

図１は、顔照合システムの構成を示す。 図２は、携帯電話機の構成を示す。 図３は、センターサーバの構成を示す。 図４は、出力テーブルの構成を示す。 図５は、キャラクタ画像データベースの構成を示す。 図６は、類似度データベースの構成を示す。 図７は、占いデータベースの構成を示す。 図８は、表示画面を示す。

符号の説明

１…顔照合システム
２…携帯電話機
４…センターサーバ
６…通信ネットワーク
８…サーバ
５３…類似順位
５４…顔類似ユーザ名
５５…類似度
５６…性格情報
６０…運勢情報
７０…表示画面
７２…類似度表示部
７４…キャラクタ表示画面
７６…矢印
７８…類似部位表示部

Claims (10)

1. 顔画像を入力する入力部と、
   複数のキャラクタ画像を格納するデータベースと、
   前記顔画像と前記キャラクタ画像とを照合して類似度の大小を示す類似度情報を作成し、前記類似度が大きい前記キャラクタ画像を類似キャラクタ画像として選び出す照合部と、
   前記類似キャラクタ画像を表示する表示部
   とを具備する
   顔照合システム。
2. 請求項１において、
   更に、前記顔画像から特徴量を抽出する認証部
   を具備し、
   前記類似度情報は、前記特徴量を用いて作成される
   顔照合システム。
3. 請求項１または２において、
   前記入力部と前記表示部とは通信機能を備えた携帯端末に含まれており、
   前記照合部は前記データベースにアクセス可能なサーバに含まれており、
   前記携帯端末は、前記通信機能を用いて前記サーバに前記顔画像を送信する
   顔照合システム。
4. 請求項３において、
   更に、顔の部位を示す複数の部位情報を格納するテーブル
   を具備し、
   前記類似度情報は、前記複数の部位情報の各々に対応して作成される
   顔照合システム。
5. 請求項４において、
   前記部位情報は、髪型、輪郭、目、鼻、耳、眉、又は肌の色を示す情報を含む
   顔照合システム。
6. 請求項４または５において、
   前記表示部は、前記類似度情報に示される類似度が最も大きい前記部位を指示する指示表示を行う
   顔照合システム。
7. 請求項６において、
   前記指示表示は、前記顔画像または前記キャラクタ画像の一部を指示するポインタにより表示される
   顔照合システム。
8. 請求項６または７において、
   前記指示表示は、文字により表示される
   顔照合システム。
9. 請求項１から８のうちのいずれか１項において、
   更に、複数の前記顔画像に対応する前記類似度情報を格納する類似度データベースと、
   前記キャラクタ画像に対応して前記類似度が大きい前記顔画像を前記類似度データベースを用いて抽出するランキング部
   とを具備する
   顔照合システム。
10. 請求項１から９のうちのいずれか１項において、
    更に、前記キャラクタ画像に対応する付加情報を格納する付加情報データベース
    を具備し、
    前記表示部は、表示される前記キャラクタ画像に対応する前記付加情報を表示する
    顔照合システム。

Images