JP2010134785A - 顔認証を利用した情報処理方法および情報表示装置 - Google Patents

Abstract

【課題】確実性のあるメール通信を、顔認識を利用した簡単操作で可能にする。
【解決手段】この発明の一実施の形態に係る情報処理方法では、ユーザの顔画像データを取り込み、この顔画像データからユーザの顔の特徴点を抽出してコード化する。そして、前記顔画像データにユニークな識別子および／またはコード化された前記特徴点を関連付けて宛先管理テーブルに登録する。
【選択図】 図８

Description

この発明は、顔認証を利用した情報処理方法および情報表示装置に関する。より具体的には、カメラでユーザの顔認識を行うコンテンツ収集装置（ビデオレコーダ等）やコンテンツ表示装置（デジタルＴＶ等）において、キーボードを使わずにビデオメールを出したりコンテンツを電子的にやり取りする情報処理方法および、この方法で用いられる情報（メッセージ）表示装置に関する。

電子的なメールには電話にはない利便性（その時その場所に相手がいなくてもよい、受け取り側はいつでもどこでも内容を見ることができる等）がある。そのためメールは広く普及しているが、電話に対し以下の難点がある。

１．情報入力にキーボードを用いるのが一般的であるが、キーボードが苦手な高齢者や幼児、身体障害者には高いハードルがある。
２．キーボードが必要な故、メールを出したり見たりする環境に制限がある（例えば、携帯電話、パソコン（ＰＣ）等を利用できる環境に留まる）。
３．メールの文書を作成しなければならないため、メールを出すのに時間がかかる、あるいは相手に何かを伝えたいと思いついてもサッとメールを出せない（電話はかけて話すだけで済むので気楽であるが、そのような簡便性がメールには欠けている）。
４．家族など複数人でメールを見て各人が個々の返答する、といったものには不向き。

なお、ＴＶ電話専用機やパソコンではＴＶ電話やビデオチャットが従来から存在しているが、それらは電話の延長であり、前述したメールの利便性（その時その場所に相手がいなくてもよい等）がない。

前述したメールの難点を極力低減したメール環境を求める方法として、顔認証を利用する方法が考えられる。顔認証機能を利用した先行技術として、特許文献１に開示された「画像認識機能を利用した電子メール作成方法および装置」がある。
特開２００５−２６７１４６号公報

特許文献１のメールアドレス自動取得プロセスでは、顔画像検索部１０４（図１）は、画像解析部１０３から受け取った特徴点データをキーとして、アドレス帳メモリ１０５に登録されている顔画像データを検索し、一致する顔画像が存在すれば、その顔画像に対応するメールアドレスをメール作成部１０６へ出力する。画像解析部１０３から受け取った特徴点データが複数の顔を含む場合は、全ての顔について検索し、一致する顔画像に対応するメールアドレスを出力する（段落００１７）。アドレス帳メモリ１０５には、複数の人物の名前やメールアドレスと共に顔画像データをそれぞれ検索可能に格納したアドレス帳１０５.１が設けられているが、集合写真画像の各人物のメールアドレスを含むメーリングリスト１０５．２を登録することもできる（段落００１８）。

あるいは、特許文献１の顔画像検索プロセスでは、画像解析部２０５（図２）から受け取った画像解析データをキーとして、アドレス帳メモリ２０７に登録されている顔画像データを検索する。そして、画像解析データと一致する顔画像がアドレス帳メモリ２０７に存在すれば、その顔画像に対応するメールアドレスを読み出すようにしている（段落００３１）。

すなわち、特許文献１では、携帯通信端末のカメラで撮った写真に写っている人物の顔を認識し、認識した顔で「人物の顔とメールアドレスを事前に登録した表」を検索することで、写真に写っている人のメールアドレスを割り出し、その人に写真を送るようにしている。このようにすれば、メールで送るコンテンツが写真のようにキーボードなしで作成できるものならば、キーボードに不慣れなユーザでも容易にメールを出せるようになる。

特許文献１には、しかしながら、誤った人物にメールが送られる可能性がある等の問題がある（機械処理のみによる１００％確実な顔認識は現在のところ技術的に困難なため）。

この発明の課題の１つは、確実性のあるメール通信を、顔認識を利用した簡単操作で可能にすることである。

この発明の一実施の形態に係る情報処理方法では、ユーザの顔画像データを取り込み、この顔画像データからユーザの顔の特徴点を抽出してコード化する。そして、前記顔画像データにユニークな識別子および／またはコード化された前記特徴点を関連付けて宛先管理テーブルに登録するようにしている。

宛先管理テーブルには顔の画像データが登録され、メールの宛先としてユーザが直接、登録された顔を選択できる（機械が顔を認識して選択するのではなくユーザが顔を見て選択できる）。そのため、誤った人物（送信を意図した相手と無関係な他人）にメールが送られることを回避できる。またキーボード操作で宛先入力をする必要もない。

以下、図面を参照してこの発明の種々な実施の形態を説明する。図１は、顔認証を利用したメールシステム全体の概略構成を説明する図である。デジタルカメラ１０ａが外付けされたデジタルＴＶ１０および／またはデジタルカメラ６０ａが外付けされたハードディスクドライブ（ＨＤＤ）内臓デジタルビデオレコーダ６０は、ビデオメールのやり取りを行うシステムにおけるユーザ端末として、インターネット経由でプロバイダのビデオレターサーバ８０に適宜接続されるようになっている。なお、ビデオメールには、カメラの前にいるユーザの映像・音声の他に、既存のコンテンツを付加することもできる。この既存のコンテンツ（著作権等、他人の権利を侵さない範囲に限る）には、ユーザが以前撮影したビデオ映像、ユーザが以前撮影したデジタルカメラ画像、ユーザが以前録音した音声・音楽、ビデオレコーダに録画済みの放送番組の映像・音声（音楽）、パブリックドメインに属するインターネット配信映像・音声（音楽）などがある。

サーバ８０にはその他に、インターネット経由で、カメラ２０ａ付きデジタルＴＶ２０、カメラ３０ａ外付けパソコン（ＰＣ）３０、カメラ４０ａ付きコンピュータゲーム機４０、カメラ５０ａ付き携帯電話５０等が、適宜接続される。

さらに、サーバ８０を管理するプロバイダには契約企業９０の端末が接続されており、このプロバイダを介して、インターネット経由で各端末ユーザの嗜好情報を収集し、端末ユーザの嗜好に合わせたピンポイント情報をそのユーザに提供できるようになっている。例えば、図１のシステムでは、カメラ（１０ａ、６０ａ）で顔を認識したユーザが見ているＴＶ１０の放送番組やレコーダ６０での再生コンテンツなどから、ユーザ個々の嗜好を学習（視聴頻度の高い番組のジャンルを集計するなど）し、その結果をサーバ８０に送ることができる。すると、企業９０はユーザ嗜好に応じた広告メールをピンポイントで特定ユーザに送ることができる。その際、メール一覧の中にビデオ広告が入るようにして、ユーザの目につき易くすることができる。

ここで、ユーザ端末（１０〜６０）各々には顔認証／照合処理装置１００が組み込まれており、各ユーザ端末において、カメラ（１０ａ〜６０ａ）の前のユーザの顔の特徴をコード化したり、カメラ前のユーザの顔の特徴と登録済みの顔の特徴とを照合したりできるようになっている。ユーザ端末のカメラで取り込まれたユーザの顔の画像データ、その顔の特徴を顔認証／照合処理装置１００によりコード化した特徴点データ等は、サーバ８０に設けられた宛先管理テーブル８００に登録される。各ユーザからのビデオメール自体（メールコンテンツ）は、宛先管理テーブル８００の登録内容に関連付けられて、サーバ８０内の図示しないデータストレージに格納されるようになっている。宛先管理テーブル８００の詳細および顔認証／照合処理装置１００の詳細については、後述する。

図１のシステムでは、ユーザ自身が視認できる顔画像を宛先として、ユーザの家庭内ローカルエリアネットワーク経由で家族内の伝言メールを送受したり、インターネット経由で遠隔地にいる別のユーザにビデオメールを送ったりすることができるようになっている。

家庭内では、例えばＴＶ１０あるいはレコーダ６０の内臓ＨＤＤ（図示せず）に管理情報テーブル８００の内容をコピーしておくことができる。そうすると、ＴＶ１０あるいはレコーダ６０等の機器1台で、家族内のビデオメール（または伝言）交換をすることもできる。この場合は、インターネット上のサーバ８０の機能をＴＶ１０またはレコーダ６０自身が持つことになる。

図２は、宛先管理テーブル８００の具体例を説明する図である。この宛先管理テーブル８００は、識別子８００ａの列と、顔画像データ８００ｂの列と、顔の特徴点８００ｃの列と、識別子リンク８００ｄの列と、メール受取フォルダ８００ｅの列を含んで構成されている。

顔画像データ８００ｂの列の各行には、カメラで取り込んだユーザの顔画像（顔イメージ）のビットマップデータが登録される。このビットマップデータは、ユーザの顔画像周辺の背景データを削除したデータでもよい（顔イメージの背景をブルーバック等の無地にする、あるいは背景画像をデジタルカメラで別途撮影した静止画と入れ替える、もしくは背景画像をデジタルビデオカメラで別途撮影した動画と入れ替えるといった処理も可能）。

顔の特徴点８００ｃの列の各行には、登録された顔イメージに含まれる１人または複数人のユーザそれぞれの顔の特徴点を認識したコードが記述される。

識別子８００ａの列の各行には、登録順にインクリメントされるユニークなＩＤ番号が記述される。このユニークなＩＤ番号は、同じ行の顔イメージに割り当てられる。

識別子リンク８００ｄの列の各行には、同じユーザ個人の顔に割り当てられた１以上のＩＤ番号を記述できるようになっている。

メール受取フォルダ８００ｅの列の各行には、同じ行の識別子８００ａに対応するフォルダ名を付与できるようになっている。具体的には、識別子８００ａがＩＤ＝１の行のメール受取フォルダ８００ｅに属するフォルダには“mail_receive_folder#1”というフォルダ名が付与され、ＩＤ＝２の行のフォルダには“mail_receive_folder#2”というフォルダ名が付与され、ＩＤ＝３の行のフォルダには“mail_receive_folder#3”というフォルダ名が付与され、ＩＤ＝４の行のフォルダには“mail_receive_folder#4”というフォルダ名が付与される。以下同様に、メール受取フォルダ８００ｅの列の各行にはＩＤに対応したフォルダ名が記述される。

メール受取フォルダ８００ｅには、ビデオコンテンツ（ビデオメール）自体を登録するだけでなく、コンテンツへのショートカット（ポインタ）またはＵＲＬ（インターネット上の情報がある場所とその情報の取得方法を指定する記述）等を記述することもできる。

メール受取フォルダ８００ｅのフォルダは電子的な私書箱のような機能を持つ。例えば“mail_receive_folder#1”という名称のフォルダに孫からのビデオメールが登録されると、そのメールがあった旨がＩＤ＝１のユーザ（「おじいちゃん」と「おばあちゃん」）に通知される。また、そのＩＤ＝１の行で同じ顔のユーザ（ＩＤ＝３の「おじいちゃん」とＩＤ＝４の「おばあちゃん」）のリンクが張られていたときは、メールがあった旨がＩＤ＝３の「おじいちゃん」とＩＤ＝４の「おばあちゃん」に個別に通知される。この通知をうけた「おじいちゃん」および／または「おばあちゃん」は、“mail_receive_folder#1”という名称のフォルダに登録された孫からのビデオメールをみることができる。

上述したような構成の宛先管理テーブル８００を用いるメールシステムでは、顔イメージがユーザに見える宛先相当になり、ＩＤが機器内部の宛先に相当する。１つの顔イメージに２人以上のユーザの顔が含まれる場合は、個々の顔の宛先も登録する（個々の顔の特徴点を分けて登録する）。こうすることで自分（例えば「おじいちゃん」）だけのフォルダにも複数顔（例えば「おじいちゃん」と「おばあちゃん」）宛のメールが入り、メールの確認がしやすくなる。

図３は、図２の宛先管理テーブル８００を用いるメールシステムにおける、ユーザ操作の流れの概要を説明する図である。図３の処理において、顔認証処理は後述する図９の顔認証／照合処理装置１００が行い、その他の処理は後述する図９の映像機器の制御部１２０が行うように構成できる。

例えばＩＤ＝３で宛先管理テーブル８００に登録された「おじいちゃん」がスタンバイ状態にあるＴＶ１０のカメラの前に座ると（ＳＴ１０）、ＴＶ１０内臓の顔認証／照合処理装置１００は、「おじいちゃん」の顔認証処理を開始する。そして、この顔認証処理により得られた顔の特徴点に対応するコードを、宛先管理テーブル８００内の特徴点８００ｃのコード群から探す。対応するコードが見つかれば、ＴＶ１０の前にＩＤ＝３で登録された「おじいちゃん」がいることがわかる。対応するコードが見つからなければ、登録された別のユーザ（例えばＩＤ＝４のおばあちゃん）がカメラの前にくるか、ＴＶ１０の電源がオンされるまで待機状態となる。

ＩＤ＝３で登録された「おじいちゃん」がいることが分かった際に、宛先管理テーブル８００の識別子リンク８００ｄにおいてＩＤ＝３がＩＤ＝１にリンクされておりＩＤ＝１のビデオメール受け取りフォルダ“mail_receive_folder#1”に孫（例えば「こうすけ」と「あやな」）からのビデオメールが登録され、そのビデオメールに「こうすけ、あやなからメールだよ」という着信音が付加されていたとすれば、ＴＶ１０のスピーカから「こうすけ、あやなからメールだよ」という音声案内が出され（ＳＴ１３）、ＴＶ１０の電源がオンされる（ＳＴ１４）。

電源がオンされたＴＶ１０の画面には、宛先管理テーブル８００でＩＤ＝１に登録された「おじいちゃんとおばあちゃん」の顔イメージおよび、ＩＤ＝３に登録された「おじいちゃん」の顔イメージが表示される。その際、「だれ宛のメールをみますか」という案内文字もデフォルト表示される（ＳＴ２０）。ＴＶ１０の前に座った「おじいちゃん」は、手元のリモコンの図示しないカーソルキー操作で例えば「おじいちゃんとおばあちゃん」の顔イメージにカーソルを合わせ、同リモコンの図示しないエンターキー（決定ボタン）を押して「おじいちゃんとおばあちゃん」の選択を確定する（ＳＴ２０）。すると、宛先管理テーブル８００のビデオメール受け取りフォルダ名８００ｅの列のうち、ＩＤ＝１の行のフォルダ“mail_receive_folder#1”に登録された孫（「こうすけ」と「あやな」）からのビデオメールのサムネイルがＴＶ１０に表示される。

その際、“mail_receive_folder#1”フォルダに別のビデオメールが存在する場合は、そのビデオメールのサムネイルも同時に表示され、「メールを選択してください」という案内文字もデフォルト表示される（ＳＴ２６）。この場合、それ以前（ＳＴ１３）に「こうすけ、あやなからメールだよ」という音声案内があったので、「おじいちゃん」は迷うことなく孫（「こうすけ」と「あやな」）の顔を含むサムネイルを選択することができる。すなわち、「おじいちゃん」は、手元のリモコンのカーソルキー操作で「こうすけとあやな」の顔イメージにカーソルを合わせ、同リモコンのエンターキーを押して「こうすけとあやな」の選択を確定する（ＳＴ２６）。すると、“mail_receive_folder#1”フォルダに登録された「こうすけとあやな」からのビデオメールをＴＶ１０で再生することができる（ＳＴ２８）。

ビデオメールの再生が終わると、操作メニュー画面に切り替わる（ＳＴ３０）。再度同じビデオメールを見たいとき、あるいは同じフォルダ内の別メールを見たいときは、表示されたメニューから「（Ａ）メールを見る」をリモコンのカーソルキー操作で選んでエンターキーを押す。すると、ＳＴ２０〜ＳＴ２８の処理が再度実行される。この処理において、例えばＩＤ＝３の行の“mail_receive_folder#3”フォルダに登録された別のメールを見ることができる。

以上の操作において、「おじいちゃん」は、自分が知っている顔画像を確認しながらリモコンのカーソルキー操作とエンターキー操作をするだけでメールのコンテンツを見ることができており、キーボード操作は不要となっている。

操作メニュー画面（ＳＴ３０）において「（Ｂ）メールを送る」をリモコンのカーソルキー操作で選んでエンターキーを押すと、ＳＴ４０〜ＳＴ４９の処理が実行される。すなわち、例えばメールの送り手である孫（「こうすけ」と「あやな」）がカメラの前で「おじいちゃんとおばあちゃん」への録画を行い、録画を終了すると、その様子の映像および音声のデータが１つのビデオメールファイルとなる（ＳＴ４０）。なお、このビデオメールファイルのコンテンツは、デジタルカメラで撮影したスチル画、あるいはスキャナで取り込んだスチル画でもよい。

このビデオメールファイル（メールのコンテンツ）ができあがると、図２の宛先管理テーブル８００の顔イメージ８００ｂの各列に登録されている顔のサムネイルが画面表示され、「宛先を選択してください」という案内文字がデフォルト表示される（ＳＴ４２）。メールの送り手である「こうすけ」または「あやな」が例えば「おじいちゃんとおばあちゃん」の顔イメージにリモコンのカーソルを合わせ、同リモコンのエンターキーを押して「おじいちゃんとおばあちゃん」の選択を確定する（ＳＴ４２）。そのあと、「着信音をどうぞ」という音声案内に従い「こうすけ、あやなからメールだよ」という音声を録音し、その録音を着信音として同じビデオメールファイルに登録する（ＳＴ４４）。すると、「こうすけ、あやなからメールだよ」という着信音が付加されたビデオメールファイルが図１のサーバ８０に転送され（ＳＴ４９）、宛先管理テーブル８００内にあるビデオメール受け取りフォルダ名８００ｅの列の“mail_receive_folder#1”というフォルダに登録される。こうして、キーボードによる文字入力をすることなく、ビデオメールの送信を完了することができる。

以上の操作において、「こうすけ」および「あやな」は、自分が知っている「おじいちゃん」および／または「おばあちゃん」の顔の画像を確認しながらリモコンのカーソルキー操作とエンターキー操作をするだけでビデオメールの送信ができており、キーボード操作は不要となっている。

操作メニュー画面（ＳＴ３０）において「（Ｃ）メールアドレス登録」をリモコンのカーソルキー操作で選んでエンターキーを押すと、ＳＴ６０〜ＳＴ６４の処理が実行される。すなわち、例えばカメラの前に「おじいちゃん」と「おばあちゃん」の２人がおり、両者の顔認識が顔認証／照合処理装置１００により行われる。すると、「おじいちゃんとおばあちゃん」の２人の顔イメージがＴＶ１０で画面表示され、「決定ボタンを押すと登録します」という文字案内がデフォルト表示される（ＳＴ６０）。「おじいちゃん」または「おばあちゃん」が図示しないリモコンのエンターキー（決定ボタン）を押すと、確認のために「お二人を登録します。よろしいですか。」という文字案内が表示される（ＳＴ６２）。それでよければ再度エンターキー（決定ボタン）を押す。すると、「おじいちゃんとおばあちゃん」の顔のビットマップデータが図２の顔イメージ８００ｂの欄のＩＤ＝１の行に登録され、その行に「おじいちゃん」の顔の特徴点コードと「おばあちゃん」の顔の特徴点コードが記述される。そして「おじいちゃんとおばあちゃん」を受取人とするビデオメールフォルダ“mail_receive_folder#1”が、図２の宛先管理テーブル８００内に設置される。（当初は同じ個人顔ＩＤへのリンク８００ｄの列はブランクでもよい。このリンクの列の各行は、後に適宜埋まってゆく。）こうして、「おじいちゃんとおばあちゃん」の初期登録が完了する（ＳＴ６４）。

以上の操作において、「おじいちゃん」または「おばあちゃん」は、自分が知っている顔画像を確認しながらリモコンのカーソルキー操作とエンターキー操作をするだけで自分の登録ができており、キーボード操作は不要となっている。

図３のＳＴ１０〜ＳＴ２０における一連の処理は、顔認証されたユーザに「メールがきている」ことを知らせる方法の一例として、次のようなものでもよい。すなわち、
01）メールが届いている人（顔認識されたユーザ）がＴＶ画面を見ていたら、自動的にＴＶ電源を入れ、届いたメールに応じたメッセージを表示する。このメッセージは、図３のＳＴ２０での例示に限られず、図１の企業９０が推薦するコンテンツの発見情報や企業９０からのビデオレター、あるいはインターネット上のサイトからのお知らせなどを含んでいてもよい。

02）電源を入れる前あるいはその後に、ＴＶ画面を見ている人（顔認識されたユーザ）に応じた音声案内を適宜行う。

03）具体的には、メールの送り主が自分の顔のビデオメールファイルに呼びかけ声を登録し、メールを受け取る相手がＴＶの前に居る時にその声で「太郎からの伝言があるよ」といった呼びかけを行う。

04）その際、複数の人がＴＶ画面を見ている場合（複数人の顔認証がなされた場合）に、呼びかけの対象者を選択できる。（例えば「おじいちゃん」と「おばあちゃん」がＴＶの前にいても呼びかけ相手は「おじいちゃん」だけにすることができる。これは、例えば図２の宛先管理テーブル８００において、ＩＤ＝１のメール受け取りフォルダに「おじいちゃん向けの呼びかけ声」の音声データを登録すれば実現できる。）
また、画面を見ている人々に総合的に推薦できるコンテンツや関係するビデオレター、サイトからのお知らせなどを表示することもできる。（例えば顔認証されたユーザが「おじいちゃん」と「おばあちゃん」である場合、片方だけに偏らず両者に共通して推薦できるコンテンツ、たとえば温泉旅行案内や美味しいお蕎麦屋さんの紹介などを表示することができる。）
05）送られてきたメールのメッセージの中身を見る場合、あらかじめ登録した動作（顔イメージを登録したユーザの手の動きや指使いなど）を、パスワード代わりに用いることもできる。（例えばユーザの人差し指と中指によるＶ字の映像輪郭が１〜２秒の間に左右に３回往復したらパスワードとして受け入れるなど。）顔認証されたユーザ以外にはメッセージを見せたくない別人がＴＶ前に同席している場合に、パスワードの設定が役立つ。その際、ユーザの手や指の動きなどをパスワードとしておけば、パスワード設定にキーボード入力を必要としない。

06） 画面を見ている人がワイヤレスキーを持っている場合にのみメッセージの中身を見ることが出来るように構成することもできる。（ここで、ワイヤレスキーとは、自動車のキーレスエントリーと同様な機能を持つキーのことである。携帯電話による呼び出しがその代わりになってもよい。）あるいは、顔認識されたユーザの手元にある特定識別コードが設定されたリモコンだけからメッセージの中身を見る操作を受け付けるようにしてもよい（他のリモコンからは操作を受け付けないようにする）。

07）受信メール一覧としては、受信したビデオメールから抽出した顔を並べるようにしてもよい。ビデオメールから顔が抽出できない場合は、図３のＳＴ２０における例示のように、顔認証したユーザの顔画像のサムネイルを出すことができる。（詳細は図６を参照して後述する。）
図４は、着信のお知らせ処理の一例を説明する図である。この処理は図３のＳＴ１０〜ＳＴ１４の処理に対応する。すなわち、誰かがスタンバイ状態にあるＴＶ１０のカメラの前にいると（ＳＴ１１イエス）、ＴＶ１０内臓の顔認証／照合処理装置１００は、その人（ユーザ）の顔認証処理を開始する（ＳＴ１００）。そして、この顔認証処理により得られた顔の特徴点に対応するコードを、宛先管理テーブル８００内の特徴点８００ｃのコード群から探す。対応するコードが見つかれば（ＳＴ１２イエス）、その人のＩＤに対応するビデオメール受け取りフォルダに登録されたビデオメールの着信メッセージを再生する（ＳＴ１３）。対応するコードが見つからないときは（ＳＴ１２ノー）、対応するコードが登録された誰かがカメラの前にくるまで（ＳＴ１１イエス）スタンバイする。顔認証処理（ＳＴ１００）の詳細については後述する。

なお、機械処理による顔認証だけでは１００％信頼できない状況下でメールを他人が見る恐れを払拭したいときは、顔認証処理に加えて、別の鍵を設けその鍵がある場合に限りメールのメッセージ等を見ることができるように構成できる。

具体的には、ＴＶ１０の前のユーザがワイヤレスキー（車のキーレスエントリーのようなもの。携帯電話もしくは特別なコードが設定されたリモコンがその代わりになってもよい）を持っており、そのワイヤレスキーから特定のキーコードを受け付けたときにのみ、メールを再生できるようにしてもよい。この場合、ワイヤレスキーの受信機（図示せず）を図９の制御部１２０に繋いでおき、制御部１２０がワイヤレスキーのキーマッチ処理を行うように構成できる。

あるいは、上記のワイヤレスキーの代わりに（またはワイヤレスキーと併用して）、予め登録した動作（ユーザの手の動きなど）を、別の鍵として用いることもできる。例えばワイヤレスキーやリモコンを持ったユーザの手の映像が一定時間内に所定回数範囲で（上下、左右、または斜めに）往復運動したらキーマッチとして受け入れることができる。

図５は、メールフォルダ選択肢の表示処理の一例を説明する図である。この処理は図３のＳＴ２０の処理に対応する。まず、例えば図１のカメラ１０ａの前でＴＶ１０の画面を見ている人（ユーザ）の顔認証を行う（ＳＴ１００）。

カメラ１０ａの前のユーザが別の人に入れ替わったり、他の人がさらに現れてユーザが増えたり、カメラ１０ａ前にいた複数人の一部がカメラの前から去ってユーザが減ったりすることがあり得るので、それ以前（例えば図４のＳＴ１００）に顔認証が行われていたとしても、図５の顔認証（ＳＴ１００）は行う。ただし、顔認証を行う元データ（ユーザの顔画像をカメラから取り込んだビットマップデータ）が以前に顔認証したときのものと同じならば、図５の顔認証（ＳＴ１００）の処理はスキップし、以前の顔認証（例えば図４のＳＴ１００）の結果を用いることができる。

カメラ１０ａ前のユーザ（例えば「おじいちゃん」）の顔認証が済み、その特徴点データが得られたら、得られた特徴点データを元に図２の宛先管理テーブル８００に登録された顔イメージを検索して、特徴点が一致するかどうかをチェックする（ＳＴ１８）。最初のチェックにおいて（ＳＴ１８ノー）、特徴点が一致する顔イメージ（例えば「おじいちゃん」の特徴点について一致部分を含むＩＤ＝１の「おじいちゃんとおばあちゃん」）が見つかれば（ＳＴ１９イエス）、その顔イメージ（図２の例ではＩＤ＝１の顔イメージ）のサムネイルがＴＶ１０に画面表示される（ＳＴ２０）。

同様に、次のチェックにおいて（ＳＴ１８ノー）、特徴点が一致する顔イメージ（「おじいちゃん」の特徴点と一致するＩＤ＝３の「おじいちゃん」）が見つかれば（ＳＴ１９イエス）、その顔イメージ（図２の例ではＩＤ＝３の顔イメージ）のサムネイルがＴＶ１０に追加表示される（ＳＴ２０）。

以上の顔検索（ＳＴ１８）と登録顔表示（ＳＴ２０）が図２の宛先管理テーブル８００に登録された顔イメージ８００ｂ全てについて済めば（ＳＴ１８イエス）、図５の処理は終了する。その結果、ＴＶ１０の画面には、例えば図３のＳＴ２０で示すような複数のサムネイル表示が行われる。こうして表示されたサムネイル各々が、対応するメールフォルダの選択肢となる。図２の宛先管理テーブル８００の登録内容を例にとれば、ＩＤ＝１の顔イメージ「おじいちゃんとおばあちゃん」が選ばれれば“mail_receive_folder#1”というメールフォルダが選択され、ＩＤ＝３の顔イメージ「おじいちゃん」が選ばれれば“mail_receive_folder#3”というメールフォルダが選択される。

図６は、受信メール一覧の表示処理の一例を説明する図である。この処理は、図３のＳＴ１０〜ＳＴ１４の処理に続く、ＳＴ２０以降の処理に対応する。ビデオメール受信後、未だそのメールの表示がなされていないときは（ＳＴ２２ノー）、図２の宛先管理テーブル８００の該当するビデオメール受け取りフォルダから１つのビデオメールを取得する（ＳＴ２３）。

そのビデオメールの一部を再生（例えばビデオの再生開始から２０秒目〜３０秒目の間を１秒毎に１０フレームほど再生）しその再生ビデオフレームの中から人の顔画像を探す。顔画像を探し出すことができれば、その顔画像データを取り出して（ＳＴ２４）その顔の認証を行い、図２の宛先管理テーブル８００に登録されたいずれかの顔の特徴点と一致するか否かをチェックする。その結果、宛先管理テーブル８００に登録された顔の特徴点と一致するものが１以上見つかれば、１つ以上の顔を抽出できたものして（ＳＴ２５イエス）その顔画像を表示する（ＳＴ２６ａ）。

抽出できた顔が１つだけのときはその顔に対応するビデオメールファイルを宛先管理テーブル８００から取り出し、再生する（ＳＴ２８）。抽出できた顔が複数あるときはそれらの顔各々をＴＶに表示して、ユーザ（メールの受け手）に表示された顔の選択を促す（ＳＴ２６ａ）。ユーザが表示された複数の顔のうち特定の顔をリモコンのカーソル操作で特定しエンターキーを押して選択したら、その顔に対応するビデオメールファイルを宛先管理テーブル８００から取り出し、再生する（ＳＴ２８）。

以上の操作でビデオメールから１つも顔を抽出できなかったときは（ＳＴ２５ノー）、そのビデオメールのファイルに対応するＩＤを持った登録顔イメージ（例えば図２の宛先管理テーブル８００に登録されたＩＤ＝１の「おじいちゃんとおばあちゃん」の顔イメージ）のサムネイルを表示する（ＳＴ２６ｂ）。

表示されたサムネイルが１つだけのときはそのサムネイルの顔に対応するビデオメールファイルを宛先管理テーブル８００から取り出し、再生する（ＳＴ２８）。表示されたサムネイルが複数あるときはそれらをＴＶに表示して、ユーザ（メールの受け手）に表示されたサムネイルの選択を促す（ＳＴ２６ｂ）。ユーザが表示された複数のサムネイルのうち特定のサムネイルをリモコンのカーソル操作で特定しエンターキーを押して選択したら、そのサムネイルの顔に対応するビデオメールファイルを宛先管理テーブル８００から取り出し、再生する（ＳＴ２８）。

なお、ＳＴ２４の処理で事前に顔画像データが得られていたときは、その顔画像データからＳＴ２６ｂで表示するサムネイルを作成することもできる。

図７は、メール送信処理の一例を説明する図である。この処理は図３のＳＴ４０〜ＳＴ４９の処理に対応する。すなわち、図１のビデオレターサーバ８０の宛先管理テーブル８００にあるビデオメール受け取りフォルダに、送信したいビデオメールが登録される（ＳＴ４５）。この登録をしたビデオメール受け取りフォルダ名に対応するＩＤ（図３のＳＴ４２で選択された顔に対応するＩＤ）が、図２の宛先管理テーブル８００から取得される（ＳＴ４６）。例えば、“mail_receive_folder#1”というフォルダ名にビデオメールが登録されたとすれば、そのフォルダ名に対応するＩＤ＝１が取得される（ＳＴ４６）。

このＩＤ＝１の行に、同じ個人の顔を示すＩＤへのリンクが張られていたならば、そのリンク先のＩＤが取得される（ＳＴ４７）。例えば、ＩＤ＝１で「おじいちゃんとおばあちゃん」が登録され、ＩＤ＝３で同じ「おじいちゃん」が登録され、ＩＤ＝４で同じ「おばあちゃん」が登録されていたとすれば、同じ個人顔ＩＤへのリンク８００ｄの列におけるＩＤ＝１の行にはＩＤ＝３とＩＤ＝４が記述されている。その場合は、ＳＴ４６でＩＤ＝１を取得したら、ＳＴ４７でＩＤ＝３とＩＤ＝４を取得する。

こうして取得した１以上のＩＤ（ＩＤ＝１にリンクしたＩＤ＝３およびＩＤ＝４）に対応するフォルダ（“mail_receive_folder#3”および“mail_receive_folder#4”）に、登録されたビデオメールへのショートカットが張られる（ＳＴ４８）。このショートカットは、対応フォルダに、送信したいビデオメールのファイル格納位置を示すファイルポインタを設定したり、インターネット上でそのビデオメールのファイルがある場所とその取得方法を指定するＵＲＬを記述することで、具現できる。そして、ＩＤ＝１の「おじいちゃんとおばあちゃん」、ＩＤ＝３の「おじいちゃん」、ＩＤ＝４の「おばあちゃん」を受け取り人とするメールが送信される（ＳＴ４９）。

以上の処理により、ユーザ（メール送信者）はキーボード操作することなくメールを出すことができる。

図８は、メール登録処理の一例を説明する図である。この処理は図３のＳＴ６０〜ＳＴ６４の処理に対応した処理である。ここでは、図２の宛先管理テーブル８００に、ＩＤ＝１の「おじいちゃんとおばあちゃん」の顔とＩＤ＝２の「子供」の顔が既に登録されているものとし、その後の登録処理について説明する。まず、図１のカメラ１０ａなどでユーザ（例えば「おじいちゃん」）の顔イメージを撮影する（ＳＴ５６）。続いて、撮影した顔を認識して（ＳＴ１００）その特徴点を抽出し、コード化する。

認識された「おじいちゃん」の顔の特徴点が、登録済みのＩＤ＝１の「おじいちゃんとおばあちゃん」の顔における「おじいちゃん」の顔の特徴点と一致すると（ＳＴ５７イエス）、登録済みのＩＤ＝１の「おじいちゃんとおばあちゃん」の顔イメージをＴＶ１０で表示し「（あなたは）これと同じ組ですか？」という問いかけが文字および／または音声で出される（ＳＴ５８）。ここで、機械まかせでなくユーザ判断を入れる余地が生じ、顔登録の正確さを高めることができる。

ＴＶ１０の前のユーザ（おじいちゃん）が手元のリモコン操作で図示しない「はい」の絵文字を選択してエンターキーを押すと（ＳＴ５８イエス）、「追加登録しますか？」という問いかけが文字および／または音声で出される（ＳＴ６２）。ユーザ（おじいちゃん）が「追加登録不要」と判断すれば（ＳＴ６２ノー）、手元のリモコンの図示しない終了キーを押して、図８の処理を終了する。

ユーザ（おじいちゃん）が「追加登録する」と判断すれば（ＳＴ６２イエス）、顔認識された「おじいちゃん」が、図２の宛先管理テーブル８００に、ＩＤ＝３で登録される（ＳＴ６４）。すると、宛先管理テーブル８００のＩＤ＝３の行における顔イメージ８００ｂの列に「おじいちゃん」の顔イメージが登録され、同行における顔の特徴点８００ｃの列に「おじいちゃん」の顔の特徴点コードが記述され、同行におけるビデオメール受け取りフォルダ名８００ｅの列にＩＤ＝３の「おじいちゃん」用の“mail_receive_folder#3”というフォルダが作成される（当初はこのフォルダは空）。さらに、ＩＤ＝３の行における同じ個人顔ＩＤへのリンク８００ｄの列にＩＤ＝３を示す“３”が記入され、同時に、ＩＤ＝１の行における同じ個人顔ＩＤへのリンク８００ｄの列にＩＤ＝３を示す“３”が記入される。これにより、ＩＤ＝３の「おじいちゃん」は、同じ人物を含むＩＤ＝１の「おじいちゃんとおばあちゃん」にリンクされる。

なお、ＳＴ１００で顔認証をした際に顔以外の背景画像は顔画像から区別されているので、ＳＴ６４での顔イメージの登録の際には、顔から区別された背景の画像をカットできる（景色の良い野外での撮影の顔なら背景を残してもよいが、散らかった室内での撮影の顔なら背景をカットした方がよい）。カットされた背景画像領域部分は、例えば青一色のピクセルデータで埋め尽くすことができる（この場合背景は無地のブルーバックとなる）。

前記背景画像の領域に任意の画像を挿入して顔画像データを得る方法もある。その方法としては、例えば「顔画像だけを抽出して、別にデジタルカメラで撮影した静止画像と合成し、あるいはデジタルビデオカメラで別途撮影した動画と合成する」ものがある。

具体的には、例えば顔画像が８ビットプレーンのビットマップデータが合成されて出来上がっている場合に最下層の１ビットプレーンを静止画データと入れ替え、その上の７ビットプレーンをユーザの顔画像データとすることができる。

もしくは、背景画像をデジタルビデオカメラで別途撮影した動画（あるいはパソコンで作成したコンピュータグラフィックアニメーション）と入れ替えるといった処理も可能である。具体的には、例えば顔画像が８ビットプレーンのビットマップデータで構成されている場合に最下層の１〜４ビットプレーンを動画データと入れ替え、その上の７〜４ビットプレーンをユーザの顔画像データとすることができる。

認識された「おじいちゃん」の顔の特徴点が登録済みのＩＤ＝１の「おじいちゃんとおばあちゃん」の顔における「おじいちゃん」の顔の特徴点と一致しないとき（ＳＴ５７ノー）、あるいはその特徴点が一致すると機械が認識してもユーザ自身がよく見ると他人（よく似た兄弟など）であると判断すれば（ＳＴ５８ノー）、その「おじいちゃん」は宛先管理テーブル８００に未登録のユーザということになるので、ＳＴ６４の登録を行う。登録するユーザが１人だけのときは、以上で顔登録は終了する（ＳＴ６５イエス）。

一方、ＳＴ１００で顔認証したときに複数の顔が含まれていたときは、各々の顔について１人づつ顔登録がなされる。すなわち、全ての顔各々について登録が済んでいないときは（ＳＴ６５ノー）、１人の顔毎に、宛先管理テーブル８００に登録された顔であるか否かをチェックする（ＳＴ６６）。その顔が宛先管理テーブル８００に登録されていなければ（ＳＴ６６ノー）、インクリメントされた新たなＩＤの行にその顔のイメージと特徴点とリンクＩＤとフォルダ名を登録する（ＳＴ６８）。

その顔が宛先管理テーブル８００に登録されていると機械が判断しても（ＳＴ６６イエス）、ユーザがその顔画像をみて「よく似た他人」と判断すれば（ＳＴ６７ノー）、インクリメントされた新たなＩＤの行にその顔のイメージと特徴点とリンクＩＤとフォルダ名を登録する（ＳＴ６８）。ここでも、機械まかせでなくユーザ判断を入れる余地が生じ、顔登録の正確さを高めることができる。なお、ＳＴ６８の顔登録においても、適宜背景をカットすることができる。

その顔が宛先管理テーブル８００に登録されていると機械が判断し（ＳＴ６６イエス）、かつユーザがその顔画像をみて「自分だ」と判断すれば（ＳＴ６７イエス）、重複登録を避けるためＳＴ６８の処理をスキップする。顔登録したいユーザが他にいないときは、以上で顔登録は終了する（ＳＴ６５イエス）。

図９は、顔認証／照合処理装置の構成例を説明する図である。図４、図８等における顔認識処理ＳＴ１００は顔認証／照合処理装置１００が行い、その他の処理は映像機器の制御部１２０が行う。顔認証／照合処理装置１００は、主制御部１１２、画像インターフェース（Ｉ／Ｆ）部１１３、通信インターフェース（Ｉ／Ｆ）部１１４、顔検出部１１５、顔照合部１１６、記憶部１７などで構成される。なお、記憶部１１７には照合データベースが格納されている。

主制御部１１２は、図示しないが、プログラムメモリ、ワークメモリなどを持つＭＰＵにより構成され、ＭＰＵがプログラムメモリに記憶されているプログラム（ファームウエア）を実行することにより種々な機能を実現している。

画像インターフェース部１１３は、図１のカメラ１０ａ（あるいは２０ａ〜６０ａ）により撮影された画像（使用するカメラの画素数に応じた解像度のビットマップデータ）を顔認証／照合処理装置１００に入力するためのインターフェースである。また、通信インターフェース部１１４は、映像機器の制御部１２０との通信を行うためのインターフェースである。顔認証／照合処理装置１００は、制御部１２０からの要求に応じてカメラ１０ａから取り込んだ顔画像の認証や照合を行い、その結果をインターフェース部１１４を介して制御部１２０へ返すように構成されている。

顔照合部１１６は、顔検出部１１５で検出した顔画像と記憶部１１７内の照合データベース（図２のＩＤ８００ａ、顔イメージ８００ｂ、顔の特徴点８００ｃに相当する情報を含むデータベース）に記憶されている特定の人物の顔画像との照合処理を行うものである。

顔検出部１１５は、カメラ１０ａにより撮影された画像から人物の顔画像を検出する処理を行う。その際、顔検出部１１５では、撮影された画像データの階調やコントラストを適宜変え、輪郭強調処理をするなどして、そこに写っている顔画像のエッジ（顔の輪郭、目、鼻、口の輪郭など）を浮き出させ、目、鼻、口などを含む顔のパターンを検出しやすくする。これにより顔画像が存在する領域とその周辺の背景画像が存在する領域との境界が明確となり、背景画像部分の削除処理が容易になる。

そして、顔画像を含む矩形領域の左上隅を原点とする２次元の座標値などで、顔画像を含む２次元領域ＦＡを定める。この顔画像の２次元領域ＦＡにおいて、顔検出部１１５は、顔検出テンプレート（予め用意された１以上の標準顔パターン）を移動させながら、領域ＦＡ上の顔パターンと予め用意された標準顔パターンとの相関値を求める。こうして、２次元座標で表される特定位置（ｘ，ｙ）にある顔パターンの特徴点（目、鼻、口など）について標準パターンとの相関値をコード化する。その結果が、図２の宛先管理テーブル８００における顔の特徴点８００ｃに記載される。その記載がなされるテーブルの行は、顔の相関値を求めた原顔画像のイメージが登録された行となる（例えばＩＤ＝１の行に登録された顔イメージの特徴点の相関値コードはＩＤ＝１の行に記載される）。

いま、予め用意されたサイズの異なる複数の標準顔パターンをｇｓ（ｉ，ｊ）とし、この標準顔パターンｇｓ（ｉ，ｊ）と２次元領域ＦＡの画像ｆ（ｘ，ｙ）内の局所領域（目、鼻、口などの領域）との相関をＭｓ（ｘ，ｙ）とする。この場合、局所領域における相関Ｍｓ（ｘ，ｙ）は、例えば
Ｍｓ（ｘ，ｙ）＝Σｆ（ｘ＋ｉ，ｙ＋ｉ）・ｇｓ（ｉ，ｊ）／｛Σｆ（ｘ＋ｉ，ｙ＋ｉ）・Σｇｓ（ｉ，ｊ）｝ …（１）
として求めることができる。ここで、サイズの異なる標準顔パターンｇｓ（ｉ，ｊ）は、決められたサイズで予め収集した顔パターンを平均するなどして作成できる。

上述した相関Ｍｓの求め方については、公知の方法を採用することができる。その一例として、特開２００３−１０８９３５号公報開示された「証明用媒体発行装置および本人照合装置」を参考までに挙げておく（この公報の段落００４３〜００５７には、顔認証／照合処理で利用可能な具体例が示されている）。

顔認証／照合処理装置１００に顔認証／照合処理を指示しその処理結果を受けて図３〜図８の処理を行う映像機器の制御部１２０には、機器構成に応じて、顔画像表示やビデオメール再生を行う表示部１２１、メール着信の音声案内やビデオメール内の音声出力を行うスピーカ１２２、スピーカ１２２から出す音声案内の音声データメモリを持ちその音声データから音声信号を合成する音声合成部１２３、表示部１２１で表示するサムネイルやダイアログあるいは絵文字が展開されるビデオメモリ１２４、ユーザ操作を受けるリモコン１２５、ビデオレターその他の情報を格納するハードディスクドライブ（ＨＤＤ）１２６、ビデオレターその他の情報を格納するメモリ（ＩＣカード）１２７などが接続されている。この顔認証／照合処理装置１００は、インターネットあるいはホームネットワーク経由で、ビデオレターサーバ８０の宛先管理テーブル８００にアクセスし、その内容を適宜取り出し、あるいはその内容を適宜書き替える（追加登録や不要情報の削除）ことができるようになっている。

なお、図９の装置１００および制御部１２０の機能は、図１の電子機器（ＴＶ１０、ＴＶ２０、ＰＣ３０、ゲーム機４０、携帯電話５０、レコーダ６０）それぞれに組み込むことができる。ただし、顔認証の処理能力は、個々の機器で異なっていてもよい。例えば、デジタルＴＶ１０やＰＣ３０では１画面に複数の顔があってもそれらを別々に認識できるものとし、ゲーム機４０や携帯電話５０ではカメラの前のユーザの顔を１人づつしか認識しないものとすることができる。

＜実施の形態のまとめ＞
(ａ) メールアドレス（＝顔）登録方法
1a. 装置に付けられたカメラで撮られた顔を宛先として登録する。登録先は装置本体（ＨＤＤ等）またはインターネット上のサーバ。

2a. 宛先登録時に一度に複数の顔をカメラで撮った場合は、個々の顔を認識し、個々の顔を個別に宛先データとして登録する。ただし宛先の選択肢としては複数の顔が入ったものがあってもよい。

3a. 複数人で撮ると複数人同時送信扱いの宛先になる。

4a. 顔イメージを登録する際、背景を任意のものにする。（背景の散らかった部屋を隠せる）
（ｂ）メールを出す方法（相手の顔を選択する）
1b. ビデオレターの宛先は複数の顔の中から任意の複数の顔を選択し、登録する。

2b. ビデオレターの宛先リストはインターネット上のサーバから家庭内の装置が取得する(家族間で使う場合)。

3b. ビデオレターには装置に付けられたカメラで撮った映像のほか、他のコンテンツ（デジカメ写真等）も添付できる。

4ｂ. ビデオレターは装置筐体（ＨＤＤ等）またはインターネット上のサーバに記録される。

（ｃ）メールが来ていることを知らせる方法（顔認識）
1c. メールが届いている人が画面を見ていたら（顔認識）、自動的に電源を入れ、応じたメッセージを表示する。メッセージとは推薦するコンテンツ発見やビデオレター、サイトからのお知らせなどである。

2c. 電源を入れた時、画面を見ている人（顔認識で）に応じたメッセージを表示する。

3c. 送り主が自分の顔に呼びかけ声を登録し、相手がTVの前に居る時にその声で呼びかける（「太郎からの伝言があるよ」など）。

4c. その際、複数の人が画面を見ていた場合、対象者を選択できる。または画面を見ている人々に総合的に推薦できるコンテンツや関係するビデオレター、サイトからのお知らせを表示する。

5c. メッセージの中身を見る場合、あらかじめ登録した動作（手の動きなど）をパスワード代わりに用いる。

6c. 画面を見ていて且つワイヤレスキーを持っている場合にのみメッセージの中身を見ることが出来る。（ワイヤレスキー：車のキーレスエントリーのようなもの。携帯電話がその代わりになってもよい。）
7c. 受信メール一覧としてビデオメールから抽出した顔を並べる。顔が抽出できない場合はサムネイルを出す。

＜実施の形態の効果１＞
ＴＶ等につけられたカメラとビデオメールシステム、顔認識により以下の効果を持つ。

11. キーボードが打てない方もメールの利点を享受できる。

12. 携帯、ＰＣだけでなく、ＴＶなどでもメールを見たり出したりできる。環境を選ばない。

13. 電話をする気楽さでメールが出せる。電話の利点とメールの利点を併せ持つ。

14. 家族など複数人でメールを見たり、出したりできる。

＜実施の形態の効果２＞
カメラと顔認識手段により
21. キーボードが苦手な高齢者でも孫にビデオによるメールが出せる（電話にはない良さがメールにはあるが高齢者はＰＣが苦手）。ＰＣが使えない孫や身体障害者でもビデオによるメールが出せる。

22. 急務な時でも簡単にビデオによる伝言が残せる。

23. 宛先を登録する際にも文字を打つ必要がない（顔が宛先）。

24. 宛先が顔で安心感があり、高い視認性からも宛先間違いが少なくなる。

＜実施の形態の効果３＞
31. キーボードが苦手な高齢者でも孫にビデオによるメールが出せる（電話にはない良さがメールにはあるが高齢者はＰＣが苦手）。ＰＣが使えない孫や身体障害者でもビデオによるメールが出せる。

32. 急務な時でも簡単にビデオによる伝言が残せる。

33. 宛先を登録する際にも文字を打つ必要がない（顔が宛先）。

34. 宛先が顔で安心感があり、高い視認性からも宛先間違いが少なくなる。

35．顔の特徴点がメールアドレス（＝本人直接）の役目を果たすと共に、見る人の鍵の役目（本人しか見られない）も果たす。必要に応じ更にワイヤレスキーや動作パスワードでセキュリティを補完できる。

＜実施の形態の効果４＞
41．人（特に人生経験を重ねた大人）の顔認識能力は、通常、機械処理のみによる顔認識能力を上回るので、非常に良く似た双子を見違えるといったような例外を除けば、誤った人物（とくに送信を意図した相手と無関係な他人）にメールが送られることを回避できる（双子の見違えの場合は無関係な他人への誤送のような問題は起き難い）。

42．キーボード操作が苦手なユーザ（特に最新の電子機器の操作に疎いご老人）でも、リモコンのような簡単操作さえできれば、顔認識処理の利便性を享受できる。

43．また、実使用時にキーボード操作なしで顔登録がなされるので、事前に「人物の顔とメールアドレス」を登録しておかなくても、顔認識処理の利便性をメール通信に利用できる。

＜実施の形態と発明との対応例＞
（１）ユーザの顔画像データを取り込み（ＳＴ５６）、前記顔画像データからユーザの顔の特徴点を抽出してその特徴点をコード化し（ＳＴ１００）、前記顔画像データ（図２の８００ｂ：例えば“おじいちゃんとおばあちゃん”）にユニークな識別子（図２の８００ａ：順に付番するＩＤ＝１）および／またはコード化された前記特徴点（図２の８００ｃ）を関連付けて宛先管理テーブル（図２の８００）に登録する（ＳＴ６４）情報処理方法。

（２）前記宛先管理テーブル（図２の８００）が、前記識別子（８００ａ）の列と、前記顔画像データ（８００ｂ）の列と、前記特徴点（８００ｃ）の列と、識別子リンク（８００ｄ）の列を含み、
前記特徴点（８００ｃ）に共通性（例えば“おじいちゃんの顔”または“おばあちゃんの顔”という共通性）のある前記顔画像データ（８００ｂ）が前記識別子（８００ａ）の列の異なる行（ＩＤ＝１の行とＩＤ＝３の行とＩＤ＝４の行）に存在する場合に、前記識別子リンク（８００ｄ）の列の１行において、前記共通性のある行の前記識別子（８００ａ）を参照する（ＩＤ＝１の行でＩＤ＝３とＩＤ＝４を参照する、ＩＤ＝３の行でＩＤ＝３を参照する等）ように構成した情報処理方法。

（３）前記顔画像データ（８００ｂ）に対応するユーザ（例えば複数人なら「おじいちゃんとおばあちゃん」、あるいは単数人なら「おじいちゃん」）への宛先を示すデータコード（メールアドレスに対応）として、前記ユニークな識別子（８００ａ：例えばＩＤ＝１、あるいはＩＤ＝３）、前記コード化された特徴点（８００ｃ：例えば“4,242,C25,D...8,512,T23,E...”あるいは“4,242,C25,D...”）、および／または前記識別子リンク（８００ｄ）で参照される前記識別子（ＩＤ＝１の行で参照されるＩＤ＝３とＩＤ＝４等）を用いるように構成した情報処理方法。

（４）前記宛先管理テーブル（図２の８００）はメール受取フォルダ（８００ｅ）の列をさらに含み、
前記メール受取フォルダ（８００ｅ）の列の各行に、同じ行の前記識別子（８００ａ）に対応するフォルダ名（例えば、ＩＤ＝１の行のフォルダには“mail_receive_folder#1”というフォルダ名、ＩＤ＝２の行のフォルダには“mail_receive_folder#2”というフォルダ名）を付与し、
前記メール受取フォルダ（８００ｅ）の１つ（例えば“mail_receive_folder#1”）に格納されたメールコンテンツ（図７のＳＴ４５：例えば「孫からおじいちゃんとおばあちゃんへのビデオメール」）を、前記メール受取フォルダの１つ（“mail_receive_folder#1”）に対応する前記識別子（ＩＤ＝１）を宛先に送信し（ＳＴ４９）、あるいは
前記メール受取フォルダ（８００ｅ）の１つ（例えば“mail_receive_folder#1”）に格納されたメールコンテンツ（図７のＳＴ４５：例えば「孫からおじいちゃんとおばあちゃんへのビデオメール」）を、前記メール受取フォルダの１つ（“mail_receive_folder#1”）に対応する前記識別子リンク（８００ｄ）により参照される前記識別子（ＩＤ＝３とＩＤ＝４）を宛先に送信する（ＳＴ４８〜ＳＴ４９）ように構成した情報処理方法。

（５）前記宛先管理テーブル（図２の８００）に登録された前記ユーザの顔画像（図２の８００ｂ）を表示して（ユーザに）特定の顔画像の選択を促し（図３のＳＴ４２）、
選択された顔画像(例えば「おじいちゃんとおばあちゃん」)に対応する前記メール受取フォルダの１つ（図２の８００ｅの“mail_receive_folder#1”）にメールコンテンツ（ＳＴ４０で作成したビデオメール等）を登録する（図７のＳＴ４５）ように構成した情報処理方法。

（６）着信メールがある場合において、カメラの前にユーザがいたら（図４のＳＴ１１イエス）そのユーザの顔を認識し（ＳＴ１００）、
顔を認識した前記ユーザがメールの宛先に該当したら（ＳＴ１００で認識したユーザの顔の特徴点データと、図２のテーブルのうちメール宛先の顔の特徴点データとが一致したら）（ＳＴ１２イエス）そのユーザ宛のメッセージ（着信音または音声案内）を再生する（ＳＴ１３）ように構成した情報処理方法。

（７）ユーザの顔画像データを取り込む手段（１０ａ、１１３）と、前記顔画像データからユーザの顔の特徴点を抽出してその特徴点をコード化する手段（１１５）と、前記ユーザの顔の画像表示を含めて映像および／または文字の画像表示を行う表示部（１２１）を備え、
前記顔画像データ（“おじいちゃんとおばあちゃん”）にユニークな識別子（ＩＤ＝１）および／またはコード化された前記特徴点（８００ｃ）を関連付けて記憶する宛先管理テーブル（ビデオレターサーバ８０の８００）に接続される情報表示装置。

（８）前記宛先管理テーブル（８００）その内容のコピーを格納する格納手段（ＨＤＤ１２６および／またはＩＣカード１２７）をさらに備えた情報表示装置。

なお、この発明は前述した実施の形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は可能な限り適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。

顔認証を利用したメールシステム全体の概略構成を説明する図。 宛先管理テーブルの具体例を説明する図。 ユーザ操作の流れを説明する図。 着信のお知らせ処理の一例を説明する図。 メールフォルダ選択肢の表示処理の一例を説明する図。 受信メール一覧の表示処理の一例を説明する図。 メール送信処理の一例を説明する図。 メール登録処理の一例を説明する図。 顔認証／照合処理装置の構成例を説明する図。

符号の説明

１０…顔認証／メール機能付デジタルＴＶ（カメラ外付）、２０…顔認証／メール機能付デジタルＴＶ（カメラ内臓）、３０…顔認証／メール機能付パソコン（カメラ外付）、４０…顔認証／メール機能付コンピュータゲーム機（カメラ内臓）、５０…顔認証／メール機能付携帯電話（カメラ内臓）、６０…デジタルＴＶと連携する顔認証／メール機能付レコーダ（ＨＤＤ／光ディスクハイブリッド型デジタルビデオレコーダ等：カメラ外付）、１０ａ〜６０ａ…デジタルカメラ（ユーザの顔情報収集用）、８０…ビデオレターサーバ、９０…サーバと連携するネットワーク上の企業、１００…顔認証／照合処理装置（ハードウエアまたはファームウエアもしくはソフトウエア）、１２０…デジタルＴＶ等の映像機器の制御部、１２１…表示部（ビデオレター表示等）、１２２…スピーカ（音声案内あるいは着信音発生等）、１２３…音声合成部（音声メモリ内蔵）、１２４…ビデオメモリ、１２５…リモコン、１２６…ハードディスクドライブ（ＨＤＤ）、１２７…メモリカード（ＩＣメモリ）、８００…宛先管理テーブル。

Claims (11)

1. ユーザの顔画像データを取り込み、
   前記顔画像データからユーザの顔の特徴点を抽出してその特徴点をコード化し、
   前記顔画像データにユニークな識別子および／またはコード化された前記特徴点を関連付けて宛先管理テーブルに登録する情報処理方法。
2. 前記宛先管理テーブルが、前記識別子の列と、前記顔画像データの列と、前記特徴点の列と、識別子リンクの列を含み、
   前記特徴点に共通性のある前記顔画像データが前記識別子の列の異なる行に存在する場合に、前記識別子リンクの列の１行において、前記共通性のある行の前記識別子を参照するように構成した請求項１に記載の情報処理方法。
3. 前記顔画像データに対応するユーザへの宛先を示すデータコードとして、前記ユニークな識別子、前記コード化された特徴点、および／または前記識別子リンクで参照される前記識別子を用いるように構成した請求項２に記載の情報処理方法。
4. 前記宛先管理テーブルはメール受取フォルダの列をさらに含み、
   前記メール受取フォルダの列の各行に、同じ行の前記識別子に対応するフォルダ名を付与し、
   前記メール受取フォルダの１つに格納されたメールコンテンツを、前記メール受取フォルダの１つに対応する前記識別子を宛先に送信し、あるいは
   前記メール受取フォルダの１つに格納されたメールコンテンツを、前記メール受取フォルダの１つに対応する前記識別子リンクにより参照される前記識別子を宛先に送信するように構成した請求項２に記載の情報処理方法。
5. 前記宛先管理テーブルに登録された前記ユーザの顔画像を表示して特定の顔画像の選択を促し、
   選択された顔画像に対応する前記メール受取フォルダの１つにメールコンテンツを登録するように構成した請求項４に記載の情報処理方法。
6. 着信メールがある場合において、カメラの前にユーザがいたらそのユーザの顔を認識し、
   顔を認識した前記ユーザがメールの宛先に該当したらそのユーザ宛のメッセージを再生するように構成した請求項１に記載の情報処理方法。
7. ユーザの顔画像データを取り込む手段と、
   前記顔画像データからユーザの顔の特徴点を抽出してその特徴点をコード化する手段と、
   前記ユーザの顔の画像表示を含めて映像および／または文字の画像表示を行う表示部を備え、
   前記顔画像データにユニークな識別子および／またはコード化された前記特徴点を関連付けて記憶する宛先管理テーブルに接続される情報表示装置。
8. 前記宛先管理テーブルの内容のコピーを格納する格納手段をさらに備えた請求項７に記載の情報表示装置。
9. 前記顔画像データは所定の画像フレーム内に含まれ、この画像フレームは前記ユーザの顔画像領域と背景画像領域を含み、前記背景画像領域に無地または任意の画像を挿入するように構成した請求項１に記載の情報処理方法。
10. 着信メールがある場合において、カメラの前にユーザがいたらそのユーザの顔を認識し、
    顔を認識した前記ユーザがメールの宛先に該当し、かつそのユーザがワイヤレスキーを持っていたらそのユーザ宛のメッセージを再生するように構成した請求項１に記載の情報処理方法。
11. 着信メールがある場合において、カメラの前にユーザがいたらそのユーザの顔を認識し、
    顔を認識した前記ユーザがメールの宛先に該当したらそのユーザ宛のメッセージを再生可能にする方法において、
    前記ユーザの顔の特徴点を前記ユーザの鍵として用い、さらにそのユーザの動作および／またはそのユーザが持つワイヤレスキーを別の鍵として用いるように構成した請求項１に記載の情報処理方法。

Images