JP2004062868A - 画像内の人物を識別するデジタル・カメラ及び方法 - Google Patents

Abstract

【課題】画像処理システムにより取り込まれた画像内の人物を認識して、その人物の名前を画像に記録する。
【解決手段】画像を取り込むように構成されたフォト・センサと、名前と人物に関する顔識別情報とを格納するために用いられる顔データベースにアクセスする手段と、取り込んだ画像を評価して顔を探し出し、探し出した顔と前記顔データベースに格納された前記顔識別情報とをマッチングするように構成されたプロセッサと、画像内の人の顔と現時点で前記顔データベースに格納されている顔が一致しないとき、その人物の名前を要求するように構成された、ユーザと通信する手段と、を含むデジタル・カメラを提供する。既知の顔のデータベースにより、画像内の人物の名前が画像ファイルのメタデータに追加される。デジタル画像処理装置は、画像内の未知の人物の名前を特定するようユーザに質問する。
【選択図】図２

Description

【０００１】
【発明の属する技術分野】
本発明はデジタル画像処理システムに関し、より具体的には、顔情報のデータベースにアクセスするデジタル画像処理システムにおける顔認識に関する。この出願は、２００２年７月１０日に出願された米国特許出願第１０／１９２，９２２号の「画像内で識別された人物の名前を用いたデジタル画像のファイル管理（Ｆｉｌｅ　ｍａｎａｇｅｍｅｎｔ　ｏｆ　ｄｉｇｉｔａｌ　ｉｍａｇｅｓ　ｕｓｉｎｇ　ｔｈｅ　ｎａｍｅｓ　ｏｆ　ｐｅｏｐｌｅ　ｉｄｅｎｔｉｆｉｅｄ　ｉｎ　ｔｈｅ　ｉｍａｇｅ）」に関連する。
【０００２】
【従来の技術】
デジタル画像処理システムは多数のファイルを作成する。これらのファイルは、音声ファイル、サムネイル、または完全なデジタル画像であることもある。これらのファイルの多くは人物を含む画像である。デジタル画像処理システムのユーザは、そのシステムが取り込んだ写真の中の人物の名前を知っている場合もある。しかし、画像の中の他の人達は、この画像内の人物の名前を知らないことがある。ユーザも、時間の経過とともに、画像の中の人物の名前を忘れることがある。
【０００３】
【特許文献１】
米国特許出願第１０／１９２，９２２号
【０００４】
【発明が解決しようとする課題】
画像処理システムにより取り込まれた画像内の人物を認識して、その人物の名前を画像に記録することが必要とされている。
【０００５】
【課題を解決するための手段】
画像内に含まれる人物のデータベースを作成し維持することができるデジタル画像処理システムは、画像内の人物の識別を容易に行うことができる。このデジタル画像処理システムは、取り込んだ画像内の人物の名前をその画像のメタデータに追加する。
【０００６】
本発明の他の形態及び利点は、図面を参照して以下の説明により明らかになろう。
【０００７】
【発明の実施の形態】
画像に取り込まれた人物のデータベースを構築可能なシステムは、これらの画像の整理及び管理を容易に行うことができる。
【０００８】
今日、デジタル画像内の人間の顔の検出に利用可能な方法が多数ある。一例として、「制御されない環境において、人間の顔を検出するシステム及び方法（Ｓｙｓｔｅｍ　ａｎｄ　ｍｅｔｈｏｄ　ｆｏｒ　ｄｅｔｅｃｔｉｎｇ　ａ　ｈｕｍａｎ　ｆａｃｅ　ｉｎ　ｕｎｃｏｎｔｒｏｌｌｅｄ　ｅｎｖｉｒｏｎｍｅｎｔｓ）」と称する米国特許第６，１８４，９２６Ｂ１号がある。これによれば、デジタル画像内で人間の顔を識別すると、その顔に関する情報を抽出して、他の画像内においてもその顔を識別可能になる。例えば、「顔認識システム（Ｆａｃｅ　ｒｅｃｏｇｎｉｔｉｏｎ　ｓｙｓｔｅｍ）」と称する米国特許第５，１６４，９９２号は、デジタル画像内の顔と一組の基準顔とを比較して、デジタル画像内にいずれかの基準顔があるか否かを判定することができる。
【０００９】
今日のデジタル・カメラは、典型的に、画像を取り込むフォト・センサ（１０２）、取り込んだ画像を表示しまたデジタル・カメラを制御するための表示領域（１０４）、取り込んだ画像を記憶する記憶領域（１１６）、取り込んだ画像を一時的に処理し、またカメラのファームウェアを実行するためのメモリ（１０８）、カメラを動作させるプロセッサ（１１０）、及びある種のユーザ・インターフェース（ＵＩ）制御装置（１０６）を備える。デジタル画像とともにオーディオ・クリップを取り込むためのマイクロホン（１１４）を含むものや、スピーカ（１１８）及びデジタル信号プロセッサ（ＤＳＰ、１１２）を含むデジタル・カメラもある。デジタル・カメラ上のＵＩ制御装置（１０６）は、ボタン、ロッカー・スイッチ、キーボード等の物理的な制御装置と、表示領域内に示される仮想的な制御装置とを含むことができる。デジタル・カメラによって取り込まれたデジタル画像、ビデオ・クリップ及びオーディオ・クリップは、メモリ（１０８）に記憶するか、または記憶領域（１１６）に移すことができる。今日では、メモリと記憶領域は、通常、異なるタイプのデバイスである。メモリは一般に高速の揮発性メモリであり、記憶領域は一般により低速の不揮発性メモリである。将来、不揮発性メモリの速度が増大すれば、すべてのメモリが不揮発性タイプのものになりうる。さらに、デジタル・カメラに、インターネットへの無線リンク（１２０）、例えば携帯電話を組み込むこともできる。
【００１０】
典型的に、画像ファイルには、単に生の（ｒａｗ）画像データだけでなくより多くの情報が含まれる。このような付加的なデータは、一般にメタデータと呼ばれている。ほとんどの画像ファイルには、画像ファイルが作成された日時が含まれる。さらに、多くの画像ファイルには、画像に関する情報、例えば、画像の解像度、画像の取り込みに用いた露出設定値、画像圧縮の有無、及び圧縮されている場合は圧縮の程度等の情報も含まれる。なかには、全地球測位システム（ＧＰＳ、図示せず）を備え、画像ファイルが作成された場所を画像ファイルに含むカメラもある。他にも多くの種類の情報を画像ファイル内に含めることができる。例えば、画像に取り込んだ人物の名前をメタデータとして記憶することができる。
【００１１】
本発明の一実施形態では、デジタル・カメラは既知の顔のデータベースへのアクセスを有する。顔データベースは、カメラのメモリ（１０８）または記憶領域（１１６）に含まれていても良いし、内部バス（１２２）を用いてまたは無線リンク（例えば、携帯電話またはラジオリンク）によってリモートに顔データベースにアクセスすることもできる。リモート・データベースには、ＩＲリンク、または例えばＵＳＢやＳＣＳＩ等のケーブル・リンク（図示せず）を用いてアクセスすることもできる。顔データベースは、少なくともある人物に関する顔識別情報とその人物の名前を含む。最初に、デジタル・カメラは画像を取り込む（２０２）。この画像は、一枚の写真（ｓｉｎｇｌｅ　ｅｘｐｏｓｕｒｅ）であっても、ビデオ・クリップからの一フレームであっても良い。デジタル・カメラはこの画像を評価して、取り込んだ画像内に人間の顔が含まれるか否かを判定する（２０２）。画像内に人間の顔が検出されると、カメラは、それぞれの人間の顔から顔識別情報を抽出する。次にカメラは、顔識別情報を既知の顔データベースと比較する（２０４）。代替として、顔を探し出して顔識別情報を抽出する画像処理をリモートに行うこともできる（図示せず）。画像内の顔が顔データベース内にすでにあるときは、画像内で認識された人物の名前をその画像に関するメタデータに追加する（２１２）。画像内の顔がまだ顔データベースになかったときは、この顔を保存するべきか否かをオプションとしてユーザに尋ねることもできる（２０８）。顔を保存するつもりがなければ、画像内の次の顔を既知の顔のデータベースと比較する。顔を保存するのであれば、その人物の名前を入力するようユーザに要求する（２１０）。その人物の名前とその顔識別情報とが既知の顔のデータベースに追加され（２１８）、その人物の名前が画像のメタデータに追加される（２１２）。
【００１２】
本発明の別の実施形態では、あらかじめ設定された数の取り込み画像の中に人の顔が現れるまで、その人物に名前を付けるようユーザに要求することはない。画像内の顔が既知の顔のデータベース中にないときには、その顔を識別する情報がデータベースに自動的に追加される（３１４）。この顔識別情報が別の画像内で検出されるたびに、カウントが増分される（３２２）。カウントが所定の数を超えると、その人物に名前を付けるようユーザに要求する（３１８）。既知の顔のデータベース中の人物に名前を付けると、その人物の顔を含むすべての画像のメタデータにその人物の名前が追加される（３１０）。人物に名前を付けるようユーザに要求する前に、画像内に顔が現れる回数をユーザが調整することもできる。あらかじめ設定された数の画像の中に顔が現れた場合でも、ユーザはその人物に名前を付けないと判断することもできる。
【００１３】
デジタル・カメラは、いくつかのやり方で人物に名前を付けるようユーザに要求することができる。デジタル・カメラは、取り込んだ画像を表示領域内に表示して、名前を付けるべき人物を示すことができる。名前をつけるべき人物の下または横にカーソルを置いて、画像内のどの人物に名前を付ける必要があるのかを示すこともできる。名前を付ける人の周りに輪郭を描いたり、または四角形、円または楕円等の形状を描いても良い。ユーザは、ＵＩ制御装置を用いてその人物に名前を付けるか、またはその人物の名前を言うことによってその人物に名前を付けることができる。
【００１４】
本発明の一実施形態では、ユーザがデジタル・カメラを買うとき既知の顔のデータベースは空である。人物が写っている画像を取り込んでこの画像内の人物に名前を付けると、データベースが構築される。別の実施形態では、ユーザが新しいカメラを購入すると、前のカメラからの既知の顔のデータベースを用いて新しいカメラが更新される。本発明の別の実施形態では、既知の顔のデータベースはカメラには格納されず、ユーザが新しいカメラを買うときに、前のカメラから新しいカメラにデータベースへのリンクが移される。既知の顔のデータベースがカメラに含まれないときは、複数のカメラが同一のデータベースにリンクすることもできる。例えば、同じ家族の二人が二台のカメラを持っている場合、双方のカメラを既知の顔の同一データベースにリンクさせることができる。本発明の別の実施形態では、顔のデータベースはローカルに維持され、ローカルエリア内の複数のカメラがローカルな顔データベースにアクセスすることができる。例えば、ローカル・データベースに含まれるだれかの家にいるとすると、その家の中にいる人物の顔は写真の中での識別に利用できる。
【００１５】
人物の名前をその人物を含む画像のメタデータに追加すると、その情報を利用して、作成した多数の画像の整理または分類に役立てることができる。例えば、ユーザは、このメタデータを用いて画像を分類することによって、「Ｅｒｉｃ　Ａａｓ」を含むすべての画像のリストを作成することができる。
【００１６】
本発明の別の実施形態では、取り込まれた画像ファイルはこの画像に含まれる人物の名前を用いて名付けられる。例えば、ある画像の中で「Ｓｔｅｖｅｎ　Ｗｅｂｂ」の顔が識別された場合、この画像をＳｔｅｖｅｎｗｅｂｂ０１．ｊｐｇと名付けることができる。本発明の別の実施形態では、画像の中で識別された人物についてフォルダまたはサブディレクトリを作成し、これらの人物を含む各画像をそのサブディレクトリに移動したり格納したりすることができる。例えば、「Ｓｔｅｖｅｎ　Ｗｅｂｂ」の顔を含むあらゆる画像をＳｔｅｖｅｎ　Ｗｅｂｂと名付けられたディレクトリに移動するかまたは格納する。画像が既知の顔のデータベースに格納された複数の人物を含む場合は、この画像のコピーを各人物のディレクトリに格納することができる。または、画像をこれらのディレクトリのうちの１つのみに格納し、その格納された画像へのリンクを他の各ディレクトリに格納しても良い。
【００１７】
実施形態の説明ではデジタル・カメラを使用して画像を取り込んだが、本発明はデジタル・カメラに限定されない。ハードコピー画像からデジタル画像を作成するスキャナも本発明を使用することができる。実際、デジタル形式で画像を作成しまたは取り込むすべての装置（例えばウェブ・カメラ）が本発明を使用することができる。
【００１８】
以上の記載は説明のためのものであり、本発明を網羅的に記載したり開示された形式に限定したりするものではなく、上記教示に照らして他の変更及び変形も可能である。例えば、本発明はデジタル画像処理装置には限定されず、本発明を利用して任意の方法で作成されたファイルに名前を付けるのに役立てることができる。
【図面の簡単な説明】
【図１】本発明の例示的な実施形態によるデジタル画像処理システムのブロック図である。
【図２】本発明の例示的な実施形態による、画像内に含まれる顔のデータベースを作成する流れ図である。
【図３】本発明の別の例示的な実施形態における、画像内に含まれる顔のデータベースを作成する流れ図である。
【符号の説明】
１０２　フォト・センサ
１０４　ディスプレイ
１０６　ユーザ・インターフェース（ＵＩ）制御装置
１０８　メモリ
１１０　プロセッサ
１１２　デジタル信号プロセッサ
１１４　マイクロホン
１１６　記憶領域
１１８　スピーカ

Claims (10)

1. 画像を取り込むように構成されたフォト・センサと、
   名前と人物に関する顔識別情報とを格納するために用いられる顔データベースにアクセスする手段と、
   取り込んだ画像を評価して顔を探し出し、探し出した顔と前記顔データベースに格納された前記顔識別情報とをマッチングするように構成されたプロセッサと、
   画像内の人の顔と現時点で前記顔データベースに格納されている顔が一致しないとき、その人物の名前を要求するように構成された、ユーザと通信する手段と、
   を含むデジタル・カメラ。
2. ユーザが人物を識別したとき、その人物を含む画像のメタデータに人物の名前を追加する、請求項１に記載のデジタル・カメラ。
3. ユーザが人物を識別したとき、前記顔データベースに人物の名前及び顔識別情報を追加する、請求項１に記載のデジタル・カメラ。
4. 画像内の顔と顔データベース中の顔が一致したとき、画像のメタデータに人物の名前を追加する、請求項１に記載のデジタル・カメラ。
5. 画像内の人物を識別する方法であって、
   画像を取り込み、
   画像内の少なくとも１つの顔を探し出し、
   前記画像内の少なくとも１つの顔と既知の顔のデータベースを比較し、
   顔がデータベース中の既知の顔のどれにも一致しないとき、この顔について名前を要求し、
   顔と名前を前記既知の顔のデータベースに格納することを含む方法。
6. 人物の名前を前記取り込んだ画像のメタデータに追加することをさらに含む請求項５に記載の方法。
7. 画像内の人物を識別する方法であって、
   画像を取り込み、
   画像内に少なくとも１つの顔を探し出し、
   前記画像内の少なくとも１つの顔と既知の顔のデータベースを比較し、
   顔と前記顔データベース中の顔が一致したとき、その人物の名前を前記取り込んだ画像のメタデータに追加することを含む方法。
8. 既知の顔のデータベースを作成する方法であって、
   画像を取り込み、
   画像内に少なくとも１つの顔を探し出し、
   顔と前記既知の顔のデータベース中の顔を比較し、
   顔が前記既知の顔のデータベース中の顔のどれにも一致しないとき、画像が未確認の顔を含むことをユーザに通知し、
   ユーザがその顔を前記既知の顔のデータベースに追加するよう指示したとき、その顔について名前を要求し、
   顔と名前を前記既知の顔のデータベースに格納することを含む方法。
9. ユーザが顔を前記既知の顔のデータベースに追加するよう指示したとき、その人物の名前を前記取り込んだ画像のメタデータに追加することをさらに含む、請求項８に記載の方法。
10. 画像を取り込むように構成されたフォト・センサと、
    取り込んだ画像を表示するように構成されたディスプレイと、
    前記取り込んだ画像内の顔を指定する手段と、
    顔と関連付けされた名前を入力できるように構成された入力装置と、
    前記取り込んだ画像内の指定された顔から顔識別情報を抽出するように構成されたプロセッサと、
    名前と顔識別情報とを格納する顔データベースと、
    を含むデジタル・カメラ。

Images