JP2000076459A - 人物同定方法及び装置 - Google Patents

Abstract

(57)【要約】 【課題】音声を利用して人物の同定の能力を向上させ
る。 【解決手段】音声付き画像データベース１０１には、顔
画像１０１ｉとその人物の声の特徴パラメータを含むタ
グ１０１ｔとを含むエントリ１０１ａが登録されてい
る。人物判定システム１０２は、新規画像データが入力
されると、データベース１０１からエントリを取り込
み、入力画像に顔が含まれていれば、その入力画像とと
もに入力された音声がタグの特徴パラメータと一致する
か判定する。一致すれば同一の人物と判定して、その入
力画像にデータベースから読み込まれたエントリのタグ
と同じタグを付けてデータベースに登録する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えばデジタルカ
メラ等により撮影された音声付きの顔画像における人物
の同定についての方法及び装置に関する。

【０００２】

【従来の技術】画像の入力手段として、いわゆる写真の
他にも、デジタルカメラやカムコーダといった、画像と
音声とを同時にデジタル画像として記録できる装置があ
る。

【０００３】コンピュータでの画像処理の１つには、こ
のような装置で撮影された顔画像の人物同定がある。こ
れは画像中に撮影されている人間の顔について、それが
誰の顔であるか、又ある画像中のある顔が別の画像中の
ある顔と同一であるかどうか、といった判定を行うもの
である。ある人物について、その人物の顔を色々な向
き、色々な表情の画像を複数準備されている場合は、あ
る１枚の顔画像がその人であるかどうかの判定はかなり
の程度で可能となる。

【０００４】この場合まずある画像中から顔の部分をと
り出し、しかる後にとり出した顔画像の人物同定を行う
ことになる。その具体的方法であるが、まず顔の部分の
抽出については次の文献の方法などがすぐれている。 「複数人物画像からの人物個別抽出に関する検討」平山
泰崇他 １９９７年電子情報通信学会総合大会Ｄ−１２
−７１ この様な方法により顔を含む画像から注目すべき顔をと
り出し、大きさ、角度、輝度などを正規化した後、フー
リエスペクトルのＫＬ展開法で人物の固有を行う。これ
は技術的には、例えば複数枚の顔画像をもとにＫＬ（カ
ルーネン・レーベ）変換し、ＫＬ空間（固有空間）上へ
の写像という形で人物同定するものである。この方法に
ついて、より詳細には、例えば次の文献を参照された
い。 「固有空間法を用いた濃淡画像からの顔の向きの推定
法」信学技法ＩＥ９７−４０Ｐ１１１〜 渡辺彰裕他 「濃淡画像マッチングによるロバストな正面顔の識別
法」（フーリエスペクトルのＫＬ展開の応用）電子情報
通信学会論文誌’９３／７Ｖｏｌ．Ｊ７６−Ｄ−IIＮ
ｏ．７Ｐ１３６３〜 赤松茂他 「動画像を用いた顔認識システム」信学技法ＰＲＭＵ９
７−５０（１９９７−０６）Ｐ１７〜 山口修他 また、固有空間を用いなくとも、画像データベースがた
くさんあればパターンマッチという方法等も考えられ
る。同一人物の写った複数の画像を最初に人間が入力す
るシステムであるならば（一定の人の人物同定システ
ム、監視システムなど）、ＫＬ変換やパターンマッチの
方法を用いることにより人物同定が可能である。

【０００５】このほか、重ね合わせにより顔画像の類似
度を求めてもよい。即ち、抽出され、正規化された顔画
像をブロック化してその輝度間の距離を求める。この手
法については次の文献が詳しい。 「コンピュータによる顔の認識の研究動向」赤松茂 電
子情報通信学会誌Ｖｏｌ８０Ｎｏ．３Ｐ２５７〜２６６
１９９７年３月 又、輝度が形成する等濃度曲線を利用してもよい。この
手法については次の文献が詳しい。 「等濃線分布に基づく正面顔画像の識別」上野邦和他
電子情報通信学会論文誌Ｄ−IIＮｏ．３Ｐ４９４〜５０
６ １９９３年３月

【発明が解決しようとする課題】しかしながら、同一人
物であることが予め判っている複数の画像が用意されて
いない場合には、２つの画像に写っている人物の顔が同
一であるか判定することは難しい。すなわち、同一人物
の画像であっても、画像撮影時の照明条件の違い、顔の
軸の角度の違い、顔の向きの違い、表情の違い、髪形等
の変化などにより、その画像データからそれらが同一人
物であるということをコンピュータで判定するのは非常
に困難である。現状では、１枚の顔画像だけから別の同
一人物の顔画像で同一性を判定することは、上記の各種
条件が比較的一致してる場合を除いては、全く不可能と
いって良い状況にある。

【０００６】すなわち、上述したパターンマッチやＫＬ
展開法を用いて、ある顔画像を、多くの顔画像データベ
ースに基づいて同定することは現状でも可能であるが、
その顔画像データベースを構築するためには、人手によ
って同一人物の画像であるか判定し、同一であれば、そ
れらの顔画像を同一人物の顔画像としてデータベースに
登録する作業が必要となる。

【０００７】また、登録された顔画像が少ない段階で
は、パターンマッチやＫＬ展開法を用いても高精度で人
物を同定することは難しい。

【０００８】本発明は上記従来例に鑑みてなされたもの
で、集積された顔画像が少なくとも、高率で人物を同定
できる人物同定方法及び装置を提供することを目的とす
る。

【０００９】

【課題を解決するための手段】上記目的を達成するため
に、本発明は次のような構成からなる。すなわち、音声
と対応づけられた画像を用いた人物同定方法であって、
第１の画像中に写っている顔と、第２の画像に写ってい
る顔とが同一人物かどうかを判定する第１の判定工程
と、前記第１及び第２の画像に付随している音声が同一
人物のものであるかどうかを判定する第２の判定工程
と、前記第１の判定工程あるいは第２の判定工程のいず
れかにより同一人物と判定された画像を、同一の人物で
あると判定する第３の判定工程とを有する。

【００１０】あるいは、音声と対応づけられた画像を用
いた人物同定方法であって、第１の画像中に写っている
顔と、第２の画像に写っている顔との画像の類似度を算
出する第１の算出工程と、前記第１及び第２の画像に付
随している音声の類似度を算出する第２の算出工程と、
前記画像の類似度と音声の類似度との二乗和が所定値以
上である場合に、前記第１の画像の顔と第２の画像の顔
とは同一人物であると判定する判定工程とを有する。

【００１１】あるいは、音声と対応づけられた画像を用
いた人物同定装置であって、第１の画像中に写っている
顔と、第２の画像に写っている顔とが同一人物かどうか
を判定する第１の判定手段と、前記第１及び第２の画像
に付随している音声が同一人物のものであるかどうかを
判定する第２の判定手段と、前記第１の判定手段あるい
は第２の判定手段のいずれかにより同一人物と判定され
た画像を、同一の人物であると判定する第３の判定手段
とを有する。

【００１２】あるいは、音声と対応づけられた画像を用
いた人物同定装置であって、第１の画像中に写っている
顔と、第２の画像に写っている顔との画像の類似度を算
出する第１の算出手段と、前記第１及び第２の画像に付
随している音声の類似度を算出する第２の算出手段と、
前記画像の類似度と音声の類似度との二乗和が所定値以
上である場合に、前記第１の画像の顔と第２の画像の顔
とは同一人物であると判定する判定手段とを有する。

【００１３】あるいは、コンピュータに、第１の画像中
に写っている顔と、第２の画像に写っている顔とが同一
人物かどうかを判定する第１の判定手段と、前記第１及
び第２の画像に付随している音声が同一人物のものであ
るかどうかを判定する第２の判定手段と、前記第１の判
定手段あるいは第２の判定手段のいずれかにより同一人
物と判定された画像を、同一の人物であると判定する第
３の判定手段として機能させるプログラムを格納するコ
ンピュータ可読記憶媒。

【００１４】あるいは、コンピュータに、第１の画像中
に写っている顔と、第２の画像に写っている顔との画像
の類似度を算出する第１の算出手段と、前記第１及び第
２の画像に付随している音声の類似度を算出する第２の
算出手段と、前記画像の類似度と音声の類似度との二乗
和が所定値以上である場合に、前記第１の画像の顔と第
２の画像の顔とは同一人物であると判定する判定手段と
して機能させるプログラムを格納するコンピュータ可読
記憶媒。

【００１５】

【発明の実施の形態】［第１の実施の形態］図１は、本
発明の特徴をよく表わす、音声付き顔画像データベース
へと顔画像を登録したり、あるいは顔画像を検索するデ
ータベース管理システムのブロック図である。

【００１６】音声付画像データベース１０１には、人物
ごとの声の特徴パラメータが含まれたタグ１０１ｔと顔
画像データ１０１ｉとが含まれたエントリ１０１ａが格
納されている。なお、タグには音声の特徴パラメータが
含まれていないエントリもある。新たな顔画像をデータ
ベースに登録する際には、まずデータベース１０１から
人物判定システムに（音声付）画像データが送付され
る。人物判定システム１０２では以下に詳細に述べる様
にして新規の顔画像とデータベースから送付されたエン
トリとの同一人物性を判定する。

【００１７】同一人物（既に登録済みの人物と同一人
物）の際には、新規画像データを含むエントリにその人
物のコードをタグとしてデータに付与し、そのエントリ
をデータベース１０１に追加する。したがって、同一人
物の顔画像が複数入力されると、同じタグを有するエン
トリが複数登録されている状態となりえる。タグのコー
ドは例えばナンバーとする。もし同一人物がデータベー
スに登録されておらず、全く新しい人物であると判定さ
れた場合には、顔画像に付随する音声データから特徴パ
ラメータを抽出して、その特徴パラメータと新たなコー
ドとをタグに付与し、そのタグを取り付けた新規画像デ
ータを新たなエントリとしてデータベース１０１に登録
する。以上を人物判定システム１０２により行うことに
より、自動的に新規の顔画像と登録済みの顔画像との同
一人物の判定が行われる。

【００１８】次に、人物判定システムにおける上記処理
手順について説明する。図２は、人物判定システムによ
る、人物の同定の手順を示すフローチャートである。

【００１９】まず、音声付画像データベース１０１に新
たに登録される画像データは、ステップＳ２０１におい
て、この人物判定システムにより受けとられる。図１で
は、新規画像データはデータベース１０１とは関係なく
人物判定システム１０２に入力されているが、新規画像
の登録はデータベース１０１で受け付けられ、新規の画
像データもデータベース１０１から入力されてもよい。

【００２０】人物判定システム２０１に入力された新規
の音声付画像データに対して、その画像中に人間の顔が
含まれているかどうかという顔認定がステップＳ２０２
で行われる。この具体的方法は、従来の技術の欄の示し
た通り、既に知られている技術を用いることができる。
ここで、顔画像が含まれていなければ処理は終りであ
る。

【００２１】顔画像が含まれている場合は、その画像に
音声データが付いているかどうかをステップＳ２０３に
て検出する。音声がついているか否かは、例えば画像デ
ータの入力時に、音声データが付随することを示すコー
ドも同時に入力させることで、そのコードに基づいて判
定できる。音声データが付いている場合はステップＳ２
０４へ、付いていない場合はステップＳ２０５へ進む。

【００２２】ステップＳ２０４では、条件αが満たされ
ているかが判定される。条件αとは次のようなものであ
る。

【００２３】条件α：「入力画像中の最大の顔面積を持
つ顔の顔面積が所定値以上であり、その画像に含まれて
いる他の顔の顔面積（０も含む）が最大の面積を持つ顔
の面積に対して一定比率以下である。」 この条件を満たさないと、入力画像において、どの顔を
新規登録すべき顔として位置づけるかが不明確になって
しまったり、顔画像が小さすぎて顔の詳細が不明瞭にな
ってしまうからである。したがって、この条件αが満た
されなければ処理は終了する。

【００２４】条件αが満たされた場合、入力画像中の最
大の顔がこの画像中の同定されるべき人物の顔となる。
その後ステップＳ２０６に進み、音声による話者認識を
行う。この話者認識の具体的な方法については次の論文
に記載されている。 「単文中の母音を用いた話者照合」長内隆他 日本音響
学会講演論文集Ｐ７１〜７２平成９年３月 「韻律情報を用いた話者認識」早川昭二他 日本音響学
会講演論文集Ｐ６７〜６８平成９年３月 ここで、例えば音声を同時に記録できるデジタルカメラ
で撮影した場合など、１つの画像に多くの人が写ってい
る場合は、その画像とともに録音された音声が画像中の
誰の声であるのかの判定が難しい。しかしながら、条件
αが満たされている場合には、その画像に付随する音声
は画像中の最大の顔の人物の声であるものとして、話者
認識による人物の同定を行うものとする。

【００２５】ステップＳ２６６においては、データベー
ス１０１に既に登録されているエントリを１つずつとり
出し、各エントリのタグに含まれる音声の特徴パラメー
タと、入力画像に付随する音声データから抽出した特徴
パラメータとを比較して、それらが同一人物の声である
か同定する。すなわち、音声が一致するか比較してその
話者を認識する。

【００２６】入力された顔画像の人物が、データベース
１０１に既に登録されているいずれかの人物と同一人物
であると認定された場合は、ステップＳ２０８で、入力
顔画像に、同一であると認定された人物のエントリのタ
グを付けて、ステップＳ２１０でデータベースに登録す
る。この際、タグには抽出した音声パラメータを付与す
る。これにより、既に登録されている人物と同一人物の
顔画像が、それらが同一であることが識別可能なように
新たに登録される。

【００２７】一方、ステップＳ２０３で、顔画像データ
に音声が付いていないと判定された場合は、ステップＳ
２０５で先に述べた条件αの判定を行い、注目顔画像の
存在を確認する。存在する場合はステップＳ２０７へと
進む。ステップＳ２０７では、従来の技術の欄で述べた
様に、複数枚の画像データがあるものについてはＫＬ変
換法やパターンマッチング法などを用いて、画像だけに
よる同一人物性の判定を行う。既にデータベース１０１
に登録されている人物であれば、ステップＳ２０８へ進
む。

【００２８】同一人物が登録されていなければ、入力さ
れた顔画像は新しい人物なので、ステップＳ２０９でそ
の画像に新しいタグを付与し、ステップＳ２１０でデー
タベースに戻す。ステップＳ２０９で新しいタグを付与
する際には、その画像に付随する音声データがあれば、
その特徴パラメータを抽出してそれをタグに付与してお
く。

【００２９】またステップＳ２０６で、音声の特徴パラ
メータが一致しない場合はステップＳ２０７に進む。

【００３０】以上の様にして、データベースに登録済み
の人物と入力された人物とが同一であるかの判定が自動
的に行われる。それと共に、同一であると判定された場
合は、同一コードの付与されたタグを付して登録される
ために、同一の人物の画像であることが識別できる形式
で、その人についての顔画像データが増加していくこと
になる。このため、ＫＬ変換法やパターンマッチングと
いった複数の画像に基づく顔の同定が、より一層しやす
くなる。

【００３１】以上説明したように、顔画像から人物を同
定する際に、顔画像に対応する音声を利用することによ
り、画像だけからでは不可能であった人物の同定が可能
になる。

【００３２】また、顔画像を検索する場合にも、上述の
手順で顔画像が同一人物のものであるか判定して検索す
ることが可能である。

【００３３】［第２の実施の形態］図３は、画像データ
が登録された音声付き画像データベース１０１を、顔画
像及び音声をキーとして検索したり、あるいは新たな画
像データを登録するためのデータベース管理システムの
ブロック図である。データベース１０１は、第１の実施
の形態で説明したものと同一である。すなわち、音声デ
ータ（音声の特徴パラメータ）を付すことが可能な画像
データが、音声付画像データベース１０１に蓄積されて
いる。

【００３４】画像の登録時には、登録しようとする顔画
像の含まれた画像データと音声データが、それぞれ人物
判定システム１０３の顔画像判定部１０３ａと音声判定
部１０３ｂとに入力される。その後、データベース１０
１から登録されたエントリが読み出され、顔画像，音声
それぞれによる同一人物の判定がおこなされる。ただ
し、入力画像データに音声がついていない場合や、デー
タベースのエントリに音声データ（特徴パラメータ）が
含まれていない場合には、音声の判定は行わない。

【００３５】顔画像判定部１０３ａでは、顔画像による
同一人物の判定がおこなわれる。まず、入力画像データ
から顔領域を抽出する（方法については既述）。そし
て、この画像が第１実施形態と同じ条件αを満たすか否
か、すなわち、入力画像中の最大の顔面積を持つ顔の顔
面積が所定値以上であり、その画像に含まれている他の
顔の顔面積（０も含む）が最大の面積を持つ顔の面積に
対して一定比率以下であるかを判定する。条件αに適合
すると、画像中の最大の顔を注目顔画像として、その顔
と同一人物がデータベース１０１に含まれているか判定
される。なお、ある人物の顔としてデータベースに登録
される画像を注目顔画像だけとしておけば、データベー
スからとり出した画像について顔領域を抽出する手間が
省ける。

【００３６】この様にして入力画像から抽出された画像
と、データベースから取り込んだ画像との間で、顔画像
の類似度を求める。この方法としては、既存のパターン
マッチング法等を用いる。ここで得られた類似度をα
（０≦α≦１）とする。類似度αは合成判定部１０４へ
と送付される。なお、類似度α（０≦α≦１）は、α＝
１が完全に同一人物、０が完全に別人、０＜α＜１がそ
の中間であることを示す。

【００３７】音声判定部１０３ｂは、顔画像判定部１０
３ａで比較される顔画像に付随している音声について、
その話者が、データベースから読み込まれたエントリの
人物と同一人物かどうかの類似性の判定を行う。この方
法としては、第１の実施の形態で述べた話者認識を適用
できる。すなわち、データベースの各エントリには、第
１の実施の形態と同じく音声の特徴パラメータが付され
ているので、画像データとともに入力された音声から抽
出した特徴パラメータと、タグに付された特徴パラメー
タとを比較して音声の類似度を求める。この音声の類似
度をβ（０≦β≦１）とする。類似度βは合成判定部１
０４へと送付される。なお、類似度β（０≦β≦１）
は、β＝１が完全に同一人物、β＝φが完全に別人、０
＜β＜１がその中間であることを示す。

【００３８】合成判定部１０４では、顔画像判定部１０
３ａから送付されてきた画像類似度αと、音声判定部１
０３ｂから送付されてきた音声類似度βとからそれらの
二乗和（α^2＋β^2，ただしｘ^yはｘのｙ乗を表す）を
求め、その値を所定の閾値ｋと比較する。その結果、類
似どの二乗和が所定値よりも大きい場合には、２つの画
像の顔の人物が同一人物であると判定する。その結果は
結果出力部１０５に送付される。なお、より一般に、類
似度のｎ乗和（α^n＋β^n）を所定の閾値＞ｋと比較し
ても良い。

【００３９】一致が確認された場合、顔画像の登録であ
れば、入力顔画像に一致した顔画像を含むエントリと同
一のタグを取り付け、データベースに登録する。ただ
し、音声データについては、入力画像に付随した音声か
ら抽出した特徴パラメータを付す。ただし、入力顔画像
に一致した顔画像を含むエントリのタグに含まれる特徴
パラメータを付しても良い。

【００４０】また、一致が確認された場合、顔画像の検
索であれば、一致したエントリを検索結果として出力す
る。

【００４１】なお、類似度の二乗和あるいはｎ乗和を判
定基準にする理由は、「音声も画像も大体似てる」もの
より「少なくともどちらか一方が非常に似ている」もの
を重視するためである。例えば、α＝０．５，β＝０．
５のケースでは、α＋β＝１．０，α^2＋β^2＝（０．
５）^2＋（０．５）^2＝０．５である。

【００４２】一方α＝０．９，β＝０．１のケースで
は、α＋β＝１．０，α^2＋β^2＝（０．９）^2＋
（０．１）^2＝０．８２である。

【００４３】両ケースとも、α＋β＝１．０でありこれ
は一致するが、α^2＋β^2は、後者のほうが大きくな
る。０≦α^2＋β^2≦２であることを考えるなら、その
差は大きい。

【００４４】これは例えば次のケースを考えるとわか
る。 （ケース１）音声はそっくりであるが顔画像が随分と異
なる場合 先にも述べた様に向きや表情が大きく違ってしまうと画
像自体による判定では随分違う画像という判断を下して
しまいがちである。しかし、音声が十分似ていればむし
ろ同一人物である可能性が高い。 （ケース２）画像はそっくりであるが音声が非常に異な
る場合 違う人の音声が入っていた可能性が高い。

【００４５】従って上記の様な考察により、α＋βで判
定するのでなくα^2＋β^2の値（より正確にはα^n＋β
^n（ｎ＞１）の値）で、一致の判定をすることが好まし
い。

【００４６】図４は、図３の構成をプログラムにより実
現するための手順を示すフローチャートである。このフ
ローチャート及び図２のフローチャートは、図５に示す
コンピュータシステムによりこれらの図の手順のプログ
ラムを実行することで実現できる。

【００４７】図４において、入力画像データ及びデータ
ベース１０１から取り込んだ画像データから、条件αを
満足する注目顔画像を抽出する。ただし、データベース
には注目顔画像だけを登録している場合には、データベ
ースから取り込んだ画像についてはこの処理は不要であ
る。ステップＳ４０２ではｍ顔画像の類似度αを算出
し、ステップＳ４０３では画像に付随する音声の類似度
βを判定する。ステップＳ４０４デ、二乗和が所定の閾
値よりも大きいか判定し、大きければ同一と判定し（ス
テップＳ４０６）、小さければ比同一と判定する（ステ
ップＳ４０５）。最後に結果を出力し（ステップＳ４０
７）、必要に応じて新規エントリの登録や検索画像の出
力を行う。

【００４８】図５は、第１の実施形態及び第２の実施形
態に共通に用い得る、データベースシステムと接続され
たコンピュータシステムのブロック図である。図２ある
いは図４の手順のプログラムは、プログラムファイルと
して固定あるいは取り外し可能な記憶媒体を含む２次記
憶部１１０ｃに格納され、メモリ１１０ｂにロードされ
る。それをＣＰＵ１１０ａにより実行して、図２あるい
は図４の手順が実現される。入力される画像は画像入力
部１１０ｄから読み込まれ、音声があればその音声とと
もに二次記憶部１１０ｃなどに格納される。新規エント
リの追加や検索の際には、その格納されたデータと、デ
ータベースシステム１０１から順次読み出されるエント
リとに対して、図２あるいは図４のプログラムにより処
理が行われる。

【００４９】

【他の実施形態】なお、本発明は、複数の機器（例えば
ホストコンピュータ，インタフェイス機器，リーダ，プ
リンタなど）から構成されるシステムに適用しても、一
つの機器からなる装置（例えば、複写機，ファクシミリ
装置など）に適用してもよい。

【００５０】また、本発明の目的は、前述した実施形態
の機能を実現する図２あるいは図４の手順のプログラム
コードを記録した記憶媒体を、システムあるいは装置に
供給し、そのシステムあるいは装置のコンピュータ（ま
たはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラ
ムコードを読出し実行することによっても達成される。

【００５１】この場合、記憶媒体から読出されたプログ
ラムコード自体が前述した実施形態の機能を実現するこ
とになり、そのプログラムコードを記憶した記憶媒体は
本発明を構成することになる。

【００５２】プログラムコードを供給するための記憶媒
体としては、例えば、フロッピディスク，ハードディス
ク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ
−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭな
どを用いることができる。

【００５３】また、コンピュータが読出したプログラム
コードを実行することにより、前述した実施形態の機能
が実現されるだけでなく、そのプログラムコードの指示
に基づき、コンピュータ上で稼働しているＯＳ（オペレ
ーティングシステム）などが実際の処理の一部または全
部を行い、その処理によって前述した実施形態の機能が
実現される場合も含まれる。

【００５４】さらに、記憶媒体から読出されたプログラ
ムコードが、コンピュータに挿入された機能拡張ボード
やコンピュータに接続された機能拡張ユニットに備わる
メモリに書込まれた後、そのプログラムコードの指示に
基づき、その機能拡張ボードや機能拡張ユニットに備わ
るＣＰＵなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれる。

【００５５】

【発明の効果】以上説明したように、本発明によれば、
顔画像からその顔の人物を同定する際に音声を利用する
ことにより、人物の同定の能力を向上させることができ
る。

【００５６】また、画像による類似度と音声による類似
度とのｎ乗和を同一の判定に用いることにより、いずれ
か一方でも一致すれば同一と判定でき、より精度の高い
同定が可能となる。

【００５７】

【図面の簡単な説明】

【図１】第１の実施例に係るブロック図である。

【図２】第１の実施例に係るフローチャート図である。

【図３】第２の実施例に係るブロック図である。

【図４】第２の実施例に係るフローチャート図である。

【図５】第１及び第２の実施例に係るフローチャートを
実現するコンピュータシステムのブロック図である。

Claims (8)

【特許請求の範囲】
1. 【請求項１】 音声と対応づけられた画像を用いた人物
   同定方法であって、 第１の画像中に写っている顔と、第２の画像に写ってい
   る顔とが同一人物かどうかを判定する第１の判定工程
   と、 前記第１及び第２の画像に付随している音声が同一人物
   のものであるかどうかを判定する第２の判定工程と、 前記第１の判定工程あるいは第２の判定工程のいずれか
   により同一人物と判定された画像を、同一の人物である
   と判定する第３の判定工程とを有することを特徴とする
   人物同定方法。
2. 【請求項２】 前記第３の判定工程により同一と判定さ
   れた画像を同一人物であることを示すタグを付して格納
   する格納工程を更に有することを特徴とする請求項１に
   記載の人物同定方法。
3. 【請求項３】 音声と対応づけられた画像を用いた人物
   同定方法であって、 第１の画像中に写っている顔と、第２の画像に写ってい
   る顔との画像の類似度を算出する第１の算出工程と、 前記第１及び第２の画像に付随している音声の類似度を
   算出する第２の算出工程と、 前記画像の類似度と音声の類似度との二乗和が所定値以
   上である場合に、前記第１の画像の顔と第２の画像の顔
   とは同一人物であると判定する判定工程とを有すること
   を特徴とする人物同定方法。
4. 【請求項４】 音声と対応づけられた画像を用いた人物
   同定装置であって、 第１の画像中に写っている顔と、第２の画像に写ってい
   る顔とが同一人物かどうかを判定する第１の判定手段
   と、 前記第１及び第２の画像に付随している音声が同一人物
   のものであるかどうかを判定する第２の判定手段と、 前記第１の判定手段あるいは第２の判定手段のいずれか
   により同一人物と判定された画像を、同一の人物である
   と判定する第３の判定手段とを有することを特徴とする
   人物同定装置。
5. 【請求項５】 前記第３の判定手段により同一と判定さ
   れた画像を同一人物であることを示すタグを付して格納
   する格納手段を更に有することを特徴とする請求項４に
   記載の人物同定装置。
6. 【請求項６】 音声と対応づけられた画像を用いた人物
   同定装置であって、 第１の画像中に写っている顔と、第２の画像に写ってい
   る顔との画像の類似度を算出する第１の算出手段と、 前記第１及び第２の画像に付随している音声の類似度を
   算出する第２の算出手段と、 前記画像の類似度と音声の類似度との二乗和が所定値以
   上である場合に、前記第１の画像の顔と第２の画像の顔
   とは同一人物であると判定する判定手段とを有すること
   を特徴とする人物同定装置。
7. 【請求項７】 コンピュータに、 第１の画像中に写っている顔と、第２の画像に写ってい
   る顔とが同一人物かどうかを判定する第１の判定手段
   と、 前記第１及び第２の画像に付随している音声が同一人物
   のものであるかどうかを判定する第２の判定手段と、 前記第１の判定手段あるいは第２の判定手段のいずれか
   により同一人物と判定された画像を、同一の人物である
   と判定する第３の判定手段として機能させるプログラム
   を格納することを特徴とするコンピュータ可読記憶媒。
8. 【請求項８】 コンピュータに、 第１の画像中に写っている顔と、第２の画像に写ってい
   る顔との画像の類似度を算出する第１の算出手段と、 前記第１及び第２の画像に付随している音声の類似度を
   算出する第２の算出手段と、 前記画像の類似度と音声の類似度との二乗和が所定値以
   上である場合に、前記第１の画像の顔と第２の画像の顔
   とは同一人物であると判定する判定手段として機能させ
   るプログラムを格納することを特徴とするコンピュータ
   可読記憶媒。