JP2003512684A

JP2003512684A - 異なるイメジャからの顔及び身体の画像を整列し及び比較するための方法及び装置

Info

Publication number: JP2003512684A
Application number: JP2001532489A
Authority: JP
Inventors: プロコスキー，フランシネ，ジェイ
Original assignee: プロコスキー，フランシネ，ジェイ
Priority date: 1999-10-21
Filing date: 2000-10-20
Publication date: 2003-04-02
Also published as: WO2001029769A9; WO2001029769A2; US6496594B1; EP1194893A4; CA2354594A1; EP1194893A2; WO2001029769A3; US6751340B2; US20030108223A1

Abstract

(57)【要約】人の赤外線画像（１２）を人の可視画像データベース（６）と比較し（２６）、それぞれがその赤外線画像の適合相手である（４２）ことの可能性を算出するための方法及び装置は、赤外線画像から細目事項を抽出するとともに、可視画像から可視細目事項を抽出することに特徴がある。双方のスペクトルで現れる一致細目事項を使用して、赤外線及び可視画像を比較し及び登録できる。他の細目事項は、スペクトルに依存する（８）が、人の顔及び身体の解剖学的構造（３４）のために、他方のスペクトルの細目事項に関して規則に従う。第１の応用は、赤外線監視画像に表れた人の確認のためであり、可視画像の参照データベースを使用する。他の応用には、トーキングヘッドビデオ及び合成の顔のアニメーションの圧縮が含まれる。本方法及び装置は、顔以外の身体部位に適用して、医療用センサからの異なるスペクトルを含む画像からの画像を比較できる。

Description

【発明の詳細な説明】

（技術分野）本発明は、（背景技術）人体の赤外線（ＩＲ）画像と可視画像とでは、共通する特徴がある。顔を例に
とれば、頭部の形状及びサイズ、また目、口及び鼻孔等の顔立ちの相対位置、形
状及びサイズは、双方の画像方式で同じである。画像のデータベースは、これら
の共通の特徴から得られるメトリックを使用してクラス毎に区分けでき、可視或
いは赤外線画像のいずれからも同じ分類が達成される。収集済みの画像から又は
独立したセンサデータから推測できるならば、高さも分類規準として使用できる
。身体のうち衣服を纏っていない部位（例えば、顔）の赤外線画像は、可視画像
と比較してより細かな、そして個人特有の情報を提供する。ところが、一般的に
可視画像が多く収集されているうえ、可視画像の大量の歴史的データベースが存
在している。従って、可視方式及び赤外線方式の双方からの画像を比較するため
の処理を自動化することが望まれる。

【０００１】赤外線画像は、１卵生双生児の双子についてさえも、各人につき唯一無二のも
のである。可視画像は、そうではない。多くの人が似て見えるし、また互いに充
分似せることで自動認識装置が両者を識別できないほどに変装できるからである
。このように、可視画像が充分特有のものとは言えないので、大量のデータベー
スの中では、赤外線画像と可視画像との間で一つひとつを自動リンクさせること
はできない。しかし、各赤外線画像については、細目特徴の不充分な一致のため
に適合相手とできない全可視画像を自動装置で消去できる。所定の赤外線画像に
対する適合相手として、概ねで、可視画像データベースのうち９５％を超える部
分を消去できると見込まれている。このことは、可視画像のみが記録された手配
者を識別するための赤外線監視カメラの使用に応用される。赤外線−可視適合装
置は、各人を赤外線で見て比較し、その者を、可視画像手配者リスト上の１人に
対する予測適合か、不適合かのいずれかに分類する。予測適合とされた者は、そ
こから入国又は安全機関による一層の注意を受けることになる。これにより、赤
外線画像の大量のデータベースの構築を待つまでもなく、赤外線監視画像を利用
できる。

【０００２】赤外線画像の使用により、可視画像からは認識不能であった身に付けたり或い
は外科手術による変装の識別も可能となる。例えば、口髭等の顔用人工髪は、可
視画像において自然に映っても、赤外線画像では容易に認識できる。赤外線監視
画像に偽の口髭を纏った人物が示されることは、可視画像データベースとの照合
を考慮するための手がかりとなる。フェースリフト等の外科的変装は、可視画像
では別人に見えたり、また手術の痕跡を全く示さないが、顔のサーモグラムにお
いては、短ターム及び長タームの自然に現れる変動を残す。顔の特定部位が外科
的に変化されたことがＩＲ画像で認識できることで、自動装置において、歴史的
データベースで予測適合する可視画像を検索するためのパラメータが広がる。

【０００３】顔及び身体の高解像度可視画像は、医療上、診断上及び法上の使用のために日
常的に撮影され及び保存されている。典型的な例は、「マグショット」を作成す
る帳簿記入局を通った犯罪容疑者の写真、各州の作成する運転免許証の写真、国
務省により使用されるパスポートの写真である。このような大量の顔の画像デー
タベースがハードコピー及び電子的形態で存在しており、新たに撮影された画像
とこれらのデータベースとの自動照合に向けた研究が促進されている。例えば、
盗まれたクレジットカードをＡＴＭで使用する者の監視画像を、以前に同様の犯
罪で有罪とされた人物の写真と照合する試みがしばしば行われている。

【０００４】可視画像、特に監視カメラからのものは、その場のほの暗い照明によりしばし
ば質が不足する。低輝度又は赤外線カメラは、コストが削減されることで監視用
に広く使用されるようになると期待される。従って、新たに得られた赤外線画像
と、既存のビデオ画像データベースとを相関させる必要がある。将来においても
、ビデオ及びＩＲ画像の同時収集が相互に関連したデータベースを形成する場合
には、あるスペクトル域で撮影された画像と、他のスペクトル域で撮影された画
像とを照合する必要性が常に存在する。これには、あるＩＲ帯域（例えば、３〜
５ミクロン）で撮影された画像を、他のＩＲ帯域（例えば、８〜１２ミクロン）
で撮影された画像と照合することも含まれ得る。

【０００５】ＩＲカメラは受動的であって、何の放射線も放出せず、よって健康上の危険を
何も及ぼさないので、Ｘ線、ソノグラム又はＣＡＴスキャン装置等の他の医療画
像装置とともに使用される場合がある。ＩＲ画像から得られた細目事項は、結果
の医療画像に重畳され又は注釈として付される。このことは、全医療画像上に標
準化された参照点を発生させるための標準技術を提供する。そして、本発明の方
法及び装置は、注釈付医療画像データベースを検索する際に使用され、現ＩＲ画
像又はＩＲ細目事項で注釈した現医療画像との適合者を捜し出すことができる。

【０００６】細目事項の変わりに関心領域（ＲＯＩ）が採用されることがある。ここで、Ｒ
ＯＩには、フラクタル或いはウェーブレット導出構造、血管のセグメント、刺青
、ほくろ、そばかすその他の識別可能な特徴の位置或いはこれらの関連位置、又
は身体の熱力学的或いは可視的モデリングに使用されるワイヤメッシュ或いは有
限要素を含む要素的その他の形状がある。規則により、このような要素の形状及
び位置、それらの者の重心その他の特徴が関連付けられる。細目事項及びＲＯＩ
の時間系列を比較して、積算スレッショルド及び前記系列上の許容範囲を規準と
して、予測適合についての決定がなされる。

【０００７】顔の表情及び音声モデリングには、合成ビデオ会議及び顔のアニメーションへ
の応用がある。かなりの帯域幅及びストレージの削減が可能となる。ＩＲ細目事
項の使用により、現在の可視画像の使用と比べて、より正確なモデリングが提供
される。本発明は、表示された可視画像にＩＲ画像を結合し得る技術を提供する
ものである。

【０００８】（従来技術）赤外線画像による人の確認は、Prokoskiらの米国特許第５１６３０９４号に示
されるように本技術分野において公知であり、その中で、解剖学的構造と相互作
用する維管束系により形成される「要素形状」と呼ばれる閉鎖温度線を解析する
ための方法及び装置が示されている。０．０７℃のＮＥＴＤ（ノイズ等価温度誤
差）及び２５６×２５６ピクセルの空間解像度であるＩＲカメラで撮影した５０
以上の要素形状を、例えば、人の顔において確認できる。これらの形状の特徴、
例えば、重心位置及び周辺に対する面積比等は、顔の絶対温度（周囲環境及び生
理学的条件に応じて変化する）に拘わらず比較的一定に保たれる。２つの赤外線
画像は、対応する形状の特徴を比較することにより比較される。各対の画像につ
いて距離メトリックが定義され、計算される。この計算値がスレッショルド内で
あれば、２つの画像は同一人物のものであると判断される。

【０００９】 Prokoskiらの米国特許出願第Ｓ／Ｎ０８／５１４４５６には、特定の維管束そ
の他の皮下解剖学的配置に対応する熱的細目事項を２つの画像から抽出し及び比
較するための方法及び装置が示されている。細目事項は、温度線から得る場合と
、血管の分岐等熱画像において見られる特定の解剖学的配置と絶対的に関連する
場合とがある。そして、各細目事項は、画像での相対位置と関連付けられるとと
もに、見かけ上の温度、分岐の種類或いは他の解剖学的特徴、分岐ベクトルの方
向、及び他方の細目事項に対する関係等の特徴と関連付けられる。

【００１０】２つの顔の画像からの熱的細目事項を比較することは、指紋に関する細目事項
のセットを比較することに類似しており、２つの画像は、２つのセットの重要な
部分が相対位置及び特徴において充分一致すると分かれば、同一人物のものと認
識される。顔のサーモグラムを分類して、データベースを区分けし、顔のパター
ンを照合するための検索を軽減できる。または、細目事項のパターンをコード化
することで、各人から繰り返し得られ、データベースを検索する必要性を極小化
する独特のフェースコードが提供される。

【００１１】赤外線画像を使用して、皮下における血管の交叉位置及び分岐位置等の特定の
解剖学的配置に対応する細目事項ポイントを、全身の表面上に配置できる。熱的
細目事項の技術及び装置は、顔及び身体の表面においてＩＲで見られる全身登録
ポイントの常設されたセットを利用する。登録ポイントを使用して、異なる人物
を異なる時刻に異なる設備で、また異なる条件で撮影した赤外線画像を比較し、
これらの画像の比較を容易にできる。

【００１２】ＩＲカメラは全体として受動的であり、それ自体からはエネルギーや他の放射
線を何も放出しないが、人体の表面から自然的かつ連続的に放出された熱放射線
を収集して、集中させる。現在のＩＲカメラは、３〜１２ミクロンの中波長域か
ら長波長域で作動し、皮膚表面下４ｃｍまでにある表面的な血管により生じるパ
ターンを記録する。未来のカメラは、感度が向上し、より明瞭に示された細目事
項に変換するであろう。現在のカメラによれば、顔表面下の血管からの熱画像に
おいて、およそ１７５の顔の熱的細目事項を確認できる。全身の表面に至っては
、１０００を超える熱的細目事項を確認できる。感度のより高い赤外線カメラを
使用して、より深い部分の維管束構造からの更なる細目事項を熱画像において確
認できる。

【００１３】正常な身体は、基本的に左右で熱的均整が取れている。両側間の変化は、０．
２５℃未満であるのが一般的である。この事実は、身体画像に軸を割り当てる際
に利用される。皮膚表面が途切れない部位では、血管を横切って緩やかな温度変
化があり、主要血管の直上部が身体表面全体で最も高温となる。主な熱的不連続
は、眼孔、鼻孔又は口等の体腔への入口部分に発生する。これらは、熱画像の自
動方向決めのための全体的な参照点を提供する。皮膚表面の局所的な及び重要性
の比較的低い不連続は、傷跡、あざ、火傷及び感染領域に発生する。熱表面には
、食事、運動、きつい帽子や他の衣服の着用、腔（サイナス）炎症、感染、体重
の増減及び姿勢等の圧迫及び活動を通じて歪みが生じる。しかし、細目事項ポイ
ントは、解剖学的構造に対するそれらの位置に関して、一定に保たれる。

【００１４】熱的細目事項の抽出及び照合法は、次のように要約できる。１．現熱画像をデジタル化する。２．現画像をピクセルに分割する。ピクセルのサイズは、望まれる結果の解像
度又は質に関連する。３．一定のピクセルを細目事項ポイントとして選択する。

【００１５】４．各細目事項に特徴を割り付ける。この特徴には、その細目事項周辺の熱画
像領域に関して大きさ及び方向情報を持つ１以上のベクトル、細目事項の位置或
いはその周辺の絶対温度又は相対温度、周辺熱領域の形状、関連する形状の湾曲
、周辺形状のサイズ、身体に対する細目事項の位置、他の細目事項までの距離、
他の細目事項へのベクトルの長さ及び方向、その細目事項と他の細目事項との間
での温度線の交叉数、一定の範囲及び方向内の他の細目の数、血管の外見上の末
端等の細目事項の種類、温度線の最大曲率点、熱カメラ或いは熱画像をスレッシ
ョルド処理、レンジゲート処理又はフォーカス処理することで識別される血管等
の解剖学的要素上の全ての点、リンパ節の重心、又は解剖学的構造において顕著
な熱容量を持つ重心その他の基準等がある。能動的及び受動的な赤外線結像のい
ずれも使用できる。能動結像については、被写体は、温風或いは冷風、照明、減
湿、温かい或いは冷たい食料の摂取、又は血管拡張或いは血管収縮の原因となる
素材の摂取等の外的印加による加熱又は冷却を受ける。

【００１６】５．現画像の細目事項の特徴のセットを、コンピュータにより他の画像の細目
事項の特徴のセットと比較する。６．比較結果を使用して、２つの画像から対応する細目事項を判定するととも
に、一方の画像を他方に関してモーフィングし又は数学的に調整して比較を容易
にする。

【００１７】７．現画像とデータベース画像との相違を、画像全体又は関心個所について計
算する。８．相違をスレッショルドと比較し、このスレッショルドを超えた画像のペア
を不適合と判断する。顔の赤外線細目事項は、要素形状から（各形状の重心、又はウェーブレット圧
縮及び拡張により導かれるゼロ点位置を使用すること等により）得られる場合が
ある。特に、高品質赤外線画像を使用する場合は、テンプレート或いは形状の比
較に要する徹底した計算的解析なしに、絶対細目事項を直接抽出できる。

【００１８】可視画像の基準点を介した比較も従来技術において公知であり、本発明と共通
する局面を持つと考えられる顔のメトリックの定義を含んでいる。例えば、Tal
の米国特許第４９７５９６９号は、肉眼により又は可視スペクトルでの写像によ
り確認できる特定の身体的特徴の計測により、個人を唯一に識別するための方法
及び装置を示している。Tal は、人の顔で識別可能なパラメータの間の距離であ
る顔のパラメータ及び／又はこの顔のパラメータの比率を定義するとともに、そ
れらを使用して、パラメータのセットが各人につき唯一のものであることから個
人を識別した。目の網膜の間の距離、各網膜から鼻の底部まで及び各網膜から口
の中央までの距離、及び鼻の底部から口の中央までの距離等の特定のパラメータ
が示され、それらは、各端部における影付きの定義可能な点により、個々に定義
できる。

【００１９】 Tal の特許において示された手法は、顔の目で見える特徴を利用するものであ
り、この特徴から、計測値及び比率の無二のセットを各人につき確立できるとさ
れている。この手法は、格別申し分のないものではなく、１卵生双生児の双子に
適したものでもない。さらに、顔の表情の変化により生じる「ゴム敷き」効果、
すなわち、鼻が長くなり、唇が薄くなり、しわができ、及び鼻の側部の溝が深く
なる原因となる老化効果は、いずれもパラメータ及びそれらの比率に変化をもた
らす。従って、人の顔から得られる計測値であって経時的に不変なものは殆どな
く、そのような不変な計測値の不足のために、可視画像での顔のメトリックを相
当な大きさの人口について有効なものとすることには、改良の余地が残されてい
る。Tal の特許は、可視検出器以外からの画像の比較を取り扱っておらず、よっ
て、異なるスペクトル帯域からの画像の比較である本発明に特有の目的を考慮し
ていない。さらに、Tal の特許は、照明条件が変動することについて明確な注意
を払っておらず、分類についてさえもその技術の利用が厳格に制限されることに
なる。

【００２０】顔の可視メトリックは、分類技術としては便利であるが、目で見える特徴は、
発見されずに化粧や外科手術により修正でき、誤った分類を来す。対照的に、本
発明の技術は、皮膚表面下にあって偽造され得ない隠れたマイクロパラメータを
採用する。誕生において顔に固定され、かつ、老化による影響を比較的受けずに
保たれる根本の特徴を使用することで、従来技術と比べて、パラメータ値に固有
な経時変化性が少なくなる。

【００２１】可視メトリックは、それらが計測値の比率に厳格に依存するのでない限り、基
本実距離計測値が必要である。可視メトリックは、内包的なごまかしに影響され
易く、また顔の表情、化粧、日焼け、影及びこれらのような非内包的なごまかし
により変化を来すからである。ごまかしの発見や、１卵生双生児の双子を見分け
ることは、可視画像からは、充分な解像度と制御された照明があることを条件に
、できる場合とできない場合とがある。しかし、際立って要求されるレベルの解
像度は、識別作業の計算を複雑にするとともに、非内包性の通常の変化に対して
確認精度に低下を来し易い。

【００２２】目で見た顔の固有解析を使用して特徴のセットを導き出す方法が、Pentland（
MIT Media Laboratory Perceptual Computing Section, Technical Report No.
245 View-Based and Modular Eigenspaces for Face Recognition)に示されてい
る。ここで、顔は、これらの特徴の重みづけの点から述べられている。この手法
は、頭部位置の変化や眼鏡の着用ばかりでなく、顔の表情の変化についても調節
することを求める。およそ３０００の人物を対象とした７５６２の画像データベ
ースから、代表サンプルに１２８の顔が使用される。原理的要素解析は、代表サ
ンプルについてなされる。初めの２０の固有ベクトルが採用される。各画像には
、性別、人種、略年齢及び顔の表情等に関して手書きで注釈が付される。Pentla
ndは、異なるスペクトル帯域からの画像の比較を扱っていない。また、この方法
は、可視画像が異なる照明条件で得られた場合に充分機能しない。

【００２３】 Pentlandは、固有ベクトル認識装置にとって登録のための前処理が必須である
ことを述べている。この処理は、固有ベクトルのセットを確立する必要があり、
特に大量のデータベースについては、大規模となる。データベースに新たに顔を
追加するには、固有解析を再実行する必要がある。Pentland及び他の「固有の顔
」的手法は、データベース依存型であるうえ、計算面で集約的である。対して、
提案する本発明に係る細目事項の比較は、あらゆる２つの画像のデータベースコ
ンテキストから独立している。細目事項は、各画像、すなわち、可視画像又はＩ
Ｒ画像から直接得られ、データベースにおける他の画像の数或いは内容によらず
、一定の規則を使用して比較される。

【００２４】２つのセットの画像の特徴点を比較して、それらが２つの近似した対象からの
ものであるかを判定する方法が、Sclaroff（Sclaroff及びPentland：MIT Media
Laboratory, Perceptual Computing Technical Report #304）に示されている。
ここでは、まず、各対象につき本体を中心とした座標フレームを設定し、その後
に、特徴点の照合を試みることが提案されている。慣性モーメント法、対称ファ
インダ及び極フーリエデスクリプタを含め、本体中心型フレームを見つけ出すた
めの多くの方法が提案されてきた。これらの方法には、概して次の３つの困難性
がある。すなわち、サンプリングエラー、パラメータ決定エラー及び非唯一性で
ある。

【００２５】 Sclaroffは、形状描写を紹介している。これは、有限要素法の数学的な根継ぎ
であるFalerkin補完法の使用によるサンプリングに関して、比較的ロバストであ
る。次に、彼は、データからの直接的な形状のパラメータ化を効果的に誘導でき
るガウジアンに基づく、新しいタイプのGalerkin補完法を紹介している。第３に
、彼は、形状描写の固有モードを使用して、正準周波数オーダ直交座標系を得て
いる。この座標系は、形状を一般化した対称軸と考えられる。本体中心型座標系
に特徴点の位置を記述することで、対応する点の照合と、異なる対象の近似性の
計測とが簡単となる。

【００２６】本出願人は、以前に、顔のサーモグラムに見られる熱形状の原理的要素解析を
利用した。ＩＲ画像からの結果である９７％の精度は、顔の可視画像を使用した
Pentlandにより報告された結果と同等以上のものである。さらに、出願人の処理
したデータベースは、１卵生双生児の双子を含んでおり、またおよそ２００人の
非協力的な画像を包含した。従って、頭部のサイズや方向は、Pentlandの研究で
はそうであったように予め決められたものではなかった。結果として、熱形状の
固有解析の使用は、目で見える顔の特徴の固有解析の使用と比較してよりロバス
トなのである。もっとも、固有解析の基本条件は、本質的な要素形状を考慮する
ことにより、熱画像の照合での使用に依然として適する。つまり、この方法は、
計算面で集約的であり、予め形成されたデータベースを必要とし、また前処理を
介した画像のパラメータ化を必要とするのである。

【００２７】本発明は、画像グリッド上の有限数の点をサンプルするだけのものではない点
で、従来の可視及びＩＲ認識方法と異なり、各スペクトルで特定の意義を有する
点を抽出し、一致するクロススペクトル細目事項と、解剖学的基礎と関連した規
則により関係付けられる同細目事項との間で自動的に識別するのである。本発明
は、相違又は特徴空間距離を、一致細目事項の各ペアに割り当て、全てのそのよ
うなペアについて総合距離が計算される。この第１ステップを使用して、スレッ
ショルドを超える距離を形成する候補的適合者を削除してもよい。それから、ス
ペクトル従属細目が解剖学的規則に関して比較されて、可能性のない候補的適合
者が更に削除される。従来技術は、解剖学的規則と、ＩＲ画像で見られる特徴と
に基いた、可視／ＩＲ人画像又はＩＲ／ＩＲ人画像の整列及び比較に着目してい
ない。

【００２８】（発明の開示）本発明の第１目的は、顔又は身体の赤外線画像と適合する可視画像を確認する
ための方法及び装置を提供することである。人の身体の一部の熱画像を生成し及
び処理して、細目事項ポイントのセットとともに、これらのポイントのそれぞれ
を説明する特徴と、他の細目事項に対する関係とを作成する。細目事項及び特徴
の組合せは、その個人にとって唯一のものと考えられ、日常的に起こる環境的、
生理学的、感情的その他の変化によらず、本質的に持続性がある。身体のいかな
る部位も利用可能であるが、利便性から顔が好ましい。顔の一部は、眼鏡、髭及
びカメラ等のセンサの方向により遮られる場合があるので、本装置及び方法は、
顔の一部に基づく確認を可能とする。

【００２９】候補の可視画像を処理して、その対象の細目事項の特徴と可視スペクトルとを
抽出する。ＩＲ及び可視画像を同じ基準でスケールするとともに、２つのスペク
トルで一致する細目事項に基づいて整列する。整列を達成するために必要な歪み
量の規準を算出する。その後に、人の顔及び身体の解剖学的構造に基づき、２つ
の画像が同一人物である場合に満たされる一定の規則に関して他のスペクトル従
属細目事項を比較する。上記規則との合致度合いの規準を算出する。赤外線画像
に対する予測適合者のクラスに当該可視画像を含めるか、又はそのクラスから除
外するかの決定は、これらの規準に基づいて、装置に起こり得るエラーを制御す
るために確立されたスレッショルドに関して行う。

【００３０】ちょうど一定の指紋鑑定アルゴリズムに指紋の中心が不可欠であるのと同様に
、顔の細目事項について軸を確立することも不可欠である。対話方式では操作者
（人）が顔の軸を確立するが、これは、指紋鑑定官が隠れた方向を設定するのと
似ている。人がシステムディスプレイ上のカーソルを操作することで、瞳孔、目
の両端（目がしら及び目じり）及び／又は鼻孔に境界を示す。その後に、瞳孔又
は目の両端と鼻孔との重心を介して鉛直方向に軸が自動的に形成されるとともに
、瞳孔又は目の両端の重心を介して水平方向に自動的に形成される。これらの軸
が垂直でないときは、鉛直方向の軸を調整して、鼻孔を必然的でなく二等分でき
る。操作者はまた、目の喪失、眼帯或いは包帯の着用、刺青、唇の変形又は他の
目で見える顔全体の熱的非対称性等の異常な全特徴を表示する。これらの作業は
、自動装置によっても達成できる。

【００３１】未確認人物の顔は、セグメントに分割し、対応するセグメントと照合する。こ
れは、顔が部分的に変装されていたり又は人込みで他人の顔に隠されてしまって
いる場合に、顔の部分照合を適応させる。真正面を向いた顔では、熱画像は全体として左右対称である。健康な人間につ
いては、目の両端又は腔（サイナス）領域が顔のうちで最も高温領域が広い。眼
鏡を掛けていなければ、熱画像で目の両端を探し出し、これらを使用してその顔
に軸を設ける処理は、簡単にできる。使用される場合のある他の特徴が鼻孔であ
り、人が息を吸ったり吐いたりするのに伴って交互に高温になったり低温になっ
たりする左右対称の領域が提供される。水平方向の軸は、それぞれの目の外側の
角（赤外線画像で容易に認識できる）を介して又は瞳孔（認識できる赤外線画像
もなかにはある）を介して引かれる。その後に、鉛直方向の軸が、上唇のボウ又
は２つの鼻孔の中心点を介して引かれるか、又は上記目の角の中間において引か
れる。２つの軸は、両目の中央で交叉することになる。目を介する水平方向の軸
の中間位置は、顔の中心に形成される。

【００３２】人物が眼鏡を掛けている場合は、顔からの赤外線放出を遮断することにより鋭
いカットオフを伴う低温領域を熱的に形成する眼鏡のパターンを利用して、顔の
軸を近似できる。眼鏡、髭又は他の遮蔽物により遮断されずに、顔の一部から充
分な数の細目事項が得られれば、人を確認できる。また、特定の計画のために条
件付けられた最小限数よりも少ない数の細目事項が、特定人物について自動装置
により抽出された場合は、その者は、装置により可能性のある適合者と判断され
るが、少数の細目事項を有するとしてタグが付される。

【００３３】顔の表情の変化等の様々な原因により、細目事項ポイントの相対配置にある程
度の歪みが生じる。これは、指と印刷面と間の動きにより指紋に生じる変形に似
ている。細目事項照合アルゴリズムは、細目事項の位置及び特徴における変動ば
かりでなく、カメラの視野や顔の一定領域の障害物のために画像で見られる細目
事項のサブセットにおける変動も許容する。

【００３４】顔の表面は、円滑に連続した熱レベルを提供し、また代謝活動、環境及び体内
温度、及び外的な熱エネルギー源を反映する。不連続は、鼻孔、開いた口、目、
髭、ほくろ又は他の皮膚障害、及び包帯等のあらゆるアプリケによるもの等、皮
膚の連続が途切れる個所に発生する。本発明の好適な形態によれば、細目事項は、顔から使用される。それらの細目
事項は、特定の生理学的特徴から得られる軸に関連付けられる。多くの異なる方
法を使用して顔のサーモグラムから再生可能な細目事項を獲得できるが、好まし
くは、幾つかの抽出ルーチンを使用して、意図した目的に足りるだけの複数の細
目事項を作成する。従って、要求されるセキュリティのオーダが比較的低いもの
については、頚動脈や顔の動脈の枝位置等の絶対的な解剖学的ポイントを使用し
て、１０のオーダで細目事項を抽出できる。

【００３５】高度のセキュリティ要求のためには、追加の計算を使用して１００のオーダで
得られる細目事項が抽出されて、更に得られた細目事項及び絶対細目事項を確認
する場合がある。細目事項の抽出及び特徴付け手順は、各細目事項の位置を捜し
出す。加えて、各ポイントの特徴を書き留める場合もある。この特徴には、対応
する血管の方向を示すベクトル、分岐する血管の相対方向を示す第２ベクトル、
正規化した見かけ温度、及び対応する血管の見かけ幅等がある。指紋の細目事項
照合装置の中には、これらの特徴の使用で確認の速度及び精度を高められるもの
がある。さらに、その使用で、自動方式による医療画像の精度及び速度を改善で
きる。

【００３６】この基本技術は、身体を部分的に見ることができない場合や、身体が外傷を負
った場合のようにサーモグラムに重大な変化が部分的に生じた場合に、領域毎の
方式で採用できる。これは、サーモグラムを区分けして、身体のうちで細目事項
を捜し出せる部分のみを考慮することによりなされる。これは、機能上、犯罪現
場で発見される、隠れた部分的な指紋を、ＦＢＩシステムに保存されたフルロー
ルプリントと照合することに等価である。細目事項ポイントのセットは、それら
の各ポイントを説明する特徴及び他の細目事項に対する関係とともに、接触によ
る指紋及び熱的細目事項の双方について個人特有であり、かつ、持続性があると
考えられる。

【００３７】異なるスペクトルからの２つの画像が同一人物からのものであることの立証は
、それ自体が目的であったり、また２つの画像を更に処理して比較データを抽出
するための第１ステップであったりする。顔の表情の変化や発言での動作は、特に唇に限らず、目、顎、額及び頬の部分
といった顔のうち影響を受けた部分に動きをもたらす。会話での顔の表情や顔の
動きのコード化は、ビデオ電話、ビデオ会議、ビデオｅメール、合成演説、及び
顔のアニメーション等への応用のための「トーキングヘッド」ビデオの伝送にお
ける帯域幅の削減のために現在研究されている。その趣旨は、基準画像を、その
画像に対するコード化された変化を追従させて伝送し、アニメートした顔を受信
端末で再構成することである。この処理により帯域幅の大幅な削減が可能となる
が、話をしている顔がこわばって不自然に見えたり、可聴情報と一致していない
ような画像を形成し、音響効果付き外国フィルムの受け入れ難い外観を生じる場
合がある。

【００３８】このような全ての研究は、口の角等の顔の一定の観察可能ポイントの再配置に
基づいた、顔の動きのモデリングを含んでいる。皮膚表面下の顔の筋肉及び神経
を考慮する点で異なるモデルも少なくない。とりわけ制御されてない照明条件で
は、一般化した顔に観察可能な参照ポイントは殆どない。特に、頬の領域に観察
可能な参照ポイントは全くなく、おそらく皮膚のしわを除けば、額の領域にもな
い。トーキングヘッドが暗い皮膚の人物のものである場合は、再構成された画像
において、顔の微妙な特徴に更なる劣化を来すことがある。

【００３９】伝送端末におけるビデオカメラとＩＲカメラとの併用、すなわち、二重帯域カ
メラの使用は、著しい改善の可能性を提供する。赤外線細目事項は、目で見える
目印と比較してより多数であり、可視細目事項が全く存在しないこともある頬、
額及び顎の領域を含め、顔全体に存在する。従って、赤外線細目事項の動きのモ
デリングは、目で見える参照に基づくモデリングと比較して、表情や発言のより
細かで詳細な模写を提供する。

【００４０】伝送端末では、対象の顔の可視基準画像が送られ、フレームからフレームへと
動くそれらの赤外線細目事項の動きに関するベクトルのみの伝送が追従する。受
信端末では、可視画像上にＩＲ細目事項の動きを被せることを基本として、基準
の顔がアニメートされる。初期の結果では、毎秒３０フレームを処理する場合に、最低値で、高く高揚し
た顔についての１５０：１の圧縮比から、控えめに表情を変える顔についての４
００：１の圧縮比までを示している。この技術の主な応用は、ビデオ会議であり
、目的は、満足な質の画像をダイアル呼出回線で、喜ばれるコストで提供するこ
とである。

【００４１】ビデオｅメール及びビデオ電話でも、帯域幅が著しく削減された、音声及び画
像の自動再同期を利用できる。既知の表情及び／又は既知の言語要素から得られた連続画像を処理することで
、その者について又は一般的に人物について、その表情又は言語要素に対応する
赤外線細目事項の一連の動きを抽出できる。結果として、赤外線細目事項の動き
に同じ繋がりが見られた場合に、その者は当初の場面で示したものと同じ表情又
は言語要素を示していると推断できる。これにより、表情又は発言の自動判別が
可能となり、可聴情報とともに伝送される映像情報を圧縮できる。この組合せは
、更なる合成圧縮及び改善された同期を提供する。

【００４２】同様な基礎技術を使用して、合成の顔のアニメーションで使用するための顔の
表情及び言語要素の辞書を作成できる。トーキングヘッドビデオ圧縮装置は、ビデオカメラ及びＩＲカメラの双方を備
えており、これを使用して、ＩＲ画像からの顔の表情及び／又は発言に関連する
顔の動きを識別し及び／又は形成するとともに、これらをその当時の可視画像に
重畳できる。相互に関連する顔の赤外線画像及びビデオ画像の使用は、トーキン
グヘッドビデオの圧縮及び再構成において表情や発言に関連した変動の著しく向
上した迫真性を提供し、またその関連の伝送の信頼性を保証する。

【００４３】（発明を実施するための最良の形態）異なる画像からの顔及び身体の画像を整列し及び比較するための本発明に係る
好適な方法を、以下に説明する。人の顔に供給する導管系は、典型的には、顔の表面に渡って７℃のオーダで温
度変化を与える。腔（サイナス）領域の高温を示す斑点、比較的低温の頬及び冷
たい髪等、一定の一般的特徴は、全ての顔のサーモグラムに適合する。顔のある
領域における特定の熱形状等の他の特徴は、人物に個別特有のものである。

【００４４】顔の表面に渡る温度変化は、３〜５，８〜１２又は２〜１５ミクロン範囲の波
長に感応するサーモカメラにより撮影できる。現在商業的に流通しているカメラ
は、０．０２５℃の熱解像度及び０．０２″を凌ぐ空間解像度を提供し、これに
より、顔の表面に渡って６５０００〜２６５０００の個別熱計測を行う。大抵の
カメラでは、温度マップが毎秒３０回再現されて、標準的なビデオテープ設備に
記録し及び処理できる標準的なビデオ出力を発生するか、又はコンピュータに入
力できる直接的なデジタル信号を発生する。

【００４５】図１（ａ）及び１（ｂ）において、伝統的なカメラと赤外線カメラとでそれぞ
れ撮影した同一人物の可視画像及び赤外線画像が示されている。これらの画像は
、細目事項２を含んでいる。同様に、図２（ａ）〜２（ｄ）は、異なる人の可視
画像であり、各画像が確認可能な細目事項ポイント２を有している。図３（ａ）
〜３（ｃ）は、図１（ａ），２（ａ）及び２（ｂ）に示した各人の熱画像又は赤
外線画像である。

【００４６】表面的な血管の分岐点に加えて、他の様々な種類の細目事項を自動的に抽出で
き、これらの細目事項には、次のものが含まれる。（１）各一定温度領域の重心（２）定温度線上の最大曲率点（３）吻合（４）リンパ節、腺、判別可能な熱容量の他の解剖学的領域（５）頭部の輪郭及び（頭髪の）はえぎわ（６）傷跡、刺青及び通常の写真で見ることのできる或いはできない他の目印（７）ウェーブレット或いはフラクタルに基づく熱画像の圧縮及び拡張により
形成される未定義位置（８）血管が深過ぎて見えなくなる見かけの末端細目事項の種類を様々に組み合わせて使用することで、付加的な分解能及び精
度を提供でき、また、特定の及び未開示の細目事項及び特徴のセットを使用すれ
ば、確認装置のセキュリティを向上できる。

【００４７】ＩＲ画像の全ピクセルは、身体上のその対応位置における皮膚の熱計測値を表
示するので、ＩＲ画像の全ピクセルは、細目事項と考えられる。特に、ＩＲ画像
をスレッショルド処理するとともに、全ての高温ポイントが細目事項であると考
えることで、本発明の好適な実施形態が簡単に具現化される。計算上の複雑さを
伴って選択した少ない細目事項を採用しようとも、又は比較的選択的でない処理
からの多くの細目事項を使用しようとも、本発明に基づく操作系を構築する際に
トレードオフが形成される。本発明に係る方法は、細目事項抽出段階におけると
、細目事項比較段階におけるとのいずれで多くの解析がなされようとも、同じで
ある。

【００４８】頭部の輪郭、毛筋（はえぎわ）、各鼻孔の中心、瞳孔の間隔、各目の角等のは
っきりとした顔の特徴を単に計るだけで、顔の分類或いは確証のためのメトリッ
クの基本的なセットが得られる。Tal の特許第４９７５９６９号は、口の端等の
目で見える特徴と、それらの特徴の間の比率との間の有限数の計測値に基づいて
顔を確認するための上記方法を示している。Tal によれば、そのような計測値の
同じセットを有する者は２人といない。ところが、ある特定の個人について時間
を異にした上記計測値の変化は、異なる人物の間での変化と比較しても、しばし
ば大きくなると思われる。人の明確な識別には、特に１人が他人のように装って
いる場合は、ビデオ映像で得られるよりも多くの数の細目事項ポイントの照合が
必要となる。高いセキュリティが求められる場合は、抽出される細目事項ポイン
トの数は、細目事項の同じセットを有する２人を捜し出すことが事実上不可能で
あるほどのものであることが望まれる。

【００４９】図４に示すように、傷跡４、刺青及び写真で見ることのできる他の目印が選択
されるべきである。関連する全ピクセルを可視細目事項として使用でき、または
、重心等の一定の特徴又は輪郭が代表細目事項として選択される場合に、手順を
確立できる。赤外線画像は、概して、可視画像が有するよりも多くの詳細を含む
。特に可視画像の解像度が充分でない場合は、ＩＲ画像を使用して、焼印及び刺
青と、一時的な目印とを写真によるよりも正確に判別できる。化粧が施された場
合は、目ではっきりと見える目印がないこともある。

【００５０】また、人込みの中にある顔や、いずれかの角度に向いた顔を確認することも重
要であるから、これらの応用には、顔の一部であっても確認に使用できるように
、相当多数の細目事項ポイントが抽出される必要がある。２つの画像で細目事項のセットを比較し及び整列するには、多数のステップが
必要となる。第１に、顔の軸を配置する。２組の軸を被せることで、異なる２つ
の画像の間に初めの近似的一致が得られる。真正面を向いた顔では、熱画像は、
概ね左右対称である。健康な人の目の両端或いは腔（サイナス）領域は、顔のう
ちで最も高温に広がる領域である。眼鏡を掛けていなければ、熱画像で目の両端
を捜し出すとともに、それらを使用して顔について軸を確立することは、通常簡
単な処理である。使用することのある他の特徴は、鼻孔であり、これは、人が息
を吸ったり吐いたりするのに応じて、高温と低温との左右対称領域を交互に表示
する。水平方向の軸は、赤外線画像において容易に識別可能な瞳孔又は目の両端
を介して引かれる。その後に、上唇のボウを介するか又は２つの鼻孔の中心点を
介して、目の間の中間に向けて鉛直方向の軸が引かれる。２つの軸は、顔の中心
を形成する２つの目の中央で交叉する。顔の可視画像についての軸も同様に引か
れる。軸は、強制的に垂直にできる。しかし、目の並びは、多くの人で頭部の鉛
直軸に対して垂直でない。軸が相対的な方位において変化できるようにすること
で、確認作業の利便性が確保される。

【００５１】比較に先立ち、次に、全画像を標準サイズに対して測定する。データベースの
全画像について充分なグランドトルースがあれば、この測定は、実際のサイズに
関して行う。しかし、一般的には、実際のサイズは、データベースの全画像につ
いて事後的には正確に判定できない。このため、測定は、標準距離を特定細目事
項の間で強制することで行う。可視画像については、測定に適した１つのメトリ
ックは、目の網膜の間の距離である。この距離は、全ての成人についてほぼ同一
であり、約７ｃｍである。目の網膜が識別不能である赤外線画像については、適
したメトリックは、目の両端間の最短直線であり、これは、顔の水平方向の軸に
対して平行である。この距離は、全ての成人についてほぼ同一であり、約３ｃｍ
である。

【００５２】赤外線細目事項は、熱画像から直接的に抽出できる場合に絶対的なものとして
分類され、また、あるレベルの画像変換からの結果であれば、引き出される。可
視細目事項は、全て絶対的なものとして推定される。これらの抽出方法を以下に
述べる。本発明の目的の範囲内で、他の方法を使用してもよい。・赤外線細目事項赤外線細目事項を選択する。得られる細目事項の数は、赤外線カメラの感度及
び解像度の関数である。候補の細目事項には；１．熱画像から直接的に抽出可能な絶対細目事項（例えば、頭部の輪郭、毛筋
、分岐点及び表面的な血管の見かけの末端）と、２．画像の処理を必要とする引出細目事項と、が含まれる。引出細目事項には
、以下のものが含まれる。

【００５３】Ａ．各定温度領域の重心１．デジタル化した熱画像がＮビットのグレースケールを有するとして、まず
、このスケールを、平均グレー値付近で２つのスライスに分割（閾値処理）する
。結果の画像は、一定値領域を幾らか有する。それぞれの重心を捜し出し、細目
事項ポイントに分類する。

【００５４】２．スライスの数を４つに増やして上記ステップを繰り返し、結果の重心を細
目事項に分類する。３．２^**Ｎ個のスライスが得られるまで因数２毎にスライスの数の増加を続け
て、結果の細目事項を分類する。４．追加的な細目事項が望まれる場合は、奇数のスライスを使用して処理を継
続する。

【００５５】５．細目事項のセットは、（ｘ，ｙ，ｚ）と分類した重心から構成される。こ
こで、（ｘ，ｙ）は、示された顔の中心における（０，０）を含む顔の軸に関す
る顔上での位置であり、ｚは、対応する温度値である。Ｂ．定温度線上の最大曲率点（所定の湾曲半径未満の凹状又は凸状のいずれ
の尖点であってもよい）１．デジタル化した画像における温度線の全てを考慮に入れる。データにノイ
ズが多いと判断すれば、グレーレベルの数を減じて、熱データにおいて本質的な
差を表示させる。

【００５６】２．よりきつい曲率を有するあらゆる温度線のあらゆる部分が細目事項ポイン
トを形成するように、湾曲半径を確立する。３．追加される細目事項のセットは、（ｘ，ｙ，ｚ，ａ，Ｄ）と分類される最
大屈曲点から構成される。ここで、（ｘ，ｙ）は、細目事項ポイントの顔の軸に
関する位置であり、ｚは、その点の温度値であり、ａは、温度線の細目事項ポイ
ントにおける正接に対する角度であり、またＤは、細目事項ポイントとその温度
線の重心との間の温度値のレンジ（横切る定温度線の数に等しい）である。

【００５７】Ｃ．ランレングス符号化の開始及び停止位置１．熱画像のランレングス符号化を行う。２．各停止／開始位置が細目事項ポイントを形成する。３．追加される細目事項のセットは、これらのポイントに関連付けられた（ｘ
，ｙ，ｚ）の値から構成される。

【００５８】Ｄ．圧縮及び続く拡張により形成される未定義位置１．熱画像にウェーブレット或いはフラクタルに基づく圧縮を施す。２．圧縮した画像を拡張し、それを元画像と比較する。３．追加される細目事項のセットは、未定義位置から構成され、（ｘ，ｙ，ｚ
，ｗ）と分類される。ここで、（ｘ，ｙ）は、そのポイントの顔の軸に関する位
置であり、ｚは、その位置における元の熱画像での温度値であり、ｗは、ウェー
ブレット係数のセットである。

【００５９】Ｅ．選択されたスレッショルドを超え、他の定義ピクセルから選択された温
度範囲及び距離内にある全ピクセル・可視細目事項可視細目事項は、その可視画像の解像度、コントラスト及び明瞭さに応じて選
択される。候補の細目事項には、頭部の輪郭、毛筋、瞳孔、目の内側及び外側の
角、鼻孔、口の角、唇のボウ及び鼻の先端が含まれる。

【００６０】ここで、赤外線細目事項及び可視細目事項について、テーブルを作成する。テ
ーブルの項目には、各細目事項の顔の軸に関する位置を含める。一致細目事項は
、手動的或いは自動的にリンクさせる。一致細目事項には、瞳孔、目の内側及び
外側の角、鼻孔、頭部の輪郭、毛筋及び耳の頭部に対する接続点が含まれる。一致細目事項の選択後に、それらを照合する。顔の表情の変化等の様々な混乱
により、細目事項ポイントの相対位置にある程度の歪みが生じる。このことは、
指と印刷面との間の動きのために指紋に生じる変形に似ている。細目事項照合ア
ルゴリズムは、細目事項の位置及び特徴の変化ばかりでなく、カメラの視野や、
画像において顔のある領域について起こり得る遮蔽のために見られる細目事項の
サブセットの変化をも許容する。得られる一致細目事項の位置の間の相違を、顔
の軸に関して計算する。２つのセットの細目事項の間の相違を見積もる際に、異
なる方法も使用できる。

【００６１】そのような方法の１つは、エラーに対して設定された許容範囲を伴う標準的な
グラフ照合である。このエラーには、頭部の位置及び距離についての不完全な知
識のためのエラー、頭部／顔を２次元表面或いは球体として扱うことに関連した
エラー、及びレーザ干渉法或いは他の方法を利用して頭部の正確な３次元モデル
を確立したとしても除去できないエラーに関連したエラーがある。

【００６２】他の方法は、Prokoskiの米国特許第５５８３９５０号に示される（登録商標）
Flash Correlation である。各細目事項位置の広い円形領域が使用され、その領
域或いはドットのサイズは、顔の表情の変化、カメラの解像度及び他の要因のた
めの、正確な細目事項位置に関連した不確定さを表す。２つのセットの細目事項の間の相違を見積もるための更なる方法は、指紋鑑定
に近似しており、細目事項のセットの位置及び特徴を比較するために開発された
、多細目事項比較法のいずれかを使用する。

【００６３】図５及び６は、一致細目事項の照合を示している。詳細には、図５（ａ）は、
図３（ａ）の赤外線画像が図１（ａ）の対応する可視画像上にオーバレイされて
おり、一致細目事項の整列と、人物の適合とを示している。図５（ｂ）は、図３
（ｂ）の赤外線画像が図１（ａ）の可視画像上にオーバレイされており、一致細
目事項の誤った整列を示し、よって人物の不適合を示している。

【００６４】高いセキュリティでの応用、又はデータベースの対象が変装していたり、年を
とっていたり或いは体重や風貌が違っている場合は、照合アルゴリズムは、可能
性のある適合（予測適合）の決定をする際に、そのような起こり得る変化を考慮
に入れる。いずれの細目事項の抽出及び比較法を使用しても、それらは、画像が既知の人
物のものであるデータベースを考慮して適応するように設定され又は決定された
スレッショルドと比較できるメトリックを生成する。スレッショルド（ＣＭ）は
、誤った正の結果と、誤った負の結果との比率の所望のトレードオフのために設
定される。

【００６５】一致細目事項を考慮して適合の可能性があるとの結論が出た場合は、スペクト
ル従属細目事項の考慮により、その決定を更に洗練できる。２つの画像を顔の軸
に従って最適に整列し、一致細目事項がオーバレイされるように歪ませる。その
後に、各スペクトル従属細目事項を、その細目事項を他の細目事項に関連付ける
規則に関して考慮する。この規則はまた、ポイント値を、規則との追従度合いに
割り当てる。次に、装置は、規則が守られているか又は違反されているかを確か
め、規則の全てに関連する累積スコアを算出する。

【００６６】最も簡単な規則は、除外テストである。ＩＲ画像で見られる維管束構造又は細
目事項に、可視画像の頭部の輪郭の外側で又は目、口或いは鼻孔の領域の中でオ
ーバレイされるものはないということである。解剖学的規則には、次の項目がある。１．顔の静脈及び動脈は、鼻の境界の外側にあり、口、目又は鼻孔を通過せず
、かつ、耳より顔の中側にあること２．眼窩上の及び眼の動脈は、目の上方にあること３．顔の横方向の静脈及び動脈は、目の下方にあること４．横方向の静脈は、顔のうち目の間の領域の中と、鼻の領域の外側とにある
こと５．口唇の静脈及び動脈は、口を取り囲むこと重大である特定の問題には、子供のものであっても又は大人のものであっても
、長い期間が経過した画像が含まれる。これらの場合は、一致細目事項のセット
と、スペクトル従属細目事項を支配する規則とを変化させて、成長及び老化に関
連した解剖学的変化に適応させる。比較のために細目事項を抽出する前に、比較
される画像のいずれを他方にまで人為的に老化させてもよい。

【００６７】証拠的な使用の観点からは、ＦＢＩのファイルにおける全マグショット等の膨
大な顔のデータベースへの固有解析の応用は、公衆の大半により非常に秘密的で
あると考えられており、その使用に基づく自動照合は、本人であることの説得力
のある証拠として陪審員団に容易に受け入れられるものではない。比較してみる
と、提案に係る顔の細目事項の照合方法は、指紋鑑定に近似しており、法の実施
社会からのより理解的な応対が得られ、その紹介から妥当な年数で証拠的な目的
のために受け入れられるものと期待される。

【００６８】スレッショルドは、そのスレッショルドの範囲内の計算値を有する一対の画像
が可能性のある適合子同士であると判断されるように、適応させて設定し又は決
定する。決定アルゴリズムは、積算した規則スコアを利用するか、あるいは単に
いずれかの規則に違反した全画像を除外する。使用する画像の質及び変装の可能
性が決定アルゴリズムを確立する際に考慮されて、予測適合か又は不適合かが判
断される。図７〜９は、同一人物の顔の正面、顔の側面及び首のスレッショルド
赤外線画像である。

【００６９】次に、異なる画像からの顔及び身体の画像を整列し及び比較するための本発明
に係る方法の他の２つの実施形態について述べる。トーキングヘッドビデオの圧縮には、二重帯域ＩＲ／可視カメラを使用する。
伝送端末のプロセッサは、ＩＲビデオの各フレームからＩＲ細目事項を連続的に
抽出する。プロセッサは、顔の軸を配置して追跡（トラック）し、頭部の目立っ
た動きがあれば検出する。被写体の可視基準画像が送信され、フレームからフレ
ームへ移動するそれらの赤外線細目事項の動作ベクトルのみの伝送を追従させる
。頭部の目立った動きがあれば、その後に新たな基準ビデオ画像が伝送され、こ
こでも動作ベクトルのみの連続伝送を追従させる。

【００７０】受信端末では、基準の顔が、ＩＲ細目事項の動きを可視画像上に被せることを
基本としてアニメートされる。モーフィング法を使用して、新たな基準画像への
移行を円滑にする。モーフィングにより新たな基準に過度な変化が示された場合
は、信号を伝送端末に送り返して、新たな基準が伝送される前に許容される頭部
動作を軽減する。この方法は、動きの少ないトーキングヘッドについて大幅な帯
域幅圧縮を可能とする一方で、表情に変化が多い顔の自動調整を可能とする。必
要な処理時間が長くなるが、別々のＩＲカメラ及び可視カメラを使用できる。

【００７１】図１０（ａ）及び（ｂ）は、顔の表情や発言において影響を受ける顔の筋肉を
示している。表情又は話しぶりの変化は、顔のうちの影響領域に動作を引き起こ
し、赤外線スペクトル従属細目事項の配置を歪ませるとともに、可視細目事項も
歪ませる。しかし、赤外線細目事項は非常に多くのものがあり、可視細目事項が
存在しない領域にも存在する。このため、赤外線細目事項のモデリングは、可視
細目事項に基づくモデリングがなすよりも、表情及び発言のより細かな詳細モデ
リングを提供する。

【００７２】既知の表情及び／又は既知の言語要素の間に撮影された連続画像を処理するこ
とを基本として、その人についてのその表情又は言語要素に対応する赤外線細目
事項の一連の動きを抽出できる。その結果、同じに繋がる赤外線細目事項の動きが見られた場合は、当初の一連
の動きで表したものと同じ表情又は言語要素をその人物が表していると推断でき
る。このことは、表情又は発言の自動判別を可能とし、伝送されるビデオの圧縮
に資する。人の基準画像を伝送した後に、表情又は言語要素に関するコードを伝
送できる。受信端末では、表情又は言語要素を再構成し、顔の擬似アニメーショ
ンを提示する。

【００７３】この技術を使用して、合成の顔のアニメーションで使用するための、顔の表情
及び言語要素の辞書を作成できる。本発明に係る方法の大要を、図１１を参照して説明する。まず、判明している者についての画像データベースが生成される（６）。この
画像には、赤外線、可視或いはハイパースペクトル画像、又は赤外線細目事項で
注釈を付した医療画像を包含できる。各画像は、共通の参照値に対して測定され
る。次に、データベース画像が、スペクトルに応じた特徴及び細目事項について
処理される（８）。この処理は、他のセンサ画像上に付されたＩＲ細目事項を捜
し出し、顔の軸を割り当て、細目事項の数をカウントし、結果のデータで画像に
タグを付し、また、細目事項抽出処理に基づいて認識した細目事項の数及びその
質に基づいて画像に属性尺度を割り当てる。プロセス参照ステップ１０では、ス
レッショルド属性の選択画像を保存する。

【００７４】赤外線又は他のセンサを使用して、未確認人物の画像を取り込む（１２）。こ
の画像が処理されて（１４）、顔の軸が設定され、画像が測定され、ＩＲ細目事
項が探索され、及び処理ステップ８と同様に属性尺度が割り当てられる。取込画像は、データベース画像が分類される（１８）のに従って分類されて（
１６）、検索時間が削減される。適当な分類方法には、取込用データベースと参
照データベースとの双方にＩＲ画像のみが含まれる場合は、原理的要素パラメー
タ或いは対称波形の使用が含まれ、双方のデータベースにＩＲ及び可視画像のみ
が含まれる場合は、一致細目事項メトリックが含まれ、又は双方のデータベース
にＩＲ細目事項で注釈した画像が含まれる場合は、ＩＲ細目事項メトリックが含
まれる。分類技術の特定の応用は、データベースの規模に依存する。例えば、一
致するＩＲ及び可視細目事項から算出した距離メトリックを使用して、ＩＲ及び
可視画像の双方で同じとなる１２の寸法が得られる場合がある。非常に大規模な
データベースは、そのようなメトリックを使用して効果的に分割できる。

【００７５】次に、分類後の取込画像と、データベース画像とを比較して、データベースか
ら予測適合者を選択する（２０）。予測適合者が見当たらない場合は、これが最
終結果となる。一方で、予測適合者が発見された場合は、適合を確証するための
更なる処理を行う。取込画像が配置されて（２２）、その回転、頂点及び傾斜が
決定される。データベース画像も同様に配置される（２４）。必要であれば、比
較される画像が同じ方向に向くように、位置の修正がなされる。次に、取込画像
とデータベース画像とが一列にオーバレイされる（２６）。これを図１２及び１
３に示す。（双方の画像方式において形成される）一致細目事項の間の距離を算
出する。顔の各細目事項領域について、顔の表情の変化や発言に関連した動きの
ためにその細目事項の位置に生じ得る変動を示すエラー帯域が確立される。

【００７６】取込画像及びデータベース画像の細目事項がともに他方のエラー帯域内である
ところで、それらの対の一致細目事項がカウントされる（２８）。カウント値は
、予め設定されたスレッショルドに対して比較される。カウント値がこのスレッ
ショルド未満であれば、そのデータベース画像が予測適合者と判断されることは
なく、比較のために次に続く画像がデータベースから選択される（２０）。カウ
ント値がスレッショルド以上であれば、処理が続く。

【００７７】次に、一致細目事項の対の間で合成距離が計測され、予め設定したスレッショ
ルドに対して比較される（３０）。その計測値がスレッショルドを超えていれば
、そのデータベース画像が予測適合者と判断されることはなく、比較のために次
に続く画像がデータベースから選択される（２０）。計測値がスレッショルド以
下であれば、処理が続く。

【００７８】次に、データベース画像に対する除外区域が確立され（３２）、目、鼻孔、口
、及び顔の外側境界がデータベース画像のマスクを形成する除外区域に設定され
る。このマスクは、取込画像と一列に整列されて、その上に重畳される。取込画
像のいずれかのＩＲ細目事項が除外区域内に落ちている場合は、違反と判断され
、そのデータベース画像は、もはや予測適合者と判断されることはなく、次の画
像が選択される。何の違反も生じなければ、特定のＩＲ細目事項が探索されると
ころで適用される解剖学的規則についての検査（３４）に処理が続く。これらの
規則は、取込画像を使用してデータベース画像に対して検査される。例えば、顔
の動脈は、鼻と耳との間になければならない。取込画像とデータベース画像とが
整列されてオーバレイされた状態で、各解剖学的規則が検査される。いかなる違
反によってもそのデータベース画像はもはや考慮されず、次の画像が選択される
。何の違反も生じなければ、処理が続く。

【００７９】処理ステップを通じて進行するデータベース画像から、候補者リストが作成さ
れる（３６）。この結果は、データベースの規模及び完全性等の一定の因子に従
って重み付けされる（３８）。例えば、会社の全従業員について幾つかの画像が
データベースに含まれていると知られていれば、この事実は、取込画像に対する
予測適合者として同一人物につき複数のデータベース画像が発見された場合の適
合の信頼性に影響するのである。

【００８０】重み付けの結果に基づいて、データベースからの候補適合者の画像が並べられ
（４０）、出力される（４２）。本発明に係る装置について、図１４を参照して説明する。本装置は、赤外線画
像の取込みのためのデジタル保存装置４４を備える。画像を基準に合わせる標準
化プロセッサ４６と、各ＩＲ画像について細目事項を抽出し及び解析する細目事
項プロセッサ４８とがこれに接続される。

【００８１】本装置はまた、複数の参照画像を保存したデジタルデータベース５０を備える
。標準化プロセッサ５２は、標準化済みの参照画像を包含するデータベース５４
に届けられる画像を、基準に合わせる。細目事項プロセッサ５６は、医療画像上
に重畳されるスペクトル非従属細目事項及びＩＲ細目事項を抽出し及び解析する
。

【００８２】取込画像用の細目事項プロセッサ４８と、データベース画像用の細目事項プロ
セッサとは、画像の間に適合者が存在するかを判定して、取込画像が撮影された
人物を確認するセレクタ・コンパレータ装置５８に接続される。より詳細には、
セレクタは、画像を整列して、初めの適合者がいるかを判定する。いなければ、
コンパレータが画像内の一致細目事項を比較する。第１の比較は、一致細目事項
の数をカウントすることでなされる。その数が所定のスレッショルドを超えれば
、処理を続ける。スレッショルドのカウントに達しなければ、データベース画像
を拒絶し、比較のためにデータベースの次の画像を選択する。第２の比較は、一
致細目事項の間の計測距離についてなされる。この距離がスレッショルドを超え
れば、データベース画像を拒絶し、比較のために次のデータベース画像を選択す
る。計測距離がスレッショルド以下であれば、処理を続ける。

【００８３】エバリュエータ装置６０は、除外区域及び解剖学的規則についてデータベース
画像を検査する。取込画像のいずれかの細目事項が除外区域内に落ちた場合は、
違反を発生し、データベース画像を拒絶する。解剖学的規則は、特定の赤外線細
目事項が位置するところを明確にする。取込画像とデータベース画像とがオーバ
レイされて整列された状態で、各解剖学的規則を検査する。違反が生じれば、デ
ータベース画像を拒絶する。

【００８４】比較及び検査段階を通過したデータベース画像は、適合の強さに応じて重みが
付けられる。並べられた予測適合者は、その後に出力装置６２を介して出力され
る。本発明に係る方法及び装置は、例えば、Ｘ線又はソノグラム等の可視画像以外
の画像の比較に拡張できる。Ｘ線画像とソノグラム画像とは、まず、それぞれに
一致ＩＲ細目事項で注釈を付し、その後に、医療画像上にオーバレイするときに
２つのセットのＩＲ細目事項をモーフィングするか又は各医療画像を基準ＩＲ画
像に対してモーフィングすることで、整列できる。ＩＲ細目事項について深さ情
報が提供される場合は、モーフィングを３次元で行える。

【図面の簡単な説明】

【図１】１５フィートの距離から撮影した同じ顔の可視画像及びサーモグラムであり、
各様相について一致細目事項を示す。

【図２】異なる４人の顔の可視画像であり、一致細目事項を示す。

【図３】ＩＲ画像を閾値処理し、スレッショルドよりも高温の全ピクセルを使用するこ
とで形成した、図１（ａ），２（ａ）及び２（ｂ）の可視画像の赤外線細目事項
からの導管構造の画像及び特徴画像である。

【図４】化粧のために可視画像では見つけることのできない傷跡のある人の赤外線画像
である。

【図５】図３（ａ）のＩＲ画像の、対応する図１（ａ）の可視画像上へのオーバレイを
示し、一致細目事項の整列を示す。

【図６】図３（ｂ）のＩＲ画像の、図１（ａ）の可視画像上へのオーバレイを示し、一
致細目事項の誤った整列を示す。

【図７】アンチモン化インジウム焦点面アレーカメラで撮影した、人の正面の顔のスレ
ッショルド処理後赤外線画像である。

【図８】アンチモン化インジウム焦点面アレーカメラで撮影した、人の横顔のスレッシ
ョルド処理後赤外線画像である。

【図９】アンチモン化インジウム焦点面アレーカメラで撮影した、人の首のスレッショ
ルド処理後赤外線画像である。

【図１０】笑っている人及び不機嫌な人についての導管構造細目事項のイメージである。

【図１１】本発明に係る方法を示すフロー図である。

【図１２】導管細目事項の熱画像をオーバレイした可視画像表示であり、適合状態を示し
ている。

【図１３】導管細目事項の熱画像をオーバレイした可視画像表示であり、非適合状態を示
している。

【図１４】本発明に係る装置を示すブロック図である。

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 4C038 VA07 VB01 VC01 5B057 AA07 AA19 BA02 BA19 BA30 CH12 DC03 DC06 DC08 DC09 DC16 DC32 DC36 5L096 BA02 BA18 CA05 HA01 JA11

Claims

【特許請求の範囲】

【請求項１】２つの異なるスペクトルの画像からの画像を整列するための方法であって、各画像においてスペクトル従属細目事項を認識するステップと、双方の画像に現れる一致細目事項を認識するステップと、一方の画像を他方の画像にモーフィングすることにより前記一致細目事項をオ
ーバレイして、２つの画像の適合点があるかを判定するステップと、を含んで構
成される方法。
【請求項２】前記画像のうちの一方が標準の解剖学的組織の映像を含むことを特徴とする請
求項１に記載の方法。
【請求項３】望ましい整列を達成するのに必要なモーフィングの度合いを算出するステップ
を更に含んで構成され、前記モーフィングステップが、前記一方の画像を、前記他方の画像に関して引
き延ばし、歪ませ及び縮ませるステップを含むことを特徴とする請求項１に記載
の方法。
【請求項４】１つのスペクトル帯域で撮影された第１画像からの未確認人物を、異なるスペ
クトル帯域で撮影されてデータベースに保存された、判明している者の複数の第
２画像と比較することにより、確認するための方法であって、各画像においてスペクトル従属細目事項を認識するステップと、前記画像に現れる一致細目事項を認識するステップと、前記第１画像をモーフィングすることにより前記一致細目事項を前記第２画像
のそれぞれにオーバレイして、画像の適合点があるかを判定するステップと、前記第２画像のうちで最も弱いモーフィングを要するものを前記データベース
からの最も適合可能性の高い画像として選択するステップと、モーフィングの度合いをスレッショルドと比較して、その適合が前記知れてい
ない人を前記データベースからの者と確認するのに充分であるかを判定するステ
ップと、を含んで構成される方法。
【請求項５】前記スレッショルドと前記モーフィングの度合いとの差に基づいて、前記適合
の確実度レベルを割り当てるステップを更に含んで構成される請求項４に記載の
方法。
【請求項６】顔の表情及び動きをコード化するための方法であって、同時かつ対応する顔の可視及び赤外線画像を所定期間に亘って撮影するステッ
プと、前記期間内で、各画像からのスペクトル従属細目事項を選択した間隔で認識し
及び抽出するステップと、前記期間における前記細目事項の動きを追跡するステップと、各画像についての一致細目事項により前記可視及び赤外線画像を整列するステ
ップと、赤外線細目事項に対応する可視画像の一致細目事項の位置を算出するステップ
と、を含んで構成される方法。
【請求項７】一致細目事項の位置に応じて前記画像をデータベースに保存するステップを更
に含んで構成される請求項６に記載の方法。
【請求項８】２つの異なるスペクトルの画像からの画像を整列する装置であって、異なるスペクトルから画像を生成する手段と、双方の画像に現れる一致細目事項を認識する手段と、一方の画像を他方の画像にモーフィングすることにより前記一致細目事項をオ
ーバレイして、その細目事項を比較するとともに２つの画像の適合点があるかを
判定する手段と、を含んで構成される装置。
【請求項９】望ましい整列を達成するのに必要なモーフィングの度合いを算出する手段を更
に含んで構成され、前記オーバレイ手段が、前記一方の画像を、前記他方の画像に関して引き延ば
し、歪ませ及び縮ませることを特徴とする請求項８に記載の装置。
【請求項１０】前記画像生成手段が、可視画像を生成するためのカメラと、赤外線画像を生成
するための赤外線カメラとを含んで構成されることを特徴とする請求項９に記載
の装置。
【請求項１１】判明している者の複数の可視画像を保存するためのデータベースを含んで構成
され、未確認人物からの画像を保存した画像と比較して、該未確認人物を確認で
きるようにしたことを特徴とする請求項１０に記載の装置。
【請求項１２】同時かつ対応する顔の可視及び赤外線ビデオ画像を撮影するステップと、各赤外線フレームから赤外線細目事項を抽出するステップと、赤外線の顔について顔の軸を決定するステップと、基本ビデオフレームを伝送するステップと、各赤外線細目事項の動作方向及び量をフレームからフレームへと追跡するステ
ップと、顔の軸の移動方向及び量をフレームからフレームへと追跡するステップと、新たな基本ビデオ画像を送らずに許容される顔の動きの範囲を確立するステッ
プと、顔の動きが前記許容範囲内であるときに、顔の全赤外線細目事項について動作
ベクトルを伝送するステップと、顔の動きが前記許容範囲外であるときに、新たな可視基本画像を伝送するステ
ップと、受信端末において基本ビデオ画像を表示するステップと、伝送された赤外線細目事項ベクトルに応じてフレームからフレームへとモーフ
ィングを重畳することにより、表示したビデオ画像を歪ませるステップと、を含
んで構成されるトーキングヘッドビデオの圧縮方法。
【請求項１３】新たな基準への移行を円滑にするべく、新たな基本画像と最後に提供された画
像との間でモーフィングするステップと、円滑な移行を達成するのに必要なモーフィングの量を判定するステップと、伝送端末に信号を送り、前記顔の動きの許容範囲を変化させるステップと、を
更に含んで構成される請求項１２に記載の方法。
【請求項１４】二重帯域赤外線／可視カメラと、前記カメラと接続する赤外線細目事項の抽出及び顔の軸のサブシステムと、前記サブシステムと接続する顔の動きのトラッカと、前記顔の動きのトラッカと接続する赤外線スペクトル細目事項のトラッカと、基準可視画像のトランスミッタと、前記画像トラッカと接続する、基準での赤外線スペクトル細目事項の動きのト
ランスミッタと、前記細目事項の動きのトラッカと接続する、細目事項の動きの変化のレシーバ
と、前記レシーバと接続する基準の及びアニメート後の可視画像のディスプレイと
、赤外線細目事項ベクトルを使用するビジュアルフェースアニメータと、頭部の動きが許容範囲を超えた場合の新たな頭部の基準位置のレシーバと、新たな基準頭部位置及び最後に構成された頭部位置のモーファと、新たな基準に対応して必要となるモーフィングの量を算出するチューナと、を
含んで構成されるトーキングヘッドビデオ圧縮装置。