JP2004295813A

JP2004295813A - ３次元人物照合装置

Info

Publication number: JP2004295813A
Application number: JP2003090538A
Authority: JP
Inventors: Noboru Takarayama; 登寳山; Kazunori Sato; 一教佐藤; Mitsuhiro Yamamoto; 光大山本; Shigeru Kamata; 茂鎌田; Takao Abe; 孝夫阿部; Hideo Tatewaki; 英雄帯刀
Original assignee: Babcock Hitachi KK
Current assignee: Mitsubishi Power Ltd
Priority date: 2003-03-28
Filing date: 2003-03-28
Publication date: 2004-10-21

Abstract

【課題】閉じられた空間内で撮影が行え、３次元データ取込装置により人物の頭全体を３次元データ化し、コンピュータ上で自由に向きを変えられ、照合操作及び比較判定が迅速・簡単にできる３次元人物照合装置を提供すること。
【解決手段】人物の全周方向の画像を撮影できるように人物の全周方向に少なくとも３台配置したカメラ５と、人物の頭部の全周方向の明るさを全ての箇所で均一にするように複数配置した照明具１５と、縞模様を映し出す映写機６と、カメラ５と映写機６で得られた画像データを用いて人物の３次元データを取得する３次元データ取得装置１と、別途得られた人物の２Ｄデータであるビデオ画像又は顔写真の姿勢と撮影距離を同じに調整して得られた前記３Ｄデータと前記ビデオ画像又は顔写真の２Ｄデータも重ね合わせる画像合成装置１１と、該画像合成装置１１で得られた３Ｄデータと２Ｄデータを映し出すモニタ９、１０とを備えた３次元人物照合装置である。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、人物の３次元データと別途得られたビデオ画像または顔写真などとを比較して、同一人物であるかどうかを照合する３次元人物照合装置とその利用方法に関し、特に防犯カメラや監視カメラなどのビデオ画像または顔写真などと、別に取得した３次元の人物データを比較して、犯人（容疑者）や被疑者を絞り込む照合装置に係わり、人物の頭部の３次元データ化を行うと同時に被疑者写真の撮影及び身長を測定でき、精度よく簡単・迅速に人物の照合・絞込みを行うのに好適な３次元人物照合装置とその利用方法に関する。
【０００２】
【従来の技術】
従来、写真やビデオなどに映された人物の２次元データによる顔を画像処理してビデオの撮影距離や向きに合わせて画像の見え方を予測・修正し、該当すると考えられる人物のデータと照合判定をしていたが、様々な方向から撮影された前記写真やビデオなどに映された人物の２次元データの画像に合わせて前記該当人物との同一性を正確に予測するには限界があった。
【０００３】
しかし、最近は、人物の顔を３次元データとして取込、照合する方法・装置が開発されている。下記にその文献等を示す。また、図１５には従来法による３次元人物照合装置を用いた照合・判定方法例を示す。図１５（ａ）のビデオ画像５０と図１５（ｂ）の３次元データ５１を重ね合わせて図１５（ｃ）の得て、生体学上の個人差を表す特徴点である、例えば鼻翼部分の誤差を比較判定する方法である。この方法は一点の比較だけであるので比較判定が難しく、多数のデータの中から絞り込んだ後、両者に差異があるかないかを確認するしかなかった作業量の多い方法であった。
【０００４】
【非特許文献１】
「３次元顔貌計測装置を応用した顔写真ビデオスーパーインポーズシステムの製作」、吉野他、科学警察研究所報告法科学編、Ｖｏｌ．４８、Ｎｏ．４、ｐ１４９〜１５８、１９９５
【０００５】
【非特許文献２】
ＲｅｃｅｎｔＡｄｖａｎｃｅｓｉｎＦａｃｉａｌＩｍａｇｅＩｄｅｎｔｉｆｉｃａｔｉｏｎ：ＭｉｎｅｏＹｏｓｈｉｎｏ、鑑識科学、７（１）、１−１７（２００２）
【０００６】
【非特許文献３】
Ｉｎｄｉｖｉｄｕａｌｉｄｅｎｔｉｆｉｃａｔｉｏｎｏｆｄｉｓｇｕｉｓｅｄｆａｃｅｓｂｙｍｏｒｐｈｏｍｅｔｒｉｃａｌｍａｔｃｈｉｎｇ：ＭｉｎｅｏＹｏｓｈｉｎｏｅｔｃ，ＦｏｒｅｎｓｉｃＳｃｉｅｎｃｅＩｎｔｅｒｎａｔｉｏｎａｌ１２７（２００２）９７−１０３
【０００７】
【非特許文献４】
ＡｓｓｅｓｓｍｅｎｔｏｆＣｏｍｐｕｔｅｒ−ａｓｓｉｓｔｅｄＣｏｍｐａｒｉｓｏｎｂｅｔｗｅｅｎ３Ｄａｎｄ２ＤＦａｃｉａｌＩｍａｇｅｓ：ＭｉｎｅｏＹｏｓｈｉｎｏｅｔｃ、鑑識科学、５（１）、９−１５（２０００）
【０００８】
【非特許文献５】
Ｃｏｍｐｕｔｅｒ−ａｓｓｉｓｔｅｄｆａｃｉａｌｉｍａｇｅｉｄｅｎｔｉｆｉｃａｔｉｏｎｓｙｓｔｅｍｕｓｉｎｇａ３−Ｄｐｈｙｓｉｏｇｎｏｍｉｃｒａｎｇｅｆｉｎｄｅｒ：ＭｉｎｅｏＹｏｓｈｉｎｏｅｔｃ，ＦｏｒｅｎｓｉｃＳｃｉｅｎｃｅＩｎｔｅｒｎａｔｉｏｎａｌ１０９（２０００）２２５−２３７
【０００９】
【特許文献１】
特開２０００−３０６１０６号公報
【００１０】
【特許文献２】
特開２０００−３０６０９５号公報
【００１１】
【特許文献３】
特開２００１−２８３２２４号公報
【００１２】
【特許文献４】
特開２００２−３６９８１２号公報
【００１３】
【発明が解決しようとする課題】
上記に示した文献に記載された人物照合装置の３次元データ化範囲は、顔正面を中心として前方に２２０度の角度の範囲内、すなわち人物の顔を中心に両耳までの範囲である。したがって、頭全体を３次元データ化することができず、また頭全体をデータ化しようとすると何回も撮影しなければならず時間がかかる。また、その場合に撮影位置を一致させることが困難で、３次元のモデリングで実物の３次元データが正確に作成できないという問題がある。
【００１４】
顔の３次元データ取得の際にはプロジェクタにより得られる縞模様を人物の顔に映し出し、その縞模様が映った顔の写真を撮影する方法を採用している。プロジェクタによる縞模様を映すために周囲の光の照射条件の善し悪しで、精度よく実物に忠実な３次元データが作成できるか否かが決まる。従来の装置では閉ざされた空間でなく、自然光の入り込みや蛍光灯の数や位置などによる撮影場所の照明条件により、異なる３次元データが得られ、常に安定した精度の高いデータは得られていなかった。
【００１５】
また、採取した人物の３次元データと防犯カメラや監視カメラで得た人物のビデオ画像とを重ね合わせて比較照合する場合に、前記３次元データをビデオ画像に映し出された人物の顔の向きに合わす作業及び個人特有のデータ測定、照合及び判定作業に時間と労力が多大にかかる問題があった。
【００１６】
日本の警察では容疑者や被疑者については、その顔の正面や斜め向きに写した写真と身長が測定され、データとして保存され、必要な場合に使用される。前記人物の３次元データを撮影する場合に、前記顔の正面や斜め向きに写した写真と同じデータ、さらには身長のデータを取得できれば非常に利便性が高くなるが、従来の３次元データを取得する装置ではこのような機能はなく、別にそのような機能をもった撮影機器や測定器さらには撮影場所が必要になる。また、撮影方法も、空間コード化法というステレオ法によるものであり、被撮影者の正面写真を撮影できない問題がある。
【００１７】
ビデオカメラなどで撮影された画像データ又は顔写真のデータと前記３次元データを用いて人物の照合する場合、取得した３次元データをビデオカメラなどで撮影された前記データの撮影条件（撮影距離や姿勢（カメラに対する人間の顔の向き、傾きなどの３次元空間での配置位置を言うこととする））に合わせて見え方を調整する必要がある。従来技術では、撮影距離に反比例して大きさを変えるだけで、カメラで撮影される見え方を忠実に表しておらず精度よく照合できるとは考え難い。カメラで撮影される顔写真と同じ見え方を忠実に表すためには、撮影距離と視野角の調整が必要である。
【００１８】
本発明の課題は、これらの問題を解決するためのもので、閉じられた空間内で撮影が行え、３次元データ取込装置により人物の頭全体を３次元データ化し、コンピュータ上で自由に向きを変えられ、照合操作及び比較判定が迅速・簡単にできる３次元人物照合装置を提供することにある。
【００１９】
【課題を解決するための手段】
上記本発明の課題は次の解決手段で解決される。
請求項１記載の発明は、人物の全周方向の画像を撮影できるように人物の全周方向に少なくとも３台配置したカメラと、人物の頭部の全周方向の明るさを全ての箇所で均一にするように複数配置した照明具と、人物の頭部の凹凸を忠実に表現するために少なくとも顔の前方左右一対配置した縞模様を映し出す映写機と、前記カメラと映写機で得られた画像データを用いて人物の３次元データを取得する３次元データ取得装置と、別途得られた人物の２次元データであるビデオ画像又は顔写真の姿勢と撮影距離を同じに調整して得られた前記３次元データと前記ビデオ画像又は顔写真の２次元データも重ね合わせる画像合成装置と、該画像合成装置で得られた前記３次元データと２次元データを映し出すディスプレイとを備えた３次元人物照合装置である。
【００２０】
請求項２記載の発明は、少なくとも３台のカメラを人物の顔の前面側により多く配置する請求項１記載の３次元人物照合装置である。
【００２１】
請求項３記載の発明は、人物の顔の正面位置及び該正面位置から左右に４５度傾斜した位置の両方又は片方にカメラをそれぞれ配置する請求項１又は２記載の３次元人物照合装置である。
【００２２】
請求項４記載の発明は、カメラと、人物の頭部の全周方向の明るさを全ての箇所で均一にするように複数配置した照明具と、人物の頭部の凹凸を忠実に表現するために少なくとも顔の前方左右一対配置した縞模様を映し出す映写機による撮影空間が閉ざされた系となる３次元データ取得装置を有する請求項１ないし３のいずれかに記載の３次元人物照合装置である。
【００２３】
請求項５記載の発明は、人物を被撮影場所に固定するシートベルトを備えた請求項１ないし４のいずれかに記載の３次元人物照合装置である。
【００２４】
請求項６記載の発明は、人物の３次元データ取得装置に当該人物の身長を測定できる物差しを付属させた請求項１ないし５のいずれかに記載の３次元人物照合装置である。
【００２５】
請求項７記載の発明は、人物の３次元データ取得装置より得られた人物の頭部の３次元データ上の任意の点とそれらの点に対応する別途得られた人物の２次元データであるビデオ画像又は顔写真上の任意の点を用いて、各点間の距離や３点を結ぶ三角形とそれらの３次元座標軸上の位置の表示又は前記三角形と該三角形の面積を表示する請求項１ないし６のいずれかに記載の３次元人物照合装置である。
【００２６】
請求項８記載の発明は、前記任意の点が、人物の個人差を表す生体学上の特徴点である請求項７記載の３元人物照合装置である。
【００２７】
請求項９記載の発明は、３次元データ取得装置は、人物の前記３次元データと別途得られた人物のビデオ画像又は顔写真の２次元データを重ね合わせて照合・判定する際に、どちらか一方のデータによる画面の透明度を変えて、一致度や正確性を判定できる機能を備えた請求項１ないし８いずれかに記載の３次元人物照合装置である。
【００２８】
請求項１０記載の発明は、３次元データ取得装置は、画像合成装置により人物の３次元データとビデオ画像などの２次元データを重ね合わせてディスプレイ上で照合・判定する際に、前記３次元データ又は２次元データのどちらか一方のデータによる画面をワイプ機能により境界線での整合性を確認できる機能を備えた請求項１ないし９のいずれかに記載の３次元人物照合装置である。
【００２９】
請求項１１記載の発明は、請求項１ないし１０のいずれかに記載の３次元人物照合装置の人物の３次元データを所定の場所へ保存し、ネットワークを経由して他の場所でも前記３次元データの共有を行い、日本全国あるいは海外及び現場でのデータの利用ができるようにした３次元人物照合装置の利用方法である。
【００３０】
本発明の３次元人物照合装置は容疑者や被疑者の照合だけでなくパスポート、免許証などによる人物照合にも利用できる。
【００３１】
【作用】
請求項１記載の発明により、人物の頭全体を３次元データにすることにより、コンピュータ上で該当者と思しき人物の２次元データであるビデオ画像又は顔写真の撮影条件（撮影距離と姿勢）に容易に合わすことが可能となる。
【００３２】
請求項３２載の発明により、請求項１又は２記載の発明の作用に加えて、顔前面側に配置されるカメラの台数が多いので、顔データ量を多くして誤差の少ない３次元データの元となる撮影データが得られる。
【００３３】
請求項３記載の発明により、請求項１又は２記載の発明の作用に加えて、３次元データを取得する際に、該当人物が犯人や被疑者である場合には、その３次元データの取得及び犯人や被疑者の手配とする場合の２次元の写真データと同じ方向からの３次元データをとることができる。
【００３４】
請求項４記載の発明により、請求項１ないし３のいずれかに記載の発明の作用に加えて、撮影条件を一定とするため、常に精度よく安定した３次元データが取得できる。
【００３５】
請求項５記載の発明により、請求項１ないし４のいずれかに記載の発明の作用に加えて、犯人や被疑者などが撮影中に暴れることがなくなる。
【００３６】
請求項６記載の発明により、請求項１ないし５のいずれかに記載の発明の作用に加えて、人物の顔写真の他に、身長もデータとして残すことができる。
【００３７】
請求項７記載の発明により、請求項１ないし６のいずれかに記載の発明の作用に加えて、人物のスーパーインポーズシステムにおける任意の２点間の距離や任意の３点間を結ぶ三角形の表示及びそれらの座標データを視覚的な判定に利用するだけでなく数値化したデータの比較で表示ができ、前記３次元データを２次元データであるビデオ画像又は顔写真の向きに簡単に迅速に合わすことができる。
【００３８】
請求項８記載の発明により、前記請求項７記載の発明において、個人的特徴を表す任意の点が生体学上の個人の特徴を表す点を含んでいれば信頼性が向上する。
【００３９】
請求項９記載の発明により、請求項１ないし８のいずれかに記載の発明の効果に加えて、人物の３次元データと２次元データであるビデオ画像又は顔写真の２次元データの重なりにより該当者かどうか鑑定・判定をする際に、それぞれの透明度を変えることで、視覚的に人物の特徴点や形状を確認することができる。
【００４０】
請求項１０記載の発明により、請求項１ないし９のいずれかに記載の発明の効果に加えて、人物の３次元データと２次元データであるビデオ画像又は顔写真の２次元データの重ね合わせによる比較照合の際に、各部位の重なり具合の他に、例えば頭（鼻）の中心や目の境界での整合性について確認をすることができる。
【００４１】
請求項１１記載の発明により、請求項１ないし１０のいずれかに記載の発明を利用して、人物の２次元データをデータベース化してインターネットもしくは専用のネットワークなどを用いて、事件現場や全国各地（海外含む）の離れた場所で人物データや照合結果などが行える。
【００４２】
【発明の実施の形態】
本発明の実施の形態について図面と共に説明する。
図１に本発明の一実施例の「３次元人物照合装置」１を示す。「３次元モデリングシステム」２により人物１６の頭１７の３次元データ（以下３Ｄデータという）を作成する。「３次元モデリングシステム」２は、ＣＣＤカメラ５を複数台とデータ処理装置用コンピュータ（以下ＰＣという）８からなる。ＣＣＤカメラ５はスチールカメラまたはビデオカメラでもよい。
【００４３】
被撮影物が人物であるので撮影時間が長いと動いてしまい実物に忠実な３Ｄデータが得られない。したがって、撮影時間は短時間（３秒以内）でなければならない。そこで、ＣＣＤカメラ５は人物１６の頭１７全周を短時間で撮影できるように複数台、頭１７の周りに配置し、一度に撮影を行う。ＣＣＤカメラ５の台数は撮影距離（範囲）や精度にもよるが、頭１７全体を撮影できる台数が必要であり、最低３台は必要である。
【００４４】
図２にカメラ配置例を示す。これは人物の頭１７を中心にその周囲に均一な角度１５度毎に複数のカメラ５を配置した例で、カメラ５の全設置台数は１９台である。
【００４５】
照明具１５は頭１７全体を均一な明るさに保つために複数台設置する。ただし、直接頭１７に照明を向けると光の強度にムラが発生し、実物の形状に忠実な撮影データ及び３Ｄデータが作成できなくなるため、間接照明にするか、直接光を当てる場合は照射強度が均一になるように干渉板或いはフィルムを頭の近くに配置する。
【００４６】
映写機（プロジェクタ）６は、３Ｄデータの凹凸をつくるために縞模様を投射するもので、人物の顔を忠実に表現するため、最低左右２台設置する。
【００４７】
このような装置で人物１６の頭１７の３Ｄデータを取得することにより、コンピュータ８上でマウスなどの操作により人物を自由に回転をさせることができ、モニタ９または１０にて、ビデオ画像と同じ向きにした２次元の画像を表現できる。
【００４８】
該当者と思しき人物の顔映像と「３次元モデリングシステム」２で作成された頭１７の３Ｄモデルを画面合成装置１１を用いて重ね合わせて照合を行う。この照合を行う装置を「スーパーインポーズシステム」３という。
防犯カメラや監視カメラなどのビデオ画像は、「画像入力システム」４により、コンピュータ８へ取り込まれ、モニタ９あるいは１０へ表示される。
本実施例の３次元人物照合装置１は、これら３つのシステムから構成される。
【００４９】
図３に、３次元人物照合装置１の照合・判定するまでの一連の流れを示す。監視カメラなどのビデオ画像は、画像入力システム４を用いて取り込み、人物の頭１７全体のデータは３次元モデリングシステム２により３次元データとして取り込む。取り込まれたこれらの画像は、モニタ９あるいは１０で表示し、画面合成装置１１によりコンピュータ８上で重ね合わせることができる。図４には監視カメラ画像５０と３Ｄデータ５１を重ね合わせて照合した画面５２の例を示す。
【００５０】
まず、撮影された３Ｄデータをビデオ画像と同じ撮影距離に合わせて３Ｄデータの見え方を遠近法（パースペクティブ機能）により修正する。
【００５１】
図５によりパースペクティブ機能の概略を説明する。
人間の頭など３次元の被写体には奥行きがあるので、その撮影距離又は視点距離（被写体とカメラとの距離）により得られる画像が異なる。図５（ａ）の視点から被写体までの距離は図５（ｂ）の視点から被写体までの距離より大きく、図５に示す平面Ｐ位置でのそれぞれの被写体の見え方を右側に太線で書いているが、図５（ａ）、（ｂ）に示す場合のピラミッド形の被写体の前側の平面の縦方向長さａとａ’とは同じであるが、後側の平面の縦方向長さｃとｃ’とは互いに異なって見え、長さｂ＝（ａ−ｃ）とｂ’＝（ａ’−ｃ’）は異なって見える。
【００５２】
従って、撮影距離又は視点距離に応じた見え方をパースペクティブ（遠近法）に沿って正しく表示する必要があり、前記図５（ａ）、（ｂ）に示す場合のピラミッド形の被写体の例では、後側の平面の縦方向長さｃとｃ’を同じにする必要がある。そのために視点角度θとθ’を調整して長さｃ＝ｃ’に合わせて照合する。
【００５３】
２Ｄデータであるビデオ画像又は顔写真を見ながら、人物の３Ｄデータの向きをビデオ画像の頭の向きに合せて比較・照合する。この頭の向きを合わす際に、それぞれの相応する任意の３点を結ぶ三角形を表示することにより容易にでき、この方法によると照合時間を短縮することが可能である。この三角形は一つだけでなく複数表示することによりさらに精度よく重ね合わせて照合が可能である。
【００５４】
また、人物データが３Ｄデータへと変換されることにより、後述するように、個人特有のデータである目やこめかみの位置など任意の２点間距離の測定なども容易にできる。
さらには、取得した人物の３Ｄデータを磁気ディスクなどに保存し長期保存が可能である。
【００５５】
また、該当者と思しき人物の顔映像と装置１で得られた頭の３Ｄモデルの比較照合をするためには、該当者と思しき人物１６の頭１７を実物に忠実に３Ｄデータとすることが非常に重要である。頭１７は上から見ると一般的に円ではなく長円であるので、それに合うように複数のカメラ５を頭１７の形と相似形になるように配置することが望ましい。
【００５６】
本装置１は人物の顔を用いて比較照合する装置であるため、人物の顔１７を正確に３Ｄ画像として再現する必要がある。そのため、顔前面のカメラ５の設置台数を増やし、３Ｄデータの元となる撮影データを増やすことにより顔データ量を多くし、誤差を少なくする必要がある。図６及び図７に顔前面にカメラ５を多く配置したときのカメラ配置例を示す。顔前面を網羅するようにカメラ台数を多くすることにより、３Ｄデータを作成する元データ量が増えること及び撮影されたデータの重複される部分が多くなるため、誤差が少なくなり、顔を精度よく３Ｄデータ化することができる。
【００５７】
日本の警察では、犯人や被疑者のデータの取得及び犯人や被疑者の手配とする場合、顔の正面と右斜め向きの写真を撮影する。３次元データを取得する際に、これらの写真を同時に撮影できれば、新たにこれらの写真を撮影することなく、また機器設置のスペースを設ける必要がない。図２に示すカメラ５の配置例のように、小スペースで頭１７の３Ｄデータを作成すると同時に、人物の顔正面及び斜め向きの写真を撮影できる。
【００５８】
３Ｄデータは顔の他に何も映されていない写真とプロジェクタ６により投射された縞模様を顔に映した写真を用いて作られる。したがって、周囲の明るさや被撮影物の明るさなど撮影条件の変化が、凹凸の絵のデータ生成に大きく影響する。例えば、設置場所による蛍光灯の位置の変化や周囲の窓からの太陽光の差込などにより撮影条件が変化する。これらの条件が変わっても常に精度よく安定した３Ｄデータが取得できるよう、撮影条件を一定とするため被撮影物の周りを閉じた系（例えば周囲の光が入らないように箱型にする）とした３次元モデリングシステム２を備えた３次元人物照合装置とすることが望ましい。
【００５９】
また、犯人や被疑者などを撮影する場合、暴れることがある。その際にはデータ撮影ができなく、また撮影しても実物の形状に忠実な３Ｄデータが作成できない。図８には、撮影をスムーズに進め、常に安定した３Ｄデータを取得できるよう、人物１６が座る椅子２１にシートベルト４３を設置した３次元モデリングシステム２の例を示す。
【００６０】
また、犯人や被疑者のデータとして顔写真の他に、身長もデータとして残す。そこで、身長を測定するために、専用の部屋を設けて撮影機器も準備する必要がある。人物の３Ｄデータを取得する際に同時に身長の測定ができれば、省スペースで短時間にうちに、これらのデータを取得することができる。図９に身長測定用物差しが付いた３次元モデリングシステム２の筐体２０を示す。３次元データを取得する前に、立ち位置２４に足を合わせ全身の撮影を行った後、筐体２０内で３次元モデリングシステム２により人物の３Ｄデータを取得すれば、効率よくデータの取得が可能になる。
【００６１】
人物の３Ｄデータとビデオ画像とを比較する際、個人の特徴を表す数値または形を用いて、照合・判定を行う。スーパーインポーズシステム３においては、任意の２点間の距離や任意の３点間を結ぶ三角形の表示及びそれらの３次元上の座標軸上の位置を表示することが可能である。さらに前記三角形の面積を表示することも可能である。これらの数値データは視覚的な判定に利用するだけでなく、数値化したデータ表示により、数値そのものの比較により鑑定の信頼性向上を図ることができる。また三角形表示により、３Ｄデータをビデオ画像又は顔写真の姿勢（向きなど）に簡単に迅速に合わすことができ、照合に係わる時間を短縮できる。三角形表示は複数あれば比較照合の精度がさらに向上する。
【００６２】
個人的特徴を表す任意の点を選択する際に、生体学上の個人の特徴を表す点を含んでいれば信頼性が向上するとともに、学術的にも意義がある。図１０には生体学上の人物の個人差を表す特徴点を示す。これらの特徴点を用いて二点間の距離や三角形を表示することにより、正確に人物の特徴を表す数値データ及び三角形の表示ができる。
【００６３】
例えば、図１０に示す生体学上の個人差を表す特徴点である右外眼角３１Ｒと左外眼角３２Ｌ間の距離と鼻根３３と口唇４２間の距離の比率をビデオ画像と３Ｄデータから得て、その差から同一人物か否かの判定をすることができる。上記例示した以外の生体学上の個人差を表す二つの特徴点の二点間距離の比を複数個求めて比較すると、より高精度の判定ができる。
【００６４】
図１１には生体学上の個人差を表す特徴点（瞳孔３２Ｒ、３２Ｌと口唇４２）を用いて作成した三角形を表示した例を示す。ビデオ画像５０と３Ｄデータ５１の三角形を重ね合わせることにより、顔の向きの調整や両方のデータの比較判定を容易に行うことができる。このとき前記三角形の面積を求めて、その差を無くすような顔の向きの調整を自動で行うことができ、同一人物か否かの照合も自動化できる。また三角形データを複数個用いることにより照合精度が高くなる。
【００６５】
図１２、図１３に照合・判定方法の一例を示す。人物の３次元データ５１と監視カメラ画像５０とをスーパーインポーズ装置３により重ね合わせ、人物の特徴点及び任意２点間の距離や任意３点間を結ぶ三角形表示の重なりにより該当者かどうか判定をする。鑑定・判定する際の視覚的方法としては、それぞれの透明度を変え、個人の特徴点や形状を確認することにより、全体的なイメージにより本人との一致度、正確性を判断することができる。
【００６６】
図１２に示す例では上の３次元データ５１の画面の輝度を変化させ、下の監視カメラ画像５０が徐々に浮き出て見えるようにして整合性を確認している。
【００６７】
また、図１３に示すように、重ね合わせて比較照合する際、各部位の重なりや整合性について確認をすることも必要である。図１３（ａ）、（ｂ）には水平方向からのワイプを行う例を示し、図１３（ｃ）、（ｄ）には垂直方向からのワイプを行う例を示す。それぞれの方向から３次元データ５１の画面の端から巻き取るようなイメージで画面をワイプし、境目での３次元データ５１の画面とビデオ画像５０の一致度を確認する。このようにスーパーインポーズ装置３はワイプ機能を備えており、図１３（ｅ）、（ｆ）にはそれぞれ水平方向のワイプ例と垂直方向からのワイプの表示例であり、頭（鼻）の中心や目の境界での整合性を確認している例である。
【００６８】
人物を３次元モデリングシステム２により３Ｄデータとし、ビデオ画像又は顔写真を画像入力システム４によりコンピュータ８へ入力することにより、ハードディスクなどの磁気式記憶装置やフレキシブルディスクなどの媒体に記録できる。これらの特性を活かしてデータベースを作り、インターネットもしくは専用のネットワークなどを用いれば、事件現場や全国各地（海外を含む）の離れた場所で人物データや照合結果などを取り出せ、データ参照がどこででも可能となる。各所で発生した事件に関するビデオ画像があれば、もしくは３Ｄデータがあれば、その場で比較照合が可能となる。図１４に３次元データの活用例を示す。データを共有することにより、各所での使用が可能となる。
【００６９】
【発明の効果】
請求項１記載の発明により、人物の頭全体を３次元データにすることにより、コンピュータ上で該当者と思しき人物の２Ｄデータであるビデオ画像又は顔写真の撮影条件（撮影距離、姿勢）に容易に合わすことが可能で、照合が簡単・迅速にできる。人物判定までの時間は、２Ｄデータであるビデオ画像又は顔写真にもよるが、従来法の２〜８倍に短縮できる。
【００７０】
請求項２記載の発明により、請求項１記載の発明の効果に加えて、顔前面側に配置されるカメラの台数が多いので、顔データ量を多くして誤差の少ない３Ｄデータの元となる撮影データが得られ、顔を精度よく３Ｄデータ化することができる。
【００７１】
請求項３記載の発明により、請求項１又は２記載の発明の効果に加えて、３次元データを取得する際に、犯人や被疑者のデータの取得及び犯人や被疑者の手配とする場合の２Ｄデータであるビデオ画像や顔写真データと同じ方向からの３次元データを得ることができ、新たにこれらの写真を撮影することなく、人物の顔正面及び斜め向きの写真を撮影でき、機器設置のスペースが僅かでよくなる。
【００７２】
請求項４記載の発明により、請求項１ないし３のいずれかに記載の発明の効果に加えて、撮影条件を一定とするため、常に精度よく安定した３Ｄデータが取得でき、人物照合が行い易くなる。
【００７３】
請求項５記載の発明により、請求項１ないし４のいずれかに記載の発明の効果に加えて、犯人や被疑者などが撮影中に暴れることがなくなり、実物の形状に忠実な３Ｄデータが作成できる。
【００７４】
請求項６記載の発明により、請求項１ないし５のいずれかに記載の発明の効果に加えて、人物の顔写真の他に、身長もデータとして残すことができ、身長を測定するために専用の部屋を設ける必要がなくなる。
【００７５】
請求項７記載の発明により、請求項１ないし６のいずれかに記載の発明の効果に加えて、人物のスーパーインポーズシステムにおける任意の２点間の距離や任意の３点間を結ぶ三角形の表示及びそれらの座標データを視覚的な判定だけでなく数値化したデータの比較で表示ができ、鑑定の信頼性向上を図ることができる。また前記三角形表示により、３Ｄデータを２Ｄデータであるビデオ画像又は顔写真の向きなどの姿勢に簡単に迅速に合わすことができ、照合に係わる時間を短縮でき、比較照合の精度がさらに向上する。
【００７６】
請求項８記載の発明により、前記請求項７記載の発明において、個人的特徴を表す任意の点を選択する際に、生体学上の個人の特徴を表す点を含んでいれば信頼性が向上するとともに、学術的にも意義があるデータが得られる。
【００７７】
請求項９記載の発明により、請求項１ないし８のいずれかに記載の発明の効果に加えて、人物の３Ｄデータとビデオ画像又は顔写真の２Ｄデータの重なりにより該当者かどうか鑑定・判定をする際に、それぞれの透明度を変えることで、視覚的に人物の特徴点や形状を確認することにより、全体的なイメージにより本人との一致度、正確性を判断することができる。
【００７８】
請求項１０記載の発明により、請求項１ないし９のいずれかに記載の発明の効果に加えて、人物の３Ｄデータと２Ｄデータの重ね合わせによる比較照合の際に、各部位の重なり具合の他に、例えば頭（鼻）の中心や目の境界での整合性について確認をすることができるので照合が容易になる。
【００７９】
請求項１１記載の発明により、請求項１ないし１０のいずれかに記載の発明を用いて、人物の２Ｄデータをデータベース化してインターネットもしくは専用のネットワークなどを用いて、事件現場や全国各地（海外含む）の離れた場所で人物データや照合結果などが容易に行えるようになる。
【図面の簡単な説明】
【図１】本発明の実施の形態の３次元人物照合装置の構成図である。
【図２】図１の３次元人物照合装置におけるカメラ配置例である。
【図３】図１の３次元人物照合装置における照合作業のフロー図である。
【図４】図１の３次元人物照合装置における照合例の説明図である
【図５】パースペクティブ機能の説明図である。
【図６】図１の３次元人物照合装置におけるカメラ配置例である。
【図７】図１の３次元人物照合装置におけるカメラ配置例である。
【図８】図１の３次元人物照合装置におけるシートベルトを人物が着用した時の様子を示す図である。
【図９】図１の身長測定用物差し付３次元人物照合装置の外観図である。
【図１０】生体学上の人物の個人差を表す特徴点を示す評価のポイントを示す図である。
【図１１】生体学上の人物の個人差を表す特徴点を使用した三角形の表示例である。
【図１２】図１の３次元人物照合装置を用いた照合・判定方法例の説明図である。
【図１３】図１の３次元人物照合装置を用いた照合・判定方法例の説明図である。
【図１４】図１の３次元人物照合装置で得られる３次元人物データの活用例（ネットワークを活かし全国、海外で照合）の構成図である。
【図１５】従来法による３次元人物照合装置を用いた照合・判定方法例の説明図である。
【符号の説明】
１３次元人物照合装置２３次元モデリングシステム
３スーパーインポーズシステム
４画像入力システム５ＣＣＤカメラ
６プロジェクタ７ビデオカメラ
８コンピュータ９モニタ１
１０モニタ２１１画面合成装置
１２スキャナ１３ビデオデッキ
１４画像入力装置１５照明（インバータ式）
１６人物１７人物（頭）
１８出入口１９カメラ設置円筒体（背景）
２０３次元モデリングシステム（筺体）
２１椅子２２入口（カーテン）
２３物差し（身長測定用）２４立ち位置
３０内眼角（Ｒ、Ｌ）３１外眼角（Ｒ、Ｌ）
３２瞳孔（Ｒ、Ｌ）３３鼻根
３４鼻尖３５鼻翼（Ｒ、Ｌ）
３６人中３７口角（Ｒ、Ｌ）
３８顎先端３９外耳上端（Ｒ、Ｌ）
４０外耳下端（Ｒ、Ｌ）４１外耳孔（Ｒ、Ｌ）
４２口唇４３シートベルト
５０監視カメラ（画像）５１３次元データ
５２重ね合わせ例（画面）

Claims

人物の全周方向の画像を撮影できるように人物の全周方向に少なくとも３台配置したカメラと、人物の頭部の全周方向の明るさを全ての箇所で均一にするように複数配置した照明具と、人物の頭部の凹凸を忠実に表現するために少なくとも顔の前方左右一対配置した縞模様を映し出す映写機と、前記カメラと映写機で得られた画像データを用いて人物の３次元データを取得する３次元データ取得装置と、
別途得られた人物の２次元データであるビデオ画像又は顔写真の姿勢と撮影距離を同じに調整して得られた前記３次元データと前記ビデオ画像又は顔写真の２次元データも重ね合わせる画像合成装置と、
該画像合成装置で得られた前記３次元データと２次元データを映し出すディスプレイと
を備えたことを特徴とする３次元人物照合装置。
少なくとも３台のカメラを人物の顔の前面側により多く配置することを特徴とする請求項１記載の３次元人物照合装置。
人物の顔の正面位置及び該正面位置から左右に４５度傾斜した位置の両方又は片方にカメラをそれぞれ配置することを特徴とする請求項１又は２記載の３次元人物照合装置。
カメラと、人物の頭部の全周方向の明るさを全ての箇所で均一にするように複数配置した照明具と、人物の頭部の凹凸を忠実に表現するために少なくとも顔の前方左右一対配置した縞模様を映し出す映写機による撮影空間が閉ざされた系となる３次元データ取得装置を有することを特徴とする請求項１ないし３のいずれかに記載の３次元人物照合装置。
人物を被撮影場所に固定するシートベルトを備えたことを特徴とする請求項１ないし４のいずれかに記載の３次元人物照合装置。
人物の３次元データ取得装置に当該人物の身長を測定できる物差しを付属させたことを特徴とする請求項１ないし５のいずれかに記載の３次元人物照合装置。
人物の３次元データ取得装置より得られた人物の頭部の３次元データ上の任意の点とそれらの点に対応する別途得られた人物の２次元データであるビデオ画像又は顔写真上の任意の点を用いて、各点間の距離や３点を結ぶ三角形とそれらの３次元座標軸上の位置の表示又は前記三角形と該三角形の面積を表示することを特徴とする請求項１ないし６のいずれかに記載の３次元人物照合装置。
前記任意の点が、人物の個人差を表す生体学上の特徴点であることを特徴とする請求項７記載の３元人物照合装置。
３次元データ取得装置は、人物の前記３次元データと別途得られた人物のビデオ画像又は顔写真の２次元データを重ね合わせて照合・判定する際に、どちらか一方のデータによる画面の透明度を変えて、一致度や正確性を判定できる機能を備えたことを特徴とする請求項１ないし８のいずれかに記載の３次元人物照合装置。
３次元データ取得装置は、画像合成装置により人物の３次元データとビデオ画像などの２次元データを重ね合わせてディスプレイ上で照合・判定する際に、前記３次元データ又は２次元データのどちらか一方のデータによる画面をワイプ機能により境界線での整合性を確認できる機能を備えたことを特徴とする請求項１ないし９のいずれかに記載の３次元人物照合装置。
請求項１ないし１０のいずれかに記載の３次元人物照合装置の人物の３次元データを所定の場所へ保存し、ネットワークを経由して他の場所でも前記３次元データの共有を行い、日本全国あるいは海外及び現場でのデータの利用ができるようにしたことを特徴とする３次元人物照合装置の利用方法。