JP2017068560A - 画像処理装置とその作動方法および作動プログラム、並びに画像処理システム - Google Patents

画像処理装置とその作動方法および作動プログラム、並びに画像処理システム Download PDF

Info

Publication number
JP2017068560A
JP2017068560A JP2015192943A JP2015192943A JP2017068560A JP 2017068560 A JP2017068560 A JP 2017068560A JP 2015192943 A JP2015192943 A JP 2015192943A JP 2015192943 A JP2015192943 A JP 2015192943A JP 2017068560 A JP2017068560 A JP 2017068560A
Authority
JP
Japan
Prior art keywords
image
index
collation
skull
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015192943A
Other languages
English (en)
Inventor
章宏 濱田
Akihiro Hamada
章宏 濱田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2015192943A priority Critical patent/JP2017068560A/ja
Publication of JP2017068560A publication Critical patent/JP2017068560A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】直観的に頭蓋骨と顔を照合することが可能な画像処理装置とその作動方法および作動プログラム、並びに画像処理システムを提供する。【解決手段】表示制御部は、頭蓋骨と顔の解剖学的知見に基づく照合に用いる照合指標であって、頭蓋骨上にある第1照合指標を示す第1図形、および顔上にある第2照合指標を示す第2図形を重ね合わせ画像19上に表示する。第1図形は、左右眼窩の高さの下1/3の位置を示す線56L、56R、左右眼窩の最上点を通る線65L、65R、両眼窩の幅の3/4の長さを示す線67L、67R、68L、68Rである。第2図形は、両目尻の点70L、70R、左目尻と左目頭の距離および右目尻と右目頭の距離を示す線75L、75R、76L、76R、左右眉の外接矩形領域の中心を通る線77L、77Rである。【選択図】図12

Description

本発明は、画像処理装置とその作動方法および作動プログラム、並びに画像処理システムに関するものである。
法医学分野において、スーパーインポーズ法と呼ばれる画像処理が行われている。スーパーインポーズ法は、身元不明の人物の頭蓋骨の画像(以下、頭蓋骨画像)と行方不明者の免許証等の写真の顔の画像(以下、顔画像)とを重ね合わせて、頭蓋骨と顔の解剖学的知見に基づく照合を行い、身元不明の人物と行方不明者が同一人物であるか否かを判定する方法である。
特許文献1には、三次元の頭蓋骨画像を用いた画像処理装置(特許文献1では頭蓋骨スーパーインポーズ装置と表記)が記載されている。特許文献1に記載の画像処理装置では、頭蓋骨画像の頭蓋骨に対して拡縮、移動、回転といった各種位置合わせ処理を施し、頭蓋骨画像の頭蓋骨と顔画像の顔の大きさや向きを一致させたうえで両画像を重ね合わせている。そして、目、鼻等のユーザーによる部位の指定を受け付け、指定された部位の一致度合いを定量的に示す一致度を算出し、算出した一致度をユーザーに提示している。ユーザーは、頭蓋骨画像と顔画像の重ね合わせ画像の目視による頭蓋骨と顔の照合に加えて、提示された一致度も参照しつつ身元不明の人物と行方不明者が同一人物であるか否かの判定を行う。
特許文献1では、一致度を算出する際に解剖学的知見が利用されている。例えば頭蓋骨の眼窩に対する顔の目尻の位置に関する一致度は、頭蓋骨画像の人物と顔画像の人物が同一人物である場合、眼窩の高さの下3/10の位置と目尻の位置とが一致する、という解剖学的知見に基づき算出されている。
特開2002−369812号公報
解剖学的知見で表される頭蓋骨上の点や顔上の点等は、頭蓋骨画像と顔画像の重ね合わせ画像の目視により頭蓋骨と顔を照合する場合になくてはならない重要な指標(以下、照合指標)である。例えば上記の解剖学的知見「眼窩の高さの下3/10の位置と目尻の位置とが一致する」では、「眼窩の高さの下3/10の位置」と「目尻の位置」が照合指標である。
しかしながら、特許文献1では、解剖学的知見を利用して算出した結果である一致度しかユーザーに提示していない。このためユーザーは、頭蓋骨上にある照合指標と顔上にある照合指標を自らの頭の中に思い浮かべながら、頭蓋骨と顔の照合をしなければならず、直観的に頭蓋骨と顔を照合することができなかった。
本発明は、直観的に頭蓋骨と顔を照合することが可能な画像処理装置とその作動方法および作動プログラム、並びに画像処理システムを提供することを目的とする。
上記課題を解決するために、本発明の画像処理装置は、頭蓋骨画像と顔画像の入力を受け付ける画像受付部と、頭蓋骨と顔の解剖学的知見に基づく照合に用いる照合指標であって、頭蓋骨上にある第1照合指標と顔上にある第2照合指標の2つの照合指標のうちの少なくともいずれかを演算により抽出する抽出部と、頭蓋骨画像と顔画像の重ね合わせ画像の表示を制御する表示制御部であり、第1照合指標を示す第1図形および第2照合指標を示す第2図形を重ね合わせ画像上に表示する表示制御部とを備える。
抽出部は、第1照合指標の抽出に必要な頭蓋骨上の点または領域である第1必要項目の入力に基づいて、第1照合指標を抽出することが好ましい。この場合、第1照合指標は複数あり、第1必要項目は、複数の第1照合指標の各々に対して設定されていることが好ましい。また、第1必要項目の手動入力による指定を受け付ける第1指定受付部を備えることが好ましい。
第1必要項目が複数の第1照合指標の各々に対して設定されており、第1必要項目が第1指定受付部で受け付けられた場合に、抽出部は、第1必要項目が第1指定受付部で受け付けられた場合に、複数の第1照合指標の各々について、設定された第1必要項目が揃ったか否かを判断し、複数の第1照合指標のうち、設定された第1必要項目が揃った第1照合指標から順に抽出し、表示制御部は、第1照合指標が抽出された段階で第1図形を表示することが好ましい。
表示制御部は、第1必要項目に相当する頭蓋骨上の点、第1必要項目に相当する頭蓋骨上の点を通る線、または第1必要項目に相当する頭蓋骨上の領域のうちの少なくともいずれかを重ね合わせ画像上に表示することが好ましい。
第1必要項目は、頭蓋骨の両眼窩の最上点、最下点、最右点、最左点を含むことが好ましい。
抽出部は、第2照合指標の抽出に必要な顔上の点または領域である第2必要項目の入力に基づいて、第2照合指標を抽出することが好ましい。この場合、第2照合指標は複数あり、第2必要項目は、複数の第2照合指標の各々に対して設定されていることが好ましい。また、第2必要項目の手動入力による指定を受け付ける第2指定受付部を備えることが好ましい。
第2必要項目が複数の第2照合指標の各々に対して設定されており、第2必要項目が第2指定受付部で受け付けられた場合に、抽出部は、複数の第2照合指標の各々について、設定された第2必要項目が揃ったか否かを判断し、複数の第2照合指標のうち、設定された第2必要項目が揃った第2照合指標から順に抽出し、表示制御部は、第2照合指標が抽出された段階で第2図形を表示することが好ましい。
表示制御部は、第2必要項目に相当する顔上の点、第2必要項目に相当する顔上の点を通る線、または第2必要項目に相当する顔上の領域のうちの少なくともいずれかを重ね合わせ画像上に表示することが好ましい。
第2必要項目は、顔の両目の目尻の点、顔の両目の目頭の点、顔の両眉の外接矩形領域を含むことが好ましい。
第1図形は、第1照合指標を示す点、または第1照合指標を示す線のうちの少なくともいずれかであり、第2図形は、第2照合指標を示す点、または第2照合指標を示す線のうちの少なくともいずれかであることが好ましい。
第1照合指標および第2照合指標に基づいて、頭蓋骨と顔の一致度合いを定量的に示す一致度を算出する算出部を備え、表示制御部は、一致度を表示することが好ましい。
一致度は複数あり、複数の一致度には、算出に必要な第1照合指標および第2照合指標が各々設定されており、算出部は、第1照合指標または第2照合指標のうちの少なくともいずれかが抽出部で抽出された場合に、複数の一致度の各々について、設定された第1照合指標および第2照合指標が揃ったか否かを判断し、複数の一致度のうち、設定された第1照合指標および第2照合指標が揃った一致度から順に算出し、表示制御部は、一致度が算出された段階でこれを表示することが好ましい。
本発明の画像処理装置の作動方法は、頭蓋骨画像と顔画像の入力を受け付ける画像受付ステップと、頭蓋骨と顔の解剖学的知見に基づく照合に用いる照合指標であって、頭蓋骨上にある第1照合指標と顔上にある第2照合指標の2つの照合指標のうちの少なくともいずれかを演算により抽出する抽出ステップと、頭蓋骨画像と顔画像の重ね合わせ画像の表示を制御する表示制御ステップであり、第1照合指標を示す第1図形および第2照合指標を示す第2図形を重ね合わせ画像上に表示する表示制御ステップとを備える。
本発明の画像処理装置の作動プログラムは、頭蓋骨画像と顔画像の入力を受け付ける画像受付機能と、頭蓋骨と顔の解剖学的知見に基づく照合に用いる照合指標であって、頭蓋骨上にある第1照合指標と顔上にある第2照合指標の2つの照合指標のうちの少なくともいずれかを演算により抽出する抽出機能と、頭蓋骨画像と顔画像の重ね合わせ画像の表示を制御する表示制御機能であり、第1照合指標を示す第1図形および第2照合指標を示す第2図形を重ね合わせ画像上に表示する表示制御機能とを、コンピュータに実行させる。
本発明の画像処理システムは、画像処理装置と、画像処理装置にネットワークを介して接続されたクライアント端末とで構成される画像処理システムにおいて、頭蓋骨画像と顔画像の入力を受け付ける画像受付部と、頭蓋骨と顔の解剖学的知見に基づく照合に用いる照合指標であって、頭蓋骨上にある第1照合指標と顔上にある第2照合指標の2つの照合指標のうちの少なくともいずれかを演算により抽出する抽出部と、頭蓋骨画像と顔画像の重ね合わせ画像の表示を制御する表示制御部であり、第1照合指標を示す第1図形および第2照合指標を示す第2図形を重ね合わせ画像上に表示する表示制御部とを備える。
本発明によれば、頭蓋骨と顔の解剖学的知見に基づく照合に用いる照合指標であって、頭蓋骨上にある第1照合指標と顔上にある第2照合指標の2つの照合指標のうちの少なくともいずれかを演算により抽出し、第1照合指標を示す第1図形および第2照合指標を示す第2図形を頭蓋骨画像と顔画像の重ね合わせ画像上に表示するので、直観的に頭蓋骨と顔を照合することが可能な画像処理装置とその作動方法および作動プログラム、並びに画像処理システムを提供することができる。
画像処理システムを示す図である。 クライアント端末から画像処理サーバに送信される処理要求を示す図であり、(A)は重ね合わせ画像表示要求、(B)は第1図形表示要求、(C)は第2図形表示要求をそれぞれ示す。 画像処理サーバ、およびクライアント端末を構成するコンピュータを示すブロック図である。 画像処理サーバのCPUの各機能部を示すブロック図である。 第1照合指標・第1必要項目テーブルの内容を示す図である。 第1必要項目で表される点を描画した頭蓋骨画像を示す図である。 第1必要項目で表される点、および第1照合指標で表される高さ、位置、幅、長さを描画した頭蓋骨画像の眼窩付近の拡大図である。 第2照合指標・第2必要項目テーブルの内容を示す図である。 第2必要項目で表される点、領域を描画した顔画像を示す図である。 第2必要項目で表される点、領域、および第2照合指標で表される点、距離、領域、中心を描画した顔画像の目付近の拡大図である。 第1必要項目に相当する頭蓋骨上の点を通る線、第2必要項目に相当する顔上の点、並びに第2必要項目に相当する顔上の領域を表示した重ね合わせ画像を示す図である。 第1図形として第1照合指標を示す線、第2図形として第2照合指標を示す点並びに第2照合指標を示す線を表示した重ね合わせ画像を示す図である。 頭蓋骨と顔の解剖学的知見と、解剖学的知見に基づく照合を行う際に注視すべき図形とをまとめた表である。 第1必要項目の受付状況の例を示す図である。 図14に示す第1必要項目の受付状況から第2要求受付部で新たな第1必要項目が受け付けられた場合の抽出部および表示制御部の処理を示す図である。 図15に示す第1必要項目の受付状況から、さらに第2要求受付部で新たな第1必要項目が受け付けられた場合の抽出部および表示制御部の処理を示す図である。 第2必要項目の受付状況の例を示す図である。 図17に示す第2必要項目の受付状況から第3要求受付部で新たな第2必要項目が受け付けられた場合の抽出部および表示制御部の処理を示す図である。 図18に示す第2必要項目の受付状況から、さらに第3要求受付部で新たな第2必要項目が受け付けられた場合の抽出部および表示制御部の処理を示す図である。 クライアント端末のCPUの機能部を示すブロック図である。 重ね合わせ表示要求の送信前の照合画面を示す図である。 重ね合わせ画像が表示された照合画面を示す図である。 第1必要項目の指定の例を示す図である。 第2必要項目の指定の例を示す図である。 重ね合わせ画像上に図形が表示された照合画面を示す図である。 画像処理サーバの処理手順を示すフローチャートである。 照合画面の表示が更新される様子を示す図であり、(A)は図25に示す状態から表示が更新された場合、(B)は(A)に示す状態から表示が更新された場合をそれぞれ示す。 第2実施形態の画像処理サーバのCPUの各機能部を示すブロック図である。 一致度/照合指標テーブルの内容を示す図である。 一致度の参照情報の例を示す図である。 一致度の表示例を示す図である。 照合指標の抽出状況の例を示す図である。 図32に示す照合指標の抽出状況から抽出部で新たな照合指標が抽出された場合の算出部および表示制御部の処理を示す図である。
[第1実施形態]
図1において、画像処理システム10は、画像サーバ11、画像処理装置に相当する画像処理サーバ12、およびクライアント端末13等を備える。これらはインターネットや公衆通信網といったWAN(Wide Area Network)等のネットワーク14を介して相互に通信可能に接続されている。ネットワーク14には、情報セキュリティを考慮して、VPN(Virtual Private Network)が構築されたり、HTTPS(Hypertext Transfer Protocol Secure)等のセキュリティレベルの高い通信プロトコルが使用されている。
画像サーバ11は、頭蓋骨画像データベース(以下、DB(Data Base))15と顔画像DB16とを有する。頭蓋骨画像DB15には頭蓋骨画像17が、顔画像DB16には顔画像18が、それぞれ検索可能に格納されている。頭蓋骨画像17は、白骨化した身元不明の人物の頭蓋骨の画像である。頭蓋骨画像17は、例えばCT(Computed Tomography)装置等の断層撮影装置で頭蓋骨を撮影して得られた三次元画像である。一方顔画像18は行方不明者の顔の画像であり、行方不明者の身寄りから提供された免許証等の写真の二次元画像である。なお、頭蓋骨画像17は、三次元レーザー形状測定装置で測定した三次元画像であってもよい。また、頭蓋骨画像17は三次元画像に限らず、二次元画像であってもよい。
頭蓋骨画像17と顔画像18には、各画像を識別するための番号や記号である画像ID(Identification Data)と付帯情報とが関連付けられている。頭蓋骨画像17の付帯情報には、例えば頭蓋骨の発見日時と場所、性別、年齢、血液型、死因といった司法解剖結果、遺留品等が登録されている(図21等参照)。顔画像18の付帯情報には、例えば行方不明者の氏名、性別、年齢、血液型、身長、体重、頭髪の色と形、服装、所持品等が登録されている(図21等参照)。こうした付帯情報は、各画像17、18の分類や検索に利用することができる。なお、頭蓋骨画像17から復元した似顔絵や歯の治療痕等、身元解明に繋がる他の情報が付帯情報として登録されていてもよい。
画像サーバ11、画像処理サーバ12、およびクライアント端末13は、サーバコンピュータ、パーソナルコンピュータ、ワークステーションといったコンピュータをベースに、オペレーティングシステム等の制御プログラムや、各種アプリケーションプログラム(以下、AP)をインストールして構成される。
画像サーバ11は、例えば身元不明の人物および行方不明者を取り扱う警察署や警察病院に設置される。画像サーバ11は、頭蓋骨画像DB15および顔画像DB16から、クライアント端末13を介して指定された画像IDや付帯情報を検索キーとして、頭蓋骨画像17および顔画像18を検索する。画像サーバ11は、検索した頭蓋骨画像17および顔画像18をクライアント端末13に配信する。
画像処理サーバ12は、画像サーバ11と同様に警察署等に設置される。画像処理サーバ12は、クライアント端末13からの処理要求を受け付ける。画像処理サーバ12は、処理要求に応じて、重ね合わせ画像19および図形(図1では不図示)を表示した照合画面20を生成する。画像処理サーバ12は、生成した照合画面20をクライアント端末13に配信する。
重ね合わせ画像19は、位置合わせ処理を行ったうえで頭蓋骨画像17と顔画像18を重ね合わせた画像である。図形は、重ね合わせ画像19上に表示される、頭蓋骨と顔の解剖学的知見に基づく照合に用いる照合指標を示す点または線である。照合指標には、頭蓋骨上にある第1照合指標と顔上にある第2照合指標とがあり(図5および図8参照)、図形には、第1照合指標を示す点または線である第1図形と第2照合指標を示す点または線である第2図形とがある(図12および図13参照)。
クライアント端末13のユーザーは、例えば警察署等に所属し、身元不明の遺体や行方不明者の捜索に従事する警察官である。クライアント端末13は、画像処理サーバ12に処理要求を送信する際等にユーザーにより操作される。また、クライアント端末13は、照合画面20をユーザーが閲覧可能に表示する。なお、図1では、1台のクライアント端末13のみ図示しているが、実際には複数台のクライアント端末13がネットワーク14を介して画像サーバ11および画像処理サーバ12と接続されている。
画像処理サーバ12は、クライアント端末13に対して認証キーを発行して、画像処理サーバ12へのアクセス権限を与える。また、画像処理サーバ12は、ウェブブラウザ上で閲覧可能な照合画面20を生成する。より具体的には、画像処理サーバ12は、照合画面20を、例えば、XML(Extensible Markup Language)等のマークアップ言語によって作成されるウェブ配信用の画面データの形式で出力する。クライアント端末13は、画面データに基づき照合画面20をウェブブラウザ上に再現して表示する。なお、XMLに代えて、JSON(JavaScript(登録商標) Object Notation)等の他のデータ記述言語を利用してもよい。
図2において、クライアント端末13から画像処理サーバ12に送信される処理要求には、図2(A)に示す重ね合わせ画像表示要求と、図2(B)に示す第1図形表示要求と、図2(C)に示す第2図形表示要求とがある。これら各表示要求には、要求内容を表すコマンドが付帯される。
重ね合わせ画像表示要求には、重ね合わせ画像19の生成の対象となる頭蓋骨画像17と顔画像18が含まれている。第1図形表示要求には、手動入力による第1必要項目の指定情報が、第2図形表示要求には、手動入力による第2必要項目の指定情報がそれぞれ含まれている。第1必要項目は、第1照合指標の抽出に必要な頭蓋骨上の点または領域であり(図5参照)、第2必要項目は、第2照合指標の抽出に必要な顔上の点または領域である(図8参照)。なお、図示は省略するが、これら3種の処理要求には、処理要求の送信元のクライアント端末13の識別情報、例えばIP(Internet Protocol)アドレスやMAC(Media Access Control)アドレス等も含まれている。
図3において、画像処理サーバ12およびクライアント端末13を構成するコンピュータは、基本的な構成は同じであり、それぞれ、ストレージデバイス30、メモリ31、CPU(Central Processing Unit)32、通信部33、ディスプレイ34、および入力デバイス35を備えている。これらはデータバス36を介して相互接続されている。
ストレージデバイス30は、画像処理サーバ12等を構成するコンピュータに内蔵、またはケーブルやネットワークを通じて接続されたハードディスクドライブ、もしくはハードディスクドライブを複数台連装したディスクアレイである。ストレージデバイス30には、オペレーティングシステム等の制御プログラムや各種AP、およびこれらのプログラムに付随する各種データ等が記憶されている。
メモリ31は、CPU32が処理を実行するためのワークメモリである。CPU32は、ストレージデバイス30に記憶されたプログラムをメモリ31へロードして、プログラムにしたがった処理を実行することにより、コンピュータの各部を統括的に制御する。
通信部33は、ネットワーク14を介した各種情報の伝送制御を行うネットワークインターフェースである。ディスプレイ34は、マウスやキーボード、あるいはタッチパネル等の入力デバイス35の操作に応じた各種画面を表示する。画面にはGUI(Graphical User Interface)による操作機能が備えられる。画像処理サーバ12等を構成するコンピュータは、画面を通じて入力デバイス35からの操作指示の入力を受け付ける。
なお、以下の説明では、画像処理サーバ12を構成するコンピュータの各部には添え字の「A」を、クライアント端末13を構成するコンピュータの各部には添え字の「B」をそれぞれ符号に付して区別する。
図4において、画像処理サーバ12のストレージデバイス30Aには、APとして作動プログラム40が記憶されている。作動プログラム40は、画像処理サーバ12を構成するコンピュータを、画像処理装置として機能させるためのAPである。ストレージデバイス30Aには、作動プログラム40の他に、第1照合指標/第1必要項目テーブル41(図5参照)および第2照合指標/第2必要項目テーブル42(図8参照)が記憶されている。
作動プログラム40が起動されると、画像処理サーバ12のCPU32Aは、メモリ31等と協働して、第1要求受付部45、第2要求受付部46、第3要求受付部47、位置合わせ処理部48、抽出部49、表示制御部50、および配信制御部51として機能する。
第1要求受付部45は、クライアント端末13からの処理要求のうちの重ね合わせ画像表示要求を受け付ける。重ね合わせ画像表示要求には、図2(A)で説明したように頭蓋骨画像17と顔画像18が含まれている。このため第1要求受付部45は、頭蓋骨画像17と顔画像18の入力を受け付ける画像受付部として機能する。第1要求受付部45は、重ね合わせ画像表示要求に含まれる頭蓋骨画像17と顔画像18を位置合わせ処理部48に受け渡す。
第2要求受付部46は、クライアント端末13からの処理要求のうちの第1図形表示要求を受け付ける。第1図形表示要求には、図2(B)で説明したように手動入力による第1必要項目の指定情報が含まれている。このため第2要求受付部46は、第1必要項目の手動入力による指定を受け付ける第1指定受付部として機能する。第2要求受付部46は、第1図形表示要求に含まれる第1必要項目の指定情報を抽出部49に受け渡す。
第3要求受付部47は、クライアント端末13からの処理要求のうちの第2図形表示要求を受け付ける。第2図形表示要求には、図2(C)で説明したように手動入力による第2必要項目の指定情報が含まれている。このため第3要求受付部47は、第2必要項目の手動入力による指定を受け付ける第2指定受付部として機能する。第3要求受付部47は、第2図形表示要求に含まれる第2必要項目の指定情報を抽出部49に受け渡す。
なお、図示は省略するが、これらの各要求受付部45〜47は、各要求に含まれる各要求の送信元のクライアント端末13の識別情報を配信制御部51に受け渡す。
位置合わせ処理部48は、第1要求受付部45からの頭蓋骨画像17と顔画像18の位置合わせ処理を行う。位置合わせ処理は、顔画像18の顔の大きさや向きに、頭蓋骨画像17の頭蓋骨の大きさや向きを合わせ込む処理であり、より具体的には頭蓋骨画像17の頭蓋骨の拡縮、移動、回転処理である。例えば頭蓋骨画像17の頭蓋骨が正面を向いた状態で、顔画像18の顔が右下方に俯いた状態であった場合、位置合わせ処理部48は、頭蓋骨画像17の頭蓋骨に回転処理を施して、頭蓋骨を顔と同じく右下方に俯いた状態とする。位置合わせ処理部48は、位置合わせ処理後の頭蓋骨画像17と顔画像18とを、抽出部49および表示制御部50に受け渡す。
抽出部49は、後に詳述するように、第2要求受付部46からの第1必要項目の指定情報に基づいて、第1照合指標を演算により抽出する。また、抽出部49は、第3要求受付部47からの第2必要項目の指定情報に基づいて、第2照合指標を演算により抽出する。抽出部49は、抽出した第1照合指標および第2照合指標を表示制御部50に受け渡す。
表示制御部50は、重ね合わせ画像19の表示を制御し、第1図形および第2図形を重ね合わせ画像19上に表示する。より具体的には、表示制御部50は、位置合わせ処理部48からの位置合わせ処理後の頭蓋骨画像17と顔画像18とを重ね合わせて、重ね合わせ画像19を生成する。また、表示制御部50は、抽出部49からの第1照合指標および第2照合指標に基づいて、これらを示す第1図形および第2図形を重ね合わせ画像19上に表示する。表示制御部50は、重ね合わせ画像19と第1図形および第2図形を表示した照合画面20を生成し、これを配信制御部51に受け渡す。
配信制御部51は、各要求受付部45〜47からの識別情報を元に、各要求の送信元のクライアント端末13を特定する。配信制御部43は、特定したクライアント端末13に、表示制御部50からの照合画面20を配信する。
図5において、第1照合指標/第1必要項目テーブル41には、複数の第1照合指標と、複数の第1照合指標の各々に対して設定された第1必要項目とが登録されている。第1必要項目は、頭蓋骨の両眼窩の最上点、最下点、最右点、最左点を含む。例えば番号S1には、第1照合指標として「左眼窩(55L)の高さ(HL)の下1/3の位置(56L)」が、第1必要項目として「左眼窩(55L)の最上点(57L)」および「左眼窩(55L)の最下点(58L)」の2つがそれぞれ登録されている。また、番号S3には、第1照合指標として「左眼窩(55L)の幅(WL1)の3/4の長さ(WL2)」が、第1必要項目として「左眼窩(55L)の最右点(59L)」および「左眼窩(55L)の最左点(60L)」の2つがそれぞれ登録されている。
各第1照合指標は、各々に設定された第1必要項目の入力に基づいて、抽出部49からそれぞれ抽出される。ただし、番号S5に登録された第1照合指標と第1必要項目は、「左眼窩(55L)の最上点(57L)」で同じある。また、番号S6に登録された第1照合指標と第1必要項目も、「右眼窩(55R)の最上点(57R)」で同じである。すなわち、番号S5およびS6の場合、抽出部49は、第2要求受付部46からの第1必要項目をそのまま第1照合指標として出力し、第1必要項目の入力に基づく第1照合指標を抽出するための演算を行わない。
図6は、第1照合指標/第1必要項目テーブル41に登録された第1必要項目で表される点57L〜60L、57R〜60Rを描画した頭蓋骨画像17である。また図7は、図6の第1必要項目で表される点に加えて、第1照合指標で表される高さHL、HR、位置56L、56R、幅WL1、WR1、および長さWL2、WR2を描画した頭蓋骨画像17の眼窩付近の拡大図である。図6および図7において、左眼窩を示す55L、その最上点を示す57L、左眼窩の高さの下1/3の位置を示す56L等の符号は、図5の第1照合指標/第1必要項目テーブル41に括弧書きで記載された符号と対応している。
図7において、例えば番号S1の第1照合指標「左眼窩(55L)の高さ(HL)の下1/3の位置(56L)」を抽出する場合、抽出部49は、第1必要項目の「左眼窩(55L)の最上点(57L)」および「左眼窩(55L)の最下点(58L)」をそれぞれ通る破線で示す水平線65L、66Lの垂直方向の幅を高さ(HL)として求める。そして、求めた高さ(HL)を3等分し、3等分したうちの下側の位置を位置56Lとして抽出する。
左眼窩55Lの最上点57Lを通る破線の水平線65Lおよび最下点58Lを通る破線の水平線66Lは、番号S1の第1必要項目を示す線であり、右眼窩55Rの最上点57Rを通る破線の水平線65Rおよび最下点58Rを通る破線の水平線66Rは、番号S2の第1必要項目を示す線である。そして、符号59L、60Lで示す点は番号S3の第1必要項目を示す点であり、符号59R、60Rで示す点は番号S4の第1必要項目を示す点である。すなわち、これらの線65L、65R、66L、66Rおよび点59L、59R、60L、60Rは、第1必要項目に相当する頭蓋骨上の点を通る線および第1必要項目に相当する頭蓋骨上の点である。
また、一点鎖線の水平線56Lは番号S1の第1照合指標を示す線であり、一点鎖線の水平線56Rは番号S2の第1照合指標を示す線である。また、長さWL2を示す破線の垂直線67L、68Lは、番号S3の第1照合指標を示す線であり、長さWR2を示す破線の垂直線67R、68Rは、番号S4の第1照合指標を示す線である。さらに、水平線65Lは番号S5の第1照合指標を示す線であり、水平線65Rは番号S6の第1照合指標を示す線である。すなわち、これらの線56L、56R、65L、65R、67L、67R、68L、68Rは、第1図形である。
図8において、第2照合指標/第2必要項目テーブル42には、複数の第2照合指標と、複数の第2照合指標の各々に対して設定された第2必要項目とが登録されている。第2必要項目は、両目の目尻の点、両目の目頭の点、顔の両眉の外接矩形領域を含む。例えば番号F3には、第2照合指標として「左目尻(70L)と左目頭(71L)の距離(WLE)」が、第2必要項目として「左目尻の点(70L)」および「左目頭の点(71L)」の2つがそれぞれ登録されている。また、番号F5には、第2照合指標として「左眉(72L)の外接矩形領域(73L)の中心(74L)」が、第2必要項目として「左眉(72L)の外接矩形領域(73L)」がそれぞれ登録されている。
各第2照合指標は、各々に設定された第2必要項目の入力に基づいて、抽出部49からそれぞれ抽出される。ただし、番号F1に登録された第2照合指標と第2必要項目は、「左目尻の位置、点(70L)」で同じである。また、番号F2に登録された第2照合指標と第2必要項目も、「右目尻の位置、点(70R)」で同じである。すなわち、番号F1およびF2の場合は、第1照合指標/第1必要項目テーブル41の番号S5およびS6の場合と同様に、抽出部49は、第2必要項目に基づく第2照合指標を抽出するための演算を行わない。
図9は、第2照合指標/第2必要項目テーブル42に登録された第2必要項目で表される点70L、70R、71L、71R、並びに領域73L、73Rを描画した顔画像18である。また図10は、図9の第2必要項目で表される点、領域に加えて、第2照合指標で表される距離WLE、WRE、および中心74L、74Rを描画した顔画像18の目付近の拡大図である。図9および図10において、左眉を示す72L、その外接矩形領域を示す73L、左目尻の位置、点を示す70L等の符号は、図8の第2照合指標/第2必要項目テーブル42に括弧書きで記載された符号と対応している。
図10において、例えば番号F3の第2照合指標「左目尻(70L)と左目頭(71L)の距離(WLE)」を抽出する場合、抽出部49は、第2必要項目の「左目尻の点(70L)」および「左目頭の点(71L)」をそれぞれ通る破線で示す垂直線75L、76Lの水平方向の幅を距離(WLE)として抽出する。また、例えば番号F5の第2照合指標「左眉(72L)の外接矩形領域(73L)の中心(74L)」を抽出する場合、抽出部49は、第2必要項目の「左眉(72L)の外接矩形領域(73L)」の対角線の中点を求め、これを中心(74L)として抽出する。
符号70L、71Lで示す点は番号F3の第2必要項目を示す点であり、符号70R、71Rで示す点は番号F4の第2必要項目を示す点である。また、点線の矩形領域73Lは番号F5の第2必要項目を示す領域であり、点線の矩形領域73Rは番号F6の第2必要項目を示す領域である。すなわち、これらの点70L、70R、71L、71Rおよび領域73L、73Rは、第2必要項目に相当する顔上の点および第2必要項目に相当する顔上の領域である。
また、符号70Lで示す点は番号F1の第2照合指標を示す点であり、符号70Rで示す点は番号F2の第2照合指標を示す点である。また、距離WLEを示す破線の垂直線75L、76Lは、番号F3の第2照合指標を示す線であり、距離WREを示す垂直線75R、76Rは、番号F4の第2照合指標を示す線である。さらに、符号74Lで示す点を通る一点鎖線の水平線77Lは、番号F5の第2照合指標を示す線であり、符号74Rで示す点を通る一点鎖線の水平線77Rは、番号F6の第2照合指標を示す線である。すなわち、これらの点70L、70R、および線75L、75R、76L、76R、77L、77Rは、第2図形である。
図11に示すように、表示制御部50は、第1必要項目に相当する頭蓋骨上の点を通る線である線65L、65R、66L、66Rを重ね合わせ画像19上に表示する。また、表示制御部50は、第2必要項目に相当する顔上の点である点70L、70R、並びに第2必要項目に相当する顔上の領域である領域73L、73Rを重ね合わせ画像19上に表示する。なお、線65L、65Rは第1図形としても表示され、点70L、70Rは第2図形としても表示される(図12参照)。
なお、図11では、第1必要項目に相当する頭蓋骨上の点を通る線65L、65R、66L、66Rのみを重ね合わせ画像19上に表示しているが、第1必要項目に相当する頭蓋骨上の点57L〜60L、57R〜60Rを重ね合わせ画像19上に表示してもよい。同様に、第2必要項目に相当する顔上の点70L、70R、並びに第2必要項目に相当する顔上の領域73L、73Rに加えて、あるいは代えて、第2必要項目に相当する顔上の点を通る線を重ね合わせ画像19上に表示してもよい。
図12に示すように、表示制御部50は、第1照合指標を示す線である線56L、56R、65L、65R、67L、67R、68L、68Rを、第1図形として重ね合わせ画像19上に表示する。また、表示制御部50は、第2照合指標を示す点である点70L、70R、並びに第2照合指標を示す線である線75L、75R、76L、76R、77L、77Rを、第2図形として重ね合わせ画像19上に表示する。
なお、図面の煩雑化を避けるため、第1必要項目に相当する頭蓋骨上の点を通る線65L、65R、66L、66Rと、第2必要項目に相当する顔上の領域73L、73Rとを図11に、第1照合指標を示す線56L、56R、67L、67R、68L、68Rと、第2照合指標を示す線75L、75R、76L、76R、77L、77Rを図12にそれぞれ示したが、実際にはこれらは同時に重ね合わせ画像19上に表示される。
図13は、頭蓋骨と顔の解剖学的知見と、解剖学的知見に基づく照合を行う際に注視すべき図形とをまとめた表である。番号S1−F1の解剖学的知見は、第1照合指標/第1必要項目テーブル41の番号S1の第1照合指標と第2照合指標/第2必要項目テーブル42の番号F1の第2照合指標とに関するものである。他の番号についても同じことがいえ、例えば番号S4−F4の解剖学的知見は、番号S4の第1照合指標と番号F4の第2照合指標とに関するものである。
例えば番号S1−F1の解剖学的知見に関する第1照合指標および第2照合指標のうち、第2照合指標「左目尻の位置(70L)」は、抽出部49が演算により抽出したものではなく、ユーザーが第2必要項目として指定したものである。また、番号S5−F5の解剖学的知見に関する照合指標のうち、第1照合指標「左眼窩(55L)の最上点(57L)」も、抽出部49が演算により抽出したものではなく、ユーザーが第1必要項目として指定したものである。このように、1つの解剖学的知見に関する第1照合指標および第2照合指標のうちの少なくともいずれかは、抽出部49で演算により抽出したものでなくともよい。
番号S1−F1の解剖学的知見は、具体的には「左眼窩(55L)の高さ(HL)の下1/3の位置(56L)と左目尻の位置(70L)とが一致する」というものである。この番号S1−F1の解剖学的知見に基づく照合を行う際に注視すべき図形は、第1図形は左眼窩55Lの高さHLの下1/3の位置を示す線56Lであり、第2図形は左目尻の点70Lである。線56L上に点70Lが存在していれば、番号S1−F1の解剖学的知見をクリアしているので、頭蓋骨画像17の人物と顔画像18の人物が同一人物である可能性が高いと判定することができる。逆に線56L上に点70Lが存在しておらず、線56Lと点70Lの距離が大きく離れていた場合は、頭蓋骨画像17の人物と顔画像18の人物が同一人物である可能性が低いと判定することができる。
また、番号S3−F3の解剖学的知見に基づく照合を行う際に注視すべき図形は、第1図形は左眼窩55Lの幅WL1の3/4の長さWL2を示す線67L、68Lであり、第2図形は左目尻70Lと左目頭71Lの距離WLEを示す線75L、76Lである。線67L、68Lの幅、つまり長さWL2と、線75L、76Lの幅、つまり距離WLEとが一致していれば、番号S3−F3の解剖学的知見をクリアしているので、頭蓋骨画像17の人物と顔画像18の人物が同一人物である可能性が高いと判定することができる。逆に線67L、68Lの幅と線75L、76Lの幅が大きく異なる場合は、頭蓋骨画像17の人物と顔画像18の人物が同一人物である可能性が低いと判定することができる。
さらに、番号S5−F5の解剖学的知見に基づく照合を行う際に注視すべき図形は、第1図形は左眼窩55Lの最上点57Lを通る線65Lであり、第2図形は左眉72Lの外接矩形領域73Lの中心74Lを通る線77Lである。線65Lと線77Lとが一致、つまり点57Lの高さと中心74Lの高さとが一致していれば、番号S5−F5の解剖学的知見をクリアしているので、頭蓋骨画像17の人物と顔画像18の人物が同一人物である可能性が高いと判定することができる。逆に線65Lと線77Lとが一致しておらず、線65Lと線77Lの距離が大きく離れていた場合は、頭蓋骨画像17の人物と顔画像18の人物が同一人物である可能性が低いと判定することができる。
このように解剖学的知見は複数あり、頭蓋骨画像17の人物と顔画像18の人物が同一人物であるか否かの判定は、これら複数の解剖学的知見を総合的に判断して行われる。こうした総合的な判断を行いやすくするため、画像処理サーバ12は、各解剖学的知見に関する各照合指標について、設定された必要項目が揃った順に抽出を行い、かつ照合指標が抽出された段階で図形を表示する機能を備えている。
より具体的には、抽出部49は、第1必要項目が第2要求受付部46で受け付けられた場合に、複数の第1照合指標の各々について、設定された第1必要項目が揃ったか否かを判断する。そして、複数の第1照合指標のうち、設定された第1必要項目が揃った第1照合指標から順に抽出する。表示制御部50は、抽出部49により第1照合指標が抽出された段階で第1図形を表示する。
また、抽出部49は、第2必要項目が第3要求受付部47で受け付けられた場合に、複数の第2照合指標の各々について、設定された第2必要項目が揃ったか否かを判断する。そして、複数の第2照合指標のうち、設定された第2必要項目が揃った第2照合指標から順に抽出する。表示制御部50は、抽出部49により第2照合指標が抽出された段階で第2図形を表示する。
図14〜図19を用いて、上記の設定された必要項目が揃った順に照合指標の抽出を行い、かつ照合指標が抽出された段階で図形を表示する機能を説明する。図14〜図16は、設定された第1必要項目が揃った第1照合指標から順に抽出し、第1照合指標が抽出された段階で第1図形を表示する場合、図17〜図19は、設定された第2必要項目が揃った第2照合指標から順に抽出し、第2照合指標が抽出された段階で第2図形を表示する場合をそれぞれ示す。
まず図14に示すように、第2要求受付部46による第1必要項目の受付状況が、番号S1の第1必要項目「左眼窩(55L)の最下点(58L)」と番号S2の第1必要項目「右眼窩(55R)の最下点(58R)」のみが受け付け済み(「済」で示す)で、その他の第1必要項目は未だ受け付けていない(「未」で示す)場合を考える。この場合はいずれの第1照合指標も設定された第1必要項目が揃っていないため、第1照合指標は1つも抽出されておらず、また、重ね合わせ画像19上には1つも第1図形は表示されていない。
図15は、図14に示す受付状況から第2要求受付部46で第1必要項目「左眼窩(55L)の最上点(57L)」が受け付けられた場合を示している。この場合、番号S1の第1照合指標に設定された第1必要項目が揃ったので、抽出部49は、番号S1の第1照合指標「左眼窩(55L)の高さ(HL)の下1/3の位置(56L)」を抽出する。表示制御部50は、第1図形として、左眼窩55Lの高さHLの下1/3の位置を示す線56Lを重ね合わせ画像19上に表示する。また、この場合、第1必要項目「左眼窩(55L)の最上点(57L)」の受け付けにより、番号S5の第1必要項目も揃ったので、表示制御部50は、第1図形として、左眼窩55Lの最上点57Lを通る線65Lも重ね合わせ画像19上に表示する。
図16は、図15に示す受付状況から、さらに第2要求受付部46で第1必要項目「右眼窩(55R)の最上点(57R)」が受け付けられた場合を示している。この場合、番号S2の第1照合指標に設定された第1必要項目が揃ったので、抽出部49は、番号S2の第1照合指標「右眼窩(55R)の高さ(HR)の下1/3の位置(56R)」を抽出する。表示制御部50は、第1図形として、右眼窩55Rの高さHRの下1/3の位置を示す線56Rを重ね合わせ画像19上に表示する。また、この場合、第1必要項目「右眼窩(55R)の最上点(57R)」の受け付けにより、番号S6の第1必要項目も揃ったので、表示制御部50は、第1図形として、右眼窩55Rの最上点57Rを通る線65Rも重ね合わせ画像19上に表示する。
一方、図17に示すように、第3要求受付部47による第2必要項目の受付状況が、番号F3の第2必要項目「左目頭の点(71L)」のみが受け付け済みで、その他の第2必要項目は未だ受け付けていない場合を考える。この場合はいずれの第2照合指標も設定された第2必要項目が揃っていないため、第2照合指標は1つも抽出されておらず、また、重ね合わせ画像19上には1つも第2図形は表示されていない。
図18は、図17に示す受付状況から第3要求受付部47で第2必要項目「左目尻の点(70L)」が受け付けられた場合を示している。この場合、番号F3の第2照合指標に設定された第2必要項目が揃ったので、抽出部49は、番号F3の第1照合指標「左目尻(70L)と左目頭(71L)の距離(WLE)」を抽出する。表示制御部50は、第2図形として、左目尻70Lと左目頭71Lの距離WLEを示す線75L、76Lを重ね合わせ画像19上に表示する。また、この場合、第2必要項目「左目尻の点(70L)」の受け付けにより、番号F1の第1必要項目も揃ったので、表示制御部50は、第2図形として、左目尻の点70Lも重ね合わせ画像19上に表示する。
図19は、図18に示す受付状況から、さらに第3要求受付部47で第2必要項目「右眉(72R)の外接矩形領域(73R)」が受け付けられた場合を示している。この場合、番号F6の第2照合指標に設定された第2必要項目が揃ったので、抽出部49は、番号F6の第2照合指標「右眉(72R)の外接矩形領域(73R)の中心(74R)」を抽出する。また、表示制御部50は、第2図形として、右眉72Rの外接矩形領域73Rの中心74Rを通る線77Rを重ね合わせ画像19上に表示する。
図20において、ウェブブラウザが起動されて画像処理サーバ12への認証が済まされると、クライアント端末13のCPU32Bは、メモリ31等と協働して、ブラウザ制御部85として機能する。
ブラウザ制御部85は、画像処理サーバ12からの照合画面20の画面データを受け取る。ブラウザ制御部85は、受け取った画面データに基づきウェブブラウザ上に表示する照合画面20を再現し、これをディスプレイ34Bに表示する。また、ブラウザ制御部85は、照合画面20を通じて入力デバイス35Bから入力される、処理要求に関わる各種指示を受け付ける。ブラウザ制御部85は、各種指示に応じた処理要求を画像処理サーバ12に送信する。
図21、図22、および図25において、照合画面20は、第1表示領域91、第2表示領域92、および第3表示領域93を有している。第1表示領域91には頭蓋骨画像17が表示され、頭蓋骨画像17の付帯情報の表示枠94が設けられている。第2表示領域92には顔画像18が表示され、顔画像18の付帯情報の表示枠95が設けられている。第3表示領域93には、第1表示領域91に表示された頭蓋骨画像17と、第2表示領域92に表示された顔画像18の重ね合わせ画像19が表示される。
なお、図示は省略するが、照合画面20には、所望の頭蓋骨画像17と顔画像18を画像サーバ11から検索する機能が備わっている。この検索機能には、例えば、頭蓋骨画像17と顔画像18の画像IDや付帯情報を検索キーとして指定する機能や、頭蓋骨画像17の付帯情報の一部または全てと一致または類似する顔画像18を検索する一致検索または類似検索機能等が用意されている。
図21は、重ね合わせ画像表示要求の送信前の照合画面20を示している。この場合、第2表示領域92の下部には、重ね合わせボタン96が表示される。また、第3表示領域93には、重ね合わせボタン96の選択を促すメッセージが表示される。
重ね合わせボタン96がカーソル97で選択された場合、第1表示領域91に表示された頭蓋骨画像17と、第2表示領域92に表示された顔画像18とを含む重ね合わせ画像表示要求が、ブラウザ制御部85から画像処理サーバ12に送信される。
図22は、重ね合わせ画像表示要求の送信後の照合画面20を示している。この場合、重ね合わせボタン96が消え、代わりに、第1表示領域91にプルダウンメニュー98と送信ボタン99が、第2表示領域92にプルダウンメニュー100と送信ボタン101がそれぞれ出現する。プルダウンメニュー98は、第1表示領域91の頭蓋骨画像17上で指定する第1必要項目を択一的に選択するためのもので、左眼窩55Lの最上点57Lといった全ての第1必要項目が選択肢として用意されている。一方、プルダウンメニュー100は、第2表示領域92の顔画像18上で指定する第2必要項目を択一的に選択するためのもので、右眉72Rの外接矩形領域73Rといった全ての第2必要項目が選択肢として用意されている。
カーソル97により所望の第1必要項目がプルダウンメニュー98で選択され、選択された第1必要項目に相当する頭蓋骨上の点が、第1表示領域91の頭蓋骨画像17上においてカーソル97で入力され、送信ボタン99が選択された場合、第1必要項目の指定情報を含む第1図形表示要求が、ブラウザ制御部85から画像処理サーバ12に送信される。第1必要項目の指定情報は、具体的にはカーソル97で入力された点の頭蓋骨画像17上の位置を示す座標である。
一方、カーソル97により所望の第2必要項目がプルダウンメニュー100で選択され、選択された第2必要項目に相当する顔上の点または領域が、第2表示領域92の顔画像18上においてカーソル97で入力され、送信ボタン101が選択された場合、第2必要項目の指定情報を含む第2図形表示要求が、ブラウザ制御部85から画像処理サーバ12に送信される。第2必要項目の指定情報は、具体的にはカーソル97で入力された点の顔画像18上の位置または領域を示す座標である。なお、第1必要項目に相当する頭蓋骨上の点、および第2必要項目に相当する顔上の点または領域の指定は、送信ボタン99、101を選択するまで何度でもやり直すことが可能である。
図23は、指定する第1必要項目としてプルダウンメニュー98で左眼窩55Lの最上点57Lが選択された場合を示している。この場合、ユーザーは、頭蓋骨画像17上の左眼窩55Lの最上点57Lと思しき位置にカーソル97を合わせ、マウスを左クリックする等してその位置を入力する。頭蓋骨画像17上のカーソル97で入力された位置には、ユーザーの入力点を示すマーク105が表示される。
図24は、指定する第2必要項目としてプルダウンメニュー100で右眉72Rの外接矩形領域73Rが選択された場合を示している。この場合、ユーザーは、マウスをドラッグする等して、右眉72Rの外接矩形領域73Rと思しき領域を囲う矩形を入力する。顔画像18上のカーソル97で入力された位置には、ユーザーの入力矩形を示す破線のマーク105がユーザーの入力軌跡として表示される。
こうしてプルダウンメニュー98およびプルダウンメニュー100で第1必要項目および第2必要項目がそれぞれ選択され、第1必要項目に相当する頭蓋骨上の点および第2必要項目に相当する顔上の点または領域がユーザーの手で入力されていくことで、第1図形表示要求および第2図形表示要求が次々と画像処理サーバ12に送信される。そして、第1図形表示要求および第2図形表示要求に応じて、画像処理サーバ12で次々と重ね合わせ画像19上に第1図形および第2図形が表示され、これに伴い照合画面20の表示が更新される。
図25は、第1必要項目のうちの左眼窩55Lの最上点57Lおよび最下点58Lが頭蓋骨画像17上で指定され、第2必要項目のうちの左目尻の点70Lが顔画像18上で指定された場合の照合画面20を示している。この場合、第1図形として左眼窩55Lの高さHLの下1/3の位置を示す線56Lが、第2図形として左目尻の点70Lがそれぞれ重ね合わせ画像19上に表示される。また、第1必要項目に相当する頭蓋骨上の点を通る線として、左眼窩55Lの最上点57Lを通る線65Lおよび最下点58Lを通る線66Lが重ね合わせ画像19上に表示される。
以下、上記構成による作用について、図26のフローチャートを参照して説明する。まず、ユーザーは、クライアント端末13を操作してウェブブラウザを起動し、画像処理サーバ12にアクセスして認証を行って、ディスプレイ34Bに照合画面20を表示させる。そして、照合画面20を通じて、所望の頭蓋骨画像17と顔画像18を画像サーバ11から検索し、図21に示す照合画面20のように、頭蓋骨画像17を第1表示領域91に、顔画像18を第2表示領域92に、それぞれ表示させる。
頭蓋骨画像17と顔画像18の検索後、ユーザーは重ね合わせボタン96をカーソル97で選択する。これにより、第1表示領域91に表示された頭蓋骨画像17と、第2表示領域92に表示された顔画像18とを含む重ね合わせ画像表示要求が、クライアント端末13から画像処理サーバ12に送信される。
図26のステップS100に示すように、画像処理サーバ12では、重ね合わせ画像表示要求、すなわち頭蓋骨画像17と顔画像18が第1要求受付部45で受け付けられる。頭蓋骨画像17と顔画像18は、第1要求受付部45から位置合わせ処理部48に受け渡される。
位置合わせ処理部48では、第1要求受付部45からの頭蓋骨画像17と顔画像18の位置合わせ処理が行われる(ステップS110)。位置合わせ処理後の頭蓋骨画像17と顔画像18は、位置合わせ処理部48から抽出部49および表示制御部50に受け渡される。
表示制御部50により、位置合わせ処理部48からの位置合わせ処理後の頭蓋骨画像17と顔画像18とから重ね合わせ画像19が生成され、これを元に図22に示すような照合画面20が生成される(ステップS120)。照合画面20は、表示制御部50から配信制御部51に受け渡され、配信制御部51により重ね合わせ画像表示要求の送信元のクライアント端末13に配信される(ステップS130)。
クライアント端末13では、画像処理サーバ12からの照合画面20がディスプレイ34Bに表示される。このとき、第1表示領域91にプルダウンメニュー98および送信ボタン99が、第2表示領域92にプルダウンメニュー100および送信ボタン101がそれぞれ出現し、第1必要項目に相当する頭蓋骨上の点、および第2必要項目に相当する顔上の点または領域の手動入力による指定が可能となる。
ユーザーは、所望の第1必要項目、第2必要項目をプルダウンメニュー98、100で選択し、第1表示領域91の頭蓋骨画像17上の第1必要項目に相当する点、あるいは第2表示領域92の顔画像18上の第2必要項目に相当する点または領域を入力する。そして、送信ボタン99、101を選択する。これにより、第1必要項目の指定情報を含む第1図形表示要求、あるいは第2必要項目の指定情報を含む第2図形表示要求が、クライアント端末13から画像処理サーバ12に送信される。
重ね合わせ画像19が表示された図22に示すような照合画面20の配信後、画像処理サーバ12では、第2要求受付部46および第3要求受付部47で、第1図形表示要求および第2図形表示要求、すなわち第1必要項目の指定および第2必要項目の指定が待ち受けられている(ステップS140)。各要求受付部46、47で各図形表示要求が受け付けられた場合(ステップS140でYES、ステップS150)、各図形表示要求に含まれる各必要項目の指定情報が各要求受付部46、47から抽出部49に受け渡される。
ステップS160に示すように、抽出部49では、第1必要項目の指定情報が受け渡された場合、複数の第1照合指標の各々について、設定された第1必要項目が揃ったか否かが判断される。一方、第2必要項目の指定情報が受け渡された場合は、複数の第2照合指標の各々について、設定された第2必要項目が揃ったか否かが判断される。
必要項目が揃っていないと判断された場合(ステップS160でNO)、当該必要項目が設定された照合指標の抽出は行われない。一方、必要項目が揃ったと判断された場合(ステップS160でYES)、抽出部49で当該必要項目が設定された照合指標の抽出が行われる(ステップS170)。照合指標は、抽出部49から表示制御部50に受け渡される。
ステップS180に示すように、表示制御部50では、抽出部49からの照合指標に基づく図形が重ね合わせ画像19上に表示される。また、第1必要項目に相当する頭蓋骨上の点を通る線、第2必要項目に相当する顔上の点、並びに第2必要項目に相当する顔上の領域も重ね合わせ画像19上に表示され、これにより照合画面20が更新される。更新後の照合画面20は、表示制御部50から配信制御部51に受け渡され、配信制御部51により図形表示要求の送信元のクライアント端末13に配信される(ステップS190)。これらステップS140〜ステップS190の処理は、全必要項目が揃うまで、またはユーザーにより照合画面20の閲覧が終了されるまで(ステップS200でYES)続けられる。
クライアント端末13では、照合画面20の表示が更新される。ユーザーは、重ね合わせ画像19の目視による頭蓋骨と顔の照合を行い、身元不明の人物と行方不明者が同一人物であるか否かを判定する。
例えば図25に示す左眼窩55Lの高さHLの下1/3の位置を示す線56L、左目尻の点70L、左眼窩55Lの最上点57Lを通る線65L、および最下点58Lを通る線66Lがそれぞれ重ね合わせ画像19上に表示された状態から、右眼窩55Rの最上点57Rおよび最下点58Rが頭蓋骨画像17上で指定され、右目尻の点70Rが顔画像18上で指定された場合は、図27(A)に示すように、重ね合わせ画像19上には、さらに右眼窩55Rの高さHRの下1/3の位置を示す線56R、右目尻の点70R、右眼窩55Rの最上点57Rを通る線65R、および最下点58Rを通る線66Rが表示される。
また、図27(A)に示す状態から、さらに右眉72Rの外接矩形領域73Rが顔画像18上で指定された場合は、図27(B)に示すように、重ね合わせ画像19上には、さらに右眉72Rの外接矩形領域73Rの中心74Rを通る線77R、および右眉72Rの外接矩形領域73Rが表示される。
このように、第1照合指標を示す第1図形および第2照合指標を示す第2図形を重ね合わせ画像19上に表示するので、ユーザーは第1照合指標と第2照合指標を自らの頭の中に思い浮かべながら、頭蓋骨と顔の照合をする必要がなく、直観的に頭蓋骨と顔を照合することができる。このためユーザーは、ストレスを感じることなく、簡単に身元不明の人物と行方不明者が同一人物であるか否かの判定を済ませることができる。
第1照合指標および第2照合指標が複数あり、これに伴い解剖学的知見も複数ある場合は、第1照合指標と第2照合指標を頭の中に思い浮かべながら、頭蓋骨と顔の照合をすることがより困難になるが、本発明のように第1照合指標を示す第1図形および第2照合指標を示す第2図形を重ね合わせ画像19上に表示すれば、第1照合指標および第2照合指標が複数ある場合でも、身元不明の人物と行方不明者が同一人物であるか否かの判定が容易となる。
設定された必要項目が揃った照合指標から順に抽出し、照合指標が抽出された段階で図形を表示するので、全必要項目の入力を待たずに直観的な頭蓋骨と顔の照合を行うことができる。また、頭蓋骨の一部が欠損していたり、顔画像18の顔に一部映り込みがない部分があり、一部の必要項目の指定ができない状態であっても、指定可能な必要項目が設定された照合指標は抽出することができ、図形も表示することができる。
第1必要項目に相当する頭蓋骨上の点を通る線、第2必要項目に相当する顔上の点、並びに第2必要項目に相当する顔上の領域を重ね合わせ画像19上に表示するので、より身元不明の人物と行方不明者が同一人物であるか否かの判定が捗る。
[第2実施形態]
図28に示す第2実施形態において、画像処理サーバ12のCPU32Aは、算出部110を備えている。この場合、抽出部49は、第1照合指標および第2照合指標を、表示制御部50に加えて算出部110に受け渡す。算出部110は、抽出部49からの第1照合指標および第2照合指標と、ストレージデバイス30Aに記憶された一致度/照合指標テーブル111とに基づいて、頭蓋骨と顔の一致度合いを定量的に示す一致度を算出し、算出した一致度を表示制御部50に受け渡す。なお、図28では、各要求受付部45〜47および位置合わせ処理部48の図示を省略している。
図29において、一致度/照合指標テーブル111には、複数の一致度と、複数の一致度の各々に設定され、その一致度の算出に必要な第1照合指標および第2照合指標とが登録されている。例えば一致度DC1には、第1照合指標として「左眼窩(55L)の高さ(HL)の下1/3の位置(56L)」が、第2照合指標として「左目尻の位置(70L)」が登録されている。
一致度/照合指標テーブル111には、一致度を算出する際の参照情報も登録されている。参照情報は、例えば図30に示すグラフのような内容である。
図30は、一致度DC1の参照情報REF1の内容を示すグラフである。グラフは、一致度DC1を縦軸にとり、第1照合指標「左眼窩(55L)の高さ(HL)の下1/3の位置(56L)」と第2照合指標「左目尻の位置(70L)」の垂直方向の距離を横軸にとったものである。一致度DC1の参照情報REF1は、位置56Lと位置70Lとの垂直方向の距離が0(位置56Lと位置70Lが一致)の場合に一致度が100%に設定され、位置56Lと位置70Lとの垂直方向の距離が大きくなるにつれて一致度が減少し、位置56Lと位置70Lとの垂直方向の距離が一定値以上の場合は一致度が0%に設定された内容である。この場合、算出部110は、位置56Lと位置70Lとの垂直方向の距離を求め、求めた距離に応じた一致度を参照情報REF1から導出する。
表示制御部50は、例えば図31に示す吹き出し115のように、算出部110からの一致度を、照合画面20の第3表示領域93の重ね合わせ画像19上に表示する。このように一致度を算出してこれを表示するので、さらに身元不明の人物と行方不明者が同一人物であるか否かの判定が捗る。なお、一致度は、上記に例示した%表示に代えて、A、B、C等の段階的なランクで表示してもよい。
[第3実施形態]
図32および図33に示す第3実施形態では、上記第2実施形態において、第1照合指標または第2照合指標のうちの少なくともいずれかが抽出部49で抽出された場合に、算出部110で、複数の一致度の各々について、設定された第1照合指標および第2照合指標が揃ったか否かを判断する。そして、複数の一致度のうち、設定された第1照合指標および第2照合指標が揃った一致度から順に算出する。
より詳しくは、まず図32に示すように、抽出部49による第1照合指標および第2照合指標の抽出状況が、一致度DC1に設定された第1照合指標「左眼窩(55L)の高さ(HL)の下1/3の位置(56L)」、および一致度DC5に設定された第1照合指標「左眼窩(55L)の最上点(57L)」のみが抽出済み(「済」で示す)で、その他の照合指標は未だ抽出されていない(「未」で示す)場合を考える。この場合はいずれの一致度も設定された照合指標が揃っていないため、一致度は1つも抽出されておらず、また、重ね合わせ画像19上には1つも一致度は表示されていない。
図33は、図32に示す抽出状況から抽出部49で第2照合指標「左目尻の位置(70L)」が抽出された場合を示している。この場合、一致度DC1に設定された照合指標が揃ったので、算出部110は、一致度DC1を算出する。また、表示制御部50は、一致度DC1を重ね合わせ画像19上に表示する。
このように、設定された照合指標が揃った一致度から順に算出し、一致度が算出された段階でこれを表示するので、全照合指標の抽出を待たずに一致度を表示することができる。また、頭蓋骨の一部が欠損していたり、顔画像18の顔に一部映り込みがない部分があり、一部の照合指標の抽出ができない状態であっても、抽出可能な照合指標が設定された一致度は算出、表示することができる。
なお、照合指標を周知の画像認識技術により自動的に抽出してもよい。必要項目も同様である。また、これとは逆に、頭蓋骨画像17と顔画像18の位置合わせをユーザーが手動で行ってもよい。この場合は位置合わせ処理部48は不要である。
上記第1実施形態では、第1必要項目として頭蓋骨上の点57L〜60L、57R〜60Rを例示したが、第1必要項目として頭蓋骨上の領域、例えば左右眼窩の輪郭領域を設定してもよい。第1必要項目を左右眼窩の輪郭領域とした場合は、第1照合指標を同じく左右眼窩の輪郭領域とし、第2必要項目および第2照合指標を左右の目の輪郭領域とする。そして、第1図形として左右眼窩の輪郭領域を縁取る線を、第2図形として左右の目の輪郭領域を縁取る線を表示する。また、この場合の解剖学的知見は、例えば、「左右の目の輪郭領域の95%以上が左右眼窩の輪郭領域に含まれる」とする。
なお、1つの照合指標に設定される必要項目は2つ以上であってもよい。また、照合指標および必要項目としては、上記第1実施形態で例示した頭蓋骨の眼窩と顔の目に関するものに限らない。例えば鼻に関するもの(鼻根点、鼻尖点、鼻下点、鼻翼点、鼻穴領域等)や、口およびその周辺に関するもの(口裂正中点、頤(おとがい)点等)、耳およびその周辺に関するもの(耳珠点、頬骨弓点等)を照合指標および必要項目としてもよい。
上記第1実施形態では、設定された必要項目が揃った照合指標から順に抽出し、照合指標が抽出された段階で図形を表示しているが、全ての必要項目が揃ってから全照合指標の抽出を行い、全図形を一度に表示してもよい。
上記第1実施形態では、重ね合わせ画像19の元となる頭蓋骨画像17と顔画像18をクライアント端末13から画像処理サーバ12に送信しているが、クライアント端末13から画像処理サーバ12には頭蓋骨画像17と顔画像18の画像IDのみを送信し、画像処理サーバ12が、クライアント端末13からの画像IDの頭蓋骨画像17と顔画像18を画像サーバ11から取得する構成としてもよい。
上記第1実施形態では、まず重ね合わせ画像表示要求に応じて重ね合わせ画像19が表示された照合画面20を表示した後に、図形表示要求に応じて図形が表示された照合画面20を表示しているが、図形表示要求に重ね合わせ画像表示要求を兼ねさせ、重ね合わせ画像19と図形の表示を同じタイミングで行ってもよい。
また、上記第1実施形態では、複数の解剖学的知見に関する照合指標を示す複数の図形を重ねて表示しているが、例えば照合画面20に各図形の表示/非表示を切り替えるためのGUIを設ける等して、複数の解剖学的知見に関する照合指標を示す複数の図形を各々個別に表示可能な構成としてもよい。こうすれば、注目する解剖学的知見に関する照合指標を示す図形以外を非表示とすることができ、1つの解剖学的知見に注力して照合を行いたい場合に好適である。
なお、頭蓋骨画像17、顔画像18、重ね合わせ画像19の表示形態としては、上記第1実施形態で例示した照合画面20に限らない。これら各画像17〜19を別の画面で表示してもよい。また、図形を表示した重ね合わせ画像19と、図形が非表示の重ね合わせ画像19とを並列表示してもよい。さらに、一致度を照合画面20とは別の画面で表示してもよい。
本発明の画像処理装置に相当する画像処理サーバ12を構成するコンピュータのハードウェア構成は種々の変形が可能である。例えば、画像処理サーバ12を、処理能力や信頼性の向上を目的として、ハードウェアとして分離された複数台のサーバコンピュータで構成することも可能である。例えば、各要求受付部45〜47の機能と、位置合わせ処理部48および抽出部49の機能と、表示制御部50および配信制御部51の機能とを、3台のサーバコンピュータに分散して担わせる。この場合は3台のサーバコンピュータで画像処理装置を構成する。各要求受付部45〜47の機能を1つの受付部に統合して担わせてもよい。
上記第1実施形態では、画像処理サーバ12で照合画面20を生成し、画像処理サーバ12からの照合画面20の画面データに基づいて、クライアント端末13側で照合画面20を再現してディスプレイ34Bに表示する態様を例示したが、照合画面20の生成の元となる重ね合わせ画像19や図形等を画像処理サーバ12からクライアント端末13に送信し、クライアント端末13側で照合画面20を生成してもよい。この場合、表示制御部の機能はクライアント端末13のCPU32Bに構築される。
さらに、画像処理サーバ12のCPU32Aに構築した各機能部をクライアント端末13のCPU32Bに構築し、クライアント端末13を画像処理装置として稼働させてもよい。この場合、各要求受付部45〜47は、入力デバイス35Bから直接処理要求に関わる各種指示を受け付ける。
さらにまた、頭蓋骨画像DB15と顔画像DB16を画像処理サーバ12に設け、画像サーバ11と画像処理サーバ12を統合してもよい。
このように、コンピュータのハードウェア構成は、処理能力、安全性、信頼性等の要求される性能に応じて適宜変更することができる。さらに、ハードウェアに限らず、作動プログラム40等のアプリケーションプログラムについても、安全性や信頼性の確保を目的として、二重化したり、あるいは、複数のストレージデバイスに分散して格納することももちろん可能である。
本発明は、上述の種々の実施形態や種々の変形例を適宜組み合わせることも可能である。また、上記各実施形態に限らず、本発明の要旨を逸脱しない限り種々の構成を採用し得ることはもちろんである。さらに、本発明は、プログラムに加えて、プログラムを記憶する記憶媒体にもおよぶ。
10 画像処理システム
12 画像処理サーバ(画像処理装置)
13 クライアント端末
14 ネットワーク
17 頭蓋骨画像
18 顔画像
19 重ね合わせ画像
20 照合画面
32、32A、32B CPU
40 作動プログラム
45 第1要求受付部(画像受付部)
46 第2要求受付部(第1指定受付部)
47 第3要求受付部(第2指定受付部)
49 抽出部
50 表示制御部
57L、57R 両眼窩の最上点
58L、58R 両眼窩の最下点
59L、59R 両眼窩の最右点
60L、60R 両眼窩の最左点
56L、56R 両眼窩の高さの下1/3の位置を通る線(第1図形)
65L、65R 両眼窩の最上点を通る線(第1図形)
66L、66R 両眼窩の最下点を通る線
67L、67R、68L、68R 両眼窩の幅の3/4の長さを示す線(第1図形)
70L、70R 両目尻の点(第2図形)
73L、73R 左右眉の外接矩形領域
75L、75R、76L、76R 左目尻と左目頭の距離および右目尻と右目頭の距離を示す線(第2図形)
77L、77R 左右眉の外接矩形領域の中心を通る線(第2図形)
110 算出部
115 吹き出し

Claims (19)

  1. 頭蓋骨画像と顔画像の入力を受け付ける画像受付部と、
    頭蓋骨と顔の解剖学的知見に基づく照合に用いる照合指標であって、前記頭蓋骨上にある第1照合指標と前記顔上にある第2照合指標の2つの照合指標のうちの少なくともいずれかを演算により抽出する抽出部と、
    前記頭蓋骨画像と前記顔画像の重ね合わせ画像の表示を制御する表示制御部であり、前記第1照合指標を示す第1図形および前記第2照合指標を示す第2図形を前記重ね合わせ画像上に表示する表示制御部とを備える画像処理装置。
  2. 前記抽出部は、前記第1照合指標の抽出に必要な前記頭蓋骨上の点または領域である第1必要項目の入力に基づいて、前記第1照合指標を抽出する請求項1に記載の画像処理装置。
  3. 前記第1照合指標は複数あり、
    前記第1必要項目は、複数の前記第1照合指標の各々に対して設定されている請求項2に記載の画像処理装置。
  4. 前記第1必要項目の手動入力による指定を受け付ける第1指定受付部を備える請求項2または3に記載の画像処理装置。
  5. 請求項3を引用する請求項4に記載の画像処理装置において、
    前記抽出部は、前記第1必要項目が前記第1指定受付部で受け付けられた場合に、複数の前記第1照合指標の各々について、設定された前記第1必要項目が揃ったか否かを判断し、複数の前記第1照合指標のうち、設定された前記第1必要項目が揃った前記第1照合指標から順に抽出し、
    前記表示制御部は、前記第1照合指標が抽出された段階で前記第1図形を表示する画像処理装置。
  6. 前記表示制御部は、前記第1必要項目に相当する前記頭蓋骨上の点、前記第1必要項目に相当する前記頭蓋骨上の点を通る線、または前記第1必要項目に相当する前記頭蓋骨上の領域のうちの少なくともいずれかを前記重ね合わせ画像上に表示する請求項2ないし5のいずれか1項に記載の画像処理装置。
  7. 前記第1必要項目は、前記頭蓋骨の両眼窩の最上点、最下点、最右点、最左点を含む請求項2ないし6のいずれか1項に記載の画像処理装置。
  8. 前記抽出部は、前記第2照合指標の抽出に必要な前記顔上の点または領域である第2必要項目の入力に基づいて、前記第2照合指標を抽出する請求項1ないし7のいずれか1項に記載の画像処理装置。
  9. 前記第2照合指標は複数あり、
    前記第2必要項目は、複数の前記第2照合指標の各々に対して設定されている請求項8に記載の画像処理装置。
  10. 前記第2必要項目の手動入力による指定を受け付ける第2指定受付部を備える請求項8または9に記載の画像処理装置。
  11. 請求項9を引用する請求項10に記載の画像処理装置において、
    前記抽出部は、前記第2必要項目が前記第2指定受付部で受け付けられた場合に、複数の前記第2照合指標の各々について、設定された前記第2必要項目が揃ったか否かを判断し、複数の前記第2照合指標のうち、設定された前記第2必要項目が揃った前記第2照合指標から順に抽出し、
    前記表示制御部は、前記第2照合指標が抽出された段階で前記第2図形を表示する画像処理装置。
  12. 前記表示制御部は、前記第2必要項目に相当する前記顔上の点、前記第2必要項目に相当する前記顔上の点を通る線、または前記第2必要項目に相当する前記顔上の領域のうちの少なくともいずれかを前記重ね合わせ画像上に表示する請求項8ないし11のいずれか1項に記載の画像処理装置。
  13. 前記第2必要項目は、前記顔の両目の目尻の点、前記顔の両目の目頭の点、前記顔の両眉の外接矩形領域を含む請求項8ないし12のいずれか1項に記載の画像処理装置。
  14. 前記第1図形は、前記第1照合指標を示す点、または前記第1照合指標を示す線のうちの少なくともいずれかであり、
    前記第2図形は、前記第2照合指標を示す点、または前記第2照合指標を示す線のうちの少なくともいずれかである請求項1ないし13のいずれか1項に記載の画像処理装置。
  15. 前記第1照合指標および前記第2照合指標に基づいて、前記頭蓋骨と前記顔の一致度合いを定量的に示す一致度を算出する算出部を備え、
    前記表示制御部は、前記一致度を表示する請求項1ないし14のいずれか1項に記載の画像処理装置。
  16. 前記一致度は複数あり、
    複数の前記一致度には、算出に必要な前記第1照合指標および前記第2照合指標が各々設定されており、
    前記算出部は、前記第1照合指標または前記第2照合指標のうちの少なくともいずれかが前記抽出部で抽出された場合に、複数の前記一致度の各々について、設定された前記第1照合指標および前記第2照合指標が揃ったか否かを判断し、複数の前記一致度のうち、設定された前記第1照合指標および前記第2照合指標が揃った前記一致度から順に算出し、
    前記表示制御部は、前記一致度が算出された段階でこれを表示する請求項15に記載の画像処理装置。
  17. 頭蓋骨画像と顔画像の入力を受け付ける画像受付ステップと、
    前記頭蓋骨と前記顔の解剖学的知見に基づく照合に用いる照合指標であって、前記頭蓋骨上にある第1照合指標と前記顔上にある第2照合指標の2つの照合指標のうちの少なくともいずれかを演算により抽出する抽出ステップと、
    前記頭蓋骨画像と前記顔画像の重ね合わせ画像の表示を制御する表示制御ステップであり、前記第1照合指標を示す第1図形および前記第2照合指標を示す第2図形を前記重ね合わせ画像上に表示する表示制御ステップとを備える画像処理装置の作動方法。
  18. 頭蓋骨画像と顔画像の入力を受け付ける画像受付機能と、
    前記頭蓋骨と前記顔の解剖学的知見に基づく照合に用いる照合指標であって、前記頭蓋骨上にある第1照合指標と前記顔上にある第2照合指標の2つの照合指標のうちの少なくともいずれかを演算により抽出する抽出機能と、
    前記頭蓋骨画像と前記顔画像の重ね合わせ画像の表示を制御する表示制御機能であり、前記第1照合指標を示す第1図形および前記第2照合指標を示す第2図形を前記重ね合わせ画像上に表示する表示制御機能とを、コンピュータに実行させる画像処理装置の作動プログラム。
  19. 画像処理装置と、前記画像処理装置にネットワークを介して接続されたクライアント端末とで構成される画像処理システムにおいて、
    頭蓋骨画像と顔画像の入力を受け付ける画像受付部と、
    前記頭蓋骨と前記顔の解剖学的知見に基づく照合に用いる照合指標であって、前記頭蓋骨上にある第1照合指標と前記顔上にある第2照合指標の2つの照合指標のうちの少なくともいずれかを演算により抽出する抽出部と、
    前記頭蓋骨画像と前記顔画像の重ね合わせ画像の表示を制御する表示制御部であり、前記第1照合指標を示す第1図形および前記第2照合指標を示す第2図形を前記重ね合わせ画像上に表示する表示制御部とを備える画像処理システム。
JP2015192943A 2015-09-30 2015-09-30 画像処理装置とその作動方法および作動プログラム、並びに画像処理システム Pending JP2017068560A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015192943A JP2017068560A (ja) 2015-09-30 2015-09-30 画像処理装置とその作動方法および作動プログラム、並びに画像処理システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015192943A JP2017068560A (ja) 2015-09-30 2015-09-30 画像処理装置とその作動方法および作動プログラム、並びに画像処理システム

Publications (1)

Publication Number Publication Date
JP2017068560A true JP2017068560A (ja) 2017-04-06

Family

ID=58492634

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015192943A Pending JP2017068560A (ja) 2015-09-30 2015-09-30 画像処理装置とその作動方法および作動プログラム、並びに画像処理システム

Country Status (1)

Country Link
JP (1) JP2017068560A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108008815A (zh) * 2017-11-30 2018-05-08 西安科锐盛创新科技有限公司 基于眼睛状态识别技术的人机交互方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002369812A (ja) * 2001-06-15 2002-12-24 Babcock Hitachi Kk 頭蓋骨スーパーインポーズ方法と装置
JP2004295813A (ja) * 2003-03-28 2004-10-21 Babcock Hitachi Kk 3次元人物照合装置
JP2009176208A (ja) * 2008-01-28 2009-08-06 Nec Corp 顔認証装置、システム、方法及びプログラム
JP2014513824A (ja) * 2011-02-22 2014-06-05 モルフェウス カンパニー リミテッド 顔面補正イメージ提供方法およびそのシステム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002369812A (ja) * 2001-06-15 2002-12-24 Babcock Hitachi Kk 頭蓋骨スーパーインポーズ方法と装置
JP2004295813A (ja) * 2003-03-28 2004-10-21 Babcock Hitachi Kk 3次元人物照合装置
JP2009176208A (ja) * 2008-01-28 2009-08-06 Nec Corp 顔認証装置、システム、方法及びプログラム
JP2014513824A (ja) * 2011-02-22 2014-06-05 モルフェウス カンパニー リミテッド 顔面補正イメージ提供方法およびそのシステム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108008815A (zh) * 2017-11-30 2018-05-08 西安科锐盛创新科技有限公司 基于眼睛状态识别技术的人机交互方法
CN108008815B (zh) * 2017-11-30 2021-05-25 永目堂股份有限公司 基于眼睛状态识别技术的人机交互方法

Similar Documents

Publication Publication Date Title
US20120035906A1 (en) Translation Station
US10796136B2 (en) Secondary source authentication of facial biometric
WO2019170060A1 (zh) 一种基于图像认证的医学影像标注方法、装置、用户终端和计算机可读存储介质
US11875563B2 (en) Systems and methods for personalized augmented reality view
US20160300393A1 (en) Virtual trial-fitting system, virtual trial-fitting program, virtual trial-fitting method, and storage medium in which virtual fitting program is stored
US9779088B2 (en) Translation station
US20060021024A1 (en) User certification apparatus and user certification method
JP2010055602A (ja) ユーザ認証方法、ユーザ認証システムおよびそのためのコンピュータプログラム
WO2018012207A1 (ja) 画像表示システム、並びにヘッドマウントディスプレイの制御装置とその作動方法および作動プログラム
JP2015062118A (ja) 家庭ヘルスケア用モバイル情報ゲートウェイ
US20130044922A1 (en) Information processing device, information processing method, program, and information processing system
TWI645417B (zh) 多媒體互動醫療報告系統與多媒體互動醫療報告方法
AU2019272041A1 (en) Device with biometric system
JP2019192026A (ja) 情報処理装置、情報処理方法、プログラム、コンテンツ表示システム及びコンテンツ配信装置
KR102640356B1 (ko) 안면 템플릿 데이터로 학습된 인공지능 모델을 이용한 비대면 본인 인증 시스템의 제어 방법
JP6225543B2 (ja) 議論支援プログラム、議論支援装置及び議論支援方法
JP2017068560A (ja) 画像処理装置とその作動方法および作動プログラム、並びに画像処理システム
KR101749104B1 (ko) 3d 모델을 이용하는 광고 시스템 및 광고 방법
JP2013097730A (ja) 情報処理システムおよびコンピュータプログラム
JP2005346307A (ja) 電子ドキュメント閲覧装置およびその制御方法
US11127218B2 (en) Method and apparatus for creating augmented reality content
JP7103040B2 (ja) 表示制御プログラム、表示制御方法、情報処理装置およびヘッドマウントユニット
JP2008146376A (ja) 空間設計システム
WO2021084662A1 (ja) 照合支援装置、照合支援方法、及びコンピュータ読み取り可能な記録媒体
Pece et al. Device effect on panoramic video+ context tasks

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170908

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180910

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180919

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190122