JP2014174794A - 特徴点抽出アルゴリズム評価装置、および特徴点抽出アルゴリズム評価方法 - Google Patents

Abstract

【課題】顔面画像から特徴点を抽出する特徴点抽出アルゴリズムの評価に掛かる手間を抑制する。
【解決手段】近赤外光の反射率は顔面と同じであり、且つ、特定色を有するマーカーを付した顔面を、近赤外画像を撮像可能な第１撮像手段およびカラー画像を撮像可能な第２撮像手段で撮像する。そして、「第１撮像手段で撮像した顔面画像から特徴点抽出アルゴリズムに基づき抽出された第１特徴点」と、「第２撮像手段で撮像した顔面画像から抽出された特徴点抽出アルゴリズムが特徴点として抽出すべき第２特徴点」とを比較して、その結果に基づいて特徴点抽出アルゴリズムを評価する。
【選択図】図１０

Description

本発明は、顔面画像の特徴点を抽出する特徴点抽出アルゴリズムに関し、詳しくは特徴点抽出アルゴリズムを評価する技術に関する。

近年、運転者の顔を撮像するとともに、この撮像した顔面画像に基づいて運転者の状態を判定することによって、各種の運転支援を行う技術が一般的になりつつある。例えば、顔面画像に基づいて運転者が脇見運転をしていると判定すると、警報を出力する技術が提案されている。このような技術では、運転者の状態を判定するために、顔面画像上の特徴点を抽出することで顔の各部位（目、まぶた、瞳、鼻、口など）を特定することが前提となる（特許文献１）。

顔面画像上の特徴点は、所定の特徴点抽出アルゴリズムを利用して抽出するが、この特徴点抽出アルゴリズムについては、抽出精度や抽出速度を上げるなどの目的で様々な改良が行われている。そして、この特徴点抽出アルゴリズムの改良には、それに付随して、様々な条件や被写体を用いて、改良した特徴点抽出アルゴリズムの特徴点の抽出精度や抽出速度などを評価する作業が必要となる。

特開２００６−２６８１８９号公報

しかし、特徴点抽出アルゴリズムの改良効果や動作を様々な条件や被写体で評価する作業はたいへんに手間の掛かる作業であるという問題があった。すなわち、改良した特徴点抽出アルゴリズムを利用して特徴点が正確に抽出できているか否かを評価するには、人手によって、特徴点の抽出結果が顔面画像の各部位と一致しているか否かを判定する必要があり、そうした作業を様々な条件や被写体で行うのはたいへんな手間が掛かるという問題があった。

この発明は、従来の技術が有する上述した課題に鑑みてなされたものであり、特徴点抽出アルゴリズムの評価に掛かる手間を抑制できる特徴点抽出アルゴリズム評価技術の提供を目的とする。

上述した問題を解決するために、本発明の特徴点抽出アルゴリズム評価装置および特徴点抽出アルゴリズム評価方法は、所定の特定色を呈するが、近赤外光の波長では顔面の肌の部分と等しい反射率を有するマーカーが、特徴点に付されたマーカー付の顔面を、近赤外光を用いて第１撮像手段で撮像することによって、近赤外画像を得る。また、当該マーカー付の顔面を第２撮像手段で撮像することによって、カラー画像を得る。そして、近赤外画像から特徴点を抽出するアルゴリズム（以下「特徴点抽出アルゴリズム」という）を用いて抽出した第１特徴点と、カラー画像から特定色に基づいて抽出した特徴点とを比較することによって、特徴点抽出アルゴリズムを評価する。

顔面に付されたマーカーは近赤外光の長では顔面の肌の部分と等しい反射率を有することから、近赤外画像においては、マーカーに対応する画素の情報（例えば輝度情報）と、その周辺の画素の情報との差異がない。したがって、近赤外画像からは、本発明の評価対象となる特徴点抽出アルゴリズムに基づき、マーカーが顔面に付されていない場合と同等の第１特徴点が抽出される。これに対して、顔面に付されたマーカーは特定色を呈するから、カラー画像においては、特定色に基づき第２特徴点を抽出することができる。ここで、マーカーは本発明の評価対象となる「特徴点抽出アルゴリズム」が特徴点として抽出すべき位置に付されている。したがって、このように抽出された第１特徴点と第２特徴点とを比較することによって、手間を抑制するとともに迅速に特徴点抽出アルゴリズムの評価を行うことが可能となる。

尚、「近赤外光を用いて撮像する第１撮像手段」とは、「特定色（マーカー）に基づく特徴点の抽出を行うことができない画像（近赤外画像）」を撮像する手段である。また、「近赤外光の波長では顔面の肌の部分と等しい反射率を有する」とは、近赤外画像において特定色（マーカー）に基づく特徴点の抽出が不可能である程度に反射率が等しければよい。また、「特定色」とは、カラー画像においてマーカーに対応する画素に基づく特徴点の抽出が可能である程度に、可視光の波長域のうち少なくとも一部の反射率が顔面と異なるものであればよい。

また、上述した本発明の特徴点抽出アルゴリズム評価装置においては、近赤外画像における複数の第１特徴点の各々について、各第１特徴点に対応する第２特徴点から所定の距離以内に存在するか否かを判断し、複数の第１特徴点のうち、第２特徴点から所定の距離以内に存在する第１特徴点の割合である画像毎精度に基づいて、特徴点抽出アルゴリズムを評価してもよい。

こうすれば、１つの近赤外画像に含まれる複数の特徴点に基づいて特徴点抽出アルゴリズムを評価することができるので、個々の近赤外画像ごとにも評価することができる。この結果、特徴点抽出アルゴリズムの評価を詳細に行うことが可能となる。

また、上述した本発明の特徴点抽出アルゴリズム評価装置においては、複数の近赤外画像のうち、画像毎精度が所定の値より高い近赤外画像の割合に基づいて、特徴点抽出アルゴリズムを評価してもよい。

こうすれば、複数の近赤外画像のうち、特徴点の抽出精度の高い（または低い）近赤外画像の割合に基づき、特徴点抽出アルゴリズムを評価することができるので、一連の近赤外画像毎にも評価することができる。この結果、特徴点抽出アルゴリズムの評価をさらに詳細に行うことが可能となる。

運転者状態監視装置１０の大まかな構成を示す説明図である。 運転者状態監視装置１０の詳細な構成を示す説明図である。 運転者状態対応処理のフローチャートである。 顔面画像から特徴点が抽出される様子を概念的に示す説明図である。 本実施例の特徴点抽出アルゴリズム評価装置２０の構成を示す説明図である。 本実施例の評価用画像を撮像する様子を示す説明図である。 本実施例の近赤外画像および可視画像の一例を示す説明図である。 本実施例の近赤外画像および可視画像が記憶されている様子を概念的に示す説明図である。 本実施例の特徴点抽出アルゴリズム評価処理を示すフローチャートである。 本実施例の評価特徴点と基準特徴点とを比較する様子を概念的に示す説明図である。 本実施例の評価結果の出力態様の一例を示す説明図である。 本変形例の特徴点抽出アルゴリズム評価装置４０の構成を示す説明図である。

以下では、上述した本願発明の内容を明確にするために特徴点抽出アルゴリズム評価装置の実施例について説明するが、その準備として先ず、該装置の評価対象となる特徴点抽出アルゴリズムについて説明する。尚、この特徴点抽出アルゴリズムの説明は、特徴点抽出アルゴリズムを利用する装置の一例（運転者状態監視装置）について説明することによって行う。

Ａ．運転者状態監視装置 ：
Ａ−１．装置構成 ：
図１には、運転者状態監視装置１０の大まかな構成が示されている。図示されるように、運転者状態監視装置１０は車両１００に設けられており、近赤外光を用いて撮像する近赤外光カメラ１１で運転者の顔面を定期的に（例えば１秒間に３０回）撮像することにより、運転者の顔面画像を取得している。運転者の顔面の撮像に近赤外光カメラ１１を利用する理由は、運転者の視界を妨げることなく、運転者の顔面を撮像することができるためのである。

図２には、運転者状態監視装置１０の詳細な構成が示されている。図示されているように、運転者状態監視装置１０は、ＣＰＵ１２を中心として、主に上述した近赤外光カメラ１１、特徴点抽出アルゴリズムを含むプログラムが記憶されているＲＯＭ１３、ＣＰＵ１４の作業領域であるとともに近赤外光カメラ１１によって撮像された運転者の顔面画像が記憶されるＲＡＭ１４、所定の情報が出力されるディプレイやスピーカー等の出力装置１５が、バス１６を介して接続されている。運転者状態監視装置１０では、ＣＰＵ１２が特徴点抽出アルゴリズムを含むプログラムを実行することによって、運転者の状態を検出するとともに該状態に対応して所定の情報を出力する処理（運転者状態対応処理）が行われる。

Ａ−２．運転者状態対応処理 ：
図３には、運転者状態監視装置１０のＣＰＵ１２が実行する運転者状態対応処理のフローチャートが示されている。ＣＰＵ１２は、運転者状態対応処理を開始すると、近赤外光カメラ１１を利用して運転者の顔面を撮像するとともに、撮像された顔面画像をＲＡＭ１４に記憶する（Ｓ１００）。続いて、ＲＡＭ１４に記憶された顔面画像を読み出して、読み出した顔面画像から特徴点を抽出するための特徴点抽出処理を行う（Ｓ１０２）。

図４には、顔面画像から特徴点が抽出される様子が概念的に示されている。図示されるように、特徴点抽出処理では、特徴点抽出アルゴリズムに基づく処理を行うことによって、顔面画像から特徴点を抽出する。特徴点としては、顔面画像上の顔面の各部位（目、まぶた、瞳、鼻、口など）が抽出される。

こうして、特徴点抽出処理で特徴点を抽出したら（図３のＳ１０２）、状態判定処理を行う（Ｓ１０４）。状態判定処理では、抽出された特徴点に基づき顔面の各部位の位置（座標）を検出し、各部位の位置の変化に基づき運転手の状態を判定する。例えば、まぶたが所定時間以上閉じられた状態であるか否かを判定する。

こうして、状態判定処理で運転手の状態を判定したら（Ｓ１０４）、出力処理を行う（Ｓ１０６）。出力処理では、出力装置１５を用いて、判定した運転手の状態に対応する出力を行う。例えば、運転手の状態が居眠り状態であると判定したら、出力装置１５から警報を出力する。

以上のように、運転者状態監視装置１０では、運転者の状態を判定するとともに判定した運転者の状態に対応する出力を行うことで、運転者の運転を支援している。ここで、運転者の状態は特徴点に基づき判定されることから、運転者の状態の判定精度は特徴点の抽出精度に大きく依拠する。したがって、特徴点を抽出するための特徴点抽出アルゴリズムは、特徴点の抽出精度を高めるために日々改良が重ねられている。しかし、この改良した特徴点抽出アルゴリズムの評価にはたいへんな手間が掛かるものであった。以下では、このような課題を解決する「特徴点抽出アルゴリズム評価装置」について説明する。

Ｂ．特徴点抽出アルゴリズム評価装置 ：
Ｂ−１．装置構成 ：
図５には、本実施例の特徴点抽出アルゴリズム評価装置の構成が示されている。図示されるように、本実施例の特徴点抽出アルゴリズム評価装置２０は、特徴点抽出アルゴリズムを評価するための処理を行うＣＰＵ２３、この処理を行うためのプログラムが記憶されているＲＯＭ２４、ＣＰＵ２３の作業領域であるＲＡＭ２５、特徴点抽出アルゴリズムの評価結果が出力されるディスプレイ等の表示装置２６が、バス２７を介して接続されている。また、バス２７には、ＳＤＲＡＭ３０用のインターフェース２２が接続されている。インターフェース３０には、ＳＤＲＡＭ３０を接続することが可能であり、ＳＤＲＡＭ３０の記憶内容は、ＳＤＲＡＭ３０がインターフェース２２に接続されることによってＣＰＵ２３から読み取ることが可能となる。ここで、ＳＤＲＡＭ３０には、特徴点抽出アルゴリズムの評価を行うための顔面画像（以下「評価用画像」という）が記憶されている。以下では、この評価用画像について説明する。

図６には、評価用画像を撮像する様子が示されている。本実施例の特徴点抽出アルゴリズム評価装置２０では、評価用画像として、近赤外光カメラ３１および可視光カメラ３２で撮像した顔面画像を使用する。これらのカメラのうち、近赤外光カメラ３１は、上述した運転者状態監視装置１０の一部として車両１００に搭載される近赤外光カメラ１１と同様に、近赤外光を用いて撮像するカメラである。また、可視光カメラ３２は、可視光を用いて撮像するカメラである。

撮像対象となる顔面には、特徴点抽出アルゴリズムが特徴点として抽出すべき位置、すなわち、顔面の各部位に対応する位置にマーカーが付されている。マーカーとしては、特定色を呈する（可視光の波長域の少なくとも一部の反射率が顔面と異なる）が、近赤外光の波長では顔面の肌の部分と等しい反射率を有する材質が用いられる。例えば、このような材質から成る塗料や、テープ等が用いられる。「近赤外光の波長では顔面の肌の部分と等しい反射率」を有する材質としては、近赤外光カメラ３１で撮像された評価用画像（以下「近赤外画像」という）において、マーカーの位置に対応する画素の情報（近赤外光の輝度情報）と肌の位置に対応する画素の情報（近赤外光の輝度情報）との差異が第１所定値以下となる材質であればよい。また、「特定色を呈する」材質としては、可視光カメラ３２で撮像された評価用画像（以下「可視画像」という）において、マーカーの位置に対応する画素の情報（特定色を示す情報）と肌の位置に対応する画素の情報（肌色を示す情報）との差異が第２所定値以上となる材質であればよい。

図７には、近赤外画像および可視画像の一例が示されている。図示されるように、近赤外画像においては、マーカーの位置に対応する画素の情報と肌の位置に対応する画素の情報とが同様であり、可視画像においては、マーカーの位置に対応する画素の情報と肌の位置に対応する画素の情報とが異なっている。

「近赤外光カメラ３１による近赤外画像の撮像」と「可視光カメラ３２による可視画像の撮像」とは同じタイミング（０．１秒以内）で複数回に亘って行われる。そして、同じタイミングで撮像された近赤外画像および可視画像は互いに対応付けられてＳＤＲＡＭ３０に記憶される。図８には、ＳＤＲＡＭ３０に記憶された近赤外画像および可視画像が概念的に示されている。図示されるように、近赤外画像および可視画像は、撮像タイミング毎に通し番号が付されて記憶されている。こうして、ＳＤＲＡＭ３０に評価用画像（近赤外画像および可視画像）を記憶させたら、ＳＤＲＡＭ３０をインターフェース２２に接続し（図５参照）、該評価用画像を利用して特徴点抽出アルゴリズムの評価を行う。

Ｂ−２．特徴点抽出アルゴリズム評価処理 ：
図９には、特徴点抽出アルゴリズム評価装置２０のＣＰＵ２３が実行する特徴点抽出アルゴリズム評価処理のフローチャートが示されている。ＣＰＵ２３は、特徴点抽出アルゴリズム評価処理を開始すると、評価用画像の通し番号（図８参照）を示す代数ｎに１を代入する（Ｓ２００）。続いて、通し番号ｎ（ここでは通し番号「１」）の近赤外画像を読み出す（Ｓ２０２）。そして、特徴点抽出アルゴリズム評価装置２０の評価対象である「特徴点抽出アルゴリズム」を利用して、読み出した近赤外画像から複数の特徴点（近赤外画像上の座標）を抽出する（Ｓ２０３）。すなわち、図１〜図４を用いて前述した運転者状態監視装置１０の一部として当該「特徴点抽出アルゴリズム」が搭載される場合と同様に、実際に当該「特徴点抽出アルゴリズム」を利用して、近赤外画像から複数の特徴点を抽出する。

続いて、今度は、通し番号ｎ（ここでは通し番号「１」）の可視画像を読み出す（Ｓ２０６）。そして、読み出した可視画像中のマーカー位置に対応する画像に基づいて、複数の特徴点（可視画像上の座標）を抽出する（Ｓ２０８）。ここで、図６を用いて前述したように、マーカーは、特徴点抽出アルゴリズムが特徴点として抽出すべき位置、すなわち、顔面の各部位に対応する位置に付されている。また、図７を用いて前述したように、可視画像においては、マーカーの位置（顔面の各部位）に対応する画素の情報と、肌の位置に対応する画素の情報との差異が第２所定値以上である。したがって、Ｓ２０８の処理では、一般的なエッジ検出等の処理を行うことによって、マーカー位置に対応する画素に基づいて（特定色に基づいて）、特徴点抽出アルゴリズムが特徴点として抽出すべき位置が特徴点として正確に抽出される。尚、以下では、近赤外画像から「特徴点抽出アルゴリズム」を利用して抽出される特徴点を「評価抽出点」と称し、可視画像から抽出される特徴点を「基準特徴点」と称する。

こうして、近赤外画像から複数の評価特徴点を抽出するとともに（Ｓ２０４）、可視画像から複数の基準特徴点を抽出したら（Ｓ２０８）、複数の評価特徴点と複数の基準特徴点とを互いに比較する（Ｓ２１０）。

図１０には、評価特徴点と基準特徴点とを比較する様子が概念的に示されている。図示されるように、本実施例の特徴点抽出アルゴリズム評価装置２０では、評価対象となる「特徴点抽出アルゴリズム」を利用して近赤外画像から複数の評価特徴点を抽出する。また、当該近赤外画像と同じタイミングで撮像された可視光画像から複数の基準特徴点を抽出する。そして、図９のＳ２１０の処理で、近赤外画像から抽出された複数の評価特徴点それぞれについて、可視光画像から抽出された基準特徴点に一致しているか否かを判断する。尚、この判断処理は、各基準特徴点に基づく座標範囲（領域）を設定し、この設定された各座標範囲に各評価特徴点が含まれるか否かを判断することによって行われる。

続いて、通し番号ｎが付された近赤外画像から抽出された全ての評価特徴点のうち基準特徴点に一致しなかった評価特徴点の割合（以下「評価特徴点誤り率」という）を演算する（Ｓ２１２）。ここで、評価特徴点は特徴点抽出アルゴリズムを用いて抽出されることから、「評価特徴点誤り率」は、通し番号ｎが付された近赤外画像に対しての「特徴点抽出アルゴリズムによる特徴点の抽出精度」を示している。

こうして、通し番号ｎが付された近赤外画像における「評価特徴点誤り率」を演算したら、通し番号ｎが最後の番号であるか否か、すなわち、他にも評価用画像が記憶されているか否かを判断する。その結果、他にも評価用画像が記憶されている場合は（Ｓ２１４：ｙｅｓ）、通し番号ｎに１を加算することで、次の通し番号の評価用画像に対して、上述したＳ２０２〜Ｓ２１２の処理を行う。そして、Ｓ２０２〜Ｓ２１２の処理を繰り返しているうちに、全ての近赤外画像について「評価特徴点誤り率」が演算されたら（Ｓ２１４：ｎｏ）、これらの「評価特徴点誤り率」を評価結果として表示装置２６に出力する処理を行う（Ｓ２２０）。

図１１には、評価結果の出力態様の一例が示されている。図示されるように、本実施例の特徴点抽出アルゴリズム評価装置では、評価結果として、撮像タイミング（通し番号）毎の「評価特徴点誤り率」が折れ線グラフで示されている。当然ながら、評価特徴点誤り率が低い方が評価対象である特徴点抽出アルゴリズムの特徴点の抽出精度が高く、評価特徴点誤り率が高い方が該抽出精度が低い。また、図示されるように、しきい値となる評価特徴点誤り率（図中「ｔｈ％」、例えば９０％）を設け、それより評価特徴点誤り率が高い撮像タイミング（通し番号）、すなわち、近赤外画像を示す情報が示されている（図中の範囲「Ｅ」）。このような評価結果を出力することにより、図９のＳ２０４の処理で用いた特徴点抽出アルゴリズム（すなわち、評価対象である特徴点抽出アルゴリズム）の特徴点の抽出精度を、評価者が確認することが可能となる。

以上のように、本実施例の特徴点抽出アルゴリズム評価装置２０は、顔面に付されたマーカーは近赤外光の波長では顔面の肌部分と等しい反射率を有することから、近赤外画像においては、マーカーに対応する画素の情報（近赤外光の輝度情報）とその周辺（例えば肌に対応する部分）の画素の情報（近赤外光の輝度情報）との差異がない。したがって、近赤外画像からは、マーカーに対応する画素に基づくことなく（すなわち、図１〜図４を用いて前述した運転者状態監視装置１０において、マーカーが付されていない顔面を近赤外画像として撮像した場合と同様に）、特徴点抽出アルゴリズム評価装置２０の評価対象となる「特徴点抽出アルゴリズム」に基づき評価特徴点が抽出される。

これに対して、顔面に付されたマーカーは特定色を呈することから、可視画像においては、マーカーに対応する画素の情報（特定色を示す情報）とその他の画素の情報（肌色を示す情報）とは異なる。したがって、マーカーに対応する画素に基づき基準特徴点を抽出することができる。ここで、マーカーは特徴点抽出アルゴリズム評価装置２０の評価対象となる「特徴点抽出アルゴリズム」が特徴点として抽出すべき位置に付されている。したがって、マーカーに対応する画素に基づき基準特徴点が抽出されることで、特徴点抽出アルゴリズム評価装置２０の評価対象となる「特徴点抽出アルゴリズム」が特徴点として抽出すべき位置が基準特徴点として正確に抽出される。

そして、以上のような「特徴点抽出アルゴリズム評価装置２０の評価対象となる特徴点抽出アルゴリズムに基づき抽出された評価特徴点」と「特徴点抽出アルゴリズム評価装置２０の評価対象となる特徴点抽出アルゴリズムが特徴点として抽出すべき基準特徴点」とを比較して、その比較結果を出力する。したがって、出力された比較結果を確認することで、手間を抑制するとともに迅速に特徴点抽出アルゴリズムの評価を行うことが可能となる。

また、本実施例の特徴点抽出アルゴリズム評価装置２０は、１つの近赤外画像から複数の評価特徴点を抽出し、１つの可視画像から複数の基準特徴点を抽出する。そして、複数の評価特徴点のうち基準特徴点に一致しなかった評価特徴点の割合を示す評価特徴点誤り率を演算して表示装置２６に出力する。

したがって、１つの近赤外画像において、複数の「特徴点抽出アルゴリズム評価装置２０の評価対象となる特徴点抽出アルゴリズムに基づき抽出された評価特徴点」のうち、「特徴点抽出アルゴリズム評価装置２０の評価対象となる特徴点抽出アルゴリズムが特徴点として抽出すべき基準特徴点」に一致なかった基準特徴点の割合を確認することができるので、１つの近赤外画像における特徴点抽出アルゴリズムの特徴点の抽出精度を確認することが可能となる。この結果、特徴点抽出アルゴリズムの評価を詳細に行うことが可能となる。

また、本実施例の特徴点抽出アルゴリズム評価装置２０は、複数の近赤外画像と複数の可視画像を記憶し、複数の近赤外画像のうち、評価特徴点誤り率が所定値より大きい近赤外画像の撮像タイミング（通し番号）を出力する。

したがって、複数の近赤外画像のうち、評価特徴点が基準特徴点に一致しなかった割合が大きい近赤外画像、すなわち、特徴点抽出アルゴリズム評価装置２０の評価対象となる「特徴点抽出アルゴリズム」による特徴点の抽出精度が低い近赤外画像を確認することができる。この結果、特徴点抽出アルゴリズムの評価をさらに詳細に行うことが可能となる。

Ｃ．変形例 ：
図１２には、変形例の特徴点抽出アルゴリズム評価装置４０の構成が示されている。図５と比較すると明らかなように、変形例の特徴点抽出アルゴリズム評価装置４０は、インターフェース２２やＳＤＲＡＭ３０を備えておらず、ＣＰＵ４３、ＲＯＭ４３、ＲＡＭ４５、表示装置４６、バス４７の他に、近赤外光を用いて撮像する近赤外光カメラ４８と、可視光を用いて撮像する可視光カメラ４９とを備えている。すなわち、変形例の特徴点抽出アルゴリズム評価装置４０は、近赤外画像および可視画像を撮像可能な構成となっている。

変形例の特徴点抽出アルゴリズム抽出処理を開始すると、ＣＰＵ４３は、近赤外光カメラ４８に近赤外画像を撮像させるとともに、この撮像と同じタイミングで可視光カメラ４９に可視画像を撮像させる。このとき撮像された近赤外画像および可視画像は、ＲＡＭ４５の所定アドレスに記憶される。続いて、今回撮像された近赤外画像を読み出す。そして、図９のＳ２０４の処理と同様に、評価対象である特徴点抽出アルゴリズムを利用して、読み出した近赤外画像から評価特徴点を抽出する。

次に、今回撮像された可視光画像を読み出す。そして、図９のＳ２０８と同様に、マーカー部分に基づき、読み出した可視画像から基準特徴点を抽出する。続いて、図９のＳ２１０〜Ｓ２１２の処理と同様に、評価特徴点と基準特徴点とを比較して、評価特徴点誤り率を演算する。その後、演算した評価特徴点誤り率を評価結果として出力する。すなわち、変形例の特徴点抽出アルゴリズム評価装置４０では、評価特徴点誤り率を演算するたびに該評価特徴点誤り率を評価結果として出力する。こうして、評価結果を出力したら、上述した処理を繰り返す。尚、評価結果を出力する構成としては、評価特徴点誤り率を示す数字を表示する構成や、評価特徴点誤り率を演算するたび、該評価特徴点誤り率に対応するグラフ部分を加えて表示する構成（例えば、図１１に示す折れ線グラフが延びていく構成）等が例示できる。

以上のように本変形例の特徴点抽出アルゴリズム評価装置４０は、近赤外光カメラ４８および可視光カメラ４９を備える。したがって、近赤外画像および可視画像を別途用意する必要がなく、近赤外画像および可視画像を撮像するたびに特徴点抽出アルゴリズムの評価を行うことができる。この結果、手間を更に抑制するとともに、更に迅速に、特徴点抽出アルゴリズムの評価を行うことが可能となる。

尚、本実施例の近赤外光カメラ３１および本変形例の近赤外光カメラ４８は、所定の特定色を呈するが、近赤外光の波長では顔面の肌の部分と等しい反射率を有するマーカーが、特徴点に付されたマーカー付の顔面を、近赤外光を用いて撮像する。したがって、近赤外光カメラ３１および本変形例の近赤外光カメラ４８は、本発明における「第１撮像手段」に対応している。また、本実施例の可視光カメラ３２および本変形例の可視光カメラ４９は、マーカー付の顔面の可視光画像（カラー画像）を撮像することから、本発明における「第２撮像手段」に対応している。また、本実施例のＳＤＲＡＭ３０および本変形例のＲＡＭ４５は、近赤外画像および可視光画像（カラー画像）を記憶することから、本発明における「第１記憶手段」および「第２記憶手段」に対応している。

また、本実施例のＣＰＵ２３および本変形例のＣＰＵ４３は、近赤外画像から特徴点抽出アルゴリズムを用いて抽出した評価特徴点（第１特徴点）と、可視光画像（カラー画像）から特定色に基づいて抽出した基準特徴点（第２特徴点）とを比較することによって、次のように特徴点抽出アルゴリズムを評価することから、本発明における「評価手段」に対応している。すなわち、近赤外画像における複数の評価特徴点（第１特徴点）の各々について、各評価特徴点（第１特徴点）に対応する基準特徴点に基づく所定の座標範囲内（第２特徴点から所定の距離以内）に存在するか否かを判断し、複数の評価特徴点（第１特徴点）のうち、基準特徴点に基づく所定の座標範囲内（第２特徴点から所定の距離以内）に存在しない（存在する）評価特徴点（第１特徴点）の割合である評価特徴点誤り率（画像毎精度）を表示装置２６，４６に出力する（に基づいて特徴点抽出アルゴリズムを評価する）。また、複数の近赤外画像のうち、評価特徴点誤り率（画像毎精度）が所定の値より低い（高い）近赤外画像の割合（図１１の範囲「Ｅ」）を表示装置２６，４６に出力する（に基づいて特徴点抽出アルゴリズムを評価する）。

以上、本実施例の特徴点抽出アルゴリズム評価装置２０および本変形例の特徴点抽出アルゴリズム評価装置４０について説明したが、本発明は上記の実施例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することができる。

例えば、上述した実施例における特徴点抽出アルゴリズム評価装置２０または本変形例の特徴点抽出アルゴリズム評価装置４０は、図５を用いて前述した構成を有するパーソナルコンピュータであってもよいし、特徴点抽出アルゴリズム評価用の組み込み装置であってもよい。

また、上述した実施例および変形例において、近赤外光カメラ３１，４８と可視光カメラ３２，４９との画角の相違により、可視画像から抽出される特徴点と特徴点抽出アルゴリズムが抽出すべき特徴点との位置に「ズレ」が生じる場合は、可視画像から抽出される特徴点の位置を補正することにより、基準特徴点を得ることとしてもよい。

また、上述した実施例および変形例では、近赤外光カメラ３１で近赤外画像を撮像し、可視光カメラ３２で可視画像を撮像することとしたが、近赤外光の受光素子および可視光の受光素子の両方を備えるカメラで近赤外画像および可視画像を撮像する構成としてもよい。このような構成にした場合は、近赤外画像および可視画像を同じタイミングで撮像することが容易になるとともに、上述した近赤外光カメラ３１，４８と可視光カメラ３２，４９との画角の相違による「ズレ」の発生を抑制することが可能となる。

２０…特徴点抽出アルゴリズム評価装置、 ２２…インターフェース、
２３…ＣＰＵ、 ２４…ＲＯＭ、２５…ＲＡＭ、２６…表示装置、
３０…ＳＤＲＡＭ、２７…バス、 ４０…特徴点抽出アルゴリズム評価装置、
４３…ＣＰＵ、 ４４…ＲＯＭ、４５…ＲＡＭ、
４６…表示装置、 ４７…バス、 ４８…近赤外光カメラ、４９…可視光カメラ

Claims (5)

1. 近赤外光を用いて人間の顔面を撮像した画像から特徴点を抽出するアルゴリズムの評価に用いられる特徴点抽出アルゴリズム評価装置であって、
   所定の特定色を呈するが、前記近赤外光の波長では前記顔面の肌の部分と等しい反射率を有するマーカーが、前記特徴点に付されたマーカー付の前記顔面を、前記近赤外光を用いて撮像する第１撮像手段と、
   前記第１撮像手段によって得られた近赤外画像を記憶する第１記憶手段と、
   前記マーカー付の顔面のカラー画像を撮像する第２撮像手段と、
   前記第２撮像手段によって得られた前記カラー画像を記憶する第２記憶手段と、
   前記近赤外画像から前記アルゴリズムを用いて抽出した前記特徴点である第１特徴点と、前記カラー画像から前記特定色に基づいて抽出した前記特徴点である第２特徴点とを比較することによって、前記アルゴリズムを評価する評価手段と
   を備える特徴点抽出アルゴリズム評価装置。
2. 近赤外光を用いて人間の顔面を撮像した画像から特徴点を抽出するアルゴリズムの評価に用いられる特徴点抽出アルゴリズム評価装置であって、
   所定の特定色を呈するが、前記近赤外光の波長では前記顔面の肌の部分と等しい反射率を有するマーカーが、前記特徴点に付されたマーカー付の前記顔面を、近赤外光を用いて撮像することで得られた近赤外画像を記憶する第１記憶手段と、
   前記マーカー付の顔面のカラー画像を記憶する第２記憶手段と、
   前記近赤外画像から前記アルゴリズムを用いて抽出した前記特徴点である第１特徴点と、前記カラー画像から前記特定色に基づいて抽出した前記特徴点である第２特徴点とを比較することによって、前記アルゴリズムを評価する評価手段と
   を備える特徴点抽出アルゴリズム評価装置。
3. 請求項１または請求項２に記載の特徴点抽出アルゴリズム評価装置であって、
   前記評価手段は、前記近赤外画像における複数の前記第１特徴点の各々について、各前記第１特徴点に対応する前記第２特徴点から所定の距離以内に存在するか否かを判断し、前記複数の第１特徴点のうち、前記第２特徴点から所定の距離以内に存在する前記第１特徴点の割合である画像毎精度に基づいて、前記アルゴリズムを評価する手段である特徴点抽出アルゴリズム評価装置。
4. 請求項３に記載の特徴点抽出アルゴリズム評価装置であって、
   前記評価手段は、複数の前記近赤外画像のうち、前記画像毎精度が所定の値より高い前記近赤外画像の割合に基づいて、前記アルゴリズムを評価する手段である特徴点抽出アルゴリズム評価装置。
5. 近赤外光を用いて人間の顔面を撮像した画像から特徴点を抽出するアルゴリズムの評価に用いられる特徴点抽出アルゴリズム評価方法であって、
   所定の特定色を呈するが、前記近赤外光の波長では前記顔面の肌の部分と等しい反射率を有するマーカーが、前記特徴点に付されたマーカー付の前記顔面を、前記近赤外光を用いて第１撮像手段で撮像する工程と、
   前記第１撮像手段によって得られた近赤外画像を記憶する工程と、
   前記マーカー付の顔面のカラー画像を第２撮像手段で撮像する工程と、
   前記第２撮像手段によって得られた前記カラー画像を記憶する工程と、
   前記近赤外画像から前記アルゴリズムを用いて抽出した前記特徴点である第１特徴点と、前記カラー画像から前記特定色に基づいて抽出した前記特徴点である第２特徴点とを比較することによって、前記アルゴリズムを評価する工程と
   を備える特徴点抽出アルゴリズム評価方法。

Images