JP2010003116A - 対象物判定装置及びプログラム - Google Patents

Abstract

【課題】対象物がマスクやサングラスなどの装着物を装着しているか否かを信頼性高く判定することができる対象物判定装置及びプログラムを提供する。
【解決手段】撮像して得られた画像が表す対象物について、マスクを装着した対象物の画像およびマスクを装着していない対象物の画像に反応するように学習した機械学習システムを用いて対象物らしさを示す尤度値ｐ１を算出し（Ｓ１０４）、マスクを装着した対象物の画像に反応するように学習した機械学習システムを用いてマスクを装着した対象物らしさを示す尤度値ｐ２を算出し（Ｓ１０６）、マスクを装着していない対象物の画像に反応するように学習した機械学習システムを用いてマスクを装着していない対象物らしさを示す尤度値ｐ３を算出し（Ｓ１０８）、該算出された３つの尤度値ｐ１、ｐ２、ｐ３に基づいて、該撮像されて得られた画像が表す対象物がマスクを装着しているか否かを判定する（Ｓ１１０）。
【選択図】図４

Description

本発明は、対象物判定装置及びプログラムに関し、特に、対象物が装着物を装着しているか否かを判定する対象物判定装置及びプログラムに関する。

顔画像から抽出される口や鼻などの顔特徴量を用いて顔向きや、瞬き、視線などの対象者の顔状態量を推定する場合において、対象者がマスクやサングラスなどを装着していると、前記顔状態量を正しく推定できない。顔への装着物を考慮して顔向きを推定する方法として、例えば下記特許文献１に記載された技術がある。この技術では顔画像から目、口、鼻などの特徴点の抽出を行い顔向きを推定するが、目の特徴点が所定回抽出できない場合はサングラスを装着していると判定し、サングラス上の画像特徴を用いて顔向きを推定している。また鼻と口の特徴量が所定回抽出できない場合は、マスクを装着していると判定して、マスク上の画像特徴を用いて顔向きの推定を行なっている。
特開２００３−２９６７１２号公報

上記従来の技術では、目、鼻、口の特徴量が抽出できない場合にそれぞれサングラス、マクスを装着していると判定しているが、例えば、車両を運転する運転者の顔向きの推定を行なう場合には、実際の走行環境において、周辺照明環境の変動による顔画像上での局所的明るさ変化や、対象者の顔姿勢などにより目、鼻、口の特徴が未検出となる場合が頻繁に発生する。このため、サングラスやマスクを装着していないにもかかわらず、目や鼻、口が検出できないことからサングラス、マスクを装着していると判定してしまい、それによって本来存在しないサングラス、マスクの特徴点から顔向きなどの状態量を推定することとなり、結果的に正しい状態量は得られず、逆に非常に誤差の大きい状態量を算出してしまう、という問題が発生する。

本発明は、上述した問題を解決するために提案されたものであり、対象物がマスクやサングラスなどの装着物を装着しているか否かを信頼性高く判定することができる対象物判定装置及びプログラムを提供することを目的とする。

上記目的を達成するために、請求項１の発明の対象物判定装置は、対象物を撮像するための撮像手段と、前記撮像手段で撮像されて得られた画像が表す対象物について、前記撮像手段で撮像されて得られた画像と、装着物を装着した対象物の画像および前記装着物を装着していない対象物の画像に反応するように学習した機械学習システムとを用いて対象物らしさを示す第１尤度値を算出し、前記撮像手段で撮像されて得られた画像と、前記装着物を装着した対象物の画像に反応するように学習した機械学習システムとを用いて前記装着物を装着した対象物らしさを示す第２尤度値を算出し、前記撮像手段で撮像されて得られた画像と、前記装着物を装着していない対象物の画像に反応するように学習した機械学習システムとを用いて前記装着物を装着していない対象物らしさを示す第３尤度値を算出する尤度値算出手段と、前記尤度値算出手段で算出された第１尤度値、第２尤度値、及び第３尤度値に基づいて、前記撮像手段で撮像されて得られた画像が表す対象物が前記装着物を装着しているか否かを判定する判定手段と、を含んで構成されている。

このように、装着物を装着した対象物の画像および装着物を装着していない対象物の画像に反応するように学習した機械学習システムと、装着物を装着した対象物の画像に反応するように学習した機械学習システムと、装着物を装着していない対象物の画像に反応するように学習した機械学習システムとを用いて３つの尤度値を求め、この３つの尤度値に基づいて対象物が装着物を装着しているか否かを判定するようにしたため、装着物の装着の有無を信頼性高く判定することができる。特に３種類の異なる機械学習システムから求められた尤度値を評価基準に用いることで、１種類の機械学習システムを用いる場合よりもより誤検出を少なくすることができる。

請求項２の発明の対象物判定装置は、対象物を撮像するための撮像手段と、前記撮像手段で撮像されて得られた画像から、前記対象物が装着物を装着していると仮定したときに該装着物が存在すると推定される予め定められた領域を抽出する抽出手段と、前記撮像手段で撮像されて得られた画像が表す対象物について、前記抽出手段で抽出された領域の画像と、前記装着物を装着した対象物の画像における前記予め定められた領域の画像および前記装着物を装着していない対象物の画像における前記予め定められた領域の画像に反応するように学習した機械学習システムとを用いて対象物らしさを示す第１尤度値を算出し、前記抽出手段で抽出された領域の画像と、前記装着物を装着した対象物の画像における前記予め定められた領域の画像に反応するように学習した機械学習システムとを用いて前記装着物を装着した対象物らしさを示す第２尤度値を算出し、前記抽出手段で抽出された領域の画像と、前記装着物を装着していない対象物の画像における前記予め定められた領域の画像に反応するように学習した機械学習システムとを用いて前記装着物を装着していない対象物らしさを示す第３尤度値を算出する尤度値算出手段と、前記尤度値算出手段で算出された第１尤度値、第２尤度値、及び第３尤度値に基づいて、前記撮像手段で撮像されて得られた画像が表す対象物が前記装着物を装着しているか否かを判定する判定手段と、を含んで構成されている。

このように、撮像されて得られた画像から、対象物が装着物を装着していると仮定したときに該装着物が存在すると推定される予め定められた領域を抽出し、該抽出した領域の画像と、装着物を装着した対象物の画像における上記予め定められた領域の画像および装着物を装着していない対象物の画像における上記予め定められた領域の画像に反応するように学習した機械学習システムと、装着物を装着した対象物の画像における上記予め定められた領域の画像に反応するように学習した機械学習システムと、装着物を装着していない対象物の画像における上記予め定められた領域の画像に反応するように学習した機械学習システムとを用いて３つの尤度値を求め、この３つの尤度値に基づいて対象物が装着物を装着しているか否かを判定するようにしたため、請求項１に記載の発明と同様に、装着物の装着の有無を信頼性高く判定することができる。また、請求項１に記載の発明の効果に加え、請求項２に記載の発明では、対象物全体の画像ではなく装着物が存在すると推定される予め定められた領域の画像に着目して判定を行なうため、処理時間の短縮につながる。

なお、請求項３に記載の発明のように、請求項１または２記載の対象物判定装置の判定手段は、前記第１尤度値、前記第２尤度値、及び前記第３尤度値の大小関係に基づいて、前記撮像手段で撮像されて得られた画像が表す対象物が前記装着物を装着しているか否かを判定するようにしてもよい。

また、請求項４に記載の発明のように、請求項１または２記載の対象物判定装置の判定手段は、前記第１尤度値と第２尤度値との比、および前記第１尤度値と前記第３尤度値との比に基づいて、前記撮像手段で撮像されて得られた画像が表す対象物が前記装着物を装着しているか否かを判定するようにしてもよい。

請求項５の発明のプログラムは、コンピュータに、対象物を撮像するための撮像手段で撮像されて得られた画像が表す対象物について、前記撮像手段で撮像されて得られた画像と、装着物を装着した対象物の画像および前記装着物を装着していない対象物の画像に反応するように学習した機械学習システムとを用いて対象物らしさを示す第１尤度値を算出する第１尤度値算出ステップと、前記撮像手段で撮像されて得られた画像が表す対象物について、前記撮像手段で撮像されて得られた画像と、前記装着物を装着した対象物の画像に反応するように学習した機械学習システムとを用いて前記装着物を装着した対象物らしさを示す第２尤度値を算出する第２尤度値算出ステップと、前記撮像手段で撮像されて得られた画像が表す対象物について、前記撮像手段で撮像されて得られた画像と、前記装着物を装着していない対象物の画像に反応するように学習した機械学習システムとを用いて前記装着物を装着していない対象物らしさを示す第３尤度値を算出する第３尤度値算出ステップと、前記算出された第１尤度値、第２尤度値、及び第３尤度値に基づいて、前記撮像手段で撮像されて得られた画像が表す対象物が前記装着物を装着しているか否かを判定する判定ステップと、を実行させるためのプログラムである。

このようなプログラムによっても、請求項１に記載の対象物判定装置と同様に作用するため、請求項１に記載の対象物判定装置と同様の効果が得られる。なお、第１尤度値算出ステップ、第２尤度値算出ステップ、および第３尤度値算出ステップの３つのステップはどのような順序で行なってもよい。

請求項６の発明のプログラムは、コンピュータに、対象物を撮像するための撮像手段で撮像されて得られた画像から、前記対象物が装着物を装着していると仮定したときに該装着物が存在すると推定される予め定められた領域を抽出する抽出ステップと、前記撮像手段で撮像されて得られた画像が表す対象物について、前記抽出された領域の画像と、前記装着物を装着した対象物の画像における前記予め定められた領域の画像および前記装着物を装着していない対象物の画像における前記予め定められた領域の画像に反応するように学習した機械学習システムとを用いて対象物らしさを示す第１尤度値を算出する第１尤度値算出ステップと、前記撮像手段で撮像されて得られた画像が表す対象物について、前記抽出された領域の画像と、前記装着物を装着した対象物の画像における前記予め定められた領域の画像に反応するように学習した機械学習システムとを用いて前記装着物を装着した対象物らしさを示す第２尤度値を算出する第２尤度値算出ステップと、前記撮像手段で撮像されて得られた画像が表す対象物について、前記抽出された領域の画像と、前記装着物を装着していない対象物の画像における前記予め定められた領域の画像に反応するように学習した機械学習システムとを用いて前記装着物を装着していない対象物らしさを示す第３尤度値を算出する第３尤度値算出ステップと、前記算出された第１尤度値、第２尤度値、及び第３尤度値に基づいて、前記撮像手段で撮像されて得られた画像が表す対象物が前記装着物を装着しているか否かを判定する判定ステップと、を実行させるためのプログラムである。

このようなプログラムによっても、請求項２に記載の対象物判定装置と同様に作用するため、請求項２に記載の対象物判定装置と同様の効果が得られる。なお、第１尤度値算出ステップ、第２尤度値算出ステップ、および第３尤度値算出ステップの３つのステップはどのような順序で行なってもよい。

以上説明したように本発明によれば、対象物が装着物を装着しているか否かを信頼性高く判定することができる。

図１は、本発明の実施の形態に係る対象物判定装置１０の概略構成図である。本実施の形態の対象物判定装置１０は、対象物として人物の顔を撮影し、該撮影した人物の顔に装着物（ここではマスク）が装着されているか否かを判定する。

図１に示すように、対象物判定装置１０は、対象者１２を撮影するためのカメラ１４と、画像取り込み装置１６と、画像処理装置１８とから構成される。

画像取り込み装置１６は、画像メモリを備えており、カメラ１４で撮影されて得られた画像データを取り込んで画像メモリに記憶する。また、画像取り込み装置１６は、画像メモリから該画像データを読み出して画像処理装置１８に入力する。

図２は、画像処理装置１８の機能構成図である。

画像処理装置１８は、画像取り込み装置１６から入力された画像データに基づいて対象者１２の顔にマスクが装着されているか否かを判定する処理を行なう装置であって、顔領域検出部２０、尤度算出部２２、および判定部２４を含んで構成されている。

顔領域検出部２０は、画像取り込み装置１６から入力された画像データの画像から、対象者１２の顔の領域を検出する。顔の領域を検出する技術には、様々な技術があるが、本実施の形態では、パターン認識能力の優れた識別器の一種であるニューラルネットワーク（以下、ＮＮ）を用いたH.Rowleyらの顔検出の手法（"Neural Network-based Face Detection", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.20, No.1, 1998, pp.23-38参照）を用いてもよい。ただし、顔領域検出部２０では対象者１２がマスクを装着しているか否かを判断するわけではないため、対象者１２がマスクを装着しているか否かに関わらず対象者１２の顔を検出できるように予めＮＮを学習しておく。

より具体的には、入力層、中間層、及び出力層を連結して構成したＮＮに、既知の入出力データによって連結関係を学習させる。ここでは、バックプロパゲーションと呼ぶ学習手法により、図３（Ａ）に示すように、マスクを装着していない多数の顔画像や、図３（Ｂ）に示すように、さまざまな形状のマスクを装着している多数の顔画像に対してＮＮの出力層が１の信号を出力するように教師信号１を与えて興奮学習を行なう。一方、顔と全く異なる画像（たとえば風景画像など）を非顔画像として多数用意しておき、これらの画像に対しては教師信号０を与えて抑制学習を行う。このＮＮをマスク／非マスク顔反応ＮＮと呼称する。なお、マスク／非マスク顔反応ＮＮの出力値は０から１の範囲の値をとるように学習しておく。

尤度算出部２２は、顔領域検出部２０で検出された領域に対して、マスクの装着の有無に拘わらず顔らしさを示す第１尤度値ｐ１と、マスクを装着した顔らしさを示す第２尤度値ｐ２と、マスクを装着していない顔らしさを示す第３尤度値ｐ３とを算出する。

具体的には、マスクの装着の有無に拘わらず顔らしさを示す第１尤度値ｐ１については、顔領域検出部２０の顔領域検出の際に用いた上記マスク／非マスク顔反応ＮＮを、上記検出した顔領域に適用した場合の出力値を第１尤度値ｐ１とする。従って、第１尤度値ｐ１は、０から１の範囲の値をとる。

また、マスクを装着した顔らしさを示す第２尤度値ｐ２については、マスクを装着した顔の画像に反応するように学習したＮＮ（以下、マスク顔反応ＮＮ）を、顔領域検出部２０で検出された顔領域に適用して算出する。なお、マスク顔反応ＮＮも、上記マスク／非マスク顔反応ＮＮと同様にバックプロパゲーションの方法を用いて、図３（Ｂ）に示したようなさまざまな形状のマスクを装着している多数の顔画像に対して、教師信号を１として、いわゆる興奮学習を行なうと同時に、図３（Ａ）に示したようなマスクを装着していない多数の顔画像に対して教師信号を０として抑制学習を行なう。このような学習を行なうことによって、マスク顔反応ＮＮの出力層がマスクを装着した顔画像に対しては高い出力値を、マスクを装着していない顔画像に対しては低い出力値を出力するようになることが期待できる。なお、マスク顔反応ＮＮの出力値は０から１の範囲の値をとるように学習しておく。本実施の形態では、マスク顔反応ＮＮを顔領域検出部２０で検出された顔領域に適用したときの出力値をそのまま第２尤度値ｐ２として用いる。従って、第２尤度値ｐ２は、０から１の範囲の値をとる。

また、マスクを装着していない顔らしさを示す第３尤度値ｐ３については、マスクを装着していない顔の画像のみに反応するように学習したＮＮ（非マスク顔反応ＮＮ）を、顔領域検出部２０で検出された顔領域に適用して算出する。なお、非マスク顔反応ＮＮも、上記マスク／非マスク顔反応ＮＮと同様にバックプロパゲーションの方法を用いて、図３（Ａ）に示したようなマスクを装着していない多数の顔画像に対して教師信号を１として、興奮学習を行なうと同時に、図３（Ｂ）に示したようなさまざまな形状のマスクを装着している多数の顔画像に対して、教師信号を０として抑制学習を行なう。このような学習を行なうことによって、非マスク顔反応ＮＮの出力層がマスクを装着していない顔画像に対しては高い出力値を、マスクを装着した顔画像に対しては低い出力値を出力するようになることが期待できる。なお、非マスク顔反応ＮＮの出力値は０から１の範囲の値をとるように学習しておく。本実施の形態では、非マスク顔反応ＮＮを顔領域検出部２０で検出された顔領域に適用したときの出力値をそのまま第３尤度値ｐ３として用いる。従って、第３尤度値ｐ３は、０から１の範囲の値をとる。

判定部２４は、尤度算出部２２で算出された第１尤度値ｐ１、第２尤度値ｐ２、および第３尤度値ｐ３とを用いて、カメラ１４で撮影された画像が表す対象者１２の顔にマスクが装着されているか否かを判定する。

なお、上記説明した画像取り込み装置１６や画像処理装置１８を構成する各構成要素は、ＣＰＵ、ＲＡＭ、ＲＯＭを含んで構成されたコンピュータによって実現される。すなわちＣＰＵが、ＲＯＭや所定の記憶装置に記憶されたプログラムを実行することにより上記各構成要素の機能を実現し、以下に説明する処理が行なわれる。また、各構成要素を別々のコンピュータで構成してもよいし、１つのコンピュータで構成してもよい。

次に、本実施の形態で実行されるマスク装着判定処理の詳細を説明する。

図４は、対象物判定装置１０の画像取り込み装置１６及び画像処理装置１８により行なわれるマスク装着判定処理の流れを示すフローチャートである。

まず、ステップＳ１００では、画像取り込み装置１６が、カメラ１４で撮像されて得られた画像データを取り込んで一旦画像メモリに記憶する。そして画像メモリから画像データを読みだして画像処理装置１８の顔領域検出部２０に入力する。ステップＳ１０２では、顔領域検出部２０が、画像取り込み装置１６から入力された画像データが表す画像から、マスク／非マスク顔反応ＮＮを用いて顔領域を検出する。

ステップＳ１０４では、尤度算出部２２が、顔領域検出部２０で検出された顔領域に対してマスク／非マスク顔反応ＮＮを適用して第１尤度値ｐ１を算出する。前述したように、マスク／非マスク顔反応ＮＮは、マスクの装着の有無に拘わらず顔画像に対しては１が出力されるように、それ以外の画像に対しては０が出力されるように学習されているため、第１尤度値ｐ１は０から１の範囲の数値となる。

ステップＳ１０６では、尤度算出部２２が、顔領域検出部２０で検出された顔領域に対してマスク顔反応ＮＮを適用して第２尤度値ｐ２を算出する。前述したように、マスク顔反応ＮＮは、マスクを装着した顔画像に対しては１が出力されるように、それ以外の画像に対しては０が出力されるように学習されているため、第２尤度値ｐ２は０から１の範囲の数値となり、マスクを装着した顔画像に適用したときの第２尤度値ｐ２のほうがマスクを装着していない顔画像に適用したときの第２尤度値ｐ２に比べて値が大きくなることが期待できる。

ステップＳ１０８では、尤度算出部２２が、顔領域検出部２０で検出された顔領域に対して非マスク顔反応ＮＮを適用して第３尤度値ｐ３を算出する。前述したように、非マスク顔反応ＮＮは、マスクを装着していない顔画像に対しては１が出力されるように、それ以外の画像に対しては０が出力されるように学習されているため、第３尤度値ｐ３も０から１の範囲の数値となり、マスクを装着していない顔画像に適用したときの第３尤度値ｐ３のほうがマスクを装着している顔画像に適用したときの第３尤度値ｐ３に比べて値が大きくなることが期待できる。

ステップＳ１１０では、判定部２４が、第１尤度値ｐ１、第２尤度値ｐ２、および第３尤度値ｐ３に基づいて、対象者１２がマスクを装着しているか否かを判定する。

対象とする顔画像がマスクを装着している場合には、第２尤度値ｐ２は１に近い値となり、第３尤度値ｐ３は０に近い値になるものと期待できる。一方、第１尤度値Ｐｌはマスクを装着した顔画像と装着していない顔画像の両方に反応するように学習したマスク／非マスク顔反応ＮＮの出力であるため、第２尤度値ｐ２ほどには高い値ではないが（または第２尤度値ｐ２と同じ程度の値になる可能性もある）、第３尤度値ｐ３に比べれば大きな値になるものと期待できる。そこで、判定部２４は、第１尤度値ｐ１、第２尤度値ｐ２、第３尤度値ｐ３が下記式（１）に示した大小関係を満たす場合は、検出された顔はマスクを装着していると判定する。

ｐ２≧ｐ１＞ｐ３ ・・・（１）

一方、対象とする顔画像がマスクを装着していない場合には、第２尤度値ｐ２は０に近い値であり、第３尤度値ｐ３は１に近い値になり、第１尤度値Ｐｌについては前述の場合と同様に第３尤度値ｐ３ほどには高い値ではないが（または第３尤度値ｐ３と同じ程度の値になる可能性もある）、第２尤度値ｐ２に比べれば大きな値になるものと期待できる。そこで、判定部２４は、第１尤度値ｐ１、第２尤度値ｐ２、第３尤度値ｐ３が下記式（２）に示した大小関係を満たす場合は、検出された顔はマスクを装着していないと判定する。

ｐ３≧ｐ１＞ｐ２ ・・・（２）

また、第１尤度値ｐ１、第２尤度値ｐ２、および第３尤度値ｐ３の大小関係が、式（１）および（２）のどちらも満たさない場合には、マスクの有無を判定するには十分な確度がないと判断しで、判定を保留する。

このようにマスクの装着の有無に関わらず顔画像に反応するマスク／非マスク顔反応ＮＮと、マスクを装着した顔画像のみに反応するマスク顔反応ＮＮと、マスクを装着していない顔画像のみに反応する非マスク顔反応ＮＮの３つを用いて３つの尤度値を求め、３つの尤度値の大小を比較することで、より確からしい判定をすることができ誤検出を低く抑えることができる。

マスク装着判定処理の判定結果は、例えば、顔状態の推定処理を行なう場合に利用できる。例えば、マスクを装着していると判定された場合には、画像から口や鼻の特徴量の検出は困難であるため、他の特徴量を用いた顔状態の推定処理を行なえば良く、マスクを装着している場合としていない場合とで効率的に処理手順を切り替えることで安定した顔状態推定が実現できる。

なお、ここでは、第１尤度値ｐ１、第２尤度値ｐ２、および第３尤度値ｐ３の大小関係に基づいてマスク装着の有無を判定する例について説明したが、第１尤度値ｐ１と第２尤度値ｐ２との比、および第１尤度値ｐ１と第３尤度値ｐ３との比に基づいてマスク装着の有無を判定するようにしてもよい。

具体的には、まず、第１尤度値ｐ１と第２尤度値ｐ２との比ｒ１を以下の式（３）により求め、第１尤度値ｐ１と第３尤度値ｐ３との比ｒ２を以下の式（４）により求める。
ｒ１＝第２尤度値ｐ２／第１尤度値ｐ１ ・・・（３）
ｒ２＝第１尤度値ｐ１／第３尤度値ｐ３ ・・・（４）

そして、以下の関係式（５）を満たすか否かを判断する。
ｒ１＞ｔｈ１ かつ ｒ２＞ｔｈ２ ・・・（５）

ここでｔｈ１、ｔｈ２は判定のための閾値であり、０＜ｔｈ１≦ｔｈ２の関係を有する。関係式（５）を満たす場合には、検出された顔画像はマスクを装着している顔と判定する。

同様に、第１尤度値ｐ１と第２尤度値ｐ２との比ｒ３を以下の式（６）により求め、第１尤度値ｐ１と第３尤度値ｐ３との比ｒ４を以下の式（７）により求める。
ｒ３＝第３尤度値ｐ３／第１尤度値ｐ１ ・・・（６）
ｒ４＝第１尤度値ｐ１／第２尤度値ｐ２ ・・・（７）

そして、以下の関係式（５）を満たすか否かを判断する。
ｒ３＞ｔｈ３ かつ ｒ４＞ｔｈ４ ・・・（８）

ここで、ｔｈ３、ｔｈ４は、判定のための閾値であり、０＜ｔｈ３≦ｔｈ４の関係を有する。関係式（８）を満たす場合には、検出された顔画像はマスクを装着していない顔と判定する。

なお、（５）、（８）の関係式のいずれにも該当しない場合には、マスクの有無を判定するには十分な確度がないと判断して、判定を保留するようにしてもよい。

このように、比を用いても、上記と同様にマスク装着の有無を信頼性高く判定することができる。

なお、本実施の形態では、マスクの装着の有無を判定する例について説明したが、サングラスの装着の有無を判定する場合であっても、上記実施の形態と同様に処理すればよい。すなわち、サングラスの装着の有無に拘わらず顔画像に反応するＮＮと、サングラスを装着している顔画像のみに反応するＮＮと、サングラスを装着していない顔画像のみに反応するＮＮとを用意しておき、この３つのＮＮを用いて３つの尤度値を求め、判定に用いることで、同様の効果を得ることができる。

また、マスク及びサングラスの両方の装着の有無を判定するように構成してもよい。すなわち、マスクとサングラスの装着の有無に拘わらず顔画像に反応するＮＮと、マスクとサングラスの両方を装着している顔画像のみに反応するＮＮと、マスクとサングラスの両方を装着していない顔画像のみに反応するＮＮとを用意しておき、この３つのＮＮを用いて３つの尤度値を求め、判定に用いることで、同様の効果を得ることができる。

また、上記実施の形態では、マスク装着の有無の判定に異なる３つのＮＮを用いる例について説明したが、これに限定されず、サポートベクターマシンなど、ＮＮ以外の他の機械学習システムを用いてもよい。

また、上記実施の形態では、顔全体の画像に対してＮＮを適用してマスクの装着を判定する例について説明したが、顔の下半分の領域の画像のみを用いてマスクの装着の判定を行なうようにしてもよい。以下、顔の下半分の領域の画像のみを用いてマスクの装着の判定を行なう変形例について説明する。

この変形例の対象物判定装置の構成は、上記実施の形態の対象物判定装置１０と同様の構成とする。ただし、以下の構成要素は以下に説明するように機能する。

画像処理装置１８の顔領域検出部２０は、上記実施の形態と同様に、カメラ１４で撮影されて得られた画像データが表す画像から、対象者１２の顔の領域を検出する。そして、更に、検出された顔領域を上下半分に分割したときの下半分の領域の画像の画像データを切り出して尤度算出部２２に出力する。下半分の領域は、対象者１２がマスクを装着していると仮定した場合に、顔画像の中で該マスクが存在すると推定される領域である。

尤度算出部２２は、顔領域検出部２０で検出され切り出された画像データが示す画像に対して、マスクの装着の有無に拘わらず顔らしさを示す第１尤度値ｐ１と、マスクを装着した顔らしさを示す第１尤度値ｐ２と、マスクを装着していない顔らしさを示す第３尤度値ｐ３とを算出する。

ただし、第１尤度値ｐ１、第２尤度値ｐ２、および第３尤度値ｐ３を求めるためのマスク／非マスク顔反応ＮＮ、マスク顔反応ＮＮ、および非マスク顔反応ＮＮは、マスク非装着画像の下半分の画像と、マスク装着画像の下半分の画像とを用いて学習させる。

すなわち、マスク／非マスク顔反応ＮＮは、バックプロパゲーションの方法を用いて、図５（Ａ）において破線で示したように、マスクを装着していない多数の顔画像の下半分の画像や、図５（Ｂ）において破線で示したように、マスクを装着している多数の顔画像の下半分の画像に対して、教師信号を１として興奮学習を行なうと同時に、顔と全く異なる非顔画像に対して、教師信号を０として抑制学習を行なう。

また、マスク顔反応ＮＮも、バックプロパゲーションの方法を用いて、図５（Ｂ）において破線で示したように、マスクを装着している多数の顔画像の下半分の画像に対して、教師信号を１として興奮学習を行なうと同時に、図５（Ａ）において破線で示したように、マスクを装着していない多数の顔画像の下半分の画像や非顔画像に対して、教師信号を０として抑制学習を行なう。

また、非マスク顔反応ＮＮも、バックプロパゲーションの方法を用いて、図５（Ａ）において破線で示したように、マスクを装着していない多数の顔画像の下半分の画像に対して、教師信号を１として興奮学習を行なうと同時に、図５（Ｂ）において破線で示したように、マスクを装着している多数の顔画像の下半分の画像や非顔画像に対して、教師信号を０として抑制学習を行なう。

なお、顔領域検出部２０が顔領域を検出する際に用いるＮＮについては、顔全体の領域を検出するため、マスクの装着の有無に拘わらず顔画像全体に反応するように学習を行なう。従って、この変形例では、顔領域検出部２０が用いるＮＮと、尤度算出部２２で第１尤度値ｐ１を算出するために用いるＮＮとを個別に用意して学習させておく。

図６（Ａ）は、本変形例における画像取り込み装置１６及び画像処理装置１８により行なわれるマスク装着判定処理の流れを示すフローチャートである。

ステップＳ２００〜Ｓ２０２は、カメラ１４で撮影されて得られた画像データを取り込んで顔領域を検出する処理であり（図６（Ｂ）参照）、上記ステップＳ１００〜Ｓ１０２と同様に処理するため、説明を省略する。

ステップＳ２０４では、顔領域検出部２０は、画像取り込み装置１６から入力された画像データが表す画像から上記検出した対象者１２の顔の領域を上下半分に分割したときの下半分の領域の画像データを切り出して尤度算出部２２に出力する（図６（Ｃ）参照）。

ステップＳ２０６では、尤度算出部２２が、マスク／非マスク顔反応ＮＮを、顔領域検出部２０で切り出された下半分の領域の画像データが示す画像に適用して第１尤度値ｐ１を算出する。

ステップＳ２０８では、尤度算出部２２が、マスク顔反応ＮＮを、顔領域検出部２０で切り出された下半分の領域の画像データが示す画像に適用して第２尤度値ｐ２を算出する。

ステップＳ２１０では、尤度算出部２２が、非マスク顔反応ＮＮを、顔領域検出部２０で切り出された下半分の領域の画像データが示す画像に適用して第３尤度値ｐ３を算出する。

ステップＳ２１２では、判定部２４が、第１尤度値ｐ１、第２尤度値ｐ２、第３尤度値ｐ３に基づいて、対象者１２がマスクを装着しているか否かを判定する。判定の方法は、上記ステップＳ１１０と同様であるため説明を省略する。

このように、顔の下半分の領域の画像のみを用いてマスクの装着の判定を行なうことにより、処理時間を短縮することができる。

なお、この変形例では、マスクの装着の有無を判定する場合について説明したが、サングラス装着の有無を判定するようにしてもよい。この場合には、上記変形例と同じ手順で顔画像の上半分の領域を切り出して、顔画像の上半分の領域を元に学習したサングラス顔／非サングラス顔反応ＮＮ、サングラス顔反応ＮＮ、非サングラス顔対応ＮＮを用いて、サングラス装着の判定を行なう。

なお、上記実施の形態や変形例では、第１尤度値ｐ１、第２尤度値ｐ２、第３尤度値ｐ３の順に尤度値を算出する例について説明したが、３つの尤度値の算出順序は特に限定されない。

なお、上記実施の形態及び変形例では、人物の顔にマスク等が装着されているか否かを判定する例について説明したが、これに限定されず、様々な対象物について本発明の適用が可能である。

本発明の実施の形態に係る対象物判定装置の概略構成図である。 画像処理装置の機能構成図である。 （Ａ）は、マスクを装着していない顔画像の一例を示す図であり、（Ｂ）は、マスクを装着している顔画像の一例を示す図である。 対象物判定装置の画像取り込み装置及び画像処理装置により行なわれるマスク装着判定処理の流れを示すフローチャートである。 （Ａ）は、マスクを装着していない顔画像の下半分を切り出す場合の切り出し領域の例を示す図であり、（Ｂ）は、マスクを装着している顔画像の下半分を切り出す場合の切り出し領域の例を示す図である。 （Ａ）は、変形例における画像取り込み装置及び画像処理装置により行なわれるマスク装着判定処理の流れを示すフローチャートであり、（Ｂ）は、顔領域の検出結果の一例を示した図であり、（Ｃ）は、顔領域の画像から切り出した下半分の領域の画像を示す図である。

符号の説明

１０ 対象物判定装置
１２ 対象者
１４ カメラ
１６ 画像取り込み装置
１８ 画像処理装置
２０ 顔領域検出部
２２ 尤度算出部
２４ 判定部

Claims (6)

1. 対象物を撮像するための撮像手段と、
   前記撮像手段で撮像されて得られた画像が表す対象物について、前記撮像手段で撮像されて得られた画像と、装着物を装着した対象物の画像および前記装着物を装着していない対象物の画像に反応するように学習した機械学習システムとを用いて対象物らしさを示す第１尤度値を算出し、前記撮像手段で撮像されて得られた画像と、前記装着物を装着した対象物の画像に反応するように学習した機械学習システムとを用いて前記装着物を装着した対象物らしさを示す第２尤度値を算出し、前記撮像手段で撮像されて得られた画像と、前記装着物を装着していない対象物の画像に反応するように学習した機械学習システムとを用いて前記装着物を装着していない対象物らしさを示す第３尤度値を算出する尤度値算出手段と、
   前記尤度値算出手段で算出された第１尤度値、第２尤度値、及び第３尤度値に基づいて、前記撮像手段で撮像されて得られた画像が表す対象物が前記装着物を装着しているか否かを判定する判定手段と、
   を含む対象物判定装置。
2. 対象物を撮像するための撮像手段と、
   前記撮像手段で撮像されて得られた画像から、前記対象物が装着物を装着していると仮定したときに該装着物が存在すると推定される予め定められた領域を抽出する抽出手段と、
   前記撮像手段で撮像されて得られた画像が表す対象物について、前記抽出手段で抽出された領域の画像と、前記装着物を装着した対象物の画像における前記予め定められた領域の画像および前記装着物を装着していない対象物の画像における前記予め定められた領域の画像に反応するように学習した機械学習システムとを用いて対象物らしさを示す第１尤度値を算出し、前記抽出手段で抽出された領域の画像と、前記装着物を装着した対象物の画像における前記予め定められた領域の画像に反応するように学習した機械学習システムとを用いて前記装着物を装着した対象物らしさを示す第２尤度値を算出し、前記抽出手段で抽出された領域の画像と、前記装着物を装着していない対象物の画像における前記予め定められた領域の画像に反応するように学習した機械学習システムとを用いて前記装着物を装着していない対象物らしさを示す第３尤度値を算出する尤度値算出手段と、
   前記尤度値算出手段で算出された第１尤度値、第２尤度値、及び第３尤度値に基づいて、前記撮像手段で撮像されて得られた画像が表す対象物が前記装着物を装着しているか否かを判定する判定手段と、
   を含む対象物判定装置。
3. 前記判定手段は、前記第１尤度値、前記第２尤度値、及び前記第３尤度値の大小関係に基づいて、前記撮像手段で撮像されて得られた画像が表す対象物が前記装着物を装着しているか否かを判定する
   請求項１または２記載の対象物判定装置。
4. 前記判定手段は、前記第１尤度値と第２尤度値との比、および前記第１尤度値と前記第３尤度値との比に基づいて、前記撮像手段で撮像されて得られた画像が表す対象物が前記装着物を装着しているか否かを判定する
   請求項１または２記載の対象物判定装置。
5. コンピュータに、
   対象物を撮像するための撮像手段で撮像されて得られた画像が表す対象物について、前記撮像手段で撮像されて得られた画像と、装着物を装着した対象物の画像および前記装着物を装着していない対象物の画像に反応するように学習した機械学習システムとを用いて対象物らしさを示す第１尤度値を算出する第１尤度値算出ステップと、
   前記撮像手段で撮像されて得られた画像が表す対象物について、前記撮像手段で撮像されて得られた画像と、前記装着物を装着した対象物の画像に反応するように学習した機械学習システムとを用いて前記装着物を装着した対象物らしさを示す第２尤度値を算出する第２尤度値算出ステップと、
   前記撮像手段で撮像されて得られた画像が表す対象物について、前記撮像手段で撮像されて得られた画像と、前記装着物を装着していない対象物の画像に反応するように学習した機械学習システムとを用いて前記装着物を装着していない対象物らしさを示す第３尤度値を算出する第３尤度値算出ステップと、
   前記算出された第１尤度値、第２尤度値、及び第３尤度値に基づいて、前記撮像手段で撮像されて得られた画像が表す対象物が前記装着物を装着しているか否かを判定する判定ステップと、
   を実行させるためのプログラム。
6. コンピュータに、
   対象物を撮像するための撮像手段で撮像されて得られた画像から、前記対象物が装着物を装着していると仮定したときに該装着物が存在すると推定される予め定められた領域を抽出する抽出ステップと、
   前記撮像手段で撮像されて得られた画像が表す対象物について、前記抽出された領域の画像と、前記装着物を装着した対象物の画像における前記予め定められた領域の画像および前記装着物を装着していない対象物の画像における前記予め定められた領域の画像に反応するように学習した機械学習システムとを用いて対象物らしさを示す第１尤度値を算出する第１尤度値算出ステップと、
   前記撮像手段で撮像されて得られた画像が表す対象物について、前記抽出された領域の画像と、前記装着物を装着した対象物の画像における前記予め定められた領域の画像に反応するように学習した機械学習システムとを用いて前記装着物を装着した対象物らしさを示す第２尤度値を算出する第２尤度値算出ステップと、
   前記撮像手段で撮像されて得られた画像が表す対象物について、前記抽出された領域の画像と、前記装着物を装着していない対象物の画像における前記予め定められた領域の画像に反応するように学習した機械学習システムとを用いて前記装着物を装着していない対象物らしさを示す第３尤度値を算出する第３尤度値算出ステップと、
   前記算出された第１尤度値、第２尤度値、及び第３尤度値に基づいて、前記撮像手段で撮像されて得られた画像が表す対象物が前記装着物を装着しているか否かを判定する判定ステップと、
   を実行させるためのプログラム。

Images