JP2010003117A - 対象物判定装置及びプログラム - Google Patents

Abstract

【課題】対象物がマスクやサングラスなどの装着物を装着しているか否かを信頼性高く判定することができる対象物判定装置及びプログラムを提供する。
【解決手段】撮像して得られた画像が表す対象物について、マスクを装着した対象物の画像に反応するように学習した機械学習システムを用いてマスクを装着した対象物らしさを示す尤度値を算出し（Ｓ１０４）、マスクを装着していない対象物の画像に反応するように学習した機械学習システムを用いてマスクを装着していない対象物らしさを示す尤度値を算出し（Ｓ１０６）、該算出された２つの尤度値の比に基づいて、該撮像されて得られた画像が表す対象物がマスクを装着しているか否かを判定する（Ｓ１０８）。
【選択図】図４

Description

本発明は、対象物判定装置及びプログラムに関し、特に、対象物が装着物を装着しているか否かを判定する対象物判定装置及びプログラムに関する。

顔画像から抽出される口や鼻などの顔特徴量を用いて顔向きや、瞬き、視線などの対象者の顔状態量を推定する場合において、対象者がマスクやサングラスなどを装着していると、前記顔状態量を正しく推定できない。顔への装着物を考慮して顔向きを推定する方法として、例えば下記特許文献１に記載された技術がある。この技術では顔画像から目、口、鼻などの特徴点の抽出を行い顔向きを推定するが、目の特徴点が所定回抽出できない場合はサングラスを装着していると判定し、サングラス上の画像特徴を用いて顔向きを推定している。また鼻と口の特徴量が所定回抽出できない場合は、マスクを装着していると判定して、マスク上の画像特徴を用いて顔向きの推定を行なっている。
特開２００３−２９６７１２号公報

上記従来の技術では、目、鼻、口の特徴量が抽出できない場合にそれぞれサングラス、マクスを装着していると判定しているが、例えば、車両を運転する運転者の顔向きの推定を行なう場合には、実際の走行環境において、周辺照明環境の変動による顔画像上での局所的明るさ変化や、対象者の顔姿勢などにより目、鼻、口の特徴が未検出となる場合が頻繁に発生する。このため、サングラスやマスクを装着していないにもかかわらず、目や鼻、口が検出できないことからサングラス、マスクを装着していると判定してしまい、それによって本来存在しないサングラス、マスクの特徴点から顔向きなどの状態量を推定することとなり、結果的に正しい状態量は得られず、逆に非常に誤差の大きい状態量を算出してしまう、という問題が発生する。

本発明は、上述した問題を解決するために提案されたものであり、対象物がマスクやサングラスなどの装着物を装着しているか否かを信頼性高く判定することができる対象物判定装置及びプログラムを提供することを目的とする。

上記目的を達成するために、請求項１に記載の発明の対象物判定装置は、対象物を撮像するための撮像手段と、前記撮像手段で撮像されて得られた画像が表す対象物について、前記撮像手段で撮像されて得られた画像と、装着物を装着した対象物の画像に反応するように学習した機械学習システムとを用いて前記装着物を装着した対象物らしさを示す第１尤度値を算出すると共に、前記撮像手段で撮像されて得られた画像と、前記装着物を装着していない対象物の画像に反応するように学習した機械学習システムとを用いて前記装着物を装着していない対象物らしさを示す第２尤度値を算出する尤度値算出手段と、前記尤度値算出手段で算出された第１尤度値と第２尤度値との比に基づいて、前記撮像手段で撮像されて得られた画像が表す対象物が前記装着物を装着しているか否かを判定する判定手段と、を含んで構成されている。

このように、装着物を装着した対象物の画像に反応するように学習した機械学習システムと、装着物を装着していない対象物の画像に反応するように学習した機械学習システムとを用いて２つの尤度値を求め、この２つの尤度値の比から対象物が装着物を装着しているか否かを判定するようにしたため、装着物の装着の有無を信頼性高く判定することができる。特に、２種類の異なる機械学習システムから求められた尤度値の比を評価基準に用いることで、１種類の機械学習システムを用いる場合よりもより誤検出を少なくすることができる。また、２種類の異なる機械学習システムから求められた尤度値の絶対値の差が小さくても、比をとることで、装着物を装着していない対象物らしさと装着物を装着している対象物らしさとの対比が明確になるため、判定の精度が上がる。

また、請求項２の発明の対象物判定装置は、対象物を撮像するための撮像手段と、前記撮像手段で撮像されて得られた画像から、前記対象物が装着物を装着していると仮定したときに該装着物が存在すると推定される予め定められた領域を抽出する抽出手段と、前記撮像手段で撮像されて得られた画像が表す対象物について、前記抽出手段で抽出された領域の画像と、前記装着物を装着した対象物の画像における前記予め定められた領域の画像に反応するように学習した機械学習システムとを用いて前記装着物を装着した対象物らしさを示す第１尤度値を算出すると共に、前記抽出手段で抽出された領域の画像と、前記装着物を装着していない対象物の画像における前記予め定められた領域の画像に反応するように学習した機械学習システムとを用いて前記装着物を装着していない対象物らしさを示す第２尤度値を算出する尤度値算出手段と、前記尤度値算出手段で算出された第１尤度値と第２尤度値との比に基づいて、前記撮像手段で撮像されて得られた画像が表す対象物が前記装着物を装着しているか否かを判定する判定手段と、を含んで構成されている。

このように、撮像されて得られた画像から、対象物が装着物を装着していると仮定したときに該装着物が存在すると推定される予め定められた領域を抽出し、該抽出した領域の画像と、装着物を装着した対象物の画像における上記予め定められた領域の画像に反応するように学習した機械学習システムと、装着物を装着していない対象物の画像における上記予め定められた領域の画像に反応するように学習した機械学習システムとを用いて２つの尤度値を求め、この２つの尤度値の比から対象物が装着物を装着しているか否かを判定するようにしたため、請求項１に記載の発明と同様に、装着物の装着の有無を信頼性高く判定することができる。また、請求項１に記載の発明の効果に加え、請求項２に記載の発明では、対象物全体の画像ではなく装着物が存在すると推定される予め定められた領域の画像に着目して判定を行なうため、処理時間の短縮につながる。

なお、請求項３に記載の発明のように、請求項１または２に記載の対象物判定装置の判定手段は、前記第１尤度値の前記第２尤度値に対する比が第１の閾値を超える場合には、前記撮像手段で撮像されて得られた画像が表す対象物が前記装着物を装着していると判定し、前記第１尤度値の前記第２尤度値に対する比が前記第１の閾値より小さい第２の閾値未満である場合には、前記撮像手段で撮像されて得られた画像が表す対象物が前記装着物を装着していないと判定するようにしてもよい。

すなわち、第１尤度値の第２尤度値に対する比が大きい場合には、装着物を装着している可能性が高く、逆に第１尤度値の第２尤度値に対する比が小さい場合には、装着物を装着していない可能性が高い。従って、上記のように判定することで、より確からしい判定をすることができ、誤判定を低く抑えることができる。

請求項４の発明のプログラムは、コンピュータに、対象物を撮像するための撮像手段で撮像されて得られた画像が表す対象物について、前記撮像手段で撮像されて得られた画像と、装着物を装着した対象物の画像に反応するように学習した機械学習システムとを用いて前記装着物を装着した対象物らしさを示す第１尤度値を算出する第１尤度値算出ステップと、前記撮像手段で撮像されて得られた画像が表す対象物について、前記撮像手段で撮像されて得られた画像と、前記装着物を装着していない対象物の画像に反応するように学習した機械学習システムとを用いて前記装着物を装着していない対象物らしさを示す第２尤度値を算出する第２尤度値算出ステップと、前記算出された第１尤度値と第２尤度値との比に基づいて、前記撮像手段で撮像されて得られた画像が表す対象物が前記装着物を装着しているか否かを判定する判定ステップと、を実行させるためのプログラムである。

このようなプログラムによっても、請求項１に記載の対象物判定装置と同様に作用するため、請求項１に記載の対象物判定装置と同様の効果が得られる。なお、第１尤度値算出ステップと第２尤度値算出ステップは、どちらを先に実行してもよい。

請求項５の発明のプログラムは、コンピュータに、対象物を撮像するための撮像手段で撮像されて得られた画像から、前記対象物が装着物を装着していると仮定したときに該装着物が存在すると推定される予め定められた領域を抽出する抽出ステップと、前記撮像手段で撮像されて得られた画像が表す対象物について、前記抽出された領域の画像と、前記装着物を装着した対象物の画像における前記予め定められた領域の画像に反応するように学習した機械学習システムとを用いて前記装着物を装着した対象物らしさを示す第１尤度値を算出する第１尤度値算出ステップと、前記撮像手段で撮像されて得られた画像が表す対象物について、前記抽出された領域の画像と、前記装着物を装着していない対象物の画像における前記予め定められた領域の画像に反応するように学習した機械学習システムとを用いて前記装着物を装着していない対象物らしさを示す第２尤度値を算出する第２尤度値算出ステップと、前記算出された第１尤度値と第２尤度値との比に基づいて、前記撮像手段で撮像されて得られた画像が表す対象物が前記装着物を装着しているか否かを判定する判定ステップと、を実行させるためのプログラムである。

このようなプログラムによっても、請求項２に記載の対象物判定装置と同様に作用するため、請求項２に記載の対象物判定装置と同様の効果が得られる。なお、第１尤度値算出ステップと第２尤度値算出ステップは、どちらを先に実行してもよい。

以上説明したように本発明によれば、対象物が装着物を装着しているか否かを信頼性高く判定することができる。

図１は、本発明の実施の形態に係る対象物判定装置１０の概略構成図である。本実施の形態の対象物判定装置１０は、対象物として人物の顔を撮影し、該撮影した人物の顔に装着物（ここではマスク）が装着されているか否かを判定する。

図１に示すように、対象物判定装置１０は、対象者１２を撮影するためのカメラ１４と、画像取り込み装置１６と、画像処理装置１８とから構成される。

画像取り込み装置１６は、画像メモリを備えており、カメラ１４で撮影されて得られた画像データを取り込んで画像メモリに記憶する。また、画像取り込み装置１６は、画像メモリから該画像データを読み出して画像処理装置１８に入力する。

図２は、画像処理装置１８の機能構成図である。

画像処理装置１８は、画像取り込み装置１６から入力された画像データに基づいて対象者１２の顔にマスクが装着されているか否かを判定する処理を行なう装置であって、顔領域検出部２０、尤度算出部２２、および判定部２４を含んで構成されている。

顔領域検出部２０は、画像取り込み装置１６から入力された画像データの画像から、対象者１２の顔の領域を検出する。顔の領域を検出する技術には、様々な技術があるが、本実施の形態では、パターン認識能力の優れた識別器の一種であるニューラルネットワーク（以下、ＮＮ）を用いたH.Rowleyらの顔検出の手法（"Neural Network-based Face Detection", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.20, No.1, 1998, pp.23-38参照）を用いてもよい。ただし、顔領域検出部２０では対象者１２がマスクを装着しているか否かを判断するわけではないため、対象者１２がマスクを装着しているか否かに関わらず対象者１２の顔を検出できるように予めＮＮを学習しておく。

より具体的には、入力層、中間層、及び出力層を連結して構成したＮＮに、既知の入出力データによって連結関係を学習させる。ここでは、バックプロパゲーションと呼ぶ学習手法により、図３（Ａ）に示すように、マスクを装着していない多数の顔画像、及び図３（Ｂ）に示すように、さまざまな形状のマスクを装着している多数の顔画像に対してＮＮの出力層が１の信号を出力するように教師信号１を与えて興奮学習を行なう。一方、顔と全く異なる画像（たとえば風景画像など）を非顔画像として多数用意しておき、これらの画像に対しては教師信号０を与えて抑制学習を行う。このＮＮをマスク／非マスク顔反応ＮＮと呼称する。

尤度算出部２２は、顔領域検出部２０で検出された領域に対して、マスクを装着した顔らしさを示す第１尤度値ｖ１と、マスクを装着していない顔らしさを示す第２尤度値ｖ２とを算出する。

具体的には、マスクを装着した顔らしさを示す第１尤度値ｖ１については、マスクを装着した顔の画像のみに反応するように学習したＮＮ（以下、マスク顔反応ＮＮ）を、顔領域検出部２０で検出された顔領域に適用して算出する。なお、マスク顔反応ＮＮも、上記マスク／非マスク顔反応ＮＮと同様にバックプロパゲーションの方法を用いて、図３（Ｂ）に示したようなさまざまな形状のマスクを装着している多数の顔画像に対して、教師信号を１として、いわゆる興奮学習を行なうと同時に、図３（Ａ）に示したようなマスクを装着していない多数の顔画像に対して教師信号を０として抑制学習を行なう。このような学習を行なうことによって、マスク顔反応ＮＮの出力層がマスクを装着した顔画像に対しては高い出力値を、マスクを装着していない顔画像に対しては低い出力値を出力するようになることが期待できる。なお、マスク顔反応ＮＮの出力値は０から１の範囲の値をとるように学習しておく。本実施の形態では、マスク顔反応ＮＮを顔領域検出部２０で検出された顔領域に適用したときの出力値をそのまま第１尤度値ｖ１として用いる。従って、第１尤度値ｖ１は、０から１の範囲の値をとる。

また、マスクを装着していない顔らしさを示す第２尤度値ｖ２については、マスクを装着していない顔の画像のみに反応するように学習したＮＮ（非マスク顔反応ＮＮ）を、顔領域検出部２０で検出された顔領域に適用して算出する。なお、非マスク顔反応ＮＮも、上記マスク／非マスク顔反応ＮＮと同様にバックプロパゲーションの方法を用いて、図３（Ａ）に示したようなマスクを装着していない多数の顔画像に対して教師信号を１として、興奮学習を行なうと同時に、図３（Ｂ）に示したようなさまざまな形状のマスクを装着している多数の顔画像に対して、教師信号を０として抑制学習を行なう。このような学習を行なうことによって、非マスク顔反応ＮＮの出力層がマスクを装着していない顔画像に対しては高い出力値を、マスクを装着した顔画像に対しては低い出力値を出力するようになることが期待できる。なお、非マスク顔反応ＮＮの出力値は０から１の範囲の値をとるように学習しておく。本実施の形態では、非マスク顔反応ＮＮを顔領域検出部２０で検出された顔領域に適用したときの出力値をそのまま第２尤度値ｖ２として用いる。従って、第２尤度値ｖ２は、０から１の範囲の値をとる。

判定部２４は、尤度算出部２２で算出された第１尤度値ｖ１と第２尤度値ｖ２とを用いて、カメラ１４で撮影された画像が表す対象者１２の顔にマスクが装着されているか否かを判定する。

なお、上記説明した画像取り込み装置１６や画像処理装置１８を構成する各構成要素は、ＣＰＵ、ＲＡＭ、ＲＯＭを含んで構成されたコンピュータによって実現される。すなわちＣＰＵが、ＲＯＭや所定の記憶装置に記憶されたプログラムを実行することにより上記各構成要素の機能を実現し、以下に説明する処理が行なわれる。また、各構成要素を別々のコンピュータで構成してもよいし、１つのコンピュータで構成してもよい。

次に、本実施の形態で実行されるマスク装着判定処理の詳細を説明する。

図４は、対象物判定装置１０の画像取り込み装置１６及び画像処理装置１８により行なわれるマスク装着判定処理の流れを示すフローチャートである。

まず、ステップＳ１００では、画像取り込み装置１６が、カメラ１４で撮像されて得られた画像データを取り込んで一旦画像メモリに記憶する。そして画像メモリから画像データを読みだして画像処理装置１８の顔領域検出部２０に入力する。ステップＳ１０２では、顔領域検出部２０が、画像取り込み装置１６から入力された画像データが表す画像から、マスクの装着の有無に関わらず、マスク／非マスク顔反応ＮＮを用いて顔領域を検出する。

ステップＳ１０４では、尤度算出部２２が、顔領域検出部２０で検出された顔領域に対してマスク顔反応ＮＮを適用して第１尤度値ｖ１を算出する。前述したように、マスク顔反応ＮＮは、マスクを装着した顔画像に対しては１が出力されるように、それ以外の画像に対しては０が出力されるように学習されているため、第１尤度値ｖ１は０から１の範囲の数値となり、マスクを装着した顔画像に適用したときの第１尤度値ｖ１のほうがマスクを装着していない顔画像に適用したときの第１尤度値ｖ１に比べて値が大きくなることが期待できる。

ステップＳ１０６では、尤度算出部２２が、顔領域検出部２０で検出された顔領域に対して非マスク顔反応ＮＮを適用して第２尤度値ｖ２を算出する。前述したように、非マスク顔反応ＮＮは、マスクを装着していない顔画像に対しては１が出力されるように、それ以外の画像に対しては０が出力されるように学習されているため、第２尤度値ｖ２も０から１の範囲の数値となり、マスクを装着していない顔画像に適用したときの第２尤度値ｖ２のほうがマスクを装着している顔画像に適用したときの第２尤度値ｖ２に比べて値が大きくなることが期待できる。

ステップＳ１０８では、判定部２４が、第１尤度値ｖ１および第２尤度値ｖ２の比から、対象者１２がマスクを装着しているか否かを判定する。第１尤度値ｖ１および第２尤度値ｖ２の比ｒは、以下に示す（１）式、
ｒ＝第１尤度値ｖ１／第２尤度値ｖ２ ・・・（１）
で求める。

カメラ１４で撮影された対象者１２の顔画像がマスクを装着している場合には、第１尤度値ｖ１は１に近い値となり、第２尤度値ｖ２は０に近い値になると期待できる。従って、第１尤度値ｖ１の第２尤度値ｖ２に対する比ｒは、１に比べて十分大きい値となる。
一方、カメラ１４で撮影された対象者１２の顔画像がマスクを装着していない場合には、第１尤度値ｖ１は０に近い値であり、第２尤度値ｖ２は１に近い値となると期待できるため、その比ｒは非常に小さい値となる。

そこで、第１尤度値の第２尤度値に対する比ｒが十分大きい場合にはマスクを装着していると判定し、ｒが十分小さい場合にはマスクを装着していないと判定する。ここでは、以下の比較式（２）、（３）を用いて判定を行なう。

ｒ＞ｔｈ１ マスクを装着している ・・・（２）
ｒ＜ｔｈ２ マスクを装着していない ・・・（３）

ここでｔｈ１、ｔｈ２は判定のための閾値であり、０＜ｔｈ２＜ｔｈ１の関係を有する。例えばｔｈ１＝５０、ｔｈ２＝０．０１などの値を用いる。なお、（２）、（３）の比較式のいずれにも該当しない場合には、マスクの有無を判定するには十分な確度がないと判断して、判定を保留するようにしてもよい。

このようにマスクを装着した顔画像のみに反応するマスク顔反応ＮＮと、マスクを装着していない顔画像のみに反応する非マスク顔反応ＮＮの２つを用い、２つのＮＮから求められた第１尤度値ｖ１と第２尤度値ｖ２との比を利用することで、より確からしい判定をすることができ、誤検出を低く抑えることができる。

マスク装着判定処理の判定結果は、例えば、顔状態の推定処理を行なう場合に利用できる。例えば、マスクを装着していると判定された場合には、画像から口や鼻の特徴量の検出は困難であるため、他の特徴量を用いた顔状態の推定処理を行なえば良く、マスクを装着している場合としていない場合とで効率的に処理手順を切り替えることで安定した顔状態推定が実現できる。

なお、本実施の形態では、マスクの装着の有無を判定する例について説明したが、サングラスの装着の有無を判定する場合であっても、上記実施の形態と同様に処理すればよい。すなわち、サングラスを装着している顔画像のみに反応するＮＮと、サングラスを装着していない顔画像のみに反応するＮＮとを用意しておき、この２つのＮＮを用いて２つの尤度値を求め、その比を算出して閾値と比較することで、同様の効果を得ることができる。

また、マスク及びサングラスの両方の装着の有無を判定するように構成してもよい。すなわち、マスクとサングラスの両方を装着している顔画像に反応するＮＮと、マスクとサングラスの両方を装着していない顔画像に反応するＮＮとを用意しておき、この２つのＮＮを用いて２つの尤度値を求め、その比を算出して閾値と比較することで、同様の効果を得ることができる。

また、上記実施の形態では、マスク装着の有無の判定に異なる２つのＮＮを用いる例について説明したが、これに限定されず、サポートベクターマシンなど、ＮＮ以外の他の機械学習システムを用いてもよい。

また、上記実施の形態では、顔全体の画像に対してＮＮを適用してマスクの装着を判定する例について説明したが、顔の下半分の領域の画像のみを用いてマスクの装着の判定を行なうようにしてもよい。以下、顔の下半分の領域の画像のみを用いてマスクの装着の判定を行なう変形例について説明する。

この変形例の対象物判定装置の構成は、上記実施の形態の対象物判定装置１０と同様の構成とする。ただし、以下の構成要素は以下に説明するように機能する。

画像処理装置１８の顔領域検出部２０は、上記実施の形態と同様に、カメラ１４で撮影されて得られた画像データが表す画像から、対象者１２の顔の領域を検出する。そして、更に、検出された顔領域を上下半分に分割したときの下半分の領域の画像の画像データを切り出して尤度算出部２２に出力する。下半分の領域は、対象者１２がマスクを装着していると仮定した場合に、顔画像の中で該マスクが存在すると推定される領域である。

尤度算出部２２は、顔領域検出部２０で検出され切り出された画像データが示す画像に対して、マスクを装着した顔らしさを示す第１尤度値ｖ１と、マスクを装着していない顔らしさを示す第２尤度値ｖ２とを算出する。

ただし、第１尤度値ｖ１、第２尤度値ｖ２を求めるためのマスク顔反応ＮＮおよび非マスク顔反応ＮＮは、マスク非装着画像の下半分の画像と、マスク装着画像の下半分の画像とを用いて学習させる。

すなわち、マスク顔反応ＮＮは、バックプロパゲーションの方法を用いて、図５（Ｂ）において破線で示したように、マスクを装着している多数の顔画像の下半分の画像に対して、教師信号を１として興奮学習を行なうと同時に、図５（Ａ）において破線で示したように、マスクを装着していない多数の顔画像の下半分の画像や非顔画像に対して、教師信号を０として抑制学習を行なう。

また、非マスク顔反応ＮＮも、バックプロパゲーションの方法を用いて、図５（Ａ）において破線で示したように、マスクを装着していない多数の顔画像の下半分の画像に対して、教師信号を１として興奮学習を行なうと同時に、図５（Ｂ）において破線で示したように、さまざまな形状をしたマスクを装着している多数の顔画像の下半分の画像や非顔画像に対して、教師信号を０として抑制学習を行なう。

図６（Ａ）は、本変形例における画像取り込み装置１６及び画像処理装置１８により行なわれるマスク装着判定処理の流れを示すフローチャートである。

ステップＳ２００〜Ｓ２０２は、カメラ１４で撮影されて得られた画像データを取り込んで顔領域を検出する処理であり（図６（Ｂ）参照）、上記ステップＳ１００〜Ｓ１０２と同様に処理するため、説明を省略する。

ステップＳ２０４では、顔領域検出部２０は、画像取り込み装置１６から入力された画像データが表す画像から上記検出した対象者１２の顔の領域を上下半分に分割したときの下半分の領域の画像データを切り出して尤度算出部２２に出力する（図６（Ｃ）参照）。

ステップＳ２０６では、尤度算出部２２が、マスク顔反応ＮＮを、顔領域検出部２０で切り出された下半分の領域の画像データが示す画像に適用して第１尤度値ｖ１を算出する。

ステップＳ２０８では、尤度算出部２２が、非マスク顔反応ＮＮを、顔領域検出部２０で切り出された下半分の領域の画像データが示す画像に適用して第２尤度値ｖ２を算出する。

ステップＳ２１０では、判定部２４が、第１尤度値ｖ１および第２尤度値ｖ２の比から、対象者１２がマスクを装着しているか否かを判定する。判定の方法は、上記ステップＳ１０８と同様であるため説明を省略する。

このように、顔の下半分の領域の画像のみを用いてマスクの装着の判定を行なうことにより、処理時間を短縮することができる。

なお、この変形例では、マスクの装着の有無を判定する場合について説明したが、サングラス装着の有無を判定するようにしてもよい。この場合には、上記変形例と同じ手順で顔画像の上半分の領域を切り出して、顔画像の上半分の領域を元に学習したサングラス顔反応ＮＮと非サングラス顔対応ＮＮを用いて、サングラス装着の判定を行なう。

なお、上記実施の形態や変形例では、第１尤度値ｖ１を算出した後に第２尤度値ｖ２を算出する例について説明したが、第２尤度値ｖ２を算出した後に第１尤度値ｖ１を算出するようにしてもよい。

なお、上記実施の形態及び変形例では、人物の顔にマスク等が装着されているか否かを判定する例について説明したが、これに限定されず、様々な対象物について本発明の適用が可能である。

本発明の実施の形態に係る対象物判定装置の概略構成図である。 画像処理装置の機能構成図である。 （Ａ）は、マスクを装着していない顔画像の一例を示す図であり、（Ｂ）は、マスクを装着している顔画像の一例を示す図である。 対象物判定装置の画像取り込み装置及び画像処理装置により行なわれるマスク装着判定処理の流れを示すフローチャートである。 （Ａ）は、マスクを装着していない顔画像の下半分を切り出す場合の切り出し領域の例を示す図であり、（Ｂ）は、マスクを装着している顔画像の下半分を切り出す場合の切り出し領域の例を示す図である。 （Ａ）は、変形例における画像取り込み装置及び画像処理装置により行なわれるマスク装着判定処理の流れを示すフローチャートであり、（Ｂ）は、顔領域の検出結果の一例を示した図であり、（Ｃ）は、顔領域の画像から切り出された下半分の領域の画像を示す図である。

符号の説明

１０ 対象物判定装置
１２ 対象者
１４ カメラ
１６ 画像取り込み装置
１８ 画像処理装置
２０ 顔領域検出部
２２ 尤度算出部
２４ 判定部

Claims (5)

1. 対象物を撮像するための撮像手段と、
   前記撮像手段で撮像されて得られた画像が表す対象物について、前記撮像手段で撮像されて得られた画像と、装着物を装着した対象物の画像に反応するように学習した機械学習システムとを用いて前記装着物を装着した対象物らしさを示す第１尤度値を算出すると共に、前記撮像手段で撮像されて得られた画像と、前記装着物を装着していない対象物の画像に反応するように学習した機械学習システムとを用いて前記装着物を装着していない対象物らしさを示す第２尤度値を算出する尤度値算出手段と、
   前記尤度値算出手段で算出された第１尤度値と第２尤度値との比に基づいて、前記撮像手段で撮像されて得られた画像が表す対象物が前記装着物を装着しているか否かを判定する判定手段と、
   を含む対象物判定装置。
2. 対象物を撮像するための撮像手段と、
   前記撮像手段で撮像されて得られた画像から、前記対象物が装着物を装着していると仮定したときに該装着物が存在すると推定される予め定められた領域を抽出する抽出手段と、
   前記撮像手段で撮像されて得られた画像が表す対象物について、前記抽出手段で抽出された領域の画像と、前記装着物を装着した対象物の画像における前記予め定められた領域の画像に反応するように学習した機械学習システムとを用いて前記装着物を装着した対象物らしさを示す第１尤度値を算出すると共に、前記抽出手段で抽出された領域の画像と、前記装着物を装着していない対象物の画像における前記予め定められた領域の画像に反応するように学習した機械学習システムとを用いて前記装着物を装着していない対象物らしさを示す第２尤度値を算出する尤度値算出手段と、
   前記尤度値算出手段で算出された第１尤度値と第２尤度値との比に基づいて、前記撮像手段で撮像されて得られた画像が表す対象物が前記装着物を装着しているか否かを判定する判定手段と、
   を含む対象物判定装置。
3. 前記判定手段は、前記第１尤度値の前記第２尤度値に対する比が第１の閾値を超える場合には、前記撮像手段で撮像されて得られた画像が表す対象物が前記装着物を装着していると判定し、前記第１尤度値の前記第２尤度値に対する比が前記第１の閾値より小さい第２の閾値未満である場合には、前記撮像手段で撮像されて得られた画像が表す対象物が前記装着物を装着していないと判定する
   請求項１または２に記載の対象物判定装置。
4. コンピュータに、
   対象物を撮像するための撮像手段で撮像されて得られた画像が表す対象物について、前記撮像手段で撮像されて得られた画像と、装着物を装着した対象物の画像に反応するように学習した機械学習システムとを用いて前記装着物を装着した対象物らしさを示す第１尤度値を算出する第１尤度値算出ステップと、
   前記撮像手段で撮像されて得られた画像が表す対象物について、前記撮像手段で撮像されて得られた画像と、前記装着物を装着していない対象物の画像に反応するように学習した機械学習システムとを用いて前記装着物を装着していない対象物らしさを示す第２尤度値を算出する第２尤度値算出ステップと、
   前記算出された第１尤度値と第２尤度値との比に基づいて、前記撮像手段で撮像されて得られた画像が表す対象物が前記装着物を装着しているか否かを判定する判定ステップと、
   を実行させるためのプログラム。
5. コンピュータに、
   対象物を撮像するための撮像手段で撮像されて得られた画像から、前記対象物が装着物を装着していると仮定したときに該装着物が存在すると推定される予め定められた領域を抽出する抽出ステップと、
   前記撮像手段で撮像されて得られた画像が表す対象物について、前記抽出された領域の画像と、前記装着物を装着した対象物の画像における前記予め定められた領域の画像に反応するように学習した機械学習システムとを用いて前記装着物を装着した対象物らしさを示す第１尤度値を算出する第１尤度値算出ステップと、
   前記撮像手段で撮像されて得られた画像が表す対象物について、前記抽出された領域の画像と、前記装着物を装着していない対象物の画像における前記予め定められた領域の画像に反応するように学習した機械学習システムとを用いて前記装着物を装着していない対象物らしさを示す第２尤度値を算出する第２尤度値算出ステップと、
   前記算出された第１尤度値と第２尤度値との比に基づいて、前記撮像手段で撮像されて得られた画像が表す対象物が前記装着物を装着しているか否かを判定する判定ステップと、
   を実行させるためのプログラム。

Images