JP2019211852A

JP2019211852A - 物体監視装置

Info

Publication number: JP2019211852A
Application number: JP2018105072A
Authority: JP
Inventors: 健一郎原; Kenichiro Hara
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2018-05-31
Filing date: 2018-05-31
Publication date: 2019-12-12
Anticipated expiration: 2038-05-31
Also published as: CN110557558B; US11373283B2; DE102019114412A1; CN110557558A; US20190370952A1; JP6973298B2

Abstract

【課題】物体を監視する物体監視装置において物体が認識されない原因を精度良く判定する。【解決手段】物体監視装置１は、所定の物体が存在すべき範囲を撮影して画像を生成する撮像装置２と、画像に基づいて物体を認識する物体認識部３４と、画像が不鮮明であることを検出する検出部３５と、画像が不鮮明であることが検出されたことを示す検出情報を記憶する記憶部３１と、画像に基づいて前記物体が認識されないときに、物体が認識されない原因を判定する判定部３６とを備える。判定部は、画像に基づいて物体が認識されず且つ画像が不鮮明であることが検出されない状況が発生したときに、状況が発生するまでの所定期間における検出情報に基づいて、ドライバが認識されない原因が撮像装置にあるか否かを判定する。【選択図】図４

Description

本発明は物体監視装置に関する。

従来、物体（人間、動物、ワーク等）の検出等のために撮像装置によって物体を撮影することが知られている。撮像装置のレンズは物体の撮影のために外部に露出されている。このため、レンズに汚れ、曇り等の異常が発生する場合がある。レンズに異常が発生すると、撮像装置によって生成される画像が不鮮明になり、物体の検出精度が低下する。

このため、撮像装置のレンズの異常を検出できることが望ましい。特許文献１に記載の情報処理装置では、被写体を撮影することによって生成された第１の画像と、第１の画像とは異なる姿勢の被写体を撮影することによって生成された第２の画像とを比較することによって撮像装置の異常が判定される。

特開２０１７−１４３５２６号公報特開２００３−２５９３５８号公報

ところで、物体を監視する物体監視装置に撮像装置が用いられ、撮像装置が常に所定範囲を撮影する場合がある。この場合、撮像装置が固定され且つ被写体の動作が予測不能であるため、異なる状態における被写体の二つの画像を意図的に生成することができない。このため、撮像装置の異常を検出するために、特許文献１に記載の手法を適用することができない。

また、物体監視装置では、撮像装置によって生成された画像に基づいて物体を認識できない場合、原因として撮像装置の異常又は物体の異常が考えられる。物体の異常は、物体が正常な状態にないことを意味し、物体の異常によって物体の認識が妨げられる。物体の異常を精度良く検出するためには、物体が認識されない原因を特定する必要がある。

上記課題に鑑みて、本発明の目的は、物体を監視する物体監視装置において物体が認識されない原因を精度良く判定することにある。

本開示の要旨は以下のとおりである。

（１）所定の物体が存在すべき範囲を撮影して画像を生成する撮像装置と、前記画像に基づいて前記物体を認識する物体認識部と、前記画像が不鮮明であることを検出する検出部と、前記画像が不鮮明であることが検出されたことを示す検出情報を記憶する記憶部と、前記画像に基づいて前記物体が認識されないときに、前記物体が認識されない原因を判定する判定部とを備え、前記判定部は、前記画像に基づいて前記物体が認識されず且つ前記画像が不鮮明であることが検出されない状況が発生したときに、該状況が発生するまでの所定期間における前記検出情報に基づいて、前記原因が前記撮像装置にあるか否かを判定する、物体監視装置。

（２）前記判定部は、前記状況が発生したときに、前記所定期間において前記画像が不鮮明であることが検出された回数又は頻度が所定値以上である場合に、前記原因が前記撮像装置にあると判定する、上記（１）に記載の物体監視装置。

（３）前記判定部は、前記状況が発生したときに、前記画像が不鮮明であることが検出された頻度が前記所定期間において経時的に増加している場合に、前記原因が前記撮像装置にあると判定する、上記（１）に記載の物体監視装置。

（４）前記判定部は、前記画像に基づいて前記物体が認識されず且つ前記画像が不鮮明であることが検出された場合には、前記原因が前記撮像装置にあると判定し、前記判定部は、前記状況が発生したときに、前記所定期間において前記状況が発生していないときに前記原因が前記撮像装置にあると判定された回数又は頻度が所定値以上である場合に、前記原因が前記撮像装置にあると判定する、上記（１）に記載の物体監視装置。

（５）前記判定部は、前記画像に基づいて前記物体が認識されず且つ前記画像が不鮮明であることが検出された場合には、前記原因が前記撮像装置にあると判定し、前記判定部は、前記状況が発生したときに、前記状況が発生していないときに前記原因が前記撮像装置にあると判定された頻度が前記所定期間において経時的に増加している場合に、前記原因が前記撮像装置にあると判定する、上記（１）に記載の物体監視装置。

（６）前記物体は車両のドライバである、上記（１）から（５）のいずれか１つに記載の物体監視装置。

（７）前記判定部は、前記状況が発生したときに前記原因が前記撮像装置にあると判定した場合に、前記ドライバに前記撮像装置の清掃を促す、上記（６）に記載の物体監視装置。

本発明によれば、物体を監視する物体監視装置において物体が認識されない原因を精度良く判定することができる。

図１は、本発明の第一実施形態に係る物体監視装置の構成を示すブロック図である。図２は、物体監視装置を搭載した車両の内部を概略的に示す図である。図３は、撮像装置によって生成された画像が徐々に不鮮明になる状況を概略的に示す図である。図４は、第一実施形態における原因判定処理の制御ルーチンを示すフローチャートである。図５は、第二実施形態における原因判定処理の制御ルーチンを示すフローチャートである。

以下、図面を参照して本発明の実施形態について詳細に説明する。なお、以下の説明では、同様な構成要素には同一の参照番号を付す。

＜第一実施形態＞
以下、図１〜図４を参照して、本発明の第一実施形態について説明する。

＜物体監視装置の構成＞
図１は、本発明の第一実施形態に係る物体監視装置の構成を示すブロック図である。物体監視装置１は物体を監視する。

物体監視装置１は撮像装置２及びＥＣＵ（電子制御ユニット）３を備える。撮像装置２は、所定位置に固定され、所定範囲を撮影して画像を生成する。所定範囲は、所定の物体（監視対象）が存在すべき範囲である。本実施形態では、監視対象である物体が車両のドライバである。このため、物体監視装置１は、車両に搭載され、車両のドライバを監視する。

図２は、物体監視装置１を搭載した車両の内部を概略的に示す図である。車両１０は、例えば自動走行が可能な自動運転車両である。撮像装置２は、車両１０のドライバが存在すべき範囲を撮影してドライバの画像を生成する。本実施形態では、撮像装置２はいわゆるドライバモニタカメラである。撮像装置２は車両１０の内部に設けられる。具体的には、図２に示すように、撮像装置２は車両１０のステアリングコラム１１の上部に設けられる。図２には、撮像装置２の投影範囲が破線で示されている。なお、撮像装置２は、車両１０のステアリング１２、ルームミラー、メータパネル、メータフード等に設けられてもよい。

撮像装置２はカメラ及び投光器を備える。カメラは、レンズ及び撮像素子を含み、例えばＣＭＯＳ（相補型金属酸化膜半導体）カメラ又はＣＣＤ（電荷結合素子）カメラである。投光器は、ＬＥＤ（発光ダイオード）であり、例えばカメラの両側に配置された二個の近赤外ＬＥＤである。ドライバに近赤外光を照射することによって、夜間等の低照度時においてもドライバに不快感を与えることなくドライバの顔を撮影することができる。また、近赤外以外の波長成分の光を除去するするバンドパスフィルタがカメラの内部に設けられ、近赤外ＬＥＤから照射される赤色波長成分の光を除去する可視光カットフィルタが投光器の前面に設けられる。

撮像装置２の動作はＥＣＵ３によって制御さる。例えば、撮像装置２は、車両１０のイグニッションスイッチがオンであるときに、車両１０のドライバが存在すべき範囲を所定間隔で繰り返し撮影する。撮像装置２によって生成された画像（以下、単に「画像」と称する）は撮像装置２からＥＣＵ３に送信される。

＜物体監視装置の制御＞
ＥＣＵ３は、車両１０に設けられたマイクロコンピュータであり、各種制御を実行する。ＥＣＵ３は、ＲＯＭ（読み出し専用メモリ）３１、ＲＡＭ（ランダムアクセスメモリ）３２及びＣＰＵ（中央演算装置）３３を備える。ＲＯＭ３１及びＲＡＭ３２は信号線を介してＣＰＵ３３に接続されている。また、ＥＣＵ３は、電源回路、入力ポート、出力ポート、通信モジュール等を更に備える。なお、本実施形態では、一つのＥＣＵ３が設けられているが、機能毎に複数のＥＣＵが設けられてもよい。

ＲＯＭ３１は、各種データを記憶し、例えばＣＰＵ３３が各種処理を実行するためのコンピュータプログラム等を記憶する。ＲＯＭ３１は記憶部の一例である。ＲＡＭ３２は、ＣＰＵ３３によって各種処理が実行されるときに生成されるデータ等を記憶する。本実施形態では、ＣＰＵ３３は、ＲＯＭ３１に記憶されたコンピュータプログラムを実行することによって、物体認識部３４、検出部３５及び判定部３６として機能する。

物体認識部３４は画像に基づいてドライバを認識する。具体的には、物体認識部３４は、撮像装置２から画像を受信し、画像からドライバの顔を検出することによってドライバを認識する。画像からドライバの顔が検出されない場合、物体認識部３４はドライバを認識しない。

基本的には、ドライバが正常である場合、すなわち走行中の車両１０の周囲の監視義務をドライバが果たしている場合には、ドライバの顔が撮像装置２のカメラの画角内に入り、ドライバの顔が検出される。一方、ドライバが異常である場合に、例えば、ドライバが自分の体又は所有物によって撮像装置２のレンズを塞いでいる場合、ドライバがスマートフォン等を見ている場合、ドライバが離席している場合等には、ドライバの顔が検出不可能となる。

例えば、ドライバの顔部品の検出状態に応じて、物体認識部３４によるドライバの顔の検出状態が変化する。物体認識部３４は、画像から顔領域を特定し、眼、鼻、口等の顔部品の特徴点を抽出することによって顔部品を検出する。例えば、眼及び鼻の顔部品が検出された場合には物体認識部３４によってドライバの顔が検出され、眼及び鼻の顔部品が検出されない場合に物体認識部３４によってドライバの顔が検出されない。

なお、ドライバの顔を認識するための方法は他の方法であってもよい。例えば、物体認識部３４は、正常な状態のドライバの顔画像を大量に学習し、ディープラーニング等の手法によってドライバの顔の検出を行ってもよい。この場合、ドライバが正常であると推測される限り、眼及び鼻の顔部品が検出されないときにも、物体認識部３４によってドライバの顔が検出される。

撮像装置２の異常、例えば撮像装置２のレンズの異常（汚れ、曇り等）が生じると、画像が不鮮明になる。検出部３５は、撮像装置２から画像を受信し、画像が不鮮明であることを検出する。例えば、検出部３５は、所定時間において撮像素子の一部のみの画素の出力がほとんど変動しない場合に、画像が不鮮明であることを検出する。画像が不鮮明であることが検出された場合には、画像が不鮮明であることが検出されたことを示す検出情報（以下、単に「検出情報」と称する）がＲＯＭ３１に記憶される。

なお、画像が不鮮明であることを検出するための方法は他の方法であってもよい。例えば、検出部３５は、所定時間において撮像素子の一部のみの画素の輝度が所定値以下である場合に、画像が不鮮明であることを検出してもよい。

判定部３６は、物体認識部３４によって画像に基づいてドライバが認識されないときに、ドライバが認識されない原因を判定する。ドライバが認識されない原因として、撮像装置２の異常又はドライバの異常が考えられる。このため、判定部３６は、ドライバが認識されない原因を撮像装置２の異常又はドライバの異常に特定する。

図３は、画像が徐々に不鮮明になる状況を概略的に示す図である。図３には、撮像装置２によって生成されたドライバの顔画像の時間変化が簡略的に示される。図３の例では、時刻ｔ１、時刻ｔ２、時刻ｔ４〜時刻ｔ６、時刻ｔ８及び時刻ｔ９〜時刻ｔ１１において、画像が不鮮明であることが検出されている。また、時刻ｔ３、時刻ｔ５〜時刻ｔ７及び時刻ｔ９〜時刻ｔ１１において、画像に基づいてドライバの顔が検出されていない。すなわち、これら時刻において、物体認識部３４によってドライバが認識されていない。また、時刻ｔ１２以降、ドライバの顔が検出されない状態が継続している。

画像に基づいてドライバが認識されず且つ画像が不鮮明であることが検出された場合（時刻ｔ５、時刻ｔ６及び時刻ｔ９〜時刻ｔ１１）には、撮像装置２の異常が推定される。このため、判定部３６は、画像に基づいてドライバが認識されず且つ画像が不鮮明であることが検出された場合には、ドライバが認識されない原因が撮像装置２にあると判定する。

時刻ｔ１２以降のように、撮像装置２の異常が悪化して画像全体が不鮮明になった場合には、検出部３５は、画像が不鮮明であることを検出することができない。また、この場合、撮像装置２の異常によってドライバが認識されない。一方、時刻ｔ３及び時刻ｔ７では、ドライバの異常によってドライバが認識されない。したがって、時刻ｔ１２以降並びに時刻ｔ３及び時刻ｔ７のように、画像に基づいてドライバが認識されず且つ画像が不鮮明であることが検出されない状況（以下、「第１の状況」と称する）が発生した場合には、ドライバが認識されない原因としてドライバの異常又は撮像装置２の異常が考えられる。

図３から分かるように、画像が不鮮明であることが検出される回数及び頻度は、不鮮明の度合が大きくなるにつれて増加する。また、撮像装置２の異常は徐々に進行すると考えられ、不鮮明の度合も徐々に大きくなると考えられる。このため、ドライバが認識されない原因に応じて、第１の状況が発生するまでの所定期間（以下、単に「所定期間」と称する）における検出情報に差が生じると考えられる。

そこで、本実施形態では、判定部３６は、第１の状況が発生したときに、所定期間における検出情報に基づいて、ドライバが認識されない原因が撮像装置２にあるか否かを判定する。このことによって、ドライバが認識されない原因を精度良く判定することができる。また、ドライバが正常であるにも拘わらずドライバに警報を与えることを抑制することができる。このことによって、ドライバに不快感を与えることを抑制することができる。

例えば、判定部３６は、第１の状況が発生したときに、所定期間において画像が不鮮明であることが検出された回数又は頻度が所定値以上である場合に、ドライバが認識されない原因が撮像装置２にあると判定する。一方、判定部３６は、第１の状況が発生したときに、所定期間において画像が不鮮明であることが検出された回数又は頻度が所定値未満である場合には、ドライバが認識されない原因がドライバにあると判定する。なお、頻度とは、所定数の画像が生成された場合に、画像が不鮮明であることが検出された割合を意味する。

また、判定部３６は、第１の状況が発生したときに、画像が不鮮明であることが検出された頻度が所定期間において経時的に増加している場合に、ドライバが認識されない原因が撮像装置２にあると判定してもよい。この場合、判定部３６は、第１の状況が発生したときに、画像が不鮮明であることが検出された頻度が所定期間において経時的に増加してない場合には、ドライバが認識されない原因がドライバにあると判定する。

撮像装置２の異常によって第１の状況が発生したときには、撮像装置２の異常が解消されるまで、ドライバの顔が認識されない状況が継続する。また、撮像装置２の異常がレンズの汚れ又は曇りである場合には、簡単なレンズの清掃によって撮像装置２の異常が解消することが多い。このため、判定部３６は、第１の状況が発生したときに、ドライバが認識されない原因が撮像装置２にあると判定した場合に、ドライバに撮像装置２の清掃を促してもよい。このことによって、撮像装置２の修理に要する時間を低減することができる。また、車両１０が自動運転車両である場合には、物体監視装置１によってドライバの顔が再び認識されることによって、自動走行を継続することができる。

＜原因判定処理＞
以下、図４のフローチャートを参照して、ドライバが認識されない原因を判定するための制御について詳細に説明する。図４は、第一実施形態における原因判定処理の制御ルーチンを示すフローチャートである。本制御ルーチンはＥＣＵ３のＣＰＵ３３によって所定の実行間隔で繰り返し実行される。所定の実行間隔は、例えば、撮像装置２からＥＣＵ３に画像が送信される間隔である。

最初に、ステップＳ１０１において、判定部３６は、画像が不鮮明であることが検出部３５によって検出されたか否かを判定する。画像が不鮮明であることが検出されたと判定された場合、本制御ルーチンはステップＳ１０２に進む。

ステップＳ１０２では、判定部３６は検出情報をＲＯＭ３１に記憶する。検出情報は、画像が不鮮明であることが検出された日時を含む。次いで、ステップＳ１０３において、判定部３６は、物体認識部３４によって画像に基づいてドライバが認識されたか否かを判定する。ドライバが認識されたと判定された場合、本制御ルーチンは終了する。

一方、ステップＳ１０３においてドライバが認識されなかったと判定された場合、本制御ルーチンはステップＳ１０４に進む。ステップＳ１０４では、判定部３６は、ドライバが認識されない原因が撮像装置２（具体的には撮像装置２のレンズ）にあると判定する。また、判定部３６は、車両１０に設けられたＨＭＩ（ヒューマン・マシン・インターフェース（Human Machine Interface））等を介して、撮像装置２の異常をドライバに通知してもよい。ステップＳ１０４の後、本制御ルーチンは終了する。

また、ステップＳ１０１において画像が不鮮明であることが検出されなかったと判定された場合、本制御ルーチンはステップＳ１０５に進む。ステップＳ１０５では、判定部３６は、ステップＳ１０３と同様に、物体認識部３４によって画像に基づいてドライバが認識されたか否かを判定する。ドライバが認識されたと判定された場合、本制御ルーチンは終了する。

一方、ステップＳ１０５においてドライバが認識されなかったと判定された場合、本制御ルーチンはステップＳ１０６に進む。この場合、第１の状況が発生している。ステップＳ１０６では、判定部３６は、所定期間における検出情報に基づいて、ドライバが認識されない原因が撮像装置２にあるか否かを判定する。具体的には、判定部３６は、所定期間における検出情報に基づいて、所定期間において画像が不鮮明であることが検出された回数が所定値以上であるか否かを判定する。所定期間における検出情報はＲＯＭ３１に記憶されている。所定期間及び所定値は予め実験的に定められる。所定期間は、第１の状況が発生したときを終点とし、例えば、数時間〜数ヶ月である。

ステップＳ１０６において所定期間において画像が不鮮明であることが検出された回数が所定値未満であると判定された場合、本制御ルーチンはステップＳ１０７に進む。ステップＳ１０７では、判定部３６は、ドライバが認識されない原因がドライバにあると判定する。次いで、ステップＳ１０８において、判定部３６はＨＭＩ等を介してドライバに警報を与える。ステップＳ１０８の後、本制御ルーチンは終了する。

一方、ステップＳ１０６において所定期間において画像が不鮮明であることが検出された回数が所定値以上であると判定された場合、本制御ルーチンはステップＳ１０９に進む。ステップＳ１０９では、判定部３６は、ドライバが認識されない原因が撮像装置２（具体的には撮像装置２のレンズ）にあると判定する。また、判定部３６は、ＨＭＩ等を介して、撮像装置２の異常をドライバに通知してもよい。次いで、ステップＳ１１０において、判定部３６はＨＭＩ等を介してドライバに撮像装置２の清掃を促す。ステップＳ１１０の後、本制御ルーチンは終了する。

なお、ステップＳ１０６において、判定部３６は、所定期間における検出情報に基づいて、所定期間において画像が不鮮明であることが検出された頻度が所定値以上であるか否かを判定してもよい。また、ステップＳ１０６において、判定部３６は、所定期間における検出情報に基づいて、画像が不鮮明であることが検出された頻度が所定期間において経時的に増加しているか否かを判定してもよい。

また、ステップＳ１０４の後において、ステップＳ１１０と同様に、判定部３６はＨＭＩ等を介してドライバに撮像装置２の清掃を促してもよい。また、ステップＳ１１０は省略されてもよい。

＜第二実施形態＞
第二実施形態に係る物体監視装置の構成及び制御は、以下に説明する点を除いて、基本的に第一実施形態に係る物体監視装置の構成及び制御と同様である。このため、以下、本発明の第二実施形態について、第一実施形態と異なる部分を中心に説明する。

上述したように、画像が不鮮明であることが検出される回数及び頻度は、不鮮明の度合が大きくなるにつれて増加する。また、不鮮明の度合が大きくなるにつれて、ドライバの顔が認識されない回数及び頻度も増加する。この結果、図３の時刻ｔ５、時刻ｔ６及び時刻ｔ９〜時刻ｔ１２のように、第１の状況が発生していないときにドライバが認識されない原因が撮像装置２にあると判定される回数及び頻度も、不鮮明の度合が大きくなるにつれて増加する。

このため、第二実施形態では、判定部３６は、第１の状況が発生していないときにドライバが認識されない原因が撮像装置２にあると判定された場合にのみ、検出情報をＲＯＭ３１に記憶する。また、判定部３６は、第１の状況が発生したときに、所定期間において第１の状況が発生していないときにドライバが認識されない原因が撮像装置２にあると判定された回数又は頻度が所定値以上である場合に、ドライバが認識されない原因が撮像装置２にあると判定する。一方、判定部３６は、第１の状況が発生したときに、所定期間において第１の状況が発生していないときにドライバが認識されない原因が撮像装置２にあると判定された回数又は頻度が所定値未満である場合には、ドライバが認識されない原因がドライバにあると判定する。なお、頻度とは、所定数の画像が生成された場合に、第１の状況が発生していないときにドライバが認識されない原因が撮像装置２にあると判定された割合を意味する。

また、判定部３６は、第１の状況が発生したときに、所定期間において第１の状況が発生していないときにドライバが認識されない原因が撮像装置２にあると判定された頻度が経時的に増加している場合に、ドライバが認識されない原因が撮像装置２にあると判定してもよい。この場合、判定部３６は、第１の状況が発生したときに、所定期間において第１の状況が発生していないときにドライバが認識されない原因が撮像装置２にあると判定された頻度が経時的に増加していない場合には、ドライバが認識されない原因がドライバにあると判定する。

第二実施形態における制御によれば、ドライバが認識されない原因を精度良く判定することができると共に、ＲＯＭの記憶容量を低減することができる。

＜原因判定処理＞
図５は、第二実施形態における原因判定処理の制御ルーチンを示すフローチャートである。本制御ルーチンはＥＣＵ３のＣＰＵ３３によって所定の実行間隔で繰り返し実行される。所定の実行間隔は、例えば、撮像装置２からＥＣＵ３に画像が送信される間隔である。

ステップＳ２０１〜ステップＳ２０３及びステップＳ２０５は図４のステップＳ１０１及びステップＳ１０３〜ステップＳ１０５と同様であることから説明を省略する。本制御ルーチンは、ステップＳ２０３の後、ステップＳ２０４に進む。この場合、第１の状況が発生していないときにドライバが認識されない原因が撮像装置２にあると判定されている。このため、ステップＳ２０４では、判定部３６は検出情報をＲＯＭ３１に記憶する。ステップＳ２０４の後、本制御ルーチンは終了する。

また、ステップＳ２０５においてドライバが認識されなかったと判定された場合、ステップＳ２０６において、判定部３６は、所定期間における検出情報に基づいて、ドライバが認識されない原因が撮像装置２にあるか否かを判定する。具体的には、判定部３６は、所定期間における検出情報に基づいて、所定期間において第１の状況が発生していないときにドライバが認識されない原因が撮像装置２にあると判定された回数が所定値以上であるか否かを判定する。所定期間における検出情報はＲＯＭ３１に記憶されている。所定期間及び所定値は予め実験的に定められる。所定期間は、第１の状況が発生したときを終点とし、例えば、数時間〜数ヶ月である。

ステップＳ２０６において、所定期間において第１の状況が発生していないときにドライバが認識されない原因が撮像装置２にあると判定された回数が所定値未満であると判定された場合、本制御ルーチンはステップＳ２０７に進む。この場合、図４のステップＳ１０７及びステップＳ１０８と同様に、判定部３６は、ステップＳ２０７においてドライバが認識されない原因がドライバにあると判定し、ステップＳ２０８においてドライバに警報を与える。ステップＳ２０８の後、本制御ルーチンは終了する。

一方、ステップＳ２０６において、所定期間において第１の状況が発生していないときにドライバが認識されない原因が撮像装置２にあると判定された回数が所定値以上であると判定された場合、本制御ルーチンはステップＳ２０９に進む。この場合、図４のステップＳ１０９及びステップＳ１１０と同様に、判定部３６は、ステップＳ２０９においてドライバが認識されない原因が撮像装置２（具体的には撮像装置２のレンズ）にあると判定し、ステップＳ２１０においてドライバに撮像装置２の清掃を促す。ステップＳ２１０の後、本制御ルーチンは終了する。

なお、ステップＳ２０６において、判定部３６は、所定期間における検出情報に基づいて、所定期間において第１の状況が発生していないときにドライバが認識されない原因が撮像装置２にあると判定された頻度が所定値以上であるか否かを判定してもよい。また、ステップＳ１０６において、判定部３６は、所定期間における検出情報に基づいて、第１の状況が発生していないときにドライバが認識されない原因が撮像装置２にあると判定された頻度が所定期間において経時的に増加しているか否かを判定してもよい。

また、ステップＳ２０３又はステップＳ２０４の後において、図４のステップＳ１１０と同様に、判定部３６はドライバに撮像装置２の清掃を促してもよい。また、ステップＳ２１０は省略されてもよい。

以上、本発明に係る好適な実施形態を説明したが、本発明はこれら実施形態に限定されるものではなく、特許請求の範囲の記載内で様々な修正及び変更を施すことができる。例えば、監視対象である物体は、ドライバ以外の人間、動物、工場におけるワーク等であってもよい。

１物体監視装置
２撮像装置
３ＥＣＵ
３１ＲＯＭ
３２ＲＡＭ
３３ＣＰＵ
３４物体認識部
３５検出部
３６判定部

Claims

所定の物体が存在すべき範囲を撮影して画像を生成する撮像装置と、
前記画像に基づいて前記物体を認識する物体認識部と、
前記画像が不鮮明であることを検出する検出部と、
前記画像が不鮮明であることが検出されたことを示す検出情報を記憶する記憶部と、
前記画像に基づいて前記物体が認識されないときに、前記物体が認識されない原因を判定する判定部と
を備え、
前記判定部は、前記画像に基づいて前記物体が認識されず且つ前記画像が不鮮明であることが検出されない状況が発生したときに、該状況が発生するまでの所定期間における前記検出情報に基づいて、前記原因が前記撮像装置にあるか否かを判定する、物体監視装置。
前記判定部は、前記状況が発生したときに、前記所定期間において前記画像が不鮮明であることが検出された回数又は頻度が所定値以上である場合に、前記原因が前記撮像装置にあると判定する、請求項１に記載の物体監視装置。
前記判定部は、前記状況が発生したときに、前記画像が不鮮明であることが検出された頻度が前記所定期間において経時的に増加している場合に、前記原因が前記撮像装置にあると判定する、請求項１に記載の物体監視装置。
前記判定部は、前記画像に基づいて前記物体が認識されず且つ前記画像が不鮮明であることが検出された場合には、前記原因が前記撮像装置にあると判定し、
前記判定部は、前記状況が発生したときに、前記所定期間において前記状況が発生していないときに前記原因が前記撮像装置にあると判定された回数又は頻度が所定値以上である場合に、前記原因が前記撮像装置にあると判定する、請求項１に記載の物体監視装置。
前記判定部は、前記画像に基づいて前記物体が認識されず且つ前記画像が不鮮明であることが検出された場合には、前記原因が前記撮像装置にあると判定し、
前記判定部は、前記状況が発生したときに、前記状況が発生していないときに前記原因が前記撮像装置にあると判定された頻度が前記所定期間において経時的に増加している場合に、前記原因が前記撮像装置にあると判定する、請求項１に記載の物体監視装置。
前記物体は車両のドライバである、請求項１から５のいずれか１項に記載の物体監視装置。
前記判定部は、前記状況が発生したときに前記原因が前記撮像装置にあると判定した場合に、前記ドライバに前記撮像装置の清掃を促す、請求項６に記載の物体監視装置。