JP2009276848A

JP2009276848A - 運転状態推定装置、及び運転状態推定方法

Info

Publication number: JP2009276848A
Application number: JP2008125053A
Authority: JP
Inventors: Seiki Moriizumi; 清貴森泉
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2008-05-12
Filing date: 2008-05-12
Publication date: 2009-11-26
Anticipated expiration: 2028-05-12
Also published as: JP4962917B2

Abstract

【課題】運転中にドライバがマスクを装着していたとしても、マスクの外形線に基づいて、ドライバの眼の位置を特定し、ドライバが閉眼状態であるか否かを推定すると共に、脇見状態であるか否かを推定することができる運転状態推定装置、及び運転状態推定方法を提供する。
【解決手段】運転状態推定装置であって、ドライバの顔を撮像する顔撮像部と、顔撮像部が撮像した顔画像からマスクの外形線を認識する外形線認識部と、外形線認識部が認識したマスクの外形線に基づいて、ドライバの眼の位置を特定して眼の開度、顔の向きの少なくとも一方を認識する顔状態認識部と、顔状態認識部が眼の開度を認識する場合は、認識した眼の開度からドライバが閉眼状態であるか否かを推定すると共に、前記顔状態認識部が顔の向きを認識する場合は、認識した顔の向きから脇見状態であるか否かを推定する運転状態推定部とを備える。
【選択図】図１

Description

本発明は、運転状態推定装置、及び運転状態推定方法に関し、より特定的には、運転中にドライバがマスクを装着していたとしても、鼻孔の位置を推定することで、ドライバが閉眼状態であるか否かを推定すると共に、脇見状態であるか否かを推定することができる運転状態推定装置、及び運転状態推定方法に関する。

従来、ドライバの運転状態を推定する技術として、ドライバの顔を撮像し、撮像した顔画像から得られるドライバの鼻孔の位置に基づいて、眼の位置を特定して眼の開度、及び顔の向きを判定することによって、ドライバが閉眼状態であるか否かを推定すると共に、脇見状態であるか否かを推定する運転状態推定装置が提案されている（例えば、特許文献１参照）。
特開２００１−５９５２号公報

しかしながら、上述した従来の運転状態推定装置では、運転中にドライバがマスクを装着している場合、マスクによって鼻孔が隠蔽され、撮像した顔画像から鼻孔の位置が特定できない。

そのため、眼の位置を特定して眼の開度を判定したり、顔の向きを判定したりすることができず、ドライバが閉眼状態であるか否かを推定することができないと共に、脇見状態であるか否かを推定することができない。

そこで、本発明は、上記問題に鑑みてなされた。すなわち、運転中にドライバがマスクを装着していたとしても、マスクの外形線に基づいて、ドライバの眼の位置を特定し、ドライバが閉眼状態であるか否かを推定すると共に、脇見状態であるか否かを推定することができる運転状態推定装置、及び運転状態推定方法を提供することを目的とする。

本発明の第１の局面は、ドライバの運転状態を推定する運転状態推定装置に向けられている。本発明は、ドライバの顔を撮像する顔撮像部と、顔撮像部が撮像した顔画像からマスクの外形線を認識する外形線認識部と、外形線認識部が認識したマスクの外形線に基づいて、ドライバの眼の位置を特定して眼の開度、もしくは顔の向きの少なくとも一方を認識する顔状態認識部と、顔状態認識部が眼の開度を認識する場合は、認識した眼の開度からドライバが閉眼状態であるか否かを推定すると共に、前記顔状態認識部が顔の向きを認識する場合は、認識した顔の向きから脇見状態であるか否かを推定する運転状態推定部とを備える。

これにより、運転中にドライバがマスクを装着していたとしても、マスクの外形線に基づいて、ドライバの眼の位置を特定し、ドライバが閉眼状態であるか否かを推定すると共に、脇見状態であるか否かを推定することができる運転状態推定装置を提供することができる。

また、顔撮像部が撮像した顔画像からドライバの鼻孔位置を認識する鼻孔位置認識部と、鼻孔位置認識部が顔画像からドライバの鼻孔位置を認識できない場合に、当該ドライバに発声を要求する発声要求部と、発声要求部の要求に応答してドライバが発声した音声を取得する音声取得部と、音声取得部が取得した音声を周波数分析することによって、ドライバがマスクを装着しているか否かを推定するマスク装着推定部とを更に備え、顔状態認識部は、マスク装着推定部がマスクを装着していると推定した場合に、外形線認識部が認識したマスクの外形線に基づいて、ドライバの眼の位置を特定して眼の開度を認識すると共に、顔の向きを認識し、運転状態推定部は、顔状態認識部が認識した眼の開度からドライバが閉眼状態であるか否かを推定すると共に、顔状態認識部が認識した顔の向きから脇見状態であるか否かを推定することが好ましい。

これにより、ドライバがマスクをしていることを確実に推定でき、運転中にドライバがマスクを装着していたとしても、ドライバの眼の位置を特定し、ドライバが閉眼状態であるか否かを推定すると共に、脇見状態であるか否かを推定することができる運転状態推定装置を提供することができる。

また、マスク装着推定部は、ドライバがマスク装着時に発声した場合の音声の周波数を予め記憶しており、当該記憶されている音声の周波数と前記音声取得部が取得した音声の周波数とが類似する場合に、ドライバがマスクを装着していると推定することが好ましい。

また、外形線認識部は、前記顔撮像部が撮像した顔画像中の白色の四角形状の外形線をマスクの外形線として認識することが好ましい。

これにより、マスクの外形線に基づいて、ドライバの眼の位置を特定でき、運転中にドライバがマスクを装着していたとしても、ドライバが閉眼状態であるか否かを推定すると共に、脇見状態であるか否かを推定することができる運転状態推定装置を提供することができる。

また、マスク装着推定部がマスクを装着していると推定した場合に、外形線認識部が認識したマスクの外形線に基づいて、ドライバの鼻孔位置を推定する鼻孔位置推定部を更に備え、顔状態認識部は、前記鼻孔位置推定部が推定した鼻孔位置に基づいて、ドライバの眼の位置を特定して眼の開度、もしくは顔の向きの少なくとも一方を認識し、運転状態推定部は、顔状態認識部が眼の開度を認識する場合は、認識した眼の開度からドライバが閉眼状態であるか否かを推定すると共に、顔状態認識部が顔の向きを認識する場合は、認識した顔の向きから脇見状態であるか否かを推定することが好ましい。

これにより、運転中にドライバがマスクを装着していたとしても、鼻孔の位置を推定することで、ドライバが閉眼状態であるか否かを推定すると共に、脇見状態であるか否かを推定することができる運転状態推定装置を提供することができる。

また、運転状態推定部は、前記顔状態認識部が認識した眼の開度が所定距離以下である状態が所定時間継続した場合にドライバが閉眼状態であると推定し、前記顔状態認識部が認識した顔の向きが正面に対して所定角以上をなす向きである状態が所定時間継続した場合に脇見状態であると推定することが好ましい。

これにより、運転中にドライバがマスクを装着していたとしても、ドライバが閉眼状態であるか否かを確実に推定すると共に、脇見状態であるか否かを確実に推定することができる運転状態推定装置を提供することができる。

本発明の第２の局面は、ドライバの運転状態を推定する運転状態推定装置に向けられている。本発明は、ドライバの顔を撮像する顔撮像部と、顔撮像部が撮像した顔画像に対応するドライバの顔のサーモグラフ画像を取得するサーモグラフ画像取得部と、サーモグラフ画像取得部が取得した顔のサーモグラフに基づいて、顔撮像部が撮像した顔画像中の所定の温度よりも低い温度を示す顔の部分を鼻孔位置として推定する鼻孔位置推定部と、鼻孔位置推定部が推定した鼻孔位置に基づいて、顔撮像部が撮像した顔画像からドライバの眼の位置を特定して眼の開度を認識すると共に、顔の向きを認識する顔状態認識部と、顔状態認識部が認識した眼の開度からドライバが閉眼状態であるか否かを推定すると共に、顔状態認識部が認識した顔の向きから脇見状態であるか否かを推定する運転状態推定部とを備える。

これにより、運転中にドライバがマスクを装着していたとしても、サーモグラフにより鼻孔の位置を推定することで、ドライバが閉眼状態であるか否かを推定すると共に、脇見状態であるか否かを推定することができる運転状態推定装置を提供することができる。

また、運転状態推定部は、顔状態認識部が認識した眼の開度が所定距離以下である状態が所定時間継続した場合にドライバが閉眼状態であると推定し、前記顔状態認識部が認識した顔の向きが正面に対して所定角以上をなす向きである状態が所定時間継続した場合に脇見状態であると推定することが好ましい。

これにより、運転中にドライバがマスクを装着していたとしても、サーモグラフにより鼻孔の位置を推定することで、ドライバが閉眼状態であるか否かを確実に推定すると共に、脇見状態であるか否かを確実に推定することができる運転状態推定装置を提供することができる。

本発明の第３の局面は、ドライバの運転状態を推定する運転状態推定方法に向けられている。本発明は、ドライバの顔を撮像する顔撮像ステップと、顔撮像ステップで撮像した顔画像からマスクの外形線を認識する外形線認識ステップと、外形線認識ステップで認識したマスクの外形線に基づいて、ドライバの眼の位置を特定して眼の開度、もしくは顔の向きの少なくとも一方を認識する顔状態認識ステップと、顔状態認識ステップで眼の開度を認識する場合は、認識した眼の開度からドライバが閉眼状態であるか否かを推定すると共に、顔状態認識ステップで顔の向きを認識する場合は、認識した顔の向きから脇見状態であるか否かを推定する運転状態推定部とを備える。

これにより、運転中にドライバがマスクを装着していたとしても、マスクの外形線に基づいて、ドライバの眼の位置を特定し、ドライバが閉眼状態であるか否かを推定すると共に、脇見状態であるか否かを推定することができる運転状態推定方法を提供することができる。

また、顔撮像部が撮像した顔画像からドライバの鼻孔位置を認識する鼻孔位置認識ステップと、鼻孔位置認識ステップで顔画像からドライバの鼻孔位置を認識できない場合に、当該ドライバに発声を要求する発声要求ステップと、発声要求ステップでの要求に応答してドライバが発声した音声を取得する音声取得ステップと、音声取得ステップで取得した音声を周波数分析することによって、ドライバがマスクを装着しているか否かを推定するマスク装着推定ステップとを更に備え、顔状態認識ステップでは、前記マスク装着推定ステップでマスクを装着していると推定した場合に、外形線認識ステップで認識したマスクの外形線に基づいて、ドライバの眼の位置を特定して眼の開度を認識すると共に、顔の向きを認識し、運転状態推定ステップでは、顔状態認識ステップで認識した眼の開度からドライバが閉眼状態であるか否かを推定すると共に、顔状態認識ステップで認識した顔の向きから脇見状態であるか否かを推定することが好ましい。

これにより、ドライバがマスクをしていることを確実に推定でき、運転中にドライバがマスクを装着していたとしても、ドライバの眼の位置を特定し、ドライバが閉眼状態であるか否かを推定すると共に、脇見状態であるか否かを推定することができる運転状態推定方法を提供することができる。

また、マスク装着推定ステップでは、ドライバがマスク装着時に発声した場合の音声の周波数を予め記憶しており、当該記憶されている音声の周波数と前記音声取得ステップで取得した音声の周波数とが類似する場合に、ドライバがマスクを装着していると推定することが好ましい。

また、外形線認識ステップでは、顔撮像ステップで撮像した顔画像中の白色の四角形状の外形線をマスクの外形線として認識することが好ましい。

これにより、マスクの外形線に基づいて、ドライバの眼の位置を特定でき、運転中にドライバがマスクを装着していたとしても、ドライバが閉眼状態であるか否かを推定すると共に、脇見状態であるか否かを推定することができる運転状態推定方法を提供することができる。

また、マスク装着推定ステップでマスクを装着していると推定された場合に、外形線認識ステップで認識したマスクの外形線に基づいて、ドライバの鼻孔位置を推定する鼻孔位置推定ステップを更に備え、顔状態認識ステップでは、前記鼻孔位置推定ステップで推定した鼻孔位置に基づいて、ドライバの眼の位置を特定して眼の開度、もしくは顔の向きの少なくとも一方を認識し、運転状態推定ステップでは、顔状態認識ステップで眼の開度を認識する場合は、認識した眼の開度からドライバが閉眼状態であるか否かを推定すると共に、顔状態認識ステップで顔の向きを認識する場合は、認識した顔の向きから脇見状態であるか否かを推定することが好ましい。

これにより、運転中にドライバがマスクを装着していたとしても、鼻孔の位置を推定することで、ドライバが閉眼状態であるか否かを推定すると共に、脇見状態であるか否かを推定することができる運転状態推定方法を提供することができる。

また、運転状態推定ステップでは、前記顔状態認識ステップで認識した眼の開度が所定距離以下である状態が所定時間継続した場合にドライバが閉眼状態であると推定し、前記顔状態認識ステップで認識した顔の向きが正面に対して所定角以上をなす向きである状態が所定時間継続した場合に脇見状態であると推定することが好ましい。

本発明の第４の局面は、ドライバの運転状態を推定する運転状態推定方法に向けられている。本発明は、ドライバの顔を撮像する顔撮像ステップと、顔撮像ステップで撮像した顔画像に対応するドライバの顔のサーモグラフ画像を取得するサーモグラフ画像取得ステップと、サーモグラフ画像取得ステップで取得した顔のサーモグラフに基づいて、前記顔撮像ステップで撮像した顔画像中の所定の温度よりも低い温度を示す顔の部分を鼻孔位置として推定する鼻孔位置推定ステップと、鼻孔位置推定ステップで推定した鼻孔位置に基づいて、顔撮像ステップで撮像した顔画像からドライバの眼の位置を特定して眼の開度を認識すると共に、顔の向きを認識する顔状態認識ステップと、顔状態認識ステップで認識した眼の開度からドライバが閉眼状態であるか否かを推定すると共に、顔状態認識ステップで認識した顔の向きから脇見状態であるか否かを推定する運転状態推定ステップとを備える。

これにより、運転中にドライバがマスクを装着していたとしても、サーモグラフにより鼻孔の位置を推定することで、ドライバが閉眼状態であるか否かを推定すると共に、脇見状態であるか否かを推定することができる運転状態推定方法を提供することができる。

また、運転状態推定ステップでは、顔状態認識ステップで認識した眼の開度が所定距離以下である状態が所定時間継続した場合にドライバが閉眼状態であると推定し、顔状態認識ステップで認識した顔の向きが正面に対して所定角以上をなす向きである状態が所定時間継続した場合に脇見状態であると推定することが好ましい。

これにより、運転中にドライバがマスクを装着していたとしても、サーモグラフにより鼻孔の位置を推定することで、ドライバが閉眼状態であるか否かを確実に推定すると共に、脇見状態であるか否かを確実に推定することができる運転状態推定方法を提供することができる。

運転中にドライバがマスクを装着していたとしても、マスクの外形線に基づいて、ドライバの眼の位置を特定し、ドライバが閉眼状態であるか否かを推定すると共に、脇見状態であるか否かを推定することができる運転状態推定装置、及び運転状態推定方法を提供することができる。

（第１の実施形態）
以下、本発明の第１の実施の形態に係る運転状態推定装置について、図面に従って詳細に説明する。

図１は、本発明の第１の実施の形態に係る運転状態推定装置１００の全体構成を示すブロック図である。図１において、運転状態推定装置１００は、顔撮像部１１０、鼻孔位置認識部１２０、発声要求部１３０、音声取得部１４０、マスク装着推定部１５０、外形線認識部１６０、鼻孔位置推定部１７０、顔状態認識部１８０、及び運転状態推定部１９０を備える。

顔撮像部１１０は、ドライバの顔を撮像できる位置に配置されたドライバの顔を撮像する、例えばカメラである。カメラＡＳＳＹの中に、赤外線カメラとＬＥＤが搭載されている。

鼻孔位置認識部１２０は、顔撮像部１１０が撮像したドライバの顔画像を画像認識することによって、鼻孔位置を認識する。

発声要求部１３０は、鼻孔位置認識部１２０がドライバの鼻孔位置を認識できない場合に、音声案内、及び／又は表示案内によってドライバに発声を要求する。

音声取得部１４０は、発声要求部１３０の発声要求に応答してドライバが発声した音声を取得する、例えばマイクである。

マスク装着推定部１５０は、音声取得部１４０が取得した音声を周波数分析することによって、ドライバがマスクを装着しているか否かを推定する。すなわち、マスク装着推定部１５０は、ドライバがマスク装着時に発声した場合の音声の周波数を予め記憶しており、当該記憶されている音声の周波数ｆ１と音声取得部１４０が取得した音声のＦＦＴ演算によって得られる周波数ｆ２とが、図２に示すように類似する場合に、ドライバがマスクを装着していると推定する。これにより、ドライバがマスクをしていることを確実に推定できる。

外形線認識部１６０は、顔撮像部１１０が撮像した顔画像を画像認識することによって、顔撮像部１１０が撮像した顔画像中の白色の四角形状の外形線をマスクの外形線として認識する。なお、外形線認識部１６０は、顔撮像部１１０が撮像した顔画像を画像認識することによって、顔撮像部１１０が撮像した顔画像中の略楕円形状の顔の外形線を認識してもよい。

鼻孔位置推定部１７０は、図３に示すように、顔撮像部１１０が撮像した顔画像中の外形線認識部１６０が認識した四角形状のマスクの外形線Ｌ１の横方向の中央、縦方向の上辺から約１センチメートルの位置を鼻孔位置Ｎと推定する。これにより、マスクの外形線に基づいて鼻孔の位置を推定できる。なお、鼻孔位置推定部１７０は、顔撮像部１１０が撮像した顔画像中の外形線認識部１６０が認識した略楕円形状の顔の外形線Ｌ２の略中央の位置を鼻孔位置Ｎと推定してもよい。

顔状態認識部１８０は、鼻孔位置推定部１７０が推定した鼻孔位置に基づいて、顔撮像部１１０が撮像した顔画像からドライバの眼の位置を特定して眼の開度を認識すると共に、顔の向きを認識し、認識データを運転状態推定部１９０へ出力する。

運転状態推定部１９０には、プリクラッシュ制御システム等の車両を制御するシステムが含まれる。運転状態推定部１９０は、眼の開度が所定の距離以下である状態が所定時間継続した場合にドライバが閉眼状態であると推定し、顔向き角度が正面に対して所定角以上をなす状態が所定時間継続した場合にドライバが脇見状態であると推定する。プリクラッシュ制御システムは、このようなドライバの運転状態の推定により、車両と障害物との衝突の危険を報ずる警告や、衝突回避走行の制御などを実行するタイミングをドライバの疲れ具合等に応じて決定する。

以下、本発明の第１の実施の形態に係る運転状態推定装置１００の動作について、図４のフロー図に従って説明する。

まず、顔撮像部１１０は、ドライバの顔を撮像する（ステップＳ４０１）。次に、鼻孔位置推定部１７０は、顔撮像部１１０が撮像した顔画像から鼻孔位置が認識できたか否かを判定する（ステップＳ４０２）。

ステップＳ４０２において、鼻孔位置を認識できたと判定された場合、鼻孔位置推定部１７０は、鼻孔位置を特定する（ステップＳ４０２→ステップＳ４１１）。鼻孔位置の特定がなされると、顔状態認識部１８０は、鼻孔位置推定部１７０が特定した鼻孔位置に基づいて、顔撮像部１１０が撮像した顔画像からドライバの眼の位置を特定して眼の開度を認識すると共に、顔の向きを認識する（ステップＳ４１１→ステップＳ４０９）。顔状態が認識されると、運転状態推定部１９０は、眼の開度が所定の距離以下である状態が所定時間継続した場合にドライバが閉眼状態であると推定し、顔向き角度が正面に対して所定角以上をなす状態が所定時間継続した場合にドライバが脇見状態であると推定する（ステップＳ４０９→ステップＳ４１０）。

一方、ステップＳ４０２において、鼻孔位置を認識できたと判定されなかった場合、発声要求部１３０は、ドライバに発声を要求する（ステップＳ４０３）。音声取得部１４０は、発声要求に応答してドライバが発声した音声を取得する（ステップＳ４０４）。音声が取得されると、マスク装着推定部１５０は、音声取得部１４０が取得した音声を周波数分析する（ステップＳ４０５）。マスク装着推定部１５０は、周波数分析の結果、ドライバがマスクを装着しているか否かを推定する（ステップＳ４０６）。

ステップＳ４０６において、マスクを装着していないと推定された場合、鼻孔位置推定部１７０は、鼻孔位置を特定する（ステップＳ４０６→ステップＳ４１１）。鼻孔位置の特定がなされると、顔状態認識部１８０は、鼻孔位置推定部１７０が特定した鼻孔位置に基づいて、顔撮像部１１０が撮像した顔画像からドライバの眼の位置を特定して眼の開度を認識すると共に、顔の向きを認識する（ステップＳ４１１→ステップＳ４０９）。顔状態が認識されると、運転状態推定部１９０は、眼の開度が所定の距離以下である状態が所定時間継続した場合にドライバが閉眼状態であると推定し、顔向き角度が正面に対して所定角以上をなす状態が所定時間継続した場合にドライバが脇見状態であると推定する（ステップＳ４０９→ステップＳ４１０）。

一方、ステップＳ４０６において、マスクを装着していると推定された場合、外形線認識部１６０は、顔撮像部１１０が撮像した顔画像を画像認識することによって、顔撮像部１１０が撮像した顔画像中の白色の四角形状の外形線をマスクの外形線として認識する（ステップＳ４０７）。マスクの外形線の認識がなされると、鼻孔位置推定部１７０は、顔撮像部１１０が撮像した顔画像中の外形線認識部１６０が認識した四角形状のマスクの外形線に基づいて、鼻孔位置を推定する（ステップＳ４０８）。鼻孔位置の推定がなされると、顔状態認識部１８０は、鼻孔位置推定部１７０が推定した鼻孔位置に基づいて、顔撮像部１１０が撮像した顔画像からドライバの眼の位置を特定して眼の開度を認識すると共に、顔の向きを認識する（ステップＳ４０８→ステップＳ４０９）。顔状態が認識されると、運転状態推定部１９０は、眼の開度が所定の距離以下である状態が所定時間継続した場合にドライバが閉眼状態であると推定し、顔向き角度が正面に対して所定角以上をなす状態が所定時間継続した場合にドライバが脇見状態であると推定する（ステップＳ４０９→ステップＳ４１０）。

このように、本発明によれば、運転中にドライバがマスクを装着していたとしても、マスクの外形線に基づいて、ドライバの眼の位置を特定し、ドライバが閉眼状態であるか否かを推定すると共に、脇見状態であるか否かを推定することができる運転状態推定装置、及び運転状態推定方法を提供することができる。

（第２の実施形態）
以下、本発明の第２の実施の形態に係る運転状態推定装置について、図面に従って詳細に説明する。

図５は、本発明の第２の実施の形態に係る運転状態推定装置２００の全体構成を示すブロック図である。図５において、運転状態推定装置２００は、顔撮像部２１０、サーモグラフ画像取得部２２０、鼻孔位置推定部２３０、顔状態認識部２４０、及び運転状態推定部２５０を備える。

サーモグラフ画像取得部２２０は、顔撮像部２１０が撮像した顔画像に対応するドライバの顔のサーモグラフ画像を取得する。

鼻孔位置推定部２３０は、サーモグラフ画像取得部２２０が取得した顔のサーモグラフに基づいて、顔撮像部２１０が撮像した顔画像中の所定の温度よりも低い温度を示す顔の部分を鼻孔位置として推定する。

顔状態認識部２４０は、鼻孔位置推定部２３０が推定した鼻孔位置に基づいて、顔撮像部２１０が撮像した顔画像からドライバの眼の位置を特定して眼の開度を認識すると共に、顔の向きを認識し、認識データを運転状態推定部２５０へ出力する。

運転状態推定部２５０は、眼の開度が所定の距離以下である状態が所定時間継続した場合にドライバが閉眼状態であると推定し、顔向き角度が正面に対して所定角以上をなす状態が所定時間継続した場合にドライバが脇見状態であると推定する。

以下、本発明の第２の実施の形態に係る運転状態推定装置２００の動作について、図６のフロー図に従って説明する。

まず、顔撮像部２１０は、ドライバの顔を撮像する（ステップＳ６０１）。次に、サーモグラフ画像取得部２２０は、顔撮像部２１０が撮像した顔画像に対応するドライバの顔のサーモグラフ画像を取得する（ステップＳ６０２）。

サーモグラフ画像が取得されると、鼻孔位置推定部２３０は、サーモグラフ画像取得部２２０が取得した顔のサーモグラフに基づいて、顔撮像部２１０が撮像した顔画像中の所定の温度よりも低い温度を示す顔の部分を鼻孔位置として推定する（ステップＳ６０３）。

鼻孔位置が推定されると、顔状態認識部２４０は、鼻孔位置推定部２３０が推定した鼻孔位置に基づいて、顔撮像部２１０が撮像した顔画像からドライバの眼の位置を特定して眼の開度を認識すると共に、顔の向きを認識する（ステップＳ６０４）。

運転状態推定部２５０は、眼の開度が所定の距離以下である状態が所定時間継続した場合にドライバが閉眼状態であると推定し、顔向き角度が正面に対して所定角以上をなす状態が所定時間継続した場合にドライバが脇見状態であると推定する（ステップＳ６０５）。

このように、本発明によれば、運転中にドライバがマスクを装着していたとしても、サーモグラフにより鼻孔の位置を推定することで、ドライバが閉眼状態であるか否かを推定すると共に、脇見状態であるか否かを推定することができる運転状態推定装置、及び運転状態推定方法を提供することができる。

上記実施の形態で説明した構成は、単に具体例を示すものであり、本願発明の技術的範囲を制限するものではない。本願の効果を奏する範囲において、任意の構成を採用することが可能である。

運転中にドライバがマスクを装着していたとしても、マスクの外形線に基づいて、ドライバの眼の位置を特定し、ドライバが閉眼状態であるか否かを推定すると共に、脇見状態であるか否かを推定することができる運転状態推定装置、及び運転状態推定方法等として有用である。

本発明の第１の実施の形態に係る運転状態推定装置の全体構成を示すブロック図音声の周波数分析に係る模式図鼻孔位置の推定の様子を示す模式図本発明の第１の実施の形態に係る運転状態推定装置の動作を示すフロー図本発明の第２の実施の形態に係る運転状態推定装置の全体構成を示すブロック図本発明の第２の実施の形態に係る運転状態推定装置の動作を示すフロー図

符号の説明

１００運転状態推定装置
１１０顔撮像部
１２０鼻孔位置認識部
１３０発声要求部
１４０音声取得部
１５０マスク装着推定部
１６０外形線認識部
１７０鼻孔位置推定部
１８０顔状態認識部
１９０運転状態推定部
２００運転状態推定装置
２１０顔撮像部
２２０サーモグラフ画像取得部
２３０鼻孔位置推定部
２４０顔状態認識部
２５０運転状態推定部

Claims

ドライバの運転状態を推定する運転状態推定装置であって、
ドライバの顔を撮像する顔撮像部と、
前記顔撮像部が撮像した顔画像からマスクの外形線を認識する外形線認識部と、
前記外形線認識部が認識したマスクの外形線に基づいて、ドライバの眼の位置を特定して眼の開度、もしくは顔の向きの少なくとも一方を認識する顔状態認識部と、
前記顔状態認識部が眼の開度を認識する場合は、認識した眼の開度からドライバが閉眼状態であるか否かを推定すると共に、前記顔状態認識部が顔の向きを認識する場合は、認識した顔の向きから脇見状態であるか否かを推定する運転状態推定部とを備える、運転状態推定装置。
前記顔撮像部が撮像した顔画像からドライバの鼻孔位置を認識する鼻孔位置認識部と、
前記鼻孔位置認識部が顔画像からドライバの鼻孔位置を認識できない場合に、当該ドライバに発声を要求する発声要求部と、
前記発声要求部の要求に応答してドライバが発声した音声を取得する音声取得部と、
前記音声取得部が取得した音声を周波数分析することによって、ドライバがマスクを装着しているか否かを推定するマスク装着推定部とを更に備え、
前記顔状態認識部は、前記マスク装着推定部がマスクを装着していると推定した場合に、前記外形線認識部が認識したマスクの外形線に基づいて、ドライバの眼の位置を特定して眼の開度を認識すると共に、顔の向きを認識し、
前記運転状態推定部は、前記顔状態認識部が認識した眼の開度からドライバが閉眼状態であるか否かを推定すると共に、前記顔状態認識部が認識した顔の向きから脇見状態であるか否かを推定することを特徴とする、請求項１に記載の運転状態推定装置。
前記マスク装着推定部は、ドライバがマスク装着時に発声した場合の音声の周波数を予め記憶しており、当該記憶されている音声の周波数と前記音声取得部が取得した音声の周波数とが類似する場合に、ドライバがマスクを装着していると推定することを特徴とする、請求項２に記載の運転状態推定装置。
前記外形線認識部は、前記顔撮像部が撮像した顔画像中の白色の四角形状の外形線をマスクの外形線として認識することを特徴とする、請求項１〜３のいずれかに記載の運転状態推定装置。
前記マスク装着推定部がマスクを装着していると推定した場合に、前記外形線認識部が認識したマスクの外形線に基づいて、ドライバの鼻孔位置を推定する鼻孔位置推定部を更に備え、
前記顔状態認識部は、前記鼻孔位置推定部が推定した鼻孔位置に基づいて、ドライバの眼の位置を特定して眼の開度、もしくは顔の向きの少なくとも一方を認識し、
前記運転状態推定部は、前記顔状態認識部が眼の開度を認識した場合は、認識した眼の開度からドライバが閉眼状態であるか否かを推定すると共に、前記顔状態認識部が顔の向きを認識した場合は、認識した顔の向きから脇見状態であるか否かを推定することを特徴とする、請求項１に記載の運転状態推定装置。
前記運転状態推定部は、前記顔状態認識部が認識した眼の開度が所定距離以下である状態が所定時間継続した場合にドライバが閉眼状態であると推定し、前記顔状態認識部が認識した顔の向きが正面に対して所定角以上をなす向きである状態が所定時間継続した場合に脇見状態であると推定することを特徴とする、請求項１〜５のいずれかに記載の運転状態推定装置。
ドライバの運転状態を推定する運転状態推定装置であって、
ドライバの顔を撮像する顔撮像部と、
前記顔撮像部が撮像した顔画像に対応するドライバの顔のサーモグラフ画像を取得するサーモグラフ画像取得部と、
前記サーモグラフ画像取得部が取得した顔のサーモグラフに基づいて、前記顔撮像部が撮像した顔画像中の所定の温度よりも低い温度を示す顔の部分を鼻孔位置として推定する鼻孔位置推定部と、
前記鼻孔位置推定部が推定した鼻孔位置に基づいて、前記顔撮像部が撮像した顔画像からドライバの眼の位置を特定して眼の開度を認識すると共に、顔の向きを認識する顔状態認識部と、
前記顔状態認識部が認識した眼の開度からドライバが閉眼状態であるか否かを推定すると共に、前記顔状態認識部が認識した顔の向きから脇見状態であるか否かを推定する運転状態推定部とを備える、運転状態推定装置。
前記運転状態推定部は、前記顔状態認識部が認識した眼の開度が所定距離以下である状態が所定時間継続した場合にドライバが閉眼状態であると推定し、前記顔状態認識部が認識した顔の向きが正面に対して所定角以上をなす向きである状態が所定時間継続した場合に脇見状態であると推定することを特徴とする、請求項５に記載の運転状態推定装置。
ドライバの運転状態を推定する運転状態推定方法であって、
ドライバの顔を撮像する顔撮像ステップと、
前記顔撮像ステップで撮像した顔画像からマスクの外形線を認識する外形線認識ステップと、
前記外形線認識ステップで認識したマスクの外形線に基づいて、ドライバの眼の位置を特定して眼の開度、もしくは顔の向きの少なくとも一方を認識する顔状態認識ステップと、
前記顔状態認識ステップで眼の開度を認識する場合は、認識した眼の開度からドライバが閉眼状態であるか否かを推定すると共に、前記顔状態認識ステップで顔の向きを認識する場合は、認識した顔の向きから脇見状態であるか否かを推定する運転状態推定部とを備える、運転状態推定方法。
前記顔撮像部が撮像した顔画像からドライバの鼻孔位置を認識する鼻孔位置認識ステップと、
前記鼻孔位置認識ステップで顔画像からドライバの鼻孔位置を認識できない場合に、当該ドライバに発声を要求する発声要求ステップと、
前記発声要求ステップでの要求に応答してドライバが発声した音声を取得する音声取得ステップと、
前記音声取得ステップで取得した音声を周波数分析することによって、ドライバがマスクを装着しているか否かを推定するマスク装着推定ステップとを更に備え、
前記顔状態認識ステップでは、前記マスク装着推定ステップでマスクを装着していると推定した場合に、前記外形線認識ステップで認識したマスクの外形線に基づいて、ドライバの眼の位置を特定して眼の開度を認識すると共に、顔の向きを認識し、
前記運転状態推定ステップでは、前記顔状態認識ステップで認識した眼の開度からドライバが閉眼状態であるか否かを推定すると共に、前記顔状態認識ステップで認識した顔の向きから脇見状態であるか否かを推定することを特徴とする、請求項９に記載の運転状態推定方法。
前記マスク装着推定ステップでは、ドライバがマスク装着時に発声した場合の音声の周波数を予め記憶しており、当該記憶されている音声の周波数と前記音声取得ステップで取得した音声の周波数とが類似する場合に、ドライバがマスクを装着していると推定することを特徴とする、請求項１０に記載の運転状態推定方法。
前記外形線認識ステップでは、前記顔撮像ステップで撮像した顔画像中の白色の四角形状の外形線をマスクの外形線として認識することを特徴とする、請求項９〜１１のいずれかに記載の運転状態推定方法。
前記マスク装着推定ステップでマスクを装着していると推定された場合に、前記外形線認識ステップで認識したマスクの外形線に基づいて、ドライバの鼻孔位置を推定する鼻孔位置推定ステップを更に備え、
前記顔状態認識ステップでは、前記鼻孔位置推定ステップで推定した鼻孔位置に基づいて、ドライバの眼の位置を特定して眼の開度、もしくは顔の向きの少なくとも一方を認識し、
前記運転状態推定ステップでは、前記顔状態認識ステップで眼の開度を認識する場合は、認識した眼の開度からドライバが閉眼状態であるか否かを推定すると共に、前記顔状態認識ステップで顔の向きを認識する場合は、認識した顔の向きから脇見状態であるか否かを推定することを特徴とする、請求項９に記載の運転状態推定方法。
前記運転状態推定ステップでは、前記顔状態認識ステップで認識した眼の開度が所定距離以下である状態が所定時間継続した場合にドライバが閉眼状態であると推定し、前記顔状態認識ステップで認識した顔の向きが正面に対して所定角以上をなす向きである状態が所定時間継続した場合に脇見状態であると推定することを特徴とする、請求項９〜１３のいずれかに記載の運転状態推定方法。
ドライバの運転状態を推定する運転状態推定方法であって、
ドライバの顔を撮像する顔撮像ステップと、
前記顔撮像ステップで撮像した顔画像に対応するドライバの顔のサーモグラフ画像を取得するサーモグラフ画像取得ステップと、
前記サーモグラフ画像取得ステップで取得した顔のサーモグラフに基づいて、前記顔撮像ステップで撮像した顔画像中の所定の温度よりも低い温度を示す顔の部分を鼻孔位置として推定する鼻孔位置推定ステップと、
前記鼻孔位置推定ステップで推定した鼻孔位置に基づいて、前記顔撮像ステップで撮像した顔画像からドライバの眼の位置を特定して眼の開度を認識すると共に、顔の向きを認識する顔状態認識ステップと、
前記顔状態認識ステップで認識した眼の開度からドライバが閉眼状態であるか否かを推定すると共に、前記顔状態認識ステップで認識した顔の向きから脇見状態であるか否かを推定する運転状態推定ステップとを備える、運転状態推定方法。
前記運転状態推定ステップでは、前記顔状態認識ステップで認識した眼の開度が所定距離以下である状態が所定時間継続した場合にドライバが閉眼状態であると推定し、前記顔状態認識ステップで認識した顔の向きが正面に対して所定角以上をなす向きである状態が所定時間継続した場合に脇見状態であると推定することを特徴とする、請求項１５に記載の運転状態推定方法。