JP2019125241A - 状態検出装置、状態検出方法、および状態検出プログラム - Google Patents

Abstract

【課題】対象者の眠気や疲労を適切に検出すること。【解決手段】状態検出装置１００は、対象者に対し所定のタイミングで同一内容の発話を要求する発話要求部１５７と、発話要求部１５７による要求に応じて音声を発した対象者の映像を撮影する撮像部１２０と、撮像部１２０が撮影した映像に基づいて、対象者の口唇を検出するとともに、口唇の動作を検出する口唇動作検出部１５２と、口唇動作検出部１５２によって検出された口唇の動作と、口唇動作検出部１５２によって先に検出された口唇の動作とを比較し、口唇の動作が小さくなっている場合、対象者に疲労または眠気があると判断する判断部１５６と、を備える。【選択図】図１

Description

本発明は、状態検出装置、状態検出方法、および状態検出プログラムに関する。

対象者の顔の変化を観察することで、疲労や眠気を検出する技術が知られている。

特許文献１には、口唇動作の弛緩状態を判定し、運転者の眠気の強さを導出することが開示されている。特許文献２には、唇を含む顔の変化の特徴量の変化に基づいて、ユーザの眠気を検出することが開示されている。

特開２０１０−１２２８９７号公報 特開２００７−２６４７８５号公報

特許文献１および２に記載されている技術は、眠気を判定するために、対象者ごとに覚醒状態における顔の映像が必要であることに加えて、会話時などのような、常時、表情や唇が動いている時に眠気を判定する可能性がある。このような場合、対象者に眠気が発生していたとしても、眠気の特徴が表情に現れず、適切に眠気を検出できないおそれがある。

本発明は、上記に鑑みてなされたものであり、対象者の疲労または眠気を適切に検出することのできる状態検出装置、状態検出方法、および状態検出プログラムを提供することを目的とする。

本発明の第一の態様の状態検出装置は、対象者に対し所定のタイミングで所定の発話を要求する発話要求部と、前記発話要求部による要求に応じて音声を発した前記対象者の映像を撮影する撮像部と、前記撮像部が撮影した映像に基づいて、前記対象者の口唇を検出するとともに、前記口唇の動作を検出する口唇動作検出部と、前記口唇動作検出部によって検出された前記口唇の動作と、前記口唇動作検出部によって先に検出された前記口唇の動作とを比較し、前記口唇の動作が小さくなっている場合、前記対象者に疲労または眠気があると判断する判断部と、を備える。

本発明の第二の態様の状態検出装置は、対象者に対し所定のタイミングで所定の内容の発話を要求する発話要求部と、前記発話要求部による要求に応じて音声を発した前記対象者の映像を撮影する撮像部と、前記撮像部が撮影した映像に基づいて、前記対象者の口唇を検出するとともに、前記口唇の動作を検出する口唇動作検出部と、前記口唇動作検出部が検出した口唇の動きに基づいて発話内容を認識する口唇動作認識部と、前記発話要求部が要求した発話と前記口唇動作認識部が認識した発話とが同一であると推定され、前記口唇動作認識部による認識率が低い場合に、疲労または眠気があると判断する判断部と、を備える。

本発明の第三の態様の状態検出方法は、対象者に対し所定のタイミングで所定の内容の発話を要求するステップと、発話の要求に応じて音声を発した前記対象者の映像を撮影するステップと、撮影された映像に基づいて、前記対象者の口唇を検出するとともに、前記口唇の動作を検出するステップと、検出された前記口唇の動作と、先に検出された前記口唇の動作とを比較し、前記口唇の動作が小さくなっている場合、前記対象者に疲労または眠気があると判断するステップと、を含む。

本発明の第四の態様の状態検出方法は、対象者に対し所定のタイミングで所定の内容の発話を要求するステップと、発話の要求に応じて音声を発した前記対象者の映像を撮影するステップと、撮影された映像に基づいて、前記対象者の口唇を検出するとともに、前記口唇の動作を検出するステップと、検出された前記口唇の動きに基づいて発話内容を認識するステップと、要求した発話と、認識した発話とが同一であると推定され、認識率が低い場合に、前記対象者に疲労または眠気があると判断するステップと、を含む。

本発明の第五の態様の状態検出プログラムは、コンピュータに、対象者に対し所定のタイミングで所定の内容の発話を要求する処理と、発話の要求に応じて音声を発した前記対象者の映像を撮影する処理と、撮影された映像に基づいて、前記対象者の口唇を検出するとともに、前記口唇の動作を検出する処理と、検出された前記口唇の動作と、先に検出された前記口唇の動作とを比較し、前記口唇の動作が小さくなっている場合、前記対象者に疲労または眠気があると判断する処理と、を実行させる。

本発明の第六の態様の状態検出プログラムは、コンピュータに、対象者に対し所定のタイミングで所定の内容の発話を要求する処理と、発話の要求に応じて音声を発した前記対象者の映像を撮影する処理と、撮影された映像に基づいて、前記対象者の口唇を検出するとともに、前記口唇の動作を検出する処理と、検出された前記口唇の動きに基づいて発話内容を認識する処理と、要求した発話と、認識した発話とが同一であると推定され、認識率が低い場合に、前記対象者に疲労または眠気があると判断する処理と、を実行させる。

本発明によれば、対象者の疲労または眠気を適切に検出することができる。

図１は、本発明の各実施形態に係る状態検出装置の構成を示すブロック図である。 図２は、口唇動作を説明するための図である。 図３は、検出された口唇動作を説明するための図である。 図４は、口唇動作から眠気を判定する方法を説明するためのグラフである。 図５は、口唇動作と、眠気の度合いとを関連付けた表である。 図６は、本発明の各実施形態に係る状態検出装置の適用例を示す図である。 図７は、本発明の各実施形態に係る状態検出装置の動作の流れの一例を示すフローチャートである。 図８は、本発明の第一実施形態に係る状態検出装置が口唇動作を検出する動作の流れの一例を示すフローチャートである。 図９は、本発明の第一実施形態に係る状態検出装置が眠気を判定する動作の流れの一例を示すフローチャートである。 図１０は、本発明の第二実施形態に係る状態検出装置が口唇動作を検出する動作の流れの一例を示すフローチャートである。 図１１は、本発明の第三実施形態に係る状態検出装置が口唇動作を検出する動作の流れの一例を示すフローチャートである。 図１２は、本発明の第四実施形態に係る状態検出装置が口唇動作を検出する動作の流れの一例を示すフローチャートである。 図１３は、本発明の第四実施形態に係る状態検出装置が眠気を判定する動作の流れの一例を示すフローチャートである。

以下、図面を参照しながら、本発明の実施形態について詳細に説明する。なお、各図において同一または相当する部分には同一の符号を付して適宜説明は省略する。

図１を用いて、本発明の各実施形態に係る状態検出装置の構成について説明する。図１は、状態検出装置の構成を示すブロック図である。

図１に示すように、状態検出装置１００は、音声出力部１１０と、撮像部１２０と、音声検出部１３０と、記憶部１４０と、制御部１５０とを備える。状態検出装置１００は、例えば、車両に搭載され、運転者(対象者)の疲労や眠気を検出するのに適した装置である。

音声出力部１１０は、制御部１５０からの指示に従って、対象者に対して特定の発話を要求する音声を出力する。音声出力部１１０は、対象者に対して、例えば、「おはようと言ってください」といった発話を要求する音声を出力する。

撮像部１２０は、発話の要求に応じて音声を発した対象者の口唇の動作を含む顔の映像を撮影する。撮像部１２０は、対象者の口唇の動作のみ撮影するようにしてもよい。撮像部１２０は、例えば、カメラで実現することができる。

音声検出部１３０は、発話の要求に応じて対象者が発した音声を検出する。音声検出部１３０は、例えば、マイクロフォンで実現することができる。

記憶部１４０は、例えば、眠気を判定するために使用される口唇の基準動作を記憶している。記憶部１４０は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子、または、ハードディスク、ソリッドステートドライブ、光ディスクなどの記憶装置である。また、記憶部１４０は、図示しない通信装置を介して無線または有線で接続される外部記憶装置などであってもよい。

ここで、図２を用いて、記憶部１４０が記憶する口唇動作の一例について説明する。図２は、記憶部１４０が記憶している口唇動作の一例を説明するための図である。

図２には、口唇Ｍの上唇Ｕと、下唇Ｌとが示されている。口唇Ｍは、例えば、「は」の発音時の形をしているものとする。この場合、記憶部１４０は、「は」の発音時における、上唇Ｕに含まれるポイントＰ１と、ポイントＰ２と、ポイントＰ３との位置情報を記憶している。記憶部１４０は、「は」の発音時における、下唇Ｌに含まれるポイントＰ４と、ポイントＰ５と、ポイントＰ６との位置情報を記憶している。記憶部１４０は、口唇Ｍの右端ＲＥと、左端ＬＥとの位置情報については動きが少ないので、発せられる音に応じて、動きの大きい音の場合のみを記憶してもよい。記憶部１４０は、上唇Ｕにおいて３つのポイントと、下唇Ｌにおいて３つのポイントの位置情報を記憶しているが、これは例示であり、本発明を限定するものではない。記憶部１４０が記憶する位置情報のポイントには制限はなく、上唇Ｕと、下唇Ｌとで異なる数のポイントの位置情報を記憶していてもよい。

再び図１を参照する。制御部１５０は、状態検出装置１００を構成する各部を制御する。具体的には、制御部１５０は、記憶部１４０に記憶されているプログラムを展開して実行することによって、状態検出装置１００を構成する各部を制御する。制御部１５０は、例えば、ＣＰＵ（Central Processing Unit）を含む、電子的な回路などで実現することができる。制御部１５０は、映像取得部１５１と、口唇動作検出部１５２と、音声取得部１５３と、音声認識部１５４と、口唇動作認識部１５５と、判断部１５６と、発話要求部１５７と、音声出力処理部１５８とを備える。

映像取得部１５１は、撮像部１２０から対象者の口唇を含む映像を取得する。映像取得部１５１は、取得した映像を口唇動作検出部１５２に出力する。

口唇動作検出部１５２は、映像取得部１５１から受け付けた映像に基づいて、対象者の口唇を検出するとともに、口唇の動作を検出する。口唇動作検出部１５２は、例えば、口唇の動きに基づいて、任意のポイントの動きベクトルを検出する。この場合、例えば対象者の発話が「おはよう」であった場合、口唇動作検出部１５２は、「お」の発音時の口唇の移動、「お」から「は」の発音時の口唇の移動、「は」から「よ」の発音時の口唇の移動、及び「よ」から「う」の発音時の口唇の移動の際の動きベクトルを検出する。口唇動作検出部１５２は、例えば、口唇の動作として口唇の開き度合を検出してもよい。口唇動作検出部１５２は、検出した動作を口唇動作認識部１５５や、判断部１５６に出力する。

図３を用いて、口唇動作検出部１５２が対象者の口唇の動作を検出する処理について説明する。図３は、対象者の口唇の動作を示す図である。

図３には、対象者の口唇Ｍの上唇Ｕと、下唇Ｌとが示されている。ここでは、口唇動作検出部１５２が、例えば、「お」から「は」の発音時の口唇の移動を検出したものとして説明する。この場合、口唇動作検出部１５２は、「は」の発音時における、上唇Ｕに含まれるポイントＰ１の動きベクトルｖ１と、ポイントＰ２の動きベクトルｖ２と、ポイントＰ３の動きベクトルｖ３を検出する。口唇動作検出部１５２は、「は」の発音時における、下唇Ｌに含まれるポイントＰ４の動きベクトルｖ４と、ポイントＰ５の動きベクトルｖ５と、ポイントＰ６の動きベクトルｖ６とを検出する。これにより、口唇動作検出部１５２は、「お」から「は」の発音時における、ｘ軸およびｙ軸に対する口唇の移動距離を算出することができる。口唇動作検出部１５２は、上唇Ｕにおいて３つのポイントと、下唇Ｌにおいて３つのポイントの動きベクトルを検出しているが、これは例示であり、本発明を限定するものではない。口唇動作検出部１５２は、記憶部１４０が記憶している口唇Ｍにおけるポイントの動きベクトルを検出すればよい。

再び図１を参照する。音声取得部１５３は、音声検出部１３０から対象者が発した音声を取得する。音声取得部１５３は、取得した音声を音声認識部１５４に出力する。

音声認識部１５４は、音声取得部１５３から受け付けた音声が、発話要求に対応した音声であるか否かを判定する。具体的には、音声認識部１５４は、発話要求が「おはよう」であった場合、音声取得部１５３から受け付けた音声が「おはよう」であるか否かを判定する。音声認識部１５４は、音声取得部１５３から受け付けた音声が、発話要求に対応した音声であった場合、判定結果を判断部１５６に出力する。

口唇動作認識部１５５は、口唇動作検出部１５２が検出した口唇の動作に基づいて、対象者が発した音声の内容が、発話の要求に対応しているか否かを判定する。例えば、要求された発話が「おはよう」であり、認識結果が「おはよう」である場合、口唇動作認識部１５５は、対象者が発した音声と、発話の要求とは同一であると判定する。また、例えば、要求された発話が「おはよう」であり、認識結果が「おあおう」である場合、音素数が同一であり、かつ母音および母音成分が同一であるため、口唇動作認識部１５５は、対象者が発した音声と、発話の要求とは同一であると推定する。口唇動作認識部１５５は、例えば、閾値をあらかじめ定め、認識結果が閾値以上であるか否かによって、対象者が発した音声の内容が、発話の要求に対応しているか否かを判定する。例えば、口唇動作認識部１５５は、対象者が発した音声が、発話の要求に対応している場合、判定結果を判断部１５６に出力する。

判断部１５６は、例えば、口唇動作検出部１５２によって検出された口唇の動作と、口唇動作検出部１５２によって先に検出された同一内容の口唇の動作とを比較する。この場合、判断部１５６は、口唇の動作が小さくなっている場合、対象者に疲労または眠気（以下、眠気と称する）があると判断する。判断部１５６は、対象者に眠気があると判断した場合には、対応部１６０を制御し、眠気対応処理を実行させる。

図４を用いて、判断部１５６が対象者の眠気を判断する動作の一例を説明する。図４は、縦軸が対象者の口唇動作を示し、横軸が時間変化を示すグラフである。

図４には、図３に図示したポイントＰ１、ポイントＰ２、及びポイントＰ３の動きの変化が示されている。図４では、眠気のない時刻t０の時の各ポイントの動きを１００としている。この場合、判断部１５６は、各ポイントの動きが、あらかじめ定められた閾値を下回った場合に、対象者に眠気があると判断する。この場合、判断部１５６は、時刻ｔ１と、時刻ｔ２では、各ポイントの動きが低下しているが、対象者には疲労や眠気がないと判断する。判断部１５６は、時刻ｔ３では、ポイントＰ１と、ポイントＰ３とが閾値を下回っているので、対象者には疲労や眠気があると判断する。ここで、判断部１５６は、各ポイントのうち、１つでも閾値を下回ったら対象者には眠気があると判断してもよいし、閾値を下回るポイントの数の方が多くなった場合に対象には眠気があると判断してもよい。また、判断部１５６は、各ポイントの動作の平均が閾値を下回った場合に、対象者には眠気があると判断してもよい。

また、判断部１５６は、例えば、口唇動作検出部１５２によって検出された口唇の開き度合が小さくなっている場合、対象者に眠気があると判断する。この場合、判断部１５６は、例えば、口唇の開きの度合いがあらかじめ定めた大きさを下回った場合に対象者には眠気があると判断する。また、判断部１５６は、口唇の開きの度合いによって、対象者の眠気の度合いを判定してもよい。

図５を用いて、口唇の開きの度合いと、眠気の度合いとの関係について説明する。図５は、口唇の開きの度合いと、眠気の度合いとを関連付けた表である。

図５に示すように、判断部１５６は、例えば、対象者に眠気がない場合の口唇の開きの度合いを１００として、口唇動作検出部１５２によって検出された口唇の開き度合の割合に基づいて、眠気の度合いを判断する。この場合、判断部１５６は、例えば、口唇の開きの度合いが７０から１００％の場合、対象者の眠気の度合いは「１」であると判断する。また、判断部１５６は、例えば、口唇の開きの度合いが４０から７０％の場合、対象者の眠気の度合いは「２」であると判断する。図５に示す例では、眠気の度合いの数字が大きいほど、対象者の眠気が強いことを意味している。判断部１５６は、眠気の度合いを判断した場合には、その眠気の度合いを対応部１６０に出力してもよい。

判断部１５６は、例えば、要求した発話と、対象者が発した発話とが同一であると音声認識部１５４が認識した場合、口唇動作検出部１５２によって検出された口唇の動作と、所定期間前に口唇動作検出部１５２によって検出された同一内容の発話における口唇の動作とを比較してもよい。判断部１５６は、例えば、要求した発話と、対象者が発した発話とが同一であると口唇動作認識部１５５が推定した場合に、口唇動作検出部１５２によって検出された口唇の動作と、所定期間前に口唇動作検出部１５２によって検出された同一内容の発話における口唇の動作とを比較してもよい。

発話要求部１５７は、対象者に発話させるための音声を選択する。発話要求部１５７は、対象者に発話させるための音声を、あらかじめ記憶している。発話要求部１５７は、選択した音声を対象者への要求として、音声出力処理部１５８に出力する。発話要求部１５７が発話を要求するタイミングに制限はないが、ランダムであることが好ましい。発話要求部１５７が要求する発話は、口唇動作検出部１５２が口唇の動作を検出し易くしたり、口唇動作認識部１５５が口唇の動作を認識し易くしたりするために、口唇を比較的大きく動かす必要のある発話であることが好ましい。また、発話要求部１５７は、運転している時間帯、運転者の性別・年齢に応じて、発話させる音声を選択してもよい。

音声出力処理部１５８は、発話要求部１５７からの要求された音声を出力するように音声出力部１１０を制御する。これにより、音声出力部１１０から発話要求部１５７が要求した音声が出力される。

対応部１６０は、判断部１５６から対象者に眠気があるとの結果を受け付けた場合、対象者に対して眠気対応処理を実行する。眠気対応処理は、例えば、音声で休憩を促す、警告音を発する、空調を換気モードに切り替える、窓を開けるなどである。対応部１６０は、判断部１５６から対象者の眠気の度合いを受け付けた場合には、眠気の度合いに応じて異なる眠気対応処理を実行してもよい。なお、状態検出装置１００は、対応部１６０を備えていなくてもよい。

ここで、図６を用いて、本実施形態の状態検出装置１００が用いられる車内の一例について説明する。図６は、状態検出装置１００が用いられる車内の一例を示す模式図である。

図６には、ウィンドシールド２１０と、リヤビューミラー２２０と、ダッシュボード２３０と、クラスターパネル２４０と、ステアリングホイール２５０と、表示部２７０を有するセンターコンソール２６０とが示されている。

図６に示す例では、ステアリングホイール２５０の正面に位置するダッシュボード２３０上のクラスターパネル２４０内にカメラ２８０や、マイクロフォン２９０が設けられている。そして、センターコンソール２６０に本実施形態の状態検出装置１００が適用される。これにより、本実施形態は、運転中の対象者の口唇の動作を撮影したり、対象者の音声を取得したりすることによって、運転中の対象者の眠気を検出することができる。なお、図６は例示であり、本発明を限定するものではない。本実施形態の状態検出装置１００は、車両以外に適用してもよい。

図７を用いて、状態検出装置１００全体の動作の流れについて説明する。図７は、制御部１５０の動作の流れを示すフローチャートである。

制御部１５０は、撮像部１２０が撮影した映像に基づいて、発話の要求にしたがって対象者の口唇の基準動作を検出する（ステップＳ１１）。ここで、基準動作とは、対象者に眠気がない状態の口唇の動作である。ステップＳ１１では、例えば、自動車が動作していない期間が所定時間（例えば、数時間）以上あった場合に検出する処理である。具体的には、制御部１５０は、例えば、エンジンの始動、運転席への着座、運転席シートベルトの着用などを検出し、ステップＳ１１の処理を実行する。そして、制御部１５０は、ステップＳ１２に進む。

制御部１５０は、ステップＳ１１の後、所定時間（例えば、６０分）経過した場合(ステップＳ１２の「Ｙｅｓ」)、ステップＳ１３に進む。一方、制御部１５０は、所定時間経過してない場合（ステップＳ１２の「Ｎｏ」）、ステップＳ１７に進む。

制御部１５０は、対象者に対して発話を要求し、口唇の比較動作を検出する（ステップＳ１３）。そして、制御部１５０は、ステップＳ１４に進む。

制御部１５０は、基準動作と、比較動作とを比較して対象に眠気があるか否かを判定する（ステップＳ１４）。そして、制御部１５０は、ステップＳ１５に進む。

制御部１５０は、対象者に眠気があると判断した場合(ステップＳ１５の「Ｙｅｓ」)、ステップＳ１６に進む。一方、制御部１５０は、対象者に眠気がないと判断した場合(ステップＳ１５の「Ｎｏ」)、ステップＳ１７に進む。

制御部１５０は、対象者に対して眠気対応処理を実行する(ステップＳ１６)。そして、制御部１５０は、ステップＳ１７に進む。

次に、制御部１５０は、対象者の運転が終わったか否かを判定する。制御部１５０は、対象者の運転が終わったと判定した場合(ステップＳ１７の「Ｙｅｓ」)、動作を終了する。一方、制御部１５０は、運転が終わっていないと判定した場合(ステップＳ１７の「Ｎｏ」)、ステップＳ１２に戻る。

[第一実施形態]
図８を用いて、本発明の第一実施形態に係る制御部が口唇の動作を検出する処理について具体的に説明する。図８は、対象者の口唇の動作を検出する処理の流れを示すフローチャートである。

まず、制御部１５０は、対象者の口唇を検出するために、発話要求部１５７によって対象者に発話を要求する（ステップＳ１０１）。そして、制御部１５０は、ステップＳ１０２に進む。

制御部１５０は、所定時間（例えば、６０秒）内に発話があった場合(ステップＳ１０２の「Ｙｅｓ」)、ステップＳ１０３に進む。一方、制御部１５０は、所定時間内に発話がなかった場合(ステップＳ１０２の「Ｎｏ」)、ステップＳ１０１に戻る。なお、制御部１５０は、所定時間内に発話がなかった場合、動作を終了してもよい。

制御部１５０は、口唇動作検出部１５２によって、映像取得部１５１が取得した映像に基づいて、比較口唇動作を検出する(ステップＳ１０３)。そして、制御部１５０は、口唇の動作を検出する動作を終了する。

図９を用いて、本発明の第一実施形態に係る制御部が対象者の眠気を判断する処理について具体的に説明する。図９は、眠気を判断する処理の流れを示すフローチャートである。

制御部１５０は、判断部１５６によって、基準口唇動作と、比較口唇動作とを比較する(ステップＳ１１１)。そして、制御部１５０は、ステップＳ１１２に進む。

制御部１５０は、基準口唇動作が比較口唇動作よりも大きかった場合(ステップＳ１１２の「Ｙｅｓ」)、ステップＳ１１３に進む。一方、基準口唇動作が比較口唇動作よりも大きくない場合（ステップＳ１１２の「Ｎｏ」）、ステップＳ１１４に進む。

制御部１５０は、基準口唇動作が比較口唇動作よりも大きかった場合には、判断部１５６によって、対象者には眠気があると判断する(ステップＳ１１３)。一方、基準口唇動作が比較口唇動作よりも大きくない場合には、判断部１５６によって、対象者には眠気がないと判断する(ステップＳ１１４)。そして、制御部１５０は、眠気を判断する動作を終了する。

上述のとおり、本実施形態では、眠気がない状態の口唇の動作と、眠気がある状態の口唇の動作とに基づいて、対象者の眠気の有無を判定することができる。

[第二実施形態]
次に、図１０を用いて、本発明の第二実施形態に係る制御部が口唇の動作を検出する処理について具体的に説明する。図１０は、対象者の口唇の動作を検出する処理の流れを示すフローチャートである。

ステップＳ１０１は第一実施形態と同様なので説明は省略する。次に、制御部１５０は、所定時間内に発話があった場合(ステップＳ１０２の「Ｙｅｓ」)、ステップＳ２０１に進む。一方、制御部１５０は、所定時間内に発話がなかった場合(ステップＳ１０２の「Ｎｏ」)、ステップＳ１０１に戻る。なお、制御部１５０は、所定時間内に発話がなかった場合、動作を終了してもよい。

制御部１５０は、音声取得部１５３から受け付けた音声が、発話要求に対応した音声であるか否かを音声認識部１５４によって判定する(ステップＳ２０１)。そして、制御部１５０は、ステップＳ２０２に進む。

制御部１５０は、対象者が発した音声が要求した発話であった場合（ステップＳ２０２の「Ｙｅｓ」）、ステップＳ１０３に進む。一方、制御部１５０は、対象者が発した音声が要求した発話でなかった場合(ステップＳ２０２の「Ｎｏ」)、ステップＳ１０１に戻る。

制御部１５０は、口唇動作検出部１５２によって、映像取得部１５１が取得した映像に基づいて口唇の動作を検出する(ステップＳ１０３)。そして、制御部１５０は、口唇の動作を検出する動作を終了する。

上述のとおり、本実施形態では、対象者が発した音声が要求した発話であった場合にのみ、眠気がない状態の口唇の動作と、眠気がある状態の口唇の動作とに基づいて、対象者の眠気を判定することができる。これにより、対象者の眠気をより正確に判定することができる。

[第三実施形態]
次に、図１１を用いて、本発明の第三実施形態に係る制御部が口唇の動作を認識する処理について具体的に説明する。図１１は、対象者の口唇の動作を認識する処理の流れを示すフローチャートである。

ステップＳ１０１と、ステップＳ１０２とは、第一実施形態と同様なので説明は省略する。制御部１５０は、口唇動作検出部１５２によって、映像取得部１５１が取得した映像に基づいて口唇の動作を検出する(ステップＳ１０３)。そして、制御部１５０は、ステップＳ３０１に進む。

制御部１５０は、口唇動作認識部１５５によって、口唇動作検出部１５２が検出した口唇の動作に基づいて、対象者が発した音声が、発話の要求に対応しているか否かを判定する（ステップＳ３０１）。そして、制御部１５０は、ステップＳ３０２に進む。

制御部１５０は、対象者が発した音声が発話の要求に対応している場合(ステップＳ３０２の「Ｙｅｓ」)、対象者の口唇の動作を認識する処理を終了する。一方、制御部１５０は、対象者が発した音声が発話の要求に対応していない場合(ステップＳ３０２の「Ｎｏ」)、ステップＳ１０１に戻る。

上述のとおり、本実施形態では、対象者の口唇の動作が要求された発話に対応している場合にのみ、眠気がない状態の口唇の動作と、眠気がある状態の口唇の動作とに基づいて、対象者の眠気を判定することができる。これにより、対象者の眠気をより正確に判定することができる。

[第四実施形態]
次に、図１２を用いて、本発明の第四実施形態に係る制御部が口唇の動作を推定する処理について具体的に説明する。図１２は、対象者の口唇の動作を認識する処理の流れを示すフローチャートである。

ステップＳ１０１と、ステップＳ１０２とは、第一実施形態と同様なので説明は省略する。制御部１５０は、口唇動作検出部１５２によって、映像取得部１５１が取得した映像に基づいて口唇の動作を検出する(ステップＳ１０３)。そして、制御部１５０は、ステップＳ４０１に進む。

制御部１５０は、口唇動作認識部１５５によって、口唇動作検出部１５２が取得した口唇の動作に基づいて、対象者が発した音声を推定する(ステップＳ４０１)。そして、制御部１５０は、対象者が発した音声を推定する処理を終了する。

図１３を用いて、本発明の第四実施形態に係る制御部が対象者の眠気を判断する処理について具体的に説明する。図１３は、眠気を判断する処理の流れを示すフローチャートである。

制御部１５０は、判断部１５６によって、口唇動作認識部１５５が推定した音声の認識率を算出する(ステップＳ４１１)。具体的には、判断部１５６は、要求された発話が「おはよう」であり、推定結果が「おあおう」である場合、４つの音素のうち、２つの音素が一致しているので、認識率は５０％と認識する。そして、制御部１５０は、ステップＳ４１２に進む。

制御部１５０は、判断部１５６によって、算出された認識率と、あらかじめ定められている閾値とを比較する(ステップＳ４１２)。そして、制御部１５０は、ステップＳ４１３に進む。

制御部１５０は、認識率が閾値未満である場合(ステップＳ４１３の「Ｙｅｓ」)、ステップＳ４１４に進む。制御部１５０は、認識率が閾値未満でない場合(ステップＳ４１３の「Ｎｏ」)、ステップＳ４１５に進む。

制御部１５０は、認識率が閾値未満である場合には、判断部１５６によって、対象者には眠気があると判断する(ステップＳ４１４)。制御部１５０は、認識率が閾値未満でない場合には、対象者には眠気がないと判断する(ステップＳ４１５)。そして、制御部１５０は、眠気を判定する処理を終了する。

上述のとおり、本実施形態では、要求された発話と、認識された口唇の動作の認識率に基づいて、対象者の眠気を判定することができる。

上記に記載した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。また、上記に記載した構成は適宜組み合わせが可能である。さらに、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。

１００ 状態検出装置
１１０ 音声出力部
１２０ 撮像部
１３０ 音声検出部
１４０ 記憶部
１５０ 制御部
１５１ 映像取得部
１５２ 口唇動作検出部
１５３ 音声取得部
１５４ 音声認識部
１５５ 口唇動作認識部
１５６ 判断部
１５７ 発話要求部
１５８ 音声出力処理部
１６０ 対応部
２１０ ウィンドシールド
２２０ リヤビューミラー
２３０ ダッシュボード
２４０ クラスターパネル
２５０ ステアリングホイール
２６０ センターコンソール
２７０ 表示部
２８０ カメラ
２９０ マイクロフォン

Claims (9)

1. 対象者に対し所定のタイミングで所定の発話を要求する発話要求部と、
   前記発話要求部による要求に応じて音声を発した前記対象者の映像を撮影する撮像部と、
   前記撮像部が撮影した映像に基づいて、前記対象者の口唇を検出するとともに、前記口唇の動作を検出する口唇動作検出部と、
   前記口唇動作検出部によって検出された前記口唇の動作と、前記口唇動作検出部によって先に検出された前記口唇の動作とを比較し、前記口唇の動作が小さくなっている場合、前記対象者に疲労または眠気があると判断する判断部と、
   を備える、状態検出装置。
2. 前記口唇動作検出部は、前記口唇の動作として口唇の開き度合を検出し、
   前記判断部は、前記口唇の動作として前記口唇の開き度合が小さくなっている結果である場合、前記対象者に疲労または眠気があると判断する、
   請求項１に記載の状態検出装置。
3. 前記発話要求部による要求に対応した発話時の発話音声を認識する音声認識部をさらに備え、
   前記判断部は、前記発話要求部が要求した発話と、前記対象者が発した発話とが同一であると前記音声認識部が認識した場合、前記口唇動作検出部によって検出された前記口唇の動作と、前記口唇動作検出部によって先に検出された同一内容の発話における前記口唇の動作とを比較し、前記口唇の動作が小さくなっている場合、前記対象者に疲労または眠気があると判断する、
   請求項１または２に記載の状態検出装置。
4. 前記口唇動作検出部が検出した口唇の動作に基づいて発話内容を認識する口唇動作認識部をさらに備え、
   前記判断部は、前記発話要求部が要求した発話と、前記対象者が発した発話とが同一であると前記口唇動作認識部が認識した場合に、前記口唇動作検出部によって検出された前記口唇の動作と、前記口唇動作検出部によって先に検出された同一内容の発話における前記口唇の動作とを比較し、前記口唇の動作が小さくなっている場合、前記対象者に疲労または眠気があると判断する、
   請求項１から３のいずれか１項に記載の状態検出装置。
5. 対象者に対し所定のタイミングで所定の内容の発話を要求する発話要求部と、
   前記発話要求部による要求に応じて音声を発した前記対象者の映像を撮影する撮像部と、
   前記撮像部が撮影した映像に基づいて、前記対象者の口唇を検出するとともに、前記口唇の動作を検出する口唇動作検出部と、
   前記口唇動作検出部が検出した口唇の動きに基づいて発話内容を認識する口唇動作認識部と、
   前記発話要求部が要求した発話と前記口唇動作認識部が認識した発話とが同一であると推定され、前記口唇動作認識部による認識率が低い場合に、疲労または眠気があると判断する判断部と、
   を備える、状態検出装置。
6. 対象者に対し所定のタイミングで所定の内容の発話を要求するステップと、
   発話の要求に応じて音声を発した前記対象者の映像を撮影するステップと、
   撮影された映像に基づいて、前記対象者の口唇を検出するとともに、前記口唇の動作を検出するステップと、
   検出された前記口唇の動作と、先に検出された前記口唇の動作とを比較し、前記口唇の動作が小さくなっている場合、前記対象者に疲労または眠気があると判断するステップと、
   を含む、状態検出方法。
7. 対象者に対し所定のタイミングで所定の内容の発話を要求するステップと、
   発話の要求に応じて音声を発した前記対象者の映像を撮影するステップと、
   撮影された映像に基づいて、前記対象者の口唇を検出するとともに、前記口唇の動作を検出するステップと、
   検出された前記口唇の動きに基づいて発話内容を認識するステップと、
   要求した発話と、認識した発話とが同一であると推定され、認識率が低い場合に、前記対象者に疲労または眠気があると判断するステップと、
   を含む、状態検出方法。
8. コンピュータに、
   対象者に対し所定のタイミングで所定の内容の発話を要求する処理と、
   発話の要求に応じて音声を発した前記対象者の映像を撮影する処理と、
   撮影された映像に基づいて、前記対象者の口唇を検出するとともに、前記口唇の動作を検出する処理と、
   検出された前記口唇の動作と、先に検出された前記口唇の動作とを比較し、前記口唇の動作が小さくなっている場合、前記対象者に疲労または眠気があると判断する処理と、
   を実行させる、状態検出プログラム。
9. コンピュータに、
   対象者に対し所定のタイミングで所定の内容の発話を要求する処理と、
   発話の要求に応じて音声を発した前記対象者の映像を撮影する処理と、
   撮影された映像に基づいて、前記対象者の口唇を検出するとともに、前記口唇の動作を検出する処理と、
   検出された前記口唇の動きに基づいて発話内容を認識する処理と、
   要求した発話と、認識した発話とが同一であると推定され、認識率が低い場合に、前記対象者に疲労または眠気があると判断する処理と、
   を実行させる、状態検出プログラム。

Images