JP2007269310A - 走行制御装置および方法、プログラム、並びに記録媒体 - Google Patents

Abstract

【課題】運転中の危険な状況をより正確に検出して安全に走行させることができるようにする。
【解決手段】運転者状態センサ１２１を構成する画像センサ、音声センサなどのセンサ情報は、運転者状態解析部１２４により解析され、運転者状態情報が生成される。運転操作部１２２を介した運転者による操作に関する情報が運転操作解析部１２３に供給され、運転操作情報が生成される。走行センサ１２３により取得された自動車の周囲の物体に関する周囲状態情報が生成され、危険判定部１２６により衝突の可能性の有無などが判定される。安全性判定部１２８は、運転者状態情報、運転操作情報、および危険判定部１２６の判定結果に基づいて、自動車を安全に走行させることが可能か否かを判定し、安全に走行させることが可能ではないと判定された場合、走行制約部１２９を制御して、危険を回避するような運転を強制的に行うように、運転制御部１３０を制御する。
【選択図】図４

Description

本発明は、走行制御装置および方法、プログラム、並びに記録媒体に関し、特に、運転中の危険な状況をより正確に検出して安全に走行させることができるようにする走行制御装置および方法、プログラム、並びに記録媒体に関する。

従来、自動車の安全装置としては、様々なものが提案されて実用化されているが、例えば、運転者の顔画像をカメラ撮影し、この顔画像を解析し、運転者の“まばたき”を認識して警告することによって居眠り運転を防止することが提案されている。

また、運転者を撮影した画像に基づいて、顔の向きあるいは眼や瞳の位置から運転者の視線方向を検出し、この視線方向に基づいて現時点における運転上の意図を認識すると共に、運転者の意図と現在の操作状態とに基づいて運転者の意図に反する運転操作が行われたことを検出した場合、その運転操作に応じた車両動作を制御することも提案されている（例えば、特許文献１参照）。

特開２００５−１４７５２号公報

しかしながら、顔の向きあるいは眼や瞳の位置から運転者の視線方向を検出しても運転者の意図を正しく認識できないこともある。

例えば、高速道路で本線に合流する地点では、運転者は、自動車を一時停止させ、後方から来る他の自動車を確認しながら、自動車を前方に発進させるような運転操作を行うことが一般的である。このような場合、図１に示されるように、自動車の進行方向と視線方向が異なることになるが、だからといって運転者の意図に反する運転操作が行われたわけではない。

また、狭い場所に駐車するときなどは、運転者は自動車を後退させながらも、前方の障害物と自動車の前端部との間隔を気にして前方を注視していることもある。このような場合、図２に示されるように、やはり自動車の進行方向と視線方向が異なることになるが、だからといって運転者の意図に反する運転操作が行われたわけではない。

さらに、例えば、図３に示されるように、信号機の無い見通しの良い交差点で右から1台の自動車が接近中であるときに、他に自動車や歩行者や障害物が存在しないことを運転者が確認した場合、運転者は右を見ながら直進することになるが、これは脇見ではなく、逆に前方を見ながら直進すると右方向から高速で接近した車と衝突する可能性がある。

すなわち、運転者の視線のみに基づいて運転者の意図を認識し、安全装置による介入を行うと、かえって安全な運転の妨げになってしまうことがある。

また、高速走行時は、運転者の視線が進行方向や障害物などを適確に捕らえていたとしても、ブレーキやアクセルの操作などを誤って、スピンしたり横転するなどの危険性も考慮する必要がある。

本発明は、このような状況に鑑みてなされたものであり、運転中の危険な状況をより正確に検出して安全に走行させることができるようにするものである。

本発明による走行制御装置は、自動車の走行を制御する走行制御装置であって、自動車の進行方向と進行速度を表す走行状態情報を取得する走行状態情報取得手段と、自動車の周囲に存在する物体までの方向と距離を表す周囲状態情報を取得する周囲状態情報取得手段と、自動車を運転するために操作される各部位の操作状態を表す運転操作情報を取得する運転操作情報取得手段と、自動車を運転する運転者の状態を表す運転者状態情報を取得する運転者状態情報取得手段と、走行状態情報取得手段により取得された走行状態情報、周囲状態情報取得手段により取得された周囲状態情報、運転操作情報取得手段により取得された運転操作情報、および運転者状態情報取得手段により取得された運転者状態情報に基づいて、自動車が予め定められた基準に基づいて安全に走行しているか否かを判定する安全性判定手段と、安全性判定手段により、自動車が安全に走行していないと判定された場合、運転者の操作に係らず、危険を回避するように自動車の運転を制御する運転制御手段とを備える走行制御装置である。

本発明の走行制御装置においては、自動車の進行方向と進行速度を表す走行状態情報が取得され、自動車の周囲に存在する物体までの方向と距離を表す周囲状態情報が取得され、自動車を運転するために操作される各部位の操作状態を表す運転操作情報が取得され、自動車を運転する運転者の状態を表す運転者状態情報が取得され、取得された走行状態情報、取得された周囲状態情報、取得された運転操作情報、および取得された運転者状態情報に基づいて、自動車が予め定められた基準に基づいて安全に走行しているか否かが判定され、自動車が安全に走行していないと判定された場合、運転者の操作に係らず、危険を回避するように自動車の運転が制御される。

従って、より正確に危険な状況を検出して、危険を回避することができる。

前記安全性判定手段は、走行状態情報と、周囲状態情報とに基づいて、自動車がそのまま走行した場合、周囲に存在する物体との衝突の危険性があるか否かを判定し、自動車がそのまま走行した場合、衝突の危険性があると判定されたとき、運転操作情報に基づいて、衝突の危険性を回避する操作が行われているか否かを判定し、衝突の危険性を回避する操作が行われてないと判定された場合、運転者状態情報に基づいて運転者が自動車を安全に運転するのに適正な状態であるか否かを判定し、運転者が自動車を安全に運転するのに適正な状態ではないと判定された場合、自動車が安全に走行していないと判定するようにすることができる。

従って、安全に運転しているときに誤って危険な状況が検出されることが抑止される。

前記運転者状態情報には、運転者を撮像する画像センサと、運転者の音声を検出する音声センサとから出力されるセンサ情報に基づいて、運転者の視線方向を表す情報、運転者が覚醒状態であるか否かを表す情報、運転者の動作量、および運転者の音声量を表す情報が含まれ、安全性判定手段は、運転者の動作量、および運転者の音声量を表す情報に基づいて、運転者がパニック状態であるか否かが判定するようにすることができる。

前記安全性判定手段は、運転者の視線方向が自動車の進行方向と一致するか否かを判定し、運転者の視線方向が自動車の進行方向と一致すると判定された場合、運転者が覚醒しているか否かを判定し、運転者が覚醒していると判定された場合、運転者がパニック状態であるか否かを判定し、運転者がパニック状態ではないと判定された場合、運転者が自動車を安全に運転するのに適正な状態であると判定するようにすることができる。

従って、安全な運転を行われているか否かがより正確に判定される。

本発明による走行制御方法は、自動車の走行を制御する走行制御装置の走行制御方法であって、自動車の進行方向と進行速度を表す走行状態情報を取得し、自動車の周囲に存在する物体までの方向と距離を表す周囲状態情報を取得し、自動車を運転するために操作される各部位の操作状態を表す運転操作情報を取得し、自動車を運転する運転者の状態を表す運転者状態情報を取得し、取得された走行状態情報、取得された周囲状態情報、取得された運転操作情報、および取得された運転者状態情報に基づいて、自動車が予め定められた基準に基づいて安全に走行しているか否かを判定し、自動車が安全に走行していないと判定された場合、運転者の操作に係らず、危険を回避するように自動車の運転を制御するステップを含む走行制御方法である。

本発明によるプログラムは、自動車の走行を制御する走行制御装置に走行制御処理を実行させるプログラムであって、自動車の進行方向と進行速度を表す走行状態情報の取得を制御し、自動車の周囲に存在する物体までの方向と距離を表す周囲状態情報の取得を制御し、自動車を運転するために操作される各部位の操作状態を表す運転操作情報の取得を制御し、自動車を運転する運転者の状態を表す運転者状態情報の取得を制御し、取得された走行状態情報、取得された周囲状態情報、取得された運転操作情報、および取得された運転者状態情報に基づいて、自動車が予め定められた基準に基づいて安全に走行しているか否かの判定を制御し、自動車が安全に走行していないと判定された場合、運転者の操作に係らず、危険を回避するように自動車の運転を制御するステップを含むコンピュータが読み取り可能なプログラムである。

本発明による記録媒体は、自動車の走行を制御する走行制御装置に走行制御処理を実行させるプログラムが記録されている記録媒体であって、自動車の進行方向と進行速度を表す走行状態情報の取得を制御し、自動車の周囲に存在する物体までの方向と距離を表す周囲状態情報の取得を制御し、自動車を運転するために操作される各部位の操作状態を表す運転操作情報の取得を制御し、自動車を運転する運転者の状態を表す運転者状態情報の取得を制御し、取得された走行状態情報、取得された周囲状態情報、取得された運転操作情報、および取得された運転者状態情報に基づいて、自動車が予め定められた基準に基づいて安全に走行しているか否かの判定を制御し、自動車が安全に走行していないと判定された場合、運転者の操作に係らず、危険を回避するように自動車の運転を制御するステップを含むコンピュータが読み取り可能なプログラムが記録されている記録媒体である。

本発明の走行制御方法、およびプログラムにおいては、自動車の進行方向と進行速度を表す走行状態情報が取得され、自動車の周囲に存在する物体までの方向と距離を表す周囲状態情報が取得され、自動車を運転するために操作される各部位の操作状態を表す運転操作情報が取得され、自動車を運転する運転者の状態を表す運転者状態情報が取得され、取得された走行状態情報、取得された周囲状態情報、取得された運転操作情報、および取得された運転者状態情報に基づいて、自動車が予め定められた基準に基づいて安全に走行しているか否かが判定され、自動車が安全に走行していないと判定された場合、運転者の操作に係らず、危険を回避するように自動車の運転が制御される。

本発明によれば、運転中の危険な状況をより正確に検出して安全に走行させることができる。

以下に、本発明の実施の形態について図面を参照して説明する。

図４は、本発明の走行制御装置の一実施の形態に係る構成例を示すブロック図である。同図に示される走行制御装置１００は、例えば、自動車に取り付けられ、自動車の走行状態、周囲状態、運転操作、運転者の状態などを表す情報を検出し、検出された情報に基づいて自動車を安全に走行させるように構成されている。

運転者状態センサ１２１は、例えば、運転者の顔や体の画像を撮影する画像センサ、運転者の音声を検出する音声センサなどにより構成されている。運転者状態センサ１２１から出力されるセンサ情報は、運転者状態解析部１２４により解析され、後述する運転者状態情報が生成される。

運転操作部１２２は、例えば、運転者によるステアリングホール、アクセルペダル、ブレーキペダル、シフトレバーなどの操作を受け付けるとともに、受け付けられた運転操作に関する情報を運転操作解析部１２５に供給する。運転操作解析部１２５は、運転操作部１２２から供給される情報に基づいて後述する運転操作情報を生成する。

走行センサ１２３は、例えば、レーダや画像センサなどにより構成され、自動車の周囲の物体に関する情報を取得し、後述する周囲状態情報を生成する。

危険判定部１２６は、走行状態検出部１２７から供給される自動車の走行状態に関する情報と、走行センサ１２３から供給される周囲状態情報に基づいて、例えば、衝突の可能性の有無など走行に係る危険性の判定を行い、判定結果の情報を出力する。

安全性判定部１２８は、運転者状態解析部１２４から供給される運転者状態情報、運転操作解析部１２５から供給される運転操作情報、および危険判定部１２６から供給される情報に基づいて、自動車を安全に走行させることが可能か否かを判定し、自動車を安全に走行させることが可能ではないと判定された場合、走行制約部１２９を制御して、危険を回避するような運転を強制的に行わせるように、運転制御部１３０を制御する信号を出力させる。

運転制御部１３０は、走行制約部１２９から供給される信号に基づいて運転操作部１２２を制御し、必要に応じて運転者による操作の受付を中止させ、危険を回避するような運転を強制的に行わせるようにする。

図５は、運転者状態センサ１２１の詳細な構成例を示すブロック図である。同図において視線方向検出部２０１は、例えば、ＣＣＤイメージセンサ等を撮像素子として使用した画像センサ、および画像センサにより撮像された画像を分析するコンピュータなどで構成され、運転者の顔（頭部）の向きと瞳の位置などに基づいて運転者の視線の方向を検出する。

顔画像検出部２０２は、例えば、上述した画像センサにより撮像された画像を分析するコンピュータなどで構成され、顔の表情や瞬きなどを検出する。なお、視線方向検出部２０１と顔画像検出部２０２とを同一の機能ブロックとして構成するようにしてもよい。

腕操作検出部２０３は、例えば、ＣＣＤイメージセンサ等により撮像される運転者の上半身の画像を分析するコンピュータなどにより構成され、運転者の手や腕の動きを検出してステアリング操作、スイッチ類の操作、または手を振るなどの運転者の操作や動きを検出する。

ペダル操作検出部２０４は、例えば、各種のペダルに取り付けられる近接センサなどにより構成され、運転者の脚や足先の動きを検出し、アクセルペダル、ブレーキペダルなどのペダルに取り付けたセンサでペダルの操作量や操作力を検出する。

音声検出部２０５は、マイクロフォンなどにより構成され、音声を検出し、音量や音声信号の特徴量などを検出する。

図６は、運転操作部１２２の詳細な構成例を示すブロック図である。同図に示されるステアリング操作部２２１乃至ブレーキ操作部２２４は、それぞれ自動車のステアリングホイール、変速装置（シフトレバーなど）、アクセルペダル、およびブレーキペダルと接続され、それぞれステアリングホイール、変速装置（シフトレバーなど）、アクセルペダル、およびブレーキペダルに対して行われた運転者の操作を検出する。

例えば、ステアリング操作部２２１は、ステアリングホイールの回転方向および回転角度などを検出し、変速操作部２２２は、シフトレバーの選択位置がＤ（ドライブ）、Ｒ（リバース）、Ｎ（ニュートラル）などのいずれの位置とされているかを検出する。また、アクセル操作部２２３と、ブレーキ操作部２２４は、それぞれアクセルペダルとブレーキペダルが踏み込まれている量（例えば、基準位置に対する移動量）などを検出する。

図７は、走行センサ１２３の詳細な構成例を示すブロック図である。走行センサ１２３は、前方レーダ２４１、後方レーダ２４２、前方画像監視部２４３、周囲画像監視部２４４、夜間センサ２４５、および分析部２４６により構成されている。

前方レーダ２４１と、後方レーダ２４２はレーザレーダや電波式レーダなどであり、前方や後方の車、歩行者、障害物やガードレールなど道路を構成する物体の方向と距離を検出する。あるいはまた、電磁波、可視光、赤外線や音波、静電容量などにより所定の位置の物体の有無を検出する物体センサなどを用いて構成されるようにしてもよい。前方画像監視部２４３は、前方を撮影した画像を用いて道路の形状やライン、車、歩行者、障害物、道路標識などを検出する。

周囲画像監視部２４４は、自動車の周囲の画像を撮像する画像センサなどにより撮像された画像を用いて自動車の周囲、特に側方と後方の道路状態、他の自動車、歩行者、障害物の位置や大きさなどを検出する。

夜間センサ２４５は、高感度撮像素子や人体の発する遠赤外線で撮影する撮像素子などで構成され、夜間に車の進行方向の遠方や暗いために見えにくい歩行者や障害物などを検出する。

分析部２４６は、前方レーダ２４１乃至夜間センサ２４５から出力される情報を分析し、自動車の周囲に存在する物体に関する情報を生成する。

なお、上述した図５乃至図７の構成は、それぞれ運転者状態センサ、運転操作部、走行センサの一例とされ、例えば、装置の価格や用途に合わせて他の機能が追加されたり、または一部の機能が削除されるように、図５乃至図７の構成のそれぞれを、適宜変更しても構わない。

次に、図８のフローチャートを参照して走行制御装置１００による走行制御処理の詳細について説明する。

ステップＳ１０１において、走行状態検出部１２７は、自動車の走行状態に関する情報を取得する。このとき、例えば、図９に示されるように、自動車の進行方向（走行方向）と、進行速度が取得され、それらを表す情報として記録される。図９の例では、自動車の進行方向が「前（前方）」であり、進行速度が時速４０Kｍであることが記録されている。

ステップS１０１の処理の後、ステップS１０２において、走行センサ１２３は、図１０を参照して後述する周囲状態情報取得処理を実行する。これにより、自動車の周囲の物体などに関する情報である周囲状態情報が生成される。

ここで、図１０のフローチャートを参照して図８のステップS１０２の周囲状態情報取得処理の詳細について説明する。

ステップS２０１において、分析部２４６は、前方レーダ２４１乃至夜間センサ２４５の各部（センサ）から出力される情報を解析する。ステップS２０２において、分析部２４６は、ステップS２０１の処理での解析結果に基づいて自動車の進行の障害となる物体までの距離と方向を検出する。

このとき、例えば、図１１に示されるように、物体の存在方向と、その物体までの距離を表す情報が生成される。図１１の例では、自動車の前方５０ｍの位置に障害となる物体が存在し、自動車の後方５０ｍに障害となる物体が存在し、自動車の右側１５ｍに障害となる物体が存在し、自動車の左側２０ｍに障害となる物体が存在することが表されている。図１１に示される情報は、周囲状態情報として危険判定部１２６に供給される。

図８に戻って、ステップS１０２の処理の後、ステップS１０３において、運転操作解析部１２５は、図１２を参照して後述する運転操作情報取得処理を実行する。これにより、自動車の現在の運転操作に関する情報である運転操作情報が生成される。

ここで、図１２のフローチャートを参照して、図８のステップS１０３の運転者操作情報取得処理の詳細について説明する。

ステップS２２１において、運転操作解析部１２５は、シフトレバー操作情報を取得する。このとき、例えば、現在のシフトレバーの選択位置を表す情報が取得される。

ステップS２２２において、運転操作解析部１２５は、ペダル操作情報を取得する。このとき、例えば、現時点でのアクセルペダルとブレーキペダルが踏み込まれている量などを表す情報が取得される。

ステップS２２３において、運転操作解析部１２５は、ステアリングホイール操作情報を取得する。このとき、例えば、ステアリングホイールの回転方向および回転角度などを表す情報が取得される。

そして、ステップS２２１乃至S２２３の処理により取得された情報は、例えば、図１３に示されるような運転操作情報として生成される。図１１の例では、運転操作情報は、各操作部位とその操作部位に対応する操作状況により構成されており、シフトレバーの選択位置が「D（ドライブ）」であり、アクセルペダルの操作状況は、「ＯＮ（踏み込まれている状態を表す）−３（踏み込まれている量を表す）」であり、ブレーキペダルの操作状況は、「ＯＦＦ（踏み込まれていない状態を表す）」であり、ステアリングホイールの捜査状況は、「左（回転させられている方向を表す） ５°（回転角度を表す）」とされている。

図１３に示される運転操作情報は、安全性判定部１２８に供給される。

図８に戻って、ステップS１０３の処理の後、ステップS１０４において、運転者状態解析部１２４は、図１４を参照して後述する運転状態情報取得処理を実行する。これにより、運転者の現在の状態に関する情報である運転者状態情報が生成される。

ここで、図１４のフローチャートを参照して、図８のステップＳ１０４の運転者状態情報取得処理の詳細について説明する。

ステップＳ２４１において、運転者状態解析部１２４は、視線方向検出部２０１から出力される情報に基づいて、運転者の視線の方向を検出する。

ステップＳ２４２において、運転者状態解析部１２４は、顔画像検出部２０２から出力される情報に基づいて、運転者の顔の状態を検出する。このとき例えば、運転者の顔が覚醒している状態か、または居眠りしているなど覚醒していない状態かが検出される。

ステップＳ２４３において、運転者状態解析部１２４は、腕操作検出部２０３およびペダル操作検出部２０４から出力される情報に基づいて運転者の動作を検出する。このとき、例えば、運転者の腕の動き方またはペダルの踏み込み方が予め設定された基準値と比較した場合の値として正規化され数値として認識され、運転者の動作が「大」、「中」、「小」などの所定のレベルを表す情報として検出される。

ステップＳ２４４において、運転者状態解析部１２４は、音声検出部２０５から出力される情報に基づいて、音声を検出する。このとき、例えば、音声信号の特徴量などに基づいて運転者が発したと推定される音声が抽出され、その音声のレベル（大きさ）が予め設定された基準値と比較した場合の値として正規化され数値として認識され、運転者の音声が「大」、「中」、「小」などの所定のレベルを表す情報として検出される。

そして、ステップS２４１乃至S２４４の処理により取得された情報は、例えば、図１５に示されるような運転者状態情報として生成される。図１５の例では、運転者状態情報は、検出項目と、検出項目に対応する検出結果により構成されており、視線方向が「前方」であり、顔状態は「覚醒」であり、動作は「小」であり、音声は「小」とされている。

図１５に示される運転者状態情報は、安全性判定部１２８に供給される。

図８に戻って、ステップS１０４の処理の後、処理はステップS１０５に進み、走行安全性判定処理が実行される。

ここで、図１６のフローチャートを参照して図８のステップＳ１０５の走行安全性判定処理の詳細について説明する。

ステップＳ２６１において、危険判定部１２６は、ステップＳ１０１の処理で取得された走行状態の情報と、ステップＳ１０２の処理で取得された周囲状態情報とに基づいて衝突の危険性を検出する衝突危険性チェック処理を実行する。

ここで、図１７のフローチャートを参照して図１６のステップＳ２６１の衝突危険性チェック処理の詳細について説明する。

ステップＳ３０１において、危険判定部１２６は、ステップＳ１０１の処理で取得された走行状態の情報に含まれる進行方向の情報に基づいて自動車の進行方向を判定する。

ステップＳ３０１において、進行方向が前方であると判定された場合、処理は、ステップＳ３０２に進み、危険判定部１２６は、ステップＳ１０１の処理で取得された走行状態の情報に含まれる進行速度の情報に基づいて自動車の速度を検出し、予め設定された速度に対応する閾値を取得する。閾値は、その速度で進行（走行）した場合、衝突の危険があると判定される距離であって、物体と自動車との間の距離（例えば、速度に応じて定まる車間距離など）とされ、ここでは、閾値としてｌ（ｍ）が取得されてものとする。

ステップＳ３０３において、危険判定部１２６は、自動車の前方ｌ（ｍ）以内に障害物があるか否かを判定する。このとき、ステップＳ１０２の処理で取得された周囲状態情報に基づいて前方の物体までの距離が取得され、その距離がｌｍを超えるか否かが判定される。

ステップＳ３０３において、自動車の前方ｌ（ｍ）以内に障害物があると判定された場合、衝突の危険があるので、処理は、ステップＳ３０６に進み、衝突の危険性があることを表す衝突危険フラグがＯＮに設定される。一方、ステップＳ３０３において、自動車の前方ｌ（ｍ）以内に障害物がないと判定された場合、衝突の危険はないので、衝突危険フラグはＯＦＦのまま衝突危険性チェック処理が終了する。

ステップＳ３０１において、進行方向が後方であると判定された場合、処理は、ステップＳ３０４、Ｓ３０５に進み、ステップＳ３０２、Ｓ３０３の処理と同様に後方の物体との衝突の危険性がチェックされる。

なお、ステップS３０３と３０５においては、衝突までの時間に応じて閾値が定められるようにしてもよい。例えば衝突まで1.5秒以下の距離か否かが判定されるようにしてもよい。

ここでは、ステップＳ３０１の処理で判定される走行方向を、前方または後方としたが、例えば、走行状態の情報において進行方向を表す情報に「右前方」、「左後方」などの情報も含まれるようにし、ステップＳ３０１の処理で判定される走行方向を、より詳細に分けて判定しても構わない。

このようにして、衝突の危険性のチェックが行われる。

図１６に戻って、ステップＳ２６１の処理の後、ステップＳ２６２において、安全性判定部１２８は、衝突の危険性があるか否かが判定される。ステップＳ２６２の処理での判定は、上述した衝突危険フラグに基づいて行われる。

ステップＳ２６２において、衝突の危険性があると判定された場合、処理は、ステップＳ２６３に進み、安全性判定部１２８は、ステップＳ１０３の処理で取得された運転操作情報と、ステップＳ２６１の処理を経て危険判定部１２６から供給される情報に基づいて、回避操作チェック処理を実行する。

ここで、図１８のフローチャートを参照して、図１６のステップＳ２６３の回避操作チェック処理の詳細について説明する。

ステップＳ３２１において、安全性判定部１２８は、物体から遠ざかる方向にステアリングホイールを回転させているか否かを判定する。例えば、ステップＳ２６１の処理で前方の物体と衝突の危険性があると判定された場合、ステップＳ１０３の処理で取得された運転操作情報に含まれるステアリングホイールの操作状況を表す情報に基づいて、物体を避けるのに充分な角度で、右または左にステアリングホイールを回転させているか否かが判定される。

ステップＳ３２１において、物体から遠ざかる方向にステアリングホイールを回転させていないと判定された場合、処理は、ステップＳ３２２に進み、安全性判定部１２８は、ステップＳ１０３の処理で取得された運転操作情報に含まれるブレーキの操作状況を表す情報に基づいて、自動車を停止させるのに充分な量だけブレーキペダルが踏み込まれているか否かが判定される。

ステップＳ３２１の処理で物体から遠ざかる方向にステアリングホイールを回転させていると判定された場合、またはステップＳ３２２の処理で自動車を停止させるのに充分な量だけブレーキペダルが踏み込まれていると判定された場合、衝突を回避するための操作が行われているので、処理は、ステップＳ３２３に進み、衝突を回避するための操作が行われていることを表す回避操作フラグがＯＮに設定される。

一方、ステップＳ３２２の処理で自動車を停止させるのに充分な量だけブレーキペダルが踏み込まれていないと判定された場合、衝突を回避する操作は行われていないので、回避操作フラグはＯＦＦのまま回避操作チェック処理が終了する。

なお、回避操作が行われているか否かの判定は、上述した例に限られるものではなく、運転操作情報に含まれる情報を用いてより詳細な基準で判定されるようにすることも可能である。

図１６に戻って、ステップＳ２６３の処理の後、処理は、ステップＳ２６４に進み、上述した回避操作フラグに基づいて、衝突を回避する運転操作がなされているか否かが判定される。

ステップＳ２６４において、衝突を回避する運転操作がなされていないと判定された場合、処理は、ステップＳ２６５に進み、安全性判定部１２８は、ステップＳ１０１の処理で取得された走行状態の情報、およびステップＳ１０４の処理で取得された運転者状態情報に基づいて、運転者状態チェック処理を実行する。

ここで、図１９のフローチャートを参照して、図１６のステップＳ２６４の運転者状態チェック処理の詳細について説明する。

ステップＳ３４１において、安全性判定部１２８は、ステップＳ１０１の処理で取得された走行状態の情報に含まれる進行速度の情報に基づいて、現在の速度が予め設定された閾値以下か否かを判定する。この閾値は、自動車を充分安全かつ充分確実に操作することが可能な速度の上限とされ、ここでは、時速ａ（ｋｍ）が閾値として設定されているものとする。

ステップＳ３４１において、走行速度が時速ａ（ｋｍ）以上ではないと判定された場合、処理は、ステップＳ３４２に進み、安全性判定部１２８は、ステップＳ１０４の処理で取得された運転者状態情報に含まれる視線方向の情報に基づいて、視線方向が進行方向と一致するか否かを判定する。

なお、ステップＳ３４１において走行速度は時速ａ（Km）を超えていると判定された場合、ステップS３４２の処理はスキップされ、処理は、ステップS３４３に進む。

ステップＳ３４２において、視線方向が進行方向と一致しないと判定された場合、運転者状態チェック処理は終了される。すなわち、ステップＳ２６２の処理で、衝突の危険性があると判定され、かつステップＳ２６４の処理で衝突を回避する操作がなされていないと判定された状態で、安全かつ確実に操作できない可能性のある速度で走行している自動車の運転者の視線方向が進行方向と一致しない場合、即座に運転者による操作の受付を中止させ、危険を回避するような運転を強制的に行わせるようにする必要があるので、運転者状態チェック処理をこれ以上継続する必要はない。この場合、現在の運転は適正ではないと判定されたことになる。

ステップＳ３４２において、視線方向が進行方向と一致していると判定された場合、処理は、ステップＳ３４３に進み、安全性判定部１２８は、ステップＳ１０４の処理で取得された運転者状態情報に含まれる顔状態の情報に基づいて、運転者が覚醒しているか否かを判定する。

ステップＳ３４３において、運転者が覚醒していないと判定された場合、運転者状態チェック処理は終了される。すなわち、ステップＳ２６２の処理で、衝突の危険性があると判定され、かつステップＳ２６４の処理で衝突を回避する操作がなされていないと判定された状態では、たとえ自動車の速度が充分に遅くかつ進行方向を注視していたとしても、運転者が覚醒していないと判定された場合、即座に運転者による操作の受付を中止させ、危険を回避するような運転を強制的に行わせるようにする必要があるので、運転者状態チェック処理をこれ以上継続する必要はない。この場合、現在の運転は適正ではないと判定されたことになる。

ステップＳ３４３において、運転者が覚醒していると判定された場合、処理は、ステップＳ３４４に進み、安全性判定部１２８は、ステップＳ１０４の処理で取得された運転者状態情報に含まれる動作の情報、音声の情報などに基づいて、運転者がパニック状態か否かを判定する。パニック状態か否かは、予め設定された条件に基づいて判定され、例えば、動作が充分に大きく、かつ大きな音声が検出されるなどした場合、パニック状態であると判定される。

ステップＳ３４４において、運転者がパニック状態であると判定された場合、運転者状態チェック処理は終了される。すなわち、衝突の危険性があると判定され、かつ衝突を回避する操作がなされていないと判定された状態では、たとえ自動車の速度が充分に遅くかつ運転者が進行方向を注視して覚醒していたとしても、パニック状態であると判定された場合、即座に運転者による操作の受付を中止させ、危険を回避するような運転を強制的に行わせるようにする必要があるので、適正な運転であるとは判定されない。

一方、ステップＳ３４４において、運転者がパニック状態ではないと判定された場合、処理は、ステップＳ３４５に進み、適正な運転が行われていることを表す適正フラグがＯＮに設定される。すなわち、衝突の危険性があると判定され、かつ衝突を回避する操作がなされていないと判定された状態であっても、自動車の速度が充分に遅くかつ進行方向を注視しており、さらにパニック状態でもないことが確認できれば、あえて運転者による操作の受付を中止させ、危険を回避するような運転を強制的に行わせるようにする必要はなく、現在の運転は、運転者の意図に従った適正なものと判断できるので、適正フラグがＯＮに設定される。

このようにして、運転者の状態がチェックされ、適正な運転が行われているか否かが判定される。

図１６に戻って、ステップＳ２６５の処理の後、処理は、ステップＳ２６６に進み、安全性判定部１２８は、運転者の状態は適正であるか否か、すなわち、適正な運転が行われているか否かを判定する。運転者の状態は適正であるか否かの判定は、上述した適正フラグに基づいて行われる。

ステップＳ２６６において、運転者の状態は適正であると判定された場合、処理はステップＳ２６７に進み、自動車の走行状態が安全であることを表す安全フラグがＯＮに設定される。

このようにして走行安全性が判定される。

図８に戻って、ステップＳ１０５の処理の後、処理は、ステップＳ１０６に進み、安全性判定部１２８は、現在、自動車が安全に走行しているか否かを判定する。自動車が安全に走行しているか否かの判定は、上述した安全フラグに基づいて行われる。

ステップＳ１０６において、自動車が安全に走行していないと判定された場合、処理は、ステップＳ１０７に進み、危険を回避するように自動制御が行われる。これにより、走行制約部１２９が、危険を回避するような運転を強制的に行うように、運転制御部１３０を制御する信号を出力させる。例えば、運転者の操作に係らず、ブレーキがかけられるなどの操作が行われる。

一方、ステップＳ１０６において、自動車が安全に走行していると判定された場合、処理は、ステップＳ１０１に戻り、それ以後の処理が繰り返し実行される。

このようにして、自動車の走行制御が行われる。本発明においては、自動車の走行状態、周囲状態、運転操作、および運転者状態の情報に基づいて走行安全性が判定されるので、運転中の危険な状況をより正確に検出できる。

自動車を安全に走行させるための技術として、例えば、顔の向きあるいは眼や瞳の位置から運転者の視線方向を検出して運転者の意図を認識し、運転者の意図と異なる走行が行われた場合、安全装置を介入させて危険を回避するような運転操作が強制的（自動的）に行われるように制御する技術もある。

しかしながら、例えば、高速道路で本線に合流する地点では、運転者は、自動車を一時停止させ、後方から来る他の自動車を確認しながら、自動車を前方に発進させるような運転操作を行うことが一般的であり、このような場合、自動車の進行方向と視線方向が異なることになるが、だからといって運転者の意図に反する運転操作が行われたわけではない。

また、狭い場所に駐車するときなどは、運転者は自動車を後退させながらも、前方の障害物と自動車の前端部との間隔を気にして前方を注視していることもあり、このような場合、やはり自動車の進行方向と視線方向が異なることになるが、だからといって運転者の意図に反する運転操作が行われたわけではない。

さらに、信号機の無い見通しの良い交差点で右から1台の自動車が接近中であるときに、他に自動車や歩行者や障害物が存在しないことを運転者が確認した場合、運転者は右を見ながら直進することになるが、これは脇見ではなく、逆に前方を見ながら直進すると右方向から高速で接近した車と衝突する可能性がある。

すなわち、運転者の視線のみに基づいて運転者の意図を認識し、安全装置による介入を行うと、かえって安全な運転の妨げになってしまうことがある。

これに対して、本発明においては、図１９を参照して上述した運転者状態チェック処理において、より詳細に運転者の意図の認識が行われることになる。例えば、本発明においては、衝突の危険性があると判定され、かつ衝突を回避する操作がなされていないと判定された状態であっても、自動車の速度が充分に遅くかつ進行方向を注視しており、さらにパニック状態でもないことが確認できれば、あえて運転者による操作の受付を中止させ、危険を回避するような運転を強制的に行わせるようにする必要はなく、現在の運転は、運転者の意図に従った適正なものと判断される。

また、図１６を参照して上述したように、図１９の運転者状態チェック処理は、ステップＳ２６２で衝突の危険性があると判定され、かつステップＳ２６４で衝突を回避する運転操作がなされていないと判定された場合に実行される。

上述した運転者の視線を含めて、運転者の声、運転者の表情などから得られる情報は、運転者の状態は適正であるか否かを一律に示すものではなく、状況に応じて変化すると考えられる。例えば、衝突の危険性がないときに、運転者が大きな声を出していても、眠そうな表情をしていても、それが事故の原因になるとは考えにくい。従って、衝突の危険性がないにも係らず、運転者の視線、運転者の声、運転者の表情などから得られる情報に基づいて、安全装置を介入させて危険を回避するような運転を強制的に行わせるようにすると、かえって安全な運転の妨げになる可能性がある。

一方、衝突の危険性があり、かつ衝突を回避する運転操作がなされていない場合、運転者の状態が適正であるか否かは、危険を回避するために重要な要素となる。

本発明では、衝突の危険性があると判定され、かつ衝突を回避する運転操作がなされていないと判定された場合に上述した運転者状態チェック処理が行われるようにしたので、あいまいな情報に基づいて安全装置による介入が行われ、かえって安全な運転の妨げになることが抑止される一方で、本当に危険な状態のときは、確実に安全装置の介入を行わせるようにすることができる。

このように、本発明においては、運転者の意図と異なる走行であるのか否かがより正確に判定されることになり、その結果、より安全に自動車の走行を制御することが可能となる。

また、例えば、高速走行時などは、運転者の視線が進行方向や障害物などを適確に捕らえていたとしても、ブレーキやアクセルの操作などを誤って、スピンしたり横転するなどの危険性も考慮する必要があり、運転者の視線に基づく安全装置による介入だけでは不充分である。

これに対して本発明においては、図１９を参照して上述した運転者状態チェック処理において、運転者が覚醒している否か、パニック状態であるか否かが判定されるようにしたので、運転者が覚醒していなかったり、パニック状態であったりした場合、即座に運転者による操作の受付を中止させ、危険を回避するような運転を強制的に行わせるようにすることが可能となる。

なお、上述した一連の処理をハードウェアで実現するか、ソフトウェアで実現するかは問わない。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図２０に示されるような汎用のパーソナルコンピュータ５００などに、ネットワークや記録媒体からインストールされる。

図２０において、CPU（Central Processing Unit）５０１は、ROM（Read Only Memory）５０２に記憶されているプログラム、または記憶部５０８からRAM（Random Access Memory）５０３にロードされたプログラムに従って各種の処理を実行する。RAM５０３にはまた、CPU５０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU５０１、ROM５０２、およびRAM５０３は、バス５０４を介して相互に接続されている。このバス５０４にはまた、入出力インタフェース５０５も接続されている。

入出力インタフェース５０５には、キーボード、マウスなどよりなる入力部５０６、CRT(Cathode Ray Tube)、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部５０７、ハードディスクなどより構成される記憶部５０８、モデム、LANカードなどのネットワークインタフェースカードなどより構成される通信部５０９が接続されている。通信部５０９は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース５０５にはまた、必要に応じてドライブ５１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部５０８にインストールされる。

上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア５１１などからなる記録媒体からインストールされる。

なお、この記録媒体は、図２０に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア５１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM５０２や、記憶部５０８に含まれるハードディスクなどで構成されるものも含む。

また、本明細書において上述した一連の処理を実行するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

自動車の進行方向と運転者の視線方向の例を説明する図である。 自動車の進行方向と運転者の視線方向の別の例を説明する図である。 自動車の進行方向と運転者の視線方向のさらに別の例を説明する図である。 本発明の走行制御装置の一実施の形態に係る構成例を示すブロック図である。 図４の運転者状態センサの詳細な構成例を示すブロック図である。 図４の運転操作部の詳細な構成例を示すブロック図である。 図４の走行センサの詳細な構成例を示すブロック図である。 走行制御処理の例を説明するフローチャートである。 走行状態の情報の例を示す図である。 周囲状態情報取得処理の例を説明するフローチャートである。 周囲状態情報の例を示す図である。 運転操作情報取得処理の例を説明するフローチャートである。 運転操作情報の例を示す図である。 運転者状態情報取得処理の例を説明するフローチャートである。 運転者状態情報の例を示す図である。 走行安全性判定処理の例を説明するフローチャートである。 衝突危険性チェック処理の例を説明するフローチャートである。 回避操作チェック処理の例を説明するフローチャートである。 運転者状態チェック処理の例を説明するフローチャートである。 パーソナルコンピュータの構成例を示すブロック図である。

符号の説明

１００ 走行制御装置，
１２１ 運転者状態センサ，
１２２ 運転操作部，
１２３ 走行センサ，
１２４ 運転者状態解析部，
１２５ 運転操作解析部，
１２６ 危険判定部，
１２７ 走行状態検出部，
１２８ 安全性判定部，
１２９ 走行制約部，
１３０ 運転制御部，
５０１ ＣＰＵ，
５０２ ＲＯＭ，
５０８ 記憶部，
５１１ リムーバブルメディア

Claims (7)

1. 自動車の走行を制御する走行制御装置であって、
   前記自動車の進行方向と進行速度を表す走行状態情報を取得する走行状態情報取得手段と、
   前記自動車の周囲に存在する物体までの方向と距離を表す周囲状態情報を取得する周囲状態情報取得手段と、
   前記自動車を運転するために操作される各部位の操作状態を表す運転操作情報を取得する運転操作情報取得手段と、
   前記自動車を運転する運転者の状態を表す運転者状態情報を取得する運転者状態情報取得手段と、
   前記走行状態情報取得手段により取得された走行状態情報、前記周囲状態情報取得手段により取得された周囲状態情報、前記運転操作情報取得手段により取得された運転操作情報、および前記運転者状態情報取得手段により取得された運転者状態情報に基づいて、前記自動車が予め定められた基準に基づいて安全に走行しているか否かを判定する安全性判定手段と、
   前記安全性判定手段により、前記自動車が安全に走行していないと判定された場合、前記運転者の操作に係らず、危険を回避するように前記自動車の運転を制御する運転制御手段と
   を備える走行制御装置。
2. 前記安全性判定手段は、
   前記走行状態情報と、前記周囲状態情報とに基づいて、前記自動車がそのまま走行した場合、周囲に存在する前記物体との衝突の危険性があるか否かを判定し、
   前記自動車がそのまま走行した場合、衝突の危険性があると判定されたとき、前記運転操作情報に基づいて、前記衝突の危険性を回避する操作が行われているか否かを判定し、
   前記衝突の危険性を回避する操作が行われてないと判定された場合、前記運転者状態情報に基づいて前記運転者が前記自動車を安全に運転するのに適正な状態であるか否かを判定し、
   前記運転者が前記自動車を安全に運転するのに適正な状態ではないと判定された場合、前記自動車が安全に走行していないと判定する
   請求項１に記載の走行制御装置。
3. 前記運転者状態情報には、前記運転者を撮像する画像センサと、前記運転者の音声を検出する音声センサとから出力されるセンサ情報に基づいて、前記運転者の視線方向を表す情報、前記運転者が覚醒状態であるか否かを表す情報、前記運転者の動作量、および前記運転者の音声量を表す情報が含まれ、
   前記安全性判定手段は、前記運転者の動作量、および前記運転者の音声量を表す情報に基づいて、前記運転者がパニック状態であるか否かが判定する
   請求項１に記載の走行制御装置。
4. 前記安全性判定手段は、
   前記運転者の視線方向が前記自動車の進行方向と一致するか否かを判定し、
   前記運転者の視線方向が前記自動車の進行方向と一致すると判定された場合、前記運転者が覚醒しているか否かを判定し、
   前記運転者が覚醒していると判定された場合、前記運転者がパニック状態であるか否かを判定し、
   前記運転者がパニック状態ではないと判定された場合、前記運転者が前記自動車を安全に運転するのに適正な状態であると判定する
   請求項３に記載の走行制御装置。
5. 自動車の走行を制御する走行制御装置の走行制御方法であって、
   前記自動車の進行方向と進行速度を表す走行状態情報を取得し、
   前記自動車の周囲に存在する物体までの方向と距離を表す周囲状態情報を取得し、
   前記自動車を運転するために操作される各部位の操作状態を表す運転操作情報を取得し、
   前記自動車を運転する運転者の状態を表す運転者状態情報を取得し、
   前記取得された走行状態情報、前記取得された周囲状態情報、前記取得された運転操作情報、および前記取得された運転者状態情報に基づいて、前記自動車が予め定められた基準に基づいて安全に走行しているか否かを判定し、
   前記自動車が安全に走行していないと判定された場合、前記運転者の操作に係らず、危険を回避するように前記自動車の運転を制御するステップ
   を含む走行制御方法。
6. 自動車の走行を制御する走行制御装置に走行制御処理を実行させるプログラムであって、
   前記自動車の進行方向と進行速度を表す走行状態情報の取得を制御し、
   前記自動車の周囲に存在する物体までの方向と距離を表す周囲状態情報の取得を制御し、
   前記自動車を運転するために操作される各部位の操作状態を表す運転操作情報の取得を制御し、
   前記自動車を運転する運転者の状態を表す運転者状態情報の取得を制御し、
   前記取得された走行状態情報、前記取得された周囲状態情報、前記取得された運転操作情報、および前記取得された運転者状態情報に基づいて、前記自動車が予め定められた基準に基づいて安全に走行しているか否かの判定を制御し、
   前記自動車が安全に走行していないと判定された場合、前記運転者の操作に係らず、危険を回避するように前記自動車の運転を制御するステップ
   を含むコンピュータが読み取り可能なプログラム。
7. 自動車の走行を制御する走行制御装置に走行制御処理を実行させるプログラムが記録されている記録媒体であって、
   前記自動車の進行方向と進行速度を表す走行状態情報の取得を制御し、
   前記自動車の周囲に存在する物体までの方向と距離を表す周囲状態情報の取得を制御し、
   前記自動車を運転するために操作される各部位の操作状態を表す運転操作情報の取得を制御し、
   前記自動車を運転する運転者の状態を表す運転者状態情報の取得を制御し、
   前記取得された走行状態情報、前記取得された周囲状態情報、前記取得された運転操作情報、および前記取得された運転者状態情報に基づいて、前記自動車が予め定められた基準に基づいて安全に走行しているか否かの判定を制御し、
   前記自動車が安全に走行していないと判定された場合、前記運転者の操作に係らず、危険を回避するように前記自動車の運転を制御するステップ
   を含むコンピュータが読み取り可能なプログラムが記録されている記録媒体。

Images