JP2019074964A - 運転不能状態予測装置及び運転不能状態予測システム - Google Patents

Abstract

【課題】ドライバが運転不能状態に陥る前の予兆段階でドライバの未来の運転不能状態を予測することができる予測技術を提供する。【解決手段】運転不能状態予測装置は、取得部と、検出部と、状態予測部と、を備える。前記取得部は、自車両の車室内を撮影するカメラで得られた撮影画像を取得する。前記検出部は、前記撮影画像に基づいてドライバの現在の姿勢を検出する。前記状態予測部は、前記検出部によって検出された前記ドライバの現在の姿勢と前記ドライバの過去の姿勢に関するデータベースとに基づいて、前記ドライバの未来の運転不能状態を予測する。【選択図】図１

Description

本発明は、未来の状態を予測する予測技術に関する。

近年、ドライバの健康状態が急変し、運転の継続が困難な状況に陥ってしまう事故が複数発生している。このような事故を防止するために、ドライバが運転不能となった状態を自動検知する装置の開発が進められている。

例えば特許文献１で提案されているドライバの運転不能状態予測装置は、ドライバカメラにより撮像された運転席の画像に基づいて、ドライバの頭部を検出し、ドライバの胴体に対する頭部の傾きが相対傾き閾値より大きい場合に、ドライバが運転不能状態であることを検出する。

特開２０１６−９２５５号公報

特許文献１で提案されているドライバの運転不能状態予測装置は、ドライバが運転不能状態であることを事後的に検出することはできるが、ドライバが運転不能状態に陥る前の予兆段階でドライバの未来の運転不能状態を予測することはできなかった。

本発明は、上記課題に鑑みて、ドライバが運転不能状態に陥る前の予兆段階でドライバの未来の運転不能状態を予測することができる予測技術を提供することを目的とする。

本発明の運転不能状態予測装置は、自車両の車室内を撮影するカメラで得られた撮影画像を取得する取得部と、前記撮影画像に基づいてドライバの現在の姿勢を検出する検出部と、前記検出部によって検出された前記ドライバの現在の姿勢と前記ドライバの過去の姿勢に関するデータベースとに基づいて、前記ドライバの未来の運転不能状態を予測する状態予測部と、を備える構成（第１の構成）である。

上記第１の構成の運転不能状態予測装置において、前記状態予測部は、前記検出部によって検出された前記ドライバの現在の姿勢と前記ドライバの過去の姿勢に関するデータベースとに基づいて、前記ドライバの未来の姿勢を予測する第１の予測部と、前記第１の予測部によって予測される前記ドライバの未来の姿勢に基づいて、前記ドライバの未来の運転不能状態を予測する第２の予測部と、を備える構成（第２の構成）であってもよい。

上記第１又は第２の構成の運転不能状態予測装置において、前記状態予測部は、前記自車両の運転席のシートポジションを示すシートポジション情報と前記検出部によって検出された前記ドライバの現在の姿勢と前記ドライバの過去の姿勢に関するデータベースとに基づいて、前記ドライバの未来の運転不能状態を予測する構成（第３の構成）であってもよい。

上記第１〜第３いずれかの構成の運転不能状態予測装置において、前記状態予測部は、前記自車両の走行情報と前記検出部によって検出された前記ドライバの現在の姿勢と前記ドライバの過去の姿勢に関するデータベースとに基づいて、前記ドライバの未来の運転不能状態を予測する構成（第４の構成）であってもよい。

上記第１〜第４いずれかの構成の運転不能状態予測装置において、前記状態予測部は、前記自車両の位置情報と前記検出部によって検出された前記ドライバの現在の姿勢と前記ドライバの過去の姿勢に関するデータベースとに基づいて、前記ドライバの未来の運転不能状態を予測する構成（第５の構成）であってもよい。

本発明の運転不能状態予測システムは、自車両の車室内を撮影するカメラと、上記第１〜第５いずれかの構成の運転不能状態予測装置と、を備える構成（第６の構成）である。

本発明によると、ドライバが運転不能状態に陥る前の予兆段階でドライバの未来の運転不能状態を予測することができる。

第１実施形態に係る運転不能状態予測装置の構成を示すブロック図 車室内撮影カメラで撮影される画像の一例を示す図 運転不能状態予測装置の動作例を示すフローチャート 運転不能状態予測装置の他の動作例を示すフローチャート 車室内撮影カメラで撮影される画像の一例を示す図 車室内撮影カメラで撮影される画像の一例を示す図 背景差分処理の結果を示す画像の一例を示す図 頭部検出処理の結果を示す画像の一例を示す図 第２実施形態に係る運転不能状態予測装置の構成を示すブロック図

以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。

＜１．第１実施形態＞
図１は、運転不能状態予測装置の構成を示すブロック図である。運転不能状態予測装置１０は、車室内撮影カメラ１で得られた撮影画像からドライバの姿勢を検出するとともに、ドライバの未来の姿勢及びドライバの未来の運転不能状態を予測する。ドライバの運転不能状態としては、例えば急病によりドライバが意識を失っている場合、ドライバが眠っている場合などがある。車室内撮影カメラ１及び運転不能状態予測装置１０は、車両に搭載される。本実施形態に係る運転不能状態予測システムは車室内撮影カメラ１及び運転不能状態予測装置１０によって構成される。以下、運転不能状態予測装置１０が搭載される車両を「自車両」という。

車室内撮影カメラ１は、車両の車室内を一方向から撮影する単眼カメラである。車室内撮影カメラ１は、例えば運転席や助手席に座っている乗員のみならず後部座席に座っている乗員も俯瞰して撮影できるように車両の天井の前方中央部に設置するとよい。車室内撮影カメラ１を自車両の天井の前方中央部に設置した場合に車室内撮影カメラ１で撮影される画像は、例えば図２に示すようになる。

なお、夜間でも運転不能状態予測装置１０がドライバの運転不能状態を予測することができるように、車室内撮影カメラ１として近赤外対応カメラを採用し、車室内撮影カメラ１の撮影領域に近赤外光を照射する近赤外照明装置を車両の室内に設置することが好ましい。

運転不能状態予測装置１０は、ＡＳＩＣ（application specific integrated circuit）やＦＰＧＡ（field-programmable gate array）等のハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。ソフトウェアを用いて運転不能状態予測装置１０を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。ソフトウェアを用いて実現される機能をプログラムとして記述し、当該プログラムをプログラム実行装置上で実行することによって、その機能を実現するようにしてもよい。プログラム実行装置としては、例えばＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、及びＲＯＭ（Read Only Memory）を備えるコンピュータを挙げることができる。

運転不能状態予測装置１０は、撮影画像取得部１１と、検出部１２と、過去の姿勢データベース１３と、状態予測部１４と、を備える。状態予測部１４は、第１の予測部１５と、第２の予測部１６と、によって構成される。

撮影画像取得部１１は、車室内撮影カメラ１からアナログ又はデジタルの撮影画像を所定の周期（例えば、１／３０秒周期）で時間的に連続して取得する。すなわち、撮影画像取得部１１によって取得される撮影画像の集合体が車室内撮影カメラ１で撮影された動画像である。そして、取得した撮影画像がアナログの場合には、撮影画像取得部１１は、そのアナログの撮影画像をデジタルの撮影画像に変換（Ａ／Ｄ変換）する。撮影画像取得部１１は、取得した撮影画像、或いは、取得及び変換した撮影画像を検出部１２に出力する。撮影画像取得部１１から出力される１つの撮影画像が１つのフレーム画像となる。

検出部１２は、撮影画像取得部１１によって取得された撮影画像に基づいてドライバの姿勢を検出する。

過去の姿勢データベース１３は、複数のドライバそれぞれにおける過去の姿勢に関するデータベースである。過去の姿勢データベース１３は、各ドライバの普段の運転姿勢に関するデータの集合体である。運転不能状態予測装置１０は、データセンタとの通信が可能な通信機能を有し、データセンタとの通信によって過去の姿勢データベース１３を適宜更新する構成であることが望ましい。また、データセンタ側に過去の姿勢データベース１３を設け、運転不能状態予測装置１０がデータセンタとの通信によって過去の姿勢データベース１３にアクセスするようにしてもよい。

第１の予測部１５は、ドライバの現在の姿勢と過去データベース１３とに基づいて、ドライバの未来の姿勢を予測する。第１の予測部１５は、ドライバの個人認証を行い、個人認証によって特性されたドライバに関するデータを過去データベース１３から読み出すようにする。ドライバの個人認証方法は特に限定されないが、例えば撮影画像を用いた顔認証を用いたり、自車両のハンドルに指紋認証装置を設けて指紋認証を用いたりすればよい。第１の予測部１５による予測の例としては、ドライバＡの普段の運転姿勢が１０時１０分の位置でハンドルを握る姿勢であって、ドライバＡの現在の運転姿勢が８時２０分の位置でハンドルを握る姿勢である場合に、ドライバＡの未来の姿勢がハンドルから手を離している姿勢であると予測することが考えられる。

第２の予測部１６は、第１の予測部１５によって予測されたドライバの未来の姿勢に基づいて、ドライバの未来の運転不能状態を予測する。

図３Ａは、運転不能状態予測装置１０の動作例を示すフローチャートである。運転不能状態予測装置１０は、電源が供給されている状態で図３Ａに示すフローチャートの動作を開始する。

まず、運転不能状態予測装置１０はエンジンオフ時に自車両のドアが施錠状態から解錠状態に切り替わったか否かを判定する（ステップＳ１０）。したがって、運転不能状態予測装置１０は、車両のドアが施錠状態か解錠状態かを通知する信号及びエンジンがオンであるかオフであるかを通知する信号を運転不能状態予測装置１０の外部から受け取る。なお、自車両が電気自動車である場合は、駆動輪を回転させるモータに電力を供給するモータ駆動装置に電源が供給されていない状態がエンジンオフに相当する。

エンジンオフ時に自車両のドアが施錠状態から解錠状態に切り替わると、撮影画像取得部１１が図４に示す背景画像を取得する（ステップＳ２０）。撮影画像取得部１１は背景画像を取得した後、所定の周期でフレーム画像を取得し続ける。

次に、検出部１２が処理対象画像となるフレーム画像を決定する（ステップＳ３０）。

次に、検出部１２は、処理対象画像上にドライバの頭部を検出する検出領域を設定する（ステップＳ４０）。図５は、図４に示す背景画像上に検出領域の外枠Ｆ１を設定した画像である。なお、本実施形態では検出領域の外枠Ｆ１は矩形状であるが、他の形状であっても構わない。

さらに、検出部１２は、ステップＳ４０において、処理対象画像の検出領域内において背景差分処理を実行してドライバの抽出を試みる。具体的には、検出部１２は、フレーム画像である背景画像と、フレーム画像であって背景画像より後に撮影画像取得部１１によって取得される処理対象画像とを比較し、閾値に基づいて処理対象画像の検出領域内を前景領域と背景領域とに区別し、検出領域内の前景領域を用いてドライバの抽出を試みる。これにより、背景差分処理の負担が軽くなる。また、検出領域からハンドル、シートベルトリトラクター、シフトノブ等の車両可動部品を外すことで、これらの車両可動部品が動くことで前景領域であると誤って区別されることを防止できる。

なお、検出部１２が、例えば前景領域と背景領域との境界線を強調した画像を背景差分処理の結果として生成し、外部の表示装置に出力するようにしてもよい。図６は、抽出されたドライバと背景領域との境界線Ｂ１を強調した画像を背景差分処理の結果として生成した画像の一例である。

また、本実施形態とは異なり、検出部１２が処理対象画像の全領域に対して背景差分処理を実行してもよい。これにより、漏れなく処理対象画像に背景差分処理を実行できる。

ステップＳ４０に続くステップＳ５０において、検出部１２はドライバを抽出できたか否かを判定する。ドライバを抽出できていなければ、ステップＳ３０に戻る。

一方、ドライバを抽出できていれば、検出部１２が処理対象画像の検出領域（外枠Ｆ１で囲まれた領域）に対してドライバの頭部検出処理を実行し、ドライバの頭部検出処理結果に基づいてドライバの姿勢を検出する（ステップＳ６０）。頭部検出処理の具体的な手法は特に限定されないが、例えば頭部のＨＯＧ（Histograms of Oriented Gradients)特徴量を用いたAdaBoostアルゴリズムによる機械学習を実行する手法を挙げることができる。また、ステップＳ６０において、ドライバの頭部検出処理に基づいてドライバの運転不能状態を検出するようにしてもよい。後述するステップＳ８０でドライバの運転不能状態が未来に発生すると予測されることなく、突発的にドライバの運転不能状態が発生する可能性があるからである。

なお、検出部１２が、例えば頭部の検出箇所を強調した画像を頭部検出処理の結果として生成し、外部の表示装置に出力するようにしてもよい。図７は、ドライバの頭部の検出箇所を示す枠Ｆ２を含む画像を頭部検出処理の結果として生成した画像の一例である。

ステップＳ６０に続くステップＳ７０において、第１の予測部１５は、ドライバの未来の姿勢を予測する。そして、ステップＳ７０に続くステップＳ８０において、第２の予測部１６は、ドライバの未来の姿勢が普段とらないような異常な運転姿勢であればドライバの未来の運転不能状態を予測し（ステップＳ８０のＹＥＳ）、第２の予測部１６は他のサービスに通知し（ステップＳ９０）、その後ステップＳ３０に戻る。他のサービスの例としては、自車両の自動停止を実行する実行部やドライバ、同乗者、車外の少なくとも一つに対する異常報知を実行する実行部などを挙げることができる。一方、ステップＳ８０において、第２の予測部１６は、ドライバの未来の姿勢が普段とらないような異常な運転姿勢でなければドライバの未来の運転不能状態を予測せず（ステップＳ８０のＮＯ）、ステップＳ１００に移行する。

なお、過去の姿勢データベース１３を参照しても第１の予測部１５での予測が困難である場合は、ステップＳ６０の処理終了後にステップＳ７０及びＳ８０の処理をスキップしてステップＳ１００に移行すればよい。

ステップＳ１００において、運転不能状態予測装置１０はエンジンオフ時に自車両のドアが解錠状態から施錠状態に切り替わったか否かを判定する。エンジンオフ時に自車両のドアが解錠状態から施錠状態に切り替わるというイベントが発生していなければ、ステップＳ３０に戻る。一方、エンジンオフ時に自車両のドアが解錠状態から施錠状態に切り替わると、運転不能状態予測装置１０は図３Ａに示すフローチャートの動作を終了する。なお、運転不能状態予測装置１０が図３Ａに示すフローチャートの動作を終了した後に運転不能状態予測装置１０に電源が供給されると、運転不能状態予測装置１０は再び図３Ａに示すフローチャートの動作を開始する。

本実施形態によると、上述した通り、過去の姿勢データベース１３を参照することでドライバの未来の姿勢を予測することができる。ドライバの未来の姿勢を予測さえできれば、ドライバの姿勢からドライバの運転不能状態を検出する公知技術を用いて、ドライバの未来の運転不能状態を予測することができる。したがって、ドライバが運転不能状態に陥る前の予兆段階でドライバの未来の運転不能状態を予測することができる。

運転不能状態予測装置１０は、図３Ａに示すフローチャートの動作を行う代わりに図３Ｂに示すフローチャートの動作を行ってもよい。図３Ｂに示すフローチャートは、ステップＳ５０の判定においてドライバを抽出できていなければ、ステップＳ２０に戻る点、ステップＳ１００の判定においてエンジンオフ時に自車両のドアが解錠状態から施錠状態に切り替わるというイベントが発生していなければ、ステップＳ２０に戻る点、及びステップＳ９０の後にステップＳ２０に戻る点が図３Ａに示すフローチャートと異なっており、それ以外は図３Ａに示すフローチャートと同一である。図３Ｂに示すフローチャートでは、フローチャート内のループによって背景画像が更新されるので、シートポジションやシートベルトリトラクターの位置が変更された場合にその変更が反映された背景画像を撮影画像取得部１１が取得できる。

＜２．第２実施形態＞
図８に示す本実施形態に係る運転不能状態予測装置は、上述した第１実施形態に係る運転不能状態予測装置に対して、第１の予測部１５の動作内容が異なっており、それ以外の部分は第１実施形態と同様である。

本実施形態では、第１の予測部１５は、運転席のシートポジションを示すシートポジション情報、自車両の走行情報、及び自車両の位置情報の少なくとも一つと、ドライバの現在の姿勢と、過去データベース１３と、に基づいて、ドライバの未来の姿勢を予測する。

第１の予測部１５は、シートポジション情報を、例えば不図示のパワーシートＥＣＵ（Electronic Control Unit）から取得することができる。パワーシートＥＣＵは、自車両の運転席のシートポジションを制御し、シートポジション情報を不揮発的に記憶する装置である。また、第１の予測部１５は、車速や操舵角などの走行情報を、例えば不図示のＣＡＮ（Controller Area Network）などの車載ネットワークを通じて取得することができる。また、第１の予測部１５は、自車両の位置情報を、例えば自車両に搭載されるナビゲーション装置から取得することができる。また、本実施形態とは異なり、運転不能状態予測装置が自車両の位置を検出する位置センサを備える構成であってもよい。

普段の運転姿勢はシートポジション情報に応じて変わる可能性がある。同様に、普段の運転姿勢は自車両の走行情報に応じて変わる可能性がある。例えば、直進道路を走行している場合とカーブを走行している場合とでは普段の運転姿勢が異なる可能性がある。同様に普段の運転姿勢は自車両の位置情報に応じて変わる可能性がある。例えば、走行情報が同一であっても上り坂を走行している場合と下り坂を走行している場合とでは普段の運転姿勢が異なる可能性がある。

本実施形態では、過去の姿勢データベース１３は、各ドライバの普段の運転姿勢に関するデータを、シートポジション情報による分類、自車両の走行情報による分類、及び自車両の位置情報による分類の組み合わせそれぞれで細分化している。

上記の通り、本実施形態では、第１の予測部１５は、運転席のシートポジションを示すシートポジション情報、自車両の走行情報、及び自車両の位置情報の少なくとも一つと、ドライバの現在の姿勢と、過去データベース１３と、に基づいて、ドライバの未来の運転不能状態を予測するので、予測精度が向上する。

＜３．変形例等＞
本明細書中に開示されている種々の技術的特徴は、上記実施形態のほか、その技術的創作の主旨を逸脱しない範囲で種々の変更を加えることが可能である。また、本明細書中に示される複数の実施形態及び変形例は可能な範囲で組み合わせて実施されてよい。

上述した実施形態では、ドライバの現在の姿勢と過去データベース１３とに基づいて、ドライバの未来の姿勢が予測され、ドライバの未来の姿勢に基づいてドライバの未来の運転不能状態が予測されたが、中間段階の予測すなわちドライバの未来の姿勢の予測を省略し、ドライバの現在の姿勢と過去データベース１３とに基づいて、直接ドライバの未来の運転不能状態が予測されるようにしてもよい。

１ 車室内撮影カメラ
１０ 運転不能状態予測装置
１１ 撮影画像取得部
１２ 検出部
１３ 過去の姿勢データベース
１４ 状態予測部
１５ 第１の予測部
１６ 第２の予測部

Claims (6)

1. 自車両の車室内を撮影するカメラで得られた撮影画像を取得する取得部と、
   前記撮影画像に基づいてドライバの現在の姿勢を検出する検出部と、
   前記検出部によって検出された前記ドライバの現在の姿勢と前記ドライバの過去の姿勢に関するデータベースとに基づいて、前記ドライバの未来の運転不能状態を予測する状態予測部と、
   を備える、運転不能状態予測装置。
2. 前記状態予測部は、
   前記検出部によって検出された前記ドライバの現在の姿勢と前記ドライバの過去の姿勢に関するデータベースとに基づいて、前記ドライバの未来の姿勢を予測する第１の予測部と、
   前記第１の予測部によって予測される前記現ドライバの未来の姿勢に基づいて、前記ドライバの未来の運転不能状態を予測する第２の予測部と、
   を備える、請求項１に記載の運転不能状態予測装置。
3. 前記状態予測部は、前記自車両の運転席のシートポジションを示すシートポジション情報と前記検出部によって検出された前記ドライバの現在の姿勢と前記ドライバの過去の姿勢に関するデータベースとに基づいて、前記ドライバの未来の運転不能状態を予測する、請求項１又は請求項２に記載の運転不能状態予測装置。
4. 前記状態予測部は、前記自車両の走行情報と前記検出部によって検出された前記ドライバの現在の姿勢と前記ドライバの過去の姿勢に関するデータベースとに基づいて、前記ドライバの未来の運転不能状態を予測する、請求項１〜３のいずれか一項に記載の運転不能状態予測装置。
5. 前記状態予測部は、前記自車両の位置情報と前記検出部によって検出された前記ドライバの現在の姿勢と前記ドライバの過去の姿勢に関するデータベースとに基づいて、前記ドライバの未来の運転不能状態を予測する、請求項１〜４のいずれか一項に記載の運転不能状態予測装置。
6. 自車両の車室内を撮影するカメラと、
   請求項１〜５のいずれか一項に記載の運転不能状態予測装置と、を備える、運転不能状態予測システム。