以下において、図面を参照して、本発明の実施形態を説明する。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。本発明の技術的思想は、特許請求の範囲に記載された請求項が規定する技術的範囲内において、種々の調整を加えることができる。
本明細書において、「乗員」は、例えば車両の運転操作を行う運転者を含む。更に、「乗員」は、運転者以外の車両の運転操作を行わない同乗者や、自動運転車両の場合の乗員であってもよい。
<自動駐車制御装置>
本発明の実施形態に係る自動発進制御装置は、例えば車両に搭載される。本発明の実施形態に係る自動発進制御装置は、少なくとも駐車時の車両の発進制御を実行可能であって、例えば自動駐車を実行する駐車支援システムや、自動駐車を含む自動運転システム等に適用可能である。
本発明の実施形態に係る自動駐車制御装置は、図1に示すように、コントローラ1、周囲センサ2、車両センサ3、脳波センサ4、乗員センサ5、記憶装置6、操作装置7、提示装置(ユーザインターフェース)8及びアクチュエータ9を備える。コントローラ1と、周囲センサ2、車両センサ3、脳波センサ4、乗員センサ5、記憶装置6、操作装置7、提示装置8及びアクチュエータ9とは、コントローラエリアネットワーク(CAN)バス等の有線又は無線でデータや信号を送受信可能である。
周囲センサ2は、車両の周囲環境(周囲状況)を検出(監視)するセンサである。周囲センサ2は、例えば、車両の周囲に存在する物標と車両との相対位置、距離、相対速度や、車両の周囲の道路形状等を周囲状況のデータとして検出し、検出された周囲状況のデータをコントローラ1に出力する。物標には、例えば他車両、自転車、歩行者、白線、縁石、電柱、壁、ガードレール、建物等が含まれる。
周囲センサ2は、例えばカメラ、レーダ、測位装置及び通信機を備える。カメラとしては、CCDカメラ等が使用可能であり、単眼カメラであってもよく、ステレオカメラであってもよい。レーダとしては、例えばミリ波レーダやレーザレーダ、レーザレンジファインダ(LRF)等が使用可能である。測位装置は、地球測位システム(GPS)受信機等の全地球型測位システム(GNSS)受信機で構成することができる。GNSS受信機は、複数の航法衛星から電波を受信し、車両の現在位置を取得する。コントローラ1は、GNSS受信機により取得した車両の現在位置を、コントローラ1の記憶装置等に記憶された地図データと照合して、地図データ上の車両の現在位置を取得することができる。通信機は、他車両との車車間通信や、路側機との路車間通信等を行い、車両の周囲状況等のデータを取得する。なお、周囲センサ2の種類や個数は特に限定されない。
車両センサ3は、車両の制御量を検出するセンサである。車両センサ3は、車速センサ、加速度センサ及び角速度センサを備える。車速センサは、車両の車輪速から車速を検出し、検出された車両の速度(車速)をコントローラ1に出力する。加速度センサは、車両の前後方向及び車幅方向の加速度を検出し、検出された加速度をコントローラ1に出力する。角速度センサは、車両の角速度を検出し、検出された角速度をコントローラ1に出力する。なお、車両センサ3の種類及び個数は特に限定されない。
脳波センサ4は、乗員の脳波(脳活動)を検出(計測)し、検出された脳波のデータ(脳活動情報)をコントローラ1に出力する。脳波センサ4は、脳波計測用の複数の電極(電極群)と、複数の電極で採集された電位変化である複数の脳波信号を増幅する増幅器と、増幅器から出力された複数の脳波信号のそれぞれから所定の通過帯域の周波数成分を抽出するフィルタと、抽出された脳波信号のアナログデータを所定のサンプリング周期でサンプリングしてデジタルデータに変換するA/D変換器を有する。
脳波センサ4の複数の電極は、例えば図2に示すように、国際10−20法に準拠し、認知機能に関わる乗員の頭頂部Fz,Fcz,Cz,CPzに配置される。なお、複数の電極の個数や取り付け位置は特に限定されない。また、脳波センサ4が有する複数の電極の頭部への取り付け方法は特に限定されないが、例えば複数の電極を設けた装着型の電極キャップやバンドで構成されていてもよい。
乗員センサ5は、乗員の状態を検出するセンサである。例えば、乗員センサ5をカメラで構成し、カメラにより撮像された撮像画像に基づき、乗員の視線方向、開眼率等を検出してもよい。
記憶装置6は、半導体メモリやディスクメディア等からなり、レジスタ、キャッシュメモリ、主記憶装置として使用されるROM及びRAM等の記憶媒体を含んでいてもよい。記憶装置6の少なくとも一部は、コントローラ1に内蔵されていてもよく、車両の外部に設置されていてもよい。記憶装置6は、本発明の実施形態に係る自動駐車制御装置による一連の処理を実行するためのプログラムを予め記憶していてよい。記憶装置6は、地図情報記憶部61及び制御マップ記憶部62を備える。地図情報記憶部61は、高精度地図やナビゲーション地図等の自動駐車で利用可能な地図データを記憶する。制御マップ記憶部62は、自動駐車時の車両制御に用いる制御情報(制御マップ)を記憶する。
操作装置7は、スイッチ、ボタン、タッチパネル及びマイク等で構成することができる。操作装置7は、乗員の操作又は音声等による指示を受け付ける。提示装置8は、ディスプレイ及びスピーカ等で構成することができる。ディスプレイとしては、例えばナビゲーションシステムの液晶ディスプレイ(LCD)、インストルメントパネルの表示部、ヘッドアップディスプレイ(HUD)等であってよい。操作装置7及び提示装置8は、例えばスマートフォン等で構成してもよく、必ずしも車両に固定されていなくてよい。
アクチュエータ9は、コントローラ1からの制御指令に応じて車両制御を実行する。アクチュエータ9は、アクセルアクチュエータ、ブレーキアクチュエータ又はステアリングアクチュエータにより構成することができる。アクセルアクチュエータは、例えばスロットルバルブからなり、車両のアクセル開度(駆動量)を制御する。ブレーキアクチュエータは、例えば油圧回路からなり、車両のブレーキの制動量を制御する。ステアリングアクチュエータは、例えばステアリングシャフトにトルクを伝達可能なモータからなり、ステアリングシャフトの操舵量を制御する。アクチュエータ9の個数及び種類は限定されず、適宜使用可能である。
コントローラ1は、本発明の実施形態に係る自動駐車制御装置が行う動作に必要な処理を行う電子制御ユニット(ECU)等の処理回路であり、例えば、プロセッサ、記憶装置及び入出力インターフェースを備えてもよい。プロセッサには、算術論理演算装置(ALU)、制御回路(制御装置)、各種レジスタ等を含む中央演算処理装置(CPU)等に等価なマイクロプロセッサ等を対応させることができる。
ここで、図3を参照して、本発明の実施形態に係る自動駐車制御方法が適用される駐車シーンの一例を説明する。図3に示すように、車両100の周囲に駐車スペースS1があり、車両100が現在位置から駐車スペースS1に自動駐車する場合を考える。自動駐車において、車両100は、駐車経路L1に沿って現在位置から切り返し位置P1まで前進し、切り返し位置P1で切り返した後、駐車経路L2に沿って後退して駐車位置P2に到達する。この際、車両100が切り返し位置P1に到達して停止した後、乗員は、車両100の周囲環境を目視して安全確認したり、車両100の前進・後退動作の切り替えに伴い体勢を調整(準備)したりする場合がある。この場合、乗員による安全確認や体勢の準備が完了した時点が、乗員が意図する駐車動作の再開タイミングとなると考えられる。
このため、乗員による安全確認や体勢の準備が完了する前に、車両100の駐車動作が再開されると、再開タイミングが乗員の意図するタイミングよりも早いため、乗員に違和感を与える。一方、乗員による安全確認や体勢の準備が既に完了しているのに、車両100の駐車動作が再開されないと、再開タイミングが乗員の意図するタイミングよりも遅いため、乗員に違和感を与えると共に、駐車に時間を要することとなる。更に、駐車動作の再開に対して乗員の意図するタイミングは、周囲環境に応じて変化したり、乗員の個人差があったりするため、駐車動作の再開タイミングを一律に設定することは困難である。また、ボタン操作や音声入力等の乗員が自らの意図を示す行動が必要となると、乗員にとって煩わしい。
そこで、本発明の実施形態に係る自動駐車制御装置では、少なくとも駐車時の車両の発進制御を実行する際に、脳波センサ4が乗員の脳活動を計測し、コントローラ1が、計測された脳活動情報から乗員の違和感を検出し、車両100が切り返し時に停止した後に違和感を検出した場合に、車両100を発進させる。即ち、乗員の違和感の検出結果に応じて切り返し時の停止時間を調整することにより、周囲環境や乗員が異なる場合であっても、乗員の意図に近いタイミングで駐車動作を再開することを可能とする。
コントローラ1は、駐車位置設定部11、駐車経路生成部12、切り返し判定部13、停止時間設定部14、車両制御部15、違和感検出部16及び提示制御部17等の論理ブロックを機能的若しくは物理的なハードウェア資源として備える。これらの論理ブロックを、フィールド・プログラマブル・ゲート・アレイ(FPGA)等のプログラマブル・ロジック・デバイス(PLD)等で物理的に構成してもよく、汎用の半導体集積回路中にソフトウェアによる処理で等価的に設定される機能的な論理回路等でも構わない。また、これらの論理ブロックは、単一のハードウェアで構成されてもよく、或いは複数のハードウェアで個別に構成されてもよい。例えば、コントローラ1は、車載インフォテイメント(IVI)システム等のカーナビゲーションシステムと、先進運転支援システム(ADAS)等の運転支援システムとで構成できる。
駐車位置設定部11は、周囲センサ2により検出された周囲環境や、コントローラ1の記憶装置等に記憶された地図情報等に基づき、駐車場の駐車枠や車庫等の駐車スペースに駐車位置を設定する。駐車位置設定部11は、1つ又は複数の駐車位置の候補を、提示装置8を介して乗員に提示し、提示された乗員が操作装置7を介して選択した候補を駐車位置として設定してもよい。駐車位置設定部11は、例えば図3に示すように、車両100の周囲環境等に基づき、駐車スペースS1に駐車位置P2を設定する。
駐車経路生成部12は、周囲センサ2により検出された周囲環境に基づき、障害物を回避するように、車両の現在位置から駐車位置設定部11により設定された駐車位置までの駐車経路を生成する。駐車経路生成部12は、例えば図3に示すように、車両100の現在位置から駐車位置P2までの切り替えし位置P1を含む駐車経路L1,L2を生成する。
切り返し判定部13は、駐車経路生成部12により生成された駐車経路に基づき、駐車時の切り返しの要否を判定する。換言すれば、切り返し判定部13は、駐車経路生成部12により生成された駐車経路が切り返し動作を含むか否かを判定する。切り返し判定部13は、例えば図3に示すように駐車経路L1,L2が生成された場合には、駐車経路L1,L2が切り返し位置P1を含むため、駐車時の切り返しが必要と判定する。
停止時間設定部14は、切り返し判定部13により駐車時の切り返しが必要と判定された場合、車両が切り返し時に停止してから、駐車動作を再開するまでの停止時間を設定する。停止時間設定部14は、停止時間の初期値を設定する際には、乗員が安全確認を行うのに十分長いと考えられる時間を停止時間として設定してもよい。停止時間設定部14は、駐車枠の広さ、切り返しに用いるエリアの幅、周囲を走行している他車両や歩行者等の移動体の有無等のパラメータを係数とし、各係数を重み付けした関数を用いて停止時間を算出してもよい。
停止時間設定部14は、例えば周囲センサ2により検出された周囲環境等に基づき、制御マップ記憶部62に記憶された制御マップを用いて停止時間を設定してもよい。制御マップは、例えば図4に示すように、駐車枠の広さ、切り返しに用いるエリアの幅、移動体の有無等の周囲環境に応じた停止時間を含んでもよい。停止時間設定部14は周囲センサ2により検出された周囲環境に対応する停止時間を選択して設定してもよい。
車両制御部15は、アクチュエータ9を制御するための制御信号を出力することにより、車両の駐車制御を実行する。車両制御部15は、車両の走行時は制駆動制御、操舵制御の全てを実行する自動運転を行ってもよく、制駆動制御、操舵制御の少なくとも一部を実行する運転支援を行ってもよい。車両制御部15は、駐車の際には、車両の現在位置から、駐車位置設定部11により設定された駐車位置まで、駐車経路生成部12により生成された駐車経路に沿って車両を移動させてよい。車両制御部15は、例えば図3に示すように、駐車経路L1に沿って切り返し位置P1に到達した後、停止時間設定部14により設定された停止時間だけ、車両の停止制御を実行してもよい。そして、停止時間が経過後に発進して駐車動作を再開し、駐車経路L2に沿って駐車位置P2に到達する。
違和感検出部16は、脳波センサ4により検出された脳活動情報に基づき、乗員の違和感を検出する。例えば、違和感検出部16は、自動駐車制御の際に、切り返し時に停止した後、停止時間設定部14により設定された停止時間内に乗員の違和感を検出する。停止時間内に乗員の違和感が検出された場合には、乗員が安全確認や体勢準備を既に終えており、停止時間が乗員の意図よりも長いために停止時間に対して乗員が違和感を覚えたと考えられる。そこで、車両制御部15は、停止時間内に乗員の違和感が検出された場合には、乗員の違和感が検出された直後に車両の停止制御を解除すると共に、発進制御を開始し、駐車動作を再開させる。そして、停止時間設定部14は、次回以降の駐車において切り返し時の停止後の駐車動作の再開タイミングが乗員の意図するタイミングに近づくように、今回設定された停止時間を短く調整して、制御マップ記憶部62に記憶された制御マップを更新する。
一方、切り返し時の停止時間内に乗員の違和感が検出されずに、停止時間が経過した場合には、乗員が安全確認や体勢準備を丁度終えており、停止時間が乗員の意図に近いタイミングであるか、或いは、乗員が安全確認や体制準備を終えておらず、停止時間が乗員の意図よりも短いことが考えられる。そこで、車両制御部15は、乗員の違和感が検出されずに停止時間が経過した場合には、発進制御を開始する。
そして、発進制御の実行後の所定時間内に乗員の違和感が検出されない場合には、乗員が安全確認や体勢準備を丁度終えており、停止時間が乗員の意図に近いタイミングで発進したと考えられるため、車両制御部15は、そのまま駐車動作を継続してもよい。そして、停止時間設定部14は、今回設定した停止時間が乗員の意図に近いタイミングであったため、次回以降の駐車時も同じ停止時間を設定すべく、制御マップ記憶部62に記憶された制御マップを更新しない。
一方、発進制御の実行後の所定時間内に乗員の違和感が検出された場合には、乗員が安全確認や体制準備を終えておらず、停止時間が乗員の意図よりも短かったと考えられる。このため、車両制御部15は、車両を減速させて停止させてよい。そして、車両の停止後に違和感を検出した場合に、車両の発進制御を開始し、駐車動作を再開させてもよい。そして、停止時間設定部14は、次回以降の駐車において切り返し時の停止後の駐車動作の再開タイミングが乗員の意図するタイミングに近づくように、今回設定された停止時間を長く調整して、制御マップ記憶部62に記憶された制御マップを更新する。
次に、図5Aのタイミングチャートを参照して、自動駐車制御処理の一例を説明する。停止時間設定部14は、車両が切り返し時に停止する時刻t1から駐車動作を再開する時刻t2までの停止時間T1を予め算出している。時刻t1において、車両制御部15が、切り返し時に車両を停止させる。時刻t1〜t2において、違和感検出部16により乗員の違和感が検出されない。時刻t2において、停止時間T1が経過したため、車両制御部15は、車両の発進制御を開始し、駐車動作を再開する。その後、違和感検出部16により乗員の違和感が検出されず、車両制御部15は駐車動作を継続する。
次に、図5Bのタイミングチャートを参照して、自動駐車制御処理の一例を説明する。停止時間設定部14は、車両が切り返し時に停止する時刻t1から駐車動作を再開する時刻t4までの停止時間T1を予め算出している。時刻t1において、車両制御部15が、切り返し時に車両を停止させる。停止時間T1内の時刻t2において、違和感検出部16が乗員の違和感を検出する。時刻t2の直後の時刻t3において、車両制御部15は、車両の発進制御を開始し、駐車動作を再開する。停止時間設定部14は、次回以降の切り返し時の停止時間T1を短く調整する。例えば、違和感が検出された時刻t2よりも所定時間前に車両の発進制御を開始するように停止時間T1を短く調整する。
次に、図5Cのタイミングチャートを参照して、自動駐車制御処理の一例を説明する。停止時間設定部14は、車両が切り返し時に停止する時刻t1から駐車動作を再開する時刻t2までの停止時間T1を予め算出している。時刻t1において、車両制御部15が、切り返し時に車両を停止させる。時刻t1〜t2において、違和感検出部16により乗員の違和感が検出されない。時刻t2において、停止時間T1が経過したため、車両制御部15は、車両の発進制御を開始し、駐車動作を再開する。時刻t2から所定時間内の時刻t3において、違和感検出部16により乗員の違和感を検出したため、時刻t3の直後の時刻t4において、車両制御部15は車両の減速制御を実行し、時刻t5において停止する。時刻t6において、違和感検出部16により乗員の違和感が検出されたため、時刻t6の直後の時刻t7において、車両制御部15は車両の駐車動作を再開する。停止時間設定部14は、次回以降の切り返し時の停止時間T1を長く調整する。例えば、違和感が検出された時刻t6よりも所定時間前に車両の発進制御を開始するように停止時間T1を短く調整する。
<違和感検出処理>
次に、違和感検出部16による乗員の違和感検出処理の一例を説明する。違和感検出部16は、脳波センサ4により検出された乗員の脳波のデータに対して周波数解析を行い、思考や認知の結果として現れる脳の反応を示す事象関連電位(ERP)を検出することにより乗員の違和感の発生を検出する。例えば、記憶装置6等に乗員が違和感を覚えたときの脳波のパターンを予め記憶し、記憶された脳波のパターンと、脳波センサ4により検出された脳波のパターンとの一致度から乗員の違和感の有無を判定してもよい。
違和感検出部16は、例えば図6に示すように、時刻t1から時刻t2までの所定時間T0(例えば500ミリ秒)の脳波信号からN個の特徴量p1,p2,…,pNを抽出し、脳波の特徴ベクトルP=(p1,p2,…,pN)を生成する。特徴量は、例えば一定間隔でサンプリングした値等を使用可能である。違和感検出部16は更に、図7に示すように、違和感を覚えているときの脳波の特徴量を特徴空間へ配置したときの特徴量領域Dを決定する。例えば複数サンプルがあれば、ベクトル集合{P}の重心点を中心とし集合{P}を包含する円を特徴量領域Dとして決定する。違和感検出部16は、脳波センサ4によりリアルタイムで計測された乗員の脳波の特徴ベクトルPと、違和感の特徴量領域Dを比較し、脳波の特徴ベクトルPが特徴量領域Dに属する場合、乗員の違和感が有ると判定する。一方、脳波の特徴ベクトルPが特徴量領域Dに属さない場合、違和感検出部16は、乗員の違和感が無いと判定する。
次に、図8のフローチャートを参照して、違和感検出処理の一例を説明する。ステップS1において、脳波センサ4が、乗員の脳波信号をリアルタイムに計測する。ステップS2において、所定時間Tで計測した脳波信号をコントローラ1の記憶装置に記憶させる。ステップS3において、違和感検出部16が、所定時間Tの脳波信号からN個の特徴量を抽出し、脳波の特徴ベクトルP=(p1,p2,…,pN)を生成する。ステップS4において、違和感検出部16が、コントローラ1の記憶装置から特徴空間へ配置したときの特徴量領域Dを読み出して、乗員からリアルタイムで計測した脳波の特徴ベクトルPと違和感の特徴量領域Dを比較する。脳波の特徴ベクトルPが特徴量領域Dに属する場合、ステップS5の手順へ移行し、乗員の違和感が有ると判定する。一方、ステップS4において脳波の特徴ベクトルPが特徴量領域Dに属していない場合、ステップS6の手順へ移行し、乗員の違和感が無いと判定する。
また、乗員の通常時の脳波と違和感を覚えている時の脳波のデータがあれば、違和感検出部16は、線形判別法により、図7に示す平面P0を設定し、平面P0を用いて乗員の違和感の有無を判定してもよい。また、コントローラ1は、サポート・ベクター・マシン(SVM)やニューラル・ネットワーク法等の機械学習により乗員の違和感の有無を判定してもよい。
また、違和感検出部16は、脳波センサ4により検出された乗員の脳波のデータから、乗員の違和感の強度(度合い)を数値化して算出してもよい。例えば、図6に示した特徴空間における脳波の特徴ベクトルPの配置位置と特徴量領域Dの中心との相対位置等に基づき、乗員の違和感の強度を算出することができる。例えば、図6に示した特徴空間における脳波の特徴ベクトルPの配置位置が特徴量領域Dの中心に近づくほど乗員の違和感の強度が強く算出され、特徴ベクトルPの配置位置が特徴量領域Dの中心から離れるほど違和感の強度が弱く算出される。
また、本発明の実施形態では、例えば図6に示した所定時間T0において、脳波の出力電圧が所定の閾値未満か否かを判定してもよい。脳波の出力電圧が所定の閾値以上となる場合には、違和感検出部16は、乗員の違和感が有ると判定する。一方、脳波の出力電圧が所定の閾値未満の場合には、違和感検出部16は、乗員の違和感が無いと判定する。また、違和感検出部16は、脳波の出力電圧の大きさに基づき、違和感の強度を算出してもよい。例えば、違和感検出部16は、所定時間T0における脳波の出力電圧の最大値が大きいほど、違和感の強度を強く算出してもよい。
<自動駐車制御方法>
次に、図9のフローチャートを参照しながら、本発明の実施形態に係る自動駐車制御方法の一例を説明する。
ステップS10において、コントローラ1が、乗員による操作装置7を介した自動駐車の指示の有無等に基づき、自動駐車を実行中であるか否かを判定する。自動駐車を実行中であると判定されるまで処理を繰り返し、自動駐車を実行中であると判定された場合にステップS11に移行する。ステップS11において、周囲センサ2が、車両の周囲環境を検出する。ステップS12において、駐車位置設定部11は、周囲センサ2により検出された周囲環境等に基づき、車両の駐車位置を設定する。ステップS13において、駐車経路生成部12は、周囲センサ2により検出された周囲環境等に基づき、車両の現在位置から駐車位置までの駐車経路を生成する。
ステップS14において、切り返し判定部13は、駐車経路生成部12により生成された駐車経路に基づき、自動駐車時に切り返しが必要であるか否かを判定する。切り返しが不要と判定された場合、ステップS15に移行する。ステップS15において、周囲センサ2により検出された周囲環境等に基づき、コントローラ1が、車両が駐車位置に到達したか否かを判定する。駐車位置に到達したと判定された場合、処理を完了する。一方、駐車位置に到達していないと判定された場合、ステップS14に戻る。
ステップS14の説明に戻り、切り返し判定部13により自動駐車時に切り返しが必要と判定された場合、ステップS16に移行する。ステップS16において、停止時間設定部14が、周囲センサ2により検出された周囲環境等に基づき、制御マップ記憶部62に記憶された制御マップを用いて、車両が切り返し時に停止してから駐車動作を再開するまでの停止時間を設定する。ステップS17において、車両制御部15は、制御信号をアクチュエータ9に出力し、駐車経路生成部12により設定された駐車経路に沿って車両100を移動させ、切り返し位置で車両を停止させる。
ステップS18において、違和感検出部16が、脳波センサ4により検出された脳活動情報に基づき、乗員の違和感を検出することにより、乗員の違和感を検出する。違和感検出部16が、車両が切り返し時に停止した後の停止時間内に乗員の違和感が検出された場合、停止時間が乗員の意図よりも長いと考えられるため、ステップS19に移行する。ステップS19において、車両制御部15が、直ちに車両の停止制御を解除すると共に発進制御を実行し、車両の駐車動作を再開させる。ステップS20において、停止時間設定部14が、次回以降の切り返し時の停止時間が短くなるように制御マップを更新する。その後、ステップS14に戻る。
ステップS18の説明に戻り、違和感検出部16により乗員の違和感が検出されない場合、ステップS21に移行する。ステップS21において、車両制御部15が、停止時間設定部14により設定された停止時間内であるか否かを判定する。停止時間内であると判定された場合、ステップS18に戻る。一方、ステップS21において停止時間を経過したと判定された場合、ステップS21に移行する。
ステップS21において、車両制御部15が、車両の発進制御を実行し、車両の駐車動作を再開させる。ステップS23において、違和感検出部16が、脳波センサ4により検出された脳活動情報に基づき、車両の駐車動作を再開してから所定時間内の乗員の違和感を検出することにより、車両の駐車動作の再開タイミングに対する乗員の違和感を検出する。乗員の違和感が検出されない場合、駐車動作の再開タイミングが乗員の意図に近いタイミングであると考えられる。このため、発進制御をそのまま継続して、ステップS14に戻る。
一方、ステップS23において発進制御を開始後の所定時間内に乗員の違和感が検出された場合、停止時間が乗員の意図よりも短かったと考えられるため、ステップS20に移行する。ステップS20において、停止時間設定部14が、次回以降の切り返し時の停止時間が長くなるように制御マップを更新する。その後、ステップS14に戻る。なお、ステップS23において乗員の違和感が検出された場合、車両制御部15が、車両の減速制御を実行してもよい。
本発明の実施形態によれば、車両制御部15が少なくとも駐車時の車両の発進制御を実行する際に、脳波センサ4が車両の乗員の脳活動を計測する。また、違和感検出部16が、計測された脳活動情報から乗員の違和感を検出し、車両が切り返し時に停止した後に違和感を検出した場合に、車両制御部15が車両を発進させる。これにより、車両の切り替えし時の停止時間が乗員の意図よりも長くなったことに対する違和感を検出することができるため、乗員の違和感を検出した直後に車両を発進させることができる。したがって、乗員の意図に近いタイミングで駐車動作を再開させることができる。また、駐車動作を再開するためのボタン操作等の乗員の意思を示すための行動が不要であるため、乗員の煩わしさを抑制することができる。
更に、違和感検出部16が、車両が切り返し時に停止した後の所定の停止時間内に違和感を検出しなかった場合に、車両制御部15が車両を発進させる。これにより、例えば停止時間を乗員の意図に近いタイミングで設定すれば、乗員の違和感を検出する前に、乗員の意図に近いタイミングで駐車動作を再開させることができる。また、乗員の違和感の検出精度が低く、乗員の違和感を検出し難い場合等であっても、乗員の違和感が検出されずに駐車動作を再開しない状況を回避することができる。
更に、違和感検出部16が停止時間内に違和感を検出した場合に、停止時間設定部14が、次回以降の切り返し時に停止するときの停止時間を短く調整する。これにより、次回以降の切り返し時に停止した後の駐車動作の再開タイミングを、乗員の意図に近いタイミングに調整することができると共に、駐車に要する時間を短縮することができる。したがって、次回以降の切り返し時に、乗員の意図に近いタイミングで駐車動作を再開させることができる。
更に、違和感検出部16が、車両を発進させた後の所定時間内に違和感を検出した場合に、車両制御部15が車両を減速させる。これにより、乗員に対して安全確認や体制準備のための余裕を持たせることができる。なお、車両を減速させて停止させる場合、停止後の所定時間内に違和感を検出した場合に、車両の発進制御を開始してもよい。また、車両を減速させて停止せずに、低速で駐車動作を継続してもよい。
更に、違和感検出部16が、車両を発進させた後の所定時間内に違和感を検出した場合に、停止時間設定部14が、次回以降の切り返し時に停止するときの停止時間を長く調整する。これにより、次回以降の切り返し時に停止した後の駐車動作の再開タイミングを、乗員の意図に近いタイミングに調整することができ、安全確認や体制準備のための余裕を持たせることができる。
(第1変形例)
本発明の実施形態では、切り返し時に停止してから停止時間が経過した後に、直ちに発進制御を実行する場合を説明した。これに対して、本発明の実施形態の第1変形例では、切り返し時に停止してから停止時間が経過した後、発進制御を開始する前に発進予告をする場合を説明する。
例えば、提示制御部17は、提示装置8を制御して、発進制御を開始することを文字情報や音声情報で乗員に対して提示して予告する。違和感検出部16が、脳波センサ4により検出された脳活動情報に基づき、発進制御の予告をしてから所定時間内の乗員の違和感を検出することにより、発進制御の予告に対する乗員の違和感を検出する。乗員の違和感が検出されない場合、駐車動作の再開タイミングが乗員の意図に近いタイミングであると考えられるため、車両制御部15が発進制御を開始する。一方、乗員の違和感が検出された場合、乗員の意図よりも駐車動作の再開タイミングが早いと考えられるため、車両制御部15は発進制御を開始しない。
次に、図10のフローチャートを参照して、本発明の実施形態の第1変形例に係る自動発進制御方法の一例を説明する。ステップS10〜S21の手順は図9のフローチャートと同様であるので、重複した説明を省略する。ステップS21において、停止時間が経過したと判定された場合、ステップS31に移行する。ステップS31において、提示制御部17は、提示装置8を制御して、発進制御を開始することを乗員に予告する。
ステップS32において、違和感検出部16が、脳波センサ4により検出された脳活動情報に基づき、発進制御の予告をしてから所定時間内の乗員の違和感を検出することにより、発進制御の予告に対する乗員の違和感を検出する。乗員の違和感が検出されない場合、駐車動作の再開タイミングが乗員の意図に近いタイミングであると考えられる。このため、ステップS33に移行し、車両制御部15が発進制御を開始する。その後、ステップS14に戻る。
一方、ステップS32において発進制御の予告をしてから所定時間内に乗員の違和感が検出された場合、停止時間が乗員の意図よりも短いと考えられるため、ステップS34に移行する。ステップS34において、車両制御部15が、車両の発進制御を抑制し、所定時間が経過するまで停止制御を継続する。その後、ステップS31に戻り、提示制御部17が再び発進制御の予告をする。
本発明の実施形態の第1変形例によれば、車両が切り返し時に停止した後、且つ車両が発進制御を実行する前に、車両が発進することを乗員に予告する。そして、予告後の所定時間内に違和感を検出しなかった場合に、車両を発進させる。一方、予告後の所定時間内に違和感を検出した場合には、車両の発進制御を抑制する。これにより、駐車動作の再開タイミングに対する乗員の違和感を確実に特定することができる。
(第2変形例)
本発明の実施形態では、切り返し時の停止後に乗員の違和感を検出した場合、直ちに発進制御を実行する場合を説明した。これに対して、切り返し時の停止後に、停止時間とは関連しない事象(イベント)が発生し、発生したイベントに対して乗員が違和感を覚えることも想定される。そこで、本発明の実施形態の第2変形例では、切り返し時に停止した後に乗員の違和感を検出した場合に、検出された違和感が停止時間に対する違和感であるのか、或いは停止時間中に発生した他のイベントに対する違和感であるのかを区別する場合を説明する。
本明細書における「イベント」とは、乗員に対して提示したときに、乗員が視覚的、聴覚的又は触覚的等の感覚的に感知可能な対象(感知対象)であって、乗員が違和感を覚える対象となり得るものを意味する。例えば、乗員は、提示されたイベントが乗員の想定と異なる場合等に、提示されたイベントに対して違和感を覚え得る。イベントは、車両の車内のイベントと、車外のイベントとを含む。車外のイベントは、例えば、他車両又は歩行者等の物体の動き(挙動)を含み、周囲センサ2により検出することができる。車内のイベントは、例えば、提示装置8から提示される情報を含み、提示制御部17による提示装置8の制御情報から検出することができる。
例えば、違和感検出部16は、切り返し時の停止時間中に乗員の違和感を検出し、且つイベントを検出した場合に、検出された違和感がイベントに対するものであって、停止時間に対する違和感でないと判定してもよい。一方、違和感検出部16は、切り返し時の停止時間中に乗員の違和感を検出したが、イベントを検出しない場合に、停止時間に対する違和感であると判定してもよい。
また、違和感検出部16は、切り返し時の停止時間中に乗員の違和感を検出し、且つイベントを検出した場合に、乗員センサ5により検出された乗員の視線方向が、イベントの発生原因である他車両又は歩行者等の物体の位置(方位)に相当する場合に、イベントに対する乗員の違和感であり、停止時間に対する違和感でないと判定してもよい。一方、違和感検出部16は、乗員の視線方向が、イベントの発生原因の位置(方位)に相当しない場合には、イベントに対する違和感ではなく、停止時間に対する乗員の違和感を検出したと判定してもよい。或いは、違和感検出部16は、脳波特徴量ベクトルに基づく判別方法、事象関連電位に基づく判別方法、時間周波数解析に基づく判別方法等の種々の判別方法を用いて、イベントに対する違和感であるか、停止時間に対する違和感であるかを判定してもよい。
次に、図11のフローチャートを参照して、本発明の実施形態の第2変形例に係る自動発進制御方法の一例を説明する。ステップS10〜S24の手順は図9のフローチャートと同様であるので、重複した説明を省略する。ステップS18において、違和感検出部16により、切り返し時の停止後に乗員の違和感が検出された場合、ステップS18xに移行する。
ステップS18xにおいて、違和感検出部16は、周囲センサ2により検出された周囲環境等に基づき、切り返し時の停止時間中に発生しているイベントを検出する。ステップS18yにおいて、違和感検出部16は、ステップS18で検出された違和感が停止時間に対する違和感であるか否かを判定する。ステップS18yにおいて停止時間に対する違和感であると判定された場合にはステップS19に移行し、ステップS18yにおいて停止時間に対する違和感ではないと判定された場合にはステップS20に移行する。なお、ステップS23の違和感検出処理の後に、ステップS18x,S18yと同様の処理を行ってもよい。
本発明の実施形態の第2変形例によれば、車両の周囲環境に基づき、車両の切り返し時の停止時間に関連しないイベントを検出し、検出した違和感がイベントに対する違和感である場合に、車両の発進を抑制する。これにより、切り返し時の停止に関連しないイベントに対して乗員が違和感を覚えた場合には車両の発進を抑制することができる。そして、停止時間に対して乗員が違和感を覚えた場合に車両の発進制御を実行することができる。
(第3変形例)
本発明の実施形態では、制御マップを用いて停止時間を設定し、違和感が検出された場合に停止時間を調整することにより制御マップを更新する場合を説明した。これに対して、本発明の実施形態の第3変形例は、過去のデータを用いて周囲環境に対する停止時間の関係を学習する場合を説明する。
停止時間設定部14は、例えばディープラーニング等の入出力の関係を学習可能な関数近似器(人工知能)を使用可能である。停止時間設定部14は、周囲センサ2により検出された周囲環境と、その周囲環境において車両が切り返し時に停止してから違和感検出部16により違和感を検出するまでの時間との過去のデータを学習用データとして記憶装置6に記憶する。停止時間設定部14は、記憶装置6に記憶された学習用データを用いて、周囲センサ2により検出された周囲環境に対する、切り返し時に停止するときの停止時間の関係を学習する。停止時間設定部14は、学習結果を用いて、周囲センサ2により検出された周囲環境に応じた停止時間を設定する。
本発明の実施形態の第3変形例によれば、停止時間設定部14が、過去のデータを用いて周囲センサ2により検出された周囲環境に対する停止時間の関係を学習し、学習結果を用いて、周囲環境に応じた停止時間を設定する。これにより、周囲環境に応じて乗員の意図するタイミングは動的に変化する可能性があるが、周囲環境に対する停止時間の関係を停止時間設定部14に学習させるので、周囲環境に適合した停止時間を設定可能となる。
(その他の実施形態)
上記のように、本発明は実施形態によって記載したが、この開示の一部をなす論述及び図面は本発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替の実施形態、実施例及び運用技術が明らかとなろう。
例えば、本発明の実施形態においては、脳波センサ4により脳活動の一例としての脳波を検出し、検出された脳波から乗員の違和感を検出する場合を例示したが、乗員の違和感を検出できる構成であればよい。例えば、脳血流、心拍数、呼吸数又は発汗量を測定して、測定された脳血流、心拍数、呼吸数又は発汗量から乗員の脳活動を計測し、乗員の違和感を検出してもよい。また、カメラにより撮像された乗員の顔画像から乗員の脳活動を計測し、乗員の違和感を検出してもよい。また、乗員の違和感を検出できる構成であれば、脳活動情報以外の生体情報を取得して使用してもよい。
本発明はここでは記載していない様々な実施形態等を含むことは勿論である。したがって、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。