JP2017021756A

JP2017021756A - 車両の運転支援装置

Info

Publication number: JP2017021756A
Application number: JP2015141355A
Authority: JP
Inventors: 真吾入方; Shingo Irikata; 宗義難波; Muneyoshi Nanba
Original assignee: Mitsubishi Motors Corp
Current assignee: Mitsubishi Motors Corp
Priority date: 2015-07-15
Filing date: 2015-07-15
Publication date: 2017-01-26

Abstract

【課題】自車両の運転時、運転者に意識させずに、無人飛行体により、運転者から見にくい自車両周囲の場所の視認を可能とした車両の運転支援装置を提供する。【解決手段】自車両３９の周辺を飛行可能な、撮像装置７が付いた無人飛行体１と、撮像装置で撮像した画像を自車両内の運転者に表示可能な表示部３７と、運転者の運転時における上体部の動きおよび視線の動きを検出する検出部４７（車内カメラ）と、運転者の上体部の動きおよび視線の動きに基づき運転者の注視方向を検出し、運転者の注視先の自車両周囲の場所を推測する推測部４９と、推測された場所を撮像するよう無人飛行体を飛行させる制御部４１とを有する。【選択図】図１

Description

本発明は、自車両の運転支援を行う車両の運転支援装置に関する。

自動車(車両)では、近時、無人飛行体、例えば撮像カメラ（撮像装置）を搭載したドローン(無人飛行体)を用いて、自車両の運転の支援を行う運転支援装置が提案されている。この運転支援装置は、ドローンを自車両前方上空に飛行させ、撮像カメラによって自車両の進行方向前方の撮像画像を自車両のドライバー（運転者）に提示し、自車両のドライバーに現在の障害物の状況や交通状況などを知らせて、ドライバーに前方状況に応じた運転を促す（例えば特許文献１を参照）。

特開２０１０−２５０４７８

こうした運転支援装置は、設定された制御情報にしたがいドローンを飛行させることが行われ、ドライバーを自車両の運転（ステアリング操作などによる）に専念させて、自車両の運転とドローンによる運転支援とを両立させて、自車両の安全性を担保している。つまり、運転中、ドライバーがステアリングホイールから手を離して、他の装置の操作を行うことは、注意散漫などを招き自車両の運転に影響を与えるおそれがある。このため、ドローンによる運転支援は、ドライバーの負担を抑えながら行われる。

ところが、逆にドライバーは、運転時、ドローンを操作することができないため、ドライバーの慎重な判断が求められる走行のとき、例えば見通しの悪い交差点での左右方向の確認などには、ドローンによる運転支援が活用できない。特にドライバーは、見にくい場所にドローンを操作させるという意識が入ること自体、ドライバーの負担となりやすく、自車両の安全性が損なわれやすい。

そこで、本発明の目的は、自車両の運転時、運転者に意識させずに、無人飛行体により、運転者から見にくい自車両周囲の場所の視認を可能とした車両の運転支援装置を提供する。

本発明の態様は、自車両の周辺を飛行可能な、撮像装置が付いた無人飛行体と、撮像装置で撮像した画像を自車両内の運転者に表示可能な表示部と、運転者の運転時における上体部の動きおよび視線の動きを検出する検出部と、運転者の上体部の動きおよび視線の動きに基づき運転者の注視方向を検出し、運転者の注視先の自車両周囲の場所を推測する推測部と、推測された場所を撮像するよう無人飛行体を飛行させる制御部とを有するものとした。

本発明によれば、自車両の運転時、運転者が、自車両周囲の任意の場所を視認しようと、上体を動かしたり視線を動かしたりすると、その運転者の上体や視線の動きから、注視先の自車両周囲の場所の推測が行われ、推測した場所を撮像するよう無人飛行体が飛行する。
したがって、運転者は、運転時、無意識のまま、運転者が求める当該運転者から見にくい自車両周囲の場所を表示部を通じて視認することができる。これにより、無人飛行体による運転支援の向上が図れる。しかも、運転者は、実際に無人飛行体を操作するのではないので、運転者は自車両の運転に専念でき、自車両の安全性が担保される。しかも、運転者にとっては、視認したい場所の選択や無人飛行体を飛行させる操作が不要であるので、運転者に無用な負担を与えずにすむ。

本発明の一実施形態に係る車両の運転支援装置を、制御系と共に示す斜視図。制御系が行う運転支援の制御を説明するフローチャート。無人飛行体で、運転者から見にくい状況（見遠しの悪い交差点）の視認性を確保するときを説明する平面図。無人飛行体で、異なる見にくい状況（自車両前方に車高の高い車両が居る交差点）の視認性を確保するときを説明する斜視図。無人飛行体で、異なる見にくい状況（自車両側方直下の場所）の視認性を確保するときを説明する斜視図。無人飛行体で、異なる見にくい状況（自車両前方の駐車場）の視認性を確保するときを説明する斜視図。

以下、本発明を図１から図６に示す一実施形態にもとづいて説明する。
図１は、車両の運転支援装置の全体および同装置の制御系を示していて、図１中１は無人飛行体であるところの例えばドローン、３０は自車両を示している。
図１に示されるように例えばドローン１は、本体部３、本体部３の側部に放射状に据え付けた複数、例えば４基のモータ駆動式のプロペラ５ａ（推進部）と、本体部３に据え付けた撮像カメラ７（本願の撮像装置に相当）と、本体部３内に収めたバッテリ（図示しない）や制御ユニット９とを有したマルチコプターから構成される。プロペラ駆動用のモータ５ｂを収めるカバー部は離着陸用の脚部を兼ねている。

ドローン１の制御ユニット９には、図１中のブロック図に示されるように制御部１３や姿勢制御用の姿勢センサ１５や障害物検出用の障害物センサ１７やＧＰＳ１９や送受信部２１が収められている。そして、制御部１３の指令により、バッテリを電力源としたモータ５ｂの駆動、プロペラ５ａの回転制御などが行われ、所望の高度、所望の向きで飛行が行えるようになっている。むろん、ドローン１は、飛行中、制御部１３の制御により、障害物センサ１７で検出した障害物を避けながら、撮像カメラ７で撮像を行う。

自車両３０は、車体３３のルーフ３３ａ上に例えばドローン用のヘリポート３５を有している。また例えばインストルメントパネル部３０ａには、自車両３０のドライバー（運転者：図示しない）が目視可能なディスプレイ３７（本願の表示部に相当）や、制御ユニット３９を有している。そして、ヘリポート３５上に上記ドローン１が搭載され、ドローン１を車体上部で離着陸可能としている。待機中のドローン１は、遠隔操作で着脱動作されるフック機構(図示しない)でホールドされる。

制御ユニット３９には、図１中のブロック図に示されるように制御部４１や、ＧＰＳ４３や、ドローン１側の送受信部２１との間で通信を行う送受信部４５が収められている。そして、ＧＰＳ４３で検出された自車両３０の位置が、ディスプレイ３７に映出される地図上に表示されたり、ドローン１からの撮像画像がディスプレイ３７に映出されたりする。双方の信号が有る場合は、例えばディスプレイ３７の画面の左右半分のうちの一方側でドローン１からの画像が表示され、他方側で自車両位置が表示される。

ドローン１は、自車両３０からの指令により、自車両３０の前方上空に飛行される。そして、走行中の自車両３０の進路方向前方の情景をドローン１の撮像カメラ７で撮像し続けるため、自車両３０の制御部４１には、ドローン１の飛行目標位置を設定する機能が設定される。例えばＧＰＳ４３で検出される自車両３０位置を基準に、一定の前方位置、一定の上空高さ位置などが飛行位置として設定される。そして、自車両３０の送受信部４５から、ドローン１の送受信部２１（いずれも通信部）へ飛行目標位置が送信される。

ドローン１の制御部１３には、受信する飛行目標位置にしたがい、ドローン１の飛行を制御する制御プログラムが設定され、設定される飛行目標位置にしたがいドローン１が、走行する自車両３０の進行方向前方の定位置を飛行し続けられる。そして、常に自車両３０の前方画像が、ディスプレイ３７を通じて自車両３０のドライバーＭ（運転者）に提示され、自車両３０の運転支援が行われるものとしている。

なお、自車両３０の制御部４１には、図示はしないがドローン１を離着陸させる離着陸操作部が接続されていて、通常は離着陸操作部の操作(手動)により、ドローン１のヘリポート３５からの離陸や、ドローン１のヘリポート３５への着陸（帰還）が行える。
また運転支援装置には、こうした自車両３０の前方を視認する機能だけでなく、ドライバーＭから見にくい自車両周囲を視認可能とした機能が装備されている。

同装備は、自車両３０の運転席（図示しない）に着座しているドライバーＭの上体部の動きやドライバーＭの視線の動き（眼の動き）を検出する車内カメラ４７(本願の検出部に相当)と、自車両３０の制御部４１に設けられた推測部４９とを有している。このうち車内カメラ４７は、例えばドライバーＭの前方上部の位置に配置されているルームミラー３０ｂに設けられ、ドライバーＭの上体や視線位置を捉える。

推測部４９は、車内カメラ４７で撮像した画像から検出されるドライバーＭの上体部の動きおよび視線の動きに基づいてドライバーＭが注視する注視方向を検出し、ドライバーＭが視認しづらい注視先の自車両周囲の場所を推測するものである。例えば推測部４９は、ドライバーＭの見たい自車両周囲の場所があるのに、その場所が見にくいため、ドライバーＭがその場所を目視しようとするときの無意識な上体の動き、この上体の一連の動きの最後に見せる視線の動きから（いずれも無意識な行動）、ドライバーの注視方向を検出する検出機能と、注視時間が所定時間継続するか否かにより、本当にその場所を見たいのか否かを判定する特定機能とを有している。これにより、ドライバーＭが視認しづらい注視先の自車両周囲の場所を推測する。

この無意識な動きの一例としては、例えば自車両３０が見通しの悪い交差点に差し掛かり、左右方向の安全確認したい場合、ドライバーＭが、その場所を確認しようと、無意識のうちに、上体を前方へ乗り出し、頭部を左右方向に振り、視線を左右方向に向ける動き（行動）や、例えば自車両３０の前方に車高の高い車両が走行していて、前方の交通状況を把握したい場合、ドライバーＭが、上体を側方へ寄せ、視線を前方に向ける動き（行動）や、例えば自車両３０が路側の側溝の近くを走行することが余儀なくされる場合、ドライバーＭが、側溝位置を確認しようと、上体を横へ寄せつつ上方へ上げ、視線をドアウインドの下側を向ける動き（行動）や、例えば自車両３０が駐車場の入口に到着し、駐車したいスペースを探す場合、ドライバーＭが、上体を上方へ上げ、前方の駐車スペースに視線を向ける動き（行動）などが挙げられる。こうしたドライバーＭの動き（行動）に基づき、ドライバーＭの視認しづらい場所を推測する。例えば上記の見通しの悪い交差点の場合は、自車両３０の前方左右方向を注視先の場所として推測し、上記の自車両３０の前方に車高の高い車両が走行している場合は、車高の高い車両から前方を注視先の場所として推測し、上記の側溝の近くを走行する場合は、自車両３０の側部直下を注視先の場所として推測し、上記の駐車スペースを探す場合は、自車両３０の前方の領域を注視先の場所として推測する。

特に注視先の場所が明確に特定されるよう、制御部４１は、自車両３０から自車両周囲を撮像する車外カメラ、例えば車体３３の前部に設けた自車両前方を撮像する撮像カメラ５１や、バックミラー３０ｃに設けた自車両３０の側部直下を撮像する撮像カメラ５３などから画像情報が入力されたり、ＧＰＳ４３の地図情報が入力されたりしている。つまり、提供される画像情報や地図情報などから、推測された場所の特定を可能としている（いずれも本願の情報提供部に相当）。

また制御部４１には、この推測された場所を撮像するために、注視先の推測後、ドローン１が、推測された場所に向け、例えば所定の高度で、飛行させる制御指令を送信する機能（本願の制御部に相当）が設定されている。つまり、ドライバーＭが、見たいという動作を行うと、制御部４１からの指令で、ドローン１がヘリポート３５から離陸され、注視先の場所や状況を撮像するよう飛行し、そのときの状況がディスプレイ３７の表示画面から、ドライバーＭに提示されるものとしている（自動的）。

さらに制御部４１には、ドローン１を当初の位置へ戻す戻り機能が設けられている。この戻り機能は、ドライバーＭに意識させずに、ドローン１による撮像停止が行えるよう、ドライバーＭの視線がディスプレイ３７あるいは注視先の場所から外れたときの状態が所定時間経過したとき、ドローン１からの撮像を停止、さらにはドローン１をデフォルト位置であるヘリポート３５へ帰還させるなど機能で設定されている。つまり、ドローン１は、ドライバーＭが無意識に行う仕草（動き）により、目的の運転支援を終えると判断されて、元の位置へ戻るようにしてある（自動的）。

つぎに、このように構成された運転支援装置の作用を、図２に示すフローチャートや図３に示す道路状況を参照して説明する。
自車両３０が道路を走行中、例えば図３に示されるように見通しの悪いＴ字路の交差点αに差し掛かり、一時停止から前方道路の左右方向（横方向）を確認する動作を行うとする。

このとき、自車両３０の前方左右の見通しが悪いので、このときの安全確認の動作は、ドライバーＭの上体を前方へ乗り出し、続いてドライバーＭの頭部を左右方向に振り、視線を左右方向に向けるという自然な動きで行われる。
すると、運転支援装置は、その安全確認を支援するように作動する。すなわち、まず、ステップＳ１のように車内カメラ４７で捉えたドライバー運転者Ｍの撮像画像から、ドライバーＭの注視位置を把握することが行われる。

つまり、車内カメラ４７は、ドライバーＭの上体（肩部、首部、頭部、目線を含む）の動きを捉えている。これにより、自車両３０の前方左右側を視認しようとするドライバーＭの動き、すなわち最初にドライバーＭの上体が前方に乗り出し、続いてドライバーＭの頭部を左右に振るという動作から、自車両３０の前方側左右側が視認しにくい状態であることを検出し、最終の目線方向の検出、すなわち視線が最終的に向く注視方向から、注視先の車外の位置に見たい場所（交差点の左右方向側）があることを把握する。続くステップＳ３で行われる所定時間以上（一定時間以上）、自車両前方の左右方向を注視したか否かの判定により、所定時間以上、注視が続くと判定されると、同注視方向先の車外位置にドライバーＭの見たい場所がある旨を検出する（推測）。続くステップＳ５は、さらにＧＰＳ４３の地図情報や、自車両３０の前部に配置される撮像カメラ５３情報である自車両前方の画像情報によって、注視位置、すなわち注視先が、より詳しく、見通しの悪い交差点αの入口の地点であると特定される。

ステップＳ７は、この注視位置の特定を受けて、制御部４１から送信される飛行制御信号により、ドローン１を図３に示されるように注視位置へ飛行させる。すなわち、ドローン１は、ホールドが解かれ（フック機構の解除による）、各モータ５ｂの駆動制御により、ヘリポート３５を離陸して、交差点αの入口上空へ向かう。むろん、ドローン１は、障害物センサ１７で行われる障害物の検出により、障害物を避けながら飛行する。そして、交差点α入口に到達すると、ドローン１に搭載の撮像カメラ７が交差点αの左右方向に向き、撮像カメラ７で、ドライバーＭが欲している注視先、すなわち交差点αの入口左右方向における交通状況を捉える（映像撮影）。この撮像した交通状況は、続くステップＳ９により、インストルメントパネル部３０ａに有るディスプレイ３７の画面上に映し出される（映像表示）。これにより、ドライバーＭは、視線を前方側からディスプレイ３７へ移して、ディスプレイ３７に映し出された交差点αの入口左右の交通状況を見ることにより、見にくかった交差点αの左右の状況が視認される。

視認により交差点αでの安全が確認されると、ドライバーＭの視線は、ディスプレイ３７（もしくは注視位置である自車両３０の前方左右方向）から外れ、つぎの運転、すなわち自車両３０が左折もしくは右折して進む運転へ至る。そのため、続くステップＳ１１では、ディスプレイ３７から視線を外した状態（もしくは自車両前方の左右方向から外した状態）が、所定時間経過（一定時間以上）すると、安全確認、すなわち交差点αでの安全確認は不要になったと判定し、ステップＳ１３へ進む。すると、制御部４１から、ドローン１をヘリポート３５に帰還（戻す）させる制御信号が送信され、飛行していたドローン１をヘリポート３５に着陸させる。そして、フック機構によるホールドが行われる。つまり、ドローン１は、運転支援を終えると、元の待機状態に戻る（ドローン１からの画像送信：無）。

図４〜図６には、他のドローン１による運転支援の例が示されている。
すなわち、図４は、自車両３０の前方に車高の高い他車両３１が走行し、前方の状況、例えば他車両３１の前方に有る信号機６１の点灯具合を把握する場合を示している。この場合、自車両３０は、他車両３１の陰になるため、ドライバーＭからは信号機６１が見にくくなる。そのため、ドライバーＭは、信号機６１を確認しようと、上体を側方へ寄せ、視線を前方に向けるという動きから、他車両３１の脇を通じ信号機６１を見ようとする。

ステップＳ１は、このドライバーＭの上体を横に寄せるという動きから、自車両３０の前方側部寄りが視認する場所であることを検出し、最終の目線方向となる、自車両前方の上方寄りの目線となる注視方向の注視先に見たい場所があることを把握する。そして、ステップＳ３を経たステップＳ５において、ＧＰＳ４３の地図情報の助けを借りて、ドライバーＭの見たい場所が自車両３０の前方に位置する信号機６１であると特定する。このため、ステップＳ７のようにドローン１は、ドライバーＭの注視先である信号機６１へ飛行され、信号機６１を撮像して、ディスプレイ３７へ映し出す。これにより、見通しの悪い交差点αのときと同様、見にくかった信号機６１の視認が行える。

また図５は、自車両３０が路側の側溝６３の近くを走行することが余儀なくされる場合を示している。この場合、走行輪３０ｄが側溝６３に落ちないよう、自車両３０の走行を慎重に進める必要がある。そのため、ドライバーＭは、走行輪３０ｄの位置や側溝６３の位置を確認しようと、上体を横へ寄せつつ上方へ上げ、視線をドアウインド（図示しない）の下側を向けるという動きから、車体３３と側溝６３との間を見ようする。

ステップＳ１は、このドライバーＭの上体を横へ寄せつつ上方へ上げるという動きから、自車両３０のドライバーＭ側の側部直下が視認する場所であることを検出し、最終の目線方向となる、自車両３０の側部直下に向ける注視方向の注視先にドライバーＭの見たい場所があることを把握する。そして、ステップＳ３を経たステップＳ５において、車体側部に配置されている撮像カメラ５３の撮像画像による手助けで、ドライバーＭの見たい場所が、自車両３０の車体側部（ドライバーＭ側）に存する側溝６３であると特定する。このため、ステップＳ７のようにドローン１は、ドライバーＭの注視先である車体側部の側溝６３の上空へ飛行し、車体３３と側溝６３間を撮像して、ディスプレイ３７へ映し出す。これにより、走行輪３０ｄを含む車体３３と側溝６３との間の位置関係が視認される。

さらに図６は、例えば自車両３０が駐車場６５の入口６５ａに到着し、前方の駐車スペース群６７から駐車可能なスペースを探す場合を示している。この場合、自車両３０の前方で駐車している他車両３２越しに、駐車可能なスペースを探そうとする。そのため、ドライバーＭは、駐車可能なスペースの有無を確認しようと、上体をその場から上方へ上げ、前方の駐車スペースに視線を向けるという動きを行う。

ステップＳ１は、このドライバーＭが、駐車可能なスペースを確認しようと、上体をその場から上方へ上げるという動きから、自車両３０の前方が視認する場所であることを検出し、最終の目線方向となる、自車両３０の前方を真っ直ぐな注視方向の注視先に見たい場所があることを把握する。そして、ステップＳ３を経たステップＳ５において、ＧＰＳ４８の地図情報や車体前部に配置されている撮像カメラ５３の撮像画像による手助けにより、ドライバーＭの見たい場所が自車両３０前方の駐車場６５であると特定する。このため、ステップＳ７のようにドローン１は、ドライバーＭの注視先である自車両３０の前方近くの駐車スペース群６７の上空へ飛行し、駐車スペース群６７における駐車具合を撮像して、ディスプレイ３７へ映し出す。これにより、駐車したいスペースの有無が視認される。

以上のように運転支援装置は、自車両３０の運転時において、ドライバーＭが、自車両周囲の任意の場所を視認しようと、上体を動かしたり視線を動かしたりするだけで、そのドライバーＭの上体や視線の動きから、注視先の自車両周囲の場所の推測が行われ、推測した場所が自動的にドローン１の飛行で撮像される。
したがって、ドライバーＭは、無意識のまま、ドローン１で、ドライバーＭが求める視認、すなわちドライバーＭから見にくい自車両周囲の場所の視認ができる。これにより、ドローン１による運転支援の向上が図れる。しかも、ドライバーＭは、実際にドローン１を操作することはないので、ドライバーＭは自車両３０の運転に専念でき、自車両３０の安全性を担保することができる。そのうえ、ドライバーＭにとっては、視認したい場所の選択やドローン１を飛行させる操作が不要であるので、ドライバーＭに無用な負担を与えることはない。

特に注視先の推測は、ドライバーＭの自車両周囲の見にくい場所を目視しようとするときの動きや、上体の一連の動きの最後で見せるドライバーＭの視線の動きに基づき行うので、簡単な制御で、自車両３０周辺の多くの場所における安全確認に対応できる。
しかも、ＧＰＳ４３や車外カメラである撮像カメラ５１，５３（いずれも情報提供部）を併用して、注視先の場所を特定するので、ドライバーＭが視認したい場所を明確に特定することが可能となり、一層、ドライバーＭの視認性を高めることができる。

そのうえ、こうした運転視線は、ディスプレイ３７（もしくは注視先）からドライバーＭの注視が外れることを利用して止める、すなわちドローン１による撮像を止めるので、ドライバーＭに負担を強いずに（無意識）、運転支援を終了させることができる。
なお、上述した一実施形態における各構成および組み合わせ等は一例であり、本発明の趣旨から逸脱しない範囲内で、構成の付加、省略、置換、およびその他の変更が可能であることはいうまでもない。また本発明は、上述した一実施形態によって限定されることはなく、「特許請求の範囲」によってのみ限定されることはいうまでもない。例えば一実施形態では、交差点、高い車高の他車両、側溝、駐車場などを想定した例を挙げたが、これに限らず、他の状況でもよく、本発明は自車両周囲を確認したい場合には有効である。

１ドローン（無人飛行体）
７撮像カメラ（撮像装置）
３０自車両
３７ディスプレイ（表示部）
４１制御部
４３，５１，５３ＧＰＳ，車外の撮像カメラ（情報提供部）
４７車内カメラ（検出部）
４９推測部

Claims

自車両の周辺を飛行可能な、撮像装置が付いた無人飛行体と、
前記撮像装置で撮像した画像を前記自車両内の運転者に表示可能な表示部と、
前記運転者の運転時における上体部の動きおよび視線の動きを検出する検出部と、
前記運転者の上体部の動きおよび視線の動きに基づき前記運転者の注視方向を検出し、前記運転者の注視先の自車両周囲の場所を推測する推測部と、
前記推測された場所を撮像するよう前記無人飛行体を飛行させる制御部と
を具備したことを特徴とする車両の運転支援装置。
前記運転者の上体部の動きは、運転者が前記自車両周囲の見にくい場所を目視しようとするときの動きであり、
前記運転者の視線の動きは、前記運転者の上体の一連の動きの最後に見せる視線の動きである
ことを特徴とする請求項１に記載の車両の運転支援装置。
前記推測部は、前記推測された場所の特定を可能とした情報提供部を有する
ことを特徴とする請求項１または請求項２に記載の車両の運転支援装置。
前記制御部は、前記運転者の視線が前記表示部あるいは前記注視先から外れた状態が所定時間経過すると、前記無人飛行体による撮像を止める
ことを特徴とする請求項１から請求項３のいずれか一項に記載の車両の運転支援装置。