JP2021009642A - Driving information control device and driving information control system - Google Patents
Driving information control device and driving information control system Download PDFInfo
- Publication number
- JP2021009642A JP2021009642A JP2019124279A JP2019124279A JP2021009642A JP 2021009642 A JP2021009642 A JP 2021009642A JP 2019124279 A JP2019124279 A JP 2019124279A JP 2019124279 A JP2019124279 A JP 2019124279A JP 2021009642 A JP2021009642 A JP 2021009642A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- information
- information control
- landmark
- driving information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000694 effects Effects 0.000 claims description 2
- 238000000034 method Methods 0.000 description 38
- 238000012545 processing Methods 0.000 description 21
- 230000006870 function Effects 0.000 description 10
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000002093 peripheral effect Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 3
- 240000004050 Pentaglottis sempervirens Species 0.000 description 2
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
Images
Landscapes
- Traffic Control Systems (AREA)
Abstract
Description
本発明は、運転情報制御装置および運転情報制御システムに関する。 The present invention relates to a driving information control device and a driving information control system.
近年、自動車等の運転に関しては自動運転や駐車支援の実施に関する要求が高まっており、これに伴って自車両周辺の構造物などの情報を取得管理することが必要となっている。 In recent years, there has been an increasing demand for automatic driving and parking support for driving automobiles and the like, and along with this, it is necessary to acquire and manage information such as structures around the own vehicle.
このような、運転に係る情報の取り扱いに関する技術として、例えば、特許文献1には、車両に搭載される状態判定装置であって、前記車両の運転者が視認すべき対象物を特定する対象物特定手段と、前記車両の運転者の状態を検出する状態検出手段と、前記状態検出手段により検出された運転者の状態が、前記対象物特定手段により特定された前記対象物に応じた所定の状態であるか否かを判定する判定手段と、を備える状態判定装置が開示されている。
As such a technique for handling information related to driving, for example,
また、特許文献2には、車両の周辺環境を検知する画像認識手段と前記車両の走行を制御する走行制御装置を有する走行制御システムであって、前記車両の周辺環境を記憶する周辺環境記憶手段を有し、前記周辺環境記憶手段に記憶された周辺環境の情報と前記画像認識手段による検出情報とに基づいて求められた前記画像認識手段の検知性能の状態に基づき、前記走行制御装置にて行う走行制御のモードを変更させる走行制御システムが開示されている。
Further,
上記特許文献1に記載の従来技術においては、走行中に経路上や道路周辺のユーザーが視認すべき対象物となるオブジェクトを特定し、車内ユーザー監視装置の車内撮影カメラが撮影した顔画像に基づいて、ユーザーがオブジェクトを視認しているか否か、すなわち、運転可能状態であるか否かを判定している。認識すべきオブジェクトとしては、信号や各種標識、白線及び黄色線、横断歩道、道路標示などが挙げられる。また、自動運転や駐車支援などにおいては、自車両周辺のオブジェクトを特定し、その情報に基づいて自車両の動作を制御する必要があり、上記特許文献2に記載の従来技術においては、自車両が走行した経路と自車両周辺の物体や白線等といったオブジェクトを特定して周辺環境情報として記憶し、記憶した周辺環境情報を用いて自車両を制御している。
In the prior art described in
しかしながら、上記従来技術においては、自車両周辺のオブジェクトを特定することはできるものの、特定したオブジェクトが具体的にどこに存在するものであるかを特定することはできない。すなわち、特定されるオブジェクトの固体識別が出来ないため、特定したオブジェクトが自動運転や運転支援における自車両の走行経路上のオブジェクトであるのか否かを判定することができず、また、走行経路上のオブジェクトであったとしても、同様のオブジェクトが経路上に複数ある場合にはユニークな存在ではない可能性があり、自動運転や運転支援のような車両の走行の制御にランドマークとして用いるには情報の精度が不十分であった。 However, in the above-mentioned prior art, although it is possible to specify an object around the own vehicle, it is not possible to specify where the specified object is specifically located. That is, since the individual identification of the specified object cannot be performed, it cannot be determined whether or not the specified object is an object on the traveling path of the own vehicle in automatic driving or driving support, and it is not possible to determine on the traveling route. Even if it is an object of, it may not be unique if there are multiple similar objects on the route, and it can be used as a landmark for controlling the running of a vehicle such as automatic driving and driving assistance. The accuracy of the information was insufficient.
本発明は上記に鑑みてなされたものであり、車両の走行の制御に用いるオブジェクトのランドマークとしての情報の精度を向上することができる運転情報制御装置および運転情報制御システムを提供することを目的とする。 The present invention has been made in view of the above, and an object of the present invention is to provide a driving information control device and a driving information control system capable of improving the accuracy of information as landmarks of objects used for controlling the running of a vehicle. And.
本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、車両に設けられた撮像センサで取得される画像から車両周辺の特定の物体をランドマークとして認識し、認識した前記物体を車両の走行の制御に用いる情報として記憶する運転情報制御装置であって、前記撮像センサで撮像された画像が表示された表示画面へのユーザーの接触操作による入力操作により選択された画像中の特定の物体をランドマークとして記憶するものとする。 The present application includes a plurality of means for solving the above problems. For example, a specific object around the vehicle is recognized and recognized as a landmark from an image acquired by an image sensor provided in the vehicle. An image selected by a user's contact operation on a display screen on which an image captured by the image sensor is displayed, which is a driving information control device that stores the object as information used for controlling the running of the vehicle. It is assumed that a specific object inside is memorized as a landmark.
本発明によれば、車両の走行の制御に用いるオブジェクトのランドマークとしての情報の精度を向上することができる。 According to the present invention, it is possible to improve the accuracy of information as a landmark of an object used for controlling the traveling of a vehicle.
以下、本発明の一実施の形態について図面を参照しつつ説明する。 Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
図1は、車両の構成を模式的に示す図である。 FIG. 1 is a diagram schematically showing the configuration of a vehicle.
図1において、車両(以降、自車両と称する)100は、駆動力源としての、例えば筒内噴射式ガソリンエンジン1と、エンジン1に接離可能な自動変速機2と、プロペラシャフト3と、ディファレンシャルギア4と、ドライブシャフト5と、4つの車輪6と、各車輪に設けられたブレーキ装置10と、電動パワーステアリング11とを備えて概略構成された後輪駆動車である。ブレーキ装置10には、車輪6の回転速度に応じてパルス波形を生成して出力する車輪速センサ10aが設けられている。
In FIG. 1, the vehicle (hereinafter referred to as own vehicle) 100 includes, for example, an in-cylinder injection
車両100の前方、後方、及び左右の側方には、それぞれ、撮像センサ7a〜7dが配備されている。撮像センサ7a〜7dは、車両100の周囲の物体や白線等の道路環境を撮像して出力する。なお、撮像センサ7a〜7dの取り付け位置や数などは上記に限定されるものではなく、車両100の周囲の情報を取得できるように設けられていれば良い。
また、自車両100には、車両制御装置8及び各種センサ類9、アクチュエータ、機器類などが設けられており、これらは車内LANやCAN通信を通じて信号やデータの授受が可能である。車両制御装置8は、撮像センサ7a〜7d、し車輪速センサ10a、センサ類9などから自車両100内部および外部の情報を得て、自動駐車(駐車支援制御)や自動運転(自動運転制御)等の制御を実現するための指令値を、エンジン1、ブレーキ装置10、電動パワーステアリング11、トランスミッション2などへ送信する。
Further, the
なお、本実施の形態においては、駆動力源としてガソリンエンジンを例示して説明するが、これに限られず、例えば、駆動力源としてディーゼルエンジンや電動機などを用いてもよい。また、駆動方式として後輪駆動を例示して説明するが、これに限られず、例えば、前輪駆動や常時全輪駆動などに本発明を適用しても良い。また、自動変速機を用いた車両を例示して説明したが、これに限られず、例えば、無段変速機(CVT)を採用した車両に本発明を適用しても良い。 In the present embodiment, the gasoline engine will be described as an example of the driving force source, but the present invention is not limited to this, and for example, a diesel engine, an electric motor, or the like may be used as the driving force source. Further, the rear wheel drive will be described as an example of the drive system, but the present invention is not limited to this, and the present invention may be applied to, for example, front wheel drive or constant all-wheel drive. Moreover, although the vehicle using the automatic transmission has been described as an example, the present invention is not limited to this, and the present invention may be applied to, for example, a vehicle using a continuously variable transmission (CVT).
図2は、運転情報制御システムを構成する車両制御装置を関連構成とともに抜き出して示す機能ブロック図である。なお、本実施の形態においては、駐車支援制御を行う駐車支援システムの一部として運転情報制御システムを適用する場合を例示して説明する。 FIG. 2 is a functional block diagram showing the vehicle control devices constituting the driving information control system extracted together with the related configurations. In the present embodiment, a case where the driving information control system is applied as a part of the parking support system that performs parking support control will be described as an example.
ここで、駐車支援制御の概要について説明する。 Here, the outline of the parking support control will be described.
図3は、駐車支援制御の一例を示す図である。 FIG. 3 is a diagram showing an example of parking support control.
図3では、自車両100が、日常的に利用する経路(走行経路109)を通って保管場所まで走行し、駐車位置101で停止する駐車支援制御を行う場合を例示している。
FIG. 3 illustrates a case where the
駐車支援制御では、事前に走行経路109及び走行経路周辺の環境情報と、駐車を開始する駐車開始位置とを駐車支援システムに予め記憶させておく。例えば、乗員が自身で自車両100を運転しているときに、地点102にて周辺環境情報の記憶開始を指示することで、事前に走行経路109及び走行経路周辺の環境情報を記憶させておく。また、ここでは、地点102を駐車開始位置102として設定したものとする。
In the parking support control, the
記憶の対象は、例えば、道路脇に存在する電柱103、信号機104、横断歩道105、標識107、路面標示106、白線108など、駐車支援システムにおける認識時点で運動していないものとする。
It is assumed that the object of memory is not exercising at the time of recognition in the parking support system, such as a
そして、この状態で、次に自車両100が同じ経路を通って駐車開始位置に到達した場合に、乗員に対して駐車支援制御が可能である旨を通知する。ここで、乗員が駐車支援制御の開始を指示すると、駐車支援システムは、自車両100の操舵および車速を制御することにより、記憶した経路109を追従しながら自動的に走行を行い、駐車位置101位置に停車(駐車)する。
Then, in this state, when the
図2において、運転情報制御システムは、撮像センサ7a〜7d、HMI31、車輪センサ34、位置検出器35、通信装置36、アクチュエータECU40、HMI41、及び車両制御装置8によって構成される。
In FIG. 2, the driving information control system includes
HMI(Human Machine Interface)31,41は、内部構成として入力スイッチ部32、タッチ操作機能部33、表示器42、音声出力器43などを備えている。
The HMIs (Human Machine Interfaces) 31 and 41 include an
表示器42は、例えば、液晶ディスプレイによって構成され、表示器42の表示画面には、後述する撮像センサで撮像した俯瞰画像を表示したり、車両制御装置8からの画像信号の画像を表示したりする。タッチ操作機能部33は、接触操作によって各種選択や指示の入力などを行う機能であり、例えば、静電容量式のタッチパネルなどで構成されている。例えば、HMI31,41の一部を構成するタッチ操作機能部33や表示器42などの機能は、タッチパネル式の液晶ディスプレイで実現することができ、運転者を含む乗員によるディスプレイへの接触操作によって各種操作を行うことができる。
The
入力スイッチ部32は、例えば、自車両100の運転席周辺に設けられた専用の機械式スイッチである。なお、入力スイッチ部32は、GUI(Graphical User Interface)スイッチなどであってもよい。入力スイッチ部32は、駐車支援制御等に先立って周辺環境を記憶させる指示や車両を自動制御させる指示を運転者を含む乗員の操作によって受け付ける。
The
音声出力器43は、例えば、スピーカーによって構成され、自車両100の車室内の適切な場所に配置され、運転者を含む乗員への音声案内や警告音の出力に利用される。
The
撮像センサ7a〜7dは、物体や白線や標識の情報を撮像するためのものであり、例えば、単眼のCCDカメラ、或いは、ステレオカメラ等で構成することができる。撮像センサ7a〜7dにより撮像される画像は、例えば、自車両100を含む周辺を車両上方に配置した仮想視点から見下ろした俯瞰画像に合成処理することができる。
The
車輪センサ34は、自車両100の各車輪6に取り付けられ車輪の回転速度を検出する車輪速センサ10aと、車輪速センサ10aにより検出された検出値を統合して車速信号データを生成して出力するコントローラ(図示せず)により構成されている。
The
位置検出器35は、自車両100の前方の方位(向き)を測定する方位センサと、衛星からの電波に基づいて車両の位置を測定するGPS(Global Positioning System)のためのGPS受信機などで構成される。
The
通信装置36は、自車両100の外部からの通信を授受する装置であり、例えば、自車両周辺の道路情報として路面情報(レーンマーカー位置、停止線位置、横断歩道、などの路面ペイント種別と位置など)と物体情報(標識、信号機、地物、など道路周辺に存在する物体)を取得する。これらの情報としては、道路インフラに設置されたセンサによって検知した情報、外部データセンタに記憶された道路周辺情報(路面情報や物体情報など)、他車両が検知した道路周辺情報(路面情報や物体情報など)を用いることが可能である。また、事前に記憶している走行周辺の道路情報を通信装置36を用いて最新の情報に変更することも可能である。
The
アクチュエータECU40は、例えば、駆動力を操作するアクセルペダルや制動力を操作するブレーキペダル、パーキングブレーキ、車両の進路方向を操作するステアリング、車両の進行方向を操作するシフトレバー等の機械要素や信号変換装置である。
The
車両制御装置8は、自車位置推定部51、外界認識情報変換部52、周辺環境記憶部53、記憶情報照合部54、車両制御部55と、及び自車位置推定部51を備えている。情報制御部56は、外界認識情報変換部52、周辺環境記憶部53、及び記憶情報照合部54の動作を制御する。
The
自車位置推定部51は、位置検出器35や車輪センサ34より出力される情報に基づいて、自車両100が走行する位置を演算して推定する。
The own vehicle
外界認識情報変換部52は、撮像センサ7a〜7dで撮像された画像から手動記憶または自動記憶により取得(記憶)された周辺環境情報(オブジェクトの位置等)と、自車位置推定部51より出力される自車両100の位置とを特定の座標系(例えば、地球座標系)における位置関係として座標情報に変換する。
The external world recognition
周辺環境記憶部53は、外界認識情報変換部52で得られた座標情報を記憶する。
The surrounding
記憶情報照合部54は、周辺環境記憶部53に記憶された座標情報(周辺環境情報、位置情報)と、自車位置推定部51からの自車両100の位置情報と、撮像センサ7a〜7dによって検知した自車両100の周辺環境の情報とに基づいて、撮像センサ7a〜7dで撮像された画像から得られる周辺環境情報と周辺環境記憶部53の周辺環境情報との特徴量を照合し、自車両100の位置に対応した対象物が合致しているか否かを判定する。例えば、特徴量の合致度合が高い場合は、低速自動運転可能状態(駐車支援制御が可能な状態)であると判定し、特徴量が低い場合は低速時動運転不可状態(駐車支援制御が不可能な状態)であると判定する。
The storage
車両制御部55は、駐車支援制御を実施する際にアクチュエータECU40を制御する目標値を演算すると共に、制御指示を出力する。
The
以上のように構成した運転情報制御システムにおける周辺環境情報の記憶手順について説明する。 The procedure for storing the surrounding environment information in the driving information control system configured as described above will be described.
図4及び図5は、周辺環境情報の記憶に係る処理を示すフローチャートであり、図4は手動走行時を、図5は自動走行時をそれぞれ示している。また、図6及び図7は、暫定記憶処理の処理内容を示すフローチャートであり、図6は自動記憶の場合を、図7は手動記憶の場合をそれぞれ示している。また、図8は、永久記憶処理の処理内容を示すフローチャートである。 4 and 5 are flowcharts showing processing related to storage of surrounding environment information, FIG. 4 shows a manual running time, and FIG. 5 shows an automatic running time. 6 and 7 are flowcharts showing the processing contents of the provisional storage process, FIG. 6 shows the case of automatic storage, and FIG. 7 shows the case of manual storage. Further, FIG. 8 is a flowchart showing the processing contents of the permanent storage process.
図4において、車両制御装置8は、運転者が手動走行を行っている場合に(ステップS100)、暫定記憶処理(後の図6、図7参照)を行う(ステップS110)。続いて、自車両100が停車しているかどうかを判定し(ステップS120)、判定結果がNOの場合、すなわち、停車していない場合(走行中などの場合)には、判定結果がYESになるまでステップS100〜S120の処理を繰り返す。
In FIG. 4, the
また、ステップS120での判定結果がYESの場合、すなわち、自車両100が停車している場合には、永久記憶処理(後の図8参照)を行い(ステップS130)、処理を終了する。
If the determination result in step S120 is YES, that is, when the
また、図5において、車両制御装置8は、まず、運転者が手動走行を行っている場合に(ステップS200)、記憶済みのランドマークを検出したかどうかを判定し(ステップS210)、判定結果がNOの場合には、判定結果がYESになるまでステップS200の手動運転を継続する。
Further, in FIG. 5, the
また、ステップS210での判定結果がYESの場合、すなわち、記憶済みのランドマークを検出した場合には、自車両100の運転者を含む乗員全員に自動走行を実施する旨を報知し(ステップS220)、運転者または乗員に自動走行を指示された場合に自動走行を実行する(ステップS230)。このように、自動走行を実施するかしないかの判断を運転者に促すことで、自動車が記憶しているランドマークを検出しても意図せず自動走行を開始することを防ぐことができる。なお、本実施の形態においては説明の簡単のために、ステップS220において自動走行が指示される場合のみを考えている。
Further, when the determination result in step S210 is YES, that is, when the memorized landmark is detected, all the occupants including the driver of the
ステップS230において自動走行を行っている場合に、暫定記憶処理(後の図6、図7参照)を行い(ステップS240)、続いて、自車両100が停止しているかどうかを判定する(ステップS250)。ステップS250での判定結果がNOの場合には、判定結果がYESになるまでステップS230,S240の処理を繰り返す。
When the automatic driving is performed in step S230, provisional storage processing (see FIGS. 6 and 7 below) is performed (step S240), and then it is determined whether or not the
また、ステップS250での判定結果がYESの場合、すなわち、すなわち、自車両100が停車している場合には、永久記憶処理(後の図8参照)を行い(ステップS260)、処理を終了する。
If the determination result in step S250 is YES, that is, when the
ここで、暫定記憶処理について説明する。暫定記憶処理には、自動記憶する場合、すなわち、車両制御装置8が運転者を含む乗員の意図に問わずランドマークを記憶する場合と、手動記憶する場合、すなわち、運転者を含む乗員が特定の画面をタッチすることで記憶する場合とがある。本実施の形態においては、自動記憶と手動記憶とを可能にすることで、自動記憶による運転者の操作を低減しつつ、手動記憶により運転者を含む乗員の意図に沿うランドマークを記憶することが可能になる。
Here, the provisional storage process will be described. In the provisional storage process, the case of automatic storage, that is, the case where the
図6において、車両制御装置8は、自動記憶の暫定記憶処理(ステップS300:図4のステップS110、図5のステップS240)の場合、まず、ランドマークを検出し(ステップS301)、検出したランドマークをHMI上で運転者を含む乗員に報知する(ステップS302)。ここでは、橙色の枠でランドマークを囲むことで運転者を含む乗員に検出したランドマークを報知する場合を例示している。なお、検出したランドマークの報知方法は他の方法を用いても良く、例えば、音を発生したり、囲んだ枠を点滅させたり、時間経過で色を変えたりしても良い。このように、HMIで検出したランドマークを枠で囲んだり、音を発生したりして運転者を含む乗員に報知することにより、視覚だけでなく聴覚でも理解することができ、運転者を含む乗員に何のランドマークを認識したか、またどのタイミングで認識したかを理解させることができる。
In FIG. 6, in the case of the provisional storage process of automatic storage (step S300: step S110 of FIG. 4, step S240 of FIG. 5), the
続いて、視認したランドマークを暫定記憶するかどうかを運転者を含む乗員(ユーザー)に問い合わせし(ステップS303)、判定結果がNOの場合、すなわち、暫定記憶をしない旨の指示がなされた場合には、HMI上に記憶不可の旨のメッセージを表示し(ステップS304)、処理を終了する。また、ステップS303での判定結果がYESの場合、すなわち、暫定記憶をする旨の指示がなされた場合には、HMI上に記憶済みの旨のメッセージを表示し(ステップS305)、処理を終了する。 Subsequently, the occupant (user) including the driver is inquired as to whether or not to temporarily memorize the visually recognized landmark (step S303), and when the determination result is NO, that is, when an instruction is given not to tentatively memorize the landmark. Displays a message to the effect that it cannot be stored on the HMI (step S304), and ends the process. If the determination result in step S303 is YES, that is, when an instruction to perform provisional storage is given, a message indicating that the memory has been stored is displayed on the HMI (step S305), and the process ends. ..
図7において、車両制御装置8は、手動記憶の暫定記憶処理(ステップS400:図4のステップS110、図5のステップS240)の場合、まず、運転者を含む乗員がHMIに表示されているカメラ画面をタッチし(ステップS401)、車両制御装置8は、暫定記憶可能かどうかを判定する(ステップS402)。ステップS402での判定結果がNOの場合、すなわち、例えば、メモリ容量が不足して暫定記憶が不可である場合には、HMI上に記憶不可である旨のメッセージを表示して(ステップS403)、処理を終了する。また、ステップS402での判定結果がYESの場合、すなわち、暫定記憶が可能である場合には暫定記憶を実施し、HMI上に記憶した旨のメッセージを表示して(ステップS404)、処理を終了する。
In FIG. 7, in the case of the provisional storage process of manual storage (step S400: step S110 in FIG. 4, step S240 in FIG. 5), the
なお、図6及び図7の処理において暫定記憶処理を行う場合、カメラ画面の例えば右上などにメモリ容量を表示し、その容量をリアルタイムで増減させることで運転者を含む乗員にメモリ容量をその都度確認させることができ、暫定記憶の可否の目安を知らせることができる。 When the provisional storage process is performed in the processes of FIGS. 6 and 7, the memory capacity is displayed on the upper right of the camera screen, for example, and the memory capacity is increased or decreased in real time to give the memory capacity to the occupants including the driver each time. It can be confirmed and can inform the guideline of whether or not the provisional memory is possible.
図8において、車両制御装置8は、永久記憶処理(ステップS400:図4のステップS130、図5のステップS260)の場合、まず、運転者を含む乗員がセッティングボタン(例えば、入力スイッチ部32)を押下し(ステップS501)、HMIにセッティング画面を表示させて運転者を含む乗員に永久記憶処理の開始を選択させ(ステップS503)、HMIに前提記憶のランドマークの画像(データファイル)と位置情報とをダイジェスト表示する(ステップS503)。なお、画像ファイルではなく、GPS情報や自車位置推定の情報の位置情報により、複数記憶した暫定記憶のランドマークの推定位置を表示してもよい。この場合には、複数記憶した暫定記憶のランドマークを画像と位置情報でHMIに表示する際に懸念されるファイルサイズの大きさを削減することができる。
In FIG. 8, in the case of the permanent storage process (step S400: step S130 of FIG. 4, step S260 of FIG. 5), the
続いて、運転者を含む乗員が、HMI上に表示されている複数の暫定記憶のランドマーク(データファイル)の中から記憶させるランドマークをタッチすることで選択する(ステップS504)。このように、運転者を含む乗員が記憶させるランドマークを選択することで、次回手動走行する際に、どの経路を走行すればよいかを理解させることができる。また、HMIに表示することで、運転者を含む乗員がどのランドマークを記憶させればよいかを視覚的に報知することができる。また、記憶したランドマークを画像と位置表示を併せて表示することで、同じランドマークを記憶した場合でも、位置情報で判別することができる。さらに、運転者がどの経路を走行すれば自動走行が開始できるかを把握することができ、自動走行開始位置の精度をあげることが可能になる。 Subsequently, the occupant including the driver selects the landmark to be stored from the plurality of temporary storage landmarks (data files) displayed on the HMI by touching the landmark (step S504). In this way, by selecting the landmarks to be stored by the occupants including the driver, it is possible to make them understand which route should be taken the next time the manual driving is performed. In addition, by displaying it on the HMI, it is possible to visually notify which landmarks the occupants including the driver should memorize. Further, by displaying the stored landmark together with the image and the position display, even if the same landmark is stored, it can be discriminated by the position information. Further, it is possible to grasp which route the driver should take to start the automatic driving, and it is possible to improve the accuracy of the automatic driving start position.
続いて、永久記憶をするかどうかを運転者を含む乗員に問い合わせし(ステップS505)、判定結果がNOの場合には、HMI上に当該暫定記憶を削除する旨のメッセージを表示して(ステップS506)、処理を終了する。また、ステップS505での判定結果がYESの場合、すなわち、永久記憶を行うことが選択された場合には、永久記憶を実施し、HMI上に記憶した旨のメッセージを表示して(ステップS404)、処理を終了する。 Subsequently, the occupant including the driver is inquired as to whether or not to perform permanent memory (step S505), and if the determination result is NO, a message indicating that the provisional memory is to be deleted is displayed on the HMI (step S505). S506), the process is terminated. If the determination result in step S505 is YES, that is, if permanent storage is selected, permanent storage is performed and a message indicating that the memory is stored on the HMI is displayed (step S404). , End the process.
ここで、永久記憶したランドマークの映像ファイルやGPSなどの各種情報はECUまたはSDカードなどのメモリに保存が可能であるものとする。SDカードや外部媒体記憶に保存することで、大容量の記憶を保存することが可能になる。また、SDカードに複数の目的地までの走行する経路上にあるランドマークを記憶することも可能となり、複数の目的地に到達できる。また、外部記憶媒体に保存することで、車両が変わったとしても、同じシステムを搭載している車両に適用することが可能となる。なお、外部記憶媒体はSDカード以外の記憶媒体でもよく、ネットワークなどで接続された外部のサーバーでもよい。 Here, it is assumed that the permanently stored landmark video file and various information such as GPS can be saved in a memory such as an ECU or an SD card. By saving to an SD card or external medium storage, it is possible to save a large amount of storage. In addition, it is possible to store landmarks on a route traveling to a plurality of destinations on the SD card, and it is possible to reach a plurality of destinations. Further, by saving in an external storage medium, even if the vehicle changes, it can be applied to a vehicle equipped with the same system. The external storage medium may be a storage medium other than the SD card, or may be an external server connected by a network or the like.
以上のような暫定記憶処理や永久記憶処理におけるHMIでの表示の様子を図面を参照しつつ説明する。 The state of display by HMI in the above-mentioned provisional storage processing and permanent storage processing will be described with reference to the drawings.
図9〜図12は、暫定記憶処理におけるHMIでの表示の様子を示す図であり、図9は手動記憶の様子を、図10は手動記憶および自動記憶の様子を、図11は暫定記憶を行った場合の様子を、図12は暫定記憶を行わなかった場合の様子をそれぞれ示している。 9 to 12 are diagrams showing a state of display by HMI in the provisional storage process, FIG. 9 shows a state of manual memory, FIG. 10 shows a state of manual memory and automatic memory, and FIG. 11 shows a state of provisional memory. FIG. 12 shows the state when the provisional memory was performed, and the state when the provisional memory was not performed.
図9〜図12においては、HMI33,42の表示例として、自車両100の前方の映像として、自車両100、標識201、信号機202、横断歩道203のほか、ランドマークとしてのオブジェ1_211、オブジェ2_212、オブジェ3_213、及び、メモリ容量220が表示されている場合を示している。なお、各図においては符号を省略することもある。
In FIGS. 9 to 12, as a display example of the
図9は、運転者を含む乗員がカメラ画面に表示されているランドマークをタッチして手動で記憶させる様子を示している。図9では、図7のステップS401のように、HMI33,42に表示されたオブジェクトのうち記憶させたいもの(ここでは、オブジェ1_211)を運転者を含む乗員がタッチする場合を例示している。
FIG. 9 shows a state in which an occupant including a driver touches a landmark displayed on the camera screen and manually memorizes it. FIG. 9 illustrates a case where an occupant including a driver touches an object (here, object 1-211) to be stored among the objects displayed on the
図10は、手動または自動でランドマークを記憶する様子を示している。図10では、一般的な道路等を走行する自車両100の環境情報として認識される頻度が多くなると想定される、すなわち、比較的普遍的に配置されていて数の多いオブジェクトである標識201や信号機202などが自動記憶の対象となり、例えば、図6のステップS302のように、HMI33,42上において橙色等の枠201a,202aで囲むことで運転者を含む乗員に当該オブジェクトがランドマークとして自動記憶の対象となったことを報知する。また、ランドマークとして手動記憶の対象となったオブジェクト(例えば、オブジェ1_211、オブジェ2_212)は、自動記憶の対象となったオブジェクトと区別するために、例えば、赤色等の枠211a,212aで囲むことで、手動記憶の対象となったことを運転者を含む乗員に報知することができる。なお、報知の方法としては、音を発生させたり、枠を点滅させたりしてもよい。
FIG. 10 shows how the landmark is memorized manually or automatically. In FIG. 10, it is assumed that the frequency of recognition as environmental information of the
図11は、暫定記憶処理において記憶を実施した(記憶が成功した)様子を示している。図11では、図6のステップS305や図7のステップS404のように、暫定記憶を実施した旨を報知するメッセージ240をHMI33,42に表示して運転者を含む乗員に報知する。このとき、メモリ容量220をリアルタイムで更新し、また、枠線220a等で囲むことで運転者を含む乗員にそのことを報知する。なお、メモリ容量の表示内容については、メートル表示や時間表示などとし、運転者を含む乗員が容易に把握しやすい表示内容で報知する。また、記憶を続けることでメモリ容量が最大容量を超える場合は、古い記憶から削除してリライトを行う。メモリ容量を超える場合、古い情報を上書きして新しい情報を残すことで、運転者を含む乗員の記憶にも新しいものが残ることになり、常に最新の情報となるため、例えば、周辺環境の変化に対しても最新の情報を保持することができるので、利便性を向上することができる。
FIG. 11 shows how the memory was executed (memory was successful) in the provisional memory process. In FIG. 11, as in step S305 of FIG. 6 and step S404 of FIG. 7, a
図12は、暫定記憶処理において記憶を実施していない(記憶が失敗した)様子を示している。図12では、図6のステップS304や図7のステップS403のように、暫定記憶を実施していない旨を報知するメッセージ241をHMI33,42に表示して運転者を含む乗員に報知する。なお、運転者を含む乗員が記憶させる必要はないと判断した場合にも暫定記憶を取り消すことが可能であり、その際にもその旨を同様に報知する。
FIG. 12 shows a state in which memory is not executed (memory fails) in the provisional memory process. In FIG. 12, as in step S304 of FIG. 6 and step S403 of FIG. 7, a
図13〜図18は、永久記憶処理におけるHMIでの表示の様子を示す図であり、図13はセッティング画面の様子を、図14及び図15は永久記憶の対象となるオブジェクト(データファイル)を選択している様子を、図16は永久記憶の選択画面の様子を、図17は永久記憶を行った場合の様子を、図18は永久記憶を行わなかった場合の様子をそれぞれ示している。 13 to 18 are diagrams showing a state of display in HMI in the permanent storage process, FIG. 13 shows a state of a setting screen, and FIGS. 14 and 15 show an object (data file) to be permanently stored. FIG. 16 shows a state of selection, FIG. 16 shows a state of a permanent memory selection screen, FIG. 17 shows a state of performing permanent memory, and FIG. 18 shows a state of not performing permanent memory.
図13は、HMI33,42に表示されるセッティング画面250の一例を示しており、セッティング画面250には、永久記憶に関する設定を行うための永久記憶選択ボタン250aのほか、ナビ設定ボタン250bなどの他の設定を行うためのボタンなども配置されている。図13では、停車後に永久記憶のセッティング画面に移る様子を示しており、運転者を含む乗員が永久記憶選択ボタン250aをタッチすることで、永久記憶の処理を開始する。なお、このセッティング画面250には、暫定記憶をするかしないかを選択できる項目も備えてもよい。また、永久記憶選択ボタン250aがセッティング画面250の階層に表示される場合を例示したが、他の階層に表示するようにしても良い。
FIG. 13 shows an example of the
図14は、HMI33,42において永久記憶選択ボタン250aにより永久記憶の処理が開始された場合の情報一覧260の表示例を示しており、情報一覧260では、暫定記憶したランドマークのID260aを画像ファイル260bと記憶者260cとGPSによる位置情報260dとをダイジェストで表示している場合を例示している。この画面において永久記憶を行うランドマークを運転者を含む乗員がタッチして選択する(図8のステップS504参照)ことで、永久記憶の可否を選択する画面(後述)が表示される。
FIG. 14 shows a display example of the
図15は、HMI33,42において永久記憶選択ボタン250aにより永久記憶の処理が開始された場合の情報一覧261の他の表示例を示しており、図14の場合と比較してランドマークを示す画像ファイルを除き、ランドマークのID261aと記憶者261bとGPSによる位置情報261cのみを表示している場合を例示している。この画面において永久記憶を行うランドマークを運転者を含む乗員がタッチして選択することで、永久記憶の可否を選択する画面(後述)が表示される。暫定記憶したランドマークを画像と位置情報とでHMI33,42に表示するとファイルサイズが大きくなることが懸念されるが、図15の表示方法のようにGPSによる位置情報のみを簡易的に表示することにより、ファイルサイズを削減することができる。また、この場合にはファイルサイズの削減が期待されるため、例えば、ランドマークと対応する経路情報262を表示するようにしてもよい。
FIG. 15 shows another display example of the
図16は、選択したランドマークを永久記憶するかの判断を運転者を含む乗員に選択させるための選択画面270を示している(図8のステップS505参照)。
FIG. 16 shows a
選択画面270においてYESボタン270aを選択すると、図17に示すように永久記憶を実施せずに削除した旨を示すメッセージ271を表示する(図8のステップS507参照)。メッセージ271には、次回以降の手動走行時に永久記憶にあるランドマークと同じランドマークを検出した場合は自動走行が可能である合図をHMI33,42に表示する旨のメッセージも含まれている。なお、このとき永久記憶の保存先は、ECUまたはSDカード等のメモリでもよい。
When the
また、選択画面270においてNOボタン270bを選択すると、図18に示すように永久記憶を実施しなかった旨を示すメッセージ272を表示する(図8のステップS506参照)。
Further, when the
以上のように構成した本実施の形態においては、車両の走行の制御に用いるオブジェクトのランドマークとしての情報の精度を向上することができる。 In the present embodiment configured as described above, the accuracy of information as a landmark of an object used for controlling the running of a vehicle can be improved.
<付記>
なお、本発明は上記の実施の形態に限定されるものではなく、その要旨を逸脱しない範囲内の様々な変形例や組み合わせが含まれる。また、本発明は、上記の実施の形態で説明した全ての構成を備えるものに限定されず、その構成の一部を削除したものも含まれる。また、上記の各構成、機能等は、それらの一部又は全部を、例えば集積回路で設計する等により実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。
<Additional notes>
The present invention is not limited to the above-described embodiment, and includes various modifications and combinations within a range that does not deviate from the gist thereof. Further, the present invention is not limited to the one including all the configurations described in the above-described embodiment, and includes the one in which a part of the configurations is deleted. Further, each of the above configurations, functions and the like may be realized by designing a part or all of them by, for example, an integrated circuit. Further, each of the above configurations, functions, and the like may be realized by software by the processor interpreting and executing a program that realizes each function.
1…エンジン、2…トランスミッション、3…プロペラシャフト、4…ディファレンシャルギア、5…ドライブシャフト、6…車輪、7a〜7d…撮像センサ、8…車両制御装置、9…センサ類、10…ブレーキ装置、10a…車輪速センサ、11…電動パワーステアリング、32…入力スイッチ部、33…タッチ操作機能部、34…車輪センサ、35…位置検出器、36…通信装置、42…表示器、43…音声出力器、51…自車位置推定部、52…外界認識情報変換部、53…周辺環境記憶部、54…記憶情報照合部、55…車両制御部、56…情報制御部、100…車両(自車両)、101…駐車位置、102…駐車開始位置、102…地点、103…電柱、104…信号機、105…横断歩道、106…路面標示、107…標識、108…白線、109…走行経路、109…経路、201…標識、201a…枠、202…信号機、202a…枠、203…横断歩道、211a…枠、212a…枠、220…メモリ容量、220a…枠線、240…メッセージ、241…メッセージ、250…セッティング画面、250a…永久記憶選択ボタン、250b…ナビ設定ボタン、260…情報一覧、260b…画像ファイル、260c…記憶者、260d…位置情報、261…情報一覧、261b…記憶者、261c…位置情報、262…経路情報、270…選択画面、270a…YESボタン、270b…NOボタン、271…メッセージ、272…メッセージ 1 ... engine, 2 ... transmission, 3 ... propeller shaft, 4 ... differential gear, 5 ... drive shaft, 6 ... wheels, 7a-7d ... image sensor, 8 ... vehicle control device, 9 ... sensors, 10 ... brake device, 10a ... Wheel speed sensor, 11 ... Electric power steering, 32 ... Input switch unit, 33 ... Touch operation function unit, 34 ... Wheel sensor, 35 ... Position detector, 36 ... Communication device, 42 ... Display, 43 ... Voice output Instrument, 51 ... Own vehicle position estimation unit, 52 ... External world recognition information conversion unit, 53 ... Surrounding environment storage unit, 54 ... Storage information collation unit, 55 ... Vehicle control unit, 56 ... Information control unit, 100 ... Vehicle (own vehicle) ), 101 ... Parking position, 102 ... Parking start position, 102 ... Point, 103 ... Electric pole, 104 ... Signal, 105 ... Crosswalk, 106 ... Road marking, 107 ... Sign, 108 ... White line, 109 ... Travel route, 109 ... Route, 201 ... Mark, 201a ... Frame, 202 ... Signal, 202a ... Frame, 203 ... Crosswalk, 211a ... Frame, 212a ... Frame, 220 ... Memory capacity, 220a ... Frame line, 240 ... Message, 241 ... Message, 250 ... Setting screen, 250a ... Permanent storage selection button, 250b ... Navigation setting button, 260 ... Information list, 260b ... Image file, 260c ... Rememberer, 260d ... Position information, 261 ... Information list, 261b ... Rememberer, 261c ... Information, 262 ... Route information, 270 ... Selection screen, 270a ... YES button, 270b ... NO button, 271 ... Message, 272 ... Message
Claims (4)
前記撮像センサで撮像された画像が表示された表示画面へのユーザーの接触操作による入力操作により選択された画像中の特定の物体をランドマークとして記憶することを特徴とする運転情報制御装置。 A driving information control device that recognizes a specific object around the vehicle as a landmark from an image acquired by an image sensor provided in the vehicle and stores the recognized object as information used for controlling the running of the vehicle.
A driving information control device characterized in that a specific object in an image selected by an input operation by a user's contact operation on a display screen on which an image captured by the image pickup sensor is displayed is stored as a landmark.
撮像センサで撮像された画像の表示画面への表示と、前記表示画面へのユーザーの接触操作による入力操作とが可能な表示入力装置と
請求項1記載の運転情報制御装置とを備え、
前記運転情報制御装置は、前記ランドマークに基づいて、前記車両の走行の制御を行う車両制御部を備えたことを特徴とする運転情報制御システム。 An image sensor that captures the surroundings of the vehicle and
The operation information control device according to claim 1 is provided with a display input device capable of displaying an image captured by an image pickup sensor on a display screen and an input operation by a user's contact operation with the display screen.
The driving information control device is a driving information control system including a vehicle control unit that controls the running of the vehicle based on the landmark.
音声出力装置をさらに備え、
前記運転情報制御装置は、前記表示入力装置へのユーザーの操作によって前記ランドマークが記憶された場合に、その旨を前記音声出力装置によってユーザーに報知することを特徴とする運転情報制御システム。 In the operation information control system according to claim 2,
Equipped with an additional audio output device
The driving information control device is a driving information control system, characterized in that, when the landmark is memorized by the user's operation on the display input device, the voice output device notifies the user to that effect.
前記車両の位置情報を取得する位置情報取得装置をさらに備え、
前記運転情報制御装置は、前記ランドマークとその位置とを合わせて前記表示入力装置に表示することを特徴とする運転情報制御システム。 In the operation information control system according to claim 2,
Further equipped with a position information acquisition device for acquiring the position information of the vehicle,
The driving information control device is a driving information control system characterized in that the landmark and its position are combined and displayed on the display input device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019124279A JP7296265B2 (en) | 2019-07-03 | 2019-07-03 | Driving information control device and driving information control system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019124279A JP7296265B2 (en) | 2019-07-03 | 2019-07-03 | Driving information control device and driving information control system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021009642A true JP2021009642A (en) | 2021-01-28 |
JP7296265B2 JP7296265B2 (en) | 2023-06-22 |
Family
ID=74199565
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019124279A Active JP7296265B2 (en) | 2019-07-03 | 2019-07-03 | Driving information control device and driving information control system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7296265B2 (en) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10185607A (en) * | 1996-12-24 | 1998-07-14 | Aqueous Res:Kk | Navigation system |
JP2002005668A (en) * | 2000-06-15 | 2002-01-09 | Matsushita Electric Ind Co Ltd | Navigation apparatus |
JP2008026007A (en) * | 2006-07-18 | 2008-02-07 | Xanavi Informatics Corp | Navigation device |
JP2009017540A (en) * | 2007-05-31 | 2009-01-22 | Panasonic Corp | Image capturing device, additional information providing server, and additional information filtering system |
JP2013032949A (en) * | 2011-08-01 | 2013-02-14 | Aisin Aw Co Ltd | Display processing system for vehicle, display processing method for vehicle, and program |
WO2018070022A1 (en) * | 2016-10-13 | 2018-04-19 | 日産自動車株式会社 | Host-position estimation method and host-position estimation device |
JP2018116653A (en) * | 2017-01-20 | 2018-07-26 | 株式会社デンソーテン | Identification apparatus, identification system and identification method |
-
2019
- 2019-07-03 JP JP2019124279A patent/JP7296265B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10185607A (en) * | 1996-12-24 | 1998-07-14 | Aqueous Res:Kk | Navigation system |
JP2002005668A (en) * | 2000-06-15 | 2002-01-09 | Matsushita Electric Ind Co Ltd | Navigation apparatus |
JP2008026007A (en) * | 2006-07-18 | 2008-02-07 | Xanavi Informatics Corp | Navigation device |
JP2009017540A (en) * | 2007-05-31 | 2009-01-22 | Panasonic Corp | Image capturing device, additional information providing server, and additional information filtering system |
JP2013032949A (en) * | 2011-08-01 | 2013-02-14 | Aisin Aw Co Ltd | Display processing system for vehicle, display processing method for vehicle, and program |
WO2018070022A1 (en) * | 2016-10-13 | 2018-04-19 | 日産自動車株式会社 | Host-position estimation method and host-position estimation device |
JP2018116653A (en) * | 2017-01-20 | 2018-07-26 | 株式会社デンソーテン | Identification apparatus, identification system and identification method |
Also Published As
Publication number | Publication date |
---|---|
JP7296265B2 (en) | 2023-06-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11008016B2 (en) | Display system, display method, and storage medium | |
JP6254554B2 (en) | Information presentation system | |
JP6801787B2 (en) | Parking support method and parking support device | |
CN110450717B (en) | Parking assist apparatus | |
EP3290301B1 (en) | Parking assist device | |
US20200079359A1 (en) | Automated parking device and automated parking method | |
EP2910423B1 (en) | Surroundings monitoring apparatus and program thereof | |
US20210179087A1 (en) | Parking assist device, parking assist method, and computer program product | |
JP4450028B2 (en) | Route guidance device | |
JP2007176244A (en) | Parking support system | |
CN114126954A (en) | Method for automatically parking a vehicle | |
US11643070B2 (en) | Parking assist apparatus displaying perpendicular-parallel parking space | |
EP3271207A1 (en) | Method for operating a communication device for a motor vehicle during an autonomous drive mode, communication device as well as motor vehicle | |
JP2012008019A (en) | Battery replacement support system, on-vehicle device, and battery replacement support device | |
CN110450790A (en) | For the drive assistance device of vehicle, non-transitory computer-readable storage media and control method | |
CN107539218B (en) | Display control device | |
JP2019209763A (en) | Control device for vehicle | |
US11073833B2 (en) | Vehicle control apparatus | |
JP2019156355A (en) | Vehicle control device | |
CN110546047A (en) | Parking assist apparatus | |
US20230205405A1 (en) | Control device and moving object | |
JP2021094938A (en) | Vehicle display device and parking support system | |
JP7059525B2 (en) | Parking support method and parking support device | |
JP6044429B2 (en) | Parking assistance device and parking assistance method | |
JP7296265B2 (en) | Driving information control device and driving information control system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220117 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221116 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230221 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230606 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230612 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7296265 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |