JP2023183277A - 車両制御装置及び車両制御方法 - Google Patents
車両制御装置及び車両制御方法 Download PDFInfo
- Publication number
- JP2023183277A JP2023183277A JP2022096808A JP2022096808A JP2023183277A JP 2023183277 A JP2023183277 A JP 2023183277A JP 2022096808 A JP2022096808 A JP 2022096808A JP 2022096808 A JP2022096808 A JP 2022096808A JP 2023183277 A JP2023183277 A JP 2023183277A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- unit
- control information
- control device
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 13
- 238000001514 detection method Methods 0.000 claims abstract description 32
- 238000004891 communication Methods 0.000 description 24
- 238000012545 processing Methods 0.000 description 24
- 230000005540 biological transmission Effects 0.000 description 8
- 238000010801 machine learning Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000002834 transmittance Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000323 shoulder joint Anatomy 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D15/00—Steering not otherwise provided for
- B62D15/02—Steering position indicators ; Steering position determination; Steering aids
- B62D15/027—Parking aids, e.g. instruction means
- B62D15/0285—Parking performed automatically
Landscapes
- Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Abstract
【課題】車両の出庫を、車両の外部にいるユーザのリモート操作により行う場合の利便性を改善する車両制御装置及び車両制御方法を提供する。【解決手段】車両制御装置170は、停止線210の画像を含むパターン画像200を路面に投写する投写制御部193と、車両1の外部にいる操作者を撮像した撮像画像に基づき、パターン画像200において、停止線210の画像を表示する位置を指定するユーザPのジェスチャーを検出する検出部194と、車両1の走行を制御する制御情報を生成する制御情報生成部196と、を備え、投写制御部193は、検出部194が検出したジェスチャーにより指定された位置に、停止線210の画像を表示し、制御情報生成部196は、車両1が駐車した駐車位置から、停止位置を示す画像に対応する位置まで車両が走行する制御情報を生成し、制御情報を、車両1を駆動させる駆動制御装置150に出力する。【選択図】図1
Description
本発明は、車両制御装置及び車両制御方法に関する。
特許文献1は、自律走行制御機能を備えた車両V0を、自律走行制御により又は車両V0の外部からの遠隔操作に基づく自律走行制御により走行させる場合に、車両V0を自律走行制御により走行させる走行経路を設定し、走行経路を示す表示パターンPt1を生成し、走行経路を示す表示パターンPt1を、車両V0の進行方向の路面に視認可能に表示する車両の走行経路表示方法を開示する。
しかしながら、駐車位置によってはユーザが車両に搭乗することができず、ユーザは、車両の外部にいて車両をリモート操作する場合がある。このような場合に、ユーザの利便性を高めたいという要望がある。
本開示は、車両の出庫を、車両の外部にいるユーザのリモート操作により行う場合の利便性を改善する車両制御装置及び車両制御方法を提供することを目的とする。
本開示は、車両の停止位置を示す画像を含むパターン画像を、投写部により路面に投写する投写制御部と、前記車両の外部にいる操作者を撮像した撮像画像に基づき、前記パターン画像において、前記停止位置を示す画像を表示する位置を指定する操作者のジェスチャーを検出する検出部と、前記車両の走行を制御する制御情報を生成する制御情報生成部と、を備え、前記投写制御部は、前記検出部が検出した前記ジェスチャーにより指定された位置に、前記停止位置を示す画像を前記投写部により路面に表示し、前記制御情報生成部は、前記車両が駐車した駐車位置から、前記停止位置を示す画像に対応する位置まで前記車両が走行する制御情報を生成し、前記制御情報を、前記車両を駆動させる駆動制御装置に出力することを特徴とする。
本開示によれば、車両の出庫を、車両の外部にいるユーザのリモート操作により行う場合の利便性が改善する。
[1.車載装置の構成]
以下、添付図面を参照しながら実施形態を説明する。
図1は、車両1に搭載された車載装置100の構成を示すブロック図である。
車載装置100は、無線通信インターフェイス110、位置検出ユニット120、マイク131、音声処理部133、センサ部140、駆動制御装置150、駆動装置155、投写部160及び車両制御装置170を備える。以下、インターフェイスをI/Fと略記する。
以下、添付図面を参照しながら実施形態を説明する。
図1は、車両1に搭載された車載装置100の構成を示すブロック図である。
車載装置100は、無線通信インターフェイス110、位置検出ユニット120、マイク131、音声処理部133、センサ部140、駆動制御装置150、駆動装置155、投写部160及び車両制御装置170を備える。以下、インターフェイスをI/Fと略記する。
無線通信I/F110、位置検出ユニット120、音声処理部133、センサ部140、駆動制御装置150、投写部160及び車両制御装置170は、通信バス105を介して相互にデータ通信可能に接続される。通信バス105は、イーサネット(登録商標)や、CAN(Controller Area Network)、LIN(Local Interconnect Network)等の規格に従ったバスが用いられる。
無線通信I/F110は、アンテナ115及び近距離無線通信用のインターフェイス回路を備え、アンテナ115を介して不図示の携帯機と無線通信を行う。携帯機として、例えば、車両1のユーザPが所持するFOB(Frequency Operated Button)キーやスマートフォン等が挙げられる。FOBキーは、スマートキー、電子キー、携帯キーといった他の用語に読み替えられてもよい。無線通信I/F110と携帯機との間の無線通信の例として、LF(Low Frequency)、RF(Radio Frequency)、Bluetooth(登録商標)が挙げられる。
位置検出ユニット120は、車両1の位置を検出する。位置検出ユニット120は、GNSS(Global Navigation Satellite System)受信器と、プロセッサとを備える。GNSS受信器及びプロセッサの図示は省略する。GNSS受信器は、衛星から送信される衛星信号を受信する。プロセッサは、GNSS受信器が受信した衛星信号に基づいて車両1の位置を示す緯度及び経度を求める。また、プロセッサは、複数求めた緯度や経度の差分に基づき、車両1が進行する進行方向である方位を求める。位置検出ユニット120は、求めた車両1の位置を示す緯度及び経度や、方位を車両制御装置170に出力する。
マイク131は、例えば、車両1のフロント部分の外装に設置され、車両1の外部でユーザPが発した音声を、アナログの音声信号として入力する。
音声処理部133は、CPU(Central Processing Unit)やMPU(Micro Processor Unit)等のプロセッサを備える。音声処理部133は、マイク131から入力されるアナログの音声信号に、所定の音声処理を施してデジタルの音声信号に変換する。音声処理部133は、変換したデジタルの音声信号を車両制御装置170に出力する。
音声処理部133は、CPU(Central Processing Unit)やMPU(Micro Processor Unit)等のプロセッサを備える。音声処理部133は、マイク131から入力されるアナログの音声信号に、所定の音声処理を施してデジタルの音声信号に変換する。音声処理部133は、変換したデジタルの音声信号を車両制御装置170に出力する。
センサ部140は、車両1の周囲の状況を検出する複数のセンサを備える。本実施形態のセンサ部140は、センサとして、カメラ141及びソナー143を備える。センサ部140は、これらのセンサ以外に、例えば、LiDAR(Light Detection and Ranging)、ミリ波レーダ、超音波センサ等の反射波を利用したセンサを備える構成であってもよい。
カメラ141は、車両1の前後左右の各方向にそれぞれ設置され、車両1の外部を撮像する。各カメラ141は、撮像レンズ及び撮像素子を備える。車両1の前方に設置されるカメラ141は、車両1の上部、例えば、バックミラーと同等の高さに設置され、車両1の前方を撮像する。また、車両1の前方に設置されるカメラ141は、ステレオカメラにより構成される。
車両1の前後左右の各方向に設置されたカメラ141は、車両1の前後左右の各方向を撮像して撮像画像をそれぞれ生成し、生成した撮像画像を車両制御装置170に出力する。
また、カメラ141には、車内を撮像するカメラが含まれる。
車両1の前後左右の各方向に設置されたカメラ141は、車両1の前後左右の各方向を撮像して撮像画像をそれぞれ生成し、生成した撮像画像を車両制御装置170に出力する。
また、カメラ141には、車内を撮像するカメラが含まれる。
ソナー143は、例えば、車両1の前後左右の各方向にそれぞれ設置され、超音波によりセンシングを行い、車両1の周囲に存在する障害物までの距離や方位等を検出する。ソナー143は、検出した障害物までの距離や方位等を示すセンサデータを車両制御装置170に出力する。
駆動制御装置150は、記憶部及びプロセッサを備えるECU(Electronic Control Unit)等のコンピュータ装置である。
駆動制御装置150は、車両制御装置170から入力される制御情報に基づいて駆動装置155を制御する。駆動装置155は、操舵装置155A、動力装置155B、制動装置155C及び変速装置155Dを備える。
駆動制御装置150は、車両制御装置170から入力される制御情報に基づいて駆動装置155を制御する。駆動装置155は、操舵装置155A、動力装置155B、制動装置155C及び変速装置155Dを備える。
操舵装置155Aは、車両1の操舵輪を操舵するアクチュエータを含む装置である。駆動制御装置150は、制御情報に従ってアクチュエータを駆動し、車両1の操舵輪を操舵する。
動力装置155Bは、車両1の駆動輪の駆動力を調整するアクチュエータを含む装置である。このアクチュエータには、車両1の動力源がエンジンである場合はスロットルアクチュエータが該当し、動力源がモータである場合には当該モータが該当する。駆動制御装置150は、制御情報に従ってアクチュエータを駆動する。これにより、車両1が走行する。
制動装置155Cは、制御情報に従って車両1に設けられたブレーキシステムを制御し、車両1の車輪に付与する制動力を制御するアクチュエータを含む装置である。駆動制御装置150は、制御情報に従ってアクチュエータを制御し、車両1の車輪に制動力を付与する。
変速装置155Dは、変速機及びアクチュエータを含む装置である。変速装置155Dは、アクチュエータを駆動して変速機のシフト位置を制御し、変速機の変速比や、車両1の前進及び後進を切り替える。駆動制御装置150は、アクチュエータを制御し、変速装置155Dのシフト位置を変更する。
投写部160は、投写部160A及び投写部160Bを備える。投写部160Aは、車両1に向かって左側のヘッドライトに設けられ、投写部160Bは、車両1に向かって右側のヘッドライトに設けられる。投写部160A及び投写部160Bは同一の構成を備えるため、以下では、投写部160Aの構成について説明する。また、投写部160A及び投写部160Bを総称する場合、投写部160と表記する。投写部160Aは、光源161A、光変調器163A、投写レンズ165A及び駆動部167Aを備える。
光源161Aは、光源として、例えば、LED(Light-Emitting Diode)を備える。
光変調器163Aは、光源161Aから入射される光の透過率を変更可能な光変調素子を備える。駆動部167Aは、車両制御装置170の制御に従って光変調素子の透過率を制御し、光源161Aの光が透過する透過率を変更する。駆動部167Aが、車両制御装置170の制御に従って光変調器163Aを駆動することにより、光変調器163Aが出力する光が制御され、路面に画像が表示される。光変調素子は、透過型の光変調素子に限定されず、例えば、反射型の光変調素子でもよいし、DMD(Digital Micromirror Device)でもよい。
光変調器163Aは、光源161Aから入射される光の透過率を変更可能な光変調素子を備える。駆動部167Aは、車両制御装置170の制御に従って光変調素子の透過率を制御し、光源161Aの光が透過する透過率を変更する。駆動部167Aが、車両制御装置170の制御に従って光変調器163Aを駆動することにより、光変調器163Aが出力する光が制御され、路面に画像が表示される。光変調素子は、透過型の光変調素子に限定されず、例えば、反射型の光変調素子でもよいし、DMD(Digital Micromirror Device)でもよい。
投写レンズ165Aは、光変調器163Aが出力する光を路面に投写するレンズである。駆動部167Aは、車両制御装置170の制御に従って投写レンズ165Aを駆動する。これにより投写レンズ165Aが投写する光が投写される路面の位置が変更される。
車両制御装置170は、例えば、ECU等のコンピュータ装置であり、記憶部180と、プロセッサ190と、を備える。
記憶部180は、ROM(Read Only Memory)及びRAM(Random Access Memory)を備える。ROMは、制御プログラム181や、学習モデル183、各種の設定情報を記憶する。RAMは、プロセッサ190が演算領域として使用する。
学習モデル183は、教師データを用いた機械学習、すなわち教師あり学習によって、人の特徴点を検出する機械学習モデルである。機械学習モデルはアルゴリズム及びデータ構造を用いて構築することができる。機械学習の手法は何ら限定されず、例えば、ニューラルネットワーク、ディープラーニングなどの様々な手法が用いられてよい。教師データは、機械学習モデルに入力される入力ベクトルと、その入力ベクトルから得られるべき正しいラベル情報との多数の組合せによって構成されるデータである。本実施形態では、入力ベクトルは、撮像画像に相当し、ラベル情報は、人の特徴点である。特徴点には、手のひらや腕の関節、肩等が含まれる。
プロセッサ190は、CPUやMPU等のプロセッサを備える演算処理装置である。プロセッサ190は、単一のプロセッサにより構成してもよいし、複数のプロセッサにより構成することも可能である。また、プロセッサ190は、記憶部180の一部又は全部や、その他の回路と統合されたSoC(System on a chip)により構成してもよい。また、プロセッサ190は、プログラムを実行するCPUと、所定の演算処理を実行するDSP(Digital Signal Processor)との組合せにより構成してもよい。さらに、プロセッサ190の機能の全てをハードウェアに実装した構成としてもよく、プログラマブルデバイスを用いて構成してもよい。
車両制御装置170は、機能的構成として、通信制御部191、状況取得部192、投写制御部193、検出部194、音声認識部195及び制御情報生成部196を備える。これらの機能的構成は、プロセッサ190が、コンピュータプログラムを実行して演算を行うことで実現される機能である。
通信制御部191は、無線通信I/F110を制御して、携帯機との近距離無線通信を行う。通信制御部191は、携帯機を所持したユーザPが車両1に近づき、近距離無線通信が可能な状態になると、携帯機との通信が可能な状態であることを状況取得部192及び投写制御部193に通知する。携帯機を所持したユーザPは、操作者に相当する。
状況取得部192は、センサ部140を制御する。カメラ141は、状況取得部192の制御により撮像画像を生成し、生成した撮像画像を車両制御装置170に出力する。記憶部180は、カメラ141から入力される撮像画像を一時的に記憶する。
また、状況取得部192は、ソナー143を制御する。ソナー143は、状況取得部192の制御に従ってセンシングを実行し、センシング結果を示すセンサデータを車両制御装置170に出力する。記憶部180は、ソナー143から入力されるセンサデータを一時的に記憶する。
また、状況取得部192は、ソナー143を制御する。ソナー143は、状況取得部192の制御に従ってセンシングを実行し、センシング結果を示すセンサデータを車両制御装置170に出力する。記憶部180は、ソナー143から入力されるセンサデータを一時的に記憶する。
また、状況取得部192は、携帯機との近距離無線通信が可能な状態であるとの通知が通信制御部191から入力されると、車両1の前方に設置されたカメラ141の撮像間隔を変更する。状況取得部192は、車両1の前方に設置されたカメラ141の撮像間隔を、通知が入力される前よりも短く変更する。これにより、車両1の前方に存在するユーザPや、ユーザPが行うジェスチャーの検出精度が高められる。
投写制御部193は、携帯機との近距離無線通信が可能な状態であるとの通知が通信制御部191から入力されると、投写部160を制御して、車両1の前方の路面にパターン画像200を投写する。
図2は、パターン画像200の一例を示す図である。
パターン画像200には、車両1の停止位置を示す画像である停止線210が複数含まれる。図2に示すパターン画像200には、車両1に近い側から第1停止線211と、第2停止線212と、第3停止線213との3つの停止線210が含まれる。
第1停止線211、第2停止線212及び第3停止線213は、車両1の車幅方向に平行な線分である。また、パターン画像200において、第1停止線211、第2停止線212及び第3停止線213は、車長方向に一定の間隔で形成される。
図2には、第1停止線211、第2停止線212及び第3停止線213の3本の停止線210を備えるパターン画像200を示すが、停止線210の数は3本に限定されず、2本であってもよいし、4本以上であってもよい。
パターン画像200には、車両1の停止位置を示す画像である停止線210が複数含まれる。図2に示すパターン画像200には、車両1に近い側から第1停止線211と、第2停止線212と、第3停止線213との3つの停止線210が含まれる。
第1停止線211、第2停止線212及び第3停止線213は、車両1の車幅方向に平行な線分である。また、パターン画像200において、第1停止線211、第2停止線212及び第3停止線213は、車長方向に一定の間隔で形成される。
図2には、第1停止線211、第2停止線212及び第3停止線213の3本の停止線210を備えるパターン画像200を示すが、停止線210の数は3本に限定されず、2本であってもよいし、4本以上であってもよい。
検出部194は、記憶部180から撮像画像を読み出し、読み出した撮像画像を解析してユーザPが手や腕を使って行うジェスチャーを検出する。検出部194が検出するジェスチャーは、パターン画像200に含まれる停止線210の1つを選択するジェスチャーである。具体的には、ユーザPが、手及び腕を使用して路面を指差すジェスチャーである。
まず、検出部194は、車両1の前方に設置されるカメラ141の撮像画像を解析して、基準位置からユーザPまでの距離や方位を検出する。基準位置は、例えば、車両1におけるカメラ141のレンズ位置であってもよいし、車両1の予め設定された部位の位置であってもよい。カメラ141と、車両1の予め設定された部位との距離や方位は、設定情報として記憶部180に予め記憶されている。
次に、検出部194は、学習モデル183を用いて、撮像画像に含まれるユーザPの指や腕、肩等の特徴点を検出する。検出部194は、複数検出した特徴点に基づいて、ユーザPが路面を指差すジェスチャーを検出する。検出部194は、ユーザPが路面を指差すジェスチャーを検出すると、ユーザPの腕や指の鉛直方向に対する角度を算出する。
検出部194は、検出した基準位置からユーザPまでの距離や方位と、ユーザPの腕や指の鉛直方向に対する角度と、各停止線210の車両1からの距離と、に基づき、ユーザPにより選択された停止線210を判定する。検出部194は、ユーザPが選択したと判定した停止線210の情報を投写制御部193に出力する。
投写制御部193は、検出部194から停止線210の情報が入力されると、入力された停止線210の情報が示す停止線210以外の停止線をパターン画像200から消去する。すなわち、投写制御部193は、ユーザPが選択した停止線210だけを含むパターン画像200を路面に投写する。また、投写制御部193は、パターン画像200に含まれる停止線210と、車両1との距離を示す情報を制御情報生成部196に出力する。
記憶部180は、車両1と、第1停止線211、第2停止線212及び第3停止線213との距離を示す情報を、設定情報として予め記憶する。
記憶部180は、車両1と、第1停止線211、第2停止線212及び第3停止線213との距離を示す情報を、設定情報として予め記憶する。
また、投写制御部193は、変更指示を受け付けたとの通知が音声認識部195から入力されると、投写部160を制御して、パターン画像200を再度、投写する。変更指示とは、ユーザPが選択した停止線210を変更する指示である。
この後、検出部194は、ユーザPが選択した停止線210を判定し、判定した停止線210の情報を再度、投写制御部193に出力する。投写制御部193は、入力された停止線210の情報が示す停止線210以外の停止線をパターン画像200から消去する。また、投写制御部193は、パターン画像200に含まれる停止線210と、車両1との距離を示す情報を、再度、制御情報生成部196に出力する。
この後、検出部194は、ユーザPが選択した停止線210を判定し、判定した停止線210の情報を再度、投写制御部193に出力する。投写制御部193は、入力された停止線210の情報が示す停止線210以外の停止線をパターン画像200から消去する。また、投写制御部193は、パターン画像200に含まれる停止線210と、車両1との距離を示す情報を、再度、制御情報生成部196に出力する。
音声認識部195は、音声処理部133から音声信号を入力する。音声処理部133から入力される音声信号がマイク入力された音声に相当する。
音声認識部195は、入力した音声信号を一般的に知られた音声認識技術を用いて解析し、ユーザPが発した音声を認識する。
例えば、音声認識部195は、車両1の出庫を指示する出庫指示の音声や、一度選択した停止線210の位置を変更する変更指示等の音声を認識する。出庫指示の音声には、例えば、「出庫」や、「出庫開始」等の音声が含まれる。また、変更指示の音声には、「変更」や「位置変更」等の音声が含まれる。
音声認識部195は、入力した音声信号を一般的に知られた音声認識技術を用いて解析し、ユーザPが発した音声を認識する。
例えば、音声認識部195は、車両1の出庫を指示する出庫指示の音声や、一度選択した停止線210の位置を変更する変更指示等の音声を認識する。出庫指示の音声には、例えば、「出庫」や、「出庫開始」等の音声が含まれる。また、変更指示の音声には、「変更」や「位置変更」等の音声が含まれる。
音声認識部195は、出庫指示の音声を認識した場合、出庫指示を受け付けたことを制御情報生成部196に通知する。
また、音声認識部195は、変更指示の音声を認識した場合、変更指示を受け付けたことを投写制御部193に通知する。投写制御部193は、投写部160を制御して、車両1の前方の路面にパターン画像200を、再度、投写する。
また、音声認識部195は、変更指示の音声を認識した場合、変更指示を受け付けたことを投写制御部193に通知する。投写制御部193は、投写部160を制御して、車両1の前方の路面にパターン画像200を、再度、投写する。
制御情報生成部196は、ユーザPが選択した停止線210と、車両1との距離を示す情報を投写制御部193から入力する。また、制御情報生成部196は、出庫指示を受け付けたとの通知を音声認識部195から入力すると制御情報を生成する。制御情報は、車両1の走行を制御する情報である。ここで制御情報生成部196が生成する制御情報により、車両1は、駐車位置から、ユーザPが選択した停止線210の位置まで走行する。制御情報生成部196は、生成した制御情報を駆動制御装置150に出力する。
[2.車両制御装置の動作]
図3は、車両制御装置170の動作を示すフローチャートである。図3のフローチャートに示す動作は、車両制御方法に対応した動作である。車両制御装置170の動作について説明する。
まず、車両制御装置170は、携帯機との近距離無線通信が可能な状態になったか否かを判定する(ステップS1)。つまり、車両制御装置170は、携帯機を所持したユーザPが、近距離無線通信が可能な範囲内に近づいてきたか否かを判定する。車両制御装置170は、携帯機との近距離無線通信が可能な状態ではない場合(ステップS1/NO)、ステップS1の判定に戻る。
図3は、車両制御装置170の動作を示すフローチャートである。図3のフローチャートに示す動作は、車両制御方法に対応した動作である。車両制御装置170の動作について説明する。
まず、車両制御装置170は、携帯機との近距離無線通信が可能な状態になったか否かを判定する(ステップS1)。つまり、車両制御装置170は、携帯機を所持したユーザPが、近距離無線通信が可能な範囲内に近づいてきたか否かを判定する。車両制御装置170は、携帯機との近距離無線通信が可能な状態ではない場合(ステップS1/NO)、ステップS1の判定に戻る。
車両制御装置170は、携帯機との近距離無線通信が可能な状態である場合(ステップS1/YES)、投写部160を制御して、パターン画像200を路面に投写する(ステップS2)。ステップS2は、投写ステップに相当する。次に、車両制御装置170は、カメラ141が撮像した撮像画像を記憶部180から取得し(ステップS3)、取得した撮像画像を解析してジェスチャーを検出したか否かを判定する(ステップS4)。本実施形態では、車両制御装置170は、撮像画像を解析して、路面を指差すジェスチャーを検出したか否かを判定する(ステップS4)。ステップS4は、検出ステップに相当する。
車両制御装置170は、路面を指差すジェスチャーを検出できなかった場合(ステップS4/NO)、ユーザPが車両1に搭乗したか否かを判定する(ステップS5)。例えば、車両制御装置170は、ドアの開閉を制御するドアECUからドアが開かれたことを通知する信号を受信した場合や、車室内を撮像した撮像画像からユーザPを検出した場合に、ユーザPが車両1に搭乗したと判定する。ドアECUの図示は省略する。車両制御装置170は、ユーザPが車両1に搭乗したと判定した場合(ステップS5/YES)、この処理フローを終了する。また、車両制御装置170は、ユーザPが車両1に搭乗していない場合(ステップS5/NO)、ステップS4の判定に戻る。
車両制御装置170は、路面を指差すジェスチャーを検出した場合(ステップS5/YES)、このジェスチャーによりユーザPが選択した停止線210を判定する(ステップS6)。車両制御装置170は、上述したように基準位置からユーザPまでの距離や方位と、ユーザPの腕や指の鉛直方向に対する角度と、各停止線210の車両1からの距離と、に基づき、ユーザPにより選択された停止線210を判定する。
車両制御装置170は、ユーザPが選択した停止線210を判定すると、判定した停止線210以外の停止線210を消去したパターン画像200を路面に投写する(ステップS7)。判定した停止線210以外の停止線210を消去したパターン画像200を路面に投写することで、検出したジェスチャーにより指定された位置に、停止線210の画像が表示される。
次に、車両制御装置170は、音声を入力したか否かを判定する(ステップS8)。車両制御装置170は、音声を入力していない場合(ステップS8/NO)、音声を入力するまで待機する。
車両制御装置170は、音声を入力すると(ステップS8/YES)、入力した音声を音声認識する(ステップS9)。車両制御装置170は、音声認識の結果が出庫指示であるか否かを判定する(ステップS10)。車両制御装置170は、出庫指示であると判定した場合(ステップS10/YES)、制御情報を生成する(ステップS12)。この制御情報により、車両1は、ステップS7で表示したパターン画像200に含まれる停止線210の位置まで移動する。ステップS12は、生成ステップに相当する。車両制御装置170は、生成した制御情報を駆動制御装置150に出力する(ステップS13)。これにより車両1が、駐車位置から、ユーザPが選択した停止線210の位置まで移動する。
車両制御装置170は、音声を入力すると(ステップS8/YES)、入力した音声を音声認識する(ステップS9)。車両制御装置170は、音声認識の結果が出庫指示であるか否かを判定する(ステップS10)。車両制御装置170は、出庫指示であると判定した場合(ステップS10/YES)、制御情報を生成する(ステップS12)。この制御情報により、車両1は、ステップS7で表示したパターン画像200に含まれる停止線210の位置まで移動する。ステップS12は、生成ステップに相当する。車両制御装置170は、生成した制御情報を駆動制御装置150に出力する(ステップS13)。これにより車両1が、駐車位置から、ユーザPが選択した停止線210の位置まで移動する。
また、車両制御装置170は、音声認識の結果が出庫指示ではない場合(ステップS10/NO)、音声認識の結果が停止線210の変更指示であるか否かを判定する(ステップS11)。車両制御装置170は、音声認識の結果が停止線210の変更指示である場合(ステップS11/YES)、ステップS2の処理に戻り、パターン画像200を路面に再度、投写する。
また、車両制御装置170は、音声認識の結果が変更指示ではない場合(ステップS11/NO)、ステップS8に戻り、再度、音声を入力する。また、車両制御装置170は、認識した音声に対応した処理を実行してもよい。
また、車両制御装置170は、音声認識の結果が変更指示ではない場合(ステップS11/NO)、ステップS8に戻り、再度、音声を入力する。また、車両制御装置170は、認識した音声に対応した処理を実行してもよい。
[3.変形例]
パターン画像200に含まれる停止線210の数は1つであってもよい。
車両制御装置170は、1つの停止線210を含むパターン画像200を路面に投写する。ユーザPは、車両1の停止位置が、路面に表示された停止線210の位置と異なる場合、停止線210の位置を変更するジェスチャーを行う。ユーザPは、停止線210を表示する位置を指差しにより指定する。車両制御装置170は、撮像画像を解析して、ユーザPが指定した位置を検出する。以下、ユーザPが指定した位置を指定位置という。指定位置の検出は、上述したように基準位置からユーザPまでの距離や方位と、鉛直方向に対するユーザPの腕や指の角度と、に基づいて検出する。
パターン画像200に含まれる停止線210の数は1つであってもよい。
車両制御装置170は、1つの停止線210を含むパターン画像200を路面に投写する。ユーザPは、車両1の停止位置が、路面に表示された停止線210の位置と異なる場合、停止線210の位置を変更するジェスチャーを行う。ユーザPは、停止線210を表示する位置を指差しにより指定する。車両制御装置170は、撮像画像を解析して、ユーザPが指定した位置を検出する。以下、ユーザPが指定した位置を指定位置という。指定位置の検出は、上述したように基準位置からユーザPまでの距離や方位と、鉛直方向に対するユーザPの腕や指の角度と、に基づいて検出する。
車両制御装置170は、指定位置を検出すると、検出した指定位置から車両1までの距離に基づき、パターン画像200の元となる画像データを画像処理し、パターン画像200に含まれる停止線210の位置を変更する。車両制御装置170は、投写部160を制御して、位置を変更した停止線210を含むパターン画像200を路面に投写する。
ユーザPは、車両1を停止させたい位置が、路面に表示された停止線210の位置に一致すると、「出庫」や、「出庫開始」等の音声を発話して、車両1の出庫を指示する。
車両制御装置170は、音声認識により出庫指示を受け付けると、駐車位置から停止線210までの距離に基づいて制御情報を生成する。車両制御装置170は、生成した制御情報を駆動制御装置150に出力する。これにより車両1が停止線210の位置まで移動する。
車両制御装置170は、音声認識により出庫指示を受け付けると、駐車位置から停止線210までの距離に基づいて制御情報を生成する。車両制御装置170は、生成した制御情報を駆動制御装置150に出力する。これにより車両1が停止線210の位置まで移動する。
[4.効果]
以上説明したように本実施形態の車両制御装置170は、投写制御部193と、検出部194と、制御情報生成部196とを備える。
投写制御部193は、車両1が停止する停止線210の画像を含むパターン画像200を、投写部160により路面に投写する。
検出部194は、車両1の外部にいるユーザPを撮像した撮像画像に基づき、パターン画像200において、停止線210の画像を表示する位置を指定するユーザPのジェスチャーを検出する。
制御情報生成部196は、車両1の走行を制御する制御情報を生成する。
投写制御部193は、検出部194が検出したジェスチャーにより指定された位置に、停止線210の画像を含むパターン画像200を投写部160により路面に表示する。
制御情報生成部196は、車両1が、駐車位置から、停止線210の画像に対応する位置まで走行する制御情報を生成し、制御情報を、車両1を駆動させる駆動制御装置150に出力する。
以上説明したように本実施形態の車両制御装置170は、投写制御部193と、検出部194と、制御情報生成部196とを備える。
投写制御部193は、車両1が停止する停止線210の画像を含むパターン画像200を、投写部160により路面に投写する。
検出部194は、車両1の外部にいるユーザPを撮像した撮像画像に基づき、パターン画像200において、停止線210の画像を表示する位置を指定するユーザPのジェスチャーを検出する。
制御情報生成部196は、車両1の走行を制御する制御情報を生成する。
投写制御部193は、検出部194が検出したジェスチャーにより指定された位置に、停止線210の画像を含むパターン画像200を投写部160により路面に表示する。
制御情報生成部196は、車両1が、駐車位置から、停止線210の画像に対応する位置まで走行する制御情報を生成し、制御情報を、車両1を駆動させる駆動制御装置150に出力する。
この構成によれば、ユーザPは、ジェスチャーにより車両1が停止する停止線210の位置を指定することができる。このため、車両1の出庫を、車両1の外部にいるユーザPのリモート操作により行う場合の利便性が改善する。
パターン画像200には、第1停止線211、第2停止線212及び第3停止線213の複数の画像が含まれる。
検出部194は、検出したジェスチャーに基づいて第1停止線211、第2停止線212及び第3停止線213のいずれが選択されたのかを判定する。
検出部194は、検出したジェスチャーに基づいて第1停止線211、第2停止線212及び第3停止線213のいずれが選択されたのかを判定する。
この構成によれば、ジェスチャーにより指定された位置が、第1停止線211、第2停止線212及び第3停止線213のいずれであるのかを判定する構成であるため、ユーザPがジェスチャーにより指定した任意の位置を検出する場合と比較して、車両制御装置170の処理負荷を軽減することができる。
車両制御装置170は、マイク131により入力された音声を認識する音声認識部195を備える。
制御情報生成部196は、音声認識部195が車両1の出庫を指示する音声を認識した場合に、制御情報を生成する。
制御情報生成部196は、音声認識部195が車両1の出庫を指示する音声を認識した場合に、制御情報を生成する。
この構成によれば、ユーザPは、操作デバイス等を操作することなく、車両1の出庫を音声により指示できる。このため、車両1の出庫を、車両1の外部にいるユーザPのリモート操作により行う場合の利便性が改善する。
上述した実施形態は、あくまでも本発明の一態様を例示したものであって、本発明の主旨を逸脱しない範囲で任意に変形、及び応用が可能である。
例えば、図1に示す車載装置100の構成を示すブロック図は、本願発明を理解容易にするために、構成要素を主な処理内容に応じて分類して示した概略図であり、構成要素は、処理内容に応じて、さらに多くの構成要素に分類することもできる。また、1つの構成要素がさらに多くの処理を実行するように分類することもできる。
例えば、図1に示す車載装置100の構成を示すブロック図は、本願発明を理解容易にするために、構成要素を主な処理内容に応じて分類して示した概略図であり、構成要素は、処理内容に応じて、さらに多くの構成要素に分類することもできる。また、1つの構成要素がさらに多くの処理を実行するように分類することもできる。
また、図3に示すフローチャートの処理単位は、車両制御装置170の処理を理解容易にするために、主な処理内容に応じて分割したものであり、処理単位の分割の仕方や名称によって、本発明が限定されることはない。車両制御装置170の処理は、処理内容に応じて、さらに多くの処理単位に分割してもよい。また、車両制御装置170の処理は、1つの処理単位がさらに多くの処理を含むように分割してもよい。
1 車両
193 投写制御部
194 検出部
195 音声認識部
196 制御情報生成部
193 投写制御部
194 検出部
195 音声認識部
196 制御情報生成部
Claims (4)
- 車両の停止位置を示す画像を含むパターン画像を、投写部により路面に投写する投写制御部と、
前記車両の外部にいる操作者を撮像した撮像画像に基づき、前記パターン画像において、前記停止位置を示す画像を表示する位置を指定する操作者のジェスチャーを検出する検出部と、
前記車両の走行を制御する制御情報を生成する制御情報生成部と、
を備え、
前記投写制御部は、前記検出部が検出した前記ジェスチャーにより指定された位置に、前記停止位置を示す画像を前記投写部により路面に表示し、
前記制御情報生成部は、前記車両が駐車した駐車位置から、前記停止位置を示す画像に対応する位置まで前記車両が走行する制御情報を生成し、前記制御情報を、前記車両を駆動させる駆動制御装置に出力することを特徴とする車両制御装置。 - 前記パターン画像には、前記停止位置を示す画像を複数含み、
前記検出部は、検出した前記ジェスチャーに基づいて複数の前記停止位置を示す画像のいずれが選択されたのかを判定することを特徴とする請求項1記載の車両制御装置。 - マイクにより入力された音声を認識する音声認識部を備え、
前記制御情報生成部は、前記音声認識部が前記車両の出庫を指示する音声を認識したときに、前記制御情報を生成することを特徴とする請求項1又は2記載の車両制御装置。 - 車両の停止位置を示す画像を含むパターン画像を、投写部により路面に投写する投写ステップと、
前記車両の外部にいる操作者を撮像した撮像画像に基づき、前記パターン画像において、前記停止位置を示す画像を表示する位置を指定する操作者のジェスチャーを検出する検出ステップと、
前記車両の走行を制御する制御情報を生成する生成ステップと、
を含み、
前記投写ステップは、前記検出ステップにより検出した前記ジェスチャーにより指定された位置に、前記停止位置を示す画像を前記投写部により路面に表示し、
前記生成ステップは、前記車両が駐車した駐車位置から、前記停止位置を示す画像に対応する位置まで前記車両が走行する制御情報を生成し、前記制御情報を、前記車両を駆動させる駆動制御装置に出力することを特徴とする車両制御方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022096808A JP2023183277A (ja) | 2022-06-15 | 2022-06-15 | 車両制御装置及び車両制御方法 |
EP23178515.5A EP4292904A1 (en) | 2022-06-15 | 2023-06-09 | Vehicle control device and vehicle control method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022096808A JP2023183277A (ja) | 2022-06-15 | 2022-06-15 | 車両制御装置及び車両制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023183277A true JP2023183277A (ja) | 2023-12-27 |
Family
ID=86760233
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022096808A Pending JP2023183277A (ja) | 2022-06-15 | 2022-06-15 | 車両制御装置及び車両制御方法 |
Country Status (2)
Country | Link |
---|---|
EP (1) | EP4292904A1 (ja) |
JP (1) | JP2023183277A (ja) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102013215980A1 (de) * | 2013-08-13 | 2015-02-19 | Volkswagen Aktiengesellschaft | Optische Fahrerunterstützung in einem Engstellenbereich |
JP7282543B2 (ja) | 2019-02-19 | 2023-05-29 | 日産自動車株式会社 | 車両の走行経路表示方法及び車両の走行経路表示装置 |
JP7080837B2 (ja) * | 2019-02-26 | 2022-06-06 | 本田技研工業株式会社 | 車両制御装置、車両制御方法、およびプログラム |
JP2020138611A (ja) * | 2019-02-27 | 2020-09-03 | 本田技研工業株式会社 | 車両制御装置、車両制御システム、車両制御方法、およびプログラム |
JP2020147066A (ja) * | 2019-03-11 | 2020-09-17 | 本田技研工業株式会社 | 車両制御システム、車両制御方法、及びプログラム |
US20220242430A1 (en) * | 2019-06-28 | 2022-08-04 | Koito Manufaturing Co., Ltd. | Vehicle information display system, vehicle information display device, and vehicle control system |
-
2022
- 2022-06-15 JP JP2022096808A patent/JP2023183277A/ja active Pending
-
2023
- 2023-06-09 EP EP23178515.5A patent/EP4292904A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
EP4292904A1 (en) | 2023-12-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11987286B2 (en) | Vehicle automatic parking control device | |
JP6310565B2 (ja) | 運転支援装置 | |
JP2020004402A (ja) | ニューラルネットワークに基づく自動運転車両用の安全監視システム | |
JP2018172028A (ja) | 車両制御システム、車両制御方法、および車両制御プログラム | |
CN107209999A (zh) | 退避控制装置以及退避控制方法 | |
JPWO2018167891A1 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
JP2022184896A (ja) | 自律車両の通知のシステムと方法 | |
EP3693230B1 (en) | Parking control method and parking control device | |
JP6654118B2 (ja) | 自動運転車両 | |
US20200094875A1 (en) | Vehicle control device, vehicle control method, and storage medium | |
JP2016018413A (ja) | 車両用装置、車両制御システム、車両制御方法 | |
US11548441B2 (en) | Out-of-vehicle notification device | |
CN110371018A (zh) | 使用其他车辆车灯的信息改善车辆行为 | |
WO2021162000A1 (ja) | 駐車支援装置 | |
JP2020119120A (ja) | 案内システム、案内方法、およびプログラム | |
JP2018005797A (ja) | 運転支援方法およびそれを利用した運転支援装置、運転支援システム、自動運転制御装置、車両、プログラム | |
US20190258247A1 (en) | Remote vehicle control device, remote vehicle control system, and remote vehicle control method | |
KR20210057886A (ko) | 차량 충돌 방지 장치 및 그 방법 | |
WO2021010083A1 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
US20190286118A1 (en) | Remote vehicle control device and remote vehicle control method | |
WO2020255751A1 (ja) | 自動運転システム | |
KR20170018701A (ko) | 운전자 보조 장치 및 그 제어 방법 | |
CN112977257A (zh) | 车辆的显示装置和停车辅助系统 | |
JP2015219721A (ja) | 動作支援システム及び物体認識装置 | |
US20220388533A1 (en) | Display method and system |