JP2020163906A - 車両制御装置、車両制御方法、及びプログラム - Google Patents

車両制御装置、車両制御方法、及びプログラム Download PDF

Info

Publication number
JP2020163906A
JP2020163906A JP2019064027A JP2019064027A JP2020163906A JP 2020163906 A JP2020163906 A JP 2020163906A JP 2019064027 A JP2019064027 A JP 2019064027A JP 2019064027 A JP2019064027 A JP 2019064027A JP 2020163906 A JP2020163906 A JP 2020163906A
Authority
JP
Japan
Prior art keywords
vehicle
stop position
occupant
unit
stop
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019064027A
Other languages
English (en)
Other versions
JP7236307B2 (ja
Inventor
八州志 照田
Yasushi Teruda
八州志 照田
順平 野口
Junpei Noguchi
順平 野口
悠記 原
Yuki Hara
悠記 原
龍馬 田口
Ryoma Taguchi
龍馬 田口
雄太 高田
Yuta Takada
雄太 高田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2019064027A priority Critical patent/JP7236307B2/ja
Priority to US16/822,086 priority patent/US11543820B2/en
Priority to CN202010195312.8A priority patent/CN111762174B/zh
Publication of JP2020163906A publication Critical patent/JP2020163906A/ja
Application granted granted Critical
Publication of JP7236307B2 publication Critical patent/JP7236307B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027Parking aids, e.g. instruction means
    • B62D15/0285Parking performed automatically
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/167Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

【課題】車外にいるユーザの顔の動きに基づいて車両を遠隔制御することができる車両制御装置、車両制御方法、及びプログラムを提供すること。【解決手段】車両制御装置は、車両の外部に存在するユーザの顔の動きを認識する認識部と、前記認識部により認識された前記顔の動きに基づいて、前記車両の停止位置を決定する決定部と、少なくとも前記車両の速度を制御して、前記決定部により決定された前記停止位置に前記車両を停止させる運転制御部と、を備える。【選択図】図1

Description

本発明は、車両制御装置、車両制御方法、及びプログラムに関する。
車両の周囲に存在する歩行者の位置を検出し、検出した歩行者の近傍をライトで照らす技術が知られている(例えば、特許文献1参照)。
特開2006−069298号公報
しかしながら、従来の技術では、車外にいるユーザの顔の動きに基づいて車両を遠隔制御することが検討されていなかった。
本発明は、このような事情を考慮してなされたものであり、車外にいるユーザの顔の動きに基づいて車両を遠隔制御することができる車両制御装置、車両制御方法、及びプログラムを提供することを目的の一つとする。
本発明に係る車両制御装置、車両制御方法、及びプログラムは以下の構成を採用した。
(1)本発明の一態様は、車両の外部に存在するユーザの顔の動きを認識する認識部と、前記認識部により認識された前記顔の動きに基づいて、前記車両の停止位置を決定する決定部と、少なくとも前記車両の速度を制御して、前記決定部により決定された前記停止位置に前記車両を停止させる運転制御部と、を備える車両制御装置である。
(2)の態様は、上記(1)の態様の車両制御装置において、前記車両には、進行方向に関して少なくとも二列以上並べられた座席と、貨物室とが設けられており、前記認識部は、前記ユーザの視線を前記顔の動きとして認識し、前記決定部は、前記認識部によって認識された前記視線に基づいて、前記ユーザが一列目の座席に最も近くなる第1位置、前記ユーザが二列目の座席に最も近くなる第2位置、または前記ユーザが前記貨物室に最も近くなる第3位置のいずれかを、前記停止位置に決定するものである。
(3)の態様は、上記(2)の態様の車両制御装置において、前記決定部は、前記停止位置に前記車両が移動した後に、前記認識部によって第1ジェスチャが認識された場合、前記停止位置を変更せず、前記停止位置に前記車両が移動した後に、前記認識部によって前記第1ジェスチャと異なる第2ジェスチャが認識された場合、前記停止位置を再決定するものである。
(4)の態様は、上記(3)の態様の車両制御装置において、前記第1ジェスチャは、前記ユーザが前記停止位置に同意する動作であり、前記第2ジェスチャは、前記ユーザが前記停止位置に同意しない動作である。
(5)の態様は、上記(3)または(4)の態様の車両制御装置において、前記決定部は、前記認識部によって前記第2ジェスチャが認識された場合、前記認識部によって認識された前記視線に基づいて、前記停止位置を再決定するものである。
(6)の態様は、上記(3)から(5)のうちいずれか一つの態様の車両制御装置において、前記運転制御部は、前記決定部によって前記停止位置が再決定された場合、前記再決定された停止位置に前記車両を移動させるものである。
(7)本発明の他の態様は、車載コンピュータが、車両の外部に存在するユーザの顔の動きを認識し、前記認識した顔の動きに基づいて、前記車両の停止位置を決定し、少なくとも前記車両の速度を制御して、前記停止位置に前記車両を停止させる車両制御方法である。
(8)本発明の他の態様は、車載コンピュータに、車両の外部に存在するユーザの顔の動きを認識する処理と、前記認識した顔の動きに基づいて、前記車両の停止位置を決定する処理と、少なくとも前記車両の速度を制御して、前記停止位置に前記車両を停止させる処理と、を実行させるためのプログラムである。
(1)〜(8)のいずれかの態様によれば、車外にいるユーザの顔の動きに基づいて車両を遠隔制御することができる。
実施形態に係る車両制御装置を利用した車両システム1の構成図である。 第1制御部120および第2制御部160の機能構成図である。 自走駐車イベントが実行される場面を模式的に示す図である。 駐車場管理装置400の構成の一例を示す図である。 第1実施形態に係る自動運転制御装置100による一連の処理の一例を示すフローチャートである。 第1実施形態に係る自動運転制御装置100による一連の処理の一例を示すフローチャートである。 自車両Mが停止エリア310に到着した場面の一例を示す図である。 停止位置PSTに自車両Mを停車させた場面の一例を示す図である。 自車両Mが停止エリア310に到着した場面の他の例を示す図である。 第1停止位置PSTに自車両Mを停車させた場面の一例を示す図である。 拒否ジェスチャが行われた後の場面の一例を示す図である。 第2停止位置PSTに自車両Mを停車させた場面の一例を示す図である。 自車両Mが停止エリア310に到着した場面の他の例を示す図である。 停止位置PSTに自車両Mを停車させた場面の他の例を示す図である。 実施形態の自動運転制御装置100のハードウェア構成の一例を示す図である。
以下、図面を参照し、本発明の車両制御装置、車両制御方法、及びプログラムの実施形態について説明する。
<第1実施形態>
[全体構成]
図1は、実施形態に係る車両制御装置を利用した車両システム1の構成図である。車両システム1が搭載される車両は、例えば、二輪や三輪、四輪等の車両であり、その駆動源は、ディーゼルエンジンやガソリンエンジンなどの内燃機関、電動機、或いはこれらの組み合わせである。電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。
車両システム1は、例えば、カメラ10と、レーダ装置12と、ファインダ14と、物体認識装置16と、通信装置20と、HMI(Human Machine Interface)30と、車両センサ40と、ナビゲーション装置50と、MPU(Map Positioning Unit)60と、運転操作子80と、自動運転制御装置100と、走行駆動力出力装置200と、ブレーキ装置210と、ステアリング装置220とを備える。これらの装置や機器は、CAN(Controller Area Network)通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図1に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。
カメラ10は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の固体撮像素子を利用したデジタルカメラである。カメラ10は、車両システム1が搭載される車両(以下、自車両M)の前面や側面、後面などに取り付けられる。自車両Mの車室内には、例えば、進行方向に関して少なくとも二列以上の座席が並べられている。
例えば、カメラ10は、自車両Mの前方を撮像する場合、フロントウインドシールド上部やルームミラー裏面等に取り付けられ、自車両Mの側方を撮像する場合、サイドウインドシールドなどに取り付けられ、自車両Mの後方を撮像する場合、リアウインドシールドやトランクルーム(貨物室)の蓋であるトランクリッドなどに取り付けられる。自車両Mが、一列目に運転席と助手席とが設けられ、二列目に後部座席が設けられた2列シート型の車両である場合、例えば、カメラ10は、自車両Mの座席一列目のサイドウインドシールドと、座席二列目のサイドウインドシールドとのそれぞれに取り付けられてよい。カメラ10は、周期的に繰り返し自車両Mの周辺を撮像する。カメラ10は、ステレオカメラであってもよい。
レーダ装置12は、自車両Mの周辺にミリ波などの電波を放射すると共に、物体によって反射された電波(反射波)を検出して少なくとも物体の位置(距離および方位)を検出する。レーダ装置12は、自車両Mの任意の箇所に取り付けられる。レーダ装置12は、FM−CW(Frequency Modulated Continuous Wave)方式によって物体の位置および速度を検出してもよい。
ファインダ14は、LIDAR(Light Detection and Ranging)である。ファインダ14は、自車両Mの周辺に光を照射し、散乱光を測定する。ファインダ14は、発光から受光までの時間に基づいて、対象までの距離を検出する。照射される光は、例えば、パルス状のレーザー光である。ファインダ14は、自車両Mの任意の箇所に取り付けられる。
物体認識装置16は、カメラ10、レーダ装置12、およびファインダ14のうち一部または全部による検出結果に対してセンサフュージョン処理を行って、物体の位置、種類、速度などを認識する。物体認識装置16は、認識結果を自動運転制御装置100に出力する。物体認識装置16は、カメラ10、レーダ装置12、およびファインダ14の検出結果をそのまま自動運転制御装置100に出力してよい。車両システム1から物体認識装置16が省略されてもよい。
通信装置20は、例えば、セルラー網やWi−Fi網、Bluetooth(登録商標)、DSRC(Dedicated Short Range Communication)などを利用して、自車両Mの周辺に存在する他車両または駐車場管理装置(後述)、或いは各種サーバ装置と通信する。
HMI30は、自車両Mの乗員に対して各種情報を提示すると共に、乗員による入力操作を受け付ける。HMI30は、ディスプレイ、スピーカ、ブザー、タッチパネル、スイッチ、キーなどを含む。
車両センサ40は、自車両Mの速度を検出する車速センサ、加速度を検出する加速度センサ、鉛直軸回りの角速度を検出するヨーレートセンサ、自車両Mの向きを検出する方位センサ等を含む。
ナビゲーション装置50は、例えば、GNSS(Global Navigation Satellite System)受信機51と、ナビHMI52と、経路決定部53とを備える。ナビゲーション装置50は、HDD(Hard Disk Drive)やフラッシュメモリなどの記憶装置に第1地図情報54を保持している。GNSS受信機51は、GNSS衛星から受信した信号に基づいて、自車両Mの位置を特定する。自車両Mの位置は、車両センサ40の出力を利用したINS(Inertial Navigation System)によって特定または補完されてもよい。ナビHMI52は、ディスプレイ、スピーカ、タッチパネル、キーなどを含む。ナビHMI52は、前述したHMI30と一部または全部が共通化されてもよい。経路決定部53は、例えば、GNSS受信機51により特定された自車両Mの位置(或いは入力された任意の位置)から、ナビHMI52を用いて乗員により入力された目的地までの経路(以下、地図上経路)を、第1地図情報54を参照して決定する。第1地図情報54は、例えば、道路を示すリンクと、リンクによって接続されたノードとによって道路形状が表現された情報である。第1地図情報54は、道路の曲率やPOI(Point Of Interest)情報などを含んでもよい。地図上経路は、MPU60に出力される。ナビゲーション装置50は、地図上経路に基づいて、ナビHMI52を用いた経路案内を行ってもよい。ナビゲーション装置50は、例えば、乗員の保有するスマートフォンやタブレット端末等の端末装置の機能によって実現されてもよい。ナビゲーション装置50は、通信装置20を介してナビゲーションサーバに現在位置と目的地を送信し、ナビゲーションサーバから地図上経路と同等の経路を取得してもよい。
MPU60は、例えば、推奨車線決定部61を含み、HDDやフラッシュメモリなどの記憶装置に第2地図情報62を保持している。推奨車線決定部61は、ナビゲーション装置50から提供された地図上経路を複数のブロックに分割し(例えば、車両進行方向に関して100[m]毎に分割し)、第2地図情報62を参照してブロックごとに推奨車線を決定する。推奨車線決定部61は、左から何番目の車線を走行するといった決定を行う。推奨車線決定部61は、地図上経路に分岐箇所が存在する場合、自車両Mが、分岐先に進行するための合理的な経路を走行できるように、推奨車線を決定する。
第2地図情報62は、第1地図情報54よりも高精度な地図情報である。第2地図情報62は、例えば、車線の中央の情報あるいは車線の境界の情報等を含んでいる。また、第2地図情報62には、道路情報、交通規制情報、住所情報(住所・郵便番号)、施設情報、電話番号情報などが含まれてよい。第2地図情報62は、通信装置20が他装置と通信することにより、随時、アップデートされてよい。
運転操作子80は、例えば、アクセルペダル、ブレーキペダル、シフトレバー、ステアリングホイール、異形ステア、ジョイスティックその他の操作子を含む。運転操作子80には、操作量あるいは操作の有無を検出するセンサが取り付けられており、その検出結果は、自動運転制御装置100、もしくは、走行駆動力出力装置200、ブレーキ装置210、およびステアリング装置220のうち一部または全部に出力される。
自動運転制御装置100は、例えば、第1制御部120と、第2制御部160と、記憶部190とを備える。第1制御部120および第2制御部160の一方または双方は、例えば、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)などのプロセッサがプログラム(ソフトウェア)を実行することにより実現される。また、これらの構成要素のうち一部または全部は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)などのハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め記憶部190のHDDやフラッシュメモリなどに格納されていてもよいし、DVDやCD−ROMなどの着脱可能な記憶媒体に格納されており、その記憶媒体がドライブ装置に装着されることで記憶部190にインストールされてもよい。
記憶部190は、例えば、HDD、フラッシュメモリ、EEPROM(Electrically Erasable Programmable Read Only Memory)、ROM(Read Only Memory)、またはRAM(Random Access Memory)などにより実現される。記憶部190は、例えば、プロセッサによって読み出されて実行されるプログラムなどを格納する。
図2は、第1制御部120および第2制御部160の機能構成図である。第1制御部120は、例えば、認識部130と、行動計画生成部140とを備える。
第1制御部120は、例えば、AI(Artificial Intelligence;人工知能)による機能と、予め与えられたモデルによる機能とを並行して実現する。例えば、「交差点を認識する」機能は、ディープラーニング等による交差点の認識と、予め与えられた条件(パターンマッチング可能な信号、道路標示などがある)に基づく認識とが並行して実行され、双方に対してスコア付けして総合的に評価することで実現されてよい。これによって、自動運転の信頼性が担保される。
認識部130は、カメラ10、レーダ装置12、およびファインダ14から物体認識装置16を介して入力された情報、すなわち、センサフュージョンされた検出結果に基づいて、自車両Mの周辺状況を認識する。例えば、認識部130は、周辺状況として、自車両Mの周辺に存在する物体の位置や、速度、加速度などの状態を認識する。周辺状況として認識される物体には、例えば、歩行者や他車両といった移動体や、工事用具などの静止体が含まれる。物体の位置は、例えば、自車両Mの代表点(重心や駆動軸中心など)を原点とした座標上の位置として認識され、制御に使用される。物体の位置は、その物体の重心やコーナー等の代表点で表されてもよいし、空間的な広がりをもった領域で表されてもよい。物体の「状態」とは、物体の加速度やジャーク、あるいは「行動状態」(例えば車線変更をしている、またはしようとしているか否か)を含んでもよい。
また、例えば、認識部130は、周辺状況として、自車両Mが走行している車線(以下、自車線と称する)や、自車線に隣接した隣接車線などを認識する。例えば、認識部130は、第2地図情報62から得られる道路区画線のパターン(例えば実線と破線の配列)と、カメラ10によって撮像された画像から認識される自車両Mの周辺の道路区画線のパターンとを比較することで、自車線や隣接車線を認識する。なお、認識部130は、道路区画線に限らず、道路区画線や路肩、縁石、中央分離帯、ガードレールなどを含む走路境界(道路境界)を認識することで、自車線や隣接車線を認識してもよい。この認識において、ナビゲーション装置50から取得される自車両Mの位置やINSによる処理結果が加味されてもよい。また、認識部130は、歩道、停止線(一時停止線を含む)、障害物、赤信号、料金所、道路構造その他の道路事象を認識してもよい。
認識部130は、自車線を認識する際に、自車線に対する自車両Mの相対的な位置や姿勢を認識する。認識部130は、例えば、車線中央に対する自車両Mの基準点の乖離、および自車両Mの進行方向を示すベクトルと車線中央を連ねた線とのなす角度を、自車線に対する自車両Mの相対位置および姿勢として認識してもよい。これに代えて、認識部130は、自車線のいずれかの側端部(道路区画線または道路境界)に対する自車両Mの基準点の位置などを、自車線に対する自車両Mの相対位置として認識してもよい。
また、認識部130は、カメラ10、レーダ装置12、およびファインダ14から物体認識装置16を介して入力された情報に基づいて、自車両Mの外部に存在する乗員(ユーザの一例)の顔の動きを認識し、その顔の動きから、乗員が見ている方向(以下、視線と称する)を認識する。言い換えれば、認識部130は、乗員の視線の先にある物または空間を認識する。具体的には、認識部130は、眼頭や眉などの基準対象物に対して、虹彩などの比較対象物の相対的な位置に応じて、視線を認識してよい。この際、認識部130は、乗員の身体の正面が向いている方向や、顔が向いている方向に基づいて、乗員の眼の動きから認識した視線を補正してもよい。
また、認識部130は、CNN(Convolutional Neural Network)やRNN(Recurrent Neural Network)などのディープニューラルネットワークやサポートベクターマシンなどのモデルを用いて、乗員の視線を認識してもよい。例えば、認識部130は、自車両Mの各位置に取り付けられたカメラ10の画像をモデルに入力し、その画像を入力したモデルの出力結果に基づいて、乗員の視線を認識する。例えば、モデルは、人間の顔を撮像した画像に対して、その人間がカメラの存在する方向(以下、第1方向)を見ているのか、或いは別の方向(以下、第2方向)を見ているのかを識別する情報が教師ラベルとして対応付けられた教師データに基づいて、予め学習された二値分類の識別器である。学習されたモデルは、画像が入力されると、その画像に写る人間の視線の方向が第1方向であるのか、或いは第2方向であるのかを示す二値(二つの尤度)に分類し、その分類結果を出力する。例えば、認識部130は、トランクリッドやリアウインドシールドに取り付けられたカメラ10の画像をモデルに入力したときに、そのモデルの出力結果が、第2方向を示す値に比して第1方向を示す値の方が大きい結果であった場合、乗員から見てトランクリッドやリアウインドシールドが存在する方向を、乗員の視線を示す方向として認識してよい。
また、認識部130は、カメラ10、レーダ装置12、およびファインダ14から物体認識装置16を介して入力された情報に基づいて、自車両Mの外部に存在する乗員のジェスチャ(又はボディランゲージ)を認識する。例えば、認識部130は、頭部、顔、手、腕、上半身、下半身といった身体の一部の動作を解析することで、ジェスチャを認識する。
行動計画生成部140は、イベント決定部142と、目標軌道生成部144と、停止位置決定部146とを備える。イベント決定部142は、推奨車線が決定された経路において自動運転のイベントを決定する。自動運転とは、自車両Mの乗員による運転操作子80の操作に依らずに、自車両Mの操舵または速度のうち一方または双方を制御して自車両Mを走行させることである。これに対して、手動運転は、運転操作子80に対する乗員の操作に応じて自車両Mの操舵および速度が制御されることである。自動運転のイベントとは、上述した自動運転下において自車両Mがとるべき挙動の様、すなわち走行態様を規定した情報である。
イベントには、例えば、自車両Mの乗員自らが駐車スペースに自車両Mを駐車するのではなく、バレーパーキングのように、自車両Mが自律走行して駐車スペースに駐車する自走駐車イベントや、自車両Mをその場で停止させる停止イベント、自車両Mを徐行させながら前進させる前進イベント、自車両Mを徐行させながら後退させる後退イベントなどが含まれる。
また、イベントには、例えば、自車両Mを一定の速度で同じ車線を走行させる定速走行イベント、自車両Mの前方の所定距離以内(例えば100[m]以内)に存在し、自車両Mに最も近い他車両(以下、前走車両と称する)に自車両Mを追従させる追従走行イベント、自車両Mを自車線から隣接車線へと車線変更させる車線変更イベント、道路の分岐地点で自車両Mを目的側の車線に分岐させる分岐イベント、合流地点で自車両Mを本線に合流させる合流イベント、自車両Mを一旦隣接車線に車線変更させて前走車両を隣接車線において追い越してから再び元の車線へと車線変更させる追い越しイベント、自車両Mの前方に存在する障害物を回避するために自車両Mに制動および操舵の少なくとも一方を行わせる回避イベント、自動運転を終了して手動運転に切り替えるためのテイクオーバーイベントなどが含まれてよい。「追従」とは、例えば、自車両Mと前走車両との相対距離(車間距離)を一定に維持させる走行態様であってもよいし、自車両Mと前走車両との相対距離を一定に維持させることに加えて、自車両Mを自車線の中央で走行させる走行態様であってもよい。
イベント決定部142は、自車両Mの走行時に認識部130により認識された周辺状況に応じて、現在の区間或いは次の区間に対して既に決定したイベントを他のイベントに変更したり、現在の区間或いは次の区間に対して新たなイベントを決定したりしてよい。
目標軌道生成部144は、原則的には推奨車線決定部61により決定された推奨車線を自車両Mが走行し、更に、自車両Mが推奨車線を走行する際に周辺状況に対応するため、イベントにより規定された走行態様で自車両Mを自動的に(運転者の操作に依らずに)走行させる将来の目標軌道を生成する。目標軌道には、例えば、将来の自車両Mの位置を定めた位置要素と、将来の自車両Mの速度や加速度等を定めた速度要素とが含まれる。
例えば、目標軌道生成部144は、自車両Mが順に到達すべき複数の地点(軌道点)を、目標軌道の位置要素として決定する。軌道点は、所定の走行距離(例えば数[m]程度)ごとの自車両Mの到達すべき地点である。所定の走行距離は、例えば、経路に沿って進んだときの道なり距離によって計算されてよい。
また、目標軌道生成部144は、所定のサンプリング時間(例えば0コンマ数秒程度)ごとの目標速度や目標加速度を、目標軌道の速度要素として決定する。また、軌道点は、所定のサンプリング時間ごとの、そのサンプリング時刻における自車両Mの到達すべき位置であってもよい。この場合、目標速度や目標加速度は、サンプリング時間および軌道点の間隔によって決定される。目標軌道生成部144は、生成した目標軌道を示す情報を、第2制御部160に出力する。
停止位置決定部146は、認識部130によって認識された乗員の視線に基づいて、各イベント下において、自車両Mを停止させる際に目標とする位置(以下、停止位置PSTと称する)を決定する。
例えば、停止位置決定部146は、乗員の視線の先にトランクリッドが存在する場合、すなわち、乗員が車外から自車両Mのトランクリッドを見ている場合、運転席や助手席を含む一列目の座席のドア(以下、前部座席ドアと称する)や、後部座席を含む二列目の座席のドア(以下、後部座席ドアと称する)などに比して、トランクリッドが乗員に最も近くなる位置(「第3位置」の一例)を、自車両Mの停止位置PSTに決定する。
また、例えば、停止位置決定部146は、乗員の視線の先に前部座席ドアが存在する場合、すなわち、乗員が車外から自車両Mの前部座席ドアを見ている場合、後部座席ドアやトランクリッドなどに比して、前部座席ドアが乗員に最も近くなる位置(「第1位置」の一例)を、自車両Mの停止位置PSTに決定する。
また、例えば、停止位置決定部146は、乗員の視線の先に後部座席ドアが存在する場合、すなわち、乗員が車外から自車両Mの後部座席ドアを見ている場合、前部座席ドアやトランクリッドなどに比して、後部座席ドアが乗員に最も近くなる位置(「第2位置」の一例)を、自車両Mの停止位置に決定する。
停止位置決定部146によって自車両Mの停止位置PSTが決定されると、目標軌道生成部144は、停止位置PSTに自車両Mを停止させる目標軌道を生成する。例えば、目標軌道生成部144は、自車両Mの現在位置から停止位置PSTに至るまでの一つの経路上に複数の軌道点を時系列に並べ、更に、停止位置PSTに自車両Mが近づくにつれて目標速度を低下させる目標軌道を生成する。
第2制御部160は、行動計画生成部140によって生成された目標軌道を、予定の時刻通りに自車両Mが通過するように、走行駆動力出力装置200、ブレーキ装置210、およびステアリング装置220のうち一部または全部を制御する。すなわち、第2制御部160は、行動計画生成部140によって生成された目標軌道に基づいて自車両Mを自動運転させる。
第2制御部160は、例えば、取得部162と、速度制御部164と、操舵制御部166とを備える。イベント決定部142と、目標軌道生成部144と、第2制御部160とを合わせたものは、「運転制御部」の一例である。
取得部162は、行動計画生成部140により生成された目標軌道(軌道点)の情報を取得し、記憶部190のメモリに記憶させる。
速度制御部164は、メモリに記憶された目標軌道に含まれる速度要素(例えば目標速度や目標加速度等)に基づいて、走行駆動力出力装置200およびブレーキ装置210の一方または双方を制御する。
操舵制御部166は、メモリに記憶された目標軌道に含まれる位置要素(例えば目標軌道の曲り具合を表す曲率等)に応じて、ステアリング装置220を制御する。
速度制御部164および操舵制御部166の処理は、例えば、フィードフォワード制御とフィードバック制御との組み合わせにより実現される。一例として、操舵制御部166は、自車両Mの前方の道路の曲率に応じたフィードフォワード制御と、目標軌道に対する自車両Mの乖離に基づくフィードバック制御とを組み合わせて実行する。
走行駆動力出力装置200は、車両が走行するための走行駆動力(トルク)を駆動輪に出力する。走行駆動力出力装置200は、例えば、内燃機関、電動機、および変速機などの組み合わせと、これらを制御するパワーECU(Electronic Control Unit)とを備える。パワーECUは、第2制御部160から入力される情報、或いは運転操作子80から入力される情報に従って、上記の構成を制御する。
ブレーキ装置210は、例えば、ブレーキキャリパーと、ブレーキキャリパーに油圧を伝達するシリンダと、シリンダに油圧を発生させる電動モータと、ブレーキECUとを備える。ブレーキECUは、第2制御部160から入力される情報、或いは運転操作子80から入力される情報に従って電動モータを制御し、制動操作に応じたブレーキトルクが各車輪に出力されるようにする。ブレーキ装置210は、運転操作子80に含まれるブレーキペダルの操作によって発生させた油圧を、マスターシリンダを介してシリンダに伝達する機構をバックアップとして備えてよい。なお、ブレーキ装置210は、上記説明した構成に限らず、第2制御部160から入力される情報に従ってアクチュエータを制御して、マスターシリンダの油圧をシリンダに伝達する電子制御式油圧ブレーキ装置であってもよい。
ステアリング装置220は、例えば、ステアリングECUと、電動モータとを備える。電動モータは、例えば、ラックアンドピニオン機構に力を作用させて転舵輪の向きを変更する。ステアリングECUは、第2制御部160から入力される情報、或いは運転操作子80から入力される情報に従って、電動モータを駆動し、転舵輪の向きを変更させる。
[自走駐車イベント−入庫時]
以下、自走駐車イベントを実行した行動計画生成部140の機能について説明する。自走駐車イベントを実行した行動計画生成部140は、例えば、通信装置20によって駐車場管理装置400から取得された情報に基づいて、自車両Mを駐車スペース内に駐車させる。図3は、自走駐車イベントが実行される場面を模式的に示す図である。道路Rdから訪問先施設に至るまでの経路には、ゲート300−inおよび300−outが設けられている。訪問先施設は、例えば、ショッピングストアや飲食店、ホテルなどの宿泊施設、空港、病院、イベント会場などである。
自車両Mは、手動運転または自動運転によって、ゲート300−inを通過して停止エリア310まで進行する。
停止エリア310は、訪問先施設に接続された乗降エリア320に面しており、車両から乗降エリア320に乗員を降ろしたり、乗降エリア320から車両に乗員を乗せたりするために、一時的に停車することが許された領域である。乗降エリア320は、車両から乗員が降車したり、車両に乗員が乗車したり、車両が到着するまで乗員がその場で待機したりするために設けられた領域である。乗降エリア320は、典型的には、停止エリア310が設けられた道路の片側一方に設けられる。乗降エリア320には、雨や雪、日差しを避けるための庇が設けられていてよい。
例えば、乗員を乗せた自車両Mは、停止エリア310で停車し、乗降エリア320に乗員を降ろす。その後、自車両Mは、無人で自動運転を行い、停止エリア310から、駐車場PA内の駐車スペースPSまで自律して移動する自走駐車イベントを開始する。自走駐車イベントの開始トリガは、例えば、訪問先施設の所定距離以内に自車両Mが接近したことであってもよいし、乗員が携帯電話などの端末装置で専用のアプリケーションを起動したことであってもよいし、通信装置20が駐車場管理装置400から無線により所定の信号を受信したことであってもよい。
行動計画生成部140は、自走駐車イベントを開始すると、通信装置20を制御して駐車リクエストを駐車場管理装置400に送信する。駐車リクエストを受信した駐車場管理装置400は、駐車場PAに車両が駐車可能なスペースが存在する場合、駐車リクエストの送信元の車両に、駐車リクエストのレスポンスとして所定の信号を送信する。所定の信号を受信した自車両Mは、停止エリア310から駐車場PAまで、駐車場管理装置400の誘導に従って、或いは自力でセンシングしながら移動する。なお、自走駐車イベントが行われる際、自車両Mは必ずしも無人である必要はなく、自車両Mには駐車場PAの係員などが乗車してもよい。
図4は、駐車場管理装置400の構成の一例を示す図である。駐車場管理装置400は、例えば、通信部410と、制御部420と、記憶部430とを備える。記憶部430には、駐車場地図情報432、駐車スペース状態テーブル434などの情報が格納されている。
通信部410は、自車両Mやその他の車両と無線により通信する。制御部420は、通信部410により取得(受信)された情報と、記憶部430に格納された情報とに基づいて、車両を駐車スペースPSに誘導する。駐車場地図情報432は、駐車場PAの構造を幾何的に表した情報であり、例えば、駐車スペースPSごとの座標を含む。駐車スペース状態テーブル434は、例えば、駐車スペースPSの識別情報である駐車スペースIDに対して、そのIDが示す駐車スペースに車両が駐車されていない空き状態であるのか、IDが示す駐車スペースに車両が駐車されている満(駐車中)状態であるのかを示す状態と、満状態である場合の駐車中の車両の識別情報である車両IDとが対応付けられたものである。
制御部420は、通信部410が車両から駐車リクエストを受信すると、駐車スペース状態テーブル434を参照して状態が空き状態である駐車スペースPSを抽出し、抽出した駐車スペースPSの位置を駐車場地図情報432から取得し、取得した駐車スペースPSの位置までの好適な経路を示す経路情報を、通信部410を用いて車両に送信する。また、制御部420は、複数の車両の位置関係に基づいて、同時に同じ位置に車両が進行しないように、必要に応じて特定の車両に停止を指示したり、徐行を指示したりしてよい。
自車両Mが駐車場管理装置400から経路情報を受信すると、行動計画生成部140は、経路に基づく目標軌道を生成する。例えば、行動計画生成部140は、自車両Mの現在位置から駐車スペースPSまでの経路において、駐車場PA内の制限速度よりも小さい速度を目標速度とし、駐車場PA内の道路の中央に軌道点を並べた目標軌道を生成してよい。認識部130は、自車両Mが目標となる駐車スペースPSに近づくと、駐車スペースPSを区画する駐車枠線などを認識し、自車両Mに対する駐車スペースPSの相対的な位置を認識する。認識部130は駐車スペースPSの位置を認識すると、その認識した駐車スペースPSの方位(自車両Mから見た駐車スペースの方角)や、駐車スペースPSまでの距離といった認識結果を、行動計画生成部140に提供する。行動計画生成部140は、提供された認識結果に基づいて目標軌道を補正する。第2制御部160は、行動計画生成部140によって補正された目標軌道に従って自車両Mの操舵および速度を制御することで、自車両Mを駐車スペースPSに駐車させる。
[自走駐車イベント−出庫時]
行動計画生成部140および通信装置20は、自車両Mが駐車中も動作状態を維持している。例えば、自車両Mから降りた乗員が、端末装置を操作して専用のアプリケーションを起動し、自車両Mの通信装置20に迎車リクエストを送信したとする。迎車リクエストとは、自車両Mから離れた遠隔地から自車両Mを呼び出して、自車両Mを自身の近くまで移動するように要求するコマンドである。
迎車リクエストが通信装置20によって受信されると、行動計画生成部140は、自走駐車イベントを実行する。自走駐車イベントを実行した行動計画生成部140は、自車両Mが駐車された駐車スペースPSから、停止エリア310まで自車両Mを移動させる目標軌道を生成する。第2制御部160は、行動計画生成部140によって生成された目標軌道に従って自車両Mを停止エリア310まで移動させる。例えば、行動計画生成部140は、停止エリア310までの経路において、駐車場PA内の制限速度よりも小さい速度を目標速度とし、駐車場PA内の道路の中央に軌道点を並べた目標軌道を生成してよい。
自車両Mが停止エリア310に近づくと、認識部130は、停止エリア310に面した乗降エリア320を認識し、乗降エリア320内に存在する人間や荷物などの物体を認識する。さらに、認識部130は、乗降エリア320内に存在する一以上の人間の中から、自車両Mの乗員を認識する。例えば、乗降エリア320内に複数の人間が存在しており、複数の乗員候補が存在する場合、認識部130は、自車両Mの乗員が保有する端末装置の電波強度や、自車両Mの施錠や開錠などが可能な電子キーの電波強度に基づいて、自車両Mの乗員と、それ以外の他の乗員とを区別して認識してよい。例えば、認識部130は、最も電波強度が強い人間を自車両Mの乗員として認識してよい。また、認識部130は、各乗員候補の顔の特徴量などに基づいて、自車両Mの乗員と、それ以外の他の乗員とを区別して認識してよい。自車両Mが自車両Mの乗員に近づくと、行動計画生成部140は、目標速度を更に小さくしたり、軌道点を道路中央から乗降エリア320寄りに近づけたりして目標軌道を補正する。これを受けて、第2制御部160は、停止エリア310内において、自車両Mを乗降エリア320側に寄せて停車させる。
また、行動計画生成部140は、迎車リクエストを受けて目標軌道を生成する際に、通信装置20を制御して駐車場管理装置400に発進リクエストを送信する。駐車場管理装置400の制御部420は、通信部410によって発進リクエストが受信されると、入庫時と同様に、複数の車両の位置関係に基づいて、同時に同じ位置に車両が進行しないように、必要に応じて特定の車両に停止を指示したり、徐行を指示したりする。自車両Mが停止エリア310まで移動し、乗降エリア320にいる乗員が自車両Mに乗車すると、行動計画生成部140は、自走駐車イベントを終了させる。以降は、自動運転制御装置100が、自車両Mを駐車場PAから市街地の道路へと合流させる合流イベントなどを計画し、その計画したイベントに基づいて自動運転を行ったり、乗員自らが自車両Mを手動運転したりする。
なお、上記の説明に限らず、行動計画生成部140は、通信に依らず、カメラ10、レーダ装置12、ファインダ14、または物体認識装置16による検出結果に基づいて空き状態の駐車スペースPSを自ら発見し、発見した駐車スペースPS内に自車両Mを駐車させてもよい。
[出庫時の処理フロー]
以下、出庫時の自動運転制御装置100による一連の処理についてフローチャートを用いて説明する。図5および図6は、第1実施形態に係る自動運転制御装置100による一連の処理の一例を示すフローチャートである。本フローチャートの処理は、例えば、所定周期で繰り返し行われてよい。本フローチャートの処理が行われる間、特段の断りがない限り、認識部130は、各種認識を行い続けるものとする。
まず、行動計画生成部140のイベント決定部142は、通信装置20によって迎車リクエストが受信されるまで待機し(ステップS100)、通信装置20によって迎車リクエストが受信されると、停止エリア310に至るまでの経路のイベントを、自走駐車イベントに決定する。これを受けて、目標軌道生成部144は、自車両Mが駐車された駐車スペースPSから停止エリア310へと自車両Mを移動させる目標軌道を生成する(ステップS102)。
次に、第2制御部160は、迎車リクエストが受信されたときに目標軌道生成部144によって生成された目標軌道に基づいて自動運転を行い、自車両Mを停止エリア310まで移動させる(ステップS104)。
次に、停止位置決定部146は、自車両Mが停止エリア310に近づくと、その停止エリア310に面した乗降エリア320内に存在する乗員の視線が認識部130によって認識されるまで待機し(ステップS106)、乗員の視線が認識部130によって認識されると、その乗員の視線に基づいて、停止エリア310内で自車両Mを停止させるべき停止位置PSTを決定する(ステップS108)。
図7は、自車両Mが停止エリア310に到着した場面の一例を示す図である。図中OPは、自車両Mの乗員を表し、Vは、認識部130によって認識された乗員OPの視線を表し、DR1は、自車両Mの前部座席ドアを表し、DR2は、自車両Mの後部座席ドアを表し、LTRは、自車両Mのトランクリッドを表している。
例えば、停止位置決定部146は、停止エリア310に自車両Mが到着したときに、乗員OPが自車両Mのボディのどこを見ているのかに応じて、停止位置PSTを決定する。図示の例では、乗員OPの視線Vの先に前部座席ドアDR1が存在しているため、停止位置決定部146は、後部座席ドアDR2やトランクリッドLTRに比して、前部座席ドアDR1が乗員OPに最も近くなる位置を、自車両Mの停止位置PSTに決定する。
次に、目標軌道生成部144は、停止位置決定部146によって決定された停止位置PSTに至る目標軌道を生成する(ステップS110)。次に、第2制御部160は、S110の処理で目標軌道生成部144が生成した目標軌道に基づいて、自車両Mの速度または操舵の少なくとも一方または双方を制御して、自車両Mを停止位置PSTに停車させる(ステップS112)。
図8は、停止位置PSTに自車両Mを停車させた場面の一例を示す図である。図中Laは、乗員OPから前部座席ドアDR1までの距離(以下、第1距離と称する)を表し、Lbは、乗員OPから後部座席ドアDR2までの距離(以下、第2距離と称する)を表し、Lcは、乗員OPからトランクリッドLTRまでの距離(以下、第3距離と称する)を表している。図7に例示する場面のように、乗員OPの視線Vの先に前部座席ドアDR1が存在している場合、停止位置PSTは、後部座席ドアDR2やトランクリッドLTRに比して、前部座席ドアDR1が乗員OPに最も近くなる位置に決定される。従って、自車両Mが停止位置PSTに停車したとき、第1距離La、第2距離Lb、および第3距離Lcのうち、第1距離Laが最も短くなる。このように、乗降エリア320内にいる乗員が、停止エリア310内で接近してきた自車両Mのボディの一部を見つめた場合、自車両Mが、乗員によって見つめられたボディの一部が乗員に最も近づくように停車するため、例えば、乗員が荷物を抱えた状態のときに、その荷物を収納したい座席やトランクを見つめることで、乗員自らが移動せずとも、荷物を収納したい座席やトランクが乗員の正面に位置するように自車両Mが能動的に乗員に近づいてくる。この結果、自車両Mを利用する際の利便性を向上させることができる。
図5および図6のフローチャートの説明に戻る。次に、停止位置決定部146は、自車両Mが停止位置PSTに停車した後に、乗降エリア320内に存在する乗員が同意ジェスチャを行ったことが認識部130によって認識されたか否かを判定する(ステップS114)。
同意ジェスチャとは、乗員が意図した位置に自車両Mが停車し、その位置から自車両Mを移動させる必要がないことを意思表示したジェスチャである。例えば、同意ジェスチャは、頭部を上下方向に振って頷くジェスチャである。同意ジェスチャは、「第1ジェスチャ」の一例である。
自車両Mが停止位置PSTに停車した後に、認識部130によって同意ジェスチャが認識されなかった場合、停止位置決定部146は、更に、乗降エリア320内に存在する乗員が拒否ジェスチャを行ったことが認識部130によって認識されたか否かを判定する(ステップS116)。
拒否ジェスチャとは、乗員が意図した位置に自車両Mが停車せず、その位置から自車両Mを移動させる必要があることを意思表示したジェスチャである。例えば、拒否ジェスチャは、頭部を左右方向に振るジェスチャである。拒否ジェスチャは、「第2ジェスチャ」の一例である。
自車両Mが停止位置PSTに停車した後に、認識部130によって同意ジェスチャが認識された場合、或いは認識部130によって同意ジェスチャと拒否ジェスチャとの双方が認識されなかった場合、停止位置決定部146は、S108の処理で決定した停止位置PSTを変更しない。これを受けて、目標軌道生成部144が、停止位置PSTに自車両Mを停止させ続ける目標軌道を生成し、第2制御部160が、その目標軌道に基づいて自車両Mの操舵または速度のうち少なくとも一方を制御することで、自車両Mをその場に待機させる(ステップS118)。
一方、自車両Mが停止位置PSTに停車した後に、認識部130によって同意ジェスチャが認識されず、拒否ジェスチャが認識された場合、停止位置決定部146は、拒否ジェスチャを行った乗員の視線に基づいて、停止位置PSTを再決定する(ステップS120)。以下、S108の処理で決定された停止位置PSTと、S120の処理で再決定された停止位置PSTとを区別するために、前者を「第1停止位置PST」と称し、後者を「第2停止位置PST」と称して説明する。
次に、目標軌道生成部144は、停止位置決定部146によって決定された第2停止位置PSTが、自車両Mの進行方向に関して第1停止位置PSTよりも後方に存在するか否かを判定し(ステップS122)、第2停止位置PSTが第1停止位置PSTよりも後方ではなく前方に存在する場合、自車両Mを前進させる目標軌道を生成する。これを受けて、第2制御部160は、自車両Mを第1停止位置PSTから第2停止位置PSTへと前進させる(ステップS124)。そして、目標軌道生成部144は、S114に処理を戻す。
一方、第2停止位置PSTが第1停止位置PSTよりも後方に存在する場合、目標軌道生成部144は、認識部130によって認識された自車両Mの後方の状況に基づいて、自車両Mが後退可能なスペース(以下、後退スペースと称する)が存在するか否かを判定する(ステップS126)。
例えば、後退スペースは、第1停止位置PSTを決定する際に基準とした自車両Mのボディの一部(例えば、前部座席ドアDR1、後部座席ドアDR2、トランクリッドLTR)と、第2停止位置PSTを決定する際に基準とした自車両Mのボディの一部との相対的な位置関係に基づいて決定されてよい。
具体的には、前部座席ドアDR1が乗員OPに最も近くなる位置が第1停止位置PSTに決定され、トランクリッドLTRが乗員OPに最も近くなる位置が第2停止位置PSTに決定された場合、或いは、反対に、トランクリッドLTRが乗員OPに最も近くなる位置が第1停止位置PSTに決定され、前部座席ドアDR1が乗員OPに最も近くなる位置が第2停止位置PSTに決定された場合、後退スペースは、自車両Mの進行方向に関して最も大きい寸法(例えば、自車両M一台分の全長)に設定される。
また、前部座席ドアDR1が乗員OPに最も近くなる位置が第1停止位置PSTに決定され、後部座席ドアDR2が乗員OPに最も近くなる位置が第2停止位置PSTに決定された場合や、後部座席ドアDR2が乗員OPに最も近くなる位置が第1停止位置PSTに決定され、トランクリッドLTRが乗員OPに最も近くなる位置が第2停止位置PSTに決定された場合、或いはこれらの反対の場合では、後退スペースは、自車両Mの進行方向に関して二番目に大きい寸法に設定される。
目標軌道生成部144は、後退スペースが存在すると判定した場合、車両Mを後退させる目標軌道を生成する。これを受けて、第2制御部160は、自車両Mを第1停止位置PSTから第2停止位置PSTへと後退させる(ステップS128)。そして、目標軌道生成部144は、S114に処理を戻す。
一方、目標軌道生成部144は、後退スペースが存在しないと判定した場合、S118の処理に移行し、第1停止位置PSTに自車両Mを停止させ続ける目標軌道を生成する。これを受けて、第2制御部160は、自車両Mを第1停止位置PSTに待機させる。これによって本フローチャートの処理が終了する。
図9は、自車両Mが停止エリア310に到着した場面の他の例を示す図である。図示の例では、乗員OPの視線Vの先にトランクリッドLTRが存在しているため、停止位置決定部146は、前部座席ドアDR1や後部座席ドアDR2に比して、トランクリッドLTRが乗員OPに最も近くなる位置を、自車両Mの第1停止位置PSTに決定する。
図10は、第1停止位置PSTに自車両Mを停車させた場面の一例を示す図である。図9に例示する場面のように、乗員OPの視線Vの先にトランクリッドLTRが存在している場合、第1停止位置PSTは、前部座席ドアDR1や後部座席ドアDR2に比して、トランクリッドLTRが乗員OPに最も近くなる位置に決定される。従って、自車両Mが第1停止位置PSTに停車したとき、第1距離La、第2距離Lb、および第3距離Lcのうち、第3距離Lcが最も短くなる。
トランクリッドLTRが乗員OPに最も近くなる第1停止位置PSTに自車両Mが停車したときに、乗員OPが拒否ジェスチャを行った場合、停止位置決定部146は、拒否ジェスチャを行った乗員の視線に基づいて、第2停止位置PSTを決定する。
図11は、拒否ジェスチャが行われた後の場面の一例を示す図である。図11に例示する場面では、拒否ジェスチャを行った乗員OPの視線Vの先に後部座席ドアDR2が存在している。従って、停止位置決定部146は、前部座席ドアDR1やトランクリッドLTRに比して、後部座席ドアDR2が乗員OPに最も近くなる位置を、自車両Mの第2停止位置PSTに決定する。
図12は、第2停止位置PSTに自車両Mを停車させた場面の一例を示す図である。図11に例示する場面のように、拒否ジェスチャを行った乗員OPの視線Vの先に後部座席ドアDR2が存在している場合、第1距離La、第2距離Lb、および第3距離Lcのうち、第2距離Lbが最も短くなる位置が第2停止位置PSTに決定されるため、第2制御部160は、自車両Mの後方に後退スペースがあれば、図示の例のように自車両Mを後退させる。この際、乗員OPが同意ジェスチャを行った場合、第2制御部160は、自車両Mを第2停止位置PSTに待機させる。
このように、乗員OPの視線を認識して、その視線の先に存在する車体の一部が乗員OPに最も近づくように自車両Mを自動運転によって移動させた後、乗員OPが拒否ジェスチャを行うと、再度、乗員OPの視線を認識し、その視線の先に存在する車体の一部が乗員OPに最も近づくように自車両Mを自動運転によって移動させるため、乗員OPが同意する(希望する)位置に自車両Mを移動させることができる。
以上説明した第1実施形態によれば、自車両Mの外部に存在する乗員OPの顔の動きを認識し、その認識した顔の動きに基づいて、乗員OPの視線を認識する認識部130と、認識部130により認識された乗員OPの視線に基づいて、自車両Mの停止位置PST(第1停止位置PST)を決定する停止位置決定部146と、停止位置決定部146によって決定された停止位置PSTに至る目標軌道を生成する目標軌道生成部144と、目標軌道生成部144によって生成された目標軌道に基づいて、自車両Mの速度または操舵の少なくとも一方を制御する第2制御部160と、を備えることによって、車外にいる乗員の顔の動きに基づいて自車両Mを遠隔制御することができる。
また、上述した第1実施形態によれば、停止位置決定部146が、停止位置PSTに自車両Mが移動した後に認識部130によって同意ジェスチャが認識された場合、停止位置PSTを変更せず、第1停止位置PSTに自車両Mが移動した後に認識部130によって拒否ジェスチャが認識された場合、停止位置PSTを再決定するため、乗員OPが同意する(希望する)位置に自車両Mを移動させることができる。
<第2実施形態>
以下、第2実施形態について説明する。第1実施形態では、乗員OPが車外から自車両Mを見つめたときに、その乗員OPの視線の先にある自車両Mのボディの位置に応じて、停止位置PSTを決定するものとして説明した。これに対して、第2実施形態では、車外にいる乗員OPが、自車両Mが走行する予定の道路を見つめた場合、その乗員OPの視線の先にある道路面の位置に応じて、停止位置PSTを決定する点で上述した第1実施形態と相違する。以下、第1実施形態との相違点を中心に説明し、第1実施形態と共通する点については説明を省略する。なお、第2実施形態の説明において、第1実施形態と同じ部分については同一符号を付して説明する。
第2実施形態に係る停止位置決定部146は、乗員OPの視線の先が停止エリア310の道路面である場合、すなわち、乗員OPが停止エリア310の道路面を見ている場合、その視線の先にある道路面の領域を、自車両Mの停止位置PSTに決定する。
図13は、自車両Mが停止エリア310に到着した場面の他の例を示す図である。図示の例では、乗員OPの視線Vの先に停止エリア310の道路面が存在しているため、停止位置決定部146は、視線の先にある道路面の領域を、自車両Mの停止位置PSTに決定する。具体的には、停止位置決定部146は、道路面に対して視線Vが交差する点を停止位置PSTに決定してもよいし、道路面に対して視線Vが交差する点を中心にした円や楕円に包含される領域を、停止位置PSTに決定してもよい。
図14は、停止位置PSTに自車両Mを停車させた場面の他の例を示す図である。図13に例示する場面のように、停止エリア310の道路面の一部が、停止位置PSTに決定された場合、目標軌道生成部144が、自車両Mの現在位置から、道路面上の停止位置PSTに至る目標軌道を生成し、第2制御部160が、その目標軌道に基づいて自車両Mの速度および操舵を制御する。これによって、図14に示すように、乗員OPの視線の先にあった位置に自車両Mが移動する。
以上説明した第2実施形態によれば、乗員OPの視線Vの先に停止エリア310の道路面が存在している場合、停止エリア310の道路面の一部を停止位置PSTに決定するため、第1実施形態と同様に、車外にいる乗員の顔の動きに基づいて自車両Mを遠隔制御することができる。
<その他の実施形態>
以下、その他の実施形態(変形例)について説明する。上述した第1実施形態あるいは第2実施形態では、駐車場PAから、訪問先施設に続く乗降エリア320に面した停止エリア310まで自車両Mを自動運転によってバレーパーキングのように移動させる際に、停止位置決定部146が、乗降エリア320で待機する乗員OPの視線に基づいて、自車両Mの停止位置PSTを決定するものとして説明したがこれに限られない。例えば、停止位置決定部146は、道路の路肩に乗員OPが待機しているときに、その乗員OPの視線に基づいて、自車両Mを道路に停止させる際の停止位置PSTを決定してもよい。
[ハードウェア構成]
図15は、実施形態の自動運転制御装置100のハードウェア構成の一例を示す図である。図示するように、自動運転制御装置100は、通信コントローラ100−1、CPU100−2、ワーキングメモリとして使用されるRAM100−3、ブートプログラムなどを格納するROM100−4、フラッシュメモリやHDDなどの記憶装置100−5、ドライブ装置100−6などが、内部バスあるいは専用通信線によって相互に接続された構成となっている。通信コントローラ100−1は、自動運転制御装置100以外の構成要素との通信を行う。記憶装置100−5には、CPU100−2が実行するプログラム100−5aが格納されている。このプログラムは、DMA(Direct Memory Access)コントローラ(不図示)などによってRAM100−3に展開されて、CPU100−2によって実行される。これによって、第1制御部120および第2制御部160のうち一部または全部が実現される。
上記説明した実施形態は、以下のように表現することができる。
プログラムを記憶したストレージと、
プロセッサと、を備え、
前記プロセッサが前記プログラムを実行することにより、
車両の外部に存在するユーザの顔の動きを認識し、
前記認識した顔の動きに基づいて、前記車両の停止位置を決定し、
少なくとも前記車両の速度を制御して、前記決定した前記停止位置に前記車両を停止させる、
ように構成されている車両制御装置。
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
1…車両システム、10…カメラ、12…レーダ装置、14…ファインダ、16…物体認識装置、20…通信装置、30…HMI、40…車両センサ、50…ナビゲーション装置、60…MPU、80…運転操作子、100…自動運転制御装置、120…第1制御部、130…認識部、140…行動計画生成部、142…イベント決定部、144…目標軌道生成部、146…停止位置決定部、160…第2制御部、162…取得部、164…速度制御部、166…操舵制御部、190…記憶部、200…走行駆動力出力装置、210…ブレーキ装置、220…ステアリング装置、M…自車両

Claims (8)

  1. 車両の外部に存在するユーザの顔の動きを認識する認識部と、
    前記認識部により認識された前記顔の動きに基づいて、前記車両の停止位置を決定する決定部と、
    少なくとも前記車両の速度を制御して、前記決定部により決定された前記停止位置に前記車両を停止させる運転制御部と、
    を備える車両制御装置。
  2. 前記車両には、進行方向に関して少なくとも二列以上並べられた座席と、貨物室とが設けられており、
    前記認識部は、前記ユーザの視線を前記顔の動きとして認識し、
    前記決定部は、前記認識部によって認識された前記視線に基づいて、前記ユーザが一列目の座席に最も近くなる第1位置、前記ユーザが二列目の座席に最も近くなる第2位置、または前記ユーザが前記貨物室に最も近くなる第3位置のいずれかを、前記停止位置に決定する、
    請求項1に記載の車両制御装置。
  3. 前記決定部は、
    前記停止位置に前記車両が移動した後に、前記認識部によって第1ジェスチャが認識された場合、前記停止位置を変更せず、
    前記停止位置に前記車両が移動した後に、前記認識部によって前記第1ジェスチャと異なる第2ジェスチャが認識された場合、前記停止位置を再決定する、
    請求項2に記載の車両制御装置。
  4. 前記第1ジェスチャは、前記ユーザが前記停止位置に同意する動作であり、
    前記第2ジェスチャは、前記ユーザが前記停止位置に同意しない動作である、
    請求項3に記載の車両制御装置。
  5. 前記決定部は、前記認識部によって前記第2ジェスチャが認識された場合、前記認識部によって認識された前記視線に基づいて、前記停止位置を再決定する、
    請求項3または4に記載の車両制御装置。
  6. 前記運転制御部は、前記決定部によって前記停止位置が再決定された場合、前記再決定された停止位置に前記車両を移動させる、
    請求項3から5のうちいずれか一項に記載の車両制御装置。
  7. 車載コンピュータが、
    車両の外部に存在するユーザの顔の動きを認識し、
    前記認識した顔の動きに基づいて、前記車両の停止位置を決定し、
    少なくとも前記車両の速度を制御して、前記停止位置に前記車両を停止させる、
    車両制御方法。
  8. 車載コンピュータに、
    車両の外部に存在するユーザの顔の動きを認識する処理と、
    前記認識した顔の動きに基づいて、前記車両の停止位置を決定する処理と、
    少なくとも前記車両の速度を制御して、前記停止位置に前記車両を停止させる処理と、
    を実行させるためのプログラム。
JP2019064027A 2019-03-28 2019-03-28 車両制御装置、車両制御方法、及びプログラム Active JP7236307B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019064027A JP7236307B2 (ja) 2019-03-28 2019-03-28 車両制御装置、車両制御方法、及びプログラム
US16/822,086 US11543820B2 (en) 2019-03-28 2020-03-18 Vehicle control apparatus, vehicle control method, and storage medium
CN202010195312.8A CN111762174B (zh) 2019-03-28 2020-03-19 车辆控制装置、车辆控制方法及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019064027A JP7236307B2 (ja) 2019-03-28 2019-03-28 車両制御装置、車両制御方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2020163906A true JP2020163906A (ja) 2020-10-08
JP7236307B2 JP7236307B2 (ja) 2023-03-09

Family

ID=72605853

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019064027A Active JP7236307B2 (ja) 2019-03-28 2019-03-28 車両制御装置、車両制御方法、及びプログラム

Country Status (3)

Country Link
US (1) US11543820B2 (ja)
JP (1) JP7236307B2 (ja)
CN (1) CN111762174B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023181122A1 (ja) * 2022-03-22 2023-09-28 本田技研工業株式会社 制御装置、制御方法、及び制御プログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4300358A1 (en) * 2022-06-27 2024-01-03 Robert Bosch GmbH A system for creating a software routine for vehicle maneuvers and a training method thereof
CN115158295A (zh) * 2022-06-29 2022-10-11 重庆长安汽车股份有限公司 车辆的泊车控制方法及装置
CN115440088B (zh) * 2022-07-25 2024-05-14 重庆大学 一种基于场的智能车辆换道决策方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150251697A1 (en) * 2014-03-06 2015-09-10 Ford Global Technologies, Llc Vehicle target identification using human gesture recognition
WO2018037954A1 (ja) * 2016-08-26 2018-03-01 ソニー株式会社 移動体制御装置、移動体制御方法、及び、移動体
US20200021961A1 (en) * 2018-07-10 2020-01-16 Cavh Llc Vehicle on-board unit for connected and automated vehicle systems
JP2020113130A (ja) * 2019-01-15 2020-07-27 トヨタ自動車株式会社 車両、情報処理装置、非常事態対応方法、及び、情報処理方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006069298A (ja) 2004-08-31 2006-03-16 Nissan Motor Co Ltd 車両用歩行者報知装置及び歩行者報知方法
KR102263153B1 (ko) * 2014-05-26 2021-06-10 엘지전자 주식회사 동작 인식 장치 및 그 동작 방법
JP6478415B2 (ja) * 2016-12-20 2019-03-06 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
JP6827893B2 (ja) * 2017-08-10 2021-02-10 本田技研工業株式会社 車両制御装置、車両制御方法、及びプログラム
JP6613527B2 (ja) * 2017-09-05 2019-12-04 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150251697A1 (en) * 2014-03-06 2015-09-10 Ford Global Technologies, Llc Vehicle target identification using human gesture recognition
WO2018037954A1 (ja) * 2016-08-26 2018-03-01 ソニー株式会社 移動体制御装置、移動体制御方法、及び、移動体
US20200021961A1 (en) * 2018-07-10 2020-01-16 Cavh Llc Vehicle on-board unit for connected and automated vehicle systems
JP2020113130A (ja) * 2019-01-15 2020-07-27 トヨタ自動車株式会社 車両、情報処理装置、非常事態対応方法、及び、情報処理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023181122A1 (ja) * 2022-03-22 2023-09-28 本田技研工業株式会社 制御装置、制御方法、及び制御プログラム

Also Published As

Publication number Publication date
CN111762174B (zh) 2023-09-19
US20200310430A1 (en) 2020-10-01
CN111762174A (zh) 2020-10-13
JP7236307B2 (ja) 2023-03-09
US11543820B2 (en) 2023-01-03

Similar Documents

Publication Publication Date Title
US10683014B2 (en) Vehicle control system, vehicle control method, and vehicle control program
JP6600878B2 (ja) 車両制御装置、車両制御方法、およびプログラム
CN110228472B (zh) 车辆控制系统、车辆控制方法及存储介质
JP7071173B2 (ja) 車両制御装置、車両制御方法、およびプログラム
JP7032295B2 (ja) 車両制御システム、車両制御方法、およびプログラム
JP7236307B2 (ja) 車両制御装置、車両制御方法、及びプログラム
JP7058236B2 (ja) 車両制御装置、車両制御方法、およびプログラム
US20200310457A1 (en) Vehicle control device, vehicle control method, and storage medium
JP2020152198A (ja) 車両制御システム、車両制御方法、及びプログラム
JP2020152197A (ja) 車両制御システム、車両制御方法、及びプログラム
JP2020144620A (ja) 車両制御装置、情報提供装置、情報提供システム、車両制御方法、情報提供方法、およびプログラム
JP7079744B2 (ja) 車両制御システムおよび車両制御方法
JP2020201700A (ja) 管理装置、車両管理方法、プログラム、および車両管理システム
JP2020187498A (ja) 管理装置、管理方法、およびプログラム
JP2020147066A (ja) 車両制御システム、車両制御方法、及びプログラム
JP7237684B2 (ja) 車両制御装置、車両制御方法、およびプログラム
JP7123840B2 (ja) 車両制御装置、監視システム、車両制御方法、およびプログラム
JP2020201701A (ja) 車両制御装置、車両制御方法、およびプログラム
JP2020149225A (ja) 車両制御システム、車両制御方法、及びプログラム
JP2020144673A (ja) 車両制御装置、車両制御方法、およびプログラム
US11377098B2 (en) Vehicle control device, vehicle control method, and storage medium
JP7157686B2 (ja) 車両制御装置、車両制御方法、及びプログラム
US20200282978A1 (en) Vehicle control system, vehicle control method, and storage medium
JP7005481B2 (ja) 車両制御システム、車両制御方法、およびプログラム
US11475767B2 (en) Information-processing device, vehicle control device, information-processing method, and storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210329

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220801

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230227

R150 Certificate of patent or registration of utility model

Ref document number: 7236307

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150