JP2020106929A - 車両制御システム、車両制御方法、およびプログラム - Google Patents

車両制御システム、車両制御方法、およびプログラム Download PDF

Info

Publication number
JP2020106929A
JP2020106929A JP2018242824A JP2018242824A JP2020106929A JP 2020106929 A JP2020106929 A JP 2020106929A JP 2018242824 A JP2018242824 A JP 2018242824A JP 2018242824 A JP2018242824 A JP 2018242824A JP 2020106929 A JP2020106929 A JP 2020106929A
Authority
JP
Japan
Prior art keywords
vehicle
user
unit
information
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018242824A
Other languages
English (en)
Other versions
JP7032295B2 (ja
Inventor
八州志 照田
Yasushi Teruda
八州志 照田
順平 野口
Junpei Noguchi
順平 野口
悠記 原
Yuki Hara
悠記 原
龍馬 田口
Ryoma Taguchi
龍馬 田口
雄太 高田
Yuta Takada
雄太 高田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2018242824A priority Critical patent/JP7032295B2/ja
Priority to US16/716,576 priority patent/US11340627B2/en
Priority to CN201911315473.XA priority patent/CN111391826B/zh
Publication of JP2020106929A publication Critical patent/JP2020106929A/ja
Application granted granted Critical
Publication of JP7032295B2 publication Critical patent/JP7032295B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09Taking automatic action to avoid collision, e.g. braking and steering
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/06Automatic manoeuvring for parking
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18Propelling the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Navigation (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

【課題】利用者の利便性を向上させることができる車両制御システム、車両制御方法、およびプログラムを提供すること。【解決手段】車両制御システム(2)は、車両の周辺状況を認識する第1認識部(130)と、前記第1認識部により認識された周辺状況に基づいて、乗員の操作に依らずに前記車両の操舵および加減速を制御する運転制御部(140、160)と、前記車両の車室内に置かれている物体を認識する第2認識部(18)と、前記車両に乗車していない利用者の行動に基づいて出力される移動指示であり、前記運転制御部の制御により前記車両を駐車場に移動させる前記移動指示を取得する取得部(134)と、を備え、前記運転制御部は、前記取得部により前記移動指示が取得され、且つ前記第2認識部により前記車室内に置かれている物体が認識された場合、前記利用者がアクセス可能なアクセス可能領域に前記車両を移動させ、または留まらせるものである。【選択図】図1

Description

本発明は、車両制御システム、車両制御方法、およびプログラムに関する。
近年、車両を自動的に制御することについて研究が進められている。この技術を利用した自動バレーパーキングにおいて、駐車からの出庫を要求する出庫要求信号を受信すると、出庫が要求された車両の駐車位置から乗車エリアまでの出庫走行経路を作成し、出庫走行経路の情報を車両に送信する駐車管理装置が開示されている(例えば引用文献1参照)。
特開2018−97536号公報
例えば、自動バレーパーキングが行われる際に、車両の利用者が車両から降車した後、車両が駐車場に向かうことで利用者にとって不都合が生じる場合があった。例えば、車両に置いた荷物を取り出したい場合、利用者は、車両を駐車場から出庫させる必要があった。
しかしながら、上記の技術では、上述した不都合を解消することについては考慮されていない。
本発明は、このような事情を考慮してなされたものであり、利用者の利便性を向上させることができる車両制御システム、車両制御方法、およびプログラムを提供することを目的の一つとする。
この発明に係る車両制御システム、車両制御方法、およびプログラムは、以下の構成を採用した。
(1):この発明の一態様に係る車両制御システムは、車両の周辺状況を認識する第1認識部と、前記第1認識部により認識された周辺状況に基づいて、乗員の操作に依らずに前記車両の操舵および加減速を制御する運転制御部と、前記車両の車室内に置かれている物体を認識する第2認識部と、前記車両に乗車していない利用者の行動に基づいて出力される移動指示であり、前記運転制御部の制御により前記車両を駐車場に移動させる前記移動指示を取得する取得部と、を備え、前記運転制御部は、前記取得部により前記移動指示が取得され、且つ前記第2認識部により前記車室内に置かれている物体が認識された場合、前記利用者がアクセス可能なアクセス可能領域に前記車両を移動させ、または留まらせるものである。
(2):上記(1)の態様において、前記アクセス可能領域は、前記駐車場とは異なる領域である。
(3):上記(1)または(2)の態様において、前記アクセス可能領域は、前記運転制御部の制御により前記車両を前記駐車場に移動させる際に前記車両に乗車している前記利用者が降車する降車領域、または前記駐車場に駐車していた前記車両が前記運転制御部の制御で出庫した際に前記利用者が前記車両に乗車する乗車領域である。
(4):上記(1)から(3)のいずれの態様において、前記車両に乗車していない前記利用者は、前記取得部により前記移動指示が取得された直前に前記車両に乗車していた前記利用者である。
(5):上記(1)から(4)のいずれの態様において、前記第2認識部は、前記車両に乗車していた利用車が降車した際に、前記車両の前記車室内に物体が置かれているか否かを判定する。
(6):上記(1)から(5)のいずれの態様において、前記運転制御部は、前記取得部により前記移動指示が取得され、且つ前記第2認識部により前記車室内に置かれている物体が認識されなかった場合、前記アクセス可能領域に前記車両を移動させずに、前記車両を前記駐車場に移動させる。
(7):上記(1)から(6)のいずれの態様において、前記利用者の位置情報を取得する位置情報取得部を、更に備え、前記運転制御部は、前記利用者の位置情報と、前記車両との位置情報に基づいて、前記アクセス可能領域に前記車両を前記運転制御部の制御で移動させる経路、または前記移動時の速度を変更する。
(8):上記(7)の態様において、前記運転制御部は、前記利用者の位置情報と、前記車両との位置情報とに基づいて、複数の前記アクセス可能領域のうち、前記利用者の位置に近い前記アクセス可能領域に前記車両を移動させる。
(9):上記(1)から(8)のいずれの態様において、前記取得部により前記移動指示が取得され、且つ前記第2認識部により前記車室内に置かれている物体が認識された場合、前記物体を前記車室内に置き忘れていることを示す情報を前記利用者の端末装置に提供する提供部を、更に備える。
(10):上記(1)から(9)のいずれの態様において、前記第2認識部は、前記車室内の様子を撮像する撮像部により撮像された画像に基づいて、前記物体を認識する。
(11):上記(1)から(10)のいずれの態様において、前記物体は、事前に撮像された画像に基づく情報に対応付けられて登録された物体であり、前記第2認識部が前記画像に基づいて前記事前に登録された物体を認識した場合に、前記利用者の端末装置に前記物体が前記車室内に忘れられていることを示す情報を通知する情報提供部を、更に備える。
(12):上記(1)から(11)のいずれの態様において、前記物体は、事前に撮像された画像に基づく情報に対応付けられて登録された物体とは異なる物体であり、前記第2認識部が前記画像に基づいて前記事前に登録されていない物体を認識した場合に、前記利用者の端末装置に前記物体が前記車室内に忘れられていることを示す情報を通知する情報提供部を、更に備える。
(13):上記(1)から(12)のいずれの態様において、前記利用者が前記アクセス可能領域の混雑度合を取得する混雑情報取得部を更に備え、前記運転制御部は、前記取得部により前記移動指示が取得され、且つ前記第2認識部により前記車室内に置かれている物体が認識された場合、前記混雑情報取得部により取得された混雑度合が所定度合以上の前記アクセス可能領域に前記車両を移動させない。
(14):上記(1)から(13)のいずれの態様において、前記運転制御部は、前記アクセス可能領域に前記車両を前記運転制御部の制御で移動させたときから所定時間経過した場合に、前記駐車場に前記車両を移動させる。
(15):上記(1)から(14)のいずれの態様において、前記移動指示を出力させた前記利用者の次回の前記車両の乗車予定時刻を取得する取得部を更に備え、前記運転制御部は、前記取得部により前記移動指示が取得され、前記第2認識部により前記車室内に置かれている物体が認識され、且つ前記取得部により取得された乗車予定時刻が現在の時刻から所定時間以内である場合、前記利用者が前記アクセス可能領域に前記車両を移動させない。
(16):この発明の一態様に係る車両制御方法は、コンピュータが、車両の周辺状況を認識し、前記認識された周辺状況に基づいて、乗員の操作に依らずに前記車両の操舵および加減速を制御し、前記車両の車室内に置かれている物体を認識し、前記車両に乗車していない利用者の行動に基づいて出力される移動指示であり、前記車両の操舵および加減速の制御により前記車両を駐車場に移動させる前記移動指示を取得し、前記移動指示が取得され、且つ前記車室内に置かれている物体が認識された場合、前記利用者がアクセス可能なアクセス可能領域に前記車両を移動させ、または留まらせる車両制御方法である。
(17):この発明の一態様に係るプログラムは、コンピュータに、車両の周辺状況を認識させ、前記認識された周辺状況に基づいて、乗員の操作に依らずに前記車両の操舵および加減速を制御し、前記車両の車室内に置かれている物体を認識させ、前記車両に乗車していない利用者の行動に基づいて出力される移動指示であり、前記車両の操舵および加減速の制御により前記車両を駐車場に移動させる前記移動指示を取得させ、前記移動指示が取得され、且つ前記車室内に置かれている物体が認識された場合、前記利用者がアクセス可能なアクセス可能領域に前記車両を移動させ、または留まらせるプログラムである。
(1)〜(6)、(10)、(16)、(17)によれば、利用者の利便性を向上させることができる。
(7)によれば、更に、周辺状況に応じて車両の挙動が変更される。この結果、例えば、周辺の混雑を考慮するように車両が行動する。
(8)によれば、更に、利用者にとって都合のよい位置に車両が到着するため、より利用者の利便性が向上する。
(9)によれば、更に、利用者は容易に車室内に物体を置き忘れていることを認識することができる。
(11)、(12)によれば、更に、より確実に利用者が置き忘れた物体を認識することができる。また、置き忘れていない物体に関する不要な通知を抑制することができる。
(13)、(14)によれば、更に、混雑を抑制することができる。
(15)によれば、更に、無用な車両の行動が抑制される。
車両制御システムを利用した車両システム2を含む駐車場管理システム1の構成図である。 実施形態に係る車両制御装置を利用した車両システム2の構成図である。 第1制御部120および第2制御部160の機能構成図である。 自走駐車イベントが実行される場面を模式的に示す図である。 駐車場管理装置400の構成の一例を示す図である。 移動処理の概要を説明するための図である。 端末装置500および自動運転制御装置100により実行される処理の流れの一例を示すフローチャートである。 ステップS104で撮像された画像(IM(t))と過去に撮像された画像(IM(t−1))との一例を示す図である。 特定物体が存在しない場合の自車両Mの挙動の一例を示す図である。 特定物体が存在する場合の自車両Mの挙動の一例を示す図である。 乗車エリア340が合流地点となる場面の一例を示す図である。 自動運転制御装置100により実行される処理の流れの一例を示すフローチャートである。 乗車エリア340が合流地点となる場面の他の一例を示す図(その1)である。 乗車エリア340が合流地点となる場面の他の一例を示す図(その2)である。 自動運転制御装置100により実行される処理の流れの一例を示すフローチャートである。 自動運転制御装置100により実行される物体が特定物体として登録される処理の流れの一例を示すフローチャートである。 タッチパネルに表示された抽出結果を示す画像IMの一例を示す図である。 登録された注視物体の一覧を示す注視物体テーブル180の一例を示す図である。 自動運転制御装置100により実行される利用者が降車時に車室内に特定物体が存在するか否かを判定する処理の流れの一例を示すフローチャートである。 スケジュール情報182の内容の一例を示す図である。 実施形態の自動運転制御装置100のハードウェア構成の一例を示す図である。
以下、図面を参照し、本発明の車両制御システム、車両制御方法、およびプログラムの実施形態について説明する。
図1は、車両制御システムを利用した車両システム2を含む駐車場管理システム1の構成図である。駐車場管理システム1は、例えば、車両システム2を搭載した一以上の車両(以下、自車両M)と、一以上の駐車場管理装置400と、一以上の端末装置500とを備える。これらの構成要素は、ネットワークNWを介して互いに通信可能である。ネットワークNWは、セルラー網や、Wi−Fi網、インターネット、WAN(Wide Area Network)、LAN(Local Area Network)、公衆回線、プロバイダ装置、専用回線、無線基地局などを含む。また、これらの構成要素は、それぞれネットワークNWを介さずに、直接、無線通信を行ってもよい。自車両Mおよび駐車場管理装置400の詳細については後述する。
端末装置500は、例えば、スマートフォン、タブレット端末、パーソナルコンピュータなどの利用者が携帯可能な端末装置である。端末装置500は、自車両Mと通信し、利用者のリクエストを自車両Mに送信したり、自車両Mまたは駐車場管理装置400から受信した情報に基づくプッシュ通知を行ったりする。また、端末装置500は、自装置の位置特定部により特定された位置情報を取得し、所定間隔ごとに自装置の位置情報と利用者IDを自車両Mまたは駐車場管理装置400に送信する。
[全体構成]
図2は、実施形態に係る車両制御装置を利用した車両システム2の構成図である。車両システム2が搭載される車両は、例えば、二輪や三輪、四輪等の車両であり、その駆動源は、ディーゼルエンジンやガソリンエンジンなどの内燃機関、電動機、或いはこれらの組み合わせである。電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。
車両システム2は、例えば、カメラ10と、レーダ装置12と、ファインダ14と、物体認識装置16と、車室内カメラ17と、車室内認識部18と、通信装置20と、HMI(Human Machine Interface)30と、車両センサ40と、ナビゲーション装置50と、MPU(Map Positioning Unit)60と、運転操作子80と、自動運転制御装置100と、走行駆動力出力装置200と、ブレーキ装置210と、ステアリング装置220とを備える。これらの装置や機器は、CAN(Controller Area Network)通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図2に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。
カメラ10は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の固体撮像素子を利用したデジタルカメラである。カメラ10は、車両システム2が搭載される車両(以下、自車両M)の任意の箇所に取り付けられる。前方を撮像する場合、カメラ10は、フロントウインドシールド上部やルームミラー裏面等に取り付けられる。カメラ10は、例えば、周期的に繰り返し自車両Mの周辺を撮像する。カメラ10は、ステレオカメラであってもよい。
レーダ装置12は、自車両Mの周辺にミリ波などの電波を放射すると共に、物体によって反射された電波(反射波)を検出して少なくとも物体の位置(距離および方位)を検出する。レーダ装置12は、自車両Mの任意の箇所に取り付けられる。レーダ装置12は、FM−CW(Frequency Modulated Continuous Wave)方式によって物体の位置および速度を検出してもよい。
ファインダ14は、LIDAR(Light Detection and Ranging)である。ファインダ14は、自車両Mの周辺に光を照射し、散乱光を測定する。ファインダ14は、発光から受光までの時間に基づいて、対象までの距離を検出する。照射される光は、例えば、パルス状のレーザー光である。ファインダ14は、自車両Mの任意の箇所に取り付けられる。
物体認識装置16は、カメラ10、レーダ装置12、およびファインダ14のうち一部または全部による検出結果に対してセンサフュージョン処理を行って、物体の位置、種類、速度などを認識する。物体認識装置16は、認識結果を自動運転制御装置100に出力する。物体認識装置16は、カメラ10、レーダ装置12、およびファインダ14の検出結果をそのまま自動運転制御装置100に出力してよい。車両システム2から物体認識装置16が省略されてもよい。
車室内カメラ17は、例えば、CCDやCMOS等の固体撮像素子を利用したデジタルカメラである。車室内カメラ17は、車室内に置かれた物体(忘れ物)を撮像するためのカメラである。車室内カメラ17は、例えば、自車両Mの車室内の様子を撮像可能な任意の箇所に取り付けられる。車室内カメラ17は、例えば、所定のタイミングまたは周期的に繰り返し自車両の車室内の様子を撮像する。車室内カメラ17は、ステレオカメラであってもよい。
車室内認識部18は、例えば、車室内カメラ17により撮像された画像に基づいて、物体を認識する。車室内認識部18は、例えば、パターンマッチングや、AI(Artificial Intelligence;人工知能)による機能、予め与えられたモデルによる機能等を用いて、所望の物体(例えば、バックや財布などの利用者が車室内に置く物体)を認識する。予め与えられたモデルとは、ディープラーニング等によって物体を認識するための学習が行われたモデルである。車室内認識部18は、「第2認識部」の一例である。
また、車室内認識部18は、以下の手法に基づいて、車室内の物体(例えば乗員)を認識してもよい。車両システム2は、例えば、シートに掛かる荷重を検出する着座センサや、シートベルトの装着状態を検出するシートベルトセンサ、車室内の音声を検出する音声検出部を備える。シートベルトセンサは、シートベルトの雄側バックルと雌側バックルとの接続状態を検出するセンサである。音声検出部は、車室内の音声が入力されるマイクにより取得された音声を解析し、解析結果に基づいて、乗員の声を検出する。
(a)車室内認識部18は、着座センサによりシートに荷重が掛かっていることが検出された場合、車室内に物体が存在すると認識してもよい。(b)車室内認識部18は、シートベルトセンサにより雄側バックルと雌側バックルとが接続状態であることが検出された場合、シートベルトが装着されているため、車室内に乗員が存在すると認識してもよい。(c)車室内認識部18は、音声検出部が乗員の声を検出した場合、車室内に乗員が存在すると認識してもよい。
また、車室内認識部18は、上記の(a)〜(c)のうち一以上の検出手法、または(a)〜(c)のうち一以上の検出手法と、上述した車室内カメラ17により撮像された画像に基づいて物体を検出する検出手法とを組み合わせて、物体(例えば乗員)が車室内に存在することを認識してもよい。例えば、車室内認識部18は、着座センサによりシートに掛かる荷重が検出され、且つ、シートベルトセンサによりシートベルトの雄側バックルと雌側バックルとの接続状態であることが検出された場合、乗員が車室内に存在すると認識する。また、例えば、車室内認識部18は、車室内カメラ17により撮像された画像に基づいてチャイルドシートを認識した場合、音声検出部により乗員が発声した音声(子供の声)が検出されて、画像処理においてチャイルドシートに存在する子供を認識した場合、乗員(子供)が車室内に存在すると認識する。
また、車室内認識部18は、例えば、通信デバイスと、車室内に置かれた物体に含まれる通信部との通信結果に基づいて、車室内に物体が置かれていることを認識してもよい。例えば、車両システム2には、車室内に通信デバイスが設けられる。通信デバイスは、Bluetooth(登録商標)などの所定の通信規格を用いて、物体に含まれる通信部と無線通信を行う。上記の通信部は、スマートフォンなどの携帯端末装置などに搭載された通信ユニットや、財布や貴重品等に設けられた紛失防止用の通信タグである。車室内認識部18は、車室内の通信デバイスと、上記の通信部との通信結果に基づいて、通信部を含む物体が車室内に存在するか否かを判定する。
例えば、車室内認識部18は、乗員が降車したと判定した後、物体に含まれる通信部により送信される電波の強度が、基準値から徐々に減少し、閾値を下回った場合、物体は乗員に持ち出され、車室内に存在しないと判定する。例えば、車室内認識部18は、乗員が降車したと判定した後、物体に含まれる通信部により送信される電波の強度が、基準値を所定時間の間、維持している場合、物体は乗員に持ち出されずに、車室内に存在すると判定する。このように、車室内認識部18が、通信デバイスと物体に含まれる通信部との通信結果に基づいて、物体が車室内に存在するか否かを判定することで、車室内カメラ17の画角外に存在する物体や、車室内が暗くて車室内カメラ17により撮像された画像では物体を検出することができない物体を検出することができる。
上述したように車室内認識部18は、上述した各検出手法を適宜組み合わせることで、より精度よく車室内の物体を認識することができる。
通信装置20は、例えば、上述したセルラー網やWi−Fi網などのネットワークNW、Bluetooth(登録商標)、DSRC(Dedicated Short Range Communication)などを利用して、端末装置500、自車両Mの周辺に存在する他車両または駐車場管理装置400、或いは各種サーバ装置と通信する。
HMI30は、自車両Mの乗員に対して各種情報を提示すると共に、乗員による入力操作を受け付ける。HMI30は、各種表示装置、スピーカ、ブザー、タッチパネル、スイッチ、キーなどを含む。
車両センサ40は、自車両Mの速度を検出する車速センサ、加速度を検出する加速度センサ、鉛直軸回りの角速度を検出するヨーレートセンサ、自車両Mの向きを検出する方位センサ等を含む。また、車両センサ40は、ドアの開閉を検出するセンサや、ドアロックの状態を検出するセンサを含んでもよい。
ナビゲーション装置50は、例えば、GNSS(Global Navigation Satellite System)受信機51と、ナビHMI52と、経路決定部53とを備える。ナビゲーション装置50は、HDD(Hard Disk Drive)やフラッシュメモリなどの記憶装置に第1地図情報54を保持している。GNSS受信機51は、GNSS衛星から受信した信号に基づいて、自車両Mの位置を特定する。自車両Mの位置は、車両センサ40の出力を利用したINS(Inertial Navigation System)によって特定または補完されてもよい。ナビHMI52は、表示装置、スピーカ、タッチパネル、キーなどを含む。ナビHMI52は、前述したHMI30と一部または全部が共通化されてもよい。経路決定部53は、例えば、GNSS受信機51により特定された自車両Mの位置(或いは入力された任意の位置)から、ナビHMI52を用いて乗員により入力された目的地までの経路(以下、地図上経路)を、第1地図情報54を参照して決定する。第1地図情報54は、例えば、道路を示すリンクと、リンクによって接続されたノードとによって道路形状が表現された情報である。第1地図情報54は、道路の曲率やPOI(Point Of Interest)情報などを含んでもよい。地図上経路は、MPU60に出力される。ナビゲーション装置50は、地図上経路に基づいて、ナビHMI52を用いた経路案内を行ってもよい。ナビゲーション装置50は、例えば、乗員の保有するスマートフォンやタブレット端末等の端末装置500の機能によって実現されてもよい。ナビゲーション装置50は、通信装置20を介してナビゲーションサーバに現在位置と目的地を送信し、ナビゲーションサーバから地図上経路と同等の経路を取得してもよい。
MPU60は、例えば、推奨車線決定部61を含み、HDDやフラッシュメモリなどの記憶装置に第2地図情報62を保持している。推奨車線決定部61は、ナビゲーション装置50から提供された地図上経路を複数のブロックに分割し(例えば、車両進行方向に関して100[m]毎に分割し)、第2地図情報62を参照してブロックごとに推奨車線を決定する。推奨車線決定部61は、左から何番目の車線を走行するといった決定を行う。推奨車線決定部61は、地図上経路に分岐箇所が存在する場合、自車両Mが、分岐先に進行するための合理的な経路を走行できるように、推奨車線を決定する。
第2地図情報62は、第1地図情報54よりも高精度な地図情報である。第2地図情報62は、例えば、車線の中央の情報あるいは車線の境界の情報等を含んでいる。また、第2地図情報62には、道路情報、交通規制情報、住所情報(住所・郵便番号)、施設情報、電話番号情報などが含まれてよい。第2地図情報62は、通信装置20が他装置と通信することにより、随時、アップデートされてよい。
運転操作子80は、例えば、アクセルペダル、ブレーキペダル、シフトレバー、ステアリングホイール、異形ステア、ジョイスティックその他の操作子を含む。運転操作子80には、操作量あるいは操作の有無を検出するセンサが取り付けられており、その検出結果は、自動運転制御装置100、もしくは、走行駆動力出力装置200、ブレーキ装置210、およびステアリング装置220のうち一部または全部に出力される。
自動運転制御装置100は、例えば、情報処理部110と、第1制御部120と、第2制御部160と、情報提供部170とを備える。これらの機能部は、それぞれ、例えば、CPU(Central Processing Unit)などのハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。また、これらの構成要素のうち一部または全部は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)などのハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め自動運転制御装置100のHDDやフラッシュメモリなどの記憶装置(非一過性の記憶媒体を備える記憶装置)に格納されていてもよいし、DVDやCD−ROMなどの着脱可能な記憶媒体に格納されており、記憶媒体(非一過性の記憶媒体)がドライブ装置に装着されることで自動運転制御装置100のHDDやフラッシュメモリにインストールされてもよい。第1制御部120および第2制御部160、あるいは第1制御部120、第2制御部160、情報処理部110、および情報提供部170は、「運転制御部」の一例である。
情報処理部110は、車室内認識部18や、通信装置20、車両センサ40などにより出力された情報または取得された情報を取得し、取得した情報に応じた処理を行う。処理の詳細については後述する。
図3は、第1制御部120および第2制御部160の機能構成図である。第1制御部120は、例えば、認識部130と、リクエスト信号取得部134と、行動計画生成部140とを備える。第1制御部120は、例えば、AIによる機能と、予め与えられたモデルによる機能とを並行して実現する。例えば、「交差点を認識する」機能は、ディープラーニング等による交差点の認識と、予め与えられた条件(パターンマッチング可能な信号、道路標示などがある)に基づく認識とが並行して実行され、双方に対してスコア付けして総合的に評価することで実現されてよい。これによって、自動運転の信頼性が担保される。
認識部130は、カメラ10、レーダ装置12、およびファインダ14から物体認識装置16を介して入力された情報に基づいて、自車両Mの周辺にある物体の位置、および速度、加速度等の状態を認識する。物体の位置は、例えば、自車両Mの代表点(重心や駆動軸中心など)を原点とした絶対座標上の位置として認識され、制御に使用される。物体の位置は、その物体の重心やコーナー等の代表点で表されてもよいし、表現された領域で表されてもよい。物体の「状態」とは、物体の加速度やジャーク、あるいは「行動状態」(例えば車線変更をしている、またはしようとしているか否か)を含んでもよい。
また、認識部130は、例えば、自車両Mが走行している車線(走行車線)を認識する。例えば、認識部130は、第2地図情報62から得られる道路区画線のパターン(例えば実線と破線の配列)と、カメラ10によって撮像された画像から認識される自車両Mの周辺の道路区画線のパターンとを比較することで、走行車線を認識する。なお、認識部130は、道路区画線に限らず、道路区画線や路肩、縁石、中央分離帯、ガードレールなどを含む走路境界(道路境界)を認識することで、走行車線を認識してもよい。この認識において、ナビゲーション装置50から取得される自車両Mの位置やINSによる処理結果が加味されてもよい。また、認識部130は、一時停止線、障害物、赤信号、料金所、その他の道路事象を認識する。
認識部130は、走行車線を認識する際に、走行車線に対する自車両Mの位置や姿勢を認識する。認識部130は、例えば、自車両Mの基準点の車線中央からの乖離、および自車両Mの進行方向の車線中央を連ねた線に対してなす角度を、走行車線に対する自車両Mの相対位置および姿勢として認識してもよい。これに代えて、認識部130は、走行車線のいずれかの側端部(道路区画線または道路境界)に対する自車両Mの基準点の位置などを、走行車線に対する自車両Mの相対位置として認識してもよい。
認識部130は、後述する自走駐車イベントにおいて起動する駐車スペース認識部132を備える。駐車スペース認識部132の機能の詳細については後述する。
リクエスト信号取得部134は、通信装置20を介して利用者の端末装置500により送信されたリクエスト信号(「移動指示」の一例)を取得する。リクエスト信号とは、後述する駐車リクエスト(移動指示)や、迎車リクエスト、アクセスリクエスト等である。リクエスト信号取得部134は、取得したリクエスト信号を行動計画生成部140に出力する。リクエスト信号取得部134は、「取得部」の一例である。
行動計画生成部140は、原則的には推奨車線決定部61により決定された推奨車線を走行し、更に、自車両Mの周辺状況に対応できるように、自車両Mが自動的に(運転者の操作に依らずに)将来走行する目標軌道を生成する。目標軌道は、例えば、速度要素を含んでいる。例えば、目標軌道は、自車両Mの到達すべき地点(軌道点)を順に並べたものとして表現される。軌道点は、道なり距離で所定の走行距離(例えば数[m]程度)ごとの自車両Mの到達すべき地点であり、それとは別に、所定のサンプリング時間(例えば0コンマ数[sec]程度)ごとの目標速度および目標加速度が、目標軌道の一部として生成される。また、軌道点は、所定のサンプリング時間ごとの、そのサンプリング時刻における自車両Mの到達すべき位置であってもよい。この場合、目標速度や目標加速度の情報は軌道点の間隔で表現される。
行動計画生成部140は、目標軌道を生成するにあたり、自動運転のイベントを設定してよい。自動運転のイベントには、定速走行イベント、低速追従走行イベント、車線変更イベント、分岐イベント、合流イベント、テイクオーバーイベント、バレーパーキングなどにおいて運転者の操作に依らずに自動走行(自動運転)して駐車する自走駐車イベント、バレーパーキングなどにおいて自動走行して駐車場から出庫して所定の乗車エリアに自走する自走迎車イベントなどがある。行動計画生成部140は、起動させたイベントに応じた目標軌道を生成する。行動計画生成部140は、例えば、リクエスト信号取得部134により出力されたリクエスト信号に基づいて、自走駐車イベントまたは自走迎車イベントを設定する。行動計画生成部140は、自走駐車イベントを実行する場合に起動する自走駐車制御部142を備える。自走駐車制御部142の機能の詳細については後述する。
第2制御部160は、行動計画生成部140によって生成された目標軌道を、予定の時刻通りに自車両Mが通過するように、走行駆動力出力装置200、ブレーキ装置210、およびステアリング装置220を制御する。
図3に戻り、第2制御部160は、例えば、取得部162と、速度制御部164と、操舵制御部166とを備える。取得部162は、行動計画生成部140により生成された目標軌道(軌道点)の情報を取得し、メモリ(不図示)に記憶させる。速度制御部164は、メモリに記憶された目標軌道に付随する速度要素に基づいて、走行駆動力出力装置200またはブレーキ装置210を制御する。操舵制御部166は、メモリに記憶された目標軌道の曲がり具合に応じて、ステアリング装置220を制御する。速度制御部164および操舵制御部166の処理は、例えば、フィードフォワード制御とフィードバック制御との組み合わせにより実現される。一例として、操舵制御部166は、自車両Mの前方の道路の曲率に応じたフィードフォワード制御と、目標軌道からの乖離に基づくフィードバック制御とを組み合わせて実行する。
情報提供部170は、リクエスト信号取得部134によりリクエスト信号が取得され、且つ車室内認識部18により車室内に置かれている物体が認識された場合、物体を車室内に置き忘れていることを示す情報を利用者の端末装置に提供する。
走行駆動力出力装置200は、車両が走行するための走行駆動力(トルク)を駆動輪に出力する。走行駆動力出力装置200は、例えば、内燃機関、電動機、および変速機などの組み合わせと、これらを制御するECU(Electronic Control Unit)とを備える。ECUは、第2制御部160から入力される情報、或いは運転操作子80から入力される情報に従って、上記の構成を制御する。
ブレーキ装置210は、例えば、ブレーキキャリパーと、ブレーキキャリパーに油圧を伝達するシリンダと、シリンダに油圧を発生させる電動モータと、ブレーキECUとを備える。ブレーキECUは、第2制御部160から入力される情報、或いは運転操作子80から入力される情報に従って電動モータを制御し、制動操作に応じたブレーキトルクが各車輪に出力されるようにする。ブレーキ装置210は、運転操作子80に含まれるブレーキペダルの操作によって発生させた油圧を、マスターシリンダを介してシリンダに伝達する機構をバックアップとして備えてよい。なお、ブレーキ装置210は、上記説明した構成に限らず、第2制御部160から入力される情報に従ってアクチュエータを制御して、マスターシリンダの油圧をシリンダに伝達する電子制御式油圧ブレーキ装置であってもよい。
ステアリング装置220は、例えば、ステアリングECUと、電動モータとを備える。電動モータは、例えば、ラックアンドピニオン機構に力を作用させて転舵輪の向きを変更する。ステアリングECUは、第2制御部160から入力される情報、或いは運転操作子80から入力される情報に従って、電動モータを駆動し、転舵輪の向きを変更させる。
[自走駐車イベント−入庫時]
自走駐車制御部142は、例えば、通信装置20によって駐車場管理装置400から取得された情報に基づいて、自車両Mを駐車スペース内に駐車させる。図4は、自走駐車イベントが実行される場面を模式的に示す図である。道路Rdから訪問先施設に至るまでの経路には、ゲート300−inが設けられている。自車両Mは、手動運転または自動運転によって、ゲート300−inを通過して停止エリア310まで進行する。停止エリア310は、訪問先施設の入口付近に設けられた降車エリア320に面している。降車エリア320には、例えば、雨や雪を避けるための庇が設けられている。
自車両Mは、停止エリア310で乗員を下した後、自動運転を行い、駐車場PA内の駐車スペースPSまで移動する自走駐車イベントを開始する。自走駐車イベントの開始トリガは、例えば、乗員による何らかの操作であってもよいし、駐車場管理装置400から無線により所定の信号を受信したことであってもよい。以下の説明では、一例として、開始トリガは、端末装置500により送信された信号であるものとする。自走駐車制御部142は、自走駐車イベントを開始する場合、通信装置20を制御して駐車リクエストを駐車場管理装置400に向けて発信する。そして、自車両Mは、停止エリア310から駐車場PAまで、駐車場管理装置400の誘導に従って、或いは自力でセンシングしながら移動する。
図5は、駐車場管理装置400の構成の一例を示す図である。駐車場管理装置400は、例えば、通信部410と、制御部420と、記憶部430とを備える。記憶部430には、駐車場地図情報432、駐車スペース状態テーブル434などの情報が格納されている。
通信部410は、自車両Mその他の車両(または端末装置500)と無線により通信する。制御部420は、通信部410により取得された情報と、記憶部430に格納された情報とに基づいて、車両を駐車スペースPSに誘導する。駐車場地図情報432は、駐車場PAの構造を幾何的に表した情報である。また、駐車場地図情報432は、駐車スペースPSごとの座標を含む。駐車スペース状態テーブル434は、例えば、駐車スペースPSの識別情報である駐車スペースIDに対して、空き状態であるか、満(駐車中)状態であるかを示す状態と、満状態である場合の駐車中の車両の識別情報である車両IDとが対応付けられたものである。
制御部420は、例えば、決定部422と、導出部424とを含む。制御部420は、通信部410が車両から駐車リクエストを受信すると、駐車スペース状態テーブル434を参照して状態が空き状態である駐車スペースPSを抽出し、抽出した駐車スペースPSの位置を駐車場地図情報432から取得し、取得した駐車スペースPSの位置までの好適な経路を、通信部410を用いて車両に送信する。また、制御部420は、複数の車両の位置関係に基づいて、同時に同じ位置に車両が進行しないように、必要に応じて特定の車両に停止・徐行などを指示する。
経路を受信した車両(以下、自車両Mであるものとする)では、自走駐車制御部142が、経路に基づく目標軌道を生成する。また、目標となる駐車スペースPSが近づくと、駐車スペース認識部132が、駐車スペースPSを区画する駐車枠線などを認識し、駐車スペースPSの詳細な位置を認識して自走駐車制御部142に提供する。自走駐車制御部142は、これを受けて目標軌道を補正し、自車両Mを駐車スペースPSに駐車させる。
決定部422は、自車両Mの位置情報や、端末装置500の位置情報等に基づいて、後述する、端末装置500の利用者と、自車両Mとが合流する合流地点(アクセス可能領域)を決定する。「アクセス可能領域」は、自走駐車イベントが開始されて自車両Mが駐車場に向かった後、利用者が特定物体を車室内から取り出すために、利用者と自車両Mとが合流する合流地点である。[アクセス可能領域の導出する処理]については後述する。「アクセス可能領域」は、例えば、駐車場とは異なる領域である。「アクセス可能領域」は、例えば、降車エリア320または後述する乗車エリア340である。降車エリア320は、例えば、自車両Mを自動運転で駐車場に移動させる際に自車両Mに乗車している利用者が降車する降車領域である。乗車エリア340は、駐車場に駐車していた自車両Mが自動運転で出庫した際に利用者が自車両Mに乗車する乗車領域である。「アクセス可能領域」は、例えば、降車エリア320または後述する乗車エリア340とは異なる自車両Mが停車可能な領域であってもよい。導出部424は、駐車場内の所定の領域の混雑度合を導出する。決定部422および導出部424の処理の詳細については後述する。
[自走駐車イベント−出庫時]
自走駐車制御部142および通信装置20は、自車両Mが駐車中も動作状態を維持している。自走駐車制御部142は、例えば、通信装置20が乗員の端末装置500から迎車リクエストを受信した場合、自車両Mのシステムを起動させ、自車両Mを図4に示す停止エリア330まで移動させる。停止エリア330は、訪問先施設の出口付近に設けられた乗車エリア340に面している。乗車エリア340には、例えば、雨や雪を避けるための庇が設けられている。
自車両Mを停止エリア330まで移動させる際に、自走駐車制御部142は、通信装置20を制御して駐車場管理装置400に発進リクエストを送信する。駐車場管理装置400の制御部420は、入庫時と同様に、複数の車両の位置関係に基づいて、同時に同じ位置に車両が進行しないように、必要に応じて特定の車両に停止・徐行などを指示する。停止エリア330まで自車両Mを移動させて乗員を乗せると自走駐車制御部142は動作を停止し、以降は手動運転、或いは別の機能部による自動運転が開始される。そして、停止エリア330と、道路Rdとの間に設けられたゲート300−outを通過して、道路Rdを走行する。
なお、上記の説明に限らず、自走駐車制御部142は、通信に依らず、カメラ10、レーダ装置12、ファインダ14、または物体認識装置16による検出結果に基づいて空き状態の駐車スペースを自ら発見し、発見した駐車スペース内に自車両Mを駐車させてもよい。
[移動処理(その1)]
自動運転制御装置100は、自車両Mに乗車していない利用者の行動に基づいて出力される駐車リクエスト信号(移動指示)であり、自車両Mを自動運転で(または自動走行させて)自車両Mを駐車場に移動させる駐車リクエスト信号を取得し、且つ車室内認識部18により自車両Mの車室内に置かれている物体が認識された場合、利用者がアクセス可能なアクセス可能領域に自車両Mを移動させる。以下、この処理を「移動処理」と称する。なお、自動運転で自車両Mを駐車場に移動させる処理や移動処理は、自車両Mの車室内に乗員が存在していてもよいし、自車両Mの車室内に乗員が存在していなくてもよい。
図6は、移動処理の概要を説明するための図である。例えば、停止エリア310において、車両の利用者が自車両Mから降車し(1)、端末装置500を操作して自車両Mに駐車リクエストを送信する(2)。上記(2)の処理が行われた場合において、車室内に忘れ物と推定される物体または利用者が降車時に保持していたいと推定される物体(以下、特定物体)が存在しない場合(3)、自車両Mは、自動運転で駐車スペース内に駐車する(後述する図9参照)。
上記(2)の処理が行われた場合において、車室内に特定物体が存在する場合(4)、自車両Mの自動運転制御装置100は、利用者の端末装置500に車室内に特定物体が置かれていることを示す情報を提供する(5)。利用者が、端末装置500を操作して特定物体を取り出したいことを示す情報を自動運転制御装置100に送信すると、自動運転制御装置100が、利用者が車室内から特定物体を取り出すために、利用者と合流する合流地点を決定し、決定した合流地点の情報を利用者の端末装置500に送信する(6)。そして、利用者および自車両Mは、自動運転で合流地点に向かう(後述する図10、図11参照)。
[フローチャート]
図7は、端末装置500および自動運転制御装置100により実行される処理の流れの一例を示すフローチャートである。本処理は、例えば、自車両Mが停止エリア310に停車した際に実行される処理である。
まず、自動運転制御装置100の情報処理部110が、車両センサ40の検出結果や、車室内認識部18の認識結果に基づいて、自車両Mの運転者(または乗員全員)が降車したか否かを判定する(ステップS100)。例えば、情報処理部110は、運転席のドアロックがアンロックされて開状態となり、その後、ドアが閉状態となりドアロックがロックされた場合、運転者が降車したと判定する。また、情報処理部110は、車室内認識部18の認識結果に基づいて、運転席に運転者が存在しないと判定した場合、運転者が降車したと判定する。なお、乗員全員が降車したか否かを判定する場合、情報処理部110は、車室内認識部18の認識結果に基づいて、車室内に乗員が存在しないと判定した場合、乗員全員が降車したと判定する。
次に、自動運転制御装置100のリクエスト信号取得部134が、端末装置500から駐車リクエスト信号を取得したか否かを判定する(ステップS102)。自車両Mから降車した利用者が、端末装置500に対して所定の操作を行うと、端末装置500は、駐車リクエスト信号を自動運転制御装置100に送信する(ステップS200)。自車両Mから降車した利用者は、「車両に乗車していない利用者」の一例である。すなわち、自車両Mから降車した利用者は、「移動指示が取得された直前に車両に乗車していた利用者」である。自動運転制御装置100は、駐車リクエスト信号に基づいて、前記駐車リクエスト信号を送信した端末装置500の利用者が、自車両Mに乗車していた利用者であるか判別することができる。この場合、例えば、駐車リクエスト信号と、利用者が撮像された画像に基づく情報とが対応付けられた対応情報が記憶部に記憶されている。自動運転制御装置100は、上記の対応情報を参照して、車室内カメラ17により撮像された画像を用いて、駐車リクエスト信号に対応付けられた利用者が直前に乗車していた利用者であるか否かを判定する。
リクエスト信号取得部134が、端末装置500から駐車リクエスト信号を取得すると、情報処理部110が、車室内カメラ17に画像を取得させる(ステップS104)。次に、情報処理部110が、車室内認識部18にステップS104で撮像された画像を解析させて車室内の様子を認識させる。情報処理部110は、車室内認識部18に上記の認識結果と、過去の画像を解析して得られた認識結果とを比較させて(ステップS106)、比較結果に基づいて、車室内に特定物体が存在するか否かを判定させる。そして、車室内認識部18は、判定結果を情報処理部110に出力する。過去の画像とは、ステップS100で降車した運転者(またはこの運転者を含む複数の乗員)が自車両Mに乗車する直前の画像である。例えば、情報処理部110は、例えば、運転者が自車両Mに乗車していない状態で、ドアロックがアンロックされたタイミングで車室内カメラ17に画像を取得させる。
次に、情報処理部110が、車室内認識部18の判定結果を取得し、取得した判定結果に基づいて、特定物体が存在するか否かを判定する(ステップS108)。すなわち、「車両に乗車していた利用車が降車した際に、車両の車室内に物体が置かれているか否かを判定される。図8は、ステップS104で撮像された画像(IM(t))と過去に撮像された画像(IM(t−1))との一例を示す図である。例えば、過去の画像において鞄が座席に置かれていなかったが、乗員が乗車した後に鞄が座席に置かれ、鞄が置かれたまま乗員が降車した場合、鞄は忘れ物(特定物体)であると推定される。
特定物体が存在しない場合、行動計画生成部140は、自車両Mを駐車場に移動させる(ステップS110)。図9は、特定物体が存在しない場合の自車両Mの挙動の一例を示す図である。例えば、時刻tで乗員が降車した後に、時刻t+1で特定物体が存在しないと判定された場合、自車両Mは、時刻t+2で駐車場の入口に進入して、時刻t+3で駐車スペースPSに駐車する。このように、自動運転制御装置100は、駐車リクエスト信号を取得し、且つ車室内に置かれている特定物体が認識されなかった場合、利用者がアクセス可能領域に自車両Mを移動させずに、自車両Mを駐車場に移動させる。そして、自車両Mは、自動運転で駐車スペースPSに駐車するため、利用者の利便性が向上する。
図7の説明に戻る。ステップS108において特定物体が存在する場合、自動運転制御装置100の情報提供部170が、端末装置500に特定物体が存在することを示す情報を送信する(ステップS112)。すなわち、情報提供部170は、特定物体を車室内に置き忘れていることを示す情報を利用者の端末装置500に提供する。特定物体が存在する場合、自車両Mが自動運転で駐車スペースPSに駐車する処理が中断される。
なお、ステップS100の判定において乗員全員が降車していないと判定した場合(乗員が車室内に存在している場合)に、ステップS102で端末装置500により駐車リクエストが送信された場合、自動運転制御装置100は、特定物体の有無に関わらず、その駐車リクエストを受け付けなくてもよい。受け付けないとは、自動運転制御装置100が、駐車リクエストの取得によって、移動処理を行わないことである。この場合、例えば、自動運転制御装置100は、自車両Mを、その場に留まらせる。また、自動運転制御装置100は、(特定物体が存在することを示す情報と共に)乗員が車室内に存在すること情報を端末装置500に送信する。端末装置500の利用者が、端末装置500を操作して、乗員が車室内に存在していることを認識した上で、移動処理を行うことを指示する指示情報を自動運転制御装置100に送信した場合、自動運転制御装置100は、上記の指示情報を取得したことに応じて、移動処理を実行してもよい。このように、車室内に乗員が存在する場合に、車室内に乗員が存在しているが移動処理を実行させる指示が利用者により明示的に行われた場合に、移動処理が実行される。
端末装置500は、ステップS112で送信された情報を取得すると、端末装置500の表示部に上記の送信された情報を表示させる(ステップS202)。表示部には、例えば、特定物体が存在することを示すテキストや、特定物体が含む画像(例えば図8、IM(t)などの画像)が表示される。また、表示部には、特定物体を車室内から取り出したいか否かを問い合わせる画像が表示される。この場合において、降車した乗員が、特定物体を車室内から取り出したいことを示す情報を送信するための操作を行うと、端末装置500は、その操作に基づいて、アクセスリクエストを自車両Mに送信する(ステップS204)。アクセスリクエストは、アクセス可能領域に自車両Mを移動させるリクエストである。
次に、行動計画生成部140は、ステップS112の処理を行ったときから、所定時間以内にアクセスリクエストを取得したか否かを判定する(ステップS114)。所定時間以内にアクセスリクエストが取得されなかった場合、ステップS110の処理に進む。
所定時間以内にアクセスリクエストが取得された場合、情報処理部110は、合流地点(アクセス可能領域)を決定する(ステップS116)。合流地点の決定に関する処理については後述する。次に、情報提供部170が、決定結果を示す情報を端末装置500に送信する(ステップS118)。
端末装置500は、ステップS118で送信された決定結果を示す情報を表示部に表示させる(ステップS206)。ステップS118の処理後、行動計画生成部140は、合流地点に自車両Mを移動させる(ステップS120)。これにより、本フローチャートの1ルーチンの処理は終了する。
ステップS120の処理において自車両Mが合流地点に移動した場合において、利用者により車室内から特定物体が取り出され、利用者が端末装置500を操作して、再度、駐車リクエストを自車両Mに送信した場合、自車両Mは駐車場に移動する。
なお、行動計画生成部140は、決定結果を示す情報が端末装置500に送信された後、端末装置500から決定結果に同意することを示す情報が送信された場合に、合流地点に移動してもよい。決定結果に関して同意がされなかった場合、代替案が端末装置500に送信されてもよい。また、情報提供部170は、複数の合流地点を利用者に提供してもよい。この場合、行動計画生成部140は、利用者により選択された合流地点に自車両Mを移動させる。
また、情報提供部170が決定結果を示す情報を端末装置500に送信してから、所定時間以内に、行動計画生成部140が、端末装置500から決定結果に関して同意することを示す情報を取得することができなかった場合、合流地点に移動せずに、駐車場に自車両Mを移動させてもよい。
図10は、特定物体が存在する場合の自車両Mの挙動の一例を示す図である。例えば、時刻tで乗員が降車した後に、時刻t+1で特定物体が存在する判定された場合、自車両Mは、時刻t+2で合流地点(停止エリア310)に停車して、利用者と合流する。そして、利用者が、特定物体を車室内から取り出した後、端末装置500を操作して、駐車リクエストを自車両Mに送信する。自車両Mは、駐車リクエストを取得すると、駐車場に向けて発進し、時刻t+3で駐車場の入口に進入して、時刻t+4で駐車スペースPSに駐車する。
このように、特定物体が存在する場合、自動運転制御装置100は、利用者が車室内から特定物体を簡便に取り出せるように合流地点に自車両Mを移動させる。そして、再度、駐車リクエストを取得した場合、自動運転で駐車スペースPSに駐車するため、利用者の利便性が向上する。
また、自動運転制御装置100は、利用者が合流地点に自車両Mを自動運転で移動させたときから所定時間経過した場合に、駐車場に自車両Mを移動させる。例えば、自車両Mが合流地点に到着したが、所定時間経過しても利用者が合流地点に現れなかった場合、自車両Mを駐車場に移動させることで、混雑が発生することを抑制させる。
また、自動運転制御装置100は、アクセス可能領域に自車両Mを移動させることに代えて(或いは加えて)、自車両Mを、その場に留まらせてもよい。例えば、自車両Mの運転手が降車後から所定時間以内(数秒〜数十秒以内)に特定物体が車室内に存在することが認識された場合、自動運転制御装置100は、自車両Mを、その場に留まらせてもよい。
[移動処理(その2)]
上述した[移動処理(その1)]では、降車エリア320を合流地点としたが、[移動処理(その2)]では、降車エリア320または乗車エリア340を合流地点とする。例えば、自動運転制御装置100は、利用者の位置情報と、自車両Mとの位置情報とに基づいて、利用者がアクセス可能領域に車両を自動運転で移動させる経路を変更する。例えば、自動運転制御装置100は、利用者の位置情報と、自車両Mとの位置情報とに基づいて、複数の合流地点のうち、利用者の位置に近い領域に車両を移動させる。換言すると、利用者の位置情報と、自車両Mとの位置情報とに基づいて、車両が移動する経路または移動時の速度が変更される。移動時の速度が変更されるとは、利用者の合流地点への到着時間に合わせて車両が移動するように速度が変更されることである。
図11は、乗車エリア340が合流地点となる場面の一例を示す図である。図10の説明と同様の説明については省略する。例えば、時刻t+1で特定物体が存在する判定され、時刻t+2において車室内に特定物体が存在することを示す情報が端末装置500に送信されたものとする。この場合、端末装置500を保持する利用者が、上記の通知に気が付かず、時刻t+3で通知に気が付いた。この場合、利用者の位置は、降車エリア320よりも乗車エリア340に距離が近いため、自動運転制御装置100は、合流地点を乗車エリア340に決定し、自車両Mを乗車エリア340に移動させる。この場合、利用者の合流地点への到着時間に合わせて自車両Mは移動する。例えば、自動運転制御装置100は、利用者が合流地点に到着する前に到着できるように自車両Mの速度を制御する。
時刻t+4において、自車両Mと利用者とは、乗車エリア340において合流し、利用者は車室内から特定物体を取り出して、自動運転制御装置100に駐車リクエストを送信する。自動運転制御装置100は、駐車リクエストを取得すると、再度、降車エリア320を通過して駐車場の入口に進入して、時刻t+5において、駐車スペースPSに自車両Mを駐車させる。
このように、特定物体が存在する場合、自動運転制御装置100は、利用者が車室内から特定物体を簡便に取り出せるように、利用者から距離が近い合流地点に自車両Mを移動させる。利用者は、移動距離が短い合流地点で特定物体を車室内から取り出せるため、より利用者の利便性が向上する。
合流地点は、例えば、駐車場管理装置400または自動運転制御装置100(例えば情報処理部110)により決定される。以下の説明では、一例として、駐車場管理装置400が、合流地点を決定するものとして説明する。自動運転制御装置100が、合流地点を決定する場合、以下に説明する駐車場管理装置400が行う処理と同等の処理を行う。
図12は、自動運転制御装置100により実行される処理の流れの一例を示すフローチャートである。まず、制御部420の決定部422は、端末装置500の位置情報を取得する(ステップS300)。次に、決定部422は、自車両Mの位置情報を取得する(ステップS302)。
次に、決定部422は、端末装置500の位置から降車エリア320までの距離、および端末装置500の位置から降車エリア320までの距離を導出し、これらの距離のうち、短い距離のエリアAR1を決定する(ステップS304)。
次に、決定部422は、自車両Mの位置から降車エリア320までの距離、および自車両Mの位置から降車エリア320までの距離を導出し、これらの距離のうち、短い距離のエリアAR2を決定する(ステップS306)。
次に、決定部422は、ステップS304で決定されたエリアAR1と、ステップS306で決定されたエリアAR2とが一致するか否かを判定する(ステップS308)。エリアAR1とエリアAR2とが一致する場合、決定部422は、一致するエリアを合流地点として決定し、決定した合流地点の情報を自車両Mに送信する(ステップS310)。なお、端末装置500は、合流地点のエリアの情報を、自車両Mに代えて、駐車場管理装置400から取得してもよい。
エリアAR1とエリアAR2とが一致しない場合、決定部422は、端末装置500の利用者からの距離が近いエリアAR1を合流地点として決定し、決定した合流地点の情報を自車両Mに送信する(ステップS312)。これにより本フローチャートの1ルーチンの処理は終了する。
なお、合流地点の決定において、移動距離に加え、移動の困難度が加味されてもよい。例えば、駐車場管理装置400の記憶部430には、所定の位置から降車エリア320や、乗車エリア340に移動する場合の困難度を示す情報が記憶されている。決定部422は、移動距離に基づく指標と、各エリアに移動する場合の困難度に基づく指標とを統計処理して、利用者が移動しやすいエリア(最も、または他のエリアよりも移動が容易なエリア)を合流地点として決定してもよい。
このように、駐車場管理装置400は、利用者にとって好適な合流地点を決定することができる。この結果、利用者の利便性を向上する。
[移動処理(その3)]
上述した[移動処理(その1)]では、降車エリア320を合流地点としたが、[移動処理(その3)]では、降車エリア320または乗車エリア340の混雑度を加味して合流地点が決定される。導出部424は、利用者が合流地点(アクセス可能領域)の混雑度合を導出し、導出結果に基づいて、混雑度合が所定度合以上のエリアを導出する。そして、自動運転制御装置100は、駐車リクエストを取得し、且つ車室内に置かれている特定物体が認識した場合、導出部424により導出された混雑度合が所定度合以上の合流地点(アクセス可能領域)に自車両Mを移動させない。
図13は、乗車エリア340が合流地点となる場面の他の一例を示す図(その1)である。図10の説明と同様の説明については省略する。例えば、時刻t+1で特定物体が存在する判定され、時刻t+2において車室内に特定物体が存在することを示す情報が端末装置500に送信されたものとする。このとき、端末装置500を保持する利用者が降車エリア320付近に存在するが、降車エリア320が、所定度合以上、混雑している場合、所定度合以上、混雑していない乗車エリアが合流地点に決定される。そして、自動運転制御装置100は、自車両Mを乗車エリア340に移動させる。
時刻t+3において、自車両Mと利用者とは、乗車エリア340において合流し、利用者は車室内から特定物体を取り出して、自動運転制御装置100に駐車リクエストを送信する。自動運転制御装置100は、駐車リクエストを取得すると、再度、降車エリア320を通過して駐車場の入口に進入して、時刻t+4において、駐車スペースPSに自車両Mを駐車させる。
このように、特定物体が存在する場合において、自動運転制御装置100は、降車エリア320(または乗車エリア340)の混雑度合を加味して、合流地点を決定するため、施設の混雑度合を抑制させることができる。
図14は、乗車エリア340が合流地点となる場面の他の一例を示す図(その2)である。図10の説明と同様の説明については省略する。例えば、時刻t+1で特定物体が存在する判定され、時刻t+2において車室内に特定物体が存在することを示す情報が端末装置500に送信されたものとする。また、端末装置500を保持する利用者が降車エリア320付近に存在している。このとき、降車エリア320および乗車エリア340が、所定度合以上、混雑している場合、自動運転制御装置100は、自車両Mを駐車場に移動させる。
これにより、時刻t+3において、自動運転制御装置100は、自車両Mを駐車場の入口に進入させ、時刻t+4において、駐車スペースPSに自車両Mを駐車させる。
このように、特定物体が存在する場合であっても、施設が混雑している場合は、自動運転制御装置100は、駐車場に自車両Mを移動させることにより、施設の混雑度合を抑制させることができる。
混雑度合は、例えば、駐車場管理装置400または自動運転制御装置100(例えば情報処理部110)により導出される。以下の説明では、一例として、駐車場管理装置400が、合流地点を決定するものとして説明する。自動運転制御装置100が、混雑度合を導出する場合、以下に説明する駐車場管理装置400が行う処理と同等の処理を行う。
図15は、自動運転制御装置100により実行される処理の流れの一例を示すフローチャートである。図15のステップS300〜S308の処理は、図12のステップS300〜S308の処理と同様のため、説明を省略する。
エリアAR1とエリアAR2とが一致する場合、決定部422は、一致するエリアを候補合流地点として決定する(ステップS311)。エリアAR1とエリアAR2とが一致しない場合、決定部422は、端末装置500の利用者からの距離が近いエリアAR1を候補合流地点として決定する(ステップS313)。
次に、導出部424が、施設内の車両の位置情報に基づいて、混雑度合を導出する(ステップS314)。施設とは、駐車場PAや降車エリア320、乗車エリア340、これらの領域間を移動する際に利用される経路を含む駐車場に関する施設である。混雑度合とは、例えば、単位領域ごとの車両の数(例えば密度)である。例えば密度が高いほど混雑度合が高い。
次に、決定部422が、候補合流地点の混雑度合が閾値以下であるか否かを決定する(ステップS316)。候補合流地点の混雑度合が閾値以下である場合、決定部422は、ステップS316の処理で混雑度合が閾値以下であると判定された候補合流地点を合流地点として決定し、決定した合流地点の情報を自車両M(または端末装置500)に送信する(ステップS318)。
候補合流地点の混雑度合が閾値以下でない場合(閾値を超える場合)、決定部422は、閾値以下の合流地点(例えば閾値以下のアクセス可能領域)が存在するか否かを判定する(ステップS320)。閾値以下の合流地点が存在する場合、決定部422は、閾値以下の合流地点を合流地点に決定し、決定した合流地点の情報を自車両M(または端末装置500)に送信する(ステップS322)。
なお、ステップS322で複数の合流地点が存在する場合、利用者が移動しやすい合流地点(利用者の位置から距離が近い合流地点)、または混雑度合が最も低い合流地点が、合流地点として決定されてもよい。また、ステップS322で複数の合流地点が存在する場合、利用者の移動しやすさと、混雑度合とが統計処理された結果に基づいて、合流地点が決定されてもよい。
ステップS320で閾値以下の合流地点が存在しない場合、決定部422は、合流地点が決定できなかったことを示す情報を自車両M(または端末装置500)に送信する(ステップS324)。すなわち、利用者と合流せずに駐車場に移動することを要求する情報が自車両Mに送信される。これにより、本フローチャートの1ルーチンの処理は終了する。
上述した処理により、特定物体が存在する場合であっても、施設が混雑している場合は、自動運転制御装置100は、駐車場に自車両Mを移動させることにより、施設の混雑度合を抑制させることができる。
[移動処理(その4)]
自動運転制御装置100は、利用者の位置情報と、自車両Mとの位置情報とに基づいて、アクセス可能領域に車両を自動運転で移動させる際の移動時の速度を変更する。
例えば、自動運転制御装置100の情報処理部110が、駐車場管理装置400により送信された特定指示に基づいて、利用者が合流地点に到着する時刻または利用者の合計地点に対する位置に基づいて移動時の速度を変更する。特定指示とは、移動速度や、合流地点への到着時間、現在、停車している地点を出発する時刻などの指示である。
例えば、導出部424が、利用者の位置情報(または移動軌跡や移動速度)と、自車両Mとの位置情報(または移動軌跡や移動速度)とに基づいて、利用者が合流地点に到着するタイミングに合致するタイミングで、自車両Mが合流地点に到着するように特定指示を導出する。例えば、導出部424は、合流地点の混雑度合が、現在、停車している地点の混雑度合よりも高い場合、特定指示に基づいて、現在、停車している地点に自車両Mを所定時間停車させたり、現在、停車している地点から合流地点に向かうまでの経路における速度を変更させたりする指示を生成する。
また、導出部424は、合流地点が、所定度合以上、混雑している場合、自車両Mを迂回させて合流地点に向かわせる指示を生成したり、合流地点に向かっている自車両Mに迂回して合流地点に向かう指示を生成したりする。すなわち、「車両を自動運転で移動させる経路を変更」させる。
[比較例との対比]
比較例の車両制御システムは、利用者が駐車リクエストを送信した後、車室内から特定物体を取り出したい場合であっても、駐車リクエストに応じて自車両を駐車場に移動させたり、自車両を駐車スペースに駐車させたりしてしまう。この場合、利用者は、再度、駐車場から自車両を出庫させる必要があり、自車両と合流するまで時間が掛かったり、自車両の移動コストが掛かったりする場合がある。また、自車両の移動によって、駐車場の運営において運営に関するコストが増加したり、駐車場の混雑に影響したりする場合がある。
これに対して、本実施形態の自動運転制御装置100は、利用者が駐車リクエストを送信した後、特定物体が車室内に存在する場合、自車両Mが駐車場に移動したり、駐車スペースに駐車したりすることが抑制され、駐車場とは異なるアクセス可能領域に移動する。この結果、利用者は、コストを掛けずに自車両Mと合流することができる。コストとは、例えば、自車両Mまたは利用者の移動に関するコストや、駐車場の運営におけるコストである。また、利用者は、駐車場の混雑に影響を与えることを抑制しつつ、簡便に自車両Mと合流することができる。
以上説明した第1実施形態によれば、自動運転制御装置100が、駐車リクエストを取得し、且つ車室内に置かれている特定物体を認識した場合、利用者がアクセス可能領域に自車両Mを自動運転で移動させる、または留まらせることにより、利用者の利便性を向上させることができる。
<第2実施形態>
以下、第2実施形態について説明する。第1実施形態では、自動運転制御装置100が、過去の車室内の様子が撮像された画像と、利用者が降車するときに車室内の様子が撮像された画像とが比較して、特定物体の有無が判定するものとした。第2実施形態では、自動運転制御装置100は、利用者の操作に基づいて登録された物体を特定物体として扱い、登録された物体が、利用者が降車時に車室内に存在する場合、特定物体が車室内に存在すると判定する。以下、第1実施形態との相違点を中心に説明する。
図16は、自動運転制御装置100により実行される物体が特定物体として登録される処理の流れの一例を示すフローチャートである。まず、情報処理部110は、自車両Mに利用者が乗車した後に、車室内カメラ17に画像を取得させる(ステップS400)。次に、情報処理部110は、車室内認識部18にステップS400で取得させた画像を解析させて、特定物体の候補を抽出させる(ステップS402)。特定物体の候補とは、予め設定された物体である。例えば、車室内認識部18は、車両システム2が有する記憶装置に予め記憶された物体の特徴量に基づいて、特定物体の候補を抽出する。特徴量は、例えば、輝度に関する指標や、基準値に対する輝度の変化度合などを示す指標である。例えば、車室内認識部18は、画像において特定物体の候補に対応する矩形領域を抽出する(図17参照)。
次に、情報処理部110は、ステップS404の抽出結果をHMI30のタッチパネルに表示させる(ステップS404)。図17は、タッチパネルに表示された抽出結果を示す画像IMの一例を示す図である。タッチパネルには、矩形領域ARrが画像における物体に対応付けられた画像IMが表示される。また、画像IMには、矩形領域ARrに対応付けられた物体を特定物体として登録するための登録ボタンBが設定される。
利用者が、登録ボタンBを操作すると、自動運転制御装置100が、不図示の記憶装置に、矩形領域ARrに対応付けられた物体を注視物体として登録する(ステップS406)。図18は、登録された注視物体の一覧を示す注視物体テーブル180の一例を示す図である。注視物体テーブル180には、注視物体の識別情報(ID)と、注視物体を含む矩形領域に対応する画像と、矩形領域に対応する画像から抽出された特徴量の分布とが互いに対応付けられた情報である。注視物体は、「事前に撮像された画像に基づく情報(例えば特徴量)に対応付けられて登録された物体」の一例である。
自動運転制御装置100は、下記の図19のフローチャートで説明するように、上記の注視物体テーブル180を参照して、利用者が降車時に車室内に注視物体が存在する場合、その注視物体を特定物体として認識し、特定物体が車室内に存在すると判定する。
図19は、自動運転制御装置100により実行される利用者が降車時に車室内に特定物体が存在するか否かを判定する処理の流れの一例を示すフローチャートである。本処理は、自車両Mに乗車していた利用者が降車した後に実行される処理である。
まず、情報処理部110が、車室内カメラ17に画像を取得させる(ステップS500)。次に、情報処理部110は、注視物体がステップS500で取得された画像に含まれるか否かを判定する(ステップS502)。例えば、情報処理部110は、車室内認識部18にステップS500で取得させた画像から特徴量を抽出させ、抽出させた特徴量の分布と、注視物体テーブル180に登録された注視物体の特徴量の分布とを比較させる。そして、情報処理部110は、車室内認識部18により注視物体テーブル180に登録された注視物体の特徴量の分布と画像における特徴量の分布とが合致したと判定された場合、注視物体が画像に含まれると判定する。
注視物体が画像に含まれると判定した場合、情報提供部170が、端末装置500に特定物体が車室内に存在することを示す情報を送信する(ステップS504)。すなわち、注視物体が画像に含まれると判定された場合、図4のステップS112以降の処理が行われる。このように、情報提供部170は、事前に登録された物体を認識した場合に、利用者の端末装置500に特定物体が車室内に忘れられていることを示す情報を通知する。
特定物体が存在しない場合、行動計画生成部140が、自車両Mを駐車場に移動させる(ステップS506)。すなわち、特定物体が存在しない場合、図4のステップS110の処理が行われる。これにより、本処理の1ルーチンの処理は終了する。
なお、特定物体は、事前に撮像された画像に基づく情報に対応付けられて登録された物体とは異なる物体であってもよい。この場合、情報提供部170は、画像に基づいて事前に登録されていない物体を認識した場合に、利用者の端末装置500に特定物体が車室内に忘れられていることを示す情報を通知してもよい。
また、上記の説明では、予め利用者により登録された物体(または登録されなかった物体)が車室内に存在する場合に、通知が行われるものとして説明したが、登録の有無に関わらず、スマートフォンなどのバレーパーキンを開始させる操作を行うための装置が車室内に存在する場合に、その場に留まってもよいし、自車両Mは利用者がアクセス可能領域に自動運転で移動してもよい。
以上説明した第2実施形態によれば、自動運転制御装置100が、登録された注視物体の情報に基づいて、特定物体が車室内に存在するか否かを判定するため、より精度よく特定物体が車室内に置き忘れられているかを検出することができる。この結果、利用者の利便性を向上させることができる。
<第3実施形態>
以下、第3実施形態について説明する。第3実施形態では、自動運転制御装置100は、情報提供部170は、駐車リクエストを出力させた利用者の次回の車両の乗車予定時刻を取得する。そして、自動運転制御装置100は、駐車リクエストを取得し、車室内に置かれている物体が認識され、且つ取得された乗車予定時刻(または滞在時間)が現在の時刻から所定時間以内である場合、利用者がアクセス可能領域に車両を自動運転で移動させない。以下、第1実施形態との相違点を中心に説明する。
例えば、情報処理部110は、スケジュール情報182を参照して、自車両Mが所定時間以上、駐車場に駐車するか否かを判定する。図20は、スケジュール情報182の内容の一例を示す図である。スケジュール情報182は、例えば、車両システム2の記憶装置に記載された情報である。スケジュール情報182は、例えば、利用者の端末装置500に送信された情報または利用者が自車両MのHMI30を操作して登録した情報である。スケジュール情報182には、例えば、訪問する施設と、施設に到着または施設に滞在する時間と、スケジュールの内容とが互いに対応付けられた情報である。
例えば、情報処理部110は、自車両Mの位置情報と、地図情報とに基づいて、自車両Mが存在する施設を特定する。情報処理部110は、スケジュール情報182を参照して、自車両Mが存在する施設の滞在時間を推定する。そして、情報処理部110は、滞在時間が所定時間以内であると推定した場合、乗員が降車した後に特定物体が車室内に存在していても、利用者がアクセス可能領域に車両を自動運転で移動させない。
また、情報処理部110は、滞在時間を推定できない場合、地図情報を参照して、自車両Mが存在する施設が特定の施設である場合、利用者がアクセス可能領域に車両を自動運転で移動させなくてもよい。特定の施設とは、これまでに自動運転制御装置100が取得した自車両Mの行動履歴に基づいて導出された滞在時間が所定時間以内である施設である。また、スケジュール情報182は、その施設の乗車エリアに自車両Mが向かう時間を含む情報であってもよい。この場合、情報処理部110は、現在の時刻からその施設の乗車エリアに自車両Mが向かう時間が所定時間以内の場合、特定物体が車室内に存在しても利用者がアクセス可能領域に車両を自動運転で移動させない。
以上説明した第3実施形態によれば、車室内に特定物体を置き忘れたことが利用者にとってさほど影響しないであろうと推定される場合、利用者がアクセス可能領域に車両を自動運転で移動させないため、駐車場に関する施設の混雑を抑制することができる。また、利用者が無用な通知を受けることが抑制される。
なお、上述した実施形態では、端末装置500により出力された信号に基づいて、自走駐車イベントが開始されるものとしたが、これに代えて(或いは加えて)、自車両Mから降車した利用者の所定のジェスチャーに基づいて、自走駐車イベントが開始されてもよい。この場合、認識部130がカメラ10により撮像された画像に基づいて、所定のジェスチャーを認識した場合、行動計画生成部140が、走駐車イベントを開始させる。
また、上述した各フローチャートの処理のうち、一部の処理は省略されてもよいし、処理の順序は入れ替えられてもよい。また、各実施形態の処理は、組み合わされて実施されてもよい。
[ハードウェア構成]
図21は、実施形態の自動運転制御装置100のハードウェア構成の一例を示す図である。図示するように、自動運転制御装置100は、通信コントローラ100−1、CPU100−2、ワーキングメモリとして使用されるRAM(Random Access Memory)100−3、ブートプログラムなどを格納するROM(Read Only Memory)100−4、フラッシュメモリやHDD(Hard Disk Drive)などの記憶装置100−5、ドライブ装置100−6などが、内部バスあるいは専用通信線によって相互に接続された構成となっている。通信コントローラ100−1は、自動運転制御装置100以外の構成要素との通信を行う。記憶装置100−5には、CPU100−2が実行するプログラム100−5aが格納されている。このプログラムは、DMA(Direct Memory Access)コントローラ(不図示)などによってRAM100−3に展開されて、CPU100−2によって実行される。これによって、情報処理部110、第1制御部120、第2制御部160、および情報提供部170のうち一部または全部が実現される。
上記説明した実施形態は、以下のように表現することができる。
プログラムを記憶した記憶装置と、
ハードウェアプロセッサと、を備え、
前記ハードウェアプロセッサが前記記憶装置に記憶されたプログラムを実行することにより、
車両の周辺状況を認識し、
前記認識された周辺状況に基づいて、乗員の操作に依らずに前記車両の操舵および加減速を制御し、
前記車両の車室内に置かれている物体を認識し、
前記車両に乗車していない利用者の行動に基づいて出力される移動指示であり、前記運転制御部の制御により前記車両を駐車場に移動させる前記移動指示を取得し、
前記移動指示が取得され、且つ前記車室内に置かれている物体が認識された場合、前記利用者がアクセス可能なアクセス可能領域に前記車両を移動させ、または留まらせる、
ように構成されている、車両制御装置。
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
1‥駐車場管理システム、2‥車両システム、17‥車室内カメラ、18‥車室内認識部、100‥自動運転制御装置、110‥情報処理部、120‥第1制御部、130‥認識部、134‥リクエスト信号取得部、140‥行動計画生成部、160‥第2制御部、170‥情報提供部、400‥駐車場管理装置、420‥制御部、422‥決定部、424‥導出部、500‥端末装置

Claims (17)

  1. 車両の周辺状況を認識する第1認識部と、
    前記第1認識部により認識された周辺状況に基づいて、乗員の操作に依らずに前記車両の操舵および加減速を制御する運転制御部と、
    前記車両の車室内に置かれている物体を認識する第2認識部と、
    前記車両に乗車していない利用者の行動に基づいて出力される移動指示であり、前記運転制御部の制御により前記車両を駐車場に移動させる前記移動指示を取得する取得部と、を備え、
    前記運転制御部は、前記取得部により前記移動指示が取得され、且つ前記第2認識部により前記車室内に置かれている物体が認識された場合、前記利用者がアクセス可能なアクセス可能領域に前記車両を移動させ、または留まらせる、
    車両制御システム。
  2. 前記アクセス可能領域は、前記駐車場の領域とは異なる領域である、
    請求項1に記載の車両制御システム。
  3. 前記アクセス可能領域は、前記運転制御部の制御により前記車両を前記駐車場に移動させる際に前記車両に乗車している前記利用者が降車する降車領域、または前記駐車場に駐車していた前記車両が前記運転制御部の制御で出庫した際に前記利用者が前記車両に乗車する乗車領域である、
    請求項1または2に記載の車両制御システム。
  4. 前記車両に乗車していない前記利用者は、前記取得部により前記移動指示が取得された直前に前記車両に乗車していた前記利用者である、
    請求項1から3のうちいずれか1項に記載の車両制御システム。
  5. 前記第2認識部は、前記車両に乗車していた利用車が降車した際に、前記車両の前記車室内に物体が置かれているか否かを判定する、
    請求項1から4のうちいずれか1項に記載の車両制御システム。
  6. 前記運転制御部は、前記取得部により前記移動指示が取得され、且つ前記第2認識部により前記車室内に置かれている物体が認識されなかった場合、前記アクセス可能領域に前記車両を移動させずに、前記車両を前記駐車場に移動させる、
    請求項1から5のうちいずれか1項に記載の車両制御システム。
  7. 前記利用者の位置情報を取得する位置情報取得部を、更に備え、
    前記運転制御部は、前記利用者の位置情報と、前記車両との位置情報に基づいて、前記アクセス可能領域に前記車両を前記運転制御部の制御で移動させる経路、または前記移動時の速度を変更する、
    請求項1から6のうちいずれか1項に記載の車両制御システム。
  8. 前記運転制御部は、前記利用者の位置情報と、前記車両との位置情報とに基づいて、複数の前記アクセス可能領域のうち、前記利用者の位置に近い前記アクセス可能領域に前記車両を移動させる、
    請求項7に記載の車両制御システム。
  9. 前記取得部により前記移動指示が取得され、且つ前記第2認識部により前記車室内に置かれている物体が認識された場合、前記物体を前記車室内に置き忘れていることを示す情報を前記利用者の端末装置に提供する提供部を、更に備える、
    請求項1から8のうちいずれか1項に記載の車両制御システム。
  10. 前記第2認識部は、前記車室内の様子を撮像する撮像部により撮像された画像に基づいて、前記物体を認識する、
    請求項1から9のうちいずれか1項に記載の車両制御システム。
  11. 前記物体は、事前に撮像された画像に基づく情報に対応付けられて登録された物体であり、
    前記第2認識部が前記画像に基づいて前記事前に登録された物体を認識した場合に、前記利用者の端末装置に前記物体が前記車室内に忘れられていることを示す情報を通知する情報提供部を、更に備える、
    請求項1から10のうちいずれか1項に記載の車両制御システム。
  12. 前記物体は、事前に撮像された画像に基づく情報に対応付けられて登録された物体とは異なる物体であり、
    前記第2認識部が前記画像に基づいて前記事前に登録されていない物体を認識した場合に、前記利用者の端末装置に前記物体が前記車室内に忘れられていることを示す情報を通知する情報提供部を、更に備える、
    請求項1から11のうちいずれか1項に記載の車両制御システム。
  13. 前記利用者が前記アクセス可能領域の混雑度合を取得する混雑情報取得部を更に備え、
    前記運転制御部は、前記取得部により前記移動指示が取得され、且つ前記第2認識部により前記車室内に置かれている物体が認識された場合、前記混雑情報取得部により取得された混雑度合が所定度合以上の前記アクセス可能領域に前記車両を移動させない、
    請求項1から12のうちいずれか1項に記載の車両制御システム。
  14. 前記運転制御部は、前記アクセス可能領域に前記車両を前記運転制御部の制御で移動させたときから所定時間経過した場合に、前記駐車場に前記車両を移動させる、
    請求項1から13のうちいずれか1項に記載の車両制御システム。
  15. 前記移動指示を出力させた前記利用者の次回の前記車両の乗車予定時刻を取得する取得部を更に備え、
    前記運転制御部は、前記取得部により前記移動指示が取得され、前記第2認識部により前記車室内に置かれている物体が認識され、且つ前記取得部により取得された乗車予定時刻が現在の時刻から所定時間以内である場合、前記利用者が前記アクセス可能領域に前記車両を移動させない、
    請求項1から14のうちいずれか1項に記載の車両制御システム。
  16. コンピュータが、
    車両の周辺状況を認識し、
    前記認識された周辺状況に基づいて、乗員の操作に依らずに前記車両の操舵および加減速を制御し、
    前記車両の車室内に置かれている物体を認識し、
    前記車両に乗車していない利用者の行動に基づいて出力される移動指示であり、前記車両の操舵および加減速の制御により前記車両を駐車場に移動させる前記移動指示を取得し、
    前記移動指示が取得され、且つ前記車室内に置かれている物体が認識された場合、前記利用者がアクセス可能なアクセス可能領域に前記車両を移動させ、または留まらせる、
    車両制御方法。
  17. コンピュータに、
    車両の周辺状況を認識させ、
    前記認識された周辺状況に基づいて、乗員の操作に依らずに前記車両の操舵および加減速を制御し、
    前記車両の車室内に置かれている物体を認識させ、
    前記車両に乗車していない利用者の行動に基づいて出力される移動指示であり、前記車両の操舵および加減速の制御により前記車両を駐車場に移動させる前記移動指示を取得させ、
    前記移動指示が取得され、且つ前記車室内に置かれている物体が認識された場合、前記利用者がアクセス可能なアクセス可能領域に前記車両を移動させ、または留まらせる、
    プログラム。
JP2018242824A 2018-12-26 2018-12-26 車両制御システム、車両制御方法、およびプログラム Active JP7032295B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018242824A JP7032295B2 (ja) 2018-12-26 2018-12-26 車両制御システム、車両制御方法、およびプログラム
US16/716,576 US11340627B2 (en) 2018-12-26 2019-12-17 Vehicle control system, vehicle control method, and storage medium
CN201911315473.XA CN111391826B (zh) 2018-12-26 2019-12-18 车辆控制系统、车辆控制方法及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018242824A JP7032295B2 (ja) 2018-12-26 2018-12-26 車両制御システム、車両制御方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2020106929A true JP2020106929A (ja) 2020-07-09
JP7032295B2 JP7032295B2 (ja) 2022-03-08

Family

ID=71122754

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018242824A Active JP7032295B2 (ja) 2018-12-26 2018-12-26 車両制御システム、車両制御方法、およびプログラム

Country Status (3)

Country Link
US (1) US11340627B2 (ja)
JP (1) JP7032295B2 (ja)
CN (1) CN111391826B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023182137A1 (ja) * 2022-03-25 2023-09-28 株式会社小糸製作所 灯具システム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019101569A1 (de) * 2019-01-23 2020-07-23 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum fahrerlosen Umsetzen eines Fahrzeugs über eine Strecke innerhalb eines abgeschlossenen Geländes
JP7067509B2 (ja) * 2019-03-11 2022-05-16 株式会社デンソー 自動バレーパーキングシステム、自動バレーパーキングプログラムおよび記憶媒体
JP7240218B2 (ja) * 2019-03-19 2023-03-15 本田技研工業株式会社 車両制御システム、車両制御方法、及びプログラム
CN114286762B (zh) * 2019-10-29 2023-03-24 浩乐行 用于在交通工具中操作虚拟现实头戴设备的方法和控制设备
CN111998864B (zh) * 2020-08-11 2023-11-07 东风柳州汽车有限公司 无人车局部路径规划方法、装置、设备及存储介质
JP2022114053A (ja) * 2021-01-26 2022-08-05 本田技研工業株式会社 情報処理装置、情報処理方法、及び、プログラム
JP7517197B2 (ja) * 2021-02-17 2024-07-17 トヨタ自動車株式会社 情報処理装置、経路情報提供方法および経路情報提供システム
JP7439781B2 (ja) * 2021-03-02 2024-02-28 トヨタ自動車株式会社 自動運転車両、乗合車両及び車両乗換システム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000087582A (ja) * 1998-09-09 2000-03-28 Honda Motor Co Ltd 共用車両用ポートの制御方法
JP2012123491A (ja) * 2010-12-06 2012-06-28 Fujitsu Ten Ltd 車載装置および忘れ物確認サービス
JP2017182301A (ja) * 2016-03-29 2017-10-05 パナソニックIpマネジメント株式会社 自動輸送車両及び自動輸送システム
JP2018180946A (ja) * 2017-04-13 2018-11-15 トヨタ自動車株式会社 自動運転装置、及び通知方法
JP2019168815A (ja) * 2018-03-22 2019-10-03 東芝メモリ株式会社 情報処理装置、情報処理方法、及び情報処理プログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9449488B2 (en) * 2011-12-29 2016-09-20 Intel Corporation Object recognition and notification
CN104512463B (zh) * 2013-10-04 2017-04-26 本田技研工业株式会社 停车辅助装置
DE102015121113A1 (de) * 2015-12-04 2017-06-08 Valeo Schalter Und Sensoren Gmbh Verfahren zum autonomen Einparken eines Kraftfahrzeugs mit Innenraumsüberwachung, Fahrerassistenzsystem sowie Kraftfahrzeug
US10088846B2 (en) * 2016-03-03 2018-10-02 GM Global Technology Operations LLC System and method for intended passenger detection
US9836057B2 (en) * 2016-03-24 2017-12-05 Waymo Llc Arranging passenger pickups for autonomous vehicles
CN107067795A (zh) * 2016-11-25 2017-08-18 斑马信息科技有限公司 泊车系统和泊车方法
JP2018097536A (ja) 2016-12-12 2018-06-21 株式会社デンソーテン 駐車管理装置、駐車管理システム及び駐車管理方法
US10625733B2 (en) * 2017-04-18 2020-04-21 International Business Machines Corporation Delayed parking optimization of autonomous vehicles
US11745727B2 (en) * 2018-01-08 2023-09-05 STEER-Tech, LLC Methods and systems for mapping a parking area for autonomous parking

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000087582A (ja) * 1998-09-09 2000-03-28 Honda Motor Co Ltd 共用車両用ポートの制御方法
JP2012123491A (ja) * 2010-12-06 2012-06-28 Fujitsu Ten Ltd 車載装置および忘れ物確認サービス
JP2017182301A (ja) * 2016-03-29 2017-10-05 パナソニックIpマネジメント株式会社 自動輸送車両及び自動輸送システム
JP2018180946A (ja) * 2017-04-13 2018-11-15 トヨタ自動車株式会社 自動運転装置、及び通知方法
JP2019168815A (ja) * 2018-03-22 2019-10-03 東芝メモリ株式会社 情報処理装置、情報処理方法、及び情報処理プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023182137A1 (ja) * 2022-03-25 2023-09-28 株式会社小糸製作所 灯具システム

Also Published As

Publication number Publication date
CN111391826B (zh) 2022-09-09
US20200209878A1 (en) 2020-07-02
US11340627B2 (en) 2022-05-24
CN111391826A (zh) 2020-07-10
JP7032295B2 (ja) 2022-03-08

Similar Documents

Publication Publication Date Title
JP7032295B2 (ja) 車両制御システム、車両制御方法、およびプログラム
JP6662935B2 (ja) 車両制御装置、車両制御方法、およびプログラム
US10683014B2 (en) Vehicle control system, vehicle control method, and vehicle control program
JP6776288B2 (ja) 車両制御システム、車両制御方法、およびプログラム
US20200086764A1 (en) Vehicle control system, vehicle control method, and vehicle control program
US20200285235A1 (en) Vehicle control device, vehicle control method, and storage medium
CN111791882B (zh) 管理装置
JP7236307B2 (ja) 車両制御装置、車両制御方法、及びプログラム
CN111932927B (zh) 管理装置、管理方法及存储介质
JP2020152197A (ja) 車両制御システム、車両制御方法、及びプログラム
US20200310457A1 (en) Vehicle control device, vehicle control method, and storage medium
JP2020187695A (ja) 車両制御システム、車両制御方法、及びプログラム
JP2020152198A (ja) 車両制御システム、車両制御方法、及びプログラム
JP2020144620A (ja) 車両制御装置、情報提供装置、情報提供システム、車両制御方法、情報提供方法、およびプログラム
CN111796591B (zh) 车辆控制装置、监视系统、车辆控制方法及存储介质
US11377124B2 (en) Vehicle control device, vehicle control method, and storage medium
JP2020149225A (ja) 車両制御システム、車両制御方法、及びプログラム
CN111951545B (zh) 信息处理装置、车辆控制装置、信息处理方法及存储介质
JP2020144791A (ja) 車両制御システム、車両制御方法、及びプログラム
JP2020186563A (ja) 制御装置、駐車場システム、制御方法、及びプログラム
JP2020140348A (ja) 車両制御システム、車両制御方法、及びプログラム
JP2021098408A (ja) 車両制御装置、車両制御方法、およびプログラム
JP2020187499A (ja) 車両制御システム、車両制御方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201130

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220215

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220224

R150 Certificate of patent or registration of utility model

Ref document number: 7032295

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150