CN111391826A - 车辆控制系统、车辆控制方法及存储介质 - Google Patents
车辆控制系统、车辆控制方法及存储介质 Download PDFInfo
- Publication number
- CN111391826A CN111391826A CN201911315473.XA CN201911315473A CN111391826A CN 111391826 A CN111391826 A CN 111391826A CN 201911315473 A CN201911315473 A CN 201911315473A CN 111391826 A CN111391826 A CN 111391826A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- user
- unit
- area
- control system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000009471 action Effects 0.000 claims abstract description 27
- 230000001133 acceleration Effects 0.000 claims abstract description 18
- 230000002093 peripheral effect Effects 0.000 claims description 4
- 238000004891 communication Methods 0.000 description 46
- 238000012545 processing Methods 0.000 description 38
- 238000010586 diagram Methods 0.000 description 32
- 230000010365 information processing Effects 0.000 description 30
- 230000008569 process Effects 0.000 description 29
- 238000007726 management method Methods 0.000 description 27
- 238000001514 detection method Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 238000009795 derivation Methods 0.000 description 8
- 230000006399 behavior Effects 0.000 description 7
- 239000000284 extract Substances 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 239000000523 sample Substances 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000002485 combustion reaction Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000036461 convulsion Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/06—Automatic manoeuvring for parking
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W10/00—Conjoint control of vehicle sub-units of different type or different function
- B60W10/04—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W10/00—Conjoint control of vehicle sub-units of different type or different function
- B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W10/00—Conjoint control of vehicle sub-units of different type or different function
- B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/18—Propelling the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Combustion & Propulsion (AREA)
- Chemical & Material Sciences (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Mathematical Physics (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Navigation (AREA)
- Emergency Alarm Devices (AREA)
Abstract
一种能够提高利用者的便利性的车辆控制系统、车辆控制方法及存储介质。车辆控制系统具备:第一识别部,其识别车辆的周边状况;驾驶控制部,其基于由所述第一识别部识别到的周边状况,不依赖于乘客的操作地控制所述车辆的转向及加减速;第二识别部,其识别放置于所述车辆的车室内的物体;以及取得部,其取得移动指示,所述移动指示是基于未乘坐所述车辆的利用者的行动而输出的移动指示,且通过所述驾驶控制部的控制而使所述车辆向驻车场移动,在由所述取得部取得所述移动指示且由所述第二识别部识别到放置于所述车室内的所述物体的情况下,所述驾驶控制部使所述车辆向所述利用者可相会的可相会区域移动,或者使所述车辆留在所述可相会区域。
Description
技术领域
本发明涉及车辆控制系统、车辆控制方法及存储介质。
背景技术
近年来,关于自动地控制车辆的研究不断进展。在利用了该技术的自动代客泊车中,公开了一种驻车管理装置,其当接收到要求从驻车出库的出库要求信号时,制作从要求了出库的车辆的驻车位置到乘车区域的出库行驶路径,并将出库行驶路径的信息向车辆发送(日本特开2018-97536号公报)。
例如,在进行自动代客泊车时,车辆的利用者从车辆下车之后,车辆去往驻车场而有时对利用者产生不便。例如,利用者在想要取出放置于车辆的物品的情况下,需要使车辆从驻车场出库。
然而,在上述的技术中,未考虑消除上述的不便。
发明内容
本发明是考虑这样的情况而完成的,其目的之一在于提供能够提高利用者的便利性的车辆控制系统、车辆控制方法及存储介质。
用于解决课题的方案
本发明的车辆控制系统、车辆控制方法及存储介质采用了以下的结构。
(1):本发明的一方案的车辆控制系统具备:第一识别部,其识别车辆的周边状况;驾驶控制部,其基于由所述第一识别部识别到的周边状况,不依赖于乘客的操作地控制所述车辆的转向及加减速;第二识别部,其识别放置于所述车辆的车室内的物体;以及取得部,其取得移动指示,所述移动指示是基于未乘坐所述车辆的利用者的行动而输出的移动指示,且用于通过所述驾驶控制部的控制而使所述车辆向驻车场移动,在由所述取得部取得所述移动指示、且由所述第二识别部识别到放置于所述车室内的所述物体的情况下,所述驾驶控制部使所述车辆向所述利用者可相会的可相会区域移动,或者使所述车辆留在所述可相会区域。
(2):在上述(1)的方案中,所述可相会区域是与所述驻车场不同的区域。
(3):在上述(1)或(2)的方案中,所述可相会区域是下车区域或乘车区域,所述下车区域是在所述车辆通过所述驾驶控制部的控制而向所述驻车场移动时,乘坐着所述车辆的所述利用者下车的区域,所述乘车区域是在驻车于所述驻车场的所述车辆通过所述驾驶控制部的控制而出库了时,所述利用者乘坐所述车辆的区域。
(4):在上述(1)至(3)的任一方案中,未乘坐所述车辆的所述利用者是在由所述取得部取得到所述移动指示之前刚才乘坐着所述车辆的所述利用者。
(5):在上述(1)至(4)的任一方案中,在乘坐着所述车辆的所述利用者下车了时,所述第二识别部判定在所述车辆的所述车室内是否放置有所述物体。
(6):在上述(1)至(5)的任一方案中,在由所述取得部取得所述移动指示、且未由所述第二识别部识别到放置于所述车室内的所述物体的情况下,所述驾驶控制部不使所述车辆向所述可相会区域移动,而使所述车辆向所述驻车场移动。
(7):在上述(1)至(6)的任一方案中,所述车辆控制系统还具备取得所述利用者的位置信息的位置信息取得部,所述驾驶控制部基于所述利用者的位置信息和所述车辆的位置信息,来变更使所述车辆通过所述驾驶控制部的控制而向所述可相会区域进行移动的路径、或者所述移动时的速度。
(8):在上述(7)的方案中,所述驾驶控制部基于所述利用者的位置信息和所述车辆的位置信息,来使所述车辆向多个所述可相会区域中的靠近所述利用者的位置的所述可相会区域移动。
(9):在上述(1)至(8)的任一方案中,所述车辆控制系统还具备提供部,在由所述取得部取得所述移动指示、且由所述第二识别部识别到放置于所述车室内的所述物体的情况下,所述提供部向所述利用者的终端装置提供表示将所述物体遗忘在所述车室内的信息。
(10):在上述(1)至(9)的任一方案中,所述第二识别部基于由对所述车室内的情形进行拍摄的摄像部拍摄到的图像,来识别所述物体。
(11):在上述(1)至(10)的任一方案中,所述物体是与基于拍摄到的图像得到的信息建立关联而进行了预先登记的物体,所述车辆控制系统还具备信息提供部,在所述第二识别部识别到基于所述图像而进行了所述预先登记的物体的情况下,所述信息提供部向所述利用者的终端装置通知表示所述物体被忘在所述车室内的信息。
(12):在上述(1)至(11)的任一方案中,所述物体是与和基于拍摄到的图像得到的信息建立关联而进行了预先登记的物体不同的物体,所述车辆控制系统还具备信息提供部,在所述第二识别部识别到未基于所述图像而进行了所述预先登记的所述物体的情况下,所述信息提供部向所述利用者的终端装置通知表示所述物体被忘在所述车室内的信息。
(13):在上述(1)至(12)的任一方案中,所述车辆控制系统还具备取得所述利用者可相会的所述可相会区域的拥挤程度的拥挤信息取得部,在由所述取得部取得所述移动指示、且由所述第二识别部识别到放置于所述车室内的所述物体的情况下,所述驾驶控制部不使所述车辆向由所述拥挤信息取得部取得到的拥挤程度为规定程度以上的所述可相会区域移动。
(14):在上述(1)至(13)的任一方案中,在从使所述车辆通过所述驾驶控制部的控制而移动到所述可相会区域时起经过了规定时间的情况下,所述驾驶控制部使所述车辆向所述驻车场移动。
(15):在上述(1)至(14)的任一方案中,所述车辆控制系统还具备取得使所述移动指示输出了的所述利用者下次乘坐所述车辆的乘车预定时刻的取得部,在由所述取得部取得所述移动指示、且由所述第二识别部识别到放置于所述车室内的所述物体、并且由所述取得部取得到的乘车预定时刻与当前的时刻相距规定时间以内的情况下,所述驾驶控制部不使所述车辆向所述利用者可相会的所述可相会区域移动。
(16):本发明的一方案的车辆控制方法,其中,所述车辆控制方法使计算机进行如下处理:识别车辆的周边状况;基于识别到的所述周边状况,不依赖于乘客的操作地控制所述车辆的转向及加减速;识别放置于所述车辆的车室内的物体;取得移动指示,所述移动指示是基于未乘坐所述车辆的利用者的行动而输出的移动指示,且通过所述车辆的转向及加减速的控制而使所述车辆向驻车场移动;以及在取得所述移动指示、且识别到放置于所述车室内的所述物体的情况下,使所述车辆向所述利用者可相会的可相会区域移动,或者使所述车辆留在所述可相会区域。
(17):本发明的一方案的存储介质,其中,所述存储介质使计算机进行如下处理:识别车辆的周边状况;基于识别到的所述周边状况,不依赖于乘客的操作地控制所述车辆的转向及加减速;识别放置于所述车辆的车室内的物体;取得移动指示,所述移动指示是基于未乘坐所述车辆的利用者的行动而输出的移动指示,且通过所述车辆的转向及加减速的控制而使所述车辆向驻车场移动;以及在取得所述移动指示、且识别到放置于所述车室内的所述物体的情况下,使所述车辆向所述利用者可相会的可相会区域移动,或者使所述车辆留在所述可相会区域。
发明效果
根据(1)~(6)、(10)、(16)、(17),能够提高利用者的便利性。
根据(7),进一步地,车辆的行为根据周边状况而变更。其结果是,例如车辆考虑周边的拥挤而进行行动。
根据(8),进一步地,车辆抵达对于利用者而言方便的位置,因此更加提高利用者的便利性。
根据(9),进一步地,利用者能够容易地识别将物体遗忘在车室内的情况。
根据(11)、(12),进一步地,能够更可靠地识别利用者遗忘了的物体。另外,能够抑制与未遗忘的物体相关的不需要的通知。
根据(13)、(14),进一步地,能够抑制拥挤。
根据(15),进一步地,抑制无用的车辆的行动。
附图说明
图1是包括利用了车辆控制系统的车辆系统的驻车场管理系统的结构图。
图2是利用了实施方式的车辆控制装置的车辆系统2的结构图。
图3是第一控制部及第二控制部的功能结构图。
图4是示意性地表示执行自动泊车事件的场景的图。
图5是表示驻车场管理装置的结构的一例的图。
图6是用于说明移动处理的概要的图。
图7是表示由终端装置及自动驾驶控制装置执行的处理的流程的一例的流程图。
图8是表示在步骤S104拍摄到的图像(IM(t))和过去拍摄到的图像(IM(t-1))的一例的图。
图9是表示不存在特定物体的情况的本车辆M的行为的一例的图。
图10是表示存在特定物体的情况的本车辆M的行为的一例的图。
图11是表示乘车区域成为汇合地点的场景的一例的图。
图12是表示由自动驾驶控制装置执行的处理的流程的一例的流程图。
图13是表示乘车区域成为汇合地点的场景的另一例的图(其1)。
图14是表示乘车区域成为汇合地点的场景的又一例的图(其2)。
图15是表示由自动驾驶控制装置执行的处理的流程的一例的流程图。
图16是表示由自动驾驶控制装置执行的物体被登记为特定物体的处理的流程的一例的流程图。
图17是表示将显示于触摸面板的提取结果示出的图像IM的一例的图。
图18是表示将被登记的注视物体的一览示出的注视物体表的一例的图。
图19是表示由自动驾驶控制装置执行的判定利用者在下车时在车室内是否存在特定物体的处理的流程的一例的流程图。
图20是表示日程信息的内容的一例的图。
图21是表示实施方式的自动驾驶控制装置的硬件结构的一例的图。
具体实施方式
以下,参照附图来说明本发明的车辆控制系统、车辆控制方法及存储介质的实施方式。
图1是包括利用了车辆控制系统的车辆系统2的驻车场管理系统1的结构图。驻车场管理系统1例如具备搭载了车辆系统2的一个以上的车辆(以下,称作本车辆M)、一个以上的驻车场管理装置400、以及一个以上的终端装置500。这些构成要素经由网络NW能够相互通信。网络NW包括蜂窝网、Wi-Fi网、互联网、WAN(Wide Area Network)、LAN(Local AreaNetwork)、公用线路、供应商装置、专用线路及无线基地站等。这些构成要素也可以分别不经由网络NW而直接地进行无线通信。关于本车辆M及驻车场管理装置400的详细情况后文叙述。
终端装置500例如是利用者能够携带的终端装置。终端装置500例如是智能手机、平板终端及个人计算机等。终端装置500与本车辆M通信,将利用者的请求向本车辆M发送,或者进行基于从本车辆M或驻车场管理装置400接收到的信息的推送通知(向利用者通知)。终端装置500取得由本装置的位置确定部确定出的位置信息,每隔规定间隔将本装置的位置信息和利用者ID向本车辆M或驻车场管理装置400发送。
[整体结构]
图2是利用了实施方式的车辆控制装置的车辆系统2的结构图。搭载有车辆系统2的车辆例如是二轮、三轮、四轮等的车辆,其驱动源是柴油发动机、汽油发动机等内燃机、电动机、或者它们的组合。电动机使用由与内燃机连结的发电机发出的发电电力、或者二次电池、燃料电池的放电电力进行动作。
车辆系统2例如具备相机10、雷达装置12、探测器14、物体识别装置16、车室内相机17、车室内识别部18、通信装置20、HMI(Human Machine Interface)30、车辆传感器40、导航装置50、MPU(Map Positioning Unit)60、驾驶操作件80、自动驾驶控制装置100、行驶驱动力输出装置200、制动装置210及转向装置220。这些装置、设备通过CAN(Controller AreaNetwork)通信线等多路通信线、串行通信线、无线通信网等相互连接。图2所示的结构只不过是一例,既可以省略结构的一部分,也可以还追加别的结构。
相机10例如是利用了CCD(Charge Coupled Device)、CMOS(Complementary MetalOxide Semiconductor)等固体摄像元件的数码相机。相机10安装于搭载车辆系统2的车辆(以下,称作本车辆M)的任意部位。在对前方进行拍摄的情况下,相机10安装于前风窗玻璃上部、车室内后视镜背面等。相机10例如周期性地反复对本车辆M的周边进行拍摄。相机10也可以是立体摄影机。
雷达装置12对本车辆M的周边放射毫米波等电波,并且检测由物体反射的电波(反射波),来至少检测物体的位置(距离及方位)。雷达装置12安装于本车辆M的任意部位。雷达装置12也可以通过FM-CW(Frequency Modulated Continuous Wave)方式来检测物体的位置及速度。
探测器14是LIDAR(Light Detection and Ranging)。探测器14对本车辆M的周边照射光,并测定散射光。探测器14基于从发光到受光的时间,来检测到对象的距离。被照射的光例如是脉冲状的激光。探测器14安装于本车辆M的任意部位。
物体识别装置16对由相机10、雷达装置12及探测器14中的一部分或全部检测的检测结果进行传感器融合处理,来识别物体的位置、种类、速度等。物体识别装置16将识别结果向自动驾驶控制装置100输出。物体识别装置16可以将相机10、雷达装置12及探测器14的检测结果直接向自动驾驶控制装置100输出。也可以从车辆系统2省略物体识别装置16。
车室内相机17例如是利用了CCD、CMOS等固体摄像元件的数码相机。车室内相机17是用于拍摄放置于车室内的物体(遗忘物)的相机。车室内相机17例如安装于能够对本车辆M的车室内的情形进行拍摄的任意部位。车室内相机17例如在规定的时机或周期性地反复拍摄本车辆的车室内的情形。车室内相机17也可以是立体摄影机。
车室内识别部18例如基于由车室内相机17拍摄到的图像来识别物体。车室内识别部18例如使用图案匹配、基于AI(Artificial Intelligence:人工智能)的功能、以及基于预先赋予的模型的功能等,来识别所期望的物体(例如包(bag)、钱包等利用者放置于车室内的物体)。预先赋予的模型是指进行用于通过深度学习等来识别物体的学习的模型。车室内识别部18是“第二识别部”的一例。
车室内识别部18也可以基于以下的方法来识别车室内的物体(例如乘客)。车辆系统2例如具备检测施加于座椅的载荷的就座传感器、检测座椅安全带的佩戴状态的座椅安全带传感器、以及检测车室内的声音的声音检测部。座椅安全带传感器是检测座椅安全带的阳侧带扣与阴侧带扣的连接状态的传感器。声音检测部解析由输入车室内的声音的话筒取得到的声音,并基于解析结果来检测乘客的声音。
(a)车室内识别部18也可以在由就座传感器检测出在座椅上载有载荷的情况下,识别为物体存在于车室内。(b)车室内识别部18也可以在由座椅安全带传感器检测出阳侧带扣与阴侧带扣为连接状态的情况下,佩戴有座椅安全带,因此识别为乘客存在于车室内。(c)车室内识别部18也可以在声音检测部检测到乘客的声音的情况下,识别为乘客存在于车室内。
车室内识别部18也可以通过上述的(a)~(c)中的一个以上的检测方法、或者将(a)~(c)中一个以上的检测方法与基于由上述的车室内相机17拍摄到的图像来检测物体的检测方法进行组合,来识别物体(例如乘客)存在于车室内的情况。例如,车室内识别部18在由就座传感器检测到施加于座椅的载荷、且由座椅安全带传感器检测到座椅安全带的阳侧带扣与阴侧带扣的连接状态的情况下,识别为乘客存在于车室内。例如,车室内识别部18在基于由车室内相机17拍摄到的图像而识别出儿童座椅的情况、由声音检测部检测到乘客发出的声音(儿童的声音)、且在图像处理中识别出存在于儿童座椅的儿童的情况下,识别为乘客(儿童)存在于车室内。
车室内识别部18例如也可以基于通信器件与放置于车室内的物体所包括的通信部之间的通信结果,来识别在车室内放置有物体的情况。例如,对于车辆系统2,在车室内设置通信器件。通信器件使用Bluetooth(注册商标)等规定的通信标准,来与物体所包括的通信部进行无线通信。上述的通信部是搭载于智能手机等便携终端装置等的通信单元、设置于钱包、贵重物品等的遗忘防止用的通信标签。车室内识别部18基于车室内的通信器件与上述的通信部之间的通信结果,来判定包括通信部的物体是否存在于车室内。
例如,车室内识别部18在判定出乘客下车了之后,在由物体所包括的通信部发送的电波的强度从基准值逐渐减少并低于了阈值的情况下,判定为物体被乘客带走,不存在于车室内。例如,车室内识别部18在判定出乘客下车了之后,在由物体所包括的通信部发送的电波的强度在规定时间的期间维持着基准值的情况下,判定为物体未被乘客带走而存在于车室内。这样,车室内识别部18通过基于通信器件与物体所包括的通信部之间的通信结果来判定物体是否存在于车室内,能够检测存在于车室内相机17的视场角外的物体、因车室内昏暗而不能通过由车室内相机17拍摄到的图像检测出的物体。
如上所述,车室内识别部18通过适当组合上述的各检测方法,能够更加精度良好地识别车室内的物体。
通信装置20例如利用上述的蜂窝网、Wi-Fi网等网络NW、Bluetooth(注册商标)、DSRC(Dedicated Short Range Communication)等,来与终端装置500、存在于本车辆M的周边的其他车辆或驻车场管理装置400、或者各种服务器装置进行通信。
HMI30对本车辆M的乘客提示各种信息,并且接受由乘客进行的输入操作。HMI30包括各种显示装置、扬声器、蜂鸣器、触摸面板、开关及按键等。
车辆传感器40包括检测本车辆M的速度的车速传感器、检测加速度的加速度传感器、检测绕铅垂轴的角速度的横摆角速度传感器、以及检测本车辆M的朝向的方位传感器等。车辆传感器40也可以包括检测车门的开闭的传感器、检测门锁的状态的传感器。
导航装置50例如具备GNSS(Global Navigation Satellite System)接收机51、导航HMI52及路径决定部53。导航装置50将第一地图信息54保持于HDD(Hard Disk Drive)、闪存器等存储装置。GNSS接收机51基于从GNSS卫星接收到的信号来确定本车辆M的位置。本车辆M的位置也可以由利用了车辆传感器40的输出的INS(Inertial Navigation System)来确定或补充。导航HMI52包括显示装置、扬声器、触摸面板及按键等。导航HMI52一部分或全部也可以与前述的HMI30的共用化。路径决定部53例如参照第一地图信息54来决定从由GNSS接收机51确定出的本车辆M的位置(或者被输入的任意的位置)到由乘客使用导航HMI52输入的目的地的路径(以下,称作地图上路径)。第一地图信息54例如是通过表示道路的线路和由线路连接的节点来表现道路形状的信息。第一地图信息54也可以包括道路的曲率、POI(Point Of Interest)信息等。地图上路径向MPU60输出。导航装置50也可以基于地图上路径来进行使用了导航HMI52的路径引导。导航装置50例如也可以通过乘客所持有的智能手机、甲板终端等终端装置500的功能来实现。导航装置50也可以经由通信装置20向导航服务器发送当前位置和目的地,并从导航服务器取得与地图上路径同等的路径。
MPU60例如包括推荐车道决定部61,在HDD、闪存器等存储装置保持第二地图信息62。推荐车道决定部61将从导航装置50提供的地图上路径分割为多个区段(例如,在车辆行进方向上按每100[m]进行分割),并参照第二地图信息62按每个区段决定推荐车道。推荐车道决定部61进行在从左数第几车道上行驶这样的决定。推荐车道决定部61在地图上路径存在分支部位的情况下,以使本车辆M能够在用于向分支目的地行进的合理的路径上行驶的方式决定推荐车道。
第二地图信息62是比第一地图信息54高精度的地图信息。第二地图信息62例如包括车道的中央的信息或者车道的边界的信息等。在第二地图信息62可以包括道路信息、交通限制信息、住所信息(住所、邮政编码)、设施信息、以及电话号码信息等。第二地图信息62可以通过通信装置20与其他装置通信而随时被更新。
驾驶操作件80例如包括油门踏板、制动踏板、换挡杆、转向盘、异形方向盘、操纵杆等其他操作件。在驾驶操作件80安装有检测操作量或者操作的有无的传感器,其检测结果向自动驾驶控制装置100、或者行驶驱动力输出装置200、制动装置210及转向装置220中的一部分或全部输出。
自动驾驶控制装置100例如具备信息处理部110、第一控制部120、第二控制部160及信息提供部170。这些功能部分别例如通过CPU(Central Processing Unit)等硬件处理器执行程序(软件)来实现。这些构成要素中的一部分或全部也可以由LSI(Large ScaleIntegration)、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)等硬件(包括电路部:circuitry)来实现,也可以通过软件与硬件的协同配合来实现。程序也可以预先保存于自动驾驶控制装置100的HDD、闪存器等存储装置(具备非暂时性的存储介质的存储装置),也可以保存于DVD、CD-ROM等能够装卸的存储介质,并通过将存储介质(非暂时性的存储介质)装配于驱动装置而安装于自动驾驶控制装置100的HDD、闪存器。第一控制部120及第二控制部160、或者第一控制部120、第二控制部160、信息处理部110及信息提供部170是“驾驶控制部”的一例。
信息处理部110取得由车室内识别部18、通信装置20、车辆传感器40等输出的信息或取得到的信息,并进行与取得到的信息相应的处理。关于处理的详细情况后文叙述。
图3是第一控制部120及第二控制部160的功能结构图。第一控制部120例如具备识别部130、请求信号取得部134及行动计划生成部140。第一控制部120例如并行实现基于AI的功能、基于预先赋予的模型的功能。例如,“识别交叉路口”的功能可以通过并行地执行通过深度学习等进行的交叉路口的识别、基于预先赋予的条件(存在能够图案匹配的信号、道路标示等)的识别,并对双方进行评分而综合地评价来实现。由此,确保自动驾驶的可靠性。
识别部130基于从相机10、雷达装置12及探测器14经由物体识别装置16而输入的信息,来识别存在于本车辆M的周边的物体的位置、速度、加速度等状态。物体的位置例如被识别为以本车辆M的代表点(重心、驱动轴中心等)为原点的绝对坐标上的位置,并使用于控制。物体的位置也可以由该物体的重心、角部等代表点表示,也可以由表现出的区域来表示。物体的“状态”也可以包括物体的加速度、加加速度、或者“行动状态”(例如是否正在进行车道变更、或者是否正要进行车道变更)。
识别部130例如识别本车辆M正行驶着的车道(行驶车道)。例如,识别部130通过比较从第二地图信息62得到的道路划分线的图案(例如实线与虚线的排列)与根据由相机10拍摄到的图像而识别出的本车辆M的周边的道路划分线的图案,来识别行驶车道。识别部130不限于识别道路划分线,也可以通过识别包括道路划分线、路肩、缘石、中央隔离带及护栏等的行驶路边界(道路边界)来识别行驶车道。在该识别中,也可以加进从导航装置50取得的本车辆M的位置、由INS处理的处理结果。识别部130识别暂时停止线、障碍物、红灯、收费站及其他的道路事项。
识别部130在识别行驶车道时,识别本车辆M相对于行驶车道的位置、姿态。识别部130例如也可以将本车辆M的基准点从车道中央的偏离、以及本车辆M的行进方向相对于将车道中央相连的线所成的角度识别为本车辆M相对于行驶车道的相对位置及姿态。也可以代替于此,识别部130将本车辆M的基准点相对于行驶车道的任意侧端部(道路划分线或道路边界)的位置等识别为本车辆M相对于行驶车道的相对位置。
识别部130具备在后述的自动泊车事件中起动的驻车空间识别部132。关于驻车空间识别部132的功能的详细情况后文叙述。
请求信号取得部134经由通信装置20取得由利用者的终端装置500发送的请求信号(“移动指示”的一例)。请求信号是后述的驻车请求(移动指示)、接车请求及相会请求等。请求信号取得部134将取得到的请求信号向行动计划生成部140输出。请求信号取得部134是“取得部”的一例。
行动计划生成部140以原则上在由推荐车道决定部61决定出的推荐车道上行驶,并且能够应对本车辆M的周边状况的方式生成本车辆M将来自动地(不依赖于驾驶员的操作地)行驶的目标轨道。目标轨道例如包括速度要素。例如,目标轨道表现为将本车辆M应该到达的地点(轨道点)依次排列而成的轨道。轨道点是按沿途距离计每隔规定的行驶距离(例如几[m]程度)的本车辆M应该到达的地点,有别于此,每隔规定的采样时间(例如零点几[sec]程度)的目标速度及目标加速度生成为目标轨道的一部分。轨道点也可以是每隔规定的采样时间的在该采样时刻本车辆M应该到达的位置。在该情况下,目标速度、目标加速度的信息以轨道点的间隔来表现。
行动计划生成部140可以在生成目标轨道时设定自动驾驶的事件。在自动驾驶的事件中存在定速行驶事件、低速追随行驶事件、车道变更事件、分支事件、汇合事件、接管事件、在代客泊车等中不依赖于驾驶员的操作地进行自动行驶(自动驾驶)而驻车的自动泊车事件、以及在代客泊车等中自动行驶而从驻车场出库并向规定的乘车区域自动行驶的自动接车事件等。行动计划生成部140生成与起动了的事件相应的目标轨道。行动计划生成部140例如基于由请求信号取得部134输出的请求信号,来设定自动泊车事件或自动接车事件。行动计划生成部140具备在执行自动泊车事件的情况下起动的自动泊车控制部142。关于自动泊车控制部142的功能的详细情况后文叙述。
第二控制部160控制行驶驱动力输出装置200、制动装置210及转向装置220,以使本车辆M按照预定的时刻通过由行动计划生成部140生成的目标轨道。
返回图3,第二控制部160例如具备取得部162、速度控制部164及转向控制部166。取得部162取得由行动计划生成部140生成的目标轨道(轨道点)的信息,并使存储器(未图示)存储该信息。速度控制部164基于存储于存储器的目标轨道所附带的速度要素,来控制行驶驱动力输出装置200或制动装置210。转向控制部166根据存储于存储器的目标轨道的弯曲情况来控制转向装置220。速度控制部164及转向控制部166的处理例如通过前馈控制与反馈控制的组合来实现。作为一例,转向控制部166将与本车辆M的前方的道路的曲率相应的前馈控制、以及基于从目标轨道的偏离的反馈控制组合而执行。
信息提供部170在由请求信号取得部134取得请求信号、且由车室内识别部18识别出放置于车室内的物体的情况下,向利用者的终端装置提供表示物体被忘在车室内的信息。
行驶驱动力输出装置200将用于使车辆行驶的行驶驱动力(转矩)向驱动轮输出。行驶驱动力输出装置200例如具备内燃机、电动机及变速器等的组合、以及控制它们的ECU(Electronic Control Unit)。ECU按照从第二控制部160输入的信息、或者从驾驶操作件80输入的信息,来控制上述的结构。
制动装置210例如具备制动钳、向制动钳传递液压的液压缸、使液压缸产生液压的电动马达、以及制动ECU。制动ECU按照从第二控制部160输入的信息、或者从驾驶操作件80输入的信息来控制电动马达,并使与制动操作相应的制动转矩向各车轮输出。制动装置210可以具备将通过驾驶操作件80所包括的制动踏板的操作产生的液压经由主液压缸向液压缸传递的机构作为备用。制动装置210不限于上述说明的结构,也可以是按照从第二控制部160输入的信息来控制致动器,并将主液压缸的液压向液压缸传递的电子控制式液压制动装置。
转向装置220例如具备转向ECU和电动马达。电动马达例如使力作用于齿条-小齿轮机构来变更转向轮的朝向。转向ECU按照从第二控制部160输入的信息、或者从驾驶操作件80输入的信息,来驱动电动马达,使转向轮的朝向变更。
[自动泊车事件-入库时]
自动泊车控制部142例如基于由通信装置20从驻车场管理装置400取得到的信息,来使本车辆M向驻车空间内驻车。图4是示意性地表示执行自动泊车事件的场景的图。在从道路Rd到访问目的地设施的路径上设置有闸门300-in。本车辆M通过手动驾驶或自动驾驶而通过闸门300-in并行进到停止区域310。停止区域310面向在访问目的地设施的入口附近设置的下车区域320。在下车区域320例如设置有用于避雨、避雪的房檐。
本车辆M在停止区域310使乘客下车之后,进行自动驾驶,并开始移动到驻车场PA内的驻车空间PS的自动泊车事件。自动泊车事件的开始触发因素例如可以是由乘客进行的任何的操作,也可以是通过无线从驻车场管理装置400接收到规定的信号。在以下的说明中,作为一例,开始触发因素是由终端装置500发送的信号。自动泊车控制部142在开始自动泊车事件的情况下,控制通信装置20而将驻车请求朝向驻车场管理装置400发送。并且,本车辆M按照驻车场管理装置400的引导从停止区域310移动到驻车场PA,或者自力地一边感测一边从停止区域310移动到驻车场PA。
图5是表示驻车场管理装置400的结构的一例的图。驻车场管理装置400例如具备通信部410、控制部420及存储部430。在存储部430保存有驻车场地图信息432、以及驻车空间状态表434等信息。
通信部410通过无线而与本车辆M或其他车辆(或终端装置500)进行通信。控制部420基于由通信部410取得到的信息、以及保存于存储部430的信息,来将车辆向驻车空间PS引导。驻车场地图信息432是几何地表示驻车场PA的构造的信息。驻车场地图信息432包括每个驻车空间PS的坐标。驻车空间状态表434例如是表示对于驻车空间PS的识别信息即驻车空间ID,对应有是空状态还是满(驻车中)状态的状态、在为满状态的情况下的驻车中的车辆的识别信息即车辆ID的表。
控制部420例如包括决定部422和导出部424。控制部420当通信部410从车辆接收到驻车请求时,参照驻车空间状态表434来提取状态为空状态的驻车空间PS,并从驻车场地图信息432取得所提取到的驻车空间PS的位置,使用通信部410向车辆发送直至取得到的驻车空间PS的位置的合适的路径。控制部420基于多个车辆的位置关系,以使车辆不同时地行进到相同的位置的方式,根据需要对特定的车辆指示停止、慢行等。
在接收到路径的车辆(以下,设为是本车辆M)中,自动泊车控制部142生成基于路径的目标轨道。当靠近成为目标的驻车空间PS时,驻车空间识别部132识别划分驻车空间PS的驻车框线等,识别驻车空间PS的详细的位置并将其向自动泊车控制部142提供。自动泊车控制部142接受到该情况而修正目标轨道,并使本车辆M向驻车空间PS驻车。
决定部422基于本车辆M的位置信息、终端装置500的位置信息等,来决定后述的终端装置500的利用者与本车辆M进行汇合的汇合地点(可相会区域)。“可相会区域”是在自动泊车事件开始而本车辆M去往驻车场之后,为了使利用者从车室内取出特定物体,利用者与本车辆M汇合的汇合地点。关于[可相会区域的导出的处理]后文叙述。“可相会区域”例如是与驻车场不同的区域。“可相会区域”例如是下车区域320或后述的乘车区域340。下车区域320例如是在使本车辆M通过自动驾驶移动到驻车场时,乘坐着本车辆M的利用者下车的下车区域。乘车区域340是在驻车于驻车场的本车辆M通过自动驾驶而出库了时,利用者乘坐本车辆M的乘车区域。“可相会区域”例如也可以是与下车区域320或后述的乘车区域340不同的本车辆M能够停车的区域。导出部424导出驻车场内的规定的区域的拥挤程度。关于决定部422及导出部424的处理的详细情况后文叙述。
[自动泊车事件-出库时]
自动泊车控制部142及通信装置20在本车辆M驻车中也维持着动作状态。自动泊车控制部142例如在通信装置20从乘客的终端装置500接收到接车请求的情况下,使本车辆M的系统起动,并使本车辆M移动到图4所示的停止区域330。停止区域330面向在访问目的地设施的出口附近设置的乘车区域340。在乘车区域340例如设置有用于避雨、避雪的房檐。
在使本车辆M移动到停止区域330时,自动泊车控制部142控制通信装置20而向驻车场管理装置400发送起步请求。驻车场管理装置400的控制部420与入库时同样地基于多个车辆的位置关系,以使车辆不会同时行进到相同的位置的方式根据需要对特定的车辆指示停止、慢行等。当使本车辆M移动到停止区域330并使乘客乘坐后,自动泊车控制部142停止动作,以后开始手动驾驶、或者基于别的功能部进行的自动驾驶。并且,通过设置于停止区域330与道路Rd之间的闸门300-out而在道路Rd上行驶。
自动泊车控制部142不限于上述的说明,也可以不依赖于通信,而基于由相机10、雷达装置12、探测器14或物体识别装置16检测的检测结果来自己发现空状态的驻车空间,并使本车辆M向所发现的驻车空间内驻车。
[移动处理(其1)]
自动驾驶控制装置100在取得到驻车请求信号(移动指示)、且由车室内识别部18识别出放置于本车辆M的车室内的物体的情况下,使本车辆M向利用者能够相会的可相会区域移动,其中,所述驻车请求信号基于未乘坐本车辆M的利用者的行动而被输出,且使本车辆M通过自动驾驶(或使本车辆M自动行驶地)向驻车场移动。以下,将该处理称为“移动处理”。在通过自动驾驶使本车辆M向驻车场移动的处理、移动处理中,既可以是乘客存在于本车辆M的车室内,也可以是乘客不存在于本车辆M的车室内。
图6是用于说明移动处理的概要的图。例如,在停止区域310,车辆的利用者从本车辆M下车(1),操作终端装置500而向本车辆M发送驻车请求(2)。在进行了上述(2)的处理的情况下,在车室内不存在被推定为遗忘物的物体或被推定为利用者在下车时想要携带的物体(以下,称为特定物体)的情况(3)下,本车辆M通过自动驾驶而向驻车空间内驻车(参照后述的图9)。
在进行了上述(2)的处理的情况下,在车室内存在特定物体的情况(4)下,本车辆M的自动驾驶控制装置100向利用者的终端装置500提供表示在车室内放置有特定物体的信息(5)。当利用者操作终端装置500而向自动驾驶控制装置100发送表示想要取出特定物体的信息时,自动驾驶控制装置100为了使利用者从车室内取出特定物体,决定与利用者汇合的汇合地点,并将决定出的汇合地点的信息向利用者的终端装置500发送(6)。并且,利用者及本车辆M通过自动驾驶去往汇合地点(参照后述的图10、图11)。
[流程图]
图7是表示由终端装置500及自动驾驶控制装置100执行的处理的流程的一例的流程图。本处理例如是本车辆M在停止区域310停车了时被执行的处理。
首先,自动驾驶控制装置100的信息处理部110基于车辆传感器40的检测结果、车室内识别部18的识别结果,来判定本车辆M的驾驶员(或乘客全员)是否下车了(步骤S100)。例如,信息处理部110在驾驶员座的门锁被开锁而成为开状态后车门成为闭状态且门锁被锁定了的情况下,判定为驾驶员下车了。信息处理部110在基于车室内识别部18的识别结果而判定出驾驶员不存在于驾驶员座的情况下,判定为驾驶员下车了。在判定是否乘客全员下车了的情况下,信息处理部110在基于车室内识别部18的识别结果而判定出车室内不存在乘客的情况下,判定为乘客全员下车了。
接着,自动驾驶控制装置100的请求信号取得部134判定是否从终端装置500取得了驻车请求信号(步骤S102)。当从本车辆M下车了的利用者对终端装置500进行规定的操作时,终端装置500将驻车请求信号向自动驾驶控制装置100发送(步骤S200)。从本车辆M下车了的利用者是“未乘坐车辆的利用者”的一例。即,从本车辆M下车了的利用者是“在取得到移动指示之前刚才乘坐着车辆的利用者”。自动驾驶控制装置100能够基于驻车请求信号,来判别发送了所述驻车请求信号的终端装置500的利用者是否为之前乘坐着本车辆M的利用者。在该情况下,例如,驻车请求信号与基于拍摄利用者形成的图像得到的的信息建立了对应关系的对应信息存储于存储部。自动驾驶控制装置100参照上述的对应信息,使用由车室内相机17拍摄到的图像来判定与驻车请求信号建立了对应关系的利用者是否为刚才乘坐着的利用者。
当请求信号取得部134从终端装置500取得驻车请求信号时,信息处理部110使车室内相机17取得图像(步骤S104)。接着,信息处理部110使车室内识别部18解析在步骤S104中拍摄到的图像来识别车室内的情形。信息处理部110使车室内识别部18比较上述的识别结果与解析过去的图像而得到的识别结果(步骤S106),并基于比较结果来判定车室内是否存在特定物体。并且,车室内识别部18将判定结果向信息处理部110输出。过去的图像是指在步骤S100中下车了的驾驶员(或包括该驾驶员的多个乘客)乘坐本车辆M之前刚才的图像。例如,信息处理部110例如在驾驶员未乘坐本车辆M的状态下,在门锁被开锁了时机使车室内相机17取得图像。
接着,信息处理部110取得车室内识别部18的判定结果,并基于取得到的判定结果来判定是否存在特定物体(步骤S108)。即,在乘坐着车辆的利用者下车了时,判定在车辆的车室内是否放置有物体。图8是表示在步骤S104中拍摄到的图像(IM(t))与在过去拍摄到的图像(IM(t-1))的一例的图。例如,在过去的图像中提包未放置于座位,但在乘客乘车了之后提包放置于座位,乘客放置了提包就直接下车了的情况下,推定为提包是遗忘物(特定物体)。
在不存在特定物体的情况下,行动计划生成部140使本车辆M向驻车场移动(步骤S110)。图9是表示不存在特定物体的情况的本车辆M的行为的一例的图。例如,在时刻t乘客下车了之后,在时刻t+1判定出不存在特定物体的情况下,本车辆M在时刻t+2向驻车场的入口进入,并在时刻t+3向驻车空间PS驻车。这样,自动驾驶控制装置100在取得驻车请求信号、且没有识别到放置于车室内的特定物体的情况下,利用者不使本车辆M向可相会区域移动而使本车辆M向驻车场移动。并且,本车辆M通过自动驾驶向驻车空间PS驻车,因此利用者的便利性提高。
返回图7的说明。在步骤S108中存在特定物体的情况下,自动驾驶控制装置100的信息提供部170向终端装置500发送表示存在特定物体的信息(步骤S112)。即,信息提供部170向利用者的终端装置500提供表示特定物体被忘在车室内的信息。在存在特定物体的情况下,中断本车辆M通过自动驾驶向驻车空间PS驻车的处理。
在步骤S100的判定中判定出乘客未全员下车的情况(乘客存在于车室内的情况)下,在步骤S102中由终端装置500发送出驻车请求时,自动驾驶控制装置100也可以与特定物体的有无无关地不接受该驻车请求。不接受是指自动驾驶控制装置100不会通过驻车请求的取得而进行移动处理。在该情况下,例如,自动驾驶控制装置100使本车辆M留在当地。自动驾驶控制装置100(与表示存在特定物体的信息一起)将乘客存在于车室内的信息向终端装置500发送。也可以是,在终端装置500的利用者操作终端装置500,从而在识别出乘客存在于车室内的基础上,向自动驾驶控制装置100发送了指示进行移动处理的指示信息的情况下,自动驾驶控制装置100根据取得到上述的指示信息这一情况来执行移动处理。这样,在乘客存在于车室内的情况下,在虽然乘客存在于车室内但由利用者明示地进行了使移动处理执行的指示时,执行移动处理。
终端装置500当取得到在步骤S112中所发送的信息时,使终端装置500的显示部显示上述的发送了的信息(步骤S202)。在显示部例如显示表示存在特定物体的文字、包含特定物体的图像(例如图8、IM(t)等图像)。在显示部显示询问是否想要从车室内取出特定物体的图像。在该情况下,当下车了的乘客进行用于发送表示想要将特定物体从车室内取出的信息的操作时,终端装置500基于该操作而将相会请求向本车辆M发送(步骤S204)。相会请求是使本车辆M向可相会区域移动的请求。
接着,行动计划生成部140判定从进行了步骤S112的处理时起,在规定时间以内是否取得到了相会请求(步骤S114)。在规定时间以内未取得到相会请求的情况下,进入步骤S110的处理。
在规定时间以内取得到相会请求的情况下,信息处理部110决定汇合地点(可相会区域)(步骤S116)。关于汇合地点的决定的处理后文叙述。接着,信息提供部170向终端装置500发送表示决定结果的信息(步骤S118)。
终端装置500使显示部显示表示在步骤S118中所发送的决定结果的信息(步骤S206)。在步骤S118的处理后,行动计划生成部140使本车辆M向汇合地点移动(步骤S120)。由此,本流程图的一个例程的处理结束。
在步骤S120的处理中本车辆M移动到了汇合地点的情况下,由利用者从车室内取出特定物体,在利用者操作终端装置500而再次向本车辆M发送了驻车请求的情况下,本车辆M向驻车场移动。
行动计划生成部140也可以在表示决定结果的信息被发送到了终端装置500之后,从终端装置500发送了表示对决定结果予以同意的信息的情况下,向汇合地点移动。在关于决定结果而没有被同意的情况下,也可以将代替案向终端装置500发送。信息提供部170也可以向利用者提供多个汇合地点。在该情况下,行动计划生成部140使本车辆M向由利用者选择出的汇合地点移动。
也可以在信息提供部170将表示决定结果的信息向终端装置500发送起规定时间以内,行动计划生成部140未能从终端装置500取得表示关于决定结果予以同意的信息的情况下,使本车辆M不向汇合地点移动,而是向驻车场移动。
图10是表示存在特定物体的情况的本车辆M的行为的一例的图。例如,在时刻t乘客下车了之后,在时刻t+1判定出存在特定物体的情况下,本车辆M在时刻t+2在汇合地点(停止区域310)停车并与利用者汇合。并且,利用者在从车室内取出了特定物体之后,操作终端装置500而将驻车请求向本车辆M发送。本车辆M当取得驻车请求时,朝向驻车场起步,并在时刻t+3进入驻车场的入口,在时刻t+4驻车于驻车空间PS。
这样,在存在特定物体的情况下,自动驾驶控制装置100使本车辆M移动到汇合地点,以使利用者从车室内容易地取出特定物体。并且,在再次取得了驻车请求的情况下,通过自动驾驶向驻车空间PS驻车,因此利用者的便利性提高。
自动驾驶控制装置100在从利用者使本车辆M通过自动驾驶移动到汇合地点时起经过了规定时间的情况下,使本车辆M向驻车场移动。例如,在本车辆M抵达了汇合地点,但经过了规定时间利用者也未在汇合地点出现的情况下,使本车辆M向驻车场移动,由此抑制发生拥挤。
自动驾驶控制装置100也可以代替使本车辆M向可相会区域移动(或者除此之外),而使本车辆M留在当地。例如,也可以在本车辆M的驾驶员从下车后起规定时间以内(几秒~几十秒以内)识别出在车室内存在特定物体的情况下,自动驾驶控制装置100使本车辆M留在当地。
[移动处理(其2)]
在上述的[移动处理(其1)]中,将下车区域320设为了汇合地点,但在[移动处理(其2)]中,将下车区域320或乘车区域340设为汇合地点。例如,自动驾驶控制装置100基于利用者的位置信息与本车辆M的位置信息,来变更利用者使车辆通过自动驾驶向可相会区域移动的路径。例如,自动驾驶控制装置100基于利用者的位置信息与本车辆M的位置信息,来使车辆向多个汇合地点中的靠近利用者的位置的区域移动。换言之,基于利用者的位置信息与本车辆M的位置信息,来变更车辆移动的路径或移动时的速度。变更移动时的速度是指以车辆与向利用者的汇合地点的抵达时间相适应地移动的方式变更速度。
图11是表示乘车区域340成为汇合地点的场景的一例的图。省略与图10的说明同样的说明。例如,设为在时刻t+1判定为存在特定物体,在时刻t+2向终端装置500发送了表示车室内存在特定物体的信息。在该情况下,携带终端装置500的利用者未察觉到上述的通知,而在时刻t+3察觉到了通知。在该情况下,利用者的位置距乘车区域340的距离比距下车区域320的距离近,因此自动驾驶控制装置100将汇合地点决定为乘车区域340,使本车辆M向乘车区域340移动。在该情况下,本车辆M与利用者向汇合地点的抵达时间相适应地移动。例如,自动驾驶控制装置100以能够在利用者抵达汇合地点之前抵达的方式控制本车辆M的速度。
在时刻t+4,本车辆M与利用者在乘车区域340汇合,利用者从车室内取出特定物体,向自动驾驶控制装置100发送驻车请求。自动驾驶控制装置100当取得驻车请求时,再次通过下车区域320进入驻车场的入口,并在时刻t+5使本车辆M驻车于驻车空间PS。
这样,在存在特定物体的情况下,自动驾驶控制装置100使本车辆M向距利用者的距离近的汇合地点移动,以使利用者能够简便地从车室内取出特定物体。利用者能够在移动距离短的汇合地点将特定物体从车室内取出,因此更加提高利用者的便利性。
汇合地点例如由驻车场管理装置400或自动驾驶控制装置100(例如信息处理部110)决定。在以下的说明中,作为一例,说明驻车场管理装置400决定汇合地点的情况。自动驾驶控制装置100在决定汇合地点的情况下,进行与以下说明的驻车场管理装置400所进行的处理同等的处理。
图12是表示由自动驾驶控制装置100执行的处理的流程的一例的流程图。首先,控制部420的决定部422取得终端装置500的位置信息(步骤S300)。接着,决定部422取得本车辆M的位置信息(步骤S302)。
接着,决定部422导出从终端装置500的位置到乘车区域340的距离、以及从终端装置500的位置到下车区域320的距离,决定这些距离中的较短的距离的区域AR1(步骤S304)。
接着,决定部422导出从本车辆M的位置到乘车区域340的距离、以及从本车辆M的位置到下车区域320的距离,决定这些距离中的较短的距离的区域AR2(步骤S306)。
接着,决定部422判定在步骤S304中决定出的区域AR1与在步骤S306中决定出的区域AR2是否一致(步骤S308)。在区域AR1与区域AR2一致的情况下,决定部422将一致的区域决定为汇合地点,并将决定出的汇合地点的信息向本车辆M发送(步骤S310)。终端装置500也可以代替从本车辆M取得汇合地点的区域的信息,而从驻车场管理装置400取得汇合地点的区域的信息。
在区域AR1与区域AR2不一致的情况下,决定部422将距终端装置500的利用者的距离近的区域AR1决定为汇合地点,并将决定出的汇合地点的信息向本车辆M发送(步骤S312)。由此,本流程图的一个例程的处理结束。
在汇合地点的决定中,也可以除了移动距离之外,还加入移动的困难度。例如,在驻车场管理装置400的存储部430存储有表示从规定的位置向下车区域320、乘车区域340移动的情况的困难度的信息。决定部422也可以将基于移动距离的指标与基于向各区域移动的情况的困难度的指标进行统计处理,并将利用者易于移动的区域(最容易移动或者比其他区域容易移动的区域)决定为汇合地点。
这样,驻车场管理装置400能够决定出对于利用者而言合适的汇合地点。其结果是,提高利用者的便利性。
[移动处理(其3)]
在上述的[移动处理(其1)]中,将下车区域320设为了汇合地点,但在[移动处理(其3)]中,加入下车区域320或乘车区域340的拥挤度来决定汇合地点。导出部424导出利用者汇合地点(可相会区域)的拥挤程度,并基于导出结果来导出拥挤程度为规定程度以上的区域。并且,自动驾驶控制装置100在取得到驻车请求且识别出放置于车室内的特定物体的情况下,使本车辆M不向由导出部424导出的拥挤程度为规定程度以上的汇合地点(可相会区域)移动。
图13是表示乘车区域340成为汇合地点的场景的另一例的图(其1)。省略与图10的说明同样的说明。例如,设为在时刻t+1判定为存在特定物体,并在时刻t+2向终端装置500发送了表示在车室内存在特定物体的信息。此时,在携带终端装置500的利用者存在于下车区域320附近、但下车区域320拥挤规定程度以上的情况下,将未拥挤规定程度以上的乘车区域决定为汇合地点。并且,自动驾驶控制装置100使本车辆M向乘车区域340移动。
在时刻t+3,本车辆M与利用者在乘车区域340汇合,利用者从车室内取出特定物体,并向自动驾驶控制装置100发送驻车请求。自动驾驶控制装置100当取得驻车请求时,再次通过下车区域320进入驻车场的入口,并在时刻t+4使本车辆M驻车于驻车空间PS。
这样,在存在特定物体的情况下,自动驾驶控制装置100加入下车区域320(或乘车区域340)的拥挤程度来决定汇合地点,因此能够抑制设施的拥挤程度。
图14是表示乘车区域340成为汇合地点的场景的又一例的图(其2)。省略与图10的说明同样的说明。例如,设为在时刻t+1判定为存在特定物体,并在时刻t+2向终端装置500发送了表示在车室内存在特定物体的信息。携带终端装置500的利用者存在于下车区域320附近。此时,在下车区域320及乘车区域340拥挤规定程度以上的情况下,自动驾驶控制装置100使本车辆M向驻车场移动。
由此,在时刻t+3,自动驾驶控制装置100使本车辆M进入驻车场的入口,并在时刻t+4使本车辆M驻车于驻车空间PS。
这样,即使是存在特定物体的情况下,在设施拥挤着的情况下,自动驾驶控制装置100也使本车辆M向驻车场移动,由此能够抑制设施的拥挤程度。
拥挤程度例如由驻车场管理装置400或自动驾驶控制装置100(例如信息处理部110)导出。在以下的说明中,作为一例,说明驻车场管理装置400决定汇合地点的情况。自动驾驶控制装置100在导出拥挤程度的情况下,进行与以下说明的驻车场管理装置400所进行的处理同等的处理。
图15是表示由自动驾驶控制装置100执行的处理的流程的一例的流程图。图15的步骤S300~S308的处理与图12的步骤S300~S308的处理同样,因此省略说明。
在区域AR1与区域AR2一致的情况下,决定部422将一致的区域决定为候补汇合地点(步骤S311)。在区域AR1与区域AR2不一致的情况下,决定部422将距终端装置500的利用者的距离近的区域AR1决定为候补汇合地点(步骤S313)。
接着,导出部424基于设施内的车辆的位置信息来导出拥挤程度(步骤S314)。设施是指包括驻车场PA、下车区域320、乘车区域340、以及在这些区域间移动时利用的路径的与驻车场相关的设施。拥挤程度例如是指每单位区域的车辆的数量(例如密度)。例如密度越高则拥挤程度越高。
接着,决定部422决定候补汇合地点的拥挤程度是否为阈值以下(步骤S316)。在候补汇合地点的拥挤程度为阈值以下的情况下,决定部422将在步骤S316的处理中被判定为拥挤程度为阈值以下的候补汇合地点决定为汇合地点,并将决定出的汇合地点的信息向本车辆M(或终端装置500)发送(步骤S318)。
在候补汇合地点的拥挤程度不是阈值以下的情况(超过阈值的情况)下,决定部422判定是否存在阈值以下的汇合地点(例如阈值以下的可相会区域)(步骤S320)。在存在阈值以下的汇合地点的情况下,决定部422将阈值以下的汇合地点决定为汇合地点,并将决定出的汇合地点的信息向本车辆M(或终端装置500)发送(步骤S322)。
也可以在步骤S322中存在多个汇合地点的情况下,将利用者易于移动的汇合地点(距利用者的位置的距离近的汇合地点)、或者拥挤程度最低的汇合地点决定为汇合地点。也可以是,在步骤S322中存在多个汇合地点的情况下,基于将利用者的移动容易度和拥挤程度统计处理出的结果,来决定汇合地点。
在步骤S320中不存在阈值以下的汇合地点的情况下,决定部422向本车辆M(或终端装置500)发送表示不能决定出汇合地点的信息(步骤S324)。即,向本车辆M发送要求不与利用者汇合而向驻车场移动的信息。由此,本流程图的一个例程的处理结束。
通过上述的处理,即使在存在特定物体的情况下,在设施拥挤着时,自动驾驶控制装置100也使本车辆M向驻车场移动,由此能够抑制设施的拥挤程度。
[移动处理(其4)]
自动驾驶控制装置100基于利用者的位置信息与本车辆M的位置信息,来变更使车辆通过自动驾驶向可相会区域移动时的移动时的速度。
例如,自动驾驶控制装置100的信息处理部110基于由驻车场管理装置400发送出的特定指示,根据利用者抵达汇合地点的时刻或利用者相对于汇合地点的位置来变更移动时的速度。特定指示是指移动速度、向汇合地点的抵达时间、从当前停车着的地点出发的时刻等指示。
例如,导出部424基于利用者的位置信息(或移动轨迹、移动速度)和本车辆M的位置信息(或移动轨迹、移动速度),以在与利用者抵达汇合地点的时机相吻合的时机下本车辆M抵达汇合地点的方式导出特定指示。例如,导出部424在汇合地点的拥挤程度比当前停车着的地点的拥挤程度高的情况下,基于特定指示生成使本车辆M在当前停车着的地点停车规定时间、或者对从当前停车着的地点去往汇合地点的路径中的速度进行变更的指示。
导出部424在汇合地点拥挤规定程度以上的情况下,生成使本车辆M绕行前往汇合地点的指示,或者对正去往汇合地点的本车辆M生成绕行前往汇合地点的指示。即,使“变更使车辆通过自动驾驶进行移动的路径”。
[与比较例的对比]
比较例的车辆控制系统在利用者发送了驻车请求之后,即使是想要从车室内取出特定物体的情况下,也会根据驻车请求而使本车辆向驻车场移动,或者使本车辆向驻车空间驻车。在该情况下,利用者需要使本车辆再次从驻车场出库,有时花费到与本车辆汇合的时间,花费本车辆的移动成本。有时因本车辆的移动,在驻车场的运营中与运营相关的成本增加,或者对驻车场的拥挤产生影响。
与此相对,本实施方式的自动驾驶控制装置100在利用者发送了驻车请求之后,在特定物体存在于车室内的情况下,抑制本车辆M向驻车场移动,或者向驻车空间驻车,而向与驻车场不同的可相会区域移动。其结果是,利用者能够不花费成本地与本车辆M汇合。成本是指例如与本车辆M或利用者的移动相关的成本、驻车场的运营中的成本。利用者能够抑制对驻车场的拥挤带来影响,并且简便地与本车辆M汇合。
根据以上说明的第一实施方式,自动驾驶控制装置100在取得驻车请求、且识别出放置于车室内的特定物体的情况下,利用者使本车辆M通过自动驾驶向可相会区域移动、或者使车辆停留在可相会区域,由此能够提高利用者的便利性。
<第二实施方式>
以下,说明第二实施方式。在第一实施方式中,说明了自动驾驶控制装置100将拍摄过去的车室内的情形而得到的图像与在利用者下车时拍摄车室内的情形而得到的图像进行比较,来判定有无特定物体的情况。在第二实施方式中,自动驾驶控制装置100将基于利用者的操作而被登记了的物体处理为特定物体,在被登记了的物体在利用者下车时存在于车室内的情况下判定为特定物体存在于车室内。以下,以与第一实施方式的不同点为中心进行说明。
图16是表示由自动驾驶控制装置100执行的物体被登记为特定物体的处理的流程的一例的流程图。首先,信息处理部110在利用者乘坐本车辆M之后,使车室内相机17取得图像(步骤S400)。接着,信息处理部110使车室内识别部18解析在步骤S400中取得到的图像,并提取特定物体的候补(步骤S402)。特定物体的候补是指预先设定的物体。例如,车室内识别部18基于预先存储于车辆系统2所具有的存储装置的物体的特征量,来提取特定物体的候补。特征量例如是与亮度相关的指标、表示亮度相对于基准值的变化程度等的指标。例如,车室内识别部18提取在图像中与特定物体的候补对应的矩形区域(参照图17)。
接着,信息处理部110使HMI30的触摸面板显示步骤S404的提取结果(步骤S404)。图17是表示对显示于触摸面板的提取结果进行示出的图像IM的一例的图。在触摸面板显示矩形区域ARr与图像中的物体建立了对应关系的图像IM。在图像IM中设定用于将与矩形区域ARr建立了对应关系的物体登记为特定物体的登记按钮B。
当利用者操作登记按钮B时,自动驾驶控制装置100在未图示的存储装置中将与矩形区域ARr建立了对应关系的物体登记为注视物体(步骤S406)。图18是表示将被登记的注视物体的一览示出的注视物体表180的一例的图。关于注视物体表180,是注视物体的识别信息(ID)、与包含注视物体的矩形区域对应的图像、以及从对应于矩形区域的图像提取出的特征量的分布相互建立了对应关系的信息。注视物体是“预先与基于拍摄到的图像得到的信息(例如特征量)建立对应关系而被登记了的物体”的一例。
自动驾驶控制装置100如在下述的图19的流程图进行说明那样,参照上述的注视物体表180,在利用者下车时在车室内存在注视物体的情况下,将该注视物体识别为特定物体,并判定为特定物体存在于车室内。
图19是表示由自动驾驶控制装置100执行的在利用者下车时判定车室内是否存在特定物体的处理的流程的一例的流程图。本处理是在乘坐着本车辆M的利用者下车之后执行的处理。
首先,信息处理部110使车室内相机17取得图像(步骤S500)。接着,信息处理部110判定注视物体是否包含于在步骤S500中取得到的图像(步骤S502)。例如,信息处理部110使车室内识别部18从在步骤S500中取得到的图像提取特征量,并将提取到的特征量的分布与登记于注视物体表180的注视物体的特征量的分布进行比较。并且,信息处理部110在由车室内识别部18判定出登记于注视物体表180的注视物体的特征量的分布与图像中的特征量的分布吻合了的情况下,判定为注视物体包含于图像。
在判定出注视物体包含于图像的情况下,信息提供部170向终端装置500发送表示特定物体存在于车室内的信息(步骤S504)。即,在判定出注视物体包含于图像的情况下,进行图4的步骤S112以后的处理。这样,信息提供部170在识别出预先登记了的物体的情况下,向利用者的终端装置500通知表示特定物体被忘在车室内的信息。
在不存在特定物体的情况下,行动计划生成部140使本车辆M向驻车场移动(步骤S506)。即,在不存在特定物体的情况下,进行图4的步骤S110的处理。由此,本处理的一个例程的处理结束。
特定物体也可以是和预先与基于拍摄到的图像得到的信息建立对应关系而被登记了的物体不同的物体。在该情况下,信息提供部170也可以在识别出未基于图像而被预先登记的物体的情况下,向利用者的终端装置500通知表示特定物体被忘在车室内的信息。
在上述的说明中,说明了在预先由利用者登记了的物体(或未登记的物体)存在于车室内的情况下进行通知的情况,但与登记的有无无关地,在智能手机等供进行使代客泊车开始的操作的装置存在于车室内的情况下,可以留在当地,也可以使本车辆M通过自动驾驶向利用者可相会区域移动。
根据以上说明的第二实施方式,自动驾驶控制装置100基于被登记了的注视物体的信息,来判定特定物体是否存在于车室内,因此能够更加精度良好地检测特定物体是否忘放在车室内。其结果是,能够提高利用者的便利性。
<第三实施方式>
以下,说明第三实施方式。在第三实施方式中,自动驾驶控制装置100的信息提供部170取得使驻车请求输出了的利用者下次乘坐车辆的乘车预定时刻。并且,自动驾驶控制装置100在取得到驻车请求、且识别到放置于车室内的物体、并且所取得到的乘车预定时刻(或停留时间)与当前的时刻相距规定时间以内的情况下,不使车辆通过自动驾驶向利用者可相会区域移动。以下,以与第一实施方式的不同点为中心进行说明。
例如,信息处理部110参照日程信息182,来判定本车辆M是否在驻车场驻车规定时间以上。图20是表示日程信息182的内容的一例的图。日程信息182例如是记载于车辆系统2的存储装置的信息。日程信息182例如是由利用者的终端装置500发送的信息、或者利用者操作本车辆M的HMI30而登记了的信息。对于日程信息182,例如是进行访问的设施、抵达设施或在设施停留的时间、以及日程的内容相互建立了对应关系的信息。
例如,信息处理部110基于本车辆M的位置信息和地图信息来确定本车辆M存在的设施。信息处理部110参照日程信息182,来推定本车辆M所存在的设施的停留时间。并且,信息处理部110在推定出停留时间为规定时间以内的情况下,即使在乘客下车了之后特定物体存在于车室内,也不使车辆通过自动驾驶向利用者可相会区域移动。
信息处理部110在不能够推定停留时间的情况下,也可以参照地图信息,在本车辆M所存在的设施是特定的设施的情况下,不使车辆通过自动驾驶向利用者可相会区域移动。特定的设施是指基于在此之前自动驾驶控制装置100取得到的本车辆M的行动履历而导出的停留时间是规定时间以内的设施。日程信息182也可以是将本车辆M去往相应设施的乘车区域的时间包括在内的信息。在该情况下,信息处理部110在从当前的时刻起本车辆M去往相应设施的乘车区域的时间为规定时间以内的情况下,即使特定物体存在于车室内,也不使车辆通过自动驾驶向利用者可相会区域移动。
根据以上说明的第三实施方式,在推定为将特定物体忘放在车室内对利用者并不那么带来影响的情况下,不使车辆通过自动驾驶向利用者可相会区域移动,因此能够抑制与驻车场相关的设施的拥挤。抑制利用者接收无用的通知。
在上述的实施方式中,设为基于由终端装置500输出了的信号来开始自动泊车事件的情况,但是,也可以代替于此(或者除此之外还)基于从本车辆M下车了的利用者的规定的手势,来开始自动泊车事件。在该情况下,在识别部130基于由相机10拍摄到的图像而识别出规定的手势的情况下,行动计划生成部140使自动泊车事件开始。
在上述的各流程图的处理中,既可以省略一部分的处理,也可以调换处理的顺序。各实施方式的处理也可以被组合实施。
[硬件结构]
图21是表示实施方式的自动驾驶控制装置100的硬件结构的一例的图。如图所示,自动驾驶控制装置100成为通信控制器100-1、CPU100-2、作为工作存储器而被使用的RAM(Random Access Memory)100-3、保存引导程序等的ROM(Read Only Memory)100-4、闪存器、HDD(Hard Disk Drive)等存储装置100-5、驱动装置100-6等通过内部总线或者专用通信线相互连接而成的结构。通信控制器100-1进行与自动驾驶控制装置100以外的构成要素的通信。在存储装置100-5保存有CPU100-2所执行的程序100-5a。该程序通过DMA(DirectMemory Access)控制器(未图示)等而向RAM100-3展开,并由CPU100-2执行。由此,实现信息处理部110、第一控制部120、第二控制部160及信息提供部170中的一部分或全部。
上述说明的实施方式能够如以下这样表现。
一种车辆控制装置,其构成为具备:
存储有程序的存储装置;以及
硬件处理器,
所述硬件处理器通过执行存储于所述存储装置的程序来进行如下处理:
识别车辆的周边状况;
基于所述识别到的周边状况,不依赖于乘客的操作地控制所述车辆的转向及加减速;
识别放置于所述车辆的车室内的物体;
取得移动指示,所述移动指示是基于未乘坐所述车辆的利用者的行动而输出的移动指示,且通过所述驾驶控制部的控制而使所述车辆向驻车场移动;以及
在取得所述移动指示且识别到放置于所述车室内的所述物体的情况下,使所述车辆向所述利用者可相会的可相会区域移动,或者使所述车辆停留在所述可相会区域。
以上,使用实施方式说明了本发明的具体实施方式,但本发明丝毫不被这样的实施方式限定,在不脱离本发明的主旨的范围内能够施加各种变形及替换。
Claims (17)
1.一种车辆控制系统,其中,
所述车辆控制系统具备:
第一识别部,其识别车辆的周边状况;
驾驶控制部,其基于由所述第一识别部识别到的周边状况,不依赖于乘客的操作地控制所述车辆的转向及加减速;
第二识别部,其识别放置于所述车辆的车室内的物体;以及
取得部,其取得移动指示,所述移动指示是基于未乘坐所述车辆的利用者的行动而输出的移动指示,且用于通过所述驾驶控制部的控制而使所述车辆向驻车场移动,
在由所述取得部取得所述移动指示、且由所述第二识别部识别到放置于所述车室内的所述物体的情况下,所述驾驶控制部使所述车辆向所述利用者可相会的可相会区域移动,或者使所述车辆留在所述可相会区域。
2.根据权利要求1所述的车辆控制系统,其中,
所述可相会区域是与所述驻车场的区域不同的区域。
3.根据权利要求1或2所述的车辆控制系统,其中,
所述可相会区域是下车区域或乘车区域,所述下车区域是在所述车辆通过所述驾驶控制部的控制而向所述驻车场移动时,乘坐着所述车辆的所述利用者下车的区域,所述乘车区域是在驻车于所述驻车场的所述车辆通过所述驾驶控制部的控制而出库了时,所述利用者乘坐所述车辆的区域。
4.根据权利要求1至3中任一项所述的车辆控制系统,其中,
未乘坐所述车辆的所述利用者是在由所述取得部取得到所述移动指示之前刚才乘坐着所述车辆的所述利用者。
5.根据权利要求1至4中任一项所述的车辆控制系统,其中,
在乘坐着所述车辆的所述利用者下车了时,所述第二识别部判定在所述车辆的所述车室内是否放置有所述物体。
6.根据权利要求1至5中任一项所述的车辆控制系统,其中,
在由所述取得部取得所述移动指示、且未由所述第二识别部识别到放置于所述车室内的所述物体的情况下,所述驾驶控制部不使所述车辆向所述可相会区域移动,而使所述车辆向所述驻车场移动。
7.根据权利要求1至6中任一项所述的车辆控制系统,其中,
所述车辆控制系统还具备取得所述利用者的位置信息的位置信息取得部,
所述驾驶控制部基于所述利用者的位置信息和所述车辆的位置信息,来变更使所述车辆通过所述驾驶控制部的控制而向所述可相会区域进行移动的路径、或者所述移动时的速度。
8.根据权利要求7所述的车辆控制系统,其中,
所述驾驶控制部基于所述利用者的位置信息和所述车辆的位置信息,来使所述车辆向多个所述可相会区域中的靠近所述利用者的位置的所述可相会区域移动。
9.根据权利要求1至8中任一项所述的车辆控制系统,其中,
所述车辆控制系统还具备提供部,在由所述取得部取得所述移动指示、且由所述第二识别部识别到放置于所述车室内的所述物体的情况下,所述提供部向所述利用者的终端装置提供表示将所述物体遗忘在所述车室内的信息。
10.根据权利要求1至9中任一项所述的车辆控制系统,其中,
所述第二识别部基于由对所述车室内的情形进行拍摄的摄像部拍摄到的图像,来识别所述物体。
11.根据权利要求1至10中任一项所述的车辆控制系统,其中,
所述物体是与基于拍摄到的图像得到的信息建立关联而进行了预先登记的物体,
所述车辆控制系统还具备信息提供部,在所述第二识别部识别到基于所述图像而进行了所述预先登记的物体的情况下,所述信息提供部向所述利用者的终端装置通知表示所述物体被忘在所述车室内的信息。
12.根据权利要求1至11中任一项所述的车辆控制系统,其中,
所述物体是与和基于拍摄到的图像得到的信息建立关联而进行了预先登记的物体不同的物体,
所述车辆控制系统还具备信息提供部,在所述第二识别部识别到未基于所述图像而进行了所述预先登记的所述物体的情况下,所述信息提供部向所述利用者的终端装置通知表示所述物体被忘在所述车室内的信息。
13.根据权利要求1至12中任一项所述的车辆控制系统,其中,
所述车辆控制系统还具备取得所述利用者可相会的所述可相会区域的拥挤程度的拥挤信息取得部,
在由所述取得部取得所述移动指示、且由所述第二识别部识别到放置于所述车室内的所述物体的情况下,所述驾驶控制部不使所述车辆向由所述拥挤信息取得部取得到的拥挤程度为规定程度以上的所述可相会区域移动。
14.根据权利要求1至13中任一项所述的车辆控制系统,其中,
在从使所述车辆通过所述驾驶控制部的控制而移动到所述可相会区域时起经过了规定时间的情况下,所述驾驶控制部使所述车辆向所述驻车场移动。
15.根据权利要求1至14中任一项所述的车辆控制系统,其中,
所述车辆控制系统还具备取得使所述移动指示输出了的所述利用者下次乘坐所述车辆的乘车预定时刻的取得部,
在由所述取得部取得所述移动指示、且由所述第二识别部识别到放置于所述车室内的所述物体、并且由所述取得部取得到的乘车预定时刻与当前的时刻相距规定时间以内的情况下,所述驾驶控制部不使所述车辆向所述利用者可相会的所述可相会区域移动。
16.一种车辆控制方法,其中,
所述车辆控制方法使计算机进行如下处理:
识别车辆的周边状况;
基于识别到的所述周边状况,不依赖于乘客的操作地控制所述车辆的转向及加减速;
识别放置于所述车辆的车室内的物体;
取得移动指示,所述移动指示是基于未乘坐所述车辆的利用者的行动而输出的移动指示,且通过所述车辆的转向及加减速的控制而使所述车辆向驻车场移动;以及
在取得所述移动指示、且识别到放置于所述车室内的所述物体的情况下,使所述车辆向所述利用者可相会的可相会区域移动,或者使所述车辆留在所述可相会区域。
17.一种存储介质,其中,
所述存储介质使计算机进行如下处理:
识别车辆的周边状况;
基于识别到的所述周边状况,不依赖于乘客的操作地控制所述车辆的转向及加减速;
识别放置于所述车辆的车室内的物体;
取得移动指示,所述移动指示是基于未乘坐所述车辆的利用者的行动而输出的移动指示,且通过所述车辆的转向及加减速的控制而使所述车辆向驻车场移动;以及
在取得所述移动指示、且识别到放置于所述车室内的所述物体的情况下,使所述车辆向所述利用者可相会的可相会区域移动,或者使所述车辆留在所述可相会区域。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018242824A JP7032295B2 (ja) | 2018-12-26 | 2018-12-26 | 車両制御システム、車両制御方法、およびプログラム |
JP2018-242824 | 2018-12-26 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111391826A true CN111391826A (zh) | 2020-07-10 |
CN111391826B CN111391826B (zh) | 2022-09-09 |
Family
ID=71122754
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911315473.XA Active CN111391826B (zh) | 2018-12-26 | 2019-12-18 | 车辆控制系统、车辆控制方法及存储介质 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11340627B2 (zh) |
JP (1) | JP7032295B2 (zh) |
CN (1) | CN111391826B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114900380A (zh) * | 2021-01-26 | 2022-08-12 | 本田技研工业株式会社 | 信息处理装置、信息处理方法和记录介质 |
CN114944074A (zh) * | 2021-02-17 | 2022-08-26 | 丰田自动车株式会社 | 信息处理装置、路径信息提供方法以及路径信息提供系统 |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102019101569A1 (de) * | 2019-01-23 | 2020-07-23 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zum fahrerlosen Umsetzen eines Fahrzeugs über eine Strecke innerhalb eines abgeschlossenen Geländes |
JP7240218B2 (ja) * | 2019-03-19 | 2023-03-15 | 本田技研工業株式会社 | 車両制御システム、車両制御方法、及びプログラム |
EP3990302B1 (en) * | 2019-10-29 | 2023-01-11 | holoride GmbH | Method and control device for operating a virtual reality headset in a vehicle |
CN111998864B (zh) * | 2020-08-11 | 2023-11-07 | 东风柳州汽车有限公司 | 无人车局部路径规划方法、装置、设备及存储介质 |
JP7439781B2 (ja) * | 2021-03-02 | 2024-02-28 | トヨタ自動車株式会社 | 自動運転車両、乗合車両及び車両乗換システム |
WO2023182137A1 (ja) * | 2022-03-25 | 2023-09-28 | 株式会社小糸製作所 | 灯具システム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104512463A (zh) * | 2013-10-04 | 2015-04-15 | 本田技研工业株式会社 | 停车辅助装置 |
US20150137985A1 (en) * | 2011-12-29 | 2015-05-21 | Alexandra Zafiroglu | Object recognition and notification |
CN107067795A (zh) * | 2016-11-25 | 2017-08-18 | 斑马信息科技有限公司 | 泊车系统和泊车方法 |
US20180297588A1 (en) * | 2017-04-18 | 2018-10-18 | International Business Machines Corporation | Delayed parking optimization of autonomous vehicles |
US20180345954A1 (en) * | 2015-12-04 | 2018-12-06 | Valeo Schalter Und Sensoren Gmbh | Method for autonomously parking a motor vehicle with interior monitoring, driver assistance system as well as motor vehicle |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000087582A (ja) | 1998-09-09 | 2000-03-28 | Honda Motor Co Ltd | 共用車両用ポートの制御方法 |
JP2012123491A (ja) | 2010-12-06 | 2012-06-28 | Fujitsu Ten Ltd | 車載装置および忘れ物確認サービス |
US10088846B2 (en) * | 2016-03-03 | 2018-10-02 | GM Global Technology Operations LLC | System and method for intended passenger detection |
US9836057B2 (en) * | 2016-03-24 | 2017-12-05 | Waymo Llc | Arranging passenger pickups for autonomous vehicles |
JP2017182301A (ja) | 2016-03-29 | 2017-10-05 | パナソニックIpマネジメント株式会社 | 自動輸送車両及び自動輸送システム |
JP2018097536A (ja) | 2016-12-12 | 2018-06-21 | 株式会社デンソーテン | 駐車管理装置、駐車管理システム及び駐車管理方法 |
JP6769383B2 (ja) | 2017-04-13 | 2020-10-14 | トヨタ自動車株式会社 | 自動運転装置、及び通知方法 |
US11745727B2 (en) * | 2018-01-08 | 2023-09-05 | STEER-Tech, LLC | Methods and systems for mapping a parking area for autonomous parking |
JP2019168815A (ja) | 2018-03-22 | 2019-10-03 | 東芝メモリ株式会社 | 情報処理装置、情報処理方法、及び情報処理プログラム |
-
2018
- 2018-12-26 JP JP2018242824A patent/JP7032295B2/ja active Active
-
2019
- 2019-12-17 US US16/716,576 patent/US11340627B2/en active Active
- 2019-12-18 CN CN201911315473.XA patent/CN111391826B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150137985A1 (en) * | 2011-12-29 | 2015-05-21 | Alexandra Zafiroglu | Object recognition and notification |
CN104512463A (zh) * | 2013-10-04 | 2015-04-15 | 本田技研工业株式会社 | 停车辅助装置 |
US20180345954A1 (en) * | 2015-12-04 | 2018-12-06 | Valeo Schalter Und Sensoren Gmbh | Method for autonomously parking a motor vehicle with interior monitoring, driver assistance system as well as motor vehicle |
CN107067795A (zh) * | 2016-11-25 | 2017-08-18 | 斑马信息科技有限公司 | 泊车系统和泊车方法 |
US20180297588A1 (en) * | 2017-04-18 | 2018-10-18 | International Business Machines Corporation | Delayed parking optimization of autonomous vehicles |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114900380A (zh) * | 2021-01-26 | 2022-08-12 | 本田技研工业株式会社 | 信息处理装置、信息处理方法和记录介质 |
CN114944074A (zh) * | 2021-02-17 | 2022-08-26 | 丰田自动车株式会社 | 信息处理装置、路径信息提供方法以及路径信息提供系统 |
CN114944074B (zh) * | 2021-02-17 | 2024-02-13 | 丰田自动车株式会社 | 信息处理装置、路径信息提供方法以及路径信息提供系统 |
Also Published As
Publication number | Publication date |
---|---|
JP7032295B2 (ja) | 2022-03-08 |
US20200209878A1 (en) | 2020-07-02 |
US11340627B2 (en) | 2022-05-24 |
JP2020106929A (ja) | 2020-07-09 |
CN111391826B (zh) | 2022-09-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111391826B (zh) | 车辆控制系统、车辆控制方法及存储介质 | |
CN110281941B (zh) | 车辆控制装置、车辆控制方法及存储介质 | |
CN111582520A (zh) | 车迎接管理装置、车迎接控制方法及存储介质 | |
CN111833645A (zh) | 停车场管理装置、停车场管理方法、及存储介质 | |
CN111376853B (zh) | 车辆控制系统、车辆控制方法及存储介质 | |
CN111791882B (zh) | 管理装置 | |
CN111661037B (zh) | 车辆控制装置、车辆控制方法及计算机可读取存储介质 | |
CN111762174B (zh) | 车辆控制装置、车辆控制方法及存储介质 | |
CN111986505B (zh) | 控制装置、上下车设施、控制方法及存储介质 | |
CN111667709B (zh) | 车辆控制装置、信息提供装置、信息提供系统、车辆控制方法、信息提供方法及存储介质 | |
CN111766868A (zh) | 车辆控制装置、车辆控制方法及存储介质 | |
CN111932927B (zh) | 管理装置、管理方法及存储介质 | |
CN111619550A (zh) | 车辆控制装置、车辆控制系统、车辆控制方法及存储介质 | |
CN111768508B (zh) | 收费装置、收费方法及存储介质 | |
CN111796591B (zh) | 车辆控制装置、监视系统、车辆控制方法及存储介质 | |
CN111746438B (zh) | 车辆控制装置、车辆控制方法及存储介质 | |
JP7112358B2 (ja) | 車両制御装置、車両制御方法、およびプログラム | |
CN111688708A (zh) | 车辆控制系统、车辆控制方法及存储介质 | |
CN111746513A (zh) | 车辆控制装置、车辆控制方法及存储介质 | |
CN111619568B (zh) | 车辆控制装置、车辆控制方法及存储介质 | |
CN111661038A (zh) | 车辆控制系统、车辆控制方法及存储介质 | |
CN111951545B (zh) | 信息处理装置、车辆控制装置、信息处理方法及存储介质 | |
CN112009478B (zh) | 车辆控制系统、车辆控制方法及存储介质 | |
CN111619571B (zh) | 车辆控制系统、车辆控制方法及存储介质 | |
CN111754005A (zh) | 管理装置、管理方法及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |