CN110419211A - 信息处理装置、信息处理方法和信息处理程序 - Google Patents

信息处理装置、信息处理方法和信息处理程序 Download PDF

Info

Publication number
CN110419211A
CN110419211A CN201780088182.4A CN201780088182A CN110419211A CN 110419211 A CN110419211 A CN 110419211A CN 201780088182 A CN201780088182 A CN 201780088182A CN 110419211 A CN110419211 A CN 110419211A
Authority
CN
China
Prior art keywords
image data
vehicle
facility
priority
automatic driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780088182.4A
Other languages
English (en)
Other versions
CN110419211B (zh
Inventor
长谷川雄史
虻川雅浩
村山修
三木洋平
吉田道学
石川健太郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Corp
Original Assignee
Mitsubishi Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Corp filed Critical Mitsubishi Corp
Publication of CN110419211A publication Critical patent/CN110419211A/zh
Application granted granted Critical
Publication of CN110419211B publication Critical patent/CN110419211B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0285—Parking performed automatically
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0287—Control of position or course in two dimensions specially adapted to land vehicles involving a plurality of land vehicles, e.g. fleet or convoy travelling
    • G05D1/0291—Fleet control
    • G05D1/0297—Fleet control by controlling means in a control room
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0145—Measuring and analyzing of parameters relative to traffic conditions for specific applications for active traffic flow control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G08G1/141—Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces
    • G08G1/143—Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces inside the vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G08G1/145—Traffic control systems for road vehicles indicating individual free spaces in parking areas where the indication depends on the parking areas
    • G08G1/146—Traffic control systems for road vehicles indicating individual free spaces in parking areas where the indication depends on the parking areas where the parking area is a limited parking space, e.g. parking garage, restricted space
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Astronomy & Astrophysics (AREA)
  • Theoretical Computer Science (AREA)

Abstract

第1图像数据取得部(101)取得多个图像数据，该多个图像数据映出供自动驾驶车辆进行自动行驶的设施内的不同区域。优先级设定部(102)对多个图像数据中分别映出的状况进行分析，对各图像数据设定优先级。第1图像数据显示部(103)按照由优先级设定部(102)设定的优先级，决定显示多个图像数据时的显示方式。

Description

信息处理装置、信息处理方法和信息处理程序
技术领域
本发明涉及自动驾驶车辆的监视。
背景技术
近年来，销售以自动制动和自适应巡航控制(Adaptive Cruise Control)等为代表的先进驾驶辅助系统(ADAS：Advanced Driver Assistance System)。此外，自动驾驶行驶技术的研究开发也在发展，多个汽车制造商正在实施公路上的实证实验。作为该自动驾驶行驶技术之一，自动泊车技术的研究开发也在积极进行，多个汽车制造商将自动泊车功能搭载于车辆进行销售。
在多数的自动泊车功能中，当驾驶员在触摸面板中选择泊车位置后，车辆进行自动行驶，以向被选择的泊车位置进行泊车。
在酒店或餐厅，有时提供代客泊车服务。在代客泊车中，当在酒店入口或餐厅入口将车辆的钥匙交给管理人后，管理人代替驾驶员对车辆进行泊车。当要通过自动泊车功能实现该代客泊车时，车辆需要在无人状态下进行自动行驶。由于自动驾驶技术的进步，通常，即使无人也能够进行自动泊车。但是，在停车场拥挤的情况下，为了确保安全，自动驾驶车辆彼此有时相互停止行驶。此外，在停车场混合存在有自动驾驶车辆和手动驾驶车辆双方的情况下，与仅存在自动驾驶车辆的情况相比，很难进行自动泊车。
如上所述，在停车场拥挤的情况下和停车场混合存在有自动驾驶车辆和手动驾驶车辆的情况下，很难进行自动泊车。当假设这种状况时，需要人对自动驾驶车辆的自动泊车功能进行辅助，从而避免事故。
关于这点，在专利文献1中公开了泊车辅助系统。在专利文献1中，向停车场的管理者发送要泊车的车辆的车载摄像头的拍摄图像。管理者参照车载摄像头的拍摄图像，通过虚拟转向代替驾驶员驾驶车辆，对车辆进行泊车。
根据专利文献1的技术，停车场的管理者在分开的场所也能够代替驾驶员驾驶车辆。
此外，在专利文献2中公开了使用智能手机使自动驾驶车辆停止的技术。在专利文献2中，向驾驶员的智能手机提示表示自动驾驶车辆的位置和自动驾驶车辆周围的人或障碍物的驾驶状况通知图像。然后，在驾驶员判断为需要使自动驾驶车辆停止的情况下，驾驶员对停止按钮进行操作，使自动驾驶车辆停止
根据专利文献2的技术，驾驶员确认自动泊车中的自动驾驶车辆的驾驶状况，在危险的情况下对停止按钮进行操作，能够使自动驾驶车辆停止。
现有技术文献
专利文献
专利文献1：日本特开2012-126193号公报
专利文献2：日本特开2016-99953号公报
发明内容
发明要解决的课题
在专利文献1和2的技术中，针对一台自动驾驶车辆，需要1名管理者进行驾驶辅助。因此，在专利文献1的技术和专利文献2的技术中，在停车场等设施中，当自动驾驶车辆的台数较多时，管理者的辅助不充分，存在在停车场等设施中发生自动泊车中的自动驾驶车辆引起的事故的可能性较高这样的课题。
本发明的主要目的在于解决这种课题。更具体而言，本发明的主要目的在于得到有效防止设施中的自动驾驶车辆引起的事故的结构。
用于解决课题的手段
本发明的信息处理装置具有：图像数据取得部，其取得多个图像数据，该多个图像数据映出供自动驾驶车辆进行自动行驶的设施内的不同区域；优先级设定部，其对所述多个图像数据中分别映出的状况进行分析，并对各图像数据设定优先级；以及显示控制部，其按照由所述优先级设定部设定的优先级，决定显示所述多个图像数据时的显示方式。
发明效果
根据本发明，1名管理者能够进行多个自动驾驶车辆的驾驶辅助，能够有效防止设施中的自动驾驶车辆引起的事故。
附图说明
图1是示出实施方式1的停车场管理系统的结构例的图。
图2是示出实施方式1的停车场管理系统的硬件结构例的图。
图3是示出实施方式1的监视装置的功能结构例的图。
图4是示出实施方式1的设施传感器图像数据的例子的图。
图5是示出实施方式1的停车场的鸟瞰图像图的例子的图。
图6是示出实施方式1的设施传感器图像数据的显示例的图。
图7是示出实施方式1的设施传感器图像数据的显示例的图。
图8是示出实施方式1的监视装置的另一个功能结构例的图。
图9是示出实施方式1的停车场的鸟瞰图像图的生成步骤的图。
图10是示出实施方式1的停车场的鸟瞰图像图的生成步骤的图。
图11是示出实施方式1的停车场的鸟瞰图像图的生成步骤的图。
图12是示出实施方式1的停车场的包含强调显示的鸟瞰图像图的例子的图。
图13是示出实施方式1的显示操作设备的显示例的图。
图14是示出实施方式1的全部停止按钮的例子的图。
图15是示出实施方式1的监视装置的动作例的流程图。
图16是示出实施方式1的监视装置的动作例的流程图。
图17是示出实施方式2的停车场管理系统的硬件结构例的图。
图18是示出实施方式2的监视装置的功能结构例的图。
图19是示出实施方式2的车辆传感器图像数据的例子的图。
图20是示出实施方式2的停车场的鸟瞰图像图的例子的图。
图21示出实施方式2的车辆传感器图像数据和设施传感器图像数据的例子。
图22是示出实施方式2的车辆传感器图像数据的显示例的图。
图23是示出实施方式2的车辆传感器图像数据的显示例的图。
图24是示出实施方式2的车辆传感器图像数据和设施传感器图像数据的显示例的图。
图25是示出实施方式2的监视装置的动作例的流程图。
具体实施方式
下面，使用附图对本发明的实施方式进行说明。在以下的实施方式的说明和附图中，标注了相同标号的部分表示相同的部分或相当的部分。
实施方式1
***结构的说明***
在本实施方式中，说明对自动驾驶车辆进行自动行驶的设施进行管理的系统。供自动驾驶车辆进行自动行驶的设施例如包含停车场设施、仓库、工厂等。
下面，说明对停车场设施进行管理的泊车管理系统。
图1示出本实施方式的停车场管理系统的结构例。
在停车场设施20中包含停车场200。
在停车场200中，1台以上的自动行驶车辆进行自动行驶，此外，进行自动泊车。
在停车场设施20设置有设施传感器设备21。设施传感器设备21对停车场200进行监视。设施传感器设备21例如是摄像头传感器(监视摄像头)、红外线传感器、光学雷达传感器等。在图1中，仅图示了1台设施传感器设备21，但是，在停车场设施20设置有多台设施传感器设备21。各设施传感器设备21对停车场200内的不同区域进行监视。各设施传感器设备21向后述停车场管理室30的监视装置31发送通过监视而得到的图像数据(以下称为设施传感器图像数据)。
停车场管理室30是用于对停车场设施20进行管理的房间。在本实施方式中，停车场管理室30位于从停车场设施20分开的场所。但是，停车场管理室30也可以位于接近停车场设施20的场所。
在停车场管理室30中，监视装置31接收从多个设施传感器设备21发送的多个设施传感器图像数据，对接收到的多个设施传感器图像数据设定优先级。监视装置31根据优先级决定显示多个设施传感器图像数据时的显示方式。然后，监视装置31以所决定的显示方式显示多个设施传感器图像数据。此外，监视装置31向停车场200内的自动行驶车辆发送来自管理者300的控制指示。
管理者300利用监视装置31。更具体而言，阅览由监视装置31显示的多个设施传感器图像数据，掌握停车场200中的自动行驶车辆的状况、步行者的状况等，如果需要，则对监视装置31输入控制指示。
乘车位置40是驾驶员400从自动驾驶车辆41下车的场所。驾驶员400在乘车位置40使自动驾驶车辆41停止，从自动驾驶车辆41下车。当驾驶员400从自动驾驶车辆41下车后，自动驾驶车辆的驾驶权限被委托给管理者300。驾驶员400除了下车以外，还可以使用搭载于自动驾驶车辆41的汽车导航的触摸面板或驾驶员400持有的移动终端明确指示驾驶权限的委托。
自动驾驶车辆41在驾驶权限从驾驶员400委托给管理者300后，向停车场设施20进行自动行驶。通过设施传感器设备21感测自动驾驶车辆的行驶状况，通过设施传感器设备21向监视装置31发送设施传感器图像数据。如上所述，管理者300阅览设施传感器图像数据，对自动驾驶车辆41的行驶状况进行监视。在可能由于自动驾驶车辆41的行驶而产生与其他车辆碰撞、与步行者碰撞等危险的情况下，管理者300对监视装置31指示自动驾驶车辆41的行驶停止。根据管理者300的行驶停止指示，从监视装置31向自动驾驶车辆41发送指示行驶的停止的车辆控制信息，自动驾驶车辆41停止行驶。
这里，说明了自动驾驶车辆41的行驶停止，但是，在停车场200内拥挤、很难进行自动行驶而使自动驾驶车辆41停止的情况下，也可以由管理者300确认自动驾驶车辆41的周边的安全性，经由监视装置31发送指示行驶开始的车辆控制信息。
图2示出停车场管理系统的硬件结构例。
在停车场设施20配置有设施传感器设备21和无线通信设备22的组。在图2中示出1组设施传感器设备21和无线通信设备22，但是，设为在停车场设施20配置有多组设施传感器设备21和无线通信设备22。
在停车场管理室30配置有监视装置31和显示操作设备32。
监视装置31由传感器接口12、处理器13、RAM(Random Access Memory)14、ROM(Read Only Memory)15、显示操作接口16、无线通信接口17构成。监视装置31是计算机。监视装置31可以使用一般的个人计算机实现。此外，监视装置31也可以通过嵌入式设备、FPGA(Field-Programmable Gate Array)板等实现。
监视装置31相当于信息处理装置。此外，由监视装置31进行的动作相当于信息处理方法和信息处理程序。
设置于停车场设施20的多个设施传感器设备21分别与监视装置31连接。多个设施传感器设备21和监视装置31例如通过互联网连接。多个设施传感器设备21和监视装置31通过互联网连接，由此，即使监视装置31位于从停车场设施20分开的场所，多个设施传感器设备21和监视装置31也能够进行通信。
由各设施传感器设备21得到的设施传感器图像数据被发送到监视装置31。在监视装置31中，传感器接口12接收从各设施传感器设备21发送的设施传感器图像数据。接收到的设施传感器图像数据临时保存在RAM14中。接着，处理器13计算设施传感器图像数据的优先级。优先级较高的设施传感器图像数据优先显示在经由显示操作接口16连接的显示操作设备32中。
显示操作设备32例如是带显示器的触摸面板。
通过显示操作接口16接收管理者300输入到显示操作设备32的针对自动驾驶车辆41的指示。处理器13按照来自管理者300的指示生成车辆控制信息。所生成的车辆控制信息从无线通信接口17发送到设置于停车场设施20的无线通信设备22。
无线通信设备22接收从监视装置31发送的车辆控制信息，发布所接收到的车辆控制信息。
自动驾驶车辆41搭载无线通信设备42。
无线通信设备42接收从无线通信设备22发布的车辆控制信息。
通常，自动驾驶车辆41通过自动泊车功能进行行驶。但是，自动驾驶车辆41在无线通信设备42接收到车辆控制信息时，使车辆控制信息的指示优先来进行行驶停止或行驶开始。
图3示出监视装置31的功能结构例。
监视装置31具有第1图像数据取得部101、优先级设定部102、第1图像数据显示部103、控制指示部104和移动控制部105。
第1图像数据取得部101、优先级设定部102、第1图像数据显示部103、控制指示部104和移动控制部105通过程序实现。实现第1图像数据取得部101、优先级设定部102、第1图像数据显示部103、控制指示部104和移动控制部105的程序存储在ROM15中。该程序从ROM15载入到RAM14。然后，通过处理器13读出该程序，通过处理器13来执行。
图3示意地示出处理器13执行实现第1图像数据取得部101、优先级设定部102、第1图像数据显示部103、控制指示部104和移动控制部105的功能的程序的状态。
第1图像数据取得部101经由传感器接口12取得从多个无线通信设备22发送的多个设施传感器图像数据。
图4示出设施传感器设备21是摄像头传感器的情况下的设施传感器图像数据的例子。
图像数据A、图像数据B、图像数据C和图像数据D分别是由配置于不同位置的设施传感器设备21拍摄的设施传感器图像数据。图像数据A、图像数据B、图像数据C和图像数据D表示停车场设施20的不同区域的状况。
此外，作为设施传感器设备21，能够使用红外线传感器或光学激光传感器。红外线传感器能够计测温度变化。因此，在使用红外线传感器作为设施传感器设备21的情况下，设施传感器设备21能够检测停车场200内的步行者。光学激光传感器根据投射光在物体反射而到达的时间计算距离信息。通过向各个角度投射激光，光学激光传感器计测停车场设施20的三维形状。
这样，第1图像数据取得部101能够取得停车场200内的自动驾驶车辆41的位置和外观、步行者的有无、停车场设施20的三维形状等信息。
第1图像数据取得部101相当于图像数据取得部。此外，由第1图像数据取得部101进行的处理相当于图像数据取得处理。
优先级设定部102对由第1图像数据取得部101取得的多个设施传感器图像数据分别设定优先级。该优先级是用于向管理者300显示设施传感器图像数据的优先级。
越是优先级高的设施传感器图像数据，以视觉辨认性越高的显示方式进行显示。
优先级设定部102根据危险度计算优先级。优先级设定部102对各设施传感器图像数据中映出的状况进行分析，估计各设施传感器图像数据中映出的区域的危险度。优先级设定部102例如根据车辆彼此的距离和拥挤度、步行者的有无、手动驾驶车辆的有无中的任意一方或其中任意一个组合来估计危险度。然后，优先级设定部102根据估计出的危险度对各设施传感器图像数据设定优先级。越是危险度高的设施传感器图像数据，优先级设定部102设定越高的优先级。
由优先级设定部102进行的处理相当于优先级设定处理。
图5示出停车场200的鸟瞰图像图的一例。即，图5是从上方拍摄停车场200的全体的情况下得到的图像数据。位于图5的框线(停车场200的白框)内的车辆是泊车中的车辆，处于停止状态。位于图5的框线外的车辆A、车辆B和车辆C是自动泊车用的自动行驶中的车辆，处于移动状态。
优先级设定部102将映出了自动行驶中的车辆的设施传感器图像数据的危险度设定为比映出了停止中的车辆的设施传感器图像数据的危险度高。
此外，越是映出了与其他车辆之间的距离近的车辆的设施传感器图像数据，优先级设定部102将危险度设定为越高。
优先级设定部102使用第1图像数据取得部101取得的车辆的位置信息计算车辆彼此的距离。另外，优先级设定部102不是计算车辆之间的直线距离，而是计算停车场内的移动距离(路程)。图5的车辆A与车辆B的直线距离、以及车辆A与车辆C的直线距离大致相等，但是，在车辆A与车辆C之间存在框线(白框)(泊车空间)，因此，从车辆A的位置到车辆C的位置的移动距离比从车辆A的位置到车辆B的位置的移动距离长。因此，映出了车辆A的设施传感器图像数据的危险度和映出了车辆B的设施传感器图像数据的危险度比映出了车辆C的设施传感器图像数据的危险度高。另外，优先级设定部102对由后述鸟瞰图像图生成部106生成的鸟瞰图像图进行分析，计算车辆之间的距离。
此外，越是车辆的拥挤度高的设施传感器图像数据，优先级设定部102将危险度设定为越高。
优先级设定部102对鸟瞰图像图进行分析，计算停车场200内的一定的面积内车辆所占的比例，判定车辆的拥挤度。
此外，越是映出了步行者的设施传感器图像数据，优先级设定部102将危险度设定为越高。即，优先级设定部102对设施传感器图像数据进行分析，检测步行者。然后，越是设施传感器图像数据中映出的步行者的数量多的设施传感器图像数据，优先级设定部102越提高危险度。
此外，优先级设定部102将映出了手动驾驶车辆的设施传感器图像数据的危险度设定为比未映出手动驾驶车辆的设施传感器图像数据的危险度高。
将不能通过后述移动控制部105控制的车辆判定为手动驾驶车辆。优先级设定部102根据设施传感器图像数据中映出的车辆的牌照，判定设施传感器图像数据中是否映出车道驾驶车辆。
此外，优先级设定部102将映出了车道中停止行驶的自动驾驶车辆的设施传感器图像数据的危险度设定为比未映出停止行驶的自动驾驶车辆的设施传感器图像数据的危险度高。
自动驾驶车辆在附近存在车辆的情况下，考虑安全而停止行驶。因此，优先级设定部102将映出了车道中停止行驶的自动驾驶车辆的设施传感器图像数据的危险度设定为较高。
此外，优先级设定部102也可以使自动驾驶车辆计算自动行驶时的难易度。然后，优先级设定部102可以经由第1图像数据取得部101取得难易度信息，提高映出了难易度高的车辆的设施传感器图像数据的危险度。
通过以上步骤，优先级设定部102对由多个设施传感器设备21得到的设施传感器图像数据分别计算优先级。
第1图像数据显示部103按照由优先级设定部102设定的优先级，决定显示多个设施传感器图像数据时的显示方式。然后，第1图像数据显示部103经由显示操作接口16，以所决定的显示方式在显示操作设备32中显示多个设施传感器图像数据。
第1图像数据显示部103相当于显示控制部。此外，由第1图像数据显示部103进行的处理相当于显示控制处理。
图6示出设施传感器图像数据的显示例。
图6示出在显示操作设备32中按照优先级的顺序并列显示设施传感器图像数据的例子。在图6的例子中，在画面的左上方的区域显示优先级最高的设施传感器图像数据。此外，在画面的右上方的区域显示优先级第2高的设施传感器图像数据。此外，在画面的左下方的区域显示优先级第3高的设施传感器图像数据。此外，在画面的右下方的区域显示优先级最低的设施传感器图像数据。
此外，在监视装置31接收到由n(n≧3)个设施传感器设备21得到的n个设施传感器图像数据的情况下，第1图像数据显示部103也可以根据优先级选择m(2≦m<n)个设施传感器图像数据，使显示操作设备32仅显示m个设施传感器图像数据。
此外，在图6中，以相同尺寸显示4个设施传感器图像数据，但是，也可以根据优先级对设施传感器图像数据的显示尺寸进行变更。
图7示出根据优先级使设施传感器图像数据的显示尺寸变化的例子。
在图7的例子中，越是优先级高的设施传感器图像数据，显示尺寸越大。
此外，第1图像数据显示部103也可以显示图5所例示的停车场200的鸟瞰图像图。在第1图像数据显示部103显示停车场200的鸟瞰图像图的情况下，如图8所示，在图3的功能结构例中追加鸟瞰图像图生成部106。
鸟瞰图像图生成部106根据由多个设施传感器设备21得到的多个设施传感器图像数据生成鸟瞰图像图。
鸟瞰图像图生成部106也与第1图像数据取得部101、优先级设定部102、第1图像数据显示部103、控制指示部104和移动控制部105同样通过程序实现。
另外，在图8所示的功能结构中，第1图像数据显示部103和鸟瞰图像图生成部106相当于显示控制部。
图9、图10和图11中示出鸟瞰图像图生成部106进行的鸟瞰图像图的生成步骤。
图9的图像数据A、图像数据B、图像数据C和图像数据D分别与图4所示的图像数据A、图像数据B、图像数据C和图像数据D相同。如果摄像头传感器的设置位置和设置方向已知，则鸟瞰图像图生成部106对设施传感器图像数据进行仿射转换(图像数据的放大缩小、旋转和平行移动)。具体而言，鸟瞰图像图生成部106能够通过仿射转换，将图像数据A、图像数据B、图像数据C和图像数据D转换为图10所示从正上方观察停车场200的图像数据即图像数据A’、图像数据B’、图像数据C’和图像数据D’。此外，在摄像头传感器的设置方向未知的情况下，鸟瞰图像图生成部106也可以参照停车场200的框线(白框)的形状进行图像转换。此外，在摄像头传感器的设置位置未知的情况下，鸟瞰图像图生成部106也可以根据设施传感器图像数据识别停车场200的路面上印刷的编号信息等，估计摄像头传感器的设置位置。
接着，鸟瞰图像图生成部106对通过仿射转换而得到的图像数据A’、图像数据B’、图像数据C’和图像数据D’进行合成，如图11所示，生成停车场200的全体的鸟瞰图像图。
鸟瞰图像图生成部106以相邻的摄像头传感器的设施传感器图像数据的一部分相互重合的方式对设施传感器图像数据进行合成。因此，鸟瞰图像图生成部106也可以对摄像头传感器的变焦功能进行调整。更具体而言，鸟瞰图像图生成部106对摄像头传感器的变焦功能进行调整，进行摄像头传感器的拍摄区域进行放大或缩小，以设施传感器图像数据的一部分相互重合的方式进行控制。
如上所述，鸟瞰图像图生成部106能够对多台摄像头传感器的多个设施传感器图像数据进行合成，生成停车场200的全体的鸟瞰图像图。
然后，第1图像数据显示部103能够向管理者300提示鸟瞰图像图。
此外，如图12所示，第1图像数据显示部103也可以对反映了如下设施传感器图像数据的鸟瞰图像图的部分进行强调显示，其中，该设施传感器图像数据的由优先级设定部102设定的优先级符合规定的条件。
即，第1图像数据显示部103也可以对反映了被设定阈值以上的优先级的设施传感器图像数据的部分进行强调显示。在图12中，映出了步行者的设施传感器图像数据的优先级为阈值以上，因此，鸟瞰图像图内映出了步行者的部分用圆包围起来进行强调显示。同样，在图12中，车辆A与车辆B的距离较短，因此，映出了车辆A的设施传感器图像数据的优先级和映出了车辆B的设施传感器图像数据的优先级为阈值以上，因此，鸟瞰图像图内映出了车辆A和车辆B的部分用圆包围起来进行强调显示。
如图12所示，第1图像数据显示部103对优先级高的部分进行强调显示，由此，管理者300容易识别危险。
控制指示部104根据管理者300例如输入到显示操作设备32的针对自动驾驶车辆41的指示生成命令。然后，控制指示部104将所生成的命令输出到移动控制部105。
控制指示部104生成的命令是指示全部自动驾驶车辆41的停止的全部停止命令、指示特定自动驾驶车辆41的停止的停止命令和指示特定自动驾驶车辆41的移动的移动命令中的任意一方。
在本实施方式中，例如使用图13所示的显示操作设备32。图13的显示操作设备32是带显示器的触摸面板。
在图13的显示操作设备32的显示画面中显示鸟瞰图像图生成部106生成的停车场200的全体的鸟瞰图像图。在显示画面的右侧显示全部停止按钮、停止按钮和移动按钮。通过第1图像数据显示部103显示这些全部停止按钮、停止按钮和移动按钮。
在管理者300使在停车场200中行驶的全部自动驾驶车辆41的行驶停止的情况下，管理者300触摸显示画面的全部停止按钮。通过全部停止按钮的触摸，向控制指示部104通知使在停车场200中行驶的全部自动驾驶车辆41的行驶停止的意思的指示。其结果，管理者300能够使全部自动驾驶车辆41的行驶停止。
在管理者300使特定自动驾驶车辆41的行驶停止的情况下，管理者300首先触摸显示画面的停止按钮。接着，管理者300在鸟瞰图像图上触摸要停止的自动驾驶车辆41。通过这些操作，向控制指示部104通知使特定自动驾驶车辆41的行驶停止的意思的指示。其结果，管理者300能够使特定自动驾驶车辆41的行驶停止。
此外，在管理者300使特定自动驾驶车辆41向特定场所移动的情况下，管理者300首先触摸显示画面的移动按钮。接着，管理者300在鸟瞰图像图上触摸要移动的自动驾驶车辆41，在触摸着自动驾驶车辆41的状态下使手指移动到任意的移动目的地。手指的移动轨迹成为该自动驾驶车辆41的行驶路径。通过这些操作，向控制指示部104通知使特定自动驾驶车辆41向特定场所移动的意思的指示。其结果，管理者300能够使特定自动驾驶车辆41向特定场所移动。
另外，使用手指的行驶路径的指示的指示精度较低，因此，在手指在触摸面板上从停车场200的行驶路面偏离的情况下，控制指示部104对行驶路径进行修正，以使得行驶路径停留在行驶路面内。
此外，如图14所示，也可以在显示操作设备32连接有全部停止按钮33。当管理者300按压全部停止按钮33时，向控制指示部104通知使在停车场200中行驶的全部自动驾驶车辆41的行驶停止的意思的指示。其结果，管理者300能够使全部自动驾驶车辆41的行驶停止。
另外，如图14所示，在显示操作设备32连接有全部停止按钮33的情况下，也使用图13所示的停止按钮和移动按钮进行特定自动驾驶车辆41的停止和特定自动驾驶车辆41的移动。
如果来自管理者300的指示是特定自动驾驶车辆41的停止指示，则控制指示部104经由显示操作接口16从显示操作设备32取得该自动驾驶车辆41的当前位置的地理坐标。接着，控制指示部104确定在从显示操作设备32取得的该自动驾驶车辆41的当前位置的地理坐标的附近配置的无线通信设备22。然后，控制指示部104将所确定的无线通信设备22的标识符和停止命令输出到移动控制部105。在ROM15中存储有表示各无线通信设备22的标识符和各无线通信设备22的配置位置的地理坐标的无线通信设备坐标信息。控制指示部104使用无线通信设备坐标信息，确定配置于自动驾驶车辆41的当前位置的附近的无线通信设备22。
此外，如果来自管理者300的指示是特定自动驾驶车辆41的移动指示，则控制指示部104经由显示操作接口16从显示操作设备32取得该自动驾驶车辆41的当前位置的地理坐标、该自动驾驶车辆41的移动目的地的地理坐标、该自动驾驶车辆41的当前位置与移动目的地之间的1个以上的中间地点的地理坐标。接着，控制指示部104确定配置于从显示操作设备32取得的该自动驾驶车辆41的当前位置的地理坐标的附近的无线通信设备22。然后，控制指示部104将所确定的无线通信设备22的标识符、移动目的地的地理坐标、中间地点的地理坐标、移动命令输出到移动控制部105。
此外，如果来自管理者300的指示是全部自动驾驶车辆41的停止指示，则控制指示部104提取配置于停车场200的全部无线通信设备22的标识符。然后，控制指示部104将全部无线通信设备22的标识符、全部停止命令输出到移动控制部105。
移动控制部105向自动驾驶车辆41发送包含由控制指示部104输出的命令的车辆控制信息。
具体而言，在从控制指示部104输出了停止命令和无线通信设备22的标识符的情况下，移动控制部105向与从控制指示部104输出的标识符对应的无线通信设备22发送包含停止命令的车辆控制信息。
此外，在从控制指示部104输出了移动命令、无线通信设备22的标识符、移动目的地的地理坐标、中间地点的地理坐标的情况下，移动控制部105向与从控制指示部104输出的标识符对应的无线通信设备22发送包含移动命令、移动目的地的地理坐标、中间地点的地理坐标的车辆控制信息。
此外，在从控制指示部104输出了全部停止命令和全部无线通信设备22的标识符的情况下，移动控制部105向全部无线通信设备22发送包含全部停止命令的车辆控制信息。
接收到车辆控制信息的无线通信设备22向周围发布车辆控制信息。
作为车辆控制信息的发送目的地的自动驾驶车辆41的无线通信设备42存在于发布车辆控制信息的无线通信设备22的附近，因此，能够接收车辆控制信息。
***动作的说明***
接着，对本实施方式的监视装置31的动作例进行说明。
图15是示出从取得设施传感器图像数据到显示设施传感器图像数据为止的监视装置31的步骤的流程图。
在步骤S11中，第1图像数据取得部101取得由设施传感器设备21得到的设施传感器图像数据。
接着，在步骤S12中，优先级设定部102计算步骤S11中取得的设施传感器图像数据的优先级。如上所述，优先级设定部102根据车辆的拥挤度、步行者的有无、行驶停止中的自动驾驶车辆41的有无等计算危险度，根据危险度设定优先级。
接着，在步骤S13中，第1图像数据显示部103按照步骤S12中设定的优先级，决定在显示操作设备32中显示设施传感器图像数据时的显示方式，以所决定的显示方式生成显示画面。然后，第1图像数据显示部103经由显示操作接口16将所生成的显示画面输出到显示操作设备32。
即，在如图6那样显示设施传感器图像数据的情况下，第1图像数据显示部103以在左上方的区域显示优先级最高的设施传感器图像数据A、在右上方的区域显示优先级第2高的设施传感器图像数据B的方式决定基于优先级的显示方式。
此外，在如图7那样显示设施传感器图像数据的情况下，第1图像数据显示部103以最大地显示优先级最高的图像数据A、且以比图像数据A小的尺寸在图像数据A的右侧显示优先级第2高的图像数据B的方式决定基于优先级的显示方式。
在步骤S14中，第1图像数据显示部103判定是否继续显示设施传感器图像数据。在继续显示设施传感器图像数据的情况下，反复进行步骤S11～S13的处理。
如上所述，监视装置31对由设置于停车场设施20的多个设施传感器设备21得到的多个设施传感器图像数据设定优先级，根据优先级，以管理者300容易视觉辨认的显示方式显示多个设施传感器图像数据。
图16是示出从取得来自管理者300的指示到发送车辆控制信息为止的监视装置31的步骤的流程图。
在步骤S21中，控制指示部104等待被输入来自管理者300的指示。
在经由显示操作设备32和显示操作接口16从管理者300输入了指示的情况下(步骤S22：是)，在步骤S23中，控制指示部104生成命令。
如上所述，如果来自管理者300的指示是特定自动驾驶车辆41的停止指示，则控制指示部104生成停止命令。如果来自管理者300的指示是特定自动驾驶车辆41的移动指示，则控制指示部104生成移动命令。如果来自管理者300的指示是全部自动驾驶车辆41的停止指示，则控制指示部104生成全部停止命令。
此外，如上所述，如果来自管理者300的指示是特定自动驾驶车辆41的停止指示，则控制指示部104经由显示操作接口16从显示操作设备32取得该自动驾驶车辆41的当前位置的地理坐标。接着，控制指示部104确定在从显示操作设备32取得的该自动驾驶车辆41的当前位置的地理坐标的附近配置的无线通信设备22。然后，控制指示部104将所确定的无线通信设备22的标识符和停止命令输出到移动控制部105。
此外，如果来自管理者300的指示是特定自动驾驶车辆41的移动指示，则控制指示部104经由显示操作接口16从显示操作设备32取得该自动驾驶车辆41的当前位置的地理坐标、该自动驾驶车辆41的移动目的地的地理坐标、该自动驾驶车辆41的当前位置与移动目的地之间的1个以上的中间地点的地理坐标。接着，控制指示部104确定在从显示操作设备32取得的该自动驾驶车辆41的当前位置的地理坐标的附近配置的无线通信设备22。然后，控制指示部104将所确定的无线通信设备22的标识符、移动目的地的地理坐标、中间地点的地理坐标、移动命令输出到移动控制部105。
此外，如果来自管理者300的指示是全部自动驾驶车辆41的停止指示，则控制指示部104提取配置于停车场200的全部无线通信设备22的标识符。然后，控制指示部104将全部无线通信设备22的标识符和全部停止命令输出到移动控制部105。
接着，在步骤S24中，移动控制部105向无线通信设备22发送包含由控制指示部104输出的命令的车辆控制信息。
具体而言，移动控制部105在从控制指示部104输出了停止命令和无线通信设备22的标识符的情况下，向与从控制指示部104输出的标识符对应的无线通信设备22发送包含停止命令的车辆控制信息。
此外，移动控制部105在从控制指示部104输出了移动命令、无线通信设备22的标识符、移动目的地的地理坐标、中间地点的地理坐标的情况下，向与从控制指示部104输出的标识符对应的无线通信设备22发送包含移动命令、移动目的地的地理坐标、中间地点的地理坐标的车辆控制信息。
此外，移动控制部105在输出了全部停止命令和全部无线通信设备22的标识符的情况下，向全部无线通信设备22发送包含全部停止命令的车辆控制信息。
在步骤S25中，控制指示部104判定是否继续控制自动驾驶车辆41。在继续控制自动驾驶车辆41的情况下，反复进行步骤S21～S24的处理。
如上所述，监视装置31按照管理者300的指示进行自动驾驶车辆41的行驶控制。
***实施方式的效果的说明***
在本实施方式中，监视装置31对由设置于停车场设施20的多个设施传感器设备21得到的多个设施传感器图像数据设定优先级，根据优先级，以管理者300容易视觉辨认的显示方式显示多个设施传感器图像数据。因此，根据本实施方式，管理者300能够着眼于优先级高的设施传感器图像数据而对自动驾驶车辆41的行驶状况进行监视。因此，在本实施方式中，1名管理者300能够进行多个自动驾驶车辆41的驾驶辅助，能够有效防止停车场设施20中的自动驾驶车辆引起的事故。
实施方式2
实施方式2的监视装置31不仅使用由设置于停车场设施20的设施传感器设备21得到的图像数据，还使用由搭载于自动驾驶车辆41的传感器设备得到的图像数据。由此，管理者300能够更加高效地进行自动驾驶车辆41的驾驶辅助。
在本实施方式中，主要对与实施方式1的差异进行说明。
另外，以下未说明的事项与实施方式1相同。
***结构的说明***
在本实施方式中，停车场管理系统的整体结构也如图1所示。
图17示出本实施方式的停车场管理系统的硬件结构例。
在图17中，与图2的硬件结构相比，在自动驾驶车辆41中搭载了车辆传感器设备43。车辆传感器设备43是摄像头传感器、红外线传感器、光学激光传感器、毫米波雷达传感器、超声波传感器等。
由车辆传感器设备43得到的图像数据(以下称为车辆传感器图像数据)通过无线通信设备42发送到无线通信设备22。
无线通信设备22向监视装置31发送车辆传感器图像数据。
在监视装置31中，传感器接口12接收车辆传感器图像数据。
在图17中，车辆传感器设备43以外的结构要素与图2所示的结构要素相同，因此省略说明。
图18示出本实施方式的监视装置31的功能结构例。
在图18中，与图3的功能结构例相比，追加了第2图像数据取得部201和第2图像数据显示部202。
第2图像数据取得部201和第2图像数据显示部202与第1图像数据取得部101、优先级设定部102、第1图像数据显示部103、控制指示部104和移动控制部105同样通过程序实现。
第2图像数据取得部201经由传感器接口12取得从多个车辆传感器设备43发送的多个车辆传感器图像数据。
图19示出车辆传感器设备43是摄像头传感器的情况下的车辆传感器图像数据的例子。图像数据P、图像数据Q、图像数据R和图像数据S是由配置于不同的自动驾驶车辆41的车辆传感器设备43拍摄的拍摄图像。
在图像数据P中，在搭载了拍摄图像数据P的车辆传感器设备43的自动驾驶车辆41的左右存在有泊车车辆。在图像数据Q中，在搭载了拍摄图像数据P的车辆传感器设备43的自动驾驶车辆41的前方存在有步行者。在图像数据R中，在搭载了拍摄图像数据P的车辆传感器设备43的自动驾驶车辆41的前方存在有行驶中的其他车辆。在图像数据S中，在搭载了拍摄图像数据P的车辆传感器设备43的自动驾驶车辆41的周围不存在其他车辆或步行者。
此外，作为车辆传感器设备43，能够使用红外线传感器、光学激光传感器、毫米波雷达传感器、超声波传感器等。红外线传感器、光学激光传感器如实施方式1中说明的那样，能够计测步行者的有无和停车场设施20的三维形状。毫米波雷达传感器通过使用毫米波波段的电波，在雾中、降雨或降雪时也能够检测车辆或步行者等障碍物。超声波传感器比其他传感器廉价，能够检测位于近距离的障碍物。这样，第2图像数据取得部201能够取得位于自动驾驶车辆41的周边的障碍物(步行者或其他车辆)、自动驾驶车辆41的周边的停车场200内的状况、自动驾驶车辆41的周边的三维形状等。
另外，在本实施方式中，第1图像数据取得部101和第2图像数据取得部201相当于图像数据取得部。此外，由第1图像数据取得部101和第2图像数据取得部201进行的处理相当于图像数据取得处理。
本实施方式的优先级设定部102对由第2图像数据取得部201取得的多个车辆传感器图像数据分别设定优先级。该优先级是用于向管理者300显示车辆传感器图像数据的优先级。越是优先级高的车辆传感器图像数据，以视觉辨认性越高的显示方式进行显示。与实施方式1同样，优先级设定部102根据危险度计算优先级。
在图19的图像数据P、图像数据Q、图像数据R、图像数据S的例子中，优先级设定部102将在自动驾驶车辆41的前方存在有步行者的图像数据Q的危险度设定为最高。接着，优先级设定部102将在自动驾驶车辆41的前方存在有行驶中的其他车辆的图像数据R的危险度设定为第2高。优先级设定部102将在自动驾驶车辆41的左右存在有泊车车辆的图像数据P的危险度设定为第3高。然后，优先级设定部102将在自动驾驶车辆41的周边不存在步行者和车辆的图像数据S的危险度设定为最低。
其结果，图19的图像数据的优先级按照图像数据Q→图像数据R→图像数据P→图像数据S的顺序降低。
此外，优先级设定部102与实施方式1同样，优先级设定部102也可以将车道中停止行驶的自动驾驶车辆的车辆传感器图像数据的危险度设定为较高。
此外，优先级设定部102也可以对多个设施传感器图像数据和多个车辆传感器图像数据进行分析，估计各车辆传感器图像数据中映出的区域的危险度，根据估计出的危险度对各车辆传感器图像数据设定优先级。
此外，优先级设定部102也可以对多个设施传感器图像数据和多个车辆传感器图像数据进行分析，估计各设施传感器图像数据中映出的区域的危险度，根据估计出的危险度对各设施传感器图像数据设定优先级。
优先级设定部102既能够使用车辆传感器图像数据，也能够使用设施传感器图像数据来检测在自动驾驶车辆41的周围有无障碍物(其他车辆和步行者)、和障碍物的位置。因此，优先级设定部102也可以参照车辆传感器图像数据和设施传感器图像数据双方估计危险度，并设定优先级。
另一方面，即使在车辆传感器图像数据和设施传感器图像数据中映出同一障碍物，使用车辆传感器图像数据的障碍物的识别结果和使用设施传感器图像数据的障碍物的识别结果有时也不同。使用图20所示的停车场200的鸟瞰图像图，对识别结果的差异进行说明。
图20的搭载于车辆B的车辆传感器设备43和设置于停车场设施20的设施传感器设备21拍摄同一障碍物即步行者A。
但是，车辆传感器设备43和设施传感器设备21的拍摄方向不同，因此，如图21那样，拍摄图像也不同。因此，图像数据P的分析和图像数据A的分析中的任意一方可能产生误识别。图21的图像数据P中的步行者的图像范围比图像数据A中的步行者的图像范围小。对较小的图像范围的对象物进行图像识别一般是很难的。因此，在设施传感器设备21中能够正确检测步行者，但是，在车辆B的车辆传感器设备43中可能无法检测步行者。该情况下，优先级设定部102通过对图像数据P和图像数据A双方进行分析，能够正确识别步行者正在进行步行，能够正确估计危险度。在自动驾驶车辆41未检测到行驶路径上的障碍物的情况下，危险性非常高。因此，也可以是，在针对车辆传感器图像数据的分析结果和针对设施传感器图像数据的分析结果不同的情况下，优先级设定部102提高该车辆传感器图像数据的优先级。
如上所述，优先级设定部102能够参照由搭载于多台自动驾驶车辆41的车辆传感器设备43得到的车辆传感器图像数据和由设置于停车场设施20的多个设施传感器设备21得到的设施传感器图像数据，计算图像数据的优先级。
第2图像数据显示部202按照由优先级设定部102设定的优先级，决定显示多个车辆传感器图像数据时的显示方式。然后，第2图像数据显示部202经由显示操作接口16，以所决定的显示方式在显示操作设备32中显示多个车辆传感器图像数据。
在本实施方式中，第1图像数据显示部103和第2图像数据显示部202相当于显示控制部。此外，由第1图像数据显示部103和第2图像数据显示部202进行的处理相当于显示控制处理。
图22示出车辆传感器图像数据的显示例。
在图22中，示出在显示操作设备32中按照优先级的顺序并列显示车辆传感器图像数据的例子。在图22的例子中，在画面的左上方的区域显示优先级最高的车辆传感器图像数据。在右上方的区域显示优先级第2高的车辆传感器图像数据。在左下方的区域显示优先级第3高的车辆传感器图像数据。在右下方的区域显示优先级最低的车辆传感器图像数据。
此外，在监视装置31接收到由n(n≧3)个车辆传感器设备43得到的n个车辆传感器图像数据的情况下，第2图像数据显示部202也可以根据优先级选择m(2≦m<n)个车辆传感器图像数据，使显示操作设备32仅显示m个车辆传感器图像数据。
此外，在图22中，以相同尺寸显示4个车辆传感器图像数据，但是，也可以根据优先级对车辆传感器图像数据的显示尺寸进行变更。
图23示出根据优先级使车辆传感器图像数据的显示尺寸变化的例子。
在图23的例子中，越是优先级高的车辆传感器图像数据，显示尺寸越大。
此外，第2图像数据显示部202也可以生成与第1图像数据显示部103或图8所示的鸟瞰图像图生成部106生成的显示画面联动的显示画面。
图24示出第2图像数据显示部202与鸟瞰图像图生成部106生成的鸟瞰图像图联动地显示车辆传感器图像数据的例子。
在图24中，在桌面型显示操作设备321中显示停车场200的鸟瞰图像图，在多台显示操作设备322中显示多个车辆传感器图像数据。
另外，第1图像数据显示部103也可以在鸟瞰图像图中插入车辆传感器图像数据。
此外，在鸟瞰图像图中，与实施方式1同样，对优先级高的部分进行强调显示。此外，第2图像数据显示部202也可以在显示操作设备322中显示与鸟瞰图像图中被强调显示的部分对应的车辆传感器图像数据。
如上所述，监视装置31在显示操作设备32中优先显示危险度高的自动驾驶车辆41的车辆传感器图像数据。因此，管理者300能够着眼于优先级高的车辆传感器图像数据而对自动驾驶车辆41的行驶状况进行监视。
***动作的说明***
接着，对本实施方式的监视装置31的动作例进行说明。
图25是示出从取得设施传感器图像数据到显示设施传感器图像数据为止的监视装置31的步骤的流程图。
在步骤S31中，第2图像数据取得部201取得由车辆传感器设备43得到的车辆传感器图像数据。
接着，在步骤S32中，优先级设定部102计算步骤S31中取得的车辆传感器图像数据的优先级。如上所述，优先级设定部102根据车辆的拥挤度、步行者的有无、行驶停止中的自动驾驶车辆41的有无等计算危险度，根据危险度设定优先级。
接着，在步骤S33中，第2图像数据显示部202按照步骤S32中设定的优先级，决定在显示操作设备32中进行显示的显示方式，以所决定的显示方式生成显示画面。然后，第2图像数据显示部202经由显示操作接口16将所生成的显示画面输出到显示操作设备32。
即，在如图22那样显示车辆传感器图像数据的情况下，第2图像数据显示部202以在左上方的区域显示优先级最高的图像数据Q、在右上方的区域显示优先级第2高的图像数据R的方式决定基于优先级的显示方式。
此外，在如图23那样显示车辆传感器图像数据的情况下，第2图像数据显示部202以最大地显示优先级最高的图像数据Q、且以比图像数据Q小的尺寸在图像数据R的右侧显示优先级第2高的图像数据R的方式决定基于优先级的显示方式。
在步骤S34中，第2图像数据显示部202判定是否继续显示车辆传感器图像数据。在继续显示车辆传感器图像数据的情况下，反复进行步骤S31～S33的处理。
如上所述，监视装置31对由搭载于多个自动驾驶车辆41的多个车辆传感器设备43得到的多个车辆传感器图像数据设定优先级，根据优先级，以管理者300容易视觉辨认的显示方式显示多个车辆传感器图像数据。
***实施方式的效果的说明***
根据本实施方式，管理者300能够着眼于优先级高的车辆传感器图像数据而对自动驾驶车辆41的行驶状况进行监视。因此，在本实施方式中，1名管理者300能够进行多个自动驾驶车辆41的驾驶辅助，能够有效防止停车场设施20中的自动驾驶车辆引起的事故。
以上说明了本发明的实施方式，但是，也可以组合实施这2个实施方式。
或者，也可以实施这2个实施方式中的1个实施方式的一部分。
或者，也可以组合实施这2个实施方式的一部分。
另外，本发明不限于这些实施方式，能够根据需要进行各种变更。
此外，以上说明了停车场设施20中的自动行驶车辆的管理，但是，能够将本实施方式的监视装置31应用于仓库、工厂等设施中的自动行驶车辆的管理。
***硬件结构的说明***
最后，进行监视装置31的硬件结构的补充说明。
处理器13是进行处理的IC(Integrated Circuit)。
处理器13是CPU(Central Processing Unit)、DSP(Digital Signal Processor)等。
在ROM15中还存储有OS(Operating System)。
而且，OS的至少一部分载入RAM14中，此外，由处理器13读出。处理器13执行至少一部分的OS。
处理器13执行OS的至少一部分，并且执行实现第1图像数据取得部101、优先级设定部102、第1图像数据显示部103、控制指示部104、移动控制部105、鸟瞰图像图生成部106、第2图像数据取得部201和第2图像数据显示部202的功能的程序。
处理器13执行OS，由此进行任务管理、存储管理、文件管理、通信控制等。
此外，监视装置31也可以具有代替处理器13的多个处理器。这些多个处理器分担执行实现第1图像数据取得部101、优先级设定部102、第1图像数据显示部103、控制指示部104、移动控制部105、鸟瞰图像图生成部106、第2图像数据取得部201和第2图像数据显示部202的功能的程序。与处理器13同样，各个处理器是进行处理的IC。
此外，表示第1图像数据取得部101、优先级设定部102、第1图像数据显示部103、控制指示部104、移动控制部105、鸟瞰图像图生成部106、第2图像数据取得部201和第2图像数据显示部202的处理结果的信息、数据、信号值和变量值中的至少任意一方存储在RAM14、处理器13内的寄存器或高速缓冲存储器中的至少任意一方中。
此外，实现第1图像数据取得部101、优先级设定部102、第1图像数据显示部103、控制指示部104、移动控制部105、鸟瞰图像图生成部106、第2图像数据取得部201和第2图像数据显示部202的功能的程序也可以存储在磁盘、软盘、光盘、高密度盘、蓝光(注册商标)盘、DVD等移动存储介质中。
此外，也可以将第1图像数据取得部101、优先级设定部102、第1图像数据显示部103、控制指示部104、移动控制部105、鸟瞰图像图生成部106、第2图像数据取得部201和第2图像数据显示部202的“部”改写成“电路”或“工序”或“步骤”或“处理”。
此外，监视装置31也可以通过逻辑IC(Integrated Circuit)、GA(Gate Array)、ASIC(Application Specific Integrated Circuit)、FPGA这样的电子电路实现。
该情况下，第1图像数据取得部101、优先级设定部102、第1图像数据显示部103、控制指示部104、移动控制部105、鸟瞰图像图生成部106、第2图像数据取得部201和第2图像数据显示部202分别作为电子电路的一部分来实现。
另外，将处理器和上述电子电路统称为处理线路。
标号说明
12：传感器接口；13：处理器；14：RAM；15：ROM；16：显示操作接口；17：无线通信接口；20：停车场设施；21：设施传感器设备；22：无线通信设备；30：停车场管理室；31：监视装置；32：显示操作设备；33：全部停止按钮；40：乘车位置；41：自动驾驶车辆；42：无线通信设备；43：车辆传感器设备；101：第1图像数据取得部；102：优先级设定部；103：第1图像数据显示部；104：控制指示部；105：移动控制部；106：鸟瞰图像图生成部；200：停车场；201：第2图像数据取得部；202：第2图像数据显示部；300：管理者；400：驾驶员。

Claims (13)

1.一种信息处理装置，其具有：
图像数据取得部，其取得多个图像数据，该多个图像数据映出供自动驾驶车辆进行自动行驶的设施内的不同区域；
优先级设定部，其对所述多个图像数据中分别映出的状况进行分析，并对各图像数据设定优先级；以及
显示控制部，其按照由所述优先级设定部设定的优先级，决定显示所述多个图像数据时的显示方式。
2.根据权利要求1所述的信息处理装置，其中，
所述优先级设定部对各图像数据中映出的状况进行分析，估计各图像数据中映出的区域的危险度，根据估计出的危险度对各图像数据设定优先级。
3.根据权利要求2所述的信息处理装置，其中，
所述图像数据取得部取得多个图像数据，该多个图像数据映出供1个以上的自动驾驶车辆进行自动行驶、且1名以上的步行者进行步行的设施内的不同区域，
所述优先级设定部将自动驾驶车辆的状况和步行者的状况作为各图像数据中映出的状况进行分析，估计各图像数据中映出的区域的危险度。
4.根据权利要求1所述的信息处理装置，其中，
所述图像数据取得部取得由设置于所述设施的多个传感器设备生成的多个图像数据，
所述显示控制部对所述多个图像数据进行合成而生成鸟瞰图像图，并显示所生成的所述鸟瞰图像图。
5.根据权利要求4所述的信息处理装置，其中，
所述显示控制部对反映如下图像数据的所述鸟瞰图像图的部分进行强调显示，该图像数据的由所述优先级设定部设定的优先级符合规定的条件。
6.根据权利要求1所述的信息处理装置，其中，
所述图像数据取得部取得多个图像数据，该多个图像数据是由在存在于所述设施的多个自动行驶车辆中设置的多个传感器设备生成的。
7.根据权利要求1所述的信息处理装置，其中，
所述图像数据取得部取得多个设施传感器图像数据，并取得多个车辆传感器图像数据，其中，该多个设施传感器图像数据是由设置于所述设施的多个传感器设备生成的多个图像数据，该多个车辆传感器图像数据是由在存在于所述设施的多个自动行驶车辆中设置的多个传感器设备生成的多个图像数据，
所述优先级设定部对所述多个设施传感器图像数据和所述多个车辆传感器图像数据进行分析，估计各设施传感器图像数据中映出的区域的危险度，根据估计出的危险度对各设施传感器图像数据设定优先级，
所述显示控制部按照由所述优先级设定部设定的优先级，决定显示所述多个设施传感器图像数据时的显示方式。
8.根据权利要求1所述的信息处理装置，其中，
所述图像数据取得部取得多个设施传感器图像数据，并取得多个车辆传感器图像数据，其中，该多个设施传感器图像数据是由设置于所述设施的多个传感器设备生成的多个图像数据，该多个车辆传感器图像数据是由在存在于所述设施的多个自动行驶车辆中设置的多个传感器设备生成的多个图像数据，
所述优先级设定部对所述多个设施传感器图像数据和所述多个车辆传感器图像数据进行分析，估计各车辆传感器图像数据中映出的区域的危险度，根据估计出的危险度对各车辆传感器图像数据设定优先级，
所述显示控制部按照由所述优先级设定部设定的优先级，决定显示所述多个车辆传感器图像数据时的显示方式。
9.根据权利要求1所述的信息处理装置，其中，
所述信息处理装置还具有控制指示部，该控制指示部指示所述自动驾驶车辆的行驶停止。
10.根据权利要求1所述的信息处理装置，其中，
所述信息处理装置还具有控制指示部，该控制指示部指定行驶路径，并且指示所述自动驾驶车辆的沿着所述行驶路径的行驶。
11.根据权利要求1所述的信息处理装置，其中，
所述信息处理装置还具有控制指示部，该控制指示部在所述设施存在有多个自动驾驶车辆的情况下，指示所述多个自动驾驶车辆的行驶停止。
12.一种信息处理方法，其中，
计算机取得多个图像数据，该多个图像数据映出供自动驾驶车辆进行自动行驶的设施内的不同区域，
所述计算机对所述多个图像数据中分别映出的状况进行分析，并对各图像数据设定优先级，
所述计算机按照所设定的优先级，决定显示所述多个图像数据时的显示方式。
13.一种信息处理程序，其使计算机执行以下处理：
图像数据取得处理，取得多个图像数据，该多个图像数据映出供自动驾驶车辆进行自动行驶的设施内的不同区域；
优先级设定处理，对所述多个图像数据中分别映出的状况进行分析，并对各图像数据设定优先级；以及
显示控制处理，按照通过所述优先级设定处理设定的优先级，决定显示所述多个图像数据时的显示方式。
CN201780088182.4A 2017-03-15 2017-03-15 信息处理装置、信息处理方法和计算机可读的存储介质 Expired - Fee Related CN110419211B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/010502 WO2018167891A1 (ja) 2017-03-15 2017-03-15 情報処理装置、情報処理方法及び情報処理プログラム

Publications (2)

Publication Number Publication Date
CN110419211A true CN110419211A (zh) 2019-11-05
CN110419211B CN110419211B (zh) 2020-12-22

Family

ID=60265754

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780088182.4A Expired - Fee Related CN110419211B (zh) 2017-03-15 2017-03-15 信息处理装置、信息处理方法和计算机可读的存储介质

Country Status (5)

Country Link
US (1) US11366477B2 (zh)
JP (1) JP6227211B1 (zh)
CN (1) CN110419211B (zh)
DE (1) DE112017007050B4 (zh)
WO (1) WO2018167891A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111524347A (zh) * 2020-04-13 2020-08-11 东风柳州汽车有限公司 一种预介入的远程遥控泊车控制方法
CN112885087A (zh) * 2021-01-22 2021-06-01 北京嘀嘀无限科技发展有限公司 确定路况信息的方法、装置、设备和介质和程序产品
US11119200B2 (en) * 2017-06-01 2021-09-14 Mitsubishi Electric Corporation Object detection apparatus, object detection method, and computer readable medium
CN113492839A (zh) * 2020-03-19 2021-10-12 本田技研工业株式会社 收容区域管理装置

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6943777B2 (ja) * 2018-01-22 2021-10-06 トヨタホーム株式会社 監視システム
JP6989429B2 (ja) * 2018-03-28 2022-01-05 株式会社東芝 隊列走行運用システムおよび隊列走行運用方法
JP7249879B2 (ja) * 2018-10-05 2023-03-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理方法、及び、情報処理システム
CN111038521A (zh) * 2018-10-11 2020-04-21 顾泽苍 一种自动驾驶“意识决定”模型的构成方法
KR102651410B1 (ko) * 2018-12-28 2024-03-28 현대자동차주식회사 자율 발렛 주차를 지원하는 시스템 및 방법, 그리고 이를 위한 인프라 및 차량
CN113396104A (zh) * 2019-02-13 2021-09-14 索尼集团公司 移动体、通信方法和程序
WO2020202378A1 (ja) * 2019-03-29 2020-10-08 本田技研工業株式会社 表示制御装置、表示制御方法及びプログラム
JP7363084B2 (ja) * 2019-04-24 2023-10-18 三菱電機株式会社 制御システム
US20220219687A1 (en) * 2019-05-14 2022-07-14 Volkswagen Aktiengesellschaft Method for Detecting a Potential Collision by a Vehicle with a Living Thing, and Car Park Management System
DE102019114673A1 (de) * 2019-05-31 2020-12-03 Fraba B.V. Fahrzeugsteueranordnung zur automatischen Steuerung von mindestens einem Fahrzeug sowie Verfahren zu dessen Steuerung
WO2021210134A1 (ja) * 2020-04-16 2021-10-21 日本電信電話株式会社 映像配信装置、映像配信方法及びプログラム
WO2022070619A1 (ja) * 2020-09-30 2022-04-07 株式会社デンソー 中継装置、データ中継方法、及びデータ中継プログラム
CN112560769B (zh) * 2020-12-25 2023-08-29 阿波罗智联(北京)科技有限公司 用于检测障碍物的方法、电子设备、路侧设备和云控平台
JP2022174620A (ja) * 2021-05-11 2022-11-24 トヨタ自動車株式会社 車両管理システム及び車両管理方法
US20230249588A1 (en) * 2022-02-10 2023-08-10 Matthew BAYES Vehicle seat adjustment system and method
WO2023188702A1 (ja) * 2022-03-28 2023-10-05 日本電気株式会社 制御装置、制御方法、および記録媒体

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1833934A (zh) * 2005-09-09 2006-09-20 中国科学院自动化研究所 汽车行驶安全监控系统及监控方法
CN101710943A (zh) * 2009-12-14 2010-05-19 奇瑞汽车股份有限公司 一种汽车全景与夜视显示方法及装置
CN103366602A (zh) * 2012-03-29 2013-10-23 施乐公司 从数字摄像头图像确定停车场占用情况的方法
JP2015228152A (ja) * 2014-06-02 2015-12-17 住友電気工業株式会社 通信方法、路側装置、移動通信機、車両、車両の制御装置、及び車両の動作決定方法
CN205609015U (zh) * 2016-03-18 2016-09-28 邦奇智能科技（上海）有限公司 一种基于图像识别的停车管理系统
JP2016173682A (ja) * 2015-03-16 2016-09-29 シャープ株式会社 異常判定装置および異常判定方法
CN205862609U (zh) * 2016-08-01 2017-01-04 北京博锐尚格节能技术股份有限公司 停车场调度系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010117800A (ja) 2008-11-11 2010-05-27 Toshiba It & Control Systems Corp 駐車場監視装置及び方法
JP2012126193A (ja) 2010-12-14 2012-07-05 Denso Corp 駐車場の自動駐車システム
US9400183B1 (en) * 2011-11-10 2016-07-26 Google Inc. Method and apparatus to transition between levels using warp zones
DE102012200636A1 (de) * 2012-01-17 2013-07-18 Robert Bosch Gmbh Anzeigesystem für ein Fahrzeug
DE102012222562A1 (de) * 2012-12-07 2014-06-12 Robert Bosch Gmbh System für bewirtschaftete Parkflächen zur Überführung eines Fahrzeugs von einer Startposition in eine Zielposition
JP6329746B2 (ja) * 2013-10-04 2018-05-23 株式会社デンソーアイティーラボラトリ 交通制御システム、交通制御方法、およびプログラム
JP6120371B2 (ja) 2013-10-23 2017-04-26 クラリオン株式会社 自動駐車制御装置および駐車支援装置
JP5983680B2 (ja) 2014-06-06 2016-09-06 トヨタ自動車株式会社 自動駐車システム
JP6354542B2 (ja) 2014-11-26 2018-07-11 株式会社デンソー 車両自動運転システム
US10994712B2 (en) 2015-07-02 2021-05-04 Sony Corporation Vehicle control device and vehicle control method
KR101850795B1 (ko) * 2015-11-09 2018-04-20 엘지전자 주식회사 주차 수행 장치 및 차량
US20180178840A1 (en) * 2016-12-28 2018-06-28 Automotive Research & Testing Center Automatic vehicle parking assistance correcting system with instant environmental detection and correcting method thereof

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1833934A (zh) * 2005-09-09 2006-09-20 中国科学院自动化研究所 汽车行驶安全监控系统及监控方法
CN101710943A (zh) * 2009-12-14 2010-05-19 奇瑞汽车股份有限公司 一种汽车全景与夜视显示方法及装置
CN103366602A (zh) * 2012-03-29 2013-10-23 施乐公司 从数字摄像头图像确定停车场占用情况的方法
JP2015228152A (ja) * 2014-06-02 2015-12-17 住友電気工業株式会社 通信方法、路側装置、移動通信機、車両、車両の制御装置、及び車両の動作決定方法
JP2016173682A (ja) * 2015-03-16 2016-09-29 シャープ株式会社 異常判定装置および異常判定方法
CN205609015U (zh) * 2016-03-18 2016-09-28 邦奇智能科技（上海）有限公司 一种基于图像识别的停车管理系统
CN205862609U (zh) * 2016-08-01 2017-01-04 北京博锐尚格节能技术股份有限公司 停车场调度系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11119200B2 (en) * 2017-06-01 2021-09-14 Mitsubishi Electric Corporation Object detection apparatus, object detection method, and computer readable medium
CN113492839A (zh) * 2020-03-19 2021-10-12 本田技研工业株式会社 收容区域管理装置
CN113492839B (zh) * 2020-03-19 2024-03-01 本田技研工业株式会社 收容区域管理装置
CN111524347A (zh) * 2020-04-13 2020-08-11 东风柳州汽车有限公司 一种预介入的远程遥控泊车控制方法
CN111524347B (zh) * 2020-04-13 2022-05-06 东风柳州汽车有限公司 一种预介入的远程遥控泊车控制方法
CN112885087A (zh) * 2021-01-22 2021-06-01 北京嘀嘀无限科技发展有限公司 确定路况信息的方法、装置、设备和介质和程序产品

Also Published As

Publication number Publication date
CN110419211B (zh) 2020-12-22
JP6227211B1 (ja) 2017-11-08
DE112017007050T5 (de) 2019-10-24
WO2018167891A1 (ja) 2018-09-20
US20210173400A1 (en) 2021-06-10
DE112017007050B4 (de) 2020-12-31
US11366477B2 (en) 2022-06-21
JPWO2018167891A1 (ja) 2019-03-28

Similar Documents

Publication Publication Date Title
CN110419211A (zh) 信息处理装置、信息处理方法和信息处理程序
US11067986B2 (en) Autonomous driving vehicle, method of stopping autonomous driving vehicle, and recording medium
US11244252B2 (en) Autonomous driving under user instructions and hailing methods
KR102181196B1 (ko) 주차 제어 방법 및 주차 제어 장치
US20180043884A1 (en) Parking assistance control for vehicle with autonomous operation capability
EP3693230B1 (en) Parking control method and parking control device
KR20200046160A (ko) 자율 주차 장치 및 방법
EP3599141B1 (en) A multi hypothesis prediction device for a vehicle
JP2020004400A (ja) 車両の動的視野に基づく視認距離決定
JP6833111B1 (ja) 表示制御装置、表示システム、及び、表示制御方法
JP2018106667A (ja) 情報処理装置、情報処理方法およびプログラム
KR20180105984A (ko) 어라운드 맵을 이용하여 경로를 변경하는 방법 및 이를 구현하는 로봇
JP7345684B2 (ja) 自動運転システム、サーバ、および、ダイナミックマップの生成方法
JP7426471B2 (ja) 自動運転車インタラクションシステム
JP2018106668A (ja) 情報処理装置、情報処理方法およびプログラム
JP2018075866A (ja) 駐車制御装置の姿勢推定方法、及び姿勢推定装置
CN114207685B (zh) 自主车辆交互系统
CN114265403B (zh) 一种基于迎宾引导的自动泊车方法、系统、设备及车辆
JP2018106666A (ja) 情報処理装置、情報処理方法およびプログラム
JP7166419B1 (ja) 乗車意思推定装置、車両制御システム、乗車意思推定プログラムおよび乗車意思推定方法
US11961019B2 (en) Autonomous driving under user instructions and hailing methods
US20240208488A1 (en) Information processing device, control method, and recording medium
CN117950394A (zh) 机器人的控制方法、装置、机器人及存储介质
KR20210005764A (ko) 자율주행차량 주차 알림 제공 시스템, 이를 위한 자율주행 기반 주차 알림 제공 서버
JP2020161001A (ja) 移動体制御システム、移動体、移動体制御方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20201222

CF01 Termination of patent right due to non-payment of annual fee