CN118076986A - 信息处理装置、信息处理方法和信息处理程序 - Google Patents
信息处理装置、信息处理方法和信息处理程序 Download PDFInfo
- Publication number
- CN118076986A CN118076986A CN202280067510.3A CN202280067510A CN118076986A CN 118076986 A CN118076986 A CN 118076986A CN 202280067510 A CN202280067510 A CN 202280067510A CN 118076986 A CN118076986 A CN 118076986A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- unit
- host vehicle
- region
- free space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 50
- 238000003672 processing method Methods 0.000 title claims description 11
- 238000001514 detection method Methods 0.000 claims abstract description 125
- 230000007613 environmental effect Effects 0.000 claims abstract description 19
- 238000000034 method Methods 0.000 claims description 70
- 230000008569 process Effects 0.000 claims description 55
- 238000004891 communication Methods 0.000 description 70
- 230000006854 communication Effects 0.000 description 70
- 238000012545 processing Methods 0.000 description 46
- 238000010586 diagram Methods 0.000 description 25
- 238000012986 modification Methods 0.000 description 20
- 230000004048 modification Effects 0.000 description 20
- 238000006243 chemical reaction Methods 0.000 description 17
- 238000004458 analytical method Methods 0.000 description 12
- 238000005192 partition Methods 0.000 description 10
- 230000000007 visual effect Effects 0.000 description 7
- 230000009471 action Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000004927 fusion Effects 0.000 description 6
- 238000009825 accumulation Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000010391 action planning Effects 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000037007 arousal Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R99/00—Subject matter not provided for in other groups of this subclass
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Traffic Control Systems (AREA)
Abstract
本公开的信息处理装置包括:获取单元;检测单元(74);以及确定单元(75)。获取单元获取主车辆(1)周围的环境信息。在设置在主车辆(1)周围的受关注区域(R)中,检测单元(74)基于环境信息中的多个其他车辆(100)的位置关系来检测空闲空间(Rv)。确定单元(75)确定主车辆(1)是否可以停放在检测到的空闲空间(Rv)中。
Description
技术领域
本公开涉及信息处理装置、信息处理方法和信息处理程序。
背景技术
近年来,随着自动驾驶技术的发展,从捕获车辆周围环境的图像数据中检测用于停放车辆的停车框的图像处理装置已变得普遍。在这种类型的图像处理装置中,从图像数据检测中对停车框进行分区的分区线(诸如白线),基于所检测到的分区线来检测停车框(例如,参见专利文献1)。
引用列表
专利文献
专利文献1:JP 2015-74255 A。
发明内容
技术问题
本公开提出了即使在不存在分区线的信息的情况下也能够向驾驶员等建议停车框的信息处理装置、信息处理方法和信息处理程序。
问题的解决方案
根据本公开,提供了一种信息处理装置。该信息处理装置包括获取单元、检测单元和确定单元。获取单元获取主车辆周围的环境信息。检测单元在设置在主车辆周围的受关注区域中,基于包括在环境信息中的多个其他车辆之间的位置关系检测空闲空间。确定单元确定主车辆是否能够停放在已经检测到的空闲空间中。
附图说明
图1是示出根据本公开的实施方式的车辆控制系统的配置示例的框图。
图2是示出根据本公开的实施方式的感测区域的示例的示图。
图3是示出根据本公开的实施方式的分析单元的配置示例的框图。
图4是用于描述根据本公开的实施方式的由识别单元执行的处理的示例的示图。
图5是用于描述根据本公开的实施方式的通过平面图转换单元执行的处理的示例的示图。
图6是示出根据本公开的实施方式的受关注区域的示例的平面图。
图7是用于描述根据本公开的实施方式的由检测单元执行的处理的示例的示图。
图8是用于描述根据本公开的实施方式的由检测单元执行的处理的示例的示图。
图9是用于描述根据本公开的实施方式的由检测单元和确定单元执行的处理的示例的示图。
图10是用于描述根据本公开的实施方式的第一修改的由检测单元执行的处理的示例的示图。
图11是用于描述根据本公开的实施方式的第一修改的由检测单元执行的处理的示例的示图。
图12是用于描述根据本公开的实施方式的第一修改的由检测单元和确定单元执行的处理的示例的示图。
图13是示出根据本公开实施方式的第二修改的受关注区域的示例的平面图。
图14是用于描述根据本公开的实施方式的第二修改的由检测单元执行的处理的示例的示图。
图15是用于描述根据本公开的实施方式的第二修改的由检测单元执行的处理的示例的示图。
图16是用于描述根据本公开的实施方式的第二修改的由检测单元和确定单元执行的处理的示例的示图。
图17是示出根据本公开的实施方式的由分析单元执行的控制处理的过程的示例的流程图。
具体实施方式
在下文中,将参考附图描述本公开的实施方式。注意,本公开不限于以下描述的实施方式。此外,只要在处理内容中不存在矛盾,就可以适当地组合实施方式。在下面的实施方式中,相同的部件由相同的参考标号表示,并且将省略冗余的描述。
在以下描述的实施方式中,可以使用诸如“恒定”、“正交”、“垂直”以及“平行”的表达,但是这些表达不需要分别指严格的“恒定”、“正交”、“垂直”以及“平行”。即,以上列出的每个表达允许例如测量精度、安装精度等的偏差的前提。
近年来,随着自动驾驶技术的发展,从捕获车辆周围环境的图像数据中检测用于停放车辆的停车框的图像处理装置已变得普遍。在这种类型的图像处理装置中,从图像数据检测中对停车框进行分区的分区线(诸如白线),基于所检测到的分区线来检测停车框。
另一方面,在上述现有技术中,在无法获取分区线的信息(例如,由于老化等而导致分区线消失)的情况下,很难检测出停车框,并且因此很难向驾驶员等建议停车框。
因此,期望解决上述问题,并且实现即使在不存在分区线的信息的情况下也能够向驾驶员等建议停车框的技术。
<车辆控制系统的配置示例>
图1是示出作为应用本技术的行驶装置控制系统的示例的车辆控制系统11的配置示例的框图。
车辆控制系统11包括在车辆1中并且执行与车辆1的行驶辅助和自动驾驶相关的处理。
车辆控制系统11包括车辆控制电子控制单元(ECU)21、通信单元22、地图信息累积单元23、位置信息获取单元24、外部识别传感器25、车载传感器26、车辆传感器27、存储单元28、行驶辅助和自动驾驶控制单元29、驾驶员监控系统(DMS)30、人机界面(HMI)31和车辆控制单元32。
车辆控制ECU 21、通信单元22、地图信息累积单元23、位置信息获取单元24、外部识别传感器25、车载传感器26、车辆传感器27、存储单元28、行驶辅助和自动驾驶控制单元29、驾驶员监控系统(DMS)30、人机界面(HMI)31和车辆控制单元32经由通信网络41可通信地彼此连接。通信网络41例如包括符合数字双向通信标准的车载通信网络,诸如控制器局域网(CAN)、局域互联网(LIN)、局域网(LAN)、FlexRay(注册商标)或以太网(注册商标)、总线等。通信网络41可以根据要发送的数据的类型来选择性地使用。例如,CAN可以应用于与车辆控制相关的数据,并且以太网可以应用于大容量数据。注意,车辆控制系统11的每个单元可以不经由通信网络41直接连接,而是使用基于在相对短距离的通信的前提的无线通信(诸如近场通信(NFC)或蓝牙(注册商标))直接连接。
注意,在下文中,在车辆控制系统11的每个单元经由通信网络41进行通信的情况下,将省略通信网络41的描述。例如,在车辆控制ECU 21和通信单元22经由通信网络41进行通信的情况下,简单地描述车辆控制ECU 21和通信单元22进行通信。
车辆控制ECU 21包括诸如中央处理单元(CPU)或微处理单元(MPU)的各种处理器。车辆控制ECU 21控制车辆控制系统11的全部或一些功能。
通信单元22与车辆内部和外部的各种装置、其他车辆、服务器、基站等通信并且发送和接收各种类型的数据。此时,通信单元22可以使用多个通信方案进行通信。
将示意性地描述通信单元22可以与车辆外部进行的通信。通信单元22通过诸如第5代移动通信系统(5G)、长期演进(LTE)或专用短程通信(DSRC)的无线通信方案经由基站或接入点与外部网络上的服务器(在下文中,被称为外部服务器)等通信。通信单元22与其通信的外部网络例如是因特网、云网络、公司特有的网络等。由通信单元22与外部网络进行的通信方案不受特别限制,只要它是能够以等于或高于预定速度的通信速度和等于或大于预定距离的距离进行数字双向通信的无线通信方案即可。
此外,例如,通信单元22可以使用对等(P2P)技术与存在于主车辆附近的终端通信。存在于主车辆附近的终端例如是由以相对低速行驶的行驶体(诸如行人或自行车)穿戴的终端、安装在具有固定位置的商店等中的终端、或机器型通信(MTC)终端。此外,通信单元22还可以进行V2X通信。V2X通信是指主车辆与另一方之间的通信,诸如,与另一车辆的车辆到车辆通信、与路边装置的车辆到基础设施通信等、与房屋的车辆到家庭通信、以及与由行人携带的终端等的车辆到行人通信。
通信单元22可以例如从外部(空中)接收用于更新用于控制车辆控制系统11的操作的软件的程序。通信单元22还可以从外部接收地图信息、交通信息、车辆1的周围的信息等。此外,例如,通信单元22可以将关于车辆1的信息、车辆1的周围的信息等发送到外部。由通信单元22发送到外部的车辆1的信息的示例包括指示车辆1的状态的数据、识别单元73的识别结果等。此外,例如,通信单元22进行符合车辆紧急呼叫系统(诸如eCall)的通信。
例如,通信单元22接收由诸如无线电波信标、光学信标或FM多路广播的车辆信息和通信系统(VICS)(注册商标)发送的电磁波。
将示意性地描述通信单元22可以与车辆内部进行的通信。通信单元22可以例如使用无线通信与车辆中的每个装置通信。通信单元22可以通过诸如无线LAN、蓝牙、NFC或无线USB(WUSB)的无线通信以等于或高于预定速度的通信速度进行数字双向通信的通信方案与车载装置进行无线通信。不限于此,通信单元22也可以使用有线通信与车辆中的每个装置通信。例如,通信单元22可以通过经由连接至连接端子(未示出)的电缆的有线通信与车辆中的每个装置通信。通信单元22可以通过有线通信通过能够以预定通信速度或更高速度进行数字双向通信的通信方案(诸如,通用串行总线(USB)、高清多媒体接口(HDMI)(注册商标)或移动高清链路(MHL))与车辆中的每个装置通信。
这里,例如,车辆中的装置是指未连接至车辆中的通信网络41的装置。作为车辆中的装置的示例,可设想由诸如驾驶员的乘坐者携带的移动装置或可穿戴装置、进入车辆并临时安装的信息装置等。
地图信息累积单元23累积从外部获取的地图和在车辆1中创建的地图中的一个或两个。例如,地图信息累积单元23累积三维高精度地图、精度比高精度地图低且覆盖广阔区域的全局地图等。
高精度地图例如是动态地图、点云地图、矢量地图等。例如,动态地图是包括动态信息、半动态信息、半静态信息以及静态信息四层的地图并且从外部服务器等提供给车辆1。点云地图是包括点云(点云数据)的地图。矢量地图例如是交通信息(诸如车道和交通灯的位置)与点云图相关联并且适配于高级驾驶员辅助系统(ADAS)或自动驾驶(AD)的地图。
点云地图和矢量地图可以例如从外部服务器等提供,或者可以基于相机51、雷达52、LiDAR 53等的感测结果在车辆1中被创建为用于与稍后描述的局部地图进行匹配的地图,并且被累积在地图信息累积单元23中。此外,在从外部服务器等提供高精度地图的情况下,例如,为了减小通信容量,从外部服务器等获取与车辆1从现在起行驶的计划路径相关的几百平方米的地图数据。
位置信息获取单元24从全球导航卫星系统(GNSS)卫星接收GNSS信号,并且获取车辆1的位置信息。所获取的位置信息被提供给行驶辅助和自动驾驶控制单元29。注意,位置信息获取单元24不限于使用GNSS信号的方法,并且可以例如使用信标来获取位置信息。
外部识别传感器25包括用于识别车辆1外部的情况的各种传感器并且将来自每个传感器的传感器数据提供给车辆控制系统11中的单元。外部识别传感器25中可以包括任何类型和任何数量的传感器。
例如,外部识别传感器25包括相机51、雷达52、光检测和测距或激光成像检测和测距(LiDAR)53、以及超声波传感器54。不限于此,外部识别传感器25可以包括相机51、雷达52、LiDAR 53和超声波传感器54中的一种或者多种类型的传感器。相机51、雷达52、LiDAR53和超声波传感器54的数量没有特别限制,只要它们可以实际安装在车辆1中即可。此外,包括在外部识别传感器25中的传感器的类型不限于该示例,并且外部识别传感器25可以包括另一类型的传感器。稍后将描述包括在外部识别传感器25中的每个传感器的感测区域的示例。
注意,相机51的成像方法没有特别限制。例如,诸如使用能够测距的成像方法的飞行时间(ToF)相机、立体相机、单目相机和红外相机的各种成像方法的相机可以根据需要应用于相机51。不限于此,相机51可以不考虑测距而简单地获取捕获图像。
此外,例如,外部识别传感器25可以包括用于检测车辆1的环境的环境传感器。环境传感器是用于检测诸如天气、气候或亮度的环境的传感器,并且可以包括各种传感器,诸如雨滴传感器、雾传感器、阳光传感器、雪传感器和照度传感器。
此外,例如,外部识别传感器25包括用于检测车辆1周围的声音、声源的位置等的麦克风。
车载传感器26包括用于检测车辆内部的信息的各种传感器并且将来自每个传感器的传感器数据提供给车辆控制系统11的每个单元。包括在车载传感器26中的各种传感器的类型和数量没有特别限制,只要它们可以实际安装在车辆1中即可。
例如,车载传感器26可以包括相机、雷达、座位传感器、方向盘传感器、麦克风和生物传感器中的一种或多种类型的传感器。作为包括在车载传感器26中的相机,例如,可以使用能够测距的各种成像方法的相机,诸如ToF相机、立体相机、单目相机和红外相机。不限于此,包括在车载传感器26中的相机可以不考虑测距而简单地获取捕获图像。包括在车载传感器26中的生物传感器例如包括在座位、方向盘等上并且检测诸如驾驶员的乘坐者的各种类型的生物信息。
车辆传感器27包括用于检测车辆1的状态的各种传感器并且将来自每个传感器的传感器数据提供给车辆控制系统11的每个单元。包括在车辆传感器27中的各种传感器的类型和数量没有特别限制,只要它们可以实际安装在车辆1中即可。
例如,车辆传感器27包括速度传感器、加速度传感器、角速度传感器(陀螺仪传感器)、以及集成这些传感器的惯性测量单元(IMU)。例如,车辆传感器27包括检测方向盘的转向角的转向角传感器、横摆率传感器、检测加速器踏板的操作量的加速器传感器、以及检测制动踏板的操作量的制动传感器。例如,车辆传感器27包括检测发动机或电动机的转速的旋转传感器、检测轮胎的气压的气压传感器、检测轮胎的滑移率的滑移率传感器、以及检测车轮的旋转速度的车轮速度传感器。例如,车辆传感器27包括检测电池的剩余量和温度的电池传感器以及检测来自外部的冲击的冲击传感器。
存储单元28包括非易失性存储介质和易失性存储介质中的至少一个,并且存储数据或程序。存储单元28例如用作电可擦可编程只读存储器(EEPROM)和随机存取存储器(RAM),并且诸如硬盘驱动器(HDD)的磁存储装置、半导体存储装置、光存储装置和磁光存储装置可以被用作存储介质。存储单元28存储由车辆控制系统11的每个单元使用的各种程序和数据。例如,存储单元28包括事件数据记录器(EDR)和用于自动驾驶的数据存储系统(DSSAD),并且存储在诸如事故的事件之前和之后的车辆1的信息以及由车载传感器26获取的信息。
行驶辅助和自动驾驶控制单元29是信息处理装置的示例,并且控制车辆1的行驶辅助和自动驾驶。例如,行驶辅助和自动驾驶控制单元29包括分析单元61、行动计划单元62和操作控制单元63。
分析单元61执行车辆1的情况和周围环境的分析处理。分析单元61包括自身位置估计单元71、传感器融合单元72以及识别单元73。此外,根据实施方式的分析单元61进一步包括检测单元74(参见图3)和确定单元75(参见图3)。
自身位置估计单元71基于来自外部识别传感器25的传感器数据和累积在地图信息累积单元23中的高精度地图来估计车辆1的自身位置。例如,自身位置估计单元71基于来自外部识别传感器25的传感器数据生成局部地图,并且通过将局部地图与高精度地图匹配来估计车辆1的自身位置。车辆1的位置例如基于一对后轮的车轴的中心。
局部地图例如是使用诸如同时定位和地图构建(SLAM)的技术创建的三维高精度地图、占用网格地图等。三维高精度地图例如是上述的点云地图等。占用网格地图是将车辆1周围的三维空间或二维空间分割为预定大小的网格,针对每个网格指示对象的占用状态的地图。对象的占用状态例如通过对象的存在或不存在或存在概率指示。局部地图例如也用于识别单元73对车辆1外部的状况的检测处理和识别处理。
注意,自身位置估计单元71可以基于由位置信息获取单元24获取的位置信息和来自车辆传感器27的传感器数据来估计车辆1的自身位置。
传感器融合单元72执行组合多个不同类型的传感器数据(例如,从相机51提供的图像数据和从雷达52提供的传感器数据)以获得新信息的传感器融合处理。用于组合不同类型的传感器数据的方法包括集成、融合、关联等。
识别单元73是获取单元的示例,并且执行用于检测车辆1外部的状况的检测处理和用于识别车辆1外部的状况的识别处理。
例如,识别单元73基于来自外部识别传感器25的信息、来自自身位置估计单元71的信息、来自传感器融合单元72的信息等,执行车辆1外部的状况的检测处理和识别处理。
具体地,例如,识别单元73对车辆1周围的对象执行检测处理、识别处理等。对象的检测处理例如是检测对象的存在或不存在、大小、形状、位置、运动等的处理。对象的识别处理例如是识别诸如对象的类型的属性或识别特定对象的处理。然而,检测处理和识别处理不必被清楚地分开并且可以彼此重叠。
例如,识别单元73通过对基于的雷达52、LiDAR 53等的传感器数据的点云进行分类为点云组的聚类来检测车辆1周围的对象。因此,检测车辆1周围的对象的存在或不存在、大小、形状和位置。
例如,识别单元73通过执行跟随通过聚类分类的点云组的运动的跟踪来检测车辆1周围的对象的运动。因此,检测车辆1周围的对象的速度和行进方向(行进矢量)。
例如,识别单元73基于从相机51提供的图像数据来检测或识别车辆、人、自行车、障碍物、建筑物、道路、交通灯、交通标志、道路标记等。此外,识别单元73可以通过执行诸如语义分割的识别处理来识别车辆1周围的对象的类型。
例如,识别单元73可以基于累积在地图信息累积单元23中的地图、自身位置估计单元71的自身位置的估计结果、以及识别单元73对车辆1周围的对象的识别结果,来执行车辆1周围的交通规则的识别处理。通过该处理,识别单元73可以识别交通灯的位置和状态、交通标志和道路标志的内容、交通规则的内容、可行驶车道等。
例如,识别单元73可以执行车辆1周围的环境的识别处理。作为识别单元73要识别的周围环境,可设想天气、温度、湿度、亮度、路面状态等。
稍后将描述根据本实施方式的包括图1中未示出的检测单元74和确定单元75的分析单元61的细节。
行动计划单元62创建车辆1的行动计划。例如,行动计划单元62通过执行全局路径计划和路径跟踪的处理来创建行动计划。
注意,全局路径计划是计划从开始到目标的粗略路径的处理。该全局路径计划还包括执行局部路径计划的处理(被称为路径计划),考虑到车辆1在计划路径上的运动特性,该局部路径计划使得能够在车辆1附近安全且平稳地行驶。
路径跟踪是计划操作以在计划时间内在由全局路径计划计划的路径上安全且准确地行进的处理。例如,行动计划单元62可以基于路径跟踪处理的结果计算车辆1的目标速度和目标角速度。
操作控制单元63控制车辆1的操作,以便实现由行动计划单元62创建的行动计划。
例如,操作控制单元63控制包括在后面描述的车辆控制单元32中的转向控制单元81、制动控制单元82以及驱动控制单元83,以执行加速和减速控制以及方向控制,使得车辆1在通过路径计划计算的路径上行进。例如,操作控制单元63执行以实现诸如防碰撞或冲击缓解、跟随行驶、车速保持行驶、主车辆的碰撞警报、主车辆的车道偏离警报等ADAS的功能为目的的协作控制。例如,操作控制单元63执行旨在用于自动驾驶等的协作控制,在该自动驾驶中,车辆不依赖于驾驶员的操作而自动行驶。
DMS 30基于来自车载传感器26的传感器数据、稍后描述的输入到HMI 31的输入数据等,执行驾驶员的认证处理、驾驶员的状态的识别处理等。作为要识别的驾驶员的状态,例如,可设想身体状况、唤起水平、专注水平、疲劳水平、视线方向、醉酒水平、驾驶操作、姿势等。
注意,DMS 30可以执行除驾驶员之外的乘坐者的认证处理和乘坐者的状态的识别处理。此外,例如,DMS 30可以基于来自车载传感器26的传感器数据来执行车辆内部状况的识别处理。作为要识别的车辆内部的情况,例如,可设想温度、湿度、亮度、气味等。
HMI 31输入各种数据、指示等,并且向驾驶员等建议各种数据。
将示意性地描述通过HMI 31输入的数据。HMI 31包括用于人输入数据的输入装置。HMI 31基于由输入装置输入的数据、指示等来生成输入信号,并将该输入信号提供给车辆控制系统11的每个单元。HMI 31包括诸如触摸面板、按钮、开关或杆的操作子作为输入装置。不限于此,HMI 31可以进一步包括能够通过除了手动操作以外的方法(诸如,通过语音、手势等)输入信息的输入装置。此外,HMI 31可以使用例如使用红外线或无线电波的遥控装置或者支持车辆控制系统11的操作的外部连接装置(诸如移动装置或可穿戴装置)作为输入装置。
将示意性地描述通过HMI 31的数据的呈现。HMI 31为乘坐者或车辆外部生成视觉信息、听觉信息和触觉信息。此外,HMI 31执行用于控制生成的每条信息的输出、输出内容、输出定时、输出方法等的输出控制。HMI 31生成并输出由诸如操作画面、车辆1的状态显示、警告显示、指示车辆1周围的状况的监控图像的图像或光指示的信息作为视觉信息。此外,HMI 31生成并输出由诸如语音引导、警告声音或警告消息的声音指示的信息作为听觉信息。此外,HMI 31生成并输出通过例如力、振动、运动等给予乘坐者的触觉的信息作为触觉信息。
作为HMI 31输出视觉信息的输出装置,例如,可应用通过在其上显示图像来呈现视觉信息的显示装置或通过投影图像来呈现视觉信息的投影仪装置。注意,显示装置可以是在乘坐者的视野中显示视觉信息的装置,诸如平视显示器、透射显示器、或具有增强现实(AR)功能的可穿戴装置而不是具有正常显示器的显示装置。此外,HMI 31可以使用包括在车辆1中的导航装置、仪表板、相机监控系统(CMS)、电子镜、灯等中的显示装置作为输出视觉信息的输出装置。
作为HMI 31输出听觉信息的输出装置,例如,可应用音频扬声器、头戴式耳机(headphones)或耳机(earphones)。
作为HMI 31输出触觉信息的输出装置,例如,可应用使用触觉技术的触觉元件。触觉元件例如设置在车辆1的乘坐者接触的部分,诸如方向盘或座椅。
车辆控制单元32控制车辆1的每个单元。车辆控制单元32包括转向控制单元81、制动控制单元82、驱动控制单元83、车身系统控制单元84、灯光控制单元85以及喇叭控制单元86。
转向控制单元81检测并控制车辆1的转向系统的状态。转向系统例如包括包含方向盘等的转向机构、电动动力转向等。转向控制单元81例如包括控制转向系统的转向ECU、驱动转向系统的致动器等。
制动控制单元82检测并控制车辆1的制动系统的状态。制动系统例如包括包含制动踏板的制动机构、防抱死制动系统(ABS)、再生制动机构等。制动控制单元82例如包括控制制动系统的制动ECU、驱动制动系统的致动器等。
驱动控制单元83检测并控制车辆1的驱动系统的状态。驱动系统例如包括用于生成驱动力的驱动力生成装置(诸如加速器踏板、内燃机和驱动马达)、用于将驱动力传输至车轮的驱动力传输机构等。驱动控制单元83例如包括控制驱动系统的驱动ECU、驱动驱动系统的致动器等。
车身系统控制单元84检测并控制车辆1的车身系统的状态。车身系统例如包括无钥匙进入系统、智能钥匙系统、电动车窗装置、电动座椅、空调、安全气囊、安全带、变速杆等。车身系统控制单元84例如包括控制车身系统的车身系统ECU、驱动车身系统的致动器等。
灯光控制单元85检测并控制车辆1的各种灯光的状态。作为要控制的灯光,例如,可设想前灯、背光灯、雾灯、转向信号、制动灯、投影、保险杠上的显示等。灯光控制单元85包括控制灯光的灯光ECU、驱动灯光的致动器等。
喇叭控制单元86检测并控制车辆1的汽车喇叭的状态。喇叭控制单元86例如包括控制汽车喇叭的喇叭ECU、驱动汽车喇叭的致动器等。
图2是示出图1中的相机51、雷达52、LiDAR 53、超声波传感器54或其他外部识别传感器25的感测区域的示例的示图。注意,图2示意性地示出了从上方观看的车辆1,其中,左端侧是车辆1的前端(前)侧,并且右端侧是车辆1的后端(后)侧。
感测区域101F和感测区域101B指示超声波传感器54的感测区域的示例。感测区域101F通过多个超声波传感器54覆盖车辆1的前端的周边。感测区域101B通过多个超声波传感器54覆盖车辆1的后端的周边。
感测区域101F和感测区域101B中的感测结果例如用于车辆1的停车辅助。
感测区域102F或感测区域102B指示用于短距离或中间距离的雷达52的感测区域的示例。感测区域102F覆盖车辆1前方的比感测区域101F更远的位置。感测区域102B覆盖车辆1的后方的比感测区域101B更远的位置。感测区域102L覆盖车辆1的左侧面的后周边。感测区域102R覆盖车辆1的右侧面的后周边。
感测区域102F的感测结果例如用于检测车辆1前方存在的车辆、行人等。感测区域102B中的感测结果例如用于车辆1后面的防碰撞功能等。感测区域102L和感测区域102R中的感测结果用于例如检测车辆1侧面的盲点中的对象。
感测区域103F或感测区域103B指示相机51的感测区域的示例。感测区域103F覆盖车辆1前方的比感测区域102F更远的位置。感测区域103B覆盖车辆1后方的比感测区域102B更远的位置。感测区域103L覆盖车辆1的左侧面的周边。感测区域103R覆盖车辆1的右侧面的周边。
感测区域103F中的感测结果可以例如用于交通灯或交通标志的识别、车道偏离防止辅助系统和自动前灯控制系统。感测区域103B中的感测结果可以例如用于停车辅助和环绕视图系统。感测区域103L和感测区域103R中的感测结果可以例如用于环绕视图系统。
感测区域104指示LiDAR 53的感测区域的示例。感测区域104覆盖车辆1前方的比感测区域103F更远的位置。另一方面,感测区域104在左右方向上的面积比感测区域103F在左右方向上的面积窄。
感测区域104中的感测结果例如用于检测诸如周围车辆的对象。
感测区域105指示长距离的雷达52的感测区域的示例。感测区域105覆盖车辆1前方的比感测区域104更远的位置。同时,感测区域105在左右方向上的区域比感测区域104在左右方向上的区域窄。
感测区域105中的感测结果例如用于自适应巡航控制(ACC)、紧急制动、防碰撞等。
注意,包括在外部识别传感器25中的相机51、雷达52、LiDAR 53以及超声波传感器54的传感器的感测区域可以具有除了图2中的配置之外的各种配置。具体地,超声波传感器54还可以在车辆1的侧面上执行感测,或者LiDAR 53可以在车辆1的后面执行感测。此外,传感器的安装位置不限于上述示例。此外,传感器的数量可以是一个或多个。
<控制处理的细节>
接下来,将参考图3至图9描述根据实施方式的控制处理的细节。图3是示出根据本公开的实施方式的分析单元61的配置示例的框图。
如图3所示,分析单元61包括自身位置估计单元71、传感器融合单元72、识别单元73、检测单元74以及确定单元75,并且实现或执行下述控制处理的功能或动作。注意,分析单元61的内部配置不限于图3所示的配置,并且可以是另一配置,只要执行以下描述的控制处理即可。
自身位置估计单元71基于来自外部识别传感器25(参加图1)的传感器数据以及累积在地图信息累积单元23(参加图1)中的高精度地图来估计车辆1的自身位置。传感器融合单元72执行组合多个不同类型的传感器数据以获得新信息的传感器融合处理。
识别单元73执行用于检测车辆1外部的状况的检测处理和用于识别车辆1外部的状况的识别处理。根据实施方式的识别单元73包括相机图像获取单元73a、深度信息获取单元73b和平面图转换单元73c。
相机图像获取单元73a获取由相机51(参见图1)捕获的相机图像。例如,如图4的(a)所示,相机图像获取单元73a获取捕获车辆1的前方的状况的相机图像。图4是用于描述根据本公开的实施方式的由识别单元73执行的处理的示例的示图。
深度信息获取单元73b获取位于车辆1前方的对象的深度信息。深度信息获取单元73b例如基于由LiDAR 53(参见图1)获取的测量数据获取位于车辆1前方的对象的深度信息。
例如,如图4的(a)所示,获取位于车辆1前方的多个(在图中为两个)其他车辆100的每条深度信息。注意,在本公开中,车辆1也被称为“主车辆1”,以便促进与其他车辆100进行区分。
平面图转换单元73c使用由深度信息获取单元73b获取的对象的深度信息,将由相机图像获取单元73a获取的相机图像转换为平面图。例如,平面图转换单元73c将如图4的(a)所示的相机图像转换为如图4的(b)所示的平面图。
将参考图5描述由平面图转换单元73c执行的处理的具体示例。图5是用于描述根据本公开的实施方式的通过平面图转换单元73c执行的处理的示例的示图。
如图5所示,平面图转换单元73c(参见图3)基于从相机51(参见图1)获取的相机图像执行简单的3D对象检测(步骤S01)。因此,平面图转换单元73cc检测立面图上的对象。注意,通过该处理,平面图转换单元73c还检测相机图像中示出的其他车辆100的定向等。
此外,平面图转换单元73c基于从相机51获取的相机图像和从LiDAR 53(参见图1)获取的深度信息执行用于估计位于主车辆1前方的对象的深度的学习(步骤S02)。
此外,平面图转换单元73c基于从相机51获取的相机图像和从LiDAR 53获取的深度信息执行2D语义分割(步骤S03)。因此,平面图转换单元73c针对相机图像的每个像素确定其他车辆100的类别。
然后,平面图转换单元73c基于在步骤S02的处理中获得的结果和在步骤S03的处理中获得的结果执行3D语义分割(步骤S04)。因此,平面图转换单元73c组合所估计的其他车辆100的深度和类别。
最后,平面图转换单元73c根据在S01的处理中获得的结果和在步骤S04的处理中获得的结果,将相机图像转换为平面图(步骤S05)。因此,识别单元73可以获取示出主车辆1的前方的状况的平面图,其包括如图4的(b)所示的其他车辆100的定向。
注意,在本公开中,从相机图像到平面图的转换处理不限于图5的示例,并且可以使用各种其他方法。
让我们返回图3的描述。检测单元74基于示出由识别单元73获取的主车辆1前方的状况的平面图,检测主车辆1前方存在的空闲空间Rv(参见图9)。具体地,检测单元74在所获取的平面图中检测存在于预先设置的受关注区域R的内部的空闲空间Rv。
确定单元75确定主车辆1是否可以停放在在受关注区域R中检测到的空闲空间Rv中。
图6是示出根据本公开的实施方式的受关注区域R的示例的平面图。如图6所示,检测单元74(参见图3)将主车辆1的前方但除了主车辆1的正面的空间之外的区域设置为受关注区域R。即,根据实施方式的受关注区域R包括:第一区域R1,其位于主车辆1的除了主车辆1的正面的空间之外的前方右侧;以及第二区域R2,其位于主车辆1的除了主车辆1的正面的空间之外的前方左侧。
例如,第一区域R1和第二区域R2以主车辆1为基准,沿着与主车辆1的行进方向垂直的方向具有预定宽度(例如,从主车辆1起2(m)至20(m)的范围)。
例如,第一区域R1和第二区域R2以主车辆1为基准,沿着主车辆1的行进方向具有预定深度(例如,相机51和LiDAR 53的测量范围)。
顺便提及,在实施方式中,通过预先设置要从中检测空闲空间Rv的受关注区域R,可以简化空闲空间Rv的检测处理,并且因此可以快速检测空闲空间Rv。
在实施方式中,通过从受关注区域R中去除被估计为主车辆1的行驶路径的主车辆1的正面的空间,能够抑制对主车辆1的行驶路径上的空闲空间Rv的错误检测。因此,根据实施方式,可以提高空闲空间Rv的检测精度。
接下来,将参考图7至图9描述空闲空间Rv的具体检测处理。注意,在图7至图9的示例中,将描述受关注区域R中位于主车辆1的右前侧的第一区域R1中的空闲空间Rv的检测处理。
图7和图8是用于描述根据本公开的实施方式的由检测单元74执行的处理的示例的示图。如图7所示,检测单元74(参见图3)首先将受关注区域R中的多个其他车辆100中的一个车辆设置为参考车辆101(步骤S11)。
例如,检测单元74将存在于受关注区域R(图中的第一区域R1)中的多个其他车辆100中的距主车辆1最近的其他车辆100设置为参考车辆101。
接下来,检测单元74将存在于与参考车辆101相同的受关注区域R(图中的第一区域R1)中的多个其他车辆100中的与参考车辆101相邻的其他车辆100设置为相邻车辆102(步骤S12)。
接下来,检测单元74确定参考车辆101和相邻车辆102是否定向在同一方向上(步骤S13)。具体地,检测单元74导出参考车辆101的中心轴线A1和相邻车辆102的中心轴线A2。
接下来,检测单元74评估由参考车辆101的中心轴线A1和相邻车辆102的中心轴线A2形成的角度。在该角度小于或等于预定角度(例如,10(°))的情况下,检测单元74确定参考车辆101和相邻车辆102在定向在同一方向上的状态下停放。
即,在本公开中,“参考车辆101和相邻车辆102定向在同一方向上”不限于两个车辆的前端(正面)定向在同一方向上的情况,而是还包括两个车辆的前端(正面)定向在相反方向上的情况。
相反,在由中心轴线A1和中心轴线A2形成的角度大于预定角度的情况下,检测单元74确定参考车辆101和相邻车辆102以定向在不同方向上的状态停放,并且再次从参考车辆101的设置处理开始。
从参考车辆101的设置处理再次开始的方法例如如下。首先,检测单元74将存在于受关注区域R中的多个其他车辆100中的在先前的参考车辆101之后距主车辆1第二近的其他车辆100(例如,前一相邻车辆102)设置为新的参考车辆101。
此外,检测单元74将与新设置的参考车辆101相邻的多个其他车辆100中的、直到紧前被设置为参考车辆101的其他车辆100不同的其他车辆100设置为相邻车辆102。
此外,在图7的示例中,由于参考车辆101和相邻车辆102各自的中心轴线A1和A2以及布置参考车辆101和相邻车辆102的方向定向在大致同一方向上,所以检测单元74确定参考车辆101和相邻车辆102并行停放。
接下来,如图8所示,在参考车辆101和相邻车辆102定向在同一方向上的情况下,检测单元74(参见图3)确定参考车辆101和相邻车辆102是否以有序方式对齐(步骤S14)。
具体地,检测单元74导出参考车辆101的中心B1的位置和相邻车辆102的中心B2的位置。接下来,检测单元74确定参考车辆101的中心B1和相邻车辆102的中心B2两者是否都沿着主车辆1的行进方向延伸,并且位于具有预定宽度L1(例如,2(m))的带状区域Rs内部。
然后,在参考车辆101的中心B1和相邻车辆102的中心B2两者都位于带状区域Rs内部的情况下,检测单元74确定参考车辆101和相邻车辆102以有序方式对齐。
即,在实施方式中,在参考车辆101的中心B1与相邻车辆102的中心B2在与主车辆1的行进方向垂直的方向(横向)上接近(距离小于或等于宽度L1)的情况下,确定参考车辆101与相邻车辆102以有序方式对齐。
相反,在参考车辆101的中心B1或相邻车辆102的中心B2不位于带状区域Rs内部的情况下,检测单元74确定参考车辆101和相邻车辆102没有以有序方式对齐,并且再次从参考车辆101的设置处理开始。
图9是用于描述根据本公开的实施方式的由检测单元74和确定单元75执行的处理的示例的示图。如图9所示,在确定参考车辆101和相邻车辆102以有序方式对齐的情况下,检测单元74(参见图3)将参考车辆101与相邻车辆102之间的矩形空间检测为空闲空间Rv(步骤S15)。
然后,确定单元75(参见图3)确定主车辆1是否可以停放在由检测单元74检测到的矩形空闲空间Rv中(步骤S16)。
具体地,首先,确定单元75测量空闲空间Rv的宽度L2。宽度L2例如是在矩形空闲空间Rv的四条边中沿着参考车辆101和相邻车辆102布置的方向的边的长度。
接下来,在测量宽度L2大于或等于预定长度的情况下,确定单元75确定主车辆1可以停放在空闲空间Rv中。预定长度的值在参考车辆101和相邻车辆102并行停放的情况与参考车辆101和相邻车辆102并排停放的情况之间变化。
在图9的示例中,由于参考车辆101和相邻车辆102并行停放,因此在宽度L2例如宽于或等于7(m)的情况下,确定单元75确定主车辆1可以停放在空闲空间Rv中。
然后,在确定主车辆1可以停放在空闲空间Rv中的情况下,HMI 31(参见图1)向驾驶员等建议空闲空间Rv作为主车辆1可以停放的停车框。
另一方面,在空闲空间Rv的宽度L2比预定长度窄的情况下,确定单元75确定主车辆1不能停放在空闲空间Rv中,并且再次从参考车辆101的设置处理开始。
如上所述,在实施方式中,基于位于受关注区域R内部的多个其他车辆100之间的位置关系,检测主车辆1可以停放的空闲空间Rv,并向驾驶员等建议该空闲空间Rv作为停车框。因此,即使在不存在分区线的信息的情况下,也可以向驾驶员等建议停车框。
另外,在实施方式中,优选的是,在通过平面图转换单元73c将位于主车辆1的前方的多个其他车辆100之间的位置关系转换为平面图之后进行评估。因此,还可以检测存在于远离主车辆1的位置处的空闲空间Rv。因此,根据实施方式,这样的空闲空间Rv可以在主车辆1接近该空闲空间Rv之前被检测到。
在实施方式中,优选地基于位于受关注区域R内部的参考车辆101和相邻车辆102之间的位置关系来检测主车辆1可以停放的空闲空间Rv。因此,可以精确地检测更接近主车辆1的空闲空间Rv。
另外,在实施方式中,基于参考车辆101的中心B1和中心轴线A1以及相邻车辆102的中心B1和中心轴线A1,确定参考车辆101和相邻车辆102是否以有序方式对齐。优选地,在确定参考车辆101和相邻车辆102以有序方式对齐的情况下,将参考车辆101与相邻车辆102之间的空间检测为空闲空间Rv。
因此,能够抑制不适于停车框的位置(例如,主车辆1或其他车辆100的行驶路径等)被错误地检测为空闲空间Rv。因此,根据实施方式,可以提高空闲空间Rv的检测精度。
另外,在实施方式中,优选地,基于从安装在主车辆1的相机51获取的相机图像和从LiDAR 53获取的深度信息,获取指示主车辆1的前方的状况的平面图。因此,能够获得指示包括其他车辆100的定向的主车辆1的前方的状况的高精度的平面图,能够提高空闲空间Rv的检测精度。
<第一修改>
接下来,将描述根据实施方式的各种修改的信息处理的细节。图10和图11是用于描述根据本公开的实施方式的第一修改的由检测单元74执行的处理的示例的示图。注意,在图10至图12的示例中,将描述受关注区域R中位于主车辆1的左前侧的第二区域R2中的空闲空间Rv的检测处理。
如图10所示,检测单元74(参见图3)首先将受关注区域R中的多个其他车辆100中的一个车辆设置为参考车辆101(步骤S21)。
例如,检测单元74将存在于受关注区域R(图中的第二区域R2)中的多个其他车辆100中的距主车辆1最近的其他车辆100设置为参考车辆101。
接下来,检测单元74将存在于与参考车辆101相同的受关注区域R(图中的第二区域R2)中的多个其他车辆100中的与参考车辆101相邻的其他车辆100设置为相邻车辆102(步骤S22)。
接下来,检测单元74确定参考车辆101和相邻车辆102是否定向在同一方向上(步骤S23)。具体地,检测单元74导出参考车辆101的中心轴线A1和相邻车辆102的中心轴线A2。
接下来,检测单元74评估由参考车辆101的中心轴线A1和相邻车辆102的中心轴线A2形成的角度。在该角度小于或等于预定角度(例如,10(°))的情况下,检测单元74确定参考车辆101和相邻车辆102在定向在同一方向上的状态下停放。
相反,在由中心轴线A1和中心轴线A2形成的角度大于预定角度的情况下,检测单元74确定参考车辆101和相邻车辆102以定向在不同方向上的状态停放,并且再次从参考车辆101的设置处理开始。
此外,在图10的示例中,由于参考车辆101和相邻车辆102各自的中心轴线A1和A2以及布置参考车辆101和相邻车辆102的方向大致彼此垂直,所以检测单元74确定参考车辆101和相邻车辆102并排停放。
接下来,如图11所示,在参考车辆101和相邻车辆102定向在同一方向上的情况下,检测单元74(参见图3)确定参考车辆101和相邻车辆102是否以有序方式对齐(步骤S24)。
具体地,检测单元74求出参考车辆101的中心B1的位置和相邻车辆102的中心B2的位置。接下来,检测单元74确定参考车辆101的中心B1和相邻车辆102的中心B2两者是否都沿着主车辆1的行进方向延伸,并且位于具有预定宽度L1的带状区域Rs内部。
然后,在参考车辆101的中心B1和相邻车辆102的中心B2两者都位于带状区域Rs内部的情况下,检测单元74确定参考车辆101和相邻车辆102以有序方式对齐。
相反,在参考车辆101的中心B1或相邻车辆102的中心B2不位于带状区域Rs内部的情况下,检测单元74确定参考车辆101和相邻车辆102没有以有序方式对齐,并且再次从参考车辆101的设置处理开始。
图12是用于描述根据本公开的实施方式的第一修改的由检测单元74和确定单元75执行的处理的示例的示图。如图12所示,在确定参考车辆101和相邻车辆102以有序方式对齐的情况下,检测单元74(参见图3)将参考车辆101与相邻车辆102之间的矩形空间检测为空闲空间Rv(步骤S25)。
然后,确定单元75(参见图3)确定主车辆1是否能够停放在由检测单元74检测到的矩形空闲空间Rv中(步骤S26)。
具体地,首先,确定单元75测量空闲空间Rv的宽度L2。宽度L2例如是在矩形空闲空间Rv的四条边中沿着参考车辆101和相邻车辆102布置的方向的边的长度。
接下来,在测量宽度L2大于或等于预定长度的情况下,确定单元75确定主车辆1可以停放在空闲空间Rv中。在图12的示例中,由于参考车辆101和相邻车辆102并排停放,因此在宽度L2例如宽于或等于2.5(m)的情况下,确定单元75确定主车辆1可以停放在空闲空间Rv中。
然后,在确定主车辆1可以停放在空闲空间Rv中的情况下,HMI 31(参见图1)向驾驶员等建议空闲空间Rv作为主车辆1可以停放的停车框。
另一方面,在空闲空间Rv的宽度L2比预定长度窄的情况下,确定单元75确定主车辆1不能停放在空闲空间Rv中,并且再次从参考车辆101的设置处理开始。
如上所述,在第一修改中,即使在位于受关注区域R内部的多个其他车辆100并排停放的情况下,也能够检测可以停放主车辆1的空闲空间Rv,并且向驾驶员等建议该空闲空间Rv作为停车框。
<第二修改>
图13是示出根据本公开实施方式的第二修改的受关注区域R的示例的平面图。如图13所示,在第二修改中,估计在主车辆1的正面的空间中存在停车场的边界部W。在这种情况下,除了上述第一区域R1和第二区域R2之外,检测单元74(参见图3)还将第三区域R3设置为受关注区域R。
第三区域R3是在边界部W的正面沿着边界部W的区域,包括主车辆1的正面的空间。这是因为沿着边界部W的区域(诸如墙壁)通常也被用作停车场中的停车区域。
例如,以主车辆1为基准,第三区域R3沿着与主车辆1的行进方向垂直的方向具有预定宽度(例如,从主车辆1起向左侧和右侧各20(m)的范围)。例如,第三区域R3具有从边界部W朝向主车辆1的预定深度(例如,从边界部W朝向前侧的20(m)的范围)。
如上所述,在第二修改中,在估计停车场的边界部W存在于主车辆1的正面的空间中的情况下,与边界部W相邻的区域包括在包括主车辆1的正面的空间的受关注区域R中。因此,能够增加可以向驾驶员等建议的停车框的选项。
注意,在本公开中,用于估计边界部W的存在的装置(means)的示例包括基于相机图像、LiDAR 53的测量结果等执行的以及基于累积在地图信息累积单元23中的高精度地图等执行的装置。
图14和图15是用于描述根据本公开的实施方式的第二修改的由检测单元74执行的处理的示例的示图。注意,在图14至图16的示例中,将描述位于受关注区域R中的边界部W附近的第三区域R3中的空闲空间Rv的检测处理。
如图14所示,检测单元74(参见图3)首先将受关注区域R中的多个其他车辆100中的一个车辆设置为参考车辆101(步骤S31)。
例如,检测单元74将存在于受关注区域R(图中的第三区域R3)中的多个其他车辆100中的距主车辆1最近的其他车辆100设置为参考车辆101。
接下来,检测单元74将存在于与参考车辆101相同的受关注区域R(图中的第三区域R3)中的多个其他车辆100中的与参考车辆101相邻的其他车辆100设置为相邻车辆102(步骤S32)。
接下来,检测单元74确定参考车辆101和相邻车辆102是否定向在同一方向上(步骤S33)。具体地,检测单元74导出参考车辆101的中心轴线A1和相邻车辆102的中心轴线A2。
接下来,检测单元74评估参考车辆101的中心轴线A1和相邻车辆102的中心轴线A2形成的角度。在该角度小于或等于预定角度(例如,10(°))的情况下,检测单元74确定参考车辆101和相邻车辆102在定向在同一方向上的状态下停放。
相反,在由中心轴线A1和中心轴线A2形成的角度大于预定角度的情况下,检测单元74确定参考车辆101和相邻车辆102以定向在不同方向上的状态停放,并且再次从参考车辆101的设置处理开始。
此外,在图14的示例中,由于参考车辆101和相邻车辆102各自的中心轴线A1和A2以及布置参考车辆101和相邻车辆102的方向大致彼此垂直,所以检测单元74确定参考车辆101和相邻车辆102并排停放。
接下来,如图15所示,在参考车辆101和相邻车辆102定向在同一方向上的情况下,检测单元74(参见图3)确定参考车辆101和相邻车辆102是否以有序方式对齐(步骤S34)。
具体地,检测单元74导出参考车辆101的中心B1的位置和相邻车辆102的中心B2的位置。接下来,检测单元74确定参考车辆101的中心B1和相邻车辆102的中心B2两者是否都沿着与主车辆1的行进方向垂直的方向延伸,并且位于具有预定宽度L1的带状区域Rs内部。
然后,在参考车辆101的中心B1和相邻车辆102的中心B2两者都位于带状区域Rs内部的情况下,检测单元74确定参考车辆101和相邻车辆102以有序方式对齐。
相反,在参考车辆101的中心B1或相邻车辆102的中心B2不位于带状区域Rs内部的情况下,检测单元74确定参考车辆101和相邻车辆102没有以有序方式对齐,并且再次从参考车辆101的设置处理开始。
图16是用于描述根据本公开的实施方式的第二修改的由检测单元74和确定单元75执行的处理的示例的示图。如图12所示,在确定参考车辆101和相邻车辆102以有序方式对齐的情况下,检测单元74(参见图3)将参考车辆101与相邻车辆102之间的矩形空间检测为空闲空间Rv(步骤S35)。
然后,确定单元75(见图3)确定主车辆1是否可以停放在由检测单元74检测的矩形空闲空间Rv中(步骤S36)。
具体地,首先,确定单元75测量空闲空间Rv的宽度L2。宽度L2例如是在矩形空闲空间Rv的四条边中沿着参考车辆101和相邻车辆102布置的方向的边的长度。
接下来,在测量宽度L2大于或等于预定长度的情况下,确定单元75确定主车辆1可以停放在空闲空间Rv中。在图12的示例中,由于参考车辆101和相邻车辆102并排停放,在宽度L2例如宽于或等于2.5(m)的情况下,确定单元75确定主车辆1可以停放在空闲空间Rv中。
然后,在确定主车辆1可以停放在空闲空间Rv中的情况下,HMI 31(参见图1)向驾驶员等建议空闲空间Rv作为主车辆1可以停放的停车框。
另一方面,在空闲空间Rv的宽度L2比预定长度窄的情况下,确定单元75确定主车辆1不能停放在空闲空间Rv中,并且再次从参考车辆101的设置处理开始。
如上所述,在第二修改中,即使在受关注区域R扩展到第三区域R3的情况下,也可以检测主车辆1可以停放的空闲空间Rv,并且向驾驶员等建议该空闲空间Rv作为停车框。
<控制处理的过程>
接下来,将参考图17描述根据实施方式的控制处理的过程。图17是示出根据本公开的实施方式的由行驶辅助和自动驾驶控制单元29执行的控制处理的过程的示例的流程图。
首先,行驶辅助和自主行驶控制单元29获取主车辆1周围的环境信息(步骤S101)。例如,行驶辅助和自动驾驶控制单元29控制识别单元73,以获取指示主车辆1的前方的状况的平面图。
接下来,行驶辅助和自动驾驶控制单元29确定在主车辆1的正面的空间中是否存在停车场的边界部W(步骤S102)。然后,在确定在主车辆1的正面的空间中存在停车场的边界部W的情况下(步骤S102,是),行驶辅助和自动驾驶控制单元29将第一区域R1、第二区域R2和第三区域R3设置为受关注区域R(步骤S103)。然后,处理进行至稍后描述的步骤S105。
相反,在确定主车辆1的正面的空间中不存在停车场的边界部W的情况下(步骤S102,否),行驶辅助和自动驾驶控制单元29将第一区域R1和第二区域R2设置为受关注区域R(步骤S104)。
接下来,行驶辅助和自动驾驶控制单元29检测受关注区域R中的空闲空间Rv(步骤S105)。例如,行驶辅助和自动驾驶控制单元29基于位于受关注区域R内部的多个其他车辆100之间的位置关系来检测空闲空间Rv。
接下来,行驶辅助和自动驾驶控制单元29确定主车辆1是否可以停放在检测到的空闲空间Rv中(步骤S106)。然后,在确定主车辆1可以停放在检测到的空闲空间Rv内的情况下(步骤S106,是),行驶辅助和自动驾驶控制单元29向驾驶员等建议空闲空间Rv作为主车辆1的停车框(步骤S107),并结束处理。
相反,在确定主车辆1不能停放在检测到的空闲空间Rv中的情况下(步骤S106,否),行驶辅助和自动驾驶控制单元29检测受关注区域R中的另一空闲空间Rv(步骤S108),并且返回到步骤S106的处理。
[效果]
根据实施方式的信息处理装置(行驶辅助和自动驾驶控制单元29)包括获取单元(识别单元73)、检测单元74以及确定单元75。获取单元(识别单元73)获取主车辆1周围的环境信息。检测单元74在设置主车辆1周围的受关注区域R中,基于包括在环境信息中的多个其他车辆100之间的位置关系检测空闲空间Rv。确定单元75确定主车辆1是否可以停放在已经检测到的空闲空间Rv中。
因此,即使在不存在分区线的信息的情况下,也可以向驾驶员等建议停车框。
另外,在根据实施方式的信息处理装置(行驶辅助和自动驾驶控制单元29)中,检测单元74将在受关注区域R中的多个其他车辆100中的一个车辆设置为参考车辆101。检测单元74还将在受关注区域R中与参考车辆101相邻的其他车辆100设置为相邻车辆102。检测单元74还基于参考车辆101与相邻车辆102的位置关系来检测空闲空间Rv。
因此,可以精确地检测更接近主车辆1的空闲空间Rv。
另外,在根据实施方式的信息处理装置(行驶辅助和自动驾驶控制单元29)中,检测单元74基于参考车辆101的中心B1和中心轴线A1以及相邻车辆102的中心B2和中心轴线A2,确定参考车辆101和相邻车辆102是否以有序方式对齐。另外,检测单元74在确定参考车辆101和相邻车辆102以有序方式对齐的情况下,基于参考车辆101与相邻车辆102之间的位置关系来检测空闲空间Rv。
因此,能够提高空闲空间Rv的检测精度。
另外,在根据实施方式的信息处理装置(行驶辅助和自动驾驶控制单元29)中,检测单元74将主车辆1的前方但除了主车辆1的正面的空间之外的区域设置为受关注区域R。
因此,能够提高空闲空间Rv的检测精度。
此外,在根据实施方式的信息处理装置(行驶辅助和自动驾驶控制单元29)中,在估计在主车辆1的正面的空间中存在停车场的边界部W的情况下,检测单元74将包括主车辆1的正面的空间的沿着边界部W的区域设置为受关注区域R。
因此,能够增加可以向驾驶员等建议的停车框的选项。
另外,在根据实施方式的信息处理装置(行驶辅助和自动驾驶控制单元29)中,获取单元(识别单元73)从安装在主车辆1的相机51和LiDAR 53获取环境信息。
因此,能够提高空闲空间Rv的检测精度。
尽管上面已经描述了本公开的实施方式,然而,本公开的技术范围不限于上述实施方式,并且在不脱离本公开的要点的情况下,可以进行各种修改。此外,可以适当地组合不同实施方式和修改的部件。
此外,本文中描述的效果仅是示例并且不是限制性的,并且可以实现其他效果。
注意,本技术还可以具有以下配置。
(1)
一种信息处理装置,包括:
获取单元,获取主车辆周围的环境信息;
检测单元,在设置在主车辆周围的受关注区域中,基于包括在环境信息中的多个其他车辆之间的位置关系检测空闲空间;以及
确定单元,确定主车辆是否能够停放在已经检测到的空闲空间中。
(2)
根据上述(1)的信息处理装置,
其中,检测单元:
将在受关注区域中的多个其他车辆中的一个设置为参考车辆;
将在受关注区域中与参考车辆相邻的其他车辆设置为相邻车辆;以及
基于参考车辆与相邻车辆之间的位置关系检测空闲空间。
(3)
根据上述(2)的信息处理装置,
其中,检测单元:
基于参考车辆的中心和中心轴线以及相邻车辆的中心和中心轴线确定参考车辆和相邻车辆是否以有序方式对齐;以及
在确定参考车辆和相邻车辆以有序方式对齐的情况下,基于参考车辆与相邻车辆之间的位置关系检测空闲空间。
(4)
根据以上(1)至(3)中任一项的信息处理装置,
其中,检测单元将主车辆的前方但除了主车辆的正面的空间之外的区域设置为受关注区域。
(5)
根据以上(1)至(4)中任一项的信息处理装置,
其中,在估计在主车辆的正面的空间中存在停车场的边界部的情况下,检测单元将包括主车辆的正面的空间的沿着边界部的区域设置为受关注区域。
(6)
根据以上(1)至(5)中任一项的信息处理装置,
其中,获取单元从安装在主车辆上的相机和LiDAR获取环境信息。
(7)
一种由计算机执行的信息处理方法,该方法包括:
获取步骤,获取主车辆周围的环境信息;
检测步骤,在设置在主车辆周围的受关注区域中,基于包括在环境信息中的多个其他车辆之间的位置关系检测空闲空间;以及
确定步骤,确定主车辆是否能够停放在已经检测到的空闲空间中。
(8)
根据上述(7)的信息处理方法,
其中,检测步骤进一步包括:
将在受关注区域中的多个其他车辆中的一个设置为参考车辆;
将在受关注区域中与参考车辆相邻的其他车辆设置为相邻车辆;以及
基于参考车辆与相邻车辆之间的位置关系检测空闲空间。
(9)
根据上述(8)的信息处理方法,
其中,检测步骤进一步包括:
基于参考车辆的中心和中心轴线以及相邻车辆的中心和中心轴线确定参考车辆和相邻车辆是否以有序方式对齐;以及
在确定参考车辆和相邻车辆以有序方式对齐的情况下,基于参考车辆与相邻车辆之间的位置关系检测空闲空间。
(10)
根据以上(7)至(9)中任一项的信息处理方法,
其中,检测步骤进一步包括:
将主车辆的前方但除了主车辆的正面的空间之外的区域设置为受关注区域。
(11)
根据以上(7)至(10)中任一项的信息处理方法,
其中,检测步骤进一步包括:
在估计在主车辆的正面的空间中存在停车场的边界部的情况下,将包括主车辆的正面的空间的沿着边界部的区域设置为受关注区域。
(12)
根据以上(7)至(11)中任一项的信息处理方法,
其中,获取步骤进一步包括:
从安装在主车辆上的相机和LiDAR获取环境信息。
(13)
一种信息处理程序,用于使计算机执行:
获取过程,获取主车辆周围的环境信息;
检测过程,在设置在主车辆周围的受关注区域中,基于包括在环境信息中的多个其他车辆之间的位置关系检测空闲空间;以及
确定过程,确定主车辆是否能够停放在已经检测到的空闲空间中。
(14)
根据项(13)的信息处理程序,
其中,检测过程进一步包括:
将在受关注区域中的多个其他车辆中的一个设置为参考车辆;
将在受关注区域中与参考车辆相邻的其他车辆设置为相邻车辆;以及
基于参考车辆与相邻车辆之间的位置关系检测空闲空间。
(15)
根据项(14)的信息处理程序,
其中,检测过程进一步包括:
基于参考车辆的中心和中心轴线以及相邻车辆的中心和中心轴线确定参考车辆和相邻车辆是否以有序方式对齐;以及
在确定参考车辆和相邻车辆以有序方式对齐的情况下,基于参考车辆与相邻车辆之间的位置关系检测空闲空间。
(16)
根据以上(13)至(15)中任一项的信息处理程序,
其中,检测过程进一步包括:
将主车辆的前方但除了主车辆的正面的空间之外的区域设置为受关注区域。
(17)
根据以上(13)至(16)中任一项的信息处理程序,
其中,检测过程进一步包括:
在估计在主车辆的正面的空间中存在停车场的边界部的情况下,将包括主车辆的正面的空间的沿着边界部的区域设置为受关注区域。
(18)
根据以上(13)至(17)中任一项的信息处理程序,
其中,获取过程进一步包括:
从安装在主车辆上的相机和LiDAR获取环境信息。
参考标记列表
1 车辆(主车辆)
29 行驶辅助和自动驾驶控制单元(信息处理装置的示例)
61 分析单元
73 识别单元(获取单元的示例)
73a 相机图像获取单元
73b 深度信息获取单元
73c 平面图转换单元
74 检测单元
75 确定单元
100 其他车辆
101 参考车辆
102 相邻车辆
A1、A2 中心轴线
B1、B2 中心
Rs 带状区域
Rv 空闲空间
W 边界部。
Claims (8)
1.一种信息处理装置,包括:
获取单元,获取主车辆周围的环境信息;
检测单元,在设置在所述主车辆周围的受关注区域中,基于包括在所述环境信息中的多个其他车辆之间的位置关系检测空闲空间;以及
确定单元,确定所述主车辆是否能够停放在已经检测到的所述空闲空间中。
2.根据权利要求1所述的信息处理装置,
其中,所述检测单元:
将在所述受关注区域中的多个所述其他车辆中的一个设置为参考车辆;
将在所述受关注区域中与所述参考车辆相邻的所述其他车辆设置为相邻车辆;以及
基于所述参考车辆与所述相邻车辆之间的位置关系检测所述空闲空间。
3.根据权利要求2所述的信息处理装置,
其中,所述检测单元:
基于所述参考车辆的中心和中心轴线以及所述相邻车辆的中心和中心轴线确定所述参考车辆和所述相邻车辆是否以有序方式对齐;以及
在确定所述参考车辆和所述相邻车辆以有序方式对齐的情况下,基于所述参考车辆与所述相邻车辆之间的所述位置关系检测所述空闲空间。
4.根据权利要求1所述的信息处理装置,
其中,所述检测单元将所述主车辆的前方但除了所述主车辆的正面的空间之外的区域设置为所述受关注区域。
5.根据权利要求1所述的信息处理装置,
其中,在估计在所述主车辆的正面的空间中存在停车场的边界部的情况下,所述检测单元将包括所述主车辆的正面的空间的沿着所述边界部的区域设置为所述受关注区域。
6.根据权利要求1所述的信息处理装置,
其中,所述获取单元从安装在所述主车辆上的相机和LiDAR获取所述环境信息。
7.一种由计算机执行的信息处理方法,所述方法包括:
获取步骤,获取主车辆周围的环境信息;
检测步骤,在设置在所述主车辆周围的受关注区域中,基于包括在所述环境信息中的多个其他车辆之间的位置关系检测空闲空间;以及
确定步骤,确定所述主车辆是否能够停放在已经检测到的所述空闲空间中。
8.一种信息处理程序,用于使计算机执行:
获取过程,获取主车辆周围的环境信息;
检测过程,在设置在所述主车辆周围的受关注区域中,基于包括在所述环境信息中的多个其他车辆之间的位置关系检测空闲空间;以及
确定过程,确定所述主车辆是否能够停放在已经检测到的所述空闲空间中。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021-167807 | 2021-10-13 | ||
JP2021167807 | 2021-10-13 | ||
PCT/JP2022/036963 WO2023063145A1 (ja) | 2021-10-13 | 2022-10-03 | 情報処理装置、情報処理方法および情報処理プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118076986A true CN118076986A (zh) | 2024-05-24 |
Family
ID=85988604
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280067510.3A Pending CN118076986A (zh) | 2021-10-13 | 2022-10-03 | 信息处理装置、信息处理方法和信息处理程序 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN118076986A (zh) |
WO (1) | WO2023063145A1 (zh) |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006160194A (ja) * | 2004-12-10 | 2006-06-22 | Alpine Electronics Inc | 駐車支援装置 |
JP2016101778A (ja) * | 2014-11-27 | 2016-06-02 | パナソニックIpマネジメント株式会社 | 駐車支援装置 |
JP6562709B2 (ja) * | 2015-05-14 | 2019-08-21 | 株式会社デンソーテン | 駐車支援装置および駐車支援方法 |
JP6937558B2 (ja) * | 2016-10-13 | 2021-09-22 | 日産自動車株式会社 | 駐車支援方法及び駐車支援装置 |
JP6785960B2 (ja) * | 2017-06-07 | 2020-11-18 | 三菱電機株式会社 | 空きスペース通知装置、空きスペース通知システム及び空きスペース通知方法 |
WO2020095672A1 (ja) * | 2018-11-08 | 2020-05-14 | 日立オートモティブシステムズ株式会社 | 車両制御装置、経路配信装置、車両誘導システム |
WO2021044616A1 (ja) * | 2019-09-06 | 2021-03-11 | 日産自動車株式会社 | 駐車支援方法及び駐車支援装置 |
-
2022
- 2022-10-03 CN CN202280067510.3A patent/CN118076986A/zh active Pending
- 2022-10-03 WO PCT/JP2022/036963 patent/WO2023063145A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2023063145A1 (ja) | 2023-04-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20240054793A1 (en) | Information processing device, information processing method, and program | |
WO2021241189A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
CN113841100A (zh) | 自主行驶控制设备、自主行驶控制系统和自主行驶控制方法 | |
US20240069564A1 (en) | Information processing device, information processing method, program, and mobile apparatus | |
WO2023153083A1 (ja) | 情報処理装置、情報処理方法、情報処理プログラム及び移動装置 | |
WO2022004423A1 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
JP2022098397A (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
WO2023063145A1 (ja) | 情報処理装置、情報処理方法および情報処理プログラム | |
WO2023145460A1 (ja) | 振動検出システムおよび振動検出方法 | |
WO2024009829A1 (ja) | 情報処理装置、情報処理方法および車両制御システム | |
WO2023074419A1 (ja) | 情報処理装置、情報処理方法、及び、情報処理システム | |
WO2023007785A1 (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
WO2023171401A1 (ja) | 信号処理装置、信号処理方法、および記録媒体 | |
WO2022024569A1 (ja) | 情報処理装置と情報処理方法およびプログラム | |
WO2024024471A1 (ja) | 情報処理装置、情報処理方法、及び、情報処理システム | |
WO2023054090A1 (ja) | 認識処理装置、認識処理方法、および認識処理システム | |
WO2023021756A1 (ja) | 情報処理システム、情報処理装置、及び情報処理方法 | |
WO2024048180A1 (ja) | 情報処理装置、情報処理方法および車両制御システム | |
WO2023053498A1 (ja) | 情報処理装置、情報処理方法、記録媒体、および車載システム | |
WO2023162497A1 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
WO2024062976A1 (ja) | 情報処理装置及び情報処理方法 | |
WO2023068116A1 (ja) | 車載通信装置、端末装置、通信方法、情報処理方法及び通信システム | |
US20240019539A1 (en) | Information processing device, information processing method, and information processing system | |
WO2022107532A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
WO2023149089A1 (ja) | 学習装置、学習方法及び学習プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |