CN117083218A - 信息处理装置、信息处理方法和程序 - Google Patents

信息处理装置、信息处理方法和程序 Download PDF

Info

Publication number
CN117083218A
CN117083218A CN202280021879.0A CN202280021879A CN117083218A CN 117083218 A CN117083218 A CN 117083218A CN 202280021879 A CN202280021879 A CN 202280021879A CN 117083218 A CN117083218 A CN 117083218A
Authority
CN
China
Prior art keywords
display data
vehicle
parking
space
parkable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280021879.0A
Other languages
English (en)
Inventor
入矢真一
宫泽克次
赤川聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Sony Group Corp
Original Assignee
Sony Semiconductor Solutions Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2021064801A external-priority patent/JP2022151402A/ja
Application filed by Sony Semiconductor Solutions Corp, Sony Group Corp filed Critical Sony Semiconductor Solutions Corp
Priority claimed from PCT/JP2022/004249 external-priority patent/WO2022201892A1/en
Publication of CN117083218A publication Critical patent/CN117083218A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Traffic Control Systems (AREA)

Abstract

提供了一种信息处理装置,包括:显示数据生成单元,其被构造为:接收通过对车辆周围进行成像而获得的图像;生成表示至少一个停放分区的显示数据;和将该显示数据叠加在图像上,其中,该显示数据包括从至少一个停放分区的车辆接地面延伸的向上延伸面。

Description

信息处理装置、信息处理方法和程序
相关申请的交叉引用
本申请要求于2021年3月24日提交的日本优先权专利申请JP 2021-049561和于2021年4月6日提交的日本优先权专利申请JP 2021-064801的权益,其全部内容通过引用并入本文。
技术领域
本公开涉及一种信息处理装置、信息处理方法和程序。具体地,例如,本公开涉及生成显示数据的信息处理装置、信息处理方法和程序,该显示数据用于简单地向停车场中的作为车辆驾驶员的用户呈现车辆的可停放空间。
背景技术
例如,购物中心、游乐园、旅游景点、城市中的其他地方等的许多停车场通常允许停放大量车辆。作为车辆驾驶员的用户从停车场搜索可以将车辆停放在其中的空闲空间并停放车辆。在这种情况下,用户在停车场中驾驶车辆,并目视检查周围环境以搜索空闲空间。
对可停放空间进行这种检查需要时间,并且具有在小型停车场中行驶可能会导致与其他车辆和人员的接触事故的问题。
公开了用于解决这种问题的构成的现有技术的示例包括专利文献1(日本专利申请特开第2016-118851号)。
专利文献1公开了一种构成,其中能够识别停车场中的各停放区域是否可停放的显示数据被显示在将要被停放的车辆中的显示单元上,车辆的驾驶员能够检查该显示单元。具体地,专利文献1公开了一种构成,其中生成并显示附接到停车场中的各停放空间前方的地面位置的线状虚拟图像的图像,该虚拟图像使得能够识别各停放空间是否可停放。
例如,专利文献1中公开的构成呈现了分别附接到车辆停放空间前方的地面上的可停放位置和不可停放位置的绿线和红或蓝线的图像。
然而,这些线在可停放位置和不可停放位置都具有相同的形状,并且只是颜色不同,使得作为驾驶员的用户难以识别这些线。另外,在某些情况下,蓝色、红色或绿色的线实际上会被绘制在停车场的行驶表面上。在停车场中存在各种颜色的线的情况下,存在驾驶员将显示在显示单元上的虚拟图像的线与实际存在的线混淆的可能性。
[引文列表]
[专利文献]
[专利文献1]:日本专利申请特开第2016-118851号
发明内容
[技术问题]
考虑到如上所述的情况,例如,期望提供一种信息处理装置、信息处理方法和程序,其生成用于在停车场中向作为车辆驾驶员的用户简单地呈现车辆的可停放空间的显示数据。
[问题的解决方案]
根据本公开的第一方面,提供了一种信息处理装置,包括:显示数据生成单元,其被构造为:接收通过对车辆周围进行成像而获得的图像;生成表示至少一个停放分区的显示数据;和将所述显示数据叠加在所述图像上,其中,所述显示数据包括从所述至少一个停放分区的车辆接地面延伸的向上延伸面。
此外,根据本公开的第二方面,提供了一种用于向车辆的驾驶员呈现可停放空间的方法,所述方法包括:接收通过对所述车辆周围进行成像而获得的图像;生成表示至少一个停放分区的空间识别用显示数据,所述空间识别用显示数据包括从所述至少一个停放分区的车辆接地面延伸的向上延伸面;和将所述显示数据叠加在所述图像上。
此外,根据本公开的第三方面,提供了一种装置,包括:至少一个计算机可读存储介质,其上存储有可执行的指令;至少一个处理器,其由所述可执行指令编程为执行包括以下动作的方法:接收通过对车辆周围进行成像而获得的图像;生成表示至少一个停放分区的空间识别用显示数据,所述空间识别用显示数据包括从所述至少一个停放分区的车辆接地面延伸的向上延伸面;和将所述显示数据叠加在所述图像上。
注意,例如,根据本公开实施方案的程序是以计算机可读格式提供的可以由存储介质或通信介质提供给能够执行各种程序代码的信息处理装置、图像处理装置和计算机系统的程序。通过提供这种计算机可读格式的程序,可以在信息处理装置和计算机系统上实现根据该程序的处理。
本公开的其他目的、特征和优点将通过基于以下所述的示例和附图的更详细的说明来阐明。注意,这里的系统是多个装置的逻辑集合,并且不限于其中具有各个构成的装置位于单个壳体中的系统。
根据本公开实施方案的构成,实现了使得能够生成显示数据并在显示单元上显示该显示数据的构成,该显示数据使得能够容易且可靠地识别可停放空间和不可停放空间。具体地,例如,提供了一种显示数据生成单元,其生成通过将作为图形数据的可停放空间和不可停放空间中的至少一个的空间识别用显示数据叠加在通过对车辆周围进行成像而获得的图像上而获得的显示数据。显示数据生成单元生成通过将作为具有从车辆接地面向上延伸的向上延伸面的栅栏型图形数据或箱型图形数据的可停放空间和不可停放空间中的至少一个的空间识别用显示数据叠加在图像上而获得的显示数据,并且将该显示数据输出到显示单元,并显示该显示数据。利用该构成,实现了使得能够生成显示数据并在显示单元上显示该显示数据的构成,该显示数据使得能够容易且可靠地识别可停放空间和不可停放空间。注意,这里所述的效果不是限制性的,而仅仅是说明性的,并且可以提供额外的效果。
附图说明
图1是说明其中将要停放在停车场中的车辆行驶的示例的图。
图2是说明其中将要停放在停车场中的车辆行驶的示例的图。
图3是说明其中将要停放在停车场中的车辆行驶的示例的图。
图4是说明其中应用根据本公开实施方案的信息处理装置生成的显示数据且车辆被停放在停车场中的处理例的图。
图5是说明由根据本公开实施方案的信息处理装置生成的显示数据的具体例的图。
图6是说明由根据本公开实施方案的信息处理装置生成的显示数据的具体例的图。
图7是说明由根据本公开实施方案的信息处理装置生成的显示数据的具体例的图。
图8是说明由根据本公开实施方案的信息处理装置生成的显示数据的具体例的图。
图9是说明由根据本公开实施方案的信息处理装置生成的显示数据的具体例的图。
图10是说明由根据本公开实施方案的信息处理装置生成的显示数据的具体例的图。
图11是说明由根据本公开实施方案的信息处理装置生成的显示数据的具体例的图。
图12是说明由根据本公开实施方案的信息处理装置生成的显示数据的具体例的图。
图13是说明由根据本公开实施方案的信息处理装置生成的显示数据的具体例的图。
图14是说明由根据本公开实施方案的信息处理装置生成的显示数据的具体例的图。
图15是说明由根据本公开实施方案的信息处理装置生成的显示数据的具体例的图。
图16是说明由根据本公开实施方案的信息处理装置生成的显示数据的具体例的图。
图17是说明由根据本公开实施方案的信息处理装置生成的显示数据的具体例的图。
图18是说明由根据本公开实施方案的信息处理装置生成的显示数据的具体例的图。
图19是说明由根据本公开实施方案的信息处理装置生成的显示数据的具体例的图。
图20是说明由根据本公开实施方案的信息处理装置生成的显示数据的具体例的图。
图21是说明由根据本公开实施方案的信息处理装置生成的显示数据的具体例的图。
图22是示出说明由根据本公开实施方案的信息处理装置执行的处理的处理序列的流程图的图。
图23是说明根据本公开实施方案的信息处理装置的构成例的图。
图24是说明根据本公开实施方案的信息处理装置的硬件构成例的图。
图25是说明配备有根据本公开实施方案的信息处理装置的车辆的构成例的图。
图26是说明配备有根据本公开实施方案的信息处理装置的车辆的传感器的构成例的图。
具体实施方式
以下将参照附图说明根据本公开实施方案的信息处理装置、信息处理方法和程序的细节。注意,将根据以下项目进行说明。
1.关于停车场中车辆停放处理的一般处理及其问题
2.关于简单地向用户呈现可停放空间和不可停放空间的本公开的处理
3.关于图形数据的变化
4.关于由根据本公开实施方案的信息处理装置执行的处理序列
5.关于根据本公开实施方案的信息处理装置的构成例
6.关于根据本公开实施方案的信息处理装置的硬件构成例
7.关于车辆的构成例
8.本公开的构成的概述
<1.关于停车场中车辆停放处理的一般处理及其问题>
首先,将说明停车场中车辆停放处理的一般处理及其问题。
将参照图1及随后的图说明其中车辆被停放在停车场中的一般驾驶例。图1示出了车辆10和停车场20。车辆10从停车场20的入口进入停车场20,并试图搜索空闲空间并停放在空闲空间中。
在图1所示的情况下,作为车辆10的驾驶员的用户从停车场20的入口进入停车场,同时观察车辆前方。在进入时,很难检查哪个停放分区是空着的。
为此,作为车辆10的驾驶员的用户按照图2所示的顺序在停车场中驾驶车辆10,识别出空闲空间,并停放车辆。
首先,在图2所示的(步骤S1)中,车辆10从停车场20的入口进入。此时,用户(驾驶员)不能检查哪里是空着的。为了检查哪里是空着的,如(步骤S2)所示,用户(驾驶员)在左侧的停放分区的右侧直行,并顺序地检查是否有车辆被停放在左侧的停放分区中。
当车辆10直行并到达如(步骤S2)所示的位置时,用户(驾驶员)可以在视觉上识别出其中没有停放车辆的空闲空间。
结果,用户(驾驶员)操作方向盘,以便将车辆停放在如(步骤S2)所示的位置处的可以在视觉上识别出的空闲空间中。也就是说,如(步骤S3)所示,用户(驾驶员)执行驾驶操作,以使车辆沿着右前方方向行进,然后倒车以将车辆停放在空闲空间中。
在一系列处理中的车辆10的行驶路线是如图3所示的行驶路线。车辆10需要按照图3所示的行驶路线在停车场中行驶,以便检查可停放空间,然后停车。检查空闲空间的行驶需要时间,并且在狭窄的停车场中行驶很可能会导致与其他车辆和人员的接触事故,从而引发安全问题。
<2.关于简单地向用户呈现可停放空间和不可停放空间的本公开的处理>
接下来,将说明简单地向用户呈现可停放空间和不可停放空间的本公开的处理。
图4是与上述图1类似的图。图4示出了车辆10和停车场20,并且车辆10从停车场20的入口进入停车场20并试图停放在空闲空间中。
在图4所示的情况中,作为车辆10的驾驶员的用户即使在观察车辆前方时也难以在视觉上检查哪个停放分区是空闲的。然而,设置在车辆10中的根据本公开实施方案的信息处理装置基于安装在车辆10上的传感器的检测信息或从诸如停车场管理服务器等外部装置接收的信息分析停车场20中的每个停放分区是可停放的还是不可停放的。
设置在车辆10中的传感器是诸如相机传感器、光检测和测距(LiDAR:LightDetection and Ranging)传感器和飞行时间(ToF:Time of Flight)传感器等传感器。注意,LiDAR(光检测和测距)传感器和ToF传感器分别是输出诸如激光等光、分析来自物体的反射光并测量与周围物体之间的距离的传感器。
车辆10中的信息处理装置使用这种传感器检测信息,以分析车辆周围的状况,并检查停车场20的各停放分区的空闲状态。
注意,设置在车辆10中的信息处理装置不一定需要使用上述传感器检测信息,并且例如,可以从诸如停车场管理服务器等外部装置接收关于停车场20中的各停放分区的空闲状态的信息,即,各停放分区是可停放的还是不可停放的。
如上所述,根据本公开实施方案的信息处理装置使用传感器检测信息和从外部接收的信息中的至少一个来分析各停放分区是可停放的还是不可停放的。此外,信息处理装置基于该分析处理的结果生成用于向作为车辆驾驶员的用户简单地呈现车辆的可停放分区的显示数据,并将该显示数据显示在显示单元上。将参照图5和随后的图说明由根据本公开实施方案的信息处理装置生成的显示数据的具体例。
图5示出了车辆10内部的车辆10的前面板的示例。由根据本公开实施方案的信息处理装置生成的显示数据被显示在构造在车辆10的前面板上的显示单元50上。注意,图5所示的车辆10对应于图4所示的车辆10,并位于从停车场20的入口进入停车场20的位置处。
在该位置处,设置在车辆10中的信息处理装置已经获取了关于停车场20的各停放分区是可停放空间还是不可停放空间的信息,该信息是基于传感器检测信息或从外部接收的信息生成的。
信息处理装置使用该信息来生成显示数据,并将该显示数据显示在显示单元上,该显示数据使得能够容易地确定停车场20的各停放分区是可停放的还是不可停放的。
图6示出了由根据本公开实施方案的信息处理装置生成的显示数据的示例。图6所示的显示数据示出了在构造在车辆10的前面板上的显示单元50上显示的数据示例。
图6所示的显示数据是在由设置在车辆10中的相机拍摄的实际图像上显示不可停放空间识别用显示数据101和可停放空间识别用显示数据102这两种类型的图形数据(虚拟对象)的显示数据。
针对车辆已经停放在其中的不可停放空间显示具有从车辆接地面向上延伸的向上延伸面的红色栅栏型显示数据,即,不可停放空间识别用显示数据101。此外,针对其中没有停放车辆的可停放空间显示与车辆接地面平行的蓝色显示数据,即,可停放空间识别用显示数据102。
停车场的图像是由设置在车辆10中的相机拍摄的实际图像。设置在车辆10中的信息处理装置将作为虚拟对象的诸如不可停放空间识别用显示数据101和可停放空间识别用显示数据102等图形数据叠加在实际图像上,并显示所获得的图像。也就是说,车辆10的信息处理装置生成作为其中现实对象和虚拟对象混合的增强现实图像的增强现实(AR:Augmented Reality)图像,并将生成的图像显示在显示单元50上。
图6所示的红色栅栏型不可停放空间识别用显示数据101越朝向下侧(车辆接地面侧)透明度越高,并且越朝向上侧透明度越低。也就是说,红色栅栏型不可停放空间识别用显示数据101是具有越朝向上侧红色变得越清晰的设定的红色半透明栅栏型三维图形数据(虚拟对象)。
该不可停放空间识别用显示数据101被显示为基本上直立在因为停车场的停放分区已经存在车辆而被判定为车辆不可停放空间的停放分区前方的位置处。
另一方面,图6所示的蓝色平面型可停放空间识别用显示数据102是平面型图形数据(虚拟对象),该图形数据越朝向停放区域的前侧(停放出入口侧)透明度越高,并且越朝向停放区域的后侧透明度越低。也就是说,蓝色平面型可停放空间识别用显示数据102是具有越朝向停放区域后侧蓝色变得越清晰的设定的平面型图形数据(虚拟对象)。
注意,这两种类型的图形数据,即,红色栅栏型不可停放空间识别用显示数据101和蓝色平面型可停放空间识别用显示数据102被显示为设置在停放分区的前方线上,即,当停放车辆时作为入口的停放分区的前方线上。
试图进入停车场20并停放车辆10的用户(驾驶员)通过查看显示在车辆10的显示单元50上的显示数据的图形数据可以容易且可靠地判定其中显示红色栅栏型不可停放空间识别用显示数据101的区域是不可停放空间以及其中显示蓝色平面型可停放空间识别用显示数据102的区域是可停放空间。
用户(驾驶员)可以基于判定结果将车辆10高效地停放在显示蓝色平面型可停放空间识别用显示数据102的区域中。
红色栅栏型不可停放空间识别用显示数据101是不可能存在于现实停车场中的对象,并且驾驶员可以通过查看显示在显示单元50上且不可能存在的红色栅栏来立即且可靠地识别不可停放区域。
注意,红色栅栏型不可停放空间识别用显示数据101是如上所述的半透明图形数据,因此,可以识别被所显示的红色栅栏隐藏在后面的实际图像和图形数据。例如,在图6中,从前方开始的第三个停放分区显示蓝色平面型可停放空间识别用显示数据102,并且蓝色平面型可停放空间识别用显示数据102的一部分与其前方的红色栅栏型不可停放空间识别用显示数据101重叠。其前方的红色栅栏型不可停放空间识别用显示数据101具有透明度,因此,可以通过红色栅栏识别后方的蓝色平面型图形数据。
如上所述,根据本公开实施方案的信息处理装置生成不妨碍用户(驾驶员或乘坐者)的视野的显示数据,并显示该显示数据,即,在显示数据中相对于车辆接地面直立的具有透明度的栅栏。用户(驾驶员或乘坐者)可以通过经由红色栅栏查看红色栅栏后方的蓝色平面型可停放空间识别用显示数据102来立即识别可停放空间的存在。此外,红色栅栏型不可停放空间识别用显示数据101越朝向下侧(车辆接地面侧)透明度越高,并且越朝向上侧透明度越低。这种构成能够使用户(驾驶员或乘坐者)容易地识别出甚至远离车辆10的不可停放空间。
接下来,将参照图7说明作为由根据本公开实施方案的信息处理装置生成的显示数据的图形数据(虚拟对象)的红色栅栏型不可停放空间识别用显示数据101和蓝色平面型可停放空间识别用显示数据102的细节。
图7示出了以下两个图形数据:(A)不可停放空间识别用显示数据;和(B)可停放空间识别用显示数据。这两个图形数据都示出了从相应的停放分区的前方看到的状态。
(A)不可停放空间识别用显示数据是直立在停放分区前方的栅栏型显示数据,并且是具有垂直于车辆行驶面直立的红色栅栏形状的三维图形数据。如图7所示,红色栅栏型不可停放空间识别用显示数据越朝向下侧(车辆接地面侧)透明度越高,并且越朝向上侧透明度越低。也就是说,红色栅栏型不可停放空间识别用显示数据是具有越朝向上侧红色变得越清晰的设定的红色半透明栅栏型三维图形数据(虚拟对象)。
另一方面,(B)可停放空间识别用显示数据越朝向停放区域的前侧(停放出入口侧)透明度越高,并且越朝向停放区域后侧透明度越低。也就是说,(B)可停放空间识别用显示数据是具有越朝向停放区域前侧蓝色变得越清晰的设定的平面型图形数据(虚拟对象)。如图7所示,蓝色平面型可停放空间识别用显示数据是在作为停放平面的接地面上扩展的蓝色平面型图形数据(虚拟对象)。
图8示出了其中参照图6和图7所述的蓝色平面型可停放空间识别用显示数据102的透明度的设定被颠倒的示例。红色栅栏型不可停放空间识别用显示数据101与上面参照图6和图7所述的数据相同,并且越朝向下侧(车辆接地面侧)透明度越高,并且越朝向上侧透明度越低。也就是说,红色栅栏型不可停放空间识别用显示数据101是具有越朝向上侧红色变得越清晰的设定的红色半透明栅栏型三维图形数据(虚拟对象)。
该不可停放空间识别用显示数据101被显示为基本上直立在因为停车场的停放分区中已经存在车辆而被判定为车辆不可停放空间的停放分区前方的位置处。
另一方面,图2所示的蓝色平面型可停放空间识别用显示数据102被设定为使得,越朝向停放区域的前侧(停放出入口侧),透明度越低且蓝色输出越大,并且越朝向停放区域后侧,透明度越高且蓝色输出越小。也就是说,蓝色平面型可停放空间识别用显示数据102是具有越朝向停放区域前侧蓝色变得越清晰的设定的平面型图形数据(虚拟对象)。
通过这样的设定,例如,即使在蓝色平面型可停放空间识别用显示数据102的前方存在车辆并且在该位置显示有红色栅栏型不可停放空间识别用显示数据101的情况下,也可以容易地识别出其后方的蓝色平面型可停放空间识别用显示数据102前方的蓝色。为此,例如,不需要对遮挡区域执行处理,如生成并显示被红色栅栏型不可停放空间识别用显示数据101隐藏的部分的图像等。
注意,这两种类型的图形数据,即,红色栅栏型不可停放空间识别用显示数据101和蓝色平面型可停放空间识别用显示数据102被显示为设置在停放分区的前方线上,即,当停放车辆时作为入口的停放分区的前方线上。
试图进入停车场20并停放车辆10的用户(驾驶员)通过查看显示在车辆10的显示单元50上的显示数据的图形数据可以容易且可靠地判定其中显示红色栅栏型不可停放空间识别用显示数据101的区域是不可停放空间以及其中显示蓝色平面型可停放空间识别用显示数据102的区域是可停放空间。
用户(驾驶员)可以基于判定结果将车辆10高效地停放在显示蓝色平面型可停放空间识别用显示数据102的区域中。
图9是说明图8所示的红色栅栏型不可停放空间识别用显示数据101和蓝色平面型可停放空间识别用显示数据102的细节的图。
图9示出了以下两个图形数据:(A)不可停放空间识别用显示数据;和(B)可停放空间识别用显示数据。这两个图形数据都示出了从相应的停放分区的前方看到的状态。
(A)不可停放空间识别用显示数据是与上面参照图7所述的数据相同的数据,是直立在停放分区前方的栅栏型显示数据,并且是具有垂直于车辆行驶面直立的红色栅栏形状的三维图形数据。如图9所示,红色栅栏型不可停放空间识别用显示数据越朝向下侧(车辆接地面侧)透明度越高,并且越朝向上侧透明度越低。也就是说,红色栅栏型不可停放空间识别用显示数据是具有越朝向上侧红色变得越清晰的设定的红色半透明栅栏型三维图形数据(虚拟对象)。
另一方面,(B)可停放空间识别用显示数据示出了蓝色平面型可停放空间识别用显示数据102的细节,并且具有以下设定:越朝向停放区域的前侧(停放出入口侧),透明度越低且蓝色输出越大,并且越朝向停放区域后侧,透明度越高且蓝色输出越小。也就是说,(B)可停放空间识别用显示数据是具有越朝向停放区域前方蓝色变得越清晰的设定的平面型图形数据(虚拟对象)。
注意,尽管在该实施例中已经说明了其中不可停放空间识别用显示数据101是红色半透明直立栅栏并且可停放空间识别用显示数据102是蓝色半透明平面的示例,但是可以对图形数据的颜色、形状和透明度进行各种设定。此外,可以使用添加了图案或纹理的图形数据。下面将说明各种设定例。
<3.关于图形数据的变体>
接下来,将说明作为不可停放空间识别用显示数据101或可停放空间识别用显示数据102显示的图形数据的变体。
在参照图6和图7所述的实施例中,不可停放空间识别用显示数据101是具有从停放分区前方的车辆接地面向上延伸的向上延伸面和红色半透明直立栅栏形状的图形数据,并且是具有越朝向下侧(车辆接地面侧)透明度越高且越朝向上侧透明度越低的设定的图形数据(虚拟对象)。另一方面,可停放空间识别用显示数据102是在作为停车平面的接地面上扩展的蓝色平面型图形数据(虚拟对象)。
将说明具有与上述设定不同的设定的图形数据的变体。图10是类似于上述图6示出了在构造在车辆10的前面板上的显示单元50上显示的数据示例的图。
图10所示的显示数据与上述图6中的显示数据类似,是在由设置在车辆10中的相机拍摄的实际图像上显示两种类型的图形数据(虚拟对象)的显示数据,这两种类型的图形数据是不可停放空间识别用显示数据101b和可停放空间识别用显示数据102。
针对车辆已经停放在其中的不可停放空间显示从车辆接地面斜向上延伸的红色栅栏型显示数据,即,不可停放空间识别用显示数据101b。此外,针对其中没有停放车辆的可停放空间显示与车辆接地面平行的蓝色显示数据,即,可停放空间识别用显示数据102。
上述图6中的红色栅栏型不可停放空间识别用显示数据101具有垂直于接地面向上延伸的栅栏形状,但图10所示的红色栅栏型不可停放空间识别用显示数据101b具有从接地面斜向上延伸的栅栏形状。在这方面,图10所示的红色栅栏型不可停放空间识别用显示数据101b不同于图6所示的红色栅栏型不可停放空间识别用显示数据101。
注意,图10所示的红色栅栏型不可停放空间识别用显示数据101b的透明度的设定是越朝向下侧(车辆接地面侧)透明度越高且越朝向上侧透明度越低的设定。也就是说,红色栅栏型不可停放空间识别用显示数据101b是具有越朝向上侧红色变得越清晰的设定的红色半透明栅栏型三维图形数据(虚拟对象)。
该不可停放空间识别用显示数据101b被显示为以一定角度立在因为停车场的停放分区中已经存在车辆而被判定为车辆不可停放空间的停放分区的前方。
另一方面,图10所示的蓝色平面型可停放空间识别用显示数据102越朝向停放区域的前侧(停放出入口侧)透明度越高,且越朝向停放区域的后侧透明度越低。也就是说,蓝色平面型可停放空间识别用显示数据102是具有越朝向停放区域的后侧蓝色变得越清晰的设定的平面型图形数据(虚拟对象)。这是类似于上面参照图6所述的可停放空间识别用显示数据102的图形数据。
注意,这两种类型的图形数据,即,红色栅栏型不可停放空间识别用显示数据101b和蓝色平面型可停放空间识别用显示数据102被显示为设置在停放分区的前方线上,即,当停放车辆时作为入口的停车分区的前方线上。
此外,将参照图11说明图形数据的变形例。图11与上述图6类似,是示出在构造在车辆10的前面板上的显示单元50上显示的数据示例的图。
此外,图11所示的显示数据与上述图6类似,是在由设置在车辆10中的相机拍摄的实际图像上显示两种类型的图形数据(虚拟对象)的显示数据,这两种类型的图形数据是不可停放空间识别用显示数据101c和可停放空间识别用显示数据102。
针对车辆已经停放在其中的不可停放空间显示红色箱型显示数据作为不可停放空间识别用显示数据101c。显示红色箱型显示数据的不可停放空间识别用显示数据101c是具有从车辆接地面向上延伸的向上延伸面的红色箱型显示数据。此外,针对其中没有停放车辆的可停放空间显示与车辆接地面平行的蓝色显示数据,即,可停放空间识别用显示数据102。
图11所示的不可停放空间识别用显示数据101c不具有参照图6和图10所述的栅栏型形状,而是具有包含整个停放车辆的形状的箱型形状。
注意,图11所示的红色箱型不可停放空间识别用显示数据101c的透明度设定是越朝向下侧(车辆接地面侧)透明度越高且越朝向上侧透明度越低的设定。也就是说,红色箱型不可停放空间识别用显示数据101c是具有越朝向上侧红色变得越清晰的设定的红色半透明箱型三维图形数据(虚拟对象)。
该不可停放空间识别用显示数据101c被显示为包括因为停车场的停放分区中已经存在车辆而被判定为车辆不可停放空间的整个停放分区的箱体。
另一方面,图11所示的蓝色平面型可停放空间识别用显示数据102越朝向停放区域的前侧(停放出入口侧)透明度越高,且越朝向停放区域的后侧透明度越低。也就是说,蓝色平面型可停放空间识别用显示数据102是具有越朝向停放区域的后侧蓝色变得越清晰的设定的平面型图形数据(虚拟对象)。这是与上面参照图6所述的可停放空间识别用显示数据102类似的图形数据。
注意,这两种类型的图形数据,即,红色箱型不可停放空间识别用显示数据101c和蓝色平面型可停放空间识别用显示数据102被显示为设置在停放分区的前方线上,即,当停放车辆时作为入口的停放分区的前方线上。
将参照图12和随后的图说明可以被用作不可停放空间识别用显示数据或可停放空间识别用显示数据的图形数据的示例。
图12是汇总说明参照图6、图10和图11所述的三种类型的不可停放空间识别用显示数据101的图。示出了以下三种类型的图像(图形数据):(a)红色直立栅栏图像;(b)红色倾斜栅栏图像;和(c)红色箱体图像。例如,作为不可停放空间识别用显示数据101,可以使用这三种类型的图像中的一种。
注意,对于(a)至(c)图像中的每个,透明度被设定为使得透明度越朝向接地面侧越高,并且透明度越朝向接地面的上侧越低。也就是说,越朝向接地面的上侧输出的红色越强。注意,尽管在该示例中设定了红色,但这只是一个示例,并且可以设定其他颜色。此外,可以使用添加了图案或纹理的图形数据。
图13是示出与图12中的显示数据不同的不可停放空间识别用显示数据101的示例的图。示出了以下三种类型的图像(图形数据):(a)红色直立栅栏图像;(b)红色倾斜栅栏图像;和(c)红色箱体图像。
图13所示的三个不可停放空间识别用显示数据101的图形数据是其中透明度的设定与图12所示的示例中的透明度的设定相反的图形数据。也就是说,对于(a)至(c)图像中的每个,透明度被设定为使得透明度越朝向接地面侧越低,并且透明度越朝向接地面的上侧越高。也就是说,越朝向接地面输出的红色越强。注意,尽管在该示例中设定了红色,但这只是一个示例,并且可以设定其他颜色。此外,可以使用添加了图案或纹理的图形数据。
图14是示出不可停放空间识别用显示数据101的另一示例的图。示出了以下三种类型的图像(图形数据):(a)红色直立栅栏图像;(b)红色倾斜栅栏图像;和(c)红色箱体图像。
图14所示的三个不可停放空间识别用显示数据101的图形数据是其中透明度被设定为在整个栅栏或整个箱体中是均匀的图形数据。也就是说,对于(a)至(c)图像中的每个,透明度被设定为从接地面到上侧是均匀的。同样,均匀地输出红色。注意,尽管在该示例中设定了红色,但这只是一个示例,并且可以设定其他颜色。此外,可以使用添加了图案或纹理的图形数据。
图15是示出不可停放空间识别用显示数据101的另一示例的图。示出了以下三种类型的图像(图形数据):(a)红色直立栅栏图像;(b)红色倾斜栅栏图像;和(c)红色箱体图像。
图15所示的三个不可停放空间识别用显示数据101的图形数据是其中透明度被设定为零的图形数据,即,整个栅栏或整个箱体被设定为不透明的。也就是说,对于(a)至(c)图像中的每个,从接地面到上侧输出不透明的红色。注意,尽管在该示例中设定了红色,但这只是一个示例,并且可以设定其他颜色。此外,可以使用添加了图案或纹理的图形数据。
图16是示出不可停放空间识别用显示数据101的另一示例的图。示出了以下三种类型的图像(图形数据):(a)红色直立栅栏图像;(b)红色倾斜栅栏图像;和(c)红色箱体图像。
图16所示的三个不可停放空间识别用显示数据101的图形数据是具有包括栅栏或箱体的设定的图形数据,在该栅栏或箱体中,只有边框是红色的,除边框以外的其他表面是透明的。注意,尽管在该示例中,红色被设定为边框颜色,但这只是一个示例,并且可以设定其他颜色。此外,可以使用添加了图案或纹理的图形数据。
接下来,将参照图17说明可停放空间识别用显示数据102的图形数据的示例。
在上述图6、图10和图11中,已经说明了其中将与可停放空间的停车平面平行的蓝色平面图像输出为可停放空间识别用显示数据102的图形数据的示例。
同样,可停放空间识别用显示数据102不限于这样的平面图像,并且可以使用其他图形数据。作为可停放空间识别用显示数据102的示例,图17中示出了以下三种类型的图像(图形数据):(a)蓝色平面图像;(b)蓝色栅栏图像(直立或倾斜);和(c)蓝色箱体图像。作为可停放空间识别用显示数据102,例如,可以使用这三种类型的图像中的一种。
(a)蓝色平面图像对应于参照图6、图10和图11所述的图形数据。也就是说,越朝向停放区域的前侧(停放出入口侧)透明度越高,并且越朝向停放区域的后侧透明度越低。也就是说,(a)蓝色平面图像是具有越朝向停放区域的后侧蓝色变得越清晰的设定的平面型图形数据(虚拟对象)。(b)和(c)图像中的每个都具有越朝向接地面侧透明度越高并且越朝向接地面的上侧透明度越低的设定。也就是说,越朝向接地面的上侧输出的蓝色越强。注意,尽管在该示例中设定了蓝色,但这只是一个示例,并且可以设定其他颜色。此外,可以使用添加了图案或纹理的图形数据。
此外,图18示出了其中参照图17所述的可停放空间识别用显示数据102的透明度设定被颠倒的示例。示出了以下三种类型的图像(图形数据):(d)蓝色平面图像;(e)蓝色栅栏图像(直立或倾斜);和(f)蓝色箱体图像。
(d)蓝色平面图像是其中参照图17所述的(a)蓝色平面图像的透明度设定被颠倒的图像。也就是说,(d)蓝色平面图像具有以下设定:越朝向停放区域的前侧(停放出入口侧),透明度越低且蓝色输出越大,并且越朝向停放区域的后侧,透明度越高且蓝色输出越小。也就是说,(d)蓝色平面图像是具有其中越朝向停放区域前方蓝色变得越清晰的设定的平面型图形数据(虚拟对象)。
(b)和(c)图像中的每个都具有越朝向接地面侧透明度越低且越朝向接地面的上侧透明度越高的设定。也就是说,越朝向接地面输出的蓝色越强。注意,尽管在该示例中设定了蓝色,但这只是一个示例,并且可以设定其他颜色。此外,可以使用添加了图案或纹理的图形数据。
被描述为不可停放空间识别用显示数据101的具体例的图14至图16的每个变形例也可以用于可停放空间识别用显示数据102。也就是说,以下变形例是可能的。
(1)参照图14所述的设定,其中整个面是半透明的,并具有均匀的透明度(该设定可以应用于图17中的(a)平面类型、图17中的(b)栅栏类型和图17中的(c)箱体类型的所有类型)。
(2)参照图15所述的设定,其中整个面是不透明的(该设定可以应用于图17中的(a)平面类型、图17中的(b)栅栏类型和图17中的(c)箱体类型的所有类型)。
(3)参照图16所述的设定,其中内部区域是透明的,并设置有彩色边框(该设定可以应用于图17中的(a)平面类型、图17中的(b)栅栏类型和图17中的(c)箱体类型的所有类型)。
注意,如上所述,根据本公开实施方案的车辆10的信息处理装置基于安装在车辆10上的传感器的检测信息或从诸如停车场管理服务器等外部装置接收的信息,分析停车场20中的每个停放空间是可停放的还是不可停放的。然而,在这些信息不清楚的情况下,例如,在某些情况下,基于安装在车辆10上的传感器的检测信息不能清楚地判定停放分区中是否存在车辆。在这种情况下,信息处理装置生成显示数据,并将该显示数据呈现给驾驶员(用户),该显示数据是通过将可否停放不明空间专有的图形数据叠加在由相机拍摄的实际图像中包括的停放分区上来获得的,在可否停放不明空间中不知道其是可停放的还是不可停放的。
可否停放不明空间的图形数据需要是与不可停放空间识别用显示数据101和可停放空间识别用显示数据102不同的数据。将参照图19说明可否停放不明空间识别用显示数据的图形数据的示例。
作为可否停放不明空间识别用显示数据的示例,图19中示出了以下三种类型的图像(图形数据):(a)黄色平面图像;(b)黄色栅栏图像(直立或倾斜);和(c)黄色箱体图像。作为可否停放不明空间识别用显示数据,例如,可以使用这三种类型的图像中的一种。
(a)黄色平面图像越朝向停放区域的前侧(停放出入口侧)透明度越高,并且越朝向停放区域的后侧透明度越低。也就是说,(a)黄色平面图像是具有越朝向停放区域的后侧蓝色变得越清晰的设定的平面型图形数据(虚拟对象)。(b)和(c)图像中的每个都具有越朝向接地面侧透明度越高并且越朝向接地面的上侧透明度越低的设定。也就是说,越朝向接地面的上侧输出的黄色越强。注意,尽管在该示例中设定了黄色,但这只是一个示例,并且可以设定其他颜色。此外,可以使用添加了图案或纹理的图形数据。
此外,图20示出了其中参照图19所述的可否停放不明空间识别用显示数据的透明度的设定被颠倒的示例。示出了以下三种类型的图像(图形数据):(d)黄色平面图像;(e)黄色栅栏图像(直立或倾斜);和(f)黄色箱体图像。
(d)黄色平面图像是其中参照图19所述的(a)黄色平面图像的透明度设定被颠倒的图像。也就是说,(d)黄色平面图像具有以下设定:越朝向停放区域的前侧(停放出入口侧),透明度越低且黄色输出越大,并且越朝向停放区域的后侧,透明度越高且黄色输出越小。也就是说,(d)黄色平面图像是具有越朝向停放区域的前侧黄色变得越清晰的设定的平面型图形数据(虚拟对象)。
(b)和(c)图像中的每个都具有越朝向接地面侧透明度越低并且越朝向接地面的上侧透明度越高的设定。也就是说,越朝向接地面输出的黄色越强。注意,尽管在该示例中设定了黄色,但这只是一个示例,并且可以设定其他颜色。此外,可以使用添加了图案或纹理的图形数据。
被描述为不可停放空间识别用显示数据101的具体例的图14至图16的每个变形例也可以用于可否停放不明空间识别用显示数据。也就是说,以下变形例是可能的。
(1)参照图14所述的设定,其中整个面是半透明的并具有均匀的透明度(该设定可以应用于图19中的(a)平面类型、图10中的(b)栅栏类型和图19中的(c)箱体类型的所有类型)。
(2)参照图15所述的设定,其中整个面是不透明的(该设定可以应用于图19中的(a)平面类型、图10中的(b)栅栏类型和图19中的(c)箱体类型的所有类型)。
(3)参照图16所述的设定,其中内部区域是透明的,并设置有彩色边框(此设定可以应用于图19中的所有(a)平面类型、图10中的(b)栅栏类型和图19中的(c)箱体类型)。
注意,不可停放空间识别用显示数据101、可停放空间识别用显示数据102和可否停放不明空间识别用显示数据是具有不同的显示特性的显示数据。例如,这些显示数据具有不同的颜色或不同的图案。
根据本公开实施方案的不可停放空间识别用显示数据、可停放空间识别用显示数据和可否停放不明空间识别用显示数据不仅可以应用于停车场,而且还可以应用于例如道路上的停放空间并被显示。
图21是示出在道路上行驶的车辆10的显示单元50上显示的显示数据的示例的图。在车辆10行驶在其上的道路的两侧设置有停放分区。在停放分区未被其他车辆占用的情况下,车辆可以被停放在该停放分区中。
安装于在道路上行驶的车辆10上的根据本公开实施方案的信息处理装置通过相机拍摄车辆10行驶在其上的道路前方的状态的图像,生成通过将上述不可停放空间识别用显示数据、可停放空间识别用显示数据或可否停放不明空间识别用显示数据叠加在捕获图像上而获得的AR图像,并在显示单元上显示AR图像。该显示数据的示例是图21所示的显示数据。
注意,根据本公开实施方案的信息处理装置基于安装在车辆10上的传感器的检测信息或从诸如道路管理服务器等外部装置接收的信息,分析道路上的每个停车空间是可停放的还是不可停放的。此外,根据本公开实施方案的信息处理装置基于该分析处理的结果生成用于向作为车辆驾驶员的用户简单地呈现车辆的可停放空间的显示数据,并在显示数据上显示该显示数据。该显示数据的示例是图21所示的显示数据。
图21所示的显示数据针对其他车辆已经停放在其中的停放分区显示作为不可停放空间识别用显示数据101的红色箱体图像(图形数据),并针对其中未停放其他车辆的停放分区显示作为可停放空间识别用显示数据102的蓝平面图像(图形信息)。
在道路上行驶的车辆10的驾驶员(用户)可以通过查看显示单元50上显示的图像,即,图21所示的图像立即可靠地找到可停放位置,并可以平稳地停放车辆。
<4.关于由根据本公开实施方案的信息处理装置执行的处理序列>
接下来,将说明由根据本公开实施方案的信息处理装置执行的处理序列。
图22是说明由安装在车辆10上的根据本公开实施方案的信息处理装置执行的处理序列的示例的流程图。图22所示的流程图是在根据本公开实施方案的信息处理装置的数据处理单元的控制下执行的。根据本公开实施方案的信息处理装置包括诸如CPU等具有程序执行功能的数据处理单元,并且数据处理单元根据存储在信息处理装置中的存储单元中的程序执行根据图22所示流程的处理。将说明图22所示的流程图的各步骤的处理。
(步骤S101)
首先,在步骤S101中,安装在车辆10上的信息处理装置的数据处理单元判定是否已经输入了可停放空间搜索处理开始指令。
例如,该可停放空间搜索处理开始指令是由车辆10的驾驶员(用户)输入的。注意,在车辆10是自动驾驶车辆并且停车场被设定为目的地的情况下,自动驾驶控制单元可以向数据处理单元输出可停放空间搜索处理开始指令,以代替用户输入。
在步骤S101中,在判定已经输入了可停放空间搜索处理开始指令的情况下,处理进行到步骤S102。
(步骤S102)
在步骤S101中判定已经输入了可停放空间搜索处理开始指令的情况下,数据处理单元在步骤S102中开始可停放空间的搜索处理。
(步骤S103)
接下来,在步骤S103中,数据处理单元执行基于设置在车辆10中的传感器的检测信息和从诸如停车场管理服务器等外部装置输入的信息中的至少一个来判定每个停放分区是可停放空间还是不可停放空间的处理。然而,在检测到可否停放不明区域的情况下,该区域被判定为可否停放不明空间。
(步骤S104)
接下来,在步骤S104中,数据处理单元使用步骤S103中的判定处理的结果来生成显示数据,并将该显示数据输出到显示单元,该显示数据使得能够识别(a)可停放空间、(b)不可停放空间和(c)可否停放不明空间中的每个的状态。
例如,生成作为通过将参照图6至图21所述的不可停放空间识别用显示数据101、可停放空间识别用显示数据102和可否停放不明空间识别用显示数据这三种类型的图形数据(虚拟对象)叠加在停车场或道路的实际图像上而获得的增强现实图像的增强现实(AR:Augmented Reality)图像,并将其显示在显示单元上。
(步骤S105)
接下来,在步骤S105中,数据处理单元判定是否存在来自作为驾驶员的用户的目标停放空间的指定输入。
注意,在车辆10是自动驾驶车辆并且停车场被设定为目的地的情况下,由自动驾驶控制单元根据预定算法判定的目标停放空间可以被输入到数据处理单元,以代替用户输入。在这种情况下,在步骤S105中,数据处理单元可以判定存在来自自动驾驶控制单元的输入。
在步骤S105中已经检测到目标停放空间的指定输入的情况下,处理进入到步骤S106。另一方面,在步骤S105中未检测到目标停放空间的指定输入的情况下,处理进行到步骤S107。
(步骤S106)
在步骤S105中已经检测到目标停放空间的指定输入的情况下,数据处理单元将由用户(或自动驾驶控制单元)指定的停放空间设定为停放目标位置,并在步骤S106中开始用于停放在停放目标位置处的自动停放行驶。
(步骤S107)
另一方面,在步骤S105中未检测到目标停放空间的指定输入的情况下,数据处理单元在步骤S107中判定是否经过了预定时间。在判定没有经过预定时间的情况下,数据处理单元待机。另一方面,在判定经过了预定时间的情况下,处理进行到步骤S108。
(步骤S108)
在步骤S107中判定经过了预定时间的情况下,数据处理单元在步骤S108中将最接近车辆10的当前位置的可停放空间设定为停放目标位置,并开始用于停放在设定的停放目标位置处的自动停放行驶。
(步骤S109)
在步骤S106或步骤S108中的处理之后,即,用于停放在停放目标位置处的自动停放行驶之后,数据处理单元在步骤S109中判定是否成功停放在目标停放位置处。
在停放已经成功的情况下,处理进行到步骤S110。另一方面,在停放未成功的情况下,处理返回到步骤S103,并且数据处理单元再次执行基于设置在车辆10中的传感器的检测信息和从诸如停车场管理服务器等外部装置输入的信息中的至少一个来判定每个停放分区是可停放空间还是不可停放空间的处理。
注意,例如,在步骤S109中停放未成功的情况是另一车辆先进入目标停放位置的情况。
(步骤S110)
在步骤S109中判定已经成功停放的情况下,处理进入到步骤S110。在这种情况下,数据处理单元在步骤S110中结束自动停放行驶。
如上所述,根据本公开实施方案的信息处理装置基于设置在车辆10中的传感器的检测信息或从诸如停车场管理服务器等外部装置接收的信息来判定每个停放分区的空闲状态,即,每个停放空间是可停放的还是不可停放的,基于判定结果生成上述参照图6至图21所述的显示数据,并显示该显示数据。
也就是说,信息处理装置生成使得能够识别(a)可停放空间、(b)不可停放空间和(c)可否停放不明空间中的每个的状态的显示数据,并将该显示数据输出到显示单元。
作为用户的驾驶员可以基于该显示数据容易且可靠地识别可停放空间的位置,并从可停放空间中选择停放目标位置。此外,驾驶员可以输入关于停放目标位置的选择的信息,并使得执行用于将车辆停放在目标位置处的自动停放处理。
注意,在车辆10是不能执行自动停放行驶的车辆的情况下,用户自己可以执行用于停放在可停放空间中的驾驶。
<5.关于根据本公开实施方案的信息处理装置的构成例>
接下来,将说明根据本公开实施方案的信息处理装置的构成例。
图23是示出安装在车辆10上的根据本公开实施方案的信息处理装置150的示例的框图。如图23所示,信息处理装置150包括传感器151、通信单元(通信电路)152、停放空间分析单元(停放空间分析电路)153、显示数据生成单元(显示数据生成电路)154、显示单元155、输入单元(UI:input unit)156和自动驾驶控制单元(自动驾驶控制电路)157。
传感器151是诸如相机传感器(诸如CMOS图像传感器等)、光检测和测距(LiDAR:Light Detection and Ranging)传感器、无线电检测和测距(RADAR:Radio Detection andRanging)传感器和飞行时间(ToF:Time of Flight)传感器等传感器。注意,光检测和测距(LiDAR:Light Detection and Ranging)传感器和ToF传感器都是输出诸如激光等光、分析来自对象的反射光并测量与周围对象之间的距离的传感器。注意,RADAR传感器是传输无线电信号、分析从对象反射的无线电信号并测量与周围对象之间的距离的传感器。
传感器151的检测信息被输出到停放空间分析单元153、显示数据生成单元154和自动驾驶控制单元157。
通信单元152与诸如停车场管理服务器等外部装置或诸如道路管理服务器等外部装置进行通信,从这些外部装置接收关于各停放分区是否可停放的信息,并将接收到的信息输出到停放空间分析单元153。
停放空间分析单元153输入来自传感器151的传感器检测信息。此外,停放空间分析单元153经由通信单元152输入从外部装置接收的信息。停放空间分析单元153使用输入的信息来分析停车场或道路上的每个停放分区是否是可停放的。也就是说,停放空间分析单元153判定停车场或道路上的每个停放分区是可停放空间、不可停放空间还是可否停放不明空间。
注意,停放空间分析单元153使用从传感器151输入的传感器检测信息和经由通信单元152从外部装置输入的接收信息中的一个或这两个信息来判定停车场或道路上的每个停放分区是可停放空间、不可停放空间还是可否停放不明空间。
由停放空间分析单元153分析的每个停放分区的可否停放信息被输出到显示数据生成单元154和自动驾驶控制单元157。
显示数据生成单元154基于由停放空间分析单元153分析的每个停放分区的可否停放信息生成将被显示在显示单元155上的显示数据。
显示数据生成单元154生成通过将不可停放空间识别用显示数据、可停放空间识别用显示数据和可否停放不明空间识别用显示数据这三种类型的图形数据(虚拟对象)叠加在由构成传感器151的相机拍摄的实际图像上而获得的显示数据。也就是说,显示数据生成单元154生成作为其中现实对象和虚拟对象混合的增强现实图像的增强现实(AR:Augmented Reality)图像,并将该AR图像显示在显示单元155上。
例如,由显示数据生成单元154生成的显示数据是通过将上述参照图6至图21所述的不可停放空间识别用显示数据、可停放空间识别用显示数据和可否停放不明空间识别用显示数据这三种类型的图形数据(虚拟对象)叠加在由相机拍摄的图像上而获得的AR图像。显示单元155显示由显示数据生成单元154生成的AR图像。
试图停放车辆的用户(驾驶员)可以通过查看显示在车辆的显示单元155上的显示数据的图形数据来检查可停放空间。
例如,使得能够容易且可靠地确定针对其显示红色栅栏型不可停放空间识别用显示数据的区域是不可停放空间,并且针对其显示蓝色平面型可停放空间识别用显示数据的区域是可停放空间。
例如,输入单元(UI)156是由作为用户的驾驶员将要使用的UI,以执行输入开始可停放空间的搜索处理的指令的处理和输入关于目标停放位置的选择的信息的处理。输入单元(UI)156可以包括被构造在显示单元155上的触摸面板。
输入单元(UI)156的输入信息被输入到停放空间分析单元153和自动驾驶控制单元157。例如,停放空间分析单元153响应于从输入单元(UI)156输入的开始可停放空间的搜索处理的指令而开始可停放空间的搜索处理。例如,自动驾驶控制单元157根据从输入单元(UI)156输入的关于目标停放位置的选择的信息在目标停放位置处执行自动停放。
自动驾驶控制单元157执行车辆的自动驾驶。如上所述,在已经从输入单元(UI)156输入了关于目标停放位置的选择的信息的情况下,自动驾驶控制单元157执行用于自动停放在目标停放位置处的行驶控制。注意,在目标停放位置处的自动停放失败的情况下,失败信息被通知给停放空间分析单元153,并且停放空间分析单元153响应于该通知再次执行停放空间分析处理。
<6.关于根据本公开实施方案的信息处理装置的硬件构成例>
接下来,将参照图24说明根据本公开实施方案的信息处理装置的硬件构成例。注意,信息处理装置被安装在车辆10中。图24所示的硬件构成是车辆10中的信息处理装置的硬件构成例。将说明图24所示的硬件构成。
中央处理单元(CPU:Central Processing Unit)301用作根据存储在只读存储器(ROM:Read Only Memory)302或存储单元308中的程序执行各种类型的处理的数据处理单元。例如,CPU 301根据上述实施例中所述的顺序执行处理。随机存取存储器(RAM:RandomAccess Memory)303存储将要由CPU 301执行的程序、数据等。CPU 301、ROM 302和RAM 303经由总线304彼此连接。
CPU 301经由总线304连接到输入/输出接口305,并且输入单元306和输出单元307被连接到输入/输出接口305,输入单元306包括各种开关、触摸面板、麦克风、用户输入单元、诸如相机传感器和LiDAR传感器等各种传感器321的状况数据获取单元等,输出单元307包括显示器、扬声器等。此外,输出单元307还向车辆的驱动单元322输出驱动信息。
CPU 301输入从输入单元306输入的命令、状况数据等,执行各种类型的处理,并将处理结果输出到例如输出单元307。连接到输入/输出接口305的存储单元308包括硬盘等,并存储将要由CPU 301执行的程序和各种类型的数据。通信单元309用作经由诸如因特网和局域网等网络的数据通信的发送/接收单元,并与外部装置通信。此外,除了CPU之外,图形处理单元(GPU:Graphics Processing Unit)还可以被设置为用于从相机输入的图像信息的专用处理单元。
连接到输入/输出接口305的驱动器310驱动诸如磁盘、光盘、磁光盘和诸如存储卡等半导体存储器等可移动介质311,并记录或读取数据。
<7.关于车辆的构成例>
接下来,将说明其中安装有根据本公开实施方案的信息处理装置的车辆的构成例。
图25是示出其中安装有根据本公开实施方案的信息处理装置的车辆500的车辆控制系统511的构成例的框图。
车辆控制系统511被设置在车辆500中,并执行与车辆500的驾驶支持和自动驾驶有关的处理。
车辆控制系统511包括车辆控制电子控制单元(ECU:Electronic Control Unit)521、通信单元522、地图信息累积单元523、全球导航卫星系统(GNSS:Global NavigationSatellite System)接收单元524、外部识别传感器525、车载传感器526、车辆传感器527、存储单元528、驾驶支持/自动驾驶控制单元529、驾驶员监控系统(DMS:Driver MonitoringSystem)530、人机接口(HMI:Human Machine Interface)531和车辆控制单元532。
车辆控制电子控制单元(ECU:Electronic Control Unit)521、通信单元522、地图信息累积单元523、GNSS接收单元524、外部识别传感器525、车载传感器526、车辆传感器527、存储单元528、驾驶支持/自动驾驶控制单元529、驾驶员监控系统(DMS)530、人机接口(HMI)531和车辆控制单元532经由通信网络41彼此可通信地连接。通信网络241包括遵循诸如控制器局域网(CAN:Controller Area Network)、本地互联网络(LIN:LocalInterconnect Network)、局域网(LAN:Local Area Network)、FlexRay(注册商标)和以太网(注册商标)等数字双向通信标准的车载通信网络、总线等。通信网络241可以根据将要通信的数据类型而被适当地使用。例如,CAN被应用于与车辆控制相关的数据,并且以太网被应用于大容量数据。注意,在某些情况下,车辆控制系统511的各个单元使用诸如近距离无线通信(NFC:near field communication)和蓝牙(注册商标)等假定相对短距离通信的无线通信彼此直接连接,而无需通信网络241。
注意,在下文中,在车辆控制系统511的各个单元经由通信网络241彼此通信的情况下,将省略对通信网络241的说明。例如,在车辆控制电子控制单元(ECU:ElectronicControl Unit)521和通信单元522经由通信网络241彼此通信的情况下,描述了处理器和通信单元522彼此通信。
车辆控制电子控制单元(ECU:Electronic Control Unit)521包括诸如中央处理单元(CPU:Central Processing Unit)和微处理单元(MPU:MicroProcessing Unit)等各种处理器。车辆控制电子控制单元(ECU:Electronic Control Unit)521控制整个车辆控制系统511或其一部分的功能。
通信单元522与车辆内外的各种设备、其他车辆、服务器、基站等进行通信,发送/接收各种类型的数据。此时,通信单元522能够使用多种通信方法来执行通信。
将示意性地说明可以由通信单元522执行的与外部的通信。通信单元522通过诸如第五代移动通信系统(5G:5th generation mobile communication system)、长期演进(LTE:Long Term Evolution)和专用短程通信(DSRC:Dedicated Short RangeCommunication)等无线通信方法经由基站或接入点与存在于外部网络上的服务器(在下文中,被称为外部服务器)等进行通信。例如,通信单元522与之通信的外部网络是因特网、云网络或商业运营商特有的网络。通信单元522与外部网络进行通信的通信方法没有特别限制,只要其是能够以预定通信速度以上的通信速度和预定距离以上的距离执行数字双向通信的无线通信方法即可。
此外,例如,通信单元522能够使用点对点(P2P:Peer To Peer)技术与存在于本车辆附近的终端进行通信。例如,存在于本车辆附近的终端是由诸如行人和自行车等以相对较低的速移动的移动体所佩戴的终端、安装在商店等中的固定位置处的终端或者机器类型通信(MTC:Machine Type Communication)终端。此外,通信单元522能够执行V2X通信。V2X通信是本车辆与其他之间的通信,诸如与另一车辆的车辆对车辆通信、与路边设备等的车辆对基础设施通信、与家庭的车辆对家庭通信和与行人所拥有的终端的车辆对行人通信等。
通信单元522能够例如通过无线电波(Over The Air)从外部接收用于更新控制车辆控制系统511的操作的软件的程序。通信单元522能够进一步从外部接收地图信息、交通信息、车辆500周围的信息等。此外,例如,通信单元522能够向外部发送与车辆500有关的信息或车辆500周围的信息。由通信单元522向外部发送的与车辆500有关的信息的示例包括指示车辆500的状态的数据和识别单元573的识别结果。此外,例如,通信单元522执行与诸如紧急呼叫(ecall)等车辆紧急呼叫系统相对应的通信。
将示意性地说明可以由通信单元522执行的车载通信。例如,通信单元522能够使用无线通信与车辆中的每个设备进行通信。通信单元522能够通过诸如无线LAN、蓝牙、NFC和WUSB(无线USB)等无线通信通过能够以预定通信速度以上的通信速度执行数字双向通信的通信方法来执行与车辆中的设备的无线通信。本公开不限于此,并且通信单元522能够使用有线通信与车辆中的每个设备进行通信。例如,通信单元522能够经由连接到连接端子(未示出)的电缆通过有线通信与车辆中的每个设备进行通信。通信单元522能够通过诸如通用串行总线(USB:Universal Serial Bus)、高清多媒体接口(HDMI(注册商标):High-Definition Multimedia Interface)和移动高清链路(MHL:Mobile High-definitionLink)等有线通信通过能够以预定通信速度以上的通信速度执行数字双向通信的通信方法来与车辆中的每个设备进行通信。
注意,例如,车辆中的设备表示未连接到车辆中的通信网络241的设备。作为车辆中的设备,例如,假设由诸如驾驶员等乘员所拥有的移动设备或可穿戴设备、带入车辆并临时安装的信息设备等。
例如,通信单元522接收由包括无线电波信标、光信标和FM多路广播的车辆信息和通信系统(VICS(注册商标):Vehicle Information and Communication System)发送的电磁波。
地图信息累积单元523累积从外部获取的地图和由车辆500创建的地图中的一者或两者。例如,地图信息累积单元523累积三维高精度地图、精度低于高精度地图但覆盖更宽区域的全域地图等。
例如,高精度地图是动态地图、点云地图或矢量地图。例如,动态地图是包括动态信息、准动态信息、准静态信息和静态信息这四层的地图,并从外部服务器等提供给车辆500。点云地图是包括点云(点云数据)的地图。注意,矢量地图是指遵循高级驾驶员辅助系统(ADAS:Advanced Driver Assistance System)的地图,其中诸如车道和交通信号灯的位置等交通信息与点云地图相关联。
例如,点云地图和矢量地图可以从外部服务器提供,或者可以由车辆500基于雷达552、LiDAR 553等的感测结果来创建,作为用于与下面说明的局部地图相匹配的地图,并被累积在地图信息累积单元523中。此外,在从外部服务器等提供高精度地图的情况下,例如,从外部服务器等获取与车辆500将行驶的规划路线有关的数百平方米的地图数据,以便减少通信容量。
GNSS接收单元524从GNSS卫星接收GNSS信号,并获取车辆500的位置信息。接收到的GNSS信号被提供给驾驶支持/自动驾驶控制单元529。注意,GNSS接收单元524不一定使用利用GNSS信号的方法,并且可以使用信标来获取位置信息。
外部识别传感器525包括用于识别车辆500的外部状况的各种传感器,并将来自各传感器的传感器数据提供给车辆控制系统511的各个单元。外部识别传感器525中包括的传感器的类型和数量是任意的。
例如,外部识别传感器525包括相机551、雷达552、LiDAR(Light Detection andRanging(光检测和测距)、Laser Imaging Detection and Ranging)553和超声波传感器554。本公开不限于此,并且外部识别传感器525可以包括相机551、雷达552、LiDAR 553和超声波传感器554中的一个或多个传感器。相机551、雷达552、LiDAR 553和超声波传感器554的数量没有特别限制,只要它们能够实际安装在车辆500中即可。此外,外部识别传感器525中包括的传感器的类型不限于该示例,并且外部识别传感器525可以包括其他类型的传感器。下面将说明包括在外部识别传感器525中的各传感器的感测区域的示例。
注意,相机551的摄像方法没有特别限制,只要可以执行距离测量即可。例如,作为相机551,可以根据需要应用诸如飞行时间(ToF:Time of Flight)相机、立体相机、单眼相机和红外相机等各种摄像方法的相机。本公开不限于此,并且相机551不一定执行距离测量,并可以简单地用于获取捕获的图像。
此外,例如,外部识别传感器525可以包括用于检测车辆500的环境的环境传感器。环境传感器是用于检测包括天气、气候和亮度的环境的传感器,并可以包括诸如雨滴传感器、雾传感器、阳光传感器、雪传感器和照度传感器等各种传感器。
此外,例如,外部识别传感器525包括麦克风,该麦克风用于例如检测车辆500周围的声音和声源的位置。
车载传感器526包括用于检测车载信息的各种传感器,并将来自各传感器的传感器数据提供给车辆控制系统511的各个单元。车载传感器526中包括的各种传感器的类型和数量没有特别限制,只要它们能够实际安装在车辆500中即可。
例如,车载传感器526可以包括相机、雷达、座位传感器、方向盘传感器、麦克风和生物传感器中的一个或多个传感器。作为车载传感器526中包括的相机,例如,可以使用诸如ToF相机、立体相机、单眼相机和红外相机等能够执行距离测量的各种摄像方法的相机。本公开不限于此,并且车载传感器526中包括的相机不一定执行距离测量,并且可以简单地用于获取捕获的图像。例如,车载传感器526中包括的生物传感器被设置在座椅或方向盘上,并检测诸如驾驶员等乘员的各种类型的生物信息。
车辆传感器527包括用于检测车辆500的状态的各种传感器,并将来自各传感器的传感器数据提供给车辆控制系统511的各个单元。车辆传感器527中包括的各种传感器的类型和数量没有特别限制,只要它们能够实际安装在车辆500中即可。
例如,车辆传感器527包括速度传感器、加速度传感器、角速度传感器(陀螺仪传感器)和集成它们的惯性测量单元(IMU:inertial measurement unit)。例如,车辆传感器527包括检测方向盘的转向角的转向角传感器、横摆角速度传感器、检测油门踏板的操作量的油门传感器和检测制动踏板的操作量的制动传感器。例如,车辆传感器527包括检测发动机或电动机的RPM的旋转传感器、检测轮胎压力的气动传感器、检测轮胎的滑移率的滑移率传感器和检测车轮的转速的轮速传感器。例如,车辆传感器527包括检测电池的剩余量和温度的电池传感器和检测来自外部的冲击的冲击传感器。
存储单元528包括非易失性存储介质或易失性存储介质中的至少一个,并存储数据和程序。例如,存储单元528被用作电可擦除可编程只读存储器(EEPROM:ElectricallyErasable Programmable Read Only Memory)和随机存取存储器(RAM:Random AccessMemory)。作为存储介质,可以应用诸如硬盘驱动器(HDD:Hard Disc Drive)、半导体存储设备、光学存储设备和磁性光学存储设备等磁性存储设备。存储单元528记录由车辆控制系统511的各个单元使用的各种程序和数据。例如,存储单元528包括事件数据记录器(EDR:Event Data Recorder)和用于自动驾驶的数据存储系统(DSSAD:Data Storage Systemfor Automated Driving),并记录诸如事故等事件前后的关于车辆500的信息以及由车载传感器526获取的生物信息。
驾驶支持/自动驾驶控制单元529控制车辆500的驾驶支持和自动驾驶。例如,驾驶支持/自动驾驶控制单元529包括分析单元561、行动规划单元562和操作控制单元563。
分析单元561执行分析车辆500和周围状况的处理。分析单元561包括自身位置估计单元571、传感器融合单元572和识别单元573。
自身位置估计单元571基于来自外部识别传感器525的传感器数据和累积在地图信息累积单元523中的高精度地图来估计车辆500的自身位置。例如,自身位置估计单元571基于来自外部识别传感器525的传感器数据生成局部地图,并将局部地图与高精度地图相匹配,以估计车辆500的自身位置。例如,车辆500的位置基于后轮到车轴的中心。
例如,局部地图是使用诸如即时定位与地图构建(SLAM:SimultaneousLocalization and Mapping)等技术创建的三维高精度地图或占有格子地图。例如,三维高精度地图是上述点云地图。占有格子地图是通过将车辆500周围的三维或二维空间划分为预定大小的格子而获得的地图,并以格子为单位示出物体的占用状态。例如,物体的占用状态通过物体的存在或不存在或存在的概率来表示。例如,识别单元573还使用局部地图来检测和识别车辆500的外部状况。
注意,自身位置估计单元571可以基于GNSS信号和来自车辆传感器527的传感器数据来估计车辆500的自身位置。
传感器融合单元572通过组合多种不同类型的传感器数据(例如,从相机551提供的图像数据和从雷达552提供的传感器数据)来执行获取新信息的传感器融合处理。组合不同类型的传感器数据的方法的示例包括集成、融合和关联。
识别单元573执行检测车辆500的外部状况的检测处理和识别车辆500的外部状况的识别处理。
例如,识别单元573基于来自外部识别传感器525的信息、来自自身位置估计单元571的信息以及来自传感器融合单元572的信息等来执行车辆500的外部状况的检测处理和识别处理。
具体地,例如,识别单元573执行车辆500周围物体的检测处理和识别处理。例如,物体的检测处理是检测物体的存在或不存在,或者物体的大小、形状、位置和移动的处理。例如,物体的识别处理是识别诸如类型等物体的属性或识别特定物体的处理。然而,检测处理和识别处理不一定彼此清楚地分离并在某些情况下彼此重叠。
例如,识别单元573通过执行聚类来检测车辆500周围的物体,该聚类用于基于由LiDAR 553、雷达552等获取的传感器数据将点云分类为各点云块。结果,检测车辆500周围物体的存在或不存在以及物体的大小、形状和位置。
例如,识别单元573通过执行跟踪以跟踪通过聚类分类的点云块的移动来检测车辆500周围物体的移动。结果,检测车辆500周围物体的速度和行驶方向(移动矢量)。
例如,识别单元573根据从相机551提供的图像数据检测或识别车辆、人、自行车、障碍物、结构、道路、交通信号灯、交通标志、路标等。此外,可以通过执行诸如语义分割等识别处理来识别车辆500周围物体的类型。
例如,识别单元573能够基于累积在地图信息累积单元523中的地图、自身位置估计单元571对自身位置的估计结果和识别单元573对车辆500周围物体的识别结果来执行识别车辆500周围的交通规则的处理。识别单元573能够通过该处理来识别交通信号灯的位置和状态、交通标志和路标的内容、交通规则的内容、车辆能够行驶在其中的车道等。
例如,识别单元573能够执行车辆500周围环境的识别处理。作为识别单元573将要识别的周围环境,假设天气、温度、湿度、亮度、路面状态等。
行动规划单元562创建车辆500的行动规划。例如,行动规划单元562通过执行路线规划和路线跟踪的处理来创建行动规划。
注意,路线规划(Global path planning:全域路线规划)是规划从起点到目标的粗略路线的处理。该路线规划还包括被称为轨迹规划的轨迹生成(Local path planning:局部路径规划)的处理,车辆500能够在考虑车辆500的动力学特性的路线规划中规划的路线中安全且平稳地行驶通过车辆500附近的轨迹。路线规划和轨迹生成可以分别彼此区分为长期路线规划和短期路线规划或局部路线规划。安全优先路线表示类似于轨迹生成、短期路线规划或局部路线规划的概念。
路线跟踪是对在规划时间内安全且准确地在路线规划所规划的路线上行驶的操作进行规划的处理。例如,行动规划单元562能够基于路线跟踪处理的结果来计算车辆500的目标速度和目标角速度。
操作控制单元563控制车辆500的操作,以便实现由行动规划单元562创建的行动规划。
例如,操作控制单元563控制包括在下面说明的车辆控制单元532中的转向控制单元581、制动控制单元582和驱动控制单元583,以执行加速/减速控制和方向控制,使得车辆500行驶通过由轨迹规划计算出的轨迹。例如,操作控制单元563执行协调控制,以便实现诸如碰撞避免、碰撞减轻、跟车驾驶、车速保持驾驶、本车辆的碰撞警告和本车辆的车道偏离警告等ADAS的功能。例如,操作控制单元563在不需要驾驶员操作的情况下执行用于自主行驶的自动驾驶的协调控制。
DMS 530基于来自车载传感器526的传感器数据、输入到下面说明的HMI 531的输入数据等来执行驾驶员的认证处理、驾驶员状态的识别处理等。作为在这种情况下将要由DMS 530识别的驾驶员的状态,例如,假设身体状况、警觉程度、注意力集中程度、疲劳程度、视线方向、醉酒程度、驾驶操作和姿势。
注意,DMS 530可以执行除驾驶员以外的乘客的认证处理和乘客状态的识别处理。此外,例如,DMS 530可以基于来自车载传感器526的传感器数据来执行车辆中状况的识别处理。作为将要识别的车辆中的状况,例如,假设温度、湿度、亮度、气味等。
HMI 531输入各种类型的数据和指令,并向驾驶员等呈现各种类型的数据。
将示意性地说明HMI 531的数据输入。HMI 531包括用于个人输入数据的输入设备。HMI 531基于由输入设备输入的数据和指令生成输入信号,并将该输入信号提供给车辆控制系统511的各个单元。HMI 531包括作为输入设备的诸如触摸面板、按钮、开关和杆等操作件。本公开不限于此,并且HMI 531还可以包括能够通过例如语音或手势等的除手动操作以外的方法输入信息的输入设备。此外,例如,作为输入设备,HMI 531可以使用利用红外线或无线电波的远程控制设备或支持车辆控制系统511的操作的诸如可移动设备和可穿戴设备等外部连接设备。
将示意性地说明HMI 531的数据呈现。HMI 531生成针对乘客或车辆外部的视觉信息、听觉信息和触觉信息。此外,HMI 531执行控制这些生成信息的输出、输出内容、输出时序和输出方法的输出控制。HMI 531生成并输出诸如操作画面、车辆500的状态显示、警告显示和指示车辆500周围状况的监视器图像等由光指示的图像或信息作为视觉信息。此外,HMI 531生成并输出由诸如语音引导、警告声音和警告消息等声音指示的信息作为听觉信息。此外,HMI 531生成并输出通过例如力、振动或移动给到乘客的触觉的信息作为触觉信息。
作为HMI 531输出视觉信息的输出设备,例如,可以应用通过自身显示图像来呈现视觉信息的显示装置或者通过投射图像来呈现视觉信息的投影设备。注意,显示装置不一定是包括普通显示器的显示装置,并且可以是诸如平视显示器、透射显示器和具有增强现实(AR:Augmented Reality)功能的可穿戴设备等在乘客的视野内显示视觉信息的设备。此外,HMI 531可以使用包括在设置在车辆500中的导航装置、仪表面板、相机监控系统(CMS:Camera Monitoring System)、电子镜、灯等中的显示装置作为输出视觉信息的输出设备。
作为HMI 531输出听觉信息的输出设备,例如,可以应用音频扬声器、头戴式耳机或耳机。
作为HMI 531输出触觉信息的输出设备,例如,可以应用使用触觉技术的触觉设备。触觉设备被设置在诸如方向盘和座椅等车辆500的乘客触摸的部分处。
车辆控制单元532控制车辆500的各个单元。车辆控制单元532包括转向控制单元581、制动控制单元582、驱动控制单元583、车身系统控制单元584、灯控制单元585和喇叭控制单元586。
例如,转向控制单元581检测并控制车辆500的转向系统的状态。例如,转向系统具有包括方向盘等的转向机构、电动助力转向等。例如,转向控制单元581包括诸如控制转向系统的ECU、驱动转向系统的致动器等控制单元。
例如,制动控制单元582检测并控制车辆500的制动系统的状态。例如,制动系统具有包括制动踏板等的制动机构、防抱死制动系统(ABS:Antilock Brake System)、再生制动机构等。例如,制动控制单元582包括诸如ECU等控制制动系统的控制单元。
例如,驱动控制单元583检测并控制车辆500的驱动系统的状态。例如,驱动系统包括诸如油门踏板、内燃机和驱动马达等用于产生驱动力的驱动力生成装置、用于将驱动力传递到车轮的驱动力传递机构等。例如,驱动控制单元583包括诸如ECU等控制驱动系统的控制单元。
例如,车身系统控制单元584检测并控制车辆500的车身系统的状态。例如,车身系统包括无钥匙进入系统、智能钥匙系统、电动车窗装置、电动座椅、空调、安全气囊、安全带、换档杆等。例如,车身系统控制单元584包括诸如ECU等控制车身系统的控制。
灯控制单元585检测并控制车辆500的各种灯的状态。作为将要控制的灯,例如,假设前照灯、后车灯、雾灯、转向信号灯、刹车灯、投影、保险杠显示器等。灯控制单元585包括诸如ECU等控制灯的控制单元。
喇叭控制单元586检测并控制车辆500的汽车喇叭的状态。例如,喇叭控制单元586包括诸如ECU等控制汽车喇叭的控制单元。
图26是示出图25所示的外部识别传感器525的相机551、雷达552、LiDAR 553、超声波传感器554等的感测区域的示例的图。注意,在图26中,示意性地示出了从上表面观看的车辆500的状态,左端侧是车辆500的前端(前方)侧,并且右端侧是车辆500的后端(后方)侧。
感测区域591F和感测区域591B分别示出了超声波传感器554的感测区域的示例。感测区域591F通过多个超声波传感器554覆盖车辆500的前端的周边。感测区域591B通过多个超声波传感器554覆盖车辆500后端的周边。
例如,感测区域591F和感测区域591B中的感测结果被用于车辆500的停放支持。
感测区域592F至感测区域592B分别示出了短距离或中距离用雷达552的感测区域的示例。感测区域592F覆盖比车辆500前方的感测区域591F更远的位置范围。感测区域592B覆盖比车辆500后方的感测区域591B更远的位置范围。感测区域592L覆盖车辆500在左侧面上的后周边。感测区域592R覆盖车辆500在右侧面上的后周边。
例如,感测区域592F中的感测结果被用于检测存在于车辆500前方的车辆或行人。例如,感测区域592B中的感测结果被用于防止车辆500后方的碰撞的功能。例如,感测区域592L和感测区域592R中的感测结果被用于检测车辆500侧面的盲点中的物体。
感测区域593F至感测区域593B分别示出了相机551的感测区域的示例。感测区域593F覆盖比车辆500前方的感测区域592F更远的位置范围。感测区域593B覆盖比车辆500后方的感测区域592B更远的位置范围。感测区域593L覆盖车辆500在左侧面上的周边。感测区域593R覆盖车辆500在右侧面上的周边。
例如,感测区域593F中的感测结果可以被用于交通信号灯和交通标志的识别、车道偏离防止支持系统或自动前照灯控制系统。例如,感测区域593B中的感测结果可以被用于停放支持和环视系统。例如,感测区域593L和感测区域593R中的感测结果可以被用于环视系统。
感测区域594示出了LiDAR 553的感测区域的示例。感测区域594覆盖比车辆500前方的感测区域593F更远的位置范围。另一方面,感测区域594在左右方向上具有比感测区域593F更窄的范围。
例如,感测区域594中的感测结果被用于检测诸如周边车辆等物体。
感测区域595示出了长距离用雷达552的感测区域的示例。感测区域595覆盖比车辆500前方的感测区域594更远的位置范围。另一方面,感测区域595在左右方向上具有比感测区域594更窄的范围。
例如,感测区域595中的感测结果被用于自适应巡航控制(ACC:Adaptive CruiseControl)、紧急制动、碰撞避免。
注意,外部识别传感器525中包括的相机551、雷达552、LiDAR 553和超声波传感器554中的各传感器的感测区域可以具有除图26所示的构成以外的各种构成。具体地,超声波传感器554也可以感测车辆500的侧面,或者LiDAR 553可以感测车辆500的后方。此外,各传感器的安装位置不限于上述示例中的每个。此外,传感器的数量可以是一个或两个以上。
<8.本公开的构成的概述>
上面已经参照具体例详细说明了本公开的实施方案。然而,显而易见的是,本领域技术人员可以在不偏离本公开的本质的情况下对其进行变形或改变。换句话说,已经说明性地说明了本公开,并且不应当进行限制性地解释。应当考虑权利要求以确定本公开的保护范围。
注意,本说明书中公开的技术可以采用以下构成。
(1)一种信息处理装置,包括:
显示数据生成单元,其被构造为:
接收通过对车辆周围进行成像而获得的图像;
生成表示至少一个停放分区的显示数据;和
将所述显示数据叠加在所述图像上,其中,
所述显示数据包括从所述至少一个停放分区的车辆接地面延伸的向上延伸面。
(2)根据(1)所述的信息处理装置,其中,
生成的所述显示数据包括具有从所述车辆接地面延伸的所述向上延伸面的栅栏型图形数据。
(3)根据(1)所述的信息处理装置,其中,
生成的所述显示数据包括具有从所述车辆接地面延伸的所述向上延伸面的箱型图形数据。
(4)根据(1)或(2)所述的信息处理装置,其中,
所述至少一个停放分区包括不可停放空间和可停放空间,并且
生成的所述显示数据包括具有从所述不可停放空间的车辆接地面延伸的向上延伸面的栅栏型图形数据和平行于所述可停放空间的车辆接地面的平面型图形数据。
(5)根据(1)至(4)中任一项所述的信息处理装置,其中,
所述至少一个停放分区包括不可停放空间和可停放空间,并且
所述显示数据生成单元被构造为生成表示所述不可停放空间的不可停放空间识别用显示数据和表示所述可停放空间的可停放空间识别用显示数据,并且其中,
所述不可停放空间识别用显示数据具有与所述可停放空间识别用显示数据不同的至少一个显示特性。
(6)根据(5)所述的信息处理装置,其中,
所述不可停放空间识别用显示数据和所述可停放空间识别用显示数据在颜色或图案上是不同的,或者在颜色和图案上都是不同的。
(7)根据(5)或(6)所述的信息处理装置,其中,
所述不可停放空间识别用显示数据和所述可停放空间识别用显示数据被设置在公共线上。
(8)根据(5)所述的信息处理装置,其中,
所述至少一个停放分区还包括可否停放不明空间,并且
所述显示数据生成单元被构造为生成表示所述可否停放不明空间的可否停放不明空间识别用显示数据。
(9)根据(8)所述的信息处理装置,其中,
所述可否停放不明空间识别用显示数据具有与所述可停放空间识别用显示数据和所述不可停放空间识别用显示数据不同的至少一个显示特性。
(10)根据(9)所述的信息处理装置,其中,
所述可否停放不明空间识别用显示数据和所述可停放空间识别用显示数据在颜色或图案上是不同的,或者在颜色和图案上都是不同的,并且
所述可否停放不明空间识别用显示数据和所述不可停放空间识别用显示数据在颜色或图案上是不同的,或者在颜色和图案上都是不同的。
(11)根据(1)至(10)中任一项所述的信息处理装置,其中,
所述向上延伸面的透明度根据距所述车辆接地面的距离而变化。
(12)根据(11)所述的信息处理装置,其中,
所述向上延伸面的透明度随着所述距离远离所述车辆接地面而降低。
(13)根据(2)所述的信息处理装置,其中,
所述栅栏型图形数据的透明度随着距离远离所述车辆接地面而降低。
(14)根据(3)所述的信息处理装置,其中,
所述箱型图形数据的透明度随着距离远离所述车辆接地面而降低。
(15)根据(4)所述的信息处理装置,其中,
所述平面型图形数据的透明度根据距所述可停放空间的前方线的距离而变化,所述前方线表示所述可停放空间的停放出入口侧。
(16)根据(15)所述的信息处理装置,其中,
所述平面型图形数据具有第一部分和第二部分,所述第一部分被布置在所述可停放空间的所述前放线和所述第二部分之间,并且
所述第一部分的透明度低于所述第二部分的透明度。
(17)根据(1)至(16)中任一项所述的信息处理装置,还包括:
停放空间分析单元,其被构造为提供对所述至少一个停放分区中的各停放分区是否可停放的判定,并且其中,
所述显示数据生成单元被构造为基于所述停放空间分析单元的所述判定来生成所述显示数据。
(18)根据(17)所述的信息处理装置,其中,
所述停放空间分析单元被构造为基于以下中的一个或两个来生成所述判定:
安装在所述车辆上的传感器的检测信息;和
从外部装置接收的信息。
(19)一种用于向车辆的驾驶员呈现可停放空间的方法,所述方法包括:
接收通过对所述车辆周围进行成像而获得的图像;
生成表示至少一个停放分区的空间识别用显示数据,所述空间识别用显示数据包括从所述至少一个停放分区的车辆接地面延伸的向上延伸面;和
将所述显示数据叠加在所述图像上。
(20)一种装置,包括:
至少一个计算机可读存储介质,其上存储有可执行的指令;
至少一个处理器,其由所述可执行指令编程为执行包括以下动作的方法:
接收通过对车辆周围进行成像而获得的图像;
生成表示至少一个停放分区的空间识别用显示数据,所述空间识别用显示数据包括从所述至少一个停放分区的车辆接地面延伸的向上延伸面;和
将所述显示数据叠加在所述图像上。
(21)一种信息处理装置,包括:
显示数据生成单元,其生成通过将作为图形数据的可停放空间和不可停放空间中的至少一个的空间识别用显示数据叠加在通过对车辆周围进行成像而获得的图像上而获得的显示数据,其中,
所述显示数据生成单元生成通过将作为具有从车辆接地面向上延伸的向上延伸面的图形数据的可停放空间和不可停放空间中的至少一个的所述空间识别用显示数据叠加在所述图像上而获得的显示数据。
(22)一种由信息处理装置执行的信息处理方法,包括:
显示数据生成处理,通过显示数据生成单元生成通过将作为图形数据的可停放空间和不可停放空间中的至少一个的空间识别用显示数据叠加在通过对车辆周围进行成像而获得的图像上而获得的显示数据,其中,
所述显示数据生成处理包括通过所述显示数据生成单元生成通过将作为具有从车辆接地面向上延伸的向上延伸面的图形数据的可停放空间和不可停放空间中的至少一个的空间识别用显示数据叠加在所述图像上而获得的显示数据。
(23)一种使信息处理装置执行信息处理的程序,包括:
显示数据生成处理,通过显示数据生成单元生成通过将作为图形数据的可停放空间和不可停放空间中的至少一个的空间识别用显示数据叠加在通过对车辆周围进行成像而获得的图像上而获得的显示数据,其中,
所述显示数据生成处理包括通过所述显示数据生成单元生成通过将作为具有从车辆接地面向上延伸的向上延伸面的图形数据的可停放空间和不可停放空间中的至少一个的空间识别用显示数据叠加在所述图像上而获得的显示数据。
此外,说明书中所述的一系列处理可以通过硬件、软件或它们的复合构成来执行。当使用软件执行处理时,其中记录了处理序列的程序可以被安装在并入将要执行的专用硬件的计算机中的存储器上,或者该程序可以被安装到能够执行将要执行的各种处理的通用计算机上。例如,程序可以被预先记录在记录介质中。程序不一定需要从记录介质安装在计算机上,并且可以经由诸如局域网(LAN:Local Area Network)和因特网等网络来接收,并被安装在诸如内置硬盘等记录介质上。
注意,说明书中所述的各种处理不一定需要根据说明按时间顺序执行,并且可以根据执行处理的设备的处理能力或者根据需要并行地或单独地执行。此外,说明书中的系统表示多个设备的逻辑集构成,并且在某些情况下,各个构成的设备在相同的壳体中,而不一定需要在相同的壳体中。
[实用性]
如上所述,根据本公开实施例的构成,实现了使得能够生成显示数据并在显示单元上显示该显示数据的构成,该显示数据使得能够容易且可靠地识别可停放空间和不可停放空间。具体地,例如,提供了一种显示数据生成单元,其生成通过将作为图形数据的可停放空间和不可停放空间中的至少一个的空间识别用显示数据叠加在通过对车辆周围进行成像而获得的图像上而获得的显示数据。显示数据生成单元生成显示数据,在显示单元上输出该显示数据以显示该显示数据,该显示数据是通过将作为具有从车辆接地面向上延伸的向上延伸面的栅栏型图形数据或箱型图形数据的可停放空间和不可停放空间中的至少一个的空间识别用显示数据叠加在捕获的图像上而获得的。利用该构成,实现了使得能够生成显示数据并在显示单元上显示该显示数据的构成,该显示数据使得能够容易且可靠地识别可停放空间和不可停放空间。
本领域技术人员应当理解,根据设计要求和其他因素,可以进行各种变形、组合、子组合和改变,只要它们在所附权利要求或其等同物的保护范围内即可。
[附图标记列表]
10 车辆
20 停车场
50 显示单元
101不可停放空间识别用显示数据
102可停放空间识别用显示数据
150 信息处理装置
151 传感器
152 通信单元
153 停放空间分析单元
154 显示数据生成单元
155 显示单元
156输入单元(UI)
157自动驾驶控制单元
301CPU
302ROM
303RAM
304总线
305输入/输出接口
306 输入单元
307 输出单元
308 存储单元
309 通信单元
310 驱动器
311 可移动介质
321 传感器
322 驱动单元

Claims (20)

1.一种信息处理装置,包括:
显示数据生成单元,其被构造为:
接收通过对车辆周围进行成像而获得的图像;
生成表示至少一个停放分区的显示数据;和
将所述显示数据叠加在所述图像上,其中,
所述显示数据包括从所述至少一个停放分区的车辆接地面延伸的向上延伸面。
2.根据权利要求1所述的信息处理装置,其中,
生成的所述显示数据包括具有从所述车辆接地面延伸的所述向上延伸面的栅栏型图形数据。
3.根据权利要求1所述的信息处理装置,其中,
生成的所述显示数据包括具有从所述车辆接地面延伸的所述向上延伸面的箱型图形数据。
4.根据权利要求1所述的信息处理装置,其中,
所述至少一个停放分区包括不可停放空间和可停放空间,并且
生成的所述显示数据包括具有从所述不可停放空间的车辆接地面延伸的向上延伸面的栅栏型图形数据和平行于所述可停放空间的车辆接地面的平面型图形数据。
5.根据权利要求1所述的信息处理装置,其中,
所述至少一个停放分区包括不可停放空间和可停放空间,并且
所述显示数据生成单元被构造为生成表示所述不可停放空间的不可停放空间识别用显示数据和表示所述可停放空间的可停放空间识别用显示数据,并且其中,
所述不可停放空间识别用显示数据具有与所述可停放空间识别用显示数据不同的至少一个显示特性。
6.根据权利要求5所述的信息处理装置,其中,
所述不可停放空间识别用显示数据和所述可停放空间识别用显示数据在颜色或图案上是不同的,或者在颜色和图案上都是不同的。
7.根据权利要求5所述的信息处理装置,其中,
所述不可停放空间识别用显示数据和所述可停放空间识别用显示数据被设置在公共线上。
8.根据权利要求5所述的信息处理装置,其中,
所述至少一个停放分区还包括可否停放不明空间,并且
所述显示数据生成单元被构造为生成表示所述可否停放不明空间的可否停放不明空间识别用显示数据。
9.根据权利要求8所述的信息处理装置,其中,
所述可否停放不明空间识别用显示数据具有与所述可停放空间识别用显示数据和所述不可停放空间识别用显示数据不同的至少一个显示特性。
10.根据权利要求9所述的信息处理装置,其中,
所述可否停放不明空间识别用显示数据和所述可停放空间识别用显示数据在颜色或图案上是不同的,或者在颜色和图案上都是不同的,并且
所述可否停放不明空间识别用显示数据和所述不可停放空间识别用显示数据在颜色或图案上是不同的,或者在颜色和图案上都是不同的。
11.根据权利要求1所述的信息处理装置,其中,
所述向上延伸面的透明度根据距所述车辆接地面的距离而变化。
12.根据权利要求11所述的信息处理装置,其中,
所述向上延伸面的透明度随着所述距离远离所述车辆接地面而降低。
13.根据权利要求2所述的信息处理装置,其中,
所述栅栏型图形数据的透明度随着距离远离所述车辆接地面而降低。
14.根据权利要求3所述的信息处理装置,其中,
所述箱型图形数据的透明度随着距离远离所述车辆接地面而降低。
15.根据权利要求4所述的信息处理装置,其中,
所述平面型图形数据的透明度根据距所述可停放空间的前方线的距离而变化,所述前方线表示所述可停放空间的停放出入口侧。
16.根据权利要求15所述的信息处理装置,其中,
所述平面型图形数据具有第一部分和第二部分,所述第一部分被布置在所述可停放空间的所述前放线和所述第二部分之间,并且
所述第一部分的透明度低于所述第二部分的透明度。
17.根据权利要求1所述的信息处理装置,还包括:
停放空间分析单元,其被构造为提供对所述至少一个停放分区中的各停放分区是否可停放的判定,并且其中,
所述显示数据生成单元被构造为基于所述停放空间分析单元的所述判定来生成所述显示数据。
18.根据权利要求17所述的信息处理装置,其中,
所述停放空间分析单元被构造为基于以下中的一个或两个来生成所述判定:
安装在所述车辆上的传感器的检测信息;和
从外部装置接收的信息。
19.一种用于向车辆的驾驶员呈现可停放空间的方法,所述方法包括:
接收通过对所述车辆周围进行成像而获得的图像;
生成表示至少一个停放分区的空间识别用显示数据,所述空间识别用显示数据包括从所述至少一个停放分区的车辆接地面延伸的向上延伸面;和
将所述显示数据叠加在所述图像上。
20.一种装置,包括:
至少一个计算机可读存储介质,其上存储有可执行的指令;
至少一个处理器,其由所述可执行指令编程为执行包括以下动作的方法:
接收通过对车辆周围进行成像而获得的图像;
生成表示至少一个停放分区的空间识别用显示数据,所述空间识别用显示数据包括从所述至少一个停放分区的车辆接地面延伸的向上延伸面;和
将所述显示数据叠加在所述图像上。
CN202280021879.0A 2021-03-24 2022-02-03 信息处理装置、信息处理方法和程序 Pending CN117083218A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2021-049561 2021-03-24
JP2021-064801 2021-04-06
JP2021064801A JP2022151402A (ja) 2021-03-24 2021-04-06 情報処理装置、および情報処理方法、並びにプログラム
PCT/JP2022/004249 WO2022201892A1 (en) 2021-03-24 2022-02-03 Information processing apparatus, information processing method, and program

Publications (1)

Publication Number Publication Date
CN117083218A true CN117083218A (zh) 2023-11-17

Family

ID=88710184

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280021879.0A Pending CN117083218A (zh) 2021-03-24 2022-02-03 信息处理装置、信息处理方法和程序

Country Status (1)

Country Link
CN (1) CN117083218A (zh)

Similar Documents

Publication Publication Date Title
US11590985B2 (en) Information processing device, moving body, information processing method, and program
WO2020241303A1 (ja) 自動走行制御装置、および自動走行制御システム、並びに自動走行制御方法
WO2021241189A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2022138123A1 (en) Available parking space identification device, available parking space identification method, and program
US20240069564A1 (en) Information processing device, information processing method, program, and mobile apparatus
WO2022004423A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
WO2022024803A1 (ja) 学習モデルの生成方法、情報処理装置、情報処理システム
JP2022098397A (ja) 情報処理装置、および情報処理方法、並びにプログラム
WO2022201892A1 (en) Information processing apparatus, information processing method, and program
CN117083218A (zh) 信息处理装置、信息处理方法和程序
WO2023007785A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
WO2023166982A1 (ja) 情報処理装置、情報処理方法、及び、移動体
WO2023171401A1 (ja) 信号処理装置、信号処理方法、および記録媒体
WO2023090001A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
WO2024024471A1 (ja) 情報処理装置、情報処理方法、及び、情報処理システム
JP7507722B2 (ja) 情報処理プログラム及び情報処理方法
JP2022151402A (ja) 情報処理装置、および情報処理方法、並びにプログラム
WO2023162497A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
US20240054897A1 (en) Information processing device, information processing method, program, mobile device, and information processing system
WO2022259621A1 (ja) 情報処理装置、情報処理方法、コンピュータプログラム
WO2024038759A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
WO2024043053A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
WO2023068116A1 (ja) 車載通信装置、端末装置、通信方法、情報処理方法及び通信システム
WO2023145460A1 (ja) 振動検出システムおよび振動検出方法
WO2024009829A1 (ja) 情報処理装置、情報処理方法および車両制御システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination