CN117651981A - 信息处理装置、信息处理方法以及程序 - Google Patents

信息处理装置、信息处理方法以及程序 Download PDF

Info

Publication number
CN117651981A
CN117651981A CN202280041999.7A CN202280041999A CN117651981A CN 117651981 A CN117651981 A CN 117651981A CN 202280041999 A CN202280041999 A CN 202280041999A CN 117651981 A CN117651981 A CN 117651981A
Authority
CN
China
Prior art keywords
area
parking
vehicle
parking space
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280041999.7A
Other languages
English (en)
Inventor
泷野千秋
山中一宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN117651981A publication Critical patent/CN117651981A/zh
Pending legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027Parking aids, e.g. instruction means
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/14Traffic control systems for road vehicles indicating individual free spaces in parking areas

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

根据停车位区域中的遮挡区域的比例来判断可停车区域或可能可用区域中,并根据判断结果执行不同的标识显示处理。本发明包括停车区域分析单元和显示控制单元,其中停车分析单元分析摄像机拍摄图像并分析是否能够以车位区域为单位停放车辆,并且显示控制单元基于分析结果生成以车位区域为单位的停车可能性识别图形数据,并将该数据叠加并显示在摄像机拍摄图像上。针对从摄像机拍摄图像中没有被检测到停放车辆的车位区域,停车区域分析单元计算遮挡区域相对于总车位区域面积的比例,并根据计算的比例判断车位区域是可停车区域还是可能可用区域,并且显示控制单元针对每个区域叠加不同的图形数据以进行显示。

Description

信息处理装置、信息处理方法以及程序
技术领域
本发明涉及信息处理装置、信息处理方法和程序。具体地,例如,本发明涉及生成用于以易于理解的方式向作为车辆驾驶员的用户呈现停车场中的车辆可停车区域的显示数据的信息处理装置、信息处理方法和程序。
背景技术
例如,在购物中心、游乐园、旅游景点、城镇的其它地方等的许多停车场中,在许多情况下可以停放大量车辆。
作为车辆驾驶员的用户在停车场中搜寻驾驶员可以停放车辆的空闲空间并停放车辆。在这种情况下,用户在停车场中驾驶车辆,目视检查周围,并寻找空闲空间。
这种用于检查可停车空间的处理需要时间,并且此外还存在以下问题:如果车辆在狭窄的停车场中行驶,则可能发生与另一车辆或人员的接触事故。
例如,专利文献1(WO 2017/068701 A1)是公开了一种用于检测停车场中的可停车区域的构造的相关现有技术。
专利文献1公开了一种构造,该构造在并排停放(double-parking)型停车场中使用安装在车辆上的摄像机对作为停车可能性判断目标的停车位区域旁边的停放车辆进行成像,并且如果旁边停放的车辆的侧表面部分被成像在拍摄图像中且其长度等于或大于阈值,则判断该停车可能性判断目标区域为空闲空间。
然而,对于该公开的方法,重要的是满足以下条件:停车场是并排停放型停车场,并且停放车辆存在于停车可能性判断车位区域的旁边。因此,例如,存在以下问题:无法将该方法应用于未定义出明确的停车位区域的停车场、平行停车区域等,并且可用条件受到严格限制。
引用文献列表
专利文献
专利文献1:WO 2017/068701 A1
发明内容
本发明要解决的问题
本发明例如是鉴于上述问题而提出的,并且其目的是提供适用于诸如并排停放型或平行停放型等各种类型的停车场并且不仅能够向作为车辆驾驶员的用户呈现停车可用性而且还能够呈现空闲可能性信息的信息处理装置、信息处理方法和程序。
问题的解决方案
本发明的第一方面是一种信息处理装置,其包括:
停车区域分析单元,其分析安装在车辆上的摄像机的拍摄图像并分析是否能够以车位区域为单位停放车辆,以及
显示控制单元,其基于停车区域分析单元的分析结果生成以车位区域为单位的停车可能性识别图形数据,并将停车可能性识别图形数据叠加并显示在摄像机的拍摄图像上或基于该拍摄图像生成的组合图像上,其中,
停车区域分析单元:
针对从摄像机的拍摄图像中没有被检测到停放车辆的车位区域,计算从摄像机的拍摄图像中不能被确认的遮挡区域相对于总车位区域面积的比例,并且
执行判断处理,以根据计算的比例的值来判断车位区域是可停车区域还是可能可用区域,并且
显示控制单元:
根据判断处理的结果,叠加并显示可停车区域和可能可用区域之间不同的图形数据。
此外,本发明的第二方面是一种由信息处理装置执行的信息处理方法,其包括:
停车区域分析步骤,其通过停车区域分析单元,分析安装在车辆上的摄像机的拍摄图像并分析是否能够以车位区域为单位停放车辆;和
显示控制步骤,其通过显示控制单元,基于停车区域分析单元的分析结果生成以车位区域为单位的停车可能性识别图形数据,并将该数据叠加并显示在摄像机的拍摄图像上或基于该拍摄图像生成的组合图像上,其中,
在停车区域分析步骤中,停车区域分析单元:
针对从摄像机的拍摄图像中没有被检测到停放车辆的车位区域,计算从摄像机的拍摄图像中不能被确认的遮挡区域相对于总车位区域面积的比例,并且
执行判断处理,以根据计算的比例的值来判断车位区域是可停车区域还是可能可用区域,以及
在显示控制步骤中,显示控制单元:
根据判断处理的结果,叠加并显示可停车区域和可能可用区域之间不同的图形数据。
此外,本发明的第三方面是一种用于使信息处理装置执行信息处理的程序,该信息处理:
使停车区域分析单元执行停车区域分析步骤,以分析安装在车辆上的摄像机的拍摄图像并分析是否能够以车位区域为单位停放车辆;和
使显示控制单元执行显示控制步骤,以基于停车区域分析单元的分析结果生成以车位区域为单位的停车可能性识别图形数据,并将该数据叠加并显示在摄像机的拍摄图像上或基于该拍摄图像生成的组合图像上,其中,
在停车区域分析步骤中,停车区域分析单元:
执行以下处理:针对从摄像机的拍摄图像中没有被检测到停放车辆的车位区域,计算从摄像机的拍摄图像中不能被确认的遮挡区域相对于总车位区域面积的比例,并且
执行判断处理,以根据计算的比例的值来判断车位区域是可停车区域还是可能可用区域,以及
在显示控制步骤中,显示控制单元:
执行以下处理:根据判断处理的结果,叠加并显示可停车区域和可能可用区域之间不同的图形数据。
注意,本发明的程序例如是可以由以计算机可读格式提供该程序的存储介质或通信介质提供给信息处理装置、图像处理装置或能够执行程序代码的计算机系统的程序。通过以计算机可读格式提供这种程序,在信息处理装置或计算机系统上实现与该程序相对应的处理。
通过基于稍后说明的本发明的实施例和附图的详细说明,本发明的其它目的、特征和优点将是显而易见的。注意,这里说明的系统是多个设备的逻辑集合构造,并且不限于其中具有各自构造的设备位于同一壳体中的系统。
根据本发明实施例的构造,实现了根据停车位区域中的遮挡区域的比例来判断可停车区域或可能可用区域并根据该判断结果来执行不同的识别显示处理的构造。
具体地,例如,该构造包括停车区域分析单元和现实控制单元,停车区域分析单元分析摄像机拍摄图像并分析是否能够以车位区域为单位停放车辆,显示控制单元基于分析结果生成以车位区域为单位的停车可能性识别图形数据并将该数据叠加并显示在摄像机拍摄图像上。停车区域分析单元针对从摄像机拍摄图像中没有被检测到停放车辆的车位区域计算遮挡区域相对于总车位区域面积的比例,并根据计算的比例判断车位区域是可停车区域还是可能可用区域。显示控制单元针对区域叠加不同的图形数据以进行显示。
利用该构造,实现了根据停车位区域中的遮挡区域的比例来判断可停车区域或可能可用区域并根据判断结果执行不同的识别显示处理的构造。
注意,这里说明的效果仅是示例性的而不是限制性的,并且还可以提供额外的效果。
附图说明
图1是用于说明停车场和待停放车辆的构造示例的图。
图2是用于说明车辆的构造示例的图。
图3是用于说明停车场的示例的图。
图4是用于说明由根据本发明的信息处理装置生成的显示数据的具体示例的图。
图5是用于说明由根据本发明的信息处理装置生成的显示数据的具体示例的图。
图6是用于说明车辆的摄像机构造的示例的图。
图7是用于说明根据车辆的摄像机拍摄图像生成的鸟瞰图的具体示例的图。
图8是用于说明由根据本发明的信息处理装置生成的显示数据的具体示例的图。
图9是用于说明由根据本发明的信息处理装置生成的显示数据的具体示例的图。
图10是示出了用于说明由根据本发明的信息处理装置执行的处理的处理序列的流程图的图。
图11是用于说明由根据本发明的信息处理装置执行的处理的具体示例的图。
图12是用于说明由根据本发明的信息处理装置执行的处理的具体示例的图。
图13是用于说明由根据本发明的信息处理装置执行的处理的具体示例的图。
图14是用于说明由根据本发明的信息处理装置执行的处理的具体示例的图。
图15是用于说明由根据本发明的信息处理装置执行的处理的具体示例的图。
图16是用于说明由根据本发明的信息处理装置执行的处理的具体示例的图。
图17是用于说明由根据本发明的信息处理装置执行的处理的具体示例的图。
图18是用于说明由根据本发明的信息处理装置执行的处理的具体示例的图。
图19是用于说明由根据本发明的信息处理装置执行的处理的具体示例的图。
图20是用于说明由根据本发明的信息处理装置执行的处理的具体示例的图。
图21是用于说明能够进行平行停放的停车区域以及待停放车辆的具体示例的图。
图22是用于说明由根据本发明的信息处理装置生成的显示数据的具体示例的图。
图23是示出了用于说明由根据本发明的信息处理装置执行的处理的处理序列的流程图的图。
图24是示出了用于说明由根据本发明的信息处理装置执行的处理的处理序列的流程图的图。
图25是用于说明由根据本发明的信息处理装置执行的处理的具体示例的图。
图26是用于说明由根据本发明的信息处理装置执行的处理的具体示例的图。
图27是用于说明由根据本发明的信息处理装置执行的处理的具体示例的图。
图28是用于说明由根据本发明的信息处理装置执行的处理的具体示例的图。
图29是用于说明由根据本发明的信息处理装置执行的处理的具体示例的图。
图30是用于说明由根据本发明的信息处理装置执行的处理的具体示例的图。
图31是用于说明由根据本发明的信息处理装置执行的处理的具体示例的图。
图32是用于说明由根据本发明的信息处理装置执行的处理的具体示例的图。
图33是示出了用于说明由根据本发明的信息处理装置执行的显示数据更新处理的处理序列的流程图的图。
图34是示出了用于说明由根据本发明的信息处理装置执行的自动驾驶控制处理的处理序列的流程图的图。
图35是示出了用于说明由根据本发明的信息处理装置执行的自动驾驶控制处理的处理序列的流程图的图。
图36是用于说明根据本发明的信息处理装置的构造示例的图。
图37是用于说明根据本发明的信息处理装置的硬件构造示例的图。
图38是用于说明安装有根据本发明的信息处理装置的车辆的构造示例的图。
图39是用于说明安装有根据本发明的信息处理装置的车辆的传感器的构造示例的图。
具体实施方式
下文将参照附图详细说明根据本发明的信息处理装置、信息处理方法和程序。注意,将根据以下项目进行说明。
1.停车场中的车辆停车处理的一般处理及其问题
2.根据本发明的关于生成包括可停车区域、不可停车区域和可能可用区域的三种类型的区域识别数据并向用户呈现数据的处理
3.(第一实施例)由根据本发明的信息处理装置执行的处理的细节
4.(第二实施例)关于未定义停车位区域的平行停车情况下的处理示例
5.关于显示数据更新处理
6.关于车辆是自动驾驶车辆的情况下的自动驾驶处理
7.关于根据本发明的信息处理装置的构造示例
8.关于根据本发明的信息处理装置的硬件构造示例
9.关于车辆构造示例
10.本发明的构造概述
[1.停车场中的车辆停车处理的一般处理及其问题]
首先,将说明停车场中的车辆停车处理的一般处理及其问题。
将参照图1及随后的附图来说明在将车辆停放在停车场中的情况下的一般车辆行驶示例。
在图1中,示出了车辆10和停车场20。车辆10从停车场20的入口进入停车场20,并准备寻找空闲空间以停放车辆。
在图1的状态下,作为车辆10的驾驶员的用户在看着车辆前侧的同时从停车场20的入口进入停车场。
例如,由于商店的入口位于停车场的远侧(图1中的上侧),因此作为车辆10的驾驶员的用户考虑尽可能将车辆10停放在停车场的远侧(图1中的上侧)。
然而,由于驾驶员的视野被停车场内的停放车辆、柱21等遮挡,因此在进入时难以判断此时停车位区域的哪一部分是空闲的。
此外,尽管从图1所示的停车位的左上端起的第二个停车区域是空的,但由于放置有圆锥体22,所以不能使用该区域。
然而,作为车辆10的驾驶员的用户在进入时无法在视觉上确认圆锥体22。
注意,如图2所示,在车辆10是包括摄像机11的车辆的情况下,由摄像机11拍摄的图像显示在车辆10中的显示单元12上。作为驾驶员的用户可以通过查看显示数据来观察整个停车场。
图3示出了显示单元12上显示的拍摄图像的示例。
例如,如图3所示的摄像机拍摄图像显示在显示单元12上。然而,即使在观看该显示图像时,例如,停车场中的右后停车区域23位于前侧停放车辆的后侧,并且驾驶员无法清楚地判断是否可以停放车辆。
另外,停车场左侧的从后开始数的第二个停车区域24也位于前侧停放车辆的后侧,因此驾驶员无法清楚地判断是否可以停放车辆。尽管圆锥体22放置在该停车区域24中,但圆锥体22没有被成像在摄像机11的拍摄图像中。因此,驾驶员不可能完全确认圆锥体22。
[2.根据本发明的关于生成包括可停车区域、不可停车区域和可能可用区域的三种类型的区域识别数据并向用户呈现数据的处理]
接下来,将说明根据本发明的用于生成包括可停车区域、不可停车区域和可能可用区域的三种类型的区域识别数据并将该数据呈现给用户的处理。
图4是示出通过根据本发明的处理在车辆10的显示单元12上显示的显示数据的示例的图。
在图4所示的显示数据中,在上文参照图3说明的摄像机11的拍摄图像中在每个停车位区域上叠加并显示三种类型的停车可能性识别图形数据(彩色框)中的任一种。
存在以下三种要叠加和显示的停车可能性识别图形数据(彩色框):
(1)可停车区域识别用显示数据(绿色框)101;
(2)不可停车区域识别用显示数据(红色框)102;
(3)可能可用区域识别用显示数据(黄色框)103。
注意,绿色、红色和黄色仅是示例,并且可以使用除这些颜色之外的颜色组合。
“(1)可停车区域识别用显示数据(绿色框)101”被叠加和显示在如下停车位区域上,在该停车位区域中,通过对安装在车辆10上的摄像机11的拍摄图像的分析没有检测到停放车辆,并且空闲似然度(空闲可能性)等于或大于规定阈值。
“(2)不可停车区域识别用显示数据(红色框)102”被叠加和显示在如下停车位区域上,在该停车位区域中,通过对安装在车辆10上的摄像机11的拍摄图像的分析检测到停放车辆。
“(3)可能可用区域识别用显示数据(黄色框)103”被叠加和显示在如下停车位区域上,在该停车位区域中,通过对安装在车辆10上的摄像机11的拍摄图像的分析没有检测到停放车辆,并且空闲似然度(空闲可能性)小于规定阈值。
空闲似然度(空闲可能性)是表示停车位区域是空闲的且能够停车的可能性的指标值。稍后将说明用于计算空闲似然度(空闲可能性)的处理的细节。
注意,虽然图4所示的图在附图中被图示为单色图像,但车辆10的显示单元12上显示的图像为彩色图像,并且区域识别用显示数据(绿色框、红色框和黄色框)被显示为高亮度彩色数据。因此,用户(驾驶员)可以立即判断出每个停车区域的三种状态(可以停车、不能停车、可能可用于停车)。
由于图4所示的单色图像难以理解,因此图5示出了省略背景车辆的数据示例。
如图5所示,针对每个停车位区域显示以下三种停车可能性识别图形数据(彩色框)。
(1)可停车区域识别用显示数据(绿色框)101
(2)不可停车区域识别用显示数据(红色框)102
(3)可能可用区域识别用显示数据(黄色框)103
用户(驾驶员)可以基于叠加并显示在每个停车位区域上的停车可能性识别图形数据(色框)立即判断出每个停车区域是可停车区域、不可停车区域还是可能可用区域。
注意,图4和5所示的示例是使用由图2所示的拍摄车辆10的前方图像的摄像机11拍摄的图像作为显示单元12上显示的显示数据的示例。
显示单元12上显示的显示数据不限于由这种前置摄像机拍摄的图像,并且可以是各种类型的数据。
例如,如图6所示,在车辆10上安装有用于对前方、后方、左侧、右侧进行成像的多个摄像机安装,并且可以通过组合由这些摄像机拍摄的图像来生成和显示从上方观察的图像,即鸟瞰图。
图6所示的车辆10包括以下四个摄像机。
(a)拍摄车辆10的前方图像的前视摄像机11F,
(b)拍摄车辆10的后方图像的后视摄像机11B,
(c)拍摄车辆10的左侧图像的左视摄像机11L,
(d)拍摄车辆10的右侧图像的右视摄像机11R。
通过对拍摄车辆10的前方、后方、左侧、右侧四个方向上的图像的摄像机的拍摄图像进行组合,可以生成从车辆10上方观察到的图像,即鸟瞰图。
图7示出了通过这种处理在车辆10的显示单元12上显示的图像。
图7所示的显示数据是包括通过对参照图6说明的拍摄车辆10的前方、后方、、左侧和右侧四个方向上的图像的摄像机11F、11L、11B和11R的四个拍摄图像进行组合而生成的鸟瞰图的显示数据的示例。
注意,尽管柱21看上去是失真的,但这是通过对多个图像进行组合处理而产生的失真。此外,没有显示原本应存在的圆锥体22。这是因为圆锥体22例如位于停放在前方停车区域中的车辆的后方并且不被四个摄像机中的任一者成像。
以此方式,在通过多个图像的组合处理生成的显示数据(鸟瞰图)中产生了被摄体等的失真,并且驾驶员(用户)难以立即判断出每个停车区域的状态(可停车、不可停车和可能可用)。
图8是显示数据的示例,其中通过根据本发明的处理生成的停车可能性识别图形数据(彩色框)叠加在通过多个图像的组合处理生成的显示数据(鸟瞰图)上。
存在以下三种停车可能性识别图形数据(彩色框):
(1)可停车区域识别用显示数据(绿色框)101;
(2)不可停车区域识别用显示数据(红色框)102;
(3)可能可用区域识别用显示数据(黄色框)103。
注意,绿色、红色和黄色仅是示例,并且可以使用除这些颜色之外的颜色组合。
停车可能性识别图形数据(1)至(3)(彩色框)具有与上面参照图4和5说明的含义类似的含义。
即,“(1)可停车区域识别用显示数据(绿色框)101”被叠加和显示在如下停车位区域上,在该停车位区域中,通过对安装在车辆10上的摄像机11的拍摄图像的分析没有检测到停放车辆,并且空闲似然度(空闲可能性)等于或大于规定阈值。
“(2)不可停车区域识别用显示数据(红色框)102”被叠加和显示在如下停车位区域上,在该停车位区域中,通过对安装在车辆10上的摄像机11的拍摄图像的分析检测到停放车辆。
“(3)可能可用区域识别用显示数据(黄色框)103”被叠加和显示在如下停车位区域上,在该停车位区域中,通过对安装在车辆10上的摄像机11的拍摄图像的分析没有检测到停放车辆,并且空闲似然度(空闲可能性)小于规定阈值。
注意,尽管图8所示的图在附图中被图示为单色图像,但车辆10的显示单元12上显示的图像是彩色图像,并且区域识别用显示数据(绿色框、红色框和黄色框)被显示为高亮度彩色数据。因此,用户(驾驶员)可以立即判断出每个停车区域的三种状态(可停车、不可停车、可能可用)。图9示出了省略背景车辆的数据示例。
如图9所示,针对每个停车位区域显示了以下三种停车可能性识别图形数据(彩色框):
(1)可停车区域识别用显示数据(绿色框)101;
(2)不可停车区域识别用显示数据(红色框)102;
(3)可能可用区域识别用显示数据(黄色框)103。
用户(驾驶员)可以基于叠加并显示在每个停车位区域上的停车可能性识别图形数据(色框)立即判断出每个停车区域是可停车区域、不可停车区域还是可能可用区域。
[3.(第一实施例)由根据本发明的信息处理装置执行的处理的细节]
接下来,将说明由根据本发明第一实施例的信息处理装置执行的处理的细节。
注意,根据本发明的信息处理装置是安装在车辆10上的信息处理装置。
信息处理装置输入安装在车辆上的摄像机的拍摄图像,生成显示单元上的显示数据,执行用于分析拍摄图像的处理,判断每个停车位区域的停车可能性等,并且执行用于生成每个停车位区域的停车可能性识别图形数据(彩色框)并将停车可能性识别图形数据叠加在显示单元上显示的停车场图像上以进行显示的处理。
将参照图10所示的流程图说明由根据本发明的信息处理装置执行的处理的序列。
注意,图10所示的流程图是在根据本发明的信息处理装置的数据处理单元的控制下执行的。根据本发明的信息处理装置例如包括诸如CPU等具有程序执行功能的数据处理单元,并且该数据处理单元根据存储在信息处理装置内的存储单元中的程序来执行根据图10所示的流程的处理。
在下文中,将说明图10所示的流程图中的每个步骤的处理。
(步骤S101)
首先,在步骤S101中,安装在车辆10上的信息处理装置的数据处理单元基于传感器检测信息(例如,摄像机的拍摄图像),基于传感器检测信息和AI预测数据,或基于来自外部的输入信息来检测停车位区域,并且将停车位区域标识符(ID)设置至检测到的停车位区域。
摄像机的拍摄图像例如是参照图2说明的拍摄车辆10的前方图像的摄像机11的拍摄图像,或者是参照图6说明的全部的4个以下摄像机或多个摄像机的拍摄图像,或者是基于多个拍摄图像生成的组合图像(鸟瞰图):
(a)拍摄车辆10的前方图像的前视摄像机11F,
(b)拍摄车辆10的后方图像的后视摄像机11B,
(c)拍摄车辆10的左侧图像的左视摄像机11L,
(d)拍摄车辆10的右侧图像的右视摄像机11R。
在步骤S101中,从至少一个或多个摄像机拍摄图像中检测停车位区域,并且将停车位区域标识符(ID)设置至检测到的停车位区域。
替代地,不仅可以使用摄像机拍摄图像,还可以使用AI预测数据来估计停车位区域。
例如,可以通过如下方式来执行用于估计停车位区域的处理:使用由利用卷积神经网络(CNN:convolutional neural network)的学习算法生成的AI预测器,并且在未被摄像机清晰成像的区域中判断停车位区域。
或者,可以使用来自外部的输入信息(例如从停车场信息提供服务器提供的停车场信息)来执行用于检测停车位区域的处理。
以此方式,在步骤S101中,基于传感器检测信息(例如,摄像机的拍摄图像),或者基于传感器检测信息和AI预测数据,或者基于来自外部的输入信息来检测停车位区域,并且将停车位区域标识符(ID)设置至检测到的停车位区域。
图11示出了在检测到的停车位区域上设置停车位区域标识符(ID)的示例。
图11所示的示例是示出了在从如上面参照图1所述的并排停放型停车场中检测到的八个停车位区域上设置停车位区域标识符(ID)的示例的图。
这是其中在从左上停车位区域到右下停车位区域的停车位区域上设置8个停车位区域标识符(ID=P1至P8)的示例。
(步骤S102)
接下来,在步骤S102中,安装在车辆10上的信息处理装置的数据处理单元从在步骤S101中检测出的停车位区域(P1至Pn)中选择一个处理目标区域(Px)。
例如,在图11所示的设置8个停车位区域标识符(ID=P1至P8)的示例中,将P1选择为待顺序处理的处理目标区域。
(步骤S103)
接下来,在步骤S103中,信息处理装置的数据处理单元判断在处理目标区域(Px)中是否检测到停放车辆。
该判断处理是基于安装在车辆10上的摄像机的拍摄图像来执行的。
在处理目标区域(Px)中检测到停放车辆的情况下,过程进入步骤S104。
另一方面,在处理目标区域(Px)中没有检测到停放车辆的情况下,过程进入步骤S106。
(步骤S104)
接下来,在步骤S103中判定在处理目标区域(Px)中检测到停放车辆的情况下,执行步骤S104和S105中的处理。
在这种情况下,在步骤S104中,信息处理装置的数据处理单元将处理目标区域(Px)判定为不可停车区域。
(步骤S105)
接下来,在步骤S105中,信息处理装置的数据处理单元在被步骤S104判定为不可停车区域的处理目标区域(Px)上显示不可停车区域识别用显示数据(红色框)。
该处理对应于例如用于在图4和8所示的停车场图像中的存在停放车辆的停车位区域(例如,左上端的停车位区域、左下端的停车位区域等)上显示不可停车区域识别用显示数据(红色框)的处理。
注意,例如,图4和8所示的停车场图像中的左上端的停车位区域是被车辆10的摄像机11检测到停放车辆的区域。
图12是示出由车辆10的摄像机11检测的停放车辆检出状态的图。
如图12所示,尽管停放在停车位区域P1中的车辆的部分(附图中的灰色部分)被前方的停放车辆或柱21遮挡,但通过摄像机11可以拍摄到该车辆的部分。
以此方式,在根据本发明的处理中,即使在停车位区域中确认了停放车辆的部分,仍将该停车位区域判定为不可停车区域,并且显示不可停车区域识别用显示数据(红色框)。
(步骤S106)
接下来,在步骤S103中判定在处理目标区域(Px)中没有检测到停放车辆的情况下,执行步骤S106至S111中的处理。
在这种情况下,在步骤S106中,信息处理装置的数据处理单元执行用于计算处理目标区域(Px)的空闲似然度(空闲可能性)的处理。
如上所述,空闲似然度(空闲可能性)是表示停车位区域空闲的可能性的指标值。
将参照图13及随后的附图说明由根据本发明的信息处理装置的数据处理单元执行的用于计算空闲似然度(空闲可能性)的处理的具体示例。
如上所述,在步骤S103中判定在处理目标区域(Px)中没有检测到停放车辆的情况下,执行步骤S106至S111中的处理。
作为未被检测到停放车辆的处理目标区域(Px)的示例,将说明图13所示的停车位区域P2和P5的情况下的处理示例。
如图13所示,图13所示的停车位区域P2是未被车辆10的摄像机11检测到停放车辆的停车位区域。
类似地,停车位区域P5是未被车辆10的摄像机11检测到停放车辆的停车位区域。
因此,在步骤S102中将图13所示的停车位区域P2或P5选择为处理目标区域(Px)的情况下,在步骤S106中,信息处理装置的数据处理单元执行用于计算处理目标区域(P2)或(P5)的空闲似然度(空闲可能性)的处理。
将参照图14说明用于计算图13所示的停车位区域P2、P5的空闲似然度(空闲可能性)的处理的具体计算处理。
在图14中,左侧示出了用于计算停车位区域P2的空闲似然度(空闲可能性)的处理的具体示例,并且右侧示出了用于计算停车位区域P5的空闲似然度(空闲可能性)的处理的具体示例。
首先,对图14的左侧所示的用于计算停车位区域P2的空闲似然度(空闲可能性)的处理进行说明。
如图14中的空闲似然度(空闲可能性)计算式(a)所示,根据下面的计算式1来计算各停车位区域的空闲似然度(空闲可能性):
空闲似然度(空闲可能性)(%)=(1-(遮挡区域面积)/(停车位区域的总面积))*100(%)...计算式1。
注意,遮挡区域是在摄像机的拍摄图像中不能被确认的区域。例如,遮挡区域是不包括在摄像机的拍摄图像中并且被诸如前方的车辆或柱的阴影部分等障碍物遮挡的区域。图14所示的停车位区域P2的灰色区域是遮挡区域,并且白色部分是被摄像机成像的可确认区域。
停车位区域的总面积是停车位在前后侧向上的长度(d)与宽度(w)的乘积:d*w。
当根据上述的计算式1计算停车位区域P2的空闲似然度(空闲可能性)时,停车位区域P2的空闲似然度(空闲可能性)=15%。
另一方面,如图14的右侧所示,当根据上述计算式1计算停车位区域P5的空闲似然度(空闲可能性)时,
停车位区域P5的空闲似然度(空闲可能性)=10%。
(步骤S107)
当在步骤S106中完成用于计算处理目标区域的空闲似然度(空闲可能性)的处理时,接下来,在步骤S107中,信息处理装置的数据处理单元将计算的空闲似然度(空闲可能性)与预定阈值(Th)进行比较,并判断计算的空闲似然度是否等于或大于阈值(Th)。
这里,阈值被设定为50%。
注意,阈值=50%是示例,并且可以不同地设定阈值的值。
如果计算的空闲似然度(空闲可能性)等于或大于阈值(Th),即等于或大于50%,则过程进入步骤S108。
另一方面,在计算的空闲似然度(空闲可能性)小于阈值(Th),即小于50%的情况下,则过程进入步骤S110。
(步骤S108和S109)
当在步骤S106中计算的处理目标区域的空闲似然度(空闲可能性)等于或大于阈值(Th),即等于或大于50%时,执行步骤S108和S109的处理。
具体地,在遮挡区域(在摄像机的拍摄图像中不能被确认的区域)之外的区域(即可以从摄像机的拍摄图像中确认的区域)等于或大于无法确认停放车辆的停车位区域(处理目标区域)的总面积50%的情况下,执行步骤S108和S109中的处理。
在这种情况下,信息处理装置的数据处理单元在步骤S108中将该处理目标区域判定为可停车区域。
此外,在步骤S109中,在处理目标区域上显示可停车区域识别用显示数据(绿色框)。
(步骤S110和S111)
另一方面,当在步骤S106中计算的处理目标区域的空闲似然度(空闲可能性)小于阈值(Th),即小于50%时,执行步骤S110和S111中的处理。
具体地,在遮挡区域(在摄像机的拍摄图像中不能被确认的区域)之外的区域(即可以从摄像机的拍摄图像中确认的区域)小于无法确认停放车辆的停车位区域(处理目标区域)的总面积50%的情况下,执行步骤S110和S111中的处理。
在这种情况下,信息处理设备的数据处理单元在步骤S110中将该处理目标区域判定为可能可用区域。
此外,在步骤S111中,在处理目标区域上显示可能可用区域识别用显示数据(黄色框)。
(步骤S112)
在步骤S112中,判断对所有停车位区域的处理是否已经完成。
在存在未处理的停车位区域的情况下,返回步骤S102,并对未处理的停车位区域执行步骤S102及随后步骤中的处理。
当在步骤S112中判定已完成对所有停车位区域的处理时,处理结束。
接下来,将参照图13和14说明步骤S110和S111中的处理的具体示例。
图13所示的停车位区域P2、P5的空闲似然度(空闲可能性)是根据上述计算式1计算的,即:
空闲似然度(空闲可能性)(%)=(1-(遮挡区域面积)/(停车位区域的总面积))*100(%)……计算式1。
在根据上述计算式1进行计算时,
停车位区域P2的空闲似然度(空闲可能性)=15%,
停车位区域P5的空闲似然度(空闲可能性)=10%。
即,在停车位区域P2中,遮挡区域(在摄像机的拍摄图像中不能被确认的区域)之外的区域(即能够从摄像机的拍摄图像中确认的区域)为停车位区域P2的总面积(d*w)的15%。
另外,在停车位区域P5中,遮挡区域(在摄像机的拍摄图像中不能被确认的区域)之外的区域(即能够从摄像机的拍摄图像中确认的区域)为停车位区域P5的总面积(d*w)的10%。
由于停车位区域P2、P5的空闲似然度(空闲可能性)=均小于阈值(Th)=50%的15%和10%,因此步骤S107中的判定为“否”。
在图14中,该判断处理被示为步骤S107(否)。
在这种情况下,如图14的最下面的阶段中的步骤S110和S111所示,停车位区域P2和P5中的每一者被判定为可能可用区域,并且在停车位区域P2和P5上显示可能可用区域识别用显示数据(黄色框)。
另一方面,将参照图15和16说明当在步骤S106中计算的处理目标区域的空闲似然度(空闲可能性)等于或大于阈值(Th),即等于或大于50%时执行的步骤S108和S109中的处理的具体示例。
图15所示的停车位区域P5是与上面参照图13说明的停车位区域相同的右上端停车位区域。然而,停车位区域P5处于停放车辆已驶离其前方的停车位区域P6的状态,并且可以从车辆10的摄像机11确认的区域增加。
在该状态下,根据上述计算式1计算图15所示的停车位区域P5的空闲似然度(空闲可能性),即,
空闲似然度(空闲可能性)(%)=(1-(遮挡区域面积)/(停车位区域的总面积))*100(%)……(计算式1)。
在根据上述计算式1进行计算时,
停车位区域P5的空闲似然度(空闲可能性)=90%。
该空闲似然度(空闲可能性)计算处理在图16中被示为步骤S106a和S106b。
即,在停车位区域P5中,遮挡区域(在摄像机的拍摄图像中不能被确认的区域)之外的区域(即能够从摄像机的拍摄图像中确认的区域)为停车位区域P5的总面积(d*w)的90%。
由于停车位区域P5=90%的空闲似然度(空闲可能性)等于或大于阈值(Th)=50%,因此步骤S107中的判定为“是”。
该判断处理在图16中被示为步骤S107(是)。
在这种情况下,如图16的最下面的阶段中的步骤S108和S109所示,停车位区域P5被判定为可停车区域,并且在该停车位区域P5上显示可停车区域识别用显示数据(绿色框)。
以此方式,根据本发明的信息处理装置执行根据图10所示的流程图的处理,并且执行用于在每个停车位区域上显示以下三种类型的停车可能性识别图形数据(彩色框)的处理:
(1)可停车区域识别用显示数据(绿色框);
(2)不可停车区域识别用显示数据(红色框);
(3)用于可能可用区域标识的显示数据(黄色框)。
将参照图17说明用于分配上述三种类型的停车可能性识别图形数据(彩色框)的处理的具体示例。
在图17中,从左侧开始示出了用于在下面的三个停车位区域上分配停车可能性识别图形数据(彩色框)的处理的具体顺序:
停车位区域Px,
停车位区域Py,
停车位区域Pz。
停车位区域Px是从摄像机拍摄图像中确认停放车辆的停车位区域。
停车位区域Py是未从摄像机拍摄图像中确认停放车辆且空闲似然度(空闲可能性)等于或大于阈值的停车位区域。
停车位区域Pz是未从摄像机拍摄图像中确认停放车辆且空闲似然度(空闲可能性)小于阈值的停车位区域。
图17示出了上述图10的流程图中的每个步骤的代表性处理。
如图17所示,在停车位区域Px中,从摄像机拍摄图像中确认停放车辆,并且在步骤S103中做出“是”的判定。
根据该判定,在步骤S104和S105中将停车位区域Px判定为不可停车区域,并且执行用于显示不可停车区域识别用显示数据(红色框)的处理。
在图17的中央所示的停车位区域Py中,未从摄像机拍摄图像中确认停放车辆,并且在步骤S103中做出“否”的判定。
根据该判定,对于停车位区域Py,在步骤S106中执行用于计算空闲似然度(空闲可能性)的处理,并且在步骤S107中判断计算的值是否等于或大于阈值。
判定停车位区域Py的空闲似然度(空闲可能性)等于或大于阈值,并且步骤S107中的判定结果变为“是”。
在步骤S108和S109中,基于该判定结果,将停车位区域Py判定为可停车区域,并且执行用于显示可停车区域识别用显示数据(绿色框)的处理。
在图17的右端所示的最后的停车位区域Pz中,未从摄像机拍摄图像中确认停放车辆,并且在步骤S103中做出“否”的判定。
根据该判定,对于停车位区域Pz,在步骤S106中执行用于计算空闲似然度(空闲可能性)的处理,并在步骤S107中判断计算的值是否等于或大于阈值。
判定停车位区域Pz的空闲似然度(空闲可能性)小于阈值,并且步骤S107的判定结果变为“否”。
在步骤S110和S111中,根据判定结果,将停车位区域Pz判定为可能可用区域,并且执行用于显示可能可用区域识别用显示数据(绿色框)的处理。
如上所述,根据本发明的信息处理装置根据图10所示的流程图执行用于在每个停车位区域上显示以下三种类型的停车可能性识别图形数据(彩色框)的处理:
(1)可停车区域识别用显示数据(绿色框);
(2)不可停车区域识别用显示数据(红色框);
(3)可能可用区域识别用显示数据(黄色框)。
需要根据每个停车位区域的显示位置来显示这些彩色框。
将参照图18及随后的附图说明用于显示停车可能性识别图形数据(彩色框)的处理所需的参数的示例。
在图18的(1)中,示出了用于获取停车可能性识别图形数据(彩色框)的显示处理所需的参数的处理示例。
附图所示的示例是用于获取最上级处的停车位区域Pn的参数的处理示例。
如图所示,获取停车位区域Pn的中心位置坐标(x,y)以及作为形状数据的长度(d)和宽度(w),作为用于停车可能性识别图形数据(彩色框)的显示处理的参数。
注意,XY坐标的原点是车辆10中的固定点,例如车辆10的左右后轮轴线的中心位置。X轴是车辆10的行进方向上的轴线,并且Y轴是车辆10的与X轴垂直的向左方向的轴线。使用具有这种设置的XY坐标。
获取停车位区域Pn的中心位置坐标(x,y),作为XY坐标上的位置信息。
作为形状数据的长度(d)和宽度(w)分别是形成停车位区域Pn的各条边(轮廓线)之中的平行于Y轴的边(轮廓线)的长度和平行于X轴的边(轮廓线)的长度。
首先,获取这些参数。
注意,XY坐标的设置仅是示例,并且可以使用利用其它坐标的构造。
在图18的(2)中,示出了使用这些参数生成并显示停车可能性识别图形数据(彩色框)的处理示例。
为了将停车可能性识别图形数据(彩色框)叠加在显示单元12上显示的停车场图像上,停车可能性识别图形数据生成单元使用通过图18的(1)所示的参数获取处理获取的参数(即停车位区域Pn的中心位置坐标(x,y)以及作为形状数据的长度(d)和宽度(w))来生成停车可能性识别图形数据(彩色框),并且将停车可能性识别图形数据(彩色框)叠加并显示在显示单元12上显示的停车场图像中的停车位区域Pn的位置上。
注意,尽管图18所示的示例是将作为停车位区域的作为形状数据的长度(d)和宽度(w)分别设置为与Y轴平行的边(轮廓线)以及与X轴平行的边(轮廓线)的示例,但停车位区域的设置不限于这种设置。
例如,如图19所示,停车位区域的长度(d)和宽度(w)可以相对于XY轴倾斜。
在这种情况下,如图19的(1)所示,获取停车位区域Pn的中心位置坐标(x,y)、作为形状数据的长度(d)和宽度(w)以及倾斜度(θ),作为用于停车可能性识别图形数据(彩色框)的显示处理的参数。
倾斜度(θ)是停车位区域Pn的长度方向相对于Y轴的倾斜度。
在图19的(2)中,示出了使用这些参数生成并显示停车可能性识别图形数据(彩色框)的处理示例。
为了将停车可能性识别图形数据(彩色框)叠加在显示单元12上显示的停车场图像上,停车可能性识别图形数据生成单元使用根据图19的(1)所示的参数获取处理获取的参数(即停车位区域Pn的中心位置坐标(x,y)、作为形状数据长度(d)和宽度(w)以及倾斜度(θ))来生成停车可能性识别图形数据(彩色框),并且将停车可能性识别图形数据(彩色框)叠加并显示在显示单元12上显示的停车场图像中的停车位区域Pn的位置上。
图20是用于说明停车区域分析单元151的处理以及停车可能性识别图形数据生成单元152的处理的图,其中,停车区域分析单元151执行用于获取用于显示停车可能性识别图形数据(彩色框)的参数的处理,并且停车可能性识别图形数据生成单元152执行用于利用获取的参数显示停车可能性识别图形数据(彩色框)的处理。
如图20所示,停车区域分析单元151执行用于获取用于显示停车可能性识别图形数据(彩色框)的参数的处理。
停车区域分析单元151根据上面参照图10说明的流程图执行处理,并判断停车位区域是以下哪一者:
(1)可停车区域;
(2)不可停车区域;
(3)可能可用区域。
停车区域分析单元151还执行用于获取用于显示停车可能性识别图形数据(彩色框)的参数的处理。
该参数是包括以下数据的参数:
(a)停车位区域ID,
(b)停车可能性识别结果(可以停车、不可停车、可能可用),
(c)停车位区域的中心位置坐标(x,y),
(d)停车位区域的形状(d,w),
(e)停车位区域的倾斜角(θ)。
停车区域分析单元151将这些参数输出到停车可能性识别图形数据生成单元152。
停车可能性识别图形数据生成单元152使用上述参数(a)至(e)来生成停车可能性识别图形数据(彩色框)。
此外,停车可能性识别图形数据生成单元152将生成的停车可能性识别图形数据(彩色框)叠加并显示在显示单元153上显示的停车场图像中的单个停车位区域的位置上。
以此方式,在显示单元上显示了将以下任一停车可能性识别图形数据(彩色框)叠加在每个停车位区域上的图像,即:
(1)可停车区域识别用显示数据(绿色框);
(2)不可停车区域识别用显示数据(红色框);
(3)可能可用区域识别用显示数据(黄色框)。
用户(驾驶员)可以基于叠加并显示在每个停车位区域上的停车可能性识别图形数据(色框)立即判断出每个停车区域是可停车区域、不可停车区域还是可能可用区域。
[4.(第二实施例)关于未定义停车位区域的平行停车情况下的处理示例]
接下来,作为第二实施例,对未定义停车位区域的平行停车的情况下的处理示例进行说明。
上述实施例(第一实施例)是在进行并排停放车辆的并排停车的停车场以及通过白线等明确划分每个停车区域的停车场中执行停车处理的情况下的处理示例。
即,在上述第一实施例中,已经执行了用于判断通过白线等明确划分每个停车区域的停车场的每个停车位区域是否是以下任一者的处理:
(1)可停车区域;
(2)不可停车区域;
(3)可能可用区域。
然而,例如,在可以在道路侧成行地平行停车的道路等上,存在许多不存在定义单独停车区域的白线等的情况。在道路上行驶的车辆经常执行用于寻找可以停放本车的空闲空间来停放车辆的处理。
在后述第二实施方式中,以此方式,在不存在用于定义单独停车区域的白线等的可停车区域的情况下,执行基于停放车辆等来划分可停车区域的处理。此外,这是执行用于判断所生成的每个停车位区域是以下区域中的哪一种的实施例:
(1)可停车区域,
(2)不可停车区域,
(3)可能可用区域。
将参照图21及随后的附图说明第二实施例的细节。
图21是示出正在道路上行驶的车辆10将要停放在设置于道路左侧的平行停车区中的任意位置的状态的图。
在第二实施例中,在这种情况下,如图22所示的显示数据被显示在车辆10中的显示单元12上。
图22所示的显示数据是其中在车辆10的摄像机11的拍摄图像中成像的平行停车区域上叠加并显示有三种类型的停车可能性识别图形数据(彩色框)中的任一种的显示数据。
存在以下三种类型的要重叠并显示的停车可能性识别图形数据(彩色框):
(1)可停车区域识别用显示数据(绿色框)101,
(2)不可停车区域识别用显示数据(红色框)102,
(3)可能可用区域识别用显示数据(黄色框)103。
注意,绿色、红色和黄色仅是示例,并且可以使用除这些颜色之外的颜色组合。
注意,在图22中未示出“(3)可能可用区域识别用显示数据(黄色框)103”
上述停车可能性识别图形数据(彩色框)(1)至(3)的显示条件如下。
“(1)可停车区域识别用显示数据(绿色框)101”被叠加和显示在如下区域上,在该区域中,通过对安装在车辆10上的摄像机11的拍摄图像的分析没有检测到停放车辆,并且空闲似然度(空闲可能性)等于或大于规定阈值。
“(2)不可停车区域识别用显示数据(红色框)102”被叠加和显示在如下区域上,在该区域中,通过对安装在车辆10上的摄像机11的拍摄图像的分析检测到停放车辆,或者空闲区域的长度不足以停放车辆。
图22所示的不可停车区域识别用显示数据102a是被检测到停放车辆的区域,并且图22所示的不可停车区域识别用显示数据102b是空闲区域长度不足以停放车辆的区域。
“(3)可能可用区域识别用显示数据(黄色框)103”被叠加和显示在如下停车位区域上,在该停车位区域中,通过对安装在车辆10上的摄像机11的拍摄图像的分析没有检测到停放车辆,空闲区域的长度不足以停放车辆,并且空闲似然度(空闲可能性)小于规定阈值。
空闲似然度(空闲可能性)是表示停车位区域是空闲的并且能够停车的可能性的指标值。
在第二实施例中,根据上述显示条件显示以下停车可能性识别图形数据(彩色框):
(1)可停车区域识别用显示数据(绿色框)101,
(2)不可停车区域识别用显示数据(红色框)102,
(3)可能可用区域识别用显示数据(黄色框)103。
将参照图23和24所示的流程图来说明根据第二实施例的处理序列。
注意,图23和24所示的流程图是在根据本发明的信息处理装置的数据处理单元的控制下执行的。根据本发明的信息处理装置例如包括诸如CPU等具有程序执行功能的数据处理单元,并且该数据处理单元根据存储在信息处理装置内的存储单元中的程序执行根据图23和24所示的流程的处理。
在下文中,将说明图23和24所示的流程图的各步骤中的处理。
(步骤S201)
首先,在步骤S201中,安装在车辆10上的信息处理装置的数据处理单元基于传感器检测信息(例如,摄像机的拍摄图像),或者基于传感器检测信息和AI预测数据,或者基于来自外部的输入信息来检测停车允许区域,例如路侧的平行停车允许区域。
摄像机的拍摄图像例如是参照图21说明的拍摄车辆10的前方图像的摄像机11的拍摄图像,或者是参照图6说明的以下全部4个摄像机或多个摄像机的拍摄图像,或者是基于多个拍摄图像生成的组合图像(鸟瞰图):
(a)拍摄车辆10的前方图像的前视摄像机11F,
(b)拍摄车辆10的后方图像的后视摄像机11B,
(c)拍摄车辆10的左侧图像的左视摄像机11L,
(d)拍摄车辆10的右侧图像的右视摄像机11R。
在步骤S201中,从至少一个或多个摄像机拍摄图像中检测停车允许区域。
替代地,不仅可以使用摄像机拍摄图像,而且可以使用AI预测数据来估计停车允许区域。
例如,可通过如下方式来执行用于估计停车允许区域的处理:使用由利用卷积神经网络(CNN:convolutional neural network)的学习算法生成的AI预测器,并且在未被摄像机清晰成像的区域中判断停车允许区域。
替代地,可以使用来自外部的输入信息(例如从停车场信息提供服务器提供的停车场信息)来执行用于检测停车允许区域的处理。
以此方式,在步骤S101中,基于传感器检测信息(例如,摄像机的拍摄图像),或者基于传感器检测信息和AI预测数据,或者基于来自外部的输入信息来检测停车允许区域。
(步骤S202)
接下来,在步骤S202中,安装在车辆10上的信息处理装置的数据处理单元将在步骤S201中检测到的停车允许区域(例如,平行停车允许区域)设置为要分析的感兴趣区域(ROI)。
将参照图25说明具体示例。例如,如图25中的步骤S202所示,将平行停车允许区域设置为要分析的感兴趣区域(ROI)。
(步骤S203)
接下来,在步骤S203中,信息处理装置的数据处理单元检测感兴趣区域(ROI)中的停放车辆。
将参照图25说明具体示例。例如,如图25中的步骤S203所示,检测到作为感兴趣区域(ROI)的平行停车允许区域中的停放车辆。
(步骤S204)
接下来,在步骤S204中,信息处理装置的数据处理单元将在感兴趣区域(ROI)中检测到停放车辆的区域判定为不可停车区域。
(步骤S205)
接下来,信息处理装置的数据处理单元为在步骤S204中被判定为不可停车区域的存在停放车辆的区域显示不可停车区域识别用显示数据(红色框)。
将参照图26说明具体示例。例如,如图26中的步骤S205所示,在作为感兴趣区域(ROI)的平行停车允许区域中检测到停放车辆的区域上显示不可停车区域识别用显示数据(红色框)。
(步骤S206)
接下来,在步骤S206中,信息处理装置的数据处理单元将空闲区域标识符(空闲区域ID)设置在停放车辆之间的每个空闲区域(车位区域)上。
将参照图27说明具体示例。例如,如图27中的步骤S206所示,设置空闲区域ID=1、2、…,作为停放车辆之间的相应空闲区域识别符(空闲区域ID)。
(步骤S207)
接下来,在步骤S207中,信息处理装置的数据处理单元从被设置空闲区域标识符(空闲区域ID)的空闲区域中选择长度(空闲区域前后的停放车辆之间的间隔)小于阈值(车辆可停放长度)的空闲区域,并将所选择的区域判定为不可停车区域。
下面将参照图28说明具体示例。例如,如图28中的步骤S207所示,将具有空闲区域ID=1的空闲区域判定为空闲区域长度(空闲区域前后的停放车辆之间的间隔)小于阈值的空闲区域(车辆可停放长度),并且将该空闲区域判定为不可停车区域。
(步骤S208)
接下来,在步骤S208中,信息处理装置的数据处理单元在空闲区域长度(空闲区域前后的停放车辆之间的间隔)小于阈值(车辆可停放长度)的区域上显示不可停车区域识别用显示数据(红色框)。
将参照图28说明具体示例。例如,如图28中的步骤S208所示,在具有空闲区域ID=1且被判定为空闲区域长度(空闲区域前后的停放车辆之间的间隔)小于阈值(车辆可停放长度)的空闲区域上显示不可停车区域识别用显示数据(红色框)。
(步骤S209)
接下来,在步骤S209中,信息处理装置的数据处理单元将被设置标识符(空闲区域ID)的空闲区域之中的空闲区域长度(空闲区域前后的停放车辆之间的间隔)等于或大于阈值(车辆可停放长度)的空闲区域判定为“处理目标区域”。
将参照图29说明具体示例。例如,如图29中的步骤S209所示,将具有空闲区域ID=2且空闲区域长度(空闲区域前后的停放车辆之间的间隔)等于或大于阈值(车辆可停放长度)的空闲区域判定为“处理目标区域”。
(步骤S210)
接下来,在步骤S210中,信息处理装置的数据处理单元执行用于计算处理目标区域的空闲似然度(空闲可能性)的处理。
如上所述,空闲似然度(空闲可能性)是表示停车区域是空闲的可能性的指标值。
将参照图29和30说明由根据本发明的信息处理装置的数据处理单元执行的用于计算空闲似然度(空闲可能性)的处理的具体示例。
步骤S210中的用于计算空闲似然度(空闲可能性)的处理是对如下空闲区域执行的处理,在该空闲区域中,在处理目标区域内没有检测到停放车辆,并且该空闲区域被判定为空闲区域长度(空闲区域前后的停放车辆之间的间隔)等于或大于阈值(车辆可停放长度)的空闲区域。
具体地,例如,对图29所示的具有空闲区域ID=2的空闲区域执行用于计算空闲似然度(空闲可能性)的处理。
如图29所示,图29所示的具有空闲区域ID=2的空闲区域是没有被车辆10的摄像机11检测到停放车辆的空闲区域,并且是被判定为空闲区域长度(空闲区域前后的停放车辆之间的间隔)等于或大于阈值(车辆可停放长度)的空闲区域。
将参照图30来说明用于计算具有空闲区域ID=2的空闲区域的空闲似然度(空闲可能性)的处理的具体计算处理。
图30的步骤S210a是上面的(a)空闲似然度(空闲可能性)计算式。
如同上述第一实施例,按照以下计算式1计算每个空闲区域的空闲似然度(空闲可能性)。
空闲似然度(空闲可能性)(%)=(1-(遮挡区域面积)/(停车位区域的总面积))*100(%)...(计算式1)
注意,遮挡区域是在摄像机的拍摄图像中不能被确认的区域。例如,遮挡区域是不包括在摄像机的拍摄图像中并被诸如前方的车辆或柱的阴影部分等障碍物遮挡的区域。图29所示的具有空闲区域ID=2的灰色区域是遮挡区域,并且白色部分是被摄像机成像的可确认区域。
停车位区域的总面积是停车位的前后方向上的长度(d)与宽度(w)的乘积:d*w。
当根据上述计算式1计算空闲区域ID=2的空闲似然度(空闲可能性)时,
如图30中的步骤S210b所示,
空闲区域ID=2的空闲似然度(空闲可能性)=60%。
(步骤S211)
当在步骤S210中完成用于计算处理目标区域的空闲似然度(空闲可能性)的处理时,接下来,在步骤S211中,信息处理装置的数据处理单元将计算的空闲似然度(空闲可能性)与预定阈值(Th)进行比较,并判断计算的空闲似然度是否等于或大于阈值(Th)。
这里,阈值被设置为50%。
注意,阈值=50%是示例,并且可以不同地设置阈值的值。
如果计算的空闲似然度(空闲可能性)等于或大于阈值(Th),即等于或大于50%,则过程进入步骤S212。
另一方面,如果计算的空闲似然度(空闲可能性)小于阈值(Th),即小于50%,则过程进入步骤S214。
(步骤S212和S213)
当在步骤S210中计算的处理目标区域的空闲似然度(空闲可能性)等于或大于阈值(Th),即等于或大于50%时,执行步骤S212和S213中的处理。
具体地,在遮挡区域(在摄像机的拍摄图像中不能被确认的区域)之外的区域(即可以从摄像机的拍摄图像中确认的区域)等于或大于无法确认停放车辆的空闲区域(处理目标区域)的总面积的50%的情况下,执行步骤S212和S213中的处理。
在这种情况下,信息处理装置的数据处理单元在步骤S212中将该处理目标区域判定为可停车区域。
此外,在步骤S213中,在处理目标区域上显示可停车区域识别用显示数据(绿色框)。
将参照图30说明具体示例。
在图30中,示出了对图29所示的具有空闲区域ID=2的空闲区域的处理示例。
如图30中的步骤S211(“是”)所示,
此外,由于具有空闲区域ID=2的空闲区域的空闲似然度(空闲可能性)=60%等于或大于阈值(Th)=50%,因此步骤S211中的判定变为“是”。
即,在具有空闲区域ID=2的空闲区域中,除了遮挡区域(在摄像机的拍摄图像中不能被确认的区域)之外的区域(即可以从摄像机的拍摄图像中确认的区域)为空闲区域的总面积(d*w)的60%。
在这种情况下,如图30的最下级的步骤S212和S213所示,将具有空闲区域ID=2的空闲区域判定为可停车区域,并且将可停车区域识别用显示数据(绿色框)显示在具有空闲区域ID=2的空闲区域上。
在图31中,示出了如下具体示例:可停车区域识别用显示数据(绿色框)被显示在具有空闲区域ID=2的空闲区域上。
如图31所示,可停车区域识别用显示数据(绿色框)被显示在具有空闲区域ID=2的空闲区域上。
(步骤S214和S215)
当在步骤S210中计算的处理目标区域的空闲似然度(空闲可能性)等于或大于阈值(Th),即等于或大于50%时,执行步骤S214和S215中的处理。
具体地,在遮挡区域(在摄像机的拍摄图像中不能被确认的区域)之外的区域(即可以从摄像机的拍摄图像中确认的区域)小于无法确认停放车辆的停车位区域(处理目标区域)的总面积的50%的情况下,执行步骤S214和S215中的处理。
在这种情况下,信息处理设备的数据处理单元在步骤S214中将处理目标区域判定为可能可用区域。
此外,在步骤S215中,在处理目标区域上显示可能可用区域识别用显示数据(黄色框)。
(步骤S216)
在步骤S216中,判断已完成对所有处理目标区域的处理。
在存在未处理的处理目标区域的情况下,处理返回到步骤S210,并且对未处理的处理目标区域执行步骤S210及后续步骤中的处理。
当在步骤S216中判断出已完成对所有处理目标区域的处理时,处理结束。
以此方式,在第二实施例中,根据本发明的信息处理装置执行根据图23和24所示的流程图的处理,并且执行用于在被选择为可停车区域的感兴趣区域(ROI)的每个区域上显示以下三种类型的停车可能性识别图形数据(彩色框)的处理:
(1)可停车区域识别用显示数据(绿色框),
(2)不可停车区域识别用显示数据(红色框),
(3)可能可用区域识别用显示数据(黄色框)。
接下来,将参照图32说明第二实施例中的用于显示停车可能性识别图形数据(彩色框)的处理所需的参数的示例。
图32是用于说明停车区域分析单元151的处理和停车可能性识别图形数据生成单元152的处理的图,其中,停车区域分析单元151执行获取用于显示停车可能性识别图形数据(彩色框)的参数的处理,并且停车可能性识别图形数据生成单元152执行使用所获取的参数来显示停车可能性识别图形数据(彩色框)的处理。
如图32所示,停车区域分析单元151执行用于获取用于显示停车可能性识别图形数据(彩色框)的参数的处理。
停车区域分析单元151执行根据上面参照图23和24说明的流程图的处理,并判断被选择为可停车区域的感兴趣区域(ROI)的每个区域是一下区域中的哪个区域:
(1)可停车区域,
(2)不可停车区域,
(3)可能可用区域。
停车区域分析单元151还执行用于获取用于显示停车可能性识别图形数据(彩色框)的参数的处理。
该参数是包括以下数据的参数:
(a)空闲区域ID,
(b)停车可能性识别结果(可停车、不可停车、可能可用),
(c)空闲区域的中心位置坐标(x,y),
(d)空闲区域的形状(d,w),
(e)空闲区域的倾斜角(θ)。
停车区域分析单元151将这些参数输出到停车可能性识别图形数据生成单元152。
停车可能性识别图形数据生成单元152使用上述参数(a)至(e)生成停车可能性识别图形数据(彩色框)。
此外,停车可能性识别图形数据生成单元152将生成的停车可能性识别图形数据(彩色框)叠加并显示在显示单元153上显示的被选择为可停车区域的感兴趣区域(ROI)的每个区域上。
以此方式,在显示单元上显示如下图像,在该图像中,在每个区域上叠加以下任一种停车可能性识别图形数据(彩框),即:
(1)可停车区域识别用显示数据(绿色框),
(2)不可停车区域识别用显示数据(红色框),
(3)可能可用区域识别用显示数据(黄色框)。
用户(驾驶员)可以基于叠加并显示在感兴趣区域(ROI)的每个区域上的停车可能性识别图形数据(色框)的颜色立即判断出每个区域是可停车区域、不可停车区域还是可能可用区域。
[5.关于显示数据更新处理]
接下来,将说明显示数据更新处理。
如上所述,通过根据本发明的处理,在车辆10的显示单元12上,在停车区域图像的每个区域上叠加并显示以下停车可能性识别图形数据(彩色框),即,以下任一种:
(1)可停车区域识别用显示数据(绿色框),
(2)不可停车区域识别用显示数据(红色框),
(3)可能可用区域识别用显示数据(黄色框)。
随着车辆10的行驶而顺序地更新停车可能性识别图形数据(彩色框)。
在车辆10行驶时,安装在车辆10上的摄像机11的成像范围发生变化,并且例如,有可能在可能可用区域识别用显示数据(黄色框)的显示区域中检测到停放车辆。
在这种情况下,可以将可能可用区域识别用显示数据(黄色框)的显示区域上的停车可能性识别图形数据(彩色框)切换为不可停车区域识别用显示数据(红色框)。
此外,由于当摄像机11的成像范围发生变化时,可能可用区域识别用显示数据(黄色框)的显示区域中的遮挡区域发生变化,因此空闲似然度的值发生变化。
在空闲似然度发生变化且空闲似然度等于或大于阈值(Th)的情况下,可以将可能可用区域识别用显示数据(黄色框)的显示区域上的停车可能性识别图形数据(彩色框)切换为可停车区域识别用显示数据(绿色框)。
将参照图33所示的流程图说明由根据本发明的信息处理装置执行的显示数据更新处理序列。
将顺序说明图33所示的流程图的每个步骤中的处理。
注意,当开始根据图33所示的流程图的处理时,在车辆10的显示单元12上,在停车区域的图像的每个区域上叠加并显示以下停车可能性识别图形数据(彩色框),即,以下任意一种:
(1)可停车区域识别用显示数据(绿色框),
(2)不可停车区域识别用显示数据(红色框),
(3)可能可用区域识别用显示数据(黄色框)。
此外,在车辆10正在行驶,安装在车辆10上的摄像机11的成像范围根据需要而发生变化,并且因此顺序地更新由安装在车辆10上的信息处理装置输入的摄像机11的拍摄图像。
(步骤S301)
首先,在步骤S301中,安装在车辆10上的信息处理装置的数据处理单元分析摄像机11的最新拍摄图像,并判断在“可能可用区域识别用显示数据(黄色框)的显示区域”中是否检测到停放车辆。
在判定在“可能可用区域识别用显示数据(黄色框)的显示区域”中检测到停放车辆的情况下,过程进入步骤S302。
若没有检测到,则进入步骤S303。
(步骤S302)
在步骤S301中判定在“可能可用区域识别用显示数据(黄色框)的显示区域”中检测到停放车辆的情况下,信息处理装置的数据处理单元执行步骤S302中的处理。
在这种情况下,在步骤S302中,信息处理装置的数据处理单元将“可能可用区域识别用显示数据(黄色框)的显示区域”的停车可能性识别图形数据(彩色框)变更为不可停车区域识别用显示数据(红色框)。
(步骤S303)
另一方面,在步骤S301中没有在“可能可用区域识别用显示数据(黄色框)的显示区域”中没有检测到停放车辆的情况下,信息处理装置的数据处理单元执行步骤S303中的处理。
在这种情况下,在步骤S303中,信息处理装置的数据处理单元执行用于计算“可能可用区域识别用显示数据(黄色框)的显示区域”的空闲似然度(空闲可能性)的处理。
如上所述,空闲似然度(空闲可能性)是表示停车位区域空闲的可能性的指标值。
如上所述,根据下面的计算式1计算空闲似然度(空闲可能性)。
空闲似然度(空闲可能性)(%)=(1-(遮挡区域的面积)/(停车位区域总面积))*100(%)...(计算式1)
注意,如上所述,遮挡区域是在摄像机的拍摄图像中不能被确认的区域。随着车辆10的行驶,该遮挡区域根据摄像机11的成像范围的变化而顺序地变化。
注意,信息处理装置的数据处理单元顺序地执行用于计算“可能可用区域识别用显示数据(黄色框)的显示区域”的空闲似然度(空闲可能性)的处理,并更新计算值的数据。
(步骤S304)
接下来,在步骤S304中,信息处理设备的数据处理单元判断在步骤S303中计算的“可能可用区域识别用显示数据(黄色框)的显示区域”的最新空闲似然度(空闲可能性)计算值是否变得等于或大于阈值(Th)。
这里,阈值被设置为50%。
如果最新计算的空闲似然度(空闲可能性)等于或大于阈值(Th),即,等于或大于50%,则过程进入步骤S305。
另一方面,如果最新计算的空闲似然度(空闲可能性)小于阈值(Th),即小于50%,则过程进入步骤S306。
(步骤S305)
在判定在步骤S303中计算的“可能可用区域识别用显示数据(黄色框)的显示区域”的最新空闲似然度(空闲可能性)计算值变得等于或大于阈值(Th)的情况下,执行步骤S305中的处理。
在这种情况下,在步骤S305中,信息处理装置的数据处理单元将“可能可用区域识别用显示数据(黄色框)的显示区域”的停车可能性识别图形数据(彩色框)变更为可停车区域识别用显示数据(绿色框)。
(步骤S306)
在判定在步骤S303中计算的“可能可用区域识别用显示数据(黄色框)的显示区域”的最新空闲似然度(空闲可能性)计算值没有变得等于或大于阈值(Th)的情况下,执行步骤S306中的处理。
在这种情况下,信息处理设备的数据处理单元在步骤S306中判断“可能可用区域识别用显示数据(黄色框)的显示区域”是否在安装在车辆10上的摄像机11的成像范围之外。
在判定“可能可用区域识别用显示数据(黄色框)的显示区域”在安装在车辆10上的摄像机11的成像范围之外的情况下,结束对“可能可用区域识别用显示数据(黄色框)的显示区域”的显示数据更新处理。
另一方面,在“可能可用区域识别用显示数据(黄色框)的显示区域”没有在安装在车辆10上的摄像机11的成像范围之外的情况下,过程进入步骤S301,并且重复步骤S301中及随后步骤的处理。
以此方式,根据本发明的信息处理装置执行用于随着车辆10的行驶而顺序地更新车辆10的显示单元12上显示的停车可能性识别图形数据(彩色框)的处理。
即,分析摄像机11的最新拍摄图像,依次执行用于检测停放车辆以及计算空闲似然度(空闲可能性)的处理,并且执行用于基于处理结果更新显示单元12上显示的停车可能性识别图形数据(彩色框)的处理。
[6.关于车辆为自动驾驶车辆的情况下的自动驾驶处理]
接下来,将说明在车辆是自动驾驶车辆的情况下的自动驾驶处理。
在车辆是自动驾驶车辆的情况下,可以通过使用上述停车区域信息来执行利用自动驾驶的自动停车处理,上述停车区域信息即为如下区域的区域数据:
(1)上面显示有可停车区域识别用显示数据(绿色框)的可停车区域;
(2)上面显示有不可停车区域识别用显示数据(红色框)的不可停车区域;
(3)上面显示有可能可用区域识别用显示数据(黄色框)的可能可用区域。
将参照图34和35所示的流程图来说明由根据本发明的信息处理装置执行的自动驾驶控制处理序列。
将顺序说明图34和35所示的流程图的各步骤中的处理。
注意,在开始根据图34和35所示的流程图的处理时,在车辆10的显示单元12上,在停车区域的图像的每个区域上叠加并显示停车可能性识别图形数据(彩色框),即,以下任一数据:
(1)可停车区域识别用显示数据(绿色框);
(2)不可停车区域识别用显示数据(红色框);
(3)可能可用区域识别用显示数据(黄色框)。
此外,车辆10正在行驶,安装在车辆10上的摄像机11的成像范围根据需要而改变,因此,由安装在车辆10上的信息处理装置输入的摄像机11的拍摄图像被顺序地更新。
(步骤S401)
首先,在步骤S401中,安装在车辆10上的信息处理装置的数据处理单元(自动驾驶控制单元)在显示单元上显示的停车可能性识别图形数据(彩色框)中搜索可停车区域识别用数据(绿色框)或可能可用区域识别用显示数据(黄色框)的显示区域。
注意,这里,为了容易理解,将说明参照显示单元12的显示数据执行处理的示例。
作为实际处理,可以通过将用于指示每个区域单位的停车可能性数据的区域判定数据(即,每个区域是可停车区域、不可停车区域或可能可用区域中的哪一个)输入到自动驾驶控制单元中来执行处理,而没有参照显示单元上的显示数据。
(步骤S402)
接下来,在步骤S402中,信息处理装置的数据处理单元(自动驾驶控制单元)判断是否从显示单元上显示的停车可能性识别图形数据(彩色框)中检测到可停车区域识别用显示数据(绿色框)的显示区域。
在从显示单元上显示的停车可能性识别图形数据(彩色框)中检测到可停车区域识别用显示数据(绿色框)的显示区域的情况下,过程进入步骤S403。
另一方面,在判定没有从显示单元上显示的停车可能性识别图形数据(彩色框)中检测到可停车区域识别用显示数据(绿色框)的显示区域的情况下,过程进入步骤S404。
(步骤S403)
在步骤S402中判定从显示单元上显示的停车可能性识别图形数据(彩色框)中检测到可停车区域识别用显示数据(绿色框)的显示区域的情况下,执行步骤S403中的处理。
在这种情况下,在步骤S403中,信息处理装置的数据处理单元(自动驾驶控制单元)执行朝向可停车区域识别用显示数据(绿色框)的显示区域的自动驾驶,并在该区域上执行自动停车处理。
(步骤S404)
另一方面,在步骤S402中没有从显示单元上显示的停车可能性识别图形数据(彩色框)中检测到可停车区域识别用显示数据(绿色框)的显示区域的情况下,执行步骤S404中的处理。
在这种情况下,在步骤S404中,信息处理装置的数据处理单元(自动驾驶控制单元)判断是否从显示单元上显示的停车可能性识别图形数据(彩色框)中检测到可能可用区域识别用显示数据(黄色框)的显示区域。
在判定从显示单元上显示的停车可能性识别图形数据(彩色框)中检测到可能可用区域识别用显示数据(黄色框)的显示区域的情况下,过程进入步骤S405。
另一方面,在没有从显示单元上显示的停车可能性识别图形数据(彩色框)中检测到可能可用区域识别用显示数据(黄色框)的显示区域的情况下,处理返回到步骤S401,并且重复步骤S401及其后续步骤中的处理。
(步骤S405)
在步骤S404中判定从显示器上显示的停车可能性识别图形数据(彩色框)检测到可能可用区域识别用显示数据(黄色框)的显示区域的情况下,执行步骤S405中的处理。
在这种情况下,在步骤S405中,信息处理设备的数据处理单元(自动驾驶控制单元)执行朝向显示单元上显示的可能可用区域识别用显示数据(黄色框)的区域的自动驾驶。
(步骤S411)
接下来,在步骤S411中,信息处理装置的数据处理单元(自动驾驶控制单元)确认被设置为行驶目的地并被显示在显示单元上的可能可用区域识别用显示数据(黄色框)的区域是否变更为可停车区域识别用显示数据(绿色框)的显示。
在确认被设置为行驶目的地并被显示在显示单元上的可能可用区域识别用显示数据(黄色框)的区域变更为可停车区域识别用显示数据(绿色框)的显示的情况下,过程进入步骤S403。
在这种情况下,在步骤S403中,信息处理装置的数据处理单元(自动驾驶控制单元)执行朝向可停车区域识别用显示数据(绿色框)的显示区域的自动驾驶,并在该区域上执行自动停车处理。
在确认被设置为行驶目的地并被显示在显示单元上的可能可用区域识别用显示数据(黄色框)的区域没有变更为可停车区域识别用显示数据(绿色框)的显示的情况下,过程进入步骤S412。
(步骤S412)
在步骤S411中确认被设置为行驶目的地并且被显示在显示单元上的可能可用区域识别用显示数据(黄色框)的区域没有变更为可停车区域识别用显示数据(绿色框)的显示的情况下,执行步骤S412中的处理。
在这种情况下,在步骤S412中,信息处理装置的数据处理单元(自动驾驶控制单元)确认被设置为行驶目的地并被显示在显示单元上的可能可用区域识别用显示数据(黄色框)的区域是否变更为不可停车区域识别用显示数据(红色框)的显示。
在确认被设置为行驶目的地并被显示在显示单元上的可能可用区域识别用显示数据(黄色框)的区域变更为不可停车区域识别用显示数据(红色框)的显示的情况下,过程进入步骤S401。
在这种情况下,信息处理装置的数据处理单元(自动驾驶控制单元)返回到步骤S401,并且重复步骤S401及后续步骤中的处理。
即,重新开始用于在显示单元上显示的停车可能性识别图形数据(彩色框)中搜索可停车区域识别用显示数据(绿色框)或可能可用区域识别用显示数据(黄色框)的显示区域的处理,并且再次执行步骤S401及后续步骤中的处理。
另一方面,在被设置为行驶目的地并被显示在显示单元上的可能可用区域识别用显示数据(黄色框)的区域没有变更为不可停车区域识别用显示数据(红色框)的显示,处理返回到步骤S405,并且重复执行步骤S405及后续步骤中的处理。
即,在继续朝向被设置为行驶目的地并被显示在显示单元上的可能可用区域识别用显示数据(黄色框)的区域行驶的同时,重复执行步骤S405及后续步骤中的处理。
以此方式,在车辆10是自动驾驶车辆的情况下,可以通过使用停车区域信息来执行利用自动驾驶的自动停车处理,所述停车区域信息即为包括以下内容的区域数据:
(1)上面显示有可停车区域识别用显示数据(绿色框)的可停车区域,
(2)上面显示有不可停车区域识别用显示数据(红色框)的不可停车区域,
(3)上面显示有可能可用区域识别用显示数据(黄色框)的可能可用区域。
[7.关于根据本发明的信息处理装置的构造示例]
接下来,将说明根据本发明的信息处理装置的构造示例。
图36是示出安装在车辆10上的根据本发明的信息处理装置200的示例的框图。
如图36所示,信息处理装置200包括摄像机201、停车区域分析单元202、通信单元203、显示控制单元204、显示单元205、输入单元(UI)206和自动驾驶控制单元207。
停车区域分析单元202包括区域分析单元211、停放车辆检测单元212、空闲似然度(空闲可能性)计算单元213以及参数生成和输出单元214。
显示控制单元204包括停车可能性识别图形数据生成单元221、停车区域显示数据生成单元222和输出显示数据生成单元223。
注意,自动驾驶控制单元207不是必需的部件,而是在车辆是能够执行自动驾驶的车辆的情况下包括的部件。
摄像机201例如包括参照图2说明的拍摄车辆前方图像的摄像机11、参照图6说明的拍摄车辆的前方、后方、左侧和右侧图像的摄像机等。
注意,虽然在图36中未示出,但在自动驾驶车辆的情况下,安装有除摄像机之外的各种传感器。例如,除了摄像机之外,还使用诸如光检测和测距(LIDAR(LiDAR))或飞行时间(ToF)传感器等传感器。
注意,光检测和测距(LiDAR)和ToF传感器例如是输出诸如激光之类的光、分析物体反射的光并测量周围物体的距离的传感器。
如图所示,摄像机201的拍摄图像被输出到停车区域分析单元202的区域分析单元211和停放车辆检测单元212,并且此外还被输出到自动驾驶控制单元207。
通信单元203可以具有与外部设备(例如,停车场管理服务器、道路管理服务器等)通信的构造,从这些外部设备接收停车位区域信息,并将接收到的信息输入到停车区域分析单元202的区域分析单元211。
停车区域分析单元202的区域分析单元211执行用于分析停车区域的处理。
例如,在上述第一实施例中,即,在利用白线等明确划分停车位的停车场(例如参照图1或下文说明的并排停放停车场)的情况下,对各停车位区域的布置等进行分析。
此外,在各车辆的停车位不明确的可停车区域(例如第二实施例中说明的可平行停车区域等)中,将可停车区域设置为感兴趣区域(ROI),并执行用于从感兴趣区域等中检测空闲空间的处理。
停车区域分析单元202的区域分析单元211还执行图10所示的作为根据上述第一实施例的处理序列说明的流程图中的步骤S101中的处理以及图23所示的作为根据第二实施例的处理序列说明的流程图中的步骤S201中的处理。
即,执行以下处理:基于诸如摄像机201的拍摄图像等传感器检测信息,或者基于传感器检测信息和AI预测数据,或者基于经由通信单元203从外部输入的信息,检测停车位区域或空闲区域,并将区域标识符(ID)设置至检测到的停车位区域或空闲区域。
注意,作为如上所述的利用AI预测数据的区域估计处理,例如,可以使用利用了通过利用卷积神经网络(CNN)的学习算法生成的AI预测器的构造。
被区域分析单元211以区域为单位设置标识符(ID)的区域信息被输出到停放车辆检测单元212以及参数生成和输出单元214。
停放车辆检测单元212检测停放在诸如各停车位区域等各区域中的停放车辆。
以区域为单位的停放车辆检测信息被输出到空闲似然度(空闲可能性)计算单元213以及参数生成和输出单元214。
空闲似然度(空闲可能性)计算单元213执行用于计算未检测到停放车辆的区域的空闲似然度(空闲可能性)的处理。
如上所述,根据下面的计算式1计算每个区域的空闲似然度(空闲可能性)。
空闲似然度(空闲可能性)(%)=(1-(遮挡区域面积)/(停车位区域的总面积))*100(%)…(计算式1)
遮挡区域是在摄像机的拍摄图像中不能被确认的区域。
空闲似然度(空闲可能性)计算单元213将空闲似然度(空闲可能性)的值输出到参数生成和输出单元214。
参数生成和输出单元214生成用于显示停车可能性识别图形数据(彩色框)的处理所需的参数,并将该参数输出到显示控制单元204的停车可能性识别图形数据生成单元221。
由参数生成和输出单元214生成的参数是上面参照图18至20、32等说明的参数。即,该参数包括以下数据:
(a)停车位区域ID(或空闲区域ID),
(b)停车可能性识别结果(可停车、不可停车、可能可用),
(c)停车位区域(或空闲区域)的中心位置坐标(x,y),
(d)停车位区域(或空闲区域)的形状(d,w),
(e)停车位区域(或空闲区域)的倾斜角度(θ)。
显示控制单元204的停车可能性识别图形数据生成单元221使用上面的参数(a)至(e)生成停车可能性识别图形数据(彩色框)。
即,停车可能性识别图形数据(彩色框)是以区域为单位生成的,并且为以下任意一种:
(1)可停车区域识别用显示数据(绿色框),
(2)不可停车区域识别用显示数据(红色框),
(3)可能可用区域识别用显示数据(黄色框)。
由显示控制单元204的停车可能性识别图形数据生成单元221以区域为单位生成的停车可能性识别图形数据(彩色框)被输出到输出显示数据生成单元223。
显示控制单元204的停车区域显示数据生成单元222输入摄像机201的拍摄图像并生成关于停车场、可停车区域等的显示数据。
例如,生成了基于图2所示的对车辆10的前方进行成像的摄像机11的拍摄图像的停车场区域图像。
替代地,基于参照图6说明的所有以下四个摄像机或多个摄像机的拍摄图像来生成组合图像(鸟瞰图等),这四个摄像机包括:
(a)拍摄车辆10的前方图像的前视摄像机11F,
(b)拍摄车辆10的后方图像的后视摄像机11B,
(c)拍摄车辆10的左侧图像的左视摄像机11L,
(d)拍摄车辆10的右侧图像的右视摄像机11R。
由显示控制单元204的停车区域显示数据生成单元222生成的关于停车场、可停车区域等的显示数据被输出到输出显示数据生成单元223。
输出显示数据生成部223输入以下每条数据:
由停车可能性识别图形数据生成单元221以区域为单位生成的停车可能性识别图形数据(彩色框);
由停车区域显示数据生成单元222生成的关于停车场、可停车区域等的显示数据。
输出显示数据生成单元223输入这两条数据,生成将这些数据叠加的显示数据,并将该显示数据输出到显示单元205。
在显示单元205上显示如下图像,在该图像中,在诸如每个停车位区域等每个区域上叠加以下停车可能性识别图形数据(彩色框)或者显示该停车位区域,停车可能性识别图形数据(彩色框)即为以下任一种:
(1)可停车区域识别用显示数据(绿色框);
(2)不可停车区域识别用显示数据(红色框);
(3)可能可用区域识别用显示数据(黄色框)。
用户(驾驶员)可以基于叠加和显示在每个感兴趣区域的区域上的停车可能性识别图形数据(色框)的颜色立即判断出每个区域是可停车区域、不可停车区域还是可能可用区域。
输入单元(UI)206是例如用于以下处理的UI:用于由作为用户的驾驶员输入可停车空间搜索处理开始指令的处理、用于输入目标停车位置选择信息的处理。输入单元(UI)206可以具有使用形成在显示单元205上的触摸面板的构造。
输入单元(UI)206的输入信息被输入到停车区域分析单元202和自动驾驶控制单元207。
自动驾驶控制单元207例如响应于从输入单元(UI)206输入的停车请求而执行自动驾驶处理和自动停车处理。
由自动驾驶控制单元207执行的自动驾驶和自动停车处理作为根据上面的图34和图35所示的流程图的处理来执行。
[8.关于根据本发明的信息处理装置的硬件构造示例]
接下来,将参照图37说明根据本发明的信息处理装置的硬件构造示例。
注意,信息处理装置安装在车辆10中。图37所示的硬件构造是车辆10中的信息处理装置的硬件构造示例。
将说明图37所示的硬件构造。
中央处理单元(CPU)301用作数据处理单元,其根据只读存储器(ROM)302或存储单元308中存储的程序执行各种类型的处理。例如,执行根据上面的实施例中说明的序列的处理。随机存取存储器(RAM)303存储要由CPU 301执行的程序、数据等。CPU 301、ROM 302和RAM 303通过总线304彼此连接。
CPU 301经由总线304连接到输入/输出接口305,并且包括各种开关、触摸面板、麦克风和用户输入单元的状态数据获取单元以及诸如摄像机和LIDAR等各种传感器321的输入单元306和包括显示器、扬声器等的输出单元307连接到输入/输出接口305。
此外,输出单元307还输出用于车辆的驱动单元322的驱动信息。
CPU 301输入从输入单元306输入的命令、状态数据等,执行各种类型的处理,并例如将处理结果输出到输出单元307。
连接到输入/输出接口305的存储单元308包括例如硬盘等,并且存储由CPU 301执行的程序和各种类型的数据。通信单元309用作经由诸如互联网或局域网等网络进行数据通信的发送/接收单元,并且与外部装置进行通信。
此外,除了CPU之外,还可以设置图形处理单元(GPU)作为用于从摄像机输入的图像信息等的专用处理单元。
连接到输入/输出接口305的驱动器310驱动诸如磁盘、光盘、磁光盘或半导体存储器(例如存储卡)等可移动介质311,并记录或读取数据。
[9.关于车辆的构造示例]
接下来,将说明安装有根据本发明的信息处理装置的车辆的构造示例。
图38是示出安装有根据本发明的信息处理装置的车辆500(=车辆10)的车辆控制系统511的构造示例的框图。
车辆控制系统511设置在车辆500中并且执行与车辆500的行驶辅助和自动驾驶相关的处理。
车辆控制系统511包括车辆控制电子控制单元(ECU)521、通信单元522、地图信息累积单元523、全球导航卫星系统(GNSS)接收单元524、外部识别传感器525、车载传感器526、车辆传感器527、记录单元528、行驶辅助/自动驾驶控制单元529、驾驶员监控系统(DMS)530、人机界面(HMI)531和车辆控制单元532。
车辆控制电子控制单元(ECU)521、通信单元522、地图信息累积单元523、GNSS接收单元524、外部识别传感器525、车载传感器526、车辆传感器527、记录单元528、行驶辅助/自动驾驶控制单元529、驾驶员监控系统(DMS)530、人机接口(HMI)531和车辆控制单元532经由通信网络41彼此可通信地连接。网络241例如包括符合数字双向通信标准的车载通信网络、总线等,例如控制器局域网络(CAN)、本地互连网络(LIN)、局域网(LAN)、FlexRay(注册商标)或以太网(注册商标)。通信网络241可以根据要通信的数据的类型来选择性地使用,例如,CAN适用于与车辆控制相关的数据,并且以太网适用于大容量数据。注意,例如,车辆控制系统511的各单元可以使用适合于相对短程通信的无线通信(例如近场通信(NFC)或蓝牙(注册商标))而直接彼此连接,而不使用通信网络241。
注意,在下文中,在车辆控制系统511的各单元经由通信网络241进行通信的情况下,省略通信网络241的说明。例如,在车辆控制电子控制单元(ECU)521和通信单元522经由通信网络241进行通信的情况下,简单地描述为处理器和通信单元522进行通信。
车辆控制电子控制单元(ECU)521例如包括诸如中央处理单元(CPU)或微处理单元(MPU)等各种处理器。车辆控制电子控制单元(ECU)521控制车辆控制系统511的全部或部分功能。
通信单元522与车辆内部和外部的各种装置、另一车辆、服务器、基站等通信,并且发送和接收各种类型的数据。此时,通信单元522可以使用多种通信方案来执行通信。
将示意性地说明通信单元522可执行的与车辆外部的通信。通信单元522通过例如诸如第五代移动通信系统(5G)、长期演进(LTE)、专用短程通信(DSRC)等无线通信方案经由基站或接入点与存在于外部网络上的服务器(在下文中,称为外部服务器)等进行通信。通信单元522与之执行通信的外部网络的示例包括互联网、云网络、公司特定网络等。通信单元522与外部网络进行通信的通信方法没有特别限制,只要其是能够以等于或大于预定速度的通信速度以及以达到或长于预定距离的距离进行数字双向通信的无线通信方法即可。
此外,例如,通信单元522可以使用点对点(P2P)技术与存在于本车附近的终端进行通信。存在于本车附近的终端例如是由行人或自行车等以较低速度移动的移动体佩戴的终端、以位置固定的方式安装在商店等中的终端、或机器类型通信(MTC)终端。此外,通信单元522还可以执行V2X通信。V2X通信是指例如本车与另一车辆之间的通信,例如利用另一设备的车辆间通信、利用路边设备等的车辆与基础设施的通信、车辆与家庭的通信以及利用由行人携带的终端等的车辆与行人的通信。
例如,通信单元522可以从外部(通过空中)接收用于更新用于控制车辆控制系统511的操作的软件的程序。通信单元522还可以从外部接收地图信息、交通信息、关于车辆500的周围环境的信息等。此外,例如,通信单元522可以将关于车辆500的信息、关于车辆500的周围环境的信息等发送到外部。由通信单元522发送到外部的关于车辆500的信息的示例包括指示车辆500的状态的数据、来自识别单元573的识别结果等。此外,例如,通信单元522执行与诸如eCall等车辆紧急呼叫系统相对应的通信。
将示意性地说明通信单元522可执行的与车辆内部的通信。通信单元522可以使用例如无线通信与车辆中的每个设备进行通信。通信单元522可以通过例如允许通过无线通信以等于或高于预定速度的通信速度进行数字双向通信的通信方案(例如无线LAN、蓝牙、NFC或无线USB(WUSB))来与车辆中的设备进行无线通信。通信单元522执行的通信不限于此,并且通信单元522还可以使用有线通信与车辆中的每个设备进行通信。例如,通信单元522可以经由连接到连接端子(未示出)的电缆通过有线通信与车辆中的每个设备进行通信。通信单元522可以通过允许通过有线通信以等于或高于预定速度的通信速度进行数字双向通信的通信方案(例如,通用串行总线(USB)、高清多媒体接口(HDMI)(注册商标)、移动高清链路(MHL)等)与车辆中的每个设备进行通信。
这里,车辆内的设备例如表示未连接到车辆内的通信网络241的设备。作为车载设备,例如可以考虑由驾驶员等乘员携带的移动设备或可穿戴装置、携带到车辆上并临时安装的信息装置等。
例如,通信单元522接收由道路交通信息通信系统(车辆信息和通信系统(VICS)(注册商标))发送的电磁波,例如无线电波信标、光学信标或FM多路复用广播。
地图信息累积单元523累积从外部获取的地图和由车辆500创建的地图中的一者或两者。例如,地图信息累积单元523累积三维高精度地图、精度比高精度地图低但覆盖范围更广的全球地图等。
高精度地图例如是动态地图、点云地图、矢量图等。动态地图例如是包括动态信息、半动态信息、半静态信息和静态信息四层的地图,并且从外部服务器等提供给车辆500。点云地图是包含点云(点云数据)的地图。这里,矢量地图表示适用于高级驾驶员辅助系统(ADAS)的地图,其中诸如车道和信号位置等交通信息与点云地图相关联。
点云地图和矢量图可以从例如外部服务器等提供,或者可以由车辆500创建为用于基于雷达552、LIDAR553等的感测结果与稍后说明的本地地图进行匹配的地图,并可以被累积在地图信息累积单元523中。此外,例如,在从外部服务器等提供高精度地图的情况下,例如,从外部服务器等获取关于车辆500从现在开始行驶的计划路径的数百平方米的地图数据,以便减少通信量。
GNSS接收单元524从GNSS卫星接收GNSS信号并获取车辆500的位置信息。接收到的GNSS信号被提供给行驶辅助/自动驾驶控制单元529。注意,GNSS接收单元524可以获取位置信息。例如,使用信标来获取信息,但不限于使用GNSS信号的方法。
外部识别传感器525包括用于识别车辆500外部的情况的各种传感器,并将来自每个传感器的传感器数据提供给车辆控制系统511的每个单元。外部识别传感器525中包括的传感器的类型和数量可以是根据需要来确定。
例如,外部识别传感器525包括摄像机551、雷达552、光检测和测距、激光成像检测和测距(LIDAR)553以及超声传感器554。但不限于此,并且外部识别传感器525可以包括摄像机551、雷达552、LIDAR553和超声传感器554中的一种或多种类型的传感器。摄像机551、雷达552、LIDAR553和超声传感器554的数量没有特别限制,只要传感器可以设置在车辆500中即可。此外,外部识别传感器525可以包括其它类型的传感器,但不限于本示例中说明的类型的传感器。稍后将说明外部识别传感器525中包括的每个传感器的感测区域的示例。
注意,摄像机551的成像方法不受特别限制,只要其是能够距离测量的成像方法即可。例如,作为摄像机551,可以根据需要应用诸如飞行时间(ToF)摄像机、立体摄像机、单目摄像机和红外摄像机等各种成像方法的摄像机。不限于此,并且摄像机551可以简单地获取拍摄图像而不管距离测量。
此外,例如,外部识别传感器525可以包括环境传感器,以用于检测车辆500的环境。环境传感器是用于检测诸如天气、气候或亮度等环境的传感器,并且可以例如包括诸如雨滴传感器、雾传感器、阳光传感器、雪传感器和照度传感器等各种传感器。
此外,例如,外部识别传感器525包括用于检测车辆500周围的声音、声源的位置等的麦克风。
车载传感器526包括用于检测关于车辆内部的信息的各种传感器,并且将来自每个传感器的传感器数据提供给车辆控制系统511的每个单元。车载传感器526中包括的各种传感器的类型和数量没有特别限制,只要它们能够实际安装在车辆500中即可。
例如,车载传感器526可以包括摄像机、雷达、座位传感器、方向盘传感器、麦克风和生物传感器中的一个或多个传感器。作为车载传感器526中包括的摄像机,例如,可以使用能够测量距离的各种成像方法的摄像机,例如ToF摄像机、立体摄像机、单眼摄像机和红外摄像机。不限于此,包括在车载传感器526中的摄像机可以简单地获取拍摄图像,而与距离测量无关。车载传感器526中所包括的生物传感器设置在例如座椅、方向盘等中,并且检测诸如驾驶员等乘员的各种类型的生物信息。
车辆传感器527包括用于检测车辆500的状态的各种传感器,并将来自每个传感器的传感器数据提供给车辆控制系统511的每个单元。车辆传感器527中包括的各种传感器的类型和数量没有特别限制,只要它们能够实际安装在车辆500中即可。
例如,车辆传感器527包括速度传感器、加速度传感器、角速度传感器(陀螺仪传感器)以及集成了这些传感器的惯性测量单元(IMU)。例如,车辆传感器527包括检测方向盘转向角的转向角传感器、横摆率传感器、检测加速踏板操作量的加速传感器、以及检测制动踏板操作量的制动传感器。例如,车辆传感器527包括检测发动机或电动机的转数的旋转传感器、检测轮胎气压的气压传感器、检测轮胎滑移率的滑移率传感器、以及检测车轮转速的轮速传感器。例如,车辆传感器527包括检测电池的剩余量和温度的电池传感器以及检测外部冲击的冲击传感器。
记录单元528包括非易失性存储介质或易失性存储介质中的至少一种,并且存储数据和程序。记录单元528例如用作电可擦除可编程只读存储器(EEPROM)和随机存取存储器(RAM)、以及诸如硬盘驱动器(HDD)、半导体存储装置等磁存储装置。作为存储介质,可以应用光存储装置、磁光存储装置。记录单元528记录车辆控制系统511的每个单元使用的各种程序和数据。例如,记录单元528包括事件数据记录器(EDR)和自动驾驶数据存储系统(DSSAD),并且记录车辆500的诸如事故等事件之前和之后的状态以及由车载传感器526获取的生物信息。
行驶辅助/自动驾驶控制单元529控制车辆500的行驶辅助和自动驾驶。例如,行驶辅助/自动驾驶控制单元529包括分析单元561、行动计划单元562和操作控制单元563。
分析单元561对车辆500和车辆500周围的情况执行分析处理。分析单元561包括自身位置估计单元571、传感器融合单元572和识别单元573。
自身位置估计单元571基于来自外部识别传感器525的传感器数据和地图信息累积单元523中累积的高精度地图来估计车辆500的自身位置。自身位置估计单元571基于来自外部识别传感器525的传感器数据生成局部地图,并且执行局部地图与高精度地图的匹配,以估计车辆500的自身位置。车辆500的位置例如以后轮对车轴的中心为基准。
局部地图例如是利用同步定位和建图(SLAM)、占用网格地图等技术创建的三维高精度地图。三维高精度地图例如是上述的点云地图等。占用网格地图是将车辆500周围的三维或二维空间划分为预定尺寸的网格(格子)的地图,并且以网格为单位表示目标的占据状态。目标的占用状态例如由目标的存在或不存在或者存在概率来表示。局部地图还用于例如识别单元573对车辆500外部的情况进行的检测处理和识别处理。
注意,自身位置估计单元571可以基于GNSS信号和来自车辆传感器527的传感器数据来估计车辆500的自身位置。
传感器融合单元572执行用于组合多个不同类型的传感器数据(例如,从摄像机551提供的图像数据和从雷达552提供的传感器数据)的传感器融合处理,以获取新信息。用于组合不同类型的传感器数据的方法包括整合、融合、关联等。
识别单元573执行用于检测车辆500外部的情况的检测处理和用于识别车辆500外部的情况的识别处理。
例如,识别单元573基于来自外部识别传感器525的信息、来自自身位置估计单元571的信息、来自传感器融合单元572的信息等对车辆500外部的情况进行检测处理和识别处理。
具体地,例如,识别单元573对车辆500周围的物体执行检测处理、识别处理等。物体检测处理例如是检测物体的存在与否、大小、形状、位置、运动等的处理。物体处理例如是用于识别诸如物体的类型等属性或者识别特定物体的处理。然而,检测处理和识别处理不一定明确分开,并且可以重叠。
例如,识别单元573通过基于雷达传感器553、雷达552等的传感器数据执行聚类以针对点云的每个聚类对点云进行分类来检测车辆500周围的物体。因此,检测了车辆500周围的物体的存在与否、大小、形状和位置。
例如,识别单元573通过追踪以跟随通过聚类而分类的点云的簇的运动来检测车辆500周围的物体的运动。因此,检测了车辆500周围的物体的速度和行进方向(移动矢量)。
例如,识别单元573在从摄像机551提供的图像数据中检测或识别车辆、人、自行车、障碍物、建筑物、道路、交通灯、交通标志、道路标志等。此外,可以通过执行诸如语义分割等识别处理来识别车辆500周围的物体的类型。
例如,识别单元573可以基于地图信息累积单元523中累积的地图、自身位置估计单元571的自身位置估计结果以及识别单元573对车辆500周围的物体的识别结果来执行用于识别车辆500周围的交通规则的处理。通过该处理,识别单元573可以识别信号的位置和状态、交通标志和道路标志的内容、交通规则的内容、可行驶车道等。
例如,识别单元573可以对车辆500的周围环境执行识别处理。可以将天气、温度、湿度、亮度、路面状况等视为识别单元573要识别的周围环境。
行动计划单元562创建车辆500的行动计划。例如,行动计划单元562通过执行路径规划和路径跟随的处理来创建行动计划。
注意,全局路径规划(Global path Planning)是用于规划从起点到终点的粗略路径的处理。该路径规划被称为轨迹规划,并且还包括考虑到车辆500在由路径规划规划的路径中的运动特性而允许车辆500附近的安全且平稳的行驶的轨迹生成(局部路径规划)处理。路径规划可以区别于长期路径规划,并且启动生成可以区别于短期路径规划或局部路径规划。安全第一路径代表类似于启动生成、短期路径规划或局部路径规划的概念。
路径跟随是用于规划在计划时间内安全且准确地在由路径规划规划的路径上行驶的操作的处理。例如,行动计划单元562可以基于路径跟踪处理的结果来计算车辆500的目标速度和目标角速度。
操作控制单元563控制车辆500的操作,以实现由行动计划单元562创建的行动计划。
例如,动作控制单元563通过控制后述的车辆控制单元532所包含的转向控制单元581、制动控制单元582以及驱动控制单元583来控制加减速度以及方向,使得车辆500在由轨道规划计算出的轨道上行驶。例如,操作控制单元563执行用于实现ADAS功能的协作控制,ADAS功能例如是碰撞避免或冲击减轻、跟随行驶、车速保持行驶、本车的碰撞警告或本车的车道偏离警告。例如,操作控制单元563执行用于自动驾驶等的协作控制,其中车辆不依赖于驾驶员的操作而自主地行驶。
DMS 530基于来自车载传感器526的传感器数据、输入到稍后说明的HMI 531的输入数据等来执行对驾驶员的认证处理、对驾驶员状态的识别处理等。在这种情况下,由DMS530识别的驾驶员状态例如是身体状况、警觉性、集中程度、疲劳程度、视线方向、醉酒程度、驾驶操作、姿势等。
注意,DMS 530可以执行用于认证除驾驶员之外的乘员的处理以及用于识别乘员的状态的处理。此外,例如,DMS 530可以基于来自车载传感器526的传感器数据来执行用于识别车辆中的状况的处理。要识别的车辆中的状况例如是温度、假定湿度、亮度、气味等。
HMI 531接收各种类型的数据、指令等的输入,并且向驾驶员等呈现各种类型的数据。
将示意性地说明HMI 531的数据输入。HMI 531包括供人输入数据的输入设备。HMI531基于利用输入装置输入的数据、指令等生成输入信号,并将输入信号提供给车辆控制系统511的各个单元。HMI 531例如包括作为输入设备的诸如触摸面板、按钮、开关、控制杆等操作器。不限于此,HMI 531还可以包括能够通过除了手动操作之外的诸如语音或手势等方法来输入信息的输入设备。此外,HMI 531可以使用例如使用红外线或无线电波的遥控设备或者与车辆控制系统511的操作相对应的诸如移动设备或可穿戴设备等外部连接设备作为输入设备。
将示意性地说明HMI 531对数据的呈现。HMI 531生成关于乘员或车辆外部的视觉信息、听觉信息和触觉信息。此外,HMI 531执行用于控制每条生成的信息的输出、输出内容、输出定时、输出方法等的输出控制。HMI 531生成并输出例如由操作屏幕的图像或光指示的信息、车辆500的状态显示、警告显示、指示车辆500周围的情况的监视图像等,作为视觉信息。此外,HMI 531生成并输出由诸如语音引导、警告声音或警告消息等声音指示的信息,作为听觉信息。此外,HMI 531生成并输出例如通过力、振动、运动等给予乘员触感的信息,作为触觉信息。
作为HMI 531用来输出视觉信息的输出设备,例如,可以应用通过自身显示图像来呈现视觉信息的显示设备或者通过投影图像来呈现视觉信息的投影仪设备。注意,除了具有普通显示器的显示设备,显示设备可以是在乘员的视野中显示视觉信息的设备,例如平视显示器、透射式显示器、或者具有增强现实(AR)功能的可穿戴设备。此外,HMI 531可以使用车辆500中设置的导航设备、仪表板、摄像机监控系统(CMS)、电子镜、灯等中包括的显示设备作为输出视觉信息的输出设备。
作为HMI 531用来输出听觉信息的输出设备,例如可以应用音频扬声器、耳麦或耳机。
作为HMI 531用来输出触觉信息的输出装置,例如,可以应用使用触觉技术的触觉元件。触觉元件例如设置在被车辆500的乘员触碰的部分中,例如方向盘或座椅。
车辆控制单元532控制车辆500的各个单元。车辆控制单元532包括转向控制单元581、制动控制单元582、驱动控制单元583、车身系统控制单元584、灯光控制单元585、和喇叭控制单元586。
转向控制单元581进行车辆500的转向系统状态的检测、控制等。转向系统例如包括包含方向盘等的转向机构、电动助力转向装置等。转向控制单元581例如包括用于控制转向系统的控制单元(例如,ECU)、用于驱动转向系统的致动器等。
制动控制单元582执行车辆500的制动系统状态的检测、控制等。制动系统包括例如包含制动踏板等的制动机构、防抱死制动系统(ABS)、再生制动机构等。制动控制单元582例如包括用于控制制动系统的控制单元(例如,ECU)等。
驱动控制单元583进行车辆500的驱动系统状态的检测、控制等。驱动系统例如包括加速踏板、用于产生驱动力的驱动力产生装置(例如,内燃机或驱动马达)、用于将驱动力传递至车轮的驱动力传递机构等。驱动控制单元583例如包括用于控制驱动系统的控制单元(例如,ECU)等。
车身系统控制单元584执行车辆500的车身系统状态的检测、控制等。车身系统包括例如无钥匙进入系统、智能钥匙系统、电动车窗装置、电动座椅、空调、安全气囊、安全带、变速杆等。车身系统控制单元584例如包括用于控制车身系统的控制单元(例如,ECU)等。
车灯控制单元585执行车辆500的各种灯的状态的检测、控制等。要控制的灯例如是车前灯、车后灯、雾灯、转向信号灯、刹车灯、投射灯、保险杠指示器等。车灯控制单元585包括用于执行光控制的控制单元(例如,ECU)等。
喇叭控制单元586执行车辆500的车辆喇叭状态的检测、控制等。喇叭控制单元586例如包括用于控制汽车喇叭的控制单元(例如,ECU)等。
图39是示出图38中的外部识别传感器525中的摄像机551、雷达552、LIDAR553、超声传感器554等的感测区域的示例的图。注意,图39示意性地示出了从上方观察的车辆500,其中左端侧是车辆500的前端(前)侧,并且右端侧是车辆500的后端(后)侧。
感测区域591F和591B示出了超声传感器554的感测区域的示例。感测区域591F通过多个超声传感器554覆盖车辆500的前端周围的区域。感测区域591B通过多个超声传感器554覆盖车辆500的后端周围的区域。
感测区域591F和591B中的感测结果例如用于车辆500的停车辅助等。
感测区域592F至592B示出了雷达552的中短距离的感测区域的示例。感测区域592F在车辆500的前侧覆盖比感测区域591F更远的位置。感测区域592B在车辆500的后侧覆盖比感测区域591B更远的位置。感测区域592L在车辆500的后侧覆盖比感测区域591B更远的位置。感测区域592R覆盖车辆500的左侧表面的后侧周围的区域。感测区域592R覆盖车辆500的右侧表面的后侧周围的区域。
感测区域592F中的感测结果用于例如存在于车辆500的前侧的车辆、行人等的检测等。感测区域592B中的感测结果用于例如防止车辆500的后侧碰撞的功能等。感测区域592L和592R中的感测结果用于例如车辆500的侧面盲区中的物体的检测等。
感测区域593F至593B示出了摄像机551的感测区域的示例。感测区域593F在车辆500的前侧覆盖比感测区域592F更远的位置。感测区域593B在车辆500的后侧覆盖比感测区域592F更远的位置。感测区域593L覆盖车辆500的左侧面周围的区域。感测区域593R覆盖车辆500右侧面周围的区域。
感测区域593F中的感测结果可以用于例如交通灯或交通标志的识别、车道偏离防止辅助系统以及自动前灯控制系统。感测区域593B中的感测结果可以用于例如停车辅助、环视系统等。感测区域593L和593R中的感测结果可以用于例如环视系统。
感测区域594示出了LIDAR553的感测区域的示例。感测区域594在车辆500的前侧覆盖比感测区域593F更远的位置。另一方面,感测区域594在左右方向上的范围窄于感测区域593F。
感测区域594中的感测结果用于例如诸如邻近车辆等物体的检测。
感测区域595示出了长距离雷达552的感测区域的示例。
感测区域595在车辆500的前侧覆盖比感测区域594更远的位置。另一方面,感测区域595在左右方向上的范围窄于感测区域594。
感测区域595中的感测结果例如用于自适应巡航控制(ACC)、紧急制动、避免碰撞等。
注意,外部识别传感器525中包括的传感器(摄像机551、雷达552、LIDAR553、超声传感器554)各自的感测区域可以具有不同于图39中的构造的各种构造。具体地,超声传感器554还可以在车辆500的侧面进行感测,或者雷达传感器553可以在车辆500的后侧进行感测。此外,每个传感器的安装位置不限于上述每个示例。另外,传感器的数量可以是一个或多个。
[10.本发明的构造概述]
如上所述,已经参考特定实施例详细说明了本发明的实施例。然而,显然,本领域技术人员可以在不脱离本发明的主旨的情况下修改或替换这些实施例。即,本发明已经以示例的形式公开,并且不应该以限制的方式解释。为了确定本发明的主旨,应当考虑权利要求。
注意,本文公开的技术可以具有以下构造。
(1)一种信息处理装置,其包括:
停车区域分析单元,其分析安装在车辆上的摄像机的拍摄图像,并分析是否能够以车位区域为单位停放车辆;和
显示控制单元,其基于所述停车区域分析单元的分析结果生成以车位区域为单位的停车可能性识别图形数据,并将所述停车可能性识别图形数据叠加并显示在所述摄像机的拍摄图像上或基于该拍摄图像生成的组合图像上,其中,
所述停车区域分析单元:
针对从所述摄像机的拍摄图像中没有被检测到停放车辆的车位区域,计算从所述摄像机的拍摄图像中不能被确认的遮挡区域相对于总车位区域面积的比例,并且
执行判断处理,以根据计算的比例的值来判断车位区域是可停车区域还是可能可用区域,并且
所述显示控制单元:
根据所述判断处理的结果,叠加并显示可停车区域和可能可用区域之间不同的图形数据。
(2)根据(1)所述的信息处理装置,其中,
所述显示控制单元:
生成包括以下(a)至(c)的停车可能性识别图像数据,作为所述以车位区域为单位的停车可能性识别图形数据:
(a)可停车区域识别用显示数据,
(b)不可停车区域识别用显示数据,以及
(c)可能可用区域识别用显示数据,
并且,在停车区域图像的每个车位区域上叠加并显示(a)至(c)中的任一条停车可能性识别图形数据。
(3)根据(1)或(2)所述的信息处理装置,其中,
所述停车区域分析单元:
将从所述摄像机的拍摄图像中被检测到停放车辆的车位区域判定为不可停车区域,
针对从所述摄像机的拍摄图像中没有被检测到停放车辆的车位区域,基于所述遮挡区域相对于总车位区域面积的比例,计算车位区域的用于表示空闲可能性的空闲似然度,
如果计算的空闲似然度等于或大于规定阈值,则将该车位区域判定为可停车区域,
如果计算的空闲似然度小于规定阈值,则将该车位区域判定为可能可用区域,并且
所述显示控制单元:
根据所述停车区域分析单元的以每个车位区域为单位的判断结果,在每个车位区域上叠加并显示(a)至(c)中的任一条停车可能性识别图形数据。
(4)根据(3)所述的信息处理装置,其中,
所述停车区域分析单元:
根据计算式1计算从所述摄像机的拍摄图像中没有被检测到停放车辆的车位区域的用于表示空闲可能性的空闲似然度:
空闲似然度(空闲可能性)(%)=(1-(遮挡区域面积)/(总车位区域面积))*100(%)...计算式1,
然而,遮挡区域是从所述摄像机的拍摄图像中不能被确认的区域。
(5)根据(1)至(4)中任一项所述的信息处理装置,其中,
所述显示控制单元:
生成以下(a)至(c)的作为具有不同颜色的图形数据的停车可能性识别图形数据,作为所述以车位区域为单位的停车可能性识别图形数据,
(a)可停车区域识别用显示数据,
(b)不可停车区域识别用显示数据,以及
(c)可能可用区域识别用显示数据。
(6)根据(1)至(5)中任一项所述的信息处理装置,其中,
所述显示控制单元:
生成用于表示车位区域外形的框状图形数据,作为所述以车位区域为单位的停车可能性识别图形数据。
(7)根据(1)至(6)中任一项所述的信息处理装置,其中,
所述停车区域分析单元:
从所述摄像机的拍摄图像中检测被明确指示在停车允许区域中的停车位区域,并且
分析是否能够以检测到的停车位区域为单位停放车辆。
(8)根据(1)至(7)中任一项所述的信息处理装置,其中,
所述停车区域分析单元:
从所述摄像机的拍摄图像中检测停车允许区域,
从检测到的停车允许区域中检测停放车辆,
对检测到的停放车辆的停车区域与空闲空间进行划分,并设定车位区域,
分析是否能够以所设定的车位区域为单位停放车辆。
(9)根据(8)所述的信息处理装置,其中,
所述停车区域分析单元:
检测路边的平行停车区域作为所述停车允许区域。
(10)根据(1)至(9)中任一项所述的信息处理装置,其中,
所述停车区域分析单元:
利用AI预测数据来估计作为用来分析是否能够停放车辆的单位的车位区域。
(11)根据(10)所述的信息处理装置,其中,
所述AI预测数据包括利用AI预测器生成的数据,所述AI预测器是通过利用卷积神经网络(CNN)的学习算法生成的。
(12)根据(1)至(11)中任一项所述的信息处理装置,其中,
所述停车区域分析单元:
利用从外部设备接收的信息来确定作为用来分析是否能够停放车辆的单位的车位区域。
(13)根据(1)至(12)中任一项所述的信息处理装置,其中,
所述显示控制单元:
基于所述摄像机的拍摄图像生成包括从上方观察停车区域的鸟瞰图的停车区域图像,并将停车可能性识别图形数据叠加并显示在所生成的包括鸟瞰图的停车区域图像的每个车位区域上。
(14)根据(1)至(13)中任一项所述的信息处理装置,其中,
所述停车区域分析单元:
顺序地输入所述摄像机的随着车辆的行驶而变化的拍摄图像,基于最新的输入图像重复执行用于分析是否能够以车位区域为单位停放车辆的处理,并顺序地更新分析数据,
所述显示控制单元:
基于所述停车区域分析单元的最新分析结果,执行用于顺序地更新所述以车位区域为单位的停车可能性识别图形数据的处理。
(15)根据(14)所述的信息处理装置,其中,
对于被判定为可能可用区域的车位区域,
在从所述摄像机的最新拍摄图像中被检测到停放车辆的情况下,
所述停车区域分析单元:
将该车位区域变更为不可停车区域。
(16)根据(14)或(15)所述的信息处理装置,其中,
对于被判定为可能可用区域的车位区域,
在基于所述摄像机的最新拍摄图像计算的空闲似然度等于或大于规定阈值的情况下,
所述停车区域分析单元:
将该车位区域变更为可停车区域。
(17)根据(1)至(16)中任一项所述的信息处理装置,其包括:
自动驾驶控制单元,其中,
所述自动驾驶控制单元执行自动驾驶,以便在被所述停车区域分析单元判定为可停车区域的区域中停车。
(18)根据(17)所述的信息处理装置,其中,
在不存在被所述停车区域分析单元判定为可停车区域的区域的情况下,
所述自动驾驶控制单元:
朝向所述可能可用区域行驶,并且在所述可能可用区域变更为可停车区域的情况下,执行自动驾驶以在所述可停车区域中停车。
(19)一种由信息处理装置执行的信息处理方法,其包括:
停车区域分析步骤,其通过停车区域分析单元,分析安装在车辆上的摄像机的拍摄图像,并分析是否能够以车位区域为单位停放车辆;和
显示控制步骤,其通过显示控制单元,基于所述停车区域分析单元的分析结果生成以车位区域为单位的停车可能性识别图形数据,并将所述数据叠加并显示在所述摄像机的拍摄图像上或基于该拍摄图像生成的组合图像上,其中,
在所述停车区域分析步骤中,所述停车区域分析单元:
针对从所述摄像机的拍摄图像中没有被检测到停放车辆的车位区域,计算从所述摄像机的拍摄图像中不能被确认的遮挡区域相对于总车位区域面积的比例,并且
执行判断处理,以根据计算的比例的值来判断车位区域是可停车区域还是可能可用区域,以及
在所述显示控制步骤中,所述显示控制单元:
根据所述判断处理的结果,叠加并显示可停车区域和可能可用区域之间不同的图形数据。
(20)一种用于使信息处理装置执行信息处理的程序,所述信息处理:
使停车区域分析单元执行停车区域分析步骤,以分析安装在车辆上的摄像机的拍摄图像,并分析是否能够以车位区域为单位停放车辆;和
使显示控制单元执行显示控制步骤,以基于所述停车区域分析单元的分析结果生成以车位区域为单位的停车可能性识别图形数据,并将所述数据叠加并显示在所述摄像机的拍摄图像上或基于该拍摄图像生成的组合图像上,其中,
在所述停车区域分析单元的所述停车区域分析步骤中,
执行以下处理:针对从所述摄像机的拍摄图像中没有被检测到停放车辆的车位区域,计算从所述摄像机的拍摄图像中不能被确认的遮挡区域相对于总车位区域面积的比例,并且
执行判断处理,以根据计算的比例的值来判断车位区域是可停车区域还是可能可用区域,以及
在所述显示控制单元的所述显示控制步骤中,
根据所述判断处理的结果,叠加并显示可停车区域和可能可用区域之间不同的图形数据。
(21)一种信息处理装置,其包括:
停车区域分析单元,其:
分析单元分析安装在车辆上的摄像机的拍摄图像,
指定从拍摄图像中没有检测到停放车辆的车位区域,
计算从拍摄图像不能被确认的遮挡区域的面积相对于车位区域的面积的比例,并且
根据该比例判断车位区域是可停车区域还是可能可用区域。
(22)一种信息处理方法,其包括:
分析由安装在车辆上的摄像机拍摄的拍摄图像;
指定从拍摄图像中没有检测到停放车辆的车位区域,
计算从拍摄图像不能被确认的遮挡区域的面积相对于车位区域的面积的比例,并且
根据该比例判断车位区域是可停车区域还是可能可用区域。
此外,这里说明的一系列处理可以通过硬件、软件或者通过组合硬件和软件获得的构造来执行。在通过软件执行处理的情况下,可以将记录有处理序列的程序安装在并入专用硬件中的计算机的存储器中,并执行,或者可以将程序安装在能够执行各种类型的处理的通用计算机中,并执行。例如,程序可以预先记录在记录介质中。除了从记录介质安装到计算机中之外,还可以经由诸如局域网(LAN)或互联网等网络接收程序并将其安装在诸如内部硬盘等记录介质中。
注意,这里的各种类型的处理不仅可以根据说明按时间顺序执行,而且还可以根据执行处理的装置的处理能力或根据需要并行或单独地执行。此外,这里说明的系统是多个设备的逻辑集合构造,存在每个构造的设备被容纳在同一壳体中的情况。然而,系统不限于其中每个构造的设备位于同一壳体中的系统。
工业应用性
如上所述,根据本发明实施例的构造,实现了根据停车位区域中的遮挡区域的比例来判断可停车区域或可能可用区域并根据判断结果执行不同的标识显示处理的构造。
具体地,例如,本发明包括停车区域分析单元和显示控制单元,其中,停车区域分析单元分析摄像机拍摄图像并分析车辆是否能够以车位区域为单位进行停放,而显示控制单元基于分析结果生成以车位区域为单位的停车可能性识别图形数据,并将该数据叠加并显示在摄像机拍摄图像上。针对从摄像机拍摄图像中没有被检测到停放车辆的车位区域,停车区域分析单元计算遮挡区域相对于总车位区域面积的比例,并根据计算的比例的值判断车位区域是可停车区域还是可能可用区域,并且显示控制单元针对每个区域叠加并显示不同的图形数据。
利用该构造,实现了如下根据停车位区域中的遮挡区域的比例来判断可停车区域或可能可用区域并根据判断结果执行不同的识别显示处理的构造。
附图标记说明
10 车辆
11 摄像机
12 显示单元
20 停车场
21 柱
22 圆锥体
23、24 停车区域
101 可停车区域识别用显示数据
102 不可停车区域识别用显示数据
103 可能可用区域识别用显示数据
151 停车区域分析单元
152 停车可能性识别图形数据生成单元
153 显示单元
200 信息处理装置
201 摄像机
202 停车区域分析单元
203 通信单元
204 显示控制单元
205 显示单元
206 输入单元(UI)
207 自动驾驶控制单元
211 区域分析单元
212 停放车辆检测单元
213 空闲似然度(空闲可能性)计算单元
214 参数生成和输出单元
221 停车可能性识别图形数据生成单元
222 停车区域显示数据生成单元
223 输出显示数据生成单元
301 CPU
302 ROM
303 RAM
304 总线
305 输入/输出接口
306 输入单元
307 输出单元
308 存储单元
309 通信单元
310 驱动器
311 可移除介质
321 传感器
322 驱动单元

Claims (20)

1.一种信息处理装置,其包括:
停车区域分析单元,其分析安装在车辆上的摄像机的拍摄图像,并分析是否能够以车位区域为单位停放车辆;和
显示控制单元,其基于所述停车区域分析单元的分析结果生成以车位区域为单位的停车可能性识别图形数据,并将所述停车可能性识别图形数据叠加并显示在所述摄像机的拍摄图像上或基于该拍摄图像生成的组合图像上,其中,
所述停车区域分析单元:
针对从所述摄像机的拍摄图像中没有被检测到停放车辆的车位区域,计算从所述摄像机的拍摄图像中不能被确认的遮挡区域相对于总车位区域面积的比例,并且
执行判断处理,以根据计算的比例的值来判断车位区域是可停车区域还是可能可用区域,并且
所述显示控制单元:
根据所述判断处理的结果,叠加并显示可停车区域和可能可用区域之间不同的图形数据。
2.根据权利要求1所述的信息处理装置,其中,
所述显示控制单元:
生成包括以下(a)至(c)的停车可能性识别图像数据,作为所述以车位区域为单位的停车可能性识别图形数据:
(a)可停车区域识别用显示数据,
(b)不可停车区域识别用显示数据,以及
(c)可能可用区域识别用显示数据,
并且,在停车区域图像的每个车位区域上叠加并显示(a)至(c)中的任一条停车可能性识别图形数据。
3.根据权利要求1所述的信息处理装置,其中,
所述停车区域分析单元:
将从所述摄像机的拍摄图像中被检测到停放车辆的车位区域判定为不可停车区域,
针对从所述摄像机的拍摄图像中没有被检测到停放车辆的车位区域,基于所述遮挡区域相对于总车位区域面积的比例,计算车位区域的用于表示空闲可能性的空闲似然度,
如果计算的空闲似然度等于或大于规定阈值,则将该车位区域判定为可停车区域,
如果计算的空闲似然度小于规定阈值,则将该车位区域判定为可能可用区域,并且
所述显示控制单元:
根据所述停车区域分析单元的以每个车位区域为单位的判断结果,在每个车位区域上叠加并显示(a)至(c)中的任一条停车可能性识别图形数据。
4.根据权利要求3所述的信息处理装置,其中,
所述停车区域分析单元:
根据计算式1计算从所述摄像机的拍摄图像中没有被检测到停放车辆的车位区域的用于表示空闲可能性的空闲似然度:
空闲似然度(空闲可能性)(%)=(1-(遮挡区域面积)/(总车位区域面积))*100(%)...计算式1,
然而,遮挡区域是从所述摄像机的拍摄图像中不能被确认的区域。
5.根据权利要求1所述的信息处理装置,其中,
所述显示控制单元:
生成以下(a)至(c)的作为具有不同颜色的图形数据的停车可能性识别图形数据,作为所述以车位区域为单位的停车可能性识别图形数据,
(a)可停车区域识别用显示数据,
(b)不可停车区域识别用显示数据,以及
(c)可能可用区域识别用显示数据。
6.根据权利要求1所述的信息处理装置,其中,
所述显示控制单元:
生成用于表示车位区域外形的框状图形数据,作为所述以车位区域为单位的停车可能性识别图形数据。
7.根据权利要求1所述的信息处理装置,其中,
所述停车区域分析单元:
从所述摄像机的拍摄图像中检测被明确指示在停车允许区域中的停车位区域,并且
分析是否能够以检测到的停车位区域为单位停放车辆。
8.根据权利要求1所述的信息处理装置,其中,
所述停车区域分析单元:
从所述摄像机的拍摄图像中检测停车允许区域,
从检测到的停车允许区域中检测停放车辆,
对检测到的停放车辆的停车区域与空闲空间进行划分,并设定车位区域,
分析是否能够以所设定的车位区域为单位停放车辆。
9.根据权利要求8所述的信息处理装置,其中,
所述停车区域分析单元:
检测路边的平行停车区域作为所述停车允许区域。
10.根据权利要求1所述的信息处理装置,其中,
所述停车区域分析单元:
利用AI预测数据来估计作为用来分析是否能够停放车辆的单位的车位区域。
11.根据权利要求10所述的信息处理装置,其中,
所述AI预测数据包括利用AI预测器生成的数据,所述AI预测器是通过利用卷积神经网络(CNN)的学习算法生成的。
12.根据权利要求1所述的信息处理装置,其中,
所述停车区域分析单元:
利用从外部设备接收的信息来确定作为用来分析是否能够停放车辆的单位的车位区域。
13.根据权利要求1所述的信息处理装置,其中,
所述显示控制单元:
基于所述摄像机的拍摄图像生成包括从上方观察停车区域的鸟瞰图的停车区域图像,并将停车可能性识别图形数据叠加并显示在所生成的包括鸟瞰图的停车区域图像的每个车位区域上。
14.根据权利要求1所述的信息处理装置,其中,
所述停车区域分析单元:
顺序地输入所述摄像机的随着车辆的行驶而变化的拍摄图像,基于最新的输入图像重复执行用于分析是否能够以车位区域为单位停放车辆的处理,并顺序地更新分析数据,
所述显示控制单元:
基于所述停车区域分析单元的最新分析结果,执行用于顺序地更新所述以车位区域为单位的停车可能性识别图形数据的处理。
15.根据权利要求14所述的信息处理装置,其中,
对于被判定为可能可用区域的车位区域,
在从所述摄像机的最新拍摄图像中被检测到停放车辆的情况下,
所述停车区域分析单元:
将该车位区域变更为不可停车区域。
16.根据权利要求14所述的信息处理装置,其中,
对于被判定为可能可用区域的车位区域,
在基于所述摄像机的最新拍摄图像计算的空闲似然度等于或大于规定阈值的情况下,
所述停车区域分析单元:
将该车位区域变更为可停车区域。
17.根据权利要求1所述的信息处理装置,其包括:
自动驾驶控制单元,其中,
所述自动驾驶控制单元执行自动驾驶,以便在被所述停车区域分析单元判定为可停车区域的区域中停车。
18.根据权利要求17所述的信息处理装置,其中,
在不存在被所述停车区域分析单元判定为可停车区域的区域的情况下,
所述自动驾驶控制单元:
朝向可能可用区域行驶,并且在可能可用区域变更为可停车区域的情况下,执行自动驾驶以在可停车区域中停车。
19.一种由信息处理装置执行的信息处理方法,其包括:
停车区域分析步骤,其通过停车区域分析单元,分析安装在车辆上的摄像机的拍摄图像,并分析是否能够以车位区域为单位停放车辆;和
显示控制步骤,其通过显示控制单元,基于所述停车区域分析单元的分析结果生成以车位区域为单位的停车可能性识别图形数据,并将所述数据叠加并显示在所述摄像机的拍摄图像上或基于该拍摄图像生成的组合图像上,其中,
在所述停车区域分析步骤中,所述停车区域分析单元:
针对从所述摄像机的拍摄图像中没有被检测到停放车辆的车位区域,计算从所述摄像机的拍摄图像中不能被确认的遮挡区域相对于总车位区域面积的比例,并且
执行判断处理,以根据计算的比例的值来判断车位区域是可停车区域还是可能可用区域,以及
在所述显示控制步骤中,所述显示控制单元:
根据所述判断处理的结果,叠加并显示可停车区域和可能可用区域之间不同的图形数据。
20.一种用于使信息处理装置执行信息处理的程序,所述信息处理:
使停车区域分析单元执行停车区域分析步骤,以分析安装在车辆上的摄像机的拍摄图像,并分析是否能够以车位区域为单位停放车辆;和
使显示控制单元执行显示控制步骤,以基于所述停车区域分析单元的分析结果生成以车位区域为单位的停车可能性识别图形数据,并将所述数据叠加并显示在所述摄像机的拍摄图像上或基于该拍摄图像生成的组合图像上,其中,
在所述停车区域分析单元的所述停车区域分析步骤中,
执行以下处理:针对从所述摄像机的拍摄图像中没有被检测到停放车辆的车位区域,计算从所述摄像机的拍摄图像中不能被确认的遮挡区域相对于总车位区域面积的比例,并且
执行判断处理,以根据计算的比例的值来判断车位区域是可停车区域还是可能可用区域,以及
在所述显示控制单元的所述显示控制步骤中,
根据所述判断处理的结果,叠加并显示可停车区域和可能可用区域之间不同的图形数据。
CN202280041999.7A 2021-07-27 2022-02-21 信息处理装置、信息处理方法以及程序 Pending CN117651981A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021122734 2021-07-27
JP2021-122734 2021-07-27
PCT/JP2022/006849 WO2023007785A1 (ja) 2021-07-27 2022-02-21 情報処理装置、および情報処理方法、並びにプログラム

Publications (1)

Publication Number Publication Date
CN117651981A true CN117651981A (zh) 2024-03-05

Family

ID=85086630

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280041999.7A Pending CN117651981A (zh) 2021-07-27 2022-02-21 信息处理装置、信息处理方法以及程序

Country Status (4)

Country Link
JP (1) JPWO2023007785A1 (zh)
CN (1) CN117651981A (zh)
DE (1) DE112022003723T5 (zh)
WO (1) WO2023007785A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6503218B2 (ja) * 2015-04-03 2019-04-17 株式会社日立製作所 運転支援システム、運転支援装置及び運転支援方法
MY191078A (en) 2015-10-22 2022-05-30 Nissan Motor Parking space detection method and device
JP6720715B2 (ja) * 2016-06-17 2020-07-08 日産自動車株式会社 駐車支援方法および装置
JP7065410B2 (ja) * 2018-09-28 2022-05-12 パナソニックIpマネジメント株式会社 空き駐車スペース検知装置および空き駐車スペース検知方法

Also Published As

Publication number Publication date
JPWO2023007785A1 (zh) 2023-02-02
DE112022003723T5 (de) 2024-05-08
WO2023007785A1 (ja) 2023-02-02

Similar Documents

Publication Publication Date Title
WO2022138123A1 (en) Available parking space identification device, available parking space identification method, and program
WO2020241303A1 (ja) 自動走行制御装置、および自動走行制御システム、並びに自動走行制御方法
WO2021241189A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2022158185A1 (ja) 情報処理装置、情報処理方法、プログラムおよび移動装置
JP2022098397A (ja) 情報処理装置、および情報処理方法、並びにプログラム
WO2023153083A1 (ja) 情報処理装置、情報処理方法、情報処理プログラム及び移動装置
US20230245423A1 (en) Information processing apparatus, information processing method, and program
US20230289980A1 (en) Learning model generation method, information processing device, and information processing system
CN116670006A (zh) 信息处理设备、信息处理方法、程序、移动设备和信息处理系统
CN115996869A (zh) 信息处理装置、信息处理方法、信息处理系统和程序
WO2023007785A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
WO2023162497A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
WO2023090001A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
WO2023058342A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
WO2022201892A1 (en) Information processing apparatus, information processing method, and program
US20230206596A1 (en) Information processing device, information processing method, and program
WO2023063145A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
WO2022259621A1 (ja) 情報処理装置、情報処理方法、コンピュータプログラム
WO2024157658A1 (ja) 車載カメラ
WO2023053498A1 (ja) 情報処理装置、情報処理方法、記録媒体、および車載システム
WO2023149089A1 (ja) 学習装置、学習方法及び学習プログラム
WO2023171401A1 (ja) 信号処理装置、信号処理方法、および記録媒体
WO2022019117A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
WO2023054090A1 (ja) 認識処理装置、認識処理方法、および認識処理システム
WO2024024471A1 (ja) 情報処理装置、情報処理方法、及び、情報処理システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination