CN114664102A - 具有停车空间识别机制的导航系统及其操作方法 - Google Patents

具有停车空间识别机制的导航系统及其操作方法 Download PDF

Info

Publication number
CN114664102A
CN114664102A CN202111213547.6A CN202111213547A CN114664102A CN 114664102 A CN114664102 A CN 114664102A CN 202111213547 A CN202111213547 A CN 202111213547A CN 114664102 A CN114664102 A CN 114664102A
Authority
CN
China
Prior art keywords
real world
parking space
sensor data
endpoints
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111213547.6A
Other languages
English (en)
Inventor
刘伟哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taiwei Co ltd
Original Assignee
Taiwei Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taiwei Co ltd filed Critical Taiwei Co ltd
Publication of CN114664102A publication Critical patent/CN114664102A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G08G1/141—Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces
    • G08G1/143—Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces inside the vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/06—Automatic manoeuvring for parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0285—Parking performed automatically
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G08G1/141—Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G08G1/145—Traffic control systems for road vehicles indicating individual free spaces in parking areas where the indication depends on the parking areas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle for navigation systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Abstract

本公开涉及具有停车空间识别机制的导航系统及其操作方法。一种导航系统，包括：用户接口，被配置为：接收用于扫描区域的传感器数据分组；控制电路，耦合到用户接口，被配置为：分析提交给已经经过训练的多层神经网络的传感器数据分组，包括存储传感器数据分组；用多层神经网络解析传感器数据分组以生成现实世界端点和界定框，包括识别现实世界坐标；应用线规则，包括通过现实世界端点来识别停车空间，包括将现实世界端点存储在存储电路中；编制俯视图，该俯视图包括通过扫描区域中的现实世界端点和界定框识别的停车空间的边界线；将车辆操纵指令合并到俯视图中用于访问停车空间；以及呈现俯视图以供显示在用户显示器上。

Description

具有停车空间识别机制的导航系统及其操作方法
技术领域
本发明的实施例总体涉及一种导航系统，并且更特别地涉及一种具有停车空间识别机制的系统。
背景技术
自主自动驾驶汽车以及非自主或半自主车辆的兴起要求附加的细节来执行停车操作。驾驶员辅助或全自动停车的要求包括在所有光线条件下清晰可辨的边界。现有技术中的研究和开发可以采取许多不同的方向。
随着驾驶员辅助和自主车辆上路，缺乏准确的停车空间检测和定义会损害这些车辆正确操作的能力。由于车辆试图使停车位置在可用停车空间中居中，因此必须对空间边界进行适当的检测。而且，已知发生错误识别出的停车空间会导致车主可能要负责的停车违规行为的问题。
因此，仍然需要具有停车空间识别机制的导航系统。鉴于不断增加的商业竞争压力，以及增长的消费者预期和市场上有意义的产品差异化的减小的机会，找到这些问题的答案变得越来越关键。此外，对降低成本、提高效率和性能以及满足竞争压力的需求为寻找这些问题的答案的迫切需要增加了更大的紧迫性。
人们一直在寻求解决这些问题的解决方案，但是现有技术并未教导或提出任何解决方案，因此，本领域技术人员长期以来一直无法解决这些问题。
发明内容
本发明的实施例提供了一种导航系统的操作方法，包括：接收用于扫描区域的传感器数据分组；分析提交给已经经过训练的多层神经网络的传感器数据分组，包括存储传感器数据分组；用多层神经网络解析传感器数据分组以生成现实世界端点和界定框，包括识别现实世界坐标；应用线规则，包括通过现实世界端点来识别停车空间，包括将现实世界端点存储在存储电路中；编制俯视图，该俯视图包括通过扫描区域中的现实世界端点和界定框识别的停车空间的边界线；将车辆操纵指令合并到俯视图中用于访问停车空间；以及呈现俯视图以供显示在用户显示器上。
本发明的实施例提供了一种导航系统，包括：用户接口，被配置为：接收用于扫描区域的传感器数据分组；控制电路，耦合到用户接口，被配置为：分析提交给已经经过训练的多层神经网络的传感器数据分组，包括存储传感器数据分组；用多层神经网络解析传感器数据分组以生成现实世界端点和界定框，包括识别现实世界坐标；应用线规则，包括通过现实世界端点来识别停车空间，包括将现实世界端点存储在存储电路中；编制俯视图，该俯视图包括通过扫描区域中的现实世界端点和界定框识别的停车空间的边界线；将车辆操纵指令合并到俯视图中用于访问停车空间；以及传输俯视图以供显示在用户显示器上。
本发明的实施例提供了一种非暂态计算机可读介质，其包括用于导航系统的指令，包括：接收用于扫描区域的传感器数据分组；分析提交给已经经过训练的多层神经网络的传感器数据分组，包括存储传感器数据分组；用多层神经网络解析传感器数据分组以生成现实世界端点和界定框，包括识别现实世界坐标；应用线规则，包括通过现实世界端点来识别停车空间，包括将现实世界端点存储在存储电路中；编制俯视图，该俯视图包括通过扫描区域中的现实世界端点和界定框识别的停车空间的边界线；将车辆操纵指令合并到俯视图中用于访问停车空间；以及呈现俯视图以供显示在用户显示器上。
本发明的某些实施例具有除上面提到的那些之外的其它步骤或元件。通过参考附图阅读下面的详细描述，这些步骤或元件对于本领域技术人员将变得清晰。
附图说明
图1是本发明的实施例中具有停车空间识别机制的导航系统。
图2是由导航系统执行的停车场扫描的顶视图的示例。
图3是由导航系统处理的图2的停车场扫描的线渲染的示例性线图。
图4是由导航系统处理的图2的停车场扫描的示例性物体检测图。
图5是导航系统的示例性框图。
图6示出了图1的物体检测模块的示例性框图。
图7是实施例中图6的多层感知模块(MLP)的示例性实施方式。
图8是本发明的实施例中图1的导航系统的示例性操作流程图。
图9是本发明的实施例中导航系统的操作方法的流程图。
具体实施方式
以下实施例可以在大多数光线条件下准确地识别停车空间，这使得能够进行用于操作或控制车辆的物理移动的车辆移动控制。车辆移动控制可以基于驾驶员辅助或自主车辆停车过程，该过程由于线检测的准确性而安全可靠。
车辆移动控制还可以基于在各种光线条件下准确地识别停车空间的类型，以确保可以完成驾驶员辅助或自主车辆而不会损坏车辆或任何相邻的物体或财产。
充分详细地描述以下实施例，以使本领域技术人员能够制造和使用本发明。应该理解的是，基于本公开，其它实施例将是容易想到的，并且在不脱离本发明实施例的范围的情况下，可以进行系统、过程或机械改变。
在以下描述中，给出许多具体细节以提供对本发明的透彻理解。但是，将清楚的是，可以在没有这些具体细节的情况下实践本发明。为了避免模糊本发明的实施例，未详细公开一些众所周知的电路、系统配置和过程步骤。
示出该系统的实施例的附图是半示意性的，并且没有按比例绘制，并且特别地，一些维度是为了呈现的清晰并且在附图中被夸大地示出。类似地，虽然为了便于描述，附图中的视图通常示出了相似的朝向，但是在附图中的这种描绘在大多数情况下是任意的。一般而言，本发明可以在任何朝向上进行操作。出于描述方便的目的，各种组件的实施例并不旨在具有任何其它意义或提供对本发明的实施例的限制。
本领域的技术人员将认识到的是，用来表达导航信息的格式对于本发明的一些实施例不是关键的。例如，在一些实施例中，导航信息以(X，Y，Z)的格式呈现；其中X和Y和Z是定义地理位置(即，车辆的位置)的三个坐标。
根据使用术语的上下文，在本发明中，本文参考的术语“模块”可以包括或被实现为或包括在专用硬件、硬件或其组合上运行的软件。例如，软件可以是机器代码、固件、嵌入式代码和应用软件。软件还可以包括函数、对函数的调用、代码块或其组合。
而且例如，硬件可以是门、电路系统、处理器、计算机、集成电路、集成电路核心、存储器设备、压力传感器、惯性传感器、微机电系统(MEMS)、无源设备、物理非暂态存储器介质，包括用于执行软件功能的指令、其一部分或其组合，以控制硬件单元或电路中的一个或多个。另外，如果在下面的系统权利要求部分中写有“模块”或“单元”，那么出于系统权利要求的目的和范围，“模块”或“单元”被认为包括硬件电路系统。
在实施例的以下描述中的模块或单元可以如所描述的或如图所示那样彼此耦合或附接。耦合或附接可以是直接的或间接的，在耦合的或附接的模块或单元之间没有介入项或有介入项。耦合或附接可以通过物理接触或通过模块或单元之间的通信(诸如无线通信)。
还应该理解的是，实施例中的名词或元素可以被描述为单数实例。应该理解的是，单数的用法不限于单数，而是单数的用法可以适用于申请中任何特定名词或元素的多个实例。多个实例可以相同或相似，或者可以不同。
现在参考图1，其中示出了本发明的实施例中的具有停车空间定位机制的导航系统100。导航系统100可以包括连接到第二设备106(诸如客户端或服务器)的第一设备102(诸如客户端或服务器)。
导航系统100可以包括用于搜索或提供与地理位置相关联的引导或信息的系统、速度控制、用于使得能够访问设备或车辆的调节系统，或其组合。第一设备102可以通过网络104(诸如无线或有线网络)与第二设备106通信。
例如，第一设备102可以是多种计算设备中的任何一种，诸如蜂窝电话、个人数字助理、笔记本计算机、可穿戴设备、物联网(IoT)设备、汽车远程信息处理导航系统或其它多功能设备。而且，例如，第一设备102可以包括设备或子系统、自主或自操纵的车辆或物体、遥控车辆或物体，或其组合。
第一设备102可以或者直接或者间接地耦合到网络104以与第二设备106通信，或者可以是独立设备。第一设备102还可以是单独的形式或与车辆(诸如小汽车、卡车、公共汽车或摩托车)结合。
出于说明性目的，导航系统100被描述为将第一设备102作为移动计算设备，但是应该理解的是，第一设备102可以是不同类型的设备。例如，第一设备102也可以是非移动计算设备，诸如服务器、服务器场(server farm)或台式计算机。
第二设备106可以是各种集中式或分散式计算设备中的任何一种，或者是高清视频处理设备。例如，第二设备106可以是计算机、网格计算资源、虚拟化计算机资源、云计算资源、路由器、交换机、点对点分布式计算设备，或其组合。
第二设备106可以集中在单个房间中、分布在不同房间中、分布在不同地理位置、嵌入在电信网络内。第二设备106可以与网络104耦合以与第一设备102通信。第二设备106也可以是如针对第一设备102所描述的客户端类型的设备。
出于说明目的，导航系统100被描述为具有第二设备106作为非移动计算设备，但是应该理解的是，第二设备106可以是不同类型的计算设备。例如，第二设备106也可以是移动计算设备(诸如笔记本计算机)、另一个客户端设备、可穿戴设备或不同类型的客户端设备。第二设备106可以是独立设备，或者可以与车辆(诸如小汽车、卡车、公共汽车或摩托车)结合。
而且，出于说明目的，导航系统100被描述为将第二设备106作为计算设备，但是应该理解的是，第二设备106可以是不同类型的设备。而且，出于说明目的，导航系统100被示为以第二设备106和第一设备102作为网络104的端点，但是应该理解的是，导航系统100可以在第一设备102、第二设备106和网络104之间包括不同的分区。例如，第一设备102、第二设备106或其组合也可以用作网络104的一部分。
网络104可以跨越并表示各种网络。例如，网络104可以包括无线通信、有线通信、光学、超声或其组合。卫星通信、蜂窝通信、蓝牙、红外数据协会标准(IrDA)、无线保真(WiFi)和全球微波访问互操作性(WiMAX)是可以包括在通信路径中的无线通信的示例。以太网、数字订户线(DSL)、家庭光纤(FTTH)和老式电话服务(POTS)是可以包括在网络104中的有线通信的示例。另外，网络104可以遍历多个网络拓扑和距离。例如，网络104可以包括直接连接、个人区域网(PAN)、局域网(LAN)、城域网(MAN)、广域网(WAN)或其组合。
导航系统100可以提供在现有技术的导航系统中不可用的附加特征。第一设备102可以耦合到光学传感器110和传感器数据本地存储装置108。光学传感器110是传感器，诸如定位在第一设备102上的单眼相机的集合，其被配置为监视、观察、记录(或其组合)第一设备102的周围。传感器数据本地存储装置108提供非暂态存储介质。
例如，传感器数据本地存储装置108能够以多种方式实现，诸如非易失性存储设备，诸如硬盘驱动器、固态存储设备(SSD)、闪存卡或其组合。
第一设备102可以耦合到物体检测模块115，诸如像素评估模块，该物体检测模块115可以在专用硬件的软件运行、完整硬件或其组合中实现，被配置为分析拍摄的场景以确定捕获的场景的界定框和线端点。物体检测模块115可以解析传感器数据分组111，以便为由光学传感器110捕获的场景建立界定框和端点。对于停车空间检测，网络传输是可选的。在训练过程期间，第一设备102可以将传感器数据分组111上传到第二设备106进行进一步分析，或生成多层神经网络116的更新版本以改善对停车空间(未示出)的检测。
物体检测模块115可以包括多层神经网络116、端点和线模块118以及线规则模块120，其可以生成用于俯视图109的构造的坐标。多层神经网络116可以是能够对传感器数据分组111内的扫描数据的输入像素执行矩阵数学运算的软件或硬件模块，以便识别形成停车空间和其它标记的线的端点和界定框。
端点和线模块118可以是能够确定基于由多层神经网络116生成的界定框和端点的线的存在的软件或硬件模块，其可以存储在第一设备102或第二设备106中。端点和线模块118可以从线规则模块120接收输入，线规则模块120提供用于识别传感器数据分组111中表示的停车空间的不同类型的引导参数。通过将传感器数据分组111的扫描数据部分提交给多层神经网络116，可以分析传感器数据分组111。可以理解的是，传感器数据分组111的其它部分，包括时间、现实世界位置以及光学传感器110的外在参数，可以存储在第一设备102或第二设备106中，用于后续的操作。
线规则模块120可以是用于识别停车空间的可更新的参数集合，包括线长度、线间距、标牌标识和停车朝向，以区分拉入式或平行停车空间、残障人士专用停车空间、摩托车停车空间或禁止停车空间(诸如紧急车辆停车空间)。线规则模块118的分析结果可以存储在第一设备102或第二设备106的存储电路系统中。
端点和线模块118可以输出包括由第一设备102提供的参考指示符的俯视图109，该参考指示符指示识别出的停车空间是否适合第一设备102。如果停车空间适合第一设备102，那么可以利用俯视图109生成控制引导指令，以自主地停放或协助停放第一设备102。
传感器数据本地存储装置108可以耦合到光学传感器110，以便存储传感器数据分组111和从第二设备106返回的俯视图109。第一设备102可以组装用于光学传感器110的参数、扫描数据、时间、现实世界坐标以及光学传感器110的外在参数，以生成传感器数据分组111以供分析。传感器数据分组111可以提供由光学传感器110捕获的信息、时间和位置(作为现实世界的坐标)以及光学传感器110的外在参数，用作由光学传感器110捕获并记录在传感器数据本地存储装置108中的信息。
导航系统100可以由用户112操作。用户112可以包括访问或利用导航系统100或其中的设备的人或实体。例如，用户112可以包括拥有或操作第一设备102、服务或其组合的人。而且，例如，用户112可以通过第一设备102、服务或其组合来访问或利用第二设备106。
导航系统100还可以处理来自用户112的直接用户输入114。直接用户输入114可以包括对导航辅助、兴趣点的位置、停车辅助、餐馆辅助、住宿辅助、加油站的位置、事件预订或其组合的请求。直接用户输入114可以由用户112提供或从用户112直接提供或直接在第一设备102上提供。直接用户输入114可以包括直接用于或与对应软件、应用、特征或其组合相关的输入或刺激。
导航系统100可以在没有直接用户输入114的情况下实现一个或多个实施例。导航系统100还可以使用与之不相关的直接用户输入114、直接用户输入114的先前实例或其组合来实现一个或多个实施例。进一步的细节在下面讨论。
当请求识别停车空间(未示出)的服务时，第二设备106可以从第一设备102接收传感器数据分组111。第二设备106可以解析传感器数据分组111，识别光学传感器110的外在参数、光学传感器110的现实世界坐标、时间和扫描数据，以便产生俯视图109。俯视图109是在传感器数据分组111中识别出的空间的自顶向下视图。俯视图109还可以包括对第一设备102的适合性和朝向的指示。举例来说，俯视图可以将传感器数据分组111识别为指示摩托车停车空间、残障人士停车空间、紧凑型车辆停车空间或超大车辆停车空间。
第二设备106可以分析传感器数据分组111，以便产生俯视图109和对多层神经网络116的改进以供第一设备102在训练过程期间使用。举例来说，第二设备106可以通过检查时间和位置信息来核实传感器数据分组111，以便识别其表示包括适于第一设备102的停车空间的区域。
第二设备106可以耦合到物体检测模块115，诸如像素评估模块，该物体检测模块115可以在专用硬件的软件运行、完整硬件或其组合中实现，被配置为分析拍摄的场景以确定捕获的场景的界定框和线端点。物体检测模块115可以解析传感器数据分组111，以便为由光学传感器110捕获的场景建立界定框和端点。
物体检测模块115可以包括多层神经网络116、端点和线模块118以及线规则模块120，其可以生成用于俯视图109的构造的坐标。多层神经网络116可以是能够对传感器数据分组111内的扫描数据的输入像素执行矩阵数学运算以便识别形成停车空间和其它标记的线的端点和界定框的软件或硬件模块。
端点和线模块118可以是能够确定基于由多层神经网络116生成的界定框和端点的线的位置的软件或硬件模块，其可以存储在第二设备106中。端点和线模块118可以从线规则模块120接收输入，线规则模块120提供用于识别传感器数据分组111中表示的停车空间的不同类型的引导参数。通过将传感器数据分组111的扫描数据部分提交给多层神经网络116，可以分析传感器数据分组。可以理解的是，传感器数据分组111的其它部分(包括时间、现实世界位置以及光学传感器110的外在参数)可以存储在第二设备106中，用于后续的操作。
线规则模块120可以是用于识别停车空间的可更新的参数集合，包括线长度、线间距、标牌标识和停车朝向，以区分拉入式或平行停车空间、残障人士停车空间、摩托车停车空间或禁止停车空间。线规则模块的分析结果可以存储在第二设备106的存储电路系统中。
端点和线模块118可以输出包括由第一设备102或第二设备106提供的参考指示符的俯视图109，该参考指示符指示识别出的停车空间是否适合第一设备102。如果停车空间适合第一设备102，那么第二设备106可以在俯视图109中包括控制引导指令，以自主地停车或协助停放第一设备102。
已经发现，导航系统100可以通过捕获如由光学传感器110描绘的场景并应用物体检测模块115以便识别由光学传感器110捕获的停车空间的类型来可靠地为第一设备102识别合适的停车空间。第一设备102可以核实识别出的停车空间适合第一设备102，并且提供控制指令作为俯视图109的一部分。在训练过程期间，第一设备102可以传送如由光学传感器110描绘的场景、编制传感器数据分组111，然后将其发送到第二设备106，以供训练多层神经网络116和改进线规则120。
现在参考图2，其中示出了由图1的导航系统100执行的停车场扫描201的顶视图的示例。导航系统100的停车场扫描201描绘了第一设备102在搜索停车空间202。第一设备可以是自主车辆或停车辅助车辆。
第一设备102是用于运输人或货物的物体或机器，其能够自动操纵或操作该物体或机器。第一设备102可以包括图1的用户112可访问的车辆，以进行控制、操纵、操作或其组合。例如，第一设备102可以包括小汽车、卡车、手推车或摩托车中的任何一种。
可以在没有与操纵或移动对应的图1的直接用户输入114的情况下进一步控制或操纵第一设备102。例如，第一设备102可以是包括自驾驶车辆的自主车辆，或者是具有自动操纵特征(诸如智能巡航控制或预防性刹车)的车辆。第一设备102可以包括用于在没有直接用户输入114的情况下识别和访问停车空间202的自动停车系统。而且，例如，第一设备102可以由导航系统100控制或操纵，包括导航系统100控制第一设备102的物理操纵或移动。
第一设备102可以通过GPS读取或小区塔三角测量来识别光学传感器110的现实世界坐标203。第一设备102可以包括光学传感器110用于扫描扫描区域204以寻找停车空间202。应该理解的是，扫描区域204可以包括由标牌208识别出的残障人士停车空间206、摩托车停车空间210或被占用的停车空间216。扫描区域204被定义为受光学传感器110的视角限制的区域。扫描区域204可以显示在用户显示器218上，诸如液晶显示器(LCD)或薄膜晶体管(TFT)显示器。
残障人士停车空间206可以是为身体受损的图1的用户112保留的区域，并且可以由在其中心的标牌208来识别。如果第一设备102被配置为用于身体受损的用户112的运输车辆，那么残障人士停车空间206将是停放第一设备102的可行场所。摩托车停车空间210由比停车空间202的边界线更近的边界线212和边界线212之间的MC分隔线214识别。可以通过阻挡边界线212之一的停放车辆的存在来识别被占用的停车空间216。可以通过两条边界线212的存在来确定停车空间202的可用性，其中两条边界线之间没有中间线或标牌208。
第一设备102可以编制扫描区域204的扫描、光学传感器110的现实世界坐标203以及光学传感器110的外在参数。第一设备102可以使用图1的物体检测模块115来开始为第一设备102的自主车辆或停车辅助功能识别停车空间202的过程，
已经发现，导航系统100可以在扫描区域204中的各种光线情况下通过分析边界线212以及在边界线212之间找到的任何东西来区分停车空间202、残障人士停车空间206、摩托车停车空间210和被占用的停车空间216。通过分析边界线212并将预定义的规则集应用于边界线212，可以独立于线颜色和环境光线条件可靠地确认停车空间202的可用性。
现在参考图3，其中示出了由导航系统100处理的图2的停车场扫描201的线渲染301的示例性线图。线渲染301可以描绘如通过图1的光学传感器110的透镜观察到的边界线212。光学传感器110可以是包括广角透镜的单眼相机。由透镜造成的畸变可以使边界线212看起来会聚在远处的点。
停放的车辆302可以与标示为L1的边界线212相邻定位，而摩托车304可以定位在标示为L4的边界线212和标示为L3的MC分隔线214之间。标牌208可以定位在标示为L4的边界线和标示为L5的缩短线306之间。
基于图2的扫描区域204，可以确定线L1、L2和L4是边界线212，而线L3较短并且可以被识别为MC分隔线214。举例来说，由于透镜的角度和光学传感器110的位置，缩短了标示为L5的缩短线306，但是标牌208的检测可以被用来确定L5实际上是边界线212。
已经发现，可以对停车场扫描201进行解析，以识别扫描区域204内的边界线212、标牌208和MC分隔线214。通过识别边界线212的世界坐标并基于那些坐标应用线规则120，可以识别图2的停车空间202。这是自主车辆和停车辅助汽车的重要步骤。
现在参考图4，其中示出了由图1的导航系统100处理的图2的停车场扫描201的物体检测图401的示例。物体检测图401的示例描绘了包围图2的扫描区域204中的每个物体(包括停放的车辆302、摩托车304、标牌208、标示为L1、L2和L4的边界线212、标示为L3的MC分隔线214以及标示为L5的缩短线306)的界定框402。
界定框402可以由框中心404、框长度406和框宽度408定义。在扫描区域204中检测到的每个物体可以被界定盒402包围。应该理解的是，假设扫描区域204是水平的并且在垂直(Z)平面中具有恒定值。框中心404由X坐标410和Y坐标412定义。框长度406被定义为通过在X坐标410保持恒定值的情况下通过Y坐标412测量的界定框402的测量值。框宽度408被定义为通过在Y坐标412保持恒定值的情况下通过X坐标410测量的界定框402的测量值。
通过移除包括停放的车辆302和摩托车304在内的检测到的物体，可以减少在扫描区域204中检测到的物体以留下特定的线。如果第一设备102被配置为残障人士可访问车辆，那么标牌208可以指示图2的残障人士停车空间206的可用性。如果第一设备102未被配置为残障人士可访问车辆，那么图1的线规则120可以忽略标牌208和标示为L5的缩短线306。基于线规则120，被标示为L2和L4的边界线212被取消作为停车空间202的资格，因为被标示为L3的MC分隔线214落在它们之间。还可以分析标示为L1和L2的其余边界线，以确定它们是否是停车空间202。
标示为L1和L2的边界线212可以由其端点定义。端点P1 416和端点P2 418可以定义被标示为L1的边界线212。端点P3 420和端点P4 422可以定义被标示为L2的边界线212。可以理解，端点P1 416、端点P2 418、端点P3 420和端点P4 422各自由用于每个端点的X坐标410和Y坐标412定义。
基于如由第一设备102提供的光学传感器110的位置和光学传感器110的外在校准，通过在现实世界坐标中对端点P1 416和端点P2418进行的几何转换，可以在图1的俯视图109中绘制被标示为L1的边界线212。光学传感器110的外在校准信息并且可以包括透镜畸变、透镜旋转和由于透镜曲率引起的距离平移。
基于如由第一设备102提供的光学传感器110的位置和光学传感器110的外在校准，通过在现实世界坐标中对端点P3 420和端点P4422进行的几何转换，可以在图1的俯视图109中绘制被标示为L2的边界线212。
可以在俯视图109的生成期间执行图2的停车空间202的确定。这是可能的，因为第一设备102的几何形状是已知的并且可以根据俯视图109确定识别出的空间的几何形状。
已经发现，对界定框402和端点416的确定可以提供足够的信息，以通过使用几何转换在现实世界坐标中绘制停车空间202。停车空间202相对于第一设备102的相对位置的准确描绘简化了将第一设备102移入停车空间202所需的操纵指令的生成。
现在参考图5，其中示出了图1的导航系统100的示例性框图。导航系统100可以包括图1的第一设备102、图1的网络104和图1的第二设备106。第一设备102可以在第一设备传输508中通过网络104向第二设备106发送信息。第二设备106可以在第二设备传输510中通过网络104向第一设备102发送信息。
出于说明目的，导航系统100被示为具有第一设备102作为客户端设备，但是应该理解的是，导航系统100可以包括第一设备102作为不同类型的设备。例如，第一设备102可以是包含耦合到用户显示器218的第一显示接口530的服务器。
而且，出于说明目的，导航系统100被示为以第二设备106作为服务器，但是应该理解的是，导航系统100可以包括第二设备106作为不同类型的设备。例如，第二设备106可以是客户端设备。举例来说，导航系统100可以完全在第一设备102上实现。第二设备106可以提供图1的多层神经网络116的训练和增强。
而且，出于说明目的，示出了导航系统100具有第一设备102和第二设备106之间的交互。但是，应该理解的是，第一设备102可以是自主车辆、智能车辆或其组合的一部分或全部。类似地，第二设备106可以类似地与表示自主车辆、智能车辆或其组合的第一设备102交互。
为了简洁起见，在本发明的这个实施例中，将把第一设备102描述为客户端设备，并且将把第二设备106描述为服务器设备。本发明的实施例不限于设备类型的这种选择。该选择是本发明的实施例的示例。
第一设备102可以包括第一控制电路512、第一存储电路514、第一通信电路516、第一用户接口518和第一定位电路520。第一控制电路512可以包括第一控制接口522。第一控制电路512可以运行第一软件526以提供导航系统100的智能。
能够以多种不同方式来实现第一控制电路512。例如，第一控制电路512可以是处理器、专用集成电路(ASIC)、嵌入式处理器、微处理器、硬件控制逻辑、硬件有限状态机(FSM)、数字信号处理器(DSP)，或其组合。第一控制接口522可以被用于第一控制电路512与第一设备102中的其它功能单元或电路之间的通信。第一控制接口522也可以被用于第一设备102外部的通信。
第一控制接口522可以从其它功能单元/电路或从外部源接收信息，或者可以将信息传输到其它功能单元/电路或到外部目的地。外部源和外部目的地是指第一设备102外部的源和目的地。
第一控制接口522能够以不同的方式实现，并且可以包括不同的实施方式，这取决于哪些功能单元/电路或外部单元/电路与第一控制接口522接口。例如，第一控制接口522可以用压力传感器、惯性传感器、微机电系统(MEMS)、光学电路系统、波导、无线电路系统、有线电路系统或其组合来实现。
第一存储电路514可以存储第一软件526。第一存储电路514还可以存储相关信息，诸如表示传入图像的数据、表示先前呈现的图像的数据、声音文件或其组合。
第一存储电路514可以是易失性存储器、非易失性存储器、内部存储器、外部存储器或其组合。例如，第一存储电路514可以是非易失性存储装置(诸如非易失性随机存取存储器(NVRAM)、闪存、盘存储装置)或易失性存储装置(诸如静态随机存取存储器(SRAM))。
第一存储电路514可以包括第一存储接口524。第一存储接口524可以被用于第一存储电路514与第一设备102中的其它功能单元或电路(诸如传感器数据本地存储装置108)之间的通信。第一存储接口524也可以被用于第一设备102外部的通信。
第一存储接口524可以从其它功能单元/电路或外部源接收信息，或者可以将信息传输到其它功能单元/电路或外部目的地。外部源和外部目的地是指第一设备102外部的源和目的地。第一存储接口524可以从物体检测模块115接收输入并且向物体检测模块115传输数据。
第一存储接口524可以包括不同的实施方式，这取决于哪些功能单元/电路或外部单元/电路与第一存储电路514接口。第一存储接口524可以用与第一控制接口522的实施方式相似的技术和技巧来实现。
第一通信电路516可以使得能够与第一设备102之间进行外部通信。例如，第一通信电路516可以允许第一设备102与第二设备106、附件(诸如外围设备或台式计算机)以及网络104通信。
第一通信电路516还可以用作通信集线器，从而允许第一设备102用作网络104的一部分并且不限于作为网络104的端点或终端电路。第一通信电路516可以包括用于与网络104交互的有源和无源组件(诸如微电子器件或天线)。
第一通信电路516可以包括图5的第一通信接口528。第一通信接口528可以被用于第一通信电路516与第一设备102中的其它功能单元或电路之间的通信。第一通信接口528可以从第二设备106接收信息以分配给其它功能单元/电路或者可以向其它功能单元或电路传输信息。
第一通信接口528可以包括不同的实施方式，这取决于哪些功能单元或电路正在与第一通信电路516接口。第一通信接口528可以用与第一控制接口522的实施方式相似的技术和技巧来实现。
第一用户接口518允许图1的用户112与第一设备102接口并交互。第一用户接口518可以包括输入设备和输出设备。第一用户接口518的输入设备的示例可以包括小键盘、触摸板、软键、键盘、麦克风、用于接收远程信号的红外传感器、光学传感器110或其任何组合，以提供数据和通信输入。举例来说，光学传感器110可以通过有线或无线连接连接到第一用户接口518。第一用户接口518可以将来自光学传感器110的输入传递给第一控制电路512以进行处理和存储。在训练物体检测模块115期间，第一通信接口528可以将来自光学传感器110的输入、光学传感器110的位置以及光学传感器110的外在参数传送到第二设备106，以增强图1的多层神经网络116和图1的线规则模块120的准确性和可靠性。
第一用户接口518可以包括第一显示接口530。第一显示接口530可以包括输出设备。第一显示接口530可以包括用户显示器218、投影仪、视频屏幕、扬声器或其任何组合。
第一控制电路512可以操作第一用户接口518以显示由导航系统100生成的信息。第一控制电路512还可以为导航系统100的其它功能(包括从第一定位电路520接收位置信息)运行第一软件526。第一控制电路512还可以运行第一软件526以经由第一通信电路516与网络104交互。
第一控制电路512可以操作第一用户接口518以从光学传感器110收集数据。第一控制电路512还可以从第一定位电路520接收位置信息。当作为停车空间识别机制操作时，第一控制电路512可以编制传感器数据分组111，传感器数据分组111包括图2的扫描区域204的扫描、光学传感器110的现实世界坐标203以及光学传感器110的外在参数。第一控制电路512可以操作物体检测模块115，以便递送俯视图109以在用户显示器218上显示，并生成控制引导指令以自主地停车或辅助停放第一设备102。
作为示例，第一定位电路520能够以第一设备102的现实世界坐标、当前航向、当前加速度和当前速度生成位置信息。第一定位电路520能够以许多方式实现。例如，第一定位电路520可以用作全球定位系统、惯性导航系统、蜂窝塔定位系统、压力定位系统或其任何组合的至少一部分。而且，例如，第一定位电路520可以利用诸如加速度计或全球定位系统(GPS)接收器之类的组件。
第一定位电路520可以包括第一定位接口532。第一定位接口532可以被用于第一定位电路520与第一设备102中的其它功能单元或电路(包括光学传感器110)之间的通信。
第一定位接口532可以从其它功能单元/电路或从外部源接收信息，或者可以向其它功能单元/电路或到外部目的地传输信息。外部源和外部目的地是指第一设备102外部的源和目的地。
第一定位接口532可以包括不同的实施方式，这取决于哪些功能单元/电路或外部单元/电路与第一定位电路520接口。第一定位接口532可以用与第一控制电路512的实施方式相似的技术和技巧来实现。
第二设备106可以被优化以在具有第一设备102的多设备实施例中实现本发明的实施例。与第一设备102相比，第二设备106可以提供附加的或更高性能的处理能力。第二设备106可以包括第二控制电路534、第二通信电路536、第二用户接口538和第二存储电路546。
第二用户接口538允许用户(未示出)与第二设备106具有接口并与之交互。第二用户接口538可以包括输入设备和输出设备。第二用户接口538的输入设备的示例可以包括小键盘、触摸板、软键、键盘、麦克风或其任何组合，以提供数据和通信输入。第二用户接口538的输出设备的示例可以包括第二显示接口540。第二显示接口540可以包括显示器、投影仪、视频屏幕、扬声器或其任何组合。
在训练过程期间，第二控制电路534可以通过第二通信电路536接收传感器数据分组111。通过检查扫描区域204的扫描、光学传感器110的现实世界坐标203以及光学传感器110的外在参数，第二控制电路可以核实传感器数据分组111的内容确实表示由第一设备102的位置识别出的图2的扫描区域204。一旦传感器数据分组111已经被核实，第二控制电路534就可以通过第二存储电路546将传感器数据分组111传送到物体检测模块115以供处理。
第二控制电路534可以运行第二软件542以提供导航系统100的第二设备106的智能。第二软件542可以与第一软件526结合操作。与第一控制电路512相比，第二控制电路534可以提供附加的性能。
第二控制电路534可以操作第二用户接口538以显示信息。第二控制电路534还可以为导航系统100的其它功能(包括操作第二通信电路536以通过网络104与第一设备102通信)运行第二软件542。
第二控制电路534能够以多种不同方式实现。例如，第二控制电路534可以是处理器、嵌入式处理器、微处理器、硬件控制逻辑、硬件有限状态机(FSM)、数字信号处理器(DSP)或其组合。
第二控制电路534可以包括第二控制接口544。第二控制接口544可以被用于第二控制电路534与第二设备106中的其它功能单元或电路之间的通信。第二控制接口544也可以被用于第二设备106外部的通信。
第二控制接口544可以从其它功能单元/电路或外部源接收信息，或者可以向其它功能单元/电路或外部目的地传输信息。外部源和外部目的地是指第二设备106外部的源和目的地。
第二控制接口544能够以不同方式实现并且可以包括不同的实施方式，这取决于哪些功能单元/电路或外部单元/电路与第二控制接口544接口。例如，第二控制接口544可以用压力传感器、惯性传感器、微机电系统(MEMS)、光学电路系统、波导、无线电路系统、有线电路系统或其组合来实现。
第二存储电路546可以存储第二软件542。第二存储电路546还可以存储信息，诸如表示传入图像的数据、表示先前呈现的图像的数据、声音文件或其组合。第二存储电路546的尺寸可以被设置为提供附加的存储容量以补充第一存储电路514。在训练过程期间，第二存储电路546可以接收识别停车空间202的扫描区域204的俯视图109。第二存储电路546可以传递俯视图109以结合用于由第一设备102访问停车空间202的操纵指令。俯视图109然后可以通过第二通信电路536以供传输到第一设备102。
出于说明目的，第二存储电路546被示为单个元件，但是应该理解的是，第二存储电路546可以是存储元件的分布。而且，出于说明目的，导航系统100被示为具有第二存储电路546作为单个分层存储系统，但是应该理解的是，导航系统100可以包括处于不同配置的第二存储电路546。例如，第二存储电路546可以用形成存储器分层系统的不同存储技术来形成，该存储器分层系统包括不同级别的高速缓存、主存储器、旋转介质或离线存储装置。
第二存储电路546可以是易失性存储器、非易失性存储器、内部存储器、外部存储器或其组合的控制器。例如，第二存储电路546可以是非易失性存储器(诸如非易失性随机存取存储器(NVRAM)、闪存、盘存储装置)或易失性存储器(诸如静态随机存取存储器(SRAM))的控制器。
第二存储接口548可以从其它功能单元/电路或从外部源接收信息，或者可以向其它功能单元/电路或到外部目的地传输信息。外部源和外部目的地是指第二设备106外部的源和目的地。
第二存储接口548可以包括不同的实施方式，这取决于哪些功能单元/电路或外部单元/电路与第二存储电路546接口。可以用与第二控制接口544的实施方式相似的技术和技巧来实现第二存储接口548。第二存储电路546可以从物体检测模块115接收现实世界端点和框552。
第二控制电路534可以从现实世界端点和框552生成车辆操纵指令554和俯视图109。在训练过程期间，第二控制电路534可以将车辆操纵指令554合并到俯视图109中，以供传输到第一设备102。举例来说，现实世界端点和框552可以是基于如由第一设备102提供的光学传感器110的GPS位置和光学传感器110的外在校准的现实世界坐标的图4的端点P1416、图4的端点P2 418和图4的界定框402的几何转换。
第二通信电路536可以使得能够与第二设备106之间的外部通信。例如，第二通信电路536可以允许第二设备106通过网络104与第一设备102通信。举例来说，第二设备106可以响应于接收到传感器数据分组111而向第一设备102提供俯视图109。
第二通信电路536还可以用作通信集线器，从而允许第二设备106用作网络104的一部分并且不限于网络104的端点或终端单元或电路。第二通信电路536可以包括用于与网络104交互的有源和无源部件(诸如微电子器件或天线)。
第二通信电路536可以包括第二通信接口550。第二通信接口550可以被用于第二通信电路536与第二设备106中的其它功能单元或电路之间的通信。第二通信接口550可以从其它功能单元/电路接收信息，或者可以向其它功能单元或电路传输信息。
第二通信接口550可以包括不同的实施方式，这取决于哪些功能单元或电路与第二通信电路536接口。可以用与第二控制接口544的实施方式相似的技术和技巧来实现第二通信接口550。
在训练过程期间，第一通信电路516可以与网络104耦合以在第一设备传输508中向第二设备106发送图1的传感器数据分组111。第二设备106可以在第二通信电路536中从网络104的第一设备传输508接收信息。
第二通信电路536可以与网络104耦合以向第一设备102发送信息，包括第二设备传输510中的俯视图109。第一设备102可以在第一通信电路516中从网络104的第二设备传输510接收信息。导航系统100可以由第一控制电路512、第二控制电路534或其组合来运行。出于说明目的，第二设备106被示为具有包含第二用户接口538、第二存储电路546、第二控制电路534和第二通信电路536的分区，但是可以理解的是，第二设备106可以包括不同的分区。例如，第二软件542可以被不同地分区，使得其一些或全部功能可以在第二控制电路534和第二通信电路536中。而且，为了清晰起见，第二设备106可以包括在图5中未示出的其它功能单元或电路。
第一设备102中的功能单元或电路可以单独且独立于其它功能单元或电路工作。第一设备102可以单独且独立于第二设备106和网络104工作。
第二设备106中的功能单元或电路可以单独且独立于其它功能单元或电路工作。第二设备106可以单独且独立于第一设备102和网络104工作。
上述功能单元或电路可以用硬件实现。例如，可以使用门、电路系统、处理器、计算机、集成电路、集成电路核心、压力传感器、惯性传感器、微机电系统(MEMS)、无源设备、包含用于执行软件功能的指令的物理非暂态存储器介质、其中的一部分或其组合来实现一个或多个功能单元或电路。
出于说明目的，通过第一设备102和第二设备106的操作描述了导航系统100。应该理解的是，第一设备102和第二设备106可以操作导航系统100的任何模块和功能。
通过另一个示例，第一设备102可以是自主车辆。第一用户接口518可以从图1的光学传感器110接收输入，用于编制图1的传感器数据分组111。传感器数据分组111可以由第一控制电路512从光学传感器和第一定位电路520生成。传感器数据分组111可以通过第一通信电路516和网络104发送到第二设备106，以供第二控制电路534和物体检测模块115进行处理。
已经发现，第二设备106可以从要求识别图2的停车空间202的第一设备102接收传感器数据分组111。第二控制电路534可以核实传感器数据分组111并将该信息传递到物体检测模块115以供分析。当物体检测模块115已经分析了数据并且组装了俯视图109时，第二控制单元可以结合操纵指令，以使第一设备102访问停车空间202或继续搜索适当的一个停车空间202。俯视图109然后可以被传递到第二通信电路536以传送到第一设备102。在停车辅助或自主驾驶模式下，转换速度对于第一设备102的安全操作至关重要。
现在参考图6，其中示出了图1的物体检测模块115的示例性框图601。物体检测模块115的示例性框图601可以包括多层神经网络116、端点和线模块118以及线规则模块120。应该理解的是，物体检测模块115及其子组件可以是由第二控制电路534、第一控制电路512或其组合运行的软件。还应该理解的是，在有必要加速物体识别过程的情况下，物体检测模块115及其子组件可以具有特定的硬件辅助逻辑。
多层神经网络116可以包括深度学习物体检测器602，诸如FAST基于区域的卷积神经网络(Fast R-CNN)、你只看一次(YOLO)、单发检测器(SSD)等。深度学习物体检测器602可以从图1的传感器数据分组111接收照片并处理来自图2的扫描区域204的数据。深度学习物体检测器602可以耦合到图像特征模块604。
图像特征模块604可以处理深度学习物体检测器602的输出以识别从初始处理检测到的物体。通过关注低概率物体，可以做出更稳健的确定。图像特征模块604还可以处理以低概率检测到的物体。这个过程可以提供最高机会来识别扫描区域204中的所有物体。
图像特征模块604的输出可以由完全连接的模块(FC)606进一步处理，该模块可以定义扫描区域204中物体的标记或分类。举例来说，完全连接的模块可以识别停放的车辆302、摩托车304、标牌208、被标示为L1、L2、L4的边界线212、摩托车分隔线214以及缩短线306。识别出的物体的标记可以简化以后的处理。
图像特征模块604的输出也可以由多层感知模块(MLP)608处理。多层感知模块(MLP)608可以由图5的第二控制电路534训练，以更有效地识别标示为L1、L2、L4的边界线212、摩托车分隔线214和缩短线306。由第二控制电路执行的训练过程可以涉及调整多层感知模块(MLP)608中的加权功能。多层感知模块(MLP)608可以被定义为负责识别扫描区域204中的端点和线的神经网络。多层感知模块(MLP)608的输出可以是包围边界线212、摩托车分隔线214和缩短线306中的每一个的界定框402。多层感知模块(MLP)608还可以为每条识别出的线输出端点610。
端点和线模块118可以接收在扫描区域204中检测到的每条线的端点610、框612和类别614。可以由端点模块616操纵与它们的框612配对的端点610，以便通过现实世界坐标模块622来转换端点610。现实世界坐标模块622可以利用从第一设备102传送的位置信息和为光学传感器110提供的已知外在值来确定现实世界端点624。现实世界端点624可以被定义为每个端点610的GPS位置。
线规则模块120可以提供规则存储器625，用于存储一组可重新加载的规则，以供根据从扫描区域204得出的线的集合来确定停车空间202的几何形状。当改变线规则以检测不同类型的停车空间202时，规则存储器625可以是能够由第二控制电路534配置的易失性存储器或非易失性存储器。线规则模块120可以确定现实世界端点624的几何形状是否可以形成期望的停车空间202。
举例来说，用于确定停车空间202的线规则可以包括：
1、现实世界端点624应当形成至少两条基本相同长度的平行线。
2、线的长度应当在合理范围内，例如对于摩托车或标准车辆，其长度为7到17英尺。
3、在由所选择的线形成的区域内没有中间线或标牌。
4、平行线分隔必须在比第一设备102宽35-50％的范围内。
应该理解的是，其它规则可以提供对图2的摩托车停车空间210、残障人士停车空间206、卡车停车空间(未示出)或公共汽车停车空间(未示出)的检测。还应该理解的是，现实世界端点624可以通过边界线212的几何投影来提供停车空间202的俯视图。第二控制电路534检索现实世界端点624，以便生成俯视图109和操纵指令，以供第一设备102安全可靠地访问停车空间202。
已经发现，现实世界端点624的检测可以在各种光线条件下以及对于停车场线的各种形状或颜色提供稳定的渲染。图2的边界线212的特征提供了良好的清晰度，并且可以提供用于训练现代卷积神经网络以进行物体检测的机制，而无需考虑边界线212的颜色或扫描区域204中的光线。褪色线、虚线、新描画的线、反射线和假定线的示例可以提交给现代卷积神经网络以供训练。基于提供表示边界线212的端点的单个参考点，假定线可以表示砾石或泥土停车场中的适当间距。
现在参考图7，其中示出了实施例中的多层神经网络701的示例性实施方式。多层神经网络701的示例性实施方式包括输入神经元702、输出界定框神经元704和输出端点神经元706。举例来说，可以训练多层神经网络701来识别线，包括图2的边界线212、图2的摩托车分隔线214、缩短线306或其组合。应该理解的是，这仅仅是为了示例，并且多层神经网络701的其它版本可以被训练为识别其它物体，包括图3的停放的车辆302、图3的摩托车304、图2的标牌208、人或其它物体。
多层神经网络701可以例示图6的多层感知模块(MLP)608，尽管简化了这个示例的功能以便描述该功能的一部分。输入神经元702可以包括输入神经元I0 708至输入神经元In 710，其中n是正整数。举例来说，图7描绘了六个输入神经元702，但是可以实现任何数量。输入神经元I0 708可以提供分析功能，用于处理图1的传感器数据分组111中提供的图2的扫描区域204的部分。
在传感器数据分组111的分析中，输入神经元702可以各自支持不同的功能。每个输入神经元702可以与多个输出界定框神经元704和输出端点神经元706互连。互连是控制输入神经元702对输出界定框神经元704、输出端点神经元706或其组合的影响量的加权函数712。图5的第二控制电路534可以通过调整加权函数712来训练多层神经网络701以识别线的图6的端点610和与之相关联的图4的界定框402。多层神经网络701可以识别传感器数据分组111中的线，包括标示为L1、L2、L4的边界线212、摩托车分隔线214和缩短线306。
举例来说，输入神经元I0 708可以互连到输出界定框神经元704和输出端点神经元706中的每一个，而每个加权函数712可以具有不同的值。相反，输入神经元In 710可以连接到输出端点神经元706，并且对输出界定框神经元704没有影响。
继续该示例，输出界定框神经元704可以包括界定框中心X 714、界定框中心Y716、界定框宽度408和界定框长度406。当输入神经元702识别出线(诸如图2的边界线212)时，输出界定框神经元704和输出端点神经元706将变得有效，并且可以在边界线212周围定义界定框402，具有由端点X1 718和端点Y1 720的值组成的图4的端点P1 416以及由端点X2722和端点Y2 724组成的端点P2。
输出界定框神经元704和输出端点神经元706的值可以被传递到图1的端点和线模块118以供进一步处理。通过将端点集合和相关联的界定框中的每一个传递到端点和线模块118，可以识别和处理在传感器数据分组111中检测到的所有线。
已经发现，可以训练多层神经网络701以高效地检测传感器数据分组111中呈现的线。这允许线规则模块120快速识别图2的停车空间202。由于转换的速度和准确性对于第二控制电路534提供包括图5的操纵指令554的俯视图109是紧要的，因此，不管扫描区域204中的线颜色或环境光线如何，识别仅仅图6的端点610和图6的界定框612是准确的。
现在参考图8，其中示出了本发明的实施例中的图1的导航系统100的示例性操作流程图801。导航系统100的示例性操作流程图801描绘了开始块802，该开始块802指示图1的第一设备102已经访问了寻找图2的停车空间202的区域。流程前进到扫描图像块804，其中第一设备102的图1的光学传感器110捕获图2的扫描区域204。图5的第一控制电路512可以通过访问图2的第一定位电路520来识别当前全球位置，以结合在图1的传感器数据分组111中。应该理解的是，当前全球位置可以指示第一设备102的光学传感器110的实际位置。第一控制电路512可以生成光学传感器110的外在参数，以便促进传感器数据分组111的分析。
流程前进到提供分析的图像的块806，其中通过第一设备102分析传感器数据分组111。应该理解的是，第二设备106可以具有比第一设备102更高的数据处理能力和速度，因此出于训练目的，传感器数据分组111的处理可以由第二设备106执行，并且可以在图1的多层神经网络116被训练之后由第一设备102执行分析。
流程前进到识别分类、界定框和端点块808。在此，图1的多层神经网络116可以分析来自扫描区域204的图像并识别扫描任务感兴趣的物体。举例来说，扫描任务可以是识别停车空间202、定位摩托车停车空间210或定位残障人士停车空间206。多层神经网络116可以处理从扫描区域204获取的图像，以产生例如图6的块612和图6的端点610，以用于出现在扫描区域204中的任何线。中间数据(诸如被识别为P1的图4的端点416和被识别为P2的图4的端点418以及它们相关联的图4的界定框402之一)可以被存储在第二存储电路546中以供将来操作。
然后流程前进到将图像坐标转换成世界坐标块810。在将图像坐标转换成世界坐标块810中，框612和端点610的图形坐标由图6的现实世界坐标模块622通过基于光学传感器110的外在参数和光学传感器110的图2的现实世界坐标203的几何过程而被转换。基于由第一设备102提供的位置信息和光学传感器110的外在信息来转换现实世界端点624。现实世界端点624可以存储在第二存储电路546中以供后续操作。
然后，流程前进到应用线规则以识别停车空间块812。举例来说，解释了多层神经网络116以定位图2的边界线212。但是可以理解的是，多层神经网络116也可以被训练为识别其它类型的空间或物体，包括摩托车停车空间210和残障人士停车空间206。图1的线规则模块120可以识别基本相同长度的平行边界线212。线规则模块120还可以核实在边界线212的集合之间没有附加的线，并且边界线212之间的间距足以使第一设备102成功地访问停车空间202。
流程然后可以前进到显示俯视图和停车指令块814。第一控制电路512可以通过几何计算从边界线212的现实世界端点624组装俯视图109，并且生成用于让第一设备102访问停车空间202的操纵指令集合。第一控制电路512可以将停车空间202的俯视图109和操纵指令集合合并到俯视图109中。第一控制电路512可以将俯视图109发送到用户接口518，以供在用户显示器218上呈现。
流程前进到结束816，其中第一设备102可以接收俯视图109，将其呈现在图2的用户显示器218上。应该理解的是，用户显示器218可以示出来自扫描区域204的扫描数据，并且俯视图109可以被呈现为突出显示的覆盖图，或者俯视图109自身可以被呈现在用户显示器218上。第一设备102可以从俯视图109中提取操纵指令，以便使得第一设备102的驾驶员辅助或自主驾驶特征随后能够访问停车空间202。
现在参考图9，其中示出了本发明的实施例中的图1的导航系统100的操作方法900的流程图。方法900包括：在块902中，接收用于扫描区域的传感器数据分组；在块904中，分析提交给已经经过训练的多层神经网络的传感器数据分组，包括存储传感器数据分组；在块906中，用多层神经网络解析传感器数据分组以生成现实世界端点和界定框，包括识别现实世界坐标；在块908中，应用线规则，包括通过现实世界端点来识别停车空间，包括将现实世界端点存储在存储电路中；在块910中，编制俯视图，该俯视图包括通过扫描区域中的现实世界端点和界定框识别的停车空间的边界线；在块912中，将车辆操纵指令合并到俯视图中用于访问停车空间；以及在块914中，呈现俯视图以供显示在用户显示器上。
所得到的方法、过程、装置、设备、产品和/或系统是直接的、成本有效的、不复杂的、高度通用的、准确的、灵敏的和有效的，并且可以通过使已知的组件适应现成的、高效的和经济的制造、应用和利用来实现。本发明的实施例的另一个重要方面是，它有价值地支持和服务于降低成本、简化系统和提高性能的历史趋势。
因此，本发明的实施例的这些和其它有价值的方面将技术状态进一步提升到至少下一个级别。
虽然已经结合具体的最佳模式描述了本发明，但是应该理解的是，根据前面的描述，许多替代方案、修改和变化对于本领域技术人员将是显而易见的。因而，旨在涵盖落入所包括的权利要求的范围内的所有这样的替代方案、修改和变化。在本文阐述或在附图中示出的所有事项都应当以说明性而非限制性的意义来解释。

Claims (14)

1.一种导航系统，包括：
用户接口，被配置为：
接收用于扫描区域的传感器数据分组；
控制电路，耦合到用户接口，被配置为：
分析提交给已经经过训练的多层神经网络的传感器数据分组，包括存储传感器数据分组；
用多层神经网络解析传感器数据分组以生成现实世界端点和界定框，包括识别现实世界坐标；
应用线规则，包括通过现实世界端点来识别停车空间，包括将现实世界端点存储在存储电路中；
编制俯视图，该俯视图包括通过扫描区域中的现实世界端点和界定框识别的停车空间的边界线；
将车辆操纵指令合并到俯视图中用于访问停车空间；以及
呈现俯视图以供显示在用户显示器上。
2.如权利要求1所述的系统，其中控制电路被配置为：
当改变线规则时，更新线规则模块中的规则存储器；并且
基于更新线规则来检测摩托车停车空间或残障人士停车空间。
3.如权利要求1所述的系统，其中控制电路被配置为将现实世界坐标加载到端点和线模块中以计算现实世界端点。
4.如权利要求1所述的系统，其中控制电路被配置为核实传感器数据分组，所述传感器数据分组包括扫描区域的扫描、光学传感器的现实世界坐标以及光学传感器的外在参数。
5.如权利要求1所述的系统，其中控制电路被配置为生成现实世界端点和界定框，包括控制电路基于光学传感器的现实世界坐标和光学传感器的外在参数来执行几何转换。
6.如权利要求1所述的系统，其中控制电路被配置为通过识别边界线之间的标牌来检测残障人士停车空间。
7.如权利要求1所述的系统，其中控制电路被配置为呈现俯视图以供在用户显示器上显示，包括访问由多层神经网络识别出的停车空间的设备。
8.如权利要求1所述的系统，还包括通信电路，该通信电路耦合到控制电路，被配置为通过网络发送传感器数据分组并接收俯视图以改善多层神经网络。
9.一种用于导航系统的操作的方法，包括：
接收用于扫描区域的传感器数据分组；
分析提交给已经经过训练的多层神经网络的传感器数据分组，包括存储传感器数据分组；
用多层神经网络解析传感器数据分组以生成现实世界端点和界定框，包括识别现实世界坐标；
应用线规则，包括通过现实世界端点来识别停车空间，包括将现实世界端点存储在存储电路中；
编制俯视图，该俯视图包括通过扫描区域中的现实世界端点和界定框识别的停车空间的边界线；
将车辆操纵指令合并到俯视图中用于访问停车空间；以及
呈现俯视图以供显示在用户显示器上。
10.如权利要求9所述的方法，还包括：
当更新线规则时，更新线规则模块中的规则存储器；并且
基于更新线规则来检测摩托车停车空间或残障人士停车空间。
11.如权利要求9所述的方法，还包括将现实世界坐标加载到端点和线模块中以计算现实世界端点。
12.如权利要求9所述的方法，还包括核实传感器数据分组，所述传感器数据分组包括扫描区域的扫描、光学传感器的现实世界坐标以及光学传感器的外在参数。
13.如权利要求9所述的方法，还包括生成现实世界端点和界定框，包括基于光学传感器的现实世界坐标和光学传感器的外在参数来执行几何转换。
14.如权利要求9所述的方法，还包括通过识别边界线之间的标牌来检测残障人士停车空间。
CN202111213547.6A 2020-12-23 2021-10-19 具有停车空间识别机制的导航系统及其操作方法 Pending CN114664102A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/132,353 2020-12-23
US17/132,353 US11443627B2 (en) 2020-12-23 2020-12-23 Navigation system with parking space identification mechanism and method of operation thereof

Publications (1)

Publication Number Publication Date
CN114664102A true CN114664102A (zh) 2022-06-24

Family

ID=78770358

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111213547.6A Pending CN114664102A (zh) 2020-12-23 2021-10-19 具有停车空间识别机制的导航系统及其操作方法

Country Status (3)

Country Link
US (1) US11443627B2 (zh)
EP (1) EP4019900A1 (zh)
CN (1) CN114664102A (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112580508A (zh) * 2020-12-18 2021-03-30 蔚来汽车科技(安徽)有限公司 停车位角点修正方法以及停车位角点修正系统、车辆
US20230024353A1 (en) * 2021-07-15 2023-01-26 Dus Operating Inc. Method for autonomously parking a motor vehicle
US11749116B1 (en) * 2022-04-08 2023-09-05 Here Global B.V. Apparatus and methods for providing adaptive vehicle parking assistance based on a driver's familiarity with a vehicle

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050033495A1 (en) * 2001-08-24 2005-02-10 Aisin Seiki Kabushiki Kaisha Parking assist system
CN107284443A (zh) * 2016-04-12 2017-10-24 福特全球技术公司 检测可用停车位
US10311731B1 (en) * 2014-09-16 2019-06-04 Knightscope, Inc. Autonomous parking monitor
US20200090516A1 (en) * 2018-09-13 2020-03-19 Volvo Car Corporation Vehicle parking availability map systems and methods
US20200089974A1 (en) * 2018-09-13 2020-03-19 Volvo Car Corporation Methods and systems for parking line marker detection and pairing and parking spot detection and classification
CN111259710A (zh) * 2018-12-03 2020-06-09 初速度（苏州）科技有限公司 采用停车位框线、端点的停车位结构检测模型训练方法
CN111341144A (zh) * 2018-12-19 2020-06-26 丰田自动车北美公司 停车促进系统和方法
US20200294310A1 (en) * 2019-03-16 2020-09-17 Nvidia Corporation Object Detection Using Skewed Polygons Suitable For Parking Space Detection

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9363483B2 (en) 2013-06-19 2016-06-07 Xerox Corporation Method for available parking distance estimation via vehicle side detection
US10078789B2 (en) 2015-07-17 2018-09-18 Magna Electronics Inc. Vehicle parking assist system with vision-based parking space detection
WO2018225069A1 (en) * 2017-06-07 2018-12-13 Nexar Ltd. Digitizing and mapping the public space using collaborative networks of mobile agents and cloud nodes
US11823389B2 (en) * 2018-12-20 2023-11-21 Qatar Foundation For Education, Science And Community Development Road network mapping system and method
US10990815B2 (en) * 2018-12-27 2021-04-27 Beijing Didi Infinity Technology And Development Co., Ltd. Image pre-processing in a lane marking determination system
US11113969B2 (en) * 2019-03-07 2021-09-07 Toyota Jidosha Kabushiki Kaisha Data-to-camera (D2C) based filters for improved object detection in images based on vehicle-to-everything communication
US11183059B2 (en) 2019-04-22 2021-11-23 Baidu Usa Llc Parking management architecture for parking autonomous driving vehicles

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050033495A1 (en) * 2001-08-24 2005-02-10 Aisin Seiki Kabushiki Kaisha Parking assist system
US10311731B1 (en) * 2014-09-16 2019-06-04 Knightscope, Inc. Autonomous parking monitor
CN107284443A (zh) * 2016-04-12 2017-10-24 福特全球技术公司 检测可用停车位
US20200090516A1 (en) * 2018-09-13 2020-03-19 Volvo Car Corporation Vehicle parking availability map systems and methods
US20200089974A1 (en) * 2018-09-13 2020-03-19 Volvo Car Corporation Methods and systems for parking line marker detection and pairing and parking spot detection and classification
CN111259710A (zh) * 2018-12-03 2020-06-09 初速度（苏州）科技有限公司 采用停车位框线、端点的停车位结构检测模型训练方法
CN111341144A (zh) * 2018-12-19 2020-06-26 丰田自动车北美公司 停车促进系统和方法
US20200294310A1 (en) * 2019-03-16 2020-09-17 Nvidia Corporation Object Detection Using Skewed Polygons Suitable For Parking Space Detection

Also Published As

Publication number Publication date
US11443627B2 (en) 2022-09-13
EP4019900A1 (en) 2022-06-29
US20220198928A1 (en) 2022-06-23

Similar Documents

Publication Publication Date Title
US11042762B2 (en) Sensor calibration method and device, computer device, medium, and vehicle
KR101932003B1 (ko) 실시간 동적으로 결정된 감지에 기초하여 무인 운전 차량에서 콘텐츠를 제공하는 시스템 및 방법
KR102523886B1 (ko) 스몰 타깃 검출 방법 및 장치
US11906312B2 (en) Localizing transportation requests utilizing an image based transportation request interface
US20200082207A1 (en) Object detection method and apparatus for object detection
CN114664102A (zh) 具有停车空间识别机制的导航系统及其操作方法
KR101960140B1 (ko) 자율 주행 차량 내에서 증강 가상 현실 콘텐츠를 제공하는 시스템 및 방법
JP6456901B2 (ja) 自律走行車においてメディアコンテンツを提示するためのシステム及び方法
CN110095752B (zh) 定位方法、装置、设备和介质
US20200104612A1 (en) Method and apparatus for detecting obstacle, electronic device, vehicle and storage medium
CN112740268B (zh) 目标检测方法和装置
US20210323544A1 (en) Method and apparatus for vehicle driving assistance
CN111311902B (zh) 一种数据处理方法、装置、设备和机器可读介质
US20200082547A1 (en) Method and apparatus for determining motion vector field, device, storage medium and vehicle
US20200264005A1 (en) Electronic apparatus and controlling method thereof
WO2019095735A1 (zh) 用于车辆的信息输出方法和装置
CN113887400B (zh) 障碍物检测方法、模型训练方法、装置及自动驾驶车辆
WO2022021982A1 (zh) 可行驶区域判定的方法、智能驾驶系统和智能汽车
CN112712036A (zh) 交通标志识别方法、装置、电子设备及计算机存储介质
CN115855080A (zh) 具有独立定位机制的导航系统和操作其的方法
US20220114813A1 (en) Detecting obstacle
US20230091574A1 (en) Driving assistance processing method and apparatus, computer-readable medium, and electronic device
CN108944945B (zh) 用于辅助驾驶的状态预测方法、装置、电子设备和车辆
CN114332827B (zh) 一种车辆识别方法、装置、电子设备和存储介质
US20230366699A1 (en) Sensor-based map correction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination