CN111507460B - 为了提供自动停车系统检测停车空间的方法和装置 - Google Patents

为了提供自动停车系统检测停车空间的方法和装置 Download PDF

Info

Publication number
CN111507460B
CN111507460B CN202010077088.2A CN202010077088A CN111507460B CN 111507460 B CN111507460 B CN 111507460B CN 202010077088 A CN202010077088 A CN 202010077088A CN 111507460 B CN111507460 B CN 111507460B
Authority
CN
China
Prior art keywords
test
neural network
convolutional neural
linear segment
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010077088.2A
Other languages
English (en)
Other versions
CN111507460A (zh
Inventor
金桂贤
金镕重
金鹤京
南云铉
夫硕熏
成明哲
申东洙
吕东勋
柳宇宙
李明春
李炯树
张泰雄
郑景中
诸泓模
赵浩辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of CN111507460A publication Critical patent/CN111507460A/zh
Application granted granted Critical
Publication of CN111507460B publication Critical patent/CN111507460B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/06—Automatic manoeuvring for parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0418—Architecture, e.g. interconnection topology using chaos or fractal principles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G08G1/141—Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/06—Automatic manoeuvring for parking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Automation & Control Theory (AREA)
  • Medical Informatics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Databases & Information Systems (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Game Theory and Decision Science (AREA)
  • Business, Economics & Management (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)

Abstract

本发明提供学习方法，利用与可停车空间的确定位置有关的概率分布和与上述确定位置之间的关系有关的关系线性段信息来检测上述可停车空间，其特征在于，包括：步骤(a)，学习装置执行如下流程(i)及流程(ii)，在流程(i)中，使第一卷积神经网络在停车情况图像适用第一卷积神经网络回归运算来计算与上述确定位置有关的一个以上的预算概率分布，在流程(ii)中，使第二卷积神经网络在上述停车情况图像适用第二卷积神经网络回归运算来生成预测关系线性段信息；以及步骤(b)，上述学习装置使损失层执行如下流程(i)及流程(ii)，在流程(i)中，使用第一损失来执行反向传播，由此学习上述第一卷积神经网络的参数。

Description

为了提供自动停车系统检测停车空间的方法和装置
技术领域
本发明涉及用于自动驾驶车辆的学习方法和学习装置，更详细地，涉及通过检测停车空间来提供自动停车系统的上述学习方法及上述学习装置以及利用其的测试方法及测试装置。
背景技术
深度卷积神经网络(Deep Convolution Neural Networks，Deep CNNs)为在深度学习领域中取得的辉煌发展的核心。在90年代，卷积神经网络用于解决字符识别问题，近来，广泛应用于机器学习(Machine Learning)领域。例如，2012年，卷积神经网络在图像识别挑战赛(ImageNet Large Scale Visual Recognition Challenge)中战胜其他竞争对象夺得冠军。之后，卷积神经网络成为机器学习领域中非常有用的工具。
近来，卷积神经网络广泛应用于自动驾驶领域。当卷积神经网络用于自动驾驶领域时，可通过输入图像的处理执行对象检测、语义(semantic)分割及空闲空间检测。
如上所述，卷积神经网络在自动驾驶领域中担当重要的作用，但是，在自动驾驶领域中，存在并未充分研究卷积神经网络的三个具体领域。其中，一个为自动停车领域。自动停车领域重要的原因如下，当停车时，虽然并不会发生威胁生命的危险事故，但是频频发生给车主带来财产损失的事故。若将卷积神经网络用于上述自动停车领域，则与利用传感器来检测停车空间的现有技术相比，经济性方面存在显著优势，但是，尚未充分进行将卷积神经网络适用于自动驾驶领域的技术研究。
发明内容
本发明的目的在于，解决上述问题。
本发明的再一目的在于，提供如下的自动停车系统，即，提供利用确定位置之间的关系信息及与确定位置有关的回归(regression)结果来检测停车空间的方法，由此，驾驶人员可以简单且轻松地停车。
并且，本发明的另一目的在于，提供如下的方法，即，构建可以执行对于确定位置的回归的卷积神经网络。
并且，本发明的还有一目的在于，提供如下的方法，即，构建可以检测确定位置之间的关系信息的卷积神经网络。
并且，本发明的又一目的在于，提供如下的方法，整合上述确定位置之间的关系信息和与上述确定位置有关的回归结果。
用于实现如上所述的本发明的目的并实现后述本发明的特征效果的本发明的特征结构如下。
根据本发明的一实施方式，本发明提供学习方法，利用与一个以上的可停车空间的一个以上的确定位置有关的一个以上的概率分布和与上述确定位置之间的关系有关的关系线性段信息(Relational Linear Segment Information)来检测上述可停车空间，其特征在于，包括：步骤(a)，若通过至少一个摄像头获取包含与上述可停车空间有关的至少一个停车情况图像，则学习装置执行如下流程(i)及流程(ii)，在流程(i)中，使第一卷积神经网络在上述停车情况图像适用至少一个第一卷积神经网络回归运算来计算与上述确定位置有关的一个以上的预算概率分布，在流程(ii)中，使第二卷积神经网络在上述停车情况图像适用至少一个第二卷积神经网络回归运算来生成与上述确定位置中的至少一部分之间的关系有关的预测关系线性段信息；以及步骤(b)，上述学习装置使损失层执行如下流程(i)及流程(ii)，在流程(i)中，参照上述预测概率分布及与此对应的真值(Ground-Truth)概率分布来生成第一损失之后，使用上述第一损失执行反向传播(backpropagation)，由此，学习上述第一卷积神经网络的参数中的至少一部分，在流程(ii)中，参照上述预测关系线性段信息及与此对应的真值关系线性段信息来生成第二损失之后，使用上述第二损失执行反向传播，由此，学习上述第二卷积神经网络的参数中的至少一部分。
在一实施例中，本发明的特征在于，在上述步骤(a)之前，还包括如下的步骤(a0)，即，上述学习装置使最优化卷积神经网络在具有W1×H1×C1的大小的上述停车情况图像适用至少一个最优化卷积神经网络运算来生成具有W2×H2×C2的大小的至少一个调节的停车情况图像，W2及H2分别小于W1及H1，C2大于C1，在上述步骤(a)中，上述学习装置执行如下流程：流程(i)，使上述第一卷积神经网络在上述调节的停车情况图像适用上述第一卷积神经网络回归运算来计算上述预算概率分布；以及流程(ii)，使上述第二卷积神经网络在上述调节的停车情况图像上述第二卷积神经网络回归运算来生成上述预测关系线性段信息。
在一实施例中，本发明的特征在于，在上述步骤(a)中，上述学习装置为了在上述停车情况图像适用上述第一卷积神经网络回归运算而执行如下步骤：步骤(i)，使在上述第一卷积神经网络的至少一个第一卷积层中所包含的一个以上的第一卷积神经反复进行利用其参数来将至少一个第一卷积运算适用于所输入的值之后，向下一个第一卷积神经传递所输出的值的流程，由此生成第一特征地图；以及步骤(ii)，使上述第一卷积神经网络的至少一个第一输出层在上述第一特征地图适用至少一个第一输出运算来生成上述预测概率分布。
在一实施例中，本发明的特征在于，上述学习装置使上述第一输出层在上述第一特征地图适用作为至少一个全连接网(Fully connected)络运算的上述第一输出运算来生成在第i通道内包含与一个以上的第i确定位置有关的一个以上的第i预测概率分布的至少一个预测确定位置图像，由此生成上述预算概率分布，其中，i为1以上且4以下的整数。
在一实施例中，本发明的特征在于，各个上述第i确定位置选自各个上述可停车空间的顶点中，被选为上述第i确定位置的一个以上的特定顶点具有与自动停车的对象车辆有关的至少一个第i位置特性。
在一实施例中，本发明的特征在于，在上述步骤(a)中，上述学习装置为了在上述停车情况图像适用上述第二卷积神经网络回归运算而执行如下步骤：步骤(i)，使在上述第二卷积神经网络的至少一个第二卷积层中包含的一个以上的第二卷积神经反复进行利用其参数来将至少一个第二卷积运算适用于所输入的值之后，向下一个第二卷积神经传递所输出的值的流程，由此生成第二特征地图；以及步骤(ii)，使上述第二卷积神经网络的至少一个第二输出层在上述第二特征地图适用至少一个第二输出运算来生成上述预测关系线性段信息。
在一实施例中，本发明的特征在于，上述学习装置使上述第二输出层适用作为至少一个全连接网络运算的上述第二输出运算来生成在第i通道内包含与上述确定位置中的至少一部分的一个以上的第i对(pair)有关的第i预测关系线性段信息的至少一个预测关系线性段图像，其中，i为1以上且4以下的整数。
在一实施例中，本发明的特征在于，上述第i对选自在上述可停车空间的特定线性段中包含的定点对中，上述特定线性段具有与自动停车的对象车辆有关的至少一个第i位置特性。
在一实施例中，本发明的特征在于，在上述步骤(a)之前，还包括步骤(a1)，与上述学习装置联动的至少一个贴标机(labeler)执行流程(i)及流程(ii)，在流程(i)中，生成以在上述停车情况图像中包含的各个上述确定位置为中心的各个高斯(Gaussian)概率分布，由此生成上述真值概率分布，在流程(ii)中，在上述确定位置，利用与和至少一部分的对中的至少一部分对应的线性段有关的信息来生成上述真值关系线性段信息。
根据本发明的再一实施方式，本发明提供测试方法，利用与一个以上的测试用可停车空间的一个以上的测试用确定位置有关的一个以上的测试用概率分布和与上述测试用确定位置之间的关系有关的关系线性段信息检测上述测试用可停车空间，其特征在于，包括：步骤(a)，包括步骤(1)及步骤(2)，在步骤(1)中，若通过至少一个学习用摄像头获取包含与一个以上的学习用可停车空间有关的信息的至少一个学习用停车情况图像，则学习装置执行如下流程(i)及流程(ii)，在流程(i)中，使第一卷积神经网络在上述学习用停车情况图像适用至少一个第一卷积神经网络回归运算来计算与学习用确定位置有关的一个以上的学习用预测概率分布，在流程(ii)中，使第二卷积神经网络在上述学习用停车情况图像适用至少一个第二卷积神经网络回归运算来生成与上述学习用确定位置中的至少一部分之间的关系有关的学习用预测关系线性段信息，在步骤(2)中，上述学习装置使损失层执行流程(i)及流程(ii)，在流程(i)中，参照上述学习用预算概率分布及与此对应的真值概率分布来生成第一损失之后，使用上述第一损失执行反向传播，由此学习上述第一卷积神经网络的参数中的至少一部分，在流程(ii)中，参照上述学习用预测关系线性段信息及与此对应的真值关系线性段信息来生成第二损失之后，使用上述第二损失来执行反向传播，由此，在学习上述第二卷积神经网络的参数中的至少一部分，在执行上述流程的状态下，测试装置执行流程(i)及流程(ii)，在流程(i)中，使上述第一卷积神经网络在测试用停车情况图像适用上述第一卷积神经网络回归运算来计算与上述测试用确定位置有关的一个以上的测试用预测概率分布，在流程(ii)中，使上述第二卷积神经网络在上述测试用停车情况图像适用上述第二卷积神经网络回归运算来生成与上述测试用确定位置中的至少一部分之间的关系有关的测试用预测关系线性段信息；步骤(b)，上述测试装置执行流程(i)及流程(ii)，在流程(i)中，使第一选择层参照上述测试用预测概率分布生成与上述测试用确定位置中的至少一部分有关的测试用预测确定位置的位置信息，在流程(ii)中，使第二选择层参照上述测试用预测关系线性段信息生成与上述测试用确定位置中的至少一部分的测试用对中的至少一部分有关的测试用预测线性段位置信息；以及步骤(c)，上述测试装置使配对层参照上述测试用预测确定位置的位置信息及上述测试用预测线性段位置信息来检测上述测试用可停车空间。
在一实施例中，本发明的特征在于，在上述步骤(b)中，上述测试装置使上述第一选择层在包含在上述测试用确定位置中的一个的概率大于周边像素的局部最大像素中选择具有大于阈值的上述概率的各个特定局部最大像素，由此生成上述测试用预测确定位置的位置信息。
在一实施例中，本发明的特征在于，在上述步骤(b)中，上述测试装置使上述第二选择层参照上述测试用关系线性段信息来在上述测试用对中选择测试用预测关系分数为阈值以上的一个以上的测试用特定对，由此生成上述测试用预测线性段位置信息。
在一实施例中，本发明的特征在于，在上述步骤(c)中，上述测试装置使上述配对层执行如下步骤：步骤(i)，参照上述测试用预测确定位置的位置信息，虚拟生成与上述测试用确定位置的上述测试用对中的至少一部分对应的一个以上的线性段；步骤(ii)，在上述线性段中，选择与上述测试用预测线性段位置信息有关的测试用关系信息处于特定状态的特定线性段；以及步骤(iii)，将与上述特定线性段对应的一个以上的矩形空间确定为上述测试用可停车空间。
在一实施例中，本发明的特征在于，在上述步骤(a)之前，还包括步骤(a0)，上述测试装置使最优化卷积神经网络在具有W1×H1×C1的大小的上述测试用停车情况图像适用至少一个最优化卷积神经网络运算来生成具有W2×H2×C2的大小的至少一个测试用调节的停车情况图像，W2及H2分别小于W1及H1，C2大于C1，在上述步骤(a)中，上述测试装置执行如下流程：流程(i)，使上述第一卷积神经网络在上述测试用调节的停车情况图像适用上述第一卷积神经网络回归运算来计算上述测试用预算概率分布；以及流程(ii)，使上述第二卷积神经网络在上述测试用调节的停车情况图像适用上述第二卷积神经网络回归运算来生成上述测试用预测关系线性段信息。
在一实施例中，本发明的特征在于，本发明还包括步骤(d)，上述测试装置向自动停车模块传送与上述测试用可停车空间有关的信息，从而使测试用对象车辆能够自动停车。
根据本发明的另一实施方式，本发明提供学习装置，利用与一个以上的可停车空间的一个以上的确定位置有关的一个以上的概率分布和与上述确定位置之间的关系有关的关系线性段信息来检测上述可停车空间，其特征在于，包括：至少一个存储器，用于存储多个指令；以及至少一个处理器，运行用于执行如下流程(I)及流程(II)的上述多个指令，在流程(I)中，若通过至少一个摄像头获取包含与上述可停车空间有关的信息的至少一个停车情况图像，则执行步骤(i)及步骤(ii)，在步骤(i)中，使第一卷积神经网络在上述停车情况图像适用至少一个第一卷积神经网络回归运算来计算与上述确定位置有关的一个以上的预算概率分布，在步骤(ii)中，使第二卷积神经网络在上述停车情况图像适用至少一个第二卷积神经网络回归运算来生成与上述确定位置中的至少一部分之间的关系有关的预测关系线性段信息，在流程(II)中，使损失层执行步骤(i)及步骤(ii)，在步骤(i)中，参照上述预测概率分布及与此对应的真值概率分布来生成第一损失之后，使用上述第一损失执行反向传播，由此，学习上述第一卷积神经网络的参数中的至少一部分，在步骤(ii)中，参照上述预测关系线性段信息及与此对应的真值关系线性段信息来生成第二损失之后，使用上述第二损失执行反向传播，由此，学习上述第二卷积神经网络的参数中的至少一部分。
在一实施例中，本发明的特征在于，在上述流程(I)之前，上述处理器还执行流程(I-0)，使最优化卷积神经网络在具有W1×H1×C1的大小上述停车情况图像适用至少一个最优化卷积神经网络运算来生成具有W2×H2×C2的大小的至少一个调节的停车情况图像，W2及H2分别小于W1及H1，C2大于C1，在上述流程(I)中，上述处理器执行如下流程：流程(i)，使上述第一卷积神经网络在上述调节的停车情况图像适用上述第一卷积神经网络回归运算来计算上述预算概率分布；以及流程(ii)，使上述第二卷积神经网络在上述调节的停车情况图像上述第二卷积神经网络回归运算来生成上述预测关系线性段信息。
在一实施例中，本发明的特征在于，在上述流程(I)中，上述处理器为了在上述停车情况图像适用上述第一卷积神经网络回归运算而执行如下步骤：步骤(i)，使在上述第一卷积神经网络的至少一个第一卷积层中所包含的一个以上的第一卷积神经反复进行利用其参数来将至少一个第一卷积运算适用于所输入的值之后，向下一个第一卷积神经传递所输出的值的流程，由此生成第一特征地图；以及步骤(ii)，使上述第一卷积神经网络的至少一个第一输出层在上述第一特征地图适用至少一个第一输出运算来生成上述预测概率分布。
在一实施例中，本发明的特征在于，上述处理器使上述第一输出层在上述第一特征地图适用作为至少一个全连接网络运算的上述第一输出运算来生成在第i通道内包含与一个以上的第i确定位置有关的一个以上的第i预测概率分布的至少一个预测确定位置图像，由此生成上述预算概率分布，其中，i为1以上且4以下的整数。
在一实施例中，本发明的特征在于，各个上述第i确定位置选自各个上述可停车空间的顶点中，被选为上述第i确定位置的一个以上的特定顶点具有与自动停车的对象车辆有关的至少一个第i位置特性。
在一实施例中，本发明的特征在于，在流程(I)中，上述处理器为了在上述停车情况图像适用上述第二卷积神经网络回归运算而执行如下步骤：步骤(i)，使在上述第二卷积神经网络的至少一个第二卷积层中包含的一个以上的第二卷积神经反复进行利用其参数来将至少一个第二卷积运算适用于所输入的值之后，向下一个第二卷积神经传递所输出的值的流程，由此生成第二特征地图；以及步骤(ii)，使上述第二卷积神经网络的至少一个第二输出层在上述第二特征地图适用至少一个第二输出运算来生成上述预测关系线性段信息。
在一实施例中，本发明的特征在于，上述处理器使上述第二输出层适用作为至少一个全连接网络运算的上述第二输出运算来生成在第i通道内包含与上述确定位置中的至少一部分的一个以上的第i对有关的第i预测关系线性段信息的至少一个预测关系线性段图像，其中，i为1以上且4以下的整数。
在一实施例中，本发明的特征在于，上述第i对选自在上述可停车空间的特定线性段中包含的定点对中，上述特定线性段具有与自动停车的对象车辆有关的至少一个第i位置特性。
在一实施例中，本发明的特征在于，在上述流程(I)之前，还执行流程(I-1)，与上述学习装置联动的至少一个贴标机执行流程(i)及流程(ii)，在流程(i)中，生成以在上述停车情况图像中包含的各个上述确定位置为中心的各个高斯概率分布，由此生成上述真值概率分布，在流程(ii)中，在上述确定位置，利用与和至少一部分的对中的至少一部分对应的线性段有关的信息来生成上述真值关系线性段信息。
根据本发明的还有一实施方式，本发明提供测试装置，利用与一个以上的可停车空间的一个以上的确定位置有关的一个以上的概率分布和与上述确定位置之间的关系有关的关系线性段信息来检测上述可停车空间，其特征在于，包括：至少一个存储器，用于存储多个指令；以及至少一个处理器，运行用于执行如下流程(I)、流程(II)及(III)的上述多个指令，在流程(I)中包括步骤(1)、步骤(2)及步骤(3)，在步骤(1)中，若通过至少一个学习用摄像头获取包含与一个以上的学习用可停车空间有关的信息的至少一个学习用停车情况图像，则学习装置执行流程(i)及流程(ii)，在上述流程(i)中，使第一卷积神经网络在上述学习用停车情况图像适用至少一个第一卷积神经网络回归运算来计算与学习用确定位置有关的一个以上的学习用预测概率分布，在流程(ii)中，使第二卷积神经网络在上述学习用停车情况图像适用至少一个第二卷积神经网络回归运算来生成与上述学习用确定位置中的至少一部分之间的关系有关的学习用预测关系线性段信息，在步骤(2)中，上述学习装置使损失层执行流程(i)及流程(ii)，在上述流程(i)中，参照上述学习用预测概率分布及与此对应的真值概率分布来生成第一损失之后，使用上述第一损失来执行反向传播，由此学习上述第一卷积神经网络的参数中的至少一部分，在流程(ii)中，参照上述学习用预测关系线性段信息及与此对应的真值关系线性段信息来生成第二损失之后，使用上述第二损失来执行反向传播，由此学习上述第二卷积神经网络的参数中的至少一部分，在执行上述流程的状态下，执行步骤(i)及步骤(ii)，在步骤(i)中，使上述第一卷积神经网络在测试用停车情况图像适用上述第一卷积神经网络回归运算来计算与上述测试用确定位置有关的一个以上的测试用预测概率分布，在步骤(ii)中，使上述第二卷积神经网络在上述测试用停车情况图像适用上述第二卷积神经网络回归运算来生成与上述测试用确定位置中的至少一部分之间的关系有关的测试用预测关系线性段信息，在流程(II)中，执行步骤(i)及步骤(ii)，在步骤(i)中，使第一选择层参照上述测试用预测概率分布来生成与上述测试用确定位置中的至少一部分有关的测试用预测确定位置的位置信息，在步骤步骤(ii)中，使第二选择层参照上述测试用预测关系线性段信息来生成与上述测试用确定位置中的至少一部分的测试用对中的至少一部分有关的测试用预测线性段位置信息，在流程(III)中，使配对层参照上述测试用预测确定位置的位置信息及上述测试用预测线性段位置信息来检测上述测试用可停车空间。
在一实施例中，本发明的特征在于，在上述流程(II)中，使上述第一选择层在包含在上述测试用确定位置中的一个的概率大于周边像素的局部最大像素中选择具有大于阈值的上述概率的各个特定局部最大像素，由此生成上述测试用预测确定位置的位置信息。
在一实施例中，本发明的特征在于，在上述流程(II)中，上述处理器使上述第二选择层参照上述测试用关系线性段信息来在上述测试用对中选择测试用预测关系分数为阈值以上的一个以上的测试用特定对，由此生成上述测试用预测线性段位置信息。
在一实施例中，本发明的特征在于，在上述流程(III)中，上述测试装置使上述配对层执行如下步骤：步骤(i)，参照上述测试用预测确定位置的位置信息，虚拟生成与上述测试用确定位置的上述测试用对中的至少一部分对应的一个以上的线性段；步骤(ii)，在上述线性段中，选择与上述测试用预测线性段位置信息有关的测试用关系信息处于特定状态的特定线性段；以及步骤(iii)，将与上述特定线性段对应的一个以上的矩形空间确定为上述测试用可停车空间。
在一实施例中，本发明的特征在于，在上述流程(I)之前，上述处理器还执行流程(I-0)，使最优化卷积神经网络在具有W1×H1×C1的大小的上述测试用停车情况图像适用至少一个最优化卷积神经网络运算来生成具有W2×H2×C2的大小的至少一个测试用调节的停车情况图像，W2及H2分别小于W1及H1，C2大于C1，在上述流程(I)中，上述处理器执行如下流程：流程(i)，使上述第一卷积神经网络在上述测试用调节的停车情况图像适用上述第一卷积神经网络回归运算来计算上述测试用预算概率分布；以及流程(ii)，使上述第二卷积神经网络在上述测试用调节的停车情况图像适用上述第二卷积神经网络回归运算来生成上述测试用预测关系线性段信息。
在一实施例中，本发明的特征在于，上述处理器还执行流程(IV)，向自动停车模块传送与上述测试用可停车空间有关的信息，从而使测试用对象车辆能够自动停车。
此外，还提供用于记录实现本发明的方法的计算机程序的计算机可读记录介质。
本发明具有可以提供如下的自动停车系统的效果，即，提供利用确定位置之间的关系信息及与确定位置有关的回归(regression)结果来检测停车空间的方法，由此，驾驶人员可以简单且轻松地停车。
并且，本发明具有可以提供如下方法的效果，即，构建可以执行确定位置回归的卷积神经网络。
并且，本发明具有可以提供如下方法的效果，即，构建可以检测确定位置之间的关系信息的卷积神经网络。
并且，本发明具有可以提供如下方法的效果，即，整合上述确定位置之间的关系信息和与上述确定位置有关的回归结果。
附图说明
为了说明本发明实施例，所附的以下附图仅为本发明的实施例中的一部分，本发明所属技术领域的普通技术人员(以下，“普通技术人员”)可以在不付出创造性劳动的情况下，通过这些附图获得其他附图。
图1为简要示出根据本发明一实施例，执行利用确定位置之间的关系信息及与确定位置有关的回归(regression)结果来检测停车空间，由此提供自动停车系统的学习方法的学习装置的结构的图。
图2为简要示出根据本发明的一实施例，利用上述确定位置之间的关系信息及与上述确定位置有关的回归结果来检测回归结果，由此提供上述自动停车系统的上述学习方法的流程图。
图3为简要示出根据本发明的一实施例，为了执行利用上述确定位置之间的关系信息及与上述确定位置有关的回归结果来检测上述停车空间，由此提供上述自动停车系统的上述学习方法而利用的各个预算概率分布、各个预测关系线性段信息及与此对应的停车情况图像的图。
图4为简要示出根据本发明一实施例，为了执行利用上述确定位置之间的关系信息及与上述确定位置有关的回归结果来检测上述停车空间，由此提供上述自动停车系统的测试方法而使用的配对层的动作原理的图。
具体实施方式
为了使本发明的目的、技术手段及优点更加明确，将以本发明能够实施的特定实施例为例并参照附图对本发明进行详细说明。为了普通技术人员能够充分实施本发明而详细说明这些实施例。
并且，在本发明的详细说明及发明要求保护范围中，术语“包括”及其变形并非意图为排除其他技术特征、附加物、结构要素或步骤等。普通技术人员可以从本说明书得知本发明的其他目的、优点及特性的一部分，且可以在实施本发明的过程中得知一部分。以下例示及附图仅作为实例来提供，而本发明并不限定于此。
尤其，应理解，本发明包括本说明书中提供的多个实施例的所有组合。本发明的各种实施例虽然互不相同但不必相互排斥。例如，本文所记载的特定形状、结构及特性，在一实施例中不脱离本发明的思想及范围的情况下还可以实现为另一实施例。并且，应理解，所公开的每个实施例中的个别结构要素的位置或配置可以在不脱离本发明的思想及范围的情况下进行变更。因此，后述的详细说明并不用于限定本发明，只要能够进行适当的说明，本发明的范围应根据与发明要求保护范围等同的所有范围和所附的发明要求保护范围而被限定。附图中类似的附图标记在多个方面指类似的功能。
本发明中所提及的各种图像可以包括柏油马路或非柏油马路的相关图像，在这种情况下，可以假设包括马路环境中可以出现的物体(假如车辆、人、动物、植物、物体、建筑物、飞机或无人机等飞行物、其他障碍物)，但并不必须限定于此。本发明中所提及的各种图像还可以为与马路无关的图像(假如非柏油马路、胡同、空地、海、湖、河、山、树林、沙漠、天空、与室内相关的图像)，在这种情况下，可以假设包括非柏油马路、胡同、空地、海、湖、河、山、树林、沙漠、天空、室内环境中可以出现的物体(假如车辆、人、动物、植物、物体、建筑物、飞机或无人机等飞行物、其他障碍物)，但并不必须限定于此。
以下，为了使本发明所属技术领域的普通技术人员容易实施本发明，参照附图详细地说明本发明的优选实施例。
图1为简要示出根据本发明一实施例，执行利用确定位置之间的关系信息及与确定位置有关的回归结果来检测停车空间，由此提供自动停车系统的学习方法的学习装置的结构的图。
参照图1，上述学习装置100可包括之后详细说明的最优化的卷积神经网络130、第一卷积神经网络140、第二卷积神经网络150及损失层160。上述最优化卷积神经网络130、上述第一卷积神经网络140、上述第二卷积神经网络150及上述损失层160的输入输出及运算过程分别可以通过至少一个通信部110及至少一个处理器120执行。只是，图1中省略了上述通信部110及上述处理器120的具体连接关系。在此情况下，存储器115可以存储后述的多个指令，上述处理器120可以执行存储于上述存储器115的上述多个指令，上述处理器120执行之后说明的上述多个指令，由此可以执行本发明的流程。如上所述，即使描述上述学习装置100，也并未排除包括具有处理器、存储器、介质或其他计算要素集成形态的集成处理器的情况。
以上，根据本发明的一实施例，说明执行利用上述确定位置之间的关系信息及与上述确定位置有关的回归结果来检测上述停车空间，由此，提供上述自动停车系统的上述学习方法的上述学习装置100的结构，参照图2，说明通过上述学习装置100执行的上述学习方法。
图2为简要示出根据本发明的一实施例，利用上述确定位置之间的关系信息及与上述确定位置有关的回归结果来检测回归结果，由此提供上述自动停车系统的上述学习方法的流程图。
参照图2，若获取至少一个停车情况图像，则上述学习装置100可使上述最优化卷积神经网络130在上述停车情况图像适用至少一个最优化卷积神经网络运算来生成至少一个调节的停车情况图像(步骤S01)。虽然之后说明，但这种过程并不是必须执行的过程。之后，上述学习装置100使上述第一卷积神经网络140在上述调节的停车情况图像适用至少一个第一卷积神经网络回归运算来计算与之后说明的确定位置(decision points)有关的一个以上的预测概率分布(步骤S02-1)。并且，与此并行地，上述学习装置100可使上述第二卷积神经网络150在上述调节的停车情况图像适用至少一个第二卷积神经网络回归运算来生成与之后说明的上述确定位置之间的关系有关的预测关系线性段信息步骤(S02-2)。而且，上述学习装置100使上述损失层160参照上述预算概率分布及与此对应的真值(Ground-Truth)概率分布来生成第一损失之后，利用上述第一损失执行反向传播，由此可以学习上述第一卷积神经网络140的参数中的一部分(步骤S03-1)。与此并行地，上述学习装置100使上述损失层160参照上述预测关系线性段信息及与此对应的真值关系线性段信息来生成第二损失之后，利用上述第二损失来执行反向传播，由此可以学习上述第二卷积神经网络150的参数中的至少一部分(S03-2)。
以下，更加具体说明上述简单说明的本发明的上述学习方法。
首先，上述学习装置100可通过至少一个摄像头获取包含与一个以上的可停车空间有关的信息的上述停车情况图像。在此情况下，作为一例，上述摄像头可以为在与上述学习装置100联动的对象车辆搭载的前部面摄像头、侧面摄像头或后方摄像头中的至少一个。作为另一例，可以为与上述学习装置100联动的停车场内监控摄像头中的一个。在此情况下，若上述学习装置100搭载于上述对象车辆，则上述学习装置100可通过V2X通信获取上述停车情况图像。
之后，上述学习装置100可向上述第一卷积神经网络140及上述第二卷积神经网络150直接输入上述停车情况图像，或者利用上述最优化卷积神经网络130调节上述停车情况图像之后向上述第一卷积神经网络140及上述第二卷积神经网络150输入调节的上述停车情况图像。以下，说明上述最优化卷积神经网络130的运算过程。
即，上述学习装置100使上述最优化卷积神经网络130在具有W1×H1×C1的大小的上述停车情况图像适用上述最优化卷积神经网络运算来生成具有W2×H2×C2的大小的至少一个调节的停车情况图像。在此情况下，W2及H2分别小于W1及H1，C2大于C1。简言之，上述最优化卷积神经网络130生成与上述停车情况图像对应的特征地图，即，上述调节的停车情况图像之后，可以向上述第一卷积神经网络140及上述第二卷积神经网络150输入上述图像。上述最优化卷积神经网络130可以使用能够生成特征地图的以往的方式，例如，VGG16、VGG19、单视图网络(SVNet，Single-view Network)或残留网络(ResNet，Residual Network)等来构成。并且，这种最优化卷积神经网络130可以预先学习。通过上述最优化卷积神经网络130处理上述停车情况图像，由此，可以向上述第一卷积神经网络140及上述第二卷积神经网络150输入更充分的信息及具有更小的大小的上述调节的停车情况图像。
之后，上述第一卷积神经网络140及上述第二卷积神经网络150可以在上述停车情况图像或与此对应的调节的停车情况图像分别适用上述第一卷积神经网络回归运算和上述第二卷积神经网络回归运算。以下，说明上述第一卷积神经网络回归运算及上述第二卷积神经网络回归运算。
首先，上述学习装置100为了在上述停车情况图像适用上述第一卷积神经网络回归运算，使在上述第一卷积神经网络的至少一个第一卷积层中所包含的一个以上的第一卷积神经反复进行利用其参数来将至少一个第一卷积运算适用于所输入的值之后，向下一个第一卷积神经传递所输出的值的流程，由此可生成第一特征地图。上述过程与广泛用于深度学习领域的前馈(Feedforward)网络的动作过程类似，因此，本发明所属技术领域的普通技术人员可以轻松理解。之后，上述学习装置100可以使上述第一卷积神经网络140的至少一个第一输出层在上述第一特征地图适用至少一个第一输出运算来生成上述预测概率分布。
作为一例，上述第一输出层可以由全连接(Fully-Connected)网络构成，在此情况下，上述第一输出运算可以为全连接网络运算的一种。其中，当上述第一输出层生成上述预测概率分布时，可以生成在第i通道内包含与一个以上的第i确定位置有关的一个以上的第i预算概率分布的至少一个预测确定位置图像。
具体地，假设上述可停车空间为矩形，上述确定位置可以为上述可停车空间的顶点，可以分为第一确定位置组、第二确定位置组、第三确定位置组及第四确定位置组。在此情况下，上述第i确定位置可以为与上述对象车辆有关的位置特性为第i位置特性的顶点。作为一例，第一位置特性可以为最接近上述对象车辆的各个线性段的各个左侧顶点中的关系位置(即，相对位置)，第二位置特性可以为最接近上述对象车辆的各个线性段的的各个右侧顶点中的关系位置。第三位置特性及第四位置特性也可以与上述类似地定义。例如，上述第三位置特性可以为最远离上述对象车辆的各个线性段的各个左侧顶点中的关系位置，上述第四位置特性可以为最远离上述对象车辆的各个线性段的各个右侧顶点中的关系位置。
各个上述确定位置需要按其类别检测是为了与各个上述确定位置有关的信息存储于与各个类别对应的通道，从而在检测上述确定位置的过程中谋求高的性能。即，在深度学习网络中，当对需要输出的信息的特征与其他信息进行比较时，特征明显不同，上述特征越相同，性能将会提高。因此，根据类别，即，根据上述第一确定位置组至上述第四确定位置组，上述确定位置具有不同特征，因此，上述确定位置只要通过相同的方式检测，则性能有可能降低。由此，上述确定位置需要按上述类别不同地处理。
以上，说明了上述第一卷积神经网络回归运算。以下，详细说明上述第二卷积神经网络回归运算。
即，上述学习装置100为了在上述停车情况图像适用上述第二卷积神经网络回归运算，使在上述第二卷积神经网络150的至少一个第二卷积层中包含的一个以上的第二卷积神经反复进行利用其参数来将至少一个第二卷积运算适用于所输入的值之后，向下一个第二卷积神经传递所输出的值的流程，由此可生成第二特征地图。之后，上述学习装置100可以使上述第二卷积神经网络150的至少一个第二输出层在上述第二特征地图适用至少一个第二输出运算来生成上述预测关系线性段信息。
在此情况下，上述预测关系线性段信息包含与上述矩形可停车空间的线性段有关的信息，可以包含表示是否存在属于上述确定位置的各个对的两个顶点的各个预测关系分数。为了生成上述预测关系线性段信息，上述第二输出层可以与上述全连接网络类似地构成，上述第二输出运算可以与上述全连接网络运算类似。并且，当生成上述预测关系线性段信息时，上述第二输出层可以生成在第i通道内包含与上述确定位置中的至少一部分的一个以上的第i对有关的第i预测关系线性段信息的至少一个预测关系线性段图像。与上述确定位置被分类类似，各个上述预测关系线性段信息可以分为第一预测关系线性段信息、第二预测关系线性段信息、第三预测关系线性段信息及第四预测关系线性段信息。即，与上述第i预测关系线性段信息对应的上述第i对可以与具有与上述对象车辆有关的至少一个第i位置特性的特定线性段对应。例如，上述第一对可以与最接近上述对象车辆的第一线性段对应，上述第二对可以与位于上述第一线性段的相反侧的第二线性段对应。这种分类过程与上述确定位置的分类过程类似，因此，将省略对其的详细说明。
参照图3，以图为例说明上述预算概率分布及上述预测关系线性段信息。
图3为简要示出根据本发明的一实施例，为了执行利用上述确定位置之间的关系信息及与上述确定位置有关的回归结果来检测上述停车空间，由此提供上述自动停车系统的上述学习方法而利用的各个预算概率分布、各个预测关系线性段信息及与此对应的停车情况图像的图。
参照图3，可确认上述停车情况图像200、上述预测确定位置图像的各个通道210、220、230、240及上述预测关系线性段图像各个通道250、260、270、280。在上述预测确定位置图像的第一通道210中，可以观察上述第一确定位置211、212、213的第一预测概率分布。这位于接近上述对象车辆的线性段的左侧顶点。并且，在上述预测关系线性段图像的第一通道250中，可以确认与上述第一对有关的上述第一预测关系线性段信息251、252、253。这最接近上述对象车辆。在此情况下，上述预测概率分布可以是简单的点，实际上，绘制成同心圆而呈现出高斯分布的形状。
若生成上述预测概率分布及上述预测关系线性段信息，则可利用上述信息和分别与此对应的真值概率分布及上述真值关系线性段信息学习上述第一卷积神经网络140及上述第二卷积神经网络150的参数中的至少一部分。具体地，上述学习装置100使上述损失层160可以执行如下流程(i)及流程(ii)，在上述流程(i)中，参照上述学习用预测概率分布及与此对应的真值概率分布来生成第一损失之后，使用上述第一损失来执行反向传播，由此学习上述第一卷积神经网络的参数中的至少一部分，在流程(ii)中，参照上述学习用预测关系线性段信息及与此对应的真值关系线性段信息来生成第二损失之后，使用上述第二损失来执行反向传播，由此学习上述第二卷积神经网络的参数中的至少一部分。
其中，说明获取上述真值概率分布及上述真值关系线性段信息的过程。即，与上述学习装置100联动的至少一个贴标机可执行流程(i)及流程(ii)，在流程(i)中，生成以在上述停车情况图像中包含的各个上述确定位置为中心的各个高斯概率分布，由此生成上述真值概率分布，在流程(ii)中，在上述确定位置，利用与和至少一部分的对中的至少一部分对应的线性段有关的信息来生成上述真值关系线性段信息。具体地，上述贴标机可以将上述确定位置分成上述第一确定位置至上述第四确定位置组，在各个对应通道设定与上述第一确定位置至上述第四确定位置对应的上述真值概率分布，由此可以生成真值确定位置图像。并且，上述贴标机搜索包含在上述停车情况图像的各个上述可停车空间的各个线性段，将包含在上述线性段的第一特定像素的第一真值关系分数设定为1，将不包含在上述线性段的第二特定像素的第二真值关系分数设定为0，并可以将这些包含在真值关系线性段图像的对应通道。上述过程可以通过计算机执行，或者可通过将计算机作为助力装置一同使用的规定管理人员执行，但并不局限于此。
以下，说明通过上述过程学习的上述学习装置100被测试的过程。
即，上述过程包括步骤(1)及步骤(2)，在步骤(1)中，若通过至少一个学习用摄像头获取包含与一个以上的学习用可停车空间有关的信息的至少一个学习用停车情况图像，则学习装置100执行如下流程(i)及流程(ii)，在流程(i)中，使上述第一卷积神经网络140在上述学习用停车情况图像适用上述第一卷积神经网络回归运算来计算与学习用确定位置有关的一个以上的学习用预测概率分布，在流程(ii)中，使上述第二卷积神经网络在上述学习用停车情况图像适用上述第二卷积神经网络回归运算来生成与上述学习用确定位置中的至少一部分之间的关系有关的学习用预测关系线性段信息，在步骤(2)中，上述学习装置100使上述损失层160执行流程(i)及流程(ii)，在流程(i)中，参照上述学习用预算概率分布及与此对应的真值概率分布来生成第一损失之后，使用上述第一损失执行反向传播，由此学习上述第一卷积神经网络的参数中的至少一部分，在流程(ii)中，参照上述学习用预测关系线性段信息及与此对应的真值关系线性段信息来生成第二损失之后，使用上述第二损失来执行反向传播，由此，在学习上述第二卷积神经网络的参数中的至少一部分，在执行上述流程的状态下，测试装置执行流程(i)及流程(ii)，在流程(i)中，使上述第一卷积神经网络140在测试用停车情况图像适用上述第一卷积神经网络回归运算来计算与上述测试用确定位置有关的一个以上的测试用预测概率分布，在流程(ii)中，使上述第二卷积神经网络150在上述测试用停车情况图像适用上述第二卷积神经网络回归运算来生成与上述测试用确定位置中的至少一部分之间的关系有关的测试用预测关系线性段信息。
之后，上述测试装置可执行如下流程(i)及流程(ii)，在流程(i)中，使第一选择层参照上述测试用预测概率分布生成与上述测试用确定位置中的至少一部分有关的测试用预测确定位置的位置信息，在流程(ii)中，使第二选择层参照上述测试用预测关系线性段信息生成与上述测试用确定位置中的至少一部分的测试用对中的至少一部分有关的测试用预测线性段位置信息。
而且，上述测试装置可以使配对层参照上述测试用预测确定位置的位置信息及上述测试用预测线性段位置信息来检测上述测试用可停车空间。
以下，详细说明上述第一选择层及上述第二选择层的流程。
首先，上述测试装置可以使上述第一选择层生成上述测试用预测确定位置的位置信息。在此情况下，具体地，上述测试装置使上述第一选择层执行如下步骤：步骤(i)，参照上述测试用预测概率分布获取与各个像素包含在上述测试用确定位置的各个概率有关的信息；以及步骤(ii)，在包含在上述测试用确定位置中的一个的概率大于周边像素的局部最大像素中，可以选择具有大于阈值的上述概率的各个特定局部最大像素。上述周边像素可以为从与此对应的对象像素比阈值更接近的像素。在此情况下，上述测试用预测概率分布并不表示上述测试用确定位置所在的位置，因此，需要上述后处理过程(post-processing)。
与上述类似，上述第二选择层也可以执行后处理。即，上述测试装置使上述第二选择层参照上述测试用关系线性段信息来在上述测试用对中选择具有阈值以上的测试用预测关系分数的一个以上的测试用特定对，由此生成上述测试用预测线性段位置信息。即，在测试用预测关系分数相对低而排除预计无法连接的测试用对之后，上述第二选择层可以找出上述测试用特定对的位置。
若获取上述测试用预测确定位置的位置信息及上述测试用预测线性段位置信息，则上述测试装置可以使上述配对层利用上述信息来检测上述测试用可停车空间。具体地，上述配对层可以执行如下步骤：
步骤(i)，参照上述测试用预测确定位置的位置信息，虚拟生成与上述测试用对中的至少一部分对应的一个以上的线性段；步骤(ii)，在上述线性段中，选择与上述测试用预测线性段位置信息有关的测试用关系信息处于特定状态的特定线性段；以及步骤(iii)，将与上述特定线性段对应的一个以上的矩形空间确定为上述测试用可停车空间。在此情况下，上述特定状态是指上述测试用预测线性段位置信息中的至少一个与对象线性段之间的一致率为阈值以上的状态。为了具体说明上述特定状态而参照图4。
图4为简要示出根据本发明一实施例，为了执行利用上述确定位置之间的关系信息及与上述确定位置有关的回归结果来检测上述停车空间，由此提供上述自动停车系统的测试方法而使用的配对层的动作原理的图。
参照图4，上述配对层虚拟生成连接测试用第一确定位置301与测试用第二确定位置302的第一线性段，但是可以确认其一致率较低。在此情况下，上述第一线性段将会除外。与此不同，连接上述测试用第一确定位置301与测试用第三确定位置303的第二线性段的一致率高，因此不会被除外。在此情况下，上述第二线性段被判断为是包含在上述测试用可停车空间的线性段。
以下，说明本发明的上述方法的差别特征。
在现有技术中，提供了很多利用图像处理工法检测上述测试用可停车空间的方法。但是，尚未保障对于现有技术的上述方法的准确性，这是因为利用上述图像处理工法直接检测上述测试用可停车空间边界线。与此不同，在本发明的情况下，利用上述图像处理优先检测能够以相对高的准确度检测的上述测试用确定位置之后，可以将连接上述测试用确定位置中的一部分的虚拟生成的上述线性段中的一部分判断为上述测试用可停车空间边界线。按步骤执行本发明的流程，由此能够以高的准确度检测上述测试用可停车空间。
如上所述，若检测上述测试用可停车空间，则上述测试装置向与测试用对象车辆联动的自动停车模块传送与上述可停车空间有关的信息，由此，上述测试用对象车辆可以自动停车。
以上说明的本发明的实施例能够以通过各种计算机结构要素执行的程序命令的形态实现并存储在计算机可读记录介质。上述计算机可读记录介质可以单独包括程序命令、数据文件、数据结构等或者可以包括它们的组合。上述计算机可读记录介质中记录的程序命令可以是为了本发明特殊设计并构成的，或者可以是由计算机软件领域的普通技术人员公知使用的。计算机可读记录介质可包括硬盘、软盘及磁带等的磁介质(magneticmedia)、CD-ROM、DVD等的光记录介质(optical media)、软盘(floptical disk)等的磁光介质(magneto-optical media)及只读存储器(ROM)、随机存取存储器(RAM)、闪存等的以存储并执行程序指令的方式特别构成的硬件装置。程序指令不仅包括通过编译器制造的机器语言代码，还包括通过使用解析器等由计算机执行的高级语言代码。上述硬件装置为了执行本发明的处理而能够以一个以上软件模块运行，反之亦然。
以上，通过具体结构要素等特定事项和所限定的实施例及附图进行了说明，但这仅用于提供对本发明的更全面的理解，而本发明并不限定于上述实施例，本发明所属技术领域的普通技术人员可以从这些记载进行各种修改及变形。
因此，本发明的思想并不局限于上述所说明的实施例，发明要求保护范围及其等同或等价变形的所有内容均属于本发明的思想范畴内。

Claims (30)

1.一种学习方法，利用与一个以上的可停车空间的一个以上的确定位置有关的一个以上的概率分布和与上述确定位置之间的关系有关的关系线性段信息来检测上述可停车空间，其特征在于，包括：
步骤(a)，若通过至少一个摄像头获取包含与上述可停车空间有关的至少一个停车情况图像，则学习装置执行如下流程(i)及流程(ii)，在流程(i)中，使第一卷积神经网络在上述停车情况图像适用至少一个第一卷积神经网络回归运算来计算与上述确定位置有关的一个以上的预测概率分布，在流程(ii)中，使第二卷积神经网络在上述停车情况图像适用至少一个第二卷积神经网络回归运算来生成与上述确定位置中的至少一部分之间的关系有关的预测关系线性段信息；以及
步骤(b)，上述学习装置使损失层执行如下流程(i)及流程(ii)，在流程(i)中，参照上述预测概率分布及与此对应的真值概率分布来生成第一损失之后，使用上述第一损失执行反向传播，由此，学习上述第一卷积神经网络的参数中的至少一部分，在流程(ii)中，参照上述预测关系线性段信息及与此对应的真值关系线性段信息来生成第二损失之后，使用上述第二损失执行反向传播，由此，学习上述第二卷积神经网络的参数中的至少一部分。
2.根据权利要求1所述的方法，其特征在于，
在上述步骤(a)之前，还包括如下的步骤(a0)，即，上述学习装置使最优化卷积神经网络在具有W1×H1×C1的大小的上述停车情况图像适用至少一个最优化卷积神经网络运算来生成具有W2×H2×C2的大小的至少一个调节的停车情况图像，
W2及H2分别小于W1及H1，C2大于C1，
在上述步骤(a)中，上述学习装置执行如下流程：
流程(i)，使上述第一卷积神经网络在上述调节的停车情况图像适用上述第一卷积神经网络回归运算来计算上述预测概率分布；以及
流程(ii)，使上述第二卷积神经网络在上述调节的停车情况图像上述第二卷积神经网络回归运算来生成上述预测关系线性段信息。
3.根据权利要求1所述的方法，其特征在于，在上述步骤(a)中，上述学习装置为了在上述停车情况图像适用上述第一卷积神经网络回归运算而执行如下步骤：
步骤(i)，使在上述第一卷积神经网络的至少一个第一卷积层中所包含的一个以上的第一卷积神经反复进行利用其参数来将至少一个第一卷积运算适用于所输入的值之后，向下一个第一卷积神经传递所输出的值的流程，由此生成第一特征地图；以及
步骤(ii)，使上述第一卷积神经网络的至少一个第一输出层在上述第一特征地图适用至少一个第一输出运算来生成上述预测概率分布。
4.根据权利要求3所述的方法，其特征在于，上述学习装置使上述第一输出层在上述第一特征地图适用作为至少一个全连接网络运算的上述第一输出运算来生成在第i通道内包含与一个以上的第i确定位置有关的一个以上的第i预测概率分布的至少一个预测确定位置图像，由此生成上述预测概率分布，其中，i为1以上且4以下的整数。
5.根据权利要求4所述的方法，其特征在于，各个上述第i确定位置选自各个上述可停车空间的顶点中，被选为上述第i确定位置的一个以上的特定顶点具有与自动停车的对象车辆有关的至少一个第i位置特性。
6.根据权利要求1所述的方法，其特征在于，在上述步骤(a)中，上述学习装置为了在上述停车情况图像适用上述第二卷积神经网络回归运算而执行如下步骤：
步骤(i)，使在上述第二卷积神经网络的至少一个第二卷积层中包含的一个以上的第二卷积神经反复进行利用其参数来将至少一个第二卷积运算适用于所输入的值之后，向下一个第二卷积神经传递所输出的值的流程，由此生成第二特征地图；以及
步骤(ii)，使上述第二卷积神经网络的至少一个第二输出层在上述第二特征地图适用至少一个第二输出运算来生成上述预测关系线性段信息。
7.根据权利要求6所述的方法，其特征在于，上述学习装置使上述第二输出层在上述第二特征地图适用作为至少一个全连接网络运算的上述第二输出运算来生成在第i通道内包含与上述确定位置中的至少一部分的一个以上的第i对有关的第i预测关系线性段信息的至少一个预测关系线性段图像，其中，i为1以上且4以下的整数。
8.根据权利要求7所述的方法，其特征在于，上述第i对选自在上述可停车空间的特定线性段中包含的定点对中，上述特定线性段具有与自动停车的对象车辆有关的至少一个第i位置特性。
9.根据权利要求1所述的方法，其特征在于，在上述步骤(a)之前，还包括步骤(a1)，与上述学习装置联动的至少一个贴标机执行流程(i)及流程(ii)，在流程(i)中，生成以在上述停车情况图像中包含的各个上述确定位置为中心的各个高斯概率分布，由此生成上述真值概率分布，在流程(ii)中，在上述确定位置，利用与和至少一部分的对中的至少一部分对应的线性段有关的信息来生成上述真值关系线性段信息。
10.一种测试方法，利用与一个以上的测试用可停车空间的一个以上的测试用确定位置有关的一个以上的测试用概率分布和与上述测试用确定位置之间的关系有关的关系线性段信息检测上述测试用可停车空间，其特征在于，包括：
步骤(a)，包括步骤(1)及步骤(2)，在步骤(1)中，若通过至少一个学习用摄像头获取包含与一个以上的学习用可停车空间有关的信息的至少一个学习用停车情况图像，则学习装置执行如下流程(i)及流程(ii)，在流程(i)中，使第一卷积神经网络在上述学习用停车情况图像适用至少一个第一卷积神经网络回归运算来计算与学习用确定位置有关的一个以上的学习用预测概率分布，在流程(ii)中，使第二卷积神经网络在上述学习用停车情况图像适用至少一个第二卷积神经网络回归运算来生成与上述学习用确定位置中的至少一部分之间的关系有关的学习用预测关系线性段信息，在步骤(2)中，上述学习装置使损失层执行流程(i)及流程(ii)，在流程(i)中，参照上述学习用预测概率分布及与此对应的真值概率分布来生成第一损失之后，使用上述第一损失执行反向传播，由此学习上述第一卷积神经网络的参数中的至少一部分，在流程(ii)中，参照上述学习用预测关系线性段信息及与此对应的真值关系线性段信息来生成第二损失之后，使用上述第二损失来执行反向传播，由此，在学习上述第二卷积神经网络的参数中的至少一部分，在执行上述流程的状态下，测试装置执行流程(i)及流程(ii)，在流程(i)中，使上述第一卷积神经网络在测试用停车情况图像适用上述第一卷积神经网络回归运算来计算与上述测试用确定位置有关的一个以上的测试用预测概率分布，在流程(ii)中，使上述第二卷积神经网络在上述测试用停车情况图像适用上述第二卷积神经网络回归运算来生成与上述测试用确定位置中的至少一部分之间的关系有关的测试用预测关系线性段信息；
步骤(b)，上述测试装置执行流程(i)及流程(ii)，在流程(i)中，使第一选择层参照上述测试用预测概率分布生成与上述测试用确定位置中的至少一部分有关的测试用预测确定位置的位置信息，在流程(ii)中，使第二选择层参照上述测试用预测关系线性段信息生成与上述测试用确定位置中的至少一部分的测试用对中的至少一部分有关的测试用预测线性段位置信息；以及
步骤(c)，上述测试装置使配对层参照上述测试用预测确定位置的位置信息及上述测试用预测线性段位置信息来检测上述测试用可停车空间。
11.根据权利要求10所述的方法，其特征在于，在上述步骤(b)中，上述测试装置使上述第一选择层在包含在上述测试用确定位置中的一个的概率大于周边像素的局部最大像素中选择具有大于阈值的上述概率的各个特定局部最大像素，由此生成上述测试用预测确定位置的位置信息。
12.根据权利要求10所述的方法，其特征在于，在上述步骤(b)中，上述测试装置使上述第二选择层参照上述测试用预测关系线性段信息来在上述测试用对中选择测试用预测关系分数为阈值以上的一个以上的测试用特定对，由此生成上述测试用预测线性段位置信息。
13.根据权利要求10所述的方法，其特征在于，在上述步骤(c)中，上述测试装置使上述配对层执行如下步骤：
步骤(i)，参照上述测试用预测确定位置的位置信息，虚拟生成与上述测试用确定位置的上述测试用对中的至少一部分对应的一个以上的线性段；
步骤(ii)，在上述线性段中，选择与上述测试用预测线性段位置信息有关的测试用关系信息处于特定状态的特定线性段；以及
步骤(iii)，将与上述特定线性段对应的一个以上的矩形空间确定为上述测试用可停车空间。
14.根据权利要求10所述的方法，其特征在于，
在上述步骤(a)之前，还包括步骤(a0)，上述测试装置使最优化卷积神经网络在具有W1×H1×C1的大小的上述测试用停车情况图像适用至少一个最优化卷积神经网络运算来生成具有W2×H2×C2的大小的至少一个测试用调节的停车情况图像，
W2及H2分别小于W1及H1，C2大于C1，
在上述步骤(a)中，上述测试装置执行如下流程：
流程(i)，使上述第一卷积神经网络在上述测试用调节的停车情况图像适用上述第一卷积神经网络回归运算来计算上述测试用预测概率分布；以及
流程(ii)，使上述第二卷积神经网络在上述测试用调节的停车情况图像适用上述第二卷积神经网络回归运算来生成上述测试用预测关系线性段信息。
15.根据权利要求10所述的方法，其特征在于，还包括步骤(d)，上述测试装置向自动停车模块传送与上述测试用可停车空间有关的信息，从而使测试用对象车辆能够自动停车。
16.一种学习装置，利用与一个以上的可停车空间的一个以上的确定位置有关的一个以上的概率分布和与上述确定位置之间的关系有关的关系线性段信息来检测上述可停车空间，其特征在于，包括：
至少一个存储器，用于存储多个指令；以及
至少一个处理器，运行用于执行如下流程(I)及流程(II)的上述多个指令，在流程(I)中，若通过至少一个摄像头获取包含与上述可停车空间有关的信息的至少一个停车情况图像，则执行步骤(i)及步骤(ii)，在步骤(i)中，使第一卷积神经网络在上述停车情况图像适用至少一个第一卷积神经网络回归运算来计算与上述确定位置有关的一个以上的预测概率分布，在步骤(ii)中，使第二卷积神经网络在上述停车情况图像适用至少一个第二卷积神经网络回归运算来生成与上述确定位置中的至少一部分之间的关系有关的预测关系线性段信息，在流程(II)中，使损失层执行步骤(i)及步骤(ii)，在步骤(i)中，参照上述预测概率分布及与此对应的真值概率分布来生成第一损失之后，使用上述第一损失执行反向传播，由此，学习上述第一卷积神经网络的参数中的至少一部分，在步骤(ii)中，参照上述预测关系线性段信息及与此对应的真值关系线性段信息来生成第二损失之后，使用上述第二损失执行反向传播，由此，学习上述第二卷积神经网络的参数中的至少一部分。
17.根据权利要求16所述的学习装置，其特征在于，
在上述流程(I)之前，上述处理器还执行流程(I-0)，使最优化卷积神经网络在具有W1×H1×C1的大小上述停车情况图像适用至少一个最优化卷积神经网络运算来生成具有W2×H2×C2的大小的至少一个调节的停车情况图像，
W2及H2分别小于W1及H1，C2大于C1，
在上述流程(I)中，上述处理器执行如下流程：
流程(i)，使上述第一卷积神经网络在上述调节的停车情况图像适用上述第一卷积神经网络回归运算来计算上述预测概率分布；以及
流程(ii)，使上述第二卷积神经网络在上述调节的停车情况图像上述第二卷积神经网络回归运算来生成上述预测关系线性段信息。
18.根据权利要求16所述的学习装置，其特征在于，在上述流程(I)中，上述处理器为了在上述停车情况图像适用上述第一卷积神经网络回归运算而执行如下步骤：
步骤(i)，使在上述第一卷积神经网络的至少一个第一卷积层中所包含的一个以上的第一卷积神经反复进行利用其参数来将至少一个第一卷积运算适用于所输入的值之后，向下一个第一卷积神经传递所输出的值的流程，由此生成第一特征地图；以及
步骤(ii)，使上述第一卷积神经网络的至少一个第一输出层在上述第一特征地图适用至少一个第一输出运算来生成上述预测概率分布。
19.根据权利要求18所述的学习装置，其特征在于，上述处理器使上述第一输出层在上述第一特征地图适用作为至少一个全连接网络运算的上述第一输出运算来生成在第i通道内包含与一个以上的第i确定位置有关的一个以上的第i预测概率分布的至少一个预测确定位置图像，由此生成上述预测概率分布，其中，i为1以上且4以下的整数。
20.根据权利要求19所述的学习装置，其特征在于，各个上述第i确定位置选自各个上述可停车空间的顶点中，被选为上述第i确定位置的一个以上的特定顶点具有与自动停车的对象车辆有关的至少一个第i位置特性。
21.根据权利要求16所述的学习装置，其特征在于，在流程(I)中，上述处理器为了在上述停车情况图像适用上述第二卷积神经网络回归运算而执行如下步骤：
步骤(i)，使在上述第二卷积神经网络的至少一个第二卷积层中包含的一个以上的第二卷积神经反复进行利用其参数来将至少一个第二卷积运算适用于所输入的值之后，向下一个第二卷积神经传递所输出的值的流程，由此生成第二特征地图；以及
步骤(ii)，使上述第二卷积神经网络的至少一个第二输出层在上述第二特征地图适用至少一个第二输出运算来生成上述预测关系线性段信息。
22.根据权利要求21所述的学习装置，其特征在于，上述处理器使上述第二输出层适用作为至少一个全连接网络运算的上述第二输出运算来生成在第i通道内包含与上述确定位置中的至少一部分的一个以上的第i对有关的第i预测关系线性段信息的至少一个预测关系线性段图像，其中，i为1以上且4以下的整数。
23.根据权利要求22所述的学习装置，其特征在于，上述第i对选自在上述可停车空间的特定线性段中包含的定点对中，上述特定线性段具有与自动停车的对象车辆有关的至少一个第i位置特性。
24.根据权利要求16所述的学习装置，其特征在于，在上述流程(I)之前，还执行流程(I-1)，与上述学习装置联动的至少一个贴标机执行流程(i)及流程(ii)，在流程(i)中，生成以在上述停车情况图像中包含的各个上述确定位置为中心的各个高斯概率分布，由此生成上述真值概率分布，在流程(ii)中，在上述确定位置，利用与和至少一部分的对中的至少一部分对应的线性段有关的信息来生成上述真值关系线性段信息。
25.一种测试装置，利用与一个以上的测试用可停车空间的一个以上的确定位置有关的一个以上的概率分布和与上述确定位置之间的关系有关的关系线性段信息来检测上述测试用可停车空间，其特征在于，包括：
至少一个存储器，用于存储多个指令；以及
至少一个处理器，运行用于执行如下流程(I)、流程(II)及流程(III)的上述多个指令，在流程(I)中包括步骤(1)、步骤(2)及步骤(3)，在步骤(1)中，若通过至少一个学习用摄像头获取包含与一个以上的学习用可停车空间有关的信息的至少一个学习用停车情况图像，则学习装置执行流程(i)及流程(ii)，在上述流程(i)中，使第一卷积神经网络在上述学习用停车情况图像适用至少一个第一卷积神经网络回归运算来计算与学习用确定位置有关的一个以上的学习用预测概率分布，在流程(ii)中，使第二卷积神经网络在上述学习用停车情况图像适用至少一个第二卷积神经网络回归运算来生成与上述学习用确定位置中的至少一部分之间的关系有关的学习用预测关系线性段信息，在步骤(2)中，上述学习装置使损失层执行流程(i)及流程(ii)，在上述流程(i)中，参照上述学习用预测概率分布及与此对应的真值概率分布来生成第一损失之后，使用上述第一损失来执行反向传播，由此学习上述第一卷积神经网络的参数中的至少一部分，在流程(ii)中，参照上述学习用预测关系线性段信息及与此对应的真值关系线性段信息来生成第二损失之后，使用上述第二损失来执行反向传播，由此学习上述第二卷积神经网络的参数中的至少一部分，在执行上述流程的状态下，执行步骤(i)及步骤(ii)，在步骤(i)中，使上述第一卷积神经网络在测试用停车情况图像适用上述第一卷积神经网络回归运算来计算与上述测试用确定位置有关的一个以上的测试用预测概率分布，在步骤(ii)中，使上述第二卷积神经网络在上述测试用停车情况图像适用上述第二卷积神经网络回归运算来生成与上述测试用确定位置中的至少一部分之间的关系有关的测试用预测关系线性段信息，在流程(II)中，执行步骤(i)及步骤(ii)，在步骤(i)中，使第一选择层参照上述测试用预测概率分布来生成与上述测试用确定位置中的至少一部分有关的测试用预测确定位置的位置信息，在步骤步骤(ii)中，使第二选择层参照上述测试用预测关系线性段信息来生成与上述测试用确定位置中的至少一部分的测试用对中的至少一部分有关的测试用预测线性段位置信息，在流程(III)中，使配对层参照上述测试用预测确定位置的位置信息及上述测试用预测线性段位置信息来检测上述测试用可停车空间。
26.根据权利要求25所述的测试装置，其特征在于，在上述流程(II)中，使上述第一选择层在包含在上述测试用确定位置中的一个的概率大于周边像素的局部最大像素中选择具有大于阈值的上述概率的各个特定局部最大像素，由此生成上述测试用预测确定位置的位置信息。
27.根据权利要求25所述的测试装置，其特征在于，在上述流程(II)中，上述处理器使上述第二选择层参照上述测试用预测关系线性段信息来在上述测试用对中选择测试用预测关系分数为阈值以上的一个以上的测试用特定对，由此生成上述测试用预测线性段位置信息。
28.根据权利要求25所述的测试装置，其特征在于，在上述流程(III)中，上述测试装置使上述配对层执行如下步骤：
步骤(i)，参照上述测试用预测确定位置的位置信息，虚拟生成与上述测试用确定位置的上述测试用对中的至少一部分对应的一个以上的线性段；
步骤(ii)，在上述线性段中，选择与上述测试用预测线性段位置信息有关的测试用关系信息处于特定状态的特定线性段；以及
步骤(iii)，将与上述特定线性段对应的一个以上的矩形空间确定为上述测试用可停车空间。
29.根据权利要求25所述的测试装置，其特征在于，
在上述流程(I)之前，上述处理器还执行流程(I-0)，使最优化卷积神经网络在具有W1×H1×C1的大小的上述测试用停车情况图像适用至少一个最优化卷积神经网络运算来生成具有W2×H2×C2的大小的至少一个测试用调节的停车情况图像，
W2及H2分别小于W1及H1，C2大于C1，
在上述流程(I)中，上述处理器执行如下流程：
流程(i)，使上述第一卷积神经网络在上述测试用调节的停车情况图像适用上述第一卷积神经网络回归运算来计算上述测试用预测概率分布；以及
流程(ii)，使上述第二卷积神经网络在上述测试用调节的停车情况图像适用上述第二卷积神经网络回归运算来生成上述测试用预测关系线性段信息。
30.根据权利要求25所述的测试装置，其特征在于，上述处理器还执行流程(IV)，向自动停车模块传送与上述测试用可停车空间有关的信息，从而使测试用对象车辆能够自动停车。
CN202010077088.2A 2019-01-30 2020-01-23 为了提供自动停车系统检测停车空间的方法和装置 Active CN111507460B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962798535P 2019-01-30 2019-01-30
US62/798,535 2019-01-30
US16/731,077 2019-12-31
US16/731,077 US10628688B1 (en) 2019-01-30 2019-12-31 Learning method and learning device, and testing method and testing device for detecting parking spaces by using point regression results and relationship between points to thereby provide an auto-parking system

Publications (2)

Publication Number Publication Date
CN111507460A CN111507460A (zh) 2020-08-07
CN111507460B true CN111507460B (zh) 2023-07-28

Family

ID=70285306

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010077088.2A Active CN111507460B (zh) 2019-01-30 2020-01-23 为了提供自动停车系统检测停车空间的方法和装置

Country Status (5)

Country Link
US (1) US10628688B1 (zh)
EP (1) EP3690717B1 (zh)
JP (1) JP6923960B2 (zh)
KR (1) KR102373456B1 (zh)
CN (1) CN111507460B (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018176000A1 (en) 2017-03-23 2018-09-27 DeepScale, Inc. Data synthesis for autonomous control systems
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11215999B2 (en) 2018-06-20 2022-01-04 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11361457B2 (en) 2018-07-20 2022-06-14 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
SG11202103493QA (en) 2018-10-11 2021-05-28 Tesla Inc Systems and methods for training machine models with augmented data
US11196678B2 (en) 2018-10-25 2021-12-07 Tesla, Inc. QOS manager for system on a chip communications
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US10997461B2 (en) 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11150664B2 (en) 2019-02-01 2021-10-19 Tesla, Inc. Predicting three-dimensional features for autonomous driving
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US10956755B2 (en) 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data
US11482015B2 (en) * 2019-08-09 2022-10-25 Otobrite Electronics Inc. Method for recognizing parking space for vehicle and parking assistance system using the method
KR20220148245A (ko) * 2020-03-04 2022-11-04 구글 엘엘씨 스트리밍 시퀀스 모델에 대한 일관성 예측
CN111508269B (zh) * 2020-04-23 2021-05-18 深圳智优停科技有限公司 一种基于图像识别的开放式停车位车辆判别方法与装置
US20210114586A1 (en) * 2020-12-23 2021-04-22 Ralf Graefe Autonomous driving vehicle parking detection
CN113525357B (zh) * 2021-08-25 2022-12-09 吉林大学 自动泊车决策模型优化系统及方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004048295A (ja) * 2002-07-10 2004-02-12 Toyota Motor Corp 画像処理装置、駐車支援装置、及び画像処理方法
KR101188588B1 (ko) * 2008-03-27 2012-10-08 주식회사 만도 모노큘러 모션 스테레오 기반의 주차 공간 검출 장치 및방법
JP5309891B2 (ja) * 2008-10-27 2013-10-09 三菱自動車工業株式会社 駐車支援装置
KR101583998B1 (ko) * 2014-10-17 2016-01-19 현대자동차주식회사 주차지원장치 및 방법
US20180356492A1 (en) * 2015-06-16 2018-12-13 Michael Hamilton Vision based location estimation system
JP6512004B2 (ja) * 2015-07-13 2019-05-15 日産自動車株式会社 駐車支援装置及び駐車支援方法
US9767381B2 (en) * 2015-09-22 2017-09-19 Xerox Corporation Similarity-based detection of prominent objects using deep CNN pooling layers as features
US9965719B2 (en) * 2015-11-04 2018-05-08 Nec Corporation Subcategory-aware convolutional neural networks for object detection
US9740944B2 (en) * 2015-12-18 2017-08-22 Ford Global Technologies, Llc Virtual sensor data generation for wheel stop detection
US20170206426A1 (en) * 2016-01-15 2017-07-20 Ford Global Technologies, Llc Pedestrian Detection With Saliency Maps
US10304335B2 (en) * 2016-04-12 2019-05-28 Ford Global Technologies, Llc Detecting available parking spaces
US20180025640A1 (en) * 2016-07-19 2018-01-25 Ford Global Technologies, Llc Using Virtual Data To Test And Train Parking Space Detection Systems
US10176388B1 (en) * 2016-11-14 2019-01-08 Zoox, Inc. Spatial and temporal information for semantic segmentation
JP6773540B2 (ja) * 2016-12-07 2020-10-21 クラリオン株式会社 車載用画像処理装置
CN106874551B (zh) * 2017-01-11 2020-12-01 成都信息工程大学 一种基于三阶反正切函数模型的平行泊车方法
US10078790B2 (en) * 2017-02-16 2018-09-18 Honda Motor Co., Ltd. Systems for generating parking maps and methods thereof
JP6929953B2 (ja) * 2017-03-17 2021-09-01 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 部屋レイアウト推定方法および技法
EP3707572B1 (en) * 2017-11-10 2023-08-23 Nvidia Corporation Systems and methods for safe and reliable autonomous vehicles
US11017550B2 (en) * 2017-11-15 2021-05-25 Uatc, Llc End-to-end tracking of objects
TWI651697B (zh) * 2018-01-24 2019-02-21 National Chung Cheng University 停車場空位偵測方法及其偵測模型建立方法
US11501572B2 (en) * 2018-03-26 2022-11-15 Nvidia Corporation Object behavior anomaly detection using neural networks
US10789487B2 (en) * 2018-04-05 2020-09-29 Here Global B.V. Method, apparatus, and system for determining polyline homogeneity
CN108592915A (zh) * 2018-04-19 2018-09-28 京东方科技集团股份有限公司 导航方法、购物车及导航系统
US11334960B2 (en) * 2018-06-08 2022-05-17 Uatc, Llc Systems and methods for pipelined processing of sensor data using hardware

Also Published As

Publication number Publication date
EP3690717C0 (en) 2023-12-13
CN111507460A (zh) 2020-08-07
KR20200094652A (ko) 2020-08-07
EP3690717A1 (en) 2020-08-05
EP3690717B1 (en) 2023-12-13
US10628688B1 (en) 2020-04-21
JP6923960B2 (ja) 2021-08-25
JP2020123343A (ja) 2020-08-13
KR102373456B1 (ko) 2022-03-14

Similar Documents

Publication Publication Date Title
CN111507460B (zh) 为了提供自动停车系统检测停车空间的方法和装置
CN111666921B (zh) 车辆控制方法、装置、计算机设备和计算机可读存储介质
EP3690727A1 (en) Learning method and learning device for sensor fusion to integrate information acquired by radar capable of distance estimation and information acquired by camera to thereby improve neural network for supporting autonomous driving, and testing method and testing device using the same
CN111105010B (zh) 使用具有不同标签集的多个带标签数据库的方法及装置
KR102337376B1 (ko) 레인 마스크(Lane Mask)를 사용하여 후처리 없이 입력 이미지에 포함된 하나 이상의 차선을 검출하는 방법 및 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치
US10410120B1 (en) Learning method and testing method of object detector to be used for surveillance based on R-CNN capable of converting modes according to aspect ratios or scales of objects, and learning device and testing device using the same
US10373027B1 (en) Method for acquiring sample images for inspecting label among auto-labeled images to be used for learning of neural network and sample image acquiring device using the same
US10832140B2 (en) Method and device for providing information for evaluating driving habits of driver by detecting driving scenarios occurring during driving
CN110874564A (zh) 分类车线后补像素检测车线的方法及装置
CN111008626B (zh) 基于r-cnn检测客体的方法和装置
CN111476343B (zh) 利用掩蔽参数的方法和装置
JP6846070B2 (ja) 自律走行ネットワークの検出プロセスを検証する説明可能な人工知能を利用して運転者に潜在的リスクの状況について警告することにより機能的安全性を提供する学習方法及び学習装置、そしてこれを用いたテスティング方法及びテスティング装置｛ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｐｒｏｖｉｄｉｎｇ ｆｕｎｃｔｉｏｎａｌ ｓａｆｅｔｙ ｂｙ ｗａｒｎｉｎｇ ｄｒｉｖｅｒ ａｂｏｕｔ ｐｏｔｅｎｔｉａｌ ｄａｎｇｅｒｏｕｓ ｓｉｔｕａｔｉｏｎ ｂｙ ｕｓｉｎｇ ｅｘｐｌａｉｎａｂｌｅ ａｉ ｗｈｉｃｈ ｖｅｒｉｆｉｅｓ ｄｅｔｅｃｔｉｏｎ ｐｒｏｃｅｓｓｅｓ ｏｆ ａｕｔｏｎｏｍｏｕｓ ｄｒｉｖｉｎｇ ｎｅｔｗｏｒｋ， ａｎｄ ｔｅｓｔｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｔｅｓｔｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
EP3690725A1 (en) Method and device for seamless parameter switch by using location-specific algorithm selection to achieve optimized autonomous driving in each of regions
CN110889318A (zh) 利用cnn的车道检测方法和装置
US10621473B1 (en) Method for providing object detecting system capable of updating types of detectable classes in real-time by using continual learning and devices using the same
US10733511B1 (en) Learning method and learning device for updating HD map by reconstructing 3D space by using depth estimation information and class information on each object, which have been acquired through V2X information integration technique, and testing method and testing device using the same
CN112654998B (zh) 一种车道线检测方法和装置
EP3686842A1 (en) Learning method, learning device, testing method and testing device
CN111507161B (zh) 利用合并网络进行异质传感器融合的方法和装置
EP3690733A1 (en) Method and device for supporting administrators to evaluate object detecting processes of object detectors to provide logical grounds of autonomous driving
US20230334842A1 (en) Training instance segmentation neural networks through contrastive learning
US11745766B2 (en) Unseen environment classification
US10373004B1 (en) Method and device for detecting lane elements to plan the drive path of autonomous vehicle by using a horizontal filter mask, wherein the lane elements are unit regions including pixels of lanes in an input image
KR102613160B1 (ko) 3차원 시맨틱 세그멘테이션 방법 및 이를 실행하기위하여 기록매체에 기록된 컴퓨터 프로그램

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant