CN111507158B - 利用语义分割检测停车区域的方法和装置 - Google Patents

利用语义分割检测停车区域的方法和装置 Download PDF

Info

Publication number
CN111507158B
CN111507158B CN202010069463.9A CN202010069463A CN111507158B CN 111507158 B CN111507158 B CN 111507158B CN 202010069463 A CN202010069463 A CN 202010069463A CN 111507158 B CN111507158 B CN 111507158B
Authority
CN
China
Prior art keywords
learning
test
parking lot
feature map
parking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010069463.9A
Other languages
English (en)
Other versions
CN111507158A (zh
Inventor
金桂贤
金镕重
金鹤京
南云铉
夫硕焄
成明哲
申东洙
吕东勋
柳宇宙
李明春
李炯树
张泰雄
郑景中
诸泓模
赵浩辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of CN111507158A publication Critical patent/CN111507158A/zh
Application granted granted Critical
Publication of CN111507158B publication Critical patent/CN111507158B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/06—Automatic manoeuvring for parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G08G1/141—Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces
    • G08G1/143—Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces inside the vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q5/00—Arrangement or adaptation of acoustic signal devices
    • B60Q5/005—Arrangement or adaptation of acoustic signal devices automatically actuated
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/002—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/10—Path keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0285—Parking performed automatically
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

本发明提供为了利用语义分割检测停车区域的方法和装置。该方法包括如下步骤：步骤(a)，学习装置若获取车辆的周边区域的停车场图像，则(i)将停车场图像输入到分割网络，通过编码器输出卷积特征图，通过解码器对卷积特征图进行反卷积而输出反卷积特征图，并通过屏蔽层对反卷积特征图进行屏蔽而输出分割信息；步骤(b)，将反卷积特征图输入到回归器，从而生成特定可停车区域的顶点相关的相对坐标，并对相对坐标进行回归而生成回归位置信息；以及步骤(c)，使第一损失层参照回归位置信息和与此对应的ROI GT来算出一个以上第一损失，并通过利用第一损失的反向传播使回归器进行学习。

Description

利用语义分割检测停车区域的方法和装置
技术领域
本发明涉及自动停车装置，更详细地说，涉及为了使车辆自动停车而利用的自动停车系统所进行的检测空停车区域的学习方法和装置以及测试方法和装置。
背景技术
车辆是指，将人、货物及类似物从一个地点搬运到另一地点的装置。近年来，停车辅助系统作为增加驾驶车辆的用户的便利性的技术性发展，得到了发展并商业化。
设置在车辆上的停车辅助系统中，基于用于告知驾驶员可否停车的环视监控(AVM；around view monitoring)图像来识别车辆周边的停车空间，必要的情况下，利用声音信号或视觉信号向驾驶员输出危险情况警报。有时候，停车辅助系统还负责停车时的转向及加速。
为了实施停车辅助系统，需要在车辆内搭载如摄像机或超声波传感器这样的识别停车空间的至少一个传感器。
为了基于AVM图像识别停车空间，停车辅助系统中，作为识别停车空间的预备处理，需要检测停车空间所包含的多个交叉地点。
AVM图像中，通常在离摄像机较远的地方所对应的区域内产生较大误差。为了解决这些问题，提出了在AVM图像内的所有区域中仅对于预设范围所对应的区域检测交叉地点的方法。但是，为了实施这些，车辆必须进入到停车空间的规定距离内的区域，而这会引起使识别停车空间所需的时间增加的不便。
根据现有技术的基于AVM图像的停车空间识别装置中，依次存储所生成的图像内检测到的交叉地点相关的所有位置值，直到识别出停车空间。即，停车空间识别装置中，针对一个交叉地点存储多个位置值，并计算这些位置值的平均值，由此检测交叉地点的最终位置。这种情况下，会利用存储器的过度的容量，并且为了检测交叉地点的计算次数会增加。
即，现有的停车辅助装置中，利用传感器告知停车空间内是否有车辆，或者利用超高频传感器测量停车空间的距离，或者在图像内利用边缘(edge)检测停车线，从而能够使车辆停车。
然而，现有技术的方法中，仅基于是否有车辆的信息是无法支援自动停车模式的，而且仅利用超高频传感器是无法确保停车空间的。
而且，利用图像处理的方法存在较多错误，其使用存在困难。
发明内容
本发明的目的在于，解决如上所述的所有问题。
本发明的另一目的在于，在停车场内能够确认一个以上的空停车区域。
本发明的又一目的在于，提供停车场内的空停车区域相关的准确信息。
解决问题的方案
为达到如上所述的目的，并实现后述的本发明的特征性效果，本发明的特征性构成如下。
根据本发明一实施方式，提供一种学习为了检测停车场的可停车空间而利用的车辆的自动停车装置的方法，其特征在于，包括如下步骤：
步骤(a)，执行如下处理：若获取从所述停车场的上部朝向所述停车场的地面方向拍摄所述车辆的周边区域而生成的至少一个停车场图像，则学习装置(i)将所述停车场图像输入到分割网络，从而使所述分割网络(i-1)通过编码器(encoder)对所述停车场图像施加至少一次卷积运算而输出至少一个卷积特征图，(i-2)通过解码器(decoder)对所述卷积特征图施加至少一次反卷积运算而输出至少一个反卷积特征图，(i-3)并通过屏蔽层(masking layer)对所述反卷积特征图施加至少一次屏蔽运算而输出分割信息，该分割信息表示所述停车场图像上一个以上的空停车区域的分割；
步骤(b)，执行如下处理：所述学习装置(i)将与特定ROI(region of interest；感兴趣区域)对应的所述反卷积特征图输入到回归器(regressor)，从而使所述回归器(i-1)生成从所述特定ROI的中心的所述特定ROI一个以上的顶点相关的相对坐标，(i-2)并对所述相对坐标施加至少一次回归运算而生成至少一个特定可停车区域相关的回归位置信息，所述空停车区域中所述特定可停车区域由所述特定ROI决定；以及
步骤(c)，执行如下处理：所述学习装置使第一损失层参照所述回归位置信息和与此对应的至少一个ROI GT(ground truth；真值)来算出一个以上第一损失；以及通过利用所述第一损失的反向传播(backpropagation)使所述回归器进行学习，以使所述第一损失最小化。
在一实施例中，所述分割网络处于预先学习的状态，以输出由预先学习装置在所述停车场图像上分割(segmentation)所述空停车区域而生成的分割信息，若获取至少一个学习用预先停车场图像，则所述预先学习装置执行如下处理：(i)将所述学习用预先停车场图像输入到所述分割网络，从而使所述分割网络(i-1)通过所述编码器对所述学习用预先停车场图像施加至少一次卷积运算而输出至少一个学习用预先卷积特征图，(i-2)通过所述解码器对所述学习用预先卷积特征图施加至少一次反卷积运算而输出至少一个学习用预先反卷积特征图，(i-3)通过所述屏蔽层对所述学习用预先反卷积图像施加至少一次屏蔽运算而输出在所述学习用预先停车场图像上表示所述空停车区域的分割的学习用预先分割信息；以及(ii)使第二损失层参照所述学习用预先分割信息和与此对应的至少一个分割GT算出一个以上的第二损失，并通过利用所述第二损失的反向传播更新所述屏蔽层、所述解码器及所述编码器中的至少一个参数，以使所述第二损失最小化。
在一实施例中，所述学习装置执行：抖动(jittering)所述ROI GT的处理；以及使所述第一损失层参照抖动后的所述ROI GT和所述回归位置信息算出所述第一损失的处理。
在一实施例中，所述学习装置执行：参照所述ROI GT的比例设定所述ROI GT的所述比例的最大值和所述比例的最小值的处理；以及利用所述ROI GT的所述比例的最大值和所述比例的最小值的平均抖动所述ROI GT的处理。
在一实施例中，所述学习装置执行：获取从所述比例的所述最大值和所述比例的所述最小值之间随机地选择的一个以上的任意比例的处理；以及使所述第一损失层参照各个所述任意比例和所述回归位置信息算出一个以上的第三损失，并通过利用各个所述第三损失的反向传播来微调所述回归器，以使各个所述第三损失最小化的处理。
在一实施例中，所述学习装置执行如下处理：使所述屏蔽层对所述反卷积特征图施加至少一次屏蔽运算，从而在所述停车场图像上分割(i)一个以上的目标可停车区域、(ii)一个以上的背景区域、(iii)一个以上的目标外可停车区域、以及(iv)一个以上的已停车的停车区域中的至少一个。
在一实施例中，所述学习装置执行使所述屏蔽层参照所述空停车区域及所述车辆之间的一个以上的距离将所述空停车区域分割为所述目标可停车区域及所述目标外可停车区域的处理。
根据本发明的另一实施方式，提供一种测试为了检测停车场的可停车空间而利用的车辆的自动停车装置的方法，其特征在于，该方法包括如下步骤：
步骤(a)；若获取至少一个学习用停车场图像，则学习装置执行如下处理：(i)将所述学习用停车场图像输入到分割网络，从而使所述分割网络(i-1)通过编码器对所述学习用停车场图像施加至少一次卷积运算而输出至少一个学习用卷积特征图，(i-2)通过解码器对所述学习用卷积特征图施加至少一次反卷积运算而输出至少一个学习用反卷积特征图，(i-3)通过屏蔽层对所述学习用反卷积特征图施加至少一次屏蔽运算而输出在所述学习用停车场图像上分割一个以上的学习用空停车区域的学习用分割信息；(ii)将与学习用特定ROI对应的所述学习用反卷积特征图输入到回归器，从而使所述回归器(ii-1)生成从所述学习用特定ROI的中心的所述学习用特定ROI一个以上的顶点相关的学习用相对坐标，(ii-2)并对所述学习用相对坐标施加至少一次回归运算而生成至少一个学习用特定可停车区域相关的学习用回归位置信息，所述学习用空停车区域中所述学习用特定可停车区域由所述学习用特定ROI决定；以及(iii)使第一损失层参照所述学习用回归位置信息和与此对应的至少一个ROI GT算出一个以上的第一损失，并通过利用所述第一损失的反向传播使所述回归器进行学习，以使所述第一损失最小化，在所述学习装置执行如上所述的处理的状态下，测试装置若获取从测试用停车场的上部朝向所述测试用停车场的地面方向拍摄测试用车辆的周边区域而生成的至少一个测试用停车场图像，则(a-1)将所述测试用停车场图像输入到所述分割网络，从而使所述分割网络(a-1-a)通过所述编码器(encoder)对所述测试用停车场图像施加所述卷积运算而输出至少一个测试用卷积特征图，(a-1-b)通过所述解码器(decoder)对所述测试用卷积特征图施加所述反卷积运算而输出至少一个测试用反卷积特征图，(a-1-c)通过所述屏蔽层(masking layer)对所述测试用反卷积特征图施加所述屏蔽运算而输出测试用分割信息，该测试用分割信息表示所述测试用停车场图像上一个以上的测试用空停车区域的分割；
步骤(b)，执行如下处理：所述测试装置将与测试用特定ROI对应的所述测试用反卷积特征图输入到所述回归器(regressor)，从而使所述回归器(i-1)生成从所述测试用特定ROI的中心的所述测试用特定ROI一个以上的顶点相关的测试用相对坐标，(i-2)并对所述测试用相对坐标施加所述回归运算而生成至少一个测试用特定可停车区域相关的测试用回归位置信息，所述测试用空停车区域中所述测试用特定可停车区域由所述测试用特定ROI决定。
在一实施例中，所述分割网络处于预先学习的状态，以输出由预先学习装置在所述测试用停车场图像上分割(segmentation)所述测试用空停车区域而生成的测试用分割信息，若获取至少一个学习用预先停车场图像，则所述预先学习装置执行如下处理：(i)将所述学习用预先停车场图像输入到所述分割网络，从而使所述分割网络(i-1)通过所述编码器对所述学习用预先停车场图像施加至少一次卷积运算而输出至少一个学习用预先卷积特征图，(i-2)通过所述解码器对所述学习用预先卷积特征图施加至少一次反卷积运算而输出至少一个学习用预先反卷积特征图，(i-3)通过所述屏蔽层对所述学习用预先反卷积特征图施加至少一次屏蔽运算而输出学习用预先分割信息，该学习用预先分割信息表示所述学习用预先停车场图像上所述空停车区域的分割；以及(ii)使第二损失层参照所述学习用预先分割信息和与此对应的至少一个分割GT算出一个以上的第二损失，并通过利用所述第二损失的反向传播更新所述屏蔽层、所述解码器及所述编码器中的至少一个参数，以使所述第二损失最小化。
在一实施例中，所述测试装置执行如下处理：使所述屏蔽层对所述测试用反卷积特征图施加至少一次屏蔽运算，从而在所述测试用停车场图像上分割(i)一个以上的测试用目标可停车区域、(ii)一个以上的测试用背景区域、(iii)一个以上的测试用目标外可停车区域、以及(iv)一个以上的测试用已停车的停车区域中的至少一个。
在一实施例中，所述测试装置执行使所述屏蔽层参照所述测试用空停车区域及所述测试用车辆之间的一个以上的距离将所述测试用空停车区域分割为所述测试用目标可停车区域及所述测试用目标外可停车区域的处理。
在一实施例中，还包括执行如下处理的步骤(c)，若获取所述测试用特定可停车区域相关的所述测试用回归位置信息，则所述测试装置使所述测试用车辆的所述自动停车装置参照所述测试用回归位置信息将所述测试用车辆停车在所述测试用特定可停车区域内。
根据本发明的又一实施方式，提供一种学习为了检测停车场的可停车空间而利用的车辆的自动停车装置的学习装置，其特征在于，该学习装置包括：至少一个存储器，其用于存储指令；以及至少一个处理器，其构成为能够实施所述指令，该指令用于执行如下处理或支援其他装置执行如下处理：(I)若获取从所述停车场的上部到所述停车场的地面方向拍摄所述车辆的周边区域而生成的至少一个停车场图像，则(i)将所述停车场图像输入到分割网络，从而使所述分割网络(i-1)通过编码器(encoder)对所述停车场图像施加至少一次卷积运算而输出至少一个卷积特征图，(i-2)通过解码器(decoder)对所述卷积特征图施加至少一次反卷积运算而输出至少一个反卷积特征图，(i-3)并通过屏蔽层(maskinglayer)对所述反卷积特征图施加至少一次屏蔽运算而输出分割信息，该分割信息表示所述停车场图像上一个以上的空停车区域的分割；(II)将与特定ROI对应的所述反卷积特征图输入到回归器(regressor)，从而使所述回归器(i-1)生成从所述特定ROI的中心的所述特定ROI一个以上的顶点相关的相对坐标，(i-2)并对所述相对坐标施加至少一次回归运算而生成至少一个特定可停车区域相关的回归位置信息，所述空停车区域中所述特定可停车区域由所述特定ROI决定；以及(III)使第一损失层参照所述回归位置信息和与此对应的至少一个ROI GT(ground truth)算出一个以上的第一损失，并通过利用所述第一损失的反向传播使所述回归器进行学习，以使所述第一损失最小化。
在一实施例中，所述分割网络处于预先学习的状态，以输出由预先学习装置在所述停车场图像上分割(segmentation)所述空停车区域而生成的分割信息，若获取至少一个学习用预先停车场图像，则所述预先学习装置执行如下处理：(i)将所述学习用预先停车场图像输入到所述分割网络，从而使所述分割网络(i-1)通过所述编码器对所述学习用预先停车场图像施加至少一次卷积运算而输出至少一个学习用预先卷积特征图，(i-2)通过所述解码器对所述学习用预先卷积特征图施加至少一次反卷积运算而输出至少一个学习用预先反卷积特征图，(i-3)通过所述屏蔽层对所述学习用预先反卷积图像施加至少一次屏蔽运算而输出学习用预先分割信息，该学习用预先分割信息表示所述学习用预先停车场图像上所述空停车区域的分割；以及(ii)使第二损失层参照所述学习用预先分割信息和与此对应的至少一个分割GT算出一个以上的第二损失，并通过利用所述第二损失的反向传播更新所述屏蔽层、所述解码器及所述编码器中的至少一个参数，以使所述第二损失最小化。
在一实施例中，所述处理器执行：抖动(jittering)所述ROI GT的处理，以及使所述第一损失层参照抖动后的所述ROI GT和所述回归位置信息算出所述第一损失的处理。
在一实施例中，所述处理器执行如下处理：参照所述ROI GT的比例设定所述ROIGT的所述比例的最大值和所述比例的最小值；以及利用所述ROI GT的所述比例的所述最大值和所述比例的所述最小值的平均抖动所述ROI GT。
在一实施例中，所述处理器执行如下处理：获取从所述比例的所述最大值和所述比例的所述最小值之间随机地选择的一个以上的任意比例；以及使所述第一损失层参照各个所述任意比例和所述回归位置信息算出一个以上的第三损失，并通过利用各个所述第三损失的反向传播来微调所述回归器，以使各个所述第三损失最小化。
在一实施例中，所述处理器执行如下处理：使所述屏蔽层对所述反卷积特征图施加至少一次屏蔽运算，从而在所述停车场图像上分割(i)一个以上的目标可停车区域、(ii)一个以上的背景区域、(iii)一个以上的目标外可停车区域、以及(iv)一个以上的已停车的停车区域中的至少一个。
在一实施例中，所述处理器执行使所述屏蔽层参照所述空停车区域及所述车辆之间的一个以上的距离将所述空停车区域分割为所述目标可停车区域及所述目标外可停车区域的处理。
根据本发明再一实施方式，提供一种测试为了检测停车场的可停车空间而利用的车辆的自动停车装置的测试装置，其特征在于，该装置包括：至少一个存储器，其用于存储指令；以及至少一个处理器，其构成为能够实施所述指令，该指令用于执行如下处理或支援其他装置执行如下处理：(I)若获取至少一个学习用停车场图像，则(i)将所述学习用停车场图像输入到分割网络，从而使所述分割网络(i-1)通过编码器(encoder)对所述学习用停车场图像施加至少一次卷积运算而输出至少一个学习用卷积特征图，(i-2)通过解码器(decoder)对所述学习用卷积特征图施加至少一次反卷积运算而输出至少一个学习用反卷积特征图，(i-3)通过屏蔽层(masking layer)对所述学习用反卷积特征图施加至少一次屏蔽运算而输出学习用分割信息，该学习用分割信息表示所述学习用停车场图像上一个以上的学习用空停车区域的分割；(ii)将与学习用特定ROI对应的所述学习用反卷积特征图输入到回归器(regressor)，从而使所述回归器(ii-1)生成从所述学习用特定ROI的中心的所述特定学习用特定ROI一个以上的顶点相关的学习用相对坐标，(ii-2)并对所述学习用相对坐标施加至少一次回归运算而生成至少一个学习用特定可停车区域相关的学习用回归位置信息，所述学习用空停车区域中所述学习用特定可停车区域由所述学习用特定ROI决定；以及(iii)使第一损失层参照所述学习用回归位置信息和与此对应的至少一个ROI GT(ground truth)算出一个以上的第一损失，并通过利用所述第一损失的反向传播使所述回归器进行学习，以使所述第一损失最小化，在所述处理器执行如上所述的处理的状态下，(I-1)若获取从测试用停车场的上部朝向所述测试用停车场的地面方向拍摄测试用车辆的周边区域而生成的至少一个测试用停车场图像，则将所述测试用停车场图像输入到所述分割网络，从而使所述分割网络(I-1-a)通过所述编码器(encoder)对所述测试用停车场图像施加所述卷积运算而输出至少一个测试用卷积特征图，(I-1-b)通过所述解码器(decoder)对所述测试用卷积特征图施加所述反卷积运算而输出至少一个测试用反卷积特征图，(I-1-c)通过所述屏蔽层(masking layer)对所述测试用反卷积特征图施加所述屏蔽运算而输出测试用分割信息，该测试用分割信息表示所述测试用停车场图像上一个以上的测试用空停车区域的分割；(II)所述测试装置将与测试用特定ROI对应的所述测试用反卷积特征图输入到所述回归器(regressor)，从而使所述回归器(II-1)生成从所述测试用特定ROI的中心的所述测试用特定ROI一个以上的顶点相关的测试用相对坐标，(II-2)并对所述测试用相对坐标施加所述回归运算而生成至少一个测试用特定可停车区域相关的测试用回归位置信息，所述测试用空停车区域中所述测试用特定可停车区域由所述测试用特定ROI决定。
在一实施例中，所述分割网络处于预先学习的状态，以输出由预先学习装置在所述测试用停车场图像上分割(segmentation)所述测试用空停车区域而生成的测试用分割信息，若获取至少一个学习用预先停车场图像，则所述预先学习装置执行如下处理：(i)将所述学习用预先停车场图像输入到所述分割网络，从而使所述分割网络(i-1)通过所述编码器对所述学习用预先停车场图像施加至少一次卷积运算而输出至少一个学习用预先卷积特征图，(i-2)通过所述解码器对所述学习用预先卷积特征图施加至少一次反卷积运算而输出至少一个学习用预先反卷积特征图，(i-3)通过所述屏蔽层对所述学习用预先反卷积图像施加至少一次屏蔽运算而输出学习用预先分割信息，该学习用预先分割信息表示所述学习用预先停车场图像上所述空停车区域的分割；以及(ii)使第二损失层参照所述学习用预先分割信息和与此对应的至少一个分割GT算出一个以上的第二损失，并通过利用所述第二损失的反向传播更新所述屏蔽层、所述解码器及所述编码器中的至少一个参数，以使所述第二损失最小化。
在一实施例中，所述处理器执行如下处理：使所述屏蔽层对所述测试用反卷积特征图施加至少一次屏蔽运算，从而在所述测试用停车场图像上分割(i)一个以上的测试用目标可停车区域、(ii)一个以上的测试用背景区域、(iii)一个以上的测试用目标外可停车区域、以及(iv)一个以上的测试用已停车的停车区域中的至少一个。
在一实施例中，所述处理器执行如下处理：使所述屏蔽层参照所述测试用空停车区域及所述测试用车辆之间的一个以上的距离将所述测试用空停车区域分割为所述测试用目标可停车区域及所述测试用目标外可停车区域。
在一实施例中，所述处理器还执行如下处理：(III)若获取所述测试用特定可停车区域相关的所述测试用回归位置信息，则使所述测试用车辆的所述自动停车装置参照所述测试用回归位置信息将所述测试用车辆停车在所述测试用特定可停车区域内。
除此之外，还提供一种用于记录执行本发明的方法用的计算机程序的计算机可读取的记录介质。
发明的效果
本发明能够在停车场内确定空停车区域，从而具有能够支援车辆的自动停车模式的效果。
此外，本发明能够在停车场内确定空停车区域，从而具有能够提高用户的利用停车场的便利性的效果。
此外，本发明能够提供停车场内的空停车区域相关的准确信息，从而具有能够使用户在短时间内将车辆停车的效果。
此外，本发明能够提供停车场内的空停车区域相关的信息，从而具有能够提高自动停车系统的性能的效果。
此外，本发明消除了对用于引导停车空间的人力的要求，从而具有能够使停车场无人化的效果。
附图说明
用于本发明实施例的说明中的以下附图，仅仅是本发明实施例中的一部分，对于本发明所属领域中具有通常知识的人员(以下，称为“本领域技术人员”)而言，在不需要付出创造性劳动的情况下，能够基于以下附图获得其他附图。
图1为简要示出根据本发明一实施例使为了检测停车场内的一个以上的停车区域而利用的车辆的自动停车装置进行学习的学习装置的图；
图2为简要示出根据本发明一实施例使为了检测停车场内的停车区域而利用的车辆的自动停车装置进行学习的学习装置的图；
图3为简要示出根据本发明一实施例在使为了检测停车场内的停车区域而利用的车辆的自动停车装置进行学习的学习方法中预先使为了分割停车区域而利用的分割网络进行学习的方法的图；
图4为简要示出根据本发明一实施例测试为了检测停车场内的停车区域而利用的车辆的自动停车装置的测试装置的图；
图5为简要示出根据本发明一实施例测试为了检测停车场内的停车区域而利用的车辆的自动停车装置的测试方法的图。
具体实施方式
后述的关于本发明的详细说明是，为了明确本发明的目的、技术上的理解及优点，而作为能够实施本发明的特定实施例举出的例子，可以参照附图。对这些实施例进行详细说明，以便能够使本领域技术人员能够实施本发明。
此外，本发明的实施方式及权利要求书中，“包括”的用语及它们的变形不能解释为排除其他技术特征、附加特征、构成要素或步骤。对于本领域技术人员来讲，本发明的其他目的、优点及特征的一部分能够从本说明书中得知，而另一部分能够从本发明的实施过程中得知。以下的例示及附图仅作为实施例提供，并不用于限定本发明。
进而，本发明包括本说明书中所公开的实施例的所有可能的组合。应当理解的是，尽管本发明的各种实施例相互不同，但没有相互排斥的必要。例如，在此记载的特定形状、结构及特征，与一实施例相关，在不脱离本发明的精神及范围的情况下，能够以另一实施例实现。并且，应理解为，各个揭示的实施例中的个别结构要素的位置或配置在不脱离本发明精神及范围的情况下能够进行变更。因此，后述的详细说明并不具有限定的含义，而关于本发明的保护范围，更准确地说，应当仅由所附的权利要求及与其主张的范围均等的所有范围和所附的权利要求来限定。在附图中类似的附图标记表示在各方面相同或类似的功能。
本发明中所提及的各种图像可以包括铺装或非铺装道路相关的图像，该情况下，可以设想在道路环境下能够出现的物体(例如，车辆、人、动物、植物、物件、建筑物、如飞机或无人机的飞行物体、其他障碍物)，但是不限定于此，本发明中所提及的各种图像也可以是与道路无关的图像(例如，与非铺装道路、小路、空地、海洋、湖水、江河、大山、树林、沙漠、天空、室内相关的图像)，该情况下，可以设想在非铺装道路、胡同、空地、海洋、湖水、江河、大山、树林、沙漠、天空、室内环境下能够出现的物体(例如，车辆、人、动物、植物、物件、建筑物、如飞机或无人机的飞行物体、其他障碍物)，但是不限定于此。
本说明书中提供的本发明的名称及摘要是为了方便而提供，并不限定实施例的范围或解释实施例的含义。
如本说明书及所附的权利要求中所使用，单数形态除非内容和上下文中明确说明，包括复数形态的指示对象。
作为参考，在以下说明中，为了避免混淆，对于与所述学习处理有关的用语追加了“学习用”或“训练”一词，对于与所述测试处理有关的用语追加了“测试用”或“测试”一词。
以下，为了使本领域技术人员能够容易实施本发明，参照附图详细说明本发明的优选实施例。
图1为简要示出根据本发明一实施例使为了检测停车场内的一个以上的停车区域而利用的车辆的自动停车装置进行学习的学习装置的图。参照图1，学习装置1000包括存储器1100和处理器1200，所述存储器1100存储用于使为了检测停车场内的停车区域而利用的车辆的自动停车装置进行学习的指令，所述处理器1200按照存储器1100中存储的指令来执行使为了检测停车场内的停车区域而利用的车辆的自动停车装置进行学习的处理。
具体地说，所述学习装置1000通常是利用至少一个计算装置(例如，计算机处理器、存储器、存储装置、输入装置及输出装置、其他现有的计算装置的构成要素；如路由器或交换机等的电子通信装置；如网络附加存储(NAS)及储存区域网路(SAN)的电子信息存储系统)和至少一个计算机软件(即，使所述计算装置通过特定方式发挥功能的指令)的组合来实现所希望的系统功能。
所述计算装置的处理器包括微处理单元(MPU，Micro Processing Unit)或中央处理器(CPU，Central Processing Unit)、高速缓冲存储器(Cache Memory)、数据总线(DataBus)等硬件构成。而且，所述计算装置还包括操作系统(OS)及执行特定目的的应用程序的软件构成。
但是，所述计算装置并不排除用于实施本发明的媒介、处理器、存储器或其他计算构成要素为合并形态的集成处理器的情况。
关于根据如上述地构成的本发明一实施例，利用学习装置1000使为了检测停车场的停车区域而利用的车辆的自动停车装置进行学习的方法，参照图2进行说明如下。
首先，执行如下处理：若获取从所述停车场的上部朝向所述停车场的地面方向拍摄所述车辆的周边区域而生成并将要被利用的至少一个学习用停车场图像，则所述学习装置1000将所述停车场图像输入到分割网络100，从而使所述分割网络100输出分割信息，该分割信息表示所述停车场图像上一个以上的空停车区域的分割。
例如，所述分割网络100通过编码器(encoder)110对所述停车场图像施加至少一次卷积运算而输出至少一个卷积特征图，并通过解码器(decoder)120对所述卷积特征图施加一次反卷积运算而输出至少一个反卷积特征图。
此时，所述编码器110可以对所述停车场图像进行下采样(down-sampling)，所述解码器120可以对下采样的特征图进行上采样(up-sampling)。
此外，所述编码器110可以包括一个以上的卷积层，该卷积层对所述停车场图像施加一次以上的卷积运算来减小图像或特征图的大小，所述解码器120可以包括一个以上的反卷积层，该反卷积层对通过所述卷积运算减小的所述特征图施加一次以上的反卷积运算来增大特征图的大小。此时，从所述解码器120输出的特征图也被称作最终特征图。
并且，所述分割网络100包括全卷积网络(FCN；Fully Convolution Network)、DeepLab v1、DeepLab v2、U-Net、ReSeg等图像分割算法中的至少一部分。
之后，所述分割网络100使屏蔽层130生成语义分割(semantic segmentation)，该语义分割是将所述最终特征图即所述反卷积特征图分类为各个所述分割类的结果。
此时，所述屏蔽层130可以包括按照所述分割类的不同分别设定二进制(binary)值的至少一个二进制屏蔽层。
此外，所述分割类可以被设定为一个以上的目标可停车区域、一个以上的背景区域、一个以上的目标外可停车区域、及一个以上的已停车的停车区域，但不限定于此，根据所述停车场的情况，可以被设定为为了将所述停车场内的所述停车区域按组分类(grouping)而利用的各种类。
而且，所述学习装置1000执行如下处理：使所述屏蔽层130参照所述空停车区域及所述车辆之间的一个以上的距离，将所述空停车区域分割为所述目标可停车区域及所述目标外可停车区域。
之后，所述学习装置1000执行如下处理：将与特定ROI对应的所述反卷积特征图输入到回归器(regressor)200，从而使所述回归器200生成从所述特定ROI的中心的所述特定ROI一个以上顶点相关的相对坐标，并对所述相对坐标施加至少一次回归运算而生成至少一个特定可停车区域(所述空停车区域中所述特定可停车区域由所述特定ROI决定)相关的回归位置信息。
之后，所述学习装置1000执行如下处理：使第一损失层300参照所述回归位置信息和与此对应的至少一个ROI GT(ground truth)算出一个以上的第一损失；以及通过利用所述第一损失的反向传播使所述回归器200进行学习，以使所述第一损失最小化。
此时，所述学习装置1000虽然执行利用所述特定可停车区域即与所述特定ROI对应的所述ROI GT来使所述回归器200进行学习的处理，但是在测试处理中推定的所述空停车区域不如根据所述GT的所述ROI那样准确，因此由所述回归器200获取的相对坐标有可能存在误差。
从而，通过利用所述任意地抖动(jittering)的ROI RT使所述回归器200进行学习，能够提供一种即使是不稳定的ROI也能够获取准确的相对坐标的强健(robust)的回归器200。
即，所述学习装置1000执行如下处理：抖动所述ROI GT的处理；以及使所述第一损失层300参照所述抖动的ROI GT和所述回归位置信息算出所述第一损失的处理。
此时，由所述回归器200获取的所述相对坐标的所述GT根据抖动的部分的不同而不同。
此外，所述学习装置1000执行如下处理：参照所述ROI GT的所述比例设定所述ROIGT的比例的最大值和最小值的处理；利用所述ROI GT的所述比例的所述最大值和所述最小值的平均值抖动所述ROI GT的处理。
作为一例，在将所述ROI的所述比例设为S的情况下，将所述比例的最大值设定为Smax，将所述比例的所述最小值设定为Smin，将所述ROI的所述比例S设定为所述比例的所述最大值和所述比例的所述最小值的平均值(S＝(Smax+Smin)/2)，然后利用所述比例S使所述回归器200进行学习。
此外，所述学习装置1000执行如下处理：从所述比例的最大值和所述比例的最小值之间随机地选择而获取一个以上的随机比例；以及使所述第一损失层300参照各个所述随机比例和所述回归位置信息算出一个以上的第三损失，并通过利用各个所述第三损失的反向传播来微调所述回归器200，以使各个所述第三损失最小化。
其结果，在所述测试处理中，(i)各个所述目标可停车区域的所述ROI是从语义分割信息中抽取的，(ii)所述ROI的一个以上的特征被输入到所述回归器200，(iii)从所述回归器200获取所述相对坐标之后，(iv)以所述抽取的ROI的中心为基准获取各个所述目标可停车区域的各个所述4个顶点相关的所述准确的坐标。
另一方面，所述分割网络100处于预先学习的状态，以输出由预先学习装置在所述停车场图像上分割(segmentation)所述目标可停车区域而生成的分割信息。此时，所述预先学习装置可以包括存储器和处理器，该存储器存储用于使所述分割网络100进行学习的指令，该处理器根据所述存储器中包括的所述指令来执行使所述分割网络100进行学习的处理。此外，所述预先学习装置如图1中说明的所述学习装置所示，通常是利用至少一个计算装置和至少一个计算机软件的组合来实现所希望的系统性能的，省略详细说明。
作为一例，参照图3，说明使所述分割网络100进行预先学习的处理如下。
首先，执行如下处理：若获取至少一个学习用预先停车场图像，则所述预先学习装置1500将所述学习用预先停车场图像输入到所述分割网络100。
之后，所述分割网络100通过编码器110对所述学习用预先停车场图像施加至少一次卷积运算而输出至少一个学习用预先卷积特征图，并通过所述解码器120对所述学习用预先卷积特征图施加至少一次反卷积运算而输出至少一个学习用预先反卷积特征图。
此外，所述分割网络100使所述屏蔽层130对所述学习用预先反卷积特征图施加至少一次屏蔽运算，从而在所述学习用预先停车场图像上分割所述目标可停车区域并输出学习用预先分割信息。
然后，所述预先学习装置1500使第二损失层500参照所述学习用预先分割信息和与此对应的至少一个分割GT，算出一个以上的第二损失，并通过利用所述第二损失的反向传播来更新所述屏蔽层、所述编码器及所述解码器中的至少一个参数，以使所述第二损失最小化，从而使所述分割网络100进行预先学习。
图4中简要示出根据本发明一实施例的测试为了检测停车场内的停车区域而利用的车辆的自动停车装置的测试装置。参照图4，所述测试装置2000可以包括存储器2100和处理器2200，该存储器2100存储用于测试为了检测停车场内的停车区域而利用的车辆的自动停车装置的指令，该处理器2200根据存储器2100中存储的指令来执行用于测试为了检测停车场内的停车区域而利用的车辆的自动停车装置的处理。
具体地说，所述测试装置2000通常利用至少一个计算装置(例如，计算机处理器、存储器、存储装置、输入装置及输出装置、其他现有的计算装置的构成要素；如路由器或交换机等的电子通信装置；如网络附加存储(NAS)及储存区域网路(SAN)的电子信息存储系统)和至少一个计算机软件(即，使计算装置通过特定方式执行功能的指令)的组合来实现所希望的系统功能。
所述计算装置的处理器可以包括微处理单元(MPU，Micro Processing Unit)或中央处理器(CPU，Central Processing Unit)、高速缓冲存储器(Cache Memory)、数据总线(Data Bus)等硬件构成。而且，所述计算装置还可以包括操作系统(OS)及执行特定目的的应用程序的软件构成。
但是，所述计算装置并不排除用于实施本发明的媒介、处理器、存储器或其他计算构成要素为合并形态的集成处理器的情况。
关于利用如上述地构成的根据本发明一实施例的测试装置2000来测试为了检测停车场的停车区域而利用的车辆的自动停车装置的方法，参照图5进行说明如下。
首先，分割网络100和回归器200处于根据参照图2及图3说明的学习方法来进行学习的状态。
即，执行如下处理：若获取至少一个学习用停车场图像，则所述学习装置将所述学习用停车场图像输入到所述分割网络100，从而使所述分割网络100通过所述编码器(encoder)110对所述学习用停车场图像施加至少一次卷积运算而输出至少一个学习用卷积特征图，通过所述解码器(decoder)120对所述学习用卷积特征图施加至少一次反卷积运算而输出至少一个学习用反卷积特征图，并通过所述屏蔽层(masking layer)130对所述学习用反卷积特征图施加至少一次屏蔽运算而输出学习用分割信息，该学习用分割信息表示所述学习用停车场图像上一个以上的学习用空停车区域的分割。并且，执行如下处理：所述学习装置将与学习用特定ROI对应的所述学习用反卷积特征图输入到回归器(regressor)200，从而使所述回归器200生成从所述学习用特定ROI的中心的所述学习用特定ROI一个以上的顶点相关的学习用相对坐标，并对所述学习用相对坐标施加至少一次回归运算而生成至少一个学习用特定可停车区域(所述学习用空停车区域中所述学习用特定可停车区域由所述学习用特定ROI决定)相关的学习用回归位置信息。并且，执行如下处理：所述学习装置使所述第一损失层参照所述学习用回归位置信息和与此对应的至少一个ROI GT(groundtruth；真值)来算出第一损失；以及通过利用所述第一损失的反向传播使所述回归器200进行学习，以使所述第一损失最小化。
此外，所述分割网络100处于预先学习的状态，以输出由所述预先学习装置在所述测试用停车场图像上分割(segmentation)所述测试用目标可停车区域而生成的测试用分割信息。
即，执行如下处理：若获取至少一个学习用预先停车场图像，则所述预先学习装置(i)将所述学习用预先停车场图像输入到所述分割网络100，从而使所述分割网络100通过所述编码器110对所述学习用预先停车场图像施加至少一次卷积运算而输出至少一个学习用预先卷积特征图，通过所述解码器120对所述学习用预先卷积特征图施加至少一次反卷积运算而输出至少一个学习用预先反卷积特征图，通过所述屏蔽层130对所述学习用预先反卷积图像施加至少一次屏蔽运算而输出学习用预先分割信息，该学习用预先分割信息表示所述学习用预先停车场图像上所述学习用空停车区域的分割。并且，执行如下处理：所述预先学习装置使所述第二损失层参照所述学习用预先分割信息和与此对应的至少一个分割GT算出所述第二损失，并通过利用所述第二损失的反向传播更新所述屏蔽层130、所述解码器120及所述编码器110中的至少一个参数，以使所述第二损失最小化。
如上所述，在所述分割网络100及所述回归器200预先学习的状态下，所述测试装置2000执行如下处理：若获取从测试用停车场的上部朝向所述测试用停车场的地面方向拍摄测试用车辆的周边区域而生成的至少一个测试用停车场图像，则将所述测试用停车场图像输入到所述分割网络100。
此时，所述测试用停车场图像是利用设置于所述测试用停车场的所述上部即天花板或墙面上的至少一个摄像机朝向所述测试用停车场的所述地面方向进行拍摄而得到的图像。
之后，所述分割网络100通过所述编码器(encoder)110对所述测试用停车场图像施加至少一次所述卷积运算而输出至少一个测试用卷积特征图，通过所述解码器(decoder)120对所述测试用卷积特征图施加所述反卷积运算而输出至少一个测试用反卷积特征图，并通过所述屏蔽层(masking layer)130对所述测试用反卷积特征图施加所述屏蔽运算而输出测试用分割信息，该测试用分割信息表示所述测试用停车场图像上一个以上的测试用空停车区域的分割。
此时，所述分割网络100执行如下处理：使所述屏蔽层130对所述测试用反卷积特征图施加所述屏蔽运算，从而在所述测试用停车场图像上分割(i)一个以上的测试用目标可停车区域、(ii)一个以上的测试用背景区域、(iii)一个以上的测试用目标外可停车区域、以及(iv)一个以上的测试用已停车的停车区域中的至少一个。具体地说，所述分割网络100使所述屏蔽层130参照所述测试用空停车区域及所述测试用车辆之间的一个以上的距离，将所述测试用空停车区域分割为所述测试用目标可停车区域及所述测试用目标外可停车区域。
此外，所述测试用车辆的驾驶员可以选择所述被显示的语义分割(semanticsegmentation)中所述可停车区域的所希望的区域。
并且，作为另一例，所述车辆的所述自动停车装置参照特定条件选择所述目标可停车区域中所述特定可停车区域。例如，选择所述目标可停车区域中与所述车辆的当前位置最近的所述特定可停车区域，或者选择在所述车辆的行驶方向上位于最短距离的所述特定可停车区域。
之后，所述测试装置2000执行如下处理：将与测试用特定ROI对应的所述测试用反卷积特征图输入到所述回归器200，从而使所述回归器200生成从所述测试用特定ROI的中心的所述测试用特定ROI的一个以上顶点相关的测试用相对坐标，并对所述测试用相对坐标施加所述回归运算生成至少一个测试用特定可停车区域(所述测试用空停车区域中所述测试用特定可停车区域由所述测试用特定ROI决定)相关的测试用回归位置信息。
此外，执行如下处理：若获取所述测试用特定可停车区域相关的所述测试用回归位置信息，则所述测试装置2000使所述测试用车辆的所述自动停车装置参照所述测试用回归位置信息将所述测试用车辆停车在所述测试用特定可停车区域内。
即，不仅能够确认所述停车场内的所述空停车区域，还能够提供所述空停车区域相关的准确位置信息，由此能够使所述车辆的所述自动停车装置将所述车辆停在所述空停车区域内。
另一方面，各个摄像机可以设置有多个，以便拍摄停车场的被相同地划分的空间的图像或影像，各个摄像机在停车场内的位置可以已被分配。
如上所说明，本发明中，对于在停车场的上部区域朝向地面方向进行拍摄而得到的停车场图像施加语义分割来确认空停车区域，并通过在语义分割内抖动与目标可停车区域对应的ROI进行学习的回归器来算出目标可停车区域的顶点的相对坐标，从而提供目标可停车区域相关的准确信息。
而且，以上说明的根据本发明的实施例能够以可通过各种计算机构成要素执行的程序指令的形态体现，并记录于计算机可读取记录介质。所述计算机可读取记录介质能够单独或组合包含程序指令、数据文件、数据结构等。所述计算机可读取记录介质中记录的程序指令可以是为本发明而特别设计的，或者也可以是计算机软件领域的技术人员公知使用的。作为计算机可读取记录介质的例，包括如硬盘、软盘、磁带的磁体介质；如CD-ROM、DVD的光记录介质；如光磁软盘(floptical disk)的磁光介质(magneto-optical media)；及如ROM、RAM、闪存等的用于存储并执行程序指令而特别构成的硬件装置。作为程序指令的例子，不仅包括通过编译而成的机器语言代码，还包括利用解释器的计算机可执行的高级语言代码。所述硬件装置为了执行根据本发明的处理，以一个以上的软件模块运行的方式构成，反之亦然。
以上，通过具体结构要素等特定事项和限定的实施例及附图来说明了本发明，但这仅仅是为了有助于全面地理解本发明而提供的，本发明并不限定于所述实施例，只要是本领域技术人员均能够基于所述记载进行各种修改及变形。
因此，本发明的思想并不限定于如上所述的实施例，后述的权利要求书及与该权利要求书等同或均等变形的所有形态均应包括在本发明的思想范围内。

Claims (24)

1.一种学习为了检测停车场的可停车空间而利用的车辆的自动停车装置的方法，其特征在于，包括如下步骤：
步骤(a)，执行如下处理：若获取从所述停车场的上部朝向所述停车场的地面方向拍摄所述车辆的周边区域而生成的至少一个停车场图像，则学习装置(i)将所述停车场图像输入到分割网络，从而使所述分割网络(i-1)通过编码器对所述停车场图像施加至少一次卷积运算而输出至少一个卷积特征图，(i-2)通过解码器对所述卷积特征图施加至少一次反卷积运算而输出至少一个反卷积特征图，(i-3)并通过屏蔽层对所述反卷积特征图施加至少一次屏蔽运算而输出分割信息，该分割信息表示所述停车场图像上一个以上的空停车区域和一个以上的已停车的停车区域的分割；
步骤(b)，执行如下处理：所述学习装置(i)将与特定ROI对应的所述反卷积特征图输入到回归器，从而使所述回归器(i-1)生成从所述特定ROI的中心的所述特定ROI一个以上的顶点相关的相对坐标，(i-2)并对所述相对坐标施加至少一次回归运算而生成至少一个特定可停车区域相关的回归位置信息，所述空停车区域中所述特定可停车区域由所述特定ROI决定；以及
步骤(c)，执行如下处理：所述学习装置使第一损失层参照所述回归位置信息和与此对应的至少一个ROI GT来算出一个以上第一损失；以及通过利用所述第一损失的反向传播使所述回归器进行学习，以使所述第一损失最小化。
2.根据权利要求1所述的方法，其特征在于，
所述分割网络处于预先学习的状态，以输出由预先学习装置在所述停车场图像上分割所述空停车区域和所述已停车的停车区域而生成的分割信息，
若获取至少一个学习用预先停车场图像，则所述预先学习装置执行如下处理：(i)将所述学习用预先停车场图像输入到所述分割网络，从而使所述分割网络(i-1)通过所述编码器对所述学习用预先停车场图像施加至少一次卷积运算而输出至少一个学习用预先卷积特征图，(i-2)通过所述解码器对所述学习用预先卷积特征图施加至少一次反卷积运算而输出至少一个学习用预先反卷积特征图，(i-3)通过所述屏蔽层对所述学习用预先反卷积图像施加至少一次屏蔽运算而输出在所述学习用预先停车场图像上表示所述空停车区域和所述已停车的停车区域的分割的学习用预先分割信息；以及(ii)使第二损失层参照所述学习用预先分割信息和与此对应的至少一个分割GT算出一个以上的第二损失，并通过利用所述第二损失的反向传播更新所述屏蔽层、所述解码器及所述编码器中的至少一个参数，以使所述第二损失最小化。
3.根据权利要求1所述的方法，其特征在于，
所述学习装置执行：抖动所述ROI GT的处理；以及使所述第一损失层参照抖动后的所述ROI GT和所述回归位置信息算出所述第一损失的处理。
4.根据权利要求3所述的方法，其特征在于，
所述学习装置执行：参照所述ROI GT的比例设定所述ROI GT的所述比例的最大值和所述比例的最小值的处理；以及利用所述ROI GT的所述比例的最大值和所述比例的最小值的平均抖动所述ROI GT的处理。
5.根据权利要求4所述的方法，其特征在于，
所述学习装置执行：获取从所述比例的所述最大值和所述比例的所述最小值之间随机地选择的一个以上的任意比例的处理；以及使所述第一损失层参照各个所述任意比例和所述回归位置信息算出一个以上的第三损失，并通过利用各个所述第三损失的反向传播来微调所述回归器，以使各个所述第三损失最小化的处理。
6.根据权利要求1所述的方法，其特征在于，
所述学习装置执行如下处理：使所述屏蔽层对所述反卷积特征图施加至少一次屏蔽运算，从而在所述停车场图像上分割(i)一个以上的目标可停车区域、(ii)一个以上的背景区域、(iii)一个以上的目标外可停车区域、以及(iv)一个以上的所述已停车的停车区域中的至少一个。
7.根据权利要求6所述的方法，其特征在于，
所述学习装置执行使所述屏蔽层参照所述空停车区域及所述车辆之间的一个以上的距离将所述空停车区域分割为所述目标可停车区域及所述目标外可停车区域的处理。
8.一种测试为了检测停车场的可停车空间而利用的车辆的自动停车装置的测试方法，其特征在于，包括如下步骤：
步骤(a)；若获取至少一个学习用停车场图像，则学习装置执行如下处理：(i)将所述学习用停车场图像输入到分割网络，从而使所述分割网络(i-1)通过编码器对所述学习用停车场图像施加至少一次卷积运算而输出至少一个学习用卷积特征图，(i-2)通过解码器对所述学习用卷积特征图施加至少一次反卷积运算而输出至少一个学习用反卷积特征图，(i-3)通过屏蔽层对所述学习用反卷积特征图施加至少一次屏蔽运算而输出表示所述学习用停车场图像上一个以上的学习用空停车区域和一个以上的学习用已停车的停车区域的分割的学习用分割信息；(ii)将与学习用特定ROI对应的所述学习用反卷积特征图输入到回归器，从而使所述回归器(ii-1)生成从所述学习用特定ROI的中心的所述学习用特定ROI一个以上的顶点相关的学习用相对坐标，(ii-2)并对所述学习用相对坐标施加至少一次回归运算而生成至少一个学习用特定可停车区域相关的学习用回归位置信息，所述学习用空停车区域中所述学习用特定可停车区域由所述学习用特定ROI决定；以及(iii)使第一损失层参照所述学习用回归位置信息和与此对应的至少一个ROI GT算出一个以上的第一损失，并通过利用所述第一损失的反向传播使所述回归器进行学习，以使所述第一损失最小化，在所述学习装置执行如上所述的处理的状态下，测试装置若获取从测试用停车场的上部朝向所述测试用停车场的地面方向拍摄测试用车辆的周边区域而生成的至少一个测试用停车场图像，则(a-1)将所述测试用停车场图像输入到所述分割网络，从而使所述分割网络(a-1-a)通过所述编码器对所述测试用停车场图像施加所述卷积运算而输出至少一个测试用卷积特征图，(a-1-b)通过所述解码器对所述测试用卷积特征图施加所述反卷积运算而输出至少一个测试用反卷积特征图，(a-1-c)通过所述屏蔽层对所述测试用反卷积特征图施加所述屏蔽运算而输出测试用分割信息，该测试用分割信息表示所述测试用停车场图像上一个以上的测试用空停车区域和一个以上的测试用已停车的停车区域的分割；
步骤(b)，执行如下处理：所述测试装置将与测试用特定ROI对应的所述测试用反卷积特征图输入到所述回归器，从而使所述回归器(i-1)生成从所述测试用特定ROI的中心的所述测试用特定ROI一个以上的顶点相关的测试用相对坐标，(i-2)并对所述测试用相对坐标施加所述回归运算而生成至少一个测试用特定可停车区域相关的测试用回归位置信息，所述测试用空停车区域中所述测试用特定可停车区域由所述测试用特定ROI决定。
9.根据权利要求8所述的测试方法，其特征在于，
所述分割网络处于预先学习的状态，以输出由预先学习装置在所述测试用停车场图像上分割所述测试用空停车区域和所述测试用已停车的停车区域而生成的测试用分割信息，
若获取至少一个学习用预先停车场图像，则所述预先学习装置执行如下处理：(i)将所述学习用预先停车场图像输入到所述分割网络，从而使所述分割网络(i-1)通过所述编码器对所述学习用预先停车场图像施加至少一次卷积运算而输出至少一个学习用预先卷积特征图，(i-2)通过所述解码器对所述学习用预先卷积特征图施加至少一次反卷积运算而输出至少一个学习用预先反卷积特征图，(i-3)通过所述屏蔽层对所述学习用预先反卷积特征图施加至少一次屏蔽运算而输出学习用预先分割信息，该学习用预先分割信息表示所述学习用预先停车场图像上所述空停车区域和已停车的停车区域的分割；以及(ii)使第二损失层参照所述学习用预先分割信息和与此对应的至少一个分割GT算出一个以上的第二损失，并通过利用所述第二损失的反向传播更新所述屏蔽层、所述解码器及所述编码器中的至少一个参数，以使所述第二损失最小化。
10.根据权利要求8所述的测试方法，其特征在于，
所述测试装置执行如下处理：使所述屏蔽层对所述测试用反卷积特征图施加至少一次屏蔽运算，从而在所述测试用停车场图像上分割(i)一个以上的测试用目标可停车区域、(ii)一个以上的测试用背景区域、(iii)一个以上的测试用目标外可停车区域、以及(iv)一个以上的所述测试用已停车的停车区域中的至少一个。
11.根据权利要求10所述的测试方法，其特征在于，
所述测试装置执行使所述屏蔽层参照所述测试用空停车区域及所述测试用车辆之间的一个以上的距离将所述测试用空停车区域分割为所述测试用目标可停车区域及所述测试用目标外可停车区域的处理。
12.根据权利要求8所述的测试方法，其特征在于，
还包括执行如下处理的步骤(c)，若获取所述测试用特定可停车区域相关的所述测试用回归位置信息，则所述测试装置使所述测试用车辆的所述自动停车装置参照所述测试用回归位置信息将所述测试用车辆停车在所述测试用特定可停车区域内。
13.一种学习为了检测停车场的可停车空间而利用的车辆的自动停车装置的学习装置，其特征在于，包括：
至少一个存储器，其用于存储指令；以及
至少一个处理器，其构成为能够实施所述指令，该指令用于执行如下处理或支援其他装置执行如下处理：(I)若获取从所述停车场的上部朝向所述停车场的地面方向拍摄所述车辆的周边区域而生成的至少一个停车场图像，则(i)将所述停车场图像输入到分割网络，从而使所述分割网络(i-1)通过编码器对所述停车场图像施加至少一次卷积运算而输出至少一个卷积特征图，(i-2)通过解码器对所述卷积特征图施加至少一次反卷积运算而输出至少一个反卷积特征图，(i-3)并通过屏蔽层对所述反卷积特征图施加至少一次屏蔽运算而输出分割信息，该分割信息表示所述停车场图像上一个以上的空停车区域和一个以上的已停车的停车区域的分割；(II)将与特定ROI对应的所述反卷积特征图输入到回归器，从而使所述回归器(i-1)生成从所述特定ROI的中心的所述特定ROI一个以上的顶点相关的相对坐标，(i-2)并对所述相对坐标施加至少一次回归运算而生成至少一个特定可停车区域相关的回归位置信息，所述空停车区域中所述特定可停车区域由所述特定ROI决定；以及(III)使第一损失层参照所述回归位置信息和与此对应的至少一个ROI GT算出一个以上的第一损失，并通过利用所述第一损失的反向传播使所述回归器进行学习，以使所述第一损失最小化。
14.根据权利要求13所述的学习装置，其特征在于，
所述分割网络处于预先学习的状态，以输出由预先学习装置在所述停车场图像上分割所述空停车区域和所述已停车的停车区域而生成的分割信息，
若获取至少一个学习用预先停车场图像，则所述预先学习装置执行如下处理：(i)将所述学习用预先停车场图像输入到所述分割网络，从而使所述分割网络(i-1)通过所述编码器对所述学习用预先停车场图像施加至少一次卷积运算而输出至少一个学习用预先卷积特征图，(i-2)通过所述解码器对所述学习用预先卷积特征图施加至少一次反卷积运算而输出至少一个学习用预先反卷积特征图，(i-3)通过所述屏蔽层对所述学习用预先反卷积图像施加至少一次屏蔽运算而输出学习用预先分割信息，该学习用预先分割信息表示所述学习用预先停车场图像上所述空停车区域和所述已停车的停车区域的分割；以及(ii)使第二损失层参照所述学习用预先分割信息和与此对应的至少一个分割GT算出一个以上的第二损失，并通过利用所述第二损失的反向传播更新所述屏蔽层、所述解码器及所述编码器中的至少一个参数，以使所述第二损失最小化。
15.根据权利要求13所述的学习装置，其特征在于，
所述处理器执行：抖动所述ROI GT的处理；以及使所述第一损失层参照抖动后的所述ROIGT和所述回归位置信息算出所述第一损失的处理。
16.根据权利要求15所述的学习装置，其特征在于，
所述处理器执行：参照所述ROI GT的比例设定所述ROI GT的所述比例的最大值和所述比例的最小值的处理；以及利用所述ROI GT的所述比例的所述最大值和所述比例的所述最小值的平均抖动所述ROI GT的处理。
17.根据权利要求16所述的学习装置，其特征在于，
所述处理器执行如下处理：获取从所述比例的所述最大值和所述比例的所述最小值之间随机地选择的一个以上的任意比例；以及使所述第一损失层参照各个所述任意比例和所述回归位置信息算出一个以上的第三损失，并通过利用各个所述第三损失的反向传播来微调所述回归器，以使各个所述第三损失最小化。
18.根据权利要求13所述的学习装置，其特征在于，
所述处理器执行如下处理：使所述屏蔽层对所述反卷积特征图施加至少一次屏蔽运算，从而在所述停车场图像上分割(i)一个以上的目标可停车区域、(ii)一个以上的背景区域、(iii)一个以上的目标外可停车区域、以及(iv)一个以上的所述已停车的停车区域中的至少一个。
19.根据权利要求18所述的学习装置，其特征在于，
所述处理器执行使所述屏蔽层参照所述空停车区域及所述车辆之间的一个以上的距离将所述空停车区域分割为所述目标可停车区域及所述目标外可停车区域的处理。
20.一种测试为了检测停车场的可停车空间而利用的车辆的自动停车装置的测试装置，其特征在于，包括：
至少一个存储器，其用于存储指令；以及
至少一个处理器，其构成为能够实施所述指令，该指令用于执行如下处理或支援其他装置执行如下处理：(I)若获取至少一个学习用停车场图像，则(i)将所述学习用停车场图像输入到分割网络，从而使所述分割网络(i-1)通过编码器对所述学习用停车场图像施加至少一次卷积运算而输出至少一个学习用卷积特征图，(i-2)通过解码器对所述学习用卷积特征图施加至少一次反卷积运算而输出至少一个学习用反卷积特征图，(i-3)通过屏蔽层对所述学习用反卷积特征图施加至少一次屏蔽运算而输出学习用分割信息，该学习用分割信息表示所述学习用停车场图像上一个以上的学习用空停车区域和一个以上的学习用已停车的停车区域的分割；(ii)将与学习用特定ROI对应的所述学习用反卷积特征图输入到回归器，从而使所述回归器(ii-1)生成从所述学习用特定ROI的中心的所述学习用特定ROI一个以上的顶点相关的学习用相对坐标，(ii-2)并对所述学习用相对坐标施加至少一次回归运算而生成至少一个学习用特定可停车区域相关的学习用回归位置信息，所述学习用空停车区域中所述学习用特定可停车区域由所述学习用特定ROI决定；以及(iii)使第一损失层参照所述学习用回归位置信息和与此对应的至少一个ROIGT算出一个以上的第一损失，并通过利用所述第一损失的反向传播使所述回归器进行学习，以使所述第一损失最小化，在所述处理器执行如上所述的处理的状态下，(I-1)若获取从测试用停车场的上部朝向所述测试用停车场的地面方向拍摄测试用车辆的周边区域而生成的至少一个测试用停车场图像，则将所述测试用停车场图像输入到所述分割网络，从而使所述分割网络(I-1-a)通过所述编码器对所述测试用停车场图像施加所述卷积运算而输出至少一个测试用卷积特征图，(I-1-b)通过所述解码器对所述测试用卷积特征图施加所述反卷积运算而输出至少一个测试用反卷积特征图，(I-1-c)通过所述屏蔽层对所述测试用反卷积特征图施加所述屏蔽运算而输出测试用分割信息，该测试用分割信息表示所述测试用停车场图像上一个以上的测试用空停车区域和一个以上的测试用已停车的停车区域的分割；(II)所述测试装置将与测试用特定ROI对应的所述测试用反卷积特征图输入到所述回归器，从而使所述回归器(II-1)生成从所述测试用特定ROI的中心的所述测试用特定ROI一个以上的顶点相关的测试用相对坐标，(II-2)并对所述测试用相对坐标施加所述回归运算而生成至少一个测试用特定可停车区域相关的测试用回归位置信息，所述测试用空停车区域中所述测试用特定可停车区域由所述测试用特定ROI决定。
21.根据权利要求20所述的测试装置，其特征在于，
所述分割网络处于预先学习的状态，以输出由预先学习装置在所述测试用停车场图像上分割所述测试用空停车区域和所述测试用已停车的停车区域而生成的测试用分割信息，
若获取至少一个学习用预先停车场图像，则所述预先学习装置执行如下处理：(i)将所述学习用预先停车场图像输入到所述分割网络，从而使所述分割网络(i-1)通过所述编码器对所述学习用预先停车场图像施加至少一次卷积运算而输出至少一个学习用预先卷积特征图，(i-2)通过所述解码器对所述学习用预先卷积特征图施加至少一次反卷积运算而输出至少一个学习用预先反卷积特征图，(i-3)通过所述屏蔽层对所述学习用预先反卷积图像施加至少一次屏蔽运算而输出学习用预先分割信息，该学习用预先分割信息表示所述学习用预先停车场图像上所述空停车区域和已停车的停车区域的分割；以及(ii)使第二损失层参照所述学习用预先分割信息和与此对应的至少一个分割GT算出一个以上的第二损失，并通过利用所述第二损失的反向传播更新所述屏蔽层、所述解码器及所述编码器中的至少一个参数，以使所述第二损失最小化。
22.根据权利要求20所述的测试装置，其特征在于，
所述处理器执行如下处理：使所述屏蔽层对所述测试用反卷积特征图施加至少一次屏蔽运算，从而在所述测试用停车场图像上分割(i)一个以上的测试用目标可停车区域、(ii)一个以上的测试用背景区域、(iii)一个以上的测试用目标外可停车区域、以及(iv)一个以上的所述测试用已停车的停车区域中的至少一个。
23.根据权利要求22所述的测试装置，其特征在于，
所述处理器执行如下处理：使所述屏蔽层参照所述测试用空停车区域及所述测试用车辆之间的一个以上的距离将所述测试用空停车区域分割为所述测试用目标可停车区域及所述测试用目标外可停车区域。
24.根据权利要求20所述的测试装置，其特征在于，
所述处理器还执行如下处理：(III)若获取所述测试用特定可停车区域相关的所述测试用回归位置信息，则使所述测试用车辆的所述自动停车装置参照所述测试用回归位置信息将所述测试用车辆停车在所述测试用特定可停车区域内。
CN202010069463.9A 2019-01-31 2020-01-21 利用语义分割检测停车区域的方法和装置 Active CN111507158B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962799349P 2019-01-31 2019-01-31
US62/799,349 2019-01-31
US16/739,168 2020-01-10
US16/739,168 US10796434B1 (en) 2019-01-31 2020-01-10 Method and device for detecting parking area using semantic segmentation in automatic parking system

Publications (2)

Publication Number Publication Date
CN111507158A CN111507158A (zh) 2020-08-07
CN111507158B true CN111507158B (zh) 2023-11-24

Family

ID=69190641

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010069463.9A Active CN111507158B (zh) 2019-01-31 2020-01-21 利用语义分割检测停车区域的方法和装置

Country Status (5)

Country Link
US (1) US10796434B1 (zh)
EP (1) EP3690728B1 (zh)
JP (1) JP6910664B2 (zh)
KR (1) KR102396277B1 (zh)
CN (1) CN111507158B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022045877A1 (en) * 2020-08-28 2022-03-03 Mimos Berhad A system and method for identifying occupancy of parking lots
KR102327860B1 (ko) * 2021-06-14 2021-11-17 주식회사 에이스뷰 차량용 다채널 어라운드뷰 모니터링 방법 및 시스템
CN113869614B (zh) * 2021-12-03 2022-04-19 北京航空航天大学杭州创新研究院 一种基于时空图卷积的行人流早期预测方法
CN115393595B (zh) * 2022-10-27 2023-02-03 福思(杭州)智能科技有限公司 分割网络模型训练方法、车道线检测方法、装置和介质
CN115797934B (zh) * 2022-12-01 2023-12-01 北京百度网讯科技有限公司 仪表示数方法、装置、电子设备以及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107665603A (zh) * 2017-09-06 2018-02-06 哈尔滨工程大学 一种判定车位占用的实时检测方法
CN107730903A (zh) * 2017-06-13 2018-02-23 银江股份有限公司 基于深度卷积神经网络的违章停车和抛锚车视觉检测系统
CN107730514A (zh) * 2017-09-29 2018-02-23 北京奇虎科技有限公司 场景分割网络训练方法、装置、计算设备及存储介质
CN107719361A (zh) * 2017-10-10 2018-02-23 深圳市豪恩汽车电子装备股份有限公司 基于图像视觉的自动泊车辅助方法及系统
CN108133484A (zh) * 2017-12-22 2018-06-08 北京奇虎科技有限公司 基于场景分割的自动驾驶处理方法及装置、计算设备
US10169679B1 (en) * 2017-10-13 2019-01-01 StradVision, Inc. Learning method and learning device for adjusting parameters of CNN by using loss augmentation and testing method and testing device using the same
US10176388B1 (en) * 2016-11-14 2019-01-08 Zoox, Inc. Spatial and temporal information for semantic segmentation

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9290146B2 (en) * 1992-05-05 2016-03-22 Intelligent Technologies International, Inc. Optical monitoring of vehicle interiors
US20060233461A1 (en) * 2005-04-19 2006-10-19 Honeywell International Inc. Systems and methods for transforming 2d image domain data into a 3d dense range map
JP4497133B2 (ja) * 2006-07-12 2010-07-07 アイシン・エィ・ダブリュ株式会社 運転支援方法及び運転支援装置
US9046364B2 (en) * 2011-06-14 2015-06-02 Nissan Motor Co., Ltd. Distance measurement device and environment map generation apparatus
US9129524B2 (en) 2012-03-29 2015-09-08 Xerox Corporation Method of determining parking lot occupancy from digital camera images
US10325165B2 (en) 2014-09-30 2019-06-18 Conduent Business Services, Llc Vision-based on-street parked vehicle detection via normalized-view classifiers and temporal filtering
US10343433B2 (en) * 2015-10-30 2019-07-09 Hewlett-Packard Development Company, L.P. Skew sensor calibration
US9446730B1 (en) * 2015-11-08 2016-09-20 Thunder Power Hong Kong Ltd. Automatic passenger airbag switch
US9996905B2 (en) * 2016-03-16 2018-06-12 Planet Labs, Inc. Systems and methods for enhancing object visibility for overhead imaging
US20180074494A1 (en) * 2016-09-13 2018-03-15 Ford Global Technologies, Llc Passenger tracking systems and methods
KR20180050823A (ko) * 2016-11-07 2018-05-16 삼성전자주식회사 3차원의 도로 모델을 생성하는 방법 및 장치
KR101955506B1 (ko) * 2016-12-12 2019-03-11 주식회사 피엘케이 테크놀로지 대향 카메라를 이용한 대형 차량의 측면 안전 보조 장치 및 방법
US10296794B2 (en) * 2016-12-20 2019-05-21 Jayant Rtti On-demand artificial intelligence and roadway stewardship system
EP3559895A4 (en) * 2016-12-22 2020-09-09 Xevo Inc. METHOD AND SYSTEM FOR PROVIDING INTERACTIVE PARKING MANAGEMENT THROUGH ARTIFICIAL INTELLIGENCE (AIA) ANALYTICAL SERVICES USING A CLOUD NETWORK
JP6760114B2 (ja) * 2017-01-31 2020-09-23 富士通株式会社 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム
US10509947B1 (en) * 2017-04-11 2019-12-17 Zoox, Inc. Converting multi-dimensional data for image analysis
US11501572B2 (en) * 2018-03-26 2022-11-15 Nvidia Corporation Object behavior anomaly detection using neural networks

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10176388B1 (en) * 2016-11-14 2019-01-08 Zoox, Inc. Spatial and temporal information for semantic segmentation
CN107730903A (zh) * 2017-06-13 2018-02-23 银江股份有限公司 基于深度卷积神经网络的违章停车和抛锚车视觉检测系统
CN107665603A (zh) * 2017-09-06 2018-02-06 哈尔滨工程大学 一种判定车位占用的实时检测方法
CN107730514A (zh) * 2017-09-29 2018-02-23 北京奇虎科技有限公司 场景分割网络训练方法、装置、计算设备及存储介质
CN107719361A (zh) * 2017-10-10 2018-02-23 深圳市豪恩汽车电子装备股份有限公司 基于图像视觉的自动泊车辅助方法及系统
US10169679B1 (en) * 2017-10-13 2019-01-01 StradVision, Inc. Learning method and learning device for adjusting parameters of CNN by using loss augmentation and testing method and testing device using the same
CN108133484A (zh) * 2017-12-22 2018-06-08 北京奇虎科技有限公司 基于场景分割的自动驾驶处理方法及装置、计算设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SHERZOD NURULLAYEV，等."Generalized Parking Occupancy Analysis Based on Dilated Convolutional Neural Network".《 SENSORS》.2019,第19卷第1、8-10页. *
基于图像处理的空车位检测预测系统设计;杨芳颖;戴金刚;代欢欢;赵俊华;;无线互联科技(第14期);第83-85页 *

Also Published As

Publication number Publication date
JP6910664B2 (ja) 2021-07-28
CN111507158A (zh) 2020-08-07
KR102396277B1 (ko) 2022-05-10
EP3690728B1 (en) 2024-01-03
EP3690728A1 (en) 2020-08-05
JP2020126636A (ja) 2020-08-20
KR20200095385A (ko) 2020-08-10
US10796434B1 (en) 2020-10-06
EP3690728C0 (en) 2024-01-03

Similar Documents

Publication Publication Date Title
CN111507158B (zh) 利用语义分割检测停车区域的方法和装置
US10068140B2 (en) System and method for estimating vehicular motion based on monocular video data
KR102595897B1 (ko) 차선 결정 방법 및 장치
CN111462193B (zh) 用于多摄像机或环绕视图监控的对象检测方法及装置
US11798187B2 (en) Lane detection and distance estimation using single-view geometry
US11200432B2 (en) Method and apparatus for determining driving information
CN111507160B (zh) 集成从执行协同驾驶的车辆获取的行驶图像的方法及装置
JP2010510559A (ja) 地上モバイルマッピングデータからオブジェクトを検出する方法及び装置
EP2738740B1 (en) Image processing device and image processing method
CN111507152B (zh) 基于内置独立型预测来转换自动驾驶模式的方法及装置
KR102373492B1 (ko) 자체적으로 생성된 정보 및 다른 개체에 의해 생성된 정보를 선택적으로 사용하여 카메라의 오정렬을 보정하는 방법 및 이를 이용한 장치
KR20200094075A (ko) 다수의 차량을 통한 센서 퓨전, v2x 통신 가능한 애플리케이션을 이용한 협업 주행을 위해 주변에 위치하는 카메라 각각에 대응되는 각각의 객체 검출기에 의해 검출되는 객체 검출 정보를 통합하는 방법 및 장치
KR102564856B1 (ko) 차선을 검출하는 방법 및 장치
KR20190095567A (ko) 객체를 인식하는 방법 및 장치
CN113806464A (zh) 路牙确定方法、装置、设备以及存储介质
CN111191482B (zh) 一种刹车灯识别方法、装置及电子设备
CN110750100A (zh) 基于流函数的水下搜救机器人路径规划方法
CN114565908A (zh) 车道线的检测方法、装置、电子设备及存储介质
KR102313129B1 (ko) 자율 주행에 대한 논리적 근거를 제시하기 위하여, 관리자가 객체 검출기의 객체 검출 프로세스를 평가할 수 있도록 지원하는 방법 및 장치
EP3951744A1 (en) Image processing device, vehicle control device, method, and program
CN114627395B (zh) 基于嵌套靶标的多旋翼无人机角度分析方法、系统及终端
CN115019278B (zh) 一种车道线拟合方法、装置、电子设备和介质
KR102540636B1 (ko) 방향 정보를 포함한 지도 생성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102234311B1 (ko) 이미지 특징 추출 방법 및 시스템
US20240062349A1 (en) Enhanced high dynamic range pipeline for three-dimensional image signal processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant