CN112329601B - 基于多任务网络的车位检测方法和装置 - Google Patents

基于多任务网络的车位检测方法和装置 Download PDF

Info

Publication number
CN112329601B
CN112329601B CN202011206940.8A CN202011206940A CN112329601B CN 112329601 B CN112329601 B CN 112329601B CN 202011206940 A CN202011206940 A CN 202011206940A CN 112329601 B CN112329601 B CN 112329601B
Authority
CN
China
Prior art keywords
parking space
heat map
corner
parking
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011206940.8A
Other languages
English (en)
Other versions
CN112329601A (zh
Inventor
庞飞
刘威
袁淮
吕晋
周婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Neusoft Reach Automotive Technology Shenyang Co Ltd
Original Assignee
Neusoft Reach Automotive Technology Shenyang Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Neusoft Reach Automotive Technology Shenyang Co Ltd filed Critical Neusoft Reach Automotive Technology Shenyang Co Ltd
Priority to CN202011206940.8A priority Critical patent/CN112329601B/zh
Publication of CN112329601A publication Critical patent/CN112329601A/zh
Application granted granted Critical
Publication of CN112329601B publication Critical patent/CN112329601B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于多任务网络的车位检测方法和装置，涉及车位检测的技术领域，多任务网络为执行多个任务的基础网络，方法包括：将车位采集图像输入基础网络，通过对车位采集图像进行检测，输出车位角点热图、车位类型热图和车位角点标签热图，其中，车位角点标签热图与车位角点热图一一对应；基于车位类型热图确定出当前处于空闲状态的目标车位；基于车位角点标签热图确定出目标车位对应的车位角点，通过将车位角点、角点组别、车位类型任务融合到一个神经网络中，相比于已有的级联的方式可以在很大程度上提升算法的计算性能。

Description

基于多任务网络的车位检测方法和装置
技术领域
本发明涉及车位检测的技术领域，尤其是涉及一种基于多任务网络的车位检测方法和装置。
背景技术
随着车辆自动驾驶技术的发展，自动泊车也具有较为广泛的应用。车辆能够自动检测识别出车位，以便车辆通过路径规划、跟踪等方式准确泊车入位。
而目前的车位检测算法一般是采用首先检测车位角点，后续再判断车位类型及车位角度的方法，此种车位检测需要通过多个方法或者多个网络实现的。经发明人研究发现，上述多个网络的级联方式在车载嵌入式环境中性能耗费太大。
发明内容
有鉴于此，本发明的目的在于提供一种基于多任务网络的车位检测方法和装置，通过将车位角点、角点组别、车位类型任务融合到一个神经网络中，相比于已有的级联的方式可以在很大程度上提升算法的计算性能。
第一方面，实施例提供一种基于多任务网络的车位检测方法，所述多任务网络为执行多个任务的基础网络，所述方法包括：
将车位采集图像输入所述基础网络，通过对所述车位采集图像进行检测，输出车位角点热图、车位类型热图和车位角点标签热图，其中，所述车位角点标签热图与所述车位角点热图一一对应；
基于所述车位类型热图确定出当前处于空闲状态的目标车位；
基于所述车位角点标签热图确定出所述目标车位对应的车位角点。
在可选的实施方式中，所述基础网络包括第一分支和第二分支，将车位采集图像输入所述基础网络，通过对所述车位采集图像进行检测，输出车位角点热图、车位类型热图和车位角点标签热图的步骤，包括：
将车位采集图像输入所述基础网络；
通过所述第一分支和所述第二分支分别对所述车位采集图像进行检测，输出车位角点热图、车位类型热图和车位角点标签热图，其中，所述车位角点热图和所述车位类型热图由所述第一分支输出，所述车位角点标签热图由所述第二分支输出。
在可选的实施方式中，基于所述车位角点标签热图确定出所述目标车位对应的车位角点的步骤，包括：
基于所述车位角点标签热图中每个所述车位角点的标签值确定每个所述车位角点的所属类别；
将所述车位角点的所属类别与所述目标车位的所属类别进行匹配，确定与所述目标车位相匹配的目标所属类别，得到所述目标所属类别对应的车位角点。
在可选的实施方式中，所述方法还包括：
根据所述车位角点检测出所述目标车位的位置。
在可选的实施方式中，所述方法还包括：
基于以下损失函数对所述基础网络进行训练：
loss＝α*loss_detection+β*loss_push+γ*loss_pull
其中，loss_detection用于监督所述第一分支中检测的车位角点和车位类型，loss_push用于监督所述第二分支中不同车位角点信息，loss_pull用于监督所述第二分支中同一个车位角点信息。
在可选的实施方式中，所述基础网络为至少一个沙漏堆叠网络级联的。
在可选的实施方式中，所述车位采集图像为全景环视俯视图车位图像。
第二方面，实施例提供一种基于多任务网络的车位检测装置，所述多任务网络为执行多个任务的基础网络，所述装置包括：
热图检测模块，将车位采集图像输入所述基础网络，通过对所述车位采集图像进行检测，输出车位角点热图、车位类型热图和车位角点标签热图，其中，所述车位角点标签热图与所述车位角点热图一一对应；
空闲车位确定模块，基于所述车位类型热图确定出当前处于空闲状态的目标车位；
角点确定模块，基于所述车位角点标签热图确定出所述目标车位对应的车位角点。
第三方面，实施例提供一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述前述实施方式任一项所述的方法的步骤。
第四方面，实施例提供一种机器可读存储介质，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，机器可执行指令促使处理器实现前述实施方式任一项所述的方法的步骤。
本发明实施例提供的一种基于多任务网络的车位检测方法和装置，基于一个能够执行多任务的基础网络，对车位采集图进行识别，输出车位角点热图、车位类型热图和车位角点标签热图，并根据车位类型热图识别出各个车位的状态，进而确定空闲状态的目标车位，再根据车位角点标签热图确定该目标车位对应的车位角点所属类别，进而确定将该所属类别对应的车位角点位置，本发明实施例将车位角点，车位类型，车位角点组别信息检测融合到一个深度神经网络中，在进行车位精准检测的同时，提升了计算性能。
本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于多任务网络的车位检测方法流程图；
图2为本发明实施例提供的一种基于多任务网络的车位检测装置的功能模块图；
图3为本发明实施例提供的一种电子设备的硬件架构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
现有的车位检测算法大致包括四种：基于用户界面的方法、基于基础设施的方法、基于自由空间的方法和基于车位标记的方法。
其中，基于车位标记的方法由于其识别过程不依赖于相邻车辆的存在，而是依赖于停车位的固定标记，所以相对于上述检测方法，更能准确识别车位。
而目前该类车位检测算法一般是采用首先检测车位角点的方法，后续再判断车位类型及车位角度，如将图像输入角点检测网络、得到角点检测结果；基于角点检测结果提取图像信息，得到车位ROI图像；通过车位类型检测和角度检测的求解算法，得到车位检测和车位方向角度检测结果。
其中，以车位类型部分为例进行说明，具体如下：
当前如AlexNet检测算法的车位类型检测中，其网络输入是一张图像，输出的是每个锚anchor对应的感兴趣区域(Region Of Interest，ROI)图像框的类别概率(p1，p2)；其中，该感兴趣区域可定义为车位，即p1和p2分别表示该框是车位和不是车位的概率。
训练上述车位类型检测网络的目标函数为损失函数loss_detect＝α*L_softmax，该损失函数为分类损失函数L_softmax，训练的过程就是以最小化loss_detect为目的，对车位类型检测网络中的参数进行调整。
需要说明的是，上述车位类型检测方法也可用于检测车位角点，除此之外还可包括以下方法对车位方向角度进行检测，具体为：
当前如模板匹配算法的车位角度检测中，其算法输入是一个车位ROI图像和一系列提前设计好的模板，输出的是提前设计好的模板中的某个角度。该算法就是将车位ROI图像与模板中的角度进行匹配，匹配最好的角度作为车位方向角度的检测结果。
因此，可知上述的车位检测是包括车位角点检测、车位类型检测和车位方向角度检测的多个方法结合，即该车位检测方法需要通过多种网络实现的，且上述多种网络进行级联进而实现车位检测的方式，会在车载嵌入式环境中耗费较大的性能。
基于此，本发明实施例提供的一种基于多任务网络的车位检测方法和装置，通过将车位角点、角点组别、车位类型任务融合到一个神经网络中，相比于已有的级联的方式可以在很大程度上提升算法的计算性能。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种基于多任务网络的车位检测方法进行详细介绍，其中，多任务网络模型指具有多种功能、能够执行多种任务的网络模型，本发明实施例中的多任务网络为基础网络，能够从采集图像中进行车位角点、车位类型和车位角点组别的识别。
图1为本发明实施例提供的一种基于多任务网络的车位检测方法流程图。
如图1所示，该方法包括以下步骤：
步骤S102，将车位采集图像输入所述基础网络，通过对所述车位采集图像进行检测，输出车位角点热图、车位类型热图和车位角点标签热图，其中，每个车位对应四个所述车位角点热图，车位角点热图可能存在没有检测到车位的情况；若检测到车位，则每个所述车位角点热图至少包括一个车位的车位角点，所述车位角点标签热图与所述车位角点热图一一对应；
步骤S104，基于所述车位类型热图确定出当前处于空闲状态的目标车位；步骤S106，基于所述车位角点标签热图确定出所述目标车位对应的车位角点。
在实际的优选实施例中，基于一个能够执行多任务的基础网络，对车位采集图进行识别，输出车位角点热图、车位类型热图和车位角点标签热图，并根据车位类型热图识别出各个车位的状态，进而确定空闲状态的目标车位，再根据车位角点标签热图确定该目标车位对应的车位角点所属类别，进而确定将该所属类别对应的车位角点位置，本发明实施例将车位角点，车位类型，车位角点组别信息检测融合到一个深度神经网络中，在进行车位精准检测的同时，提升了计算性能。
需要说明的是，将车位角点，车位类型，车位角点组别信息检测多个任务融合到一个网络的思想，同样适用于其他输入结果和输出结果具有相关性的多个网络进行融合的情况。
在可选的实施方式中，所述基础网络包括第一分支和第二分支，步骤S102，包括：
步骤1.1)，将车位采集图像输入所述基础网络；
步骤1.2)，通过所述第一分支和所述第二分支分别对所述车位采集图像进行检测，输出车位角点热图、车位类型热图和车位角点标签热图，其中，所述车位角点热图和所述车位类型热图由所述第一分支输出，所述车位角点标签热图由所述第二分支输出。
其中，第一分支、第二分支的三种输出结果都是以热图heatmap特征图的形式展示的。如车位采集图中有N个车位，每个车位包括4个车位角点a、b、c、d，则第一分支输出4张车位角点热图和1张车位类型热图，每张车位角点热图中对应车位采集图中N个车位的同一个车位角点，如车位第一角点热图对应N个车位的车位角点b、车位第二角点热图对应N个车位的车位角点c，以此类推。车位类型热图包括N个车位对应的车位状态(是否空闲)。第二分支输出4张车位角点标签热图，车位角点标签热图与车位角点热图相对应，根据每张车位角点标签热图能够知晓对应的车位角点热图中每个车位角点对应的标签值，如与车位第一角点热图对应的车位第一角点标签热图中，包括来自于N个车位的、对应车位角点b的N个标签值。在可选的实施方式中，步骤S106，还可以用以下步骤进行实现，包括：
步骤2.1)，基于所述车位角点标签热图中每个所述车位角点的标签值确定每个所述车位角点的所属类别；
这里，根据每张车位角点标签热图中的各个车位角点对应的标签值，确定各个车位角点的所属类别，将标签值相近、或标签值之间差值小于阈值的标签作为同一所属类别，例如，车位第一角点标签热图包括对应车位角点b的标签1的值为4、标签2的值为8；车位第二角点标签热图包括对应车位角点c的标签3值为4.1、标签4值为8.3；车位第三角点标签热图包括对应车位角点a的标签5值为8.2，此时可知，标签1、标签3为同一所属类别，即标签1对应的车位角点b、标签3对应的车位角点c属于同一车位A，标签2、标签4和标签5为同一所属类别，即标签2对应的车位角点b、标签4对应的车位角点c和标签5对应的车位角点a属于同一车位B。
可以理解的是，归类后的车位可包括完整的四个车位角点a、b、c、d，上述实施例仅为一种示例说明。
步骤2.2)，将所述车位角点的所属类别与所述目标车位的所属类别进行匹配，确定与所述目标车位相匹配的目标所属类别，得到所述目标所属类别对应的车位角点。
其中，由于标签与车位角点的对应关系，根据上述标签的分类情况，进而可知对应的车位角点所属类别。
可以理解的是，从每个车位角点热图中能够知晓各个车位角点亮度值以及对应的车位角点位置坐标；根据各个车位角点的标签值确定出其所属的车位，即每个车位包括哪四个角点构成；再从车位类型热图中能够知晓车位亮度值以及对应的位置坐标，如，若车位为空，则该车位的车位亮度值超过预设的亮度阈值，并根据该位置坐标与每个车位的四个角点坐标对比，即该位置坐标在哪个车位角点坐标的范围内，知晓该空闲车位的车位亮度位置属于哪个车位，即得知哪个车位为空。
在可选的实施方式中，所述方法还包括：
步骤3.1)，根据所述车位角点检测出所述目标车位的位置。
这里，本发明实施例提供的车位检测方法可应用于车辆中的车载控制器，车辆通过采集器件获取车位采集图像，输入多任务基础网络，输出得到空闲的目标车位的车位角点位置，以便车载控制器能够根据车位角点位置确定目标车位的位置，并进一步进行车辆路径规划等操作，实现自动泊车入位。通过本发明实施例的应用，实现输入端到控制端的有效车位检测，简单直接，无需中转。
在可选的实施方式中，为了得到检测结果更加准确的基础网络，所述方法还包括：
步骤4.1)，基于以下损失函数对所述基础网络进行训练：
loss＝α*loss_detection+β*loss_push+γ*loss_pull
其中，loss_detection用于监督所述第一分支中检测的车位角点和车位类型，loss_push用于监督所述第二分支中不同车位角点信息，loss_pull用于监督所述第二分支中同一个车位角点信息。
这里，车位角点，车位角点标签，车位类型检测使用同一个损失函数，本算法的训练结果受到三个结果监督，第一个是基于第一分支输出的热图heatmap的车位角点和车位类别检测的结果监督，车位角点和车位类别的分支的损失可以是均方误差或其他类似的自定义损失函数；第二个和第三个是基于第二分支输出的热图heatmap的车位角点标签的结果监督，车位组别的损失可是自定义损失函数。
push监督不同车位角点信息，pull监督同一个车位角点信息，三部分结果共同监督训练结果。
可以理解的是，因为一张输入的车位采集图像中可能有多个车位，那么需要判断角点是属于某一个车位，而且又区别于其他车位的角点。所以本发明实施例设计两个损失，一个是角点是否属于某一个车位的损失，也就是说前述实施例提到的pull损失，表示隶属于同一个车位的角点的tag标签值，即pull损失越小，该角点与该车位角点的误差越小，越精确。另一个是角点是否属于不同车位的损失，也就是说前述实施例提到的push损失，表示不同车位的角点的标签tag值，即push损失越小，该角点与其他不同车位的角点相距越大，越精确。
在可选的实施方式中，所述基础网络为至少一个沙漏堆叠网络级联的。
其中，为了车位检测效果更加精确并同时节省性能，可采用多个沙漏堆叠HourGlass网络进行级联，得到基础网络，再基于此基础网络实现车位检测。这里，HourGlass网络的数量可优选4个。
在可选的实施方式中，所述车位采集图像为全景环视俯视图车位图像。
这里，车位采集图像可为全景环视和俯视图车位图像、全景俯视图车位图像、全景环视图车位图像，以便基础网络能够更加准确的识别。
如图2所示，本发明实施例还提供一种基于多任务网络的车位检测装置200，所述多任务网络为执行多个任务的基础网络，所述装置包括：
热图检测模块201，将车位采集图像输入所述基础网络，通过对所述车位采集图像进行检测，输出车位角点热图、车位类型热图和车位角点标签热图，其中，所述车位角点标签热图与所述车位角点热图一一对应；
空闲车位确定模块202，基于所述车位类型热图确定出当前处于空闲状态的目标车位；
角点确定模块203，基于所述车位角点标签热图确定出所述目标车位对应的车位角点。
在可选的实施方式中，所述基础网络包括第一分支和第二分支，热图检测模块还具体用于，将车位采集图像输入所述基础网络；通过所述第一分支和所述第二分支分别对所述车位采集图像进行检测，输出车位角点热图、车位类型热图和车位角点标签热图，其中，所述车位角点热图和所述车位类型热图由所述第一分支输出，所述车位角点标签热图由所述第二分支输出。
在可选的实施方式中，角点确定模块还具体用于，基于所述车位角点标签热图中每个所述车位角点的标签值确定每个所述车位角点的所属类别；将所述车位角点的所属类别与所述目标车位的所属类别进行匹配，确定与所述目标车位相匹配的目标所属类别，得到所述目标所属类别对应的车位角点。
在可选的实施方式中，所述装置还包括：位置检测模块，用于根据所述车位角点检测出所述目标车位的位置。
在可选的实施方式中，所述装置还包括：训练模块，用于基于以下损失函数对所述基础网络进行训练：
loss＝α*loss_detection+β*loss_push+γ*loss_pull
其中，loss_detection用于监督所述第一分支中检测的车位角点和车位类型，loss_push用于监督所述第二分支中不同车位角点信息，loss_pull用于监督所述第二分支中同一个车位角点信息。
在可选的实施方式中，所述基础网络为至少一个沙漏堆叠网络级联的。
在可选的实施方式中，所述车位采集图像为全景环视俯视图车位图像。
图3为本发明实施例提供的电子设备300的硬件架构示意图。参见图3所示，该电子设备300包括：机器可读存储介质301和处理器302，还可以包括非易失性存储介质303、通信接口304和总线305；其中，机器可读存储介质301、处理器302、非易失性存储介质303和通信接口304通过总线305完成相互间的通信。处理器302通过读取并执行机器可读存储介质301中基于多任务网络的车位检测的机器可执行指令，可执行上文实施例描述基于多任务网络的车位检测方法。
本文中提到的机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM(Radom Access Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。
非易失性介质可以是非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、任何类型的存储盘(如光盘、dvd等)，或者类似的非易失性存储介质，或者它们的组合。
可以理解的是，本实施例中的各功能模块的具体操作方法可参照上述方法实施例中相应步骤的详细描述，在此不再重复赘述。
本发明实施例所提供计算机可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序代码被执行时可实现上述任一实施例所述的基于多任务网络的车位检测方法，具体实现可参见方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。

Claims (9)

1.一种基于多任务网络的车位检测方法，其特征在于，所述多任务网络为执行多个任务的基础网络，所述方法包括：
将车位采集图像输入所述基础网络，通过对所述车位采集图像进行检测，输出车位角点热图、车位类型热图和车位角点标签热图，其中，所述车位角点标签热图与所述车位角点热图一一对应；
基于所述车位类型热图确定出当前处于空闲状态的目标车位；
基于所述车位角点标签热图确定出所述目标车位对应的车位角点；
基于所述车位角点标签热图确定出所述目标车位对应的车位角点的步骤，包括：
基于所述车位角点标签热图中每个所述车位角点的标签值确定每个所述车位角点的所属类别；
将所述车位角点的所属类别与所述目标车位的所属类别进行匹配，确定与所述目标车位相匹配的目标所属类别，得到所述目标所属类别对应的车位角点。
2.根据权利要求1所述的方法，其特征在于，所述基础网络包括第一分支和第二分支，将车位采集图像输入所述基础网络，通过对所述车位采集图像进行检测，输出车位角点热图、车位类型热图和车位角点标签热图的步骤，包括：
将车位采集图像输入所述基础网络；
通过所述第一分支和所述第二分支分别对所述车位采集图像进行检测，输出车位角点热图、车位类型热图和车位角点标签热图，其中，所述车位角点热图和所述车位类型热图由所述第一分支输出，所述车位角点标签热图由所述第二分支输出。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述车位角点检测出所述目标车位的位置。
4.根据权利要求2所述的方法，其特征在于，所述方法还包括：
基于以下损失函数对所述基础网络进行训练：
loss＝α*loss_detection+β*loss_push+γ*loss_pull
其中，loss_detection用于监督所述第一分支中检测的车位角点和车位类型，loss_push用于监督所述第二分支中不同车位角点信息，loss_pull用于监督所述第二分支中同一个车位角点信息。
5.根据权利要求1所述的方法，其特征在于，所述基础网络为至少一个沙漏堆叠网络级联的。
6.根据权利要求1所述的方法，其特征在于，所述车位采集图像为全景环视俯视图车位图像。
7.一种基于多任务网络的车位检测装置，其特征在于，所述多任务网络为执行多个任务的基础网络，所述装置包括：
热图检测模块，将车位采集图像输入所述基础网络，通过对所述车位采集图像进行检测，输出车位角点热图、车位类型热图和车位角点标签热图，其中，所述车位角点标签热图与所述车位角点热图一一对应；
空闲车位确定模块，基于所述车位类型热图确定出当前处于空闲状态的目标车位；
角点确定模块，基于所述车位角点标签热图确定出所述目标车位对应的车位角点；
角点确定模块，还用于基于所述车位角点标签热图中每个所述车位角点的标签值确定每个所述车位角点的所属类别；将所述车位角点的所属类别与所述目标车位的所属类别进行匹配，确定与所述目标车位相匹配的目标所属类别，得到所述目标所属类别对应的车位角点。
8.一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至6任一项所述的方法的步骤。
9.一种机器可读存储介质，其特征在于，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，机器可执行指令促使处理器实现权利要求1至6任一项所述的方法的步骤。
CN202011206940.8A 2020-11-02 2020-11-02 基于多任务网络的车位检测方法和装置 Active CN112329601B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011206940.8A CN112329601B (zh) 2020-11-02 2020-11-02 基于多任务网络的车位检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011206940.8A CN112329601B (zh) 2020-11-02 2020-11-02 基于多任务网络的车位检测方法和装置

Publications (2)

Publication Number Publication Date
CN112329601A CN112329601A (zh) 2021-02-05
CN112329601B true CN112329601B (zh) 2024-05-07

Family

ID=74322967

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011206940.8A Active CN112329601B (zh) 2020-11-02 2020-11-02 基于多任务网络的车位检测方法和装置

Country Status (1)

Country Link
CN (1) CN112329601B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114445794A (zh) * 2021-12-21 2022-05-06 北京罗克维尔斯科技有限公司 车位检测模型训练方法、车位检测方法及其装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110348297A (zh) * 2019-05-31 2019-10-18 纵目科技（上海）股份有限公司 一种用于识别立体停车库的检测方法、系统、终端和存储介质
CN110705359A (zh) * 2019-09-05 2020-01-17 北京智行者科技有限公司 一种车位检测方法
CN110706509A (zh) * 2019-10-12 2020-01-17 东软睿驰汽车技术（沈阳）有限公司 车位及其方向角度检测方法、装置、设备及介质
CN110969655A (zh) * 2019-10-24 2020-04-07 百度在线网络技术（北京）有限公司 用于检测车位的方法、装置、设备、存储介质以及车辆
CN111178236A (zh) * 2019-12-27 2020-05-19 清华大学苏州汽车研究院（吴江） 一种基于深度学习的车位检测方法
CN111626971A (zh) * 2020-05-26 2020-09-04 南阳师范学院 具有图像语义感知的智慧城市cim实时成像方法
CN111797715A (zh) * 2020-06-16 2020-10-20 东软睿驰汽车技术（沈阳）有限公司 车位检测方法、装置、电子设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11288525B2 (en) * 2018-10-31 2022-03-29 Texas Instruments Incorporated Object detection for distorted images
US11790773B2 (en) * 2019-02-25 2023-10-17 Quantifly Llc Vehicle parking data collection system and method
JP7472170B2 (ja) * 2019-04-26 2024-04-22 エヌビディア コーポレーション 自律マシン・アプリケーションにおける交差点姿勢検出

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110348297A (zh) * 2019-05-31 2019-10-18 纵目科技（上海）股份有限公司 一种用于识别立体停车库的检测方法、系统、终端和存储介质
CN110705359A (zh) * 2019-09-05 2020-01-17 北京智行者科技有限公司 一种车位检测方法
CN110706509A (zh) * 2019-10-12 2020-01-17 东软睿驰汽车技术（沈阳）有限公司 车位及其方向角度检测方法、装置、设备及介质
CN110969655A (zh) * 2019-10-24 2020-04-07 百度在线网络技术（北京）有限公司 用于检测车位的方法、装置、设备、存储介质以及车辆
CN111178236A (zh) * 2019-12-27 2020-05-19 清华大学苏州汽车研究院（吴江） 一种基于深度学习的车位检测方法
CN111626971A (zh) * 2020-05-26 2020-09-04 南阳师范学院 具有图像语义感知的智慧城市cim实时成像方法
CN111797715A (zh) * 2020-06-16 2020-10-20 东软睿驰汽车技术（沈阳）有限公司 车位检测方法、装置、电子设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Vision-based Semantic Mapping and Localization for Autonomous Indoor Parking;Yewei Huang 等;《2018 IEEE Intelligent Vehicles Symposium (IV)》;636-641 *
基于深度卷积神经网络的停车位检测;王马成 等;《电子测量技术》;第42卷(第21期);105-108 *

Also Published As

Publication number Publication date
CN112329601A (zh) 2021-02-05

Similar Documents

Publication Publication Date Title
CN110866496A (zh) 基于深度图像的机器人定位与建图方法和装置
US20240092344A1 (en) Method and apparatus for detecting parking space and direction and angle thereof, device and medium
CN112487898B (zh) 搅拌站搅拌车进、卸料口对齐自动判定方法、设备及系统
CN113537070B (zh) 一种检测方法、装置、电子设备及存储介质
CN113936198B (zh) 低线束激光雷达与相机融合方法、存储介质及装置
Wu et al. Psdet: Efficient and universal parking slot detection
CN113052295B (zh) 一种神经网络的训练方法、物体检测方法、装置及设备
CN109857878B (zh) 物品标注方法及装置、电子设备及存储介质
CN114063098A (zh) 多目标跟踪方法、装置、计算机设备和存储介质
CN115797811B (zh) 一种基于视觉的农产品检测方法及系统
CN112329601B (zh) 基于多任务网络的车位检测方法和装置
EP4071684A1 (en) Warehouse monitoring system
CN104079798A (zh) 图像检测方法、装置及一种视频监控系统
CN116385485B (zh) 一种长条形塔吊吊物的视频跟踪方法及系统
CN113505808A (zh) 基于深度学习用于配电类设施开关检测识别算法
Solunke et al. A review on traditional and deep learning based object detection methods
CN111353273A (zh) 一种雷达数据标注方法、装置、设备及存储介质
CN114429631B (zh) 三维对象检测方法、装置、设备以及存储介质
Su et al. An efficient human-following method by fusing kernelized correlation filter and depth information for mobile robot
CN109686110A (zh) 车位空满状态判别方法及设备
CN114565906A (zh) 障碍物检测方法、装置、电子设备及存储介质
CN114519739A (zh) 一种基于识别装置的方向定位方法、装置及存储介质
CN111639640A (zh) 基于人工智能的车牌识别方法、装置及设备
CN110334560A (zh) 一种二维码定位方法和装置
CN117437483A (zh) 一种agv货物库位状态判定方法、系统及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant