CN113901961A - 车位检测方法、装置、设备及存储介质 - Google Patents

车位检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113901961A
CN113901961A CN202111454995.5A CN202111454995A CN113901961A CN 113901961 A CN113901961 A CN 113901961A CN 202111454995 A CN202111454995 A CN 202111454995A CN 113901961 A CN113901961 A CN 113901961A
Authority
CN
China
Prior art keywords
parking space
preset
parking
branch
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111454995.5A
Other languages
English (en)
Other versions
CN113901961B (zh
Inventor
张洋
骆沛
许翰
周成伟
阮作栋
文勋喆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Heduo Technology Guangzhou Co ltd
Original Assignee
HoloMatic Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HoloMatic Technology Beijing Co Ltd filed Critical HoloMatic Technology Beijing Co Ltd
Priority to CN202111454995.5A priority Critical patent/CN113901961B/zh
Publication of CN113901961A publication Critical patent/CN113901961A/zh
Application granted granted Critical
Publication of CN113901961B publication Critical patent/CN113901961B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明实施例公开了车位检测方法、装置、设备及存储介质。该方法包括：将待检测图像输入至基于无锚框的预设车位检测模型，其中，预设车位检测模型通过对基于无锚框的预设检测模型进行训练得到，预设检测模型中包括骨干网络和预测网络，预测网络包括车位框属性分支和车位入口点分支，根据预设车位检测模型输出的车位框属性信息确定车位框位置，以及根据预设车位检测模型输出的两个车位入口点的位置信息确定车位入口边位置，根据车位框位置和车位入口边位置确定车位检测结果。通过采用上述技术方案，能够很好地兼顾检测精度和检测效率，更加实时有效地输出准确车位检测结果，有利于提升车辆自动泊车效果。

Description

车位检测方法、装置、设备及存储介质
技术领域
本发明实施例涉及自动驾驶技术领域，尤其涉及车位检测方法、装置、设备及存储介质。
背景技术
自动泊车系统是各自动驾驶或者驾驶辅助功能中民众需求呼声最高的系统，自动泊车的功能是最受消费者亲睐的功能之一。自动泊车系统面临很多问题，车位检测问题是其中之一。车位线检测实际上是一种目标检测，目标检测的任务是找出图像中所有感兴趣的目标，确定它们的位置和类别。由于各类物体有不同的外观、形状以及姿态，且存在成像时光照以及遮挡等因素的干扰，目标检测一直是计算机视觉领域具有挑战性的问题。
目标检测可以分为传统的方法和基于深度学习的方法。早期的传统目标检测算法大多是基于手工特征构建的，将人工特征输入到新的数据集中，还需要增加专家知识和时间成本来调整特征。随着深度学习算法的不断发展，基于深度学习的目标检测技术应用越来越广泛。
目前，基于深度学习的车位检测方案中，难以兼顾检测精度和检测效率，影响车辆泊车效果。
发明内容
本发明实施例提供了车位检测方法、装置、设备及存储介质，可以优化现有的车位检测方案。
第一方面，本发明实施例提供了一种车位检测方法，包括：
将待检测图像输入至预设车位检测模型，其中，所述预设车位检测模型通过对基于无锚框的预设检测模型进行训练得到，所述预设检测模型中包括骨干网络和预测网络，所述预测网络包括车位框属性分支和车位入口点分支；
根据所述预设车位检测模型输出的车位框属性信息确定车位框位置，以及根据所述预设车位检测模型输出的两个车位入口点的位置信息确定车位入口边位置；
根据所述车位框位置和所述车位入口边位置确定车位检测结果。
第二方面，本发明实施例提供了一种车位检测装置，包括：
图像输入模块，用于将待检测图像输入至预设车位检测模型，其中，所述预设车位检测模型通过对基于无锚框的预设检测模型进行训练得到，所述预设检测模型中包括骨干网络和预测网络，所述预测网络包括车位框属性分支和车位入口点分支；
位置确定模块，用于根据所述预设车位检测模型输出的车位框属性信息确定车位框位置，以及根据所述预设车位检测模型输出的两个车位入口点的位置信息确定车位入口边位置；
检测结果确定模块，用于根据所述车位框位置和所述车位入口边位置确定车位检测结果。
第三方面，本发明实施例提供了一种车位检测设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本发明实施例提供的车位检测方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例提供的车位检测方法。
本发明实施例中提供的车位检测方案，将待检测图像输入至基于无锚框的预设车位检测模型，其中，预设车位检测模型通过对基于无锚框的预设检测模型进行训练得到，预设检测模型中包括骨干网络和预测网络，预测网络包括车位框属性分支和车位入口点分支，根据预设车位检测模型输出的车位框属性信息确定车位框位置，以及根据预设车位检测模型输出的两个车位入口点的位置信息确定车位入口边位置，根据车位框位置和车位入口边位置确定车位检测结果。通过采用上述技术方案，采用基于无锚框的预设检测模型进行训练得到预设车位检测模型，保证检测效率，模型中设置了包含车位入口点分支的预测网络，利用该分支可以对车位入口点进行学习，从而准确地输出待检测图像中车位的入口点位置，根据车位框位置和由入口点位置确定的车位入口边位置，可以更加精准地表征车位实际位置，因此，该方案能够很好地兼顾检测精度和检测效率，更加实时有效地输出准确车位检测结果，有利于提升车辆自动泊车效果。
附图说明
图1为本发明实施例提供的一种车位检测方法的流程示意图；
图2为本发明实施例提供的又一种车位检测方法的流程示意图；
图3为本发明实施例提供的一种网络结构示意图；
图4为地上停车场原始图像；
图5为现有技术的地上停车场车位检测结果示意图；
图6为本发明实施例提供的地上停车场车位检测结果示意图；
图7为地下停车场原始图像；
图8为现有技术的地下停车场车位检测结果示意图；
图9为本发明实施例提供的地下停车场车位检测结果示意图；
图10为本发明实施例提供的一种车位检测装置的结构框图；
图11为本发明实施例提供的一种车位检测设备的结构框图。
具体实施方式
下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
图1为本发明实施例提供的一种车位检测方法的流程示意图，该方法可以由车位检测装置执行，其中该装置可由软件和/或硬件实现，一般可集成在车位检测设备中。其中，该车位检测设备可以集成于车辆中，也可以是具备与车辆进行通信的能力的设备，如服务器等，具体不做限定。如图1所示，该方法包括：
步骤101、将待检测图像输入至预设车位检测模型，其中，所述预设车位检测模型通过对基于无锚框的预设检测模型进行训练得到，所述预设检测模型包括骨干网络和预测网络，所述预测网络包括车位框属性分支和车位入口点分支。
本发明实施例中，待检测图像可以包括通过车载图像采集装置获取的采集图像，还可以包括对采集图像进行进一步处理后得到的图像。示例性的，车辆上可以配置有车载鱼眼镜头，具体可以是四路超大广角鱼眼镜头，利用车载鱼眼镜头可以对车辆所处停车场的真实情况进行图像采集，得到采集图像，采用预设图像处理算法对采集图像进行处理，如进行畸变矫正以及拼接等，得到环视拼接图，也可称为全景式监控影像系统（Around ViewMonitor，AVM）图像。
相关技术中，深度神经网络的车位检测算法存在准确性与实时性的矛盾，一般的，准确性高的算法因为其网络大，卷积层数多，产生的特征多，所以所需要的时间往往很长；而实时性较好的神经网络，则因为其网络层数少，速度在一定程度上得到提升，但是准确度却特别低。此外，相关技术中对于车位检测多采用分割方法，在图像分割中，对图像中的每个像素进行标注，也即分割模型试图通过将图像的所有像素分类成有意义的对象类别来进行像素级分类，在实时性上难以满足实际需要；除分割方法以外，还存在另一种基于锚框（Anchor Base）的车位目标检测算法，该方法需要预设锚框，依然需要较多耗时和较高的算力。
目前，卷积神经网络（Convolutional Neural Networks，CNN）在图像分类和目标检测等方面取得了巨大的成就和广泛的应用，其多层结构能自动学习多个层次的特征。较浅的卷积层感知域较小，能够学习到一些局部区域的特征，而较深的卷积层具有较大的感知域，能够学习到更加抽象一些的特征。这些抽象特征对分类很有帮助，可以很好地判断出一幅图像中包含什么类别的物体，但是因为丢失了一些物体的细节，不能很好地给出物体的具体轮廓，指出每个像素具体属于哪个物体，因此做到精确的分割就很有难度。CNN缺点也很明显：一是存储开销很大，例如对每个像素使用的图像块的大小为15x15，则所需的存储空间为原来图像的225倍；二是计算效率低下，相邻的像素块基本上是重复的，针对每个像素块逐个计算卷积，这种计算也有很大程度上的重复；三是像素块的大小限制了感知区域的大小，通常像素块的大小比整幅图像的大小小很多，只能提取一些局部的特征，从而导致分类的性能受到限制。
全卷积网络（Fully Convolutional Networks，FCN）将传统CNN中的全连接层转化成一个个的卷积层，使得FCN有两大明显的优点：一是可以接受任意大小的输入图像，而不用要求所有的训练图像和测试图像具有同样的尺寸；二是更加高效，因为避免了由于使用像素块而带来的重复存储和计算卷积的问题。但是同时FCN的缺点也比较明显：一是得到的结果还是不够精细，上采样的结果还是比较模糊和平滑，对图像中的细节不敏感；二是对各个像素进行分类，没有充分考虑像素与像素之间的关系，忽略了在通常的基于像素分类的分割方法中使用的空间规整步骤，缺乏空间一致性。
本发明实施例中，发明人根据FCN结构的启发，认为全卷积网络结构作为骨干网络能够增加算法对车位的检测精度，在研究中，发明人发现Anchor-free的目标检测算法有更大更灵活的解空间，可以摆脱使用anchor而带来的计算量增加，从而可以使得检测更加实时和高精度。
本发明实施例中，用于车位检测的预设车位检测模型可以通过对基于无锚框（Anchor-free）的深度学习模型（预设检测模型）进行训练得到，该模型不需要预设锚框，可以对不同尺度的特征图的关键点等（如车位中心点和宽高）进行回归，可以有效提高检测速度，极大的减少耗时和所需算力。
本发明实施例中，预设检测模型包括骨干网络和预测网络。其中，骨干网络主要用于特征提取，也可称为特征提取网络，骨干网络的网络结构具体不做限定，可以是残差网络（ResNets），例如ResNet50。预测网络包括车位框属性分支和车位入口点分支。其中，车位框属性分支主要用于对车位框属性进行预测，车位框属性例如可包括车位中心点、车位宽高以及车位旋转角度等；车位入口点分支主要用于对车位框的两个入口点（又称入口角点）进行预测。
步骤102、根据预设车位检测模型输出的车位框属性信息确定车位框位置，以及根据预设车位检测模型输出的两个车位入口点的位置信息确定车位入口边位置。
示例性的，根据模型输出的车位框属性信息，如车位中心点、车位宽高以及车位旋转角度等，可以确定待检测图像中包含的各个车位框的位置。模型输出的两个车位入口点的位置信息具体可以是各车位分别对应的两个入口点的位置信息（如坐标），通过两个入口点坐标的连线可以确定车位入口边位置，也即，当检测到多个车位时，输出的车位入口点的总数为车位总数的2倍。在自动泊车过程中，车位入口边是重要的参考信息，本发明实施例中的预设车位检测模型中采用单独的预测分支对入口点进行预测，有利于提高车位检测结果的精度。
步骤103、根据车位框位置和车位入口边位置确定车位检测结果。
示例性的，结合车位框位置和车位入口边位置来确定车位检测结果，可以更加全面准确地表征待检测图像中包含的各个车位，为自动泊车提供实时精准的参考依据。其中，车位检测结果具体可以包括待检测图像中包含的各个车位分别对应的四边形边框以及对应的入口边在待检测图像中的相对位置。可选的，可以对车位检测结果进行可视化输出，具体可以是在车辆显示屏中进行显示。
本发明实施例中提供的车位检测方法，将待检测图像输入至基于无锚框的预设车位检测模型，其中，预设车位检测模型通过对基于无锚框的预设检测模型进行训练得到，预设检测模型中包括骨干网络和预测网络，预测网络包括车位框属性分支和车位入口点分支，根据预设车位检测模型输出的车位框属性信息确定车位框位置，以及根据预设车位检测模型输出的两个车位入口点的位置信息确定车位入口边位置，根据车位框位置和车位入口边位置确定车位检测结果。通过采用上述技术方案，采用基于无锚框的预设检测模型进行训练得到预设车位检测模型，保证检测效率，模型中设置了包含车位入口点分支的预测网络，利用该分支可以对车位入口点进行学习，从而准确地输出待检测图像中车位的入口点位置，根据车位框位置和由入口点位置确定的车位入口边位置，可以更加精准地表征车位实际位置，因此，该方案能够很好地兼顾检测精度和检测效率，更加实时有效地输出准确车位检测结果，有利于提升车辆泊车效果。
在一些实施例中，所述预测网络还包括第一偏移量分支和/或第二偏移量分支，所述第一偏移量分支用于预测车位入口点自身偏移量，所述第二偏移量分支用于预测车位入口点相对于车位中心点偏移量。这样设置的好处在于，可以在模型训练阶段对车位入口点的偏移量进行学习，有利于更加准确地学习车位入口点。示例性的，对于输入至模型中的图像，一般会进行缩放，缩放后的图像尺寸发生变化，如缩放尺度为R，则骨干网络输出的特征图（feature map）的空间分辨率变为原来输入图像的R分之一，相当于输出特征图上一个像素点对应原始图像的RxR的区域，这会带来较大的误差，因此可以利用第一偏移量分支来学习车位入口点自身偏移量，有利于更加准确地学习车位入口点。此外，为了防止入口点自身学习效果不够好，可以增加对于车位中心点的偏移量的学习，也即增加第二偏移量分支，从而更加准确地学习车位入口点。
在一些实施例中，所述车位框属性分支包括车位中心点分支、车位中心点偏移量分支、车位宽高分支以及车位旋转角度分支。这样设置的好处在于，通过设置上述预测分支，可以快速准确地对车位框属性进行学习，有利于模型高效输出准确的车位框属性信息。
在一些实施例中，所述骨干网络中包含第一预设数量的卷积层和第二预设数量的全连接层，所述第一预设数量的卷积层中包括第三预设数量的第一卷积层和第四预设数量的残差块，所述残差块包括第五预设数量的第二卷积层和第六预设数量的第三卷积层。这样设置的好处在于，可以更加合理地设置骨干网络的网络结构。
可选的，第一预设数量为49，第二预设数量为1，第三预设数量为1，第一卷积层为7x7的卷积层，第四预设数量为4，第五预设数量为2，第六预设数量为1，第二卷积层为1x1的卷积层，第三卷积层为3x3的卷积层。本发明实施例中，在常规无锚框网络结构基础上缩减卷积网络层数，骨干网络采用残差块堆叠方式，每个残差块由1x1与3x3的卷积层组合而成，将靠前若干层的某一层数据输出直接跳过多层引入到后面输出层的输入部分，可以有效增强网络的实时性。
在一些实施例中，所述骨干网络的激活函数为线性整流（Rectified LinearUnit，ReLU）函数，所述ReLU函数的最大输出值为预设数值。ReLU函数又称修正线性单元，可以更加有效率的梯度下降以及反向传播。本发明实施例中，为了解决全卷积结构对图像细节不敏感，难以得到精细结果和缺乏空间一致性的两大缺点，相比于常规的无锚框网络结构，在骨干网络中将ReLU作为新的激活函数，并限制ReLU的最大输出值，这样使得整个特征提取网络能够更早的提取到稀疏特征，并且可以防止数据爆炸，增强浮点数的小数的表达能力，更有利于日后部署在嵌入式设备上，其中，预设数值例如可以是8。
在一些实施例中，所述预设检测模型中还包括反卷积网络，所述骨干网络、所述反卷积网络和所述预测网络依次相连，其中，所述反卷积网络包括第七预设数量的第四卷积层和所述第七预设数量的转置卷积层，所述第四卷积层和所述转置卷积层一一相扣。这样设置的好处在于，利用反卷积网络对特征图进行上采样，使得特征图变得平滑，噪声也大大降低，更有利于恢复物体的形状细节，提高车位检测精度。可选的，第七预设数量为3，第四卷积层为3x3的卷积层，转置卷积层为4x4的转置卷积。
本发明实施例中，车位入口点分支、第一偏移量分支、第二偏移量分支以及车位旋转角度分支为针对车位检测新增的预测分支，针对这4个分支可以设计创建分别对应的损失函数。
可选的，所述车位入口点分支对应的第一损失函数通过以下表达式表示：
Figure DEST_PATH_IMAGE001
其中，
Figure 936321DEST_PATH_IMAGE002
表示第一损失函数的输出，
Figure 80864DEST_PATH_IMAGE003
表示图像关键点的数量，
Figure 286717DEST_PATH_IMAGE004
和
Figure 403578DEST_PATH_IMAGE005
表示超参数，
Figure 567843DEST_PATH_IMAGE006
表示高斯分布的得分，
Figure 12731DEST_PATH_IMAGE007
表示预测值。
示例性的，图像关键点具体可以包括车位入口点。在y=1时，对于易分类样本来说， 预测值
Figure 913953DEST_PATH_IMAGE007
接近于1，
Figure 26265DEST_PATH_IMAGE008
的值就会很小，这样损失（Loss）很小，可以起到矫正的作用，对 于难分类样本来说，预测值
Figure 95852DEST_PATH_IMAGE007
接近于0，
Figure 418249DEST_PATH_IMAGE008
相对比较大，这样相当于加大了其训练的 比重；在其他情况时，为了防止预测值
Figure 231485DEST_PATH_IMAGE007
过高度接近1，所以可以用
Figure 322937DEST_PATH_IMAGE009
来惩罚损失，而
Figure 563426DEST_PATH_IMAGE010
这个参数距离中心越近，其值越小，这个权重可以用来减轻惩罚力度。可选的，
Figure 514064DEST_PATH_IMAGE004
设 置为2，
Figure 130991DEST_PATH_IMAGE005
设置为4。
可选的，所述第一偏移量分支和所述第一偏移量分支对应的第二损失函数通过以下表达式表示：
Figure 76950DEST_PATH_IMAGE011
其中，
Figure 753919DEST_PATH_IMAGE012
表示第二损失函数的输出，
Figure 926274DEST_PATH_IMAGE003
表示图像关键点的数量，
Figure 438902DEST_PATH_IMAGE013
表示预测的 偏移值，P表示车位入口点坐标，R表示下采样倍数，
Figure 645892DEST_PATH_IMAGE014
表示偏移值，
Figure 228183DEST_PATH_IMAGE015
表示缩放后入口点 的近似整数坐标。
以第一偏移量分支为例，假设图片实际中心点P为(125，63)，图片的尺寸为 512x512，缩放尺度R=4，因此缩放后的128x128尺寸下坐标为
Figure 746889DEST_PATH_IMAGE016
(31.25，15.75)，相对于整数 坐标
Figure 705618DEST_PATH_IMAGE015
(31，15)的偏移值即为(0.25，0.75)，即
Figure 767115DEST_PATH_IMAGE014
。由于骨干网络输出的feature map的 空间分辨率变为原来输入图像的四分之一，相当于输出feature map上一个像素点对应原 始图像的4x4的区域，这会带来较大的误差，因此引入了偏移量的损失值。
对于第二偏移量分支，对应的损失函数与第一偏移量分支一致，在模型训练阶段学习偏移量时的真值不同，也即P不同。
所述车位旋转角度分支对应的第三损失函数通过以下表达式表示：
Figure 910520DEST_PATH_IMAGE017
其中，
Figure 791889DEST_PATH_IMAGE018
表示第三损失函数的输出，是对于车位旋转角度theta的预测，
Figure DEST_PATH_IMAGE019
，
Figure 882204DEST_PATH_IMAGE020
表示真值，
Figure 798208DEST_PATH_IMAGE021
表示预测值，
Figure 987881DEST_PATH_IMAGE022
，
Figure 982644DEST_PATH_IMAGE023
表示车位的宽，
Figure 283175DEST_PATH_IMAGE024
表示车位的高，
Figure 53685DEST_PATH_IMAGE025
表示第一预设值，
Figure 273314DEST_PATH_IMAGE026
表示第二预设值，
Figure 394853DEST_PATH_IMAGE027
表示第三预设值。
可选的，第一预设值为0.5，第二预设值为4，第三预设值为100。
示例性的，第三损失函数设计的思路是使用光滑（smooth）L1损失函数对加权后的旋转角度误差的正弦值进行学习，这样设置的目的是想让Loss对于离群点更加鲁棒，相比于L2损失函数，其对离群点（指的是距离中心较远的点）和异常值不敏感，可控制梯度的量级，使训练时不容易跑飞。
图2为本发明实施例提供的又一种车位检测方法的流程示意图，该方法在上述各可选实施例基础上进行优化，具体的，该方法包括如下步骤：
步骤201、获取数据集。
示例性的，为了使得预设车位检测模型可以具备好的适应性，在多种停车场场景下进行样本图像的采集，如可以选择多变的停车场类型和/或多种的车位状况，停车场类型如地上停车场和地下停车场等，多种的车位状况如不同光照情况或不同天气等。具体的，可以使用车载四路超大广角鱼眼镜头对各个停车场的真实情况进行采集图像，对所拍摄图像进行畸变矫正（如去噪和拉伸等）、剪裁以及拼接等处理，得到车位图像。随后，在车位图像基础上进行标注，得到数据集。
步骤202、构建预设检测模型。
示例性的，预设检测模型包括骨干网络、反卷积网络和预测网络。图3为本发明实施例提供的一种网络结构示意图，如图3所示，骨干网络采用由49个卷积层与1个全连接层构成，其中，该卷积层包含1个7x7的卷积层和4个残差块，每个残差块由1x1与3x3的卷积层组合而成。在骨干网络中将Relu8作为新的激活函数。在骨干网络后面是反卷积网络，反卷积网络由3个3x3的卷积层与3个4x4的转置卷积一一相扣。反卷积网络后面是预测网络，预测网络由7个分支组成，分别是中心点热力图（hm）（车位中心点分支）、预测目标的中心点偏移量（offset）（车位中心点偏移量分支）、目标宽高（w，h）（车位宽高分支）、车位入口点热力图（hp）（车位入口点分支）、车位入口点自身偏移量（hp_offset）（第一偏移量分支）、车位入口点相对目标中心点偏移量（hp_hm_offset）（第二偏移量分支）以及车位旋转角度（theta）（车位旋转角度分支）。为了拟合出车位检测的效果，设计了标定车位入口边的角点以及对不同车位进行检测的车位旋转角度theta，针对车位检测增加上述后4个分支，并分别设计了损失函数，以达到对车位进行精准检测的目的，使得整个网络能够很好的应用于各个类型的停车场，对各个种类的车位都有良好的检测精度。
步骤203、采用数据集对预设检测模型进行训练及验证，得到预设车位检测模型。
示例性的，将数据集按照依次分为训练集和测验集，训练集占M%，测试集占1- M%，其中，50<M<100，例如80。然后将训练集送到预设检测模型网络中学习，直到达到预设训练截止条件，得到初始车位检测模型。预设训练截止条件例如可以是模型的参数稳定为一个稳定阈值，或迭代次数达到预设次数阈值等。随后，利用验证集对初始车位检测模型进行验证，检验模型的准确率以及速率，最后得到预设车位检测模型。
步骤204、将待检测图像输入至预设车位检测模型。
步骤205、根据预设车位检测模型输出的车位框属性信息确定车位框位置，以及根据预设车位检测模型输出的两个车位入口点的位置信息确定车位入口边位置。
步骤206、根据车位框位置和车位入口边位置确定车位检测结果。
本发明实施例提供的车位检测方法，提出了一个新型的深度神经车位检测的网络模型，解决了目前车位检测方法实时性与精度不足，以及难以应对多变的停车场场景和不同车位类型的问题。此外，预设检测模型也可以增加部分结构满足实际应用要求，适应性强。
为验证本发明实施例技术方案的有效性，下面结合具体实验结果进行说明。首先以地上停车场景为例。图4为地上停车场原始图像，图5为现有技术的地上停车场车位检测结果示意图，图6为本发明实施例提供的地上停车场车位检测结果示意图。如图5所示，利用现有技术进行车位检测存在严重的车位漏检问题（左下角车位未检出）以及车位框收敛效果欠佳（右下角车位检测边框与实际车位线不贴合）。而如图6所示，利用本发明实施例的检测方法检测的车位框效果清晰明朗，与实际车位线贴合程度高，没有漏检，且入口边清晰准确，由此可以证实本发明实施例提供的车位检测方法在实际地上停车场场景中有着比较好的车位检测准确性。此外，在实验过程中，本发明实施例提供的车位检测方法也比现有技术中的车位检测方法更快输出检测结果，可以证实其具有更高的检测效率以及更好的实时性。
以地下停车场景为例。图7为地下停车场原始图像，图8为现有技术的地下停车场车位检测结果示意图，图9为本发明实施例提供的地下停车场车位检测结果示意图。如图8所示，利用现有技术进行车位检测虽未出现车位漏检问题，但车位框收敛效果较差，车位框存在严重偏移的情况（右下角两个车位中的左边车位的检测边框与实际车位线存在严重的偏离）。而如图9所示，利用本发明实施例的检测方法检测的车位框效果清晰明朗，与实际车位线贴合程度高，没有漏检，且入口边清晰准确，由此可以证实本发明实施例提供的车位检测方法在实际地下停车场场景中也有着比较好的车位检测准确性。此外，在实验过程中，本发明实施例提供的车位检测方法也比现有技术中的车位检测方法更快输出检测结果，可以证实其具有更高的检测效率以及更好的实时性。
需要说明的是，上述示意图中的p表示中心点，右侧数值表示中心点偏移量，部分车位检测框内存在显示不清晰或不完整的情况，但对检测结果的展示不构成影响，可忽略不计。
图10为本发明实施例提供的一种车位检测装置的结构框图，该装置可由软件和/或硬件实现，一般可集成在车位检测设备中，可通过执行车位检测方法来进行车位检测。如图10所示，该装置包括：
图像输入模块1001，用于将待检测图像输入至预设车位检测模型，其中，所述预设车位检测模型通过对基于无锚框的预设检测模型进行训练得到，所述预设检测模型中包括骨干网络和预测网络，所述预测网络包括车位框属性分支和车位入口点分支；
位置确定模块1002，用于根据所述预设车位检测模型输出的车位框属性信息确定车位框位置，以及根据所述预设车位检测模型输出的两个车位入口点的位置信息确定车位入口边位置；
检测结果确定模块1003，用于根据所述车位框位置和所述车位入口边位置确定车位检测结果。
本发明实施例中提供的车位检测装置，采用基于无锚框的预设检测模型进行训练得到预设车位检测模型，保证检测效率，模型中设置了包含车位入口点分支的预测网络，利用该分支可以对车位入口点进行学习，从而准确地输出待检测图像中车位的入口点位置，根据车位框位置和由入口点位置确定的车位入口边位置，可以更加精准地表征车位实际位置，因此，该方案能够很好地兼顾检测精度和检测效率，更加实时有效地输出准确车位检测结果，有利于提升车辆自动泊车效果。
可选的，所述预测网络还包括第一偏移量分支和/或第二偏移量分支，所述第一偏移量分支用于预测车位入口点自身偏移量，所述第二偏移量分支用于预测车位入口点相对于车位中心点偏移量。
可选的，所述车位框属性分支包括车位中心点分支、车位中心点偏移量分支、车位宽高分支以及车位旋转角度分支。
可选的，所述骨干网络中包含第一预设数量的卷积层和第二预设数量的全连接层，所述第一预设数量的卷积层中包括第三预设数量的第一卷积层和第四预设数量的残差块，所述残差块包括第五预设数量的第二卷积层和第六预设数量的第三卷积层。
可选的，所述骨干网络的激活函数为线性整流ReLU函数，所述ReLU函数的最大输出值为预设数值。
可选的，所述预设检测模型中还包括反卷积网络，所述骨干网络、所述反卷积网络和所述预测网络依次相连，其中，所述反卷积网络包括第七预设数量的第四卷积层和所述第七预设数量的转置卷积层，所述第四卷积层和所述转置卷积层一一相扣。
可选的，所述车位入口点分支对应的第一损失函数通过以下表达式表示：
Figure 92551DEST_PATH_IMAGE028
其中，
Figure 983147DEST_PATH_IMAGE002
表示第一损失函数的输出，
Figure 514622DEST_PATH_IMAGE003
表示图像关键点的数量，
Figure 716933DEST_PATH_IMAGE004
和表示超参数，
Figure 624846DEST_PATH_IMAGE006
表示高斯分布的得分，
Figure 369949DEST_PATH_IMAGE007
表示预测值。
可选的，所述第一偏移量分支和所述第二偏移量分支对应的第二损失函数通过以下表达式表示：
Figure 429915DEST_PATH_IMAGE029
其中，
Figure 260468DEST_PATH_IMAGE012
表示第二损失函数的输出，
Figure 175334DEST_PATH_IMAGE003
表示图像关键点的数量，
Figure 165156DEST_PATH_IMAGE013
表示预测的 偏移值，P表示车位入口点坐标，R表示下采样倍数，
Figure 38434DEST_PATH_IMAGE014
表示偏移值，
Figure 90704DEST_PATH_IMAGE015
表示缩放后入口点 的近似整数坐标。
可选的，所述车位旋转角度分支对应的第三损失函数通过以下表达式表示：
Figure 199474DEST_PATH_IMAGE030
其中，
Figure 919168DEST_PATH_IMAGE018
表示第三损失函数的输出，是对于车位旋转角度theta的预测，
Figure 697768DEST_PATH_IMAGE019
，
Figure 627547DEST_PATH_IMAGE020
表示真值，
Figure 415375DEST_PATH_IMAGE021
表示预测值，
Figure 723996DEST_PATH_IMAGE022
，
Figure 565175DEST_PATH_IMAGE023
表示车位的宽，
Figure 592037DEST_PATH_IMAGE024
表示车位的高，
Figure 917976DEST_PATH_IMAGE025
表示第一预设 值，
Figure 471317DEST_PATH_IMAGE026
表示第二预设值，
Figure 591720DEST_PATH_IMAGE027
表示第三预设值。
本发明实施例提供了一种车位检测设备，该车位检测设备中可集成本发明实施例提供的车位检测装置。图11为本发明实施例提供的一种车位检测设备的结构框图。车位检测设备1100可以包括：存储器1101，处理器1102及存储在存储器1101上并可在处理器运行的计算机程序，所述处理器1102执行所述计算机程序时实现如本发明实施例所述的车位检测方法。
本发明实施例提供的车位检测设备，采用基于无锚框的预设检测模型进行训练得到预设车位检测模型，保证检测效率，模型中设置了包含车位入口点分支的预测网络，利用该分支可以对车位入口点进行学习，从而准确地输出待检测图像中车位的入口点位置，根据车位框位置和由入口点位置确定的车位入口边位置，可以更加精准地表征车位实际位置，因此，该方案能够很好地兼顾检测精度和检测效率，更加实时有效地输出准确车位检测结果，有利于提升车辆自动泊车效果。
本发明实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行车位检测方法，该方法包括：
将待检测图像输入至预设车位检测模型，其中，所述预设车位检测模型通过对基于无锚框的预设检测模型进行训练得到，所述预设检测模型包括骨干网络和预测网络，所述预测网络包括车位框属性分支和车位入口点分支；
根据所述预设车位检测模型输出的车位框属性信息确定车位框位置，以及根据所述预设车位检测模型输出的两个车位入口点的位置信息确定车位入口边位置；
根据所述车位框位置和所述车位入口边位置确定车位检测结果。
存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDRRAM、SRAM、EDORAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的第一计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到第一计算机系统。第二计算机系统可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的车位检测操作，还可以执行本发明任意实施例所提供的车位检测方法中的相关操作。
上述实施例中提供的车位检测装置、设备及存储介质可执行本发明任意实施例所提供的车位检测方法，具备执行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的车位检测方法。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种车位检测方法，其特征在于，包括：
将待检测图像输入至预设车位检测模型，其中，所述预设车位检测模型通过对基于无锚框的预设检测模型进行训练得到，所述预设检测模型包括骨干网络和预测网络，所述预测网络包括车位框属性分支和车位入口点分支；
根据所述预设车位检测模型输出的车位框属性信息确定车位框位置，以及根据所述预设车位检测模型输出的两个车位入口点的位置信息确定车位入口边位置；
根据所述车位框位置和所述车位入口边位置确定车位检测结果。
2.根据权利要求1所述的车位检测方法，其特征在于，所述预测网络还包括第一偏移量分支和/或第二偏移量分支，所述第一偏移量分支用于预测车位入口点自身偏移量，所述第二偏移量分支用于预测车位入口点相对于车位中心点偏移量。
3.根据权利要求2所述的车位检测方法，其特征在于，所述车位框属性分支包括车位中心点分支、车位中心点偏移量分支、车位宽高分支以及车位旋转角度分支。
4.根据权利要求1-3任一所述的车位检测方法，其特征在于，所述骨干网络中包含第一预设数量的卷积层和第二预设数量的全连接层，所述第一预设数量的卷积层中包括第三预设数量的第一卷积层和第四预设数量的残差块，所述残差块包括第五预设数量的第二卷积层和第六预设数量的第三卷积层。
5.根据权利要求4所述的车位检测方法，其特征在于，所述骨干网络的激活函数为线性整流ReLU函数，所述ReLU函数的最大输出值为预设数值。
6.根据权利要求1所述的车位检测方法，其特征在于，所述预设检测模型中还包括反卷积网络，所述骨干网络、所述反卷积网络和所述预测网络依次相连，其中，所述反卷积网络包括第七预设数量的第四卷积层和所述第七预设数量转置卷积层，所述第四卷积层和所述转置卷积层一一相扣。
7.根据权利要求3所述的车位检测方法，其特征在于，
所述车位入口点分支对应的第一损失函数通过以下表达式表示：
Figure 344617DEST_PATH_IMAGE001
其中，
Figure 333302DEST_PATH_IMAGE002
表示第一损失函数的输出，
Figure 350936DEST_PATH_IMAGE003
表示图像关键点的数量，
Figure 173399DEST_PATH_IMAGE004
和
Figure 535372DEST_PATH_IMAGE005
表示超参数，
Figure 203114DEST_PATH_IMAGE006
表示 高斯分布的得分，
Figure 465468DEST_PATH_IMAGE007
表示预测值；
所述第一偏移量分支和所述第二偏移量分支对应的第二损失函数通过以下表达式表示：
Figure 458832DEST_PATH_IMAGE008
其中，
Figure 416424DEST_PATH_IMAGE009
表示第二损失函数的输出，
Figure 278069DEST_PATH_IMAGE003
表示图像关键点的数量，
Figure 270296DEST_PATH_IMAGE010
表示预测的偏移 值，P表示车位入口点坐标，R表示下采样倍数，
Figure 168982DEST_PATH_IMAGE011
表示偏移值，
Figure 4083DEST_PATH_IMAGE012
表示缩放后入口点的近 似整数坐标；
所述车位旋转角度分支对应的第三损失函数通过以下表达式表示：
Figure 279206DEST_PATH_IMAGE013
其中，
Figure 391519DEST_PATH_IMAGE014
表示第三损失函数的输出，是对于车位旋转角度theta的预测，
Figure 84275DEST_PATH_IMAGE015
，
Figure 282038DEST_PATH_IMAGE016
表示真值，
Figure 219907DEST_PATH_IMAGE017
表示预测值，
Figure 452305DEST_PATH_IMAGE018
，
Figure 427215DEST_PATH_IMAGE019
表示车位的宽，
Figure 502487DEST_PATH_IMAGE020
表示车位的高，
Figure 119413DEST_PATH_IMAGE021
表示第一预设 值，
Figure 940738DEST_PATH_IMAGE022
表示第二预设值，
Figure 476762DEST_PATH_IMAGE023
表示第三预设值。
8.一种车位检测装置，其特征在于，包括：
图像输入模块，用于将待检测图像输入至预设车位检测模型，其中，所述预设车位检测模型通过对基于无锚框的预设检测模型进行训练得到，所述预设检测模型中包括骨干网络和预测网络，所述预测网络包括车位框属性分支和车位入口点分支；
位置确定模块，用于根据所述预设车位检测模型输出的车位框属性信息确定车位框位置，以及根据所述预设车位检测模型输出的两个车位入口点的位置信息确定车位入口边位置；
检测结果确定模块，用于根据所述车位框位置和所述车位入口边位置确定车位检测结果。
9.一种车位检测设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-7任一项所述的车位检测方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7任一项所述的车位检测方法。
CN202111454995.5A 2021-12-02 2021-12-02 车位检测方法、装置、设备及存储介质 Active CN113901961B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111454995.5A CN113901961B (zh) 2021-12-02 2021-12-02 车位检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111454995.5A CN113901961B (zh) 2021-12-02 2021-12-02 车位检测方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113901961A true CN113901961A (zh) 2022-01-07
CN113901961B CN113901961B (zh) 2022-03-25

Family

ID=79195238

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111454995.5A Active CN113901961B (zh) 2021-12-02 2021-12-02 车位检测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113901961B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114821540A (zh) * 2022-05-27 2022-07-29 禾多科技（北京）有限公司 车位检测方法、装置、电子设备和计算机可读介质
CN115082893A (zh) * 2022-06-07 2022-09-20 安徽蔚来智驾科技有限公司 车位检测方法、有效性判断方法、泊车方法、设备和介质
WO2024109079A1 (zh) * 2022-11-22 2024-05-30 华为技术有限公司 一种车位开口检测方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110598512A (zh) * 2018-06-13 2019-12-20 杭州海康威视数字技术股份有限公司 一种车位检测方法及装置
CN110969655A (zh) * 2019-10-24 2020-04-07 百度在线网络技术（北京）有限公司 用于检测车位的方法、装置、设备、存储介质以及车辆
CN111260955A (zh) * 2018-12-03 2020-06-09 初速度（苏州）科技有限公司 采用停车位框线、端点的停车位检测系统及方法
CN111814889A (zh) * 2020-07-14 2020-10-23 大连理工大学人工智能大连研究院 一种使用无锚框模块和增强分类器的单阶段目标检测方法
CN113468968A (zh) * 2021-06-02 2021-10-01 中国地质大学（武汉） 一种基于无锚框的遥感图像旋转目标检测方法
CN113537105A (zh) * 2021-07-23 2021-10-22 北京经纬恒润科技股份有限公司 一种车位检测方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110598512A (zh) * 2018-06-13 2019-12-20 杭州海康威视数字技术股份有限公司 一种车位检测方法及装置
CN111260955A (zh) * 2018-12-03 2020-06-09 初速度（苏州）科技有限公司 采用停车位框线、端点的停车位检测系统及方法
CN110969655A (zh) * 2019-10-24 2020-04-07 百度在线网络技术（北京）有限公司 用于检测车位的方法、装置、设备、存储介质以及车辆
CN111814889A (zh) * 2020-07-14 2020-10-23 大连理工大学人工智能大连研究院 一种使用无锚框模块和增强分类器的单阶段目标检测方法
CN113468968A (zh) * 2021-06-02 2021-10-01 中国地质大学（武汉） 一种基于无锚框的遥感图像旋转目标检测方法
CN113537105A (zh) * 2021-07-23 2021-10-22 北京经纬恒润科技股份有限公司 一种车位检测方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114821540A (zh) * 2022-05-27 2022-07-29 禾多科技（北京）有限公司 车位检测方法、装置、电子设备和计算机可读介质
CN114821540B (zh) * 2022-05-27 2023-03-24 禾多科技（北京）有限公司 车位检测方法、装置、电子设备和计算机可读介质
CN115082893A (zh) * 2022-06-07 2022-09-20 安徽蔚来智驾科技有限公司 车位检测方法、有效性判断方法、泊车方法、设备和介质
WO2024109079A1 (zh) * 2022-11-22 2024-05-30 华为技术有限公司 一种车位开口检测方法及装置

Also Published As

Publication number Publication date
CN113901961B (zh) 2022-03-25

Similar Documents

Publication Publication Date Title
CN113901961B (zh) 车位检测方法、装置、设备及存储介质
CN112330601B (zh) 一种基于鱼眼相机的停车检测方法、装置、设备及介质
CN113076871B (zh) 一种基于目标遮挡补偿的鱼群自动检测方法
CN111376895B (zh) 一种环视泊车感知方法、装置、自动泊车系统和车辆
JP7246104B2 (ja) テキスト行識別に基づくナンバープレート識別方法
CN106778659B (zh) 一种车牌识别方法及装置
CN113947766B (zh) 一种基于卷积神经网络的实时车牌检测方法
CN113808098A (zh) 道路病害识别方法、装置、电子设备及可读存储介质
CN103955888A (zh) 一种基于sift的高清视频图像拼接方法及装置
CN113537105A (zh) 一种车位检测方法及装置
CN113850136A (zh) 基于yolov5与BCNN的车辆朝向识别方法及系统
CN112101205A (zh) 基于多任务网络的训练方法和装置
CN107948586A (zh) 基于视频拼接的跨区域运动目标检测方法和装置
CN111914596B (zh) 车道线检测方法、装置、系统及存储介质
CN115965934A (zh) 一种停车位检测方法及装置
CN111105351B (zh) 一种视频序列影像拼接方法及装置
Bu et al. A UAV photography–based detection method for defective road marking
CN115619623A (zh) 一种基于移动最小二乘变换的平行鱼眼相机图像拼接方法
CN115147644A (zh) 图像描述模型的训练和描述方法、系统、设备及存储介质
CN111881914B (zh) 一种基于自学习阈值的车牌字符分割方法及系统
CN115565155A (zh) 神经网络模型的训练方法、车辆视图的生成方法和车辆
CN113569752B (zh) 车道线结构识别方法、装置、设备及介质
Kiran et al. Automatic hump detection and 3D view generation from a single road image
CN116385477A (zh) 一种基于图像分割的杆塔图像配准方法
CN115512302A (zh) 基于改进YOLOX-s模型的车辆检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Parking space detection method, device, equipment and storage medium

Effective date of registration: 20230228

Granted publication date: 20220325

Pledgee: Bank of Shanghai Co.,Ltd. Beijing Branch

Pledgor: HOLOMATIC TECHNOLOGY (BEIJING) Co.,Ltd.

Registration number: Y2023980033668

CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 201, 202, 301, No. 56-4 Fenghuang South Road, Huadu District, Guangzhou City, Guangdong Province, 510806

Patentee after: Heduo Technology (Guangzhou) Co.,Ltd.

Address before: 100095 101-15, 3rd floor, building 9, yard 55, zique Road, Haidian District, Beijing

Patentee before: HOLOMATIC TECHNOLOGY (BEIJING) Co.,Ltd.