CN113470110A - 测距方法和装置 - Google Patents
测距方法和装置 Download PDFInfo
- Publication number
- CN113470110A CN113470110A CN202010235920.7A CN202010235920A CN113470110A CN 113470110 A CN113470110 A CN 113470110A CN 202010235920 A CN202010235920 A CN 202010235920A CN 113470110 A CN113470110 A CN 113470110A
- Authority
- CN
- China
- Prior art keywords
- frame
- information
- target
- dimensional
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000013507 mapping Methods 0.000 claims abstract description 27
- 238000003860 storage Methods 0.000 claims abstract description 12
- 238000012549 training Methods 0.000 claims description 29
- 238000013136 deep learning model Methods 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 15
- 238000003062 neural network model Methods 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 abstract description 12
- 230000000694 effects Effects 0.000 abstract description 4
- 238000004422 calculation algorithm Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000009432 framing Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Abstract
本公开提供一种测距方法、装置、车辆、电子设备、存储介质，包括：采集目标对象对应的预测图像，根据深度学习模型生成与预测图像对应的目标类别信息和目标边框信息，基于类别信息和三维空间尺寸信息的映射关系确定与目标类别信息对应的目标三维空间尺寸信息，生成与目标三维空间尺寸信息对应的第二边框，根据第一边框、像素坐标、第二边框、世界坐标构建二维‑三维点对，对点对进行解析，以便生成并显示被测对象与目标对象之间的位置信息，通过确定第一边框、像素坐标、第二边框和世界坐标，并基于这四个维度的信息构建点对，从而避免现有技术中特征点选取过程复杂等问题，进而实现了节约资源，提高效率的技术效果。
Description
技术领域
本公开涉及计算机视觉技术领域，尤其涉及一种测距方法、装置、车辆、电子设备和存储介质。
背景技术
随着公路交通特别是高速公路系统的发展，交通事故率也呈现上升趋势，交通安全越来越成为人们关注的焦点。而将计算机视觉技术应用在车辆监测中，对车辆和行人等的安全性的提高产生了重大的作用。
在现有技术中，当前车辆可利用摄像机进行目标对象(例如车辆和行人等)的测距。如当前车辆通过摄像机对行车道内的前方车辆的图像进行采集，并从图像中的前方车辆上选取二维特征点，以便构建点对，并对点对进行解析，从而得到当前车辆与前方车辆距离。
然而发明人在实现本公开的过程中，发现至少存在如下问题：由于图像中的前方车辆对应的二维特征点众多，二维特征点的选取较为繁琐，且二维特征点和三维特征点的位置关系不能较好对应，即点对之间的对应关系可能存在偏差。
发明内容
本公开提供一种测距方法、装置、车辆、电子设备、存储介质，用以解决现有技术中的问题。
一方面，本公开实施例提供一种测距方法，所述方法包括：
采集目标对象对应的预测图像；
根据预设的深度学习模型生成与所述预测图像对应的目标类别信息和目标边框信息，其中，所述目标边框信息包括第一边框和与所述第一边框对应的像素坐标；
基于类别信息和三维空间尺寸信息的映射关系确定与所述目标类别信息对应的目标三维空间尺寸信息；
生成与所述目标三维空间尺寸信息对应的第二边框信息，其中，所述第二边框信息包括第二边框和与所述第二边框对应的世界坐标；
根据所述第一边框、所述像素坐标、所述第二边框和所述世界坐标构建二维-三维点对；
对所述点对进行解析，以便生成并显示被测对象与所述目标对象之间的位置信息。
在一些实施例中，响应于所述第一边框和/或所述第二边框为长方形框，所述方法还包括：
选取所述长方形框对应的最长的边；
根据所述最长的边将所述长方形框转换为正方形框。
在一些实施例中，所述根据所述第一边框、所述像素坐标、所述第二边框和所述世界坐标构建二维-三维点对包括：
选取所述第一边框上的任一角点为第一原点；
根据所述第一原点和所述像素坐标生成二维特征点；
根据所述第一原点在所述第二边框上选取第二原点；
根据所述第二原点和所述世界坐标生成三维特征点；
根据所述二维特征点和所述三维特征点生成所述点对。
在一些实施例中，所述二维特征点为所述第一边框上的四个角点，所述三维特征点为所述第二边框上的四个角点。
在一些实施例中，在所述根据预设的深度学习模型生成与所述预测图像对应的目标类别信息和目标边框信息之前，所述方法还包括：
获取多个初始对象的各自的训练图像，以及与所述训练图像对应的图像坐标；
标注与各所述训练图像各自对应的初始类别信息和所述图像坐标；
根据预设的神经网络模型对所述初始类别信息和所述图像坐标进行训练，生成所述深度学习模型。
在一些实施例中，所述方法还包括：
获取每个所述初始对象的初始三维空间尺寸信息；
根据各所述初始三维空间尺寸信息和各所述初始类别信息构建所述映射关系。
另一个方面，本公开实施例还提供了一种测距装置，所述装置包括：
采集模块，用于采集目标对象对应的预测图像；
第一生成模块，用于根据预设的深度学习模型生成与所述预测图像对应的目标类别信息和目标边框信息，其中，所述目标边框信息包括第一边框和与所述第一边框对应的像素坐标；
确定模块，用于基于类别信息和三维空间尺寸信息的映射关系确定与所述目标类别信息对应的目标三维空间尺寸信息；
第二生成模块，用于生成与所述目标三维空间尺寸信息对应的第二边框信息，其中，所述第二边框信息包括第二边框和与所述第二边框对应的世界坐标；
第一构建模块，用于根据所述第一边框、所述像素坐标、所述第二边框和所述世界坐标构建二维-三维点对；
解析模块，用于对所述点对进行解析，以便生成并显示被测对象与所述目标对象之间的位置信息。
在一些实施例中，响应于所述第一边框和/或所述第二边框为长方形框，所述装置还包括：
选取模块，用于选取所述长方形框对应的最长的边；
转换模块，用于根据所述最长的边将所述长方形框转换为正方形框。
在一些实施例中，所述第一构建模块用于，选取所述第一边框上的任一角点为第一原点，根据所述第一原点和所述像素坐标生成二维特征点，根据所述第一原点在所述第二边框上选取第二原点，根据所述第二原点和所述世界坐标生成三维特征点，根据所述二维特征点和所述三维特征点生成所述点对。
在一些实施例中，所述二维特征点为所述第一边框上的四个角点，所述三维特征点为所述第二边框上的四个角点。
在一些实施例中，所述装置还包括：
第一获取模块，用于获取多个初始对象的各自的训练图像，以及与所述训练图像对应的图像坐标；
标注模块，用于标注与各所述训练图像各自对应的初始类别信息和所述图像坐标；
训练模块，用于根据预设的神经网络模型对所述初始类别信息和所述图像坐标进行训练，生成所述深度学习模型。
在一些实施例中，所述装置还包括：
第二获取模块，用于获取每个所述初始对象的初始三维空间尺寸信息；
第二构建模块，用于根据各所述初始三维空间尺寸信息和各所述初始类别信息构建所述映射关系。
另一个方面，本公开实施例还提供了一种车辆，所述车辆包括：
图像采集装置，用于采集目标对象对应的预测图像；
识别装置，用于根据预设的深度学习模型生成与所述预测图像对应的目标类别信息和目标边框信息，其中，所述目标边框信息包括第一边框和与所述第一边框对应的像素坐标；
处理装置，用于基于类别信息和三维空间尺寸信息的映射关系确定与所述目标类别信息对应的目标三维空间尺寸信息，生成与所述目标三维空间尺寸信息对应的第二边框信息，其中，所述第二边框信息包括第二边框和与所述第二边框对应的世界坐标，根据所述第一边框、所述像素坐标、所述第二边框和所述世界坐标构建二维-三维点对，对所述点对进行解析，以便生成车辆与所述目标对象之间的位置信息；
显示装置，用于显示所述位置信息。
在一些实施例中，响应于所述第一边框和/或所述第二边框为长方形框，所述处理装置还用于，选取所述长方形框对应的最长的边，根据所述最长的边将所述长方形框转换为正方形框。
在一些实施例中，所述处理装置还用于，选取所述第一边框上的任一角点为第一原点，根据所述第一原点和所述像素坐标生成二维特征点，根据所述第一原点在所述第二边框上选取第二原点，根据所述第二原点和所述世界坐标生成三维特征点，根据所述二维特征点和所述三维特征点生成所述点对。
在一些实施例中，所述二维特征点为所述第一边框上的四个角点，所述三维特征点为所述第二边框上的四个角点。
在一些实施例中，所述处理装置还用于，获取多个初始对象的各自的训练图像，以及与所述训练图像对应的图像坐标，标注与各所述训练图像各自对应的初始类别信息和所述图像坐标，根据预设的神经网络模型对所述初始类别信息和所述图像坐标进行训练，生成所述深度学习模型。
在一些实施例中，所述处理装置还用于，获取每个所述初始对象的初始三维空间尺寸信息，根据各所述初始三维空间尺寸信息和各所述初始类别信息构建所述映射关系。
在一些实施例中，所述图像采集装置设置于所述车辆的后视镜的背面。
另一个方面，本公开实施例还提供了一种电子设备，包括：存储器，处理器；
所述存储器用于存储所述处理器可执行指令的存储器；
其中，当执行所述存储器中的指令时，所述处理器被配置为实现如上任一实施例所述的方法。
另一个方面，本公开实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如上任一实施例所述的方法。
本公开提供一种测距方法、装置、车辆、电子设备、存储介质，包括：采集目标对象对应的预测图像，根据预设的深度学习模型生成与预测图像对应的目标类别信息和目标边框信息，其中，目标边框信息包括第一边框和与第一边框对应的像素坐标，基于类别信息和三维空间尺寸信息的映射关系确定与目标类别信息对应的目标三维空间尺寸信息，生成与目标三维空间尺寸信息对应的第二边框与信息，其中，第二边框信息包括第二边框和与第二边框对应的世界坐标，根据第一边框、像素坐标、第二边框和世界坐标构建二维-三维点对，对点对进行解析，以便生成并显示被测对象与目标对象之间的位置信息，通过确定第一边框、像素坐标、第二边框和世界坐标，基于这四个维度的信息构建点对，从而避免现有技术中从预测图像中选取二维特征点，并通过匹配的方式确定三维特征点，从而构建点对造成的特征点选取过程繁琐，计算量较大的问题，进而实现了节约资源，提高效率的技术效果，且尤其当将第一边框和/或第二边框，由长方形框转换为正方形框时，由于正方形框的面积大于长方形框的面积，则正方形框所包括的图像信息(如像素坐标等)多于长方形框所包括的图像信息(如像素坐标等)因此，可以提高姿解析算法PNP算法迭代的结果的精度，从而提高定位的精度。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1为本公开实施例的发明构思与现有技术的发明构思的对比示意图；
图2为本公开实施例的测距方法的流程示意图；
图3为本公开实施例的测距方法的应用场景的示意图；
图4为本公开实施例的根据第一边框、像素坐标、第二边框和世界坐标构建二维-三维点对的方法的流程示意图；
图5为本公开实施例的以红路灯的图像为例的生成点对的方法的示意图；
图6为本公开实施例的构建深度学习模型的方法的流程示意图；
图7为本公开实施例的测距装置的示意图；
图8为本公开另一实施例的测距装置的示意图；
图9为本公开另一实施例的测距装置的示意图；
图10为本公开实施例的车辆的示意图；
图11为本公开实施例的电子设备的结构示意图。
通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在现有技术中，结合图1中的1-1可知，若设置于车辆上的摄像机采集到的图像包括骑行者和自行车，则主要通过从骑行者和/或自行车上选取二维特征点，并通过匹配的方式确定与二维特征点对应的三维特征点，以便基于选取出的特征点(即选取出的二维特征点和三维特征点)构建点对，从而得到车辆与骑行者之间的距离。
然而，由于骑行者和自行车对应的点众多，从众多的点中选取二维特征点相对较为复杂和困难，且在匹配过程中，很容易造成二维特征点和三维特征点位置关系不能较好的对应的问题。而在现有技术中，主要的构思为通过对匹配的算法的更新实现二维特征点与三维特征点位置关系的对应。
而在本公开实施例中，发明人经过创造性的劳动，想到一种与现有技术完全不同的发明构思。如图1中的1-2，本公开的发明构思为从二维图像对应的边框上选取二维特征点，以降低选取二维特征点的复杂度，且同样通过从三维图像对应的边框上选取三维特征点，以实现二维特征点和三维特征点的位置关系的较好对应。且，通过基于边框选取特征点并构建点对，可以避免现有技术中寻找特征点，并匹配相应三维特征点的繁琐程度和困难程度，从而实现提高测距的效率和鲁棒性的技术效果。
下面以具体地实施例对本公开的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本公开的实施例进行描述。
一个方面，本公开实施例提供了一种测距方法。
请参阅图2，图2为本公开实施例的测距方法的流程示意图。
如图2所示，该方法包括：
S101：采集目标对象对应的预测图像。
其中，本公开实施例的执行主体可以为测距装置，测距装置可以为车辆，如可以为设置于车辆上的处理器，还可以为设置于车辆上的芯片，也可以为设置于车辆上的监控设备。
具体地，本公开实施例的执行主体可以为包括图像采集功能和数据处理功能的摄像装置；也可以为与车辆上设置的摄像装置连接的车载盒子，等等。
其中，目标对象包括但不限于人、红路灯和车辆。
在一些实施例中，若通过在车辆上设置摄像机，并由摄像机对目标对象对应的预测图像进行采集，则在S101之前，还可包括搭建定位平台的步骤，即对摄像机进行设置的步骤。
在一些实施例中，考虑到摄像机可能受到车辆外的环境的影响，如在雨雪天气摄像机受到雨水冲刷，导致部件受损等因素，将摄像机安装在车内；由于摄像机要采集车辆前的目标对象的预测图像，因此可以将摄像机安装在挡风玻璃附近；考虑到不影响驾驶员或乘客的视野，可以将摄像机安装在后视镜的背面。
在一些实施例中，可对摄像机进行标定。具体地，为了避免车辆的挡风玻璃的倾斜角和厚度不均匀对摄像机产生影响，可将标定板放在车辆外进行摄像机的标定。通过这样将车辆的挡风玻璃和摄像机作为整体，标定出摄像机内参与畸变参数
请参阅图3，本公开实施例的测距方法可应用于如图3所示的应用场景。
如图3所示，车辆100内设置有摄像机200，可通过摄像机200对人(包括骑行者、警察和小孩)、自行车、红路灯至指示牌的图像进行采集。
在一些实施例中，摄像机200可将采集到的图像传输至车载盒子，由车载盒子执行本公开实施例的测距方法，以便得到车辆100分别与人(包括骑行者、警察和小孩)、自行车、红路灯至指示牌之间的距离。
S102：根据预设的深度学习模型生成与预测图像对应的目标类别信息和目标边框信息，其中，目标边框信息可包括第一边框和与第一边框对应的像素坐标。
其中，深度学习模型为基于各图像和与各图像对应的类别信息训练而成的，后续将进行详细阐述，此处不再赘述。且，深度学习模型可对预测图像的目标类别信息进行识别。
也就是说，若将某图像输入至深度学习模型，则可输出与该图像对应的类别信息。其中，类别信息可基于场景的不同而不同。如在一些场景中，人可以作为一个类别，但是，在另一些实施例中，可将人这一类别划分为大人和小孩两个类别，等等。
可以理解的是，在现有技术中，在图像识别领域，也可采样边框对待识别对象或者已识别对象进行框选。但是，在本公开实施例中，边框主要用于后续点对的构建。
也就是说，尽管现有技术中也有对图像进行框选的边框，但是，其框选的作用与本公开中的边框的作用存在本质的区别。
S103：基于类别信息和三维空间尺寸信息的映射关系确定与目标类别信息对应的目标三维空间尺寸信息。
其中，在该步骤之前，可预先构建映射关系，该映射关系用于表征类别信息与三维空间尺寸信息之间的对应关系。即若知道某类别信息时，可基于该映射关系确定出与该类别信息对应的三维空间尺寸信息；或者，基于某三维空间尺寸信息，可基于该映射关系确定出与该三维空间尺寸信息对应的类别信息。
在一些实施例中，映射关系可以为映射关系表，且可通过标识(如序号)的方式将相对应的类别信息与三维空间尺寸信息之间进行关联。
其中，具体构建映射关系的方法可参见下文，此处不再赘述。
S104：生成与目标三维空间尺寸信息对应的第二边框与第二边框对应的世界坐标。
S105：根据第一边框、像素坐标、第二边框构、世界坐标构建二维-三维点对。
在本公开实施例中，在分别确定第一边框、像素坐标、第二边框和世界坐标之后，基于这四个维度的信息构建点对。从而避免现有技术中从预测图像中选取二维特征点，并通过匹配的方式确定三维特征点，从而构建点对造成的特征点选取过程繁琐，计算量较大的问题，进而实现了节约资源，提高效率的技术效果。
S106：对点对进行解析，以便生成并显示被测对象与目标对象之间的位置信息。
在一些实施例中，可通过位姿解算PNP算法进行点对解析。
例如，采用开源计算机视觉库opencv中solvepnp函数实现位姿解算PNP算法中的AP3P算法求解被测对象与目标对象之间的位置信息。
在一些实施例中，位置信息包括被测对象与目标对象的左右距离和/或前后距离。
一般而言，对图像进行框选的边框为长方形，即，第一边框为长方形框。
在本公开实施例中，若第一边框为长方形框，则对长方形框进行适应性调整。具体地：
选取长方形框对应的最长的边，根据最长的边将长方形框转换为正方形框。
也就是说，在本公开实施例中，将为长方形的第一边框转换为正方形的第一边框，且正方形的边长为长方形的最长的边的边长。
同理，将第二边框亦通过上述方法转换为正方形的第二边框，此处不再赘述。
在本公开实施例中，选择最长的边将长方形框转换为正方形框。由于正方形框的边长为长方形框的最长的边长，因此，正方形框的面积大于长方形框的面积，则正方形框所包括的图像信息(如像素坐标等)多于长方形框所包括的图像信息(如像素坐标等)。
现以姿解析算法PNP算法为例对本公开实施例说明如下：
由于影响位姿解析算法PNP算法的准确性的参数包括点对所提供的尺寸信息，而位姿解析算法PNP算法是通过迭代的方式对结果进行优化的过程，因此，若点组成的尺度信息误差越小，则位姿解析算法PNP算法迭代的结果相对会越精准，得到的每类目标的位置信息的准确度相对会更高。而且，选择最长的边将长方形框转换为正方形框能提供给PNP算法适应目标物体姿态变化较频繁的场景。例如，当行人这类目标在原地旋转时，行人正面和侧面对着摄像机，图像上识别的框的宽度变化较大，进而影响位置计算结果。
结合图4(图4为本公开实施例的根据第一边框、像素坐标、第二边框和世界坐标构建二维-三维点对的方法的流程示意图)可知，在一些实施例中，S105包括：
S51：选取第一边框上的任一角点为第一原点。
若将第一边框上的左上角的角点选取为第一原点，则相当于以该角点为原点建立二维坐标系。
S52：根据第一原点和像素坐标生成二维特征点。
其中，二维特征点可包括第一原点，还可包括一个或多个二维特征点。
在一些实施例中，二维特征点为第一边框上的四个角点。
在一些实施例中，若像素坐标可以用(x，y，w，h)表示，且第一原点为第一边框上的左上角的角点，且二维特征点为第一边框上的四个角点，则以第一原点为起点，顺时钟方向的各二维特征点对应的像素坐标依次为：(x，y)，(x+w，y)，(x+w，y+h)，(x，y+h)。
其中，x用于表示第一边框中的点的横坐标，y用于表示第一边框中的点的为纵坐标，w用于表示第一边框的宽度，h用于表示第一边框的高度。
S53：根据第一原点在第二边框上选取第二原点。
其中，若第一原点为第一边框上左上角的角点，则第二原点为第二边框上左上角的角点。
S54：根据第二原点和世界坐标生成三维特征点。
同理，三维特征点可包括第二原点，还可包括一个或多个三维特征点。
在一些实施例中，三维特征点为第二边框上的四个角点。
在一些实施例中，若世界坐标可以用(W，H，T)表示，且第二原点为第二边框上的左上角的角点，且三维特征点为第二边框上的四个角点，则以第二原点为起点，顺时钟方向的各三维特征点对应的世界坐标依次为：(0，H，0)，(W，H，0)，(W，0，0)，(0，0，0)。
其中，W用于表示宽度，H用于表示高度，T用于表示厚度。
S55：根据二维特征点和三维特征点生成点对。
结合图3可知，摄像机可对人(包括骑行者、警察和小孩)、自行车、红路灯至指示牌的图像进行采集，而图5则以红路灯的图像为例对生成点对的方法进行阐述。
如图5所示，第一边框共包括四个角点，分别为角点A、角点B、角点C和角点D。基于上述示例可知，可从四个角点中任意选取一个角点作为第一原点，如选取角点A作为第一原点，并基于角点A建立二维坐标系，角点A为该二维坐标系的原点。
若以角点A为第一原点，则通过上述方法计算角点B、角点C和角点D在新建的二维坐标系中的二维坐标，且角点A、角点B、角点C和角点D分别为二维特征点。
当然，也可以选取角点B、角点C和角点D作为第一原点，其计算方法与上述示例相同，此处不再一一赘述。
同理，也可基于上述方法选取三维特征点。
由于选取角点相较于其他点会比较简单便捷，且能相对比较便捷且精准的地确定二维特征点相对应的三维特征点，因此，可以实现二维特征点与三维特征点之间的较为精准的对应关系，使得后续基于位姿解算PNP算法计算得到的测距结果的误差较小。
结合图6可知，在一些实施例中，在S102之前，该方法还包括构建深度学习模型的步骤，具体地，
S01：获取多个初始对象的各自的训练图像，以及与训练图像对应的图像坐标。
其中，可针对不同的道路场景采集预设数量的训练图像，其中，预设数量可基于需求进行设定。
S02：标注与各训练图像各自对应的初始类别信息和图像坐标。
基于上述示例可知，可对同一类别的训练图像划分为多种类别。即，在一些实施例中，可通过基于需求对某一类别进行细化，如可将人细分为大人的类别和小孩的类别。即初始类别信息中包括大人的类别和小孩的类别。
S03：根据预设的神经网络模型对初始类别信息和图像坐标进行训练，生成深度学习模型。
其中，神经网络模型可以选取现有技术中的如卷积神经网络模型等。
在一些实施例中，本公开实施例还包括构建映射关系的步骤，具体地：
S11：获取每个初始对象的初始三维空间尺寸信息。
S12：根据各初始三维空间尺寸信息和各初始类别信息构建映射关系。
如，通过测量工具测量各类别对应的对象的三维空间尺寸信息(包括宽、高和厚)，并可构建映射表。
根据本公开实施例的另一个方面，本公开实施例还提供了一种测距装置。
请参阅图7，图7为本公开实施例的测距装置的示意图。
如图7所示，该装置包括：
采集模块11，用于采集目标对象对应的预测图像；
第一生成模块12，用于根据预设的深度学习模型生成与所述预测图像对应的目标类别信息和目标边框信息，其中，所述目标边框信息包括第一边框和与所述第一边框对应的像素坐标；
确定模块13，用于基于类别信息和三维空间尺寸信息的映射关系确定与所述目标类别信息对应的目标三维空间尺寸信息；
第二生成模块14，用于生成与所述目标三维空间尺寸信息对应的第二边框信息，其中，所述第二边框信息包括第二边框和与所述第二边框对应的世界坐标；
第一构建模块15，用于根据所述第一边框、所述像素坐标、所述第二边框和世界坐标构建二维-三维点对；
解析模块16，用于对所述点对进行解析，以便生成并显示被测对象与所述目标对象之间的位置信息。
结合图8可知，在一些实施例中，响应于所述第一边框和/或所述第二边框为长方形框，所述装置还包括：
选取模块17，用于选取所述长方形框对应的最长的边；
转换模块18，用于根据所述最长的边将所述长方形框转换为正方形框。
在一些实施例中，所述第一构建模块15用于，选取所述第一边框上的任一角点为第一原点，根据所述第一原点和所述像素坐标生成二维特征点，根据所述第一原点在所述第二边框上选取第二原点，根据所述第二原点和所述世界坐标生成三维特征点，根据所述二维特征点和所述三维特征点生成所述点对。
在一些实施例中，所述二维特征点为所述第一边框上的四个角点，所述三维特征点为所述第二边框上的四个角点。
结合图9可知，在一些实施例中，所述装置还包括：
第一获取模块19，用于获取多个初始对象的各自的训练图像，以及与所述训练图像对应的图像坐标；
标注模块20，用于标注与各所述训练图像各自对应的初始类别信息和所述图像坐标；
训练模块21，用于根据预设的神经网络模型对所述初始类别信息和所述图像坐标进行训练，生成所述深度学习模型。
结合图9可知，在一些实施例中，所述装置还包括：
第二获取模块22，用于获取每个所述初始对象的初始三维空间尺寸信息；
第二构建模块23，用于根据各所述初始三维空间尺寸信息和各所述初始类别信息构建所述映射关系。
根据本公开实施例的另一个方面，本公开实施例还提供了一种车辆。
请参阅图10，图10为本公开实施例的车辆的示意图。
如图10所示，所述车辆包括：
图像采集装置1，用于采集目标对象对应的预测图像；
识别装置2，用于根据预设的深度学习模型生成与所述预测图像对应的目标类别信息和目标边框信息，其中，所述目标边框信息包括第一边框和与所述第一边框对应的像素坐标；
处理装置3，用于基于类别信息和三维空间尺寸信息的映射关系确定与所述目标类别信息对应的目标三维空间尺寸信息，生成与所述目标三维空间尺寸信息对应的第二边框信息，其中，所述第二边框信息包括第二边框和与所述第二边框对应的世界坐标，根据所述第一边框、所述像素坐标、所述第二边框和所述世界坐标构建二维-三维点对，对所述点对进行解析，以便生成车辆与所述目标对象之间的位置信息；
显示装置4，用于显示所述位置信息。
在一些实施例中，响应于所述第一边框和/或所述第二边框为长方形框，所述处理装置3还用于，选取所述长方形框对应的最长的边，根据所述最长的边将所述长方形框转换为正方形框。
在一些实施例中，所述处理装置3还用于，选取所述第一边框上的任一角点为第一原点，根据所述第一原点和所述像素坐标生成二维特征点，根据所述第一原点在所述第二边框上选取第二原点，根据所述第二原点和所述世界坐标生成三维特征点，根据所述二维特征点和所述三维特征点生成所述点对。
在一些实施例中，所述二维特征点为所述第一边框上的四个角点，所述三维特征点为所述第二边框上的四个角点。
在一些实施例中，所述处理装置3还用于，获取多个初始对象的各自的训练图像，以及与所述训练图像对应的图像坐标，标注与各所述训练图像各自对应的初始类别信息和所述图像坐标，根据预设的神经网络模型对所述初始类别信息和所述图像坐标进行训练，生成所述深度学习模型。
在一些实施例中，所述处理装置3还用于，获取每个所述初始对象的初始三维空间尺寸信息，根据各所述初始三维空间尺寸信息和各所述初始类别信息构建所述映射关系。
在一些实施例中，所述图像采集装置1设置于所述车辆的后视镜的背面。
根据本公开实施例的另一个方面，本公开实施例还提供了一种电子设备，包括：存储器，处理器；
存储器用于存储处理器可执行指令的存储器；
其中，当执行存储器中的指令时，处理器被配置为实现如上任一实施例所述的方法。
请参阅图11，图11为本公开实施例的电子设备的结构示意图。
如图11所示，该电子设备包括存储器和处理器，该电子设备还可以包括通信接口和总线，其中，处理器、通信接口和存储器通过总线连接；处理器用于执行存储器中存储的可执行模块，例如计算机程序。
其中，存储器可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。
总线可以是ISA总线、PCI总线或EISA总线等。总线可以分为地址总线、数据总线、控制总线等。
其中，存储器用于存储程序，处理器在接收到执行指令后，执行程序，前述本公开实施例任一实施例揭示的方法可以应用于处理器中，或者由处理器实现。
处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。结合本公开实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
根据本公开实施例的另一个方面，本公开实施例还提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如上任一实施例所述的方法。
读者应理解，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构或者特点包含于本公开的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本公开实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
还应理解，在本公开各实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本公开实施例的实施过程构成任何限定。
以上，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种测距方法，其特征在于，所述方法包括：
采集目标对象对应的预测图像；
根据预设的深度学习模型生成与所述预测图像对应的目标类别信息和目标边框信息，其中，所述目标边框信息包括第一边框和与所述第一边框对应的像素坐标；
基于类别信息和三维空间尺寸信息的映射关系确定与所述目标类别信息对应的目标三维空间尺寸信息；
生成与所述目标三维空间尺寸信息对应的第二边框信息，其中，所述第二边框信息包括第二边框和与所述第二边框对应的世界坐标；
根据所述第一边框、所述像素坐标、所述第二边框和所述世界坐标构建二维-三维点对；
对所述点对进行解析，以便生成并显示被测对象与所述目标对象之间的位置信息。
2.根据权利要求1所述的方法，其特征在于，响应于所述第一边框和/或所述第二边框为长方形框，所述方法还包括：
选取所述长方形框对应的最长的边；
根据所述最长的边将所述长方形框转换为正方形框。
3.根据权利要求1所述的方法，其特征在于，所述根据所述第一边框、所述像素坐标、所述第二边框和所述世界坐标构建二维-三维点对包括：
选取所述第一边框上的任一角点为第一原点；
根据所述第一原点和所述像素坐标生成二维特征点；
根据所述第一原点在所述第二边框上选取第二原点；
根据所述第二原点和所述世界坐标生成三维特征点；
根据所述二维特征点和所述三维特征点生成所述点对。
4.根据权利要求3所述的方法，其特征在于，所述二维特征点为所述第一边框上的四个角点，所述三维特征点为所述第二边框上的四个角点。
5.根据权利要求1至4中任一项所述的方法，其特征在于，在所述根据预设的深度学习模型生成与所述预测图像对应的目标类别信息和目标边框信息之前，所述方法还包括：
获取多个初始对象的各自的训练图像，以及与所述训练图像对应的图像坐标；
标注与各所述训练图像各自对应的初始类别信息和所述图像坐标；
根据预设的神经网络模型对所述初始类别信息和所述图像坐标进行训练，生成所述深度学习模型。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
获取每个所述初始对象的初始三维空间尺寸信息；
根据各所述初始三维空间尺寸信息和各所述初始类别信息构建所述映射关系。
7.一种测距装置，其特征在于，所述装置包括：
采集模块，用于采集目标对象对应的预测图像；
第一生成模块，用于根据预设的深度学习模型生成与所述预测图像对应的目标类别信息和目标边框信息，其中，所述目标边框信息包括第一边框和与所述第一边框对应的像素坐标；
确定模块，用于基于类别信息和三维空间尺寸信息的映射关系确定与所述目标类别信息对应的目标三维空间尺寸信息；
第二生成模块，用于生成与所述目标三维空间尺寸信息对应的第二边框信息，其中，所述第二边框信息包括第二边框和与所述第二边框对应的世界坐标；
第一构建模块，用于根据所述第一边框、所述像素坐标、所述第二边框和所述世界坐标构建二维-三维点对；
解析模块，用于对所述点对进行解析，以便生成并显示被测对象与所述目标对象之间的位置信息。
8.一种车辆，其特征在于，所述车辆包括：
图像采集装置，用于采集目标对象对应的预测图像；
识别装置，用于根据预设的深度学习模型生成与所述预测图像对应的目标类别信息和目标边框信息，其中，所述目标边框信息包括第一边框和与所述第一边框对应的像素坐标；
处理装置，用于基于类别信息和三维空间尺寸信息的映射关系确定与所述目标类别信息对应的目标三维空间尺寸信息，生成与所述目标三维空间尺寸信息对应的第二边框信息，其中，所述第二边框信息包括第二边框和与所述第二边框对应的世界坐标，根据所述第一边框、所述像素坐标、所述第二边框和所述世界坐标构建二维-三维点对，对所述点对进行解析，以便生成车辆与所述目标对象之间的位置信息；
显示装置，用于显示所述位置信息。
9.一种电子设备，包括：存储器，处理器；
所述存储器用于存储所述处理器可执行指令的存储器；
其中，当执行所述存储器中的指令时，所述处理器被配置为实现如权利要求1至5中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至5中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010235920.7A CN113470110A (zh) | 2020-03-30 | 2020-03-30 | 测距方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010235920.7A CN113470110A (zh) | 2020-03-30 | 2020-03-30 | 测距方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113470110A true CN113470110A (zh) | 2021-10-01 |
Family
ID=77864807
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010235920.7A Pending CN113470110A (zh) | 2020-03-30 | 2020-03-30 | 测距方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113470110A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108388871A (zh) * | 2018-02-28 | 2018-08-10 | 中国计量大学 | 一种基于车身回归的车辆检测方法 |
| CN109214980A (zh) * | 2017-07-04 | 2019-01-15 | 百度在线网络技术（北京）有限公司 | 一种三维姿态估计方法、装置、设备和计算机存储介质 |
| CN110148169A (zh) * | 2019-03-19 | 2019-08-20 | 长安大学 | 一种基于ptz云台相机的车辆目标三维信息获取方法 |
| CN110390258A (zh) * | 2019-06-05 | 2019-10-29 | 东南大学 | 图像目标三维信息标注方法 |
| CN110555407A (zh) * | 2019-09-02 | 2019-12-10 | 东风汽车有限公司 | 路面车辆空间识别方法及电子设备 |
| CN110745140A (zh) * | 2019-10-28 | 2020-02-04 | 清华大学 | 一种基于连续图像约束位姿估计的车辆换道预警方法 |
| WO2020024744A1 (zh) * | 2018-08-01 | 2020-02-06 | Oppo广东移动通信有限公司 | 一种图像特征点检测方法、终端设备及存储介质 |
| CN110826499A (zh) * | 2019-11-08 | 2020-02-21 | 上海眼控科技股份有限公司 | 物体空间参数检测方法、装置、电子设备及存储介质 |
-
2020
- 2020-03-30 CN CN202010235920.7A patent/CN113470110A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109214980A (zh) * | 2017-07-04 | 2019-01-15 | 百度在线网络技术（北京）有限公司 | 一种三维姿态估计方法、装置、设备和计算机存储介质 |
| CN108388871A (zh) * | 2018-02-28 | 2018-08-10 | 中国计量大学 | 一种基于车身回归的车辆检测方法 |
| WO2020024744A1 (zh) * | 2018-08-01 | 2020-02-06 | Oppo广东移动通信有限公司 | 一种图像特征点检测方法、终端设备及存储介质 |
| CN110148169A (zh) * | 2019-03-19 | 2019-08-20 | 长安大学 | 一种基于ptz云台相机的车辆目标三维信息获取方法 |
| CN110390258A (zh) * | 2019-06-05 | 2019-10-29 | 东南大学 | 图像目标三维信息标注方法 |
| CN110555407A (zh) * | 2019-09-02 | 2019-12-10 | 东风汽车有限公司 | 路面车辆空间识别方法及电子设备 |
| CN110745140A (zh) * | 2019-10-28 | 2020-02-04 | 清华大学 | 一种基于连续图像约束位姿估计的车辆换道预警方法 |
| CN110826499A (zh) * | 2019-11-08 | 2020-02-21 | 上海眼控科技股份有限公司 | 物体空间参数检测方法、装置、电子设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 徐德等: "《机器人视觉测量与控制》", vol. 3, 31 January 2016, 国防工业出版社, pages: 132 - 134 * |
| 陈慧岩等: "《智能车辆理论与应用》", 31 July 2018, 北京理工大学出版社, pages: 49 - 52 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6522076B2 (ja) | 側方の車両測位のための方法、装置、記憶媒体及びプログラム製品 | |
| US10580164B2 (en) | Automatic camera calibration | |
| CN107341453B (zh) | 一种车道线提取方法及装置 | |
| JP4406381B2 (ja) | 障害物検出装置及び方法 | |
| CA3028599A1 (en) | Systems and methods for correcting a high-definition map based on detection of obstructing objects | |
| CN110962844B (zh) | 一种车辆航向角修正方法及系统、存储介质及终端 | |
| JPWO2007083494A1 (ja) | 図形認識装置、図形認識方法および図形認識プログラム | |
| CN109741241B (zh) | 鱼眼图像的处理方法、装置、设备和存储介质 | |
| JP7050763B2 (ja) | カメラ画像からのオブジェクトの検出 | |
| CN115797454B (zh) | 一种鸟瞰图视角下多摄像机融合感知方法及装置 | |
| CN113554643B (zh) | 一种目标检测方法、装置、电子设备及存储介质 | |
| CN114663852A (zh) | 车道线图的构建方法、装置、电子设备及可读存储介质 | |
| CN111192329B (zh) | 传感器标定结果的验证方法、装置及存储介质 | |
| US20230177724A1 (en) | Vehicle to infrastructure extrinsic calibration system and method | |
| CN112906471A (zh) | 一种交通信号灯识别方法及装置 | |
| CN117152265A (zh) | 一种基于区域提取的交通图像标定方法及装置 | |
| CN113470110A (zh) | 测距方法和装置 | |
| CN111462243A (zh) | 车载流媒体后视镜标定方法、系统及装置 | |
| WO2022133986A1 (en) | Accuracy estimation method and system | |
| CN114531580B (zh) | 图像处理方法及装置 | |
| CN116449347B (zh) | 路侧激光雷达的标定方法、装置及电子设备 | |
| WO2021049491A1 (ja) | 物体認識用異常検出装置、物体認識用異常検出プログラム及び物体認識用異常検出方法 | |
| CN112308905B (zh) | 一种平面标志物的坐标确定方法及装置 | |
| CN116778151A (zh) | 一种目标检测方法、装置、车辆、计算机设备及存储介质 | |
| CN113781554A (zh) | 目标物位置的确定装置、交通动态图的建立装置及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |