CN116563370A - 基于单目计算机视觉的测距方法和测速方法 - Google Patents
基于单目计算机视觉的测距方法和测速方法 Download PDFInfo
- Publication number
- CN116563370A CN116563370A CN202310006472.7A CN202310006472A CN116563370A CN 116563370 A CN116563370 A CN 116563370A CN 202310006472 A CN202310006472 A CN 202310006472A CN 116563370 A CN116563370 A CN 116563370A
- Authority
- CN
- China
- Prior art keywords
- coordinates
- measured
- image
- coordinate system
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000691 measurement method Methods 0.000 title claims abstract description 25
- 230000009466 transformation Effects 0.000 claims abstract description 56
- 238000000034 method Methods 0.000 claims abstract description 46
- 238000001514 detection method Methods 0.000 claims abstract description 26
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims abstract description 22
- 238000003062 neural network model Methods 0.000 claims abstract description 22
- 238000003384 imaging method Methods 0.000 claims description 25
- 239000011159 matrix material Substances 0.000 claims description 21
- 230000003287 optical effect Effects 0.000 claims description 13
- 239000013598 vector Substances 0.000 claims description 9
- 230000001131 transforming effect Effects 0.000 claims description 8
- 238000005259 measurement Methods 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 15
- 230000008901 benefit Effects 0.000 description 7
- 238000012544 monitoring process Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
- G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
- G01P3/64—Devices characterised by the determination of the time taken to traverse a fixed distance
- G01P3/68—Devices characterised by the determination of the time taken to traverse a fixed distance using optical means, i.e. using infrared, visible, or ultraviolet light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及基于单目计算机视觉的测距方法和测速方法。该基于单目计算机视觉的测距方法包括：获取待测距图像并使用基于目标检测的神经网络模型确定所述待测距图像中的待测距对象的边界框；基于所待测距图像中的所述待测距对象的边界框确定所述待测距对象的测距像素的坐标；对所述测距像素的坐标进行透视变换以获得所述测距像素的坐标在所述待测距图像对应的鸟瞰图上的变换坐标；确定所述鸟瞰图中的标尺比例；以及，基于所述变换坐标和所述标尺比例确定所述待测距对象的实际距离。这样，通过集成基于神经网络模型的对于源图像的目标检测和透视变换和/或坐标变换，能够获得准确的距离和速度测量结果。
Description
技术领域
本申请涉及计算机视觉技术领域，更为具体地说，涉及一种基于单目计算机视觉的测距方法和测速方法。
背景技术
对固定视角下的监控场景，需要识别各种目标(例如人、车等)，测量目标之间的距离(人人、人车等目标之间)，计算出目标的速度(人、车等)。
目前的监控方案主要包括：单目，成本≥100元，成本低，稳定，对现有监控系统直接升级；双目，成本≥300元，范围几十米，算法复杂，实时性不高，需替换现有系统；测速雷达，成本≥4000元，昂贵；TOF(Time of Flight)：发射光波，根据回波测距测速，类似雷达。
由于单目图像缺乏场景的深度信息，因此需要通过物体的几何模型或者多视角约束来获取深度信息。室内环境下的基于单目视觉的三维目标检测方法通常需要对深度进行估计，其检测精度往往低于双目/深度视觉检测算法。但单目视觉算法的优点是传感器成本较低，应用范围广泛，通过单一的传感器完成三维目标检测使得系统的稳定性更强。
另外，利用基于目标检测的神经网络模型(框出目标的网络，常见的有Faster-RCNN、SSD、YOLO等神经网络模型)，经过训练可以识别监控场景下各个目标的检测，并给目标标上了边界框，如图1所示。图1图示了神经网络模型完成预定目标的检测的示意图。
基于此，期望在此基础上，进一步测量目标之间的距离和计算出目标的速度。因此，本申请期望提供一种基于单目计算机视觉的测距方法和测速方法。
发明内容
本申请实施例提供了一种基于单目计算机视觉的测距方法和测速方法，其通过集成基于神经网络模型的对于源图像的目标检测和透视变换和/或坐标变换，能够获得准确的距离和速度测量结果。
根据本申请的一方面，提供了一种基于单目计算机视觉的测距方法，包括：获取待测距图像并使用基于目标检测的神经网络模型确定所述待测距图像中的待测距对象的边界框；基于所待测距图像中的所述待测距对象的边界框确定所述待测距对象的测距像素的坐标；对所述测距像素的坐标进行透视变换以获得所述测距像素的坐标在所述待测距图像对应的鸟瞰图上的变换坐标；确定所述鸟瞰图中的标尺比例；以及，基于所述变换坐标和所述标尺比例确定所述待测距对象的实际距离。
在上述基于单目计算机视觉的测距方法中，对所述测距像素的坐标进行透视变换以获得所述测距像素的坐标在所述待测距图像对应的鸟瞰图上的变换坐标包括：确定所述待测距图像与所述鸟瞰图之间的变换矩阵，所述变换矩阵为所述待测距图像的齐次坐标和所述鸟瞰图的齐次坐标之间的变换矩阵，表示为：
其中(u,v,w)是所述待测距图像的齐次坐标，且(x′,y′,w′)是所述鸟瞰图的齐次坐标；以及，基于所述变换矩阵从所述测距像素的坐标获得所述变换坐标，表示为：
在上述基于单目计算机视觉的测距方法中，所述变换矩阵通过所述待测距图像和所述鸟瞰图中的多个对应坐标的先验信息确定。
在上述基于单目计算机视觉的测距方法中，确定所述鸟瞰图中的标尺比例包括：确定所述鸟瞰图中的参考对象中的参考距离和所述参考距离对应的像素距离；以及，基于所述参考距离和所述像素距离之间的比例确定所述标尺比例。
根据本申请的另一方面，提供了一种基于单目计算机视觉的测距方法，包括：获取待测距图像并使用基于目标检测的神经网络模型确定所述待测距图像中的待测距对象的边界框；基于所待测距图像中的所述待测距对象的边界框确定所述待测距对象的测距像素的坐标；将所述测距像素的坐标进行坐标变换以将测距像素的坐标从图像像素坐标系转换到世界坐标系；以及，基于所述世界坐标系下的所述测距像素对应的物点世界坐标确定所述待测距对象之间的距离。
在上述基于单目计算机视觉的测距方法中，将所述测距像素的坐标进行坐标变换以将测距像素的坐标从图像像素坐标系转换到世界坐标系包括：基于相机DPI确定成像平面坐标系和图像像素坐标系的关系；基于相机坐标系和所述相机的焦距确定成像平面坐标系；确定所述相机坐标系对应的高度、俯仰角、偏航角和滚动角；基于相机法向量在所述世界坐标系下的向量确定所述成像平面中心在世界坐标系下的坐标；基于所述高度、所述俯仰角、所述偏航角、所述滚动角和所述成像平面中心在世界坐标系下的坐标从所述图像像素坐标下的像点像素坐标确定所述世界坐标系下的像点世界坐标；以及，基于所述世界坐标系下的像点世界坐标和相机光心坐标确定世界坐标系下的所述测距像素的坐标对应的物点世界坐标。
在上述基于单目计算机视觉的测距方法中，将所述测距像素的坐标进行坐标变换以将测距像素的坐标从图像像素坐标系转换到世界坐标系包括：基于相机的高度、水平视场角、垂直视场角和俯仰角将所述测距像素的坐标从图像像素坐标系转换到世界坐标系。
根据本申请的再一方面，提供了一种基于单目计算机视觉的测速方法，包括：获取第一时刻的第一图像和第二时刻的第二图像；基于如上所述的基于单目计算机视觉的测距方法获得所述第一图像和所述第二图像中的待测速对象的距离变化量；以及，基于所述待测速对象的距离变化量和所述第一时刻与所述第二时刻之间的时间差确定所述待测速对象的速度。
在上述基于单目计算机视觉的测速方法中，所述待测速对象包括第一待测速对象和第二待测速对象，且基于如上所述的基于单目计算机视觉的测距方法获得所述第一图像和所述第二图像中的待测速对象的距离变化量包括：将所述第一图像和所述第二图像中的同一待测速对象进行匹配。
本申请实施例提供的基于单目计算机视觉的测距方法和测速方法，通过集成基于神经网络模型的对于源图像的目标检测和透视变换和/或坐标变换，能够获得准确的距离和速度测量结果。
附图说明
通过阅读下文优选的具体实施方式中的详细描述，本申请各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。说明书附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。显而易见地，下面描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。而且在整个附图中，用相同的附图标记表示相同的部件。
图1图示了神经网络模型完成预定目标的检测的示意图。
图2图示了基于神经网络模型对于预定目标的检测确定像素距离的示意图。
图3图示了基于神经网络模型对于预定目标的检测确定实际距离的示意图。
图4图示了根据本申请实施例的基于单目计算机视觉的测距方法的第一示例的示意性流程图。
图5图示了根据本申请实施例的俯视视角的待测距图像。
图6图示了根据本申请实施例的俯视视角的待测距图像对应的鸟瞰图。
图7图示了俯视视角下的监控场景内的地砖对象的示意图。
图8图示了鸟瞰图中的对应的监控场景内的地砖对象的示意图。
图9图示了根据本申请实施例的基于单目计算机视觉的测距方法的第二示例的示意性流程图。
图10图示了基于视场角的坐标变换的示意图。
图11图示了相机拍摄时的垂直视场角的示意图。
图12图示了根据本申请实施例的基于单目计算机视觉的测速方法的示意性流程图。
具体实施方式
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
示意性测距方法
如上所述，目前的基于目标检测的神经网络模型可以在输入图像中识别出预定目标并返回预定目标的边界框的坐标信息(即，中心点和四个顶点的像素坐标/或者中心点坐标、宽度、高度的像素等)，由此，通过预定目标之间的中心点(框中任一点，包括框边)的距离，就可以计算出预定目标之间的像素距离，如图2所示，人车距离为739像素。这里，图2图示了基于神经网络模型对于预定目标的检测确定像素距离的示意图。
在此情况下，要完成实际的距离测量，就需要利用边界框定位图像中的预定目标，通过边界框的坐标信息计算目标间的像素距离，再将像素距离转换为实际距离，从而构建集目标检测和测距一体的测距方案，如图3所示，人车的实际距离为46.54m。这里，图3图示了基于神经网络模型对于预定目标的检测确定实际距离的示意图。
而对于基于图像上的像素距离来计算实际距离，有两种经典方法可以解决：一是透视变换，其在基于标尺(米/像素)来进行测量的情况下，对于监控场景中的较大区域，由于图像中不同位置，所对应的标尺不同，例如近处的像素点的标尺比远处的像素点标尺小，造成图像近大远小情况视觉效果，就需要采用透视变换，将近大远小图像变成远近均匀的视觉效果；二是坐标变换，其需要构建图像的像素坐标系和真实世界坐标系之间的关系，利用坐标变换的方式解决。
基于此，本申请实施例提供了一种基于单目计算机视觉的测距方法。图4图示了根据本申请实施例的基于单目计算机视觉的测距方法的第一示例的示意性流程图。
如图4所示，根据本申请实施例的基于单目计算机视觉的测距方法的第一示例包括如下步骤。
步骤S110，获取待测距图像并使用基于目标检测的神经网络模型确定所述待测距图像中的待测距对象的边界框。也就是，如上所述，获得例如监控场景下的待测距图像，并由基于目标检测的神经网络模型确定待测距对象，例如人和车等的边界框。
步骤S120，基于所待测距图像中的所述待测距对象的边界框确定所述待测距对象的测距像素的坐标。例如，可以选择所述待测距对象的边界框的底边中心点的像素来作为所述待测距对象的一对测距像素。
步骤S130，对所述测距像素的坐标进行透视变换以获得所述测距像素的坐标在所述待测距图像对应的鸟瞰图上的变换坐标。这里，透视变换(PerspectiveTransformation)也被称作透视投影(Perspective Projection)，其本质是将图像投影到一个新的视平面(Viewing Plane)，也称作投影映射(Projective Mapping)，如图4所示。这里，图4图示了根据本申请实施例的透视变换的示意图。
在本申请实施例中，通过透视变换将原视角的待测距图像(例如，如图5所示的俯视图)进行处理后转化为鸟瞰图(例如，如图6所示)，从而对距离计算时出现的标尺不均匀问题进行修正。这里，图5图示了根据本申请实施例的俯视视角的待测距图像，且图6图示了根据本申请实施例的俯视视角的待测距图像对应的鸟瞰图。
具体地，将所述待测距图像(例如，俯视图)得到新的鸟瞰图，需要通过变换矩阵进行如下处理：
其中，(u,v,w)是所述待测距图像的齐次坐标(w＝1)，(x′,y′,w′)是新的鸟瞰图的齐次坐标，变换矩阵为：
其中，变换矩阵A例如可以通过先验信息获取，即在所述待测距图像(如图5所示的俯视图)中选定四个点的坐标，并设定这四个点经过透视变换后的坐标(需要和真实物体比例一致，其余自由设定)，即可得到变换矩阵A。
基于这个变换矩阵A，就可以把所述待测距图像中任意点的坐标转化过来，形成新的鸟瞰图。
这里，在新的鸟瞰图中，像素标尺在所有地方都是均匀的，例如如图6所示，这样，在计算距离时，就不会有标尺近大远小的影响，距离的变化就是匀称的。
因此，在根据本申请实施例的基于单目计算机视觉的测距方法中，对所述测距像素的坐标进行透视变换以获得所述测距像素的坐标在所述待测距图像对应的鸟瞰图上的变换坐标包括：确定所述待测距图像与所述鸟瞰图之间的变换矩阵，所述变换矩阵为所述待测距图像的齐次坐标和所述鸟瞰图的齐次坐标之间的变换矩阵，表示为：
其中(u,v,w)是所述待测距图像的齐次坐标，且(x′,y′,w′)是所述鸟瞰图的齐次坐标；以及
基于所述变换矩阵从所述测距像素的坐标获得所述变换坐标，表示为：
并且，在上述基于单目计算机视觉的测距方法中，所述变换矩阵通过所述待测距图像和所述鸟瞰图中的多个对应坐标的先验信息确定。
步骤S140，确定所述鸟瞰图中的标尺比例。也就是，确定所述鸟瞰图中的标尺的单个像素代表多大的实际距离，这例如可以通过在所述待测距图像中有实际尺寸的目标来获取。例如如图7所示，有一块白色正方形地砖，边长80cm。这里，图7图示了俯视视角下的监控场景内的地砖对象的示意图。
但是，因为俯视角度问题，地砖在原图中是非正方形的，即每个像素的实际尺寸在不同位置不一，标尺非均匀。而在通过透视变换之后得到的新的鸟瞰图中，地砖应该是标准的正方形，如图8所示。这里，图8图示了鸟瞰图中的对应的监控场景内的地砖对象的示意图。
这样，通过在待测距图像上获取参考对象，例如白色地砖的四个顶点坐标，并设定在新的鸟瞰图中的地砖上的四个顶点坐标(例如，只需是正方形比例即可，其余自由设定)，基于上述的变换矩阵A，将待测距图像变成鸟瞰图，由于鸟瞰图中的标尺在各个地方是均匀的，就可以通过参考对象的参考距离，例如白色地砖的边长(80cm)和参考距离对应的像素距离，例如边长所占有的像素(100像素)，计算得到所述标尺比例，例如为0.8cm/pixel。
当然，本领域技术人员可以理解，也可以直接在鸟瞰图中选取参考对象，并基于像素距离和参考距离之间的比例来确定标尺比例。
也就是，在根据本申请实施例的基于单目计算机视觉的测距方法中，确定所述鸟瞰图中的标尺比例包括：确定所述鸟瞰图中的参考对象中的参考距离和所述参考距离对应的像素距离；以及，基于所述参考距离和所述像素距离之间的比例确定所述标尺比例。
步骤S150，基于所述变换坐标和所述标尺比例确定所述待测距对象的实际距离。也就是，利用上述标尺，可以计算鸟瞰图中任何两点的实际距离，只需要将两点之间的像素距离乘以标尺，就可以确定两点之间的实际距离。
图9图示了根据本申请实施例的基于单目计算机视觉的测距方法的第二示例的示意性流程图。
如图9所示，根据本申请实施例的基于单目计算机视觉的测距方法的第二示例包括如下步骤。
步骤S210，获取待测距图像并使用基于目标检测的神经网络模型确定所述待测距图像中的待测距对象的边界框。也就是，如上所述，获得例如监控场景下的待测距图像，并由基于目标检测的神经网络模型确定待测距对象，例如人和车等的边界框。
步骤S220，基于所待测距图像中的所述待测距对象的边界框确定所述待测距对象的测距像素的坐标。例如，可以选择所述待测距对象的边界框的底边中心点的像素来作为所述待测距对象的一对测距像素。
步骤S230，将所述测距像素的坐标进行坐标变换以将测距像素的坐标从图像像素坐标系转换到世界坐标系。
这里，坐标变换利用了相机的小孔成像原理，将所述待测距图像从图像像素坐标系转换到世界坐标系。其中，一般情况下世界坐标系即相机坐标系，相机坐标系(C-XYZ)以相机光心C为原点(也是投影中心O)，Z轴与光轴重合，Z轴指向相机的前方，真实世界中的点在相机坐标系中的坐标例如为(X，Y，Z)。进一步，从相机坐标系可以得到成像平面坐标系(即图像物理坐标系)，具体的，相机坐标系的Z轴与成像平面(image plane)垂直，成像平面的坐标原点为相机光轴与图像物理坐标系的交点位置，坐标系例如记为o-xyz，其z轴与相机坐标系的Z轴重合，但相差焦距f。则在相机坐标系的坐标为(X，Y，Z)的点在照片上的投影点位于像平面(image plane)上，像平面位于相机光心C和该点之间，与C的距离即为焦距f。因此，该点在成像平面坐标系的坐标(x，y，z)＝(X，Y，Z-f)，这是二者坐标系之间的关系。
图像像素坐标系：成像平面坐标系是图像物理坐标坐标系，即(x,y,z)是物理坐标，以米为单位。成像图像是以像素为单位，基于图像像素坐标系，其坐标(u,v,w)以像素为单位，二者的关系如下：
其中DPM(Dots Per Meter)是相机内参，代表相机靶面上图像每米长度的像素点数，其可以由相机内参DPI(Dots Per Inch)得到，例如DPM＝DPI/0.0254。
例如，在监控场景下，相机处于h高度俯视地面，即光心位于(h，0，0)位置。
此时，建立成像平面坐标系(x，y，z)和世界坐标系(O-XYZ)之间的关系，这需要考虑旋转造成的因素进行坐标变换，即增加俯仰角(绕y轴旋转)、偏航角(绕x轴旋转θ)和滚动角(绕z轴旋转γ)。
世界坐标系下，原本相机朝向z轴，即法向量(0，0，1)，经过俯仰角(绕y轴旋转)、偏航角(绕x轴旋转θ)和滚动角(绕z轴旋转γ)旋转，可得：
俯仰角(绕y轴旋转)：/>
偏航角(绕x轴旋转θ)：
滚动角(绕z轴旋转γ)：
相机法向量(0,0,1)经过坐标变换后得到向量：
可得，成像平面中心在世界坐标系下的坐标(Tx,Ty,Tz)为：
记作：
T＝(Tx,Ty,Tz)T
由此，结合三轴旋转和坐标中心变化，可得世界坐标系到监控场景的像平面坐标系的坐标变换关系为：
则世界坐标系下的实际坐标可由像平面坐标转化得来：
其中，像平面坐标(x,y,z)是物理坐标，其从图像像素坐标系(u,v,w)得来，其简洁关系如下式(实际情况需要考虑中心和图像像素长宽值有所调整)：
可得：
其中DPM(Dots Per Meter)为相机靶面每米长度内的像素点数，由相机内参DPI(Dots Per Inch)得到，即DPM＝DPI/0.0254。
等式右边的是像平面上的点在图像像素坐标系下的坐标值，左边是像平面上的点在世界坐标系下的坐标。该等式说明，已知像平面上一点的像素坐标(u,v,w)，可以求得它在世界坐标系中的坐标(X,Y,Z)。
而相机光心坐标为(h，0，0)，光心与像平面上点(X，Y，Z)的射线与OYZ平面的交点即为世界坐标系下的物体的物理坐标点(物点)，即：
综上，先由像平面上的任意一点(即像点)在图像像素坐标系的像素坐标，求得像平面坐标系(图像物理坐标系)下的物理坐标，根据坐标变换求得该像点在世界坐标系中的坐标，再由该像点与光心的连线方程求得物点在世界坐标系的坐标。这其中，仅需要知道相机的内参焦距f和外参高度h、俯仰角偏航角θ和滚动角γ即可。
因此，在根据本申请实施例的基于单目计算机视觉的测距方法中，将所述测距像素的坐标进行坐标变换以将测距像素的坐标从图像像素坐标系转换到世界坐标系包括：基于相机DPI(Dots Per Inch)确定成像平面坐标系和图像像素坐标系的关系；基于相机坐标系和所述相机的焦距确定成像平面坐标系；确定所述相机坐标系对应的高度、俯仰角、偏航角和滚动角；基于相机法向量在所述世界坐标系下的向量确定所述成像平面中心在世界坐标系下的坐标；基于所述高度、所述俯仰角、所述偏航角、所述滚动角和所述成像平面中心在世界坐标系下的坐标从所述图像像素坐标系下的像点坐标确定所述世界坐标系下的像点世界坐标；以及，基于所述世界坐标系下的像点世界坐标和相机光心坐标确定世界坐标系下的所述测距像素的坐标对应的物点世界坐标。
步骤S240，基于所述世界坐标系下的所述测距像素的世界坐标确定所述待测距对象之间的距离。也就是，确定了所述测距像素在所述世界坐标系下的世界坐标之后，就可以确定所述待测距对象在所述世界坐标系下的距离，即所述待测距对象在真实物理世界中的距离。
在一替代示例中，在相机的视场角已知的情况下，可以基于所述相机的视场角将所述像素坐标从相机坐标系转换到世界坐标系。具体为：
如图10的(a)所示，平面ABU代表地面,ABCD为相机拍摄到的路平面上的梯形区域，O点为相机镜头中心点，OG为相机光轴，G点为相机光轴和地面的交点(同时也是视野梯形的对角线交点)，I点为O点在地面上的垂直投影，O点距离地平面高度为h。将G点定义为坐标系原点，相对相机向远方向延申的方向定义为Y轴方向，构建了GXY真实坐标系。成像平面如图10的(b)所示，a、b、c、d为像平面矩形的4个端点，H和W分别为像平面的高和宽(真实值或像素值皆可)。g为G的像点，gxy构成了像平面坐标系。这里，图10图示了基于视场角的坐标变换的示意图。
令相机的水平视场角为2β0，垂直视场角为2α0，相机的俯仰角为γ0，垂直视场角如图11所示。这里，图11图示了相机拍摄时的垂直视场角的示意图。
取地面上一点P，在世界坐标系下的坐标值为(Xp,Yp)，P点在像平面内的对应点为p,在像平面坐标系的坐标为(xp,xp)，这个坐标值可以是物理坐标值，也可以是像素坐标值，则构建这两个坐标系之间的关系如下所示：
其中，
根据这个变换式，可以将图像像素坐标系的像素坐标(xp,xp)变换为(Xp,Yp)，所需的只是相机的高度h，水平视场角2β0，垂直视场角2α0和俯仰角γ0参数。
因此，在根据本申请实施例的基于单目计算机视觉的测距方法中，将所述测距像素的坐标进行坐标变换以将测距像素的坐标从图像像素坐标系转换到世界坐标系包括：基于相机的高度、水平视场角、垂直视场角和俯仰角将所述测距像素的坐标从相机坐标系转换到世界坐标系。
示意性测速方法
通过如上所述的根据本申请实施例的基于单目计算机视觉的测距方法，可以获得根据本申请实施例的基于单目计算机视觉的测速方法。
具体地，测速时首先获取t时刻的一帧图片，用神经网络模型(例如yolov4)检测出人和车，获得用于测距的测距像素的坐标(例如矩形框底边中心坐标)，再获取t+1时刻的一帧图片，同样检测出人车并获得用于测距的测距像素的坐标，用之前的测距方法计算出t时刻到t+1时刻人、车运动的距离，该距离除以两帧的时间间隔即可获得人、车的运动速度。
此外，在实际操作中。算法还需要将两帧图像中的同一个物体进行匹配。通过获取同标签的物体在两帧图像上的像素坐标从而得到位置的差值。在此差值低于一定的数值的时候认定这两个位置为同一物体在两帧图像上各自的位置，进而计算此物体的速度。
基于此，根据本申请实施例的基于单目计算机视觉的测速方法包括：获取第一时刻的第一图像和第二时刻的第二图像；基于如上所述的基于单目计算机视觉的测距方法获得所述第一图像和所述第二图像中的待测速对象的距离变化量；以及，基于所述待测速对象的距离变化量和所述第一时刻与所述第二时刻之间的时间差确定所述待测速对象的速度。
图12图示了根据本申请实施例的基于单目计算机视觉的测速方法的示意性流程图。如图12所示，根据本申请实施例的基于单目计算机视觉的测速方法包括：S310，获取第一时刻的第一图像和第二时刻的第二图像；S320，通过如上所述的基于单目计算机视觉的测距方法获得所述第一图像和所述第二图像中的待测速对象的距离变化量；以及，S330，基于所述待测速对象的距离变化量和所述第一时刻与所述第二时刻之间的时间差确定所述待测速对象的速度。
并且，在上述基于单目计算机视觉的测速方法中，所述待测速对象包括第一待测速对象和第二待测速对象，且基于如上所述的基于单目计算机视觉的测距方法获得所述第一图像和所述第二图像中的待测速对象的距离变化量包括：将所述第一图像和所述第二图像中的同一待测速对象进行匹配。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (9)
1.一种基于单目计算机视觉的测距方法，其特征在于，包括：
获取待测距图像并使用基于目标检测的神经网络模型确定所述待测距图像中的待测距对象的边界框；
基于所待测距图像中的所述待测距对象的边界框确定所述待测距对象的测距像素的坐标；
对所述测距像素的坐标进行透视变换以获得所述测距像素的坐标在所述待测距图像对应的鸟瞰图上的变换坐标；
确定所述鸟瞰图中的标尺比例；以及
基于所述变换坐标和所述标尺比例确定所述待测距对象的实际距离。
2.根据权利要求1所述的基于单目计算机视觉的测距方法，其中，对所述测距像素的坐标进行透视变换以获得所述测距像素的坐标在所述待测距图像对应的鸟瞰图上的变换坐标包括：
确定所述待测距图像与所述鸟瞰图之间的变换矩阵，所述变换矩阵为所述待测距图像的齐次坐标和所述鸟瞰图的齐次坐标之间的变换矩阵，表示为：
其中(u,v,w)是所述待测距图像的齐次坐标，且(x′,y′,w′)是所述鸟瞰图的齐次坐标；以及
基于所述变换矩阵从所述测距像素的坐标获得所述变换坐标，表示为：
3.根据权利要求2所述的基于单目计算机视觉的测距方法，其中，所述变换矩阵通过所述待测距图像和所述鸟瞰图中的多个对应坐标的先验信息确定。
4.根据权利要求1所述的基于单目计算机视觉的测距方法，其中，确定所述鸟瞰图中的标尺比例包括：
确定所述鸟瞰图中的参考对象中的参考距离和所述参考距离对应的像素距离；以及，
基于所述参考距离和所述像素距离之间的比例确定所述标尺比例。
5.一种基于单目计算机视觉的测距方法，其特征在于，包括：
获取待测距图像并使用基于目标检测的神经网络模型确定所述待测距图像中的待测距对象的边界框；
基于所待测距图像中的所述待测距对象的边界框确定所述待测距对象的测距像素的坐标；
将所述测距像素的坐标进行坐标变换以将测距像素的坐标从图像像素坐标系转换到世界坐标系；以及
基于所述世界坐标系下的所述测距像素对应物点的世界坐标确定所述待测距对象之间的距离。
6.根据权利要求5所述的基于单目计算机视觉的测距方法，其中，将所述测距像素的坐标进行坐标变换以将测距像素的坐标从图像像素坐标系转换到世界坐标系包括：
基于相机DPI(Dots Per Inch)确定成像平面坐标系和图像像素坐标系的关系；
基于相机坐标系和所述相机的焦距确定成像平面坐标系；
确定所述相机坐标系对应的高度、俯仰角、偏航角和滚动角；
基于相机法向量在所述世界坐标系下的向量确定所述成像平面中心在世界坐标系下的坐标；
基于所述高度、俯仰角、所述偏航角、所述滚动角和所述成像平面中心在世界坐标系下的坐标从所述成像平面坐标下的成像平面坐标确定所述世界坐标系下的世界坐标；以及，
基于所述世界坐标系下的世界坐标和相机光心坐标确定世界坐标系下的所述测距像素的坐标对应的物点世界坐标。
7.根据权利要求5所述的基于单目计算机视觉的测距方法，其中，将所述测距像素的坐标进行坐标变换以将测距像素的坐标从图像像素坐标系转换到世界坐标系包括：
基于相机的高度、水平视场角、垂直视场角和俯仰角将所述测距像素的坐标从图像像素坐标系转换到世界坐标系。
8.一种基于单目计算机视觉的测速方法，其特征在于，包括：
获取第一时刻的第一图像和第二时刻的第二图像；
基于如权利要求1到7中任意一项所述的基于单目计算机视觉的测距方法获得所述第一图像和所述第二图像中的待测速对象的距离变化量；以及，
基于所述待测速对象的距离变化量和所述第一时刻与所述第二时刻之间的时间差确定所述待测速对象的速度。
9.根据权利要求8所述的基于单目计算机视觉的测速方法，其中，所述待测速对象包括第一待测速对象和第二待测速对象，且基于如上所述的基于单目计算机视觉的测距方法获得所述第一图像和所述第二图像中的待测速对象的距离变化量包括：
将所述第一图像和所述第二图像中的同一待测速对象进行匹配。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310006472.7A CN116563370A (zh) | 2023-01-04 | 2023-01-04 | 基于单目计算机视觉的测距方法和测速方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310006472.7A CN116563370A (zh) | 2023-01-04 | 2023-01-04 | 基于单目计算机视觉的测距方法和测速方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116563370A true CN116563370A (zh) | 2023-08-08 |
Family
ID=87498892
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310006472.7A Pending CN116563370A (zh) | 2023-01-04 | 2023-01-04 | 基于单目计算机视觉的测距方法和测速方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116563370A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117782030A (zh) * | 2023-11-24 | 2024-03-29 | 北京天数智芯半导体科技有限公司 | 距离测量方法及装置、存储介质及电子设备 |
-
2023
- 2023-01-04 CN CN202310006472.7A patent/CN116563370A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117782030A (zh) * | 2023-11-24 | 2024-03-29 | 北京天数智芯半导体科技有限公司 | 距离测量方法及装置、存储介质及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111982072B (zh) | 一种基于单目视觉的目标测距方法 | |
| US10237532B2 (en) | Scan colorization with an uncalibrated camera | |
| CA2395257C (en) | Any aspect passive volumetric image processing method | |
| CN109523595B (zh) | 一种建筑工程直线棱角间距视觉测量方法 | |
| CN112880642B (zh) | 测距系统和测距方法 | |
| CN111508027B (zh) | 摄像机外参标定的方法和装置 | |
| CN111435081B (zh) | 海面测量系统、海面测量方法以及存储介质 | |
| CN111192235A (zh) | 一种基于单目视觉模型和透视变换的图像测量方法 | |
| CN109255819B (zh) | 基于平面镜的Kinect标定方法及装置 | |
| CN108489423B (zh) | 一种产品表面水平倾斜角度的测量方法及系统 | |
| CN107610183A (zh) | 新型条纹投影相位高度转换映射模型及其标定方法 | |
| CN106033614A (zh) | 一种强视差下的移动相机运动目标检测方法 | |
| CN108362205A (zh) | 基于条纹投影的空间测距方法 | |
| CN111382591A (zh) | 一种双目相机测距校正方法及车载设备 | |
| CN116563370A (zh) | 基于单目计算机视觉的测距方法和测速方法 | |
| CN110044266B (zh) | 基于散斑投影的摄影测量系统 | |
| CN111105467A (zh) | 一种图像标定方法、装置及电子设备 | |
| CN113340405B (zh) | 桥梁振型的测量方法、装置及系统 | |
| CN112712566B (zh) | 基于结构参数在线校正的双目立体视觉传感器测量方法 | |
| CN116929290A (zh) | 一种双目视角差立体深度测量方法、系统及存储介质 | |
| CN116743973A (zh) | 无感投影图像自动校正方法 | |
| CN114693807B (zh) | 一种输电线路图像与点云的映射数据重构方法及系统 | |
| CN113421300B (zh) | 确定鱼眼相机图像中物体实际位置的方法及装置 | |
| CN105333818A (zh) | 基于单目摄像机的3d空间测量方法 | |
| CN114663486A (zh) | 一种基于双目视觉的建筑物测高方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |