CN114494393A - 基于单目相机的空间测量方法、装置、设备和存储介质 - Google Patents

基于单目相机的空间测量方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN114494393A
CN114494393A CN202210099277.9A CN202210099277A CN114494393A CN 114494393 A CN114494393 A CN 114494393A CN 202210099277 A CN202210099277 A CN 202210099277A CN 114494393 A CN114494393 A CN 114494393A
Authority
CN
China
Prior art keywords
original image
pixel points
determining
image
physical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210099277.9A
Other languages
English (en)
Inventor
曹申
樊鲁斌
周昌
黄建强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba China Co Ltd
Original Assignee
Alibaba China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba China Co Ltd filed Critical Alibaba China Co Ltd
Priority to CN202210099277.9A priority Critical patent/CN114494393A/zh
Publication of CN114494393A publication Critical patent/CN114494393A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种基于单目相机的空间测量方法、装置、设备和存储介质，该方法包括：获取单目相机采集的原始图像，确定原始图像对应的相对深度图像；在原始图像中的已知物理尺寸的参照物上确定多对像素点，根据参照物的物理尺寸，确定每对像素点对应的第一物理距离；根据多对像素点在原始图像中分别对应的坐标、每对像素点对应的第一物理距离以及相对深度图像，确定原始图像对应的绝对深度图像；根据绝对深度图像确定原始图像中目标对象的物理空间信息。仅通过对单目相机采集的二维图像学习出相对深度图像，然后根据拍摄场景中一些已知尺寸的参照物的约束，便可以恢复出绝对深度，从而还原出场景中的三维空间信息，实现简单、成本低。

Description

基于单目相机的空间测量方法、装置、设备和存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于单目相机的空间测量方法、装置、设备和存储介质。
背景技术
单目相机是在一些监测应用场景中使用非常广泛的一种传感器设备。传统地，通过单目相机只能获取拍摄画面中的颜色、纹理、形状等二维(2D)信息而无法获取三维(3D)空间信息。但是，在一些应用场景中往往具有实时感知空间的变化的需求，比如：需要监测消防通道的堵塞情况、街道上杂物的占地面积、仓库中的空间占有率等。
面对这些应用需求，目前已经提供的一些方案是：使用激光扫描、3D深度相机或双目相机等专门的具有三维空间感知能力的设备来完成三维空间测量。但是，一方面，使用这些专门设备的成本比较高，另一方面，在目前的很多实际应用场景中，都并未部署这些专门设备，而是部署的传统的单目相机。
发明内容
本发明实施例提供一种基于单目相机的空间测量方法、装置、设备和存储介质，仅使用低成本的单目相机便可以完成三维空间测量任务。
第一方面，本发明实施例提供一种基于单目相机的空间测量方法，所述方法包括：
获取单目相机采集的原始图像；
对所述原始图像进行相对深度预测，以得到所述原始图像对应的相对深度图像；
在所述原始图像中的已知物理尺寸的参照物上确定多对像素点；
根据所述参照物的物理尺寸，确定每对像素点对应的第一物理距离；
根据所述多对像素点在所述原始图像中分别对应的坐标，所述每对像素点对应的第一物理距离，以及所述相对深度图像，确定所述原始图像对应的绝对深度图像；
根据所述绝对深度图像，确定所述原始图像中目标对象的物理空间信息。
第二方面，本发明实施例提供一种基于单目相机的空间测量装置，所述装置包括：
相对深度确定模块，用于获取单目相机采集的原始图像，对所述原始图像进行相对深度预测，以得到所述原始图像对应的相对深度图像；
绝对深度确定模块，用于在所述原始图像中的已知物理尺寸的参照物上确定多对像素点；根据所述参照物的物理尺寸确定每对像素点对应的第一物理距离；根据所述多对像素点在所述原始图像中分别对应的坐标，所述每对像素点对应的第一物理距离，以及所述相对深度图像，确定所述原始图像对应的绝对深度图像；
空间信息确定模块，用于根据所述绝对深度图像，确定所述原始图像中目标对象的物理空间信息。
第三方面，本发明实施例提供一种电子设备，包括：存储器、处理器、通信接口；其中，所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器至少可以实现如第一方面所述的基于单目相机的空间测量方法。
第四方面，本发明实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器至少可以实现如第一方面所述的基于单目相机的空间测量方法。
本发明实施例中，在获取单目相机采集的二维的原始图像后，对原始图像进行相对深度预测以得到原始图像对应的相对深度图像，进而，基于相对深度图像以及原始图像中已知物理尺寸的参照物，确定原始图像对应的绝对深度图像，以便基于绝对深度图像完成原始图像中目标对象的物理空间信息(比如占地面积、高度等)的测量。其中，在确定绝对深度图像的过程中，先在原始图像中的已知物理尺寸的参照物上确定多对像素点，并根据已知的参照物的物理尺寸确定每对像素点对应的物理距离，之后可以根据多对像素点在原始图像中分别对应的坐标，每对像素点对应的物理距离以及相对深度图像，便可以恢复出原始图像对应的绝对深度图像。
进行某目标对象的三维空间信息的测量，需要利用绝对深度图像中指示出的绝对深度信息。在上述方案中，不需要依赖诸如双目相机、3D深度相机、激光雷达等额外的专门设备，仅通过对单目相机采集的二维图像学习出相对深度图像，然后根据拍摄场景中一些已知尺寸的参照物的约束，便可以恢复出绝对深度，利用获取的绝对深度图像就可以还原出拍摄场景中的三维空间信息，实现简单、成本低。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于单目相机的空间测量方法的流程图；
图2为本发明实施例提供的一种绝对深度图像确定方法的流程图；
图3为本发明实施例提供的一种基于单目相机的空间测量方法的应用示意图；
图4为本发明实施例提供的一种目标对象物理空间信息确定过程的流程图；
图5为图4所示实施例中不同投影方向的示意图；
图6为本发明实施例提供的一种基于单目相机的空间测量方法的应用示意图；
图7为本发明实施例提供的一种基于单目相机的空间测量装置的结构示意图；
图8为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图对本发明的一些实施方式作详细说明。在各实施例之间不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。另外，下述各方法实施例中的步骤时序仅为一种举例，而非严格限定。
先对本发明实施例中涉及到的术语或概念进行解释说明：
单目相机：是指仅包含一个相机(可以是可见光相机)的图像采集设备。
基于单目相机的空间测量：是指确定单目相机采集的彩色图像中的指定对象在三维物理空间中对应的一些需要测量的尺寸信息。
物理空间：是指部署单目相机的现实物理场景。
相对深度图像：相对深度图像中每个像素的取值代表的是相对深度值，相对深度图像中测量的深度为物理场景中各物体相对其中某个特定物体的距离，无特定单位。
绝对深度图像：绝对深度图像中每个像素的取值代表的是绝对深度值，绝对深度图像中测量的深度为物理场景中各物体相对单目相机的距离，单位一般为米。
本发明实施例提供的基于单目相机的空间测量方法可以由一电子设备来执行，实际应用中，该电子设备可以是与单目相机通信连接的电子设备。该电子设备可以是服务器，也可以是诸如PC机等用户终端，该服务器可以是云端的物理服务器或虚拟服务器(虚拟机)。
图1为本发明实施例提供的一种基于单目相机的空间测量方法的流程图，如图1所示，该方法包括如下步骤：
101、获取单目相机采集的原始图像。
102、对原始图像进行相对深度预测，以得到原始图像对应的相对深度图像。
103、在原始图像中的已知物理尺寸的参照物上确定多对像素点，根据参照物的物理尺寸，确定每对像素点对应的第一物理距离。
104、根据多对像素点在所述原始图像中分别对应的坐标、每对像素点对应的第一物理距离以及相对深度图像，确定原始图像对应的绝对深度图像。
105、根据绝对深度图像，确定原始图像中目标对象的物理空间信息。
在很多实际应用场景中，都会部署单目相机，以实现视频监测等目的。比如，在某仓库中可以设有单目相机，用于对仓库中存储的物品量进行检测，亦即对仓库的剩余存储空间进行检测。再比如，在大厦的消防通道等位置部署单目相机，以实现安全监测。再比如，在道路交通场景中，路边部署有大量单目相机，用以实现对道路交通环境的监测。
这些单目相机往往在距离地面有些高度的位置，被配置为具有设定的拍摄范围，在开机期间对拍摄范围内的场景进行视频拍摄。本实施例中的上述原始图像可以是从拍摄的视频中采样出的一帧帧图像。原始图像是二维的彩色图像(RGB图像)。
在不同的应用场景中，可能会存在不同的空间测量需求。比如，在上述消防通道处设置单目相机时，一种实际的空间测量需求可能是：监测消防通道的堵塞情况，此时，需要检测出消防通道内放置的物品的占地面积。再比如，在道路交通场景中，出于安全考虑，货车上承载的货物高度不应过高，此时需要监测车辆上货物的高度。再比如还可能存在测量两个不同物体之间的距离，某些物体的宽度、高度，等等空间测量需求。
结合上述举例，本发明实施例中所说的空间测量需求，应该理解为是在真实的物理空间中，测量不同对象(比如物体、人等)的高度、宽度、占地面积，或者不同对象之间的距离等物理空间信息。
单目相机拍得的原始图像中包含需要测量物理空间信息的目标对象，比如为某个物体、某个人体、几个物体，等等。
为了从单目相机拍得的原始图像中，确定出其中目标对象的某种物理空间信息，一个重要的前提是，确定出该原始图像对应的绝对深度图像。其中，对于原始图像中的任一个像素点来说，其在原始图像中对应的像素值表示的是RGB颜色值，其在绝对深度图像中对应的像素值表示的是一个真实的距离值：在相机坐标系下，相应拍摄对象上对应的一点(该像素点在真实拍摄对象上对应的一点)相距单目相机的真实距离。原始图像与绝对深度图像尺寸相同，像素点具有一一对应关系。概括来说，绝对深度图像中测量的深度为场景中真实的空间距离，单位一般为米。
传统的方案中，多是通过能够直接完成绝对深度测量的专门设备(如3D深度相机、激光雷达)来完成绝对深度图像的生成，但是如上述举例的一些实际应用场景中，原本部署的是单目相机，如果将单目相机替换为这些专门设备，成本增高，不利于兼容。
对于绝对深度图像的生成，还可以通过人工智能的方式，通过训练出一个神经网络模型来预测彩色图像对应的绝对深度图像。只是，目前已经实现的一些方案中，该神经网络模型的学习严重依赖于特定场景的训练数据，而收集某应用场景内的单目相机对应的三维深度数据是很困难的，而且该神经网络模型受限于特定的应用场景，对于其他应用场景，预测精度往往很低，没有实用价值。
鉴于此，本发明实施例提供了一种结合相对深度图像以及已知物理尺寸的参照物约束的绝对深度图像生成方案。
首先，在得到单目相机采集的二维的原始图像后，先预测出该原始图像对应的相对深度图像。其中，概括来说，相对深度图像中测量的深度为场景中各物体相对其中某个物体的距离，无特定单位。
具体地，可以将原始图像输入到用于进行相对深度预测的神经网络模型中，以通过该神经网络模型得到原始图像对应的相对深度图像。其中，该神经网络模型基于多对训练样本训练得到，每对训练样本由彩色图像以及对应的相对深度图像组成。
一个彩色图像对应的相对深度图像的获取相比更容易。本发明实施例中的用于进行相对深度图像预测的该神经网络模型可以采用通用的深度数据集进行训练即可，不受限于特定的应用场景，具有良好的通用性。该神经网络模型可以采用卷积神经网络模型，深度神经网络模型等模型结构。
之后，在原始图像中确定已知物理尺寸的参照物，并在参照物上确定出多对像素点，结合每对像素点对应的物理距离以及相对深度图像，确定原始图像对应的绝对深度图像。
其中，已知的物理尺寸可以是参照物的高度、宽度、面积等该参照物的真实尺寸信息。在实际应用中，有些物体的尺寸可能需要符合某些国际或国内或行业标准，比如道路上的斑马线的长度、宽度、间隔等，窨井盖的尺寸，电梯门高度，住宅小区的门高、门宽，等等。这些尺寸需要符合某些标准规定的对象都可以被选为参照物。甚至，比如人体也可以被选为参照物，因为人体的平均身高也是有对应的取值范围的，因此，在一些测量精度要求不高的场景中，也可以将人体选择作为参照物，而该参照物的物理尺寸即确定为平均人体高度。
在一可选实施例中，针对当前的原始图像来说，可以由用户(执行空间测量任务的人员)在该原始图像中人工选定其中作为参照物的对象，并输入该参照物的已知物理尺寸。
在另一可选实施例中，也可以预先训练一个图像识别模型，该图像识别模型具有识别预设的多种参照物的能力，从而，可以基于该图像识别模型对原始图像进行识别，以得到其中包含的参照物。
在确定参照物后，在参照物上选定一对对像素点，像素点对的选择也可以是由用户人工选定的，或者基于设定的选定规则自动选定的。其中，每对像素点对应于相应参照物上的特征位置，比如两端边缘位置。这里的特征位置一般选择为利用已知的该参照物的物理尺寸能够方便确定出一对像素点所对应的物理距离(称为第一物理距离)的位置。
举例来说，假设选择的参照物为一个圆形物体，则选定的一对像素点可以对应于某条直径，这样，这对像素点对应的物理距离即为直径长度，而该参照物的已知物理尺寸中恰好包含其直径值。再比如，假设选择的参照物为一个长方体物体，则选定的一对像素点可以对应于高度方向上的两个端点，或者也可以是宽度方向上的两个端点，这样，这对像素点对应的物理距离即为该物体的高度或宽度，而该参照物的已知物理尺寸中恰好包含其高度和宽度值。
综上，可以概括为：在原始图像中确定出已知物理尺寸的参照物，并在该参照物上确定已知物理距离的像素点对。
实际应用中，在原始图像中确定出的参照物的数量可能为一个，也可能不止一个，下文中绝对深度图像的确定过程中会涉及到一些需要求解的参数变量，下文中会具体介绍，这里仅先说明需要求解的参数变量的数量为3个，因此，为了求解出这3个参数变量，需要至少三个像素点对，以建立至少三个方程。
所以，可选地，在原始图像中的已知物理尺寸的参照物上确定多对像素点，可以实现为没：在原始图像中确定已知物理尺寸的多个参照物，在多个参照物上分别确定至少一对像素点；或者，在原始图像中确定已知物理尺寸的一个参照物，在该一个参照物上确定多对像素点。
简单来说，如果原始图像中存在至少三个参照物，则可以在每个参照物上选定至少一个像素点对；如果原始图像中仅能选出一个参照物，则可以在这个参照物上确定至少三个像素点对。
也就是说，本发明实施例中，需要确定出已知物理距离的至少三对像素点，至于这至少三对像素点对是否位于同一参照物上不做严格限定。只是，为了进一步提高空间测量结果的准确度，多对像素点尽量分布在距离单目相机距离不同的不同参照物上更好，这样有助于得到更加准确的绝对深度图像。
另外，可以理解的是，在原始图像中选定一对像素点后，这对像素点在原始图像中对应的坐标便可以确定，该坐标是图像坐标系下的坐标。图像坐标系通常可以以图像的左上角顶点为原点，沿着图像的宽度和高度方向分别建立坐标轴。因此，每个像素点在原始图像中对应的坐标可以以其对应的行列号来表示，此时，将原始图像理解为是一个由宽度方向对应的总像素点数以及高度方向对应的总像素点数构成的矩阵。比如，原始图像的尺寸为：1280*720，某个像素点位于图像的中心位置，则其在原始图像中对应的坐标为(640,360)。
在通过上述过程得到每对像素点在原始图像中各自对应的坐标，每对像素点对应的物理距离(称为第一物理距离)以及已经得到的相对深度图像后，便可以根据多对像素点在原始图像中分别对应的坐标、每对像素点对应的第一物理距离以及相对深度图像，基于设定的优化算法计算出原始图像对应的绝对深度图像。
实际上，绝对深度与相对深度是存在某种设定的变换关系的，根据成像原理，从实际的原始图像出发，可以计算出上述每对像素点实际对应的物理距离(待求解的)，为区别，称为第二物理距离。而每对像素点对应的真实的物理距离(即上述第一物理距离)是根据相应参照物的已知物理尺寸确定出的，在该第一物理距离的约束下，以使得第二物理距离尽量逼近对应的第一物理距离为目标，可以构建一个优化问题，求解该优化问题便可以明确出上述变换关系，基于明确的变换关系便可以计算出绝对深度图像。其中，上述变换关系中包含需要求解的变换参数，这里明确的变换关系便是指变换参数的取值被确定出后的变换关系。
图2为本发明实施例提供的一种绝对深度图像确定方法的流程图，上述绝对深度图像的确定过程可以参考图2来实施，具体可以包括如下步骤：
201、根据相对深度与绝对深度之间的变换关系，以及多对像素点在相对深度图像中分别对应的相对深度，确定多对像素点分别对应的绝对深度，变换关系中包含待求解的变换参数。
202、根据多对像素点在原始图像中分别对应的坐标以及多对像素点分别对应的绝对深度，确定多对像素点在相机坐标系下分别对应的物理空间坐标。
203、根据多对像素点在相机坐标系下分别对应的物理空间坐标，确定每对像素点对应的第二物理距离。
204、以使每对像素点对应的第一物理距离与第二物理距离相等为目标，求解所述变换关系中的变换参数值。
205、根据变换参数值和相对深度图像，确定原始图像对应的绝对深度图像。
绝对深度图像与相对深度图像和原始图像具有相同的尺寸，相对深度图像中一个像素点对应的像素值表示的是其对应的相对深度值，绝对深度图像中相应像素点对应的像素值表示的是其对应的绝对深度值，该绝对深度值亦即为在相机坐标系下相距相机的物理距离。
绝对深度与相对深度存在的线性变换关系可以表示为：zi＝s*di+t，其中，di表示像素点i对应的相对深度，zi表示像素点i对应的绝对深度，s和t表示两个待求解的变换参数。
为便于理解，这里仅以一对像素点为例来说明，假设这对像素点表示为p0，p1，在原始图像中分别对应的坐标表示为：p0＝(u0,v0)，p1＝(u1,v1)。假设通过查询相对深度图像确定这两个像素点对应的相对深度分别表示为：d0,d1。从而，基于上述变换关系以及每对像素点在相对深度图像中对应的相对深度可以确定出每对像素点对应的绝对深度，即每对像素点中的每个像素点对应的绝对深度：这两个像素点对应的绝对深度分别表示为：z0＝s*d0+t，z1＝s*d1+t。
根据相机成像原理，可以根据每对像素点在原始图像中分别对应的坐标以及每对像素点对应的绝对深度，确定出该每对像素点在相机坐标系下分别对应的物理空间坐标。
具体地，可以确定原始图像的像素总宽度和像素总高度。针对多对像素点中的任一像素点，根据所述像素总宽度、像素总高度、该任一像素点对应的绝对深度以及待求解的相机焦距，对该任一像素点在原始图像中对应的坐标进行从图像坐标系到相机坐标系的坐标变换，以得到该任一像素点在相机坐标系下对应的物理空间坐标。
继续举例来说，假设上述两个像素点在相机坐标系下分别对应的物理空间坐标表示为(x0,y0,z0)，(x1,y1,z1)。其中：
x0＝(u0-cx)*z0/f,y0＝(v0-cy)*z0/f；
x1＝(u1-cx)*z1/f,y1＝(v1-cy)*z1/f。
其中，cx和cy分别表示原始图像的像素总宽度的一半和像素总高度的一半，f表示待求解的相机焦距。
在得到上述两个像素点在相机坐标系下分别对应的物理空间坐标后，根据物理空间中两个点之间的欧式距离公式可以计算上述两个像素点对应的第二物理距离：L01＝[(x0-x1)2+(y0-y1)2+(z0-z1)2]1/2。在该物理距离中一共有3个待求解的参数：相机焦距f、尺度参数s和平移参数t。
针对已经得到的每对像素点都进行上述第二物理距离的计算，便可以得到多个第二物理距离的计算公式，一个第二物理距离对应于一对像素点。
之后，以使每对像素点对应的第一物理距离与第二物理距离相等为目标，求解出上述变换关系中的变换参数值，即s和t的取值，还可以求解出f的值。
可以建立如下的优化函数：min∑Lij-Lgt，其中，Lij表示像素点i与像素点j之间的第二物理距离，Lgt表示像素点i与像素点j之间的第一物理距离。加和符合表示对多对像素点各自对应的距离差进行求和。可以通过诸如最小二乘法等算法对上述优化函数进行求解，可以求解出s、t、f这三个参数值。
在得到上述参数值后，基于上述变换关系：zi＝s*di+t，对相对深度图像中的每个像素值进行变换，便可以得到原始图像对应的绝对深度图像。
在得到绝对深度图像后，便可以基于该绝对深度图像完成原始图像中目标对象的物理空间信息的测定。
其中，目标对象可以是用户人为选定的一个对象。实际应用中，用户在选定这个目标对象后，还可以输入与该目标对象对应的空间测量任务，比如测量其高度，或者测量其宽度，或者测量其占地面积。从绝对深度图像中确定与该目标对象对应的各个像素点所对应的绝对深度，便可以基于这些像素点对应的绝对深度完成与该空间测量任务对应的物理空间信息的确定。比如，假设该空间测量任务是测量目标对象的高度，则可以根据目标对象在高度方向上对应的两个边界位置的像素点的绝对深度计算出该目标对象的高度。
综上，进行某目标对象的三维空间信息的测量时，需要利用绝对深度图像中指示出的绝对深度信息。在上述方案中，不需要依赖诸如双目相机、3D深度相机、激光雷达等额外的专门设备，仅通过对单目相机采集的二维图像学习出相对深度图像，然后根据拍摄场景中一些已知尺寸的参照物的约束，便可以恢复出绝对深度，利用获取的绝对深度图像就可以还原出拍摄场景中的三维空间信息，实现简单、成本低。
为便于理解，结合一个实际应用场景为例来说明。在图3中，假设在某个大厦的某消防通道处部署了一个单目相机，在单目相机的拍摄范围内，放置有一个用于放置灭火器的消防箱，并且假设这个消防箱的尺寸(长、宽、高)是已知的，该单目相机还可以拍摄到一个客用电梯，电梯的高度、宽度也是已知的。假设有人在消防通道里摆放了一个物体，为图中示意的圆柱形物体。大厦物业人员通过单目相机可以查看消防通道的情况。假设单目相机采集的视频回传到大厦的管理端，从单目相机采集的视频中采样出图3中示意的原始图像，则如图3中所示，可以先预测出原始图像对应的相对深度图像，在原始图像中确定出作为参照物的电梯以及消防箱，从参照物选出物理距离已知的多对像素点，之后，基于多对像素点在原始图像中各自对应的坐标、每对像素点对应的物理距离以及相对深度图像，恢复出原始图像对应的绝对深度图像。用户在原始图像中选定被测的目标对象为图中示意的圆柱形物体，需要测量出该物体的占地面积，则可以基于该绝对深度图像中该目标对象上一些特征像素点对应的绝对深度，计算出其占地面积，该特征像素点比如为图中以黑色圆点示意的一些边界位置。
在一可选实施例中，在得到原始图像对应的绝对深度图像后，为便于对用户选定的目标对象进行其物理空间信息的计算，本发明实施例还提供了一种将相机视角转换成地面视角的空间测量方法，其中，绝对深度图像对应于相机视角，即其中每个像素点对应的绝对深度是在相机坐标系下对应的取值，相机坐标系的坐标原点为单目相机部署位置。
如图4所示，目标对象的物理空间信息的确定过程，可以包括如下步骤：
401、根据绝对深度图像和相机焦距，对原始图像进行从图像坐标系到相机坐标系的坐标变换，以得到原始图像中各像素点在相机坐标系下对应的物理空间坐标。
图像坐标系到相机坐标系下的变换上文中已经介绍过，变换公式可以表示为：
Figure BDA0003488873420000091
其中，(u,v)表示原始图像中一个像素点在原始图像中的坐标，z表示该像素点对应的绝对深度，f表示相机焦距，cx和cy别表示原始图像的像素总宽度的一半和像素总高度的一半，(x,y,z)表示该像素点在相机坐标系下对应的物理空间坐标。
通过上述变换，可以实现二维的原始图像到相机坐标系下的坐标变换。
402、根据绝对深度图像标定地面方程，以得到相机坐标系与地面坐标系的变换矩阵。
地面方程的标定属于现有技术，在此不赘述。简单来说，地面方程的标定，目的是实现相机坐标系变换到地面坐标系的变换，因为在相机坐标系下，对场景中各个对象的位置描述都是以相机为原点的角度来描述的，度量不方便，而各个对象实际上都是位于地面上的，常用的描述方式都是相对地面来说其高度、占地面积是多少，因此，转换为地面坐标系下计算更为方便。
通过地面方程的标定，可以得到相机坐标系与地面坐标系的变换矩阵，主要包括旋转矩阵R和平移矩阵T。标定的地面坐标系的原点可以是相机垂直投影到地面的位置。
403、根据所述变换矩阵对原始图像中各像素点在相机坐标系下对应的物理空间坐标进行变换，得到各像素点在地面坐标系下对应的物理空间坐标。
上述变换可以表示为如下公式：
Figure BDA0003488873420000092
其中，xfloor、yfloor、zfloor分别表示相机坐标系下某物理空间坐标在地面坐标系下对应的物理空间坐标。
404、根据原始图像中各像素点在地面坐标系下对应的物理空间坐标，确定原始图像中目标对象的物理空间信息。
通过上述步骤的处理，便可以得到原始图像中各像素点在地面坐标系下对应的物理空间坐标，在用户选定原始图像中的目标对象后，可以根据目标对象上像素点在地面坐标系下对应的物理空间坐标，计算出目标对象的需要被计算的某种物理空间信息。比如，需要计算目标对象的高度，则可以对目标对象的高度方向上两个端点像素各自在地面坐标系下对应的物理空间坐标，进行距离计算，便可以得到目标对象的高度。
而实际应用中，需要对目标对象进行的物理空间信息的计算可能多种多种，为便于完成各种计算需求，在一可选实施例中，根据原始图像中各像素点在地面坐标系下对应的物理空间坐标，确定原始图像中目标对象的物理空间信息，还可以实现为：
获取用户在原始图像中选定的目标对象，以及用户输入的对目标对象的空间测量任务；
根据所述空间测量任务确定目标投影方向；
将原始图像中各像素点在地面坐标系下对应的物理空间坐标，按照目标投影方向进行投影，得到投影后坐标；
根据目标对象上的像素点所对应的投影后坐标，确定目标对象在所述空间测量任务下对应的物理空间信息。
上述投影实际上是将三维点云数据(地面坐标系下对应的三维坐标)转换为了二维。
针对不同类型的空间测量任务，可以设定对应的投影方向。比如，针对需要测量高度的任务，可以设置投影方向为正视图方向；针对需要测量占地面积的任务，可以设置对应的投影方向为俯视图方向。
在得到原始图像中各像素点在地面坐标系下对应的物理空间坐标，以及基于用户输入的空间测量任务确定出对应的目标投影方向后，对原始图像中各像素点在地面坐标系下对应的物理空间坐标按照目标投影方向进行投影，得到各个像素点对应的投影后坐标，亦即得到对应于目标投影方向的二维图像。图5中示意了原始图像分别经过俯视图和正视图投影后的二维图像。
比如，当目标对象为图5中示意的两个物体时，假设空间测量任务是测量这两个物体各自的高度，则可以确定目标投影方向为正视图方向，此时，可以基于投影后得到的正视图中，两个物体各自在高度方向上对应的两个端点像素各自对应的投影后坐标，直接计算出两个物体各自的高度。
再比如，当目标对象为图5中示意的两个物体时，假设空间测量任务是测量图中圆柱形物体的占地面积，以及测量两个物体之间的距离，则可以确定目标投影方向为俯视图方向，此时，可以在投影后得到的俯视图中选定完成每个测量任务使用的像素点，继而基于选定的像素点所对应的投影后坐标，计算出对应的物理空间信息。选出的像素点可以是图中标注的圆点。
本发明提供的基于单目相机的空间测量方法可以在云端来执行，在云端可以部署有若干计算节点，每个计算节点中都具有计算、存储等处理资源。在云端，可以组织由多个计算节点来提供某种服务，当然，一个计算节点也可以提供一种或多种服务。云端提供该服务的方式可以是对外提供服务接口，用户调用该服务接口以使用相应的服务。服务接口包括软件开发工具包(Software Development Kit，简称SDK)、应用程序接口(ApplicationProgramming Interface，简称API)等形式。
针对本发明实施例提供的方案，云端可以提供有空间测量服务的服务接口，用户通过用户设备调用该服务接口，以向云端触发空间计算请求，该请求中包括单目相机采集的原始图像以及用户在原始图像中选定的待测的目标对象以及参照物。云端确定响应该请求的计算节点，利用该计算节点中的处理资源执行如下步骤：
对原始图像进行相对深度预测，以得到所述原始图像对应的相对深度图像；
在所述原始图像中的已知物理尺寸的参照物上确定多对像素点；
根据所述参照物的物理尺寸，确定每对像素点对应的第一物理距离；
根据所述多对像素点在所述原始图像中分别对应的坐标，所述每对像素点对应的第一物理距离，以及所述相对深度图像，确定所述原始图像对应的绝对深度图像；
根据所述绝对深度图像，确定所述原始图像中目标对象的物理空间信息；
向用户设备发送目标对象的物理空间信息。
上述执行过程可以参考前述其他实施例中的相关说明，在此不赘述。
为便于理解，结合图6来示例性说明。用户可以通过图6中示意的用户设备E1调用空间测量服务，以上传包含原始图像以及标注信息的服务请求，标注信息比如包括在原始图像中选定的目标对象、参照物以及参照物上选定的像素点对。在云端，如图中所示，部署有若干计算节点，可以基于某种调度策略从中选定计算节点E2，计算节点E2在接收到该服务请求后，执行上述计算过程，以得到目标对象的物理空间信息。之后，计算节点E2将目标对象的物理空间信息发送给用户设备E1。
以下将详细描述本发明的一个或多个实施例的基于单目相机的空间测量装置。本领域技术人员可以理解，这些装置均可使用市售的硬件组件通过本方案所教导的步骤进行配置来构成。
图7为本发明实施例提供的一种基于单目相机的空间测量装置的结构示意图，如图7所示，该装置包括：相对深度确定模块11、绝对深度确定模块12、空间信息确定模块13。
相对深度确定模块11，用于获取单目相机采集的原始图像，对所述原始图像进行相对深度预测，以得到所述原始图像对应的相对深度图像像。
绝对深度确定模块12，用于在所述原始图像中的已知物理尺寸的参照物上确定多对像素点；根据所述参照物的物理尺寸确定每对像素点对应的第一物理距离；根据所述多对像素点在所述原始图像中分别对应的坐标，所述每对像素点对应的第一物理距离，以及所述相对深度图像像，确定所述原始图像对应的绝对深度图像。
空间信息确定模块13，用于根据所述绝对深度图像，确定所述原始图像中目标对象的物理空间信息。
可选地，所述相对深度确定模块11具体用于：将所述原始图像输入到用于进行相对深度预测的神经网络模型中，以通过所述神经网络模型得到所述原始图像对应的相对深度图像；其中，所述神经网络模型基于多对训练样本训练得到，每对训练样本由彩色图像以及对应的相对深度图像组成。
可选地，所述相对深度确定模块11具体用于：在所述原始图像中确定已知物理尺寸的多个参照物，在所述多个参照物上分别确定至少一对像素点；或者，在所述原始图像中确定已知物理尺寸的一个参照物，在所述一个参照物上确定多对像素点；其中，每对像素点对应于相应参照物上的特征位置。
可选地，所述绝对深度确定模块12具体用于：根据相对深度与绝对深度之间的变换关系，以及所述多对像素点在所述相对深度图像中分别对应的相对深度，确定所述多对像素点分别对应的绝对深度，所述变换关系中包含待求解的变换参数；根据所述多对像素点在所述原始图像中分别对应的坐标以及所述多对像素点分别对应的绝对深度，确定所述多对像素点在相机坐标系下分别对应的物理空间坐标；根据所述多对像素点在相机坐标系下分别对应的物理空间坐标，确定每对像素点对应的第二物理距离；以使每对像素点对应的所述第一物理距离与所述第二物理距离相等为目标，求解所述变换关系中的变换参数值；根据所述变换参数值和所述相对深度图像，确定所述原始图像对应的绝对深度图像。
可选地，所述绝对深度确定模块12具体用于：确定所述原始图像的像素总宽度和像素总高度；针对所述多对像素点中的任一像素点，根据所述像素总宽度、所述像素总高度、所述任一像素点对应的绝对深度以及待求解的相机焦距，对所述任一像素点在所述原始图像中对应的坐标进行从图像坐标系到相机坐标系的坐标变换，以得到所述任一像素点在所述相机坐标系下对应的物理空间坐标。
可选地，所述空间信息确定模块13具体用于：根据所述绝对深度图像和相机焦距，对所述原始图像进行从图像坐标系到相机坐标系的坐标变换，以得到所述原始图像中各像素点在所述相机坐标系下对应的物理空间坐标；根据所述绝对深度图像标定地面方程，以得到所述相机坐标系与地面坐标系的变换矩阵；根据所述变换矩阵对所述各像素点在所述相机坐标系下对应的物理空间坐标进行变换，得到所述各像素点在所述地面坐标系下对应的物理空间坐标；根据所述各像素点在所述地面坐标系下对应的物理空间坐标，确定所述原始图像中目标对象的物理空间信息。
可选地，所述空间信息确定模块13具体用于：获取用户在所述原始图像中选定的目标对象，以及所述用户输入的对所述目标对象的空间测量任务；根据所述空间测量任务确定目标投影方向；将所述各像素点在所述地面坐标系下对应的物理空间坐标，按照目标投影方向进行投影，得到投影后坐标；根据所述目标对象上的像素点所对应的投影后坐标，确定所述目标对象在所述空间测量任务下对应的物理空间信息。
在一个可能的设计中，上述图7所示基于单目相机的空间测量装置的结构可实现为一电子设备。如图8所示，该电子设备可以包括：处理器21、存储器22、通信接口23。其中，存储器22上存储有可执行代码，当所述可执行代码被处理器21执行时，使处理器21至少可以实现如前述实施例中提供的基于单目相机的空间测量方法。
另外，本发明实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器至少可以实现如前述实施例中提供的基于单目相机的空间测量方法。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的网元可以是或者也可以不是物理上分开的。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现，当然也可以通过硬件和软件结合的方式来实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以计算机产品的形式体现出来，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (11)

1.一种基于单目相机的空间测量方法，其特征在于，包括：
获取单目相机采集的原始图像；
对所述原始图像进行相对深度预测，以得到所述原始图像对应的相对深度图像；
在所述原始图像中的已知物理尺寸的参照物上确定多对像素点；
根据所述参照物的物理尺寸，确定每对像素点对应的第一物理距离；
根据所述多对像素点在所述原始图像中分别对应的坐标，所述每对像素点对应的第一物理距离，以及所述相对深度图像，确定所述原始图像对应的绝对深度图像；
根据所述绝对深度图像，确定所述原始图像中目标对象的物理空间信息。
2.根据权利要求1所述的方法，其特征在于，所述对所述原始图像进行相对深度预测，以得到所述原始图像对应的相对深度图像，包括：
将所述原始图像输入到用于进行相对深度预测的神经网络模型中，以通过所述神经网络模型得到所述原始图像对应的相对深度图像；其中，所述神经网络模型基于多对训练样本训练得到，每对训练样本由彩色图像以及对应的相对深度图像组成。
3.根据权利要求1所述的方法，其特征在于，所述在所述原始图像中的已知物理尺寸的参照物上确定多对像素点，包括：
在所述原始图像中确定已知物理尺寸的多个参照物，在所述多个参照物上分别确定至少一对像素点；或者，
在所述原始图像中确定已知物理尺寸的一个参照物，在所述一个参照物上确定多对像素点；其中，每对像素点对应于相应参照物上的特征位置。
4.根据权利要求1所述的方法，其特征在于，所述根据所述多对像素点在所述原始图像中分别对应的坐标，所述每对像素点对应的第一物理距离，以及所述相对深度图像，确定所述原始图像对应的绝对深度图像，包括：
根据相对深度与绝对深度之间的变换关系，以及所述多对像素点在所述相对深度图像中分别对应的相对深度，确定所述多对像素点分别对应的绝对深度，所述变换关系中包含待求解的变换参数；
根据所述多对像素点在所述原始图像中分别对应的坐标以及所述多对像素点分别对应的绝对深度，确定所述多对像素点在相机坐标系下分别对应的物理空间坐标；
根据所述多对像素点在相机坐标系下分别对应的物理空间坐标，确定每对像素点对应的第二物理距离；
以使每对像素点对应的所述第一物理距离与所述第二物理距离相等为目标，求解所述变换关系中的变换参数值；
根据所述变换参数值和所述相对深度图像，确定所述原始图像对应的绝对深度图像。
5.根据权利要求4所述的方法，其特征在于，所述根据所述多对像素点在所述原始图像中分别对应的坐标以及所述多对像素点分别对应的绝对深度，确定所述多对像素点在相机坐标系下分别对应的物理空间坐标，包括：
确定所述原始图像的像素总宽度和像素总高度；
针对所述多对像素点中的任一像素点，根据所述像素总宽度、所述像素总高度、所述任一像素点对应的绝对深度以及待求解的相机焦距，对所述任一像素点在所述原始图像中对应的坐标进行从图像坐标系到相机坐标系的坐标变换，以得到所述任一像素点在所述相机坐标系下对应的物理空间坐标。
6.根据权利要求1所述的方法，其特征在于，所述根据所述绝对深度图像，确定所述原始图像中目标对象的物理空间信息，包括：
根据所述绝对深度图像和相机焦距，对所述原始图像进行从图像坐标系到相机坐标系的坐标变换，以得到所述原始图像中各像素点在所述相机坐标系下对应的物理空间坐标；
根据所述绝对深度图像标定地面方程，以得到所述相机坐标系与地面坐标系的变换矩阵；
根据所述变换矩阵对所述各像素点在所述相机坐标系下对应的物理空间坐标进行变换，得到所述各像素点在所述地面坐标系下对应的物理空间坐标；
根据所述各像素点在所述地面坐标系下对应的物理空间坐标，确定所述原始图像中目标对象的物理空间信息。
7.根据权利要求6所述的方法，其特征在于，所述根据所述各像素点在所述地面坐标系下对应的物理空间坐标，确定所述原始图像中目标对象的物理空间信息，包括：
获取用户在所述原始图像中选定的目标对象，以及所述用户输入的对所述目标对象的空间测量任务；
根据所述空间测量任务确定目标投影方向；
将所述各像素点在所述地面坐标系下对应的物理空间坐标，按照目标投影方向进行投影，得到投影后坐标；
根据所述目标对象上的像素点所对应的投影后坐标，确定所述目标对象在所述空间测量任务下对应的物理空间信息。
8.一种基于单目相机的空间测量装置，其特征在于，包括：
相对深度确定模块，用于获取单目相机采集的原始图像，对所述原始图像进行相对深度预测，以得到所述原始图像对应的相对深度图像；
绝对深度确定模块，用于在所述原始图像中的已知物理尺寸的参照物上确定多对像素点；根据所述参照物的物理尺寸确定每对像素点对应的第一物理距离；根据所述多对像素点在所述原始图像中分别对应的坐标，所述每对像素点对应的第一物理距离，以及所述相对深度图像，确定所述原始图像对应的绝对深度图像；
空间信息确定模块，用于根据所述绝对深度图像，确定所述原始图像中目标对象的物理空间信息。
9.根据权利要求8所述的装置，其特征在于，所述绝对深度确定模块具体用于：
根据相对深度与绝对深度之间的变换关系，以及所述多对像素点在所述相对深度图像中分别对应的相对深度，确定所述多对像素点分别对应的绝对深度，所述变换关系中包含待求解的变换参数；
根据所述多对像素点在所述原始图像中分别对应的坐标以及所述多对像素点分别对应的绝对深度，确定所述多对像素点在相机坐标系下分别对应的物理空间坐标；
根据所述多对像素点在相机坐标系下分别对应的物理空间坐标，确定每对像素点对应的第二物理距离；
以使每对像素点对应的所述第一物理距离与所述第二物理距离相等为目标，求解所述变换关系中的变换参数值；
根据所述变换参数值和所述相对深度图像，确定所述原始图像对应的绝对深度图像。
10.一种电子设备，其特征在于，包括：存储器、处理器、通信接口；其中，所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1至7中任一项所述的基于单目相机的空间测量方法。
11.一种非暂时性机器可读存储介质，其特征在于，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1至7中任一项所述的基于单目相机的空间测量方法。
CN202210099277.9A 2022-01-25 2022-01-25 基于单目相机的空间测量方法、装置、设备和存储介质 Pending CN114494393A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210099277.9A CN114494393A (zh) 2022-01-25 2022-01-25 基于单目相机的空间测量方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210099277.9A CN114494393A (zh) 2022-01-25 2022-01-25 基于单目相机的空间测量方法、装置、设备和存储介质

Publications (1)

Publication Number Publication Date
CN114494393A true CN114494393A (zh) 2022-05-13

Family

ID=81476546

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210099277.9A Pending CN114494393A (zh) 2022-01-25 2022-01-25 基于单目相机的空间测量方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN114494393A (zh)

Similar Documents

Publication Publication Date Title
CN107836012B (zh) 投影图像生成方法及其装置、图像像素与深度值之间的映射方法
Golparvar-Fard et al. Evaluation of image-based modeling and laser scanning accuracy for emerging automated performance monitoring techniques
CN113592989B (zh) 一种三维场景的重建系统、方法、设备及存储介质
US11380078B2 (en) 3-D reconstruction using augmented reality frameworks
CN107079093B (zh) 校准装置
CN111445531B (zh) 一种多目相机导航方法、装置、设备及存储介质
CN103377471B (zh) 物体定位方法和装置、最优摄像机对确定方法和装置
WO2022217988A1 (zh) 传感器配置方案确定方法、装置、计算机设备、存储介质及程序
CN112634340A (zh) 基于点云数据确定bim模型的方法、装置、设备和介质
WO2015122658A1 (ko) 비전 센서 데이터베이스를 이용한 거리 측정 방법
CN115035162A (zh) 基于视觉slam的监控视频人员定位跟踪方法及系统
CN108444452B (zh) 目标经纬度和拍摄装置的三维空间姿态的检测方法及装置
CN114531700B (zh) 一种非人工的基站天线工参采集系统及方法
CN113344906B (zh) 车路协同中相机评估方法、装置、路侧设备和云控平台
CN113077523B (zh) 一种标定方法、装置、计算机设备及存储介质
CN114821497A (zh) 目标物位置的确定方法、装置、设备及存储介质
CN114529585A (zh) 基于深度视觉和惯性测量的移动设备自主定位方法
Hödlmoser et al. Multiple camera self-calibration and 3D reconstruction using pedestrians
KR101996226B1 (ko) 피사체의 3차원 위치 측정 장치 및 그 방법
CN116152471A (zh) 基于视频流的厂区安全生产监管方法及其系统、电子设备
CN114943805B (zh) 停车遮挡确定方法、装置、设备、存储介质及程序产品
CN114494393A (zh) 基于单目相机的空间测量方法、装置、设备和存储介质
CN113284106A (zh) 距离检测方法及装置
CN113792645A (zh) 一种融合图像和激光雷达的ai眼球
CN112033284B (zh) 存储器、基于监控视频的交互测量方法、系统和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination