CN110310325B - 一种虚拟测量方法、电子设备及计算机可读存储介质 - Google Patents
一种虚拟测量方法、电子设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN110310325B CN110310325B CN201910579042.8A CN201910579042A CN110310325B CN 110310325 B CN110310325 B CN 110310325B CN 201910579042 A CN201910579042 A CN 201910579042A CN 110310325 B CN110310325 B CN 110310325B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- measurement
- cloud model
- acquisition module
- image acquisition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Abstract
本申请实施例公开了一种虚拟测量方法、电子设备及计算机可读存储介质，所述电子设备包括图像采集模组，所述图像采集模组包括彩色图像采集模组和深度图像采集模组，分别用于采集彩色图像和深度图像，利用深度图像和彩色图像进行虚拟测量时，引入深度图像优化相机姿态估计，能够提高测量精度。并且由于包含了测量对象的深度信息，起始测量位置和终止测量位置可以选在无纹理区域，不受测量对象表面特征的影响，扩大了虚拟测量应用范围。
Description
技术领域
本申请涉及图像处理技术，尤其涉及一种虚拟测量方法、电子设备及计算机可读存储介质。
背景技术
网络虚拟测量技术，指使用移动终端的摄像头，来获取真实物体的长度，宽度或者体积方法。目前已经商用的虚拟测量有增强现实(Augmented Reality，AR)尺子。AR技术是一种将真实世界信息和虚拟世界信息无缝集成的技术，是通过传感、计算和图形等技术将虚拟世界的信息应用到真实世界。AR尺子是借助单摄像头及内部惯性测量单元(Inertialmeasurement unit，IMU)，并基于同步定位与地图构建(Simultaneous Localization andMapping，SLAM)原理来实现的。具体的，在拍摄第一张图像之后，移动手机获取第二张图像，根据手机内加速度传感器采集到的数据，根据第一张图像和第二张图像中的“已知特征”以及相互之间的关系和差异，从而产生空间的3D映射，能够计算一点到另一点之间的距离，这就是AR尺子背后的基本原理。但现有的利用单摄像头及IMU实现AR尺子的方法存在测量误差较大的问题。
发明内容
为解决上述技术问题，本申请实施例期望提供一种虚拟测量方法、电子设备及计算机可读存储介质。
本申请的技术方案是这样实现的：
第一方面，提供了一种虚拟测量方法，应用于电子设备，所述电子设备包括图像采集模组，所述图像采集模组包括彩色图像采集模组和深度图像采集模组，所述方法包括：
利用图像采集模组拍摄包含测量起始位置的第一彩色图像和第一深度图像，以及包含测量终止位置的第二彩色图像和第二深度图像；
将所述第一深度图像和所述第二深度图像转换到统一的世界坐标系中，获得第一点云模型和第二点云模型；
利用所述第一彩色图像和所述第二彩色图像进行姿态估计，确定所述图像采集模组在所述测量起始位置和所述测量终止位置之间的姿态转换参数；
基于所述姿态转换参数对所述第一点云模型和第二点云模型进行点云拼接，获取目标点云模型；
基于所述测量起始位置和所述测量终止位置在所述目标点云模型中的三维坐标，确定所述测量起始位置和所述测量终止位置之间的真实距离。
上述方案中，所述利用所述第一彩色图像和所述第二彩色图像进行姿态估计，确定所述图像采集模组在所述测量起始位置和所述测量终止位置之间的姿态转换参数，包括：利用所述第一彩色图像估计所述测量起始位置处所述图像采集模组的第一姿态信息，利用所述第二彩色图像估计所述测量终止位置处所述图像采集模组的第二姿态信息；利用所述第一深度图像优化所述第一姿态信息，利用所述第二深度图像优化所述第二姿态信息；利用优化后的第一姿态信息和优化后的第二姿态信息，确定所述姿态转换参数。
上述方案中，所述基于所述姿态转换参数对所述第一点云模型和第二点云模型进行点云拼接，获取目标点云模型，包括：基于所述姿态转换参数，确定点云模型之间的坐标转换参数；其中，所述坐标转换参数至少包括平移参数和旋转参数；基于所述坐标转换参数，将所述第一点云模型转移至所述第二点云模型的坐标系中，得到所述目标点云模型；或者，将所述第二点云模型转换至所述第一点云模型的坐标系中，得到所述目标点云模型。
上述方案中，所述方法还包括：控制显示单元展示所述目标测量对象上从所述测量起始位置到所述测量终止位置的真实距离。
上述方案中，所述测量起始位置和所述测量终止位置的确定方法包括：通用户输入单元获取第一选择指令，将所述第一选择指令所指示的位置作为所述测量起始位置；通过用户输入单元获取第二选择指令，将所述第二选择指令所指示的位置作为所述测量终止位置。
第二方面，提出了一种电子设备，所述电子设备包括：图像采集模组和处理单元，所述图像参数模组包括彩色图像采集模组和深度图像采集模组；
所述图像采集模组，用于拍摄包含测量起始位置的第一彩色图像和第一深度图像；移动所述图像采集模组，拍摄包含测量终止位置的第二彩色图像和第二深度图像；
所述处理单元，用于利用所述第一彩色图像和所述第二彩色图像进行姿态估计，确定所述图像采集模组在所述测量起始位置和所述测量终止位置之间的姿态转换参数；
所述处理单元，还用于基于所述姿态转换参数对所述第一点云模型和第二点云模型进行点云拼接，获取目标点云模型；基于所述测量起始位置和所述测量终止位置在所述目标点云模型中的三维坐标，确定所述测量起始位置和所述测量终止位置之间的真实距离。
上述方案中，所述处理单元，具体用于利用所述第一彩色图像估计所述测量起始位置处所述图像采集模组的第一姿态信息，利用所述第二彩色图像估计所述测量终止位置处所述图像采集模组的第二姿态信息；利用所述第一深度图像优化所述第一姿态信息，利用所述第二深度图像优化所述第二姿态信息；利用优化后的第一姿态信息和优化后的第二姿态信息，确定所述姿态转换参数。
上述方案中，所述处理单元，具体用于基于所述姿态转换参数，确定点云模型之间的坐标转换参数；其中，所述坐标转换参数至少包括平移参数和旋转参数；基于所述坐标转换参数，将所述第一点云模型转移至所述第二点云模型的坐标系中，得到所述目标点云模型；或者，将所述第二点云模型转换至所述第一点云模型的坐标系中，得到所述目标点云模型。
第三方面，提供了一种电子设备，包括：处理器和配置为存储能够在处理器上运行的计算机程序的存储器，其中，所述处理器配置为运行所述计算机程序时，执行前述方法的步骤。
第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，其中，该计算机程序被处理器执行时实现前述方法的步骤。
采用上述技术方案，利用深度图像和彩色图像进行虚拟测量时，引入深度图像优化相机姿态估计，能够提高测量精度。并且由于包含了测量对象的深度信息，起始测量位置和终止测量位置可以选在无纹理区域，不受测量对象表面特征的影响，扩大了虚拟测量应用范围。
附图说明
图1为本申请实施例中虚拟测量方法的第一流程示意图；
图2为本申请实施例中手机的组成结构示意图；
图3为本申请实施例中虚拟测量方法的第二流程示意图；
图4为本申请实施例中一种虚拟测量场景示意图；
图5为本申请实施例中目标点云模型获取方法的流程示意图；
图6为本申请实施例中电子设备的第一组成结构示意图；
图7为本申请实施例中电子设备的第二组成结构示意图。
具体实施方式
为了能够更加详尽地了解本申请实施例的特点与技术内容，下面结合附图对本申请实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本申请实施例。
实施例一
本申请实施例提供了一种虚拟测量方法，应用于电子设备，所述电子设备包括图像采集模组，所述图像采集模组包括彩色图像采集模组和深度图像采集模组，如图1所示，该虚拟测量方法具体可以包括：
步骤101：利用图像采集模组拍摄包含测量起始位置的第一彩色图像和第一深度图像，以及包含测量终止位置的第二彩色图像和第二深度图像；
步骤102：将所述第一深度图像和所述第二深度图像转换到统一的世界坐标系中，获得第一点云模型和第二点云模型；
步骤103：利用所述第一彩色图像和所述第二彩色图像进行姿态估计，确定所述图像采集模组在所述测量起始位置和所述测量终止位置之间的姿态转换参数；
步骤104：基于所述姿态转换参数对所述第一点云模型和第二点云模型进行点云拼接，获取目标点云模型；
步骤105：基于所述测量起始位置和所述测量终止位置在所述目标点云模型中的三维坐标，确定所述测量起始位置和所述测量终止位置之间的真实距离。
这里，电子设备为同时具备深度图像和彩色图像采集功能的设备，比如，电子设备可以为智能手机、个人电脑(例如平板电脑、台式电脑、笔记本、上网本、掌上电脑)、移动电话、电子书阅读器、便携式多媒体播放器、音频/视频播放器、摄像机、虚拟现实设备和可穿戴设备等。
具体的，可以通过电子设备自动识别目标测量对象上的测量起始位置和测量终止位置。比如，根据用户输入信息确定需要检测目标测量对象的宽度时，若目标测量对象为规则形状，自动识别垂直方向上的第一边界上的最外边界点作为测量起始位置；拍摄到包含目标测试对象的第二边界，自动识别第二边界上的最外边界点作为测量终止位置。
这里，深度图像采集模组可以为结构光模组，飞行时间(Time of flight，TOF)模组、激光对焦模组或者其他能够获取拍摄图像深度信息的图像采集模组。
在计算机图形中深度图像是包含与视点的场景对象的表面的距离有关的信息的图像或图像通道。其中，深度图像类似于灰度图像，只是它的每个像素值是传感器距离物体的实际距离。通常深度图像和深度图像是配准的，因而像素点之间具有一对一的对应关系。
在一些实施例中，所述利用所述第一彩色图像和所述第二彩色图像进行姿态估计，确定所述图像采集模组在所述测量起始位置和所述测量终止位置之间的姿态转换参数，包括：利用所述第一彩色图像估计所述测量起始位置处所述图像采集模组的第一姿态信息，利用所述第二彩色图像估计所述测量终止位置处所述图像采集模组的第二姿态信息；利用所述第一深度图像优化所述第一姿态信息，利用所述第二深度图像优化所述第二姿态信息；利用优化后的第一姿态信息和优化后的第二姿态信息，确定所述姿态转换参数。
实际应用中，彩色图像用于估计相机的姿态，对于两幅图像，首先提取图像中的特征，然后根据两幅图的特征匹配，计算相机的变换矩阵。最常用的是点特征，例如Harris角点，尺度不变特征变换(Scale-invariant feature transform，SIFT)、加速鲁棒特征(Speeded Up Robust Features，SURF)、ORB特征(Oriented FAST and Rotated BRIEF，ORB)等。然后再引入深度图像对相机姿态进行优化，得到优化后的相机姿态，从而提高估计精度。
采用上述方法引入深度图像进行虚拟测量，能够解决仅使用彩色图像测量精度不高的问题，引入深度图像优化相机姿态估计，能够提高测量精度。
在一些实施例中，所述基于所述姿态转换参数对所述第一点云模型和第二点云模型进行点云拼接，获取目标点云模型，包括：基于所述姿态转换参数，确定点云模型之间的坐标转换参数；其中，所述坐标转换参数至少包括平移参数和旋转参数；基于所述坐标转换参数，将所述第一点云模型转移至所述第二点云模型的坐标系中，得到所述目标点云模型；或者，将所述第二点云模型转换至所述第一点云模型的坐标系中，得到所述目标点云模型。
这里，对第一深度图像和第二深度图像转换点云后，可以分别获取其世界坐标，但是由于其相机姿态不同，两组世界坐标的原点位置不在同一个位置。这时需要借助彩色图像，进行特征点估计和特征点匹配等一系列位姿估计操作，估计出两个深度图像之间的相机相对位置，有了这个相对位置，就对前面获取的两张点云图像进行拼接，即将两幅点云图中的原点位置进行合并，获得一张点云图。也就是说，第一点云模型和第二点云模型之间无需包含重合区域，也可以将两个点云模型转换到相同坐标原点的世界坐标系中进而计算两个位置坐标之间的真实距离，能够解决仅使用深度图像进行虚拟测量时，包含测量起始位置和测量终止位置的两帧图像之间没有重叠区域而无法计算测量结果的问题。
将测量起始位置和测量终止位置转换到目标点云模型之后，利用测量起始位置的三维坐标和所述测量终止位置的三维坐标之间的三角关系，进行三角运算得到真实距离。
在一些实施例中，该方法还包括：控制显示单元展示所述目标测量对象上从所述测量起始位置到所述测量终止位置的真实距离。
图2给出了一种电子设备为手机时的组成结构示意图，手机正面包括显示单元201，既可以作为输出单元向用户展示图像采集单元拍摄到的图像信息、显示测量结果，又可以作为输入单元获取用户的触控操作。手机背面包括图像采集模组，具体包括深度图像采集模组202和彩色图像采集模组203；其中，深度图像采集模组202包括发射模组和接收模组，发射模组用于向外发射结构光，接收模组用于接收目标物体表面反射的结构光图案。
采用上述技术方案，利用深度图像和彩色图像进行虚拟测量时，引入深度图像优化相机姿态估计，能够提高测量精度。并且由于包含了测量对象的深度信息，起始测量位置和终止测量位置可以选在无纹理区域，不受测量对象表面特征的影响，扩大了虚拟测量应用范围。
实施例二
本申请实施例提供了一种虚拟测量方法，应用于电子设备，所述电子设备包括图像采集模组，所述图像采集模组包括彩色图像采集模组和深度图像采集模组，如图3所示，该虚拟测量方法具体可以包括：
步骤301：利用图像采集模组拍摄包含测量起始位置的第一彩色图像和第一深度图像，移动移动所述图像采集模组，拍摄包含测量终止位置的第二彩色图像和第二深度图像；
具体的，确定测量起始位置和测量终止位置的方法包括：通用户输入单元获取第一选择指令，将所述第一选择指令所指示的位置作为所述测量起始位置；移动所述图像采集模组，通用户输入单元获取第二选择指令，将所述第二选择指令所指示的位置作为所述测量终止位置。也就是说，测量起始位置和测量终止位置可以根据用户来确定。
图4示出了一种真实的虚拟测量场景，在对真实环境中的目标测量对象进行长度测量时，图像采集模组拍摄目标测量对象，并在显示单元中展示包含测量起始位置的至少部分目标测量对象，用户点击显示单元上的某一位置确定目标测量对象上的测量起始位置，并获取包含测量起始位置的第一彩色图像和第一深度图像。移动手机，使显示单元中展示包含测量终止位置的至少部分目标测量对象，用户点击显示单元上的某一位置确定目标测量对象上的测量终止位置，并获取包含测量终止位置的第二彩色图像和第二深度图像。
在计算机图形中深度图像是包含与视点的场景对象的表面的距离有关的信息的图像或图像通道。其中，深度图像类似于灰度图像，只是它的每个像素值是传感器距离物体的实际距离。通常深度图像和深度图像是配准的，因而像素点之间具有一对一的对应关系。
这里，深度图像采集模组可以为结构光模组，结构光模组包括：发射模组、接收模组和图像处理系统，其原理是发射模组向外发射结构光到目标物体表面，再使用接收模组接收目标物体表面反射的结构光图案，由于接收到的结构光图案必会因物体的立体形状而发生变形，故处理系统可以通过该图案位置和形变程度来计算物体表面的空间信息。
普通的单目测距中，光源是环境光或者白光这种没有经过编码的光源，图像识别完全取决于被拍摄的物体本身的特征点，因此特征点匹配一直一个难点；而结构光测距的不同在于对投射光源进行了编码或者说是特征化。这样，拍摄的是被编码的光源投影到物体上被物体表面的深度调制过的图像，因为结构光光源带有很多特征点或者编码，因此提供了很多的匹配角点或者直接的码字，可以很方便的进行特征点的匹配，换句话说结构光主动提供了很多特征点进行匹配或者直接提供码字，而不再需要使用被摄物体本身具有的特征点，因此可以提供更好的匹配结果。
步骤302：将所述第一深度图像和所述第二深度图像转换到统一的世界坐标系中，获得第一点云模型和第二点云模型；
步骤303：利用所述第一彩色图像和所述第二彩色图像进行姿态估计，确定所述图像采集模组在所述测量起始位置和所述测量终止位置之间的姿态转换参数；
步骤304：基于所述姿态转换参数对所述第一点云模型和第二点云模型进行点云拼接，获取目标点云模型；
在一些实施例中，如图5所示获取目标点云模型的具体方法包括：S1、对彩色图像进行特征提取；S2、特征匹配；S3、初始姿态估计；S4、利用深度图像优化初始姿态估计结果，得到优化后的相机姿态信息；S5、根据优化后的相机姿态信息，确定姿态转换参数；S6、利用姿态转换参数对点云模型进行点云拼接，获取目标点云模型。
步骤305：基于所述测量起始位置和所述测量终止位置在所述目标点云模型中的三维坐标，确定所述测量起始位置和所述测量终止位置之间的真实距离。
上述方案中通过引入深度相机搭配彩色相机，具有以下优势：引入深度图像优化相机姿态估计，能够提高测量精度；通过深度相机可以直接获取测量对象的深度信息，无需额外的初始化过程；由于包含了测量对象的深度信息，起始测量位置和终止测量位置可以选在无纹理区域，不受测量对象表面特征的影响，扩大了虚拟测量应用范围。
实施例三
基于同一发明构思，本申请实施例还提供了一种电子设备，如图6所述，该电子设备包括：图像采集模组601和处理单元602，所述图像参数模组包括彩色图像采集模组和深度图像采集模组；
所述图像采集模组601，用于利用图像采集模组拍摄包含测量起始位置的第一彩色图像和第一深度图像，以及包含测量终止位置的第二彩色图像和第二深度图像；
所述处理单元602，用于利用所述第一彩色图像和所述第二彩色图像进行姿态估计，确定所述图像采集模组在所述测量起始位置和所述测量终止位置之间的姿态转换参数；
所述处理单元602，还用于基于所述姿态转换参数对所述第一点云模型和第二点云模型进行点云拼接，获取目标点云模型；基于所述测量起始位置和所述测量终止位置在所述目标点云模型中的三维坐标，确定所述测量起始位置和所述测量终止位置之间的真实距离。
在一些实施例中，所述处理单元602，具体用于利用所述第一彩色图像估计所述测量起始位置处所述图像采集模组的第一姿态信息，利用所述第二彩色图像估计所述测量终止位置处所述图像采集模组的第二姿态信息；
利用所述第一深度图像优化所述第一姿态信息，利用所述第二深度图像优化所述第二姿态信息；
利用优化后的第一姿态信息和优化后的第二姿态信息，确定所述姿态转换参数。
在一些实施例中，所述处理单元602，具体用于基于所述姿态转换参数，确定点云模型之间的坐标转换参数；其中，所述坐标转换参数至少包括平移参数和旋转参数；
基于所述坐标转换参数，将所述第一点云模型转移至所述第二点云模型的坐标系中，得到所述目标点云模型；或者，将所述第二点云模型转换至所述第一点云模型的坐标系中，得到所述目标点云模型。
在一些实施例中，所述电子设备还包括显示单元，所述显示单元，用于展示所述目标测量对象上从所述测量起始位置到所述测量终止位置的真实距离。
在一些实施例中，所述电子设备还包括用户输入单元，所述用户输入单元，用于获取第一选择指令和第二选择指令；
所述处理单元，用于将所述第一选择指令所指示的位置作为所述测量起始位置，将所述第二选择指令所指示的位置作为所述测量终止位置。
实际应用中，用户输入单元和显示单元可以为电子设备的同一单元，比如，手机的触控显示屏。也可以为电子设备的不同单元，比如，电脑的显示屏、物理键盘和鼠标。
基于上述电子设备中各单元的硬件实现，本申请实施例还提供了另一种电子设备，如图7所示，该电子设备包括：处理器701和配置为存储能够在处理器上运行的计算机程序的存储器702；其中，处理器701配置为运行计算机程序时，执行前述实施例中的方法步骤。
当然，实际应用时，如图7所示，该电子设备中的各个组件通过总线系统703耦合在一起。可理解，总线系统703用于实现这些组件之间的连接通信。总线系统703除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图7中将各种总线都标为总线系统703。
在实际应用中，上述处理器可以为特定用途集成电路(ASIC，ApplicationSpecific Integrated Circuit)、数字信号处理装置(DSPD，Digital Signal ProcessingDevice)、可编程逻辑装置(PLD，Programmable Logic Device)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、控制器、微控制器、微处理器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器功能的电子器件还可以为其它，本申请实施例不作具体限定。
上述存储器可以是易失性存储器(volatile memory)，例如随机存取存储器(RAM，Random-Access Memory)；或者非易失性存储器(non-volatile memory)，例如只读存储器(ROM，Read-Only Memory)，快闪存储器(flash memory)，硬盘(HDD，Hard Disk Drive)或固态硬盘(SSD，Solid-State Drive)；或者上述种类的存储器的组合，并向处理器提供指令和数据。
本申请实施例还提供了一种计算机可读存储介质，用于存储计算机程序。
可选的，该计算机可读存储介质可应用于本申请实施例中的任意一种电子设备，并且该计算机程序使得计算机执行本申请实施例的各个方法中由处理器实现的相应流程，为了简洁，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理模块中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种虚拟测量方法，应用于电子设备，其特征在于，所述电子设备包括图像采集模组，所述图像采集模组包括彩色图像采集模组和深度图像采集模组，所述方法包括：
利用图像采集模组拍摄包含测量起始位置的第一彩色图像和第一深度图像，以及包含所述测量终止位置的第二彩色图像和第二深度图像；
将所述第一深度图像和所述第二深度图像转换到统一的世界坐标系中，获得第一点云模型和第二点云模型；
利用所述第一彩色图像和所述第二彩色图像进行相机姿态估计，确定所述图像采集模组在所述测量起始位置和所述测量终止位置之间的姿态转换参数；
基于所述姿态转换参数对所述第一点云模型和所述第二点云模型进行点云拼接，获取目标点云模型；
基于所述测量起始位置和所述测量终止位置在所述目标点云模型中的三维坐标，确定所述测量起始位置和所述测量终止位置之间的真实距离。
2.根据权利要求1所述的方法，其特征在于，所述利用所述第一彩色图像和所述第二彩色图像进行姿态估计，确定所述图像采集模组在所述测量起始位置和所述测量终止位置之间的姿态转换参数，包括：
利用所述第一彩色图像估计所述测量起始位置处所述图像采集模组的第一姿态信息，利用所述第二彩色图像估计所述测量终止位置处所述图像采集模组的第二姿态信息；
利用所述第一深度图像优化所述第一姿态信息，利用所述第二深度图像优化所述第二姿态信息；
利用优化后的第一姿态信息和优化后的第二姿态信息，确定所述姿态转换参数。
3.根据权利要求1所述的方法，其特征在于，所述基于所述姿态转换参数对所述第一点云模型和第二点云模型进行点云拼接，获取目标点云模型，包括：
基于所述姿态转换参数，确定点云模型之间的坐标转换参数；其中，所述坐标转换参数至少包括平移参数和旋转参数；
基于所述坐标转换参数，将所述第一点云模型转移至所述第二点云模型的坐标系中，得到所述目标点云模型；或者，将所述第二点云模型转换至所述第一点云模型的坐标系中，得到所述目标点云模型。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
控制显示单元展示所述目标测量对象上从所述测量起始位置到所述测量终止位置的真实距离。
5.根据权利要求1所述的方法，其特征在于，所述测量起始位置和所述测量终止位置的确定方法包括：
通用户输入单元获取第一选择指令，将所述第一选择指令所指示的位置作为所述测量起始位置；
通过用户输入单元获取第二选择指令，将所述第二选择指令所指示的位置作为所述测量终止位置。
6.一种电子设备，其特征在于，所述电子设备包括：图像采集模组和处理单元，所述图像参数模组包括彩色图像采集模组和深度图像采集模组；
所述图像采集模组，用于利用图像采集模组拍摄包含测量起始位置的第一彩色图像和第一深度图像，以及包含所述测量终止位置的第二彩色图像和第二深度图像；将所述第一深度图像和所述第二深度图像转换到统一的世界坐标系中，获得第一点云模型和第二点云模型；
所述处理单元，用于利用所述第一彩色图像和所述第二彩色图像进行相机姿态估计，确定所述图像采集模组在所述测量起始位置和所述测量终止位置之间的姿态转换参数；
所述处理单元，还用于基于所述姿态转换参数对所述第一点云模型和所述第二点云模型进行点云拼接，获取目标点云模型；基于所述测量起始位置和所述测量终止位置在所述目标点云模型中的三维坐标，确定所述测量起始位置和所述测量终止位置之间的真实距离。
7.根据权利要求6所述的电子设备，其特征在于，所述处理单元，具体用于利用所述第一彩色图像估计所述测量起始位置处所述图像采集模组的第一姿态信息，利用所述第二彩色图像估计所述测量终止位置处所述图像采集模组的第二姿态信息；
利用所述第一深度图像优化所述第一姿态信息，利用所述第二深度图像优化所述第二姿态信息；
利用优化后的第一姿态信息和优化后的第二姿态信息，确定所述姿态转换参数。
8.根据权利要求6所述的电子设备，其特征在于，所述处理单元，具体用于基于所述姿态转换参数，确定点云模型之间的坐标转换参数；其中，所述坐标转换参数至少包括平移参数和旋转参数；
基于所述坐标转换参数，将所述第一点云模型转移至所述第二点云模型的坐标系中，得到所述目标点云模型；或者，将所述第二点云模型转换至所述第一点云模型的坐标系中，得到所述目标点云模型。
9.一种电子设备，所述电子设备包括：处理器和配置为存储能够在处理器上运行的计算机程序的存储器，
其中，所述处理器配置为运行所述计算机程序时，执行权利要求1至5任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至5任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910579042.8A CN110310325B (zh) | 2019-06-28 | 2019-06-28 | 一种虚拟测量方法、电子设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910579042.8A CN110310325B (zh) | 2019-06-28 | 2019-06-28 | 一种虚拟测量方法、电子设备及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110310325A CN110310325A (zh) | 2019-10-08 |
| CN110310325B true CN110310325B (zh) | 2021-09-10 |
Family
ID=68077898
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910579042.8A Active CN110310325B (zh) | 2019-06-28 | 2019-06-28 | 一种虚拟测量方法、电子设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110310325B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021104203A1 (en) * | 2019-11-27 | 2021-06-03 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Associating device coordinate systems in a multi-person augmented reality system |
| CN112577475A (zh) * | 2021-01-14 | 2021-03-30 | 天津希格玛微电子技术有限公司 | 一种能够有效降低功耗的视频测距方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6535114B1 (en) * | 2000-03-22 | 2003-03-18 | Toyota Jidosha Kabushiki Kaisha | Method and apparatus for environment recognition |
| CN106780619A (zh) * | 2016-11-25 | 2017-05-31 | 青岛大学 | 一种基于Kinect深度相机的人体尺寸测量方法 |
| CN108416804A (zh) * | 2018-02-11 | 2018-08-17 | 深圳市优博讯科技股份有限公司 | 获取目标物体体积的方法、装置、终端设备及存储介质 |
| CN109087393A (zh) * | 2018-07-23 | 2018-12-25 | 汕头大学 | 一种构建三维地图的方法 |
| CN109916301A (zh) * | 2019-03-27 | 2019-06-21 | 青岛小鸟看看科技有限公司 | 一种体积测量方法和深度相机模组 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103017653B (zh) * | 2012-11-27 | 2015-06-24 | 武汉海达数云技术有限公司 | 一种球面全景影像与三维激光扫描点云的配准及测量方法 |
| KR20160017916A (ko) * | 2014-08-07 | 2016-02-17 | 한국전자통신연구원 | 가상 훈련 시뮬레이션 제어 장치 및 그 방법 |
| CN105976353B (zh) * | 2016-04-14 | 2020-01-24 | 南京理工大学 | 基于模型和点云全局匹配的空间非合作目标位姿估计方法 |
| CN108053443B (zh) * | 2017-11-20 | 2019-08-02 | 中国科学院空间应用工程与技术中心 | 一种基于粒子群优化的物体点云位姿估算方法和系统 |
-
2019
- 2019-06-28 CN CN201910579042.8A patent/CN110310325B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6535114B1 (en) * | 2000-03-22 | 2003-03-18 | Toyota Jidosha Kabushiki Kaisha | Method and apparatus for environment recognition |
| CN106780619A (zh) * | 2016-11-25 | 2017-05-31 | 青岛大学 | 一种基于Kinect深度相机的人体尺寸测量方法 |
| CN108416804A (zh) * | 2018-02-11 | 2018-08-17 | 深圳市优博讯科技股份有限公司 | 获取目标物体体积的方法、装置、终端设备及存储介质 |
| CN109087393A (zh) * | 2018-07-23 | 2018-12-25 | 汕头大学 | 一种构建三维地图的方法 |
| CN109916301A (zh) * | 2019-03-27 | 2019-06-21 | 青岛小鸟看看科技有限公司 | 一种体积测量方法和深度相机模组 |
Non-Patent Citations (3)
| Title |
|---|
| A depth optimization method for 2D to 3D conversion based on RGB-D images;H. Chen et al;《2014 4th IEEE International Conference on Network Infrastructure and Digital Content》;20141231;第223-227页 * |
| 一种鲁棒的只需两帧图像的姿态估计方法;钟志光等;《模式识别与人工智能》;20051231;第424-428页 * |
| 基于RGB-D相机的猕猴桃外形和体积检测方法研究;谢洪起;《中国优秀硕士学位论文全文数据库信息科技辑》;20181115(第11期);第1-50页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110310325A (zh) | 2019-10-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11145083B2 (en) | Image-based localization | |
| US9420265B2 (en) | Tracking poses of 3D camera using points and planes | |
| CN110998659B (zh) | 图像处理系统、图像处理方法、及程序 | |
| US10762386B2 (en) | Method of determining a similarity transformation between first and second coordinates of 3D features | |
| CN109887003B (zh) | 一种用于进行三维跟踪初始化的方法与设备 | |
| EP2915140B1 (en) | Fast initialization for monocular visual slam | |
| US9129435B2 (en) | Method for creating 3-D models by stitching multiple partial 3-D models | |
| EP2531979B1 (en) | Depth camera compatibility | |
| WO2016029939A1 (en) | Method and system for determining at least one image feature in at least one image | |
| CN107646109B (zh) | 管理电子设备上的环境映射的特征数据 | |
| WO2011097050A2 (en) | Depth camera compatibility | |
| CN112258574A (zh) | 标注位姿信息的方法、装置及计算机可读存储介质 | |
| CN112424832A (zh) | 用于检测对象的3d关联的系统与方法 | |
| CN110310325B (zh) | 一种虚拟测量方法、电子设备及计算机可读存储介质 | |
| CN111354029A (zh) | 手势深度确定方法、装置、设备及存储介质 | |
| JP6228239B2 (ja) | プリミティブの組を用いてデータをレジストレーションする方法 | |
| US20180033200A1 (en) | System and method for multiple device augmented surface | |
| CN111368675A (zh) | 手势深度信息的处理方法、装置、设备及存储介质 | |
| Yuan et al. | 18.2: Depth sensing and augmented reality technologies for mobile 3D platforms | |
| JP2016071496A (ja) | 情報端末装置、方法及びプログラム | |
| CN112767484B (zh) | 定位模型的融合方法、定位方法、电子装置 | |
| CN116671099A (zh) | 视频帧处理方法和装置 | |
| CN113587916A (zh) | 实时稀疏视觉里程计、导航方法以及系统 | |
| JP2016024728A (ja) | 情報処理装置、情報処理装置の制御方法およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |