CN112652056A - 一种3d信息展示方法及装置 - Google Patents

一种3d信息展示方法及装置 Download PDF

Info

Publication number
CN112652056A
CN112652056A CN202011572696.7A CN202011572696A CN112652056A CN 112652056 A CN112652056 A CN 112652056A CN 202011572696 A CN202011572696 A CN 202011572696A CN 112652056 A CN112652056 A CN 112652056A
Authority
CN
China
Prior art keywords
image
model
point
acquisition
cloud data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011572696.7A
Other languages
English (en)
Other versions
CN112652056B (zh
Inventor
娄志云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN202011572696.7A priority Critical patent/CN112652056B/zh
Publication of CN112652056A publication Critical patent/CN112652056A/zh
Application granted granted Critical
Publication of CN112652056B publication Critical patent/CN112652056B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明实施例提供了一种3D信息展示方法及装置，涉及数据处理技术领域，其中，上述方法包括：获得目标物体的各个图像组，其中，每一图像组中包括多个图像采集设备在同一采集时刻从不同采集角度采集的、包含目标物体的图像，各个图像组对应的采集时刻不同。根据各个图像组，重构目标物体在不同采集时刻的3D模型，得到各个3D模型的点云数据。在接收到针对目标物体的3D信息展示指令的情况下，根据各组点云数据，按照各组点云数据对应的采集时刻的顺序，依次渲染各个采集时刻对应的3D模型，实现3D信息展示。应用本发明实施例提供的方案展示3D信息，可以通过3D模型重现动态物体的动态信息。

Description

一种3D信息展示方法及装置
技术领域
本发明涉及数据处理技术领域，特别是涉及一种3D信息展示方法及装置。
背景技术
2D图像可以记录并重现现实世界中真实物体的信息，但2D图像仅能够重现真实物体的二维平面信息，信息重现效果较差。随着3D技术的发展，应用3D技术能够重构现实世界中真实物体的3D模型，通过3D模型可以重现真实物体三维的立体信息，信息重现效果较好。因此，通过3D模型重现真实物体的信息广泛的应用于VR(Virtual Reality，虚拟现实)等领域。
但应用现有技术往往仅能基于2D图像重构出2D图像中物体的3D模型，由于2D图像是静态图像，所以，通过重构出的3D模型仅能重现静态物体的静态信息。但现实世界中的真实物体往往是运动的动态物体，例如，运动中的人、动物等。又由于动态物体的运动状态是由物体自身控制的，具有随机性，因此，需要提供一种基于3D模型重现动态物体的方案。
发明内容
本发明实施例的目的在于提供一种3D视频播放方法及装置，从而通过3D模型重现动态物体的动态信息。具体技术方案如下：
第一方面，本发明实施例提供了一种3D信息展示方法，所述方法包括：
获得目标物体的各个图像组，其中，每一图像组中包括多个图像采集设备在同一采集时刻从不同采集角度采集的、包含所述目标物体的图像，各个图像组对应的采集时刻不同；
根据各个图像组，重构所述目标物体在不同采集时刻的3D模型，得到各个3D模型的点云数据；
在接收到针对所述目标物体的3D信息展示指令的情况下，根据各组点云数据，按照各组点云数据对应的采集时刻的顺序，依次渲染各个采集时刻对应的3D模型，实现3D信息展示。
本发明的一个实施例中，所述根据各个图像组，重构所述目标物体在不同采集时刻的3D模型，包括：
针对每一图像组，通过以下方式重构该图像组对应的目标物体的3D模型：
对该图像组中的各个图像进行特征提取，得到各个图像中的特征像素点；
基于各个图像中的特征像素点的第一特征，确定不同图像中对应于所述目标物体上相同位置的匹配像素点，其中，所述第一特征包括：像素点的像素点位置与第一内容子特征；
根据各个图像中匹配像素点的位置以及各个图像采集设备的设备位姿和设备内参，获得对所述目标物体进行图像采集的模拟采集设备的模拟位姿和模拟内参，其中，所述模拟采集设备的采集范围和各个图像采集设备的采集范围并集相同；
根据所述匹配像素点的第一特征、模拟位姿与模拟内参，预测各个匹配像素点在3D模型中对应点的第二特征，其中，所述第二特征包括：3D模型中点的三维位置与第二内容子特征；
根据所述模拟位姿、模拟内参与图像中各个像素点的像素坐标，获得各个像素点的深度信息；
根据各个匹配像素点在3D模型中对应点的第二特征、各个像素点的深度信息与第一特征，重构该图像组对应的目标物体的3D模型。
本发明的一个实施例中，所述根据所述匹配像素点的第一特征、模拟位姿与模拟内参，预测各个匹配像素点在3D模型中对应点的第二特征，包括：
根据图像中各个匹配像素点的第一特征中的像素点位置、模拟位姿与模拟内参，预测各个匹配像素点在3D模型中对应点的三维位置；
针对每个匹配像素点，根据该匹配像素点的第一特征中的第一内容子特征与该匹配像素点在3D模型中对应点的三维位置，确定该匹配像素点在3D模型中对应点的第二特征。
本发明的一个实施例中，所述根据所述模拟位姿、模拟内参与图像中各个像素点的像素坐标，获得各个像素点的深度信息，包括：
对各个图像进行图像去畸变处理，得到去畸变之后的图像；
根据所述模拟位姿、模拟内参与去畸变之后的图像中各个像素点的像素坐标，确定各个像素点的深度信息。
本发明的一个实施例中，所述根据各个匹配像素点在3D模型中对应点的第二特征、各个像素点的深度信息与第一特征，重构该图像组对应的目标物体的3D模型，包括：
根据各个像素点的深度信息，生成各个图像对应的法线贴图；
基于法线贴图和匹配像素点的第一特征中的像素位置重构3D模型的模型形状；
基于各个像素点的第一特征中的第一内容子特征对各个像素点在模型形状中的对应点进行内容填充；
根据进行内容填充后的模型形状，重构该图像组对应的目标物体的3D模型。
本发明的一个实施例中，在获得目标物体的各个图像组之前，还包括：
获得测试物体的各个测试图像组，其中，每一测试图像组中包括多个图像采集设备在同一测试采集时刻采集的包含所述测试物体的图像，各个测试图像组对应的测试采集时刻不同；
根据各个测试图像组，重构所述测试物体在不同测试采集时刻的测试3D模型，得到各个测试3D模型的测试点云数据；
根据各组测试点云数据，按照测试点云数据对应的测试采集时刻的顺序，依次渲染各个测试采集时刻对应的测试3D模型，实现3D测试信息展示；
若确定所展示的3D测试信息与测试物体的运动状态相似，则执行所述获得目标物体的各个图像组的步骤；
否则，在确定所述图像采集设备的位置和/或朝向发生改变的情况下，返回执行所述获得测试物体的各个测试图像组的步骤。
本发明的一个实施例中，所述根据各组点云数据，按照各组点云数据对应的采集时刻的顺序，依次渲染各个采集时刻对应的3D模型，包括：
根据目标点云数据，渲染目标点云数据对应的3D模型，其中，目标点云数据的初始值为：按照各组点云数据的采集时刻的顺序、位于最前端的点云数据；
在显示所渲染的3D模型预设时长之后，控制所渲染的3D模型消失；
若当前的目标点云数据不是在采集时刻的顺序中位于最后端的点云数据，将在采集时刻的顺序中位于当前的目标点云数据下一位的点云数据确定为新的目标点云数据，返回执行所述根据目标点云数据，渲染目标点云数据对应的3D模型的步骤。
第二方面，本发明实施例提供了一种3D信息展示装置，所述装置包括：
图像获得模块，用于获得目标物体的各个图像组，其中，每一图像组中包括多个图像采集设备在同一采集时刻从不同采集角度采集的、包含所述目标物体的图像，各个图像组对应的采集时刻不同；
数据获得模块，用于根据各个图像组，重构所述目标物体在不同采集时刻的3D模型，得到各个3D模型的点云数据；
信息展示模块，用于在接收到针对所述目标物体的3D信息展示指令的情况下，根据各组点云数据，按照各组点云数据对应的采集时刻的顺序，依次渲染各个采集时刻对应的3D模型，实现3D信息展示。
本发明的一个实施例中，所述数据获得模块，包括：
针对每一图像组，通过以下子模块重构该图像组对应的目标物体的3D模型，得到3D模型的点云数据：
像素点获得子模块，用于对该图像组中的各个图像进行特征提取，得到各个图像中的特征像素点；
像素点匹配子模块，用于基于各个图像中的特征像素点的第一特征，确定不同图像中对应于所述目标物体上相同位置的匹配像素点，其中，所述第一特征包括：像素点的像素点位置与第一内容子特征；
内参获得子模块，用于根据各个图像中匹配像素点的位置以及各个图像采集设备的设备位姿和设备内参，获得对所述目标物体进行图像采集的模拟采集设备的模拟位姿和模拟内参，其中，所述模拟采集设备的采集范围和各个图像采集设备的采集范围并集相同；
特征预测子模块，用于根据所述匹配像素点的第一特征、模拟位姿与模拟内参，预测各个匹配像素点在3D模型中对应点的第二特征，其中，所述第二特征包括：3D模型中点的三维位置与第二内容子特征；
深度获得子模块，用于根据所述模拟位姿、模拟内参与图像中各个像素点的像素坐标，获得各个像素点的深度信息；
模型重构子模块，用于根据各个匹配像素点在3D模型中对应点的第二特征、各个像素点的深度信息与第一特征，重构该图像组对应的目标物体的3D模型，得到3D模型的点云数据。
本发明的一个实施例中，所述特征预测子模块，具体用于：
根据图像中各个匹配像素点的第一特征中的像素点位置、模拟位姿与模拟内参，预测各个匹配像素点在3D模型中对应点的三维位置；
针对每个匹配像素点，根据该匹配像素点的第一特征中的第一内容子特征与该匹配像素点在3D模型中对应点的三维位置，确定该匹配像素点在3D模型中对应点的第二特征。
本发明的一个实施例中，所述深度获得子模块，具体用于：
对各个图像进行图像去畸变处理，得到去畸变之后的图像；
根据所述模拟位姿、模拟内参与去畸变之后的图像中各个像素点的像素坐标，确定各个像素点的深度信息。
本发明的一个实施例中，所述模型重构子模块，具体用于：
根据各个像素点的深度信息，生成各个图像对应的法线贴图；
基于法线贴图和匹配像素点的第一特征中的像素位置重构3D模型的模型形状；
基于各个像素点的第一特征中的第一内容子特征对各个像素点在模型形状中的对应点进行内容填充；
根据进行内容填充后的模型形状，重构该图像组对应的目标物体的3D模型。
本发明的一个实施例中，所述装置还包括：
测试图像获得模块，用于获得测试物体的各个测试图像组，其中，每一测试图像组中包括多个图像采集设备在同一测试采集时刻采集的包含所述测试物体的图像，各个测试图像组对应的测试采集时刻不同；
测试数据获得模块，用于根据各个测试图像组，重构所述测试物体在不同测试采集时刻的测试3D模型，得到各个测试3D模型的测试点云数据；
测试信息展示模块，用于根据各组测试点云数据，按照测试点云数据对应的测试采集时刻的顺序，依次渲染各个测试采集时刻对应的测试3D模型，实现3D测试信息展示，若确定所展示的3D测试信息与测试物体的运动状态相似，则执行所述图像获得模块，否则，在确定所述图像采集设备的位置和/或朝向发生改变的情况下，返回执行所述测试图像获得模块。
本发明的一个实施例中，所述信息展示模块，具体用于：
在接收到针对所述目标物体的3D信息展示指令的情况下，根据目标点云数据，渲染目标点云数据对应的3D模型，其中，目标点云数据的初始值为：按照各组点云数据的采集时刻的顺序、位于最前端的点云数据；
在显示所渲染的3D模型预设时长之后，控制所渲染的3D模型消失；
若当前的目标点云数据不是在采集时刻的顺序中位于最后端的点云数据，将在采集时刻的顺序中位于当前的目标点云数据下一位的点云数据确定为新的目标点云数据，返回执行所述根据目标点云数据，渲染目标点云数据对应的3D模型的步骤。
第三方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现第一方面任一所述的方法步骤。
第四方面，在本发明实施的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面任一所述的方法步骤。
第五方面，在本发明实施的又一方面，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面任一所述的方法步骤。
本发明实施例提供的3D信息展示方案中，通过在不同采集时刻采集到的目标物体的不同的图像组，可以重构不同采集时刻目标物体的3D模型，从而可以得到各个3D模型的点云数据。在接收到针对目标物体的3D信息展示指令的情况下，根据各组点云数据，按照各组点云数据对应的采集时刻的顺序，依次渲染各个采集时刻对应的3D模型，从而实现3D信息展示。
由以上可见，若目标物体是动态的物体，则在不同采集时刻采集到的目标物体的图像组不同，根据不同的图像组可以重构目标物体在不同采集时刻不同的3D模型，从而得到不同采集时刻对应的不同的点云数据。根据不同的点云数据可以渲染不同的3D模型，由于人眼的视觉暂留特性，依次渲染不同的3D模型便可以使用户观看到动态效果。因此通过重构的3D模型，可以展示目标物体动态的3D信息。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明实施例中提供的第一种3D信息展示方法的流程示意图；
图2为本发明实施例中提供的一种图像采集设备的安装示意图；
图3为本发明实施例中提供的第二种3D信息展示方法的流程示意图；
图4为本发明实施例中提供的第三种3D信息展示方法的流程示意图；
图5为本发明实施例中提供的第一种3D信息展示装置的结构示意图；
图6为本发明实施例中提供的第二种3D信息展示装置的结构示意图；
图7为本发明实施例中提供的第三种3D信息展示装置的结构示意图；
图8为本发明实施例中提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。
由于现有技术中基于3D模型仅能重现静态物体的静态信息。为解决这一问题，本发明实施例提供了一种3D信息展示方法及装置。
本发明的一个实施例中，提供了一种3D信息展示方法，上述方法包括：
获得目标物体的各个图像组，其中，每一图像组中包括多个图像采集设备在同一采集时刻从不同采集角度采集的、包含上述目标物体的图像，各个图像组对应的采集时刻不同；
根据各个图像组，重构上述目标物体在不同采集时刻的3D模型，得到各个3D模型的点云数据；
在接收到针对上述目标物体的3D信息展示指令的情况下，根据各组点云数据，按照各组点云数据对应的采集时刻的顺序，依次渲染各个采集时刻对应的3D模型，实现3D信息展示。
由以上可见，若目标物体是动态的物体，则在不同采集时刻采集到的目标物体的图像组不同，根据不同的图像组可以重构目标物体在不同采集时刻不同的3D模型，从而得到不同采集时刻对应的不同的点云数据。根据不同的点云数据可以渲染不同的3D模型，由于人眼的视觉暂留现象，依次渲染不同的3D模型便可以使用户观看到动态效果。因此通过重构的3D模型，可以展示目标物体动态的3D信息。
下面通过具体的实施例对本发明实施例提供的3D信息展示方法及装置进行说明。
参见图1，本发明实施例提供了第一种3D信息展示方法的流程示意图，上述方法可以通过以下步骤S101-S103实现。
S101：获得目标物体的各个图像组。
其中，每一图像组中包括多个图像采集设备在同一采集时刻从不同采集角度采集的、包含上述目标物体的图像，各个图像组对应的采集时刻不同。
具体的，上述图像采集设备可以为工业相机，或其他图像采集效果较好的图像采集设备，图像采集设备的图像采集效果越好，根据所采集的图像组重构出的3D模型的精度越高。
各个图像采集设备用于从不同的采集角度采集目标物体不同角度的图像，各个图像采集设备均连接有电源。各个图像采集设备可以被安装于目标物体四周，朝向目标物体。例如，不同图像采集设备与目标物体之间的虚拟连线之间的夹角可以为20°、30°等。
参见图2，为本发明实施例提供的一种图像采集设备的安装示意图。
其中，图像采集设备1-图像采集设备N安装于目标物体四周，图中的虚线表示图像采集设备与目标物体之间的虚拟连线，连线之间的夹角为30°。每一图像采集设备均与电源相连。
每一图像采集设备的采集范围可以与相邻的图像采集设备的采集范围之间存在交集，也就是说不同图像采集设备所采集的目标物体的图像中可以存在目标物体的相同区域。
本发明的一个实施例中，可以通过SDK(Software Development Kit，软件开发工具包)控制各个图像采集设备同步采集目标物体的图像。
S102：根据各个图像组，重构上述目标物体在不同采集时刻的3D模型，得到各个3D模型的点云数据。
具体的，可以通过colmap算法或其他算法重构上述3D模型，上述点云数据可以为ply格式的点云数据，可以将不同的点云数据存储在点云数据库内不同的文件夹中。
另外，在重构出上述目标物体在不同采集时刻的3D模型之后，可以对各个3D模型进行平滑处理，从而得到平滑处理后的3D模型。
本发明的一个实施例中，可以通过步骤S102A-S102G实现上述步骤S102，在此暂不详述。
S103：在接收到针对上述目标物体的3D信息展示指令的情况下，根据各组点云数据，按照各组点云数据对应的采集时刻的顺序，依次渲染各个采集时刻对应的3D模型，实现3D信息展示。
其中，上述点云数据对应的采集时刻可以为重构出该点云数据的图像组的采集时刻。
具体的，可以按照各组点云数据对应的采集时刻的从前到后的顺序，通过开源库opengl渲染各个采集时刻对应的3D模型，从而实现目标物体的3D信息展示。若按照各组点云数据对应的采集时刻从后到前的顺序，渲染各个采集时刻对应的3D模型，可以实现目标物体的3D信息的倒放展示。
本发明的一个实施例中，可以通过以下步骤A-步骤C依次渲染各个采集时刻对应的3D模型。
步骤A：根据目标点云数据，渲染目标点云数据对应的3D模型。
其中，目标点云数据的初始值为：按照各组点云数据的采集时刻的顺序、位于最前端的点云数据。
步骤B：在显示所渲染的3D模型预设时长之后，控制所渲染的3D模型消失。
具体的，根据人眼的视觉暂留效果，当显示所渲染的3D模型的预设时长较短的情况下，依次渲染各个3D模型可以使得用户观察到动态效果，因此上述预设时长可以为0.03s、0.04s等。
步骤C：若当前的目标点云数据不是在采集时刻的顺序中位于最后端的点云数据，将在采集时刻的顺序中位于当前的目标点云数据下一位的点云数据确定为新的目标点云数据，返回执行上述步骤A。
若当前的目标点云数据是在采集时刻的顺序中位于最后端的点云数据，则说明3D信息展示已完成，否则需要渲染在采集时刻的顺序中位于当前目标点云数据下一位的点云数据。
由以上可见，若目标物体是动态的物体，则在不同采集时刻采集到的目标物体的图像组不同，根据不同的图像组可以重构目标物体在不同采集时刻不同的3D模型，从而得到不同采集时刻对应的不同的点云数据。根据不同的点云数据可以渲染不同的3D模型，由于人眼的视觉暂留现象，依次渲染不同的3D模型便可以使用户观看到动态效果。因此通过重构的3D模型，可以展示目标物体动态的3D信息。
参见图3，为本发明实施例提供的第二种3D信息展示方法的流程示意图，与前述图1所示的实施例相比，针对每一图像组，上述步骤S102可以通过以下步骤S102A-S102F实现。
S102A：对该图像组中的各个图像进行特征提取，得到各个图像中的特征像素点。
具体的，可以通过现有技术中的算法，得到各个图像中的特征像素点。例如，SUSAN(Small univalue segment assimilating nucleus，角点特征检测)算子、DoG(Differenceof Gaussian，高斯差分)算子、RANSAC(random sample consensus，随机抽样一致)算法等，本发明实施例对此不进行限定。
S102B：基于各个图像中的特征像素点的第一特征，确定不同图像中对应于上述目标物体上相同位置的匹配像素点。
其中，上述第一特征包括：像素点的像素点位置与第一内容子特征。
具体的，上述像素点位置可以以像素点在图像中的像素坐标表示，上述第一内容子特征包含像素点的颜色值、亮度值、像素点对应的目标物体上的点的材质等。
本发明的一个实施例中，可以计算不同图像中特征像素点的第一特征之间的相似度，将彼此之间计算得到的相似度大于预设相似度的特征像素点确定为匹配像素点。
S102C：根据各个图像中匹配像素点的位置以及各个图像采集设备的设备位姿和设备内参，获得对上述目标物体进行图像采集的模拟采集设备的模拟位姿和模拟内参。
其中，上述模拟采集设备的采集范围和各个图像采集设备的采集范围并集相同。
具体的，由于匹配像素点是在不同图像中对应于上述目标物体上相同位置的像素点，因此对不同图像中对应于目标物体上相同位置的匹配像素点的像素坐标进行坐标转换，预测得到的3D模型中对应点的三维位置应该相同。
但采集各个图像的图像采集设备的设备内参与设备位姿不同，因此根据不同的设备内参与设备位姿对不同图像中的匹配像素点的像素坐标进行坐标转换，得到的三维位置可能不同。
因此需要在对匹配像素点的像素坐标进行坐标转换时使用统一的设备内参与设备位姿，使得根据统一的设备内参与设备位姿对不同图像中的匹配像素点的像素坐标进行坐标转换，得到的三维位置相同。可以通过一个虚拟的模拟采集设备代表各个真实的图像采集设备，获得模拟采集设备的模拟位姿和模拟内参，从而对各个图像采集设备的设备内参与设备位姿进行统一。
本发明的一个实施例中，可以通过SFM(Structure from motion，运动恢复结构)算法中的稀疏重建过程，确定模拟采集设备的模拟位姿和模拟内参。
S102D：根据上述匹配像素点的第一特征、模拟位姿与模拟内参，预测各个匹配像素点在3D模型中对应点的第二特征。
其中，上述第二特征包括：3D模型中点的三维位置与第二内容子特征。
具体的，上述三维位置可以以3D模型中的点在三维坐标系中的三维坐标表示，上述三维坐标可以是世界坐标系中的坐标，也可以是任意其他三维坐标系中的坐标。上述第二内容子特征可以包括：3D模型中的点的颜色、亮度、对应的材质等。
本发明的一个实施例中，可以通过以下步骤D-步骤E，得到第二特征。
步骤D：根据图像中各个匹配像素点的第一特征中的像素点位置、模拟位姿与模拟内参，预测各个匹配像素点在3D模型中对应点的三维位置。
具体的，可以通过以下坐标转换公式计算得到三维位置的三维坐标：
Figure BDA0002861637440000121
其中，Zc为尺度齐次，u为匹配像素点的像素坐标中的横坐标，v为匹配像素点的像素坐标中的纵坐标，dx表示图像在横轴上单位像素的尺寸大小，dy表示图像在纵轴上单位像素的尺寸大小，γ为畸变参数，u0为图像中光心像素点的横坐标，v0为图像中光心像素点的纵坐标，f为焦距，R1为表示正交旋转矩阵，T1为表示平移矩阵，Xi1为匹配像素点在3D模型中对应点在三维坐标系中的x轴坐标，Yi1为匹配像素点在3D模型中对应点在三维坐标系中的y轴坐标，Zi1为匹配像素点在3D模型中对应点在三维坐标系中的z轴坐标。其中，上述x轴的正方向为水平方向，y轴的正方向为垂直方向，z轴的正方向为纵深方向。上述坐标系的原点可以为任一点，x轴、y轴方向可以为互相垂直的任意方向，z轴方向可以根据右手定则确定。
具体的，上述公式中的dx、dy、γ、u0、v0与f是模拟内参中包含的参数，R1与T1为模拟位姿中包含的参数。
步骤E：针对每个匹配像素点，根据该匹配像素点的第一特征中的第一内容子特征与该匹配像素点在3D模型中对应点的三维位置，确定该匹配像素点在3D模型中对应点的第二特征。
具体的，可以将计算得到的三维位置作为第二特征中的三维位置，将第一内容子特征作为第二特征中的第二内容子特征，从而确定该匹配像素点在3D模型中对应点的第二特征。
S102E：根据上述模拟位姿、模拟内参与图像中各个像素点的像素坐标，获得各个像素点的深度信息。
本发明的一个实施例中，可以通过多视图立体算法、光度立体视觉算法、散焦推断算法等现有技术中的算法获得各个像素点的深度信息，本发明实施例对此不进行限定。
本发明的另一个实施例中，由于图像采集设备所采集的图像会存在畸变情况，若直接确定图像采集设备所采集的图像中各个像素点的深度信息，所得到的深度信息可能不准确。因此可以对各个图像进行图像去畸变处理，得到去畸变之后的图像，根据所述模拟位姿、模拟内参与去畸变之后的图像中各个像素点的像素坐标，确定各个像素点的深度信息。
具体的，可以通过OpenCV中的图像去畸变函数，如UndistortImage函数，initUndistortRectifyMap函数结合remap函数等算法，完成进行图像去畸变处理。
S102F：根据各个匹配像素点在3D模型中对应点的第二特征、各个像素点的深度信息与第一特征，重构该图像组对应的目标物体的3D模型。
具体的，由于像素点在图像中的像素点位置是二维位置信息，深度信息为第三维的位置信息，因此根据像素点的第一特征中的像素点位置与深度信息，可以确定各个像素点在3D模型中对应点的三维位置。并将像素点的第一特征中的第一内容子特征作为像素点在3D模型中对应点的第二内容子特征。因此通过所确定的各个像素点在3D模型中对应点的三维位置与第二内容子特征中包含的颜色、亮度、材质等信息，可以重构出该图像组对应的目标物体的3D模型。
本发明的一个实施例中，可以通过SFM算法中的稠密重建过程，实现上述步骤S102F。
本发明的另一个实施例中，也可以通过以下步骤F-步骤I实现上述步骤S102F。
步骤F：根据各个像素点的深度信息，生成各个图像对应的法线贴图。
具体的，上述法线贴图用于表现目标物体表面的凹凸情况，法线贴图中包含通过RGB颜色通道来标记方向的法线。
各个像素点的深度信息可以表示像素点所对应的目标物体上的点与图像采集设备之间的距离，与目标物体上的点与图像采集设备之间的距离越小，表示目标物体上的点越凸出，否则表示目标物体上的点越凹陷，因此根据各个像素点的深度信息，可以生成各个图像对应的法线贴图。
步骤G：基于法线贴图和匹配像素点的第一特征中的像素位置重构3D模型的模型形状。
具体的，可以根据匹配像素点的第一特征中的像素位置预测匹配像素点在3D模型的对应点的三维位置，并确定匹配像素点在法线贴图中的对应点，从而确定法线贴图中的对应点的三维位置。从而以匹配像素点在发现贴图中的对应点的三维位置为基准，结合法线贴图表示的目标物体表面的凹凸情况，重构出3D模型的模型形状。
上述模型形状可以表示目标物体的表面。
步骤H：基于各个像素点的第一特征中的第一内容子特征对各个像素点在模型形状中的对应点进行内容填充。
具体的，可以将各个像素点在模型形状中对应点的内容值赋值为上述第一内容子特征包括各个像素点的颜色值、亮度值，并将模型形状中对应点的材质设置为第一内容子特征表示的材质。
步骤I：根据进行内容填充后的模型形状，重构该图像组对应的目标物体的3D模型。
具体的，可以以进行内容填充后的模型形状，作为重构的3D模型的模型表面，从而重构该图像组对应的目标物体的3D模型。
由以上可见，可以根据图像组中各个图像的特征像素点的第一特征，确定不同图像中对应目标物体上相同位置的匹配像素点。因此可以通过匹配像素点将目标物体不同角度的图像互相结合。将匹配像素点的第一特征中的像素点位置转换为三维位置，作为匹配像素点在3D模型中对应点的位置。并以匹配像素点的三维位置作为基准，确定其他像素点在3D模型中对应点的位置。以像素点的第一特征中包含的第一内容子特征作为像素点在3D模型中对应点的第二内容子特征，从而重构出目标物体的3D模型。
参见图4，为本发明实施例提供的第三种3D信息展示方法的流程示意图，与前述图1所示的实施例相比，在步骤S101之前，还包括以下步骤S104-S106。
S104：获得测试物体的各个测试图像组。
其中，每一测试图像组中包括多个图像采集设备在同一测试采集时刻采集的包含上述测试物体的图像，各个测试图像组对应的测试采集时刻不同。
S105：根据各个测试图像组，重构上述测试物体在不同测试采集时刻的测试3D模型，得到各个测试3D模型的测试点云数据。
S106：根据各组测试点云数据，按照测试点云数据对应的测试采集时刻的顺序，依次渲染各个测试采集时刻对应的测试3D模型，实现3D测试信息展示。
具体的，上述步骤S104-S106的实现方式与S101-S103的实现方式相似，在此不再赘述。
若确定所展示的3D测试信息与测试物体的运动状态相似，则执行上述步骤S101。否则，在确定上述图像采集设备的位置和/或朝向发生改变的情况下，返回执行上述步骤S104。
本发明的实施例中，用户可以观看所展示的3D测试信息，并与测试物体的运动状态进行对比，由用户确定所展示的3D测试信息与测试物体的运动状态是否相似。用户可以输入表示所展示的3D测试信息与测试物体的运动状态是否相似的指令，执行上述3D信息展示方法的电子设备可以根据接收到的指令，确定所展示的3D测试信息与测试物体的运动状态是否相似。
由于若所展示的3D测试信息与测试物体的运动状态不相似，说明当前展示的3D测试信息与测试物体真实的运动状态不同，根据上述图像采集设备以当前的位置和/或朝向采集到的图像组无法准确的重现测试物体的运动状态，需要改变上述图像采集设备的位置和/或朝向。
在上述图像采集设备的位置和/或朝向发生改变之后，采集到的测试图像组会发生改变，重构出的测试3D模型也随之发生改变，可以根据新的测试3D模型展示3D测试信息，直至所展示的3D测试信息与测试物体的运动状态相似，说明以调整后的图像采集设备的位置和/或朝向采集的图像组，能够准确的重现物体的运动状态。因此可以在保持图像采集设备的位置与朝向的情况下执行步骤S101，以重现目标物体的运动状态。
由以上可见，在展示目标物体的3D信息之前，先通过展示测试物体的3D测试信息，检测图像采集设备的位置和/或朝向是否符合要求，若不符合，则改变图像采集设备的位置和/或朝向，若符合，才在保持图像采集设备的位置与朝向的情况下采集目标物体的图像组，从而展示目标物体的3D信息。以保证所展示的3D信息的准确度。
与前述3D信息展示方法相对应，参见图5，本发明实施例还提供了第一种3D信息展示装置的结构示意图，所述装置包括：
图像获得模块501，用于获得目标物体的各个图像组，其中，每一图像组中包括多个图像采集设备在同一采集时刻从不同采集角度采集的、包含所述目标物体的图像，各个图像组对应的采集时刻不同；
数据获得模块502，用于根据各个图像组，重构所述目标物体在不同采集时刻的3D模型，得到各个3D模型的点云数据；
信息展示模块503，用于在接收到针对所述目标物体的3D信息展示指令的情况下，根据各组点云数据，按照各组点云数据对应的采集时刻的顺序，依次渲染各个采集时刻对应的3D模型，实现3D信息展示。
由以上可见，若目标物体是动态的物体，则在不同采集时刻采集到的目标物体的图像组不同，根据不同的图像组可以重构目标物体在不同采集时刻不同的3D模型，从而得到不同采集时刻对应的不同的点云数据。根据不同的点云数据可以渲染不同的3D模型，由于人眼的视觉暂留现象，依次渲染不同的3D模型便可以使用户观看到动态效果。因此通过重构的3D模型，可以展示目标物体动态的3D信息。
参见图6，为本发明实施例提供的第二种3D信息展示装置的结构示意图，与前述图5所示的实施例相比，上述数据获得模块502，包括：
针对每一图像组，通过以下子模块重构该图像组对应的目标物体的3D模型，得到3D模型的点云数据：
像素点获得子模块502A，用于对该图像组中的各个图像进行特征提取，得到各个图像中的特征像素点；
像素点匹配子模块502B，用于基于各个图像中的特征像素点的第一特征，确定不同图像中对应于所述目标物体上相同位置的匹配像素点，其中，所述第一特征包括：像素点的像素点位置与第一内容子特征；
内参获得子模块502C，用于根据各个图像中匹配像素点的位置以及各个图像采集设备的设备位姿和设备内参，获得对所述目标物体进行图像采集的模拟采集设备的模拟位姿和模拟内参，其中，所述模拟采集设备的采集范围和各个图像采集设备的采集范围并集相同；
特征预测子模块502D，用于根据所述匹配像素点的第一特征、模拟位姿与模拟内参，预测各个匹配像素点在3D模型中对应点的第二特征，其中，所述第二特征包括：3D模型中点的三维位置与第二内容子特征；
深度获得子模块502E，用于根据所述模拟位姿、模拟内参与图像中各个像素点的像素坐标，获得各个像素点的深度信息；
模型重构子模块502F，用于根据各个匹配像素点在3D模型中对应点的第二特征、各个像素点的深度信息与第一特征，重构该图像组对应的目标物体的3D模型，得到3D模型的点云数据。
由以上可见，可以根据图像组中各个图像的特征像素点的第一特征，确定不同图像中对应目标物体上相同位置的匹配像素点。因此可以通过匹配像素点将目标物体不同角度的图像互相结合。将匹配像素点的第一特征中的像素点位置转换为三维位置，作为匹配像素点在3D模型中对应点的位置。并以匹配像素点的三维位置作为基准，确定其他像素点在3D模型中对应点的位置。以像素点的第一特征中包含的第一内容子特征作为像素点在3D模型中对应点的第二内容子特征，从而重构出目标物体的3D模型。
本发明的一个实施例中，所述特征预测子模块502D，具体用于：
根据图像中各个匹配像素点的第一特征中的像素点位置、模拟位姿与模拟内参，预测各个匹配像素点在3D模型中对应点的三维位置；
针对每个匹配像素点，根据该匹配像素点的第一特征中的第一内容子特征与该匹配像素点在3D模型中对应点的三维位置，确定该匹配像素点在3D模型中对应点的第二特征。
本发明的一个实施例中，上述深度获得子模块502E，具体用于：
对各个图像进行图像去畸变处理，得到去畸变之后的图像；
根据所述模拟位姿、模拟内参与去畸变之后的图像中各个像素点的像素坐标，确定各个像素点的深度信息。
本发明的一个实施例中，上述模型重构子模块502F，具体用于：
根据各个像素点的深度信息，生成各个图像对应的法线贴图；
基于法线贴图和匹配像素点的第一特征中的像素位置重构3D模型的模型形状；
基于各个像素点的第一特征中的第一内容子特征对各个像素点在模型形状中的对应点进行内容填充；
根据进行内容填充后的模型形状，重构该图像组对应的目标物体的3D模型。
参见图7，为本发明实施例提供的第三种3D信息展示装置的结构示意图，与前述图4所示的实施例相比，上述装置还包括：
测试图像获得模块504，用于获得测试物体的各个测试图像组，其中，每一测试图像组中包括多个图像采集设备在同一测试采集时刻采集的包含所述测试物体的图像，各个测试图像组对应的测试采集时刻不同；
测试数据获得模块505，用于根据各个测试图像组，重构所述测试物体在不同测试采集时刻的测试3D模型，得到各个测试3D模型的测试点云数据；
测试信息展示模块506，用于根据各组测试点云数据，按照测试点云数据对应的测试采集时刻的顺序，依次渲染各个测试采集时刻对应的测试3D模型，实现3D测试信息展示，若确定所展示的3D测试信息与测试物体的运动状态相似，则执行所述图像获得模块501，否则，在确定所述图像采集设备的位置和/或朝向发生改变的情况下，返回执行所述测试图像获得模块504。
由以上可见，在展示目标物体的3D信息之前，先通过展示测试物体的3D测试信息，检测图像采集设备的位置和/或朝向是否符合要求，若不符合，则改变图像采集设备的位置和/或朝向，若符合，才在保持图像采集设备的位置与朝向的情况下采集目标物体的图像组，从而展示目标物体的3D信息。以保证所展示的3D信息的准确度。
本发明的一个实施例中，所述信息展示模块103，具体用于：
在接收到针对所述目标物体的3D信息展示指令的情况下，根据目标点云数据，渲染目标点云数据对应的3D模型，其中，目标点云数据的初始值为：按照各组点云数据的采集时刻的顺序、位于最前端的点云数据；
在显示所渲染的3D模型预设时长之后，控制所渲染的3D模型消失；
若当前的目标点云数据不是在采集时刻的顺序中位于最后端的点云数据，将在采集时刻的顺序中位于当前的目标点云数据下一位的点云数据确定为新的目标点云数据，返回执行所述根据目标点云数据，渲染目标点云数据对应的3D模型的步骤。
本发明实施例还提供了一种电子设备，如图8所示，包括处理器801、通信接口802、存储器803和通信总线804，其中，处理器801，通信接口802，存储器803通过通信总线804完成相互间的通信，
存储器803，用于存放计算机程序；
处理器801，用于执行存储器803上所存放的程序时，实现上述3D信息展示方法。
应用本发明实施例提供的电子设备展示3D信息时，若目标物体是动态的物体，则在不同采集时刻采集到的目标物体的图像组不同，根据不同的图像组可以重构目标物体在不同采集时刻不同的3D模型，从而得到不同采集时刻对应的不同的点云数据。根据不同的点云数据可以渲染不同的3D模型，由于人眼的视觉暂留现象，依次渲染不同的3D模型便可以使用户观看到动态效果。因此通过重构的3D模型，可以展示目标物体动态的3D信息。
上述终端提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述终端与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例中任一所述的3D信息展示方法。
应用本实施例提供的计算机可读存储介质中存储的计算机程序展示3D信息时，若目标物体是动态的物体，则在不同采集时刻采集到的目标物体的图像组不同，根据不同的图像组可以重构目标物体在不同采集时刻不同的3D模型，从而得到不同采集时刻对应的不同的点云数据。根据不同的点云数据可以渲染不同的3D模型，由于人眼的视觉暂留现象，依次渲染不同的3D模型便可以使用户观看到动态效果。因此通过重构的3D模型，可以展示目标物体动态的3D信息。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的3D信息展示方法。
执行本实施例提供的计算机程序产品展示3D信息时，若目标物体是动态的物体，则在不同采集时刻采集到的目标物体的图像组不同，根据不同的图像组可以重构目标物体在不同采集时刻不同的3D模型，从而得到不同采集时刻对应的不同的点云数据。根据不同的点云数据可以渲染不同的3D模型，由于人眼的视觉暂留现象，依次渲染不同的3D模型便可以使用户观看到动态效果。因此通过重构的3D模型，可以展示目标物体动态的3D信息。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、计算机可读存储介质和计算机程序产品，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种3D信息展示方法，其特征在于，所述方法包括：
获得目标物体的各个图像组，其中，每一图像组中包括多个图像采集设备在同一采集时刻从不同采集角度采集的、包含所述目标物体的图像，各个图像组对应的采集时刻不同；
根据各个图像组，重构所述目标物体在不同采集时刻的3D模型，得到各个3D模型的点云数据；
在接收到针对所述目标物体的3D信息展示指令的情况下，根据各组点云数据，按照各组点云数据对应的采集时刻的顺序，依次渲染各个采集时刻对应的3D模型，实现3D信息展示。
2.根据权利要求1所述的方法，其特征在于，所述根据各个图像组，重构所述目标物体在不同采集时刻的3D模型，包括：
针对每一图像组，通过以下方式重构该图像组对应的目标物体的3D模型：
对该图像组中的各个图像进行特征提取，得到各个图像中的特征像素点；
基于各个图像中的特征像素点的第一特征，确定不同图像中对应于所述目标物体上相同位置的匹配像素点，其中，所述第一特征包括：像素点的像素点位置与第一内容子特征；
根据各个图像中匹配像素点的位置以及各个图像采集设备的设备位姿和设备内参，获得对所述目标物体进行图像采集的模拟采集设备的模拟位姿和模拟内参，其中，所述模拟采集设备的采集范围和各个图像采集设备的采集范围并集相同；
根据所述匹配像素点的第一特征、模拟位姿与模拟内参，预测各个匹配像素点在3D模型中对应点的第二特征，其中，所述第二特征包括：3D模型中点的三维位置与第二内容子特征；
根据所述模拟位姿、模拟内参与图像中各个像素点的像素坐标，获得各个像素点的深度信息；
根据各个匹配像素点在3D模型中对应点的第二特征、各个像素点的深度信息与第一特征，重构该图像组对应的目标物体的3D模型。
3.根据权利要求2所述的方法，其特征在于，所述根据所述匹配像素点的第一特征、模拟位姿与模拟内参，预测各个匹配像素点在3D模型中对应点的第二特征，包括：
根据图像中各个匹配像素点的第一特征中的像素点位置、模拟位姿与模拟内参，预测各个匹配像素点在3D模型中对应点的三维位置；
针对每个匹配像素点，根据该匹配像素点的第一特征中的第一内容子特征与该匹配像素点在3D模型中对应点的三维位置，确定该匹配像素点在3D模型中对应点的第二特征。
4.根据权利要求2所述的方法，其特征在于，所述根据所述模拟位姿、模拟内参与图像中各个像素点的像素坐标，获得各个像素点的深度信息，包括：
对各个图像进行图像去畸变处理，得到去畸变之后的图像；
根据所述模拟位姿、模拟内参与去畸变之后的图像中各个像素点的像素坐标，确定各个像素点的深度信息。
5.根据权利要求2所述的方法，其特征在于，所述根据各个匹配像素点在3D模型中对应点的第二特征、各个像素点的深度信息与第一特征，重构该图像组对应的目标物体的3D模型，包括：
根据各个像素点的深度信息，生成各个图像对应的法线贴图；
基于法线贴图和匹配像素点的第一特征中的像素位置重构3D模型的模型形状；
基于各个像素点的第一特征中的第一内容子特征对各个像素点在模型形状中的对应点进行内容填充；
根据进行内容填充后的模型形状，重构该图像组对应的目标物体的3D模型。
6.根据权利要求1-5中任一项所述的方法，其特征在于，在获得目标物体的各个图像组之前，还包括：
获得测试物体的各个测试图像组，其中，每一测试图像组中包括多个图像采集设备在同一测试采集时刻采集的包含所述测试物体的图像，各个测试图像组对应的测试采集时刻不同；
根据各个测试图像组，重构所述测试物体在不同测试采集时刻的测试3D模型，得到各个测试3D模型的测试点云数据；
根据各组测试点云数据，按照测试点云数据对应的测试采集时刻的顺序，依次渲染各个测试采集时刻对应的测试3D模型，实现3D测试信息展示；
若确定所展示的3D测试信息与测试物体的运动状态相似，则执行所述获得目标物体的各个图像组的步骤；
否则，在确定所述图像采集设备的位置和/或朝向发生改变的情况下，返回执行所述获得测试物体的各个测试图像组的步骤。
7.根据权利要求1-5中任一项所述的方法，其特征在于，所述根据各组点云数据，按照各组点云数据对应的采集时刻的顺序，依次渲染各个采集时刻对应的3D模型，包括：
根据目标点云数据，渲染目标点云数据对应的3D模型，其中，目标点云数据的初始值为：按照各组点云数据的采集时刻的顺序、位于最前端的点云数据；
在显示所渲染的3D模型预设时长之后，控制所渲染的3D模型消失；
若当前的目标点云数据不是在采集时刻的顺序中位于最后端的点云数据，将在采集时刻的顺序中位于当前的目标点云数据下一位的点云数据确定为新的目标点云数据，返回执行所述根据目标点云数据，渲染目标点云数据对应的3D模型的步骤。
8.一种3D信息展示装置，其特征在于，所述装置包括：
图像获得模块，用于获得目标物体的各个图像组，其中，每一图像组中包括多个图像采集设备在同一采集时刻从不同采集角度采集的、包含所述目标物体的图像，各个图像组对应的采集时刻不同；
数据获得模块，用于根据各个图像组，重构所述目标物体在不同采集时刻的3D模型，得到各个3D模型的点云数据；
信息展示模块，用于在接收到针对所述目标物体的3D信息展示指令的情况下，根据各组点云数据，按照各组点云数据对应的采集时刻的顺序，依次渲染各个采集时刻对应的3D模型，实现3D信息展示。
9.根据权利要求8所述的装置，其特征在于，所述数据获得模块，包括：
针对每一图像组，通过以下子模块重构该图像组对应的目标物体的3D模型，得到3D模型的点云数据：
像素点获得子模块，用于对该图像组中的各个图像进行特征提取，得到各个图像中的特征像素点；
像素点匹配子模块，用于基于各个图像中的特征像素点的第一特征，确定不同图像中对应于所述目标物体上相同位置的匹配像素点，其中，所述第一特征包括：像素点的像素点位置与第一内容子特征；
内参获得子模块，用于根据各个图像中匹配像素点的位置以及各个图像采集设备的设备位姿和设备内参，获得对所述目标物体进行图像采集的模拟采集设备的模拟位姿和模拟内参，其中，所述模拟采集设备的采集范围和各个图像采集设备的采集范围并集相同；
特征预测子模块，用于根据所述匹配像素点的第一特征、模拟位姿与模拟内参，预测各个匹配像素点在3D模型中对应点的第二特征，其中，所述第二特征包括：3D模型中点的三维位置与第二内容子特征；
深度获得子模块，用于根据所述模拟位姿、模拟内参与图像中各个像素点的像素坐标，获得各个像素点的深度信息；
模型重构子模块，用于根据各个匹配像素点在3D模型中对应点的第二特征、各个像素点的深度信息与第一特征，重构该图像组对应的目标物体的3D模型，得到3D模型的点云数据。
10.根据权利要求9所述的装置，其特征在于，所述特征预测子模块，具体用于：
根据图像中各个匹配像素点的第一特征中的像素点位置、模拟位姿与模拟内参，预测各个匹配像素点在3D模型中对应点的三维位置；
针对每个匹配像素点，根据该匹配像素点的第一特征中的第一内容子特征与该匹配像素点在3D模型中对应点的三维位置，确定该匹配像素点在3D模型中对应点的第二特征。
CN202011572696.7A 2020-12-25 2020-12-25 一种3d信息展示方法及装置 Active CN112652056B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011572696.7A CN112652056B (zh) 2020-12-25 2020-12-25 一种3d信息展示方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011572696.7A CN112652056B (zh) 2020-12-25 2020-12-25 一种3d信息展示方法及装置

Publications (2)

Publication Number Publication Date
CN112652056A true CN112652056A (zh) 2021-04-13
CN112652056B CN112652056B (zh) 2023-09-05

Family

ID=75363338

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011572696.7A Active CN112652056B (zh) 2020-12-25 2020-12-25 一种3d信息展示方法及装置

Country Status (1)

Country Link
CN (1) CN112652056B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023016082A1 (zh) * 2021-08-13 2023-02-16 北京迈格威科技有限公司 三维重建方法、装置、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170243361A1 (en) * 2016-02-18 2017-08-24 Roman Schaffert 2D/3D Registration
CN107958482A (zh) * 2016-10-17 2018-04-24 杭州海康威视数字技术股份有限公司 一种三维场景模型构建方法及装置
CN108470150A (zh) * 2018-02-14 2018-08-31 天目爱视（北京）科技有限公司 一种基于可见光相机的生物特征四维数据采集方法及装置
DE102018100909A1 (de) * 2018-01-17 2019-07-18 Connaught Electronics Ltd. Verfahren zum Rekonstruieren von Bildern einer Szene, die durch ein multifokales Kamerasystem aufgenommen werden
CN111369666A (zh) * 2020-03-02 2020-07-03 中国电子科技集团公司第五十二研究所 一种基于多台rgbd相机的动态目标重建方法和装置
US20200250885A1 (en) * 2017-10-23 2020-08-06 Panasonic Intellectual Property Corporation Of America Reconstruction method, reconstruction device, and generation device
CN111862278A (zh) * 2020-07-22 2020-10-30 成都数字天空科技有限公司 一种动画获得方法、装置、电子设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170243361A1 (en) * 2016-02-18 2017-08-24 Roman Schaffert 2D/3D Registration
CN107958482A (zh) * 2016-10-17 2018-04-24 杭州海康威视数字技术股份有限公司 一种三维场景模型构建方法及装置
US20200250885A1 (en) * 2017-10-23 2020-08-06 Panasonic Intellectual Property Corporation Of America Reconstruction method, reconstruction device, and generation device
DE102018100909A1 (de) * 2018-01-17 2019-07-18 Connaught Electronics Ltd. Verfahren zum Rekonstruieren von Bildern einer Szene, die durch ein multifokales Kamerasystem aufgenommen werden
CN108470150A (zh) * 2018-02-14 2018-08-31 天目爱视（北京）科技有限公司 一种基于可见光相机的生物特征四维数据采集方法及装置
CN111369666A (zh) * 2020-03-02 2020-07-03 中国电子科技集团公司第五十二研究所 一种基于多台rgbd相机的动态目标重建方法和装置
CN111862278A (zh) * 2020-07-22 2020-10-30 成都数字天空科技有限公司 一种动画获得方法、装置、电子设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023016082A1 (zh) * 2021-08-13 2023-02-16 北京迈格威科技有限公司 三维重建方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN112652056B (zh) 2023-09-05

Similar Documents

Publication Publication Date Title
CN107223269B (zh) 三维场景定位方法和装置
CN109887003B (zh) 一种用于进行三维跟踪初始化的方法与设备
JP7386812B2 (ja) 照明推定
CN108564527B (zh) 基于神经网络的全景图内容补全和修复的方法及装置
JP2020042028A (ja) コレクターの相対パラメータのキャリブレーション方法、装置、機器及び媒体
US10726580B2 (en) Method and device for calibration
JP2019532531A (ja) パノラマ画像圧縮方法および装置
CN111080776B (zh) 人体动作三维数据采集和复现的处理方法及系统
CN113689578B (zh) 一种人体数据集生成方法及装置
CN111161398B (zh) 一种图像生成方法、装置、设备及存储介质
US11170246B2 (en) Recognition processing device, recognition processing method, and program
CN109934873B (zh) 标注图像获取方法、装置及设备
CN116109765A (zh) 标注对象的三维渲染方法、装置、计算机设备、存储介质
CN112950759B (zh) 基于房屋全景图的三维房屋模型构建方法及装置
CN112652056B (zh) 一种3d信息展示方法及装置
CN112634439B (zh) 一种3d信息展示方法及装置
Zhai et al. Image real-time augmented reality technology based on spatial color and depth consistency
CN116128744A (zh) 消除图像畸变的方法、电子设备、存储介质及车辆
CN113744361A (zh) 一种基于三目视觉的三维高精地图构建方法及装置
CN110490977B (zh) 一种用于全息设备的图像处理方法、系统和存储介质
US11202000B2 (en) Learning apparatus, image generation apparatus, learning method, image generation method, and program
CN113205591A (zh) 一种三维重建训练数据的获取方法、装置及电子设备
CN111127422B (zh) 图像标注方法、装置、系统及主机
CN112967398B (zh) 一种三维数据重建方法、装置及电子设备
Zhang et al. Establishing a large amount of point correspondences using patch-based affine-scale invariant feature transform for fisheye images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant