CN108320330A - 基于深度视频流的实时三维模型重建方法及系统 - Google Patents

基于深度视频流的实时三维模型重建方法及系统 Download PDF

Info

Publication number
CN108320330A
CN108320330A CN201810064808.4A CN201810064808A CN108320330A CN 108320330 A CN108320330 A CN 108320330A CN 201810064808 A CN201810064808 A CN 201810064808A CN 108320330 A CN108320330 A CN 108320330A
Authority
CN
China
Prior art keywords
information
capture apparatus
model
time
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810064808.4A
Other languages
English (en)
Inventor
钟秋发
黄煦
高晓光
李晓阳
楚圣辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei Zhongke Hengyun Software Technology Co Ltd
Original Assignee
Hebei Zhongke Hengyun Software Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei Zhongke Hengyun Software Technology Co Ltd filed Critical Hebei Zhongke Hengyun Software Technology Co Ltd
Priority to CN201810064808.4A priority Critical patent/CN108320330A/zh
Publication of CN108320330A publication Critical patent/CN108320330A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本发明提出了一种基于深度视频流的实时三维模型重建方法及系统，包括：搭建拍摄设备；利用拍摄设备采集深度信息和颜色信息，对深度信息和颜色信息进行畸变校正处理；将深度信息和畸变校正处理后的畸变信息进行特征匹配，并进行空间匹配处理，将每个拍摄设备拍摄的深度图像信息融合为一个点云模型，将每个拍摄设备的时间戳同步的图像进行特征匹配和裁剪；对点云信息进行三角面计算处理和优化处理，生成带时间标签的信息组；三维重建计算机获取信息组，对多个拍摄设备发送的模型信息进行时间匹配和融合，实现三维重建并根据标定参数进行调整和显示。本发明采用深度与颜色相统一，重采样减帧和三角面优化的方式来减少三维重建的耗时。

Description

基于深度视频流的实时三维模型重建方法及系统
技术领域
本发明涉及三维建模技术领域，特别涉及一种基于深度视频流的实时三维模型重建方法及系统。
背景技术
基于深度相机的三维模型重建是将现实物体自动建模并应用于虚实融合的重要一环。目前有精细的三维建模需要昂贵的设备和复杂的处理过程，只能生成静态的模型；而廉价的深度相机只能生成模糊的场景，远远达不到虚实融合的需求。
发明内容
本发明的目的旨在至少解决所述技术缺陷之一。
为此，本发明的目的在于提出一种基于深度视频流的实时三维模型重建方法及系统。
为了实现上述目的，本发明一方面的实施例提供一种基于深度视频流的实时三维模型重建方法，包括如下步骤：
步骤S1，搭建拍摄设备，根据拍摄设备的真实相对位置对虚拟场景中的基准点进行标定；
步骤S2，利用所述拍摄设备采集深度信息和颜色信息，利用所述拍摄设备的内部参数对所述深度信息和颜色信息进行畸变校正处理；
步骤S3，将深度信息和畸变校正处理后的畸变信息进行特征匹配，并将特征匹配后的深度信息和颜色信息进行空间匹配处理，将每个所述拍摄设备拍摄的深度图像信息融合为一个点云模型，并将每个拍摄设备的时间戳同步的图像进行特征匹配和裁剪，生成贴图信息；
步骤S4，对所述点云模型中的点云信息进行三角面计算处理和优化处理，生成带时间标签的信息组，将该信息组发送至三维重建计算机；
步骤S5，所述三维重建计算机读取标定参数，加载虚拟场景，并获取所述信息组，对多个拍摄设备发送的模型信息进行时间匹配和融合，实现三维重建并根据所述标定参数进行调整和显示。
进一步，在所述步骤S1中，所述拍摄设备包括三个摄像头，
利用三角支架固定三个摄像头，计算三个摄像头的真实相对位置；
利用三维引擎工具指定世界坐标系为目标采集的中心点；
将所述三维引擎和三个摄像头之间的空间坐标单元进行同步设置；
配置现实物理模型和虚拟场景的公制单位，保存设置参数，完成标定工作。
进一步，在所述步骤S2中，还包括如下步骤：利用所述拍摄设备的标准映射表，对经过畸变校正处理后的数据进行匹配，以供图像融合使用。
进一步，在所述步骤S4中，所述对点云模型中的点云信息进行三角面计算处理和优化处理，包括如下步骤：
设定基础模型的顶点个数和面个数，采用坍塌边算法对三角面进行优化和减面，生成带时间标签的信息组，其中，所述信息组包括模型信息、贴图信息和时间标签。
进一步，在所述步骤S5中，比较每个所述拍摄设备发送过来的时间标签，当每个拍摄设备同步时，对每个拍摄设备的模型进行顶点、颜色、三角面和法向量的填充并分别显示。
本发明另一方面的实施例提供一种基于深度视频流的实时三维模型重建系统，包括：多个拍摄设备、多台前期处理计算机、交换机、三维重建计算机、虚拟现实显示设备，其中，多个所述拍摄设备与多台前期处理计算机一一对应连接，每个所述拍摄设备用于采集深度信息和颜色信息；每台所述前期处理计算机用于利用对应的所述拍摄设备的内部参数对所述深度信息和颜色信息进行畸变校正处理；将深度信息和畸变校正处理后的畸变信息进行特征匹配，并将特征匹配后的深度信息和颜色信息进行空间匹配处理，将每个所述拍摄设备拍摄的深度图像信息融合为一个点云模型，并将每个拍摄设备的时间戳同步的图像进行特征匹配和裁剪，生成贴图信息；对所述点云模型中的点云信息进行三角面计算处理和优化处理，生成带时间标签的信息组，将该信息组发送至所述交换机；所述交换机将所述信息组转发至所述三维重建计算机；所述三维重建计算机用于读取标定参数，加载虚拟场景，并获取所述信息组，对多个拍摄设备发送的模型信息进行时间匹配和融合，实现三维重建并根据所述标定参数进行调整，并通过所述虚拟现实显示设备进行显示。
进一步，所述所述多个拍摄设备包括三个摄像头，设置固定的正三角形支架，在每个角的顶点位置设置可拉伸高度的支架来固定一个摄像头，保持三个摄像头在同一高度处。
进一步，每台所述前期处理计算机还用于利用对应的拍摄设备的标准映射表，对经过畸变校正处理后的数据进行匹配，以供图像融合使用。
进一步，每台所述前期处理计算机还设定基础模型的顶点个数和面个数，采用坍塌边算法对三角面进行优化和减面，生成带时间标签的信息组，其中，所述信息组包括模型信息、贴图信息和时间标签。
进一步，所述三维重建计算机比较每个所述拍摄设备发送过来的时间标签，当每个拍摄设备同步时，对每个拍摄设备的模型进行顶点、颜色、三角面和法向量的填充并通过所述虚拟现实显示设备分别显示。
根据本发明实施例的基于深度视频流的实时三维模型重建方法及系统，通过深度图像和颜色图像的采集，特征匹配，点云以及三角面生成。多采集设备分布式分压模型，场景渲染计算机全模型销毁并重建的方式来是实现了实时性较高的动态三维模型重建。本发明采用深度与颜色相统一，重采样减帧和三角面优化的方式来减少三维重建的耗时，采用分布式的架构解决Kinect和场景渲染共同消耗GPU资源的压力，多台红外深度设备时间标签进行同步融合的方式解决了场景融合的问题。并且采用了动态Mesh重建销毁再重建的模式实现了不定顶点和三角面的模型重建和显示工作，达到了1060显卡下最快0.035±0.01秒的效果。
本发明通过基于分布式的多个深度点云信息带颜色图像信息的物体模型融合方案，以数据流技术替代固定模型的三维重建方式实现了高实时性的，相对清晰的建模效果，实现了虚实融合过程中对于动态模型实时展示的需求。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明实施例的基于深度视频流的实时三维模型重建方法的流程图；
图2为根据本发明实施例的设备空间位置标定的流程图；
图3为根据本发明实施例的基于深度视频流的实时三维模型重建方法的交互处理流程图；
图4为根据本发明实施例的基于深度视频流的实时三维模型重建系统的结构图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
如图1所示，本发明实施例的基于深度视频流的实时三维模型重建方法，包括如下步骤：
步骤S1，搭建拍摄设备，根据拍摄设备的真实相对位置对虚拟场景中的基准点进行标定。
具体的，拍摄设备包括三个摄像头。在本发明的一个实施例中，拍摄设备可以采用Kinect 2.0的摄像头。
如图2所示，首先，利用三角支架固定三个摄像头，计算三个摄像头的真实相对位置。
具体的，安装一个固定的三角支架，支架严格按照正三角形来进行设计。在每个角的顶点位置有可拉伸高度的支架来固定Kinect V2的摄像头，保持三个Kinect V2设备在同一高度。根据支架的大小，和摄像头安装的高度，可以计算出三个Kinect V2摄像头的真实相对位置，编辑并保存到配置文件。
然后，利用三维引擎工具(Unigine2或者Unity)指定世界坐标系为目标采集的中心点。
其后，将三维引擎和三个摄像头(Kinect设备)之间的空间坐标单元进行同步设置。配置现实物理模型和虚拟场景的公制单位。根据配置文件来对场景中的模型基准点进行标定，把真实物理世界中的基准点和虚拟场景中的基准点在三个空间坐标和三个角坐标统一起来，进行标定的工作。配置现实物理模型和虚拟场景的公制单位，做到数据的单位统一性。
最后，保存设置参数为配置文件，完成标定工作。具体的，根据配置文件对场景中的模型基准点进行标定，将真实物理世界汇总的基准点。
在本发明的一个实施例中，摄像头Kinect V2设备需要连接至图形处理计算机(USB 3.0接口)和220V电源。各个处理计算机需要的显卡类型要在1060或以上，局域网通讯要100M网卡以及以上。
步骤S2，利用拍摄设备采集深度信息和颜色信息，利用拍摄设备的内部参数对深度信息和颜色信息进行畸变校正处理。
具体的，启动Kinect V2设备，每个设备都可以单独的采集深度信息和颜色信息。然后从设备中获取摄像机的内参，例如畸变参数等，对深度图像信息和颜色图像信息进行畸变校正处理。
进一步，利用拍摄设备的标准映射表，对经过畸变校正处理后的数据进行匹配，以供图像融合使用。
由于深度图像信息和颜色图像信息的分辨率是不同的，通过标准映射表，将两类图像信息映射到可以匹配的指定大小，以便图像融合使用。然后，按照时间戳统一好配对的三组信息，然后进行下一步处理。
步骤S3，将深度信息和畸变校正处理后的畸变信息进行特征匹配，并将特征匹配后的深度信息和颜色信息进行空间匹配处理，将每个拍摄设备拍摄的深度图像信息融合为一个点云模型，并将每个拍摄设备的时间戳同步的图像进行特征匹配和裁剪，生成贴图信息。
具体的，将得到的深度图像按照标准的120度相对位置映射关系进行调整，然后在重合位置进行特征匹配，通过重采样技术将匹配的数据进行空间的重建。三个深度图像信息融合为一个点云模型。同时将三个时间戳同步的图像进行特征匹配和裁剪，制作成为贴图信息。
步骤S4，对点云模型中的点云信息进行三角面计算处理和优化处理，生成带时间标签的信息组，将该信息组发送至三维重建计算机。
具体的，对点云模型中的点云信息进行三角面计算处理和优化处理，包括如下步骤：
通过设定好的参数对组合点云信息，进行三角面计算处理。设定基础模型的顶点个数和面个数，采用坍塌边算法对三角面进行优化和减面，生成带时间标签的信息组，其中，信息组包括模型信息、贴图信息和时间标签。然后，将信息组内容发送到三维重建计算机。
步骤S5，三维重建计算机读取标定参数，加载虚拟场景，并获取信息组，对多个拍摄设备发送的模型信息进行时间匹配和融合，实现三维重建并根据标定参数进行调整和显示。
具体的，三维重建计算机读取标定参数，加载场景。获取局域网传递过来的三维信息组。比较每个拍摄设备发送过来的时间标签，当每个拍摄设备同步时，对每个拍摄设备的模型进行顶点、颜色、三角面和法向量的填充并分别显示。将数据按照标定的基准点位置放置。
图3为根据本发明实施例的基于深度视频流的实时三维模型重建方法的交互处理流程图。
(1)前期处理计算机开始；
(2)获取深度信息和颜色信息；
(3)校正深度信息和颜色信息的畸变；
(4)将深度信息和畸变信息进行特征匹配；
(5)将特征匹配后的深度信息和颜色信息进行空间匹配处理；
(6)通过参数对点云和信息进行三角面处理和优化；
(7)生成带时间标签的一组模型信息；
(8)发送到三维重建计算机，然后判断是否退出，如果是则直接退出运行，否则返回步骤(3)；
(9)局域网通讯传输；
(10)场景渲染和三维重建计算机开始；
(11)读取标定参数；
(12)获取前期处理计算机传递过来的参数；
(13)对多个设备传递过来的模型进行时间匹配和融合；
(14)进行三维重建；
(15)根据标定参数调整和显示，然后判断是否结束运行，如果是则结束工作；否则返回步骤(12)。
如图4所示，本发明实施例还提出一种基于深度视频流的实时三维模型重建系统，包括：多个拍摄设备100、多台前期处理计算机200、交换机300、三维重建计算机400、虚拟现实显示设备500。
具体的，多个拍摄设备100与多台前期处理计算机200一一对应连接，每个拍摄设备100用于采集深度信息和颜色信息。
在本发明的一个实施例中，拍摄设备100可以为3台，采用Kinect 2.0的摄像头。
具体的，安装一个固定的三角支架，支架严格按照正三角形来进行设计。在每个角的顶点位置有可拉伸高度的支架来固定Kinect V2的摄像头，保持三个Kinect V2设备在同一高度。根据支架的大小，和摄像头安装的高度，可以计算出三个Kinect V2摄像头的真实相对位置，编辑并保存到配置文件。
然后，利用三维引擎工具(Unigine2或者Unity)指定世界坐标系为目标采集的中心点。
其后，将三维引擎和三个摄像头(Kinect设备)之间的空间坐标单元进行同步设置。配置现实物理模型和虚拟场景的公制单位。根据配置文件来对场景中的模型基准点进行标定，把真实物理世界中的基准点和虚拟场景中的基准点在三个空间坐标和三个角坐标统一起来，进行标定的工作。配置现实物理模型和虚拟场景的公制单位，做到数据的单位统一性。
最后，保存设置参数为配置文件，完成标定工作。具体的，根据配置文件对场景中的模型基准点进行标定，将真实物理世界汇总的基准点。
在本发明的一个实施例中，摄像头Kinect V2设备需要连接至图形处理计算机(USB 3.0接口)和220V电源。各个处理计算机需要的显卡类型要在1060或以上，局域网通讯要100M网卡以及以上。
每台前期处理计算机200用于利用对应的拍摄设备100的内部参数对深度信息和颜色信息进行畸变校正处理。
具体的，启动Kinect V2设备，每个设备都可以单独的采集深度信息和颜色信息。然后，前期处理计算机200从设备中获取摄像机的内参，例如畸变参数等，对深度图像信息和颜色图像信息进行畸变校正处理。
在本发明的一个实施例中，每台前期处理计算机200还用于利用对应的拍摄设备100的标准映射表，对经过畸变校正处理后的数据进行匹配，以供图像融合使用。
由于深度图像信息和颜色图像信息的分辨率是不同的，通过标准映射表，将两类图像信息映射到可以匹配的指定大小，以便图像融合使用。然后，按照时间戳统一好配对的三组信息，然后进行下一步处理。
前期处理计算机200将深度信息和畸变校正处理后的畸变信息进行特征匹配，并将特征匹配后的深度信息和颜色信息进行空间匹配处理，将每个拍摄设备100拍摄的深度图像信息融合为一个点云模型，并将每个拍摄设备100的时间戳同步的图像进行特征匹配和裁剪，生成贴图信息。
前期处理计算机200对点云模型中的点云信息进行三角面计算处理和优化处理，生成带时间标签的信息组，将该信息组发送至交换机300。
每台前期处理计算机200通过设定好的参数对组合点云信息，进行三角面计算处理。设定基础模型的顶点个数和面个数，采用坍塌边算法对三角面进行优化和减面，生成带时间标签的信息组，其中，信息组包括模型信息、贴图信息和时间标签。然后，将信息组内容发送到三维重建计算机400。
交换机300将信息组转发至三维重建计算机400。三维重建计算机400用于读取标定参数，加载虚拟场景，并获取信息组，对多个拍摄设备100发送的模型信息进行时间匹配和融合，实现三维重建并根据标定参数进行调整，并通过虚拟现实显示设备500进行显示。
具体的，三维重建计算机400比较每个拍摄设备100发送过来的时间标签，当每个拍摄设备100同步时，对每个拍摄设备100的模型进行顶点、颜色、三角面和法向量的填充并通过虚拟现实显示设备500分别显示。将数据按照标定的基准点位置放置。
根据本发明实施例的基于深度视频流的实时三维模型重建方法及系统，通过深度图像和颜色图像的采集，特征匹配，点云以及三角面生成。多采集设备分布式分压模型，场景渲染计算机全模型销毁并重建的方式来是实现了实时性较高的动态三维模型重建。本发明采用深度与颜色相统一，重采样减帧和三角面优化的方式来减少三维重建的耗时，采用分布式的架构解决Kinect和场景渲染共同消耗GPU资源的压力，多台红外深度设备时间标签进行同步融合的方式解决了场景融合的问题。并且采用了动态Mesh重建销毁再重建的模式实现了不定顶点和三角面的模型重建和显示工作，达到了1060显卡下最快0.035±0.01秒的效果。
本发明通过基于分布式的多个深度点云信息带颜色图像信息的物体模型融合方案，以数据流技术替代固定模型的三维重建方式实现了高实时性的，相对清晰的建模效果，实现了虚实融合过程中对于动态模型实时展示的需求。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。本发明的范围由所附权利要求及其等同限定。

Claims (10)

1.一种基于深度视频流的实时三维模型重建方法，其特征在于，包括如下步骤：
步骤S1，搭建拍摄设备，根据拍摄设备的真实相对位置对虚拟场景中的基准点进行标定；
步骤S2，利用所述拍摄设备采集深度信息和颜色信息，利用所述拍摄设备的内部参数对所述深度信息和颜色信息进行畸变校正处理；
步骤S3，将深度信息和畸变校正处理后的畸变信息进行特征匹配，并将特征匹配后的深度信息和颜色信息进行空间匹配处理，将每个所述拍摄设备拍摄的深度图像信息融合为一个点云模型，并将每个拍摄设备的时间戳同步的图像进行特征匹配和裁剪，生成贴图信息；
步骤S4，对所述点云模型中的点云信息进行三角面计算处理和优化处理，生成带时间标签的信息组，将该信息组发送至三维重建计算机；
步骤S5，所述三维重建计算机读取标定参数，加载虚拟场景，并获取所述信息组，对多个拍摄设备发送的模型信息进行时间匹配和融合，实现三维重建并根据所述标定参数进行调整和显示。
2.如权利要求1所述的基于深度视频流的实时三维模型重建方法，其特征在于，在所述步骤S1中，所述拍摄设备包括三个摄像头，
利用三角支架固定三个摄像头，计算三个摄像头的真实相对位置；
利用三维引擎工具指定世界坐标系为目标采集的中心点；
将所述三维引擎和三个摄像头之间的空间坐标单元进行同步设置；
配置现实物理模型和虚拟场景的公制单位，保存设置参数，完成标定工作。
3.如权利要求1所述的基于深度视频流的实时三维模型重建方法，其特征在于，在所述步骤S2中，还包括如下步骤：利用所述拍摄设备的标准映射表，对经过畸变校正处理后的数据进行匹配，以供图像融合使用。
4.如权利要求1所述的基于深度视频流的实时三维模型重建方法，其特征在于，在所述步骤S4中，所述对点云模型中的点云信息进行三角面计算处理和优化处理，包括如下步骤：
设定基础模型的顶点个数和面个数，采用坍塌边算法对三角面进行优化和减面，生成带时间标签的信息组，其中，所述信息组包括模型信息、贴图信息和时间标签。
5.如权利要求1所述的基于深度视频流的实时三维模型重建方法，其特征在于，在所述步骤S5中，比较每个所述拍摄设备发送过来的时间标签，当每个拍摄设备同步时，对每个拍摄设备的模型进行顶点、颜色、三角面和法向量的填充并分别显示。
6.一种基于深度视频流的实时三维模型重建系统，其特征在于，包括：多个拍摄设备、多台前期处理计算机、交换机、三维重建计算机、虚拟现实显示设备，其中，
多个所述拍摄设备与多台前期处理计算机一一对应连接，每个所述拍摄设备用于采集深度信息和颜色信息；
每台所述前期处理计算机用于利用对应的所述拍摄设备的内部参数对所述深度信息和颜色信息进行畸变校正处理；将深度信息和畸变校正处理后的畸变信息进行特征匹配，并将特征匹配后的深度信息和颜色信息进行空间匹配处理，将每个所述拍摄设备拍摄的深度图像信息融合为一个点云模型，并将每个拍摄设备的时间戳同步的图像进行特征匹配和裁剪，生成贴图信息；对所述点云模型中的点云信息进行三角面计算处理和优化处理，生成带时间标签的信息组，将该信息组发送至所述交换机；
所述交换机将所述信息组转发至所述三维重建计算机；
所述三维重建计算机用于读取标定参数，加载虚拟场景，并获取所述信息组，对多个拍摄设备发送的模型信息进行时间匹配和融合，实现三维重建并根据所述标定参数进行调整，并通过所述虚拟现实显示设备进行显示。
7.如权利要求6所述的基于深度视频流的实时三维模型重建系统，其特征在于，所述所述多个拍摄设备包括三个摄像头，设置固定的正三角形支架，在每个角的顶点位置设置可拉伸高度的支架来固定一个摄像头，保持三个摄像头在同一高度处。
8.如权利要求6所述的基于深度视频流的实时三维模型重建系统，其特征在于，每台所述前期处理计算机还用于利用对应的拍摄设备的标准映射表，对经过畸变校正处理后的数据进行匹配，以供图像融合使用。
9.如权利要求6所述的基于深度视频流的实时三维模型重建系统，其特征在于，每台所述前期处理计算机还设定基础模型的顶点个数和面个数，采用坍塌边算法对三角面进行优化和减面，生成带时间标签的信息组，其中，所述信息组包括模型信息、贴图信息和时间标签。
10.如权利要求6所述的基于深度视频流的实时三维模型重建系统，其特征在于，所述三维重建计算机比较每个所述拍摄设备发送过来的时间标签，当每个拍摄设备同步时，对每个拍摄设备的模型进行顶点、颜色、三角面和法向量的填充并通过所述虚拟现实显示设备分别显示。
CN201810064808.4A 2018-01-23 2018-01-23 基于深度视频流的实时三维模型重建方法及系统 Pending CN108320330A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810064808.4A CN108320330A (zh) 2018-01-23 2018-01-23 基于深度视频流的实时三维模型重建方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810064808.4A CN108320330A (zh) 2018-01-23 2018-01-23 基于深度视频流的实时三维模型重建方法及系统

Publications (1)

Publication Number Publication Date
CN108320330A true CN108320330A (zh) 2018-07-24

Family

ID=62888108

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810064808.4A Pending CN108320330A (zh) 2018-01-23 2018-01-23 基于深度视频流的实时三维模型重建方法及系统

Country Status (1)

Country Link
CN (1) CN108320330A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109949413A (zh) * 2019-03-27 2019-06-28 武汉数文科技有限公司 模型展示方法、系统及电子设备
CN111862348A (zh) * 2020-07-30 2020-10-30 腾讯科技（深圳）有限公司 视频显示方法、视频生成方法、装置、设备及存储介质
CN111915683A (zh) * 2020-07-27 2020-11-10 湖南大学 图像位置标定方法、智能设备及存储介质
CN112017228A (zh) * 2019-05-31 2020-12-01 华为技术有限公司 一种对物体三维重建的方法及相关设备
CN113273211A (zh) * 2018-12-14 2021-08-17 Pcms控股公司 用于对空间数据进行程序化着色的系统和方法
CN113436559A (zh) * 2021-05-19 2021-09-24 吉林大学 一种沙盘动态景观实时显示系统及显示方法
CN113643788A (zh) * 2021-07-15 2021-11-12 北京复数健康科技有限公司 基于多个图像获取设备确定特征点的方法及系统
CN113810736A (zh) * 2021-08-26 2021-12-17 北京邮电大学 一种ai驱动的实时点云视频传输方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102591449A (zh) * 2010-10-27 2012-07-18 微软公司 虚拟内容和现实内容的低等待时间的融合
CN102842148A (zh) * 2012-07-10 2012-12-26 清华大学 一种无标记运动捕捉及场景重建方法及装置
CN105825544A (zh) * 2015-11-25 2016-08-03 维沃移动通信有限公司 一种图像处理方法及移动终端
WO2017123387A1 (en) * 2016-01-13 2017-07-20 Jingyi Yu Three-dimensional acquisition and rendering
CN107016704A (zh) * 2017-03-09 2017-08-04 杭州电子科技大学 一种基于增强现实的虚拟现实实现方法
CN107170037A (zh) * 2016-03-07 2017-09-15 深圳市鹰眼在线电子科技有限公司 一种基于多摄像机的实时三维点云重建方法和系统
CN107292965A (zh) * 2017-08-03 2017-10-24 北京航空航天大学青岛研究院 一种基于深度图像数据流的虚实遮挡处理方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102591449A (zh) * 2010-10-27 2012-07-18 微软公司 虚拟内容和现实内容的低等待时间的融合
CN102842148A (zh) * 2012-07-10 2012-12-26 清华大学 一种无标记运动捕捉及场景重建方法及装置
CN105825544A (zh) * 2015-11-25 2016-08-03 维沃移动通信有限公司 一种图像处理方法及移动终端
WO2017123387A1 (en) * 2016-01-13 2017-07-20 Jingyi Yu Three-dimensional acquisition and rendering
CN107170037A (zh) * 2016-03-07 2017-09-15 深圳市鹰眼在线电子科技有限公司 一种基于多摄像机的实时三维点云重建方法和系统
CN107016704A (zh) * 2017-03-09 2017-08-04 杭州电子科技大学 一种基于增强现实的虚拟现实实现方法
CN107292965A (zh) * 2017-08-03 2017-10-24 北京航空航天大学青岛研究院 一种基于深度图像数据流的虚实遮挡处理方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113273211A (zh) * 2018-12-14 2021-08-17 Pcms控股公司 用于对空间数据进行程序化着色的系统和方法
US11961264B2 (en) 2018-12-14 2024-04-16 Interdigital Vc Holdings, Inc. System and method for procedurally colorizing spatial data
CN109949413A (zh) * 2019-03-27 2019-06-28 武汉数文科技有限公司 模型展示方法、系统及电子设备
CN112017228A (zh) * 2019-05-31 2020-12-01 华为技术有限公司 一种对物体三维重建的方法及相关设备
CN111915683A (zh) * 2020-07-27 2020-11-10 湖南大学 图像位置标定方法、智能设备及存储介质
CN111862348A (zh) * 2020-07-30 2020-10-30 腾讯科技（深圳）有限公司 视频显示方法、视频生成方法、装置、设备及存储介质
CN111862348B (zh) * 2020-07-30 2024-04-30 深圳市腾讯计算机系统有限公司 视频显示方法、视频生成方法、装置、设备及存储介质
CN113436559A (zh) * 2021-05-19 2021-09-24 吉林大学 一种沙盘动态景观实时显示系统及显示方法
CN113643788A (zh) * 2021-07-15 2021-11-12 北京复数健康科技有限公司 基于多个图像获取设备确定特征点的方法及系统
CN113643788B (zh) * 2021-07-15 2024-04-05 北京复数健康科技有限公司 基于多个图像获取设备确定特征点的方法及系统
CN113810736A (zh) * 2021-08-26 2021-12-17 北京邮电大学 一种ai驱动的实时点云视频传输方法及系统

Similar Documents

Publication Publication Date Title
CN108320330A (zh) 基于深度视频流的实时三维模型重建方法及系统
US11410320B2 (en) Image processing method, apparatus, and storage medium
KR102125293B1 (ko) 생성 장치, 생성 방법, 및 기억 매체
US9665984B2 (en) 2D image-based 3D glasses virtual try-on system
CN107341832B (zh) 一种基于红外定位系统的多视角切换拍摄系统和方法
CN109035373B (zh) 三维特效程序文件包的生成及三维特效生成方法与装置
JP3992629B2 (ja) 画像生成システム、画像生成装置、画像生成方法
WO2023093217A1 (zh) 数据标注方法、装置、计算机设备、存储介质和程序
CN108537879A (zh) 三维模型重建系统及方法
CN108564642A (zh) 基于ue引擎的无标记表演捕捉系统
JP7456034B2 (ja) 複合現実表示装置および複合現実表示方法
CN106875493A (zh) Ar眼镜中虚拟目标物的叠加方法
JP2000503177A (ja) ２次元映像（ｍｏｔｉｏｎ ｐｉｃｔｕｒｅ）を３次元映像に変換する方法及び装置
CN102171726B (zh) 信息处理装置、信息处理方法、程序以及信息存储介质
JP2010109783A (ja) 電子カメラ
CN107862718A (zh) 4d全息视频捕捉方法
CN115641401A (zh) 一种三维实景模型的构建方法及相关装置
CN106303497A (zh) 一种虚拟现实内容生成方法和装置
JP2019191989A (ja) 仮想視点画像を生成するシステム、方法及びプログラム
JP5901370B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
CN107918948A (zh) 4d视频渲染方法
US20240185496A1 (en) Systems and Methods for Immersive Digital Experiences
JP2019103126A (ja) カメラシステム、カメラ制御装置、カメラ制御方法及びプログラム
EP4333420A1 (en) Information processing device, information processing method, and program
WO2019100214A1 (zh) 输出影像生成方法、设备及无人机

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180724

RJ01 Rejection of invention patent application after publication