CN108694741A - 一种三维重建方法及装置 - Google Patents

一种三维重建方法及装置 Download PDF

Info

Publication number
CN108694741A
CN108694741A CN201710224656.5A CN201710224656A CN108694741A CN 108694741 A CN108694741 A CN 108694741A CN 201710224656 A CN201710224656 A CN 201710224656A CN 108694741 A CN108694741 A CN 108694741A
Authority
CN
China
Prior art keywords
image
pixel
point cloud
coordinate system
color component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710224656.5A
Other languages
English (en)
Other versions
CN108694741B (zh
Inventor
李�杰
毛慧
许娅彤
王超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201710224656.5A priority Critical patent/CN108694741B/zh
Publication of CN108694741A publication Critical patent/CN108694741A/zh
Application granted granted Critical
Publication of CN108694741B publication Critical patent/CN108694741B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供了一种三维重建方法及装置，该方法包括：获得处于不同视点的图像采集设备所采集的当前色彩图像以及每一当前色彩图像对应的当前深度图像，其中，所获得的当前色彩图像为：对应同一目标场景的图像；从所获得的每一当前色彩图像中提取包含运动对象的目标色彩图像；根据所获得的每一目标色彩图像，获得每一目标色彩图像对应的当前深度图像的目标点云；将所获得的所有目标点云进行配准，获得最终点云；根据最终点云以及每一目标色彩图像，建立纹理三维模型。应用本发明实施例提供的方案重建纹理三维模型，提高了所建立纹理三维模型的准确度。

Description

一种三维重建方法及装置
技术领域
本发明涉及计算机视觉技术领域，特别是涉及一种三维重建方法及装置。
背景技术
三维重建技术可以应用于3D城市模型构建、工业3D模型制作、3D打印、机器人导航、虚拟现实以及智能监控等领域。在智能监控领域中，为了更好的实现对监控场景的监控，可以利用处于不同视点的图像采集设备所采集的图像，对的整个场景进行三维重建。
现有的三维重建技术中，需要对所监控的整个场景进行重建，场景中的静止对象会影响作为重点关注对象的运动对象的建模，使得所建立的三维模型不够准确，也就是所建立的三维模型准确度不高。
发明内容
本发明实施例的目的在于提供一种三维重建方法及装置，以提高所建立三维模型的准确度。具体技术方案如下：
一方面，本发明实施例提供了一种三维重建方法，所述方法包括：
获得处于不同视点的图像采集设备所采集的当前色彩图像以及每一当前色彩图像对应的当前深度图像，其中，所获得的当前色彩图像为：对应同一目标场景的图像；
从所获得的每一当前色彩图像中，提取包含运动对象的目标色彩图像；
根据所获得的每一目标色彩图像，获得每一目标色彩图像对应的当前深度图像的目标点云；
将所获得的所有目标点云进行配准，获得最终点云；
根据所述最终点云以及每一目标色彩图像，建立纹理三维模型。
可选地，目标图像采集设备的视场与其他图像采集设备中的至少一个图像采集设备的视场存在交集，所述目标图像采集设备为：所述处于不同视点的图像采集设备中的任意一个图像采集设备，所述其他图像采集设备为：所述处于不同视点的图像采集设备中除所述目标图像采集设备外的其他图像采集设备。
可选地，所述从所获得的每一当前色彩图像中，提取包含运动对象的目标色彩图像的步骤，包括：
利用预设的运动对象提取算法，从所获得的每一当前色彩图像中，提取包含运动对象的目标色彩图像。
可选地，所述从所获得的每一当前色彩图像中，提取包含运动对象的目标色彩图像的步骤，包括：
按照以下方式获得每一当前色彩图像的目标色彩图像：
获得第一图像对应的预存背景图像，其中，所述第一图像为当前色彩图像中的一个；
计算所述第一图像与所述预存背景图像的差值图；
对所计算的差值图进行二值化以及腐蚀膨胀处理，获得二值化差值图；
遍历所述二值化差值图，确定每一第一像素点的像素值，其中，所述第一像素点为：所述二值化差值图中的任一像素点；
当所述第一像素点的像素值为预定数值时，将所述第一像素点的像素值修改为第二像素点的像素值，获得所述第一图像对应的包含运动对象的目标色彩图像，其中，所述第二像素点为：所述第一图像中的、且与所述第一像素点处于相同位置的像素点。
可选地，每一图像采集设备利用所包含的深度图像采集子设备采集当前深度图像；
在所述根据所获得的每一目标色彩图像，获得每一目标色彩图像对应的当前深度图像的目标点云的步骤之前，所述方法还包括：
获得所述处于不同视点的图像采集设备的参数信息，其中，每一参数信息中均包含：第一焦距信息和第一像主点信息，所述第一焦距信息为：所对应图像采集设备中的深度图像采集子设备的焦距信息，所述第一像主点信息为：所对应图像采集设备中的深度图像采集子设备的像主点信息；
所述根据所获得的每一目标色彩图像，获得每一目标色彩图像对应的当前深度图像的目标点云的步骤，包括：
按照以下方式获得每一目标色彩图像对应的当前深度图像的目标点云：
利用第二图像对应的深度图像采集子设备的第一焦距信息以及第一像主点信息，获得所述第二图像的备选点云，其中，所述第二图像为当前深度图像中的一个；
根据所述备选点云以及所述备选点云对应的目标色彩图像，获得所述第二图像的目标点云。
可选地，所述每一图像采集设备利用所包含的色彩图像采集子设备采集当前色彩图像；
每一参数信息还包含：第一坐标系与第二坐标系的第一转换关系，其中，所述第一坐标系为：基于第一光心所建立的坐标系，所述第一光心为：参数信息所对应的图像采集设备中的色彩图像采集子设备的光心，所述第二坐标系为：基于第二光心所建立的坐标系，所述第二光心为：参数信息所对应的图像采集设备中的深度图像采集子设备的光心；
所述根据所述备选点云以及所述备选点云对应的目标色彩图像，获得所述第二图像的目标点云的步骤，包括：
根据所述第一转换关系，将所述备选点云投影至所述备选点云对应的目标色彩图像；
从所述备选点云中，确定出投影至所述对应的目标色彩图像中的所述运动对象所在区域的第一数据点；
利用所述第一数据点，获得所述第二图像的目标点云。
可选地，在所述利用第二图像对应的深度图像采集子设备的第一焦距信息以及第一像主点信息，获得所述第二图像的备选点云的步骤之后，所述方法还包括：
计算每一第三像素点的水平梯度值以及垂直梯度值，其中，所述第三像素点为：所述第二图像中的任一像素点；
比较每一第三像素点的水平梯度值以及垂直梯度值的绝对值的大小；
将每一第三像素点对应的绝对值大的梯度值确定为该第三像素点的目标梯度值；
从所述备选点云中，将所对应目标梯度值大于预设阈值的第三像素点对应的数据点滤除，获得所述第二图像的中间点云；
所述根据所述备选点云以及所述备选点云对应的目标色彩图像，获得所述第二图像的目标点云的步骤，包括：
根据所述中间点云以及所述中间点云对应的目标色彩图像，获得所述第二图像的目标点云。
可选地，所述将所获得的所有目标点云进行配准，获得最终点云的步骤，包括：
将所获得的每一目标点云在所对应第二坐标系中的坐标转换至在世界坐标系中的坐标，获得最终点云。
可选地，在所述将所获得的每一目标点云在所对应第二坐标系中的坐标转换至在世界坐标系中的坐标，获得最终点云的步骤之后，所述方法还包括：
获得每一第二坐标系与世界坐标系的第二转换关系；
根据第一转换关系以及第二转换关系，获得每一第一坐标系与世界坐标系的第三转换关系；
所述根据所述最终点云以及每一目标色彩图像，建立纹理三维模型的步骤，包括：
利用所获得的最终点云建立三维模型；
根据所述第三转换关系，将每一第四像素点的像素值映射至所述三维模型上，得到所述纹理三维模型，其中，所述第四像素点为所述目标色彩图像中的任一像素点。
可选地，在所述将所获得的所有目标点云进行配准，获得最终点云的步骤之后，所述方法还包括：
根据预设分析算法以及所述最终点云，获得所述最终点云对应的分析信息；
输出和/或显示所获得的分析信息。
另一方面，本发明实施例提供了一种三维重建装置，所述装置包括：
第一获得模块，用于获得处于不同视点的图像采集设备所采集的当前色彩图像以及每一当前色彩图像对应的当前深度图像，其中，所获得的当前色彩图像为：对应同一目标场景的图像；
提取模块，用于从所获得的每一当前色彩图像中提取包含运动对象的目标色彩图像；
第二获得模块，用于根据所获得的每一目标色彩图像，获得每一目标色彩图像对应的当前深度图像的目标点云；
第三获得模块，用于将所获得的所有目标点云进行配准，获得最终点云；
建立模块，用于根据所述最终点云以及每一目标色彩图像，建立纹理三维模型。
可选地，目标图像采集设备的视场与其他图像采集设备中的至少一个图像采集设备的视场存在交集，所述目标图像采集设备为：所述处于不同视点的图像采集设备中的任意一个图像采集设备，所述其他图像采集设备为：所述处于不同视点的图像采集设备中除所述目标图像采集设备外的其他图像采集设备。
可选地，所述提取模块具体用于
利用预设的运动对象提取算法，从所获得的每一当前色彩图像中，提取包含运动对象的目标色彩图像。
可选地，所述提取模块按照以下方式获得每一当前色彩图像的目标色彩图像，所述提取模块包括第一获得子模块、计算子模块、第二获得子模块、确定子模块和第三获得子模块；
所述第一获得子模块，用于获得第一图像对应的预存背景图像，其中，所述第一图像为当前色彩图像中的一个；
所述计算子模块，用于计算所述第一图像与所述预存背景图像的差值图；
所述第二获得子模块，用于对所计算的差值图进行二值化以及腐蚀膨胀处理，获得二值化差值图；
所述确定子模块，用于遍历所述二值化差值图，确定每一第一像素点的像素值，其中，所述第一像素点为：所述二值化差值图中的任一像素点；
所述第三获得子模块，用于当所述第一像素点的像素值为预定数值时，将所述第一像素点的像素值修改为第二像素点的像素值，获得所述第一图像对应的包含运动对象的目标色彩图像，其中，所述第二像素点为：所述第一图像中的、且与所述第一像素点处于相同位置的像素点。
可选地，每一图像采集设备利用所包含的深度图像采集子设备采集当前深度图像；
所述装置还包括第四获得模块；
所述第四获得模块，用于在所述根据所获得的每一目标色彩图像，获得每一目标色彩图像对应的当前深度图像的目标点云的步骤之前，获得所述处于不同视点的图像采集设备的参数信息，其中，每一参数信息中均包含：第一焦距信息和第一像主点信息，所述第一焦距信息为：所对应图像采集设备中的深度图像采集子设备的焦距信息，所述第一像主点信息为：所对应图像采集设备中的深度图像采集子设备的像主点信息；
所述第二获得模块按照以下方式获得每一目标色彩图像对应的当前深度图像的目标点云，所述第二获得模块包括第四获得子模块和第五获得子模块；
所述第四获得子模块，用于利用第二图像对应的深度图像采集子设备的第一焦距信息以及第一像主点信息，获得所述第二图像的备选点云，其中，所述第二图像为当前深度图像中的一个；
所述第五获得子模块，用于根据所述备选点云以及所述备选点云对应的目标色彩图像，获得所述第二图像的目标点云。
可选地，所述每一图像采集设备利用所包含的色彩图像采集子设备采集当前色彩图像；
每一参数信息还包含：第一坐标系与第二坐标系的第一转换关系，其中，所述第一坐标系为：基于第一光心所建立的坐标系，所述第一光心为：参数信息所对应的图像采集设备中的色彩图像采集子设备的光心，所述第二坐标系为：基于第二光心所建立的坐标系，所述第二光心为：参数信息所对应的图像采集设备中的深度图像采集子设备的光心；
所述第五获得子模块，具体用于根据所述第一转换关系，将所述备选点云投影至所述备选点云对应的目标色彩图像；
从所述备选点云中，确定出投影至所述对应的目标色彩图像中的所述运动对象所在区域的第一数据点；
利用所述第一数据点，获得所述第二图像的目标点云。
可选地，所述装置还包括：计算模块、比较模块、确定模块和滤除模块；
所述计算模块，用于在所述利用第二图像对应的深度图像采集子设备的第一焦距信息以及第一像主点信息，获得所述第二图像的备选点云的步骤之后，计算每一第三像素点的水平梯度值以及垂直梯度值，其中，所述第三像素点为：所述第二图像中的任一像素点；
所述比较模块，用于比较每一第三像素点的水平梯度值以及垂直梯度值的绝对值的大小；
所述确定模块，用于将每一第三像素点对应的绝对值大的梯度值确定为该第三像素点的目标梯度值；
所述滤除模块，用于从所述备选点云中，将所对应目标梯度值大于预设阈值的第三像素点对应的数据点滤除，获得所述第二图像的中间点云；
所述第五获得子模块，具体用于
根据所述中间点云以及所述中间点云对应的目标色彩图像，获得所述第二图像的目标点云。
可选地，所述第三获得模块，具体用于
将所获得的每一目标点云在所对应第二坐标系中的坐标转换至在世界坐标系中的坐标，获得最终点云。
可选地，所述装置还包括：第五获得模块、第六获得模块；
所述第五获得模块，用于在所述将所获得的每一目标点云在所对应第二坐标系中的坐标转换至在世界坐标系中的坐标，获得最终点云的步骤之后，获得每一第二坐标系与世界坐标系的第二转换关系；
所述第六获得模块，用于根据第一转换关系以及第二转换关系，获得每一第一坐标系与世界坐标系的第三转换关系；
所述建立模块，具体用于
利用所获得的最终点云建立三维模型；
根据所述第三转换关系，将每一第四像素点的像素值映射至所述三维模型上，得到所述纹理三维模型，其中，所述第四像素点为所述目标色彩图像中的任一像素点。
可选地，所述装置还包括：第七获得模块和输出显示模块；
所述第七获得模块，用于在所述将所获得的所有目标点云进行配准，获得最终点云的步骤之后，根据预设分析算法以及所述最终点云，获得所述最终点云对应的分析信息；
所述输出显示模块，用于输出和/或显示所获得的分析信息。
本发明实施例中，获得处于不同视点的图像采集设备所采集的当前色彩图像以及每一当前色彩图像对应的当前深度图像，其中，所获得的当前色彩图像为：对应同一目标场景的图像；从所获得的每一当前色彩图像中提取包含运动对象的目标色彩图像；根据所获得的每一目标色彩图像，获得每一目标色彩图像对应的当前深度图像的目标点云；将所获得的所有目标点云进行配准，获得最终点云；根据最终点云以及每一目标色彩图像，建立纹理三维模型。
提取出当前色彩图像中所包含的运动对象，对其建立纹理三维模型，避免了当前色彩图像中静止对象对所建立纹理三维模型的影响，提高了所建立纹理三维模型的准确度。并且针对运动对象建立纹理三维模型，突出了所建纹理三维模型所对应的目标场景中所需关注的重点，提高了对运动对象的关注度。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1A为本发明实施例提供的一种三维重建方法的流程示意图；
图1B为本发明实施例提供的图像采集设备的分布的一种示意图；
图2为本发明实施例提供的一种三维重建方法的另一流程示意图；
图3为本发明实施例提供的一种三维重建方法的另一流程示意图；
图4为本发明实施例提供的一种三维重建方法的另一流程示意图
图5为本发明实施例提供的一种三维重建装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供了一种三维重建方法及装置，以实现建立出更准确的三维模型。
下面首先对本发明实施例所提供的一种三维重建方法进行介绍。
如图1A所示，本发明实施例提供了一种三维重建方法，包括如下步骤：
S101：获得处于不同视点的图像采集设备所采集的当前色彩图像以及每一当前色彩图像对应的当前深度图像，其中，所获得的当前色彩图像为：对应同一目标场景的图像；
需要说明的是，本发明实施例所提供的三维重建方法，可以应用于任一可以获得当前色彩图像以及每一当前色彩图像对应的当前深度图像的电子设备或服务器。该电子设备可以为电脑、智能手机等等，该服务器也可以为电脑、智能手机等等，这都是可以的。
当检测到目标场景中存在运动对象时，即触发本发明实施例所提供的三维重建方法，对目标场景(即监控场景)中的运动对象进行三维重建，以减少电子设备的运行负担。
该当前色彩图像可以为任一色彩模式的图像，例如：RGB(Red Green Blue，红绿蓝)色彩模式的图像，或者YUV色彩模式图像，等等。其中，YUV(也称YCrCb)是一种颜色编码方法，“Y”表示明亮度(Luminance或Luma)，也就是灰阶值；而“U”和“V”表示色度(Chrominance或Chroma)，作用是描述图像色彩及饱和度，用于指定像素点的颜色。“色度”定义了像素点的颜色的两个方面─色调与饱和度，分别用Cr和Cb来表示。
该当前深度图像中包含场景中各点的深度信息，即场景中各点到图像采集设备的距离信息，其中，在一种实现方式中，该当前深度图像中各像素点的像素值即为：各像素点对应的场景中的点的深度信息。
在一种实现方式中，上述图像采集设备中可能存在一个图像采集子设备，用于同时采集当前色彩图像以及当前色彩图像对应的当前深度图像；或者，可能存在两类图像采集子设备，可以包括采集当前色彩图像的图像采集子设备(即后续提到的色彩图像采集子设备)和采集当前深度图像的图像采集子设备(即后续提到的深度图像采集子设备)，分别用于采集当前色彩图像以及当前色彩图像对应的当前深度图像，例如：图像采集设备可以为RGB-D(Red Green Blue-Depth，红绿蓝-深度)相机，RGB-D相机既能获得色彩图像又能获得深度图像，此时，利用RGB-D相机所采集的色彩图像为RGB图像。其中，RGB-D相机包括但不限于TOF(Time of flight，飞行时间)深度相机、双目深度相机和光场相机。图像采集子设备可以是图像传感器。
上述处于不同视点的图像采集设备可以指：处于不同位置和/或不同角度的图像采集设备。处于不同视点的图像采集设备可以从不同位置和/或不同角度针对同一目标场景采集图像(包括当前色彩图像和当前色彩图像所对应的当前深度图像)，上述图像采集设备所采集的图像可以对应目标场景的不同区域(例如：正面、侧面、背面等)。
另外，一个图像采集设备中可能存在两类图像采集子设备，在一个图像采集设备中配置安装上述两类图像采集子设备时，可能会存在位置和/或角度上的细微偏差，在对所构建的纹理三维模型的精度要求不高(例如：精度要求低于预定精度阈值)的情况下，可以将一个图像采集设备中的若干个图像采集子设备作为处于同一视点的图像采集子设备，或者，也可以将视场重合度足够高的若干个图像采集子设备定义为处于同一视点的图像采集子设备，例如，将视场重合度达到预设范围的采集当前色彩图像的图像采集子设备和采集当前深度图像的图像采集子设备，作为处于同一视点的图像采集子设备，该预设范围可以根据实际情况确定。例如，该预设范围可以是视场重合度达到90％及90％以上，可以包括视场重合度达到95％，或者是90％，或者是99.6％等等，在此不做限定。上述的细微偏差中的“细微”是相对于不同图像采集设备之间的位置和/或角度上的偏差而言的。
可以理解的是，上述两类图像采集子设备可以存在于同一个物理实体中，例如：上述两类图像采集子设备均设置于同一个壳体中，此时，上述壳体以及上述壳体中所设置的所有子设备，组成本发明实施例中的一个图像采集设备；上述两类图像采集子设备也可以分别存在于不同的物理实体中，例如：上述两类图像采集子设备分别设置于两个壳体中，此时，上述两个壳体以及两个壳体中所设置的子设备，组成本发明实施例中的一个图像采集设备。
举例而言，处于不同视点的图像采集设备可以存在5组，分处于5个不同的视点，分别为组1(设备A1和设备A2)-视点1、组2(设备B1和设备B2)-视点2、组3(设备C1和设备C2)-视点3、组4(设备D1和设备D2)-视点4以及组5(设备E1和设备E2)-视点5，其中，设备A1、B1、C1、D1、E1可以为采集当前色彩图像的图像采集子设备，设备A2、B2、C2、D2、E2可以为采集当前深度图像的图像采集子设备。每组中的两个设备为同一个图像采集设备中的两个图像采集子设备。
在一种实现方式中，在利用处于不同视点的图像采集设备所采集的图像(包括当前色彩图像和当前色彩图像所对应的当前深度图像)建立纹理三维模型时，为了保证所建纹理三维模型的完整性和连贯性，处于不同视点处的图像采集设备中的图像采集设备的视场之间可能需要存在重合。例如，目标图像采集设备的视场与其他图像采集设备中的至少一个图像采集设备的视场存在交集，目标图像采集设备可以为：处于不同视点的图像采集设备中的任意一个，其他图像采集设备可以为：处于不同视点的图像采集设备中除目标图像采集设备外的其他图像采集设备。
这样，这些处于不同视点的图像采集设备的视场相互之间存在直接或间接的关联。
以N为2为例：假设处于不同视点的图像采集设备存在5个，分处于5个不同的视点，分别为设备1-视点1、设备2-视点2、设备3-视点3、设备4-视点4以及设备5-视点5。视点1与视点2相邻，视点2与视点3相邻，视点3与视点4相邻，视点4与视点5为相邻，视点5与视点1相邻。此时，上述5个图像采集设备的视场之和可以大于或等于360度，也可以小于360度，这都是可以的。
在上述5个图像采集设备的视场之和大于或等于360度的前提下：
一种情况下，可以是相邻的设备的视场存在重合，例如，处于视点1的设备1与处于视点2的设备2的视场范围可以存在重合，且处于视点2的设备2与处于视点3的设备3的视场范围可以存在重合，且处于视点3的设备3与处于视点4的设备4的视场范围可以存在重合，且处于视点4的设备4与处于视点5的设备5的视场范围可以存在重合，且处于视点5的设备5与处于视点1的设备1的视场范围可以存在重合。等等。
或者另一种情况下，可以是不相邻的设备的视场存在重合，例如，处于视点1的设备1与处于视点3的设备3的视场范围可以存在重合，且处于视点2的设备2与处于视点4的设备4的视场范围可以存在重合，且处于视点3的设备3与处于视点5的设备5的视场范围可以存在重合，且处于视点4的设备4与处于视点1的设备1的视场范围可以存在重合，且处于视点2的设备2与处于视点5的设备5的视场范围可以存在重合。
或者再一种情况下，可以既有相邻的设备的视场存在重合，又有不相邻的设备的视场存在重合，例如，存在处于视点1的设备1与处于视点2的设备2的视场范围可以存在重合，且处于视点2的设备2与处于视点3的设备3的视场范围可以存在重合，且处于视点3的设备3与处于视点5的设备5的视场范围可以存在重合，且处于视点4的设备4与处于视点1的设备1的视场范围可以存在重合，且处于视点4的设备4与处于视点5的设备5的视场范围可以存在重合。等等。
应用本发明实施例所提供的三维重建方法，可以实现对室内场景中的运动对象的三维重建，也可以实现对室外场景中的运动对象的三维重建，这都是可以的。图像采集设备可以被固定安装于室内的预定位置处。在实现对室内场景中的运动对象的三维重建时，图像采集设备的设置位置以及所需设置的数量，可以根据室内面积的大小或待监控的目标场景的大小进行调整，如图1B所示，可以在室内的四个角落分别设置一个图像采集设备，用于监控室内场景，进而当出现运动对象时，触发三维重建，对室内的运动对象进行监控并建立三维模型。其中，当四个图像采集设备(如图1B中所示的“C”)采集到图像(包括当前色彩图像以及当前深度图像)后，可以将图像通过网络发送至服务器或电子设备，等等，这都是可以的。在实现对室外场景中的运动对象的三维重建时，图像采集设备的设置位置以及所需设置的数量，可以根据待监控的目标场景的大小进行调整。
S102：从所获得的每一当前色彩图像中，提取包含运动对象的目标色彩图像；
可以理解的是，所获得的包含运动对象的目标色彩图像可以与当前色彩图像的尺寸相同，也可以与当前色彩图像的尺寸不同，这都是可以的。当前色彩图像中可以仅包含运动对象，也可以既包含运动对象又包含静止对象，在一种实现方式中，静止对象可以作为背景。
在一种实现方式中，所述从所获得的每一当前色彩图像中，提取包含运动对象的目标色彩图像(S102)的步骤，可以包括：利用预设的运动对象提取算法，从所获得的每一当前色彩图像中，提取包含运动对象的目标色彩图像。
其中，上述预设的运动对象提取算法可以是背景差分法、帧间差分法、光流法、扩展的EM(Expectation Maximization Algorithm，期望最大化算法)算法、能量运动检测、基于数学形态学的场景变化检测等等，其中，上述背景差分法、帧间差分法均可以称为求差法。
在其中一种实现方式中，可以利用求差法，从所获得的每一当前色彩图像中，提取包含运动对象的目标色彩图像；具体的，所述从所获得的每一当前色彩图像中，提取包含运动对象的目标色彩图像(S102)的步骤，可以包括：
按照以下方式获得每一当前色彩图像的目标色彩图像：
获得第一图像对应的预存背景图像，其中，第一图像为当前色彩图像中的一个；
计算第一图像与预存背景图像的差值图；
对所计算的差值图进行二值化以及腐蚀膨胀处理，获得二值化差值图；
遍历二值化差值图，确定每一第一像素点的像素值，其中，第一像素点为：二值化差值图中的任一像素点；
当第一像素点的像素值为预定数值时，将第一像素点的像素值修改为第二像素点的像素值，获得第一图像对应的包含运动对象的目标色彩图像，其中，第二像素点为：第一图像中的、且与第一像素点处于相同位置的像素点。
可以理解的是，每一当前色彩图像对应一个预存背景图像，针对所获得的每一当前色彩图像可以执行以下操作：获得第一图像(当前色彩图像中的任意一个)对应的预存背景图像，计算第一图像与预存背景图像的差值图，即针对第一图像与对应的预存背景图像，进行逐像素点的像素值作差，将所获得的作差结果作为差值图中对应像素点的像素值，获得差值图。
利用预设阈值对差值图进行二值化，当差值图中的像素点的像素值大于预设阈值时，将像素点的像素值设置为第一数值，该第一数值可以为“1”，当差值图中的像素点的像素值不大于预设阈值时，将像素点的像素值设置为第二数值，该第二数值可以为“0”。其中，上述的预设阈值可以根据实际情况进行设定。
进一步的，对二值化后所得的差值图进行腐蚀膨胀处理，获得二值化差值图。其中，可以先对二值化后所得的差值图进行腐蚀处理，后进行膨胀处理；也可以先对二值化后所得的差值图进行膨胀处理，后进行腐蚀处理，这都是可以的。可选地，可以先对二值化后所得的差值图进行腐蚀处理，后进行膨胀处理。
遍历二值化差值图，确定每一第一像素点的像素值，当第一像素点的像素值为预定数值时，将第一像素点的像素值修改为第二像素点的像素值，即将第一像素点的像素值恢复为二值化前的像素值，以获得目标色彩图像。其中，该预定数值可以等于第二数值，例如，预定数值可以为“0”。
S103：根据所获得的每一目标色彩图像，获得每一目标色彩图像对应的当前深度图像的目标点云；
需要说明的是，每一目标色彩图像中仅包含所提取的运动对象，每一目标色彩图像对应的当前深度图像中，包含所对应区域中各点的深度信息。可以先将每一当前深度图像转换为备选点云，然后根据当前深度图像对应的目标色彩图像，从备选点云中确定出目标点云，获得每一当前深度图像对应的目标点云。或者，可以先根据每一目标色彩图像，从目标色彩图像对应的当前深度图像中，提取出仅包含运动对象的图像，然后将仅包含运动对象的图像转换为目标点云，获得每一当前深度图像对应的目标点云，这都是可以的。
S104：将所获得的所有目标点云进行配准，获得最终点云；
将所获得的所有目标点云进行配准的过程，即为将在不同坐标系下的所有目标点云，转换到同一坐标系下的过程。可以将某一目标点云作为基准，将除作为基准的目标点云外的其他目标点云的坐标，均转换到作为基准的目标点云所在坐标系中的坐标。或者，将所获得的所有目标点云的坐标，均转换至预设坐标系中的坐标，这也是可以的。
对所获得的所有目标点云进行配准的方法存在多种，在对所有目标点云进行配准时，为了保证匹配准结果的准确性，可以先针对所有目标点云进行粗配准，再进行精配准。
粗配准是为了计算出各目标点云所在坐标系到目标坐标系的转换关系，可以利用标定物对各目标点云进行标定配准，上述标定物可以为棋盘格或定制的立体标定物。上述目标坐标系为：各目标点云进行粗配准后所在的坐标系，例如：上述目标坐标系可以为：后续提到的世界坐标系。
精配准是为了对粗配准后的各目标点云进行误差最小化处理，以减小粗配准过程中的人工误差，上述人工误差是由于标定物的制作精度上所存在的误差而造成的。精配准可以采用ICP配准算法(The Iterative Closest Point Registration Algorithm)，可以理解的是，在进行精配准后，对所计算出的各目标点云所在坐标系到目标坐标系的转换关系进行更新。
S105：根据最终点云以及每一目标色彩图像，建立纹理三维模型。
可以理解的是，根据最终点云可以构造出三维模型，然后根据每一目标色彩图像对所构造的三维模型进行纹理映射，可以得到最终的纹理三维模型。后续的，可以对所得到的纹理三维模型进行保存，以便于用户后期查看。
应用本发明实施例，提取出当前色彩图像中所包含的运动对象，对其建立纹理三维模型，避免了当前色彩图像中静止对象对所建立纹理三维模型的影响，提高了所建立纹理三维模型的准确度。并且针对运动对象建立纹理三维模型，突出了所建纹理三维模型所对应的目标场景中所需关注的重点，提高了对运动对象的关注度。
在一种实现方式中，一个图像采集设备中可能存在两类图像采集子设备，具体的，每一图像采集设备可以利用所包含的深度图像采集子设备(采集当前深度图像的图像采集子设备)采集当前深度图像；
在一种实现方式中，如图2所示，可以包括如下步骤：
S201：获得处于不同视点的图像采集设备所采集的当前色彩图像以及每一当前色彩图像对应的当前深度图像，其中，所获得的当前色彩图像为：对应同一目标场景的图像；
S202：从所获得的每一当前色彩图像中，提取包含运动对象的目标色彩图像；
其中，S201与图1中所示的S101相同，S202与图1中所示的S102相同。
S203：获得处于不同视点的图像采集设备的参数信息；
其中，每一参数信息中均包含：所对应图像采集设备中的深度图像采集子设备的第一焦距信息以及第一像主点信息；
在本发明的一个可选实施例中，利用棋盘格标定法(例如：张正友标定法)，可以确定出图像采集设备中的深度图像采集子设备的参数信息，上述参数信息可以包括深度图像采集子设备的第一焦距信息、第一像主点信息、第一畸变系数等等。其中，像主点为图像采集设备的光轴与像平面的交点。本发明实施例中，该第一像主点为：所对应图像采集设备中的深度图像采集子设备的光轴与像平面的交点。第一像主点信息包含：第一像主点在第二图像中的二维坐标，需要说明的是，利用第一像主点的二维坐标，可以确定第二图像中每一像素点的二维坐标。
S204：利用第二图像对应的深度图像采集子设备的第一焦距信息以及第一像主点信息，获得第二图像的备选点云，其中，第二图像为当前深度图像中的一个；
S205：根据备选点云以及备选点云对应的目标色彩图像，获得第二图像的目标点云；
其中，S204及S205为图1中所示的S103的一种实现方式。可以理解的是，目标色彩图像与当前深度图像存在对应关系，当前深度图像与备选点云存在对应关系，进一步的，目标色彩图像与备选点云存在对应关系。
S206：将所获得的所有目标点云进行配准，获得最终点云；
S207：根据最终点云以及每一目标色彩图像，建立纹理三维模型。
其中，S206与图1中所示的S104相同，S207与图1中所示的S105相同。
在不考虑图像采集设备所采集图像发生畸变的情况下，将第二图像中每一像素点的二维坐标(u,v)，转换为在预设的三维直角坐标系中的三维坐标(XC,YC,ZC)，以获得第二图像的备选点云。其中，上述的三维直角坐标系为：基于第二光心建立的坐标系，上述的第二光心为：第二图像对应的图像采集设备中的深度图像采集子设备的光心，坐标转换时所利用公式如下：
其中，fDx和fDy均为第二图像对应的深度图像采集子设备的焦距；(uD0,vD0)为上述第二图像中的第一像主点的二维坐标；ZC为上述第二图像中的像素点(u,v)对应的场景中的点，到图像采集设备的距离信息，即像素点(u,v)的像素值。其中，fDx表示所确定的上述深度图像采集子设备的x轴方向上的焦距，fDy表示所确定的上述深度图像采集子设备的y轴方向上的焦距。上述fDx和fDy均包含于第一焦距信息中，可以由张正友标定法直接标定确定。上述第一像主点的二维坐标也可以由张正友标定法直接标定确定。
在另一种实现方式中，在考虑图像采集设备所采集图像发生畸变的情况下，则先利用第一畸变系数对第二图像进行畸变校正，然后再按照上述方式获得第二图像的备选点云。
在本发明的一个可选实施例中，一个图像采集设备中可能存在两类图像采集子设备，在对所构建的纹理三维模型的精度要求较高(例如：精度要求不低于预定精度阈值)的情况下，在根据每一备选点云对应的目标色彩图像，从备选点云中筛选出目标点云，获得第二图像的备选点云时，需要将上述两类图像采集子设备在配置安装时，可能会产生的细微偏差消除。具体的，每一图像采集设备可以利用所包含的色彩图像采集子设备(采集当前色彩图像的图像采集子设备)采集当前色彩图像；
每一参数信息还可以包含：第一坐标系与第二坐标系的第一转换关系，其中，第一坐标系为：基于第一光心所建立的坐标系，第一光心为：参数信息所对应的图像采集设备中的色彩图像采集子设备的光心，第二坐标系为：基于第二光心所建立的坐标系，第二光心为：参数信息所对应的图像采集设备中的深度图像采集子设备的光心。
如图3所示，所述根据备选点云以及备选点云对应的目标色彩图像，获得第二图像的目标点云(S205)的步骤，可以包括：
S301：根据第一转换关系，将备选点云投影至备选点云对应的目标色彩图像；
S302：从备选点云中，确定出投影至对应的目标色彩图像中的运动对象所在区域的第一数据点；
S303：利用第一数据点，获得第二图像的目标点云。
可以理解的是，第一坐标系与第二坐标系的第一转换关系，可以利用棋盘格标定法(例如：张正友标定法)确定。具体的，上述每一参数信息中还可以包含所对应图像采集设备中的色彩图像采集子设备的第二焦距信息、第二像主点信息以及第二畸变系数等等；上述每一参数所包含的信息均可以利用棋盘格标定法(例如：张正友标定法)确定。
第一坐标系与第二坐标系可以均为三维直角坐标系。可以理解的是，第一转换关系中包含第二坐标系到第一坐标系的旋转关系和平移关系，和/或包含第一坐标系到第二坐标系的旋转关系和平移关系，这都是可以的。根据第一转换关系，可以将目标色彩图像中的每一像素点在第一坐标系中的坐标，转换至在第二坐标系的坐标；也可以将备选点云中的每一数据点在第二坐标系中的坐标，转换至在第一坐标系中的坐标，以使每对对应的备选点云与目标色彩图像在同一坐标系下。然后将每一备选点云中的数据点，投影至每一备选点云对应的目标色彩图像，滤除投影在运动对象所在区域外的第二数据点，保留投影在运动对象所在区域的第一数据点，利用所保留的第一数据点，获得当前深度图像对应的目标点云。
需要说明的是，在一些场景下，根据第二图像获得的备选点云中会存在噪声。在对运动对象进行三维重建时，备选点云中的噪声会为各备选点云之间的配准造成误差，并且，备选点云中的噪声也会影响纹理三维模型的三维模型的重建效果。
另外，纹理三维模型的三维模型是根据当前深度图像所生成的目标点云构建的，而纹理三维模型中的纹理是根据当前色彩图像所提取的目标色彩图像构建的。在一些场景下，一个图像采集设备中可能存在两类图像采集子设备，在一个图像采集设备中，配置安装上述两类图像采集子设备时，可能会存在位置和/或角度上的细微偏差。此时，由于上述情况，在根据第一转换关系，将备选点云投影至备选点云对应的目标色彩图像，进而，根据投影结果，从备选点云中获得目标点云时，可能还会造成当前深度图像与所对应的当前色彩图像之间会存在一定的视差误差，即所获得的目标点云中可能会存在作为背景的数据点，即存在局部误差点云，进一步的，根据目标点云获得的最终点云中也会存在局部误差点云，即所构建的三维模型中存在局部误差点云。在将纹理映射至三维模型时，三维模型中的局部误差点云中原本是背景(例如：静止对象)的数据点，可能会被映射成前景(例如：运动对象)的纹理，造成映射误差。
在对所构建的纹理三维模型的精度要求较高(例如：精度要求不低于上述预定精度阈值)的情况下，为了避免上述将纹理映射至三维模型时造成映射误差的情况，在所述利用第二图像对应的深度图像采集子设备的第一焦距信息以及第一像主点信息，获得第二图像的备选点云(S204)的步骤之后，所述方法还可以包括对备选点云的预处理流程，以滤除备选点云中的噪声且滤除局部误差点云，在一种实现方式中，如图4所示，包括如下步骤：
S401：获得处于不同视点的图像采集设备所采集的当前色彩图像以及每一当前色彩图像对应的当前深度图像，其中，所获得的当前色彩图像为：对应同一目标场景的图像；
S402：从所获得的每一当前色彩图像中，提取包含运动对象的目标色彩图像；
其中，S401与图2中所示的S201相同，S402与图2中所示的S202相同。
S403：获得处于不同视点的图像采集设备的参数信息；
其中，每一参数信息中均包含：第一焦距信息和第一像主点信息，第一焦距信息为：所对应图像采集设备中的深度图像采集子设备的焦距信息，第一像主点信息为：所对应图像采集设备中的深度图像采集子设备的像主点信息；第一像主点为：所对应图像采集设备中的深度图像采集子设备的光轴与像平面的交点。第一像主点信息包含：第一像主点在第二图像中的预设的二维坐标。
S404：利用第二图像对应的深度图像采集子设备的第一焦距信息以及第一像主点信息，获得第二图像的备选点云，其中，第二图像为当前深度图像中的一个；
其中，S403与图2中所示的S203相同，S404与图2中所示的S204相同。
S405：计算每一第三像素点的水平梯度值以及垂直梯度值，其中，第三像素点为：第二图像中的任一像素点；
S406：比较每一第三像素点的水平梯度值以及垂直梯度值的绝对值的大小；
S407：将每一第三像素点对应的绝对值大的梯度值确定为该第三像素点的目标梯度值；
S408：从备选点云中，将所对应目标梯度值大于预设阈值的第三像素点对应的数据点滤除，获得第二图像的中间点云；
其中，S405～S408为上述的预处理流程。
S409：根据中间点云以及中间点云对应的目标色彩图像，获得第二图像的目标点云；
其中，S409为图2中的S205的一种实现方式。
S410：将所获得的所有目标点云进行配准，获得最终点云；
S411：根据最终点云以及每一目标色彩图像，建立纹理三维模型。
其中，S410与图2中所示的S206相同，S411与图2中所示的S207相同。
需要强调的是，为了提高所确定的目标点云的准确性，可以首先对第二图像进行边缘检测，以检测出所包含的运动对象的边缘。还可以依据所检测出的运动对象的边缘，对第二图像的备选点云中的数据点进行滤除，获得目标点云。其中，可以利用Sobel，Robert，Prewitt和Canny等任一算子对第二图像进行边缘检测，通过上述任一算子，计算每一第三像素点的水平梯度值以及垂直梯度值，然后将每一第三像素点的水平梯度值以及垂直梯度值中绝对值大的梯度值，确定为该第三像素点的目标梯度值。进一步的，可以确定第三像素点的目标梯度值是否大于预定阈值，当第三像素点的目标梯度值大于预定阈值时，可以确定该第三像素点为边缘像素点，将备选点云中上述边缘像素点对应的数据点滤除，获得第二图像的中间点云。可以理解的是，上述的第三像素点为第二图像中的任一像素点。上述的预设阈值可以根据实际情况进行设定。
在一种实现方式中，当一个图像采集设备中存在两类图像采集子设备时，上述第一焦距信息可以为：所对应的采集当前深度图像的图像采集设备(即深度图像采集子设备)的焦距信息，上述第一像主点信息可以为：所对应的采集当前深度图像的图像采集设备的像主点信息。
在一种实现方式中，所述将所获得的所有目标点云进行配准，获得最终点云(S104)的步骤，可以包括：
将所获得的每一目标点云在所对应第二坐标系中的坐标转换至在世界坐标系中的坐标，获得最终点云。
在本发明一个可选实施例中，所获得的目标点云均处于不同的坐标系下，均处于其对应的图像采集设备中的深度图像采集子设备的坐标系下，在建立纹理三维模型之前，需要对各目标点云进行配准，即把不同坐标系下的目标点云转换至同一坐标系下，以能够获得完整的表征运动对象的最终点云。
可以理解的是，在上述将每一目标点云在所对应第二坐标系中的坐标转换至在世界坐标系中的坐标的过程中，可以获得每一第二坐标系与世界坐标系的第二转换关系，其中，每一第二转换关系中包含所对应的第二坐标系到世界坐标系的旋转关系和平移关系。在一种实现方式中，在所述将所获得的每一目标点云在所对应第二坐标系中的坐标转换至在世界坐标系中的坐标，获得最终点云(S104)的步骤之后，所述方法还可以包括：
获得每一第二坐标系与世界坐标系的第二转换关系；
根据第一转换关系以及第二转换关系，获得每一第一坐标系与世界坐标系的第三转换关系；
所述根据最终点云以及每一目标色彩图像，建立纹理三维模型(S105)的步骤，可以包括：
利用所获得的最终点云建立三维模型；
根据第三转换关系，将每一第四像素点的像素值映射至三维模型上，得到纹理三维模型，其中，第四像素点为目标色彩图像中的任一像素点。
在根据最终点云进行三维重建时，可以先计算最终点云的法向量，其中，可以利用基于局部平面拟合的方法、基于Delaunay/Voronoi的方法或者基于鲁棒统计的方法等等，计算出最终点云的法向量，本发明实施例并不对计算最终点云的法向量的实现方式进行限定。
获得最终点云的法向量后，根据最终点云在世界坐标系中的三维坐标和法向量，拟合出等值面的隐式函数，其中，可以利用FFT(Fast Fourier Transformation，快速傅氏变换，即离散傅立叶变换的快速算法)拟合和Poisson(泊松)拟合等隐式函数拟合算法，拟合出等值面的隐式函数。然后，采用Marching Cubes(移动立方体)算法针对所拟合出的等值面构造三角面片，形成三维模型。
可以理解的是，根据配准得到的第二坐标系与世界坐标系的第二转换关系以及第一坐标系与第二坐标系的第一转换关系，可计算出第一坐标系与世界坐标系的第三转换关系，然后再将根据处于不同视点的图像采集设备所采集的当前色彩图像，得到的目标色彩图像，映射到三维模型上，得到最终的纹理三维模型。具体计算关系如下：
其中，(XD,YD,ZD)表示监控场景中的点(X,Y,Z)在第二坐标系中的三维坐标，(XRGB,YRGB,ZRGB)表示上述点(X,Y,Z)在第一坐标系中的三维坐标，(XW,YW,ZW)表示上述点(X,Y,Z)在世界坐标系中的三维坐标；RD-W和TD-W表示第一坐标系与第二坐标系的第一转换关系，此时的第一转换关系中包含第二坐标系到第一坐标系的旋转关系和平移关系，其中，RD-W表示第二坐标系到第一坐标系的旋转关系，TD-W表示第二坐标系到第一坐标系的平移关系；RD-RGB和TD-RGB表示上述点(X,Y,Z)所在的第二坐标系与世界坐标系的第二转换关系，此时的第二转换关系中包含第二坐标系到世界坐标系的旋转关系和平移关系，其中，RD-RGB表示第二坐标系到世界坐标系的旋转关系，TD-RGB表示第二坐标系到世界坐标系的平移关系；通过第一转换关系和第二转换关系，获得每一第一坐标系与世界坐标系的第三转换关系，如下：
进一步的，可以根据上述的第三转换关系，确定三维模型中的三角面片顶点在第一坐标系中的坐标(m,n)：
可以理解的是，三维模型所在坐标系为世界坐标系。其中，(fRGBx，fRGBy)表示为图像采集设备中的色彩图像采集子设备的焦距信息，此处称为第二焦距信息，(cRGBx，cRGBy)表示为图像采集设备中的色彩图像采集子设备的像主点信息，此处称为第二像主点信息。由于三维模型是由各目标点云配准后得到的，且每一目标点云由：处于不同视点的图像采集设备中的深度图像采集子设备，所采集的当前深度图像获得的，因此，三维模型中的每一三角面片可能在每一第二坐标系中均存在投影点，为了获得更好的纹理三维模型，可以首先计算每一第二光心到三维模型中的每一三角面片中心的连线，与该三角面片的法向量的夹角，其中，该三角面片的法向量可以为根据该三角面片的三个顶点的法向量确定，例如：该三角面片的法向量可以为该三角面片的三个顶点的法向量的均值，等等。针对每一三角面片，可以选择夹角最小的图像采集设备中的色彩图像采集子设备对应的目标色彩图像，再进行纹理映射操作。
在一种实现方式中，在所述将所获得的所有目标点云进行配准，获得最终点云(S104)的步骤之后，所述方法还可以包括：
根据预设分析算法以及最终点云，获得最终点云对应的分析信息；
显示所获得的分析信息。
可以理解的是，最终点云为针对运动对象的数据点的集合，根据预设分析算法对最终点云进行分析，可以获得最终点云对应的分析信息。例如：当预设分析算法为基于运动特征提取的算法时，利用基于运动特征提取的算法对运动对象进行运动特征提取，根据所提取的运动特征，可以确定出运动对象的行为分析信息，当运动对象为人员时，上述行为分析信息可以为人员的运动状态或趋势，例如：跳跃、跑动等等。
基于运动特征提取的算法对运动对象进行运动特征提取时，包括全局特征提取方式和局部特征提取方式。其中，全局特征提取方式可以包括：利用预设的R变换从最终点云中获取运动对象的剪影信息，然后根据多个最终点云的剪影信息，得到3D时空体(Spatial-Temporal Volume，STV)，然后使用泊松方程从上述3D时空体中，计算得到局部时空兴趣点(Spatial-Temporal InterestingPoint，STIP)及上述局部时空兴趣点方向特征，将这些局部特征加权得到其全局特征，进一步，利用上述全局特征得到运动对象的行为分析信息。局部特征提取方式可以包括：利用3D特征算子提取用于行为识别(确定行为分析信息)的局部特征，3D特征算子可以包括3D Harris、3D-SIFT等；或，结合利用梯度方向直方图(histograms of orientedgradients，HOG)和光流方向直方图(histograms of opticalflow，HOF)，提取用于行为识别(确定行为分析信息)的局部特征。
又例如：当预设分析算法为属性特征提取算法时，利用属性特征提取算法(例如：基于颜色、纹理、形状或空间等特征的提取算法)对运动对象进行属性特性提取，根据所提取的属性特征确定运动对象的属性分析信息，当运动对象为人员时，上述属性分析信息可以为人员的身高信息、是否佩戴眼镜、是否带包等信息，进一步的，结合每一目标色彩图像，还可以确定出人员的服装的颜色等等。
又例如：当预设分析算法为目标跟踪算法时，利用目标跟踪算法(例如：基于粒子群优化的跟踪算法、TLD(Tracking-Learning-Detection)目标跟踪算法等)对运动对象进行跟踪，获得运动对象的运动轨迹和/或运动速度等信息。
针对上述方法实施例，本发明实施例还提供了一种三维重建装置，如图5所示，所述装置可以包括：
第一获得模块510，用于获得处于不同视点的图像采集设备所采集的当前色彩图像以及每一当前色彩图像对应的当前深度图像，其中，所获得的当前色彩图像为：对应同一目标场景的图像；
提取模块520，用于从所获得的每一当前色彩图像中提取包含运动对象的目标色彩图像；
第二获得模块530，用于根据所获得的每一目标色彩图像，获得每一目标色彩图像对应的当前深度图像的目标点云；
第三获得模块540，用于将所获得的所有目标点云进行配准，获得最终点云；
建立模块550，用于根据所述最终点云以及每一目标色彩图像，建立纹理三维模型。
应用本发明实施例，提取出当前色彩图像中所包含的运动对象，对其建立纹理三维模型，避免了当前色彩图像中静止对象对所建立纹理三维模型的影响，提高了所建立纹理三维模型的准确度。并且针对运动对象建立纹理三维模型，突出了所建纹理三维模型所对应的目标场景中所需关注的重点，提高了对运动对象的关注度。
在一种实现方式中，目标图像采集设备的视场与其他图像采集设备中的至少一个图像采集设备的视场存在交集，所述目标图像采集设备为：所述处于不同视点的图像采集设备中的任意一个图像采集设备，所述其他图像采集设备为：所述处于不同视点的图像采集设备中除所述目标图像采集设备外的其他图像采集设备。
在一种实现方式中，所述提取模块520具体用于
利用预设的运动对象提取算法，从所获得的每一当前色彩图像中，提取包含运动对象的目标色彩图像。
在一种实现方式中，所述提取模块520按照以下方式获得每一当前色彩图像的目标色彩图像，所述提取模块520可以包括第一获得子模块、计算子模块、第二获得子模块、确定子模块和第三获得子模块；
所述第一获得子模块，用于获得第一图像对应的预存背景图像，其中，所述第一图像为当前色彩图像中的一个；
所述计算子模块，用于计算所述第一图像与所述预存背景图像的差值图；
所述第二获得子模块，用于对所计算的差值图进行二值化以及腐蚀膨胀处理，获得二值化差值图；
所述确定子模块，用于遍历所述二值化差值图，确定每一第一像素点的像素值，其中，所述第一像素点为：所述二值化差值图中的任一像素点；
所述第三获得子模块，用于当所述第一像素点的像素值为预定数值时，将所述第一像素点的像素值修改为第二像素点的像素值，获得所述第一图像对应的包含运动对象的目标色彩图像，其中，所述第二像素点为：所述第一图像中的、且与所述第一像素点处于相同位置的像素点。
在一种实现方式中，每一图像采集设备利用所包含的深度图像采集子设备采集当前深度图像；
所述装置还包括第四获得模块；
所述第四获得模块，用于在所述根据所获得的每一目标色彩图像，获得每一目标色彩图像对应的当前深度图像的目标点云的步骤之前，获得所述处于不同视点的图像采集设备的参数信息，其中，每一参数信息中均包含：第一焦距信息和第一像主点信息，所述第一焦距信息为：所对应图像采集设备中的深度图像采集子设备的焦距信息，所述第一像主点信息为：所对应图像采集设备中的深度图像采集子设备的像主点信息；
所述第二获得模块530按照以下方式获得每一目标色彩图像对应的当前深度图像的目标点云，所述第二获得模块530可以包括第四获得子模块和第五获得子模块；
所述第四获得子模块，用于利用第二图像对应的深度图像采集子设备的第一焦距信息以及第一像主点信息，获得所述第二图像的备选点云，其中，所述第二图像为当前深度图像中的一个；
所述第五获得子模块，用于根据所述备选点云以及所述备选点云对应的目标色彩图像，获得所述第二图像的目标点云。
在一种实现方式中，所述每一图像采集设备利用所包含的色彩图像采集子设备采集当前色彩图像；
每一参数信息还包含：第一坐标系与第二坐标系的第一转换关系，其中，所述第一坐标系为：基于第一光心所建立的坐标系，所述第一光心为：参数信息所对应的图像采集设备中的色彩图像采集子设备的光心，所述第二坐标系为：基于第二光心所建立的坐标系，所述第二光心为：参数信息所对应的图像采集设备中的深度图像采集子设备的光心；
所述第五获得子模块，具体用于根据所述第一转换关系，将所述备选点云投影至所述备选点云对应的目标色彩图像；
从所述备选点云中，确定出投影至所述对应的目标色彩图像中的所述运动对象所在区域的第一数据点；
利用所述第一数据点，获得所述第二图像的目标点云。
在一种实现方式中，所述装置还可以包括：计算模块、比较模块、确定模块和滤除模块；
所述计算模块，用于在所述利用第二图像对应的深度图像采集子设备的第一焦距信息以及第一像主点信息，获得所述第二图像的备选点云的步骤之后，计算每一第三像素点的水平梯度值以及垂直梯度值，其中，所述第三像素点为：所述第二图像中的任一像素点；
所述比较模块，用于比较每一第三像素点的水平梯度值以及垂直梯度值的绝对值的大小；
所述确定模块，用于将每一第三像素点对应的绝对值大的梯度值确定为该第三像素点的目标梯度值；
所述滤除模块，用于从所述备选点云中，将所对应目标梯度值大于预设阈值的第三像素点对应的数据点滤除，获得所述第二图像的中间点云；
所述第五获得子模块，具体用于
根据所述中间点云以及所述中间点云对应的目标色彩图像，获得所述第二图像的目标点云。
在一种实现方式中，所述第三获得模块540，具体用于
将所获得的每一目标点云在所对应第二坐标系中的坐标转换至在世界坐标系中的坐标，获得最终点云。
在一种实现方式中，所述装置还可以包括：第五获得模块、第六获得模块；
所述第五获得模块，用于在所述将所获得的每一目标点云在所对应第二坐标系中的坐标转换至在世界坐标系中的坐标，获得最终点云的步骤之后，获得每一第二坐标系与世界坐标系的第二转换关系；
所述第六获得模块，用于根据第一转换关系以及第二转换关系，获得每一第一坐标系与世界坐标系的第三转换关系；
所述建立模块550，具体用于
利用所获得的最终点云建立三维模型；
根据所述第三转换关系，将每一第四像素点的像素值映射至所述三维模型上，得到所述纹理三维模型，其中，所述第四像素点为所述目标色彩图像中的任一像素点。
在一种实现方式中，所述装置还包括：第七获得模块和输出显示模块；
所述第七获得模块，用于在所述将所获得的所有目标点云进行配准，获得最终点云的步骤之后，根据预设分析算法以及所述最终点云，获得所述最终点云对应的分析信息；
所述输出显示模块，用于输出和/或显示所获得的分析信息。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (20)

1.一种三维重建方法，其特征在于，所述方法包括：
获得处于不同视点的图像采集设备所采集的当前色彩图像以及每一当前色彩图像对应的当前深度图像，其中，所获得的当前色彩图像为：对应同一目标场景的图像；
从所获得的每一当前色彩图像中，提取包含运动对象的目标色彩图像；
根据所获得的每一目标色彩图像，获得每一目标色彩图像对应的当前深度图像的目标点云；
将所获得的所有目标点云进行配准，获得最终点云；
根据所述最终点云以及每一目标色彩图像，建立纹理三维模型。
2.根据权利要求1所述的方法，其特征在于，目标图像采集设备的视场与其他图像采集设备中的至少一个图像采集设备的视场存在交集，所述目标图像采集设备为：所述处于不同视点的图像采集设备中的任意一个图像采集设备，所述其他图像采集设备为：所述处于不同视点的图像采集设备中除所述目标图像采集设备外的其他图像采集设备。
3.根据权利要求1所述的方法，其特征在于，所述从所获得的每一当前色彩图像中，提取包含运动对象的目标色彩图像的步骤，包括：
利用预设的运动对象提取算法，从所获得的每一当前色彩图像中，提取包含运动对象的目标色彩图像。
4.根据权利要求1所述的方法，其特征在于，所述从所获得的每一当前色彩图像中，提取包含运动对象的目标色彩图像的步骤，包括：
按照以下方式获得每一当前色彩图像的目标色彩图像：
获得第一图像对应的预存背景图像，其中，所述第一图像为当前色彩图像中的一个；
计算所述第一图像与所述预存背景图像的差值图；
对所计算的差值图进行二值化以及腐蚀膨胀处理，获得二值化差值图；
遍历所述二值化差值图，确定每一第一像素点的像素值，其中，所述第一像素点为：所述二值化差值图中的任一像素点；
当所述第一像素点的像素值为预定数值时，将所述第一像素点的像素值修改为第二像素点的像素值，获得所述第一图像对应的包含运动对象的目标色彩图像，其中，所述第二像素点为：所述第一图像中的、且与所述第一像素点处于相同位置的像素点。
5.根据权利要求1所述的方法，其特征在于，每一图像采集设备利用所包含的深度图像采集子设备采集当前深度图像；
在所述根据所获得的每一目标色彩图像，获得每一目标色彩图像对应的当前深度图像的目标点云的步骤之前，所述方法还包括：
获得所述处于不同视点的图像采集设备的参数信息，其中，每一参数信息中均包含：第一焦距信息和第一像主点信息，所述第一焦距信息为：所对应图像采集设备中的深度图像采集子设备的焦距信息，所述第一像主点信息为：所对应图像采集设备中的深度图像采集子设备的像主点信息；
所述根据所获得的每一目标色彩图像，获得每一目标色彩图像对应的当前深度图像的目标点云的步骤，包括：
按照以下方式获得每一目标色彩图像对应的当前深度图像的目标点云：
利用第二图像对应的深度图像采集子设备的第一焦距信息以及第一像主点信息，获得所述第二图像的备选点云，其中，所述第二图像为当前深度图像中的一个；
根据所述备选点云以及所述备选点云对应的目标色彩图像，获得所述第二图像的目标点云。
6.根据权利要求5所述的方法，其特征在于，所述每一图像采集设备利用所包含的色彩图像采集子设备采集当前色彩图像；
每一参数信息还包含：第一坐标系与第二坐标系的第一转换关系，其中，所述第一坐标系为：基于第一光心所建立的坐标系，所述第一光心为：参数信息所对应的图像采集设备中的色彩图像采集子设备的光心，所述第二坐标系为：基于第二光心所建立的坐标系，所述第二光心为：参数信息所对应的图像采集设备中的深度图像采集子设备的光心；
所述根据所述备选点云以及所述备选点云对应的目标色彩图像，获得所述第二图像的目标点云的步骤，包括：
根据所述第一转换关系，将所述备选点云投影至所述备选点云对应的目标色彩图像；
从所述备选点云中，确定出投影至所述对应的目标色彩图像中的所述运动对象所在区域的第一数据点；
利用所述第一数据点，获得所述第二图像的目标点云。
7.根据权利要求5所述的方法，其特征在于，在所述利用第二图像对应的深度图像采集子设备的第一焦距信息以及第一像主点信息，获得所述第二图像的备选点云的步骤之后，所述方法还包括：
计算每一第三像素点的水平梯度值以及垂直梯度值，其中，所述第三像素点为：所述第二图像中的任一像素点；
比较每一第三像素点的水平梯度值以及垂直梯度值的绝对值的大小；
将每一第三像素点对应的绝对值大的梯度值确定为该第三像素点的目标梯度值；
从所述备选点云中，将所对应目标梯度值大于预设阈值的第三像素点对应的数据点滤除，获得所述第二图像的中间点云；
所述根据所述备选点云以及所述备选点云对应的目标色彩图像，获得所述第二图像的目标点云的步骤，包括：
根据所述中间点云以及所述中间点云对应的目标色彩图像，获得所述第二图像的目标点云。
8.根据权利要求6所述的方法，其特征在于，所述将所获得的所有目标点云进行配准，获得最终点云的步骤，包括：
将所获得的每一目标点云在所对应第二坐标系中的坐标转换至在世界坐标系中的坐标，获得最终点云。
9.根据权利要求8所述的方法，其特征在于，在所述将所获得的每一目标点云在所对应第二坐标系中的坐标转换至在世界坐标系中的坐标，获得最终点云的步骤之后，所述方法还包括：
获得每一第二坐标系与世界坐标系的第二转换关系；
根据第一转换关系以及第二转换关系，获得每一第一坐标系与世界坐标系的第三转换关系；
所述根据所述最终点云以及每一目标色彩图像，建立纹理三维模型的步骤，包括：
利用所获得的最终点云建立三维模型；
根据所述第三转换关系，将每一第四像素点的像素值映射至所述三维模型上，得到所述纹理三维模型，其中，所述第四像素点为所述目标色彩图像中的任一像素点。
10.根据权利要求1-9任一项所述的方法，其特征在于，在所述将所获得的所有目标点云进行配准，获得最终点云的步骤之后，所述方法还包括：
根据预设分析算法以及所述最终点云，获得所述最终点云对应的分析信息；
输出和/或显示所获得的分析信息。
11.一种三维重建装置，其特征在于，所述装置包括：
第一获得模块，用于获得处于不同视点的图像采集设备所采集的当前色彩图像以及每一当前色彩图像对应的当前深度图像，其中，所获得的当前色彩图像为：对应同一目标场景的图像；
提取模块，用于从所获得的每一当前色彩图像中提取包含运动对象的目标色彩图像；
第二获得模块，用于根据所获得的每一目标色彩图像，获得每一目标色彩图像对应的当前深度图像的目标点云；
第三获得模块，用于将所获得的所有目标点云进行配准，获得最终点云；
建立模块，用于根据所述最终点云以及每一目标色彩图像，建立纹理三维模型。
12.根据权利要求11所述的装置，其特征在于，目标图像采集设备的视场与其他图像采集设备中的至少一个图像采集设备的视场存在交集，所述目标图像采集设备为：所述处于不同视点的图像采集设备中的任意一个图像采集设备，所述其他图像采集设备为：所述处于不同视点的图像采集设备中除所述目标图像采集设备外的其他图像采集设备。
13.根据权利要求11所述的装置，其特征在于，所述提取模块具体用于
利用预设的运动对象提取算法，从所获得的每一当前色彩图像中，提取包含运动对象的目标色彩图像。
14.根据权利要求11所述的装置，其特征在于，所述提取模块按照以下方式获得每一当前色彩图像的目标色彩图像，所述提取模块包括第一获得子模块、计算子模块、第二获得子模块、确定子模块和第三获得子模块；
所述第一获得子模块，用于获得第一图像对应的预存背景图像，其中，所述第一图像为当前色彩图像中的一个；
所述计算子模块，用于计算所述第一图像与所述预存背景图像的差值图；
所述第二获得子模块，用于对所计算的差值图进行二值化以及腐蚀膨胀处理，获得二值化差值图；
所述确定子模块，用于遍历所述二值化差值图，确定每一第一像素点的像素值，其中，所述第一像素点为：所述二值化差值图中的任一像素点；
所述第三获得子模块，用于当所述第一像素点的像素值为预定数值时，将所述第一像素点的像素值修改为第二像素点的像素值，获得所述第一图像对应的包含运动对象的目标色彩图像，其中，所述第二像素点为：所述第一图像中的、且与所述第一像素点处于相同位置的像素点。
15.根据权利要求11所述的装置，其特征在于，每一图像采集设备利用所包含的深度图像采集子设备采集当前深度图像；
所述装置还包括第四获得模块；
所述第四获得模块，用于在所述根据所获得的每一目标色彩图像，获得每一目标色彩图像对应的当前深度图像的目标点云的步骤之前，获得所述处于不同视点的图像采集设备的参数信息，其中，每一参数信息中均包含：第一焦距信息和第一像主点信息，所述第一焦距信息为：所对应图像采集设备中的深度图像采集子设备的焦距信息，所述第一像主点信息为：所对应图像采集设备中的深度图像采集子设备的像主点信息；
所述第二获得模块按照以下方式获得每一目标色彩图像对应的当前深度图像的目标点云，所述第二获得模块包括第四获得子模块和第五获得子模块；
所述第四获得子模块，用于利用第二图像对应的深度图像采集子设备的第一焦距信息以及第一像主点信息，获得所述第二图像的备选点云，其中，所述第二图像为当前深度图像中的一个；
所述第五获得子模块，用于根据所述备选点云以及所述备选点云对应的目标色彩图像，获得所述第二图像的目标点云。
16.根据权利要求15所述的装置，其特征在于，所述每一图像采集设备利用所包含的色彩图像采集子设备采集当前色彩图像；
每一参数信息还包含：第一坐标系与第二坐标系的第一转换关系，其中，所述第一坐标系为：基于第一光心所建立的坐标系，所述第一光心为：参数信息所对应的图像采集设备中的色彩图像采集子设备的光心，所述第二坐标系为：基于第二光心所建立的坐标系，所述第二光心为：参数信息所对应的图像采集设备中的深度图像采集子设备的光心；
所述第五获得子模块，具体用于根据所述第一转换关系，将所述备选点云投影至所述备选点云对应的目标色彩图像；
从所述备选点云中，确定出投影至所述对应的目标色彩图像中的所述运动对象所在区域的第一数据点；
利用所述第一数据点，获得所述第二图像的目标点云。
17.根据权利要求15所述的装置，其特征在于，所述装置还包括：计算模块、比较模块、确定模块和滤除模块；
所述计算模块，用于在所述利用第二图像对应的深度图像采集子设备的第一焦距信息以及第一像主点信息，获得所述第二图像的备选点云的步骤之后，计算每一第三像素点的水平梯度值以及垂直梯度值，其中，所述第三像素点为：所述第二图像中的任一像素点；
所述比较模块，用于比较每一第三像素点的水平梯度值以及垂直梯度值的绝对值的大小；
所述确定模块，用于将每一第三像素点对应的绝对值大的梯度值确定为该第三像素点的目标梯度值；
所述滤除模块，用于从所述备选点云中，将所对应目标梯度值大于预设阈值的第三像素点对应的数据点滤除，获得所述第二图像的中间点云；
所述第五获得子模块，具体用于
根据所述中间点云以及所述中间点云对应的目标色彩图像，获得所述第二图像的目标点云。
18.根据权利要求16所述的装置，其特征在于，所述第三获得模块，具体用于
将所获得的每一目标点云在所对应第二坐标系中的坐标转换至在世界坐标系中的坐标，获得最终点云。
19.根据权利要求18所述的装置，其特征在于，所述装置还包括：第五获得模块、第六获得模块；
所述第五获得模块，用于在所述将所获得的每一目标点云在所对应第二坐标系中的坐标转换至在世界坐标系中的坐标，获得最终点云的步骤之后，获得每一第二坐标系与世界坐标系的第二转换关系；
所述第六获得模块，用于根据第一转换关系以及第二转换关系，获得每一第一坐标系与世界坐标系的第三转换关系；
所述建立模块，具体用于
利用所获得的最终点云建立三维模型；
根据所述第三转换关系，将每一第四像素点的像素值映射至所述三维模型上，得到所述纹理三维模型，其中，所述第四像素点为所述目标色彩图像中的任一像素点。
20.根据权利要求11-19任一项所述的装置，其特征在于，所述装置还包括：第七获得模块和输出显示模块；
所述第七获得模块，用于在所述将所获得的所有目标点云进行配准，获得最终点云的步骤之后，根据预设分析算法以及所述最终点云，获得所述最终点云对应的分析信息；
所述输出显示模块，用于输出和/或显示所获得的分析信息。
CN201710224656.5A 2017-04-07 2017-04-07 一种三维重建方法及装置 Active CN108694741B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710224656.5A CN108694741B (zh) 2017-04-07 2017-04-07 一种三维重建方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710224656.5A CN108694741B (zh) 2017-04-07 2017-04-07 一种三维重建方法及装置

Publications (2)

Publication Number Publication Date
CN108694741A true CN108694741A (zh) 2018-10-23
CN108694741B CN108694741B (zh) 2021-11-12

Family

ID=63842220

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710224656.5A Active CN108694741B (zh) 2017-04-07 2017-04-07 一种三维重建方法及装置

Country Status (1)

Country Link
CN (1) CN108694741B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109785429A (zh) * 2019-01-25 2019-05-21 北京极智无限科技有限公司 一种三维重建的方法和装置
CN110064200A (zh) * 2019-04-25 2019-07-30 腾讯科技（深圳）有限公司 基于虚拟环境的物体构建方法、装置及可读存储介质
CN110136211A (zh) * 2019-04-18 2019-08-16 中国地质大学（武汉） 一种基于主动双目视觉技术的工件定位方法及系统
CN110246212A (zh) * 2019-05-05 2019-09-17 上海工程技术大学 一种基于自监督学习的目标三维重建方法
CN110378964A (zh) * 2018-12-05 2019-10-25 北京京东尚科信息技术有限公司 一种摄像机外参标定方法及装置、存储介质
CN110415332A (zh) * 2019-06-21 2019-11-05 上海工程技术大学 一种非单一视角下复杂织物表面三维重建系统及其方法
CN110610537A (zh) * 2019-09-18 2019-12-24 深圳普罗米修斯视觉技术有限公司 一种衣服图像展示方法、装置及存储介质和终端设备
CN111369666A (zh) * 2020-03-02 2020-07-03 中国电子科技集团公司第五十二研究所 一种基于多台rgbd相机的动态目标重建方法和装置
CN111369659A (zh) * 2018-12-26 2020-07-03 杭州海康威视数字技术股份有限公司 一种基于三维模型的纹理映射方法、装置及设备
CN111833374A (zh) * 2019-04-22 2020-10-27 曜科智能科技（上海）有限公司 基于视频融合的路径规划方法、系统、存储介质、及终端
CN116778095A (zh) * 2023-08-22 2023-09-19 苏州海赛人工智能有限公司 一种基于人工智能的三维重建方法
CN117557601A (zh) * 2023-09-26 2024-02-13 北京长木谷医疗科技股份有限公司 一种基于数字孪生的骨骼配准方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110206274A1 (en) * 2010-02-25 2011-08-25 Canon Kabushiki Kaisha Position and orientation estimation apparatus and position and orientation estimation method
CN103400409A (zh) * 2013-08-27 2013-11-20 华中师范大学 一种基于摄像头姿态快速估计的覆盖范围3d可视化方法
US20150009214A1 (en) * 2013-07-08 2015-01-08 Vangogh Imaging, Inc. Real-time 3d computer vision processing engine for object recognition, reconstruction, and analysis
CN105205858A (zh) * 2015-09-18 2015-12-30 天津理工大学 一种基于单个深度视觉传感器的室内场景三维重建方法
US20160125226A1 (en) * 2013-09-17 2016-05-05 Shenzhen Institutes Of Advanced Technology Chinese Academy Of Sciences Method and system for automatically optimizing quality of point cloud data
CN105989604A (zh) * 2016-02-18 2016-10-05 合肥工业大学 一种基于kinect的目标物体三维彩色点云生成方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110206274A1 (en) * 2010-02-25 2011-08-25 Canon Kabushiki Kaisha Position and orientation estimation apparatus and position and orientation estimation method
US20150009214A1 (en) * 2013-07-08 2015-01-08 Vangogh Imaging, Inc. Real-time 3d computer vision processing engine for object recognition, reconstruction, and analysis
CN103400409A (zh) * 2013-08-27 2013-11-20 华中师范大学 一种基于摄像头姿态快速估计的覆盖范围3d可视化方法
US20160125226A1 (en) * 2013-09-17 2016-05-05 Shenzhen Institutes Of Advanced Technology Chinese Academy Of Sciences Method and system for automatically optimizing quality of point cloud data
CN105205858A (zh) * 2015-09-18 2015-12-30 天津理工大学 一种基于单个深度视觉传感器的室内场景三维重建方法
CN105989604A (zh) * 2016-02-18 2016-10-05 合肥工业大学 一种基于kinect的目标物体三维彩色点云生成方法

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110378964A (zh) * 2018-12-05 2019-10-25 北京京东尚科信息技术有限公司 一种摄像机外参标定方法及装置、存储介质
CN110378964B (zh) * 2018-12-05 2021-07-30 北京京东尚科信息技术有限公司 一种摄像机外参标定方法及装置、存储介质
CN111369659A (zh) * 2018-12-26 2020-07-03 杭州海康威视数字技术股份有限公司 一种基于三维模型的纹理映射方法、装置及设备
CN111369659B (zh) * 2018-12-26 2023-05-02 杭州海康威视数字技术股份有限公司 一种基于三维模型的纹理映射方法、装置及设备
US11954832B2 (en) 2019-01-25 2024-04-09 Beijing Ainfinit Technology Co., Ltd Three-dimensional reconstruction method and apparatus
CN109785429A (zh) * 2019-01-25 2019-05-21 北京极智无限科技有限公司 一种三维重建的方法和装置
WO2020151078A1 (zh) * 2019-01-25 2020-07-30 北京极智无限科技有限公司 一种三维重建的方法和装置
CN110136211A (zh) * 2019-04-18 2019-08-16 中国地质大学（武汉） 一种基于主动双目视觉技术的工件定位方法及系统
CN111833374A (zh) * 2019-04-22 2020-10-27 曜科智能科技（上海）有限公司 基于视频融合的路径规划方法、系统、存储介质、及终端
CN111833374B (zh) * 2019-04-22 2023-12-05 曜科智能科技（上海）有限公司 基于视频融合的路径规划方法、系统、存储介质、及终端
CN110064200B (zh) * 2019-04-25 2022-02-22 腾讯科技（深圳）有限公司 基于虚拟环境的物体构建方法、装置及可读存储介质
CN110064200A (zh) * 2019-04-25 2019-07-30 腾讯科技（深圳）有限公司 基于虚拟环境的物体构建方法、装置及可读存储介质
US12059615B2 (en) 2019-04-25 2024-08-13 Tencent Technology (Shenzhen) Company Limited Virtual-environment-based object construction method and apparatus, computer device, and computer-readable storage medium
CN110246212B (zh) * 2019-05-05 2023-02-07 上海工程技术大学 一种基于自监督学习的目标三维重建方法
CN110246212A (zh) * 2019-05-05 2019-09-17 上海工程技术大学 一种基于自监督学习的目标三维重建方法
CN110415332A (zh) * 2019-06-21 2019-11-05 上海工程技术大学 一种非单一视角下复杂织物表面三维重建系统及其方法
CN110610537B (zh) * 2019-09-18 2022-08-26 珠海普罗米修斯视觉技术有限公司 一种衣服图像展示方法、装置及存储介质和终端设备
CN110610537A (zh) * 2019-09-18 2019-12-24 深圳普罗米修斯视觉技术有限公司 一种衣服图像展示方法、装置及存储介质和终端设备
CN111369666A (zh) * 2020-03-02 2020-07-03 中国电子科技集团公司第五十二研究所 一种基于多台rgbd相机的动态目标重建方法和装置
CN116778095A (zh) * 2023-08-22 2023-09-19 苏州海赛人工智能有限公司 一种基于人工智能的三维重建方法
CN116778095B (zh) * 2023-08-22 2023-10-27 苏州海赛人工智能有限公司 一种基于人工智能的三维重建方法
CN117557601A (zh) * 2023-09-26 2024-02-13 北京长木谷医疗科技股份有限公司 一种基于数字孪生的骨骼配准方法及装置

Also Published As

Publication number Publication date
CN108694741B (zh) 2021-11-12

Similar Documents

Publication Publication Date Title
CN108694741A (zh) 一种三维重建方法及装置
CN107292965B (zh) 一种基于深度图像数据流的虚实遮挡处理方法
CN110009561B (zh) 一种监控视频目标映射到三维地理场景模型的方法及系统
CN107277491B (zh) 生成图像的深度图的方法及相关存储介质
CN101996407B (zh) 一种多相机颜色标定方法
RU2426172C1 (ru) Способ и система выделения данных об изображении объекта переднего плана на основе данных о цвете и глубине
US11816829B1 (en) Collaborative disparity decomposition
CN114255286B (zh) 一种多视角双目视觉感知的目标尺寸测量方法
Maimone et al. Real-time volumetric 3D capture of room-sized scenes for telepresence
CN111127318A (zh) 一种机场环境下的全景图像拼接方法
CN105303514A (zh) 图像处理方法和装置
CN106709901B (zh) 基于深度先验的模拟雾图生成方法
CN112396562A (zh) 一种高动态范围场景下基于rgb与dvs图像融合的视差图增强方法
CN104504688A (zh) 基于双目立体视觉的客流密度估计的方法和系统
JP2016170610A (ja) 三次元モデル処理装置およびカメラ校正システム
Li et al. HDRFusion: HDR SLAM using a low-cost auto-exposure RGB-D sensor
CN112686877A (zh) 基于双目相机的三维房屋损伤模型构建测量方法及系统
CN106203302B (zh) 基于视觉和无线感知相结合的行人检测和统计方法
CN114359412A (zh) 一种面向建筑数字孪生的相机外参自动标定方法及系统
CN114697623A (zh) 投影面选取和投影图像校正方法、装置、投影仪及介质
CN106952262A (zh) 一种基于立体视觉的船板加工精度分析方法
CN110909571B (zh) 一种高精度面部识别空间定位方法
CN117711130A (zh) 基于3d建模的厂区安全生产监管方法及系统、电子设备
CN105631868A (zh) 一种基于图像分类的深度信息提取方法
CN111784768A (zh) 基于三色四灯标记识别的无人机姿态估计方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant