CN112750195B - 目标物体的三维重建方法和装置、存储介质及电子设备 - Google Patents
目标物体的三维重建方法和装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN112750195B CN112750195B CN202010443161.3A CN202010443161A CN112750195B CN 112750195 B CN112750195 B CN 112750195B CN 202010443161 A CN202010443161 A CN 202010443161A CN 112750195 B CN112750195 B CN 112750195B
- Authority
- CN
- China
- Prior art keywords
- rgb
- refined
- depth
- map
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000007670 refining Methods 0.000 claims abstract description 5
- 238000004422 calculation algorithm Methods 0.000 claims description 23
- 238000001914 filtration Methods 0.000 claims description 21
- 230000000007 visual effect Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 10
- 230000003068 static effect Effects 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 6
- 238000007499 fusion processing Methods 0.000 description 11
- 230000003993 interaction Effects 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 230000002146 bilateral effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种目标物体的三维重建方法和装置、存储介质及电子设备。其中，该方法包括：获取RGB‑D在多个视角下的N张RGB‑D视图，使用RGB‑D中的深度图作为初始深度，利用多视图RGB图之间的几何关系对初始深度进行精修。对精修后的深度图进行融合，可对目标对象进行三维重建。本发明解决了现有技术中，基于深度相机确定的目标对象的三维重建存在获取的目标对象在图像中的每个像素点的值不确定，导致的三维重建的效率较低的技术问题。
Description
技术领域
本发明涉及图像处理领域，具体而言，涉及一种目标物体的三维重建方法和装置、存储介质及电子设备。
背景技术
三维重建(3D Reconstruction)技术一直是计算机图形学和计算机视觉领域的一个热点课题。早起的三维重建技术通常以二维图像作为输入，重建出场景中的三维模型。但是，受限于输入的数据，重建出的三维模型通常不够完整，而且真实感较低。随着各种面向普通消费者的深度相机(depth camera)的出现，基于深度相机的三维扫描和重建技术得到飞速发展。基于深度相机的三维重建技术所使用的数据是RGB图像和深度图像。
通常的深度相机的帧率(FPS)普遍较高，所带来的数据非常强大。以微软的KinectV1为例，其FPS＝30，即1秒扫描30帧，也就是1秒钟便可得到30张RGB图像和30张深度图像。每一帧图像的分辨率通常是640×480，那么在短短的一秒钟，深度相机得到的点云的点的个数是640×480×30＝9216000。重建过程中存在庞大的数据处理。另外，深度相机所得到的深度数据存在误差的，即是相机位置固定，现实场景中的点在不同的帧中的深度值也会有区别。也即是说，对于每一个现实中的点，在扫描过程中会得到众多“测量值”位置。可见，基于深度相机确定的三维重建存在获取的目标对象在图像中的每个像素点的值不确定，导致的三维重建的精度较低。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种目标物体的三维重建方法和装置、存储介质及电子设备，以至少解决现有技术中，基于深度相机确定的目标对象的三维重建存在获取的目标对象在图像中的每个像素点的值不确定，导致的三维重建的效率较低的技术问题。
根据本发明实施例的一个方面，提供了一种目标物体的三维重建方法，包括：获取RGB-D相机在不同视角下对目标物体进行拍摄得到的N张RGB-D视图，以及所述RGB-D相机在对所述目标物体进行拍摄时的相机参数，其中，每张所述RGB-D视图包括像素点一一对应的彩色图和深度图，N为大于1的自然数，所述彩色图为RGB三通道彩色图；根据所述N张RGB-D视图和所述相机参数，确定N张精细化视差空间图像，并从所述N张精细化视差空间图像中确定出最优精细化视差空间图像，其中，所述N张精细化视差空间图像中的每张精细化视差空间图像是根据一张所述RGB-D视图中的彩色图、所述N张RGB-D视图中除所述一张所述RGB-D视图之外的RGB-D视图中的彩色图、以及所述相机参数确定得到的精细化视差空间图像；根据所述N张RGB-D视图包括的所述深度图对所述最优精细化视差空间图像进行精细化处理，得到N张第一精细化深度图；对所述N张第一精细化深度图进行融合处理，得到N张第二精细化深度图；根据所述N张第二精细化深度图对所述目标物体进行三维重建。
根据本发明实施例的另一方面，还提供了一种目标物体的三维重建装置，包括：获取单元，用于获取RGB-D相机在不同视角下对目标物体进行拍摄得到的N张RGB-D视图，以及所述RGB-D相机在对所述目标物体进行拍摄时的相机参数，其中，每张所述RGB-D视图包括像素点一一对应的彩色图和深度图，N为大于1的自然数，所述彩色图为RGB三通道彩色图；第一确定单元，用于根据所述N张RGB-D视图和所述相机参数，确定N张精细化视差空间图像，并从所述N张精细化视差空间图像中确定出最优精细化视差空间图像，其中，所述N张精细化视差空间图像中的每张精细化视差空间图像是根据一张所述RGB-D视图中的彩色图、所述N张RGB-D视图中除所述一张所述RGB-D视图之外的RGB-D视图中的彩色图、以及所述相机参数确定得到的精细化视差空间图像；第一处理单元，用于根据所述N张RGB-D视图包括的所述深度图对所述最优精细化视差空间图像进行精细化处理，得到N张第一精细化深度图；第二处理单元，用于对所述N张第一精细化深度图进行融合处理，得到N张第二精细化深度图；重建单元，用于根据所述N张第二精细化深度图对所述目标物体进行三维重建。
根据本发明实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述目标物体的三维重建方法。
根据本发明实施例的又一方面，还提供了一种电子设备，包括存储器和处理器，上述存储器中存储有计算机程序，上述处理器被设置为通过所述计算机程序执行上述的目标物体的三维重建方法。
在本发明实施例中，通过获取RGB-D相机在不同视角下对目标物体进行拍摄得到的N张RGB-D视图，以及所述RGB-D相机在对所述目标物体进行拍摄时的相机参数，其中，每张所述RGB-D视图包括像素点一一对应的彩色图和深度图，N为大于1的自然数，所述彩色图为RGB三通道彩色图；根据所述N张RGB-D视图和所述相机参数，确定N张精细化视差空间图像，并从所述N张精细化视差空间图像中确定出最优精细化视差空间图像，其中，所述N张精细化视差空间图像中的每张精细化视差空间图像是根据一张所述RGB-D视图中的彩色图、所述N张RGB-D视图中除所述一张所述RGB-D视图之外的RGB-D视图中的彩色图、以及所述相机参数确定得到的精细化视差空间图像；根据所述N张RGB-D视图包括的所述深度图对所述最优精细化视差空间图像进行精细化处理，得到N张第一精细化深度图；对所述N张第一精细化深度图进行融合处理，得到N张第二精细化深度图；根据所述N张第二精细化深度图对所述目标物体进行三维重建，达到了先根据多张RGB图像获取精细化视差空间图形，进一步的根据深度图与精细化视差图像获取第一精细化深度图，在对获取的第一精细化深度图进行处理得到第二精细化深度图，多张第二精细化深度图进行融合确定目标物体的三维模型的目的，从而实现了多视图rgb可以获得更大范围的有效深度，更大的分辨率。扩大多视图RGB之间的基线(baseline)可以获取高精度深度图。RGB深度图对物体表面颜色不敏感。通过RGB-D图像中的深度图像和多RGB确定的深度图像可以确定目标对象的高精度深度图，进而解决了现有技术中，基于深度相机确定的目标对象的三维重建存在获取的目标对象在图像中的每个像素点的值不确定，导致的三维重建的效率较低的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种可选的目标物体的三维重建方法的应用环境的示意图；
图2是根据本发明实施例的一种可选的目标物体的三维重建方法的流程图；
图3是根据本发明实施例的一种可选的多视图RGB-D的三维重建算法流程图；
图4是根据本发明实施例的一种可选的目标物体的三维重建装置的结构示意图；
图5是根据本发明实施例的一种可选的目标物体的三维重建方法的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例的一个方面，提供了一种目标物体的三维重建方法，可选地，作为一种可选的实施方式，上述目标物体的三维重建方法可以但不限于应用于如图1所示的环境中。其中，该环境中可以包括但不限于用户设备102、网络110及服务器112。其中，该用户设备102可以包括大不限于RGN-D相机，用于获取RGB-D视图。
其中，上述终端设备102中可以包括但不限于：人机交互屏幕104，处理器106及存储器108。人机交互屏幕104用于通过人机交互接口获取人机交互指令，进行拍摄目标对象的RGB-D视图；处理器106用于响应上述人机交互指令，拍摄目标对象的RGB-D视图。存储器108用于存储目标对象在多个视角下的N张RGB-D视图。这里服务器可以包括但不限于：数据库114及处理引擎116，处理引擎116用于调用数据库114中存储的目标对象的RGB-D视图，根据所述N张RGB-D视图和所述相机参数，确定N张精细化视差空间图像，并从所述N张精细化视差空间图像中确定出最优精细化视差空间图像，其中，所述N张精细化视差空间图像中的每张精细化视差空间图像是根据一张所述RGB-D视图中的彩色图、所述N张RGB-D视图中除所述一张所述RGB-D视图之外的RGB-D视图中的彩色图、以及所述相机参数确定得到的精细化视差空间图像；根据所述N张RGB-D视图包括的所述深度图对所述最优精细化视差空间图像进行精细化处理，得到N张第一精细化深度图；对所述N张第一精细化深度图进行融合处理，得到N张第二精细化深度图；根据所述N张第二精细化深度图对所述目标物体进行三维重建，达到了先根据多张RGB图像获取精细化视差空间图形，进一步的根据深度图与精细化视差图像获取第一精细化深度图，在对获取的第一精细化深度图进行处理得到第二精细化深度图，多张第二精细化深度图进行融合确定目标物体的三维模型的目的，从而实现了多视图RGB可以获得更大范围的有效深度，更大的分辨率。扩大多视图RGB之间的基线(baseline)可以获取高精度深度图。RGB深度图对物体表面颜色不敏感。通过RGB-D图像中的深度图像和多RGB确定的深度图像可以确定目标对象的高精度深度图，进而解决了现有技术中，基于深度相机确定的目标对象的三维重建存在获取的目标对象在图像中的每个像素点的值不确定，导致的三维重建的效率较低的技术问题。
具体过程如以下步骤：在服务器112执行如下步骤S102-S112，根据所述N张RGB-D视图和所述相机参数，确定N张精细化视差空间图像，并从所述N张精细化视差空间图像中确定出最优精细化视差空间图像，其中，所述N张精细化视差空间图像中的每张精细化视差空间图像是根据一张所述RGB-D视图中的彩色图、所述N张RGB-D视图中除所述一张所述RGB-D视图之外的RGB-D视图中的彩色图、以及所述相机参数确定得到的精细化视差空间图像；根据所述N张RGB-D视图包括的所述深度图对所述最优精细化视差空间图像进行精细化处理，得到N张第一精细化深度图；对所述N张第一精细化深度图进行融合处理，得到N张第二精细化深度图；根据所述N张第二精细化深度图对所述目标物体进行三维重建，达到了先根据多张RGB图像获取精细化视差空间图形，进一步的根据深度图与精细化视差图像获取第一精细化深度图，在对获取的第一精细化深度图进行处理得到第二精细化深度图，多张第二精细化深度图进行融合确定目标物体的三维模型的目的，。然后将上述确定出的结果返回用户备102。
可选地，在本实施例中，上述用户设备102可以是配置有目标客户端的终端设备，可以包括但不限于以下至少之一：手机(如Android手机、iOS手机等)、笔记本电脑、平板电脑、掌上电脑、MID(Mobile Internet Devices，移动互联网设备)、PAD、台式电脑、智能电视等。目标客户端可以是视频客户端、即时通信客户端、浏览器客户端、教育客户端等。上述网络可以包括但不限于：有线网络，无线网络，其中，该有线网络包括：局域网、城域网和广域网，该无线网络包括：蓝牙、WIFI及其他实现无线通信的网络。上述服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群，或者是云服务器。上述仅是一种示例，本实施例中对此不作任何限定。
可选地，作为一种可选的实施方式，如图2所示，上述目标物体的三维重建方法包括：
步骤S202，获取RGB-D相机在不同视角下对目标物体进行拍摄得到的N张RGB-D视图，以及RGB-D相机在对目标物体进行拍摄时的相机参数，其中，每张RGB-D视图包括像素点一一对应的彩色图和深度图，N为大于1的自然数，彩色图为RGB三通道彩色图。
步骤S204，根据N张RGB-D视图和相机参数，确定N张精细化视差空间图像，并从N张精细化视差空间图像中确定出最优精细化视差空间图像，其中，N张精细化视差空间图像中的每张精细化视差空间图像是根据一张RGB-D视图中的彩色图、N张RGB-D视图中除一张RGB-D视图之外的RGB-D视图中的彩色图、以及相机参数确定得到的精细化视差空间图像。
步骤S206，根据N张RGB-D视图包括的深度图对最优精细化视差空间图像进行精细化处理，得到N张第一精细化深度图。
步骤S208，对N张第一精细化深度图进行融合处理，得到N张第二精细化深度图。
步骤S210，根据N张第二精细化深度图对目标物体进行三维重建。
可选的，在本实施例中，目标对象可以包括但不限于：静态物体和非静态物体，其中，静态物体可以包括但不限于静止的桌子，墙体等等，非静止的物体包括但不限于运动的车辆、飞翔的小鸟等。
需要说明的是，在本实施例可以应用于对目标物体的三维建模。具体的是，通过RGB-D相机获取目标物体在多个视角下的多张RGB-D视图，其中，一张RGB-D视图包括一张RGB视图和一张深度图，RGB图是代表红绿蓝三个通道的彩色图，深度图是包含与视点的目标对象的表面的距离有关的信息和图像通道。为了确定高精度的深度图，先根据多张RGB视图确定高精细化视差图像，以深度图图像作为初始值，在目标范围内搜索第一精细化深度图，去除RGB-D中的深度图无效区域，进行噪声滤波，提高深度图的质量，得到第二精细化深度图，从而重建高精度深度图。
即RGB-D图像其实是两幅图像：一个是普通的RGB三通道彩色图像，另一个是Depth图像。Depth图像类似于灰度图像，只是它的每个像素值是传感器距离物体的实际距离，因而像素点之间具有一一对应的关系。
在实际应用中，通过RGB-D相机获取目标对象在多个视角下的30张RGB-D视图，其中，该30张RGB-D视图包括30张RGB视图30张深度图，在目标物体表面的像素点RGB视图和深度图是一一对应的关系。
可选的，在本实施例中，获取RGB-D相机在不同视角下对目标物体进行拍摄得到的多张RGB-D视图，可以包括：
在目标物体为静态物体的情况下，获取一台RGB-D相机在不同视角下对目标物体进行拍摄得到的多张RGB-D视图，其中，多张RGB-D视图中的每张RGB-D视图中都显示有目标物体和标定板，标定板在对目标物体进行拍摄的过程中保持不动。
可选的，在本实施例中，获取RGB-D相机在不同视角下对目标物体进行拍摄得到的多张RGB-D视图，包括：
在目标物体为动态物体的情况下，获取位于不同固定位置上的多台RGB-D相机对目标物体进行拍摄得到的多张RGB-D视图，其中，多台RGB-D相机的参数是根据标定板进行标定得到的。
可选的，在本实施例中，根据N张RGB-D视图和相机参数，确定N张精细化视差空间图像，并从N张精细化视差空间图像中确定出最优精细化视差空间图像，可以包括：
对于N张彩色图中的每张彩色图，执行以下步骤，其中，N张彩色图为N张RGB-D视图包括的彩色图，每张彩色图在执行以下步骤时被视为当前彩色图：根据匹配图与参考图的相对关系，确定一张精细化视差空间图像，其中，当前彩色图作为参考图，N张彩色图中除当前彩色图之外的彩色图作为匹配图；
对N张精细化视差空间图像进行图像融合，确定出最优精细化视差空间图像。
需要说明的是，视差图是从有一定距离的两个点观察同一个目标所产生的方向差异。从目标看两个点之间的夹角，叫做这两个点的视差角。从不同视角获取两张RGB视图，通过该两张RGB视图可以确定目标物体上的目标像素值对应的视差空间图像，进一步的根据该视差空间图像确定基于RGB视图得到的目标像素值的深度值。
例如，获取多个视角下的30张RGB-D视图，其中，每一张RGB-D视图包括一张RGB视图一张深度图，在目标物体表面的像素点RGB视图和深度图是一一对应的关系。根据30张RGB视图获取最优精细化视差空间图像。该30张RGB视图编号1至30，将编号为1的RGB视图看作参考图，根据三角形之间的关系，分别计算该编号为1的RGB视图与其他29张RGB视图之间的空间视差图像，即29张。对该29张视差空间图进行统一坐标的转换，得到精细化视差空间图像；依次其余的编号2-29每张RGB视图都作为一次参考图，根据三角形之间的关系，计算将编号1至30的RGB视图每一张视图与其他剩余编号的29张RGB视图之间的空间视差图张，进一步的得到精细化视差空间图像，由于编号1至30张的每张RGB视图都作为一张参考图，得到30张精细化视差空间图像，进而将30张精细化视差图像进行融合得到最优精细化视差空间图像。
可选的，在本实施例中，根据N张RGB-D视图包括的深度图对最优精细化视差空间图像进行精细化处理，得到N张第一精细化深度图，可以包括：
对于N张RGB-D视图包括的每个深度图，执行以下步骤，其中，每个深度图在执行以下步骤时被视为当前深度图：
根据当前深度图中的像素点的深度值，确定目标搜索范围，其中，目标搜索范围小于允许的最大搜索范围；
在目标搜索范围内对最优精细化视差空间图像进行精细化处理，得到一张第一精细化深度图。
为了更获取更高分辨率的深度图，将N张RGB-D视图包括的每个深度图作为初始值，通过图像之间的以及相机参数构成的三角形关系，对最优精细化视差空间图像确定精细化处理，得到N张第一精细化深度图。
通过该实施例可以去除深度图中的不可靠区域。可以使用联合双边滤波算法或者引导图滤波算法基于RGB图对RGB-D深度图进行保边滤波，减少深度图的噪声，提高深度图的质量。
其中，根据匹配图与参考图的相对关系，确定一张精细化视差空间图像，可以包括：
在匹配图为N张RGB-D视图中的第K张RGB-D视图中的第K张彩色图，参考图为N张RGB-D视图中的第R张RGB-D视图中的第R张彩色图的情况下，通过坐标转换将第R张彩色图和第K张彩色图通过坐标转换，转换到同一个世界坐标系下，其中，1≤K≤N，1≤R≤N；
将世界坐标系下的第K张彩色图投影到获取第R张RGB-D视图的相机的坐标系下，得到第R张彩色图相对于第K张彩色图在深度Z下的对应像素点；
根据第R张彩色图相对于第K张彩色图在深度Z下的对应像素点，确定一张精细化视差空间图像。
可选的，在本实施例中，根据当前深度图中的像素点的深度值，确定目标搜索范围，可以包括：
将目标搜索范围确定为[Depthi-ΔZ,Depthi+ΔZ]，其中，Depthi为当前深度图中的像素点的深度值，ΔZ为预设值，最大搜索范围为[Zmin,Zmax]，Zmin和Zmax为预设值。
需要说明的是，以RGB-D深度为初始值可以大幅减少深度搜索范围。以更小的计算复杂度获取更精确的深度图。
可选的，在本实施例中，在目标搜索范围内对最优精细化视差空间图像进行精细化处理，得到一张第一精细化深度图，可以包括：
基于深度图中的深度值作为初始值，利用立体匹配算法确定最优精细化视差空间图像中对应N张深度图的N个第一精细化深度图。
可选的，在本实施中，对N张第一精细化深度图进行融合处理，得到N张第二精细化深度图，可以包括：
对于N张第一精细化深度图中的每张第一精细化深度图，执行以下步骤，其中，每张第一精细化深度图在执行以下步骤时被视为当前第一精细化深度图：根据匹配图与参考图的相对关系，确定参考图与每个匹配图之间的深度值差值，其中，当前第一精细化深度图作为参考图，N张第一精细化深度图中除当前第一精细化深度图之外的第一精细化深度图作为匹配图；
获取深度值差值满足第一预定阈值的第一精细化深度图，得到第一视图集合；
将N张RGB-D视图中的深度图与第一视图集合中的第一精细化深度图进行融合，得到N张第二精细化深度图。
可选的，在本实施例中，根据N张第二精细化深度图对目标物体进行三维重建，可以包括：
对N张第二精细化深度图中的每张第二精细化深度图进行目标处理，得到N张第三精细化深度图，其中，目标处理至少包括以下之一：加权、中值滤波，引导图滤波；
根据RGB-D相机参数将N张第三精细化深度图旋转到同一个位姿，并对旋转到同一个位姿的N张第三精细化深度图进行泊松表面重建处理，得到目标物体的三维模型。
通过本申请提供的实施例，获取RGB-D相机在不同视角下对目标物体进行拍摄得到的N张RGB-D视图，以及所述RGB-D相机在对所述目标物体进行拍摄时的相机参数，其中，每张所述RGB-D视图包括像素点一一对应的彩色图和深度图，N为大于1的自然数，所述彩色图为RGB三通道彩色图；根据所述N张RGB-D视图和所述相机参数，确定N张精细化视差空间图像，并从所述N张精细化视差空间图像中确定出最优精细化视差空间图像，其中，所述N张精细化视差空间图像中的每张精细化视差空间图像是根据一张所述RGB-D视图中的彩色图、所述N张RGB-D视图中除所述一张所述RGB-D视图之外的RGB-D视图中的彩色图、以及所述相机参数确定得到的精细化视差空间图像；根据所述N张RGB-D视图包括的所述深度图对所述最优精细化视差空间图像进行精细化处理，得到N张第一精细化深度图；对所述N张第一精细化深度图进行融合处理，得到N张第二精细化深度图；根据所述N张第二精细化深度图对所述目标物体进行三维重建，达到了先根据多张RGB图像获取精细化视差空间图形，进一步的根据深度图与精细化视差图像获取第一精细化深度图，在对获取的第一精细化深度图进行处理得到第二精细化深度图，多张第二精细化深度图进行融合确定目标物体的三维模型的目的，从而实现了多视图rgb可以获得更大范围的有效深度，更大的分辨率。扩大多视图RGB之间的基线(baseline)可以获取高精度深度图。RGB深度图对物体表面颜色不敏感。通过RGB-D图像中的深度图像和多RGB确定的深度图像可以确定目标对象的高精度深度图，进而解决了现有技术中，基于深度相机确定的目标对象的三维重建存在获取的目标对象在图像中的每个像素点的值不确定，导致的三维重建的效率较低的技术问题。
作为一种可选的实施例，本申请还提供了一种多视图RGB-D的三维重建算法。
在本实施例中，输入多个视角下的RGB-D图片。算法流程为：深度图初始化，RefineDSI构造，深度图精细化，基于深置信度的基于深度图融合，基于多深度图的三维重建。最后得到三维重建结果。如图3所示，多视图RGB-D的三维重建算法的算法流程图。
整体算法流程如下：
步骤S1，对相机进行参数标定。对于静物重建，可使用一台RGB-D相机，在不同视角下拍摄物体和棋盘格标定板，可以得到相机在不同视角下的相机参数；对于非静物(人，动物，植物)，需要使用多台固定位置并已进行外参标定的RGB-D相机同布拍摄。
需要说明的是，处理静物时，需要使用一台已知内参的相机，一张棋盘格标定板。使用相机从多个视角对物体进行拍摄。拍摄过程中标定板保持不动，物体和标定板都在视图中。得到多张RGB-D图及对应的相机参数。
处理非静物时，需要使用多台位置固定的已知内参的相机，可通过三脚架固定相机。使用棋盘格标定板对相机外参进行标定。各个相机同步拍摄，得到多张RGB-D图及对应的相机参数。
其中，对RGBD图初始化，可以使用其他的各向异性滤波算法进行保边滤波，可以使用基于RGB的segment方法进行空洞填充。
步骤S2，去除RGB-D中的深度图无效区域，进行噪声滤波，提高深度图的质量。
去除深度图中的不可靠区域。使用联合双边滤波算法或者引导图滤波算法基于RGB图对RGB-D深度图进行保边滤波，减少深度图的噪声，提高深度图的质量。
步骤S3，以RGB-D的深度图：Depth为初始值，利用多RGB视图中间的投影几何关系，建立一个Refine-DSI(Refine Disparity Space Image，精细化视差空间图像)(相当于最优精细化视差空间图像)。
其中，对于N张视图，选取其中一张视图i作为参考图，另外N-1张视图作为匹配图。根据相机的内参和外参建立DSI(Disparity Space Image，视差空间图像)。
在本实施例中，使用视图i的深度图Depth_i作为初始深度，在初始深度附近生成视差空间，即为RefineDSI。RefineDSI拥有比DSI更小的搜索空间，可以得到更为准确的深度值。RefineDSI的构造过程如下：
相机k的投影矩阵为Pk，内参为Kk，相机外参旋转矩阵Rk，相机中心为Ck，匹配图集Setk，像素(x，y)处的深度值Depthk(x,y)。对于图像中的一个像素的齐次坐标(x,y,1)T，如果已知深度Z。则该图像坐标对应的世界坐标为：
世界坐标投影到相机r：λr·(xr,yr,1)T＝Pr·(X,Y,Z,1)T。即得到r图相对于k图在深度Z下的对应像素点。由此可以得到像素(x，y)对应的DSI：Z∈[Zmin,Zmax]然后在DSI的Z维度上应用WTA算法(Winner Take All)找出最小值所对应的Z。即可得到像素(x，y)的初步深度值。
这里F为计算两图的匹配代价。在本实施例中使用adcens和sobel算子的加权代价。DSI是以深度Z为维度进行构造。Z的范围越大，精度越高，构造DSI的计算复杂度就越大，同时过大的DSI容易受到噪声影响，得到错误的结果。在本实施例中在构造DSI时，以RGBD的深度值作为初始值Z(x，y)，在初始值邻域而非整个Z范围进行DSI构造，得到
Refine_DSI：
其中，ΔZ为深度值的搜索范围。当RGBD深度图为无效区域，Z的搜索范围为整个Zmin到Zmax。
需要说明的是，中RGBD深度图和多RGB深度图可以不使用Refine-DSI方法进行融合，比如可以在整个Zmin-Zmax范围内构造DSI，得到多视图的RGB深度图，再直接使用上述置信度进行融合。可以使用其他的方式进行DSI构造：求出匹配图集上匹配图和参考的匹配代价的方差。可以使用多种代价函数来求解参考图和匹配图的匹配代价：截断的gray代价。
还可以使用其他的置信度计算方法：计算极小值和均值的相对偏差，计算视差维度上的方差。
步骤S4，搜索Refine-DSI中的最优深度值refineDepth，并根据Refine-DSI分布和RGB视图中的深度一致性进行深度置信度判断。根据置信度将refineDepth和Depth进行融合。
其中，对Refine-DSI使用SGM，联合双边滤波进行处理，使用WTA算法得到深度图。再对深度图进行加权中值滤波，引导图滤波，得到Refine_Depth。
多RGB视图得到的深度并非完全可靠，例如在弱纹理，重复纹理区域容易匹配出错。可以通过以下两个方面来进行置信度的刻画：DSI的Z维度上的极小值Z0和第二极小值Z1之间的相对偏差：
不同视图之间深度图的一致性 表示该符号内的条件为真时，结果为1，否则为0；
其中，Fkr(x,y)表示视图k与视图r的像素对应关系。根据两个置信度进行Refine_Depth和RGBD深度图的融合：
resdepth＝RGBDdepth*(1-conf*conf2)+Refine_Depth*conf*conf2
步骤S5，将不同视图下的深度图进行融合，对物体进行三维重建。
根据相机内外参，把不同视图的深度图旋转到同一个位姿，使用泊松重建算法得到三维重建结果。
需要说明的是，可以使用其他的重建算法，如傅立叶表面重建算法，小波表面重建算法。
通过本申请提供的实施例，由一台或多台RGB-D相机进行采集。使用RGB-D中的深度图作为初始深度，利用多视图RGB图之间的几何关系对初始深度进行精修。对精修后的深度图进行融合，可对静物和非静物进行三维重建，能够以较低的代价得到由于现有RGB-D三维重建算法和多RGB三维重建算法的重建效果。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
根据本发明实施例的另一个方面，还提供了一种用于实施上述目标物体的三维重建方法的目标物体的三维重建装置。如图4所示，该目标物体的三维重建装置包括：获取单元41、第一确定单元43、第一处理单元45、第二处理的单元以47以及重建单元49。
获取单元41，用于获取RGB-D相机在不同视角下对目标物体进行拍摄得到的N张RGB-D视图，以及RGB-D相机在对目标物体进行拍摄时的相机参数，其中，每张RGB-D视图包括像素点一一对应的彩色图和深度图，N为大于1的自然数，彩色图为RGB三通道彩色图。
第一确定单元43，用于根据N张RGB-D视图和相机参数，确定N张精细化视差空间图像，并从N张精细化视差空间图像中确定出最优精细化视差空间图像，其中，N张精细化视差空间图像中的每张精细化视差空间图像是根据一张RGB-D视图中的彩色图、N张RGB-D视图中除一张RGB-D视图之外的RGB-D视图中的彩色图、以及相机参数确定得到的精细化视差空间图像。
第一处理单元45，用于根据N张RGB-D视图包括的深度图对最优精细化视差空间图像进行精细化处理，得到N张第一精细化深度图。
第二处理单元47，用于对N张第一精细化深度图进行融合处理，得到N张第二精细化深度图。
重建单元49，用于根据N张第二精细化深度图对目标物体进行三维重建。
可选的，在本实施例中，上述获取单元41，可以包括：
第一获取模块，用于在目标物体为静态物体的情况下，获取一台RGB-D相机在不同视角下对目标物体进行拍摄得到的多张RGB-D视图，其中，多张RGB-D视图中的每张RGB-D视图中都显示有目标物体和标定板，标定板在对目标物体进行拍摄的过程中保持不动。
第二获取单元，用于在目标物体为动态物体的情况下，获取位于不同固定位置上的多台RGB-D相机对目标物体进行拍摄得到的多张RGB-D视图，其中，多台RGB-D相机的参数是根据标定板进行标定得到的。
可选的，在本实施例中，上述第一确定单元43，可以包括：
对于N张彩色图中的每张彩色图，执行以下步骤，其中，N张彩色图为N张RGB-D视图包括的彩色图，每张彩色图在执行以下步骤时被视为当前彩色图：
第一确定模块，用于根据匹配图与参考图的相对关系，确定一张精细化视差空间图像，其中，当前彩色图作为参考图，N张彩色图中除当前彩色图之外的彩色图作为匹配图；
第二确定模块，用于对N张精细化视差空间图像进行图像融合，确定出最优精细化视差空间图像。
可选的，在本实施例中，上述第一处理单元45，可以包括：
对于N张RGB-D视图包括的每个深度图，执行以下步骤，其中，每个深度图在执行以下步骤时被视为当前深度图：
第三确定模块，用于根据当前深度图中的像素点的深度值，确定目标搜索范围，其中，目标搜索范围小于允许的最大搜索范围；
第一处理模块，用于在目标搜索范围内对最优精细化视差空间图像进行精细化处理，得到一张第一精细化深度图。
其中，第一确定模块，可以包括：
转换子模块，用于在匹配图为N张RGB-D视图中的第K张RGB-D视图中的第K张彩色图，参考图为N张RGB-D视图中的第R张RGB-D视图中的第R张彩色图的情况下，通过坐标转换将第R张彩色图和第K张彩色图通过坐标转换，转换到同一个世界坐标系下，其中，1≤K≤N，1≤R≤N；
处理子模块，用于将世界坐标系下的第K张彩色图投影到获取第R张RGB-D视图的相机的坐标系下，得到第R张彩色图相对于第K张彩色图在深度Z下的对应像素点；
第一确定子模块，用于根据第R张彩色图相对于第K张彩色图在深度Z下的对应像素点，确定一张精细化视差空间图像。
其中，第三确定模块，可以包括：
第二确定子模块，用于将目标搜索范围确定为[Depth-ΔZ,Depth+ΔZ]，其中，Depth为当前深度图中的像素点的深度值，ΔZ为预设值，最大搜索范围为[Zmin,Zmax]，Zmin和Zmax为预设值。
需要说明的是，上述第一确定子模块还用于执行如下操作：
基于深度图中的深度值作为初始值，利用立体匹配算法确定最优精细化视差空间图像中对应N张深度图的N个第一精细化深度图。
可选的，在本实施例中，上述第二处理单元47，可以包括：
第四确定模块，用于对于N张第一精细化深度图中的每张第一精细化深度图，执行以下步骤，其中，每张第一精细化深度图在执行以下步骤时被视为当前第一精细化深度图：根据匹配图与参考图的相对关系，确定参考图与每个匹配图之间的深度值差值，其中，当前第一精细化深度图作为参考图，N张第一精细化深度图中除当前第一精细化深度图之外的第一精细化深度图作为匹配图；
第二获取模块，用于获取深度值差值满足第一预定阈值的第一精细化深度图，得到第一视图集合；
第二处理模块，用于将N张RGB-D视图中的深度图与第一视图集合中的第一精细化深度图进行融合，得到N张第二精细化深度图。
可选的，在本实施例中，上述重建单元49，可以包括：
第三处理模块，用于对N张第二精细化深度图中的每张第二精细化深度图进行目标处理，得到N张第三精细化深度图，其中，目标处理至少包括以下之一：加权、中值滤波，引导图滤波；
重建模块，用于根据RGB-D相机参数将N张第三精细化深度图旋转到同一个位姿，并对旋转到同一个位姿的N张第三精细化深度图进行泊松表面重建处理，得到目标物体的三维模型。
通过本申请提供的实施例，获取单元41获取RGB-D相机在不同视角下对目标物体进行拍摄得到的N张RGB-D视图，以及RGB-D相机在对目标物体进行拍摄时的相机参数，其中，每张RGB-D视图包括像素点一一对应的彩色图和深度图，N为大于1的自然数，彩色图为RGB三通道彩色图；第一确定单元43根据N张RGB-D视图和相机参数，确定N张精细化视差空间图像，并从N张精细化视差空间图像中确定出最优精细化视差空间图像，其中，N张精细化视差空间图像中的每张精细化视差空间图像是根据一张RGB-D视图中的彩色图、N张RGB-D视图中除一张RGB-D视图之外的RGB-D视图中的彩色图、以及相机参数确定得到的精细化视差空间图像；第一处理单元45根据N张RGB-D视图包括的深度图对最优精细化视差空间图像进行精细化处理，得到N张第一精细化深度图；第二处理单元47对N张第一精细化深度图进行融合处理，得到N张第二精细化深度图；重建单元49根据N张第二精细化深度图对目标物体进行三维重建。达到了先根据多张RGB图像获取精细化视差空间图形，进一步的根据深度图与精细化视差图像获取第一精细化深度图，在对获取的第一精细化深度图进行处理得到第二精细化深度图，多张第二精细化深度图进行融合确定目标物体的三维模型的目的，从而实现了多视图rgb可以获得更大范围的有效深度，更大的分辨率。扩大多视图RGB之间的基线(baseline)可以获取高精度深度图。RGB深度图对物体表面颜色不敏感。通过RGB-D图像中的深度图像和多RGB确定的深度图像可以确定目标对象的高精度深度图，进而解决了现有技术中，基于深度相机确定的目标对象的三维重建存在获取的目标对象在图像中的每个像素点的值不确定，导致的三维重建的效率较低的技术问题。
根据本发明实施例的又一个方面，还提供了一种用于实施上述目标物体的三维重建方法的电子设备，该电子设备可以是图1所示的终端设备或服务器。本实施例以该电子设备为服务器为例来说明。如图5所示，该电子设备包括存储器502和处理器504，该存储器502中存储有计算机程序，该处理器504被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述电子设备可以位于计算机网络的多个网络设备中的至少一个网络设备。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，获取RGB-D相机在不同视角下对目标物体进行拍摄得到的N张RGB-D视图，以及RGB-D相机在对目标物体进行拍摄时的相机参数，其中，每张RGB-D视图包括像素点一一对应的彩色图和深度图，N为大于1的自然数，彩色图为RGB三通道彩色图；
S2，根据N张RGB-D视图和相机参数，确定N张精细化视差空间图像，并从N张精细化视差空间图像中确定出最优精细化视差空间图像，其中，N张精细化视差空间图像中的每张精细化视差空间图像是根据一张RGB-D视图中的彩色图、N张RGB-D视图中除一张RGB-D视图之外的RGB-D视图中的彩色图、以及相机参数确定得到的精细化视差空间图像；
S3，根据N张RGB-D视图包括的深度图对最优精细化视差空间图像进行精细化处理，得到N张第一精细化深度图；
S4，对N张第一精细化深度图进行融合处理，得到N张第二精细化深度图；
S5，根据N张第二精细化深度图对目标物体进行三维重建。
可选地，本领域普通技术人员可以理解，图5所示的结构仅为示意，电子装置电子设备也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices，MID)、PAD等终端设备。图5其并不对上述电子装置电子设备的结构造成限定。例如，电子装置电子设备还可包括比图5中所示更多或者更少的组件(如网络接口等)，或者具有与图5所示不同的配置。
其中，存储器502可用于存储软件程序以及模块，如本发明实施例中的目标物体的三维重建方法和装置对应的程序指令/模块，处理器504通过运行存储在存储器502内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的目标物体的三维重建方法。存储器502可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器502可进一步包括相对于处理器504远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中，存储器502具体可以但不限于用于存储物品的样本特征与目标虚拟资源账号等信息。作为一种示例，如图5所示，上述存储器502中可以但不限于包括上述目标物体的三维重建装置中的获取单元41、第一确定单元43、第一处理单元45、第二处理的单元以47以及重建单元49。此外，还可以包括但不限于上述目标物体的三维重建装置中的其他模块单元，本示例中不再赘述。
可选地，上述的传输装置506用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置506包括一个网络适配器(Network Interface Controller，NIC)，其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置506为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
此外，上述电子设备还包括：显示器508，用于显示上述待三维建模；和连接总线510，用于连接上述电子设备中的各个模块部件。
在其他实施例中，上述终端设备或者服务器可以是一个分布式系统中的一个节点，其中，该分布式系统可以为区块链系统，该区块链系统可以是由该多个节点通过网络通信的形式连接形成的分布式系统。其中，节点之间可以组成点对点(P2P，Peer To Peer)网络，任意形式的计算设备，比如服务器、终端等电子设备都可以通过加入该点对点网络而成为该区块链系统中的一个节点。
根据本发明的实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述计算机可读的存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，获取RGB-D相机在不同视角下对目标物体进行拍摄得到的N张RGB-D视图，以及RGB-D相机在对目标物体进行拍摄时的相机参数，其中，每张RGB-D视图包括像素点一一对应的彩色图和深度图，N为大于1的自然数，彩色图为RGB三通道彩色图；
S2，根据N张RGB-D视图和相机参数，确定N张精细化视差空间图像，并从N张精细化视差空间图像中确定出最优精细化视差空间图像，其中，N张精细化视差空间图像中的每张精细化视差空间图像是根据一张RGB-D视图中的彩色图、N张RGB-D视图中除一张RGB-D视图之外的RGB-D视图中的彩色图、以及相机参数确定得到的精细化视差空间图像；
S3，根据N张RGB-D视图包括的深度图对最优精细化视差空间图像进行精细化处理，得到N张第一精细化深度图；
S4，对N张第一精细化深度图进行融合处理，得到N张第二精细化深度图；
S5，根据N张第二精细化深度图对目标物体进行三维重建。
可选地，在本实施例中，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random Access Memory，RAM)、磁盘或光盘等。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (20)
1.一种目标物体的三维重建方法，其特征在于，包括：
获取RGB-D相机在不同视角下对目标物体进行拍摄得到的N张RGB-D视图，以及所述RGB-D相机在对所述目标物体进行拍摄时的相机参数，其中，每张所述RGB-D视图包括像素点一一对应的彩色图和深度图，N为大于1的自然数，所述彩色图为RGB三通道彩色图；
根据所述N张RGB-D视图和所述相机参数，确定N张精细化视差空间图像，并从所述N张精细化视差空间图像中确定出最优精细化视差空间图像，其中，所述N张精细化视差空间图像中的每张精细化视差空间图像是根据一张所述RGB-D视图中的彩色图、所述N张RGB-D视图中除所述一张所述RGB-D视图之外的RGB-D视图中的彩色图、以及所述相机参数确定得到的精细化视差空间图像；
根据所述N张RGB-D视图包括的所述深度图对所述最优精细化视差空间图像进行精细化处理，得到N张第一精细化深度图；
对于所述N张第一精细化深度图中的每张第一精细化深度图，执行以下步骤，其中，每张第一精细化深度图在执行以下步骤时被视为当前第一精细化深度图：根据所述当前第一精细化深度图与所述N张所述第一精细化深度图中除所述当前第一精细化深度图之外的每个第一精细化深度图的相对关系，确定所述当前第一精细化深度图与所述N张所述第一精细化深度图中除所述当前第一精细化深度图之外的每个第一精细化深度图之间的深度值差值；
获取所述深度值差值满足第一预定阈值的第一精细化深度图，得到第一视图集合；
将所述N张RGB-D视图中的深度图与所述第一视图集合中的第一精细化深度图进行融合，得到所述N张第二精细化深度图；
根据所述N张第二精细化深度图对所述目标物体进行三维重建。
2.根据权利要求1所述的方法，其特征在于，所述获取RGB-D相机在不同视角下对目标物体进行拍摄得到的多张RGB-D视图，包括：
在所述目标物体为静态物体的情况下，获取一台RGB-D相机在所述不同视角下对所述目标物体进行拍摄得到的所述多张RGB-D视图，其中，所述多张RGB-D视图中的每张RGB-D视图中都显示有所述目标物体和标定板，所述标定板在对目标物体进行拍摄的过程中保持不动。
3.根据权利要求1所述的方法，其特征在于，所述获取RGB-D相机在不同视角下对目标物体进行拍摄得到的多张RGB-D视图，包括：
在所述目标物体为动态物体的情况下，获取位于不同固定位置上的多台RGB-D相机对所述目标物体进行拍摄得到的所述多张RGB-D视图，其中，所述多台RGB-D相机的参数是根据标定板进行标定得到的。
4.根据权利要求1所述的方法，其特征在于，根据所述N张RGB-D视图和所述相机参数，确定N张精细化视差空间图像，并从所述N张精细化视差空间图像中确定出最优精细化视差空间图像，包括：
对于N张所述彩色图中的每张彩色图，执行以下步骤，其中，所述N张所述彩色图为所述N张RGB-D视图包括的彩色图，每张彩色图在执行以下步骤时被视为当前彩色图：根据所述N张所述彩色图中除所述当前彩色图之外的彩色图与所述当前彩色图的相对关系，确定一张所述精细化视差空间图像；
对所述N张精细化视差空间图像进行图像融合，确定出所述最优精细化视差空间图像。
5.根据权利要求4所述的方法，其特征在于，根据所述N张RGB-D视图包括的所述深度图对所述最优精细化视差空间图像进行精细化处理，得到N张第一精细化深度图，包括：
对于所述N张RGB-D视图包括的每个所述深度图，执行以下步骤，其中，每个所述深度图在执行以下步骤时被视为当前深度图：
根据所述当前深度图中的像素点的深度值，确定目标搜索范围，其中，所述目标搜索范围小于允许的最大搜索范围；
在所述目标搜索范围内对所述最优精细化视差空间图像进行精细化处理，得到所述一张所述第一精细化深度图。
6.根据权利要求4所述的方法，其特征在于，所述根据所述N张所述彩色图中除所述当前彩色图之外的彩色图与所述当前彩色图的相对关系，确定一张所述精细化视差空间图像，包括：
在所述N张所述彩色图中除所述当前彩色图之外的彩色图为所述N张RGB-D视图中的第K张RGB-D视图中的第K张彩色图，所述当前彩色图为所述N张RGB-D视图中的第R张RGB-D视图中的第R张彩色图的情况下，通过坐标转换将所述第R张彩色图和所述第K张彩色图通过坐标转换，转换到同一个世界坐标系下，其中，1≤K≤N，
1≤R≤N；
将所述世界坐标系下的所述第K张彩色图投影到获取所述第R张RGB-D视图的相机的坐标系下，得到所述第R张彩色图相对于所述第K张彩色图在深度Z下的对应像素点；
根据所述第R张彩色图相对于所述第K张彩色图在深度Z下的对应像素点，确定一张所述精细化视差空间图像。
7.根据权利要求5所述的方法，其特征在于，所述根据所述当前深度图中的像素点的深度值，确定目标搜索范围，包括：
将所述目标搜索范围确定为[Depthi-ΔZ,Depthi+ΔZ]，其中，所述Depthi为所述当前深度图中的像素点的深度值，所述ΔZ为预设值，所述最大搜索范围为[Zmin,Zmax]，所述Zmin和所述Zmax为预设值。
8.根据权利要求5所述的方法，其特征在于，所述在所述目标搜索范围内对所述最优精细化视差空间图像进行精细化处理，得到所述一张所述第一精细化深度图，包括：
基于所述深度图中的深度值作为初始值，利用立体匹配算法确定所述最优精细化视差空间图像中对应所述N张深度图的所述N个第一精细化深度图。
9.根据权利要求1所述的方法，其特征在于，所述根据所述N张第二精细化深度图对所述目标物体进行三维重建，包括：
对所述N张第二精细化深度图中的每张第二精细化深度图进行目标处理，得到N张第三精细化深度图，其中，所述目标处理至少包括以下之一：加权、中值滤波，引导图滤波；
根据所述RGB-D相机参数将所述N张第三精细化深度图旋转到同一个位姿，并对旋转到同一个位姿的所述N张第三精细化深度图进行泊松表面重建处理，得到所述目标物体的三维模型。
10.一种目标物体的三维重建装置，其特征在于，包括：
获取单元，用于获取RGB-D相机在不同视角下对目标物体进行拍摄得到的N张RGB-D视图，以及所述RGB-D相机在对所述目标物体进行拍摄时的相机参数，其中，每张所述RGB-D视图包括像素点一一对应的彩色图和深度图，N为大于1的自然数，所述彩色图为RGB三通道彩色图；
第一确定单元，用于根据所述N张RGB-D视图和所述相机参数，确定N张精细化视差空间图像，并从所述N张精细化视差空间图像中确定出最优精细化视差空间图像，其中，所述N张精细化视差空间图像中的每张精细化视差空间图像是根据一张所述RGB-D视图中的彩色图、所述N张RGB-D视图中除所述一张所述RGB-D视图之外的RGB-D视图中的彩色图、以及所述相机参数确定得到的精细化视差空间图像；
第一处理单元，用于根据所述N张RGB-D视图包括的所述深度图对所述最优精细化视差空间图像进行精细化处理，得到N张第一精细化深度图；
第二处理单元，用于对于所述N张第一精细化深度图中的每张第一精细化深度图，执行以下步骤，其中，每张第一精细化深度图在执行以下步骤时被视为当前第一精细化深度图：根据所述当前第一精细化深度图与所述N张所述第一精细化深度图中除所述当前第一精细化深度图之外的每个第一精细化深度图的相对关系，确定所述当前第一精细化深度图与所述N张所述第一精细化深度图中除所述当前第一精细化深度图之外的每个第一精细化深度图之间的深度值差值；获取所述深度值差值满足第一预定阈值的第一精细化深度图，得到第一视图集合；将所述N张RGB-D视图中的深度图与所述第一视图集合中的第一精细化深度图进行融合，得到所述N张第二精细化深度图；
重建单元，用于根据所述N张第二精细化深度图对所述目标物体进行三维重建。
11.根据权利要求10所述的装置，其特征在于，所述获取单元，包括：
第一获取模块，用于在所述目标物体为静态物体的情况下，获取一台RGB-D相机在所述不同视角下对所述目标物体进行拍摄得到的多张RGB-D视图，其中，所述多张RGB-D视图中的每张RGB-D视图中都显示有所述目标物体和标定板，所述标定板在对目标物体进行拍摄的过程中保持不动。
12.根据权利要求10所述的装置，其特征在于，所述获取单元，包括：
第二获取单元，用于在所述目标物体为动态物体的情况下，获取位于不同固定位置上的多台RGB-D相机对所述目标物体进行拍摄得到的多张RGB-D视图，其中，所述多台RGB-D相机的参数是根据标定板进行标定得到的。
13.根据权利要求10所述的装置，其特征在于，所述第一确定单元，包括：
对于N张所述彩色图中的每张彩色图，执行以下步骤，其中，所述N张所述彩色图为所述N张RGB-D视图包括的彩色图，每张彩色图在执行以下步骤时被视为当前彩色图：根据所述N张所述彩色图中除所述当前彩色图之外的彩色图与所述当前彩色图的相对关系，确定一张所述精细化视差空间图像；对所述N张精细化视差空间图像进行图像融合，确定出所述最优精细化视差空间图像。
14.根据权利要求13所述的装置，其特征在于，所述第一处理单元，包括：
对于所述N张RGB-D视图包括的每个所述深度图，执行以下步骤，其中，每个所述深度图在执行以下步骤时被视为当前深度图：根据所述当前深度图中的像素点的深度值，确定目标搜索范围，其中，所述目标搜索范围小于允许的最大搜索范围；在所述目标搜索范围内对所述最优精细化视差空间图像进行精细化处理，得到所述一张所述第一精细化深度图。
15.根据权利要求13所述的装置，其特征在于，所述装置通过以下步骤实现所述根据所述N张所述彩色图中除所述当前彩色图之外的彩色图与所述当前彩色图的相对关系，确定一张所述精细化视差空间图像：
在所述N张所述彩色图中除所述当前彩色图之外的彩色图为所述N张RGB-D视图中的第K张RGB-D视图中的第K张彩色图，所述当前彩色图为所述N张RGB-D视图中的第R张RGB-D视图中的第R张彩色图的情况下，通过坐标转换将所述第R张彩色图和所述第K张彩色图通过坐标转换，转换到同一个世界坐标系下，其中，1≤K≤N，1≤R≤N；
将所述世界坐标系下的所述第K张彩色图投影到获取所述第R张RGB-D视图的相机的坐标系下，得到所述第R张彩色图相对于所述第K张彩色图在深度Z下的对应像素点；
根据所述第R张彩色图相对于所述第K张彩色图在深度Z下的对应像素点，确定一张所述精细化视差空间图像。
16.根据权利要求14所述的装置，其特征在于，所述装置通过以下步骤实现所述根据所述当前深度图中的像素点的深度值，确定目标搜索范围：
将所述目标搜索范围确定为[Depthi-ΔZ,Depthi+ΔZ]，其中，所述Depthi为所述当前深度图中的像素点的深度值，所述ΔZ为预设值，所述最大搜索范围为[Zmin,Zmax]，所述Zmin和所述Zmax为预设值。
17.根据权利要求14所述的装置，其特征在于，所述装置通过以下步骤实现所述在所述目标搜索范围内对所述最优精细化视差空间图像进行精细化处理，得到所述一张所述第一精细化深度图：
基于所述深度图中的深度值作为初始值，利用立体匹配算法确定所述最优精细化视差空间图像中对应所述N张深度图的所述N个第一精细化深度图。
18.根据权利要求10所述的装置，其特征在于，所述重建单元，包括：
对所述N张第二精细化深度图中的每张第二精细化深度图进行目标处理，得到N张第三精细化深度图，其中，所述目标处理至少包括以下之一：加权、中值滤波，引导图滤波；
根据所述RGB-D相机参数将所述N张第三精细化深度图旋转到同一个位姿，并对旋转到同一个位姿的所述N张第三精细化深度图进行泊松表面重建处理，得到所述目标物体的三维模型。
19.一种计算机可读的存储介质，所述计算机可读的存储介质包括存储的程序，其中，所述程序运行时执行所述权利要求1至9任一项中所述的方法。
20.一种电子设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至9任一项中所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010443161.3A CN112750195B (zh) | 2020-05-22 | 2020-05-22 | 目标物体的三维重建方法和装置、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010443161.3A CN112750195B (zh) | 2020-05-22 | 2020-05-22 | 目标物体的三维重建方法和装置、存储介质及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112750195A CN112750195A (zh) | 2021-05-04 |
| CN112750195B true CN112750195B (zh) | 2023-10-24 |
Family
ID=75645208
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010443161.3A Active CN112750195B (zh) | 2020-05-22 | 2020-05-22 | 目标物体的三维重建方法和装置、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112750195B (zh) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110390719A (zh) * | 2019-05-07 | 2019-10-29 | 香港光云科技有限公司 | 基于飞行时间点云重建设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9251590B2 (en) * | 2013-01-24 | 2016-02-02 | Microsoft Technology Licensing, Llc | Camera pose estimation for 3D reconstruction |
-
2020
- 2020-05-22 CN CN202010443161.3A patent/CN112750195B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110390719A (zh) * | 2019-05-07 | 2019-10-29 | 香港光云科技有限公司 | 基于飞行时间点云重建设备 |
Non-Patent Citations (1)
| Title |
|---|
| 基于RGB-D值的三维图像重建系统研究;席小霞;宋文爱;邱子璇;史磊;;测试技术学报(第05期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112750195A (zh) | 2021-05-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110874864B (zh) | 获取对象三维模型的方法、装置、电子设备及系统 | |
| US11410320B2 (en) | Image processing method, apparatus, and storage medium | |
| US20200357136A1 (en) | Method and apparatus for determining pose of image capturing device, and storage medium | |
| CN107223269B (zh) | 三维场景定位方法和装置 | |
| WO2020098530A1 (zh) | 画面渲染方法和装置、存储介质及电子装置 | |
| Cheng et al. | Spatio-temporally consistent novel view synthesis algorithm from video-plus-depth sequences for autostereoscopic displays | |
| CN110866977B (zh) | 增强现实处理方法及装置、系统、存储介质和电子设备 | |
| CN111598993A (zh) | 基于多视角成像技术的三维数据重建方法、装置 | |
| CN110827392B (zh) | 单目图像三维重建方法、系统及装置 | |
| US9697581B2 (en) | Image processing apparatus and image processing method | |
| CN105516579B (zh) | 一种图像处理方法、装置和电子设备 | |
| EP3340619A1 (en) | Geometric warping of a stereograph by positional constraints | |
| US20220148207A1 (en) | Processing of depth maps for images | |
| CN109064533B (zh) | 一种3d漫游方法及系统 | |
| CN115035235A (zh) | 三维重建方法及装置 | |
| KR20230078777A (ko) | 3차원 재구성 방법, 장치와 시스템, 매체 및 컴퓨터 기기 | |
| US20170330384A1 (en) | Product Image Processing Method, and Apparatus and System Thereof | |
| CN109661815A (zh) | 存在相机阵列的显著强度变化的情况下的鲁棒视差估计 | |
| CN113723317A (zh) | 3d人脸的重建方法、装置、电子设备和存储介质 | |
| JP7398819B2 (ja) | 三次元再構成の方法及び装置 | |
| JP7432793B1 (ja) | 三次元点群に基づくマッピング方法、装置、チップ及びモジュール機器 | |
| CN113793392A (zh) | 一种相机参数标定方法及装置 | |
| CN111742352A (zh) | 3d对象建模方法以及相关设备和计算机程序产品 | |
| CN112750195B (zh) | 目标物体的三维重建方法和装置、存储介质及电子设备 | |
| CN115170637A (zh) | 虚拟视角图像构建方法及装置、控制设备和可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40043509 Country of ref document: HK |
|
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |