CN104918034A - 一种3d图像捕获装置、捕获方法及3d图像系统 - Google Patents

Abstract

本发明公开了3D图像捕获装置、捕获方法及3D图像系统。3D图像捕获装置包括图像传感器和处理器。其中，图像传感器用于同步采集场景空间中的R、G以及B彩色信息和红外光信息；处理器用于将图像传感器采集到的红外光信息进行处理，以得到红外光的强度信息对应的深度信息，进而将深度信息与R、G以及B彩色信息结合得到3D图像。通过上述方式，本发明能够降低成本并提高效率。

Description

一种3D图像捕获装置、捕获方法及3D图像系统

技术领域

本发明涉及3D技术领域，尤其是涉及一种3D图像捕获装置、捕获方法及3D图像系统。

背景技术

随着对3D技术、设备的不断发展和完善，3D图像的质量越来越高，对深度信息的获取也越来越容易，因此，人们很自然地想到利用图像的深度信息来进行3D图像的研究，传统的利用平面图像进行图像分析已经逐步转变为利用深度信息或者平面图像与深度信息相结合来进行图像分析。

现有的深度相机即可获取RGB(Red、Green、Blue，红色、绿色、蓝色—深度)三通道彩色信息和深度(Depth，D)图像，进而将获取的RGB彩色信息和Depth图像相结合以获得3D图像。

具体的，现有的方案是：使用两个图像传感器，一个图像传感器采集红外光的强度信息，经处理后获取深度图像，另一个图像传感器获取R、G以及B彩色信息。现有技术的两个图像传感器需要进行校准，然后据此将深度信息与彩色信息匹配才能获得RGB-D的3D图像。

现有的使用两个图像传感器的方案一方面增加了成本，另一方面，要将深度信息与彩色信息进行匹配才能获得3D图像，这又会增加计算量，从而降低效率。

发明内容

本发明主要解决的技术问题是提供一种3D图像捕获装置、捕获方法及3D图像系统，可以降低成本，并无需进行匹配过程，从而提高效率。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种3D图像捕获装置，包括：图像传感器，用于同步采集场景空间中的R、G以及B彩色信息和红外光信息；处理器，用于将图像传感器采集到的红外光信息进行处理，以得到红外光信息对应的深度信息，进而将深度信息与R、G以及B彩色信息结合得到3D图像。

其中，3D图像捕获装置还包括：存储器，用于存储红外光对应的参考散斑图像。

其中，处理器包括：红外散斑区域设置模块，用于根据所述图像传感器采集到的所述红外光信息获取所述红外光信息对应的红外散斑图，并在获取的所述红外散斑图上设置预设的红外散斑区域，其中所述红外散斑区域包含有多个像素，进一步用所述红外散斑区域遍历整个所述红外散斑图，以遍历所有像素；；计算模块，用于根据每个红外散斑区域和参考散斑图像而计算每个像素的深度信息；深度图像获取模块，用于根据每个像素的深度信息进行处理而得到对应的深度图像，并将所述深度图像与所述R、G以及B彩色信息结合得到3D图像。

其中，计算模块还包括：偏离值计算单元，用于根据每个红外散斑区域和参考散斑图像而搜寻出每个红外散斑区域所对应的最近的参考平面，并计算出每个红外散斑区域与最近的参考平面的偏离值；深度信息计算单元，用于根据每个红外散斑区域与最近的参考平面的偏离值，以及最近的参考平面的深度值而计算出每个红外散斑区域中的像素的深度信息。

为解决上述技术问题，本发明采用的另一个技术方案是：提供一种3D图像的捕获方法，该捕获方法包括：通过一个图像传感器同步采集场景空间中的每个像素的R、G以及B彩色信息和红外光信息；将红外光信息进行处理，以得到红外光信息对应的深度信息，进而将深度信息与R、G以及B彩色信息结合得到3D图像。

其中，方法还包括：存储红外光的参考散斑图像。

其中，将红外光信息进行处理，以得到红外光信息对应的深度信息的步骤包括：根据所述红外光信息获取所述红外光信息对应的红外散斑图；在获取的所述红外散斑图上设置预设的红外散斑区域，其中所述红外散斑区域包含有多个像素，进一步用所述红外散斑区域遍历整个所述红外散斑图，以遍历所有像素；；根据每个红外散斑区域和参考散斑图像而计算每个像素的深度信息；根据每个像素的深度信息进行处理而得到对应的深度图像，并将所述深度图像与所述R、G以及B彩色信息结合得到3D图像。

其中，根据每个像素红外散斑区域和参考散斑图像而计算每个像素的深度信息的步骤还包括：根据每个红外散斑区域和参考散斑图像而搜寻出每个红外散斑区域所对应的最近的参考平面，并计算出每个红外散斑区域与最近的参考平面的偏离值；根据每个红外散斑区域与最近的参考平面的偏离值，以及最近的参考平面的深度值而计算出每个红外散斑区域中的像素的深度信息。

为解决上述技术问题，本发明采用的又一个技术方案是：提供一种3D图像系统，该3D图像系统包括光源以及3D图像捕获装置，其中，光源用于向场景空间上发射红外光，3D图像捕获装置包括前文所述的3D图像捕获装置。

其中，3D图像系统还包括：调节组件，用于调节光源和图像传感器的距离，从而将光源和图像传感器保持为预设的距离。

本发明的有益效果是：区别于现有技术的情况，本发明通过图像传感器同步采集场景空间中的每个像素的R、G以及B彩色信息和红外光信息，然后通过处理器将图像传感器采集到的红外光信息进行处理，以得到红外光信息对应的深度信息，进而将深度信息与R、G以及B彩色信息结合得到3D图像。因此，本发明只需一个图像传感器即可同时获得R、G以及B彩色信息和红外光信息，一方面减少了图像传感器的数量，降低了成本，另一方面，无需再对R、G以及B彩色信息和红外光信息对应的深度信息进行匹配处理，简化了3D图像生成过程，从而提高了效率。

附图说明

图1是本发明实施例的3D图像的构成信息示意图；

图2是本发明实施例提供的一种3D图像系统的结构示意图；

图3是其中一个像素形成3D图像的过程示意图；

图4是参考散斑图像的示意图；

图5是通过参考散斑图像进行相关计算的示意图；

图6是3D图像形成的过程示意图；

图7是光源12处的结构示意图；

图8是本发明实施例提供的一种3D图像的捕获方法的流程图；

图9是本发明实施例提供的另一种3D图像的捕获方法的流程图。

具体实施方式

请参阅图1，图1是本发明实施例的3D图像的构成信息示意图。如图1所示，本发明的3D图像100由多个像素P1、P2…Pn组成，而每个像素包括由R、G以及B彩色信息和对应的深度信息，例如像素P1、P2…Pn对应的深度信息D1′、D2′…Dn′。值得注意的是，本实施例的3D图像为彩色3D图像。本发明实施例是基于图1所示的3D图像的组成而提供的3D图像捕获装置和捕获方法。具体请参阅下文所述。

请参阅图2，图2是本发明实施例提供的一种3D图像系统的结构示意图。如图2所示，本发明实施例提供的3D图像系统10包括3D图像捕获装置11和光源12。其中，3D图像捕获装置11包括图像传感器110以及处理器111。

本实施例中，图像传感器110用于同步采集场景空间中每个像素的R、G以及B彩色信息和红外光信息。其中，红外光信息包括红外光的强度信息和红外光的相位信息。本实施例优选采集的是红外光的强度信息IR，具体请参阅图3所示，图3是本实施例的3D图像形成的过程示意图。在其他实施例中，还可以采集红外光的相位信息。具体为在图像传感器110的采集方向上设置一偏光片，用于对入射到图像传感器110的光的相位进行选择，得到所需相位的偏振光。

处理器111用于将图像传感器110采集到的红外信息进行处理，以得到红外光信息对应的深度信息，进而将深度信息与R、G以及B彩色信息结合得到3D图像。

请再参阅图3，承接前文所述，本实施例采集的是红外光的强度信息IR，由此，处理器111将红外光的强度信息IR进行处理，以得到红外光的强度信息IR对应的深度信息D′，进而将深度信息D′与R、G以及B彩色信息结合得到3D图像。

因此，本发明实施例中，只采用一个图像传感器110即可同时获得R、G以及B彩色信息和红外光的强度信息IR，一方面减少了图像传感器110的数量，降低了成本，另一方面，无需再对R、G以及B彩色信息和红外光的强度信息IR对应的深度信息D′进行匹配处理，简化了3D图像生成过程，从而提高了效率。

本实施例中，在3D图像捕获装置11进行3D图像捕获之前。首先需要存储对应于光源12的参考散斑图像。其中该参考散斑图像包括了多个基于与光源12的距离而设置的参考平面和每个参考平面对应的深度信息。请参阅图4所示，图4示出了参考散斑图的多个参考平面401、402和403。其中，参考平面401、402和403与光源12的距离分别为H1、H2以及H3，其深度信息分别为D1、D2以及D3。

具体的，3D图像捕获装置11还包括存储器112。存储器112用于存储光源12发出的红外光对应的参考散斑图像。

在3D图像捕获装置11进行3D图像捕获时，首先光源12向场景空间上发射红外光。以对场景空间中的对象表面投射由红外光的强度信息IR构成的散斑点。其中，红外光的光场随着与光源12的距离的不同而不同，使得红外光信息也随着与光源12的距离的不同而不同。

本实施例中，处理器112包括红外散斑区域设置模块113、计算模块114以及深度图像获取模块115。

其中，红外散斑区域设置模块113用于根据图像传感器110采集到的红外光信息获取红外光信息对应的红外散斑图，并在获取的红外散斑图上设置预设的红外散斑区域，其中红外散斑区域包含有多个像素，进一步用红外散斑区域遍历整个红外散斑图，以遍历所有像素。。具体而言，本实施例的图像传感器110获取场景空间的红外光的强度信息IR，红外散斑区域设置模块113根据图像传感器110获得红外光的强度信息IR构成对应的灰度图即红外散斑图。由于该红外散斑图包括了如图1所示的所有的像素，因此，红外散斑区域设置模块113进一步在获取的红外散斑图设置预设大小的红外散斑区域，并根据后文的计算来设置该红外散斑区域遍历整个红外散斑图。其中，红外散斑区域的大小可以根据具体情况而定，例如可以设置为6*6个像素大小的红外散斑区域，也可以设置为7*7个像素大小的红外散斑区域，本实施不对红外散斑区域的具体大小作限制。计算模块114用于根据设置的每个红外散斑区域和参考散斑图像而计算每个像素的深度信息。具体的，3D图像系统10还包括调节组件13。计算模块114还包括偏离值计算单元116和深度信息计算单元117。

其中，调节组件13用于调节光源12和图像传感器110之间的距离，从而将光源12和图像传感器110保持为预设的距离。调节组件13进一步调节光源12和图像传感器110处于同一水平面上。由此可以使得参考散斑图像的参考平面与3D图像捕获装置11中的红外散斑区域设置模块113获取的红外散斑图的感应平面平行且相对应。由此，红外散斑区域设置模块113根据获取的红外散斑图找出的每个红外散斑区域可以直接投射到参考散斑图上进行相关的计算。

请参阅图5所示，偏离值计算单元116用于根据每个红外散斑区域和参考散斑图像而搜寻出每个红外散斑区域所对应的最近的参考平面，并计算出每个红外散斑区域与最近的参考平面的偏离值。举例而言，如图5所示，偏离值计算单元116根据红外散斑区域t1和参考散斑图像400而搜寻出红外散斑区域t1所对应的最近的参考平面为参考平面401，偏离值计算单元116进一步计算出红外散斑区域t1与最近的参考平面401的偏离值为△H1。

深度信息计算单元117用于根据红外散斑区域与最近的参考平面的偏离值，以及最近的参考平面的深度值而计算出每个红外散斑区域中的像素的深度信息。承接前文所述的例子，红外散斑区域t1对应的最近的参考平面401的深度值为D1，由于红外散斑区域t1与参考平面401的偏离值为△H1，该△H1所对应的深度值为△D1，则可以获得红外散斑区域t1中的像素P1的深度信息D1′＝D1+△D1。

反复进行上述的搜索和计算操作，以得到每个像素对应的深度信息。如图6所示。像素P1的红外光的强度信息IR1最终对应的深度信息为D1′，像素P2的红外光的强度信息IR2最终对应的深度信息为D2′，以此类推，像素Pn的红外光的强度信息IRn最终对应的深度信息为Dn′。

深度图像获取模块115用于根据每个像素的深度信息进行处理而得到对应的深度图像，并将深度图像与R、G以及B彩色信息结合得到3D图像。由于本发明实施例只用一个图像传感器11获取了每个像素对应的R、G以及B彩色信息和红外光的强度信息，使得每个像素的R、G以及B彩色信息和红外光的强度信息是一一匹配获取的。在后续的操作中，无需再将计算好的红外光的强度信息对应的深度信息与R、G以及B彩色信息进行匹配，因此，可以简化计算过程，从而提高效率。

请参阅图7所示，为了将光源12发射的更好的透射到场景空间中，本实施例在光源12的出光方向上设置分束器14，使得从光源12发射出来的红外光经过分束器14之后发散成许多子光束701、702和703，并透射到场景空间中。更进一步的，为了增加场景空间中的对象与背景图像之间的亮度差，进而可以更好的识别对象的轮廓。本发明实施例进一步增加一匀光装置15。其中，为了简化结构和节约成本，匀光装置15和发射到场景空间中的红外光共用一个光源12。请再参阅图7所示，在分束器14将光源12发出的红外光发散成子光束701和702进入另外一分束器16，光束703进入匀光装置15，最后同时发射子光束704和光场705到场景空间中。应理解，当需要降低成本时，可以将图7所示的分束器16省略。

本发明实施例还提供了一种3D图像的捕获方法，该方法可以应用到前文所述的3D图像捕获装置11中。

请参阅图8所示，本发明实施例的捕获方法包括以下步骤：

步骤S1：通过一个图像传感器同步采集场景空间中的每个像素的R、G以及B彩色信息和红外光信息。其中，红外光信息包括红外光的强度信息IR和红外光的相位信息。本实施例优选获取的是红外光的强度信息IR。在其他实施例中，还可以获取红外光的相位信息，具体获取过程如前文所述，在此不再赘述。

其中，在本步骤之前还会存储红外光的参考散斑图像。具体包括存储红外光的参考散斑图像的参考平面和每一个参考平面对应的深度信息。具体如前文所述，在此不再赘述。

步骤S2：将红外光信息进行处理，以得到红外光信息对应的深度信息D，进而将深度信息D与R、G以及B彩色信息结合得到3D图像。

请参阅图9，图9为本步骤的具体过程的流程图，如图9所示，本步骤具体包括：

步骤S21：根据红外光信息获取红外光信息对应的红外散斑图。

步骤S22：在获取的红外散斑图上设置预设的红外散斑区域，其中红外散斑区域包含有多个像素，进一步用红外散斑区域遍历整个红外散斑图，以遍历所有像素。

步骤S23：根据每个红外散斑区域和参考散斑图像而计算每个像素的深度信息。

具体而言，首先根据每个红外散斑区域和参考散斑图像而搜寻出每个红外散斑区域所对应的最近的参考平面，并计算出每个红外散斑区域与最近的参考平面的偏离值。然后根据每个红外散斑区域与最近的参考平面的偏离值，以及最近的参考平面的深度值而计算出每个红外散斑区域中的像素的深度信息。

具体过程如前文所述，在此不再赘述。

步骤S24：根据每个像素的深度信息进行处理而得到对应的深度图像，并将深度图像与R、G以及B彩色信息结合得到3D图像。

综上所述，本发明可以降低成本，并高效率。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种3D图像捕获装置，其特征在于，所述3D图像捕获装置包括：

图像传感器，用于同步采集场景空间中的每个像素的R、G以及B彩色信息和红外光信息；

处理器，用于将所述图像传感器采集到的所述红外光信息进行处理，以得到所述红外光信息对应的深度信息，进而将所述深度信息与所述R、G以及B彩色信息结合得到3D图像。

2.根据权利要求1所述的3D图像捕获装置，其特征在于，所述3D图像捕获装置还包括：

存储器，用于存储所述红外光对应的参考散斑图像。

3.根据权利要求2所述的3D图像捕获装置，其特征在于，所述处理器包括：

红外散斑区域设置模块，用于根据所述图像传感器采集到的所述红外光信息获取所述红外光信息对应的红外散斑图，并在获取的所述红外散斑图上设置预设的红外散斑区域，其中所述红外散斑区域包含有多个像素，进一步用所述红外散斑区域遍历整个所述红外散斑图，以遍历所有像素；

计算模块，用于根据每个所述红外散斑区域和所述参考散斑图像而计算每个像素的深度信息；

深度图像获取模块，用于根据每个像素的深度信息进行处理而得到对应的深度图像，并将所述深度图像与所述R、G以及B彩色信息结合得到3D图像。

4.根据权利要求3所述的3D图像捕获装置，其特征在于，所述计算模块还包括：

偏离值计算单元，用于根据每个红外散斑区域和所述参考散斑图像而搜寻出每个红外散斑区域所对应的最近的参考平面，并计算出每个红外散斑区域与所述最近的参考平面的偏离值；

深度信息计算单元，用于根据每个红外散斑区域与所述最近的参考平面的偏离值，以及所述最近的参考平面的深度值而计算出每个红外散斑区域中的像素的深度信息。

5.一种3D图像的捕获方法，其特征在于，所述捕获方法包括：

通过一个图像传感器同步采集场景空间中的每个像素的R、G以及B彩色信息和红外光信息；

将所述红外光信息进行处理，以得到所述红外光信息对应的深度信息，进而将所述深度信息与所述R、G以及B彩色信息结合得到3D图像。

6.根据权利要求5所述的捕获方法，其特征在于，所述方法还包括：

存储所述红外光的参考散斑图像。

7.根据权利要求6所述的捕获方法，其特征在于，所述将所述红外光信息进行处理，以得到所述红外光信息对应的深度信息的步骤包括：

根据所述红外光信息获取所述红外光信息对应的红外散斑图；

在获取的所述红外散斑图上设置预设的红外散斑区域，其中所述红外散斑区域包含有多个像素，进一步用所述红外散斑区域遍历整个所述红外散斑图，以遍历所有像素；

根据每个红外散斑区域和所述参考散斑图像而计算每个像素的深度信息；

根据每个像素的深度信息进行处理而得到对应的深度图像，并将所述深度图像与所述R、G以及B彩色信息结合得到3D图像。

8.根据权利要求7所述的捕获方法，其特征在于，所述根据每个红外散斑区域和所述参考散斑图像而计算每个像素的深度信息的步骤还包括：

根据每个红外散斑区域和所述参考散斑图像而搜寻出每个红外散斑区域所对应的最近的参考平面，并计算出每个红外散斑区域与所述最近的参考平面的偏离值；

根据每个红外散斑区域与所述最近的参考平面的偏离值，以及所述最近的参考平面的深度值而计算出每个红外散斑区域中的像素的深度信息。

9.一种3D图像系统，其特征在于，所述3D图像系统包括光源以及3D图像捕获装置，其中，所述光源用于向场景空间上发射红外光，所述3D图像捕获装置包括如权利要求1-4任一项所述的3D图像捕获装置。

10.根据权利要求9所述的3D图像系统，其特征在于，所述3D图像系统还包括：

调节组件，用于调节所述光源和所述图像传感器的距离，从而将所述光源和所述图像传感器保持为预设的距离。