CN105141939A - 一种工作范围可调的三维深度感知方法及装置 - Google Patents

Abstract

本发明公开了一种工作范围可调的三维深度感知方法及装置，可由外部设定或自适应调整方式设置工作范围模式，并通过调节激光图形投射器驱动电路的驱动电流将编码图案投向相应的工作范围内，调节接收摄像头焦距和基线距离，并采集所投射的编码图像序列送入深度感知模块，深度感知模块根据工作范围模式调整图像预处理的控制参数，选择与工作范围模式相符的一组参考编码图像对输入编码图像序列进行块匹配视差计算和深度计算，输出深度图序列。基于所述方法实现了一种工作范围可调的三维深度感知装置，所述装置有助于优化和实时实现所述的深度感知计算方法，并使其适合不同的工作范围，突破了现有三维深度感知装置的应用局限。

Description

一种工作范围可调的三维深度感知方法及装置

技术领域

本公开涉及属于图像处理、自然交互和集成电路技术领域，具体涉及一种工作范围可调的三维深度感知方法及装置。

背景技术

自然和谐的人机交互方式是人类对操控机器的理想目标，使机器能读懂人在自然状态所传递的命令，其中，深度感知技术是人机自然交互的核心技术，在机器视觉、智能监控、三维重建、体感交互、3D打印、无人机等领域有着广泛的应用前景。基于结构光的主动视觉模式可以较为准确地获取图像的深度信息，比如通过红外激光投射固定模式的图像到物体表面进行编码，由图像传感器采集获得红外编码图像，再通过深度感知计算获得物体的深度信息；所生成的深度信息可用于三维图像的实时识别及动作捕捉，使人能以表情、手势、体感动作等自然方式与终端进行交互成为可能。相比ToF(TimeofFlight)，基于结构光编码的三维深度感知技术在成本、性能方面具备一定的优势。

现有的三维深度感知设备，如微软Kinect一代(基于PrimeSense结构光模组)和二代(基于ToF模组)其工作范围为0.6～5米左右，主要用于一定距离的体感动作识别，比如家庭娱乐；英特尔RealSense3D深度摄像头工作范围约0.2～2米左右，可用于近距离手势动作和人脸表情识别。现有的这些三维深度感知装置无法实现工作范围可调，比如采用同一套装置可以用于近距离手势或人脸识别，也可以用于几米开外体感动作识别，或用于更远距离(比如10米开外)的行人跟踪与识别。

发明内容

鉴于此，本发明提供了一种工作范围可调的三维深度感知方法及装置，由外部设定或自适应调整方式设置工作范围模式，调节激光图形投射器驱动电路的驱动电流和输出功率、调节接收摄像头焦距和基线距离，再由深度感知模块调整图像预处理的控制参数，从存储器已固化的多组参考编码图像中选择输出与工作范围模式相符的一组参考编码图像，对输入编码图像序列进行块匹配视差计算和深度计算，输出深度图序列。基于所述方法设计的装置可实现同一套三维深度感知装置在不同工作距离范围下都能获取高分辨率、高精度的深度信息。

为实现以上发明目的，一种工作范围可调的三维深度感知方法，所述方法应用于三维深度感知装置，所述装置包括激光投射器驱动电路、激光投射器、接收摄像头、深度感知模块、控制模块和存储器；

通过在所述装置上部署控制模块来设置或重新设置装置的工作范围模式；所述工作范围模式的参数通过在装置中设置寄存器来存储；

所述控制模块根据预设的或重新设定的工作范围模式的参数向激光图形投射器驱动电路、接收摄像头和深度感知模块分别发送控制命令；

对激光图形投射器驱动电路发送的控制命令用于调节激光图形投射器驱动电路的驱动电流和输出功率，通过激光图形投射器将编码图案投向目标物体或空间，所述目标物体或空间处于工作范围模式的参数所对应的工作范围内；

对接收摄像头发送的控制命令用于调节接收摄像头焦距和基线距离，按一定的帧频采集激光图形投射器产生的编码图像以生成输入编码图像序列，并送入深度感知模块；所述接收摄像头用于接收激光图形投射器所投射的、特定波长范围的编码图案，其包括一种图像传感装置，包含光学聚焦成像透镜单元和滤波单元；所述基线距离是指激光图形投射器与接收摄像头之间的水平距离，两者的中心光轴平行；

对深度感知模块发送的控制命令用于调整图像预处理的控制参数，使输入编码图像序列经预处理后实现一致性处理；并用于从存储器已固化的多组参考编码图像中选择输出与工作范围模式相符的一组参考编码图像，对经预处理后的输入编码图像序列进行块匹配视差计算和深度计算，输出深度图序列；

所述多组参考编码图像是指配合不同的工作范围模式，其中：每个参考编码图像是投射在与投射器光轴垂直、不同距离的垂直平面上、并被预先采集，且经过与所述输入编码图像相同的图像预处理的编码图像，其作为标准参考编码图像预先固化在存储器中；每个工作范围模式的参数M_i对应一组距离d_i的参考编码图像，一组参考编码图像可以是一幅或多幅图像组成，其中i表示第i组；

所述块匹配视差计算通过将图像预处理后的输入编码图像序列中各输入编码图像与参考编码图像进行块匹配相似度比较，求取输入编码图像中图像块与最优匹配块之间的位移量；

所述深度计算，假设接收摄像头焦距f、接收摄像头图像传感器点距μ、激光图形投射器与接收摄像头的基线距离S、块匹配视差计算得到位移量为Δm，所述Δm为Δx或Δy，参考编码图像对应的已知距离d_i，则通过下述深度计算的公式，得到对应的深度值d^|：

$d^1=d_i-\frac{{{\mathrm{\Δm\μd}}_i}^2}{fS+{\mathrm{\Δm\μd}}_i}=\frac{{\mathrm{fSd}}_i}{fS+{\mathrm{\Δm\μd}}_i}.$

基于上述方法设计的一种工作范围可调的三维深度感知装置，所述装置包括激光图形投射器驱动电路、激光图形投射器、接收摄像头、深度感知模块、控制模块以及存储器；

所述控制模块用于设置或重新设置装置的工作范围模式；所述工作范围模式的参数通过在原装置中设置一个寄存器来存储；

所述控制模块根据设定的或重新设定的工作距离范围向激光图形投射器驱动电路、接收摄像头和深度感知模块分别发送控制命令；

对激光图形投射器驱动电路发送的控制命令用于调节激光图形投射器驱动电路的驱动电流和输出功率，通过激光图形投射器将编码图案投向设定的工作范围内的目标物体或空间；

对接收摄像头发送的控制命令用于调节接收摄像头焦距和基线距离，按一定的帧频采集激光图形投射器产生的编码图像生成输入编码图像序列，并送入深度感知模块；所述接收摄像头用于接收激光图形投射器所投射的、特定波长范围的编码图案，其包括一种图像传感装置，包含光学聚焦成像透镜单元和滤波单元；所述基线距离是指激光图形投射器与接收摄像头之间的水平距离，两者的中心光轴平行；

对深度感知模块发送的控制命令用于调整图像预处理的控制参数，使输入编码图像序列经预处理后实现一致性处理；并用于从存储器已固化的多组参考编码图像中选择输出与工作范围模式相符的一组参考编码图像，对经预处理后的输入编码图像序列进行块匹配视差计算和深度计算，输出深度图序列；

所述多组参考编码图像是指配合不同的工作范围模式，投射在与投射器光轴垂直、不同距离的垂直平面上采集得到，且经过与输入编码图像相同的图像预处理的编码图像，其作为标准参考编码图像预先固化在存储器中；工作范围模式M_i对应一组相同距离d_i的参考编码图像，一组参考编码图像可以是一幅或多幅图像组成；

所述块匹配视差计算通过将图像预处理后的输入编码图像序列中各输入编码图像与参考编码图像进行块匹配相识度比较，求取输入编码图像中图像块与最优匹配块之间的位移量，即视差值；

所述深度计算，假设接收摄像头焦距f、接收摄像头图像传感器点距μ、激光图形投射器与接收摄像头的基线距离S、块匹配视差计算得到的视差图的偏移量为Δm，所述Δm为Δx或Δy，参考编码图像的已知距离参数d_i，则通过下述深度计算的公式，能够得到对应的深度值d^|：

$d^1=d_i-\frac{{{\mathrm{\Δm\μd}}_i}^2}{fS+{\mathrm{\Δm\μd}}_i}=\frac{{\mathrm{fSd}}_i}{fS+{\mathrm{\Δm\μd}}_i}.$

本发明通过所述方法通过调节激光图形投射器驱动电路的驱动电流，调节接收摄像头焦距f、激光图形投射器与接收摄像头的基线距离S，调整图像预处理的控制参数，结合多组已知距离的参考编码图像，可实现在不同目标距离内能生成高分辨率、高精度的深度信息，方便利用图像处理技术获取深度信息进行三维图像的识别及动作捕捉。基于所述方法实现的装置，通过用硬件完成方法的功能实现，将有助于优化和实时实现所述的深度感知计算方法，并使其适合不同的工作范围。

附图说明

图1是本发明实施例的工作范围可调的三维深度感知装置结构示意图；

图2是本发明实施例的工作范围自适应调整方式示意图；

图3是本发明实施例的深度感知模块根据工作范围模式的工作流程图。

具体实施方式

在一个实施例中，提供了一种工作范围可调的三维深度感知方法，所述方法应用于三维深度感知装置，所述装置包括激光投射器驱动电路、激光投射器、接收摄像头、深度感知模块、控制模块和存储器；

通过在所述装置上部署控制模块来设置或重新设置装置的工作范围模式；所述工作范围模式的参数通过在装置中设置寄存器来存储；

所述控制模块根据预设的或重新设定的工作范围模式的参数向激光图形投射器驱动电路、接收摄像头和深度感知模块分别发送控制命令；

对激光图形投射器驱动电路发送的控制命令用于调节激光图形投射器驱动电路的驱动电流和输出功率，通过激光图形投射器将编码图案投向目标物体或空间，所述目标物体或空间处于工作范围模式的参数所对应的工作范围内；

对接收摄像头发送的控制命令用于调节接收摄像头焦距和基线距离，按一定的帧频采集激光图形投射器产生的编码图像以生成输入编码图像序列，并送入深度感知模块；所述接收摄像头用于接收激光图形投射器所投射的、特定波长范围的编码图案，其包括一种图像传感装置，包含光学聚焦成像透镜单元和滤波单元；所述基线距离是指激光图形投射器与接收摄像头之间的水平距离，两者的中心光轴平行；

对深度感知模块发送的控制命令用于调整图像预处理的控制参数，使输入编码图像序列经预处理后实现一致性处理；并用于从存储器已固化的多组参考编码图像中选择输出与工作范围模式相符的一组参考编码图像，对经预处理后的输入编码图像序列进行块匹配视差计算和深度计算，输出深度图序列；

所述多组参考编码图像是指配合不同的工作范围模式，其中：每个参考编码图像是投射在与投射器光轴垂直、不同距离的垂直平面上、并被预先采集，且经过与所述输入编码图像相同的图像预处理的编码图像，其作为标准参考编码图像预先固化在存储器中；每个工作范围模式的参数M_i对应一组距离d_i的参考编码图像，一组参考编码图像可以是一幅或多幅图像组成，其中i表示第i组；

所述块匹配视差计算通过将图像预处理后的输入编码图像序列中各输入编码图像与参考编码图像进行块匹配相似度比较，求取输入编码图像中图像块与最优匹配块之间的位移量；

所述深度计算，假设接收摄像头焦距f、接收摄像头图像传感器点距μ、激光图形投射器与接收摄像头的基线距离S、块匹配视差计算得到位移量为Δm，所述Δm为Δx或Δy，参考编码图像对应的已知距离d_i，则通过下述深度计算的公式，得到对应的深度值d^|：

$d^1=d_i-\frac{{{\mathrm{\Δm\μd}}_i}^2}{fS+{\mathrm{\Δm\μd}}_i}=\frac{{\mathrm{fSd}}_i}{fS+{\mathrm{\Δm\μd}}_i}.$

在这个实施例中，通过控制模块来设置工作范围模式，根据该模式调节激光图形投射器驱动电路的驱动电流和输出功率，通过激光图形投射器将编码图案投向工作范围内的目标物体或空间；接收摄像头采集所投射的编码图像序列送入深度感知模块，深度感知模块根据工作范围模式调整图像预处理的控制参数，并从多组参考编码图像中选择与工作范围模式相符的一组参考编码图像，对输入编码图像序列进行块匹配视差计算和深度计算，输出深度图序列。

其中，所述激光图形投射器是一种激光编码图形(Pattern)发射装置，所投射的图形可以是固定的，也可以通过编程更改；其发射可与接收摄像头的编码图像采集可进行同步控制；所投射的图形具有一定的水平垂直视角FoV；激光光源可以是可见光、红外、紫外线、X射线。

所述激光图形投射器驱动电路可以对驱动电流进行调节来改变输出功率，从而能够控制激光图形投射器投向目标物体或空间的光强度和投射距离范围。

所述接收摄像头用于接收激光图形投射器所投射的、特定波长范围的编码图案，其包括一种图像传感装置，包含光学聚焦成像透镜单元和滤波单元；根据所设置的工作范围模式，调节接收摄像头焦距和基线距离，按一定的帧频采集激光图形投射器产生的编码图像生成输入编码图像序列，并送入深度感知模块；变换工作范围模式，接收摄像头可以跟着调节不同的焦距和不同的基线距离，也可以保持焦距或基线距离参数值不变。所述基线距离是指激光图形投射器与接收摄像头之间的水平距离，两者的中心光轴平行。

所述深度感知模块根据所设置的工作范围模式调整图像预处理的控制参数，使输入编码图像序列经预处理后实现一致性处理；从存储器已固化的多组参考编码图像中选择输出与工作范围模式相符的一组参考编码图像，对经预处理后的输入编码图像序列进行块匹配视差计算和深度计算，输出深度图序列；所述存储器用于固化不同距离的多组参考编码图像，一般为非易失性存储器，如Flash。

所述图像预处理包括对输入编码图像序列或参考编码图像进行输入视频格式转换、色度空间转换、灰度图像自适应去噪和增强、灰度图像二值化处理，使不同图像得到一致性处理。其目的是通过编码图像的预处理，使散斑图形更清晰、减少噪声干扰，并有利于本发明内容的块匹配视差计算。

输入编码图像序列经过图像预处理子模块处理后，如果是作为参考编码图像，则通过存储控制器子模块将其存储在存储器中；如果是为了结合存储的参考编码图像进行深度计算，则进入块匹配视差计算子模块，而用来计算的参考编码图像通过存储控制器读出进入块匹配视差计算子模块；经块匹配视差计算子模块计算后的偏移量表示的视差图进一步进入深度计算子模块进行深度计算，最后输出深度图像序列。

所述多组参考编码图像是指配合不同的工作范围模式，投射在与投射器光轴垂直、不同距离的垂直平面上采集得到，且经过与输入编码图像相同的图像预处理的编码图像，其作为标准参考编码图像预先固化在存储器中。工作范围模式M_i对应一组相同距离d_i的参考编码图像，一组参考编码图像可以是一幅或多幅图像组成。进一步地，在深度计算时，由于工作范围模式M_i不同，其对应不同组参考编码图像的已知距离d_i不同。

进一步地，所述一组参考编码图像可以是由激光图形投射器投射固定图形的激光束(红外、可见光、紫外线、不可见光)与激光图形投射器的中心轴(Z轴)相垂直或与激光图形投射器的中心轴成固定的夹角、且已知垂直距离为d_i的平面(该平面可由投影布、平板等构成，用于呈现清晰稳定的激光图像，该平面可称之为参考基准平面)上，再由接收摄像头根据温度、湿度等不同采集得到的一组编码图像。一般情况下激光图形投射器与接收摄像头的光轴平行、基线距离为S。同一组参考编码图像经与输入编码图像序列相同的图像预处理后，作为输入编码图像序列进行视差计算的匹配基准图形，可由一幅或多幅相同距离的激光编码图像构成。

所述块匹配视差计算通过将图像预处理后的输入编码图像序列中各输入编码图像与参考编码图像进行块匹配相识度比较，求取输入编码图像中图像块与最优匹配块之间的位移量，即视差值。

所述深度计算，假设接收摄像头焦距f、接收摄像头图像传感器点距μ、激光图形投射器与接收摄像头的基线距离S、块匹配视差计算得到的视差图的偏移量为Δm，所述Δm为Δx或Δy，参考编码图像的已知距离参数d_i，则通过下述深度计算的公式，能够得到对应的深度值d^|：

$d^1=d_i-\frac{{{\mathrm{\Δm\μd}}_i}^2}{fS+{\mathrm{\Δm\μd}}_i}=\frac{{\mathrm{fSd}}_i}{fS+{\mathrm{\Δm\μd}}_i}.$

由此，通过本实施例提供的方法，通过增加控制模块根据工作范围模式来调节激光图形投射器驱动电路的驱动电流，以及调节接收摄像头焦距f、激光图形投射器与接收摄像头的基线距离S；调整图像预处理的控制参数，并在存储器中选择与工作范围模式相符的一组参考编码图像。可实现在不同目标距离内能生成高分辨率、高精度的深度信息，方便利用图像处理技术获取深度信息进行三维图像的识别及动作捕捉。

增加控制模块后的三维深度感知装置结构示意图如图1所示。

在一个实施例中，将所述深度感知模块根据其处理功能进行了进一步的划分，包括图像预处理子模块、块匹配视差计算子模块、存储控制器子模块以及深度计算子模块，根据工作范围模式的寄存器状态值将采集的输入编码图像序列进行有利于块匹配视差计算的图像预处理，结合已固化在存储器中、已知距离的一组参考编码图像进行块匹配视差计算和深度计算，最后输出深度图像序列，具体流程见图3。

在一个实施例中，所述控制模块包括外部设定单元，所述外部设定单元由外部微处理器通过总线协议对控制模块进行工作范围模式的参数的设定，再由控制模块设定其它参数值。

在通过外部设定单元设定工作范围模式时，首先调节激光图形投射器驱动电路的驱动电流，使所投射的编码图案能工作在所设定的工作范围内；接下来根据工作范围模式调节接收摄像头焦距f、激光图形投射器与接收摄像头的基线距离S；再根据工作范围模式由深度感知模块调整图像预处理的控制参数，并从存储器已固化的多组参考编码图像中选择输出与工作范围模式相符的一组参考编码图像，从而实现通过控制模块工作在不同的工作范围模式下都可以获取高分辨率、高精度的深度信息。

在一个实施例中，所述控制模块包括自适应调整单元，所述自适应调整单元根据已产生的深度图像自动检测目标物体，并根据目标物体的远近变动来自动调整工作范围模式的参数。在这种方式下，一旦检测到目标物体，可随目标物体的由远及近自动调整工作范围模式，比如目标物体现在超远距离工作模式M3的范围内，随着移动，一旦通过深度图检测该目标物体进入远距离工作模式M2的工作范围，则控制模块自适应地切换工作范围模式，并向驱动电路和深度感知模块发出相应的指令，使得整个装置工作在远距离工作模式M2。

在通过自适应调整单元设定工作范围模式时，根据已产生的深度图像自动检测所述目标，并根据目标的远近变动来自动设置与工作范围模式有关的参数值。这种方式的使用需要根据已产生的深度图像来自动检测目标的距离范围，适合特定目标或运动目标，可随着目标的远近变动来自动调整，比如一旦检测到人，可随人的由远及近自动调整与距离有关的参数值。

在一个实施例中，任选外部设定单元或自适应调整单元单独存在于控制模块中；在另一实施例中，同时使控制模块包括外部设定单元或自适应调整单元。所述外部设定单元或自适应调整单元均是通过对激光图形投射器的驱动电路和深度感知模块与工作范围有关的参数值进行控制，使整个装置工作在不同的距离范围。

在一个实施例中，所述方法进一步定义了工作范围模式的具体内容，即：所述工作范围模式为根据目标物体的远近距离分成若干个距离区间，每个工作范围模式的参数对应特定的距离区间。如图2所示的关于所述工作范围模式的一种分类：将工作范围模式分为近距离工作模式M1，远距离工作模式M2，以及超远距离工作模式M3。那么对工作范围模式的参数进行存储，即可以通过设置一个寄存器状态值来表示工作范围模式，比如近距离模式对应状态值00、远距离模式对应01、超远距离模式对应02。

在一个实施例中，所述自适应调整单元可自动检测工作范围内的特定目标或运动目标，并可随着目标的远近变动来自动设置对应的工作范围模式的参数。在这种方式下，一旦检测到目标物体，可随目标物体的由远及近自动调整工作范围模式，比如目标物体现在超远距离工作模式M3的范围内，随着移动，一旦通过深度图检测该目标物体进入远距离工作模式M2的工作范围，则控制模块自适应地切换工作范围模式，并向驱动电路和深度感知模块发出相应的指令，使得整个装置工作在远距离工作模式M2。

在一个实施例中，所述方法提供了改变激光图形投射器驱动电路的驱动电流的方式，即：所述调节激光图形投射器驱动电路的驱动电流的方式包括通过改变数字定位器或可变电阻器的电阻值来调节恒流驱动方式的电流大小；当工作范围参数对应的距离越远，则驱动电流越大，其对应的电阻值越小。

由于所述激光图形投射器的激光源一般采用LED，其驱动电路为恒流驱动方式，因此所述驱动电路可采用常规的LED驱动电路，并通过改变数字定位器或可变电阻器的电阻值来调节驱动电流大小，一般工作范围越远、驱动电流越大，其对应的电阻值越小。

基于所述方法，在一个实施例中提供了一种工作范围可调的三维深度感知装置，所述装置包括激光图形投射器驱动电路、激光图形投射器、接收摄像头、深度感知模块、控制模块以及存储器；

所述控制模块用于设置或重新设置装置的工作范围模式；所述工作范围模式的参数通过在原装置中设置一个寄存器来存储；

所述控制模块根据设定的或重新设定的工作距离范围向激光图形投射器驱动电路、接收摄像头和深度感知模块分别发送控制命令；

对激光图形投射器驱动电路发送的控制命令用于调节激光图形投射器驱动电路的驱动电流和输出功率，通过激光图形投射器将编码图案投向设定的工作范围内的目标物体或空间；

对接收摄像头发送的控制命令用于调节接收摄像头焦距和基线距离，按一定的帧频采集激光图形投射器产生的编码图像生成输入编码图像序列，并送入深度感知模块；所述接收摄像头用于接收激光图形投射器所投射的、特定波长范围的编码图案，其包括一种图像传感装置，包含光学聚焦成像透镜单元和滤波单元；所述基线距离是指激光图形投射器与接收摄像头之间的水平距离，两者的中心光轴平行；

对深度感知模块发送的控制命令用于调整图像预处理的控制参数，使输入编码图像序列经预处理后实现一致性处理；并用于从存储器已固化的多组参考编码图像中选择输出与工作范围模式相符的一组参考编码图像，对经预处理后的输入编码图像序列进行块匹配视差计算和深度计算，输出深度图序列；

所述多组参考编码图像是指配合不同的工作范围模式，投射在与投射器光轴垂直、不同距离的垂直平面上采集得到，且经过与输入编码图像相同的图像预处理的编码图像，其作为标准参考编码图像预先固化在存储器中；工作范围模式M_i对应一组相同距离d_i的参考编码图像，一组参考编码图像可以是一幅或多幅图像组成；进一步地，在深度计算时，由于工作范围模式M_i不同，其对应不同组参考编码图像的已知距离d_i不同。

所述块匹配视差计算通过将图像预处理后的输入编码图像序列中各输入编码图像与参考编码图像进行块匹配相识度比较，求取输入编码图像中图像块与最优匹配块之间的位移量，即视差值；

所述深度计算，假设接收摄像头焦距f、接收摄像头图像传感器点距μ、激光图形投射器与接收摄像头的基线距离S、块匹配视差计算得到的视差图的偏移量为Δm，所述Δm为Δx或Δy，参考编码图像的已知距离参数d_i，则通过下述深度计算的公式，能够得到对应的深度值d^|：

$d^1=d_i-\frac{{{\mathrm{\Δm\μd}}_i}^2}{fS+{\mathrm{\Δm\μd}}_i}=\frac{{\mathrm{fSd}}_i}{fS+{\mathrm{\Δm\μd}}_i}.$

在这个实施例中，通过使用控制模块来设置工作范围模式，根据该模式调节激光图形投射器驱动电路的驱动电流和输出功率，通过激光图形投射器将编码图案投向工作范围内的目标物体或空间；接收摄像头采集所投射的编码图像序列送入深度感知模块，深度感知模块根据工作范围模式调整图像预处理的控制参数，并从多组参考编码图像中选择与工作范围模式相符的一组参考编码图像，对输入编码图像序列进行块匹配视差计算和深度计算，输出深度图序列。

其中，所述激光图形投射器是一种激光编码图形(Pattern)发射装置，所投射的图形可以是固定的，也可以通过编程更改；其发射可与接收摄像头的编码图像采集可进行同步控制；所投射的图形具有一定的水平垂直视角FoV；激光光源可以是可见光、红外、紫外线、X射线。

所述激光图形投射器驱动电路可以对驱动电流进行调节来改变输出功率，从而能够控制激光图形投射器投向目标物体或空间的光强度和投射距离范围。

所述接收摄像头用于接收激光图形投射器所投射的、特定波长范围的编码图案，其包括一种图像传感装置，包含光学聚焦成像透镜单元和滤波单元；根据所设置的工作范围模式，调节接收摄像头焦距和基线距离，按一定的帧频采集激光图形投射器产生的编码图像生成输入编码图像序列，并送入深度感知模块；变换工作范围模式，接收摄像头可以跟着调节不同的焦距和不同的基线距离，也可以保持焦距或基线距离参数值不变。所述基线距离是指激光图形投射器与接收摄像头之间的水平距离，两者的中心光轴平行。

所述深度感知模块根据所设置的工作范围模式调整图像预处理的控制参数，使输入编码图像序列经预处理后实现一致性处理；从存储器已固化的多组参考编码图像中选择输出与工作范围模式相符的一组参考编码图像，对经预处理后的输入编码图像序列进行块匹配视差计算和深度计算，输出深度图序列；所述存储器用于固化不同距离的多组参考编码图像，一般为非易失性存储器，如Flash。

所述图像预处理包括对输入编码图像序列或参考编码图像进行输入视频格式转换、色度空间转换、灰度图像自适应去噪和增强、灰度图像二值化处理，使不同图像得到一致性处理。其目的是通过编码图像的预处理，使散斑图形更清晰、减少噪声干扰，并有利于本发明内容的块匹配视差计算。

输入编码图像序列经过图像预处理子模块处理后，如果是作为参考编码图像，则通过存储控制器子模块将其存储在存储器中；如果是为了结合存储的参考编码图像进行深度计算，则进入块匹配视差计算子模块，而用来计算的参考编码图像通过存储控制器读出进入块匹配视差计算子模块；经块匹配视差计算子模块计算后的偏移量表示的视差图进一步进入深度计算子模块进行深度计算，最后输出深度图像序列。

所述多组参考编码图像是指配合不同的工作范围模式，投射在与投射器光轴垂直、不同距离的垂直平面上采集得到，且经过与输入编码图像相同的图像预处理的编码图像，其作为标准参考编码图像预先固化在存储器中。工作范围模式M_i对应一组相同距离d_i的参考编码图像，一组参考编码图像可以是一幅或多幅图像组成。进一步地，在深度计算时，由于工作范围模式M_i不同，其对应不同组参考编码图像的已知距离d_i不同。

进一步地，所述一组参考编码图像可以是由激光图形投射器投射固定图形的激光束(红外、可见光、紫外线、不可见光)与激光图形投射器的中心轴(Z轴)相垂直或与激光图形投射器的中心轴成固定的夹角、且已知垂直距离为d_i的平面(该平面可由投影布、平板等构成，用于呈现清晰稳定的激光图像，该平面可称之为参考基准平面)上，再由接收摄像头根据温度、湿度等不同采集得到的一组编码图像。一般情况下激光图形投射器与接收摄像头的光轴平行、基线距离为S。同一组参考编码图像经与输入编码图像序列相同的图像预处理后，作为输入编码图像序列进行视差计算的匹配基准图形，可由一幅或多幅相同距离的激光编码图像构成。

所述块匹配视差计算通过将图像预处理后的输入编码图像序列中各输入编码图像与参考编码图像进行块匹配相识度比较，求取输入编码图像中图像块与最优匹配块之间的位移量，即视差值；

所述深度计算，假设接收摄像头焦距f、接收摄像头图像传感器点距μ、激光图形投射器与接收摄像头的基线距离S、块匹配视差计算得到的视差图的偏移量为Δm，所述Δm为Δx或Δy，参考编码图像的已知距离参数d_i，则通过下述深度计算的公式，能够得到对应的深度值d^|：

$d^1=d_i-\frac{{{\mathrm{\Δm\μd}}_i}^2}{fS+{\mathrm{\Δm\μd}}_i}=\frac{{\mathrm{fSd}}_i}{fS+{\mathrm{\Δm\μd}}_i}.$

由此，通过本实施例提供的装置，通过控制模块根据工作范围模式来调节激光图形投射器驱动电路的驱动电流，以及调节接收摄像头焦距f、激光图形投射器与接收摄像头的基线距离S；调整图像预处理的控制参数，并在存储器中选择与工作范围模式相符的一组参考编码图像。可实现在不同目标距离内能生成高分辨率、高精度的深度信息，方便利用图像处理技术获取深度信息进行三维图像的识别及动作捕捉。本实施例中的三维深度感知装置结构示意图如图1所示。

在一个实施例中，将所述深度感知模块根据其处理功能进行了进一步的划分，包括图像预处理子模块、块匹配视差计算子模块、存储控制器子模块以及深度计算子模块，根据工作范围模式的寄存器状态值将采集的输入编码图像序列进行有利于块匹配视差计算的图像预处理，结合已固化在存储器中、已知距离的一组参考编码图像进行块匹配视差计算和深度计算，最后输出深度图像序列，具体流程见图3。

在一个实施例中，所述控制模块包括外部设定单元，所述外部设定单元由外部微处理器通过总线协议对控制模块进行工作范围模式的参数的设定，再由控制模块设定其它参数值。

在通过外部设定单元设定工作范围模式时，首先调节激光图形投射器驱动电路的驱动电流，使所投射的编码图案能工作在所设定的工作范围内；接下来根据工作范围模式调节接收摄像头焦距f、激光图形投射器与接收摄像头的基线距离S；再根据工作范围模式由深度感知模块调整图像预处理的控制参数，并从存储器已固化的多组参考编码图像中选择输出与工作范围模式相符的一组参考编码图像，从而实现通过控制模块工作在不同的工作范围模式下都可以获取高分辨率、高精度的深度信息。

在一个实施例中，所述控制模块包括自适应调整单元，所述自适应调整单元根据已产生的深度图像自动检测目标物体，并根据目标物体的远近变动来自动调整工作范围模式的参数。在这种方式下，一旦检测到目标物体，可随目标物体的由远及近自动调整工作范围模式，比如目标物体现在超远距离工作模式M3的范围内，随着移动，一旦通过深度图检测该目标物体进入远距离工作模式M2的工作范围，则控制模块自适应地切换工作范围模式，并向驱动电路和深度感知模块发出相应的指令，使得整个装置工作在远距离工作模式M2。

在通过自适应调整单元设定工作范围模式时，根据已产生的深度图像自动检测所述目标，并根据目标的远近变动来自动设置与工作范围模式有关的参数值。这种方式的使用需要根据已产生的深度图像来自动检测目标的距离范围，适合特定目标或运动目标，可随着目标的远近变动来自动调整，比如一旦检测到人，可随人的由远及近自动调整与距离有关的参数值。

在一个实施例中，任选外部设定单元或自适应调整单元单独存在于控制模块中；在另一实施例中，同时使控制模块包括外部设定单元或自适应调整单元。所述外部设定单元或自适应调整单元均是通过对激光图形投射器的驱动电路和深度感知模块与工作范围有关的参数值进行控制，使整个装置工作在不同的距离范围。

在一个实施例中，进一步定义了工作范围模式的具体内容，即：所述工作范围模式为根据目标物体的远近距离分成若干个距离区间，每个工作范围模式的参数对应特定的距离区间。如图2所示的关于所述工作范围模式的一种分类：将工作范围模式分为近距离工作模式M1，远距离工作模式M2，以及超远距离工作模式M3。那么对工作范围模式的参数进行存储，即可以通过设置一个寄存器状态值来表示工作范围模式，比如近距离模式对应状态值00、远距离模式对应01、超远距离模式对应02。

在一个实施例中，所述装置的自适应调整单元可自动检测工作范围内的特定目标或运动目标，并可随着目标的远近变动来自动设置对应的工作范围模式的参数。在这种方式下，一旦检测到目标物体，可随目标物体的由远及近自动调整工作范围模式，比如目标物体现在超远距离工作模式M3的范围内，随着移动，一旦通过深度图检测该目标物体进入远距离工作模式M2的工作范围，则控制模块自适应地切换工作范围模式，并向驱动电路和深度感知模块发出相应的指令，使得整个装置工作在远距离工作模式M2。

在一个实施例中，提供了改变装置的激光图形投射器驱动电路的驱动电流的方式，即：所述调节激光图形投射器驱动电路的驱动电流的方式包括改变数字定位器或可变电阻器的电阻值来调节恒流驱动方式的电流大小；当工作范围模式的参数对应的距离越远，则驱动电流越大，其对应的电阻值越小。

由于所述激光图形投射器的激光源一般采用LED，其驱动电路为恒流驱动方式，因此所述驱动电路可采用常规的LED驱动电路，并通过改变数字定位器或可变电阻器的电阻值来调节驱动电流大小，一般工作范围越远、驱动电流越大，其对应的电阻值越小。

本发明的所述方法通过调节激光图形投射器驱动电路的驱动电流，调节接收摄像头焦距f、激光图形投射器与接收摄像头的基线距离S，调整图像预处理的控制参数，结合多组已知距离的参考编码图像，可实现在不同目标距离内能生成高分辨率、高精度的深度信息，方便利用图像处理技术获取深度信息进行三维图像的识别及动作捕捉。基于所述方法实现的装置，通过用硬件完成方法的功能实现，将有助于优化和实时实现所述的深度感知计算方法，并使其适合不同的工作范围。

虽然上述的实施例在特定的图像中完成，然其并非限定本发明，本发明可类似的应用到相似的结构光编码图像或其它图像中；用于固化的参考编码图像可以是1帧或多帧，读取图像时也可以同时读出多帧；用于存储参考编码图像的存储器可以是串口flash，也可以是并口flash或其它存储器。

以上对本发明进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种工作范围可调的三维深度感知方法，其特征在于：

所述方法应用于三维深度感知装置，所述装置包括激光投射器驱动电路、激光投射器、接收摄像头、深度感知模块、控制模块和存储器；

通过在所述装置上部署控制模块来设置或重新设置装置的工作范围模式；所述工作范围模式的参数通过在装置中设置寄存器来存储；

所述控制模块根据预设的或重新设定的工作范围模式的参数向激光图形投射器驱动电路、接收摄像头和深度感知模块分别发送控制命令；

对激光图形投射器驱动电路发送的控制命令用于调节激光图形投射器驱动电路的驱动电流和输出功率，通过激光图形投射器将编码图案投向目标物体或空间，所述目标物体或空间处于工作范围模式的参数所对应的工作范围内；

对接收摄像头发送的控制命令用于调节接收摄像头焦距和基线距离，按一定的帧频采集激光图形投射器产生的编码图像以生成输入编码图像序列，并送入深度感知模块；所述接收摄像头用于接收激光图形投射器所投射的、特定波长范围的编码图案，其包括一种图像传感装置，包含光学聚焦成像透镜单元和滤波单元；所述基线距离是指激光图形投射器与接收摄像头之间的水平距离，两者的中心光轴平行；

对深度感知模块发送的控制命令用于调整图像预处理的控制参数，使输入编码图像序列经预处理后实现一致性处理；并用于从存储器已固化的多组参考编码图像中选择输出与工作范围模式相符的一组参考编码图像，对经预处理后的输入编码图像序列进行块匹配视差计算和深度计算，输出深度图序列；

所述多组参考编码图像是指配合不同的工作范围模式，其中：每个参考编码图像是投射在与投射器光轴垂直、不同距离的垂直平面上、并被预先采集，且经过与所述输入编码图像相同的图像预处理的编码图像，其作为标准参考编码图像预先固化在存储器中；每个工作范围模式的参数M_i对应一组距离d_i的参考编码图像，一组参考编码图像可以是一幅或多幅图像组成，其中i表示第i组；

所述块匹配视差计算通过将图像预处理后的输入编码图像序列中各输入编码图像与参考编码图像进行块匹配相似度比较，求取输入编码图像中图像块与最优匹配块之间的位移量；

所述深度计算，假设接收摄像头焦距f、接收摄像头图像传感器点距μ、激光图形投射器与接收摄像头的基线距离S、块匹配视差计算得到位移量为Δm，所述Δm为Δx或Δy，参考编码图像对应的已知距离d_i，则通过下述深度计算的公式，得到对应的深度值d^|：

$d^1=d_i-\frac{{{\mathrm{\Δm\μd}}_i}^2}{fS+{\mathrm{\Δm\μd}}_i}=\frac{{\mathrm{fSd}}_i}{fS+{\mathrm{\Δm\μd}}_i}.$

2.根据权利要求1所述的方法，其特征在于：

优选的，所述控制模块包括外部设定单元，所述外部设定单元由外部微处理器通过总线协议对控制模块进行工作范围模式的参数的设定。

3.根据权利要求1或2所述的方法，其特征在于：

所述控制模块包括自适应调整单元，所述自适应调整单元根据已产生的深度图像自动检测目标物体，并根据目标物体的远近变动来自动调整工作范围模式的参数。

4.根据权利要求1所述的方法，其特征在于：

所述工作距离范围为根据目标物体的远近距离分成若干个距离区间，每个工作范围参数对应特定的距离区间。

5.根据权利要求1所述的方法，其特征在于：

所述调节激光图形投射器驱动电路的驱动电流的方式包括通过改变数字定位器或可变电阻器的电阻值来调节恒流驱动方式的电流大小；当工作范围参数对应的距离越远，则驱动电流越大，其对应的电阻值越小。

6.一种工作范围可调的三维深度感知装置，其特征在于：

所述装置包括激光图形投射器驱动电路、激光图形投射器、接收摄像头、深度感知模块、控制模块以及存储器；

所述控制模块用于设置或重新设置装置的工作范围模式；所述工作范围模式的参数通过在原装置中设置一个寄存器来存储；

所述控制模块根据设定的或重新设定的工作距离范围向激光图形投射器驱动电路、接收摄像头和深度感知模块分别发送控制命令；

对激光图形投射器驱动电路发送的控制命令用于调节激光图形投射器驱动电路的驱动电流和输出功率，通过激光图形投射器将编码图案投向设定的工作范围内的目标物体或空间；

对接收摄像头发送的控制命令用于调节接收摄像头焦距和基线距离，按一定的帧频采集激光图形投射器产生的编码图像生成输入编码图像序列，并送入深度感知模块；所述接收摄像头用于接收激光图形投射器所投射的、特定波长范围的编码图案，其包括一种图像传感装置，包含光学聚焦成像透镜单元和滤波单元；所述基线距离是指激光图形投射器与接收摄像头之间的水平距离，两者的中心光轴平行；

对深度感知模块发送的控制命令用于调整图像预处理的控制参数，使输入编码图像序列经预处理后实现一致性处理；并用于从存储器已固化的多组参考编码图像中选择输出与工作范围模式相符的一组参考编码图像，对经预处理后的输入编码图像序列进行块匹配视差计算和深度计算，输出深度图序列；

所述多组参考编码图像是指配合不同的工作范围模式，投射在与投射器光轴垂直、不同距离的垂直平面上采集得到，且经过与输入编码图像相同的图像预处理的编码图像，其作为标准参考编码图像预先固化在存储器中；工作范围模式M_i对应一组相同距离d_i的参考编码图像，一组参考编码图像可以是一幅或多幅图像组成；

所述块匹配视差计算通过将图像预处理后的输入编码图像序列中各输入编码图像与参考编码图像进行块匹配相识度比较，求取输入编码图像中图像块与最优匹配块之间的位移量，即视差值；

所述深度计算，假设接收摄像头焦距f、接收摄像头图像传感器点距μ、激光图形投射器与接收摄像头的基线距离S、块匹配视差计算得到的视差图的偏移量为Δm，所述Δm为Δx或Δy，参考编码图像的已知距离参数d_i，则通过下述深度计算的公式，能够得到对应的深度值d^|：

$d^1=d_i-\frac{{{\mathrm{\Δm\μd}}_i}^2}{fS+{\mathrm{\Δm\μd}}_i}=\frac{{\mathrm{fSd}}_i}{fS+{\mathrm{\Δm\μd}}_i}.$

7.根据权利要求6所述的装置，其特征在于：

所述控制模块包括外部设定单元，所述外部设定单元由外部微处理器通过总线协议对控制模块进行工作范围模式的参数的设定。

8.根据权利要求6或7所述的装置，其特征在于：

所述控制模块包括自适应调整单元，所述自适应调整单元根据已产生的深度图像自动检测目标物体，并根据目标物体的远近变动来自动调整工作范围模式的参数。

9.根据权利要求6所述的装置，其特征在于：

所述工作范围模式为根据目标物体的远近距离分成若干个距离区间，每个工作范围模式的参数对应特定的距离区间。

10.根据权利要求6所述的装置，其特征在于：

所述调节激光图形投射器驱动电路的驱动电流的方式包括改变数字定位器或可变电阻器的电阻值来调节恒流驱动方式的电流大小；当工作范围模式的参数对应的距离越远，则驱动电流越大，其对应的电阻值越小。