CN114387324A - 深度成像方法、装置、电子设备和计算机可读存储介质 - Google Patents
深度成像方法、装置、电子设备和计算机可读存储介质 Download PDFInfo
- Publication number
- CN114387324A CN114387324A CN202111583631.7A CN202111583631A CN114387324A CN 114387324 A CN114387324 A CN 114387324A CN 202111583631 A CN202111583631 A CN 202111583631A CN 114387324 A CN114387324 A CN 114387324A
- Authority
- CN
- China
- Prior art keywords
- value
- target pixel
- preset
- depth
- pixel point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 71
- 210000001747 pupil Anatomy 0.000 claims abstract description 34
- 238000011084 recovery Methods 0.000 claims abstract description 31
- 238000001514 detection method Methods 0.000 claims abstract description 27
- 238000010845 search algorithm Methods 0.000 claims abstract description 22
- 238000000034 method Methods 0.000 claims abstract description 19
- 238000001914 filtration Methods 0.000 claims description 29
- 230000003044 adaptive effect Effects 0.000 claims description 22
- 238000004422 calculation algorithm Methods 0.000 claims description 15
- 238000010606 normalization Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 4
- 239000000126 substance Substances 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 4
- 238000001559 infrared map Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20228—Disparity calculation for image-based rendering
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本申请实施例涉及机器视觉技术领域，公开了一种深度成像方法、装置、电子设备和计算机可读存储介质，该方法包括：对获取到的红外图和散斑图进行人脸检测，得到散斑图的人脸区域，并从红外图中确定人脸的瞳距；根据瞳距和预设的对应关系，确定搜索范围；依次将人脸区域中的各像素点作为目标像素点，根据目标像素点的灰度值、预设的参考散斑图、预设的搜索算法和搜索范围，确定目标像素点的视差值；根据视差值和预设的恢复公式，得到目标像素点的深度值，并根据各目标像素点的深度值生成深度图，从而实现了针对特定区域进行深度恢复、深度成像，大幅减少了计算量，大幅节约了深度相机的硬件成本，提升了深度成像的速度和效率。
Description
技术领域
本申请实施例涉及机器视觉技术领域，特别涉及一种深度成像方法、装置、电子设备和计算机可读存储介质。
背景技术
3D相机可以实时获取物体的深度信息、三维尺寸以及空间信息，深度信息为下游任务提供了基础技术支持，具有广泛的消费级、工业级应用需求，如动作捕捉识别、人脸识别、自动驾驶领域的三维建模、巡航和避障、工业领域的零件扫描检测分拣，安防领域的监控和人数统计等，3D相机的深度成像方案主要有飞行时间法(Time of flight，简称：TOF)、双目立体视觉技术和单目散斑结构光技术三种，但TOF和双目立体视觉技术深度成像精度较低，不适用于消费级人脸识别支付场景，而单目散斑结构光技术的深度成像精度较高，是当前主流深度相机针对消费级人脸识别支付场景的主流方案。
单目散斑结构光技术简单来说就是向被拍摄物体投射随机不规则散斑，通过预设的算法进行散斑特征匹配，进而获取物体的深度信息，实现深度成像。
然而，本申请的发明人发现，以单目散斑结构光技术为基础的深度恢复方法，都是针对整张图像进行深度恢复，即深度成像过程包括对用处不大的背景区域进行深度成像，浪费了大量的计算资源，导致硬件计算成本过高，另外，基于单目散斑结构光技术的深度相机需要搭配pensor距离传感器使用，pensor距离传感器保证人脸与相机达到一定距离后，才进行深度成像，pensor距离传感器的存在又大大增加了硬件成本，并且其发射的激光如不及时关闭，可能会有伤害人眼的风险。
发明内容
本申请实施例的目的在于提供一种深度成像方法、装置、电子设备和计算机可读存储介质，可以针对特定区域进行深度恢复、深度成像，大幅减少了计算量，大幅节约了深度相机的硬件成本，提升了深度成像的速度和效率。
为解决上述技术问题，本申请的实施例提供了一种深度成像方法，包括以下步骤：对获取到的红外图和散斑图进行人脸检测，得到所述散斑图的人脸区域，并从所述红外图中确定人脸的瞳距；根据所述瞳距和预设的对应关系，确定搜索范围；其中，所述对应关系为所述瞳距与所述搜索范围之间的对应关系；依次将所述人脸区域中的各像素点作为目标像素点，根据所述目标像素点的灰度值、预设的参考散斑图、预设的搜索算法和所述搜索范围，确定所述目标像素点的视差值；根据所述视差值和预设的恢复公式，得到所述目标像素点的深度值，并根据各所述目标像素点的深度值生成深度图。
本申请的实施例还提供了一种深度成像装置，包括：检测模块、匹配模块和成像模块；所述检测模块用于对获取到的红外图和散斑图进行人脸检测，得到所述散斑图的人脸区域，并从所述红外图中确定人脸的瞳距；所述匹配模块用于根据所述瞳距和预设的对应关系，确定搜索范围，并依次将所述人脸区域中的各像素点作为目标像素点，根据所述目标像素点的灰度值、所述目标像素点在预设的参考散斑图中对应的像素点的灰度值和所述搜索范围，确定所述目标像素点的视差值，其中，所述对应关系为所述瞳距与所述搜索范围之间的对应关系；所述成像模块用于根据所述目标像素点的视差值和预设的恢复公式，得到所述目标像素点的深度值，并根据各所述目标像素点的深度值生成深度图。
本申请的实施例还提供了一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的深度成像方法。
本申请的实施例还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述的深度成像方法。
本申请的实施例提供的深度成像方法、装置、电子设备和计算机可读存储介质，先对获取到的红外图和散斑图进行人脸检测，从散斑图中提取出人脸区域，并从红外图中确定人脸的瞳距，再根据瞳距和预设的瞳距与搜索范围的对应关系，确定出搜索范围，服务器依次将人脸区域中的各像素点作为目标像素点，并根据目标像素点的灰度值、预设的参考散斑图、预设的搜索算法和确定出的搜索范围，确定目标像素点的视差值，最后根据目标像素点的视差值和预设的恢复公式，得到目标像素点的深度值，从而根据各目标像素点的深度值生成深度图，考虑到以单目散斑结构光技术为基础的深度恢复方法，都是针对整张图像进行深度恢复，对背景区域进行深度成像浪费了大量的计算资源，而本申请的实施例，通过对红外图和散斑图进行人脸检测的方式，将前景区域和背景区域区分开，只对前景区域进行深度成像，大幅减少了计算量，提升了深度成像的速度和效率，同时，本申请的实施例用人脸检测确定瞳距和预设瞳距与搜索范围的对应关系的方式，可以完美替代pensor距离传感器的功能，大幅节约了深度相机的硬件成本。
另外，在所述依次将所述人脸区域中的各像素点作为目标像素点之后，所述根据所述目标像素点的灰度值、预设的参考散斑图、预设的搜索算法和所述搜索范围，确定所述目标像素点的视差值之前，还包括：判断所述目标像素点的灰度值是否大于预设的截断阈值；若所述目标像素点的灰度值大于预设的截断阈值，则将所述目标像素点的灰度值赋值为所述预设的截断阈值；若所述目标像素点的灰度值小于或等于预设的截断阈值，则保持所述目标像素点的灰度值不变，确定目标像素点的视差值时是以目标像素点的灰度值为基础的，如果目标像素点的灰度值过大，表示该目标像素点异常明亮，在确定视差值时可能会出现很大的误差，本实施例设置一个截断阈值，将灰度值大于截断阈值的像素点重新赋值，消除人脸区域中过亮的点，使得确定的视差值更加准确，从而提升深度成像的准确度。
另外，在所述依次将所述人脸区域中的各像素点作为目标像素点之后，所述根据所述目标像素点的灰度值、预设的参考散斑图、预设的搜索算法和所述搜索范围，确定所述目标像素点的视差值之前，还包括：确定以所述目标像素点为中心的预设窗口内像素点的数量，并计算所述预设窗口内的灰度值总和和灰度值均值；根据所述预设窗口内各像素点的灰度值、所述灰度值总和、所述灰度值均值和所述像素点的数量，确定自适应滤波阈值；判断所述目标像素点的灰度值是否大于所述自适应滤波阈值；若所述目标像素点的灰度值大于所述自适应滤波阈值，则保持所述目标像素点的灰度值不变；若所述目标像素点的灰度值小于或等于所述自适应滤波阈值，则将所述目标像素点的灰度值赋值为0，虽然通过人脸检测算法可以提取出散斑图的人脸区域，但是散斑图的人脸区域的边缘仍然可能存在背景区域的像素点，因此本实施例通过自适应滤波的方式，将与人脸区域差异明显的像素点的灰度值置为0，可以进一步提升深度成像的准确度。
另外，所述预设的对应关系包括第一对应关系和第二对应关系，所述根据所述瞳距和预设的对应关系，确定搜索范围，包括：根据所述瞳距和所述第一对应关系，确定人机的距离；其中，所述人机距离为人脸与相机之间的距离，所述第一对应关系为所述瞳距与所述人机距离之间的对应关系；根据所述人机距离和所述第二对应关系，确定粗视差值；其中，所述第二对应关系为所述人机距离与所述粗视差值之间的对应关系；根据所述粗视差值和预设的步长，确定搜索范围，第一对应关系、第二对应关系、以及预设的步长，都是经过大量数据提炼得到的，依此确定的搜索范围，是科学、准确、合理的搜索范围，后续在确定视差时，只需在搜索范围内进行匹配，进一步减少了计算量，进一步提升了深度成像的效率和速度。
另外，所述搜索算法包括零均值归一化算法，所述根据所述视差值和预设的恢复公式，得到所述目标像素点的深度值，包括：获取所述视差值对应的相关值、d-1对应的相关值和d+1对应的相关值；其中，所述视差值为d；根据所述视差值、所述d对应的相关值、所述d-1对应的相关值和所述d+1对应的相关值，对所述视差值进行插值，得到所述目标像素点的插值后的视差值；根据所述插值后的视差值和预设的恢复公式，得到所述目标像素点的深度值，零均值归一化算法可以很好地衡量两个待匹配像素之间的相似程度，其相关值即代表两个像素点的相关程度，本申请的实施例根据d对应的相关值、d-1对应的相关值和d+1对应的相关值，对目标像素点的视差值进行插值处理，插值后的视差值更科学、合理，以插值后的视差值为基础进行深度成像，可以进一步提升深度成像的准确度。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定。
图1是根据本申请的一个实施例的深度成像方法的流程图一；
图2是根据本申请的另一个实施例的深度成像方法的流程图二；
图3是根据本申请的另一个实施例的深度成像方法的流程图三；
图4是根据本申请的另一个实施例的深度成像方法的流程图四；
图5是根据本申请的一个实施例中，根据视差值和预设的恢复公式，得到目标像素点的深度值的流程图；
图6是根据本申请的另一个实施例的深度成像装置的示意图；
图7是根据本申请的另一个实施例的电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请的各实施例进行详细的阐述。然而，本领域的普通技术人员可以理解，在本申请各实施例中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施例的种种变化和修改，也可以实现本申请所要求保护的技术方案。以下各个实施例的划分是为了描述方便，不应对本申请的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。
本申请的一个实施例涉及一种深度成像方法，应用于电子设备，其中，电子设备可以为终端或服务器，本实施例以及以下个各个实施例中电子设备以服务器为例进行说明，下面对本实施例的深度成像方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须。
本实施例的深度成像方法的具体流程可以如图1所示，包括：
步骤101，对获取到的红外图和散斑图进行人脸检测，得到散斑图的人脸区域，并从红外图中确定人脸的瞳距。
具体而言，服务器获取红外图和散斑图，由于散斑图是基于红外图生成的，因此散斑图与红外图表征的对象是相同的，即红外图与散斑图是时序对齐且像素对齐的。
在具体实现中，结构光相机对目标物体进行拍摄，得到一组对应的红外图和散斑图，服务器获取该组红外图和散斑图，并根据预设的人脸检测算法，对获取到的红外图和散斑图进行人脸检测，分别得到散斑图的人脸区域和红外图人脸区域，服务器从红外图的人脸区域中确定左眼瞳孔和右眼瞳孔的位置坐标，计算得到左眼瞳孔与右眼瞳孔之间的距离，即人脸对应的瞳距。
步骤102，根据瞳距和预设的对应关系，确定搜索范围。
具体而言，服务器在从获取到的红外图中确定出人脸对应的瞳距后，可以根据瞳距和预设的对应关系，确定搜索范围，其中，预设的对应关系为瞳距与搜索范围之间的对应关系，该对应关系预先基于采集的大量红外数据进行确定，由此得到的对应关系科学、可靠。
在具体实现中，预设的对应关系包括第一对应关系和第二对应关系，服务器在从获取到的红外图中确定出人脸对应的瞳距后，可以根据瞳距和第一对应关系，确定人机距离，人机距离即人脸与相机之间的距离，第一对应关系为瞳距与人机距离之间的对应关系，服务器确定人机距离后，可以根据人机距离和第二对应关系，确定粗视差值，第二对应关系为人机距离与粗视差值之间的对应关系，第一对应关系和第二对应关系都是经过大量数据提炼得到的，由此确定的粗视差值与真实视差值很接近，服务器根据计算出的粗视差值和预设的步长，确定搜索范围，后续在确定视差时，服务器对待匹配像素点无需在参考散斑图中进行全图匹配，只需在搜索范围内进行匹配，大幅减少了计算量，有效地提升了深度成像的效率和速度。
在一个例子中，第一对应关系，即瞳距与人机距离之间的对应关系，可以通过以下公式表示：
式中，distance_eye为瞳距，A为预设系数，Zcamera为人机距离。
在一个例子中，第二对应关系，即人机距离与粗视差值之间的对应关系，可以通过以下公式表示：
disparity＝(F×L)/Zcamera
式中，Zcamera为人机距离，F为相机的红外摄像头的焦距，L为相机的基线，disparity为粗视差值。
步骤103，依次将人脸区域中的各像素点作为目标像素点，根据目标像素点的灰度值、预设的参考散斑图、预设的搜索算法和搜索范围，确定目标像素点的视差值。
具体而言，服务器在确定搜索范围后，可以遍历散斑图的人脸区域中的各像素点，依次人脸区域中的各像素点作为目标像素点，并根据目标像素点的灰度值、预设的参考散斑图、预设的搜索算法和确定出的搜索范围，确定目标像素点的视差值，即采用最佳匹配代价搜索的方式，逐像素点进行视差值计算，其中，预设的参考散斑图可以由本领域的技术人员根据实际需要进行设置，本申请的实施例对此不作具体限定。
在具体实现中，服务器确定目标像素点后，可以在预设的参考散斑图中确定同名像素点，以该同名像素点为中心，在确定出的搜索范围内基于预设的搜索算法，计算各像素点与目标像素点的匹配代价值(相关值)，确定代价值最大的像素点，计算代价值最大的像素点列坐标与目标像素点的列坐标之间的差值，该差值即目标像素点的视差值。
在一个例子中，预设的搜索算法包括零均值归一化算法(Zero-normalizedcross-correlation，简称：ZNCC)。
步骤104，根据视差值和预设的恢复公式，得到目标像素点的深度值，并根据各目标像素点的深度值生成深度图。
具体而言，服务器计算出目标像素点的视差值后，可以根据目标像素点的视差值和预设的恢复公式，计算得到目标像素点的深度值，并根据各目标像素点的深度值生成深度图。
在具体实现中，预设的恢复公式如下：
式中，z0为相机与参考平面之间的距离，d为目标像素点的视差值，F为相机的红外摄像头的焦距，L为相机的基线，Z为目标像素点的深度值。
本实施例，服务器先对获取到的红外图和散斑图进行人脸检测，从散斑图中提取出人脸区域，并从红外图中确定人脸的瞳距，再根据瞳距和预设的瞳距与搜索范围的对应关系，确定出搜索范围，服务器依次将人脸区域中的各像素点作为目标像素点，并根据目标像素点的灰度值、预设的参考散斑图、预设的搜索算法和确定出的搜索范围，确定目标像素点的视差值，最后根据目标像素点的视差值和预设的恢复公式，得到目标像素点的深度值，从而根据各目标像素点的深度值生成深度图，考虑到以单目散斑结构光技术为基础的深度恢复方法，都是针对整张图像进行深度恢复，对背景区域进行深度成像浪费了大量的计算资源，而本申请的实施例，通过对红外图和散斑图进行人脸检测的方式，将前景区域和背景区域区分开，只对前景区域进行深度成像，大幅减少了计算量，提升了深度成像的速度和效率，同时，本申请的实施例用人脸检测确定瞳距和预设瞳距与搜索范围的对应关系的方式，可以完美替代pensor距离传感器的功能，大幅节约了深度相机的硬件成本。
本申请的另一个实施例涉及一种深度成像方法，下面对本实施例的深度成像方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须，本实施例的深度成像方法的具体流程可以如图2所示，包括：
步骤201，对获取到的红外图和散斑图进行人脸检测，得到散斑图的人脸区域，并从红外图中确定人脸的瞳距。
步骤202，根据瞳距和预设的对应关系，确定搜索范围。
其中，步骤201至步骤202与步骤101至步骤102大致相同，此处不再赘述。
步骤203，依次将人脸区域中的各像素点作为目标像素点，判断目标像素点的灰度值是否大于预设的截断阈值，如果是，执行步骤204，否则，执行步骤205。
步骤204，将目标像素点的灰度值赋值为第一预设阈值。
步骤205，保持目标像素点的灰度值不变。
在具体实现中，服务器在确定搜索范围后，可以遍历散斑图的人脸区域中的各像素点，依次将人脸区域中的各像素点作为目标像素点，服务器先判断目标像素点的灰度值是否大于预设的截断阈值，如果目标像素点的灰度值大于预设的截断阈值，说明该目标像素点异常明亮，在确定视差值时可能会出现很大的误差，服务器将目标像素点的灰度值赋值为该预设的截断阈值，消除人脸区域中过亮的点，如果目标像素点的灰度值小于或等于预设的截断阈值，说明该目标像素点亮度正常，服务器保持目标像素点的灰度值不变。
在一个例子中，服务器通过以下公式为目标像素点的灰度值赋值：
式中，I(x，y)为目标像素点的灰度值，K1为预设的截断阈值，I′(x，y)为赋值后的目标像素点的灰度值。
步骤206，根据目标像素点的灰度值、预设的参考散斑图、预设的搜索算法和搜索范围，确定目标像素点的视差值。
步骤207，根据视差值和预设的恢复公式，得到目标像素点的深度值，并根据各目标像素点的深度值生成深度图。
其中，步骤206至步骤207与步骤103至步骤104大致相同，此处不再赘述。
本实施例，在所述依次将所述人脸区域中的各像素点作为目标像素点之后，所述根据所述目标像素点的灰度值、预设的参考散斑图、预设的搜索算法和所述搜索范围，确定所述目标像素点的视差值之前，还包括：判断所述目标像素点的灰度值是否大于预设的截断阈值；若所述目标像素点的灰度值大于预设的截断阈值，则将所述目标像素点的灰度值赋值为所述预设的截断阈值；若所述目标像素点的灰度值小于或等于预设的截断阈值，则保持所述目标像素点的灰度值不变，确定目标像素点的视差值时是以目标像素点的灰度值为基础的，如果目标像素点的灰度值过大，表示该目标像素点异常明亮，在确定视差值时可能会出现很大的误差，本实施例设置一个截断阈值，将灰度值大于截断阈值的像素点重新赋值，消除人脸区域中过亮的点，使得确定的视差值更加准确，从而提升深度成像的准确度。
本申请的另一个实施例涉及一种深度成像方法，下面对本实施例的深度成像方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须，本实施例的深度成像方法的具体流程可以如图3所示，包括：
步骤301，对获取到的红外图和散斑图进行人脸检测，得到散斑图的人脸区域，并从红外图中确定人脸的瞳距。
步骤302，根据瞳距和预设的对应关系，确定搜索范围。
其中，步骤301至步骤302与步骤101至步骤102大致相同，此处不再赘述。
步骤303，依次将人脸区域中的各像素点作为目标像素点，确定以目标像素点为中心的预设窗口内像素点的数量，并计算预设窗口内的灰度值总和和灰度值均值。
具体而言，服务器在确定搜索范围后，可以遍历散斑图的人脸区域中的各像素点，依次将人脸区域中的各像素点作为目标像素点，服务器先确定以目标像素点为中心的预设窗口内像素点的数量，根据该窗口内各像素点的灰度值，计算该预设窗口内的灰度值总和和灰度值均值。
步骤304，根据预设窗口内各像素点的灰度值、灰度值总和、灰度值均值和像素点的数量，确定自适应滤波阈值。
具体而言，服务器计算出预设窗口内的灰度值总和和灰度值均值后，可以根据预设窗口内各像素点的灰度值、计算出的预设窗口内的灰度值总和、计算出的预设窗口内的灰度值均值和该窗口内像素点的数量，确定自适应滤波阈值，以对人脸区域进行自适应滤波。
在一个例子中，服务器根据预设窗口内各像素点的灰度值、灰度值总和、灰度值均值和像素点的数量，确定自适应滤波阈值，可以通过以下公式表示：
式中，sum为所述灰度值总和，windows(i，j)为所述窗口内像素点(i，j)的灰度值，m为所述灰度值均值，N为所述像素点的数量，A为预设的固定系数，K2为所述自适应滤波阈值，SAD为相似度准则，即预设窗口内各像素点的灰度值减去灰度值均值取绝对值再求和。
步骤305，判断目标像素点的灰度值是否大于自适应滤波阈值，如果是，执行步骤306，否则，执行步骤307。
步骤306，保持目标像素点的灰度值不变。
步骤307，将目标像素点的灰度值赋值为0。
在具体实现中，服务器计算出自适应滤波阈值后，可以判断目标像素点的灰度值是否大于该自适应滤波阈值，如果目标像素点的灰度值大于自适应滤波阈值，说明该目标像素点是人脸区域内部的像素点，服务器保持该目标像素点的灰度值不变，如果目标像素点的灰度值小于或等于自适应滤波阈值，说明该目标像素点与人脸区域差异明显，应该是背景区域的点，与人脸区域边缘很近，服务器将该目标像素点的灰度值赋值为0。
在一个例子中，服务器通过以下公式为目标像素点的灰度值赋值：
式中，I(x，y)为目标像素点的灰度值，K2为自适应滤波阈值，I′(x，y)为赋值后的目标像素点的灰度值。
步骤308，根据目标像素点的灰度值、预设的参考散斑图、预设的搜索算法和搜索范围，确定目标像素点的视差值。
步骤309，根据视差值和预设的恢复公式，得到目标像素点的深度值，并根据各目标像素点的深度值生成深度图。
其中，步骤308至步骤309与步骤103至步骤104大致相同，此处不再赘述。
本实施例，在所述依次将所述人脸区域中的各像素点作为目标像素点之后，所述根据所述目标像素点的灰度值、预设的参考散斑图、预设的搜索算法和所述搜索范围，确定所述目标像素点的视差值之前，还包括：确定以所述目标像素点为中心的预设窗口内像素点的数量，并计算所述预设窗口内的灰度值总和和灰度值均值；根据所述预设窗口内各像素点的灰度值、所述灰度值总和、所述灰度值均值和所述像素点的数量，确定自适应滤波阈值；判断所述目标像素点的灰度值是否大于所述自适应滤波阈值；若所述目标像素点的灰度值大于所述自适应滤波阈值，则保持所述目标像素点的灰度值不变；若所述目标像素点的灰度值小于或等于所述自适应滤波阈值，则将所述目标像素点的灰度值赋值为0，虽然通过人脸检测算法可以提取出散斑图的人脸区域，但是散斑图的人脸区域的边缘仍然可能存在背景区域的像素点，因此本实施例通过自适应滤波的方式，将与人脸区域差异明显的像素点的灰度值置为0，可以进一步提升深度成像的准确度。
本申请的另一个实施例涉及一种深度成像方法，下面对本实施例的深度成像方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须，本实施例的深度成像方法的具体流程可以如图4所示，包括：
步骤401，对获取到的红外图和散斑图进行人脸检测，得到散斑图的人脸区域，并从红外图中确定人脸的瞳距。
步骤402，根据瞳距和预设的对应关系，确定搜索范围。
步骤403，依次将人脸区域中的各像素点作为目标像素点，判断目标像素点的灰度值是否大于预设的截断阈值，如果是，执行步骤404，否则，执行步骤405。
步骤404，将目标像素点的灰度值赋值为第一预设阈值。
步骤405，保持目标像素点的灰度值不变。
步骤406，确定以目标像素点为中心的预设窗口内像素点的数量，并计算预设窗口内的灰度值总和和灰度值均值。
步骤407，根据预设窗口内各像素点的灰度值、灰度值总和、灰度值均值和像素点的数量，确定自适应滤波阈值。
步骤408，判断目标像素点的灰度值是否大于自适应滤波阈值，如果是，执行步骤409，否则，执行步骤410。
步骤409，保持目标像素点的灰度值不变。
步骤410，将目标像素点的灰度值赋值为0。
步骤411，根据目标像素点的灰度值、预设的参考散斑图、预设的搜索算法和搜索范围，确定目标像素点的视差值。
步骤412，根据视差值和预设的恢复公式，得到目标像素点的深度值，并根据各目标像素点的深度值生成深度图。
在一个实施例中，预设的搜索算法为零均值归一化算法，服务器根据视差值和预设的恢复公式，得到目标像素点的深度值，可以通过如图5所示的各步骤实现，具体包括：
步骤501，获取视差值d对应的相关值、d-1对应的相关值和d+1对应的相关值。
具体而言，服务器计算得到目标像素点的视差值后，记视差值为d，服务器获取搜索过程中，视差值d对应的相关值、d-1对应的相关值和d+1对应的相关值。
步骤502，根据视差值、d对应的相关值、d-1对应的相关值和d+1对应的相关值，对视差值进行插值，得到目标像素点的插值后的视差值。
在具体实现中，服务器可以根据目标像素点的视差值、获取的d对应的相关值、d-1对应的相关值和d+1对应的相关值，对目标像素点的视差值进行插值，得到目标像素点的插值后的视差值，考虑到怕零均值归一化算法可以很好地衡量两个待匹配像素之间的相似程度，其相关值即代表两个像素点的相关程度，本申请的实施例根据d对应的相关值、d-1对应的相关值和d+1对应的相关值，对目标像素点的视差值进行插值处理，插值后的视差值更科学、合理，以插值后的视差值为基础进行深度成像，可以进一步提升深度成像的准确度。
在一个例子中，服务器根据目标像素点的视差值、d对应的相关值、d-1对应的相关值和d+1对应的相关值，对目标像素点的视差值进行插值，得到目标像素点的插值后的视差值，可以通过以下公式实现：
CL＝Zd-1-Zd，CR＝Zd+1-Zd，
式中，d为目标像素点的视差值，d′为目标像素点的插值后的视差值，Zd为d对应的相关值，Zd-1为d-1对应的相关值，Zd+1为d+1对应的相关值。
步骤503，根据插值后的视差值和预设的恢复公式，得到目标像素点的深度值。
本实施例，所述搜索算法包括零均值归一化算法，所述根据所述视差值和预设的恢复公式，得到所述目标像素点的深度值，包括：获取所述视差值对应的相关值、d-1对应的相关值和d+1对应的相关值；其中，所述视差值为d；根据所述视差值、所述d对应的相关值、所述d-1对应的相关值和所述d+1对应的相关值，对所述视差值进行插值，得到所述目标像素点的插值后的视差值；根据所述插值后的视差值和预设的恢复公式，得到所述目标像素点的深度值，零均值归一化算法可以很好地衡量两个待匹配像素之间的相似程度，其相关值即代表两个像素点的相关程度，本申请的实施例根据d对应的相关值、d-1对应的相关值和d+1对应的相关值，对目标像素点的视差值进行插值处理，插值后的视差值更科学、合理，以插值后的视差值为基础进行深度成像，可以进一步提升深度成像的准确度。
上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。
本申请的另一个实施例涉及一种深度成像装置，下面对本实施例的深度成像装置的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须，本实施例的深度成像装置的示意图可以如图6所示，包括：检测模块601、匹配模块602和成像模块603。
检测模块601用于对获取到的红外图和散斑图进行人脸检测，得到散斑图的人脸区域，并从红外图中确定人脸的瞳距。
匹配模块602用于根据瞳距和预设的对应关系，确定搜索范围，并依次将人脸区域中的各像素点作为目标像素点，根据目标像素点的灰度值、目标像素点在预设的参考散斑图中对应的像素点的灰度值和搜索范围，确定目标像素点的视差值，其中，对应关系为瞳距与搜索范围之间的对应关系。
成像模块603用于根据目标像素点的视差值和预设的恢复公式，得到目标像素点的深度值，并根据各目标像素点的深度值生成深度图。
值得一提的是，本实施例中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本申请的创新部分，本实施例中并没有将与解决本申请所提出的技术问题关系不太密切的单元引入，但这并不表明本实施例中不存在其它的单元。
本申请另一个实施例涉及一种电子设备，如图7所示，包括：至少一个处理器701；以及，与所述至少一个处理器701通信连接的存储器702；其中，所述存储器702存储有可被所述至少一个处理器701执行的指令，所述指令被所述至少一个处理器701执行，以使所述至少一个处理器701能够执行上述各实施例中的深度成像方法。
其中，存储器和处理器采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器和存储器的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器。
处理器负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。
本申请另一个实施例涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，简称：ROM)、随机存取存储器(Random Access Memory，简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解，上述各实施例是实现本申请的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本申请的精神和范围。
Claims (10)
1.一种深度成像方法，其特征在于，包括：
对获取到的红外图和散斑图进行人脸检测，得到所述散斑图的人脸区域，并从所述红外图中确定人脸的瞳距；
根据所述瞳距和预设的对应关系，确定搜索范围；其中，所述对应关系为所述瞳距与所述搜索范围之间的对应关系；
依次将所述人脸区域中的各像素点作为目标像素点，根据所述目标像素点的灰度值、预设的参考散斑图、预设的搜索算法和所述搜索范围，确定所述目标像素点的视差值；
根据所述视差值和预设的恢复公式，得到所述目标像素点的深度值，并根据各所述目标像素点的深度值生成深度图。
2.根据权利要求1所述的深度成像方法，其特征在于，在所述依次将所述人脸区域中的各像素点作为目标像素点之后，所述根据所述目标像素点的灰度值、预设的参考散斑图、预设的搜索算法和所述搜索范围，确定所述目标像素点的视差值之前，还包括：
判断所述目标像素点的灰度值是否大于预设的截断阈值；
若所述目标像素点的灰度值大于预设的截断阈值，则将所述目标像素点的灰度值赋值为所述预设的截断阈值；
若所述目标像素点的灰度值小于或等于预设的截断阈值，则保持所述目标像素点的灰度值不变。
3.根据权利要求1或2所述的深度成像方法，其特征在于，在所述依次将所述人脸区域中的各像素点作为目标像素点之后，所述根据所述目标像素点的灰度值、预设的参考散斑图、预设的搜索算法和所述搜索范围，确定所述目标像素点的视差值之前，还包括：
确定以所述目标像素点为中心的预设窗口内像素点的数量，并计算所述预设窗口内的灰度值总和和灰度值均值；
根据所述预设窗口内各像素点的灰度值、所述灰度值总和、所述灰度值均值和所述像素点的数量，确定自适应滤波阈值；
判断所述目标像素点的灰度值是否大于所述自适应滤波阈值；
若所述目标像素点的灰度值大于所述自适应滤波阈值，则保持所述目标像素点的灰度值不变；
若所述目标像素点的灰度值小于或等于所述自适应滤波阈值，则将所述目标像素点的灰度值赋值为0。
4.根据权利要求3所述的深度成像方法，其特征在于，通过以下公式，根据所述窗口大小内各像素点的灰度值、所述灰度值总和、所述灰度值均值和所述像素点的数量，确定自适应滤波阈值：
其中，sum为所述灰度值总和，windows(i,j)为所述窗口内像素点(i,j)的灰度值，m为所述灰度值均值，N为所述像素点的数量，A为预设的固定系数，K2为所述自适应滤波阈值。
5.根据权利要求1或2所述的深度成像方法，其特征在于，所述预设的对应关系包括第一对应关系和第二对应关系，所述根据所述瞳距和预设的对应关系，确定搜索范围，包括：
根据所述瞳距和所述第一对应关系，确定人机距离；其中，所述人机距离为人脸与相机之间的距离，所述第一对应关系为所述瞳距与所述人机距离之间的对应关系；
根据所述人机距离和所述第二对应关系，确定粗视差值；其中，所述第二对应关系为所述人机距离与所述粗视差值之间的对应关系；
根据所述粗视差值和预设的步长，确定搜索范围。
6.根据权利要求1或2所述的深度成像方法，其特征在于，所述搜索算法包括零均值归一化算法，所述根据所述视差值和预设的恢复公式，得到所述目标像素点的深度值，包括：
获取所述视差值对应的相关值、d-1对应的相关值和d+1对应的相关值；其中，所述视差值为d；
根据所述视差值、所述d对应的相关值、所述d-1对应的相关值和所述d+1对应的相关值，对所述视差值进行插值，得到所述目标像素点的插值后的视差值；
根据所述插值后的视差值和预设的恢复公式，得到所述目标像素点的深度值。
7.根据权利要求6中所述的深度成像方法，其特征在于，通过以下公式，根据所述视差值、所述d对应的相关值、所述d-1对应的相关值和所述d+1对应的相关值，对所述视差值进行插值，得到所述目标像素点的插值后的视差值：
CL＝Zd-1-Zd,CR＝Zd+1-Zd,
其中，d为所述视差值，d′为所述插值后的视差值，Zd为所述d对应的相关值，Zd-1为所述d-1对应的相关值，Zd+1为所述d+1对应的相关值。
8.一种深度成像装置，其特征在于，包括：检测模块、匹配模块和成像模块；
所述检测模块用于对获取到的红外图和散斑图进行人脸检测，得到所述散斑图的人脸区域，并从所述红外图中确定人脸的瞳距；
所述匹配模块用于根据所述瞳距和预设的对应关系，确定搜索范围，并依次将所述人脸区域中的各像素点作为目标像素点，根据所述目标像素点的灰度值、所述目标像素点在预设的参考散斑图中对应的像素点的灰度值和所述搜索范围，确定所述目标像素点的视差值，其中，所述对应关系为所述瞳距与所述搜索范围之间的对应关系；
所述成像模块用于根据所述目标像素点的视差值和预设的恢复公式，得到所述目标像素点的深度值，并根据各所述目标像素点的深度值生成深度图。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任一所述的深度成像方法。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的深度成像方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111583631.7A CN114387324A (zh) | 2021-12-22 | 2021-12-22 | 深度成像方法、装置、电子设备和计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111583631.7A CN114387324A (zh) | 2021-12-22 | 2021-12-22 | 深度成像方法、装置、电子设备和计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114387324A true CN114387324A (zh) | 2022-04-22 |
Family
ID=81198550
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111583631.7A Pending CN114387324A (zh) | 2021-12-22 | 2021-12-22 | 深度成像方法、装置、电子设备和计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114387324A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114783041A (zh) * | 2022-06-23 | 2022-07-22 | 合肥的卢深视科技有限公司 | 目标对象识别方法、电子设备和计算机可读存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105704479A (zh) * | 2016-02-01 | 2016-06-22 | 欧洲电子有限公司 | 3d显示系统用的测量人眼瞳距的方法及系统和显示设备 |
| CN108734776A (zh) * | 2018-05-23 | 2018-11-02 | 四川川大智胜软件股份有限公司 | 一种基于散斑的三维人脸重建方法及设备 |
| US20200082520A1 (en) * | 2018-03-12 | 2020-03-12 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Projector, detection method thereof, and electronic device |
| CN111488756A (zh) * | 2019-01-25 | 2020-08-04 | 杭州海康威视数字技术股份有限公司 | 基于面部识别的活体检测的方法、电子设备和存储介质 |
| CN112163519A (zh) * | 2020-09-28 | 2021-01-01 | 浙江大华技术股份有限公司 | 图像映射处理方法、装置、存储介质及电子装置 |
| CN112686937A (zh) * | 2020-12-25 | 2021-04-20 | 杭州海康威视数字技术股份有限公司 | 一种深度图像的生成方法、装置及设备 |
| CN112771573A (zh) * | 2019-04-12 | 2021-05-07 | 深圳市汇顶科技股份有限公司 | 基于散斑图像的深度估计方法及装置、人脸识别系统 |
| US20210227192A1 (en) * | 2018-10-25 | 2021-07-22 | Samsung Electronics Co., Ltd. | Method and device for processing video |
| CN113658241A (zh) * | 2021-08-16 | 2021-11-16 | 北京的卢深视科技有限公司 | 单目结构光的深度恢复方法、电子设备及存储介质 |
-
2021
- 2021-12-22 CN CN202111583631.7A patent/CN114387324A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105704479A (zh) * | 2016-02-01 | 2016-06-22 | 欧洲电子有限公司 | 3d显示系统用的测量人眼瞳距的方法及系统和显示设备 |
| US20200082520A1 (en) * | 2018-03-12 | 2020-03-12 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Projector, detection method thereof, and electronic device |
| CN108734776A (zh) * | 2018-05-23 | 2018-11-02 | 四川川大智胜软件股份有限公司 | 一种基于散斑的三维人脸重建方法及设备 |
| US20210227192A1 (en) * | 2018-10-25 | 2021-07-22 | Samsung Electronics Co., Ltd. | Method and device for processing video |
| CN111488756A (zh) * | 2019-01-25 | 2020-08-04 | 杭州海康威视数字技术股份有限公司 | 基于面部识别的活体检测的方法、电子设备和存储介质 |
| CN112771573A (zh) * | 2019-04-12 | 2021-05-07 | 深圳市汇顶科技股份有限公司 | 基于散斑图像的深度估计方法及装置、人脸识别系统 |
| CN112163519A (zh) * | 2020-09-28 | 2021-01-01 | 浙江大华技术股份有限公司 | 图像映射处理方法、装置、存储介质及电子装置 |
| CN112686937A (zh) * | 2020-12-25 | 2021-04-20 | 杭州海康威视数字技术股份有限公司 | 一种深度图像的生成方法、装置及设备 |
| CN113658241A (zh) * | 2021-08-16 | 2021-11-16 | 北京的卢深视科技有限公司 | 单目结构光的深度恢复方法、电子设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 周佩等: "基于旋转散斑结构光投影的三维人脸采集", 《激光与光电子学进展》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114783041A (zh) * | 2022-06-23 | 2022-07-22 | 合肥的卢深视科技有限公司 | 目标对象识别方法、电子设备和计算机可读存储介质 |
| CN114783041B (zh) * | 2022-06-23 | 2022-11-18 | 合肥的卢深视科技有限公司 | 目标对象识别方法、电子设备和计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108520536B (zh) | 一种视差图的生成方法、装置及终端 | |
| CN111582054B (zh) | 点云数据处理方法及装置、障碍物检测方法及装置 | |
| CN110533694B (zh) | 图像处理方法、装置、终端及存储介质 | |
| KR100799990B1 (ko) | 2차원 영상의 3차원 영상 변환 장치 및 방법 | |
| EP3992908A1 (en) | Two-stage depth estimation machine learning algorithm and spherical warping layer for equi-rectangular projection stereo matching | |
| CN111209770A (zh) | 一种车道线识别方法及装置 | |
| CN113052066B (zh) | 三维目标检测中基于多视图和图像分割的多模态融合方法 | |
| CN106815594A (zh) | 立体匹配方法及装置 | |
| US9323989B2 (en) | Tracking device | |
| CN113744315B (zh) | 一种基于双目视觉的半直接视觉里程计 | |
| CN112005273A (zh) | 具有倾斜支持窗口的分层视差假设生成 | |
| CN112562068A (zh) | 人体姿态生成方法、装置、电子设备及存储介质 | |
| CN113888639A (zh) | 基于事件相机与深度相机的视觉里程计定位方法及系统 | |
| CN116168384A (zh) | 点云目标检测方法、装置、电子设备及存储介质 | |
| CN111383256B (zh) | 图像处理方法、电子设备及计算机可读存储介质 | |
| EP3992909A1 (en) | Two-stage depth estimation machine learning algorithm and spherical warping layer for equi-rectangular projection stereo matching | |
| CN114387324A (zh) | 深度成像方法、装置、电子设备和计算机可读存储介质 | |
| CN115965961B (zh) | 局部到全局的多模态融合方法、系统、设备及存储介质 | |
| CN110599407B (zh) | 基于向下倾角方向的多台tof相机人体降噪方法及系统 | |
| CN110800020A (zh) | 一种图像信息获取方法、图像处理设备及计算机存储介质 | |
| KR101920159B1 (ko) | 지원점 보간법을 이용한 스테레오 매칭 방법 및 장치 | |
| CN116051736A (zh) | 一种三维重建方法、装置、边缘设备和存储介质 | |
| CN113538538B (zh) | 双目图像对齐方法、电子设备和计算机可读存储介质 | |
| CN115097935A (zh) | 一种手部定位方法和vr设备 | |
| CN113763468A (zh) | 一种定位方法、装置、系统及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220629 Address after: 230091 room 611-217, R & D center building, China (Hefei) international intelligent voice Industrial Park, 3333 Xiyou Road, high tech Zone, Hefei, Anhui Province Applicant after: Hefei lushenshi Technology Co.,Ltd. Address before: 100083 room 3032, North B, bungalow, building 2, A5 Xueyuan Road, Haidian District, Beijing Applicant before: BEIJING DILUSENSE TECHNOLOGY CO.,LTD. Applicant before: Hefei lushenshi Technology Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220422 |
|
| RJ01 | Rejection of invention patent application after publication |