CN112686937A - 一种深度图像的生成方法、装置及设备 - Google Patents
一种深度图像的生成方法、装置及设备 Download PDFInfo
- Publication number
- CN112686937A CN112686937A CN202011567950.4A CN202011567950A CN112686937A CN 112686937 A CN112686937 A CN 112686937A CN 202011567950 A CN202011567950 A CN 202011567950A CN 112686937 A CN112686937 A CN 112686937A
- Authority
- CN
- China
- Prior art keywords
- target area
- image
- view
- camera
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000004364 calculation method Methods 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims description 35
- 230000009467 reduction Effects 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 9
- 210000001747 pupil Anatomy 0.000 description 13
- 230000008569 process Effects 0.000 description 5
- 230000001815 facial effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明实施例提供了一种深度图像的生成方法、装置及设备，第一方面，识别多目图像中每张图像的目标区域，仅生成目标区域对应的深度图像，也就是说，仅确定目标区域中的匹配点对，仅对目标区域中的匹配点对进行运算，这样，相比于确定整张图像中的全部匹配点对，并对全部匹配点对进行运算，降低了计算量；第二方面，先对多目图像进行粗定位，若粗定位结果不满足针对多目相机设定的约束条件，再对粗定位结果进行调整，这样，相比于粗定位，提高了定位准确度，提供了一种能够兼顾计算量和准确度的深度图像生成方案。
Description
技术领域
本发明涉及图像处理技术领域，特别是涉及一种深度图像的生成方法、装置及设备。
背景技术
深度图像中的像素点表达的是物理空间中的点到相机的距离。一般来说，可以计算多台相机针对同一场景采集的图像之间的视差图，根据该视差图可以生成深度图。举例来说，由左右双目相机组成的立体视觉系统中，左目相机采集左图像，右目相机采集右图像，计算左图像和右图像之间的视差图，根据三角测量原理，将该视差图转换为深度图像。
一些相关方案中，需要针对左图像中每个像素点，确定与该像素点对应物理世界中同一点的右图像中的像素点，左图像中的该像素点与右图像中的该像素点组成匹配点对，或者针对右图像中每个像素点，确定与该像素点对应物理世界中同一点的左图像中的像素点，左图像中的该像素点与右图像中的该像素点组成匹配点对；对各匹配点对进行运算，得到视差图，将该视差图转换为深度图像。
这种方案中，需要确定整张图像中的全部匹配点对，并对全部匹配点对进行运算，计算量较大。
发明内容
本发明实施例的目的在于提供一种深度图像的生成方法、装置及设备，以兼顾准确度和硬件性能要求。
为达到上述目的，本发明实施例提供了一种深度图像的生成方法，包括：
获取多目相机采集的多目图像；
分别识别所述多目图像中每张图像的目标区域；
判断所述目标区域是否满足预先针对所述多目相机设定的约束条件；
如果不满足，则对所述目标区域的位置或者尺寸进行调整，得到调整后的目标区域；
生成所述调整后的目标区域对应的深度图像。
可选的，所述判断所述目标区域是否满足预先针对所述多目相机设定的约束条件，包括：
确定所述多目图像之间的匹配点对，所述匹配点对中的点分别属于不同图像的目标区域、且对应物理世界中的同一点；
判断所述匹配点对中的点的相对位置关系与所述多目相机之间的相对位置关系是否匹配；如果不匹配，判定所述目标区域不满足预先针对所述多目相机设定的约束条件；
所述对所述目标区域的位置或者尺寸进行调整，得到调整后的目标区域，包括：
按照所述多目相机之间的相对位置关系，对所述目标区域进行平移，得到调整后的目标区域，所述调整后的目标区域中的匹配点对中的点的相对位置关系与所述多目相机之间的相对位置关系相匹配。
可选的，所述多目相机为双目相机，所述双目相机包括左相机和右相机，所述多目图像包括所述左相机采集的左图像和所述右相机采集的右图像；
所述判断所述匹配点对中的点的相对位置关系与所述多目相机之间的相对位置关系是否匹配，包括：
判断所述匹配点对中，所述左图像中的像素点相对所述右图像中的像素点是否偏左，如果是，则判定所述匹配点对中的点的相对位置关系与所述多目相机之间的相对位置关系不相匹配；
所述方法还包括：若所述匹配点对中，所述左图像中的像素点相对所述右图像中的像素点偏左，则计算所述匹配点对的水平坐标偏差；在各匹配点对的水平坐标偏差中，确定最大的水平坐标偏差；
所述按照所述多目相机之间的相对位置关系，对所述目标区域进行平移，得到调整后的目标区域，所述调整后的目标区域中的匹配点对中的点的相对位置关系与所述多目相机之间的相对位置关系相匹配，包括：
根据所述最大的水平坐标偏差，调整左图像和/或右图像中目标区域的水平坐标，使得调整后的目标区域中的各匹配点对中，所述左图像中的像素点相对所述右图像中的像素点不偏左。
可选的，所述判断所述目标区域是否满足预先针对所述多目相机设定的约束条件，包括：
根据所述多目相机的内参、采集距离、所述目标区域的深度，计算所述多目相机的视差范围；
判断所述视差范围是否小于所述多目相机的视差搜索范围；如果不小于，判定所述目标区域不满足预先针对所述多目相机设定的约束条件；
所述对所述目标区域的位置或者尺寸进行调整，得到调整后的目标区域，包括：
对所述目标区域进行缩小处理，得到调整后的目标区域。
可选的，在判定所述视差范围小于该相机的视差搜索范围的情况下，还包括：
确定所述多目图像之间的匹配点对，所述匹配点对中的点分别属于不同图像的目标区域、且对应物理世界中的同一点；
计算所述匹配点对中的点的视差；
判断所述视差是否小于所述多目相机的视差搜索范围；
如果小于，则对所述目标区域进行平移，得到调整后的目标区域，所述调整后的目标区域中匹配点对中的点的视差小于所述多目相机的视差搜索范围。
可选的，在判定所述视差不小于所述多目相机的视差搜索范围的情况下，还包括：
对所述目标区域进行缩小处理，得到调整后的目标区域。
可选的，所述判断所述目标区域是否满足预先针对所述多目相机设定的约束条件，包括：
判断所述目标区域的尺寸是否大于设定的尺寸，所述设定的尺寸为：位于边界距离处的采集对象在图像中的尺寸，所述边界距离为：根据所述多目相机的内参和预设精度波动参数计算得到的；如果大于，判定所述目标区域不满足预先针对所述多目相机设定的约束条件；
所述对所述目标区域的位置或者尺寸进行调整，得到调整后的目标区域，包括：
对所述目标区域进行缩小处理，得到调整后的目标区域。
可选的，在判定所述目标区域的尺寸不大于设定的尺寸的情况下，还包括：
判断所述目标区域的尺寸是否小于预设阈值，所述预设阈值与硬件性能参数相关；
如果不小于，则对所述目标区域进行裁剪处理，得到调整后的目标区域。
可选的，所述多目图像包括所述多目相机采集的无散斑图像和有散斑图像，所述无散斑图像与所述有散斑图像的像素点之间存在对应关系；
所述分别识别所述多目图像中每张图像的目标区域，包括：
分别识别每张所述无散斑图像中的目标区域，作为第一目标区域；
所述对所述目标区域的位置或者尺寸进行调整，得到调整后的目标区域，包括：
确定所述第一目标区域映射至所述有散斑图像中对应的区域，作为第二目标区域；
对所述第二目标区域的位置或者尺寸进行调整，得到调整后的目标区域。
可选的，所述多目图像为人脸图像，所述目标区域为人脸区域，所述匹配点对中的点为人脸特征点。
为达到上述目的，本发明实施例还提供了一种深度图像的生成装置，包括：
获取模块，用于获取多目相机采集的多目图像；
识别模块，用于分别识别所述多目图像中每张图像的目标区域；
第一判断模块，用于判断所述目标区域是否满足预先针对所述多目相机设定的约束条件；如果不满足，则触发调整模块；
调整模块，用于对所述目标区域的位置或者尺寸进行调整，得到调整后的目标区域；
生成模块，用于生成所述调整后的目标区域对应的深度图像。
可选的，所述第一判断模块，包括：
第一确定子模块，用于确定所述多目图像之间的匹配点对，所述匹配点对中的点分别属于不同图像的目标区域、且对应物理世界中的同一点；
第一判断子模块，用于判断所述匹配点对中的点的相对位置关系与所述多目相机之间的相对位置关系是否匹配；如果不匹配，判定所述目标区域不满足预先针对所述多目相机设定的约束条件；
所述调整模块，具体用于：
按照所述多目相机之间的相对位置关系，对所述目标区域进行平移，得到调整后的目标区域，所述调整后的目标区域中的匹配点对中的点的相对位置关系与所述多目相机之间的相对位置关系相匹配。
可选的，所述多目相机为双目相机，所述双目相机包括左相机和右相机，所述多目图像包括所述左相机采集的左图像和所述右相机采集的右图像；
所述第一判断子模块，具体用于：判断所述匹配点对中，所述左图像中的像素点相对所述右图像中的像素点是否偏左，如果是，则判定所述匹配点对中的点的相对位置关系与所述多目相机之间的相对位置关系不相匹配；
所述装置还包括：
第一计算模块，用于在所述匹配点对中，所述左图像中的像素点相对所述右图像中的像素点偏左的情况下，计算所述匹配点对的水平坐标偏差；
第一确定模块，用于在各匹配点对的水平坐标偏差中，确定最大的水平坐标偏差；
所述调整模块，具体用于：
根据所述最大的水平坐标偏差，调整左图像和/或右图像中目标区域的水平坐标，使得调整后的目标区域中的各匹配点对中，所述左图像中的像素点相对所述右图像中的像素点不偏左。
可选的，所述第一判断模块，包括：
计算子模块，用于根据所述多目相机的内参、采集距离、所述目标区域的深度，计算所述多目相机的视差范围；
第二判断子模块，用于判断所述视差范围是否小于所述多目相机的视差搜索范围；如果不小于，判定所述目标区域不满足预先针对所述多目相机设定的约束条件；
所述调整模块，具体用于：
对所述目标区域进行缩小处理，得到调整后的目标区域。
可选的，所述装置还包括：
第二确定模块，用于在判定所述视差范围小于该相机的视差搜索范围的情况下，确定所述多目图像之间的匹配点对，所述匹配点对中的点分别属于不同图像的目标区域、且对应物理世界中的同一点；
第二计算模块，用于计算所述匹配点对中的点的视差；
第二判断模块，用于判断所述视差是否小于所述多目相机的视差搜索范围；如果小于，则触发平移模块；
所述平移模块，用于对所述目标区域进行平移，得到调整后的目标区域，所述调整后的目标区域中匹配点对中的点的视差小于所述多目相机的视差搜索范围。
可选的，所述装置还包括：
缩小模块，用于在判定所述视差不小于所述多目相机的视差搜索范围的情况下，对所述目标区域进行缩小处理，得到调整后的目标区域。
可选的，所述第一判断模块，具体用于：
判断所述目标区域的尺寸是否大于设定的尺寸，所述设定的尺寸为：位于边界距离处的采集对象在图像中的尺寸，所述边界距离为：根据所述多目相机的内参和预设精度波动参数计算得到的；如果大于，判定所述目标区域不满足预先针对所述多目相机设定的约束条件；
所述调整模块，具体用于：对所述目标区域进行缩小处理，得到调整后的目标区域。
可选的，所述装置还包括：
第三判断模块，用于判断所述目标区域的尺寸是否小于预设阈值，所述预设阈值与硬件性能参数相关；如果不小于，则触发裁剪模块；
所述裁剪模块，用于对所述目标区域进行裁剪处理，得到调整后的目标区域。
可选的，所述多目图像包括所述多目相机采集的无散斑图像和有散斑图像，所述无散斑图像与所述有散斑图像的像素点之间存在对应关系；
所述识别模块，具体用于：分别识别每张所述无散斑图像中的目标区域，作为第一目标区域；
所述调整模块，具体用于：确定所述第一目标区域映射至所述有散斑图像中对应的区域，作为第二目标区域；对所述第二目标区域的位置或者尺寸进行调整，得到调整后的目标区域。
可选的，所述多目图像为人脸图像，所述目标区域为人脸区域，所述匹配点对中的点为人脸特征点。
为达到上述目的，本发明实施例还提供了一种电子设备，包括处理器和存储器；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任意一种深度图像的生成方法。
应用本发明所示实施例，第一方面，识别多目图像中每张图像的目标区域，仅生成目标区域对应的深度图像，也就是说，仅确定目标区域中的匹配点对，仅对目标区域中的匹配点对进行运算，这样，相比于确定整张图像中的全部匹配点对，并对全部匹配点对进行运算，降低了计算量；第二方面，分别识别多目图像中每张图像的目标区域，判断目标区域是否满足预先针对多目相机设定的约束条件；如果不满足，则对目标区域的位置或者尺寸进行调整，得到调整后的目标区域；可见，本方案中，先对多目图像进行粗定位，若粗定位结果不满足针对多目相机设定的约束条件，再对粗定位结果进行调整，这样，相比于粗定位，提高了定位准确度，提供了一种能够兼顾计算量和准确度的深度图像生成方案。
当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种深度图像的生成方法的流程示意图；
图2为本发明实施例提供的一种对目标区域进行调整的流程示意图；
图3为本发明实施例提供的另一种对目标区域进行调整的流程示意图；
图4为本发明实施例提供的再一种对目标区域进行调整的流程示意图；
图5为本发明实施例提供的一种深度图像的生成装置的结构示意图；
图6为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了达到上述目的，本发明实施例提供了一种深度图像的生成方法、装置及设备，该方法及装置可以应用于各种电子设备，例如与多目相机相连接的后台处理设备，或者包含多目相机的电子设备，如手机、平板电脑等等，具体电子设备不做限定。下面首先对该深度图像的生成方法进行详细介绍。
图1为本发明实施例提供的一种深度图像的生成方法的流程示意图，包括：
S101：获取多目相机采集的多目图像。
举例来说，多目相机可以为双目相机，或者也可以为三目相机、四目相机等等，相机的具体数量不做限定。以双目相机来说，其可以包括左相机和右相机，为了方便描述，以下内容中，将左相机采集的图像称为左图像，将右相机采集的图像称为右图像。
S102：分别识别多目图像中每张图像的目标区域。
目标区域可以理解为需要识别的采集对象所在的区域，也可以理解为ROI(RegionOf Interest，感兴趣区域)，例如，需要识别的采集对象为人脸，则目标区域为人脸区域，需要识别的采集对象为人体，则目标区域为人体区域，需要识别的采集对象为车辆，则目标区域为车辆区域，需要识别的采集对象为车牌，则目标区域为车牌区域。
S102中识别目标区域可以采用ROI粗定位算法，定位出目标区域的大致位置，后续步骤中，再对该大致位置进行调整，粗定位的具体算法不做限定。
S103：判断目标区域是否满足预先针对多目相机设定的约束条件，如果不满足，则执行S104。
S104：对目标区域的位置或者尺寸进行调整，得到调整后的目标区域。
本发明实施例中提供了多种约束条件以及多种对目标区域的调整方式，下面内容中一一说明：
一种实施方式中，S103可以包括：确定所述多目图像之间的匹配点对，所述匹配点对中的点分别属于不同图像的目标区域、且对应物理世界中的同一点；判断所述匹配点对中的点的相对位置关系与所述多目相机之间的相对位置关系是否匹配；如果不匹配，判定所述目标区域不满足预先针对所述多目相机设定的约束条件；S104可以包括：按照所述多目相机之间的相对位置关系，对所述目标区域进行平移，得到调整后的目标区域，所述调整后的目标区域中的匹配点对中的点的相对位置关系与所述多目相机之间的相对位置关系相匹配。
举例来说，匹配点对中的点可以为一些特征点，例如，如果多目图像为人脸图像，目标区域为人脸区域，则匹配点对中的点可以为人脸特征点，如瞳孔、鼻尖、嘴中心等等，不再一一列举，如果多目图像为车牌图像，目标区域为车牌区域，则匹配点对中的点可以为车牌号中各数字或字母的特征点。
以双目相机为例来说，假设左相机和右相机同时采集到包含人员A的人脸区域的图像，假设左相机采集的左图像中，人员A的人脸特征点包括瞳孔1、鼻尖1和嘴中心1，右相机采集的右图像中，人员A的人脸特征点包括瞳孔2、鼻尖2和嘴中心2，则瞳孔1和瞳孔2构成一对匹配点对，鼻尖1和鼻尖2构成一对匹配点对，嘴中心1和嘴中心2构成一对匹配点对。
多目相机的各相机之间存在相对位置关系，例如，双目相机中，左相机位于左侧，右相机位于右侧，此即为左相机和右相机之间的相对位置关系。这一相对位置关系导致如下结果：物理世界中同一点对应至左图像中的像素点相对右图像中的像素点偏右，或者说，物理世界中同一点对应至右图像中的像素点相对左图像中的像素点偏左。可以根据该相对位置关系导致的结果设定约束条件：匹配点对中，左图像中的像素点相对右图像中的像素点不偏左。
举例来说，判断匹配点对中的点的相对位置关系与多目相机之间的相对位置关系是否匹配，也就是判断物理世界中同一点对应至左图像和右图像中的像素点是否满足上述约束条件：匹配点对中，左图像中的像素点相对右图像中的像素点不偏左。如果不满足，则计算所述匹配点对的水平坐标偏差；在各匹配点对的水平坐标偏差中，确定最大的水平坐标偏差。这样，按照所述多目相机之间的相对位置关系，对所述目标区域进行平移，可以包括：根据所述最大的水平坐标偏差，调整左图像和/或右图像中目标区域的水平坐标。经过调整后，各匹配点对中，所述左图像中的像素点相对所述右图像中的像素点不偏左。
以双目相机包括左相机和右相机为例来说，对目标区域的位置进行调整，可以包括：对目标区域的水平位置进行调整，这里的“平移”可以为水平方向的平移。针对左相机采集的左图像和右相机采集的右图像来说，一般先将其水平对齐，并将二者调整为相同的分辨率，这样，对目标区域的位置进行调整时，可以只调整其水平方向的位置。这种情况下，可以根据匹配点对中两个点的水平坐标值的大小，判断这两个点的相对位置关系是否满足上述约束条件，如果不满足，可以调整左图像中的目标区域的水平位置，也可以调整右图像中的目标区域的水平位置，也可以调整左图像和右图像中的目标区域的水平位置，使得调整后的目标区域满足该约束条件即可。
举个简单的例子，假设左图像和右图像中的坐标系相同，假设均以图像左下角点为原点建立XY坐标系，具体的坐标系不做限定，这里仅为举例说明。假设已将左图像和右图像水平对齐，并将二者调整为相同的分辨率，左图像与右图像中的像素点一一对应。假设左图像和右图像中的目标区域均为人员A的人脸区域，假设左图像中鼻尖特征点1的水平坐标为90，右图像中鼻尖特征点2的水平坐标为100，这样，鼻尖特征点1比鼻尖特征点2偏左，便不满足“物理世界中同一点对应至左图像中的像素点相对右图像中的像素点不偏左”这一约束条件。这种情况下，可以将左图像中的目标区域水平右移至少10个单位，或者，也可以将右图像中的目标区域水平左移至少10个单位，或者，也可以分别将左图像中的目标区域水平右移5个单位，将右图像中的目标区域水平左移5个单位，等等，水平移动后的目标区域满足该约束条件即可。
下面以目标区域为人脸区域为例，参考图2对上述相关实施方式进行进一步说明：
S201：获取双目相机中左相机采集的左图像和右相机采集的右图像。
S202：分别识别左图像和右图像的人脸区域，并确定人脸区域中人脸特征点的坐标。
人脸特征点可以包括：瞳孔、鼻尖、嘴中心等等，不再一一列举。左图像与右图像的坐标系一致，原点所在位置相同，例如，均以图像左下角点为原点建立XY坐标系，假设已将左图像和右图像水平对齐，并将二者调整为相同的分辨率，则左图像与右图像中的像素点一一对应。
S203：确定由左图像中的人脸特征点与右图像中的人脸特征点组成的匹配点对。
确定出的匹配点对可以有一对或多对。假设左相机和右相机同时采集到包含人员A的人脸区域的图像，假设左相机采集的左图像中，人员A的人脸特征点包括瞳孔1、鼻尖1和嘴中心1，右相机采集的右图像中，人员A的人脸特征点包括瞳孔2、鼻尖2和嘴中心2，则瞳孔1和瞳孔2构成一对匹配点对，鼻尖1和鼻尖2构成一对匹配点对，嘴中心1和嘴中心2构成一对匹配点对。
S204：针对每对匹配点对，判断该匹配点对中的点是否满足约束条件：左图像中的像素点相对右图像中的像素点不偏左，如果不满足，则执行S205。
S205：计算该匹配点对的水平坐标偏差。
匹配点对的水平坐标偏差可以理解为：匹配点对中的两个点的水平坐标的差值。延续上述例子，假设左图像和右图像均以图像左下角点为原点建立XY坐标系，假设已将左图像和右图像水平对齐，并将二者调整为相同的分辨率，则左图像与右图像中的像素点一一对应，这种情况下，可以针对每对匹配点对，判断该匹配点对中的左图像中像素点的水平坐标值是否大于右图像中像素点的水平坐标值，如果不大于，则S204判断结果为否，计算左图像中像素点的水平坐标值与右图像中像素点的水平坐标值的差值，也就是上述匹配点对的水平坐标偏差。
匹配点对包括：匹配点对1(瞳孔1和瞳孔2)、匹配点对2(鼻尖1和鼻尖2)、匹配点对3(嘴中心1和嘴中心2)。假设瞳孔1的水平坐标值为90，瞳孔2的水平坐标值为100，左图像中像素点的水平坐标值90小于右图像中像素点的水平坐标值100，不满足约束条件，计算匹配点对1对应的水平坐标偏差为|90-100|＝10。假设鼻尖1的水平坐标值为120，鼻尖2的水平坐标值为110，左图像中像素点的水平坐标值120大于右图像中像素点的水平坐标值110，满足约束条件。假设嘴中心1的水平坐标值为108，嘴中心2的水平坐标值为110，左图像中像素点的水平坐标值108小于右图像中像素点的水平坐标值110，不满足约束条件，计算匹配点对2对应的水平坐标偏差为|108-110|＝2。
S206：在各匹配点对的水平坐标偏差中，确定最大的水平坐标偏差。
S207：根据最大的水平坐标偏差，调整左图像和/或右图像中人脸区域的水平坐标，使得调整后的目标区域中的各匹配点对中的点均满足约束条件。
延续上述例子，三对匹配点对的水平坐标偏差中，最大的水平坐标偏差为10，可以将左图像中的人脸区域水平右移10个单位，也可以将右图像中的人脸区域水平左移10个单位，也可以将左图像中的人脸区域水平右移m个单位，也可以将右图像中的人脸区域水平左移n个单位，m+n＝10。
应用图2所示实施方式，可以使得调整后的目标区域满足“物理世界中同一点对应至左图像中的像素点相对右图像中的像素点不偏左”这一约束条件。
另一种实施方式中，S103可以包括：根据所述多目相机的内参、采集距离、所述目标区域的深度，计算所述多目相机的视差范围；判断所述视差范围是否小于所述多目相机的视差搜索范围；如果不小于，判定所述目标区域不满足预先针对所述多目相机设定的约束条件；S104可以包括：对所述目标区域进行缩小处理，得到调整后的目标区域。
举例来说，多目相机的内参可以包括焦距f和基线距B，采集距离D可以理解为多目相机所能采集的最近的距离，以人脸采集为例来说，可以结合多目相机的共视范围、允许的人脸区域缺失程度等来确定最近的采集距离，目标区域的深度df可以根据采集对象的类型确定，例如，如果采集对象为人脸，人脸的深度范围可以为3cm—5cm。可以采用如下算式，计算多目相机的视差范围：
多目相机的视差范围＝fB/(D+df)-fB/D。
仍以人脸为例来说，鼻尖可以认为是距离相机最近的点，眼睛可以认为是距离相机最远的点，鼻尖与眼睛的深度差即为df，fB/(D+df)可以理解为对鼻尖对应的视差，fB/D可以理解为眼睛对应的视差，fB/(D+df)-fB/D即为视差范围。
多目相机的视差搜索范围d为多目相机的内部参数，其可以理解为水平方向最大可搜索匹配的像素点数量。若fB/(D+df)-fB/D≥d，则表示多目相机的视差搜索范围不足以使图像中的像素点均匹配到与其对应物理世界中同一点的像素点，这种情况下，可以按照预设系数缩小目标区域，例如，该预设系数可以为1/2，3/5等等，具体数值不做限定。
或者，另一些实施方式中，若fB/(D+df)-fB/D≥d，并且采集对象与相机之间的距离小于设定阈值的情况下，再按照预设系数缩小目标区域。如果采集对象与相机之间距离较远，则目标区域的清晰度较差，精度较低，这样不适合缩小目标区域。本实施方式中，仅在满足精度需求的情况下，缩小目标区域，提高了图像质量。
一些实施方式中，在判定所述视差范围小于该相机的视差搜索范围的情况下，还包括：确定所述多目图像之间的匹配点对，所述匹配点对中的点分别属于不同图像的目标区域、且对应物理世界中的同一点；计算所述匹配点对中的点的视差；判断所述视差是否小于所述多目相机的视差搜索范围；如果小于，则对所述目标区域进行平移，得到调整后的目标区域，所述调整后的目标区域中匹配点对中的点的视差小于所述多目相机的视差搜索范围。
延期上述例子，若fB/(D+df)-fB/D<d，则可以继续判断匹配点对中的点的视差diff是否小于多目相机的视差搜索范围d，如果小于，则对目标区域进行平移。
仍以目标区域为人脸区域为例来说，假设左相机和右相机同时采集到包含人员A的人脸区域的图像，假设左相机采集的左图像中，人员A的人脸特征点包括鼻尖1和嘴中心1，右相机采集的右图像中，人员A的人脸特征点包括鼻尖2和嘴中心2，则鼻尖1和鼻尖2构成一对匹配点对，嘴中心1和嘴中心2构成一对匹配点对。匹配点对包括：匹配点对1(鼻尖1和鼻尖2)、匹配点对2(嘴中心1和嘴中心2)。
如上所述，针对左相机采集的左图像和右相机采集的右图像来说，一般先将其水平对齐，并将二者调整为相同的分辨率，这样，对目标区域的位置进行调整时，可以只调整其水平方向的位置。
假设匹配点对1中的点的视差diff，也就是鼻尖1的与鼻尖2之间的水平坐标差值为|100-90|＝10。假设匹配点对2中的点的视差diff，也就是嘴中心1的与嘴中心2之间的水平坐标差值为|150-110|＝40。假设视差搜索范围d为30，也就是说，水平方向最大可搜索匹配的像素点数量为30，这样，只能搜索匹配到匹配点对1，不能搜索匹配到匹配点对2。这种情况下，如果应用本实施方式，可以将左图像和/或右图像中的人脸区域进行平移，使得匹配点对1和匹配点对2中的点的视差均小于视差搜索范围d，例如，可以将左图像中的目标区域水平向左移，使得其特征点的坐标值变小，或者，也可以将右图像中的目标区域水平向右移，使得其特征点的坐标值变大，实现匹配点对中的点的视差均小于视差搜索范围d即可。
一些实施方式中，在判定所述视差不小于所述多目相机的视差搜索范围的情况下，还包括：对所述目标区域进行缩小处理，得到调整后的目标区域。
延续上述例子，如果diff≥d，则可以按照预设系数缩小目标区域，例如，该预设系数可以为1/2，3/5等等，具体数值不做限定。
或者，另一些实施方式中，若fB/(D+df)-fB/D≥d、diff≥d、并且采集对象与相机之间的距离小于设定阈值的情况下，再按照预设系数缩小目标区域。如果采集对象与相机之间距离较远，则目标区域的清晰度较差，精度较低，这样不适合缩小目标区域。本实施方式中，仅在满足精度需求的情况下，缩小目标区域，提高了图像质量。
下面以目标区域为人脸区域为例，参考图3对上述相关的实施方式进行进一步说明：
S301：获取双目相机中左相机采集的左图像和右相机采集的右图像。
S302：分别识别左图像和右图像的人脸区域，并确定人脸区域中人脸特征点的坐标。
S303：确定由左图像中的人脸特征点与右图像中的人脸特征点组成的匹配点对。
S304：根据多目相机的内参(f和B)、采集距离D、目标区域的深度df，计算多目相机的视差范围：fB/(D+df)-fB/D。
S305：判断视差范围是否小于多目相机的视差搜索范围d，如果不小于，执行S306，如果小于执行S307。
S306：对人脸区域进行缩小处理，得到调整后的人脸区域。
可以按照预设系数缩小目标区域，例如，该预设系数可以为1/2，3/5等等，具体数值不做限定。
或者，另一些实施方式中，若fB/(D+df)-fB/D<d，并且采集对象与相机之间的距离小于设定阈值的情况下，再按照预设系数缩小目标区域。如果采集对象与相机之间距离较远，则目标区域的清晰度较差，精度较低，这样不适合缩小目标区域。本实施方式中，仅在满足精度需求的情况下，缩小目标区域，提高了图像质量。
S307：计算匹配点对中的点的视差diff。
S308：判断diff是否小于视差搜索范围d，如果小于，执行S309，如果不小于，执行S306。
S309：对人脸区域进行平移，得到调整后的人脸区域。
可以移动左图像中的人脸区域，也可以移动右图像中的人脸区域，满足调整后的目标区域中匹配点对中的点的视差小于所述多目相机的视差搜索范围即可。
应用图3所示实施方式，可以使得调整后的目标区域满足“视差在多目相机的视差搜索范围之内”这一约束条件。
下面再介绍另外一种实施方式，S103可以包括：判断所述目标区域的尺寸是否大于设定的尺寸，所述设定的尺寸为：位于边界距离处的采集对象在图像中的尺寸，所述边界距离为：根据所述多目相机的内参和预设精度波动参数计算得到的；如果大于，判定所述目标区域不满足预先针对所述多目相机设定的约束条件；S104可以包括：对所述目标区域进行缩小处理，得到调整后的目标区域。
本实施方式中，可以根据多目相机的内参和预设精度波动参数，计算得到边界距离，确定位于边界距离处的采集对象在图像中的尺寸。举例来说，可以根据实际需求设定精度波动参数，例如，采集对象距离相机1m时允许1cm的误差，具体的精度波动参数不做限定。假设多目相机的内参包括焦距f和基线距B，可以利用如下算式，计算边界距离：
精度波动参数＝边界距离2/fB。
对目标区域进行缩小处理，可以按照预设系数缩小目标区域，例如，该预设系数可以为1/2，3/5等等，具体数值不做限定。
以采集对象为人脸为例来说，假设确定出的边界距离为10m，可以确定人脸距离相机10m时，采集到的人脸图像中人脸区域的尺寸，为了区分描述，将该尺寸称为设定的尺寸。判断人脸区域的尺寸是否大于该设定的尺寸，如果大于，则表示人脸与相机的距离小于边界距离10m，这种情况下，人脸区域较大，精度较高，可以对人脸区域进行缩小处理，这样，既能够实现精度需求，又能够减少数据处理量，提升处理效率。
一些实施方式中，在判定所述目标区域的尺寸不大于设定的尺寸的情况下，还包括：判断所述目标区域的尺寸是否小于预设阈值，所述预设阈值与硬件性能参数相关；如果不小于，则对所述目标区域进行裁剪处理，得到调整后的目标区域。
可以根据硬件性能参数，设定上述阈值，例如，该阈值可以表达图像处理设备处理图像的最大分辨率，目标区域的尺寸也可以表达为分辨率的形式，如果目标区域的分辨率不小于预设阈值，可以对目标区域进行裁剪处理。
延续上述例子，如果人脸区域的尺寸不大于该设定的尺寸，表示人脸与相机的距离不小于边界距离10m，这种情况下，人脸区域较小，精度较低，不适宜对人脸区域进行缩小，但如果人脸区域的尺寸大于图像处理设备处理图像的最大分辨率，可以对人脸区域进行裁剪，这样，既能够保留较高精度，又能够减少数据处理量，提升处理效率。
下面以目标区域为人脸区域为例，参考图4对上述相关的实施方式进行进一步说明：
S401：获取双目相机中左相机采集的左图像和右相机采集的右图像。
S402：分别识别左图像和右图像的人脸区域。
S403：判断人脸区域的尺寸是否大于设定的尺寸，所述设定的尺寸为：位于边界距离处的采集对象在图像中的尺寸，所述边界距离为：根据所述多目相机的内参和预设精度波动参数计算得到的；如果大于，执行S404，如果不大于，执行S405。
S404：对人脸区域进行缩小处理，得到调整后的人脸区域。
S405：判断人脸区域的尺寸是否小于预设阈值，所述预设阈值与硬件性能参数相关；如果不小于，则执行S406。
S406：对人脸区域进行裁剪处理，得到调整后的人脸区域。
应用图3所示实施方式，如果人脸区域较大，精度较高，对人脸区域进行缩小处理，这样，既能够实现精度需求，又能够减少数据处理量，提升处理效率。如果人脸区域较小，精度较低，不适宜对人脸区域进行缩小，但如果人脸区域的尺寸大于图像处理设备处理图像的最大分辨率，可以对人脸区域进行裁剪，这样，既能够保留较高精度，又能够减少数据处理量，提升处理效率。
S105：生成调整后的目标区域对应的深度图像。
举例来说，可以先生成调整后的目标区域对应的视差图，再将该视差图转换为深度图像。视差图的生成方式、以及将视差图转换为深度图像的方式不做限定。
根据上面内容描述，多目图像中的目标区域可能经过了调整，也可能没有经过调整，作这些经过了调整或者没有经过调整的目标区域的视差图，再将该视差图转换为深度图像。
以双目相机采集人脸图像为例来说，左图像中的人脸区域与右图像中的人脸区域可能经过了调整，也可能没有经过调整，作这些经过了调整或者没有经过调整的人脸区域的视差图，再将该视差图转换为人脸三维数据。
一种实施方式中，S101中获取的多目图像包括多目相机采集的无散斑图像和有散斑图像，所述无散斑图像与所述有散斑图像的像素点之间存在对应关系。S102可以包括：分别识别每张所述无散斑图像中的目标区域，作为第一目标区域。S104可以包括：确定所述第一目标区域映射至所述有散斑图像中对应的区域，作为第二目标区域；对所述第二目标区域的位置或者尺寸进行调整，得到调整后的目标区域。
举例来说，本实施方式中，可以通过控制散斑灯的开关并配合相机中的ISP(ImageSignal Processor，图像处理器)进行分时曝光，实现无散斑图像和有散斑图像的交替采集。该无散斑图像和有散斑图像均可以为红外(IR，Infrared Radiation)图像，在红外图像中投射散斑效果较明显，基于有散斑的红外图像生成视差图、以及将视差图转换为深度图像，准确度较高。
以目标区域为人脸区域为例来说，可以将调整后的人脸区域的数据送入多目相机中的视差匹配模块，得到人脸区域对应的视差图；对该视差图进行亚像素插值和中值滤波等后处理操作，以提升该视差图的图像波动、平滑度等效果，再将该视差图进行转换，可以得到较高质量的人脸三维数据。
本实施方式中，在无散斑图像中识别目标区域，可以减少散斑对识别目标区域的干扰，例如，识别带有散斑的人脸区域计算量较大，而本实施方式中，在无散斑图像中进行人脸识别，降低了计算量。
此外，本实施方式中，在有散斑图像中调整目标区域，并基于有散斑图像中调整后的目标区域，生成视差图、以及将视差图转换为深度图像，有散斑图像的纹理更丰富，基于有散斑图像生成深度图像准确度更高。因此，本实施方式兼顾了较低的计算量和较高的准确度。
应用本发明所示实施例，第一方面，识别多目图像中每张图像的目标区域，仅生成目标区域对应的深度图像，也就是说，仅确定目标区域中的匹配点对，仅对目标区域中的匹配点对进行运算，这样，相比于确定整张图像中的全部匹配点对，并对全部匹配点对进行运算，计算量较小，对设备的硬件性能要求较低。第二方面，分别识别多目图像中每张图像的目标区域，判断目标区域是否满足预先针对多目相机设定的约束条件；如果不满足，则对目标区域的位置或者尺寸进行调整，得到调整后的目标区域；可见，本方案中，先对多目图像进行粗定位，若粗定位结果不满足针对多目相机设定的约束条件，再对粗定位结果进行调整，这样，相比于粗定位，提高了定位准确度，提供了一种能够兼顾准确度和硬件性能要求的深度图像生成方案。
相关方案中，由于生成视差图以及将视差图转换为深度图像的计算量较大，对于一些硬件性能较差的多目相机来说，其并不能生成深度图像。而应用本发明实施例，即便多目相机的硬件性能较差，也能够实现先进行粗定位，再对粗定位结果进行调整，生成调整后的目标区域对应的深度图像，也就是说，硬件性能较差的多目相机采用本发明实施例，也能够生成深度图像。
与上述方法实施例相对应，本发明实施例还提供了一种深度图像的生成装置，如图5所示，包括：
获取模块501，用于获取多目相机采集的多目图像；
识别模块502，用于分别识别所述多目图像中每张图像的目标区域；
第一判断模块503，用于判断所述目标区域是否满足预先针对所述多目相机设定的约束条件；如果不满足，则触发调整模块504；
调整模块504，用于对所述目标区域的位置或者尺寸进行调整，得到调整后的目标区域；
生成模块505，用于生成所述调整后的目标区域对应的深度图像。
一种实施方式中，第一判断模块，包括：第一确定子模块和第一判断子模块(图中未示出)，其中，
第一确定子模块，用于确定所述多目图像之间的匹配点对，所述匹配点对中的点分别属于不同图像的目标区域、且对应物理世界中的同一点；
第一判断子模块，用于判断所述匹配点对中的点的相对位置关系与所述多目相机之间的相对位置关系是否匹配；如果不匹配，判定所述目标区域不满足预先针对所述多目相机设定的约束条件；
调整模块504具体用于：
按照所述多目相机之间的相对位置关系，对所述目标区域进行平移，得到调整后的目标区域，所述调整后的目标区域中的匹配点对中的点的相对位置关系与所述多目相机之间的相对位置关系相匹配。
一种实施方式中，所述多目相机为双目相机，所述双目相机包括左相机和右相机，所述多目图像包括所述左相机采集的左图像和所述右相机采集的右图像；
所述第一判断子模块，具体用于：判断所述匹配点对中，所述左图像中的像素点相对所述右图像中的像素点是否偏左，如果是，则判定所述匹配点对中的点的相对位置关系与所述多目相机之间的相对位置关系不相匹配；
所述装置还包括：第一计算模块和第一确定模块(图中未示出)，其中，
第一计算模块，用于在所述匹配点对中，所述左图像中的像素点相对所述右图像中的像素点偏左的情况下，计算所述匹配点对的水平坐标偏差；
第一确定模块，用于在各匹配点对的水平坐标偏差中，确定最大的水平坐标偏差；
调整模块504具体用于：
根据所述最大的水平坐标偏差，调整左图像和/或右图像中目标区域的水平坐标，使得调整后的目标区域中的各匹配点对中，所述左图像中的像素点相对所述右图像中的像素点不偏左。
一种实施方式中，第一判断模块503包括：计算子模块和第二判断子模块(图中未示出)，其中，
计算子模块，用于根据所述多目相机的内参、采集距离、所述目标区域的深度，计算所述多目相机的视差范围；
第二判断子模块，用于判断所述视差范围是否小于所述多目相机的视差搜索范围；如果不小于，判定所述目标区域不满足预先针对所述多目相机设定的约束条件；
调整模块504具体用于：
对所述目标区域进行缩小处理，得到调整后的目标区域。
一种实施方式中，所述装置还包括：第二确定模块、第二计算模块、第二判断模块和平移模块(图中未示出)，其中，
第二确定模块，用于在判定所述视差范围小于该相机的视差搜索范围的情况下，确定所述多目图像之间的匹配点对，所述匹配点对中的点分别属于不同图像的目标区域、且对应物理世界中的同一点；
第二计算模块，用于计算所述匹配点对中的点的视差；
第二判断模块，用于判断所述视差是否小于所述多目相机的视差搜索范围；如果小于，则触发平移模块；
所述平移模块，用于对所述目标区域进行平移，得到调整后的目标区域，所述调整后的目标区域中匹配点对中的点的视差小于所述多目相机的视差搜索范围。
一种实施方式中，所述装置还包括：
缩小模块(图中未示出)，用于在判定所述视差不小于所述多目相机的视差搜索范围的情况下，对所述目标区域进行缩小处理，得到调整后的目标区域。
一种实施方式中，第一判断模块503具体用于：
判断所述目标区域的尺寸是否大于设定的尺寸，所述设定的尺寸为：位于边界距离处的采集对象在图像中的尺寸，所述边界距离为：根据所述多目相机的内参和预设精度波动参数计算得到的；如果大于，判定所述目标区域不满足预先针对所述多目相机设定的约束条件；
调整模块504具体用于：对所述目标区域进行缩小处理，得到调整后的目标区域。
一种实施方式中，所述装置还包括：第三判断模块和裁剪模块(图中未示出)，其中，
第三判断模块，用于判断所述目标区域的尺寸是否小于预设阈值，所述预设阈值与硬件性能参数相关；如果不小于，则触发裁剪模块；
所述裁剪模块，用于对所述目标区域进行裁剪处理，得到调整后的目标区域。
一种实施方式中，所述多目图像包括所述多目相机采集的无散斑图像和有散斑图像，所述无散斑图像与所述有散斑图像的像素点之间存在对应关系；
识别模块502具体用于：分别识别每张所述无散斑图像中的目标区域，作为第一目标区域；
调整模块504具体用于：确定所述第一目标区域映射至所述有散斑图像中对应的区域，作为第二目标区域；对所述第二目标区域的位置或者尺寸进行调整，得到调整后的目标区域。
一种实施方式中，所述多目图像为人脸图像，所述目标区域为人脸区域，所述匹配点对中的点为人脸特征点。
第一方面，识别多目图像中每张图像的目标区域，仅生成目标区域对应的深度图像，也就是说，仅确定目标区域中的匹配点对，仅对目标区域中的匹配点对进行运算，这样，相比于确定整张图像中的全部匹配点对，并对全部匹配点对进行运算，计算量较小，对设备的硬件性能要求较低。第二方面，分别识别多目图像中每张图像的目标区域，判断目标区域是否满足预先针对多目相机设定的约束条件；如果不满足，则对目标区域的位置或者尺寸进行调整，得到调整后的目标区域；可见，本方案中，先对多目图像进行粗定位，若粗定位结果不满足针对多目相机设定的约束条件，再对粗定位结果进行调整，这样，相比于粗定位，提高了定位准确度，提供了一种能够兼顾准确度和硬件性能要求的深度图像生成方案。
相关方案中，由于生成视差图以及将视差图转换为深度图像的计算量较大，对于一些硬件性能较差的多目相机来说，其并不能生成深度图像。而应用本发明实施例，即便多目相机的硬件性能较差，也能够实现先进行粗定位，再对粗定位结果进行调整，生成调整后的目标区域对应的深度图像，也就是说，硬件性能较差的多目相机采用本发明实施例，也能够生成深度图像。
本发明实施例还提供一种电子设备，如图6所示，包括处理器601和存储器602；
存储器602，用于存放计算机程序；
处理器601，用于执行存储器602上所存放的程序时，实现上述任意一种深度图像的生成方法。
上述电子设备提到的存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一种深度图像的生成方法。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任意一种深度图像的生成方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例、设备实施例、计算机可读存储介质实施例、以及计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (21)
1.一种深度图像的生成方法，其特征在于，包括：
获取多目相机采集的多目图像；
分别识别所述多目图像中每张图像的目标区域；
判断所述目标区域是否满足预先针对所述多目相机设定的约束条件；
如果不满足，则对所述目标区域的位置或者尺寸进行调整，得到调整后的目标区域；
生成所述调整后的目标区域对应的深度图像。
2.根据权利要求1所述的方法，其特征在于，所述判断所述目标区域是否满足预先针对所述多目相机设定的约束条件，包括：
确定所述多目图像之间的匹配点对，所述匹配点对中的点分别属于不同图像的目标区域、且对应物理世界中的同一点；
判断所述匹配点对中的点的相对位置关系与所述多目相机之间的相对位置关系是否匹配；如果不匹配，判定所述目标区域不满足预先针对所述多目相机设定的约束条件；
所述对所述目标区域的位置或者尺寸进行调整，得到调整后的目标区域，包括：
按照所述多目相机之间的相对位置关系，对所述目标区域进行平移，得到调整后的目标区域，所述调整后的目标区域中的匹配点对中的点的相对位置关系与所述多目相机之间的相对位置关系相匹配。
3.根据权利要求2所述的方法，其特征在于，所述多目相机为双目相机，所述双目相机包括左相机和右相机，所述多目图像包括所述左相机采集的左图像和所述右相机采集的右图像；
所述判断所述匹配点对中的点的相对位置关系与所述多目相机之间的相对位置关系是否匹配，包括：
判断所述匹配点对中，所述左图像中的像素点相对所述右图像中的像素点是否偏左，如果是，则判定所述匹配点对中的点的相对位置关系与所述多目相机之间的相对位置关系不相匹配；
所述方法还包括：若所述匹配点对中，所述左图像中的像素点相对所述右图像中的像素点偏左，则计算所述匹配点对的水平坐标偏差；在各匹配点对的水平坐标偏差中，确定最大的水平坐标偏差；
所述按照所述多目相机之间的相对位置关系，对所述目标区域进行平移，得到调整后的目标区域，所述调整后的目标区域中的匹配点对中的点的相对位置关系与所述多目相机之间的相对位置关系相匹配，包括：
根据所述最大的水平坐标偏差，调整左图像和/或右图像中目标区域的水平坐标，使得调整后的目标区域中的各匹配点对中，所述左图像中的像素点相对所述右图像中的像素点不偏左。
4.根据权利要求1所述的方法，其特征在于，所述判断所述目标区域是否满足预先针对所述多目相机设定的约束条件，包括：
根据所述多目相机的内参、采集距离、所述目标区域的深度，计算所述多目相机的视差范围；
判断所述视差范围是否小于所述多目相机的视差搜索范围；如果不小于，判定所述目标区域不满足预先针对所述多目相机设定的约束条件；
所述对所述目标区域的位置或者尺寸进行调整，得到调整后的目标区域，包括：
对所述目标区域进行缩小处理，得到调整后的目标区域。
5.根据权利要求4所述的方法，其特征在于，在判定所述视差范围小于该相机的视差搜索范围的情况下，还包括：
确定所述多目图像之间的匹配点对，所述匹配点对中的点分别属于不同图像的目标区域、且对应物理世界中的同一点；
计算所述匹配点对中的点的视差；
判断所述视差是否小于所述多目相机的视差搜索范围；
如果小于，则对所述目标区域进行平移，得到调整后的目标区域，所述调整后的目标区域中匹配点对中的点的视差小于所述多目相机的视差搜索范围。
6.根据权利要求5所述的方法，其特征在于，在判定所述视差不小于所述多目相机的视差搜索范围的情况下，还包括：
对所述目标区域进行缩小处理，得到调整后的目标区域。
7.根据权利要求1所述的方法，其特征在于，所述判断所述目标区域是否满足预先针对所述多目相机设定的约束条件，包括：
判断所述目标区域的尺寸是否大于设定的尺寸，所述设定的尺寸为：位于边界距离处的采集对象在图像中的尺寸，所述边界距离为：根据所述多目相机的内参和预设精度波动参数计算得到的；如果大于，判定所述目标区域不满足预先针对所述多目相机设定的约束条件；
所述对所述目标区域的位置或者尺寸进行调整，得到调整后的目标区域，包括：
对所述目标区域进行缩小处理，得到调整后的目标区域。
8.根据权利要求7所述的方法，其特征在于，在判定所述目标区域的尺寸不大于设定的尺寸的情况下，还包括：
判断所述目标区域的尺寸是否小于预设阈值，所述预设阈值与硬件性能参数相关；
如果不小于，则对所述目标区域进行裁剪处理，得到调整后的目标区域。
9.根据权利要求1所述的方法，其特征在于，所述多目图像包括所述多目相机采集的无散斑图像和有散斑图像，所述无散斑图像与所述有散斑图像的像素点之间存在对应关系；
所述分别识别所述多目图像中每张图像的目标区域，包括：
分别识别每张所述无散斑图像中的目标区域，作为第一目标区域；
所述对所述目标区域的位置或者尺寸进行调整，得到调整后的目标区域，包括：
确定所述第一目标区域映射至所述有散斑图像中对应的区域，作为第二目标区域；
对所述第二目标区域的位置或者尺寸进行调整，得到调整后的目标区域。
10.根据权利要求2-3或5-6任意一项所述的方法，其特征在于，所述多目图像为人脸图像，所述目标区域为人脸区域，所述匹配点对中的点为人脸特征点。
11.一种深度图像的生成装置，其特征在于，包括：
获取模块，用于获取多目相机采集的多目图像；
识别模块，用于分别识别所述多目图像中每张图像的目标区域；
第一判断模块，用于判断所述目标区域是否满足预先针对所述多目相机设定的约束条件；如果不满足，则触发调整模块；
调整模块，用于对所述目标区域的位置或者尺寸进行调整，得到调整后的目标区域；
生成模块，用于生成所述调整后的目标区域对应的深度图像。
12.根据权利要求11所述的装置，其特征在于，所述第一判断模块，包括：
第一确定子模块，用于确定所述多目图像之间的匹配点对，所述匹配点对中的点分别属于不同图像的目标区域、且对应物理世界中的同一点；
第一判断子模块，用于判断所述匹配点对中的点的相对位置关系与所述多目相机之间的相对位置关系是否匹配；如果不匹配，判定所述目标区域不满足预先针对所述多目相机设定的约束条件；
所述调整模块，具体用于：
按照所述多目相机之间的相对位置关系，对所述目标区域进行平移，得到调整后的目标区域，所述调整后的目标区域中的匹配点对中的点的相对位置关系与所述多目相机之间的相对位置关系相匹配。
13.根据权利要求12所述的装置，其特征在于，所述多目相机为双目相机，所述双目相机包括左相机和右相机，所述多目图像包括所述左相机采集的左图像和所述右相机采集的右图像；
所述第一判断子模块，具体用于：判断所述匹配点对中，所述左图像中的像素点相对所述右图像中的像素点是否偏左，如果是，则判定所述匹配点对中的点的相对位置关系与所述多目相机之间的相对位置关系不相匹配；
所述装置还包括：
第一计算模块，用于在所述匹配点对中，所述左图像中的像素点相对所述右图像中的像素点偏左的情况下，计算所述匹配点对的水平坐标偏差；
第一确定模块，用于在各匹配点对的水平坐标偏差中，确定最大的水平坐标偏差；
所述调整模块，具体用于：
根据所述最大的水平坐标偏差，调整左图像和/或右图像中目标区域的水平坐标，使得调整后的目标区域中的各匹配点对中，所述左图像中的像素点相对所述右图像中的像素点不偏左。
14.根据权利要求11所述的装置，其特征在于，所述第一判断模块，包括：
计算子模块，用于根据所述多目相机的内参、采集距离、所述目标区域的深度，计算所述多目相机的视差范围；
第二判断子模块，用于判断所述视差范围是否小于所述多目相机的视差搜索范围；如果不小于，判定所述目标区域不满足预先针对所述多目相机设定的约束条件；
所述调整模块，具体用于：
对所述目标区域进行缩小处理，得到调整后的目标区域。
15.根据权利要求14所述的装置，其特征在于，所述装置还包括：
第二确定模块，用于在判定所述视差范围小于该相机的视差搜索范围的情况下，确定所述多目图像之间的匹配点对，所述匹配点对中的点分别属于不同图像的目标区域、且对应物理世界中的同一点；
第二计算模块，用于计算所述匹配点对中的点的视差；
第二判断模块，用于判断所述视差是否小于所述多目相机的视差搜索范围；如果小于，则触发平移模块；
所述平移模块，用于对所述目标区域进行平移，得到调整后的目标区域，所述调整后的目标区域中匹配点对中的点的视差小于所述多目相机的视差搜索范围。
16.根据权利要求15所述的装置，其特征在于，所述装置还包括：
缩小模块，用于在判定所述视差不小于所述多目相机的视差搜索范围的情况下，对所述目标区域进行缩小处理，得到调整后的目标区域。
17.根据权利要求11所述的装置，其特征在于，所述第一判断模块，具体用于：
判断所述目标区域的尺寸是否大于设定的尺寸，所述设定的尺寸为：位于边界距离处的采集对象在图像中的尺寸，所述边界距离为：根据所述多目相机的内参和预设精度波动参数计算得到的；如果大于，判定所述目标区域不满足预先针对所述多目相机设定的约束条件；
所述调整模块，具体用于：对所述目标区域进行缩小处理，得到调整后的目标区域。
18.根据权利要求17所述的装置，其特征在于，所述装置还包括：
第三判断模块，用于判断所述目标区域的尺寸是否小于预设阈值，所述预设阈值与硬件性能参数相关；如果不小于，则触发裁剪模块；
所述裁剪模块，用于对所述目标区域进行裁剪处理，得到调整后的目标区域。
19.根据权利要求11所述的装置，其特征在于，所述多目图像包括所述多目相机采集的无散斑图像和有散斑图像，所述无散斑图像与所述有散斑图像的像素点之间存在对应关系；
所述识别模块，具体用于：分别识别每张所述无散斑图像中的目标区域，作为第一目标区域；
所述调整模块，具体用于：确定所述第一目标区域映射至所述有散斑图像中对应的区域，作为第二目标区域；对所述第二目标区域的位置或者尺寸进行调整，得到调整后的目标区域。
20.根据权利要求12-13或15-16任意一项所述的装置，其特征在于，所述多目图像为人脸图像，所述目标区域为人脸区域，所述匹配点对中的点为人脸特征点。
21.一种电子设备，其特征在于，包括处理器和存储器；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-10任一所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011567950.4A CN112686937B (zh) | 2020-12-25 | 一种深度图像的生成方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011567950.4A CN112686937B (zh) | 2020-12-25 | 一种深度图像的生成方法、装置及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112686937A true CN112686937A (zh) | 2021-04-20 |
| CN112686937B CN112686937B (zh) | 2024-05-31 |
Family
ID=
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114387324A (zh) * | 2021-12-22 | 2022-04-22 | 北京的卢深视科技有限公司 | 深度成像方法、装置、电子设备和计算机可读存储介质 |
Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100309292A1 (en) * | 2007-11-29 | 2010-12-09 | Gwangju Institute Of Science And Technology | Method and apparatus for generating multi-viewpoint depth map, method for generating disparity of multi-viewpoint image |
| CN102263957A (zh) * | 2011-07-25 | 2011-11-30 | 北京航空航天大学 | 一种基于搜索窗口自适应的视差估计方法 |
| US20130071009A1 (en) * | 2011-09-15 | 2013-03-21 | Broadcom Corporation | Depth range adjustment for three-dimensional images |
| US20130155180A1 (en) * | 2011-12-14 | 2013-06-20 | Microsoft Corporation | Parallax compensation |
| CN103391447A (zh) * | 2013-07-11 | 2013-11-13 | 上海交通大学 | 3d节目镜头切换中安全深度保证与调整方法 |
| US20140009462A1 (en) * | 2012-04-17 | 2014-01-09 | 3Dmedia Corporation | Systems and methods for improving overall quality of three-dimensional content by altering parallax budget or compensating for moving objects |
| US20140063018A1 (en) * | 2012-08-29 | 2014-03-06 | JVC Kenwood Corporation | Depth estimation device, depth estimation method, depth estimation program, image processing device, image processing method, and image processing program |
| JP2015186100A (ja) * | 2014-03-25 | 2015-10-22 | 株式会社Ｊｖｃケンウッド | 立体画像生成装置、立体画像生成方法、及び立体画像生成プログラム |
| CN105701820A (zh) * | 2016-01-14 | 2016-06-22 | 上海大学 | 一种基于匹配区域的点云配准方法 |
| CN106447661A (zh) * | 2016-09-28 | 2017-02-22 | 深圳市优象计算技术有限公司 | 一种深度图快速生成方法 |
| CN107316326A (zh) * | 2017-06-29 | 2017-11-03 | 海信集团有限公司 | 应用于双目立体视觉的基于边的视差图计算方法和装置 |
| CN108156442A (zh) * | 2017-12-31 | 2018-06-12 | 深圳超多维科技有限公司 | 一种立体成像处理方法、装置和电子设备 |
| US20180247422A1 (en) * | 2017-02-27 | 2018-08-30 | Stmicroelectronics Sa | Method and apparatus for depth-map estimation of a scene |
| WO2018209969A1 (zh) * | 2017-05-19 | 2018-11-22 | 成都通甲优博科技有限责任公司 | 深度图创建方法与系统及图像虚化方法与系统 |
| CN109741387A (zh) * | 2018-12-29 | 2019-05-10 | 北京旷视科技有限公司 | 立体匹配方法、装置、电子设备及存储介质 |
| US20190213746A1 (en) * | 2018-01-05 | 2019-07-11 | Panasonic Intellectual Property Management Co., Ltd. | Disparity estimation device, disparity estimation method, and program |
| CN110738731A (zh) * | 2019-10-16 | 2020-01-31 | 光沦科技(深圳)有限公司 | 一种用于双目视觉的3d重建方法和系统 |
| US20200128225A1 (en) * | 2018-10-23 | 2020-04-23 | Xi'an Jiaotong University | Depth Information Acquisition Method and Device |
| CN111225201A (zh) * | 2020-01-19 | 2020-06-02 | 深圳市商汤科技有限公司 | 视差校正方法及装置、存储介质 |
| CN111462096A (zh) * | 2020-04-03 | 2020-07-28 | 浙江商汤科技开发有限公司 | 三维目标检测方法及装置 |
Patent Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100309292A1 (en) * | 2007-11-29 | 2010-12-09 | Gwangju Institute Of Science And Technology | Method and apparatus for generating multi-viewpoint depth map, method for generating disparity of multi-viewpoint image |
| CN102263957A (zh) * | 2011-07-25 | 2011-11-30 | 北京航空航天大学 | 一种基于搜索窗口自适应的视差估计方法 |
| US20130071009A1 (en) * | 2011-09-15 | 2013-03-21 | Broadcom Corporation | Depth range adjustment for three-dimensional images |
| US20130155180A1 (en) * | 2011-12-14 | 2013-06-20 | Microsoft Corporation | Parallax compensation |
| US20140009462A1 (en) * | 2012-04-17 | 2014-01-09 | 3Dmedia Corporation | Systems and methods for improving overall quality of three-dimensional content by altering parallax budget or compensating for moving objects |
| US20140063018A1 (en) * | 2012-08-29 | 2014-03-06 | JVC Kenwood Corporation | Depth estimation device, depth estimation method, depth estimation program, image processing device, image processing method, and image processing program |
| CN103391447A (zh) * | 2013-07-11 | 2013-11-13 | 上海交通大学 | 3d节目镜头切换中安全深度保证与调整方法 |
| JP2015186100A (ja) * | 2014-03-25 | 2015-10-22 | 株式会社Ｊｖｃケンウッド | 立体画像生成装置、立体画像生成方法、及び立体画像生成プログラム |
| CN105701820A (zh) * | 2016-01-14 | 2016-06-22 | 上海大学 | 一种基于匹配区域的点云配准方法 |
| CN106447661A (zh) * | 2016-09-28 | 2017-02-22 | 深圳市优象计算技术有限公司 | 一种深度图快速生成方法 |
| US20180247422A1 (en) * | 2017-02-27 | 2018-08-30 | Stmicroelectronics Sa | Method and apparatus for depth-map estimation of a scene |
| WO2018209969A1 (zh) * | 2017-05-19 | 2018-11-22 | 成都通甲优博科技有限责任公司 | 深度图创建方法与系统及图像虚化方法与系统 |
| CN107316326A (zh) * | 2017-06-29 | 2017-11-03 | 海信集团有限公司 | 应用于双目立体视觉的基于边的视差图计算方法和装置 |
| CN108156442A (zh) * | 2017-12-31 | 2018-06-12 | 深圳超多维科技有限公司 | 一种立体成像处理方法、装置和电子设备 |
| US20190213746A1 (en) * | 2018-01-05 | 2019-07-11 | Panasonic Intellectual Property Management Co., Ltd. | Disparity estimation device, disparity estimation method, and program |
| US20200128225A1 (en) * | 2018-10-23 | 2020-04-23 | Xi'an Jiaotong University | Depth Information Acquisition Method and Device |
| CN109741387A (zh) * | 2018-12-29 | 2019-05-10 | 北京旷视科技有限公司 | 立体匹配方法、装置、电子设备及存储介质 |
| CN110738731A (zh) * | 2019-10-16 | 2020-01-31 | 光沦科技(深圳)有限公司 | 一种用于双目视觉的3d重建方法和系统 |
| CN111225201A (zh) * | 2020-01-19 | 2020-06-02 | 深圳市商汤科技有限公司 | 视差校正方法及装置、存储介质 |
| CN111462096A (zh) * | 2020-04-03 | 2020-07-28 | 浙江商汤科技开发有限公司 | 三维目标检测方法及装置 |
Non-Patent Citations (3)
| Title |
|---|
| YINGQIAN WANG; JUNGANG YANG; YU MO; CHAO XIAO; WEI AN: "《Disparity Estimation for Camera Arrays Using Reliability Guided Disparity Propagation》", 《IEEE ACCESS》, pages 21840 - 21849 * |
| 张尧;赵洋;刘博宇;迟名辰;杨进华;: "一种基于双目测距系统的亚像素精度自适应图像匹配算法", 长春理工大学学报(自然科学版), no. 02, 15 April 2016 (2016-04-15), pages 14 - 18 * |
| 李海军，潘晓露，李一民，吴刚罗明刚: "《平行双目视觉系统中深度图像的生成与分析》", 《计算机与数字工程》, vol. 34, no. 2, pages 50 - 51 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114387324A (zh) * | 2021-12-22 | 2022-04-22 | 北京的卢深视科技有限公司 | 深度成像方法、装置、电子设备和计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11010924B2 (en) | Method and device for determining external parameter of stereoscopic camera | |
| KR100776649B1 (ko) | 깊이 정보 기반 스테레오/다시점 영상 정합 장치 및 방법 | |
| CN107392958B (zh) | 一种基于双目立体摄像机确定物体体积的方法及装置 | |
| CN112634374B (zh) | 双目相机的立体标定方法、装置、系统及双目相机 | |
| WO2021196548A1 (zh) | 距离确定方法、装置及系统 | |
| CN106981078B (zh) | 视线校正方法、装置、智能会议终端及存储介质 | |
| US9025009B2 (en) | Method and systems for obtaining an improved stereo image of an object | |
| CN105069804B (zh) | 基于智能手机的三维模型扫描重建方法 | |
| CN112116639B (zh) | 一种图像配准方法、装置及电子设备和存储介质 | |
| JP5812716B2 (ja) | 画像処理装置および方法 | |
| US9430834B2 (en) | Visual perception matching cost on binocular stereo images | |
| CN109520480B (zh) | 基于双目立体视觉的测距方法及测距系统 | |
| CN110602474A (zh) | 一种图像视差的确定方法、装置及设备 | |
| CN105701787B (zh) | 基于置信度的深度图融合方法 | |
| DK3189493T3 (en) | PERSPECTIVE CORRECTION OF DIGITAL PHOTOS USING DEPTH MAP | |
| KR100943635B1 (ko) | 디지털카메라의 이미지를 이용한 디스패리티 맵 생성 장치 및 방법 | |
| TW201724018A (zh) | 深度影像處理方法及深度影像處理系統 | |
| TWI571099B (zh) | 深度估測裝置及方法 | |
| CN112686937A (zh) | 一种深度图像的生成方法、装置及设备 | |
| CN112686937B (zh) | 一种深度图像的生成方法、装置及设备 | |
| CN111553850B (zh) | 基于双目立体视觉的三维信息获取方法和装置 | |
| CN114387324A (zh) | 深度成像方法、装置、电子设备和计算机可读存储介质 | |
| CN113344988B (zh) | 立体匹配方法、终端及存储介质 | |
| CN111630569B (zh) | 双目匹配的方法、视觉成像装置及具有存储功能的装置 | |
| CN115294187B (zh) | 深度相机的图像处理方法、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |