CN110213491B - 一种对焦方法、装置及存储介质 - Google Patents

Abstract

本发明公开了一种对焦方法、装置及存储介质。其中，方法包括：通过电子设备的第一采集模组获取第一三维图像数据；所述第一三维图像数据包括第一深度数据，所述第一深度数据用于表征待拍摄对象与所述第一采集模组之间的第一距离；基于所述第一深度数据，对所述电子设备的第二采集模组进行对焦，以使所述第二采集模组采集到的所述待拍摄对象的二维图像满足预设条件。

Description

一种对焦方法、装置及存储介质

技术领域

本发明涉及图像处理技术，具体涉及一种对焦方法、装置及存储介质。

背景技术

随着增强现实(AR，Augmented Reality)技术的不断发展，用户可以利用AR设备看到真实环境和虚拟物体进行叠加的场景；其中，AR设备可以为AR眼镜。通常，AR眼镜可以包含一颗深度摄像头和一颗RGB摄像头，由于RGB摄像头的镜头是定焦(FF，Fixed Focus)镜头，而FF镜头的景深较小，导致RGB摄像头拍摄的二维图像较模糊，进而降低用户体验。

发明内容

有鉴于此，本发明实施例提供了一种对焦方法、装置及存储介质。

为达到上述目的，本发明的技术方案是这样实现的：

本发明实施例提供一种对焦方法，所述方法包括：

通过电子设备的第一采集模组获取第一三维图像数据；所述第一三维图像数据包括第一深度数据，所述第一深度数据用于表征待拍摄对象与所述第一采集模组之间的第一距离；

基于所述第一深度数据，对所述电子设备的第二采集模组进行对焦，以使所述第二采集模组采集到的所述待拍摄对象的二维图像满足预设条件。

上述方案中，所述第一三维图像数据还包括二维图像数据，所述二维图像数据包含与所述待拍摄对象处于同一位置的参考物体；所述方法还包括：

基于所述二维图像数据，对所述参考物体进行图像识别，得到识别结果；

当所述识别结果与预设图案相匹配时，基于所述参考物体在世界坐标系的二维坐标，确定所述待拍摄对象的位置，以得到所述第一距离。

上述方案中，所述通过电子设备的第一采集模组获取第一三维图像数据之前，所述方法还包括：

通过所述第一采集模组获取第二三维图像数据；所述第二三维图像数据包括第二深度数据，所述第二深度数据用于表征位于所述第一采集模组的正前方位置的参照物与所述第一采集模组之间的第二距离；

基于所述第二深度数据，对所述第二采集模组进行对焦，以确定所述第二采集模组在初始状态的焦距。

上述方案中，所述通过所述第一采集模组获取第二三维图像数据之前，所述方法还包括：

通过所述电子设备的第三采集模组采集所述参照物的图像；

基于所述参照物的图像，确定所述第三采集模组在世界坐标系中的位置信息；

基于所述位置信息，确定所述第一采集模组的正前方位置，以得到所述第二距离。

上述方案中，所述方法还包括：

当获取M个第一深度数据时，判断是否需要基于获取的M个第一深度数据对所述第二采集模组进行对焦；M为大于1的正整数；

当确定需要基于获取的M个第一深度数据对所述第二采集模组进行对焦时，确定所述第二采集模组的焦点的偏移量；

利用确定的焦点的偏移量，对所述第二采集模组进行对焦。

上述方案中，所述判断是否需要基于获取的M个第一深度数据对所述第二采集模组进行对焦，包括：

按照预设时间间隔，从获取的M个第一深度数据中选取N个深度数据；N为正整数，N小于M；

将所述N个深度数据中相邻两个深度数据对应的距离求差，得到数值；

判断所述数值是否未落入预设数值范围；

当确定所述数值未落入预设数值范围时，确定需要基于获取的M个第一深度数据对所述第二采集模组进行对焦。

上述方案中，所述判断是否需要基于获取的M个第一深度数据对所述第二采集模组进行对焦，包括：

针对所述M个第一深度数据中每个深度数据，从预设距离范围集合中查找与相应深度数据匹配的距离范围；

判断是否查找到与相应深度数据匹配的距离范围；

当确定查找到与相应深度数据匹配的距离范围时，确定需要基于获取的M个第一深度数据对所述第二采集模组进行对焦。

本发明实施例提供一种对焦装置，包括：

获取单元，用于通过电子设备的第一采集模组获取第一三维图像数据；所述第一三维图像数据包括第一深度数据，所述第一深度数据用于表征待拍摄对象与所述第一采集模组之间的第一距离；

调整单元，用于基于所述第一深度数据，对所述电子设备的第二采集模组进行对焦，以使所述第二采集模组采集到的所述待拍摄对象的二维图像满足预设条件。

上述方案中，所述第一三维图像数据还包括二维图像数据，所述二维图像数据包含与所述待拍摄对象处于同一位置的参考物体；所述装置还包括：识别单元，用于基于所述二维图像数据，对所述参考物体进行图像识别，得到识别结果；当所述识别结果与预设图案相匹配时，基于所述参考物体在世界坐标系的二维坐标，确定所述待拍摄对象的位置，以得到所述第一距离。

上述方案中，所述获取单元，还用于通过所述第一采集模组获取第二三维图像数据；所述第二三维图像数据包括第二深度数据，所述第二深度数据用于表征位于所述第一采集模组的正前方位置的参照物与所述第一采集模组之间的第二距离；所述调整单元，还用于基于所述第二深度数据，对所述第二采集模组进行对焦，以确定所述第二采集模组在初始状态的焦距。

上述方案中，所述装置还包括：确定单元，用于通过所述电子设备的第三采集模组采集所述参照物的图像；基于所述参照物的图像，确定所述第三采集模组在世界坐标系中的位置信息；基于所述位置信息，确定所述第一采集模组的正前方位置，以得到所述第二距离。

上述方案中，所述调整单元，还用于：当获取M个第一深度数据时，判断是否需要基于获取的M个第一深度数据对所述第二采集模组进行对焦；M为大于1的正整数；当确定需要基于获取的M个第一深度数据对所述第二采集模组进行对焦时，确定所述第二采集模组的焦点的偏移量；利用确定的焦点的偏移量，对所述第二采集模组进行对焦。

上述方案中，所述调整单元，具体用于：按照预设时间间隔，从采集的M个第一深度数据中选取N个深度数据；N为正整数，N小于M；将所述N个深度数据中相邻两个深度数据对应的距离求差，得到数值；判断所述数值是否未落入预设数值范围；当确定所述数值未落入预设数值范围时，确定需要基于获取的M个第一深度数据对所述第二采集模组进行对焦。

上述方案中，所述调整单元，具体用于：针对所述M个第一深度数据中每个深度数据，从预设距离范围集合中查找与相应深度数据匹配的距离范围；判断是否查找到与相应深度数据匹配的距离范围；当确定查找到与相应深度数据匹配的距离范围时，确定需要基于获取的M个第一深度数据对所述第二采集模组进行对焦。

本发明实施例提供一种焦距调整装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上面所述任一项对焦方法的步骤。

本发明实施例提供一种计算机存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现上面所述任一项对焦方法的步骤。

本发明实施例提供的对焦方法、装置及存储介质，通过电子设备的第一采集模组获取第一三维图像数据；所述第一三维图像数据包括第一深度数据，所述第一深度数据用于表征待拍摄对象与所述第一采集模组之间的第一距离；基于所述第一深度数据，对所述电子设备的第二采集模组进行对焦，以使所述第二采集模组采集到的所述待拍摄对象的二维图像满足预设条件。采用本发明实施例提供的技术方案，能够利用所述第一采集模组获取的第一深度数据，对所述第二采集模组进行对焦，从而能够使所述第二采集模组采集到的所述待拍摄对象的二维图像满足预设条件，进而能够提高用户体验。

附图说明

图1为本发明实施例电子设备的组成结构示意图；

图2为本发明实施例对焦方法的实现流程示意图；

图3为本发明实施例参照物与第一采集模组的相对位置关系的示意图；

图4为本发明实施例反差对焦的实现原理示意图；

图5、图6为本发明实施例相位对焦的实现原理示意图；

图7为本发明实施例对AR眼镜的RGB摄像头进行对焦的实现流程示意图；

图8为本发明实施例焦距调整装置的组成结构示意图一；

图9为本发明实施例焦距调整装置的组成结构示意图二。

具体实施方式

下面结合附图及具体实施例对本发明作进一步详细的说明。

相关技术中，随着增强现实(AR，Augmented Reality)技术的不断发展，用户可以利用AR设备看到真实环境和虚拟物体进行叠加的场景；其中，AR设备可以为AR眼镜。其中，AR技术，可以是指一种实时计算摄影机影像位置及角度并加上相应图像、视频、三维(3D，three Dimensions)模型的技术，其目标是在屏幕上把虚拟世界呈在现实世界并进行互动。通常，AR眼镜可以包含一颗深度摄像头和一颗RGB摄像头，由于RGB摄像头的镜头是FF镜头，而FF镜头的景深较小，从而导致RGB摄像头拍摄的二维图像较模糊，进而降低用户体验。

上述AR眼镜存在的缺陷包括：一、AR眼镜的RGB摄像头使用FF镜头，导致镜头景深范围窄，一般景深只有0.3-0.5m；如果摄像头模组以近距离调焦，则拍摄近处清晰，远处不清晰；反之，摄像头模组以远距离调焦，则拍摄远处清晰，则近处不清晰；二、AR眼镜的深度摄像头进行三维建模时，不同拍摄距离的物体的边缘精度会有差异；三、利用AR眼镜拍照时，只能根据头部转动和虚拟鼠标选择拍照位置，定位不精确。

基于此，本发明实施例中，通过电子设备的第一采集模组获取第一三维图像数据；所述第一三维图像数据包括第一深度数据，所述第一深度数据用于表征待拍摄对象与所述第一采集模组之间的第一距离；基于所述第一深度数据，对所述电子设备的第二采集模组进行对焦，以使所述第二采集模组采集到的所述待拍摄对象的二维图像满足预设条件。

图1为本发明实施例电子设备的组成结构示意图；如图1所示，该电子设备可以包括深度摄像头11、RGB摄像头12、跟踪摄像头13、跟踪摄像头14、显示模组15、显示模组16、建模单元(图1中未示出)；其中，深度摄像头11可以采用一颗飞行时间(TOF，Time Of Flight)模组，RGB摄像头可以采用一颗自动对焦(AF，Automatic Focus)的模组；其中，

深度摄像头11，用于获取第一三维图像数据；所述第一三维图像数据包括第一深度数据，所述第一深度数据用于表征待拍摄对象与所述深度摄像头11之间的第一距离；还用于获取第二三维图像数据；所述第二三维图像数据包括第二深度数据，所述第二深度数据用于表征位于所述深度摄像头11的正前方位置的参照物与所述深度摄像头11之间的第二距离。

RGB摄像头12，用于基于所述第一深度数据，对自身进行对焦，以采集所述待拍摄对象的清晰的RGB图像；还用于基于所述第二深度数据，对自身进行对焦，以确定在初始状态的焦距。

跟踪摄像头13和/或跟踪摄像头14，用于采集位于深度摄像头11的正前方位置的参照物的图像；基于所述参照物的图像，确定自身在世界坐标系中的位置信息；相应地，深度摄像头11，还用于基于所述位置信息，确定深度摄像头11的正前方位置，以得到所述第二距离。

建模单元，用于对RGB摄像头12采集的多个RGB图像和深度摄像头11采集的多个第一深度数据进行三维建模得到三维建模后的图像。在三维建模过程中，RGB摄像头12还用于基于深度摄像头11获取的多个第一深度数据，对自身进行对焦。

显示模组15和/或显示模组16，用于显示三维建模后的图像。

图2为本发明实施例基于图像的处理方法的实现流程示意图；如图2所示，所述方法包括：

步骤201：通过电子设备的第一采集模组获取第一三维图像数据；所述第一三维图像数据包括第一深度数据，所述第一深度数据用于表征待拍摄对象与所述第一采集模组之间的第一距离。

其中，所述电子设备具体可以为AR设备，比如AR眼镜。所述第一采集模组可以是指能够采集深度信息的采集模组，具体可通过以下至少之一实现：3D结构光摄像模组、TOF摄像模组。这里，所述第一采集模组可以为图1中的深度摄像头11。

这里，通过所述第一采集模组获取所述第一深度数据之前，可以利用所述第一采集模组具备的手势识别功能，确定待拍摄对象的位置。

实际应用时，用户可以使用手指在所述待拍摄对象的位置进行点击，利用所述第一采集模组对用户的点击操作进行拍摄，对采集的图像进行图像识别，当识别出用户的手指时，利用用户手指在世界坐标系中的二维坐标，确定所述待拍摄对象的位置。

基于此，在一实施例中，所述三维图像数据还包括二维图像数据，所述二维图像数据包含与所述待拍摄对象处于同一位置的参考物体；所述方法还包括：基于所述二维图像数据，对所述参考物体进行图像识别，得到识别结果；判断所述识别结果是否与预设图像相匹配；当确定所述识别结果与预设图像相匹配时，基于所述参考物体在世界坐标系的二维坐标，确定所述待拍摄对象的位置，以得到所述第一距离。

其中，所述参考物体包括但不限于用户的手指，比如，所述参考物体还可以是用户手持的写字笔等等。

举例来说，以用户手指为例，用户可以使用手指对待拍摄对象进行点击，通过所述第一采集模组对用户的点击操作进行拍摄，得到采集的二维图像，并对采集的二维图像进行图像识别，当识别出用户的手指时，利用用户手指在世界坐标系中的二维坐标，确定用户手指所指向的平面即对焦面在世界坐标系中的坐标，从而确定出所述待拍摄对象的位置。

需要说明的是，这里，可以利用所述第一采集模组具备的手势识别功能，对用户的手指的点击操作进行识别，以确定所述待拍摄对象的位置，在无法通过用户手指对AR眼镜内部显示模组进行点击操作的情况下，能够利用用户手指定位待拍摄对象的位置。由于用户可以使用手指对所述待拍摄对象的任意位置进行点击，因此相对于相关技术中通过头部转动和虚拟鼠标定位的方式，定位较准确。

实际应用时，为了能够实现对所述电子设备的第二采集模组的焦距只进行一次调整，便完成对焦，在所述第一采集模组对所述待拍摄对象进行拍摄之前，需要先确定所述电子设备的第二采集模组在初始状态的焦距。

具体地，可以利用所述第一采集模组采集的位于自身正前方位置的参照物与所述第一采集模组之间的第二距离，先对所述电子设备的第二采集模组的焦距进行一次调整，以得到所述第二采集模组在初始状态的焦距。其中，所述第二采集模组可以是指能够采集二维图像的模组，具体可以为普通摄像头、红外摄像头等等。这里，所述第二采集模组可以为图1中的RGB摄像头12。

基于此，在一实施例中，所述通过电子设备的第一采集模组获取第一三维图像数据之前，所述方法还包括：通过所述第一采集模组获取第二三维图像数据；所述第二三维图像数据包括第二深度数据，所述第二深度数据用于表征位于所述第一采集模组的正前方位置的参照物与所述第一采集模组之间的第二距离；基于所述第二深度数据，对所述第二采集模组进行对焦，以确定所述第二采集模组在初始状态的焦距。

其中，所述正前方位置可以是指所述参照物所在平面与所述第一采集模组所在平面垂直。

举例来说，如图3所示，所述参照物为书本31，所述第一采集模组为深度摄像头32，深度摄像头32在AR眼镜的中间位置，书本31所在平面与深度摄像头32所在平面垂直。

这里，所述第一采集模组获取所述第二距离之前，可以将所述第一采集模组设置在所述电子设备的中间位置，并在所述第一采集模组的正前方位置设置所述参照物，从而可以利用所述参照物和所述电子设备的第二采集模组或第三采集模组进行标定，以确定用户的头部姿态。当确定用户头部相对于设定的初始位置未发生改变时，也就是确定出所述第一采集模组的正前方位置时，所述第一采集模组可以利用向参照物发射的光信号和返回的光信号，并结合预设图像中心区域，得到所述第二距离。所述预设图像中心区域对应的像素可以根据实际情况进行调整，比如，当第一采集模组的分辨率比较低时，所述预设图像中心区域可以为50×50像素的区域。

实际应用时，如果环境光较弱，则可以利用所述电子设备的第三采集模组确定所述第一采集模组的正前方位置，如果环境光较强，则可以利用所述电子设备的第二采集模组或所述第三采集模组确定所述第一采集模组的正前方位置。比如，可以利用所述参照物和所述电子设备的第三采集模组进行标定，基于所述第三采集模组在世界坐标系中的坐标，确定用户的头部姿态相对于设定的初始位置是否发生改变，当确定未发生改变时，可以基于所述第三采集模组在世界坐标系中的坐标，确定所述第一采集模组的正前方位置。

基于此，在一实施例中，所述通过所述第一采集模组获取第二三维图像数据之前，所述方法还包括：通过所述电子设备的第三采集模组采集所述参照物的图像；基于所述参照物的图像，确定所述第三采集模组在世界坐标系中的位置信息；基于所述位置信息，确定所述第一采集模组的正前方位置，以得到所述第二距离。

其中，所述第三采集模组可以是指能够采集二维图像的模组，具体可以为普通摄像头等等。

需要说明的是，这里，在环境光较弱的情况下，可以利用所述第三采集模组，如图1中的跟踪摄像头13和/或跟踪摄像头14，实现所述参照物和所述电子设备的第三采集模组进行标定，以确定用户的头部姿态，从而基于用户的头部姿态确定所述第一采集模组的正前方位置。在环境光较强的情况下，可以利用所述第二采集模组，如图1中的RGB摄像头12，实现所述参照物和所述电子设备的第三采集模组进行标定，以确定用户的头部姿态，从而基于用户的头部姿态确定所述第一采集模组的正前方位置。

步骤202：基于所述第一深度数据，对所述电子设备的第二采集模组进行对焦，以使所述第二采集模组采集到的所述待拍摄对象的二维图像满足预设条件。

其中，所述第二采集模组可以是指能够采集二维图像的模组，这里，所述第二采集模组可以为图1中的RGB摄像头12。所述满足预设条件可以是指所述第二采集模组采集所述待拍摄对象的二维图像较清晰。

这里，调焦方式可以包括反差对焦和相位对焦方式。图4为反差对焦的实现原理示意图，如图4所示，反差对焦可以是指：相机驱动镜头，并通过图像传感器实时获取图像，并传递给图像处理器，然后计算反差量，对比筛选出反差最大的，并根据反差量最大的值确定是否合焦，该对焦方式能够获取非常高的对焦精度。图5、图6为相位对焦的实现原理示意图，相位对焦可以是指：在感光元件上预留出一些遮蔽像素点，以进行相位检测，通过像素之间的距离及其变化等来决定对焦的偏移值从而实现准确对焦。如图5、6所示，A路入射光线经过镜头51在成像面上成像并在自动对焦传感器52上形成清晰投影，B路入射光线经过镜头51在成像面成像但未在自动对焦传感器53上形成清晰投影，这样，自动对焦传感器52和自动对焦传感器53上的两个投影位置之间的偏移量形成相位差，根据相位差调整焦点的距离，使两个成像位置之间的距离与标准距离相等，从而实现合焦。

需要说明的是，这里，对所述待拍摄对象进行拍摄过程中，当所述待拍摄对象与所述第一采集模组之间的第一距离发生变化时，可以采用反差对焦或相位对焦，检测拍摄前后两帧图像的像素的偏移量，从而能够基于所述偏移量，确定所述第二采集模组的焦点的偏移量，进而对所述第二采集模组进行对焦，以实现合焦，从而使所述第二采集模组采集清晰的二维图像，从而提高用户体验。

实际应用时，还可以利用所述第二采集模组采集的多个二维图像和所述第一采集模组获取的多个第一深度数据，进行三维建模。在进行三维建模的过程中，如果建模得到的图像不清晰时，还可以对所述第二采集模组进行对焦，以使所述第二采集模组继续采集清晰的二维图像，从而保证建模时图像的清晰度。

基于此，在一实施例中，所述方法还包括：当获取M个第一深度数据时，判断是否需要基于获取的M个第一深度数据对所述第二采集模组进行对焦；M为大于1的正整数；当确定需要基于获取的M个第一深度数据对所述第二采集模组进行对焦时，确定所述第二采集模组的焦点的偏移量；利用确定的焦点的偏移量，对所述第二采集模组进行对焦。

这里，可以在三维建模过程中通过所述第一采集模组获取M个第一深度数据。进行三维建模过程中对所述第二采集模组进行对焦的过程与上述拍摄过程中对所述第二采集模组进行对焦的过程相同，在此不再赘述。

这里，可以利用所述第二采集模组采集的多个二维图像和所述第一采集模组获取的多个第一深度数据，并结合预设算法，进行三维建模。所述预设算法包括但不限于三维点云重建、三维模型网格细分、三维模型网格简化、双目视觉重建等等。

实际应用时，考虑到所述第一采集模组可以实时获取所述第一深度数据，而基于第一深度数据对所述第二采集模组进行对焦可能存在一定的延迟，因此，可以设置一个预设时间间隔，比如，每隔2s，从所述多个第一深度数据中选取一个深度数据，并将选取的相邻两个深度数据对应的距离的差值与预设数值范围进行比较，当确定所述差值在预设数值范围内时，不需要对所述第二采集模组进行对焦，当确定所述差值未在预设数值范围内时，需要对所述第二采集模组进行对焦。

基于此，在一实施例中，所述判断是否需要对所述第二采集模组进行对焦，包括：按照预设时间间隔，从所述M个第一深度数据中选取N个深度数据；N为正整数，N小于M；将所述N个深度数据中相邻两个深度数据对应的距离求差，得到数值；判断所述数值是否未落入预设数值范围；当确定所述数值未落入预设数值范围时，确定需要对所述第二采集模组进行对焦。

其中，预设数值范围可以根据所述第二采集模组的镜头的景深范围设定。

举例来说，假设预设时间间隔设置为2s，预设数值范围设置为0到0.2m，每隔2s从深度摄像头采集的多个第一距离中选取一个距离，将选取的相邻两个距离求差，得到差值，当所述差值在预设数值范围内时，不需要重新对焦；当所述差值未在预设数值范围内时，需要重新对焦。假设第一个2s选取的距离0.6m，下第二个2s选取的距离0.7m，两个距离的差值为0.1m，由于该差值落入预设数值范围，因此不需要重新对焦。表1可以是所述第二采集模组的镜头的景深表。如表1所示，包括物距(Object Distance)、焦距偏移(Lens Shift)、远景距离(Far Field)、近景距离(Near Field)；其中，可以利用远景距离和近景距离的差值，得到镜头的景深。

表1

实际应用时，如果所述第一采集模组获取的多个第一深度数据对应的距离相差较大时，可以设置多个预设距离范围，当从多个预设距离范围中未查找到与相应深度数据匹配的距离范围时，不需要对所述第二采集模组进行对焦，当从多个预设距离范围中查找到与相应深度数据匹配的距离范围时，需要对所述第二采集模组进行对焦。

基于此，在一实施例中，所述判断是否需要对所述第二采集模组进行对焦，包括：针对所述M个第一深度数据中每个深度数据，从预设距离范围集合中查找与相应深度数据匹配的距离范围；判断是否查找到与相应深度数据匹配的距离范围；当确定查找到与相应深度数据匹配的距离范围时，确定需要基于获取的M个第一深度数据对所述第二采集模组进行对焦。

其中，预设距离范围可以根据所述第二采集模组的镜头的景深范围设定。

举例来说，假设设置的多个距离范围包括0-0.3m、0.3-0.5m、1m-1.5m，假设深度摄像头采集的第一距离为0.8m，由于未能够查找到与0.8m匹配的距离范围，因此不需要对所述第二采集模组进行对焦。假设深度摄像头采集的第一距离为0.4m，由于能够查找到与0.4m匹配的距离范围即0.3-0.5m，因此需要对所述第二采集模组进行对焦。

需要说明的是，进行三维建模的过程中，能够基于所述第一采集模组获取的多个第一深度数据，对所述第二采集模组进行对焦，从而保证建模的图像较清晰。

采用本发明实施例的技术方案，在拍摄过程中，能够利用所述第一采集模组获取的第一深度数据，对所述第二采集模组进行对焦，从而保证所述第二采集模组采集到的所述待拍摄对象的二维图像较清晰，进而提高用户体验。

同时，在拍摄过程中，当所述第一采集模组再次获取的第一深度数据发生改变时，即当所述待拍摄对象与所述第一采集模组之间的距离发生改变时，能够使所述第二采集模组的焦距随着所述距离的变化进行调整，进而保证所述第二采集模组在不同的拍摄距离下均能采集到清晰的二维图像。

另外，利用所述第一采集模组能够采集深度信息的功能实现自动对焦，能够节省额外的对焦器件。

下面结合具体实施例对本发明实施例基于图像的处理方法进行详细说明。

图7为本发明实施例对AR眼镜的RGB摄像头进行对焦的实现流程示意图，所述方法包括：

步骤701：利用跟踪摄像头获取用户头部姿态。

步骤701之前，开启AR眼镜的RGB摄像头、深度摄像头、跟踪摄像头的拍摄功能。

这里，为了实现随着待拍摄对象与深度摄像头之间的距离变化对RGB摄像头的焦距进行一次调整，以完成对焦，在所述第一采集模组对所述待拍摄对象进行拍摄之前，需要确定RGB摄像头在初始状态的焦距。

具体地，可以利用所述深度摄像头采集的位于自身正前方位置的参照物与自身之间的第二距离，先对RGB摄像头的焦距进行一次调整，得到焦距的初始位置。这里，在得到RGB摄像头在初始状态的焦距之前，可以利用跟踪摄像头获取用户头部姿态，利用用户头部姿态确定深度摄像头的正前方位置。

步骤702：根据头部姿态确定深度摄像头的正前方位置。

步骤703：深度摄像头采集自身正前方位置的参照物与自身的第二距离。

如图3所示，所述参照物为书本31，所述第一采集模组为深度摄像头32，深度摄像头32在AR眼镜的中间位置，书本31所在平面与深度摄像头32所在平面垂直。

步骤704：根据第二距离调整RGB摄像头的焦距。

这里，根据第二距离调整RGB摄像头的焦距后，可以确定RGB摄像头在初始状态的焦距，这样，后续拍摄过程中可以进行一次调整就可以实现对焦。

这里，步骤701至704为拍摄前对RGB摄像头进行对焦的实现过程。

步骤705：用户使用食指指向待拍摄对象。

步骤706：深度摄像头识别到手指，将手指指向的平面作为拍摄位置。

步骤707：深度摄像头采集待拍摄对象与自身的第一距离。

步骤708：根据第一距离调整RGB摄像头的焦距。

这里，可以采用反差对焦或相位对焦，基于所述待拍摄对象与所述第一采集模组之间的第一距离，对所述第二采集模组进行对焦，以采集清晰的RGB图像。

这里，步骤705至708为拍摄过程中对RGB摄像头进行对焦的实现过程。

为实现本发明实施例基于图像的处理方法，本发明实施例还提供一种基于图像的处理装置。图8为本发明实施例的基于图像的处理装置的组成结构示意图；如图8所示，所述装置包括：

获取单元81，用于通过电子设备的第一采集模组获取第一三维图像数据；所述第一三维图像数据包括第一深度数据，所述第一深度数据用于表征待拍摄对象与所述第一采集模组之间的第一距离；

调整单元82，用于基于所述第一深度数据，对所述电子设备的第二采集模组进行对焦，以使所述第二采集模组采集到的所述待拍摄对象的二维图像满足预设条件。

其中，所述电子设备具体可以为AR设备，比如AR眼镜。所述第一采集模组可以是指能够采集深度信息的采集模组，具体可通过以下至少之一实现：深度摄像头、3D结构光摄像模组、TOF摄像模组。

实际应用时，用户可以使用手指在所述待拍摄对象的位置进行点击，利用所述第一采集模组对用户的点击操作进行拍摄，得到采集的图像，并对采集的图像进行图像识别，当识别出用户的手指时，利用用户手指在世界坐标系中的二维坐标，确定所述待拍摄对象的位置。

基于此，在一实施例中，所述第一三维图像数据还包括二维图像数据，所述二维图像数据包含与所述待拍摄对象处于同一位置的参考物体；所述装置还包括：识别单元，用于基于所述二维图像数据，对所述参考物体进行图像识别，得到识别结果；判断所述识别结果是否与预设图像相匹配；当确定所述识别结果与预设图像相匹配时，基于所述参考物体在世界坐标系的二维坐标，确定所述待拍摄对象的位置，以得到所述第一距离。

其中，所述参考物体包括但不限于用户的手指，比如，所述参考物体还可以是用户手持的写字笔等等。

实际应用时，为了实现对所述电子设备的第二采集模组的焦距进行一次调整，便完成对焦，在所述第一采集模组对所述待拍摄对象进行拍摄之前，需要先确定所述电子设备的第二采集模组在初始状态的焦距。

基于此，在一实施例中，所述获取单元81，还用于通过所述第一采集模组获取第二三维图像数据；所述第二三维图像数据包括第二深度数据，所述第二深度数据用于表征位于所述第一采集模组的正前方位置的参照物与所述第一采集模组之间的第二距离；所述调整单元82，还用于基于所述第二深度数据，对所述第二采集模组进行对焦，以确定所述第二采集模组在初始状态的焦距。

其中，所述正前方位置可以是指所述参照物所在平面与所述第一采集模组所在平面垂直。

实际应用时，如果环境光较弱，则可以利用所述电子设备的第三采集模组确定所述第一采集模组的正前方位置，如果环境光较强，则可以利用所述电子设备的第二采集模组或所述第三采集模组确定所述第一采集模组的正前方位置。比如，可以利用所述参照物和所述电子设备的第三采集模组进行标定，基于所述第三采集模组在世界坐标系中的坐标，确定用户的头部姿态相对于设定的初始位置是否发生改变，当确定未发生改变时，可以基于所述第三采集模组在世界坐标系中的坐标，确定所述第一采集模组的正前方位置。

基于此，在一实施例中，所述通过所述第一采集模组获取第二三维图像数据之前，所述装置还包括：确定单元，用于通过所述电子设备的第三采集模组采集对所述参照物的图像；基于所述参照物的图像，确定所述第三采集模组在世界坐标系中的位置信息；基于所述位置信息，确定所述第一采集模组的正前方位置，以得到所述第二距离。

实际应用时，还可以利用所述第二采集模组采集的多个二维图像和所述第一采集模组采集的多个深度数据，进行三维建模。在进行三维建模的过程中，如果建模得到的图像不清晰时，还可以对所述第二采集模组进行对焦，以使所述第二采集模组继续采集较清晰的二维图像，从而保证建模时图像的清晰度。

基于此，在一实施例中，所述调整单元82，还用于：当获取M个第一深度数据时，判断是否需要基于获取的M个第一深度数据对所述第二采集模组进行对焦；M为大于1的正整数；当确定需要基于获取的M个第一深度数据对所述第二采集模组进行对焦时，确定所述第二采集模组的焦点的偏移量；利用确定的焦点的偏移量，对所述第二采集模组进行对焦。

实际应用时，考虑到所述第一采集模组可以实时获取所述第一深度数据，而基于第一深度数据对所述第二采集模组进行对焦可能存在一定的延迟，因此，可以设置一个预设时间间隔，比如，每隔2s，从所述多个第一深度数据中选取一个深度数据，并将选取的相邻两个深度数据对应的距离的差值与预设数值范围进行比较，当确定所述差值在预设数值范围内时，不需要对所述第二采集模组进行对焦，当确定所述差值未在预设数值范围内时，需要对所述第二采集模组进行对焦。

基于此，在一实施例中，所述调整单元82，具体用于：按照预设时间间隔，从所述M个第一深度数据中选取N个深度数据；N为正整数，N小于M；将所述N个深度数据中相邻两个深度数据对应的距离求差，得到数值；判断所述数值是否未落入预设数值范围；当确定所述数值未落入预设数值范围时，确定需要对所述第二采集模组进行对焦。

其中，预设数值范围可以根据所述第二采集模组的镜头的景深范围设定。

实际应用时，如果所述第一采集模组获取的多个第一深度数据对应的距离相差较大时，可以设置多个预设距离范围，当从多个预设距离范围中未查找到与相应深度数据匹配的距离范围时，不需要对所述第二采集模组进行对焦，当从多个预设距离范围中查找到与相应深度数据匹配的距离范围时，需要对所述第二采集模组进行对焦。

基于此，在一实施例中，所述调整单元82，具体用于：针对所述M个第一深度数据中每个深度数据，从预设距离范围集合中查找与相应深度数据匹配的距离范围；判断是否查找到与相应深度数据匹配的距离范围；当确定查找到与相应深度数据匹配的距离范围时，确定需要基于获取的M个第一深度数据对所述第二采集模组进行对焦。

其中，预设距离范围可以根据所述第二采集模组的镜头的景深范围设定。

实际应用时，所述获取单元81由所述焦距调整装置中的通信接口实现；所述调整单元82、识别单元、确定单元可由所述焦距调整装置中的处理器实现。

需要说明的是：上述实施例提供的装置在进行焦距调整时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的焦距调整装置与对焦方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

本发明实施例还提供了一种焦距调整装置，如图9所示，该装置90包括：通信接口91、处理器92、存储器93；其中，

通信接口91，能够与其它设备进行信息交互；

处理器92，与所述通信接口91连接，用于运行计算机程序时，执行上述智能设备侧一个或多个技术方案提供的方法。而所述计算机程序存储在存储器93上。

当然，实际应用时，焦距调整装置90中的各个组件通过总线系统94耦合在一起。可理解，总线系统94用于实现这些组件之间的连接通信。总线系统94除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图9中将各种总线都标为总线系统94。

本申请实施例中的存储器93用于存储各种类型的数据以支持焦距调整装置90的操作。这些数据的示例包括：用于在焦距调整装置90上操作的任何计算机程序。

上述本申请实施例揭示的方法可以应用于所述处理器92中，或者由所述处理器92实现。所述处理器92可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过所述处理器92中的硬件的集成逻辑电路或者软件形式的指令完成。上述的所述处理器92可以是通用处理器、数字信号处理器(DSP，Digital SignalProcessor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。所述处理器92可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器93，所述处理器92读取存储器93中的信息，结合其硬件完成前述方法的步骤。

在示例性实施例中，焦距调整装置90可以被一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，ProgrammableLogic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)、通用处理器、控制器、微控制器(MCU，Micro Controller Unit)、微处理器(Microprocessor)、或者其他电子元件实现，用于执行前述方法。

可以理解，本申请实施例的存储器93可以是易失性存储器或者非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，ferromagnetic random access memory)、快闪存储器(FlashMemory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random Access Memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，Synchronous Dynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random AccessMemory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random AccessMemory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本申请实施例描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。

需要说明的是：“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以全部集成在一个处理模块中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。

本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。

本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (14)

1.一种对焦方法，其特征在于，包括：

通过电子设备的第一采集模组获取第一三维图像数据；所述第一三维图像数据包括第一深度数据，所述第一深度数据用于表征待拍摄对象与所述第一采集模组之间的第一距离；

基于所述第一深度数据，对所述电子设备的第二采集模组进行对焦，以使所述第二采集模组采集到的所述待拍摄对象的二维图像满足预设条件；

其中，所述第一三维图像数据还包括二维图像数据，所述二维图像数据包含与所述待拍摄对象处于同一位置的参考物体；所述方法还包括：

当用户通过所述参考物体对所述待拍摄对象进行点击操作时，通过所述第一采集模组对用户的点击操作进行拍摄，得到采集的二维图像数据；

基于所述二维图像数据，对所述参考物体进行图像识别，得到识别结果；

当所述识别结果与预设图案相匹配时，基于所述参考物体在世界坐标系的二维坐标，确定所述待拍摄对象的位置，以得到所述第一距离。

2.根据权利要求1所述的方法，其特征在于，所述通过电子设备的第一采集模组获取第一三维图像数据之前，所述方法还包括：

通过所述第一采集模组获取第二三维图像数据；所述第二三维图像数据包括第二深度数据，所述第二深度数据用于表征位于所述第一采集模组的正前方位置的参照物与所述第一采集模组之间的第二距离；

基于所述第二深度数据，对所述第二采集模组进行对焦，以确定所述第二采集模组在初始状态的焦距；

基于所述第二深度数据，对所述第二采集模组进行对焦，包括：

采用反差对焦或相位对焦，检测拍摄前后两帧图像的像素的偏移量；

基于所述偏移量，确定所述第二采集模组的焦点的偏移量；

利用确定的焦点的偏移量，对所述第二采集模组进行对焦。

3.根据权利要求2所述的方法，其特征在于，所述通过所述第一采集模组获取第二三维图像数据之前，所述方法还包括：

通过所述电子设备的第三采集模组采集所述参照物的图像；

基于所述参照物的图像，确定所述第三采集模组在世界坐标系中的位置信息；

基于所述位置信息，确定所述第一采集模组的正前方位置，以得到所述第二距离。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当获取M个第一深度数据时，判断是否需要基于获取的M个第一深度数据对所述第二采集模组进行对焦；M为大于1的正整数；

当确定需要基于获取的M个第一深度数据对所述第二采集模组进行对焦时，确定所述第二采集模组的焦点的偏移量；

利用确定的焦点的偏移量，对所述第二采集模组进行对焦。

5.根据权利要求4所述的方法，其特征在于，所述判断是否需要基于获取的M个第一深度数据对所述第二采集模组进行对焦，包括：

按照预设时间间隔，从获取的M个第一深度数据中选取N个深度数据；N为正整数，N小于M；

将所述N个深度数据中时间相邻两个深度数据对应的距离求差，得到数值；

判断所述数值是否未落入预设数值范围；

当确定所述数值未落入预设数值范围时，确定需要基于获取的M个第一深度数据对所述第二采集模组进行对焦。

6.根据权利要求4所述的方法，其特征在于，所述判断是否需要基于获取的M个第一深度数据对所述第二采集模组进行对焦，包括：

针对所述M个第一深度数据中每个深度数据，从预设距离范围集合中查找与相应深度数据匹配的距离范围；

判断是否查找到与相应深度数据匹配的距离范围；

当确定查找到与相应深度数据匹配的距离范围时，确定需要基于获取的M个第一深度数据对所述第二采集模组进行对焦。

7.一种对焦装置，其特征在于，包括：

获取单元，用于通过电子设备的第一采集模组获取第一三维图像数据；所述第一三维图像数据包括第一深度数据，所述第一深度数据用于表征待拍摄对象与所述第一采集模组之间的第一距离；

调整单元，用于基于所述第一深度数据，对所述电子设备的第二采集模组进行对焦，以使所述第二采集模组采集到的所述待拍摄对象的二维图像满足预设条件；

其中，所述第一三维图像数据还包括二维图像数据，所述二维图像数据包含与所述待拍摄对象处于同一位置的参考物体；所述装置还包括：识别单元，用于基于所述二维图像数据，对所述参考物体进行图像识别，得到识别结果；当所述识别结果与预设图案相匹配时，基于所述参考物体在世界坐标系的二维坐标，确定所述待拍摄对象的位置，以得到所述第一距离。

8.根据权利要求7所述的装置，其特征在于，所述获取单元，还用于通过所述第一采集模组获取第二三维图像数据；所述第二三维图像数据包括第二深度数据，所述第二深度数据用于表征位于所述第一采集模组的正前方位置的参照物与所述第一采集模组之间的第二距离；所述调整单元，还用于基于所述第二深度数据，对所述第二采集模组进行对焦，以确定所述第二采集模组在初始状态的焦距；

所述调整单元，具体用于采用反差对焦或相位对焦，检测拍摄前后两帧图像的像素的偏移量；基于所述偏移量，确定所述第二采集模组的焦点的偏移量；利用确定的焦点的偏移量，对所述第二采集模组进行对焦。

9.根据权利要求8所述的装置，其特征在于，所述装置还包括：确定单元，用于通过所述电子设备的第三采集模组采集所述参照物的图像；基于所述参照物的图像，确定所述第三采集模组在世界坐标系中的位置信息；基于所述位置信息，确定所述第一采集模组的正前方位置，以得到所述第二距离。

10.根据权利要求7所述的装置，其特征在于，所述调整单元，还用于：当获取M个第一深度数据时，判断是否需要基于获取的M个第一深度数据对所述第二采集模组进行对焦；M为大于1的正整数；当确定需要基于获取的M个第一深度数据对所述第二采集模组进行对焦时，确定所述第二采集模组的焦点的偏移量；利用确定的焦点的偏移量，对所述第二采集模组进行对焦。

11.根据权利要求7所述的装置，其特征在于，所述调整单元，具体用于：按照预设时间间隔，从获取的M个第一深度数据中选取N个深度数据；N为正整数，N小于M；将所述N个深度数据中时间相邻两个深度数据对应的距离求差，得到数值；判断所述数值是否未落入预设数值范围；当确定所述数值未落入预设数值范围时，确定需要基于获取的M个第一深度数据对所述第二采集模组进行对焦。

12.根据权利要求7所述的装置，其特征在于，所述调整单元，具体用于：针对M个第一深度数据中每个深度数据，从预设距离范围集合中查找与相应深度数据匹配的距离范围；判断是否查找到与相应深度数据匹配的距离范围；当确定查找到与相应深度数据匹配的距离范围时，确定需要基于获取的M个第一深度数据对所述第二采集模组进行对焦。

13.一种焦距调整装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至6任一项所述方法的步骤。

14.一种计算机存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现权利要求1至6任一项所述方法的步骤。

Images