CN115334241A - 对焦控制方法、装置、存储介质及摄像设备 - Google Patents

Abstract

本发明公开了一种对焦控制方法、装置、存储介质及摄像设备，其中方法包括：接收图像预览帧，并对所述图像预览帧进行目标检测和手势识别，得到手势控制指令和至少一个目标检测对象；基于所述手势控制指令与取景模式之间的映射关系，确定当前的取景模式，并根据所述取景模式和所述目标检测对象，确定特写主体和对焦主体；根据所述图像预览帧和所述特写主体的目标框数据，确定取景画面；根据所述对焦主体的目标框数据，确定对焦区域，并将所述对焦区域对应的控制指令发送至图像采集模块。上述方法提高了视频图像智能取景的效率，同时提升了对焦主体的对焦准确性和视频图像中特写画面的画质。

Description

对焦控制方法、装置、存储介质及摄像设备

技术领域

本发明涉及视频图像处理及人机交互技术领域，尤其是涉及一种对焦控制方法、装置、存储介质及摄像设备。

背景技术

随着视频图像处理技术的发展，越来越多的产品或平台选择通过视频影像的方式向用户提供服务。例如，一些较为常见的产品或平台包括智能家居、视频直播和视频会议等等。目前，一些视频影像系统会提供智能取景功能。

智能取景的核心目的在于突出关注主体，即被特写的人或物，要取得好的效果，除了要确保特写视图合适之外，还要求特写画质清晰。保证原图画质清晰的核心是确保正确对焦。在现有技术中，视频影像系统搭配的相机大多为自动对焦，而自动对焦的主要策略为中心对焦。但是，中心对焦的对焦区域是画面中心区域，当特写对象不处于画面中心区域时，视频图像的特写画面很难保证清晰度。

发明内容

有鉴于此，本申请提供了一种对焦控制方法、装置、存储介质及摄像设备，主要目的在于解决视频图像的特写画面不清晰的技术问题。

根据本发明的第一个方面，提供了一种对焦控制方法，该方法包括：

接收图像预览帧，并对所述图像预览帧进行目标检测和手势识别，得到手势控制指令和至少一个目标检测对象；

基于所述手势控制指令与取景模式之间的映射关系，确定当前的取景模式，并根据所述取景模式和所述目标检测对象，确定特写主体和对焦主体；

根据所述图像预览帧和所述特写主体的目标框数据，确定取景画面；

根据所述对焦主体的目标框数据，确定对焦区域，并将所述对焦区域对应的控制指令发送至图像采集模块。

可选的，所述目标检测对象包括人像目标和手部目标；所述接收图像预览帧，并对所述图像预览帧进行目标检测和手势识别，得到手势控制指令和至少一个目标检测对象，包括：接收图像预览帧，并对所述图像预览帧进行目标检测，得到至少一个人像目标和至少一个手部目标；对所述人像目标和所述手部目标进行关联，得到所述人像目标和所述手部目标的关联数据；针对与所述人像目标关联的手部目标，对所述手部目标进行手型分类和手势类型判别，得到手势控制指令以及所述手势控制指令的指令类型和指令发起者。

可选的，所述手势控制指令包括多人特写指令、单人特写指令、物体特写指令和全景指令中的至少一种指令，所述取景模式包括多人特写模式、单人特写模式、物体特写模式和全景模式中的至少一种模式；则所述基于所述手势控制指令与取景模式之间的映射关系，确定当前的取景模式，包括：当所述手势控制指令为所述多人特写指令时，判定当前的取景模式为所述多人特写模式；和/或当所述手势控制指令为所述单人特写指令时，判定当前的取景模式为所述单人特写模式；和/或当所述手势控制指令为所述物体特写指令时，判定当前的取景模式为所述物体特写模式；和/或当所述手势控制指令为所述全景指令时，判定当前的取景模式为所述全景模式。

可选的，所述取景模式包括多人特写模式，所述目标检测对象包括所述图像预览帧中的所有人像目标；则所述根据所述取景模式和所述目标检测对象，确定对焦主体，包括：当所述取景模式为多人特写模式时，将所述图像预览帧中的所有人像目标确定为对焦主体，并根据每个所述人像目标的目标框数据，确定所述对焦主体的目标框数据，其中，所述人像目标包括人脸目标和/或人头目标。

可选的，所述取景模式包括单人特写模式，所述目标检测对象包括发起所述手势控制指令的人像目标；则所述根据所述取景模式和所述目标检测对象，确定对焦主体，包括：当所述取景模式为单人特写模式时，将所述发起手势控制指令的人像目标确定为对焦主体，并根据所述发起手势控制指令的人像目标的目标框数据，确定所述对焦主体的目标框数据，其中，所述人像目标包括人脸目标和/或人头目标。

可选的，所述取景模式包括物体特写模式，所述目标检测对象包括发起所述手势控制指令的手部目标；则所述根据所述取景模式和所述目标检测对象，确定对焦主体，包括：当所述取景模式为物体特写模式时，将所述发起手势控制指令的手部目标确定为对焦主体，并根据所述发起手势控制指令的手部目标的目标框数据，确定所述对焦主体的目标框数据，其中，所述发起手势控制指令的手部目标为一个或两个。

可选的，所述取景模式包括全景模式，所述目标检测对象包括所述图像预览帧中的所有人像目标；则所述根据所述取景模式和所述目标检测对象，确定对焦主体，包括：当所述取景模式为全景模式时，将所述图像预览帧中的所有人像目标确定为对焦主体，并根据每个所述人像目标的目标框数据，确定所述对焦主体的目标框数据，其中，所述人像目标包括人脸目标和/或人头目标；或将所述图像预览帧的中心区域确定为对焦主体，并根据所述中心区域的位置坐标数据，确定所述对焦主体的目标框数据。

可选的，所述根据所述对焦主体的目标框数据，确定对焦区域，包括：当所述对焦主体的数量为一个时，将所述对焦主体的目标框数据对应的区域确定对焦区域；当所述对焦主体的数量为多个时，在多个所述对焦主体中选取出一个目标对焦主体，并将所述目标对焦主体的目标框数据对应的区域确定对焦区域。

根据本发明的第二个方面，提供了一种对焦控制装置，该装置包括：

手势控制模块，用于接收图像预览帧，并对所述图像预览帧进行目标检测和手势识别，得到手势控制指令和至少一个目标检测对象；

取景模式控制模块，用于基于所述手势控制指令与取景模式之间的映射关系，确定当前的取景模式，并根据所述取景模式和所述目标检测对象，确定特写主体和对焦主体；

智能取景模块，用于根据所述图像预览帧和所述特写主体的目标框数据，确定取景画面；

对焦控制模块，用于根据所述对焦主体的目标框数据，确定对焦区域，并将所述对焦区域对应的控制指令发送至图像采集模块。

可选的，所述装置还包括：图像采集模块，用于采集图像预览帧，并将所述图像预览帧发送至所述手势控制模块和所述智能取景模块中；所述图像采集模块，还用于根据所述对焦区域对应的控制指令进行对焦操作。

可选的，所述图像采集模块分别与所述手势控制模块和所述智能取景模块连接，所述手势控制模块与所述取景模式控制模块连接，所述取景模式控制模块分别与所述智能取景模块和所述对焦控制模块连接，所述对焦控制模块与所述图像采集模块连接。

可选的，所述目标检测对象包括人像目标和手部目标；所述手势控制模块，具体用于：接收图像预览帧，并对所述图像预览帧进行目标检测，得到至少一个人像目标和至少一个手部目标；对所述人像目标和所述手部目标进行关联，得到所述人像目标和所述手部目标的关联数据；针对与所述人像目标关联的手部目标，对所述手部目标进行手型分类和手势类型判别，得到手势控制指令以及所述手势控制指令的指令类型和指令发起者。

可选的，所述手势控制指令包括多人特写指令、单人特写指令、物体特写指令和全景指令中的至少一种指令，所述取景模式包括多人特写模式、单人特写模式、物体特写模式和全景模式中的至少一种模式；则所述取景模式控制模块，具体用于：当所述手势控制指令为所述多人特写指令时，判定当前的取景模式为所述多人特写模式；和/或当所述手势控制指令为所述单人特写指令时，判定当前的取景模式为所述单人特写模式；和/或当所述手势控制指令为所述物体特写指令时，判定当前的取景模式为所述物体特写模式；和/或当所述手势控制指令为所述全景指令时，判定当前的取景模式为所述全景模式。

可选的，所述取景模式包括多人特写模式，所述目标检测对象包括所述图像预览帧中的所有人像目标；则所述取景模式控制模块，具体用于：当所述取景模式为多人特写模式时，将所述图像预览帧中的所有人像目标确定为对焦主体，并根据每个所述人像目标的目标框数据，确定所述对焦主体的目标框数据，其中，所述人像目标包括人脸目标和/或人头目标。

可选的，所述取景模式包括单人特写模式，所述目标检测对象包括发起所述手势控制指令的人像目标；则所述取景模式控制模块，具体用于：当所述取景模式为单人特写模式时，将所述发起手势控制指令的人像目标确定为对焦主体，并根据所述发起手势控制指令的人像目标的目标框数据，确定所述对焦主体的目标框数据，其中，所述人像目标包括人脸目标和/或人头目标。

可选的，所述取景模式包括物体特写模式，所述目标检测对象包括发起所述手势控制指令的手部目标；则所述取景模式控制模块，具体用于：当所述取景模式为物体特写模式时，将所述发起手势控制指令的手部目标确定为对焦主体，并根据所述发起手势控制指令的手部目标的目标框数据，确定所述对焦主体的目标框数据，其中，所述发起手势控制指令的手部目标为一个或两个。

可选的，所述取景模式包括全景模式，所述目标检测对象包括所述图像预览帧中的所有人像目标；则所述取景模式控制模块，具体用于：当所述取景模式为全景模式时，将所述图像预览帧中的所有人像目标确定为对焦主体，并根据每个所述人像目标的目标框数据，确定所述对焦主体的目标框数据，其中，所述人像目标包括人脸目标和/或人头目标；或将所述图像预览帧的中心区域确定为对焦主体，并根据所述中心区域的位置坐标数据，确定所述对焦主体的目标框数据。

可选的，所述对焦控制模块，具体用于：当所述对焦主体的数量为一个时，将所述对焦主体的目标框数据对应的区域确定对焦区域；当所述对焦主体的数量为多个时，在多个所述对焦主体中选取出一个目标对焦主体，并将所述目标对焦主体的目标框数据对应的区域确定对焦区域。

根据本发明的第三个方面，提供了一种存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述对焦控制方法。

根据本发明的第四个方面，提供了一种摄像设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述对焦控制方法。

本发明提供的一种对焦控制方法、装置、存储介质及摄像设备，首先接收图像预览帧，并对图像预览帧进行目标检测和手势识别，得到手势控制指令和目标检测对象，然后基于手势控制指令与取景模式之间的映射关系，确定当前的取景模式，进而根据取景模式和目标检测对象，确定特写主体和对焦主体，最后基于特写主体的目标框数据实现智能取景，基于对焦主体的目标框数据实现自动对焦。上述方法通过将用户的手势动作与智能取景的取景模式进行联动，使用户通过简单的手势动作即可实现取景模式的无障碍切换，有效的提高了视频图像智能取景的效率。此外，上述方法根据取景模式和目标检测对象确定特写主体和对焦主体，并通过对焦主体的目标框数据确定对焦区域，以及根据对焦区域进行对焦控制，能够有效的保证图像中对焦主体的对焦准确性，从而有效的提升了视频图像中特写画面的画质，并提升了用户体验。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1示出了本发明实施例提供的一种对焦控制方法的流程示意图；

图2示出了本发明实施例提供的一种对焦控制方法的场景示意图；

图3示出了本发明实施例提供的一种对焦控制方法的场景示意图；

图4示出了本发明实施例提供的一种对焦控制方法的场景示意图；

图5示出了本发明实施例提供的一种对焦控制装置的结构示意图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

目前，越来越多的产品或平台选择通过视频影像的方式向用户提供服务，这些产品或平台主要包括智能家居、视频直播和视频会议等等，其中，一些产品或平台会向用户提供智能取景功能。在智能取景模式下，要取得好的效果，就要确保特写视图合适以及特写画质清晰。其中，特写画面是通过裁剪缩放得到的。目前，保证特写视图清晰的主要途径有以下两种方式：第一种方式是提高原图画质，更具体的是要求原图中特写主体区域画质要清晰；第二种方式是优化缩放效果，等同于优化数码变焦效果，一方面尽可能采用更大分辨率的原图，另一方面采用效果更好的(缩放)插值算法，甚至采用超分辨率算法。其中，第一种方式是前提，如果原图画质不清晰，则第二种方式也很难补救。保证原图画质清晰的核心还是要确保正确对焦。但是，现有技术中的中心对焦方式很难保证视频图像中的原图画质，进而导致智能取景的画面清晰度较差，用户体验感较低。

针对上述问题，在一个实施例中，如图1所示，提供了一种对焦控制方法，以该方法应用于摄像设备等计算机设备为例进行说明，包括以下步骤：

101、接收图像预览帧，并对图像预览帧进行目标检测和手势识别，得到手势控制指令和至少一个目标检测对象。

其中，图像预览帧可以基于图像采集模块采集得到。具体的，根据应用场景的不同，图像采集模块可以是深度相机、普通相机、摄像头等设备或模块。在本实施例中，图像预览帧可以是图像采集模块实时拍摄的图像，也可以图像采集设备实时拍摄的视频流中的一个图像帧。

具体的，在接收到待处理的图像预览帧之后，可以通过预训练的深度神经网络模型对输入的图像预览帧进行目标检测，得到至少一个目标检测对象。其中，目标检测对象至少包括手部目标，此外，还可以包括其他人体部位目标，包括人脸、人头、头肩、人体等等，进一步的，通过对检测出的手部目标进行手型分类和手势判别，即可得到图像预览帧中的手势控制指令。

在一个可选的实施例中，当待处理的图像预览帧中包括人体和手部等人体结构时，深度神经网络模型可以检测到图像预览帧中的至少一个人像目标和/或至少一个手部目标，其中，人像目标可以包括人脸、人头、头肩、人体等人体部位。进一步的，对于检测出的人像目标和手部目标等目标检测对象，可以用目标框框出来，其中，每个人像目标和手部目标均有与其对应的目标框和目标框数据，目标框数据中可以包括人像目标和手部目标的目标框在图像预览帧中的位置坐标等数据。此外，目标框还可以根据需要配置为显示状态或隐藏状态，例如，在对图像进行预览时，目标框可以配置为隐藏状态，在对图像进行后台处理或者演示希算法效果时，目标框可以配置为显示状态。

在一个可选的实施例中，在检测出图像预览帧中的人像目标和手部目标之后，可以对图像中的每个人像目标和每个手部目标进行跟踪，以得到每个人像目标的标识和轨迹等人像跟踪信息，以及得到每个手部目标的标识和轨迹等手部跟踪信息，然后，根据上述人像跟踪信息和手部跟踪信息，可以对图像中的人像目标和手部目标进行稳定性判定。进一步的，当判定出图像中的人像目标和手部目标均处于稳定状态时，可以对人像目标和手部目标进行关联，以及通过预训练的另一个深度神经网络模型对手部目标进行手型分类，得到图像预览帧中的有效手势。进一步的，通过将识别出的有效手势与预设的指令手势类型进行比对，即可以识别出图像预览帧中的手部目标是否发起了手势控制指令，并且还可以识别出发起手势控制指令的指令类型和指令发起者，最后，基于发起手势控制指令的指令发起者，可以得到发起手势控制指令的人像目标和手部目标。

在本实施例中，当用户发起手势控制指令时，图像采集设备可以采集到包含该手势控制指令的图像预览帧，并对该图像预览帧进行目标检测和手势识别，以得到手势控制指令和至少一个目标检测对象。在一个可选的实施例中，在识别到的目标检测对象中，可以包括发起手势控制指令的人像目标和发起手势控制指令的手部目标。本实施例通过识别图像预览帧中的手势控制指令和目标检测对象，可以便于后续通过手势控制指令对图像预览帧中的目标检测对象进行对焦和取景，从而提升图像对焦和取景的准确度。

102、基于手势控制指令与取景模式之间的映射关系，确定当前的取景模式，并根据取景模式和目标检测对象，确定特写主体和对焦主体。

其中，取景模式指的是对图像中的至少一个局部区域进行特写(即对局部区域进行放大显示)的模式。在本实施例中，根据图像取景方式的不同，可以预先设定多种取景模式，然后设定多种手势控制指令，最后设定每种取景模式与每种手势控制指令之间的映射关系。例如，可以首先设定取景模式包括多人特写模式、单人特写模式、物体特写模式和全景模式等等，然后再设定手势控制指令包括多人特写指令、单人特写指令和物体特写指令等等，最后设定多人特写指令与多人特写模式具有映射关系、单人特写指令与单人特写模式具有映射关系、物体特写指令与物体特写模式具有映射关系等等。

具体的，在识别出手势控制指令之后，可以根据识别出的手势控制指令，查询出与该手势控制指令对应的取景模式，并将查询到的取景模式确定为当前的取景模式。进一步的，在确定出当前的取景模式后，可以在当前的取景模式下，基于目标检测识别出的目标检测对象确定特写主体和对焦主体，并基于目标检测对象的目标框数据，确定特写主体目标框数据和对焦主体的目标框数据。在本实施例中，特写主体的目标框数据中至少包括特写主体在图像预览帧中的坐标位置数据等信息，对焦主体的目标框数据中至少包括对焦主体在图像预览帧中的坐标位置数据等信息。

在本实施例中，特写主体和对焦主体可以是相同的，也可以是不同的，例如，在多人特写模式中，特写主体和对焦主体可以都是图像预览帧中的所有人像目标；在单人特写模式中，特写主体和对焦主体可以都是发起手势控制指令的人像目标；在物体特写模式中，特写主体和对焦主体可以都是发起手势控制指令的手部目标，通过这种方式，可以保证特写主体和对焦主体的一致性，从而使特写画面达到相对最为清晰的状态；此外，在全景模式中，特写主体可以为空(此模式下不用对图像预览帧中的局部画面进行特写)，对焦主体可以为图像预览帧的中心区域或图像预览帧中的所有人像目标，通过这种方式，可以在全景模式实现实现图像预览帧的中心对焦或人脸对焦。

举例来说，当手势控制指令为单人特写指令时，基于手势控制指令与取景模式之间的映射关系，可以确定当前的取景模式为单人特写模式，进一步的，在单人取景模式下，可以获取发起手势控制指令的人像目标，进而可以根据发起手势控制指令的人像目标确定特写主体和对焦主体，并根据发起手势控制指令的人像目标的目标框数据确定特写主体的目标框数据和对焦主体的目标框数据。通过这种方式，可以在单人取景模型下，对发起手势控制指令的用户进行准确对焦和清晰的特写取景。例如，在一个有多人参与的视频会议的场景中，需要对较远处的主讲人进行特写，主讲人通过发起手势控制指令，可以控制当前的取景模式切换为单人特写模式，然后，当前画面切换为对主讲人所在的区域进行特写，进一步的，通过对该主讲人所在的区域进行对焦，就能够有效的提高特写画面的清晰度。相比于现有技术中的中心对焦或近处人脸对焦，本实施例提出的方法可以有效的提高特写画面的清晰度。

本实施例通过手势控制这种交互方式确定取景模式、特写主体和对焦主体，可以有效的提高取景和对焦的效率，并提升交互体验感。此外，本实施例通过目标检测对象的目标框数据确定特写主体的目标框数据和对焦主体的目标框数据，可以有效的提高特写和对焦的准确性，从而使特写主体和对焦主体可以共同集中在图像中目标检测对象所在的位置上，从而有效的提高了特写主体在图像中的画质，并提升了特写画面的清晰度。

103、根据图像预览帧和特写主体的目标框数据，确定取景画面。

具体的，基于采集到的图像预览帧以及确定的特写主体的目标框数据，可以确定特写主体在图像预览帧中的具体位置，根据特写主体在图像预览帧中的具体位置，即可确定图像预览帧中的取景画面。以取景画面为边框，对图像预览帧进行裁剪缩放，即可得到特写主体的特写画面。

104、根据对焦主体的目标框数据，确定对焦区域，并将对焦区域对应的控制指令发送至图像采集模块。

具体的，基于对焦主体的目标框数据，可以确定对焦主体所在的区域。进一步的，可以将对焦区域对应的控制指令发送至图像采集模块中，以使图像采集模块根据对焦区域对应的控制指令进行对焦，从而改变视频图像中不同区域的画质清晰度，使对焦区域的画面更清晰。

在一个可选的实施例中，当对焦主体为一个时，对焦主体所在的区域也为一个，此时，可以将对焦主体所在的区域确定为对焦区域，并以此确定对焦区域对应的控制指令；当对焦主体为多个时，对焦主体所在的区域也为多个，此时，可以在多个对焦主体所在的区域中选择出一个目标区域，并将该目标区域确定为对焦区域，并确定该对焦区域对应的控制指令。

在一个可选的实施例中，当特写的目标检测对象持续出现在视频图像的每个数据帧中时，可以省略掉数据帧的目标检测和手势识别的过程，而只对特写的目标检测对象进行跟踪，并根据特写的目标检测对象的跟踪信息(其中，目标检测对象的跟踪信息中包括目标检测对象在每个数据帧中的目标框数据)，确定特写主体的目标框数据和对焦主体的目标框数据，进而根据特写主体的目标框数据确定更新后的取景画面，并根据对焦主体的目标框数据确定更新后的对焦区域，从而实现持续的智能取景和自动对焦的功能。

在一个可选的实施例中，当特写的目标检测对象不再出现在视频图像的数据帧中时，视频画面可以自动恢复到默认的取景模式中，并等待下一次的手势控制指令。此外，当图像预览帧中没有目标检测对象时，也可以自动恢复到默认的取景模式中，并等待新的手势控制指令。进一步的，当图像预览帧中出现新的手势控制指令，且新的手势控制指令与某一种取景模式具有映射关系时，画面可以切换到与新的手势控制指令具有映射关系的取景模式中，并对新的特写主体进行智能取景，以及对新的对焦主体进行自动对焦。在本实施例中，默认的取景模式可以为全景模式，在全景模式下，可以将图像预览帧的中心区域作为对焦区域，并将中心区域对应的控制指令发送至图像采集模块，以使图像采集模块对图像预览帧的中心区域进行对焦。

本实施例提供的对焦控制方法，首先接收图像预览帧，并对图像预览帧进行目标检测和手势识别，得到手势控制指令和目标检测对象，然后基于手势控制指令与取景模式之间的映射关系，确定当前的取景模式，进而根据取景模式和目标检测对象，确定特写主体和对焦主体，最后基于特写主体的目标框数据实现智能取景，基于对焦主体的目标框数据实现自动对焦。上述方法通过将用户的手势动作与智能取景的取景模式进行联动，使用户通过简单的手势动作即可实现取景模式的无障碍切换，有效的提高了视频图像智能取景的效率。此外，上述方法根据取景模式和目标检测对象确定特写主体和对焦主体，并通过对焦主体的目标框数据确定对焦区域，以及根据对焦区域进行对焦控制，能够有效的保证图像中对焦主体的对焦准确性，从而有效的提升了视频图像中特写画面的画质，并提升了用户体验。

在一个实施例中，目标检测对象包括人像目标和手部目标，在此场景下，步骤101可以通过以下方法实现：接收图像预览帧，并对所述图像预览帧进行目标检测，得到至少一个人像目标和至少一个手部目标；对所述人像目标和所述手部目标进行关联，得到所述人像目标和所述手部目标的关联数据；针对与所述人像目标关联的手部目标，对所述手部目标进行手型分类和手势类型判别，得到手势控制指令以及所述手势控制指令的指令类型和指令发起者。最后，基于手势控制指令的指令发起者，还可以得到发起手势控制指令的人像目标和手部目标。

在上述实施例中，对人像目标和手部目标进行关联的方式可以有多种。其中一种方式是，对图像预览帧中的人像目标进行人体关键点检测，得到人像目标对应的人体骨架，然后基于人体骨架，确定与人像目标关联的手部目标，最终得到人像目标和手部目标的关联数据。另外一种方式是，针对图像预览帧中的每个人像目标，确定一个与人像目标关联的手势候选区域，然后判断图像预览帧中的每个手部目标与各个手势候选区域的位置关系(例如，可以判断手部目标是否在任一个手势候选区域内，或者判断手部目标与任一个手势候选区域的重叠比例是否超过预设值)，进而根据手部目标与手势候选区域之间的位置关系，对手部目标和手势候选区域进行关联，进一步的，由于手势候选区域与人像目标是关联的，这样一来，就实现了手部目标与人像目标的关联，从而得到了人像目标和手部目标的关联数据。可以理解的是，除了上述两种关联方式外，还可以选择其他方式对对人像目标和手部目标进行关联，本实施例不再一一说明，此外，人像目标和手部目标的关联方式可以根据硬件平台的算力等实际情况进行选择，本实施例在此也不做具体限定。

进一步的，对于任意手部目标，在经过上述数据关联处理后，需要有人像目标与该手部目标关联，才对手部目标继续执行手型分类和手势类型判别等后续处理。例如，如图2所示，通过对每个人像目标预设手势候选区域，可以判断图像预览帧中的手部目标2与人像目标1关联，手部目标3与人像目标2关联，则手部目标2和手部目标3可以继续执行后续的分类和手势判别处理，而手部目标1和手部目标4均无人像目标与之关联，则不进行后续处理。此外，针对上述实施例中的目标检测、手型分类和手势类型判别的过程可以参照步骤101中的说明，在此不再过多赘述。本实施例通过对与人像目标关联的手部目标进行手型分类和手势类型判别，可以有效的节省对无效的手部目标进行分类和判别所带来的算力消耗，从而提高了手势识别的效率。

在一个实施例中，手势控制指令包括多人特写指令、单人特写指令、物体特写指令和全景指令中的至少一种指令，取景模式包括多人特写模式、单人特写模式、物体特写模式和全景模式中的至少一种模式。在此场景下，步骤102中确定取景模式的方法可以通过以下步骤实现：当所述手势控制指令为所述多人特写指令时，判定当前的取景模式为所述多人特写模式；和/或当所述手势控制指令为所述单人特写指令时，判定当前的取景模式为所述单人特写模式；和/或当所述手势控制指令为所述物体特写指令时，判定当前的取景模式为所述物体特写模式；和/或当所述手势控制指令为所述全景指令时，判定当前的取景模式为所述全景模式。

在上述实施例中，通过设定多人特写模式、单人特写模式、物体特写模式和全景模式等多种取景模式，并设定多人特写指令、单人特写指令和物体特写指令等多种手势控制指令，以及设定每种取景模式与每种手势控制指令之间的映射关系，可以根据图像预览帧中的手势控制指令，自动确定当前的取景模式，从而有效的提升取景模式的切换效率，提高用户的交互体验。需要说明的是，上述多人特写指令、单人特写指令、物体特写指令和全景指令的具体指令形式、以及手势控制指令的数量、类型和取景模式的数量、类型均可以根据实际情况进行设定，本实施例不做具体限定。此外，当图像预览帧中不包括目标检测对象时，也可以判定当前的取景模式为全景模式。本实施例通过融合中心对焦、多人对焦、单人对焦和物体对焦等多种对焦模式，可以有效的丰富智能取景的取景模式，从而提升用户的体验感。

在一个实施例中，取景模式包括多人特写模式，目标检测对象包括图像预览帧中的所有人像目标；则步骤102中确定对焦主体的方法可以通过以下步骤实现：当取景模式为多人特写模式时，将所述图像预览帧中的所有人像目标确定为对焦主体，并根据每个所述人像目标的目标框数据，确定所述对焦主体的目标框数据，其中，所述人像目标包括人脸目标和/或人头目标。本实施例通过将识别到的所有人像目标确定为对焦主体，并根据每个人像目标的目标框数据，确定对焦主体的目标框数据，可以确保对画面中的每个用户进行准确对焦和清晰取景，从而提高用户体验。

在一个实施例中，取景模式包括单人特写模式，目标检测对象包括发起所述手势控制指令的人像目标；则步骤102中确定对焦主体的方法可以通过以下步骤实现：当所述取景模式为单人特写模式时，将所述发起手势控制指令的人像目标确定为对焦主体，并根据所述发起手势控制指令的人像目标的目标框数据，确定所述对焦主体的目标框数据，其中，所述人像目标包括人脸目标和/或人头目标。

在上述实施例中，在当前的取景模式为单人特写模式时，可以在切换至单人特写模式的首个数据帧，根据发起手势控制指令的人像目标的人像标识，在该数据帧及后续数据帧中仅将该人像标识对应的单个人像目标确定为对焦主体，并将该人像目标的目标框数据确定为对焦主体的目标框数据，以实现单人的特写取景和准确对焦。进一步的，若在单人特写模式下，另一个用户通过发起手势控制请求单人特写，则记录新的请求者的人像目标的人像标识，并根据新的人像目标的人像标识确定特写主体和对焦主体，从而实现单人特写模式下特写对象的转换。本实施例通过对发起手势控制指令的人像目标进行对焦和取景，能够确保对特定的目标用户进行准确对焦和清晰取景，而不是对距离最近的人像进行对焦，有效的提高了用户体验感。

在一个实施例中，取景模式包括物体特写模式，目标检测对象包括发起所述手势控制指令的手部目标；则步骤102中确定对焦主体的方法可以通过以下步骤实现：当所述取景模式为物体特写模式时，将所述手发起势控制指令的手部目标确定为对焦主体，并根据所述发起手势控制指令的手部目标的目标框数据，确定所述对焦主体的目标框数据，其中，所述发起手势控制指令的手部目标为一个或两个。在本实施例中，当物体特写指令为单手手势指令时，所述发起手势控制指令的手部目标为一个；当物体特写指令为双手手势指令时，所述发起手势控制指令的手部目标为两个，所述双手手势指令可以为粘连型双手手势指令或非粘连型双手手势指令。

在上述实施例中，以物体特写指令为非粘连型双手手势指令为例进行说明，在当前取景模式为物体特写时，可以将持物的双手的手部目标确定为对焦主体，并根据持物的双手的手部目标的测试框数据，确定对焦主体的目标框数据。需要说明的是，要实现物体对焦，常规的思路是先通过物体检测得到物体目标框，然后再根据物体目标框得到对焦主体和对焦主体的目标框数据。但这会存在两方面的问题：其一是用户展示的物体类别多种多样、形状千差万别，物体的背景也层出不穷，要得到准确、稳定的物体目标框，难度较大；其二是即使能得到准确的物体目标框，但物体形状大小不一，尤其当物体形状过小(比如钢笔、口红等)时，由于物体在对焦区域中占比过小，实际的对焦点很可能处于背景区域，即并不能保证可靠地对焦至特写物体。

在上述实施例中，考虑到物体特写时用户双手持物，并且用户在进行物体展示时一般正对相机，若对焦至手部，则由于手部与手中物体几乎处于同一对焦平面，手中物体自然就是清晰的(此处，暂不考虑微距或物体离相机较近的情形，因为特写场景下人或物离相机距离不会太近)。例如，如图3和图4所示，当对如图3所示的手部标识为1和手部标识为2的手部目标进行对焦和取景时，在如图4所示的取景画面中可见，特写画面中双手持有的物体也是较为清晰的，能够满足物体特写的清晰度要求。基于此，本实施例通过将持物的手部目标作为对焦主体，可以间接实现物体对焦，并且，上述方法通过将手部目标确定为对焦主体，并确定对焦主体的目标框数据，简便易行，较为实用，既能满足对物体进行取景的需求，又能复用已有的目标检测技术，有效的节省了研发成本，且无需担忧计算开销。

在一个实施例中，取景模式包括全景模式，目标检测对象包括所述图像预览帧中的所有人像目标；则步骤102中确定对焦主体的方法可以通过以下步骤实现：当所述取景模式为全景模式时，将所述图像预览帧中的所有人像目标确定为对焦主体，并根据每个所述人像目标的目标框数据，确定所述对焦主体的目标框数据，其中，所述人像目标包括人脸目标和/或人头目标；或将所述图像预览帧的中心区域确定为对焦主体，并根据所述中心区域的位置坐标数据，确定所述对焦主体的目标框数据。在本实施例中，在当前取景模式为全景模式时，可以根据实际需要，设定全景模式的对焦方式为中心对焦方式或人脸对焦方式，若全景模式采用人脸对焦方式，则处理方式与多人特写模式相同，都是根据每个人像目标确定对焦主体，以及根据每个人像目标的目标框数据，确定对焦主体的目标框数据；若全景模式采用中心对焦方式，则处理方式与中心对焦的方式相同，是将图像预览帧的中心区域作为对焦区域，并根据图像预览帧的中心区域的位置坐标数据，确定对焦主体的目标框数据。需要说明的是，全景模式的对焦方式可以根据用户的请求进行设定或选择，而非只能固定在一种对焦方式上。

在一个实施例中，步骤104可以通过以下方法实现：当对焦主体的数量为一个时，将所述对焦主体的目标框数据对应的区域确定对焦区域。举例来说，在单人特写模式下，对焦主体只有发起手势控制指令的人像目标，此时可以将发起手势控制指令的人像目标的目标框数据对应的区域确定对焦区域；在物体特写模式下，如果物体特写指令为单手手势指令，则对焦主体只有发起手势控制指令的单个手部目标，此时可以将发起手势控制指令的单个手部目标的目标框数据对应的区域确定为对焦区域。进一步的，当对焦主体的数量为多个时，可以在多个所述对焦主体中选取出一个目标对焦主体，并将所述目标对焦主体的目标框数据对应的区域确定对焦区域，在本实施例中，可以选择画面中区域最大的对焦主体作为目标对焦主体，或者在多个对焦主体中随机选择一个作为目标对焦主体。举例来说，在多人特写模式下，对焦主体包括图像预览帧中的所有人像目标，此时可以将面积最大的人像目标的目标框数据对应的区域确定对焦区域；在物体特写模式下，如果物体特写指令为双手手势指令，则对焦主体包括发起手势控制指令的两个手部目标，此时可以将面积更大的手部目标的目标框数据对应的区域确定对焦区域。本实施例通过通过在对焦主体的目标框数据对应的区域中选择对焦区域，可以最大限度的提升取景画面中对焦主体的画质清晰度，从而提升用户体验感。

进一步的，作为图1至图4所示方法的具体实现，本实施例提供了一种对焦控制装置，如图5所示，该装置包括：手势控制模块21、取景模式控制模块22、智能取景模块23、对焦控制模块24。

手势控制模块21，可用于接收图像预览帧，并对所述图像预览帧进行目标检测和手势识别，得到手势控制指令和至少一个目标检测对象；

取景模式控制模块22，可用于基于所述手势控制指令与取景模式之间的映射关系，确定当前的取景模式，并根据所述取景模式和所述目标检测对象，确定特写主体和对焦主体；

智能取景模块23，可用于根据所述图像预览帧和所述特写主体的目标框数据，确定取景画面；

对焦控制模块24，可用于根据所述对焦主体的目标框数据，确定对焦区域，并将所述对焦区域对应的控制指令发送至图像采集模块。

在具体的应用场景中，如图5所示，本装置还包括图像采集模块25，所述图像采集模块25可用于采集图像预览帧，并将所述图像预览帧发送至所述手势控制模块21和所述智能取景模块23中；所述图像采集模块25，还用于根据所述对焦区域对应的控制指令进行对焦操作。

在具体的应用场景中，如图5所示，所述图像采集模块25分别与所述手势控制模块21和所述智能取景模块23连接，所述手势控制模块21与所述取景模式控制模块22连接，所述取景模式控制模块22分别与所述智能取景模块23和所述对焦控制模块24连接，所述对焦控制模块24与所述图像采集模块25连接。

在具体的应用场景中，所述目标检测对象包括人像目标和手部目标；所述手势控制模块21，具体用于接收图像预览帧，并对所述图像预览帧进行目标检测，得到至少一个人像目标和至少一个手部目标；对所述人像目标和所述手部目标进行关联，得到所述人像目标和所述手部目标的关联数据；针对与所述人像目标关联的手部目标，对所述手部目标进行手型分类和手势类型判别，得到手势控制指令以及所述手势控制指令的指令类型和指令发起者。

在具体的应用场景中，所述手势控制指令包括多人特写指令、单人特写指令、物体特写指令和全景指令中的至少一种指令，所述取景模式包括多人特写模式、单人特写模式、物体特写模式和全景模式中的至少一种模式；则所述取景模式控制模块22，具体用于当所述手势控制指令为所述多人特写指令时，判定当前的取景模式为所述多人特写模式；和/或当所述手势控制指令为所述单人特写指令时，判定当前的取景模式为所述单人特写模式；和/或当所述手势控制指令为所述物体特写指令时，判定当前的取景模式为所述物体特写模式；和/或当所述手势控制指令为所述全景指令时，判定当前的取景模式为所述全景模式。

在具体的应用场景中，所述取景模式包括多人特写模式，所述目标检测对象包括所述图像预览帧中的所有人像目标；则所述取景模式控制模块22，具体用于：当所述取景模式为多人特写模式时，将所述图像预览帧中的所有人像目标确定为对焦主体，并根据每个所述人像目标的目标框数据，确定所述对焦主体的目标框数据，其中，所述人像目标包括人脸目标和/或人头目标。

在具体的应用场景中，所述取景模式包括单人特写模式，所述目标检测对象包括发起所述手势控制指令的人像目标；则所述取景模式控制模块22，具体用于：当所述取景模式为单人特写模式时，将发起所述手势控制指令的人像目标确定为对焦主体，并根据所述发起手势控制指令的人像目标的目标框数据，确定所述对焦主体的目标框数据，其中，所述人像目标包括人脸目标和/或人头目标。

在具体的应用场景中，所述取景模式包括物体特写模式，所述目标检测对象包括发起所述手势控制指令的手部目标；则所述取景模式控制模块22，具体用于：当所述取景模式为物体特写模式时，将发起所述手势控制指令的手部目标确定为对焦主体，并根据所述发起手势控制指令的手部目标的目标框数据，确定所述对焦主体的目标框数据，其中，所述发起手势控制指令的手部目标为一个或两个。

在具体的应用场景中，所述取景模式包括全景模式，所述目标检测对象包括所述图像预览帧中的所有人像目标；则所述取景模式控制模块22，具体用于：当所述取景模式为全景模式时，将所述图像预览帧中的所有人像目标确定为对焦主体，并根据每个所述人像目标的目标框数据，确定所述对焦主体的目标框数据；或将所述图像预览帧的中心区域确定为对焦主体，并根据所述中心区域的位置坐标数据，确定所述对焦主体的目标框数据。

在具体的应用场景中，所述对焦控制模块24，具体用于：当所述对焦主体的数量为一个时，将所述对焦主体的目标框数据对应的区域确定对焦区域；当所述对焦主体的数量为多个时，在多个所述对焦主体中选取出一个目标对焦主体，并将所述目标对焦主体的目标框数据对应的区域确定对焦区域。

需要说明的是，本实施例提供的一种对焦控制装置所涉及各功能单元的其它相应描述，可以参考图1至图4中的对应描述，在此不再赘述。

基于上述如图1至图4所示方法，相应的，本实施例还提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述如图1至图4所示的对焦控制方法。

基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该待识别软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台摄像设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施场景所述的方法。

基于上述如图1至图4所示的方法，以及图5所示的对焦控制装置实施例，为了实现上述目的，本实施例还提供了一种对焦控制的实体设备，具体可以为个人计算机、服务器、智能手机、平板电脑、智能手表、或者其它网络设备等，该实体设备包括存储介质和处理器；存储介质，用于存储计算机程序；处理器，用于执行计算机程序以实现上述如图1至图4所示的方法。

可选的，该实体设备还可以包括用户接口、网络接口、摄像头、射频(RadioFrequency，RF)电路，传感器、音频电路、WI-FI模块等等。用户接口可以包括显示屏(Display)、输入单元比如键盘(Keyboard)等，可选用户接口还可以包括USB接口、读卡器接口等。网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI接口)等。

本领域技术人员可以理解，本实施例提供的一种对焦控制的实体设备结构并不构成对该实体设备的限定，可以包括更多或更少的部件，或者组合某些部件，或者不同的部件布置。

存储介质中还可以包括操作系统、网络通信模块。操作系统是管理上述实体设备硬件和待识别软件资源的程序，支持信息处理程序以及其它待识别软件和/或程序的运行。网络通信模块用于实现存储介质内部各组件之间的通信，以及与信息处理实体设备中其它硬件和软件之间通信。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本申请可以借助软件加必要的通用硬件平台的方式来实现，也可以通过硬件实现。通过应用本申请的技术方案，首先接收图像预览帧，并对图像预览帧进行目标检测和手势识别，得到手势控制指令和目标检测对象，然后基于手势控制指令与取景模式之间的映射关系，确定当前的取景模式，进而根据取景模式和目标检测对象，确定特写主体和对焦主体，最后基于特写主体的目标框数据实现智能取景，基于对焦主体的目标框数据实现自动对焦。上述方法通过将用户的手势动作与智能取景的取景模式进行联动，使用户通过简单的手势动作即可实现取景模式的无障碍切换，有效的提高了视频图像智能取景的效率。与现有技术相比，上述方法能够使用户通过简单的手势动作实现多种取景模式之间的无障碍切换，有效的提高了视频图像智能取景的效率。此外，上述方法还能够保证图像中对焦主体的对焦准确性，从而有效的提升视频图像中特写画面的画质，进而提升用户体验。

本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本申请所必须的。本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

上述本申请序号仅仅为了描述，不代表实施场景的优劣。以上公开的仅为本申请的几个具体实施场景，但是，本申请并非局限于此，任何本领域的技术人员能思之的变化都应落入本申请的保护范围。

Claims (10)

1.一种对焦控制方法，其特征在于，所述方法包括：

接收图像预览帧，并对所述图像预览帧进行目标检测和手势识别，得到手势控制指令和至少一个目标检测对象；

基于所述手势控制指令与取景模式之间的映射关系，确定当前的取景模式，并根据所述取景模式和所述目标检测对象，确定特写主体和对焦主体；

根据所述图像预览帧和所述特写主体的目标框数据，确定取景画面；

根据所述对焦主体的目标框数据，确定对焦区域，并将所述对焦区域对应的控制指令发送至图像采集模块。

2.根据权利要求1所述的方法，其特征在于，所述目标检测对象包括人像目标和手部目标；所述接收图像预览帧，并对所述图像预览帧进行目标检测和手势识别，得到手势控制指令和至少一个目标检测对象，包括：

接收图像预览帧，并对所述图像预览帧进行目标检测，得到至少一个人像目标和至少一个手部目标；

对所述人像目标和所述手部目标进行关联，得到所述人像目标和所述手部目标的关联数据；

针对与所述人像目标关联的手部目标，对所述手部目标进行手型分类和手势类型判别，得到手势控制指令以及所述手势控制指令的指令类型和指令发起者。

3.根据权利要求1所述的方法，其特征在于，所述手势控制指令包括多人特写指令、单人特写指令、物体特写指令和全景指令中的至少一种指令，所述取景模式包括多人特写模式、单人特写模式、物体特写模式和全景模式中的至少一种模式；则所述基于所述手势控制指令与取景模式之间的映射关系，确定当前的取景模式，包括：

当所述手势控制指令为所述多人特写指令时，判定当前的取景模式为所述多人特写模式；和/或

当所述手势控制指令为所述单人特写指令时，判定当前的取景模式为所述单人特写模式；和/或

当所述手势控制指令为所述物体特写指令时，判定当前的取景模式为所述物体特写模式；和/或

当所述手势控制指令为所述全景指令时，判定当前的取景模式为所述全景模式。

4.根据权利要求1所述的方法，其特征在于，所述取景模式包括多人特写模式，所述目标检测对象包括所述图像预览帧中的所有人像目标；则所述根据所述取景模式和所述目标检测对象，确定对焦主体，包括：

当所述取景模式为多人特写模式时，将所述图像预览帧中的所有人像目标确定为对焦主体，并根据每个所述人像目标的目标框数据，确定所述对焦主体的目标框数据，其中，所述人像目标包括人脸目标和/或人头目标。

5.根据权利要求1所述的方法，其特征在于，所述取景模式包括单人特写模式，所述目标检测对象包括发起所述手势控制指令的人像目标；则所述根据所述取景模式和所述目标检测对象，确定对焦主体，包括：

当所述取景模式为单人特写模式时，将所述发起手势控制指令的人像目标确定为对焦主体，并根据所述发起手势控制指令的人像目标的目标框数据，确定所述对焦主体的目标框数据，其中，所述人像目标包括人脸目标和/或人头目标。

6.根据权利要求1所述的方法，其特征在于，所述取景模式包括物体特写模式，所述目标检测对象包括发起所述手势控制指令的手部目标；则所述根据所述取景模式和所述目标检测对象，确定对焦主体，包括：

当所述取景模式为物体特写模式时，将所述发起手势控制指令的手部目标确定为对焦主体，并根据所述发起手势控制指令的手部目标的目标框数据，确定所述对焦主体的目标框数据，其中，所述发起手势控制指令的手部目标为一个或两个。

7.根据权利要求1所述的方法，其特征在于，所述取景模式包括全景模式，所述目标检测对象包括所述图像预览帧中的所有人像目标；则所述根据所述取景模式和所述目标检测对象，确定对焦主体，包括：

当所述取景模式为全景模式时，将所述图像预览帧中的所有人像目标确定为对焦主体，并根据每个所述人像目标的目标框数据，确定所述对焦主体的目标框数据，其中，所述人像目标包括人脸目标和/或人头目标；或

将所述图像预览帧的中心区域确定为对焦主体，并根据所述中心区域的位置坐标数据，确定所述对焦主体的目标框数据。

8.一种对焦控制装置，其特征在于，所述装置包括：

手势控制模块，用于接收图像预览帧，并对所述图像预览帧进行目标检测和手势识别，得到手势控制指令和至少一个目标检测对象；

取景模式控制模块，用于基于所述手势控制指令与取景模式之间的映射关系，确定当前的取景模式，并根据所述取景模式和所述目标检测对象，确定特写主体和对焦主体；

智能取景模块，用于根据所述图像预览帧和所述特写主体的目标框数据，确定取景画面；

对焦控制模块，用于根据所述对焦主体的目标框数据，确定对焦区域，并将所述对焦区域对应的控制指令发送至图像采集模块。

9.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

10.一种摄像设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

Images