CN115866396A - 图像的聚焦方法、装置及存储介质 - Google Patents

图像的聚焦方法、装置及存储介质 Download PDF

Info

Publication number
CN115866396A
CN115866396A CN202111122789.4A CN202111122789A CN115866396A CN 115866396 A CN115866396 A CN 115866396A CN 202111122789 A CN202111122789 A CN 202111122789A CN 115866396 A CN115866396 A CN 115866396A
Authority
CN
China
Prior art keywords
image
focusing
determining
window
window area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111122789.4A
Other languages
English (en)
Inventor
姬向东
樊聿聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Priority to CN202111122789.4A priority Critical patent/CN115866396A/zh
Publication of CN115866396A publication Critical patent/CN115866396A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)

Abstract

本公开是关于一种图像的聚焦方法、装置及存储介质,所述方法包括:获取第一图像的感兴趣区域,所述感兴趣区域包括至少两个备选窗口区域;其中,不同所述备选窗口区域对应的图像区域至少部分不同;根据所述备选窗口区域的状况信息,确定与所述状况信息匹配的优先级;基于所述优先级对应的聚焦策略,从所述第一图像中确定出目标窗口区域;对所述目标窗口区域进行对焦。

Description

图像的聚焦方法、装置及存储介质
技术领域
本公开涉及图像处理技术领域,尤其涉及一种图像的聚焦方法、装置及存储介质。
背景技术
随着技术的发展和用户需求的扩展,移动终端通常都配置有摄像功能,以便用户通过移动终端摄像功能进行拍摄;为了满足用户对图像质量的要求,获得更清晰的图像,移动终端在图像采集前需要进行对焦处理。
随着对焦技术的发展,对焦方式从最初的手动对焦发展到现在的自动对焦,通过在移动终端上配置相应的硬件设备(例如深度传感器),来感知前景和后景,以辅助自动对焦技术确定前景物体,从而快速、准确的对焦到图像的前景物体上。
但上述方式一方面增加了移动终端的硬件成本,另一方面,对于没有明显前后景的图像,可能会出现对焦不准确甚至对焦失败的问题。
发明内容
本公开提供一种图像的聚焦方法、装置及存储介质。
根据本公开实施例的第一方面,提供一种图像的聚焦方法,包括:
获取第一图像的感兴趣区域,所述感兴趣区域包括至少两个备选窗口区域;其中,不同所述备选窗口区域对应的图像区域至少部分不同;
根据所述备选窗口区域的状况信息,确定与所述状况信息匹配的优先级;
基于所述优先级对应的聚焦策略,从所述第一图像中确定出目标窗口区域;
对所述目标窗口区域进行对焦。
可选地,所述根据所述备选窗口区域的状况信息,确定与所述状况信息匹配的优先级,包括:
基于至少两个备选窗口区域的离焦距离,确定所述至少两个备选窗口区域之间的最大离焦距离差;
若所述最大离焦距离差大于所述第一阈值,确定与所述状况信息匹配的优先级为第一优先级;
若所述最大离焦距离差大于所述第一阈值,确定与所述状况信息匹配的优先级为第二优先级。
可选地,所述基于所述优先级对应的聚焦策略,从所述第一图像中确定出目标窗口区域,包括:
基于第一优先级对应的离焦距离,将最小离焦距离对应的所述备选窗口区域确定为目标窗口区域。
可选地,所述基于所述优先级对应的聚焦策略,从所述第一图像中确定出目标窗口区域,包括:
基于第二优先级对应的图像内容,对所述第一图像的图像内容进行显著性检测,得到显著性区域和所述显著性区域的图像主体;
若所述显著性区域的图像主体为预设主体,将所述显著性区域确定为所述目标窗口区域。
可选地,所述预设主体包括:处于预设状态的目标物体和/或第一预设身体部位。
可选地,所述基于所述优先级对应的聚焦策略,从所述第一图像中确定出目标窗口区域,还包括:
若所述显著性区域的图像主体不为所述预设主体,对所述第一图像的图像内容进行第二预设部位检测;
将所述第一图像中第二预设身体部位所在区域确定为所述目标窗口区域。
可选地,所述对所述第一图像的图像内容进行显著性检测,得到显著性区域和所述显著性区域的图像主体,包括:
基于所述第一图像的图像内容,提取所述一图像的视觉特征;
根据所述一图像的视觉特征,确定出所述一图像的显著性区域;
提取所述显著性区域的区域特征,基于所述显著性区域的区域特征,进行图像主体分类,得到所述显著性区域的图像主体。
可选地,所述对所述目标窗口区域进行对焦,包括:
若所述目标窗口区域为第一类窗口区域,对所述第一类窗口区域进行相位对焦处理,确定所述第一类窗口区域内的对焦点位置;基于所述对焦点位置,对所述第一类窗口区域进行对焦;其中,所述第一类窗口区域为根据图像内容确定的目标窗口区域;
和/或,
对所述第一类窗口区域进行对比度对焦处理,确定所述第一类窗口区域内的对焦点位置;基于所述对焦点位置,对所述第一类窗口区域进行对焦。
可选地,对所述目标窗口区域进行对焦,包括:
若所述目标窗口区域为第二类窗口区域,基于所述第二类窗口区域的离焦距离,确定所述第二类窗口区域的对焦点位置;基于所述对焦点位置,对所述第二类窗口区域进行对焦;其中,所述第二类窗口区域为根据所述最小离焦距离确定的目标窗口区域。
可选地,所述根据所述至少两个备选窗口区域的离焦距离,确定所述至少两个备选窗口区域之间的最大离焦距离差,包括:
获取所述至少两个备选窗口区域的可信度;
从所述至少两个备选窗口区域中确定出可信度满足可信度阈值的备选窗口区域;
基于所述满足可信度阈值的备选窗口区域的离焦距离,确定所述最大离焦距离差。
可选地,所述对所述目标窗口区域进行对焦,包括:
基于所述对焦点位置,确定所述对焦点位置对应的目标视场角FOV和目标焦距;
在对焦过程中,控制镜头焦距调整为目标焦距,并基于所述目标视场角FOV,对所述第一图像进行裁剪,得到第二图像;所述第二图像为所述第一图像中所述目标视场角FOV对应的图像区域。
可选地,所述方法还包括:
所述第一图像为当前采集的商品推荐视频画面。
根据本公开实施例的第二方面,提供一种图像的聚焦装置,包括:
获取模块,用于获取第一图像的感兴趣区域,所述感兴趣区域包括至少两个备选窗口区域;其中,不同所述备选窗口区域对应的图像区域至少部分不同;
确定模块,用于根据所述备选窗口区域的状况信息,确定与所述状况信息匹配的优先级;基于所述优先级对应的聚焦策略,从所述第一图像中确定出目标窗口区域;
对焦模块,用于对所述目标窗口区域进行对焦。
可选地,所述确定模块,用于:
基于至少两个备选窗口区域的离焦距离,确定所述至少两个备选窗口区域之间的最大离焦距离差;
若所述最大离焦距离差大于所述第一阈值,确定与所述状况信息匹配的优先级为第一优先级;
若所述最大离焦距离差大于所述第一阈值,确定与所述状况信息匹配的优先级为第二优先级。
可选地,所述确定模块,还用于:
基于第一优先级对应的离焦距离,将最小离焦距离对应的所述备选窗口区域确定为目标窗口区域。
可选地,所述确定模块,还用于:
基于第二优先级对应的图像内容,对所述第一图像的图像内容进行显著性检测,得到显著性区域和所述显著性区域的图像主体;
若所述显著性区域的图像主体为预设主体,将所述显著性区域确定为所述目标窗口区域。
可选地,所述预设主体包括:处于预设状态的目标物体和/或第一预设身体部位。
可选地,所述确定模块,还用于:
若所述显著性区域的图像主体不为所述预设主体,对所述第一图像的图像内容进行第二预设部位检测;
将所述第一图像中第二预设身体部位所在区域确定为所述目标窗口区域。
可选地,所述确定模块还用于:
基于所述第一图像的图像内容,提取所述第一图像的视觉特征;
根据所述第一图像的视觉特征,确定出所述第一图像的显著性区域;
提取所述显著性区域的区域特征,基于所述显著性区域的区域特征,进行图像主体分类,得到所述显著性区域的图像主体。
可选地,所述对焦模块,用于:
若所述目标窗口区域为第一类窗口区域,对所述第一类窗口区域进行相位对焦处理,确定所述第一类窗口区域内的对焦点位置;基于所述对焦点位置,对所述第一类窗口区域进行对焦;其中,所述第一类窗口区域为根据图像内容确定的目标窗口区域;
和/或,
对所述第一类窗口区域进行对比度对焦处理,确定所述第一类窗口区域内的对焦点位置;基于所述对焦点位置,对所述第一类窗口区域进行对焦。
可选地,
所述对焦模块,用于:
若所述目标窗口区域为第二类窗口区域,基于所述第二类窗口区域的离焦距离,确定所述第二类窗口区域的对焦点位置;基于所述对焦点位置,对所述第二类窗口区域进行对焦;其中,所述第二类窗口区域为根据所述最小离焦距离确定的目标窗口区域。
可选地,所述确定模块还用于:
获取所述至少两个备选窗口区域的可信度;
从所述至少两个备选窗口区域中确定出可信度满足可信度阈值的备选窗口区域;
基于所述满足可信度阈值的备选窗口区域的离焦距离,确定所述最大离焦距离差。
可选地,所述对焦模块还用于:
基于所述对焦点位置,确定所述对焦点位置对应的目标视场角FOV和目标焦距;
在对焦过程中,控制镜头焦距调整为目标焦距,并基于所述目标视场角FOV,对所述第一图像进行裁剪,得到第二图像;所述第二图像为所述第一图像中所述目标视场角FOV对应的图像区域。
可选地,所述第一图像为当前采集的商品推荐视频画面。
根据本公开实施例的第三方面,提供一种图像的聚焦装置,包括:
处理器;
用于存储可执行指令的存储器;
其中,所述处理器被配置为:执行所述存储器中存储的可执行指令时,实现本公开实施例的第一方面所述图像的聚焦方法中的步骤。
根据本公开实施例的第四方面,提供一种非临时性计算机可读存储介质,当所述存储介质中的指令由图像的聚焦装置的处理器执行时,使得图像的聚焦装置能够执行如本公开实施例的第一方面所述图像的聚焦方法中的步骤。
本公开的实施例提供的技术方案可以包括以下有益效果:
本公开实施例通过将第一图像中感兴趣区域划分为多个备选窗口区域,根据所述多个备选窗口区域的状况信息,确定出与所述状况信息适配的优先级,基于适配的优先级限定的聚焦策略确定第一图像中的目标窗口区域,从而对于有明显前后景的图像,能够根据各个备选窗口区域的状况信息,确定前景物体所在的目标窗口区域,无需额外增加硬件设备来识别前景物体,降低硬件成本;结合状况信息优先级,可以选择根据备选窗口区域的状况信息以及不同状况信息的对焦参考重要程度(与优先级对应),从第一图像中确定待对焦对象;将待对焦对象所在区域确定为待对焦的目标窗口区域,对所述目标窗口区域进行对焦,以提高对焦的准确性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种图像的聚焦方法的流程示意图一。
图2是根据一示例性实施例示出的一种图像的聚焦方法的流程示意图二。
图3是根据一示例性实施例示出的一种视场角画面补偿的示意图。
图4是基于相关技术中的图像对焦方法处理后的图像。
图5是基于本公开实施例示出的图像的聚焦方法处理后的图像。
图6是根据一示例性实施例示出的一种好物推荐方法的流程示意图。
图7是根据一示例性实施例示出的一种图像聚焦算法的框架示意图。
图8是根据一示例性实施例示出的一种多窗口相位对焦方法的流程示意图。
图9是根据一示例性实施例示出的一种目标物体聚焦方法的流程示意图。
图10是根据一示例性实施例示出的一种人脸对焦方法的流程示意图。
图11是根据一示例性实施例示出的一种图像的聚焦装置的结构示意图。
图12是根据一示例性实施例示出的一种图像的聚焦装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置的例子。
本公开实施例提供一种图像的聚焦方法。图1是根据一示例性实施例示出的一种图像的聚焦方法的流程示意图一,如图1所示,所述方法包括:
步骤S101,获取第一图像的感兴趣区域,所述感兴趣区域包括至少两个备选窗口区域;其中,不同所述备选窗口区域对应的图像区域至少部分不同;
步骤S102,根据所述备选窗口区域的状况信息,确定与所述状况信息匹配的优先级;
步骤S103,基于所述优先级对应的聚焦策略,从所述第一图像中确定出目标窗口区域;
步骤S104,对所述目标窗口区域进行对焦。
在本公开实施例中,所述图像的聚焦方法可以由图像的聚焦装置执行,该图像的聚焦装置可以被配置在终端设备中,且所述终端设备中具有至少一个摄像头。
这里,所述摄像头设置于终端设备的形式不限,例如,可以是内置于终端设备的摄像头,也可以是外置于终端设备的摄像头。可以是前置摄像头,也可以是后置摄像头。终端设备上的摄像头可以为任意类型的摄像头,例如,摄像头可以是彩色摄像头、黑白摄像头、深度摄像头、长焦摄像头或广角摄像头等。该终端设备可包括:智能手机、平板电脑或笔记本电脑等。
在步骤S101中,所述第一图像可为终端设备采集的预览图像,也可为所述终端设备录制的视频中的一帧图像。所述感兴趣区域是指在图像处理过程中,从被处理的图像以方框、圆、椭圆或不规则多边形等方式勾勒出需要处理的区域。
感兴趣区域中可以包括背景和物体。
可根据所述第一图像的中心点,获取所述第一图像的中心预设尺寸的图像区域。
在一些实施例中,可根据接收到的针对第一图像的触发指令,获取用户选择的感兴趣区域;其中,所述触发指令可以是用户点击第一图像时产生的指令。
在确定出第一图像中的感兴趣区域后,可将所述感兴趣区域划分为多个备选窗口区域。这里,划分得到的各个备选窗口区域的大小和形状可以均相同,也可以均不同。具体的划分方法不限定。
在一些实施例中,可将所述感兴趣区域划分为M×N个备选窗口区域,其中,所述M和N为正整数。
需要说明的是,在对焦过程中,由于感兴趣区域中可能包括有过多的背景信息,容易影响到对焦结果,导致对焦点可能会在感兴趣区域中的背景区域,而不是用户想到对焦的前景区域上,造成对焦不准确的问题;基于此,在从第一图像获取感兴趣区域后,需要进一步将所述感兴趣区域划分为多个备选窗口区域,基于多个备选窗口区域的图像内容继续处理,确定出用户实际想到对焦的目标窗口区域。
在步骤S102中,所述优先级可为预先设定的不同聚焦策略对应的优先级;可以理解,不同优先级对应的聚焦策略不同。
需要说明的是,所述不同聚焦策略的优先级可由不同聚焦策略确定的待聚焦对象对图像对焦的影响程度来确定。例如,图像中存在前景物体和后景物体,若未对焦到图像中的前景物体,对焦后的图像中前景物体对应的区域可能会出现模糊的情况,导致图像不清晰;即图像中的前景物体对图像对焦的影响程度较大,可将对图像中前景物体对焦的聚焦策略确定为第一优先级的聚焦策略。
本公开实施例可通过将所述多个备选窗口区域的状况信息与不同优先级限定的触发条件进行匹配,确定与所述状况信息匹配的优先级。
这里,所述状况信息可为能够描述所述备选窗口区域的任意信息,示例性地,该状况信息包括但不限于:所述备选窗口区域的拍摄状态和/或拍摄内容的信息;例如,所述状况信息可包括:所述备选窗口区域的离焦信息和/或内容。
所述不同优先级限定的触发条件可根据实际需求进行设定;例如,若所述第一优先级对应的待聚焦对象为前景物体,则所述第一优先级限定的触发条件可为:所述多个备选窗口区域的状况信息指示所述图像为景深差图像。
故在确定所述目标窗口区域时,可根据多个备选窗口区域的状况信息,确定所述状况信息是否能够适配所述第一优先级限定的触发条件,若所述状况信息能够适配所述第一优先级限定的触发条件,可通过第一优先级限定的方法,从多个备选窗口区域中确定出目标窗口区域;若所述状况信息不能适配所述第一优先级限定的触发条件时,可继续确定所述状况信息是否能够适配所述第二优先级限定的触发条件;依次类推,确定出与所述状况信息适配的目标优先级,从而基于目标优先级限定的方法,确定出目标窗口区域,提高对焦的准确性。
在步骤S103中,在确定与所述状况信息匹配的优先级后,根据所述优先级对应的聚焦策略,从所述第一图像中确定出所述聚焦策略对应的待聚焦对象所在的区域,将所述待聚焦对象所在的区域确定为目标窗口区域。
在步骤S104中,在确定出目标窗口区域后,基于所述目标窗口区域的位置信息,控制图像采集单元对目标窗口区域进行对焦。
需要说明的是,对焦的目的是将图像采集单元(例如摄像头)的焦点调整到需要对焦的目标窗口区域,使得对焦后的图像更清晰。
本公开实施例通过将第一图像中感兴趣区域划分为多个备选窗口区域,根据所述多个备选窗口区域的状况信息,确定出与所述状况信息适配的优先级,基于适配的优先级限定的聚焦策略确定第一图像中的目标窗口区域,从而对于有明显前后景的图像,能够根据各个备选窗口区域的状况信息,确定前景物体所在的目标窗口区域,无需额外增加硬件设备来识别前景物体,降低硬件成本;结合状况信息优先级,可以选择根据备选窗口区域的状况信息以及不同状况信息的对焦参考重要程度(与优先级对应),从第一图像中确定待对焦对象;将待对焦对象所在区域确定为待对焦的目标窗口区域,对所述目标窗口区域进行对焦,以提高对焦的准确性。
可选地,所述步骤S102中的根据所述备选窗口区域的状况信息,确定与所述状况信息匹配的优先级,包括:
基于至少两个备选窗口区域的离焦距离,确定所述至少两个备选窗口区域之间的最大离焦距离差;
若所述最大离焦距离差大于所述第一阈值,确定与所述状况信息匹配的优先级为第一优先级;
若所述最大离焦距离差大于所述第一阈值,确定与所述状况信息匹配的优先级为第二优先级。
在本公开实施例中,可根据多个备选窗口区域的离焦距离,确定任意两个备选窗口区域之间的离焦距离差;根据所述任意两个备选窗口区域之间的离焦距离差,确定出最大离焦距离差;
在另一些实施例中,还可根据多个备选窗口区域的离焦距离,确定出最大离焦距离和最小离焦距离;基于所述最大离焦距离和最小离焦距离,确定出至少两个备选窗口区域之间的最大离焦距离差。
需要说明的是,由于所述离焦距离可反映所述备选窗口区域内的物体与所述摄像头的距离;通过多个备选窗口区域之间的最大离焦距离差,能够反映所述第一图像中前景与后景之间的距离差。
将所述至少两个备选窗口区域之间的最大离焦距离差与第一阈值进行对比,确定所述至少两个备选窗口区域之间的最大离焦距离差是否满足第一优先级的触发条件。
这里,所述第一优先级的触发条件可为所述至少两个备选窗口区域之间的最大离焦距离差大于所述第一阈值;
若所述最大离焦距离差大于所述第一阈值,即满足第一优先级的触发条件,此时所述第一图像中前景和后景之间的距离差较大,前后景区分较明显,可将第一优先级确定为与所述状况信息匹配的优先级,基于第一优先级对应的聚焦策略对第一图像进行对焦。
需要说明的是,第一优先级对应的聚焦策略可为将图像的前景区域确定为目标窗口区域;由于当图像中前景和后景区分明显时,需要优先对焦到图像的前景区域,以减少图像前景区域模糊的情况。
若所述最大离焦距离差小于所述第一阈值,即不满足第一优先级的触发条件,此时所述第一图像中前景和后景之间的距离差较小,前后景区分不明显,可将第二优先级确定为与所述状况信息匹配的优先级,基于第二优先级对应的聚焦策略对第一图像进行对焦。
本公开实施例根据多个备选窗口区域的离焦距离,确定多个备选窗口区域之间的最大离焦距离差,根据所述最大离焦距离差,确定所述第一图像是否属于景深差图像,并针对第一图像属于景深差图像的情况和所述第一图像不属于景深差图像的情况,分别采用不同优先级的聚焦策略,从而根据第一图像的不同情况针对性对焦,提高对焦的准确性。
可选地,所述步骤S103中的基于所述优先级对应的聚焦策略,从所述第一图像中确定出目标窗口区域,包括:
基于第一优先级对应的离焦距离,将最小离焦距离对应的所述备选窗口区域确定为目标窗口区域。
在本公开实施例中,若与所述状况信息匹配的优先级为第一优先级,即所述第一图像中前后景区分较明显,故所述第一图像中待对焦对象为前景区域。
可对所述多个备选窗口区域进行多窗口相位对焦检测,基于多窗口相位对焦检测结果,将最小离焦距离对应的备选窗口区域(即前景所在区域)确定为目标窗口区域。
需要说明的是,所述离焦距离是指备选窗口区域成像所处的位置与合焦状态时交点所处位置的距离;所述离焦距离越大,表示所述备选窗口区域成像所处的位置离焦点的距离越远,所述离焦距离越小,表示所述备选窗口区域成像所处的位置离焦点的距离越近。这里,所述合焦状态是指成功对焦的状态。
如此,对于有明显前后景的图像,能够根据各个备选窗口区域的离焦距离,将最小离焦距离对应的备选窗口区域(即前景物体所在的窗口区域)确定为待对焦的目标窗口区域,从而给无需额外增加硬件设备来识别前景物体,降低硬件成本。
可选地,所述步骤S103中的基于所述优先级对应的聚焦策略,从所述第一图像中确定出目标窗口区域,包括:
基于第二优先级对应的图像内容,对所述第一图像的图像内容进行显著性检测,得到显著性区域和所述显著性区域的图像主体;
若所述显著性区域的图像主体为预设主体,将所述显著性区域确定为所述目标窗口区域。
在本公开实施例中,若与所述状况信息匹配的优先级为第二优先级,即所述第一图像中前后景区分不明显,可基于第一图像的图像内容,对所述第一图像进行显著性检测,根据显著性检测结果,从第一图像确定出目标窗口区域。
这里,所述预设主体为用户想要对焦的对象,所述预设主体可根据实际需求进行设定。
需要说明的是,对于一幅图像来说,图像的显著性区域为该图像中最容易引起用户关注的区域,而图像区域内的图像主体最能表现该图像区域所包括的图像内容和图像信息。
可通过对第一图像进行显著性检测,确定出所述第一图像中的显著性区域以及显著性区域的图像主体;根据确定所述显著性区域的图像主体是否为预设主体,确定待对焦的所述目标窗口区域。
本公开实施例中可基于显著性区域算法,对所述第一图像进行显著性检测。其中,示例地,显著性区域算法可以是指基于直方图的全局对比度分析方法,对第一图像的颜色做直方图统计。根据各个颜色在第一图像中出现的概率以及当前颜色和其他颜色之间的颜色距离,计算出各个颜色对应的显著性值;根据第一图像中各个像素点的颜色显著性值,做归一化处理,得到第一图像的显著性区域,并确定出所述显著性区域对应的备选窗口区域位置。
本公开实施例通过对第一图像进行显著性检测,得到显著性区域,基于所述显著性区域,确定所述显著性区域的图像主体是否为用户想要对焦的预设主体,一方面通过对第一图像进行显著性检测,确定出第一图像中最容易引起用户关注的显著性区域,减小目标窗口的搜索范围,提高对焦效率;另一方面通过确定出所述显著性区域内的最能表现所述显著性区域的图像内容和图像信息的图像主体,在所述图像主体为用户想要对焦的预设主体时,将所述显著性区域确定为目标窗口区域,提高对焦的准确性。
可选地,所述预设主体包括:处于预设状态的目标物体和/或第一预设身体部位。
在本公开实施例中,所述目标物体和所述第一预设身体部位可为用户预先设置的待对焦对象。例如,所述目标物体为手机,所述第一预设身体部位为手部,则所述预设主体即待对焦对象可为图像中握持手机的手部区域。又例如,所述目标物体为鞋子,所述第一预设身体部位为腿部,则所述预设主体即待对焦对象可为图像中穿着鞋子的腿部区域。
在本公开的一些实施例中,所述目标对象可为多个对象,移动终端存储有所述多个对象的对象优先级;若检测到的显著性区域的图像主体为单个对象,将所述目标对象所在的备选窗口区域确定为目标窗口区域。若检测到的显著性区域的图像主体为多个对象,可根据预设的对象优先级,将所述显著性区域中优先级最高的对象所在的备选窗口区域确定为目标窗口区域。
在本公开的另一些实施例中,若检测到的显著性区域的图像主体为多个对象时,显示对焦对象选择界面,以供用户基于所述对焦对象选择界面选择待对焦的对象,将待对焦对象所在的备选窗口区域确定为目标窗口区域。
可选地,所述步骤S103中的基于所述优先级对应的聚焦策略,从所述第一图像中确定出目标窗口区域,还包括:
若所述显著性区域的图像主体不为所述预设主体,对所述第一图像的图像内容进行第二预设部位检测;
将所述第一图像中第二预设身体部位所在区域确定为所述目标窗口区域。
在本公开实施例中,所述第二预设身体部位可为用户预先设置的待对焦对象,所述第二预设身体部位与所述第一预设身份部位可为用户的不同身体部位。
若检测出的所述显著性区域的图像主体不是预设主体时,可对所述第一图像进行第二预设部位检测,若检测出所述第一图像中存在第二预设身份部位,可将第一图像中所述第二预设身份部位所在的区域确定为所述目标窗口区域。
例如,若所述第二预设身份部位为人脸,可采用人脸检测算法对所述第一图像进行人脸检测以检测出目标人脸;将第一图像中目标人脸所在区域确定为目标窗口区域。
又例如,若所述第二预设身体部位为人眼,可采用人脸检测算法从所述第一图像中确定出人脸区域;提取所述人脸区域的特征信息,对所述人脸区域的特征信息进行分类,确定出所述人脸区域内的眼部区域。
可选地,所述对所述第一图像的图像内容进行显著性检测,得到显著性区域和所述显著性区域的图像主体,包括:
基于所述第一图像的图像内容,提取所述第一图像的视觉特征;
根据所述第一图像的视觉特征,确定出所述第一图像的显著性区域;
提取所述显著性区域的区域特征,基于所述显著性区域的区域特征,进行图像主体分类,得到所述显著性区域的图像主体。
在本公开实施例中,所述视觉特征包括但不限于颜色特征、边缘特征、纹理特征、视觉显著度中的至少一个。
通过对所述第一图像进行视觉特征提取,得到所述第一图像的视觉特征;基于所述第一图像的视觉特征,对所述第一图像进行显著性识别,确定所述第一图像中的显著性区域。
确定出所述第一图像中的显著性区域;对所述显著性区域进行特征提取,得到所述显著性区域的区域特征,从而根据所述显著性区域的区域特征,对所述显著性区域的图像主体进行分类,得到分类结果;根据所述分类结果,确定所述第一图像中显著性区域的图像主体。
这里,可通过池化处理对显著性区域的视觉特征进行降维,得到所述显著性区域的区域特征,该池化处理可包括最大池化、平均池化或广义均值池化等。应当理解的是,本公开实施例的池化处理并不仅限于上述列举的几种类型。
可选地,所述步骤S103中的对所述目标窗口区域进行对焦,包括:
若所述目标窗口区域为第一类窗口区域,对所述第一类窗口区域进行相位对焦处理,确定所述第一类窗口区域内的对焦点位置;基于所述对焦点位置,对所述第一类窗口区域进行对焦;其中,所述第一类窗口区域为根据图像内容确定的目标窗口区域;
和/或,
对所述第一类窗口区域进行对比度对焦处理,确定所述第一类窗口区域内的对焦点位置;基于所述对焦点位置,对所述第一类窗口区域进行对焦。
在本公开实施例中,将根据所述备选窗口区域的区域特征确定出的所述目标窗口区域,确定为所述第一类窗口区域;对所述第一类窗口区域进行相位对焦处理和/或对比度对焦处理,根据相位对焦处理和/或对比度对焦处理得到的对焦点位置,对所述第一类窗口区域进行对焦。
这里,所述对焦点位置可包括移动方向和/或移动距离,该移动方向表示为了获得清晰图像,镜头需要移动的方向;所述移动距离表示为了获得清晰的图像,镜头需要在移动方向上移动的距离。换句话说,所述对焦点位置可以表示为了获得清晰的图像,镜头需要所处的位置。
需要说明的是,所述相位对焦原理为:在感光元件上预留出一些遮蔽像素点,专门用来进行图像的相位检测,通过相位对焦检测器将一光束分光分为两个光束,并将两个光束分别投影在相位对焦检测器的两个感光元件上,以获得一组光感应信号,利用该组光感应信号获取相位差异信息,根据相位差异信息,确定像素之间的距离及其变化,并确定出对焦的偏移值,从而实现准确对焦;所述对比度对焦原理为:根据不同对焦距离时所产生的图像的对比度变化,确定出对比度最大时的镜头位置(即对焦点的位置)。
可选地,所述步骤S103中的对所述目标窗口区域进行对焦,包括:
若所述目标窗口区域为第二类窗口区域,基于所述第二类窗口区域的离焦距离,确定所述第二类窗口区域的对焦点位置;基于所述对焦点位置,对所述第二类窗口区域进行对焦;其中,所述第二类窗口区域为根据所述最小离焦距离确定的目标窗口区域。
在本公开实施例中,将根据所述最小离焦距离确定出的目标窗口区域,确定为第二类窗口区域;由于所述第二类窗口区域的离焦距离用于指示当前镜头位置与所述对焦点位置之间的距离差,故可根据所述第二类窗口区域的离焦距离,确定出所述第二类窗口区域的对焦点位置,并根据所述对焦点位置,调整镜头位置,以对所述第二类窗口区域进行对焦。
可选地,所述根据所述至少两个备选窗口区域的离焦距离,确定所述至少两个备选窗口区域之间的最大离焦距离差,包括:
获取所述至少两个备选窗口区域的可信度;
从所述至少两个备选窗口区域中确定出可信度满足可信度阈值的备选窗口区域;
基于所述满足可信度阈值的备选窗口区域的离焦距离,确定所述最大离焦距离差。
在本公开实施例中,所述可信度用于表征所述备选窗口区域的离焦距离是否准确;若所述备选窗口区域的可信度越高,该备选窗口区域的离焦距离就越准确。例如,可通过相位对焦传感器对所述第一图像的至少两个备选窗口区域进行相位对焦检测,得到所述相位对焦传感器输出的至少两个备选窗口区域的相位对焦置信水平(Phase Detectionconfidence level)的数值,即可信度。
可通过获取各个备选窗口区域的可信度,根据所述各个备选窗口区域的可信度来判断各个备选窗口区域的有效性,若所述备选窗口区域的可信度大于所述可信度阈值,说明所述备选窗口区域为有效窗口区域;可根据所述感兴趣区域内各个有效窗口区域的离焦距离,确定出所述至少两个备选窗口区域之间的最大离焦距离差,从而提高最大离焦距离差的准确性,提高对焦准确性。
可选地,所述对所述目标窗口区域进行对焦,包括:
基于所述对焦点位置,确定所述对焦点位置对应的目标视场角FOV和目标焦距;
在对焦过程中,控制镜头焦距调整为目标焦距,并基于所述目标视场角FOV,对所述第一图像进行裁剪,得到第二图像;所述第二图像为所述第一图像中所述目标视场角FOV对应的图像区域。
在本公开实施例中,在确定出所述对焦点位置后,根据所述对焦点位置,确定对焦点位置对应的FOV和目标焦距;在对所述目标窗口区域进行对焦的过程时,控制镜头移动至对焦点位置,随着镜头的移动,将所述镜头的焦距逐渐调整为目标焦距;并且根据所述目标视场角FOV,确定所述第一图像的裁剪比例;根据所述裁剪比例,对所述第一图像进行裁剪,得到第二图像,输出所述第二图像。
需要说明的是,视场角又称为视场,在光学仪器中,以光学仪器的摄像头为顶点,以被测目标的物像可通过摄像头的最大范围的两条边缘构成的夹角,成为视场角。视场角的大小决定了光学仪器的视野范围,视场角越大,视野就越大,光学倍率就越小。一般情况下,视场角与焦距的关系为视场角越大,焦距就越短。
当视场角较小时,由于所述视场角对应的感光区域较大,摄像头的抖动对采集画面的稳定性的影响更大;当视场角较大时,由于所述视场角对应的感光区域较小,摄像头的抖动对采集画面的稳定性的影响更小;故在对焦过程中,摄像头的移动导致焦距发生改变,从而使得视场角变化;根据视场角对所述采集画面进行裁剪,减少由于视场角变化导致的画面稳定性变化。
可选地,所述第一图像为当前采集的商品推荐视频画面。
在本公开实施例中,所述商品推荐视频可为正在录制的商品推荐视频,例如正在录制的广告视频;也可为实时直播的商品推荐视频,例如直播带货视频。
示例性地,从正在录制的商品推荐视频中,获取摄像头的当前采集图像,对所述当前采集图像进行对焦,获取对焦后的图像作为已对焦的视频帧图像;基于多个已对焦的视频帧图像,根据所述已对焦的视频帧图像的播放时间顺序,生成已对焦的商品推荐视频。
又示例性地,获取商品推荐视频的当前直播画面,对所述当前直播画面进行对焦处理,将对焦后的直播画面推送至对应的直播间进行显示。
本公开还提供以下实施例:
图2是根据一示例性实施例示出的一种图像的聚焦方法的流程示意图二,所述方法包括:
步骤S201,获取第一图像的感兴趣区域,将所述感兴趣区域划分为至少两个备选窗口区域,其中,不同所述备选窗口区域对应的图像区域至少部分不同;
在本示例中,所述第一图像为当前采集的商品推荐视频画面。所述商品推荐视频为正在录制的商品推荐视频;
从正在录制的商品推荐视频中,获取摄像头当前采集的第一图像,在所述第一图像的图像中心截取预设尺寸的图像作为第一图像的感兴趣区域;并将截取出的感兴趣区域划分为M×N个备选窗口区域;这里M和N均为正整数。
步骤S202,根据聚焦策略限定的第一优先级对应的离焦距离,基于所述至少两个备选窗口区域的离焦距离,确定所述至少两个备选窗口区域之间的最大离焦距离差;若所述最大离焦距离差大于第一阈值,将最小离焦距离对应的所述备选窗口区域确定为第二类窗口区域;
在本示例中,所述聚焦策略限定的第一优先级为:基于多窗口对焦算法,从所述至少两个备选窗口区域中确定出第一图像的前景所在的第二类窗口区域。
示例地,基于多窗口对焦算法,确定出所述至少两个备选窗口区域的离焦距离(defocus);根据所述至少两个备选窗口区域的离焦距离,确定出最大离焦距离和最小离焦距离,基于所述最大离焦距离和最小离焦距离,确定所述最大离焦距离差;若所述最大离焦距离差大于第一阈值,即第一图像的拍摄场景属于景深差场景,也即第一图像中前景和后景相差较明显,可根据所述至少两个备选窗口区域的离焦距离,确定出前景所在的窗口区域,从而后期能够对焦到前景所在的窗口区域。
这里,可将最小离焦距离对应的所述备选窗口区域确定为前景所在的窗口区域(即第二类窗口区域)。
在一些实施例中,所述基于所述至少两个备选窗口区域的离焦距离,确定所述至少两个备选窗口区域之间的最大离焦距离差,可包括:
获取所述至少两个备选窗口区域的可信度;
从所述至少两个备选窗口区域中确定出可信度满足可信度阈值的备选窗口区域;
基于所述满足可信度阈值的备选窗口区域的离焦距离,确定所述最大离焦距离差。
在本示例中,所述可信度用于表征所述离焦距离是否准确;若某一备选窗口区域的可信度越高,该备选窗口区域的离焦距离越准确。
可基于多窗口对焦算法,确定出所述至少两个备选窗口区域的离焦距离和可信度;根据所述可信度,从所述至少两个备选窗口区域中确定出可信度满足可信度阈值的备选窗口区域;基于所述满足可信度阈值的备选窗口区域的离焦距离,确定所述最大离焦距离差。
步骤S203,基于所述第二类窗口区域的离焦距离,确定所述第二类窗口区域的对焦点位置;基于所述对焦点位置,对所述第二类窗口区域进行对焦。
在本示例中,在确定出所述第二类窗口区域的离焦距离后,根据所述第二类窗口区域的离焦距离,确定第二类窗口区域的对焦点位置,向镜头的驱动模组发送所述对焦点位置,以使驱动模组基于所述对焦点位置,控制所述镜头对所述第二类窗口区域进行对焦。
在一些实施例中,所述方法还包括:确定所述第二类窗口区域内的画面是否稳定;若所述画面不稳定,重新确定所述第二类窗口区域。
在本示例中,通过确定所述第二类窗口区域内的画面是否稳定,即确定对焦窗口内的画面是否发生变化,若画面稳定,说明第一图像的前景未发生变化,不需要重新对焦;若画面不稳定,说明第一图像内的前景发生变化,需要重新确定第一图像中的第二类窗口区域,重新对焦。
步骤S204,若所述最大离焦距离差小于所述第一阈值,基于所述聚焦策略限定的第二优先级对应的图像内容,对所述备选窗口区域的图像内容进行显著性检测,得到第一图像中的显著性区域和所述显著性区域的图像主体;
在本示例中,所述聚焦策略限定的第二优先级为:基于显著性检测算法,确定出所述第一图像的显著性区域的图像主体是否为预设主体。
当所述最大离焦距离差小于所述第一阈值,即所述第一图像拍摄场景不属于景深差场景,也即第一图像中前景和后景相差不明显,可基于所述聚焦策略限定的第二优先级对应的图像内容,对所述第一图像的图像内容进行显著性检测,得到第一图像中的显著性区域和所述显著性区域的图像主体。
需要说明的是,考虑到多窗口对焦算法对于前后景相差不明显的图像,由于无法准确的区分图像中的前景和后景,导致无法准确的对焦到前景,故本示例通过对图像进行显著性检测,确定出所述图像中的显著性区域,再根据所述显著性区域的图像主体,确定是否对第一图像中该显著性区域所在区域进行对焦。
所述对所述第一图像的图像内容进行显著性检测,得到第一图像中的显著性区域和所述显著性区域的图像主体,包括:
基于所述第一图像的图像内容,提取所述第一图像的视觉特征;
根据所述第一图像的视觉特征,确定出所述第一图像的显著性区域;
提取所述显著性区域的区域特征,基于所述显著性区域的区域特征,进行图像主体分类,得到所述显著性区域的图像主体。
在本示例中,通过对第一图像进行视觉特征提取,得到所述第一图像的视觉特征;基于所述第一图像的视觉特征,确定出第一图像中的显著性区域;对所述显著性区域进行特征提取,得到所述显著性区域的区域特征;根据所述显著性区域的区域特征,对所述显著性区域的图像主体进行分类,得到分类结果。
步骤S205,若所述显著性区域的图像主体为预设主体,将所述显著性区域确定为目标窗口区域;其中,所述预设主体包括:处于预设状态的目标物体和/或第一预设身体部位;
在本示例中,所述处于预设状态的目标物体可为待推荐的商品,所述第一预设身体部位处于用户的手部。
根据所述分类结果,若所述分类结果指示所述显著性区域的图像主体为握持所述待推荐商品的手部,则所述显著性区域为需要对焦的目标窗口区域。
若所述分类结果指示所述显著性区域所在的备选窗口区域的图像主体不是握持所述待推荐商品的手部,则可基于所述聚焦策略限定的第三优先级对应的,继续对所述第一图像进行人脸检测。
步骤S206,若所述显著性区域的图像主体不为所述预设主体,对所述第一图像的图像内容进行第二预设部位检测;将所述第一图像中第二预设身体部位所在区域确定为目标窗口区域;
在本示例中,所述第二预设身体部位为人脸,所述第二预设部位检测可为人脸检测;
若所述分类结果指示所述显著性区域所在的备选窗口区域的图像主体不是握持所述待推荐商品的手部,则可基于所述聚焦策略限定的第三优先级对应的人脸信息,继续对所述第一图像进行人脸检测,在检测到人脸后,将人脸所在区域确定为待对焦的目标窗口区域。
步骤S207,对所述第一类窗口区域进行相位对焦处理,确定所述第一类窗口区域内的对焦点位置;基于所述对焦点位置,对所述第一类窗口区域进行对焦;和/或,对所述第一类窗口区域进行对比度对焦处理,确定所述第一类窗口区域内的对焦点位置;基于所述对焦点位置,对所述第一类窗口区域进行对焦;其中,所述第一类窗口区域为根据图像内容确定的目标窗口区域。
在本示例中,所述第一类窗口区域即为基于第二优先级限定的聚焦策略或第三优先级限定的聚焦策略,确定出的目标窗口区域。
在确定出第一类窗口区域后,可通过对所述第一类窗口区域进行相位对焦和/或对比度对焦,根据相位对焦和/或对比度对焦得到的对焦点位置,对所述第一类窗口区域进行对焦。
在一些实施例中,所述方法还包括:
基于所述对焦点位置,确定所述对焦点位置对应的目标视场角FOV和目标焦距;
在对焦过程中,控制镜头焦距调整为目标焦距,并基于所述目标视场角FOV,对所述第一图像进行裁剪,得到第二图像;所述第二图像为所述第一图像中所述目标视场角FOV对应的图像区域。
在本示例中,考虑到在对焦过程中,由于镜头焦距的调整,导致视场角变化,镜头的抖动可能会对图像的稳定性造成影响;为了减少对焦过程对图像稳定性的影响,可根据对焦点位置,确定出目标视场角和目标焦距;在对焦过程中,通过控制镜头焦距调整为目标焦距时,随着镜头位置的改变,将第一图像中所述目标视场角对应的感光区域以外的图像区域进行裁剪。
需要说明的是,如图3所示,图3是根据一示例性实施例示出的一种视场角画面补偿的示意图。当视场角较大时,像距较小,视场角对应的感光区域较大,此时镜头的抖动对画面的稳定性的影响更大;当视场角较小时,像距较大,视场角对应的感光区域较小,此时镜头的抖动对画面的稳定性的影响更小。在对焦过程中,镜头从位置A移动到位置B的过程中,视场角在逐渐变大,视场角对应的感光区域也在逐渐变小,为了降低镜头抖动对画面稳定性的影响,可对视场角对应的感光区域以外的图像区域进行裁剪。
示例性地,如图4、图5所示,图4是基于相关技术中的图像对焦方法处理后的图像;图5是基于本公开实施例示出的图像的聚焦方法处理后的图像;可以看出,对于目标物体较小的情况,利用相关技术中的图像对焦方法无法准确对焦到所述目标物体上,而利用本公开实施例示出的图像的聚焦方法能够有效聚焦到所述目标物体上,获得清晰的图像。
示例性地,如图6所示,图6是根据一示例性实施例示出的一种好物推荐方法的流程示意图。所述好物推荐方法是适用于例如直播带货或商品推荐等应用场景。示例地:
步骤S301,打开APP的“带货模式”;
可预先设置一个单独模式来就进行物品优先级聚集显示。
步骤S302,通过摄像头采集预览画面;
步骤S303,启动录像功能;
步骤S304,录制带货视频;
步骤S305,启动图像聚焦算法,对所述带货视频进行图像聚焦;
这里,所述图像聚类算法可为上述一个或多个技术方案所提供的图像的聚焦方法。
步骤S306,基于所述图像聚焦算法,控制优先对焦到优先物品;
这里,本示例设计三层优先级,来控制物体的聚焦;如图7所示,图7是根据一示例性实施例示出的一种图像聚焦算法的框架示意图,包括:
步骤S3061,第一优先级控制对图像的中心窗口的前景物体进行对焦;
这里,第一优先级为:在画面重点区域,进行多窗口划分,并基于多窗口相位对焦方法,确定多个窗口的参数值;基于参数值,确定出图像中的前景,并聚焦到图像的前景物体中。
步骤S3062,第二优先级控制对图像中主播手持物体进行对焦;
需要说明的是,考虑到第一优先级限定的多窗口相位对焦方法在图像前后景区分不明显时,无法准确对焦的情况,可在确定出图像不属于景深差场景时,通过第二优先级限定的对焦方法,识别出图像中主播手持物体所在窗口区域,对该窗口区域进行对焦。
如此,在直播带货/商品推荐场景下,若无法准确区分视频画面中的前景和后景时,可直接确定出所述视频画面中主播手持物体区域,对焦至该区域。
步骤S3063,第三优先级控制对图像中主播人脸进行对焦。
需要说明的是,考虑到第一优先级限定的多窗口相位对焦方法在图像前后景区分不明显时,无法准确对焦的情况,并且图像中不存在主播手持物体的场景时,可通过第三优先级限定的对焦方法,识别出图像中主题人脸所在窗口区域,并对该窗口区域进行对焦。
如此,在直播带货/商品推荐场景下,若无法准确区分视频画面中的前景和后景时,并且所述视频画面中并未出现主播手持物体场景时,确定出主播的人脸所在区域,对焦至该区域。
步骤S307,在对焦过程中,启动视场角FOV补偿;
步骤S308,确定对焦后的画面是否稳定;
可以理解的,若所述对焦后的画面稳定,继续对下一帧视频画面进行图像聚焦处理,若对焦后的画面不稳定,重新对该帧画面进行对焦。
步骤S309,完成对视频中每一帧画面的图像聚焦处理后,结束录制,生成录像。
示例性地,如图8所示,图8是根据一示例性实施例示出的一种多窗口相位对焦方法的流程示意图。所述第一优先级控制对图像的中心窗口的前景物体进行对焦,包括:
步骤S401,启动多窗口相位对焦算法;
步骤S402,获取各个所述窗口的离焦defocus值;
步骤S403,基于所述defocus值,对各个所述窗口进行排序;
步骤S404,获取各个所述窗口的可信度,确定满足可信度阈值的窗口;
步骤S405,从所述满足可信度阈值的窗口中确定出最大defocus值对应的窗口和最小defocus值对应的窗口,并确定出defocus差值;
步骤S406,根据所述defocus差值,确定视频画面是否属于景深差场景;
步骤S407,若所述defocus差值大于或等于预设的差值阈值,确定视频画面属于景深差场景,从视频画面中确定出近景物体所在窗口;
步骤S408,根据所述满足可信度阈值的窗口的defocus值,确定是否满足触发条件;
步骤S409,在满足触发条件时,确定出近景所在窗口的位置;
步骤S410,向所述驱动芯片发送控制信息;
步骤S411,镜头聚焦到视频画面的前景区域;
步骤S412,确定视频画面是否稳定;
步骤S413,若视频画面稳定,不需要对所述视频画面重新对焦。
在本示例中,若所述视频画面不稳定,需要重新对所述视频画面进行多窗口相位对焦处理。
又示例性地,如图9所示,图9是根据一示例性实施例示出的一种目标物体聚焦方法的流程示意图。所述第二优先级控制对图像中主播手持物体进行对焦,可包括:
步骤S501,当利用多窗口相位对焦方法对视频画面对焦失败后,对视频画面启动显著性检测;
步骤S502,确定视频画面中显著性区域的图像主体是否为训练集内的显著性图像主体;若显著性区域的图像主体不为训练集内的显著性图像主体,执行步骤S503,即利用第三优先级限定的方法,进行图像对焦;否则,执行步骤S504;
步骤S504,确定出所述显著性区域的图像主体所在的窗口的位置;
步骤S505,将所述图像主体所在窗口的位置下发至自动对焦模块;
步骤S506,自动对焦模块基于所述图像主体所在窗口的位置,对相位对焦算法和对比度对焦算法进行更新;
步骤S507,基于更新后的相位对焦算法和对比度对焦算法,对图像主体所在窗口进行对焦。
又示例性地,如图10所示,图10是根据一示例性实施例示出的一种人脸对焦方法的流程示意图。所述第三优先级控制对图像中主播人脸进行对焦,可包括:
步骤S601,利用人脸检测模块对视频画面进行人脸识别;
步骤S602,将人脸所在窗口的位置下发到自动对焦模块;
步骤S603,自动对焦模块基于所述人脸所在窗口位置,对相位对焦算法和对比度对焦算法进行更新;
步骤S604,基于更新后的相位对焦算法和对比度对焦算法,对人脸所在窗口进行对焦。
步骤S605,在对焦成功后,开启多窗口检测,等待下一次多窗口对焦。
本公开实施例还提供一种图像的聚焦装置。图11是根据一示例性实施例示出的一种图像的聚焦装置的结构示意图,如图11所示,所述图像的聚焦装置100包括:
获取模块101,用于获取第一图像的感兴趣区域,所述感兴趣区域包括至少两个备选窗口区域;其中,不同所述备选窗口区域对应的图像区域至少部分不同;
确定模块102,用于根据所述备选窗口区域的状况信息,确定与所述状况信息匹配的优先级;基于所述优先级对应的聚焦策略,从所述第一图像中确定出目标窗口区域;
对焦模块103,用于对所述目标窗口区域进行对焦。
可选地,所述确定模块102,用于:
基于至少两个备选窗口区域的离焦距离,确定所述至少两个备选窗口区域之间的最大离焦距离差;
若所述最大离焦距离差大于所述第一阈值,确定与所述状况信息匹配的优先级为第一优先级;
若所述最大离焦距离差大于所述第一阈值,确定与所述状况信息匹配的优先级为第二优先级。
可选地,所述确定模块102,还用于:
基于第一优先级对应的离焦距离,将最小离焦距离对应的所述备选窗口区域确定为目标窗口区域。
可选地,所述确定模块102,还用于:
基于第二优先级对应的图像内容,对所述第一图像的图像内容进行显著性检测,得到显著性区域和所述显著性区域的图像主体;
若所述显著性区域的图像主体为预设主体,将所述显著性区域确定为所述目标窗口区域。
可选地,所述预设主体包括:处于预设状态的目标物体和/或第一预设身体部位;
所述确定模块102,还用于:
若所述显著性区域的图像主体不为所述预设主体,对所述第一图像的图像内容进行第二预设部位检测;
将所述第一图像中第二预设身体部位所在区域确定为所述目标窗口区域。
可选地,所述确定模块102,还用于:
基于所述第一图像的图像内容,提取所述第一图像的视觉特征;
根据所述第一图像的视觉特征,确定出所述第一图像的显著性区域;
提取所述显著性区域的区域特征,基于所述显著性区域的区域特征,进行图像主体分类,得到所述显著性区域的图像主体。
可选地,
所述对焦模块103,用于:
若所述目标窗口区域为第一类窗口区域,对所述第一类窗口区域进行相位对焦处理,确定所述第一类窗口区域内的对焦点位置;基于所述对焦点位置,对所述第一类窗口区域进行对焦;其中,所述第一类窗口区域为根据图像内容确定的目标窗口区域;
和/或,
对所述第一类窗口区域进行对比度对焦处理,确定所述第一类窗口区域内的对焦点位置;基于所述对焦点位置,对所述第一类窗口区域进行对焦。
可选地,
所述对焦模块103,用于:
若所述目标窗口区域为第二类窗口区域,基于所述第二类窗口区域的离焦距离,确定所述第二类窗口区域的对焦点位置;基于所述对焦点位置,对所述第二类窗口区域进行对焦其中,所述第二类窗口区域为根据所述最小离焦距离确定的目标窗口区域。
可选地,所述确定模块102,还用于:
获取所述至少两个备选窗口区域的可信度;
从所述至少两个备选窗口区域中确定出可信度满足可信度阈值的备选窗口区域;
基于所述满足可信度阈值的备选窗口区域的离焦距离,确定所述最大离焦距离差。
可选地,所述对焦模103,还用于:
基于所述对焦点位置,确定所述对焦点位置对应的目标视场角FOV和目标焦距;
在对焦过程中,控制镜头焦距调整为目标焦距,并基于所述目标视场角FOV,对所述第一图像进行裁剪,得到第二图像;所述第二图像为所述第一图像中所述目标视场角FOV对应的图像区域。
可选地,所述第一图像为当前采集的商品推荐视频画面。
图12是根据一示例性实施例示出的一种图像的聚焦装置的框图。例如,装置800可以是移动电话,移动电脑等。
参照图12,装置800可以包括以下一个或多个组件:处理组件802,存储器804,电源组件806,多媒体组件808,音频组件810,输入/输出(I/O)的接口812,传感器组件814,以及通信组件816。
处理组件802通常控制装置800的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件802可以包括一个或多个模块,便于处理组件802和其他组件之间的交互。例如,处理组件802可以包括多媒体模块,以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件806为装置800的各种组件提供电力。电源组件806可以包括电源管理系统,一个或多个电源,及其他与为装置800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如,音频组件810包括一个麦克风(MIC),当装置800处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中,音频组件810还包括一个扬声器,用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器,用于为装置800提供各个方面的状态评估。例如,传感器组件814可以检测到设备800的打开/关闭状态,组件的相对定位,例如所述组件为装置800的显示器和小键盘,传感器组件814还可以检测装置800或装置800一个组件的位置改变,用户与装置800接触的存在或不存在,装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件814还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络,如Wi-Fi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件816还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器804,上述指令可由装置800的处理器820执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (15)

1.一种图像的聚焦方法,其特征在于,包括:
获取第一图像的感兴趣区域,所述感兴趣区域包括至少两个备选窗口区域;其中,不同所述备选窗口区域对应的图像区域至少部分不同;
根据所述备选窗口区域的状况信息,确定与所述状况信息匹配的优先级;
基于所述优先级对应的聚焦策略,从所述第一图像中确定出目标窗口区域;
对所述目标窗口区域进行对焦。
2.根据权利要求1所述的方法,其特征在于,所述根据所述备选窗口区域的状况信息,确定与所述状况信息匹配的优先级,包括:
基于至少两个备选窗口区域的离焦距离,确定所述至少两个备选窗口区域之间的最大离焦距离差;
若所述最大离焦距离差大于所述第一阈值,确定与所述状况信息匹配的优先级为第一优先级;
若所述最大离焦距离差大于所述第一阈值,确定与所述状况信息匹配的优先级为第二优先级。
3.根据权利要求2所述的方法,其特征在于,所述基于所述优先级对应的聚焦策略,从所述第一图像中确定出目标窗口区域,包括:
基于第一优先级对应的离焦距离,将最小离焦距离对应的所述备选窗口区域确定为目标窗口区域。
4.根据权利要求2所述的方法,其特征在于,所述基于所述优先级对应的聚焦策略,从所述第一图像中确定出目标窗口区域,包括:
基于第二优先级对应的图像内容,对所述第一图像的图像内容进行显著性检测,得到显著性区域和所述显著性区域的图像主体;
若所述显著性区域的图像主体为预设主体,将所述显著性区域确定为所述目标窗口区域。
5.根据权利要求4所述的方法,其特征在于,所述预设主体包括:处于预设状态的目标物体和/或第一预设身体部位。
6.根据权利要求5所述的方法,其特征在于,所述基于所述优先级对应的聚焦策略,从所述第一图像中确定出目标窗口区域,还包括:
若所述显著性区域的图像主体不为所述预设主体,对所述第一图像的图像内容进行第二预设部位检测;
将所述第一图像中第二预设身体部位所在区域确定为所述目标窗口区域。
7.根据权利要求4所述的方法,其特征在于,所述对所述第一图像的图像内容进行显著性检测,得到显著性区域和所述显著性区域的图像主体,包括:
基于所述第一图像的图像内容,提取所述第一图像的视觉特征;
根据所述第一图像的视觉特征,确定出所述第一图像的显著性区域;
提取所述显著性区域的区域特征,基于所述显著性区域的区域特征,进行图像主体分类,得到所述显著性区域的图像主体。
8.根据权利要求3所述的方法,其特征在于,所述对所述目标窗口区域进行对焦,包括:
若所述目标窗口区域为第一类窗口区域,对所述第一类窗口区域进行相位对焦处理,确定所述第一类窗口区域内的对焦点位置;基于所述对焦点位置,对所述第一类窗口区域进行对焦;其中,所述第一类窗口区域为根据图像内容确定的目标窗口区域;
和/或,
对所述第一类窗口区域进行对比度对焦处理,确定所述第一类窗口区域内的对焦点位置;基于所述对焦点位置,对所述第一类窗口区域进行对焦。
9.根据权利要求3所述的方法,其特征在于,所述对所述目标窗口区域进行对焦,包括:
若所述目标窗口区域为第二类窗口区域,基于所述第二类窗口区域的离焦距离,确定所述第二类窗口区域的对焦点位置;基于所述对焦点位置,对所述第二类窗口区域进行对焦;其中,所述第二类窗口区域为根据所述最小离焦距离确定的目标窗口区域。
10.根据权利要求3所述的方法,其特征在于,所述根据所述至少两个备选窗口区域的离焦距离,确定所述至少两个备选窗口区域之间的最大离焦距离差,包括:
获取所述至少两个备选窗口区域的可信度;
从所述至少两个备选窗口区域中确定出可信度满足可信度阈值的备选窗口区域;
基于所述满足可信度阈值的备选窗口区域的离焦距离,确定所述最大离焦距离差。
11.根据权利要求8或9所述的方法,其特征在于,所述对所述目标窗口区域进行对焦,包括:
基于所述对焦点位置,确定所述对焦点位置对应的目标视场角FOV和目标焦距;
在对焦过程中,控制镜头焦距调整为目标焦距,并基于所述目标视场角FOV,对所述第一图像进行裁剪,得到第二图像;所述第二图像为所述第一图像中所述目标视场角FOV对应的图像区域。
12.根据权利要求1所述的方法,其特征在于,所述方法还包括:
所述第一图像为当前采集的商品推荐视频画面。
13.一种图像的聚焦装置,其特征在于,包括:
获取模块,用于获取第一图像的感兴趣区域,将所述感兴趣区域包括至少两个备选窗口区域;其中,不同所述备选窗口区域对应的图像区域至少部分不同;
确定模块,用于根据所述备选窗口区域的状况信息,确定与所述状况信息匹配的优先级;基于所述优先级对应的聚焦策略,从所述第一图像中确定出目标窗口区域;
对焦模块,用于对所述目标窗口区域进行对焦。
14.一种图像的聚焦装置,其特征在于,包括
处理器;
用于存储可执行指令的存储器;
其中,所述处理器被配置为:执行所述存储器中存储的可执行指令时,实现权利要求1至12中任一项所述的图像的聚焦方法。
15.一种非临时性计算机可读存储介质,当所述存储介质中的指令由图像的聚焦装置的处理器执行时,使得所述图像的聚焦装置能够执行权利要求1至12中任一项所述的图像的聚焦方法。
CN202111122789.4A 2021-09-24 2021-09-24 图像的聚焦方法、装置及存储介质 Pending CN115866396A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111122789.4A CN115866396A (zh) 2021-09-24 2021-09-24 图像的聚焦方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111122789.4A CN115866396A (zh) 2021-09-24 2021-09-24 图像的聚焦方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN115866396A true CN115866396A (zh) 2023-03-28

Family

ID=85652563

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111122789.4A Pending CN115866396A (zh) 2021-09-24 2021-09-24 图像的聚焦方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN115866396A (zh)

Similar Documents

Publication Publication Date Title
CN110557547B (zh) 镜头位置调整方法及装置
CN110619350B (zh) 图像检测方法、装置及存储介质
CN105282441B (zh) 拍照方法及装置
US20130155309A1 (en) Method and Apparatus for Controlling Camera Functions Using Facial Recognition and Eye Tracking
EP3057304A1 (en) Method and apparatus for generating image filter
CN107944367B (zh) 人脸关键点检测方法及装置
CN108154466B (zh) 图像处理方法及装置
CN109034150B (zh) 图像处理方法及装置
US11574415B2 (en) Method and apparatus for determining an icon position
CN110796012A (zh) 图像处理方法、装置、电子设备及可读存储介质
CN107292901B (zh) 边缘检测方法及装置
CN112188096A (zh) 拍照方法及装置、终端及存储介质
CN106469446B (zh) 深度图像的分割方法和分割装置
CN113313788A (zh) 图像处理方法和装置、电子设备以及计算机可读存储介质
CN113364965A (zh) 基于多摄像头的拍摄方法、装置及电子设备
CN112702514B (zh) 图像获取方法、装置、设备及存储介质
CN114422687B (zh) 预览图像切换方法及装置、电子设备及存储介质
CN115866396A (zh) 图像的聚焦方法、装置及存储介质
CN114979455A (zh) 拍摄方法、装置以及存储介质
CN114666490A (zh) 对焦方法、装置、电子设备和存储介质
CN114418865A (zh) 图像处理方法、装置、设备及存储介质
CN109447929B (zh) 图像合成方法及装置
CN115953422B (zh) 边缘检测方法、装置及介质
CN109862252B (zh) 图像拍摄方法及装置
CN113138387B (zh) 图像采集方法、装置、移动终端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination