CN116996766A - 一种图像聚焦方法、装置、电子装置和存储介质 - Google Patents
一种图像聚焦方法、装置、电子装置和存储介质 Download PDFInfo
- Publication number
- CN116996766A CN116996766A CN202310746124.3A CN202310746124A CN116996766A CN 116996766 A CN116996766 A CN 116996766A CN 202310746124 A CN202310746124 A CN 202310746124A CN 116996766 A CN116996766 A CN 116996766A
- Authority
- CN
- China
- Prior art keywords
- image
- change
- face
- video frame
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000008859 change Effects 0.000 claims abstract description 206
- 238000004891 communication Methods 0.000 claims abstract description 78
- 238000004590 computer program Methods 0.000 claims description 14
- 230000011218 segmentation Effects 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000012545 processing Methods 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000001960 triggered effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
本申请涉及一种图像聚焦方法、装置、电子装置和存储介质,其中,该图像聚焦方法包括:获取第一视频帧图像和第二视频帧图像,分割第一视频帧图像以得到多个第一图像区块,分割第二视频帧图像以得到与第一图像区块一一对应的第二图像区块,其中,第二视频帧图像为待聚焦的视频帧图像,在检测到所述第二视频帧图像中未包含待聚焦人脸图像的情况下,根据第二图像区块与对应的第一图像区块,确定第二图像区块中的变化图像联通区域,计算变化图像联通区域的细节丢失度,根据细节丢失度判断是否对变化图像联通区域进行聚焦。通过本申请,解决了相关技术中目标对象微小变化导致聚焦不稳定的问题,提高聚焦效率,节约资源。
Description
技术领域
本申请涉及图像处理领域,特别是涉及一种图像聚焦方法、装置、电子装置和存储介质。
背景技术
随着技术进步,当前在视频图像应用领域,视频相机已经得到大面积推广应用,实时摄像技术越来越普遍。例如在视频会议系统中,对于设备聚焦的实时性和准确性要求越来越高。业内往往采用视频相机自动聚焦的方式来提高聚焦实时性。然而,视频相机在自动聚焦开启状态下,又很容易因为目标对象微小距离运动而频繁触发聚焦,从而导致聚焦不稳定,浪费资源。
目前针对相关技术中目标对象微小变化导致的聚焦不稳定问题,尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种图像聚焦方法、装置、电子装置和存储介质,以至少解决相关技术中目标对象微小变化导致的聚焦不稳定的问题。
第一方面,本申请实施例提供了一种图像聚焦方法。
在其中一些实施例中,该图像聚焦方法包括以下步骤:
获取第一视频帧图像和第二视频帧图像,分割所述第一视频帧图像以得到多个第一图像区块,分割所述第二视频帧图像以得到与所述第一图像区块一一对应的第二图像区块,其中,所述第二视频帧图像为待聚焦的视频帧图像;
在检测到所述第二视频帧图像中未包含待聚焦人脸图像的情况下,根据所述第二图像区块与对应的所述第一图像区块,确定所述第二图像区块中的变化图像联通区域;
计算所述变化图像联通区域的细节丢失度,根据所述细节丢失度判断是否对所述变化图像联通区域进行聚焦。
在其中一些实施例中,所述在检测到所述第二视频帧图像中未包含待聚焦人脸图像的情况下,根据所述第二图像区块与对应的所述第一图像区块,确定所述第二图像区块中的变化图像联通区域包括:
在检测到所述第二视频帧图像中未包含待聚焦人脸图像的情况下,根据所述第二图像区块与对应的所述第一图像区块,计算每个所述第二图像区块的清晰度变化率;
从全部所述第二图像区块中确定所述清晰度变化率大于第一变化率阈值的变化图像区块,联通所述变化图像区块以确定所述第二图像区块中的变化图像联通区域。
在其中一些实施例中,所述计算所述变化图像联通区域的细节丢失度,根据所述细节丢失度判断是否对所述变化图像联通区域进行聚焦包括:
获取所述变化图像联通区域的高频清晰度值及低频清晰度值,根据所述高频清晰度值及所述低频清晰度值,计算所述变化图像联通区域的细节丢失度;
在所述变化图像区块的数量大于第一数量阈值且所述细节丢失度大于细节丢失阈值的情况下,对所述变化图像联通区域进行聚焦。
在其中一些实施例中,该图像聚焦方法还包括:
在检测到所述第二视频帧图像中包含待聚焦人脸图像的情况下,确定包含所述待聚焦人脸图像的所述第二图像区块为第三图像区块;
根据所述第三图像区块与对应的所述第一图像区块,确定所述第三图像区块中的人脸变化图像区块;
计算所述人脸变化图像区块的面积变化率,根据所述面积变化率判断是否对所述待聚焦人脸图像进行聚焦。
在其中一些实施例中,所述根据所述第三图像区块与对应的所述第一图像区块,确定所述第三图像区块中的人脸变化图像区块包括:
根据所述第三图像区块与对应的所述第一图像区块,计算所述第三图像区块的清晰度变化率;
确定所述清晰度变化率大于第二变化率阈值的所述第三图像区块为人脸变化图像区块。
在其中一些实施例中,所述计算所述人脸变化图像区块的面积变化率,根据所述面积变化率判断是否对所述待聚焦人脸图像进行聚焦包括:
计算所述人脸变化图像区块的面积变化率,在所述人脸变化图像区块的数量大于第二数量阈值且所述面积变化率大于面积变化率阈值的情况下,对所述待聚焦人脸图像进行聚焦。
在其中一些实施例中,所述计算所述人脸变化图像区块的面积变化率,在所述人脸变化图像区块的数量大于第二数量阈值且所述面积变化率大于面积变化率阈值的情况下,对所述待聚焦人脸图像进行聚焦包括:
计算所述人脸变化图像区块的面积变化率,在所述人脸变化图像区块的数量大于第二数量阈值且所述面积变化率大于面积变化率阈值的情况下,确定所述第一视频帧图像中的初始人脸图像,并根据所述待聚焦人脸图像及所述初始人脸图像,确定聚焦方向;
根据所述聚焦方向,对所述待聚焦人脸图像进行聚焦。
第二方面,本申请实施例提供了一种图像聚焦装置。
在其中一些实施例中,该图像聚焦装置包括图像区块分割模块、变化区块联通模块、图像聚焦判断模块:
图像区块分割模块,用于获取第一视频帧图像和第二视频帧图像,分割所述第一视频帧图像以得到多个第一图像区块,分割所述第二视频帧图像以得到与所述第一图像区块一一对应的第二图像区块,其中,所述第二视频帧图像为待聚焦的视频帧图像;
变化区块联通模块,用于在检测到所述第二视频帧图像中未包含待聚焦人脸图像的情况下,根据所述第二图像区块与对应的所述第一图像区块,确定所述第二图像区块中的变化图像联通区域;
图像聚焦判断模块,用于计算所述变化图像联通区域的细节丢失度,根据所述细节丢失度判断是否对所述变化图像联通区域进行聚焦。
第三方面,本申请实施例提供了一种电子装置,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述第一方面所述的图像聚焦方法。
第四方面,本申请实施例提供了一种存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述第一方面所述的图像聚焦方法。
相比于相关技术,本申请实施例提供的图像聚焦方法、装置、电子装置和存储介质,通过获取第一视频帧图像和第二视频帧图像,分割第一视频帧图像以得到多个第一图像区块,分割第二视频帧图像以得到与第一图像区块一一对应的第二图像区块,其中第二视频帧图像为待聚焦的视频帧图像,并在检测到第二视频帧图像中未包含待聚焦人脸图像的情况下,根据第二图像区块与对应的第一图像区块,确定第二图像区块中的变化图像联通区域,计算变化图像联通区域的细节丢失度,根据细节丢失度判断是否对变化图像联通区域进行聚焦,解决了相关技术中目标对象微小变化导致聚焦不稳定的问题,提高聚焦效率,节约资源。
本申请的一个或多个实施例的细节在以下附图和描述中提出,以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例的图像聚焦方法的终端的硬件结构框图;
图2是根据本申请实施例的图像聚焦方法的流程图;
图3是根据本申请实施例的又一种图像聚焦方法的流程图;
图4是根据本申请优选实施例的图像聚焦方法的流程图;
图5是根据本申请实施例的图像聚焦装置的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行描述和说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。基于本申请提供的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。此外,还可以理解的是,虽然这种开发过程中所作出的努力可能是复杂并且冗长的,然而对于与本申请公开的内容相关的本领域的普通技术人员而言,在本申请揭露的技术内容的基础上进行的一些设计,制造或者生产等变更只是常规的技术手段,不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是,本申请所描述的实施例在不冲突的情况下,可以与其它实施例相结合。
除非另作定义,本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制,可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形,意图在于覆盖不排他的包含;例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可以还包括没有列出的步骤或单元,或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电气的连接,不管是直接的还是间接的。本申请所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象,不代表针对对象的特定排序。
本实施例提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。以运行在终端上为例,图1是本发明实施例的图像聚焦方法的终端的硬件结构框图。如图1所示,终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104,可选地,上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述终端的结构造成限定。例如,终端还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序,例如,应用软件的软件程序以及模块,如本发明实施例中的图像聚焦方法对应的计算机程序,处理器102通过运行存储在存储器104内的计算机程序,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括终端的通信供应商提供的无线网络。在一个实例中,传输设备106包括一个网络适配器(Network Interface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输设备106可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。
本实施例提供了一种图像聚焦方法,图2是根据本申请实施例的图像聚焦方法的流程图,如图2所示,该流程包括如下步骤:
步骤S201,获取第一视频帧图像和第二视频帧图像,分割第一视频帧图像以得到多个第一图像区块,分割第二视频帧图像以得到与第一图像区块一一对应的第二图像区块,其中,第二视频帧图像为待聚焦的视频帧图像。
本申请实施例中,第二视频帧图像为待聚焦的视频帧图像,如当前正在处理的视频帧图像,第一视频帧图像可以是位于第二视频帧图像之前m帧的已经聚焦稳定的视频帧图像,其中m可根据需求进行设定。在获取第一视频帧图像和第二视频帧图像之后,对第一视频帧图像和第二视频帧图像进行分块处理,具体的,可以分割第一视频帧图像以得到多个第一图像区块,并分割第二视频帧图像以得到与第一图像区块一一对应的第二图像区块。例如优选的,将第一视频帧图像进行分割,得到15*17个第一图像区块,并分割第二视频帧图像,得到15*17个第二图像区块,其中第二图像区块与第一图像区块具有一一映射的对应关系。针对分割后图像中的图像区块进行后续处理时,较之未分割图像将更加高效准确,且能节约处理资源。
步骤S202,在检测到第二视频帧图像中未包含待聚焦人脸图像的情况下,根据第二图像区块与对应的第一图像区块,确定第二图像区块中的变化图像联通区域。
对第二视频帧图像进行人脸检测,在检测到第二视频帧图像中未包含待聚焦人脸图像的情况下,可根据第二图像区块与对应的第一图像区块之间的变化(具体可用清晰度变化率进行衡量,将在后续进行说明),确定第二图像区块中的变化图像联通区域。
步骤S203,计算变化图像联通区域的细节丢失度,根据细节丢失度判断是否对变化图像联通区域进行聚焦。
在确定了第二图像区块中的变化图像联通区域后,进一步计算变化图像联通区域的细节丢失度,细节丢失度用于衡量变化图像联通区域的模糊程度,从而可根据细节丢失度判断是否需要对变化图像联通区域进行聚焦。
通过上述步骤,本申请实施例获取待聚焦的第二视频帧图像和第二视频帧图像之前已经稳定聚焦的第一视频帧图像,并分割第一视频帧图像以得到多个第一图像区块,以及分割第二视频帧图像以得到与第一图像区块一一对应的第二图像区块;进一步的,在检测到第二视频帧图像中未包含待聚焦人脸图像的情况下,本申请实施例根据第二图像区块与对应的第一图像区块之间的变化程度,确定第二图像区块中的变化图像联通区域,其中变化联通区域表征了第二图像区块中的变化较大的图像区块所组成的区域;计算变化图像联通区域的细节丢失度,细节丢失度表征了变化联通区域的模糊程度,因此根据细节丢失度判断是否对变化图像联通区域进行聚焦,具体的,当变化图像联通区域的细节丢失度到达一定阈值时,对变化图像联通区域进行聚焦,从而获得清晰的图像,否则无需重新聚焦,可以避免图像变化不大时过高频率的反复聚焦,从而解决目标对象微小变化导致的聚焦不稳定问题,使得聚焦更加准确稳定,节约资源。其中,目标对象可以是人物等运动对象,也可以是桌椅等静止对象,目标对象的变化可以是运动导致的,也可以是被遮挡等导致的。
在其中一些实施例中,步骤S202包括:
步骤S2021,在检测到第二视频帧图像中未包含待聚焦人脸图像的情况下,根据第二图像区块与对应的第一图像区块,计算每个第二图像区块的清晰度变化率。
承接上述举例,将获取的视频帧图像均分割为15*17个图像区块,在检测到第二视频帧图像中未包含待聚焦人脸图像的情况下,获取第二视频帧图像中每个第二图像区块的清晰度值,记为FV_Bi(i=1,2,…,15*17),并相应地获取第一视频帧图像中每个对应第一图像区块的清晰度值,记为FV_Ai(i=1,2,…,15*17)。基于每个第二图像区块的清晰度值和每个对应第一图像区块的清晰度值,根据以下公示计算每个第二图像区块的清晰度变化率FV_Diff i(i=1,2,…,15*17):
步骤S2022,从全部第二图像区块中确定清晰度变化率大于第一变化率阈值的变化图像区块,联通变化图像区块以确定第二图像区块中的变化图像联通区域。
当某个第二图像区块的清晰度变化率大于第一变化率阈值,表明该第二图像区块的图像内容产生了较大变化,可能需要进行重新聚焦,因此将变化较大的第二图像区块确定为变化图像区块,并联通变化图像区块。联通可以是直接将变化图像区块进行合并,也可以是针对变化图像区块的邻域进行连通处理等,将被联通之后的变化图像区块确定为变化图像联通区域。第一变化率阈值根据需要进行预设,例如可设置为60%。
通过上述步骤,本申请实施例根据每个第二图像区块的清晰度变化率阈值,确定内容有较大变化的变化图像区块,并联通变化图像区块以形成变化图像联通区域,其中清晰度变化率可以反映图像区块从第一视频图像帧到第二图像视频帧的变化程度,从而进一步用于后续判断聚焦的需求程度,准确可行。
在其中一些实施例中,步骤S203包括:
步骤S2031,获取变化图像联通区域的高频清晰度值及低频清晰度值,根据高频清晰度值及低频清晰度值,计算变化图像联通区域的细节丢失度。
在确定了变化图像联通区域之后,通过设置高频滤波器和低频滤波器,分别获取变化图像联通区域的高频清晰度值FV_high及低频清晰度值FV_low,即,高频清晰度值是指经过高频滤波器进行图像滤波处理后,得到的图像中变化图像联通区域对应的清晰度值;低频清晰度值是指经过低频滤波器进行图像滤波处理后,得到的图像中变化图像联通区域对应的清晰度值。其中高频滤波器关注图像内部细节,低频滤波器关注图像边缘成分,当FV_low与FV_high差异过大,图像区域会过于模糊,其高频细节(图像内部细节)丢失会更多。从而基于高频清晰度值及低频清晰度值,根据以下公式计算变化图像联通区域的细节丢失度radio_diff:
步骤S2032,在变化图像区块的数量大于第一数量阈值且细节丢失度大于细节丢失阈值的情况下,对变化图像联通区域进行聚焦。
变化图像区块的数量可在确定变化图像区块后通过统计获得,变化图像区块的数量越大,则变化较大的图像内容越多,并且由前述内容可知,细节丢失度越大,则变化图像联通区域越模糊,因此,当变化图像区块的数量大于第一数量阈值且细节丢失度大于细节丢失阈值时,需要对变化图像联通区域进行重新聚焦以获得清晰显示的图像,从而进一步增强聚焦准确性和方案可行性。
本实施例还提供了一种图像聚焦方法。图3是根据本申请实施例的另一种图像聚焦方法的流程图,如图3所示,该流程包括如下步骤:
步骤S301,在检测到第二视频帧图像中包含待聚焦人脸图像的情况下,确定包含待聚焦人脸图像的第二图像区块为第三图像区块。
在对第二视频帧图像进行人脸检测后,若检测到第二视频帧图像中包含待聚焦人脸图像,则针对人脸图像进行处理,将包含待聚焦人脸图像的第二图像区块确定为第三图像区块。
步骤S302,根据第三图像区块与对应的第一图像区块,确定第三图像区块中的人脸变化图像区块。
可根据第三图像区块与对应的第一图像区块之间的变化(具体可用清晰度变化率进行衡量,将在后续进行说明),确定第三图像区块中的人脸变化图像区块。
步骤S303,计算人脸变化图像区块的面积变化率,根据面积变化率判断是否对待聚焦人脸图像进行聚焦。
当人脸存在水平挪动的情况,此时物距并未产生大的变化,应维持之前的聚焦状态,不触发聚焦,因此本申请实施例采用统计人脸区域面积变化来决定是否触发聚焦,具体的,在计算获得人脸变化图像区块的面积变化率后,根据面积变化率判断是否对待聚焦人脸图像进行聚焦,从而避免过度频繁聚焦,进一步增强聚焦准确性和可行性。
在其中一些实施例中,步骤S302包括:
步骤S3021,根据第三图像区块与对应的第一图像区块,计算第三图像区块的清晰度变化率。
在检测到第二视频帧图像中包含待聚焦人脸图像的情况下,确定包含待聚焦人脸图像的n个第三图像区块,获取第二视频帧图像中每个第三图像区块的清晰度值,记为FV_Facei(i=1,2,…,n),并相应地获取第一视频帧图像中每个对应第一图像区块的清晰度值,记为FV_Ai(i=1,2,…,n)。基于每个第三图像区块的清晰度值和每个对应第一图像区块的清晰度值,根据以下公式计算每个第三图像区块的清晰度变化率FV_Face_Diff i(i=1,2,…,n):
步骤S3022,确定清晰度变化率大于第二变化率阈值的第三图像区块为人脸变化图像区块。
当第三图像区块的清晰度变化率大于第二变化率阈值,表明人脸区域内容变化较大,此时确定相应的第三图像区块为人脸变化图像区块。值得一提的是,通常对于人脸区域的变化关注度更高,因此第二变化率阈值低于第一变化率阈值,例如可设置为50%。
通过以上步骤,根据人脸区域的第三图像区块的清晰度变化率,确定人脸变化图像区块,准确可行。
在其中一些实施例中,步骤S303包括:
步骤S3031,计算人脸变化图像区块的面积变化率,在人脸变化图像区块的数量大于第二数量阈值且面积变化率大于面积变化率阈值的情况下,对待聚焦人脸图像进行聚焦。
当人脸变化图像区块的数量不大于第二数量阈值,表明人物在整幅画面中占比小,无论人物如何运动,不触发聚焦;如果人脸占比大,但人脸处于水平移动状态,应维持之前的聚焦状态,也不触发聚焦。因此,根据以下公式,在人脸变化图像区块的数量大于第二数量阈值且面积变化率大于面积变化率阈值的情况下,根据以下公式对待聚焦人脸图像进行聚焦。其中,FVS_Facei(i=1,2,…,n)用于表示初始人脸图像面积,FVS_Face’i(i=1,2,…,n)用于表示待聚焦人脸图像面积,FV_DiffTh3为面积变化率阈值,Fv_face_Counti(i=1,2,…,n)为人脸变化图像区块的数量,sum_diff_face为第二数量阈值。当Flag_focus为1,表明需要重新聚焦;当Flag_focus为0,表明无需重新聚焦。
通过上述步骤,根据人脸变化图像区块的数量和人脸变化图像区块的面积变化率,具体判断何时对人脸进行聚焦,进一步增强准确性和可行性。
在其中一些实施例中,步骤S3031包括:
步骤S3131,计算人脸变化图像区块的面积变化率,在人脸变化图像区块的数量大于第二数量阈值且面积变化率大于面积变化率阈值的情况下,确定第一视频帧图像中的初始人脸图像,并根据待聚焦人脸图像及初始人脸图像,确定聚焦方向。
在人脸移动过程中,为加快人脸区域聚焦,避免聚焦爬坡过程的来回抖动现象,需要预估聚焦方向,决定聚焦马达移动方向。可通过比较待聚焦人脸图像与初始人脸图像之间的面积变化判断聚焦方向,具体计算方法如下。其中,face_l为获取的初始人脸图像的位置的左坐标,face_r为获取的初始人脸图像的位置的右坐标,face_t为获取的初始人脸图像的位置的上坐标,face_b为获取的初始人脸图像的位置的下坐标;face_l’为获取的待聚焦人脸图像的位置的左坐标,face_r’为获取的待聚焦人脸图像的位置的右坐标,face_t’为获取的待聚焦人脸图像的位置的上坐标,face_b’为获取的待聚焦人脸图像的位置的下坐标。当Dir为1,表明聚焦方向为镜头需向前伸出;当Dir为-1,表明聚焦方向为镜头需向后回缩。
步骤S3231,根据聚焦方向,对待聚焦人脸图像进行聚焦。
根据上式,计算结果为1则聚焦方向为镜头向前移动,计算结果为-1则聚焦方向为镜头向后回缩,据此对待聚焦人脸图像进行聚焦,进一步增强聚焦准确性和提高效率。
下面通过优选实施例对本申请实施例进行描述和说明。
图4是根据本申请实施例的图像聚焦方法的优选流程图,如图4所示,该图像聚焦方法包括如下步骤:
步骤S401,获取第一视频帧图像和第二视频帧图像,分割第一视频帧图像以得到多个第一图像区块,分割第二视频帧图像以得到与第一图像区块一一对应的第二图像区块,其中,第二视频帧图像为待聚焦的视频帧图像;
步骤S402,在检测到第二视频帧图像中未包含待聚焦人脸图像的情况下,根据第二图像区块与对应的第一图像区块,计算每个第二图像区块的清晰度变化率;
步骤S403,从全部第二图像区块中确定清晰度变化率大于第一变化率阈值的变化图像区块,联通变化图像区块以确定第二图像区块中的变化图像联通区域;
步骤S404,获取变化图像联通区域的高频清晰度值及低频清晰度值,根据高频清晰度值及低频清晰度值,计算变化图像联通区域的细节丢失度;
步骤S405,在变化图像区块的数量大于第一数量阈值且细节丢失度大于细节丢失阈值的情况下,对变化图像联通区域进行聚焦。
需要说明的是,在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本实施例还提供了一种图像聚焦装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图5是根据本申请实施例的图像聚焦装置的结构框图,如图5所示,该装置包括图像区块分割模块10、变化区块联通模块20、图像聚焦判断模块30:
图像区块分割模块10,用于获取第一视频帧图像和第二视频帧图像,分割第一视频帧图像以得到多个第一图像区块,分割第二视频帧图像以得到与第一图像区块一一对应的第二图像区块,其中,第二视频帧图像为待聚焦的视频帧图像。
变化区块联通模块20,用于在检测到第二视频帧图像中未包含待聚焦人脸图像的情况下,根据第二图像区块与对应的第一图像区块,确定第二图像区块中的变化图像联通区域。
图像聚焦判断模块30,用于计算变化图像联通区域的细节丢失度,根据细节丢失度判断是否对变化图像联通区域进行聚焦。
需要说明的是,上述各个模块可以是功能模块也可以是程序模块,既可以通过软件来实现,也可以通过硬件来实现。对于通过硬件来实现的模块而言,上述各个模块可以位于同一处理器中;或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
本实施例还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
获取第一视频帧图像和第二视频帧图像,分割第一视频帧图像以得到多个第一图像区块,分割第二视频帧图像以得到与第一图像区块一一对应的第二图像区块,其中,第二视频帧图像为待聚焦的视频帧图像;
在检测到第二视频帧图像中未包含待聚焦人脸图像的情况下,根据第二图像区块与对应的第一图像区块,确定第二图像区块中的变化图像联通区域;
计算变化图像联通区域的细节丢失度,根据细节丢失度判断是否对变化图像联通区域进行聚焦。
需要说明的是,本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,本实施例在此不再赘述。
另外,结合上述实施例中的图像聚焦方法,本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序;该计算机程序被处理器执行时实现上述实施例中的任意一种图像聚焦方法。
本领域的技术人员应该明白,以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据。
以上实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种图像聚焦方法,其特征在于,包括以下步骤:
获取第一视频帧图像和第二视频帧图像,分割所述第一视频帧图像以得到多个第一图像区块,分割所述第二视频帧图像以得到与所述第一图像区块一一对应的第二图像区块,其中,所述第二视频帧图像为待聚焦的视频帧图像;
在检测到所述第二视频帧图像中未包含待聚焦人脸图像的情况下,根据所述第二图像区块与对应的所述第一图像区块,确定所述第二图像区块中的变化图像联通区域;
计算所述变化图像联通区域的细节丢失度,根据所述细节丢失度判断是否对所述变化图像联通区域进行聚焦。
2.根据权利要求1所述的图像聚焦方法,其特征在于,所述在检测到所述第二视频帧图像中未包含待聚焦人脸图像的情况下,根据所述第二图像区块与对应的所述第一图像区块,确定所述第二图像区块中的变化图像联通区域包括:
在检测到所述第二视频帧图像中未包含待聚焦人脸图像的情况下,根据所述第二图像区块与对应的所述第一图像区块,计算每个所述第二图像区块的清晰度变化率;
从全部所述第二图像区块中确定所述清晰度变化率大于第一变化率阈值的变化图像区块,联通所述变化图像区块以确定所述第二图像区块中的变化图像联通区域。
3.根据权利要求2所述的图像聚焦方法,其特征在于,所述计算所述变化图像联通区域的细节丢失度,根据所述细节丢失度判断是否对所述变化图像联通区域进行聚焦包括:
获取所述变化图像联通区域的高频清晰度值及低频清晰度值,根据所述高频清晰度值及所述低频清晰度值,计算所述变化图像联通区域的细节丢失度;
在所述变化图像区块的数量大于第一数量阈值且所述细节丢失度大于细节丢失阈值的情况下,对所述变化图像联通区域进行聚焦。
4.根据权利要求1所述的图像聚焦方法,其特征在于,所述方法还包括:
在检测到所述第二视频帧图像中包含待聚焦人脸图像的情况下,确定包含所述待聚焦人脸图像的所述第二图像区块为第三图像区块;
根据所述第三图像区块与对应的所述第一图像区块,确定所述第三图像区块中的人脸变化图像区块;
计算所述人脸变化图像区块的面积变化率,根据所述面积变化率判断是否对所述待聚焦人脸图像进行聚焦。
5.根据权利要求4所述的图像聚焦方法,其特征在于,所述根据所述第三图像区块与对应的所述第一图像区块,确定所述第三图像区块中的人脸变化图像区块包括:
根据所述第三图像区块与对应的所述第一图像区块,计算所述第三图像区块的清晰度变化率;
确定所述清晰度变化率大于第二变化率阈值的所述第三图像区块为人脸变化图像区块。
6.根据权利要求5所述的图像聚焦方法,其特征在于,所述计算所述人脸变化图像区块的面积变化率,根据所述面积变化率判断是否对所述待聚焦人脸图像进行聚焦包括:
计算所述人脸变化图像区块的面积变化率,在所述人脸变化图像区块的数量大于第二数量阈值且所述面积变化率大于面积变化率阈值的情况下,对所述待聚焦人脸图像进行聚焦。
7.根据权利要求6所述的图像聚焦方法,其特征在于,所述计算所述人脸变化图像区块的面积变化率,在所述人脸变化图像区块的数量大于第二数量阈值且所述面积变化率大于面积变化率阈值的情况下,对所述待聚焦人脸图像进行聚焦包括:
计算所述人脸变化图像区块的面积变化率,在所述人脸变化图像区块的数量大于第二数量阈值且所述面积变化率大于面积变化率阈值的情况下,确定所述第一视频帧图像中的初始人脸图像,并根据所述待聚焦人脸图像及所述初始人脸图像,确定聚焦方向;
根据所述聚焦方向,对所述待聚焦人脸图像进行聚焦。
8.一种图像聚焦装置,其特征在于,包括图像区块分割模块、变化区块联通模块、图像聚焦判断模块:
图像区块分割模块,用于获取第一视频帧图像和第二视频帧图像,分割所述第一视频帧图像以得到多个第一图像区块,分割所述第二视频帧图像以得到与所述第一图像区块一一对应的第二图像区块,其中,所述第二视频帧图像为待聚焦的视频帧图像;
变化区块联通模块,用于在检测到所述第二视频帧图像中未包含待聚焦人脸图像的情况下,根据所述第二图像区块与对应的所述第一图像区块,确定所述第二图像区块中的变化图像联通区域;
图像聚焦判断模块,用于计算所述变化图像联通区域的细节丢失度,根据所述细节丢失度判断是否对所述变化图像联通区域进行聚焦。
9.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行权利要求1至7中任一项所述的图像聚焦方法。
10.一种存储介质,其特征在于,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行权利要求1至7中任一项所述的图像聚焦方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310746124.3A CN116996766A (zh) | 2023-06-21 | 2023-06-21 | 一种图像聚焦方法、装置、电子装置和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310746124.3A CN116996766A (zh) | 2023-06-21 | 2023-06-21 | 一种图像聚焦方法、装置、电子装置和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116996766A true CN116996766A (zh) | 2023-11-03 |
Family
ID=88527385
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310746124.3A Pending CN116996766A (zh) | 2023-06-21 | 2023-06-21 | 一种图像聚焦方法、装置、电子装置和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116996766A (zh) |
-
2023
- 2023-06-21 CN CN202310746124.3A patent/CN116996766A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110866480B (zh) | 对象的跟踪方法及装置、存储介质、电子装置 | |
CN111328448A (zh) | 图像处理的方法和设备 | |
CN108234879B (zh) | 一种获取滑动变焦视频的方法和装置 | |
CN111310727B (zh) | 对象检测方法及装置、存储介质、电子装置 | |
CN111385461B (zh) | 全景拍摄方法及装置、相机、移动终端 | |
CN110689565B (zh) | 一种深度图确定的方法、装置及电子设备 | |
CN111161299A (zh) | 影像分割方法、计算机程序、存储介质及电子装置 | |
CN111311481A (zh) | 背景虚化方法、装置、终端设备及存储介质 | |
CN109257540B (zh) | 多摄镜头组的摄影校正方法及摄影装置 | |
US20200090309A1 (en) | Method and device for denoising processing, storage medium, and terminal | |
WO2021022989A1 (zh) | 标定参数的获取方法、装置、处理器及电子设备 | |
CN116168045B (zh) | 扫变镜头的分割方法和系统、存储介质及电子设备 | |
CN116996766A (zh) | 一种图像聚焦方法、装置、电子装置和存储介质 | |
CN114143471B (zh) | 图像处理方法、系统、移动终端及计算机可读存储介质 | |
US20150117757A1 (en) | Method for processing at least one disparity map, corresponding electronic device and computer program product | |
CN116012675A (zh) | 一种模型训练方法、图像处理方法及电子设备 | |
CN113011497B (zh) | 图像比对方法和系统 | |
CN112446837A (zh) | 图像滤波方法、电子设备及存储介质 | |
CN112601029B (zh) | 一种已知背景先验信息的视频分割方法、终端和存储介质 | |
CN114627000A (zh) | 图像处理方法、装置和电子设备 | |
CN109374919B (zh) | 一种基于单个拍摄设备确定移动速度的方法及装置 | |
CN116228607B (zh) | 图像处理方法和电子设备 | |
CN108431867B (zh) | 一种数据处理方法及终端 | |
CN109151299B (zh) | 一种用于对焦的方法和装置 | |
CN117710467B (zh) | 无人机定位方法、设备及飞行器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |