CN117135451A - 对焦处理方法、电子设备及存储介质 - Google Patents
对焦处理方法、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117135451A CN117135451A CN202310216184.4A CN202310216184A CN117135451A CN 117135451 A CN117135451 A CN 117135451A CN 202310216184 A CN202310216184 A CN 202310216184A CN 117135451 A CN117135451 A CN 117135451A
- Authority
- CN
- China
- Prior art keywords
- frame
- focusing
- focus
- image
- focusing frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 19
- 238000003860 storage Methods 0.000 title claims description 19
- 230000033001 locomotion Effects 0.000 claims abstract description 352
- 238000001514 detection method Methods 0.000 claims abstract description 118
- 238000000034 method Methods 0.000 claims abstract description 91
- 230000008859 change Effects 0.000 claims description 27
- 238000013519 translation Methods 0.000 claims description 22
- 230000011218 segmentation Effects 0.000 claims description 20
- 238000012937 correction Methods 0.000 claims description 16
- 230000010354 integration Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 10
- 230000000694 effects Effects 0.000 abstract description 7
- 230000008569 process Effects 0.000 description 41
- 238000010586 diagram Methods 0.000 description 34
- 239000010410 layer Substances 0.000 description 33
- 238000012545 processing Methods 0.000 description 29
- 230000006870 function Effects 0.000 description 23
- 230000000007 visual effect Effects 0.000 description 21
- 238000007726 management method Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 15
- 230000003993 interaction Effects 0.000 description 7
- 238000006073 displacement reaction Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 238000010295 mobile communication Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000003475 lamination Methods 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 239000012792 core layer Substances 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 208000031872 Body Remains Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
- H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
Abstract
本申请实施例提供了一种对焦处理方法及图像获取装置,该方法包括:根据与当前图像帧相邻的前序图像帧,确定基于前序图像帧的针对对焦框的运动检测信息,前序图像帧中的对焦框针对相同的目标对象;根据运动检测信息,对与当前图像帧相邻的前一图像帧中的对焦框进行修正,得到修正后的对焦框;以及基于修正后的对焦框,对当前图像帧中的目标对象进行对焦。可以实现较为准确、快速的对焦,能够有效改善对焦拍摄效果。
Description
技术领域
本申请实施例涉及终端设备领域,尤其涉及一种对焦处理方法及图像获取装置。
背景技术
随着计算能力和硬件能力的提升,电子设备支持越来越多样化的拍摄场景需求。
目前,电子设备在进行运动对象拍摄时,存在追焦效果不佳、图像清晰度不理想的现象。
发明内容
为了解决上述技术问题,本申请提供一种对焦处理方法及图像获取装置。该方法中,根据前序图像帧之间的针对对焦框的运动检测信息,对针对目标对象的初始对焦框进行修正,可以有效提升针对目标对象的对焦拍摄效果,能够有效提升图像拍摄质量。
第一方面,本申请实施例提供一种对焦处理方法。该方法包括:确定第一图像帧与第二图像帧之间的针对对焦框的运动检测信息,运动检测信息指示第一图像帧中的第一对焦框与第二图像帧中的第二对焦框之间的变化信息,第一对焦框与第二对焦框指示相同的目标对象;根据运动检测信息,对第二对焦框进行修正,得到第三对焦框;基于第三对焦框,对第三图像帧中的目标对象进行对焦。第一图像帧为图像序列中基于第二图像帧的前序图像帧,第二图像帧为图像序列中与第三图像帧相邻的前一图像帧。能够有效提升对焦的准确性以及对焦处理速度,有利于减少图像画面模糊的情况,能够有效提升图像拍摄质量。
根据第一方面,确定第一图像帧与第二图像帧之间的针对对焦框的运动检测信息,包括:确定自第一对焦框到第二对焦框的基于图像帧跨度的第一平移运动信息,以作为运动检测信息,图像帧跨度指示第一图像帧与第二图像帧之间的帧序差或时间差。
针对对焦框的运动检测信息指示了第一图像帧与第二图像帧中的对焦区域的变化信息,也指示了第一图像帧与第二图像帧中的目标对象的运动趋势信息。根据运动检测信息,对第二图像帧中的第二对焦框进行修正,有利于适应于目标对象的运动情况而快速调整到合适的对焦参数。
根据第一方面,或者以上第一方面的任意一种实现方式,第一平移运动信息包括对焦框运动方向和对焦框运动速率。根据运动检测信息,对第二对焦框进行修正,得到第三对焦框,包括:基于第一平移运动信息中的对焦框运动速率,沿对焦框运动方向移动第二对焦框,以对第二对焦框的对焦框位置进行修正,得到第三对焦框。
第一对焦框与第二对焦框之间的第一平移运动信息,能够反映第一图像帧与第二图像帧中的目标对象的运动趋势信息。根据第一平移运动信息对第二对焦框进行修正,有利于提升针对目标对象的对焦准确性。
根据第一方面,或者以上第一方面的任意一种实现方式,基于第一平移运动信息中的对焦框运动速率,沿对焦框运动方向移动第二对焦框,得到第三对焦框,包括:根据第一平移运动信息中的对焦框运动速率所属的第一分段区间,确定与第一分段区间匹配的第一对焦框移动比例;根据第一对焦框移动比例,沿对焦框运动方向移动第二对焦框,以对第二对焦框的对焦框位置进行修正,得到第三对焦框。
通过对第二对焦框的对焦框位置进行修正,可以有效保证经修正的对焦区域能够较好地反映拍摄画面中的目标对象,有利于提升拍照过程中对焦的准确性。
根据第一方面,或者以上第一方面的任意一种实现方式,确定第一图像帧与第二图像帧之间的针对对焦框的运动检测信息,包括:确定自第一对焦框到第二对焦框的基于图像帧跨度的缩放运动信息,以作为运动检测信息。图像帧跨度包括第一图像帧与第二图像帧之间的帧序差或时间差。
在目标对象的视觉尺寸存在变化的情况下,通过对第二对焦框的对焦框尺寸进行缩放修正,有利于保证缩放后的对焦区域边缘贴合移动主体的轮廓,有利于改善针对快速移动主体的追焦效果。
根据第一方面,或者以上第一方面的任意一种实现方式,缩放运动信息包括对焦框缩放类型和对焦框缩放速率。根据运动检测信息,对第二对焦框进行修正,得到第三对焦框,包括:根据对焦框缩放类型和对焦框缩放速率,对第二对焦框进行缩放,以对第二对焦框的对焦框尺寸进行修正,得到第三对焦框。可以实现针对目标对象的准确对焦,有利于提升图像拍摄的清晰度。
根据第一方面,或者以上第一方面的任意一种实现方式,根据对焦框缩放类型和对焦框缩放速率,对第二对焦框进行缩放,得到第三对焦框,包括:根据对焦框缩放速率所属的第二分段区间,确定与第二分段区间匹配的对焦框缩放比例;根据对焦框缩放类型和对焦框缩放比例,对第二对焦框进行缩放,以对第二对焦框的对焦框尺寸进行修正,得到第三对焦框。可以基于常规的摄像头硬件条件进行运动图像拍摄,可以无需设置辅助对焦模块,对焦成本较低。
根据第一方面,或者以上第一方面的任意一种实现方式,第一对焦框与第二对焦框中包括对应的对焦框特征点,缩放运动信息包括对焦框缩放类型和对焦框缩放速率;根据运动检测信息,对第二对焦框进行修正,得到第三对焦框,包括:根据对焦框缩放类型和对焦框缩放速率,对第二对焦框中的对焦框特征点进行移动,以对第二对焦框的对焦框尺寸进行修正,得到第三对焦框。对焦框特征点可以是对焦框中的任意点,例如,可以选取对焦框的角点、顶点、边界点作为特征点。
根据第一方面,或者以上第一方面的任意一种实现方式,根据对焦框缩放类型和对焦框缩放速率,对第二对焦框中的对焦框特征点进行移动,以对第二对焦框的对焦框尺寸进行修正,得到第三对焦框,包括:根据对焦框缩放类型,确定对焦框特征点的特征点移动方向,以及根据对焦框缩放速率所属的第二分段区间,确定与第二分段区间匹配的特征点移动比例;根据特征点移动方向和特征点移动比例,对第二对焦框中的对焦框特征点进行移动,得到由移动后的对焦框特征点构成的第三对焦框。有利于实现针对移动主体的跟踪对焦或者稳定对焦,有利于提升图像拍摄的清晰度。
根据第一方面,或者以上第一方面的任意一种实现方式,缩放运动信息包括对焦框缩放类型和对焦框缩放速率;根据运动检测信息,对第二对焦框进行修正,得到第三对焦框,包括:根据对焦框缩放类型和对焦框缩放速率,对第二对焦框进行缩放,得到中间对焦框;确定自第一对焦框到中间对焦框的基于图像帧跨度的第二平移运动信息,第二平移运动信息包括对焦框运动方向和对焦框运动速率;基于第二平移运动信息中的对焦框运动速率,沿对焦框运动方向移动中间对焦框,得到第三对焦框。通过对第二对焦框的对焦框位置和对焦框尺寸进行修正,有利于提升对焦的准确性及对焦效率,能够有效改善图像拍摄质量。
根据第一方面,或者以上第一方面的任意一种实现方式,根据对焦框缩放类型和对焦框缩放速率,对第二对焦框进行缩放,得到中间对焦框,包括:根据对焦框缩放速率所属的第二分段区间,确定与第二分段区间匹配的对焦框缩放比例,以及根据对焦框缩放类型和对焦框缩放比例,对第二对焦框进行缩放,得到中间对焦框。基于第二平移运动信息中的对焦框运动速率,沿对焦框运动方向移动中间对焦框,得到第三对焦框,包括:根据第二平移运动信息中的对焦框运动速率所属的第三分段区间,确定与第三分段区间匹配的第二对焦框移动比例,以及根据第二对焦框移动比例,沿对焦框运动方向移动中间对焦框,得到第三对焦框。
根据第一方面,或者以上第一方面的任意一种实现方式,对第二图像帧中的目标对象进行轮廓检测,得到轮廓检测结果;根据轮廓检测结果,对经尺寸修正后的第二对焦框进行边缘调节,以使调节后的第二对焦框边缘贴合目标对象的轮廓,边缘调节后的第二对焦框构成第三对焦框。
通过对目标对象进行轮廓检测,根据轮廓检测结果,对经尺寸修正后的第二对焦框再次进行边缘调节,以使调节后的第二对焦框边缘贴合目标对象的轮廓。有利于及时捕获目标对象的运动状态,能够有效提升对焦的准确性及对焦效率,有利于改善运动图像拍摄的清晰度,提高用户体验。
根据第一方面,或者以上第一方面的任意一种实现方式,在根据运动检测信息,对第二对焦框进行修正之前,还包括:确定由运动检测信息指示的第一对焦框与第二对焦框之间的位置变化程度和尺寸变化程度;在位置变化程度或尺寸变化程度满足预设程度阈值的情况下,进行针对第二对焦框的修正操作。有利于提升对焦处理的效率,能够有效减少对焦处理的计算资源耗费和时间耗时。
第二方面,本申请实施例提供一种对焦处理方法。对焦处理方法包括:根据与第四图像帧相邻的N个前序图像帧,确定基于N个前序图像帧的针对对焦框的运动检测信息,N为大于2的整数,N个前序图像帧中的对焦框针对相同的目标对象;根据运动检测信息,对第五图像帧中的第四对焦框进行修正,得到第五对焦框,第五图像帧为N个前序图像帧中与第四图像帧相邻的前一图像帧;基于第五对焦框,对第四图像帧中的目标对象进行对焦。
根据第二方面,确定基于N个前序图像帧的针对对焦框的运动检测信息,包括:针对N个前序图像帧中的至少一个目标图像帧对,确定基于各目标图像帧对的对焦框运动信息;根据与各目标图像帧对匹配的对焦框运动信息,确定基于N个前序图像帧的针对对焦框的运动统计信息,以作为运动检测信息。目标图像帧对包括N个前序图像帧中的任意图像帧对。
根据第二方面,或者以上第二方面的任意一种实现方式,根据与各目标图像帧对匹配的对焦框运动信息,确定基于N个前序图像帧的针对对焦框的运动统计信息,包括:根据各目标图像帧对与第四图像帧之间的图像帧跨度,确定针对各目标图像帧对的权重参数;根据针对各目标图像帧对的权重参数,对与各目标图像帧对匹配的对焦框运动信息进行加权整合,得到基于加权整合结果的运动统计信息。图像帧跨度指示对应的目标图像帧对与第四图像帧之间的帧序差或时间差。
根据第二方面,或者以上第二方面的任意一种实现方式,根据与各目标图像帧对匹配的对焦框运动信息,确定基于N个前序图像帧的针对对焦框的运动统计信息,包括:对与各目标图像帧对匹配的对焦框运动信息进行求均值整合,得到基于求均值整合结果的运动统计信息。
根据第二方面,或者以上第二方面的任意一种实现方式,对焦框运动信息包括目标图像帧对中的对焦框的第三平移运动信息,第三平移运动信息包括平移运动速率和平移运动方向;根据与各目标图像帧对匹配的对焦框运动信息,确定基于N个前序图像帧的针对对焦框的运动统计信息,以作为运动检测信息,包括:根据各目标图像帧对中的对焦框的平移运动速率和平移运动方向,确定基于N个前序图像帧的针对对焦框的平移统计速率和平移统计方向,以作为运动检测信息。
根据第二方面,或者以上第二方面的任意一种实现方式,根据运动检测信息,对第五图像帧中的第四对焦框进行修正,得到第五对焦框,包括:基于平移统计速率,沿平移统计方向移动第四对焦框,以对第四对焦框的对焦框位置进行修正,得到第五对焦框。
根据第二方面,或者以上第二方面的任意一种实现方式,基于平移统计速率,沿平移统计方向移动第四对焦框,以对第四对焦框的对焦框位置进行修正,得到第五对焦框,包括:根据平移统计速率所属的第四分段区间,确定与第四分段区间匹配的第三对焦框移动比例;根据第三对焦框移动比例,沿平移统计方向移动第四对焦框,得到第五对焦框。
根据第二方面,或者以上第二方面的任意一种实现方式,对焦框运动信息包括目标图像帧对中的对焦框的缩放运动信息,缩放运动信息包括缩放运动速率和缩放运动类型;根据与各目标图像帧对匹配的对焦框运动信息,确定基于N个前序图像帧的针对对焦框的运动统计信息,以作为运动检测信息,包括:根据各目标图像帧对中的对焦框的缩放运动速率和缩放运动类型,确定基于N个前序图像帧的针对对焦框的缩放统计速率和缩放统计类型,以作为运动检测信息。
根据第二方面,或者以上第二方面的任意一种实现方式,根据运动检测信息,对第五图像帧中的第四对焦框进行修正,得到第五对焦框,包括:根据缩放统计类型和缩放统计速率,对第四对焦框进行缩放,以对第四对焦框的对焦框尺寸进行修正,得到第五对焦框。
根据第二方面,或者以上第二方面的任意一种实现方式,根据缩放统计类型和缩放统计速率,对第四对焦框进行缩放,以对第四对焦框的对焦框尺寸进行修正,得到第五对焦框,包括:根据缩放统计速率所属的第五分段区间,确定与第五分段区间匹配的缩放统计比例;根据缩放统计类型和缩放统计比例,对第四对焦框进行缩放,得到第五对焦框。
根据第二方面,或者以上第二方面的任意一种实现方式,在对第四对焦框的对焦框尺寸进行修正之后,还包括:对第五图像帧中的目标对象进行轮廓检测,得到轮廓检测结果;根据轮廓检测结果,对经尺寸修正后的第四对焦框进行边缘调节,以使调节后的第四对焦框边缘贴合目标对象的轮廓,边缘调节后的第四对焦框构成第五对焦框。
第三方面,本申请实施例提供了一种电子设备,其特征在于,包括:一个或多个处理器;存储器;以及一个或多个计算机程序,其中所述一个或多个计算机程序存储在所述存储器上,当所述计算机程序被所述一个或多个处理器执行时,使得所述电子设备执行如第一方面或第二方面所述的对焦处理方法。
第四方面,本申请实施例提供了一种计算机程序,该计算机程序包括用于执行第一方面或第一方面的任意可能的实现方式中的方法的指令。
第五方面,本申请实施例提供了一种芯片,该芯片包括处理电路、收发管脚。其中,该收发管脚、和该处理电路通过内部连接通路互相通信,该处理电路执行第一方面或第一方面的任一种可能的实现方式中的方法,以控制发送管脚发送信号。
附图说明
图1为示例性示出一种应用场景示意图;
图2为示例性示出一种完全对焦的场景示意图;
图3为示例性示出一种非完全对焦的场景示意图;
图4为示例性示出另一完全对焦的场景示意图;
图5为示例性示出另一非完全对焦的场景示意图;
图6所示为电子设备的结构示意图;
图7为示例性示出电子设备的软件结构框图;
图8为本申请实施例提供的图像序列的成像过程示意图;
图9a为本申请实施例提供的各模块的交互流程示意图;
图9b为本申请实施例提供的各模块的交互流程示意图;
图10为本申请实施例提供的各模块的交互流程示意图;
图11为本申请实施例提供的对焦处理过程的示意图;
图12为本申请实施例提供的对焦处理过程的示意图;
图13为本申请实施例提供的对焦处理过程的示意图;
图14为本申请实施例提供的对焦处理过程的示意图;
图15a为本申请实施例提供的目标图像帧对的示意图;
图15b为本申请实施例提供的目标图像帧对的示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。
本申请实施例的说明书和权利要求书中的术语“第一”和“第二”等是用于区别不同的对象,而不是用于描述对象的特定顺序。例如,第一目标对象和第二目标对象等是用于区别不同的目标对象,而不是用于描述目标对象的特定顺序。
在本申请实施例中,“示例性地”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性地”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性地”或者“例如”等词旨在以具体方式呈现相关概念。
在本申请实施例的描述中,除非另有说明,“多个”的含义是指两个或两个以上。例如,多个处理单元是指两个或两个以上的处理单元;多个系统是指两个或两个以上的系统。
随着计算能力和硬件能力的提升,电子设备支持日渐多样化的拍摄场景需求,例如,越来越多的电子设备支持针对移动主体的追焦拍摄。电子设备在进行针对移动主体的追焦拍摄时,可以利用自动对焦技术选择对焦区域,基于对焦区域完成对焦并拍摄图像帧。对焦区域是否落在移动主体上是影响图像帧质量的重要因素,由于移动主体在电子设备的对焦过程中可能保持移动,因此,拍照过程容易出现对焦不精确、图像拍摄质量不佳的现象。
上述电子设备可以是手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)设备、笔记本电脑、超级移动个人计算机(ultra-mo bile personal computer,UMPC)、上网本、个人数字助理(personaldigital assistant,PDA)或专门的照相机(例如单反相机、卡片式相机)等,本申请对上述电子设备的具体类型不作任何限制。
如图1为示例性示出一种应用场景示意图,参照图1,示例性地,电子设备响应于针对目标对象进行拍摄的触发操作,拍摄预设范围内的图像并显示,预设范围例如可以是电子设备的摄像头拍摄范围。
在目标对象为移动主体的情况下,电子设备需要执行针对移动主体的对焦操作。在移动主体的运动速率较大的情况下,电子设备针对高速移动主体的对焦操作可能存在失焦的现象,失焦拍摄得到的移动主体图像效果不佳。
如图2为示例性示出一种完全对焦的场景示意图。如图2所示,在移动主体沿水平方向运动的情况下,运动速率越大,移动主体的位置随时间变化越快。基于沿移动主体运动方向的预设视角观察,移动主体的视觉尺寸不发生变化。
示例性地,可以基于预设划分标准,将移动主体的运动类型划分为低速运动、中速运动和高速运动。在移动主体由t1时刻运动至t2时刻的过程中,移动主体的运动速率越大,其位置随时间变化越快,即基于t1时刻与t2时刻之间的距离变化越快。此外,移动主体基于t1时刻与基于t2时刻的视觉尺寸保持不变。
在对移动主体拍摄的过程中,电子设备需要执行针对移动主体的对焦操作。在完全对焦的场景下,不论移动主体进行低速运动、中速运动或者高速运动,针对移动主体的对焦框,均可以与移动主体保持同步贴合,即对焦框边缘可以与移动主体轮廓保持贴合。
在通过电子设备对移动主体进行追焦拍摄时,如图2所示,在完全对焦场景下,电子设备在t1时刻针对移动主体的对焦框101、在t2时刻针对移动主体的对焦框102,均可以与移动主体保持同步贴合,即对焦框101、对焦框102的边缘可以与移动主体轮廓保持贴合。
如图3为示例性示出一种非完全对焦的场景示意图。如图3所示,在移动主体沿水平方向运动的情况下,运动速率越大,移动主体的位置随时间变化越快。在对移动主体拍摄的过程中,电子设备需要执行针对移动主体的对焦操作。在移动主体的运动速率较大的情况下,电子设备针对快速移动主体的对焦操作可能存在失焦的现象。
移动主体的运动速率越大,对焦框相对移动主体的滞后程度越高,即对焦框位置相对移动主体位置的滞后程度越高。示例性地,对焦框在t2时刻相对移动主体存在滞后的现象,移动主体的运动速率越大,对焦框位置在t2时刻相对移动主体位置的滞后程度越高,追焦效果越差。
在通过电子设备对移动主体进行追焦拍摄时,如图3所示,在非完全对焦场景下,电子设备在t2时刻针对移动主体的对焦框102相对移动主体存在滞后的现象。移动主体的运动速率越大,对焦框102位置相对移动主体位置的滞后程度越高。
如图4为示例性示出另一完全对焦的场景示意图。如图4所示,在移动主体沿前后方向运动的情况下,基于沿前后方向的预设视角观察,移动主体的运动速率越大,其视觉尺寸随时间变化越快。
示例性地,可以基于预设划分标准,将移动主体的运动类型划分为低速运动、中速运动和高速运动。在移动主体由t3时刻运动至t4时刻的过程中,基于沿前后方向的预设视角观察,移动主体的运动速率越大,其位置和视觉尺寸随时间变化越快。即,移动主体基于t1时刻与t2时刻之间的距离变化和视觉尺寸变化越快。
在对移动主体拍摄的过程中,电子设备需要执行针对移动主体的对焦操作。在完全对焦的场景下,不论移动主体进行低速运动、中速运动或者高速运动,针对移动主体的对焦框,均可以与移动主体保持同步贴合,即对焦框边缘可以与移动主体轮廓保持贴合。
在通过电子设备对移动主体进行追焦拍摄时,如图4所示,在完全对焦场景下,电子设备在t3时刻针对移动主体的对焦框103、在t4时刻针对移动主体的对焦框104,均可以与移动主体保持同步贴合,即对焦框103、对焦框104的边缘可以与移动主体轮廓保持贴合。
如图5为示例性示出另一非完全对焦的场景示意图。如图5所示,在移动主体沿前后方向运动的情况下,基于沿前后方向的预设视角观察,运动速率越大,移动主体的视觉尺寸随时间变化越快。在对移动主体拍摄的过程中,电子设备需要执行针对移动主体的对焦操作。在移动主体的运动速率较大的情况下,电子设备针对快速移动主体的对焦操作可能存在失焦的现象。
如图5所示,移动主体的运动速率越大,对焦框相对移动主体的镂空比越高,即对焦框尺寸相对移动主体视觉尺寸的镂空比越高。示例性地,对焦框在t4时刻相对移动主体存在尺寸过大的现象,移动主体的运动速率越大,对焦框尺寸在t4时刻相对移动主体视觉尺寸的镂空比越高,追焦效果越差。
在通过电子设备对移动主体进行追焦拍摄时,如图5所示,在非完全对焦场景下,电子设备在t4时刻针对移动主体的对焦框104相对移动主体存在尺寸过大的现象。移动主体的运动速率越大,对焦框104尺寸相对移动主体视觉尺寸的镂空比越高。
如图6所示为电子设备100的结构示意图。可选地,电子设备100可以称为终端,也可以称为终端设备,电子设备100可以是具有拍照功能的终端设备,具体产品形态可以是智能终端,如手机、平板、DV、摄像机、照相机、便携电脑、笔记本电脑、智能音箱等安装有摄像头的产品。具体地,本申请涉及的功能模块可以部署于相关设备的DSP芯片上,具体可以是其中的应用程序或软件。可以通过软件安装或升级,以及通过硬件的调用配合,提供一种对焦处理功能,旨在提升移动主体对焦的准确性,有利于在移动主体快速运动的场景中拍摄高质量、清晰的图像。
应该理解的是,图6所示的电子设备100仅是电子设备的一个范例,并且电子设备100可以具有比图中所示的更多的或者更少的部件,可以组合两个或多个的部件,或者可以具有不同的部件配置。图6中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
电子设备100可以包括:处理器110、外部存储器接口120、内部存储器121、通用串行总线(universal serial bus,USB)接口130、充电管理模块140、电源管理模块141、电池142、天线1、天线2、移动通信模块150、无线通信模块160、音频模块170、传感器模块180、按键190、马达191、指示器192、摄像头193、显示屏194、以及用户标识模块(subscriberidentification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器、陀螺仪传感器、加速度传感器、温度传感器、运动传感器、气压传感器、磁传感器、距离传感器、接近光传感器、指纹传感器、触摸传感器、环境光传感器、骨传导传感器等。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP)、调制解调处理器、图形处理器(graphics processingunit,GPU)、图像信号处理器(image signal processor,ISP)、控制器、存储器、视频编解码器、数字信号处理器(digital signal processor,DSP),基带处理器和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。
USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口、Micro USB接口、USB Type C接口等。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。电源管理模块141用于连接电池142、充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110、内部存储器121、外部存储器、显示屏194、摄像头193、和无线通信模块160等供电。
电子设备100的无线通信功能可以通过天线1、天线2、移动通信模块150、无线通信模块160、调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器、开关、功率放大器、低噪声放大器(low noise amplifier,LNA)等。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络)、蓝牙(bluetooth,BT)、全球导航卫星系统(global navigation satellite system,GNSS)、调频(frequency modulation,FM)、近距离无线通信技术(near field communication,NFC)、红外技术(infrared,IR)等无线通信的解决方案。
在一些实施例中,电子设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。
电子设备100通过GPU、显示屏194以及应用处理器等实现显示功能。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备100可以通过ISP、摄像头193、视频编解码器、GPU、显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点、亮度、肤色进行算法优化。ISP还可以对拍摄场景的曝光、色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB、YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。
其中,摄像头193可以位于电子设备的边缘区域,可以为屏下摄像头,也可以是可升降的摄像头。摄像头193可以包括后置摄像头,还可以包括后置摄像头。本申请实施例对摄像头193的具体位置和形态不予限定。电子设备100可以包括一种或多种焦段的摄像头,例如不同焦段的摄像头可以包括长焦摄像头、广角摄像头、超广角摄像头或全景摄像头等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行电子设备100的各种功能应用以及数据处理,例如使得电子设备100实现本申请实施例中的对焦处理方法。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据、电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、通用闪存存储器(universal flash storage,UFS)等。
电子设备100可以通过音频模块170以及应用处理器等实现音频功能。例如音乐播放、录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
触摸传感器,也称“触控面板”。触摸传感器可以设置于显示屏194,由触摸传感器与显示屏194组成触摸屏,也称“触控屏”。触摸传感器用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。
压力传感器用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器可以设置于显示屏194。电子设备100也可以根据压力传感器的检测信号计算触摸的位置。
陀螺仪传感器可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器确定电子设备100围绕三个轴(即,x、y和z轴)的角速度。
加速度传感器可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时加速度传感器可检测出重力的大小及方向。加速度传感器还可以用于识别电子设备姿态,应用于横竖屏切换、计步器等应用。
按键190包括开机键(或称电源键)、音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。
电子设备100的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构或云架构。本申请实施例以分层架构的Android系统为例,示例性说明电子设备100的软件结构。
如图7为示例性示出电子设备100的软件结构框图。
电子设备100的分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android系统分为五层,从上至下分别为应用程序层、应用程序框架层、安卓运行时(Android Runtime)和系统库、HAL层以及内核层。
应用程序层可以包括一系列应用程序包。如图7所示,应用程序包可以包括相机、日历、地图、WLAN、音乐、短信息、图库、通话、导航、蓝牙、视频等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图7所示,应用程序框架层可以包括窗口管理器、内容提供器、资源管理器、通知管理器、摄像头服务、多媒体管理模块等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏、锁定屏幕、截取屏幕等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频、图像、音频、拨打和接听的电话、浏览历史和书签、电话簿等。
资源管理器为应用程序提供各种资源,比如本地化字符串、图标、图片、布局文件、视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知信息被用于告知下载完成、消息提醒等。通知信息还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息、发出提示音、电子设备振动、指示灯闪烁等。
摄像头服务用于响应于应用的请求,调用摄像头(包括后置摄像头和/或后置摄像头)。
多媒体管理模块用于基于摄像头服务的配置,对图像进行处理,具体处理过程将在下面的实施例中进行说明。
Android Runtime包括核心库和虚拟机。Android Runtime负责安卓系统的调度和管理。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理、堆栈管理、线程管理、安全和异常的管理以及垃圾回收等功能。
系统库可以包括多个功能模块。例如:表面管理器(surface manager)、媒体库(Media Libraries)、三维图形处理库(例如:OpenGL ES)、2D图形引擎(例如:SGL)等。
表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频、视频格式回放和录制以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4、H.264、MP3、AAC、AMR、JPG、PNG等。
三维图形处理库用于实现三维图形绘图、图像渲染、合成和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
HAL层为位于操作系统内核与硬件电路之间的接口层。HAL层包括但不限于:音频硬件抽象层(Audio HAL)和摄像头硬件抽象层(摄像头HAL)。其中,Audio HAL用于对音频流进行处理,例如,对音频流进行降噪、定向增强等处理,摄像头HAL用于对图像流进行处理。
内核层是硬件和上述软件层之间的层。内核层至少包含显示驱动、摄像头驱动、音频驱动、传感器驱动。其中,该硬件可以包括摄像头、显示屏、麦克风、处理器以及存储器等器件。
在本申请的实施例中,硬件中的显示屏可以显示录像时的拍摄预览界面、录像预览界面和拍摄界面。硬件中的摄像头可以用于采集图像。硬件中的麦克风可以用于采集声音信号,并生成模拟音频电信号。
可以理解的是,图7示出的软件结构中的层以及各层中包含的部件,并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的层,以及每个层中可以包括更多或更少的部件,本申请不做限定。
可以理解的是,电子设备为了实现本申请实施例中的对焦处理方法,其包含了执行各个功能相应的硬件和/或软件模块。结合本文中所公开的实施例描述的各示例的算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例提供了一种对焦处理方法,根据与当前图像帧相邻的前序图像帧,确定基于前序图像帧的针对对焦框的运动检测信息,其中,前序图像帧中的对焦框针对相同的目标对象。根据运动检测信息,对与当前图像帧相邻的前一图像帧中的对焦框进行修正,得到修正后的对焦框。基于修正后的对焦框,对当前图像帧中的目标对象进行对焦。
本方案中采用针对对焦框的运动检测信息为对焦过程提供参数支持,能够适应于移动主体的运动情况而快速调整到合适的对焦参数,从而提升对焦参数的准确性以及对焦处理速度。特别地在移动主体高速移动的情况下,能够实现较为准确、快速的对焦,有利于减少画面模糊的情况,提高视频拍摄质量。此外,本方案可以基于常规的摄像头硬件条件进行运动图像拍摄,可以无需设置辅助对焦模块,对焦成本较低。
下面结合图8~图15b,对本申请实施例具体实现方式进行详细说明。
如图8所示为图像序列的成像过程示意图。如图8所示,摄像头驱动根据第一当前马达位置输出对应的电流,以驱动对焦马达产生相应的位移。产生相应位移后的对焦马达驱动摄像头中的镜头对焦组件进行对焦。摄像头将对焦拍摄的移动主体图像成像在芯片上,并将移动主体图像输出至摄像头HAL,得到第一输入图像201。第一输入图像201中包括针对移动主体的第一对焦框202,第一对焦框202是根据针对移动主体的对象检测结果确定的,对象检测结果例如包括针对移动主体的面部检测结果、肢体检测结果、躯干检测结果等。
摄像头HAL基于第一输入图像201,生成当前状态的第一RAW图(原始图)203,并计算第一RAW图203的第一景深值,第一景深值可以指示对焦位置前后范围内所呈现的清晰图像的距离。摄像头HAL根据第一景深值,计算第一马达推动差值,并根据第一马达推动差值和第一当前马达位置,确定第一更新后的马达位置。
摄像头驱动将第一更新后的马达位置作为第二当前马达位置,根据第二当前马达位置输出对应的电流,以驱动对焦马达产生相应的位移。产生相应位移后的对焦马达驱动摄像头中的镜头对焦组件进行对焦。摄像头将对焦拍摄的移动主体图像成像在芯片上,得到第二输入图像204。第二输入图像204中包括针对移动主体的第二对焦框205,第二对焦框205是根据针对移动主体的对象检测结果确定的。
摄像头HAL基于第二输入图像204,生成当前状态的第二RAW图206,并计算第一RAW图206的第二景深值。摄像头HAL根据第二景深值,计算第二马达推动差值,并根据第二马达推动差值和第二当前马达位置,确定第二更新后的马达位置。第二更新后的马达位置可用作拍摄下一图像帧的第三当前马达位置。
针对移动主体的对象检测过程可能存在时延,以及通过不同模块传递对象检测结果,并根据对象检测结果确定对焦框的过程同样存在时延。因此,基于对象检测结果确定出的对焦框相对移动主体而言,可能存在滞后或存在镂空比的问题。
例如,在移动主体沿水平方向运动的情况下,基于沿水平方向的预设视角观察,移动主体的位置随时间发生变化,其视觉尺寸不发生变化。该种场景下,移动主体的运动速率越大,对焦框相对移动主体的滞后程度越高。在移动主体沿前后方向运动的情况下,基于沿前后方向的预设视角观察,移动主体的视觉尺寸随时间发生变化,该种场景下,移动主体的运动速率越大,对焦框尺寸相对移动主体视觉尺寸的镂空比越大。
在基于对象检测结果确定出针对移动主体的初始对焦框之后,如果可以根据移动主体的运动状态信息,对初始对焦框进行修正,可以有效提升对焦的准确性和对焦处理效率。移动主体的运动状态信息例如由已成像的前序图像帧之间的对焦框运动信息指示,因此,可以根据前序图像帧之间的对焦框运动信息,对针对移动主体的初始对焦框进行修正,得到修正后的对焦框。基于修正后的对焦框进行自动对焦并成像,有利于改善针对移动主体的对焦准确性,可以有效提升运动图像拍摄的清晰度。
应用(例如相机应用)对摄像头调用的过程可分为两部分,第一部分为创建过程,也可以理解为准备过程,创建过程主要是各模块创建对应的实例,并交互控制信息的过程。第二部分为录制过程,即各模块或各模块中的实例对摄像头采集到的图像进行处理的过程。需要说明的是,本申请实施例中所述的“实例”也可以理解为运行在进程中的程序代码或进程代码。
下面结合图9a所示的各模块的交互流程示意图,对相机应用在调用摄像头的过程中的创建过程进行详细说明,参照图9a,具体包括:
S101、相机应用调用摄像头服务,摄像头服务进行相应处理。
示例性地,相机应用启动后调用摄像头服务,例如,相机应用向摄像头服务发送请求消息,请求消息中可以包括但不限于:相机应用的应用ID(例如可以是应用程序包名)、PID(Process Identification,进程识别号)、相机应用的配置信息(也可称为需求信息)等。
可选地,请求消息中也可以不包括应用ID,摄像头服务可以通过与应用层的接口,获取接收到的请求消息所对应的应用ID及PID。
S102、摄像头服务调用摄像头硬件抽象层(摄像头HAL)。
S103、摄像头HAL调用内核层中的摄像头驱动。
示例性地,摄像头HAL中的对象检测模块采集针对移动主体的对象检测结果,并基于对象检测结果确定针对移动主体的对焦框信息,对象检测结果例如包括针对移动主体的面部检测结果、肢体检测结果、躯干检测结果等。对象检测模块将对焦框信息输出至AF(Auto Focus,自动对焦)算法模块,AF算法模块基于对焦框信息,计算针对移动主体的最佳对焦位置,并将最佳对焦位置输出至对焦模块。对焦模块根据最佳对焦位置,计算对焦马达位置,并将对焦马达位置输出至内核层中的摄像头驱动,以实现调用摄像头驱动。例如,对焦模块可以根据对焦框信息和当前马达位置,计算马达推动差值,以及根据马达推动差值和当前马达位置,计算出用于自动对焦的对焦马达位置。
S104、摄像头驱动调用摄像头。
示例性地,摄像头驱动根据对焦马达位置输出对应的电流,以驱动对焦马达产生相应的位移,产生相应位移后的对焦马达可以驱动摄像头中的镜头对焦组件进行对焦。摄像头响应于摄像头驱动的调用,拍摄移动主体图像,并将拍摄的移动主体图像成像在芯片上。
对象检测模块针对移动主体的对象检测过程可能存在时延,以及通过不同模块传递对象检测结果,并根据对象检测结果确定对焦框的过程同样存在时延。因此,基于对象检测结果确定出的对焦框相对移动主体而言,可能存在滞后或存在镂空比的问题。
下面结合图9b所示的各模块的交互流程示意图,对相机应用在调用摄像头的过程中的录制过程进行详细说明,参照图9b,具体包括:
S201、摄像头将采集到的图像输出至摄像头驱动。
S202、摄像头驱动将图像输出至摄像头HAL。
示例性地,摄像头驱动获取摄像头采集的图像,并将图像输出至摄像头HAL。结合图8所示,在图像序列的成像过程中,在对移动主体进行对焦得到下一图像帧之前,可以通过摄像头HAL,确定用于拍摄下一图像帧的对焦马达位置,对焦马达位置是基于当前图像帧中针对移动主体的对焦框确定的。摄像头HAL可以基于输入的当前图像帧,生成当前状态的RAW图,并计算当前状态RAW图的景深值。摄像头HAL根据景深值计算马达推动差值,并根据马达推动差值和当前马达位置,计算用于拍摄下一图像帧的下一马达位置。
S203、摄像头HAL将图像输出至摄像头服务。
摄像头HAL将由摄像头采集的图像输出至摄像头服务。
S204、摄像头服务将图像输出至相机应用。
需要说明的是,在本申请的实施例中,各模块或实例之间进行交互时,可通过反馈ACK信息,以告知对端已成功接收到信息或数据。举例说明,相机应用向摄像头服务发送调用请求后,摄像头服务在接收到该请求后,向相机应用反馈ACK信息,以指示摄像头服务已成功接收到该请求。本申请的实施例中的各模块交互示意图中仅示出数据或信息(主要是指请求或控制信息)的流向,未示出ACK信息的流向,下文中不再重复说明。
下面结合图10所示的各模块的交互流程示意图,对相机应用调用摄像头进行图像拍摄的过程进行详细说明,通过摄像头HAL在图像拍摄过程中进行对焦框修正,可以参照图10,具体包括:
S301、相机应用调用摄像头服务,摄像头服务进行相应处理。
S302、摄像头服务调用摄像头硬件抽象层(摄像头HAL)。
S303、摄像头HAL调用内核层中的摄像头驱动。
示例性地,在当前图像帧的拍摄过程中,在利用摄像头HAL中的AF算法模块计算针对移动主体的最佳对焦位置之前,可以利用对焦框修正模块对针对移动主体的初始对焦框进行修正,初始对焦框可以是前一图像帧中针对相同移动主体的对焦框。
如图10所示,第一图像帧301、第二图像帧303为图像序列中基于当前图像帧的前序图像帧,第二图像帧303为图像序列中与当前图像帧相邻的前一图像帧。确定第一图像帧301与第二图像帧303之间的针对对焦框的运动检测信息,具体地,确定第一图像帧301中的第一对焦框302与第二图像帧303中的第二对焦框304之间的对焦框运动信息。根据对焦框运动信息对第二对焦框304进行修正,得到第三对焦框305。
利用AF算法模块基于第三对焦框305,计算针对移动主体的最佳对焦位置,并将最佳对焦位置输出至对焦模块。对焦模块根据最佳对焦位置,计算对焦马达位置,并将对焦马达位置输出至内核层中的摄像头驱动,以实现调用摄像头驱动。
S304、摄像头驱动调用摄像头。
需要注意的是,操作S301、S302、S304的原理及实现过程,分别与操作S101、S102、S104的原理及实现过程相似,本实施例在此不进行赘述。
如图11所示为对焦处理过程的示意图,在对焦处理过程中,利用摄像头HAL进行针对移动主体(即待对焦的目标对象)的对焦框修正。如图11所示,对焦处理过程可以包括操作S401~S403,具体地:
S401、摄像头HAL确定第一图像帧中的第一对焦框与第二图像帧中的第二对焦框之间的第一平移运动信息。
示例性地,摄像头HAL确定第一图像帧与第二图像帧之间的针对对焦框的运动检测信息,运动检测信息指示第一图像帧中的第一对焦框与第二图像帧中的第二对焦框之间的变化信息,第一对焦框与第二对焦框指示相同的目标对象。例如,摄像头HAL确定第一对焦框与第二对焦框之间的第一平移运动信息,第一平移运动信息可以指示对应对焦框之间的位置变化信息。
如图11所示,第一图像帧401为图像序列中基于第二图像帧403的前序图像帧。第一图像帧401可以是图像序列中位于第二图像帧403之前的相邻图像帧,即第一图像帧401与第二图像帧403之间的帧序差为1帧。第一图像帧401也可以是图像序列中位于第二图像帧403之前的非相邻帧图像,示例性地,可以根据对焦处理时间,确定第一图像帧401与第二图像帧403之间的帧序差。例如,假设对焦处理时间为100ms,视频的帧率为30fps,执行单次对焦处理需要30fps*0.1s=3帧的时长,因此,第一图像帧401与第二图像帧403之间的帧序差可以是3帧或3帧以上。
目标对象为视频中需要清晰呈现的人或物,对焦的目的在于使焦点落在目标对象上。一种示例方式,可以将第二图像帧403中的运动对象作为目标对象,可以通过比较第二图像帧403与前序帧(图像序列中位于第一图像帧之前的帧),检测从前序帧到第二图像帧403之间的光流检测移动对象,以作为待对焦的目标对象,或者也可以将第二图像帧403中的前景对象作为待对焦的目标对象,或者还可以将由用户指定的对象作为待对焦的目标对象。
摄像头HAL确定第一图像帧401中的第一对焦框402与第二图像帧403中的第二对焦框404之间的第一平移运动信息。作为一种示例方式,摄像头HAL确定自第一对焦框402到第二对焦框404的基于图像帧跨度的第一平移运动信息,图像帧跨度指示第一图像帧401与第二图像帧403之间的帧序差或时间差。第一平移运动信息可以包括对焦框运动方向和对焦框运动速率。
具体地,第一对焦框402包括焦框中心O1,第二对焦框404包括焦框中心O2。可以根据第一图像帧401与第二图像帧403之间的图像帧跨度,以及根据焦框中心O1、O2的位置信息,确定焦框中心运动速率和焦框中心运动方向。焦框中心运动速率和焦框中心运动方向可以构成第一对焦框402与第二对焦框404之间的第一平移运动信息。
S402、摄像头HAL根据第一平移运动信息,对第二对焦框进行修正,得到第三对焦框。
示例性地,在目标对象的视觉尺寸不随时间发生变化的情况下,可以仅对第二图像帧中的对焦框位置进行修正,而无需对对焦框尺寸进行修正。例如,摄像头HAL可以基于第一平移运动信息中的对焦框运动速率,沿对焦框运动方向移动第二对焦框404,以对第二对焦框404的对焦框位置进行修正,得到第三对焦框405。
作为一种可实现方式,摄像头HAL可以根据第一图像帧401与第二图像帧403之间的对焦框运动速率,确定目标对象的预测运动类型。基于目标对象的预测运动类型,沿对焦框运动方向移动第二对焦框404,得到第三对焦框405。
例如,在对焦框运动速率大于或等于第一预设阈值的情况下,确定目标对象的预测运动类型为高速运动,将第二对焦框404沿对焦框运动方向移动第一预设值的像素量,第一预设值例如可以是100个像素量。在对焦框运动速率小于或等于第二预设阈值的情况下,确定目标对象的预测运动类型为低速运动,将第二对焦框404沿对焦框运动方向移动第二预设值的像素量,第二预设值例如可以是10个像素量。在对焦框运动速率大于第二预设阈值且小于第一预设阈值的情况下,确定目标对象的预测运动类型为中速运动,将第二对焦框404沿对焦框运动方向移动第三预设值的像素量,第三预设值例如可以是50个像素量。第一预设值、第二预设值和第三预设值可以根据实际情况或经验进行设置,本实施例对此不进行限定。
作为另一种可实现方式,可以基于预设映射关系,根据对焦框运动速率所属的第一分段区间,确定与第一分段区间匹配的第一对焦框移动比例。根据第一对焦框移动比例,沿对焦框运动方向移动第二对焦框404,得到第三对焦框405。
S403、摄像头HAL基于第三对焦框,对第三图像帧中的目标对象进行对焦。
示例性地,第二图像帧403为图像序列中与第三图像帧406相邻的前一图像帧,第三图像帧406为待进行成像的当前图像帧。摄像头HAL可以基于第三对焦框405,确定用于对目标对象进行对焦的对焦马达位置,以实现对第三图像帧406中的目标对象进行对焦。
如图12所示为对焦处理过程的示意图,如图12所示,对焦处理过程可以包括操作S501~S503,具体地:
S501、摄像头HAL确定第一图像帧中的第一对焦框与第二图像帧中的第二对焦框之间的缩放运动信息。
示例性地,摄像头HAL确定第一图像帧与第二图像帧之间的针对对焦框的运动检测信息,运动检测信息指示第一图像帧中的第一对焦框与第二图像帧中的第二对焦框之间的变化信息,第一对焦框与第二对焦框指示相同的目标对象。例如,摄像头HAL确定第一对焦框与第二对焦框之间的缩放运动信息,第一平移运动信息可以指示对应对焦框之间的尺寸变化信息。
在目标对象的视觉尺寸发生变化的情况下,针对目标对象的对焦框尺寸可能存在不同。目标对象与摄像头之间的距离越近,基于摄像头视角观察,目标对象的视觉尺寸越大,对焦处理过程中针对目标对象的对焦框尺寸也可能越大。目标对象与摄像头之间的距离越小,基于摄像头视角观察,目标对象的视觉尺寸越小,对焦处理过程中针对目标对象的对焦框尺寸也可能越小。
如图12所示,摄像头HAL可以确定自第一对焦框502到第二对焦框504的基于图像帧跨度的缩放运动信息,图像帧跨度包括第一图像帧501与第二图像帧503之间的帧序差或时间差。缩放运动信息可以包括对焦框缩放类型和对焦框缩放速率,对焦框缩放类型可以包括对焦框放大类型和对焦框缩小类型,对焦框缩放速率例如可由对焦框缩放倍率表示。
S502、摄像头HAL根据缩放运动信息,对第二对焦框进行修正,得到第三对焦框。
示例性地,摄像头HAL可以根据对焦框缩放类型和对焦框缩放速率,对第二对焦框进行504缩放,以对第二对焦框504的对焦框尺寸进行修正,得到第三对焦框505。
作为一种可实现方式,摄像头HAL可以根据第一图像帧501与第二图像帧503之间的对焦框缩放速率,确定目标对象的预测运动类型。基于目标对象的预测运动类型,根据对焦框缩放类型和对焦框缩放速率,对第二对焦框504进行缩放,得到第三对焦框505。
例如,在对焦框缩放速率大于或等于第三预设阈值的情况下,确定目标对象的预测运动类型为高速运动,将第二对焦框504的尺寸缩小或放大第一预设倍数。在对焦框缩放速率小于或等于第四预设阈值的情况下,确定目标对象的预测运动类型为低速运动,将第二对焦框504的尺寸缩小或放大第二预设倍数。在对焦框缩放速率大于第四预设阈值且小于第三预设阈值的情况下,确定目标对象的预测运动类型为中速运动,将第二对焦框504的尺寸缩小或放大第三预设倍数。
在对焦框缩放类型为对焦框放大类型的情况下,对第二对焦框504的尺寸进行放大,在对焦框缩放类型为对焦框缩小类型的情况下,对第二对焦框504的尺寸进行缩小。第一预设倍数、第二预设倍数和第三预设倍数可以根据实际情况或经验进行设置,本实施例对此不进行限定。
作为另一可实现方式,摄像头HAL可以基于预设映射关系,根据对焦框缩放速率所属的第二分段区间,确定与第二分段区间匹配的对焦框缩放比例。根据对焦框缩放类型和对焦框缩放比例,对第二对焦框504进行缩放,得到第三对焦框505。
作为又一可实现方式,在第一对焦框502与第二对焦框504中包括对应的对焦框特征点的情况下,摄像头HAL可以根据对焦框缩放类型和对焦框缩放速率,对第二对焦框中504的对焦框特征点进行移动,以对第二对焦框504的对焦框尺寸进行修正,得到第三对焦框505。对焦框特征点可以是对焦框中的任意点,例如,可以选取对焦框的角点、顶点、边界点作为特征点。
如图12所示,第一对焦框502中包括对焦框特征点M1、M2、M3、M4,第二对焦框504中包括对焦框特征点N1、N2、N3、N4,对焦框特征点M1、M2、M3、M4分别与对焦框特征点N1、N2、N3、N4相对应。摄像头HAL可以根据对焦框缩放类型和对焦框缩放速率,对第二对焦框中504的对焦框特征点N1、N2、N3、N4进行移动,以对第二对焦框504的对焦框尺寸进行修正,移动后的对焦框特征点N1,、N2,、N3,、N4,构成第三对焦框505。
此外,在对第二对焦框504的对焦框尺寸进行修正之后,摄像头HAL还可以对第二图像帧503中的目标对象进行轮廓检测,得到轮廓检测结果。以及,根据轮廓检测结果,对经尺寸修正后的第二对焦框504进行边缘调节,以使调节后的第二对焦框504边缘贴合目标对象的轮廓,边缘调节后的第二对焦框504构成第三对焦框505。
S503、摄像头HAL基于第三对焦框,对第三图像帧中的目标对象进行对焦。
示例性地,第二图像帧503为图像序列中与第三图像帧506相邻的前一图像帧,第三图像帧506为待进行成像的当前图像帧。摄像头HAL可以基于第三对焦框505,确定用于对目标对象进行对焦的对焦马达位置,以实现对第三图像帧506中的目标对象进行对焦。
如图13所示为对焦处理过程的示意图,如图12所示,对焦处理过程可以包括操作S601~S604,具体地:
S601、摄像头HAL确定第一图像帧中的第一对焦框与第二图像帧中的第二对焦框之间的缩放运动信息。
示例性地,在目标对象位置和目标对象视觉尺寸均随时间发生变化的情况下,对焦过程中针对目标对象的对焦框,相对目标对象位置而言可能存在滞后的现象,相对目标对象视觉尺寸而言可能存在镂空比的现象。因此,在进行针对对焦框的修正操作时,可能需要对对焦框位置和对焦框尺寸均进行修正。
如图13所示,摄像头HAL可以确定自第一对焦框602到第二对焦框604的基于图像帧跨度的缩放运动信息,图像帧跨度包括第一图像帧601与第二图像帧603之间的帧序差或时间差。缩放运动信息可以包括对焦框缩放类型和对焦框缩放速率,对焦框缩放类型可以包括对焦框放大类型和对焦框缩小类型,对焦框缩放速率例如可由对焦框缩放倍率表示。
S602、摄像头HAL根据缩放运动信息,对第二对焦框进行修正,得到中间对焦框。
示例性地,摄像头HAL可以根据对焦框缩放类型和对焦框缩放速率,对第二对焦框604进行缩放,以对第二对焦框604的对焦框尺寸进行修正,得到中间对焦框605。
作为一种可实现方式,摄像头HAL可以基于预设映射关系,根据对焦框缩放速率所属的第二分段区间,确定与第二分段区间匹配的对焦框缩放比例。根据对焦框缩放类型和对焦框缩放比例,对第二对焦框604进行缩放,得到中间对焦框605。
S603、摄像头HAL确定自第一对焦框到中间对焦框的基于图像帧跨度的第二平移运动信息,第二平移运动信息包括对焦框运动方向和对焦框运动速率。
示例性地,第一对焦框602包括焦框中心O3,中间对焦框605包括焦框中心O4。摄像头HAL可以根据第一图像帧401与第二图像帧403之间的图像帧跨度,以及根据焦框中心O3、O4的位置信息,确定焦框中心运动速率和焦框中心运动方向。焦框中心运动速率构成第二平移运动信息中的对焦框运动速率,焦框中心运动方向构成第二平移运动信息中的对焦框运动方向。
S604、基于第二平移运动信息中的对焦框运动速率,沿对焦框运动方向移动中间对焦框,得到第三对焦框。
示例性的,摄像头HAL可以根据第二平移运动信息中的对焦框运动速率所属的第三分段区间,确定与第三分段区间匹配的第二对焦框移动比例,以及根据第二对焦框移动比例,沿对焦框运动方向移动中间对焦框605,得到第三对焦框606。
S605、摄像头HAL基于第三对焦框,对第三图像帧中的目标对象进行对焦。
示例性地,第二图像帧603为图像序列中与第三图像帧607相邻的前一图像帧,第三图像帧607为待进行成像的当前图像帧。摄像头HAL可以基于第三对焦框606,对第三图像帧607中的目标对象进行对焦。
作为一种可选的实施例,在利用摄像头HAL根据运动检测信息,对第二对焦框进行修正之前,可以确定由运动检测信息指示的第一对焦框与第二对焦框之间的位置变化程度和尺寸变化程度。在位置变化程度或尺寸变化程度满足预设程度阈值的情况下,进行针对第二对焦框的修正操作。在位置变化程度和尺寸变化程度均未满足预设程度阈值的情况下,确定待对焦目标对象的运动速率较小,不需要进行针对第二对焦框的修正操作。
如图14所示为对焦处理过程的示意图,如图14所示,对焦处理过程可以包括操作S701~S703,具体地:
S701、摄像头HAL根据与第四图像帧相邻的N个前序图像帧,确定基于N个前序图像帧的针对对焦框的运动检测信息。
示例性地,第四图像帧701为待进行成像的当前图像帧,与第四图像帧701相邻的N个前序图像帧例如包括第五图像帧702、其他图像帧703、…其他图像帧70(N+1),N为大于2的整数。第五图像帧702为N个前序图像帧中与第四图像帧701相邻的前一图像帧,N个前序图像帧中的对焦框针对相同的目标对象。
确定基于N个前序图像帧的针对对焦框的运动检测信息。具体地,针对N个前序图像帧中的至少一个目标图像帧对,确定基于各目标图像帧对的对焦框运动信息。根据与各目标图像帧对匹配的对焦框运动信息,确定基于N个前序图像帧的针对对焦框的运动统计信息,以作为运动检测信息。目标图像帧对包括N个前序图像帧中的任意图像帧对。
一种示例方式,摄像头HAL可以根据各目标图像帧对与第四图像帧701之间的图像帧跨度,确定针对各目标图像帧对的权重参数。根据针对各目标图像帧对的权重参数,对与各目标图像帧对匹配的对焦框运动信息进行加权整合,得到基于加权整合结果的运动统计信息,以作为运动检测信息。图像帧跨度指示对应的目标图像帧对与第四图像帧之间的帧序差或时间差。
另一示例方式,摄像头HAL可以对与各目标图像帧对匹配的对焦框运动信息进行求均值整合,得到基于求均值整合结果的运动统计信息,以作为运动检测信息。
如图15a所示为目标图像帧对的示意图。如图15a所示,与第四图像帧701相邻的N个前序图像帧包括前序图像帧801、802、803,N=3。
前序图像帧801、802构成其中一个目标图像帧对,前序图像帧802、803构成另外一个目标图像帧对。确定前序图像帧801、802之间的对焦框运动信息1,确定前序图像帧802、803之间的对焦框运动信息2。
摄像头HAL可以根据各目标图像帧对与第四图像帧701之间的图像帧跨度,确定针对各目标图像帧对的权重参数。根据针对各目标图像帧对的权重参数,对对焦框运动信息1、对焦框运动信息2进行加权整合,得到基于加权整合结果的运动统计信息,以作为运动检测信息。或者,还可以对对焦框运动信息1、对焦框运动信息2进行求均值整合,得到基于求均值整合结果的运动统计信息,以作为运动检测信息。
如图15b所示为目标图像帧对的示意图。如图15b所示,与第四图像帧701相邻的N个前序图像帧包括前序图像帧804、805、806、807,N=4。
前序图像帧804、805构成其中一个目标图像帧对,前序图像帧806、807构成另外一个目标图像帧对。确定前序图像帧804、805之间的对焦框运动信息3,确定前序图像帧806、807之间的对焦框运动信息4。或者,前序图像帧804、806构成其中一个目标图像帧对,前序图像帧805、807构成另外一个目标图像帧对。确定前序图像帧804、806之间的对焦框运动信息5,确定前序图像帧805、807之间的对焦框运动信息6。
可以根据各目标图像帧对与第四图像帧701之间的图像帧跨度,确定针对各目标图像帧对的权重参数。根据针对各目标图像帧对的权重参数,对对焦框运动信息3、对焦框运动信息4(或者对焦框运动信息5、对焦框运动信息6)进行加权整合,得到基于加权整合结果的运动统计信息,以作为运动检测信息。或者,还可以对对焦框运动信息3、对焦框运动信息4(或者对焦框运动信息5、对焦框运动信息6)进行求均值整合,得到基于求均值整合结果的运动统计信息,以作为运动检测信息。
需要注意的是,目标图像帧对包括N个前序图像帧中的任意图像帧对,目标图像帧对可以由N个前序图像帧中的任意两个前序图像帧构成,本实施例对此不进行限定。
对焦框运动信息可以包括目标图像帧对中的对焦框的第三平移运动信息,第三平移运动信息包括平移运动速率和平移运动方向。在确定运动检测信息的过程中,可以根据各目标图像帧对中的对焦框的平移运动速率和平移运动方向,确定基于N个前序图像帧的针对对焦框的平移统计速率和平移统计方向,以作为运动检测信息。
此外,对焦框运动信息也可以包括目标图像帧对中的对焦框的缩放运动信息,缩放运动信息包括缩放运动速率和缩放运动类型。在确定运动检测信息的过程中,可以根据各目标图像帧对中的对焦框的缩放运动速率和缩放运动类型,确定基于N个前序图像帧的针对对焦框的缩放统计速率和缩放统计类型,以作为运动检测信息。
S702、摄像头HAL根据运动检测信息,对第五图像帧中的第四对焦框进行修正,得到第五对焦框。
示例性地,在对焦框运动信息包括对焦框的第三平移运动信息的情况下,摄像头HAL可以基于平移统计速率,沿平移统计方向移动第四对焦框70a,以对第四对焦框70a的对焦框位置进行修正,得到第五对焦框70b。
具体地,摄像头HAL可以根据平移统计速率所属的第四分段区间,确定与第四分段区间匹配的第三对焦框移动比例。根据第三对焦框移动比例,沿平移统计方向移动第四对焦框70a,得到第五对焦框70b。
再示例性地,在对焦框运动信息包括对焦框的缩放运动信息的情况下,摄像头HAL可以根据缩放统计类型和缩放统计速率,对第四对焦框70a进行缩放,以对第四对焦框70a的对焦框尺寸进行修正,得到第五对焦框70b。
具体地,摄像头HAL可以根据缩放统计速率所属的第五分段区间,确定与第五分段区间匹配的缩放统计比例。根据缩放统计类型和缩放统计比例,对第四对焦框进行缩放70a,以对第四对焦框70a的对焦框尺寸进行修正,得到第五对焦框70b。
可选地,在对第四对焦框70a的对焦框尺寸进行修正之后,还可以对第五图像帧702中的目标对象进行轮廓检测,得到轮廓检测结果。根据轮廓检测结果,对经尺寸修正后的第四对焦框70a进行边缘调节,以使调节后的第四对焦框70a边缘贴合目标对象的轮廓,边缘调节后的第四对焦框70a构成第五对焦框70b
S703、摄像头HAL基于第五对焦框,对第四图像帧中的目标对象进行对焦。
示例性地,摄像头HAL可以基于第五对焦框70b,对第四图像帧701中的目标对象进行对焦。
可以理解的是,电子设备为了实现上述功能,其包含了执行各个功能相应的硬件和/或软件模块。结合本文中所公开的实施例描述的各示例的算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本实施例还提供一种计算机存储介质,该计算机存储介质中存储有计算机指令,当该计算机指令在电子设备上运行时,使得电子设备执行上述相关方法步骤实现上述实施例中的对焦处理方法。
本实施例还提供了一种计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机执行上述相关步骤,以实现上述实施例中的对焦处理方法。
另外,本申请的实施例还提供一种装置,这个装置具体可以是芯片,组件或模块,该装置可包括相连的处理器和存储器;其中,存储器用于存储计算机执行指令,当装置运行时,处理器可执行存储器存储的计算机执行指令,以使芯片执行上述各方法实施例中的对焦处理方法。
其中,本实施例提供的电子设备、计算机存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法,因此,其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果,此处不再赘述。
通过以上实施方式的描述,所属领域的技术人员可以了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
本申请各个实施例的任意内容,以及同一实施例的任意内容,均可以自由组合。对上述内容的任意组合均在本申请的范围之内。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。
结合本申请实施例公开内容所描述的方法或者算法的步骤可以硬件的方式来实现,也可以是由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成,软件模块可以被存放于随机存取存储器(Random Access Memory,RAM)、闪存、只读存储器(Read Only Memory,ROM)、可擦除可编程只读存储器(Erasable Programmable ROM,EPROM)、电可擦可编程只读存储器(Electrically EPROM,EEPROM)、寄存器、硬盘、移动硬盘、只读光盘(CD-ROM)或者本领域熟知的任何其它形式的存储介质中。一种示例性地存储介质耦合至处理器,从而使处理器能够从该存储介质读取信息,且可向该存储介质写入信息。当然,存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。
本领域技术人员应该可以意识到,在上述一个或多个示例中,本申请实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时,可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质,其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。
Claims (26)
1.一种对焦处理方法,应用于电子设备中,包括:
确定第一图像帧与第二图像帧之间的针对对焦框的运动检测信息,所述运动检测信息指示所述第一图像帧中的第一对焦框与所述第二图像帧中的第二对焦框之间的变化信息,所述第一对焦框与所述第二对焦框指示相同的目标对象;
根据所述运动检测信息,对所述第二对焦框进行修正,得到第三对焦框;
基于所述第三对焦框,对第三图像帧中的所述目标对象进行对焦,
其中,所述第一图像帧为图像序列中基于所述第二图像帧的前序图像帧,所述第二图像帧为所述图像序列中与所述第三图像帧相邻的前一图像帧。
2.根据权利要求1所述的方法,其中,所述确定第一图像帧与第二图像帧之间的针对对焦框的运动检测信息,包括:
确定自所述第一对焦框到所述第二对焦框的基于图像帧跨度的第一平移运动信息,以作为所述运动检测信息,
其中,所述图像帧跨度指示所述第一图像帧与所述第二图像帧之间的帧序差或时间差。
3.根据权利要求2所述的方法,其中,
所述第一平移运动信息包括对焦框运动方向和对焦框运动速率;
所述根据所述运动检测信息,对所述第二对焦框进行修正,得到第三对焦框,包括:
基于所述第一平移运动信息中的所述对焦框运动速率,沿所述对焦框运动方向移动所述第二对焦框,以对所述第二对焦框的对焦框位置进行修正,得到所述第三对焦框。
4.根据权利要求3所述的方法,其中,所述基于所述第一平移运动信息中的所述对焦框运动速率,沿所述对焦框运动方向移动所述第二对焦框,以对所述第二对焦框的对焦框位置进行修正,得到所述第三对焦框,包括:
根据所述第一平移运动信息中的所述对焦框运动速率所属的第一分段区间,确定与所述第一分段区间匹配的第一对焦框移动比例;
根据所述第一对焦框移动比例,沿所述对焦框运动方向移动所述第二对焦框,得到所述第三对焦框。
5.根据权利要求1所述的方法,其中,所述确定第一图像帧与第二图像帧之间的针对对焦框的运动检测信息,包括:
确定自所述第一对焦框到所述第二对焦框的基于图像帧跨度的缩放运动信息,以作为所述运动检测信息,
其中,所述图像帧跨度包括所述第一图像帧与所述第二图像帧之间的帧序差或时间差。
6.根据权利要求5所述的方法,其中,
所述缩放运动信息包括对焦框缩放类型和对焦框缩放速率;
所述根据所述运动检测信息,对所述第二对焦框进行修正,得到第三对焦框,包括:
根据所述对焦框缩放类型和所述对焦框缩放速率,对所述第二对焦框进行缩放,以对所述第二对焦框的对焦框尺寸进行修正,得到所述第三对焦框。
7.根据权利要求6所述的方法,其中,所述根据所述对焦框缩放类型和所述对焦框缩放速率,对所述第二对焦框进行缩放,以对所述第二对焦框的对焦框尺寸进行修正,得到所述第三对焦框,包括:
根据所述对焦框缩放速率所属的第二分段区间,确定与所述第二分段区间匹配的对焦框缩放比例;
根据所述对焦框缩放类型和所述对焦框缩放比例,对所述第二对焦框进行缩放,得到所述第三对焦框。
8.根据权利要求5所述的方法,其中,
所述第一对焦框与所述第二对焦框中包括对应的对焦框特征点,所述缩放运动信息包括对焦框缩放类型和对焦框缩放速率;
所述根据所述运动检测信息,对所述第二对焦框进行修正,得到第三对焦框,包括:
根据所述对焦框缩放类型和所述对焦框缩放速率,对所述第二对焦框中的所述对焦框特征点进行移动,以对所述第二对焦框的对焦框尺寸进行修正,得到所述第三对焦框。
9.根据权利要求8所述的方法,其中,所述根据所述对焦框缩放类型和所述对焦框缩放速率,对所述第二对焦框中的所述对焦框特征点进行移动,以对所述第二对焦框的对焦框尺寸进行修正,得到所述第三对焦框,包括:
根据所述对焦框缩放类型,确定所述对焦框特征点的特征点移动方向,以及根据所述对焦框缩放速率所属的第二分段区间,确定与所述第二分段区间匹配的特征点移动比例;
根据所述特征点移动方向和所述特征点移动比例,对所述第二对焦框中的所述对焦框特征点进行移动,得到由移动后的对焦框特征点构成的所述第三对焦框。
10.根据权利要求5所述的方法,其中,
所述缩放运动信息包括对焦框缩放类型和对焦框缩放速率;
所述根据所述运动检测信息,对所述第二对焦框进行修正,得到第三对焦框,包括:
根据所述对焦框缩放类型和所述对焦框缩放速率,对所述第二对焦框进行缩放,得到中间对焦框;
确定自所述第一对焦框到所述中间对焦框的基于所述图像帧跨度的第二平移运动信息,所述第二平移运动信息包括对焦框运动方向和对焦框运动速率;
基于所述第二平移运动信息中的所述对焦框运动速率,沿所述对焦框运动方向移动所述中间对焦框,得到所述第三对焦框。
11.根据权利要求10所述的方法,其中,
所述根据所述对焦框缩放类型和所述对焦框缩放速率,对所述第二对焦框进行缩放,得到中间对焦框,包括:
根据所述对焦框缩放速率所属的第二分段区间,确定与所述第二分段区间匹配的对焦框缩放比例,以及根据所述对焦框缩放类型和所述对焦框缩放比例,对所述第二对焦框进行缩放,得到所述中间对焦框;
所述基于所述第二平移运动信息中的所述对焦框运动速率,沿所述对焦框运动方向移动所述中间对焦框,得到所述第三对焦框,包括:
根据所述第二平移运动信息中的所述对焦框运动速率所属的第三分段区间,确定与所述第三分段区间匹配的第二对焦框移动比例,以及根据所述第二对焦框移动比例,沿所述对焦框运动方向移动所述中间对焦框,得到所述第三对焦框。
12.根据权利要求6或8所述的方法,其中,在对所述第二对焦框的对焦框尺寸进行修正之后,还包括:
对所述第二图像帧中的所述目标对象进行轮廓检测,得到轮廓检测结果;
根据所述轮廓检测结果,对经尺寸修正后的第二对焦框进行边缘调节,以使调节后的第二对焦框边缘贴合所述目标对象的轮廓,边缘调节后的第二对焦框构成所述第三对焦框。
13.根据权利要求1至12中任一项所述的方法,其中,在根据所述运动检测信息,对所述第二对焦框进行修正之前,还包括:
确定由所述运动检测信息指示的所述第一对焦框与所述第二对焦框之间的位置变化程度和尺寸变化程度;
在所述位置变化程度或所述尺寸变化程度满足预设程度阈值的情况下,进行针对所述第二对焦框的修正操作。
14.一种对焦处理方法,应用于电子设备中,包括:
根据与第四图像帧相邻的N个前序图像帧,确定基于所述N个前序图像帧的针对对焦框的运动检测信息,其中,N为大于2的整数,所述N个前序图像帧中的对焦框针对相同的目标对象;
根据所述运动检测信息,对第五图像帧中的第四对焦框进行修正,得到第五对焦框,其中,所述第五图像帧为所述N个前序图像帧中与所述第四图像帧相邻的前一图像帧;
基于所述第五对焦框,对所述第四图像帧中的所述目标对象进行对焦。
15.根据权利要求14所述的方法,其中,所述确定基于所述N个前序图像帧的针对对焦框的运动检测信息,包括:
针对所述N个前序图像帧中的至少一个目标图像帧对,确定基于各所述目标图像帧对的对焦框运动信息;
根据与各所述目标图像帧对匹配的所述对焦框运动信息,确定基于所述N个前序图像帧的针对对焦框的运动统计信息,以作为所述运动检测信息,
其中,所述目标图像帧对包括所述N个前序图像帧中的任意图像帧对。
16.根据权利要求15所述的方法,其中,所述根据与各所述目标图像帧对匹配的所述对焦框运动信息,确定基于所述N个前序图像帧的针对对焦框的运动统计信息,包括:
根据各所述目标图像帧对与所述第四图像帧之间的图像帧跨度,确定针对各所述目标图像帧对的权重参数;
根据针对各所述目标图像帧对的所述权重参数,对与各所述目标图像帧对匹配的所述对焦框运动信息进行加权整合,得到基于加权整合结果的所述运动统计信息,
其中,所述图像帧跨度指示对应的目标图像帧对与所述第四图像帧之间的帧序差或时间差。
17.根据权利要求15所述的方法,其中,所述根据与各所述目标图像帧对匹配的所述对焦框运动信息,确定基于所述N个前序图像帧的针对对焦框的运动统计信息,包括:
对与各所述目标图像帧对匹配的所述对焦框运动信息进行求均值整合,得到基于求均值整合结果的所述运动统计信息。
18.根据权利要求15所述的方法,其中,
所述对焦框运动信息包括所述目标图像帧对中的对焦框的第三平移运动信息,所述第三平移运动信息包括平移运动速率和平移运动方向;
所述根据与各所述目标图像帧对匹配的所述对焦框运动信息,确定基于所述N个前序图像帧的针对对焦框的运动统计信息,以作为所述运动检测信息,包括:
根据各所述目标图像帧对中的对焦框的平移运动速率和平移运动方向,确定基于所述N个前序图像帧的针对对焦框的平移统计速率和平移统计方向,以作为所述运动检测信息。
19.根据权利要求18所述的方法,其中,所述根据所述运动检测信息,对第五图像帧中的第四对焦框进行修正,得到第五对焦框,包括:
基于所述平移统计速率,沿所述平移统计方向移动所述第四对焦框,以对所述第四对焦框的对焦框位置进行修正,得到所述第五对焦框。
20.根据权利要求19所述的方法,其中,所述基于所述平移统计速率,沿所述平移统计方向移动所述第四对焦框,以对所述第四对焦框的对焦框位置进行修正,得到所述第五对焦框,包括:
根据所述平移统计速率所属的第四分段区间,确定与所述第四分段区间匹配的第三对焦框移动比例;
根据所述第三对焦框移动比例,沿所述平移统计方向移动所述第四对焦框,得到所述第五对焦框。
21.根据权利要求15所述的方法,其中,
所述对焦框运动信息包括所述目标图像帧对中的对焦框的缩放运动信息,所述缩放运动信息包括缩放运动速率和缩放运动类型;
所述根据与各所述目标图像帧对匹配的所述对焦框运动信息,确定基于所述N个前序图像帧的针对对焦框的运动统计信息,以作为所述运动检测信息,包括:
根据各所述目标图像帧对中的对焦框的缩放运动速率和缩放运动类型,确定基于所述N个前序图像帧的针对对焦框的缩放统计速率和缩放统计类型,以作为所述运动检测信息。
22.根据权利要求21所述的方法,其中,所述根据所述运动检测信息,对第五图像帧中的第四对焦框进行修正,得到第五对焦框,包括:
根据所述缩放统计类型和所述缩放统计速率,对所述第四对焦框进行缩放,以对所述第四对焦框的对焦框尺寸进行修正,得到所述第五对焦框。
23.根据权利要求22所述的方法,其中,所述根据所述缩放统计类型和所述缩放统计速率,对所述第四对焦框进行缩放,以对所述第四对焦框的对焦框尺寸进行修正,得到所述第五对焦框,包括:
根据所述缩放统计速率所属的第五分段区间,确定与所述第五分段区间匹配的缩放统计比例;
根据所述缩放统计类型和所述缩放统计比例,对所述第四对焦框进行缩放,得到所述第五对焦框。
24.根据权利要求22或23所述的方法,其中,在对所述第四对焦框的对焦框尺寸进行修正之后,还包括:
对所述第五图像帧中的所述目标对象进行轮廓检测,得到轮廓检测结果;
根据所述轮廓检测结果,对经尺寸修正后的第四对焦框进行边缘调节,以使调节后的第四对焦框边缘贴合所述目标对象的轮廓,边缘调节后的第四对焦框构成所述第五对焦框。
25.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储器;
以及一个或多个计算机程序,其中所述一个或多个计算机程序存储在所述存储器上,当所述计算机程序被所述一个或多个处理器执行时,使得所述电子设备执行如权利要求1至13中任一项或者如权利要求14至24中任一项所述的对焦处理方法。
26.一种计算机可读存储介质,包括计算机程序,其特征在于,当所述计算机程序在电子设备上运行时,使得所述电子设备执行如权利要求1至13中任一项或者如权利要求14至24中任一项所述的对焦处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310216184.4A CN117135451A (zh) | 2023-02-27 | 2023-02-27 | 对焦处理方法、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310216184.4A CN117135451A (zh) | 2023-02-27 | 2023-02-27 | 对焦处理方法、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117135451A true CN117135451A (zh) | 2023-11-28 |
Family
ID=88855266
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310216184.4A Pending CN117135451A (zh) | 2023-02-27 | 2023-02-27 | 对焦处理方法、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117135451A (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106961552A (zh) * | 2017-03-27 | 2017-07-18 | 联想(北京)有限公司 | 一种对焦控制方法及电子设备 |
US20180063411A1 (en) * | 2016-09-01 | 2018-03-01 | Duelight Llc | Systems and methods for adjusting focus based on focus target information |
CN108509940A (zh) * | 2018-04-20 | 2018-09-07 | 北京达佳互联信息技术有限公司 | 人脸图像跟踪方法、装置、计算机设备及存储介质 |
CN110460771A (zh) * | 2019-07-25 | 2019-11-15 | 南京诺源医疗器械有限公司 | 对焦方法、装置及对焦设备 |
CN111226433A (zh) * | 2018-08-24 | 2020-06-02 | 深圳市大疆创新科技有限公司 | 确定装置、控制装置、摄像装置、确定方法以及程序 |
CN112509003A (zh) * | 2020-12-01 | 2021-03-16 | 华中光电技术研究所(中国船舶重工集团公司第七一七研究所) | 解决目标跟踪框漂移的方法及系统 |
CN114466129A (zh) * | 2020-11-09 | 2022-05-10 | 哲库科技(上海)有限公司 | 图像处理方法、装置、存储介质及电子设备 |
-
2023
- 2023-02-27 CN CN202310216184.4A patent/CN117135451A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180063411A1 (en) * | 2016-09-01 | 2018-03-01 | Duelight Llc | Systems and methods for adjusting focus based on focus target information |
CN106961552A (zh) * | 2017-03-27 | 2017-07-18 | 联想(北京)有限公司 | 一种对焦控制方法及电子设备 |
CN108509940A (zh) * | 2018-04-20 | 2018-09-07 | 北京达佳互联信息技术有限公司 | 人脸图像跟踪方法、装置、计算机设备及存储介质 |
CN111226433A (zh) * | 2018-08-24 | 2020-06-02 | 深圳市大疆创新科技有限公司 | 确定装置、控制装置、摄像装置、确定方法以及程序 |
CN110460771A (zh) * | 2019-07-25 | 2019-11-15 | 南京诺源医疗器械有限公司 | 对焦方法、装置及对焦设备 |
CN114466129A (zh) * | 2020-11-09 | 2022-05-10 | 哲库科技(上海)有限公司 | 图像处理方法、装置、存储介质及电子设备 |
CN112509003A (zh) * | 2020-12-01 | 2021-03-16 | 华中光电技术研究所(中国船舶重工集团公司第七一七研究所) | 解决目标跟踪框漂移的方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11496696B2 (en) | Digital photographing apparatus including a plurality of optical systems for acquiring images under different conditions and method of operating the same | |
CN114205522B (zh) | 一种长焦拍摄的方法及电子设备 | |
US10291842B2 (en) | Digital photographing apparatus and method of operating the same | |
CN108322646B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN110505411B (zh) | 图像拍摄方法、装置、存储介质及电子设备 | |
CN111183632A (zh) | 图像捕捉方法及电子设备 | |
CN113940057B (zh) | 基于与图像传感器相关联的运动特性控制曝光设置的系统和方法 | |
EP4135310A1 (en) | Photographing method and device | |
EP3316568B1 (en) | Digital photographing device and operation method therefor | |
CN109923850B (zh) | 一种图像捕捉装置及方法 | |
CN116709021B (zh) | 变焦响应方法、电子设备及存储介质 | |
CN116801093B (zh) | 图像处理方法、设备及存储介质 | |
EP4344240A1 (en) | Camera switching method, and electronic device | |
EP4376433A1 (en) | Camera switching method and electronic device | |
CN114979458B (zh) | 一种图像的拍摄方法及电子设备 | |
CN114071009B (zh) | 一种拍摄方法及设备 | |
CN117135451A (zh) | 对焦处理方法、电子设备及存储介质 | |
US20120188413A1 (en) | Digital photographing apparatus and method of providing image captured by using the apparatus | |
CN117354624B (zh) | 摄像头切换方法、设备以及存储介质 | |
CN117560574B (zh) | 一种拍摄方法、电子设备和可读存储介质 | |
CN116703742B (zh) | 识别模糊图像的方法和电子设备 | |
US20230215018A1 (en) | Electronic device including camera and method for generating video recording of a moving object | |
CN117729320A (zh) | 图像显示方法、设备及存储介质 | |
CN118012319A (zh) | 一种图像处理方法、电子设备及计算机可读存储介质 | |
CN116560770A (zh) | 壁纸显示方法、电子设备及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |