CN113711123B - 一种对焦方法、装置及电子设备 - Google Patents

一种对焦方法、装置及电子设备 Download PDF

Info

Publication number
CN113711123B
CN113711123B CN202080000988.5A CN202080000988A CN113711123B CN 113711123 B CN113711123 B CN 113711123B CN 202080000988 A CN202080000988 A CN 202080000988A CN 113711123 B CN113711123 B CN 113711123B
Authority
CN
China
Prior art keywords
region
regions
image
unmarked
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080000988.5A
Other languages
English (en)
Other versions
CN113711123A (zh
Inventor
马彦鹏
申金晟
张伟成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN113711123A publication Critical patent/CN113711123A/zh
Application granted granted Critical
Publication of CN113711123B publication Critical patent/CN113711123B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)

Abstract

一种对焦方法、装置及电子设备,涉及图像处理领域,能够提升对拍摄目标的对焦准确度,进而实现对拍摄目标的清晰拍摄,以提高拍摄图像的图像质量以及拍摄的成片率。具体方案为:生成第一图像,所述第一图像包括拍摄目标的图像;在该第一图像中确定目标位置。根据该目标位置将该第一图像划分为P个背景区域,目标区域以及Q个未标记区域。根据该P个背景区域将该Q个未标记区域中一个或多个区域合并到该P个背景区域中的至少一个背景区域中。将该Q个未标记区域中除了该一个或多个区域之外的至少一个未标记区域合并到该目标区域,以获得包括该拍摄目标的感兴趣区域(ROI)。根据ROI确定对焦区域,该对焦区域包括该ROI的至少部分。

Description

一种对焦方法、装置及电子设备
技术领域
本申请实施例涉及图像处理领域,尤其涉及一种对焦方法、装置及电子设备。
背景技术
目前,为了满足用户在不同场景下的拍摄需求,电子设备(如智能手机)大多都具有拍摄功能。另外,可以在电子设备中设置自动对焦(auto focus)系统,以便电子设备可以自动调整焦距,实现清晰拍摄。示例性的,在用户使用电子设备进行拍摄时,电子设备可以生成预览图像,并在该预览图像中设置一块矩形区域作为对焦窗口,通过调整焦距,使得对焦窗口中的图像清晰度得到提升,以此实现自动对焦。
然而,这种对焦方式可能存在一些问题。例如,当拍摄目标在预览图像中的成像尺寸小于对焦窗口时,对焦窗口中会包括其他前景或背景图像。此时根据对焦窗口进行对焦,就有可能无法将焦距调整到拍摄目标所在的位置,也就不能对拍摄目标进行清晰的拍摄。另外,由于用户拍摄时所关注的对象(如称为拍摄目标)大多位于视场中心,因此,对焦窗口通常固定在预览图像的中心区域。那么,当拍摄目标并不全部处于视场中心时,则其对应在预览图像中的图像就可能存在一部分处于对焦窗口之外,此时电子设备根据该对焦窗口进行对焦就无法准去地对拍摄目标进行对焦,也就不能对拍摄目标进行清晰的拍摄。
因此,就需要一种对焦方法,能够提升对拍摄目标的对焦准确度,进而实现对拍摄目标的清晰拍摄,以提高拍摄图像的图像质量以及拍摄的成片率。
发明内容
本申请实施例提供一种对焦方法、装置及电子设备,能够提升对拍摄目标的对焦准确度。
为达到上述目的,本申请实施例采用如下技术方案:第一方面,提供一种对焦方法,该方法包括:生成第一图像,该第一图像包括拍摄目标的图像。在该第一图像中确定目标位置。根据该目标位置将该第一图像划分为P个背景区域,目标区域以及Q个未标记区域。其中,该目标区域包括该目标位置,该Q个未标记区域是该第一图像中除了该P个背景区域和该目标区域之外的Q个区域,P和Q均为正整数。根据该P个背景区域将该Q个未标记区域中一个或多个区域合并到该P个背景区域中的至少一个背景区域中。将该Q个未标记区域中除了该一个或多个区域之外的至少一个未标记区域合并到该目标区域,以获得包括该拍摄目标的感兴趣区域ROI。根据该ROI确定对焦区域,该对焦区域包括该ROI的至少部分。
基于该方案,电子设备可以通过对第一图像的分割与合并,可以将与背景区域所显示图像相似的未标记区域合并到背景区域中,将剩余的区域(如未被合并到背景区域中的未标记区域以及目标区域)合并作为ROI,由此准确地确定拍摄目标在第一图像中的外形轮廓。根据该ROI,确定对焦窗口并进行对焦,就可以实现针对拍摄目标的准确对焦,进而实现对拍摄目标的清晰拍摄,以提高拍摄图像的图像质量以及拍摄的成片率。
在一种可能的设计中,P个背景区域中的任意一个背景区域与第一图像的边缘接触。基于该方案,电子设备可以明确地确定出第一图像中包括的背景区域。
在一种可能的设计中,在所述第一图像中确定目标位置包括:将第一图像中的预设位置确定为所述目标位置。示例性的,该预设位置可以为第一图像的中心位置。基于该方案,在电子设备没有收到用户的输入时,提供了一种目标位置的确定方法,如将第一图像的预设位置确定为目标位置。
在一种可能的设计中,在所述第一图像中确定目标位置,包括:根据用户的指示,将第一图像中与指示对应的位置确定为目标位置。基于该方案,电子设备可以根据用户的指示,如对屏幕的触摸等操作,确定目标位置。可以理解的是,用户可以在开始拍摄时,在电子设备的屏幕上看到第一图像。用户可以通过触摸该第一图像对应的位置,以指示电子设备拍摄目标在第一图像中的位置。因此,电子设备将用户指示的位置作为目标位置,即可准确地确定出拍摄目标对应的位置。
在一种可能的设计中,根据目标位置将第一图像和划分为P个背景区域,目标区域以及Q个未标记区域包括:对第一图像进行超像素分割,以获得M个区域,M为大于或等于3的整数;根据目标位置在M个区域中获取目标区域;在M个区域中获取所述P个背景区域;将M个区域中除了所述P个背景区域和所述目标区域之外的Q个区域确定为Q个未标记区域。基于该方案,电子设备可以将第一图像划分为具有不同特征的区域,同时对各个区域进行标记,以便准确地确定出背景区域的范围。
在一种可能的设计中,所述根据所述P个背景区域将所述Q个未标记区域中一个或多个区域合并到所述P个背景区域中的至少一个背景区域中,包括执行至少一次如下合并操作:针对所述P个背景区域中的每个背景区域,确定是否存在第一区域,所述第一区域是未标记区域且与所述每个背景区域相邻,且在与所述每个背景区域相邻的至少一个第一相邻区域中所述第一区域与所述每个背景区域的特征相似度最高;当存在所述第一区域时,将所述第一区域合并到所述每个背景区域。基于该方案,电子设备能够将碎片化的多个区域合并为特征相近的少量区域。例如,将与背景区域特征相似度较高的未标记区域合并到背景区域中。这样就可以准确地扩展背景区域的范围。
在一种可能的设计中,在每执行一次合并操作时,所述方法还包括:针对所述Q个未标记区域中除了所述第一区域外的一个或多个未标记区域中的每个未标记区域,确定是否存在第二区域,所述第二区域是未标记区域且与所述每个未标记区域相邻,且在与所述每个未标记区域相邻的至少一个第二相邻区域中所述第二区域与所述每个未标记区域的特征相似度最高;当存在所述第二区域时,将所述第二区域合并到所述每个未标记区域。基于该方案,电子设备可以将未被合并到背景区域中的未标记区域进行相互合并,合并后的未标记区域的特征被更新,以便电子设备可以根据该跟新的特征,将更多的未标记区域合并到背景区域中。
在一种可能的设计中,所述对焦区域是矩形对焦窗口,所述矩形对焦窗口包括四个边,所述四个边中的每个边所具有的与所述ROI重合的像素个数小于预设阈值。基于该方案,电子设备可以根据ROI准确地确定出对焦窗口的位置及大小,以保证对拍摄目标进行准确的对焦。示例性的,通过该方案,能够有效避免由于拍摄目标的轮廓具有凸出位置时导致的对焦窗口过大的问题,由此可以保证对拍摄目标主体的准确对焦,同时减小了电子设备在进行对焦时的计算量。
第二方面,提供一种对焦装置,该装置包括生成单元,确定单元,获取单元以及合并单元。该生成单元,用于生成第一图像,该第一图像包括拍摄目标的图像。该确定单元,用于在该第一图像中确定目标位置。该获取单元,用于根据该目标位置将该第一图像划分为P个背景区域,目标区域以及Q个未标记区域。其中,该目标区域包括该目标位置,该Q个未标记区域是该第一图像中除了该P个背景区域和该目标区域之外的Q个区域,P和Q均为正整数。该合并单元,用于根据该P个背景区域将该Q个未标记区域中一个或多个区域合并到该P个背景区域中的至少一个背景区域中。该合并单元,还用于将该Q个未标记区域中除了该一个或多个区域之外的至少一个未标记区域合并到该目标区域,以获得包括该拍摄目标的感兴趣区域(ROI)。该确定单元,还用于根据该ROI确定对焦区域,该对焦区域包括该ROI的至少部分。
在一种可能的设计中,该P个背景区域中的任意一个背景区域与该第一图像的边缘接触。
在一种可能的设计中,该确定单元,用于将该第一图像中的预设位置确定为该目标位置。
在一种可能的设计中,该确定单元,用于根据用户的指示,将该第一图像中与该指示对应的位置确定为该目标位置。
在一种可能的设计中,该获取单元,用于对该第一图像进行超像素分割,以获得M个区域,M为大于或等于3的整数。该获取单元,还用于根据该目标位置在该M个区域中获取该目标区域。该获取单元,还用于在该M个区域中获取该P个背景区域。该获取单元,还用于将该M个区域中除了该P个背景区域和该目标区域之外的该Q个区域确定为该Q个未标记区域。
在一种可能的设计中,该合并单元,用于针对该P个背景区域中的至少一个背景区域,执行至少一次如下合并操作:确定是否存在第一区域,该第一区域是未标记区域且与该每个背景区域相邻,且在与该每个背景区域相邻的至少一个第一相邻区域中该第一区域与该每个背景区域的特征相似度最高。当存在该第一区域时,将该第一区域合并到该每个背景区域。
在一种可能的设计中,该合并单元,还用于在每执行一次合并操作时,针对该Q个未标记区域中除了该第一区域外的一个或多个未标记区域中的每个未标记区域,确定是否存在第二区域,该第二区域是未标记区域且与该每个未标记区域相邻,且在与该每个未标记区域相邻的至少一个第二相邻区域中该第二区域与该每个未标记区域的特征相似度最高。当存在该第二区域时,将该第二区域合并到该每个未标记区域。
在一种可能的设计中,该对焦区域是矩形对焦窗口,该矩形对焦窗口包括四个边,该四个边中的每个边所具有的与该ROI重合的像素个数小于预设阈值。
第三方面,提供一种电子设备,该电子设备包括一个或多个处理器,以及一个或多个存储器。该存储器与该处理器耦合,该存储器存储有计算机指令。当该处理器执行该计算机指令时,使得该电子设备执行上述第一方面及其可能的设计中任一项所述的对焦方法。
第四方面,提供一种计算机可读存储介质,该计算机可读存储介质包括计算机指令,当该计算机指令运行时,执行上述第一方面及其可能的设计中任一项所述的对焦方法。
第五方面,提供一种芯片系统,该芯片系统包括处理电路和接口。该处理电路用于从存储介质中调用并运行该存储介质中存储的计算机程序,以执行上述第一方面及其可能的设计中任一项所述的对焦方法。
示例性地,上述第二方面至第五方面中任一种设计方式及其可能的设计方法,均可对应到上述第一方面及其任一种可能的设计,因此,能够带来类似的技术效果,此处不再赘述。
附图说明
图1为现有技术提供的一种中心固定区域对焦窗口的示意图;
图2为本申请实施例提供的一种电子设备100的结构示意图;
图3为本申请实施例提供的一种摄像头与处理器的连接示意图;
图4为本申请实施例提供的一种对焦方法的流程示意图;
图5为本申请实施例提供的一种超像素分割示意图;
图6为本申请实施例提供的一种区域标记的方法示意图;
图7为本申请实施例提供的一种区域合并方法的流程图;
图8为本申请实施例提供的一种区域合并方法的过程示意图;
图9为本申请实施例提供的一种区域合并方法的结果示意图;
图10为本申请实施例提供的一种根据ROI确定对焦窗口的方法示意图;
图11为本申请实施例提供的一种根据ROI确定对焦窗口的结果示意图;
图12为本申请实施例提供的又一种对焦方法的流程示意图;
图13为本申请实施例提供的一种对焦效果示意图;
图14为本申请实施例提供的又一种对焦效果示意图;
图15为本申请实施例提供的又一种对焦效果示意图;
图16为本申请实施例提供的又一种对焦效果示意图;
图17为本申请实施例提供的又一种对焦效果示意图;
图18为本申请实施例提供的又一种对焦效果示意图;
图19为本申请实施例提供的一种图像跟踪法的流程示意图;
图20为本申请实施例提供的一种对焦装置的组成示意图;
图21为本申请实施例提供的一种电子设备的组成示意图;
图22为本申请实施例提供的一种芯片系统的组成示意图。
具体实施方式
电子设备在进行拍摄时,往往需要进行对焦,如根据对焦窗口进行对焦,以便能够对拍摄目标进行清晰的拍摄。可以理解的是,选择合适的对焦窗口是一个非常重要的关键步骤。一方面,能否将对焦窗口定位在人们所关注的区域直接决定了对焦结果是否符合使用者的主观视觉要求;另一方面,选择合适大小的对焦窗口也十分重要。若对焦窗口过小,则会引起在对焦过程的抗噪性能下降,甚至出现对焦过程中主体部分漂移出对焦窗口区域的现象,从而导致对焦失败;若对焦窗口过大,则不仅会增加对焦过程中的计算量、影响自动对焦的实时性,还会引入不必要的背景像素对主体成像的影响,进而影响自动对焦的准确性。因此,对焦窗口的选择很大程度上决定了最终的图像质量以及拍摄的成片率。
一般而言,为了使得对焦后能够对拍摄目标进行清晰的拍摄,在设置对焦窗口时,至少需要考虑以下几点因素:对焦窗口中的图像细节信息应该较为丰富,以便电子设备通过对焦评价函数进行清晰度质量评价,以确定对焦窗口中的图像是否已经准焦。对焦窗口应该尽量选择在距离图像中心区域较近的位置,以避免自动对焦过程中由于镜头位置的变化引起的场景漂移所带来的影响。尽量保证对焦窗口中的场景和光照条件在对焦过程中保持不变,以保证自动对焦的稳定性。对焦评价函数对于对焦窗口中的信息变化灵敏度较高,例如,对焦窗口中的目标对比度或动态范围较大。
示例性的,以电子设备为智能手机为例。目前,在智能手机上,最常用的对焦窗口选择是中心固定区域对焦窗口。该方案采用设置在预览图像中心位置的大小固定的矩形作为对焦窗口。可以理解的是,在使用智能手机进行拍摄时,所关注的物体(即拍摄目标)的主体部分通常位于视场中央。因此,智能手机使用中心固定区域对焦窗口进行对焦,使得该对焦窗口中的图像,即预览图像的中央区域被调整为准焦状态,则认为整幅图像的成像效果可以保证成片。
例如,图1示出了一种中心固定区域对焦窗口的示意图。如图1所示,可以在全视场对应的预览图像的中心位置设置大小固定的矩形作为对焦窗口。当使用该对焦窗口进行对焦时,电子设备可以通过调整镜头的伸缩,使得该对焦窗口中的图像被调整为准焦状态,由此实现自动对焦。其中,电子设备可以通过对焦评价函数对对焦窗口中的图像以像素为单位进行清晰度评价,以确定该对焦窗口中的图像是否被调整为准焦状态。
一般而言,考虑到清晰度评价过程中的计算量,可以设置对焦窗口大小为全视场对应拍摄图像的五分之一。当然,对焦窗口的大小也可以根据视场的预览比例来确定。然而,该方法依然存在一些问题。例如,由于对焦窗口的大小固定,如果拍摄目标小于对焦窗口,尤其是拍摄目标处于前景位置,而背景纹理信息较为丰富,则通过该方法进行对焦时,非常容易对焦到后景,导致对拍摄目标的对焦准确度不够准确,这样拍摄获取的图像就无法对拍摄目标进行清晰的成像。
为了解决上述问题,本申请实施例提供一种对焦方法、装置及电子设备,使得电子设备能够根据拍摄目标在预览图像中的实际大小及位置,确定拍摄目标对应的感兴趣区域(region of interest,ROI),进而根据ROI确定对焦窗口的大小和位置,并进行对焦。使用本申请实施例提供的对焦方法,能提高对拍摄目标的对焦准确度。尤其能够有效地提高在复杂环境中,对不同大小的拍摄目标的对焦准确度。实现了对拍摄目标的清晰拍摄,提高了拍摄图像的图像质量以及拍摄的成片率。
示例性的,本申请实施例中的电子设备可以是手机、平板电脑、桌面型、膝上型、手持计算机、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本,以及蜂窝电话、个人数字助理(personal digital assistant,PDA)、增强现实(augmented reality,AR)\虚拟现实(virtual reality,VR)设备等包括折叠屏的设备,本申请实施例对该设备的具体形态不作特殊限制。
下面将结合附图对本申请实施例的实施方式进行详细描述。请参考图2,为本申请实施例提供的一种电子设备100的结构示意图。如图2所示,电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中,传感器模块180可以包括压力传感器,陀螺仪传感器,气压传感器,磁传感器,加速度传感器,距离传感器,接近光传感器,指纹传感器,温度传感器,触摸传感器,环境光传感器,骨传导传感器等。
可以理解的是,本实施例示意的结构并不构成对电子设备100的具体限定。在另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
作为一种示例性的说明,本申请实施例中,处理器110可以用于根据预览图像,对该图像中包括的多个像素进行超像素划分。该处理器110还可以用于对划分后的多个区域按照预设规则进行合并,例如,根据合并规则(Rule_merging)对划分后的多个区域进行合并,以获取最接近拍摄目标的ROI,并根据该ROI确定对应的对焦窗口。可以理解的是,由于该对焦窗口是根据拍摄目标对应的ROI确定的,因此无论拍摄目标尺寸的大小如何,该对焦窗口中都能够包括拍摄目标在预览图像上的绝大部分图像。同时,也不会存在拍摄目标漂移出对焦窗口的问题。因此,针对该对焦窗口进行对焦,能够有效地将焦距调整到拍摄目标的位置,进而对拍摄目标进行准确的对焦。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。
示例性的,摄像头193还可以在处理器110的控制下,实现拍摄过程中的对焦。例如,如图3所示,该摄像头193中可以包括设置有能够自动对焦的镜头193A。镜头193A可以在处理器110的控制下,根据对焦窗口在预览图像中的位置,自动调整镜头193A中的透镜之间的相互位置,以使得将焦距调整到对焦窗口中包括的拍摄目标清晰度较好的位置,以此实现对拍摄目标的对焦。需要说明的是,以上说明是以镜头193A包括在摄像头193中为例进行说明的。在另一些实施例中,电子设备100中的镜头193A也可以不包括在摄像头193中,或电子设备100也可以不包括摄像头193。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备100供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,外部存储器,显示屏194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,电子设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(codedivision multiple access,CDMA),宽带码分多址(wideband code division multipleaccess,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系统(global navigation satellite system,GLONASS),北斗卫星导航系统(beidounavigation satellite system,BDS),准天顶卫星系统(quasi-zenith satellitesystem,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐,或收听免提通话。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息或需要通过语音助手触发电子设备100执行某些功能时,用户可以通过人嘴靠近麦克风170C发声,将声音信号输入到麦克风170C。电子设备100可以设置至少一个麦克风170C。在另一些实施例中,电子设备100可以设置两个麦克风170C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,电子设备100还可以设置三个,四个或更多麦克风170C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130,也可以是3.5mm的开放移动电子设备100平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of theUSA,CTIA)标准接口。
触摸传感器,也称“触控面板”。触摸传感器可以设置于显示屏194,由触摸传感器与显示屏194组成触摸屏,也称“触控屏”。触摸传感器用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。例如,触摸传感器可以采集用户在使用电子设备100进行拍摄时输入的触摸操作的位置,并将该位置传递给处理器110,以便处理器110确定拍摄目标对应的目标位置。在一些实施例中,可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
压力传感器用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器可以设置于显示屏194。压力传感器的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器,电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194,电子设备100根据压力传感器检测所述触摸操作强度。电子设备100也可以根据压力传感器的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。
陀螺仪传感器可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器确定电子设备100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器检测电子设备100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备100的抖动,实现防抖。陀螺仪传感器还可以用于导航,体感游戏场景。
气压传感器用于测量气压。在一些实施例中,电子设备100通过气压传感器测得的气压值计算海拔高度,辅助定位和导航。
磁传感器包括霍尔传感器。电子设备100可以利用磁传感器检测翻盖皮套的开合。在一些实施例中,当电子设备100是翻盖机时,电子设备100可以根据磁传感器检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态,设置翻盖自动解锁等特性。
加速度传感器可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备100姿态,应用于横竖屏切换,计步器等应用。
距离传感器,用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备100可以利用距离传感器测距以实现快速对焦。
接近光传感器可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定电子设备100附近有物体。当检测到不充分的反射光时,电子设备100可以确定电子设备100附近没有物体。电子设备100可以利用接近光传感器检测用户手持电子设备100贴近耳朵通话,以便自动熄灭屏幕达到省电的目的。接近光传感器也可用于皮套模式,口袋模式自动解锁与锁屏。
环境光传感器用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器也可用于拍照时自动调节白平衡。环境光传感器还可以与接近光传感器配合,检测电子设备100是否在口袋里,以防误触。
指纹传感器用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
温度传感器用于检测温度。在一些实施例中,电子设备100利用温度传感器检测的温度,执行温度处理策略。例如,当温度传感器上报的温度超过阈值,电子设备100执行降低位于温度传感器附近的处理器的性能,以便降低功耗实施热保护。在另一些实施例中,当温度低于另一阈值时,电子设备100对电池142加热,以避免低温导致电子设备100异常关机。在其他一些实施例中,当温度低于又一阈值时,电子设备100对电池142的输出电压执行升压,以避免低温导致的异常关机。
骨传导传感器可以获取振动信号。在一些实施例中,骨传导传感器可以获取人体声部振动骨块的振动信号。骨传导传感器也可以接触人体脉搏,接收血压跳动信号。在一些实施例中,骨传导传感器也可以设置于耳机中,结合成骨传导耳机。音频模块170可以基于所述骨传导传感器获取的声部振动骨块的振动信号,解析出语音信号,实现语音功能。应用处理器可以基于所述骨传导传感器获取的血压跳动信号解析心率信息,实现心率检测功能。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195,或从SIM卡接口195拔出,实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口,N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡,Micro SIM卡,SIM卡等。同一个SIM卡接口195可以同时插入多张卡。所述多张卡的类型可以相同,也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。电子设备100通过SIM卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,电子设备100采用eSIM,即:嵌入式SIM卡。eSIM卡可以嵌在电子设备100中,不能和电子设备100分离。
以下实施例中的方法均可以在具有上述硬件结构的电子设备100中实现,具体可以通过电子设备100的处理器实现。请参考图4,为本申请实施例提供的一种对焦方法的流程示意图。如图4所示,该方法可以包括S401-S407。
S401、电子设备生成第一图像,该第一图像包括拍摄目标的图像。当用户使用电子设备进行拍摄时,可以打开电子设备中的相关拍摄软件,如“照相机”。在打开该拍摄软件后,电子设备可以通过摄像头中的镜头,获取全视场的预览图像。以下以该预览图像为第一图像为例进行说明。其中,该第一图像可以是用户开始进行拍摄时,电子设备获取的第1帧图像。可以理解的是,全视场中会包括用户想要拍摄的拍摄目标,因此,第一图像中会包括与该拍摄目标对应的图像。生成第一图像可以包括,通过处理器对摄像头采集的图像数据进行图像处理以得到第一图像。该图像处理可包括如下至少一项:自动白平衡、色彩较准、伽马校准、放大、锐化、消噪或图像增强。
S402、电子设备确定目标位置,该目标位置包含在该拍摄目标的图像在该第一图像的区域中。电子设备在获取第一图像后,需要确定拍摄目标的位置。本申请实施例中,电子设备可以通过多种方法确定目标位置,并据此作为参考,确定拍摄目标的图像在该第一图像中的位置。
示例性的,电子设备可以在生成第一图像后,检测是否接收到用户的触摸操作,并根据检测结果,确定拍摄目标的图像在该第一图像中的位置。例如,当接收到用户的触摸操作时,电子设备将该触摸操作对应在第一图像中的位置确定为目标位置。当未接收到用户的触摸操作时,电子设备将该第一图像的预设位置确定为该目标位置。该预设位置可以是预先设置在电子设备中的,也可以是用户设置的。本申请实施例对此不做限制。
可以理解的是,当用户在使用电子设备对拍摄目标进行拍摄时,电子设备可以通过其显示屏,将第一图像显示在拍摄界面上,以便用户通过触摸显示屏上第一图像中拍摄目标的对应位置,控制电子设备将拍摄目标定位到该位置。因此,电子设备可以在接收到用户输入的触摸操作时,确定该触摸位置包括在第一图像中拍摄目标对应的轮廓中。需要说明的是,以上示例是以用户输入的操作为触摸操作为例进行说明的,在另一些实施例中,用户也可以通过输入滑动,双击或其他操作,控制电子设备将拍摄目标定位到该位置,本申请实施例对此不作限制。当然,电子设备还可以通过其他方式确定拍摄目标在第一图像中对应的位置。例如,通过与电子设备连接的外接设备获取对应的信息以确定该目标位置等。
S403、电子设备对第一图像进行分割获得M个区域,M为大于或等于3的整数,且M个区域中不同区域的特征不同。本申请实施例中,电子设备在获取第一图像之后,可以根据第一图像中的任意两个相邻的像素之间的特征差异,将该第一图像划分为多个区域。可以理解的是,当两个像素之间的特征差异较大时,则表明这两个像素没所显示的物体差异较大,因此,可以将这两个像素划分到不同的区域中。对应的,当两个像素之间的特征差异较小时,则表明这两个像素在第一图像中用于显示的物体差异较小,因此,可以将这两个像素划分到相同的区域中。
其中,像素的特征可以是像素的灰度值,也可以是像素对应的RGB三个通道中任意一个通道的值,还可以是像素对应的RGB三个通道组成的三维坐标系下的坐标。当然,像素的特征还可以是其他能够区分不同像素的像素特征。本申请实施例对此不作限制。以下以像素的特征为灰度值为例进行说明。
示例性的,电子设备可以采用超像素分割算法对第一图像进行分割(如称为超像素分割)。在对第一图像进行超像素分割后,可以获得M个区域,M为大于或等于3的整数,该M个区域中不同区域的特征不同。本申请实施例中,上述M个区域中的每个区域,都可以对应到超像素分割后的一个超像素。其中,一个超像素可以包括一个或多个像素点。
在一些实施例中,在该超像素分割算法中,可采用最小生成树的方法,对第一图像中的像素点进行处理。例如,将灰度值接近的像素点划分到同一个超像素中,将特征差异较大的像素点划分到不同的超像素中。
例如,在进行超像素分割时,电子设备可以将第一图像映射为一个无向图G(V,E)。该无向图中包括第一图像中的i个像素,在无向图中,1个像素也可对应1个节点。vi可以用于标识第i个节点,且vi∈V。相邻的像素之间连接形成边,即(vi,vj)∈E,每个边都可以用于标识第i个节点与第j个节点之间的相邻关系。电子设备可以确定无向图G(V,E)中每两个相邻节点之间的边的权重w(vi,vj)。示例性的,权重w(vi,vj)可以通过公式(1)确定。
W((vi,vj))=|I(pi)-I(pj)|……公式(1)。其中,I(pi)是像素点pi的灰度值,I(pj)为像素点pj的灰度值。
当节点i和节点j之间的边的权重较大时,则表示第i个节点和第j个节点的差异较大,当权重较小时,则表示第i个节点和第j个节点之间的差异较小。电子设备可以根据权重情况,将无向图G(V,E)中的节点对应的像素划分到不同的区域中,形成多个包括一个或多个像素的超像素。其中,同一个超像素中的像素对应节点之间的边的权重较小,即同一个超像素中的像素的灰度值都较为接近,不同超像素中的像素对应节点之间的边的权重较大,即不同超像素中的像素的灰度值差异较大。
请参考图5,为本申请实施例提供的一种超像素分割示意图。以第一图像为图5中的(a)所示的图像为例。如图5中的(b)所示,电子设备可以分别确定第一图像中不同像素对应节点构成的边的权重值,即不同像素的灰度值差异。并将灰度值差异较小的像素划分到一个超像素中,将灰度值差异交到的像素划分到不同超像素中。对第一图像进行超像素划分后的结果如图5中的(c)所示。其中,每个区域对应一个超像素。可以看到,经过对第一图像的分割,将第一图像的不同特征反映到不同的区域中,使得电子设备能够更好地区分第一图像中拍摄目标的完整轮廓。关于超像素分割算法额更多介绍可以参照现有技术,本实施例不作具体展开。
需要说明的是,在对第一图像进行分割后,获取的多个区域可能存在碎片化的情况,不利于电子设备准确地分辨拍摄目标的完整轮廓。因此,本申请实施例中,电子设备可以根据Rule_merging对符合条件的区域进行合并,以消除区域的碎片化,使得电子设备能够更加准确地确定拍摄目标的完整轮廓。以下对区域合并过程进行示例性说明。
示例性的,电子设备可以将第一图像,超像素分割的结果以及目标位置,通过区域合并算法进行处理,实现对符合预设规则的区域的合并。该合并过程可以包括以下S404-S407。
S404、电子设备对M个区域进行标记,获得P个背景区域,Q个未标记区域,以及目标区域。在电子设备获取M个区域后,可以根据第一图像和目标位置,为不同区域打上不同的标签,实现对M个区域的分类。本申请实施例中,该过程也可称为对第一图像的初始化。
示例性的,通过对多个区域的标记,电子设备可以将第一图像划分为与第一图像的边缘相交的P个背景区域(background region),包括目标位置的目标区域(objectregion),以及其他的Q个未标记区域(non-marker region)。本申请实施例中,可以将背景区域标识为RB,将目标区域标识为RO,将未标记区域标记为RN
作为一种示例,电子设备可以根据第一图像确定第一图像的边缘,并将与边缘相交的区域标记为RB。电子设备可以根据目标位置,确定目标位置所在的区域,并将该区域标记为RO。M个区域中除被标记为RB以及RO的区域以外其他的区域,则可以被标记为RN。例如,以超像素划分的结果为图5中的(c)为例。请参考图6,电子设备可以根据第一图像确定上侧边缘,并将划分后的M个区域中,与该上侧边缘相交的区域标记为RB。如图6所示,电子设备可以确定出R1,R2,R3,R4,R5,R6,R7以及R8共8个区域与上侧边缘相交,因此,可以分别将R1-R8标记为RB。类似的,电子设备可以确定左侧边缘,右侧边缘以及下侧边缘,并分别将与各个边缘相交的区域标记为RB。另外,电子设备还可将目标位置所在区域标记为RO。示例性的,如图6所示,当电子设备根据用户的触摸操作确定目标位置在如图6中的黑色圆圈位置时,电子设备可以将该目标位置所在区域标记为RO。对于其他区域,电子设备可以将其分别标记为RN(图6中未示出)。
需要说明的是,上述示例中,是以目标位置包括在划分后的多个区域中的一个区域中为例进行说明的。在另一些实施例中,当目标位置包括在划分后的多个区域中的两个或多个区域中时。例如,用户输入的触摸操作对应了多个像素时,电子设备确定的目标位置可以是由多个像素组成的一个区域(如称为输入目标区域)。当该输入目标区域与被划分的第一图像中的多个区域均有重叠时,电子设备可以将所有与输入目标区域相交的多个区域中的每个区域都标记为RO。为了便于说明,以下以目标位置包括在第一图像中的M个区域中的一个区域中为例进行说明。
S405、电子设备根据该P个背景区域将Q个未标记区域中一个或多个区域合并到该背景区域中。针对被标记为背景区域,即RB的区域中的每个区域,电子设备可以将与其相邻并且相似程度较高的未标记区域,即RN合并到该RB中,以扩大RB的范围。在所有符合上述条件的RN都被合并到RB中后,电子设备可以对剩余的RN进行互相合并,并重复上述RN到RB的合并,使得最大程度地扩展RB的范围。当上述合并过程无法继续进行时,那么说明第一图像中的背景已经被全部提取出来。
示例性的,对于第一图像中包括的背景区域以及未标记区域中的任意一个区域R,将与R相邻的所有区域的集合记为SR,即记SR={si Q},i=1,2,……n。其中,si Q为与R相邻的第i个区域。当σ(R,Q)=maxσ(R,si Q),i=1,2,……n,且Q为未标记区域时,则合并R和Q。也就是说,如果R和Q的相似度为R与它所相邻的所有区域中任意一个区域的相似度中最高的,且Q为未标记区域,则合并R和Q。本申请实施例中,上述合并条件也可称为Rule_merging。
本申请实施例中,在开始进行区域合并时,电子设备首先可以通过区域特征提取,获取每个区域的特征(本申请实施例中,可以将区域的特征称为Hist)。将不同区域的Hist的相似度作为相邻两个区域相似程度的度量。
例如,电子设备可以对M个区域中的任意一个区域,在图像RGB颜色空间上,对该区域内每个像素点做颜色直方图统计,获取该像素点在R,G以及B三个通道对应的数值。则该区域中的多个像素点对应的R,G和B三个通道的值可以分别落入多个统计区间(bin)中,以bin为16为例,则每个区域可以包括16×16×16=4096维的特征向量。电子设备对该区域的特征向量进行归一化处理,即可获取该区域对应的Hist。类似的,电子设备可以对M个区域中的每个区域进行上述颜色直方图统计,以获取每个区域对应的Hist。
一般而言,在对向量进行相似度度量时,可以选取巴氏距离(BhattacharyyaDistance)来表征两个向量的相似度。示例性的,对于两个离散概率分布向量H1和H2,其巴氏距离DB如公式(2)所示。
Figure BDA0002540031360000141
在本申请的一些实施例中,可以通过上述公式(2)对任意两个区域进行相似度度量,以获取这两个区域的相似程度。巴氏距离越大,则H1和H2的相似程度越高。反之,巴氏距离越小,则H1和H2的相似程度越低。
在本申请的另一些实施例中,为了减小相似度度量过程中的计算量,可以采用类巴氏距离对两个区域进行相似度度量。示例性的,对于两个区域R、Q,其对应的特征分别为HistR和HistQ,则其类巴氏距离σ(R,Q)如公式(3)所示。
σ(R,Q)=HistR T·HistQ……公式(3)。
类巴氏距离越大,则R和Q的相似程度越高。反之,类巴氏距离越小,则R和Q的相似程度越低。以下以利用类巴氏距离σ对两个区域进行相似度度量为例进行说明。为了便于描述,以下说明中,将两个区域的类巴氏距离称为这两个区域的相似度。
以下结合示例,对电子设备按照上述Rule_merging进行区域合并的过程做示例性说明。如图7所示,S405可以包括S701-S703。
S701、电子设备可以针对P个背景区域中的每个背景区域,执行第一合并处理。其中,该第一合并处理为:确定是否存在第一区域,当存在该第一区域时,将该第一区域合并到第二区域中。该第一区域是与该第二区域相邻的所有区域中,与该第二区域相似度最高的未标记区域,该第二区域是该N个背景区域中的任意一个区域。
请参考图8,示出了一种第一合并处理的示意图。其中,以第二区域为R1为例进行说明。如图8中的(a)所示,与R1相邻的区域包括背景区域R2和R3,以及未标记区域R4,R5,R6和R7。电子设备可以通过以下方法确定第一区域:
1、确定R1-R7共7个区域的Hist;
2、分别计算R1与R2,R1与R3,R1与R4,R1与R5,R1与R6以及R1与R7的相似度。例如,R1与R2的相似度标示为σ(R1,R2),R1与R3的相似度标示为σ(R1,R3),R1与R4的相似度标示为σ(R1,R4),R1与R5的相似度标示为σ(R1,R5),R1与R6的相似度标示为σ(R1,R6),R1与R7的相似度标示为σ(R1,R7);
3、确定上述6个相似度中的最大值,即确定σ1=max{σ(R1,R2),σ(R1,R3),σ(R1,R4),σ(R1,R5),σ(R1,R6),σ(R1,R7)}。
当σ1为σ(R1,R4),σ(R1,R5),σ(R1,R6),σ(R1,R7)中的任意一个时,则电子设备确定第一区域存在,并且将σ1对应的区域作为第一区域。例如,σ1=max{σ(R1,R2),σ(R1,R3),σ(R1,R4),σ(R1,R5),σ(R1,R6),σ(R1,R7)}=σ(R1,R4),则电子设备确定R4为第一区域。
在确定第一区域后,电子设备可以将该第一区域合并到R1中。示例性的,如图8中的(b)所示,以第一区域为图8中的(a)所示的R4为例,电子设备可以将R4合并到R1中,获得更新的R1(即更新后的R1包括如图8中的(a)所示的R1以及R4)。显而易见的,R1更新之后,背景区域在第一图像中的占比变大,对应的,未标记区域在第一图像中的占比变小。而一般而言,背景区域中不会包括拍摄目标对应在第一图像中的像素。因此,通过将第一区域合并到第二区域中,能够有效地将第一图像中,拍摄目标对应在第一图像中的像素以外的像素划归到背景区域中,进而准确地确定拍摄目标在第一图像中的完整轮廓。
S702、当不存在该第一区域时,针对未被合并到该背景区域中的未标记区域中的每个区域,执行第二合并处理。当不存在该第一区域时,即电子设备确定出的σ1为σ(R1,R2)或σ(R1,R3)中的一个,则表明与R1相邻的未标记区域与R1的相似程度均小于R1与其他背景区域的相似程度。此时电子设备停止上述第一合并处理,转而针对未被合并到该背景区域中的未标记区域中的每个区域,执行第二合并处理。
该第二合并处理为:确定是否存在第三区域,当存在该第三区域时,将该第三区域合并到该第四区域中,并重新执行该第一合并处理。该第三区域是与第四区域相邻的所有区域中,相似度最高的未标记区域,该第四区域是该未被合并到该背景区域中的未标记区域中的任意一个区域。
示例性的,继续参考图8。以进行第一合并处理后直至电子设备无法从剩余的未标记区域中确定出符合上述条件的第一区域时的区域划分为图8中的(b)为例。电子设备可以分别针对R5,R6以及R7中的每个未标记区域,执行第二合并处理。例如,以第四区域为R6为例。针对未标记区域R6,电子设备确定R6同与其相邻的其他区域的相似度,如R6与R5的相似度为σ(R6,R5),R6与R7的相似度为σ(R6,R7),R6与R1的相似度为σ(R6,R1)。电子设备确定R1,R5以及R7中与R6相似度最高的区域,即确定σ2=max{σ(R6,R5),σ(R6,R7),σ(R6,R1)}。当σ2为σ(R6,R5)或σ(R6,R7)中的一个时,电子设备可确定第三区域为对应的未标记区域。在确定第三区域后,电子设备可将该第三区域与第四区域合并。例如,σ2=σ(R6,R7)时,如图8中的(c)所示,电子设备将R6和R7合并,获得一个新的未标记区域R6’。当σ2为σ(R6,R1)时,由于第三区域是未标记区域,因此电子设备可确定第三区域不存在。当不存在该第三区域时,即完成了第一合并处理和第二合并处理的一次循环。
S703、当不存在所述第三区域时,针对一个背景区域的区域合并完成。可以理解的是,当电子设备执行一次第二合并处理后,会出现具有新的Hist的未标记区域,如图8中的(c)所示的区域R6’。而此区域有可能符合第一合并处理中第一区域的条件,能够被合并到背景区域中。因此,当不存在第三区域时,即表明完成了针对一个背景区域的区域合并。电子设备针对其他背景区域,重复执行上述循环,直至针对所有背景区域均不村子第三区域,则表明已经没有新的未标记区域需要被合并到背景区域中了,因此可以停止将未标记区域合并到背景区域中。
需要说明的是,上述合并方法,仅仅为本申请实施例的一种示例性说明。在本申请的另一些的实现方式中,对于一个区域R,它的相邻区域记为SR,记SQ={si Q},其中,i=1,2,……n。显而易见的,R∈SQ。在该实施方式中,Rule_merging还可以为,当σ(R,Q)=maxσ(R,si Q),i=1,2,……n,且Q为未标记区域时,则合并R和Q。即如果R和Q的相似度时Q与它所相邻区域中最高的,且Q为未标记区域,则合并R和Q。在具体的实施过程中,本领域技术人员可以根据需求灵活选取上述两种合并方法,本申请实施例对此不作限制。
S406、电子设备将未合并到该背景区域的该未标记区域与该目标区域合并,以获得包括该拍摄目标的图像的感兴趣区域(ROI)。根据上述S405的说明,将符合Rule_merging的未标记区域进行合并,就可以最大程度地扩展背景区域。当无法再对背景区域扩展时,即剩余的未标记区域与背景区域的相似度差异较大,则可以认为这些剩余的未标记区域在第一图像中对应的图像能够表征拍摄目标的一部分特征。因此,本申请实施例中,可以将未被合并到背景区域中的未标记区域与包括目标位置的目标区域合并。合并后获取的区域即为拍摄目标在第一图像中对应的ROI。
示例性的,以第一图像为图5中的(a)所示的图像为例。按照上述S405-S406的合并方法处理后,即可获取如图9所示的背景区域以及目标区域分割结果。可以看到,拍摄目标(如图9中的鸟)的完整轮廓已经被准确地分割出来作为目标区域。
S407、电子设备根据该ROI确定对焦区域。其中,对焦区域可以包括ROI的至少部分。示例性的,对焦区域可以包括ROI所包括的所有像素,也可以值包括ROI中的部分像素。在获取拍摄目标在第一图像中对应的ROI后,电子设备可以根据目标位置以及ROI对应的区域,确定对焦区域。需要说明的是,本申请实施例中,对焦区域可以为矩形的对焦窗口,也可以为非矩形的对焦区域。以下以对焦区域为矩形的对焦窗口为例进行说明。
在一些实施例中,电子设备可以从目标位置开始,以像素为单位扩展初始对焦窗口的四个边。其中,初始对焦窗口与目标位置对应。例如,目标位置可以与初始对焦窗口的几何中心重合。每扩展一个像素单位,获取该初始对焦窗口的四个边中的每个边所在直线与ROI重合的像素个数。针对该初始对焦窗口的四个边中的每个边,如果第一边所在直线与该ROI重合的像素个数大于第一阈值,则继续扩展该第一边。如果该第一边所在直线与该ROI重合的像素个数小于第一阈值,则停止扩展该第一边,该第一边时该四个边中的任意一个边。在所有四个边都停止扩展后,停止扩展的四个边构成的矩形即为对焦窗口。
示例性的,以第一阈值为2为例进行说明。电子设备可以以目标位置为起点,以像素为单位,向四周进行逐行/逐列扫描。例如,请参考图10中的(a),电子设备可以以目标位置为起点,每次向外扩展一行/列像素。在进行第一次扩展后,扫描位置如图10中的(a)所示的边a,边b,边c以及边d所在位置。针对其中的任意一个边(如边a),每扩展一次,电子设备可以判断该边a与ROI包括的像素的重合个数。例如,在第一次扩展时,边a被扩展到与目标位置相邻的上侧行像素(即第3#行)。此时,边a与ROI重合的像素个数为5个,电子设备可以确定此时重合的像素个数大于第一阈值,因此,可以继续将边a向上扩展。当边a进行第二次扩展时,边a被扩展到第2#行,此时便a与ROI重合的像素个数为1个,电子设备可以确定此时重合的像素个数小于第一阈值,因此,停止该边a向上扩展。类似的,电子设备可以根据上述方法确定边b,边c以及边d停止的位置。例如,如图10中的(b)所示的,边b停止在第7#行,边c停止在第3#列,边d停止在第7#列。这样,电子设备就可以将边a,边b,边c以及边d围成的矩形确定为对焦窗口。本申请实施例中,该方法也可被称为扩展法。例如,根据上述方法对如图9所示的第一图像进行处理,可以获取如图11所示的对焦窗口。可以看到,该对焦窗口能够准确地定位拍摄目标(如图11中的鸟)在第一图像中的位置,因而能够保证根据该对焦窗口进行对焦后,对拍摄目标进行高质量的拍摄。
在另一些实施例中,电子设备可以根据ROI,确定其最小外接矩形,并将该最小外接矩形作为对焦窗口。示例性的,根据该方法确定的对焦窗口如图10中的(c)所示。本申请实施例中,该方法也可被称为最小外接矩形法。
需要说明的是,本申请实施例中,是以对焦窗口为矩形为例进行说明的,在其他一些实施例中,对焦窗口还可以是其他任意形状,其确定方法与上述方法类似,此处不再赘述。另外,在确定对焦窗口后,电子设备可以将该对焦窗口通过其显示屏叠加显示在第一图像上,以便用户能够清楚地知晓电子设备的对焦区域。当然,电子设备也可以不再显示屏上显示该对焦窗口,或者以其他形式向用户提供对焦窗口的信息,本申请实施例对此不作限制。
可以看到,根据最小外接矩形法确定的对焦窗口大于根据扩展法确定的对焦窗口。因此,根据最小外接窗口法确定的对焦窗口能够包括更多的拍摄目标的像素,根据该对焦窗口进行对焦能够保证对拍摄目标整体的对焦准确度。而根据扩展法获取的对焦窗口能够有效地减少拍摄目标的边缘对于对焦的影响,根据该对焦窗口进行对焦能够更加准确地将焦距调整拍摄目标靠近中心区域。在具体实施过程中,本领域技术人员可以根据实际需要灵活选取,本申请实施例对此不作限制。
在确定对焦窗口后,电子设备就可以根据该对焦窗口进行自动对焦。示例性的,电子设备可以根据对焦窗口的相关信息,如对焦窗口四个边对应在第一图像上的位置信息,通过自动对焦(auto focus,AF)算法,调整镜头的焦距,实现自动将摄像头的焦点调整到拍摄目标位置。
为了更加清楚地对图4提供的对焦方法进行说明,以下以电子设备通过区域合并算法实现区域的合并为例,对该过程进行示例性说明。如图12所示,该方法可以包括S1201-S1211。S1201、电子设备生成第一图像,该第一图像包括拍摄目标的图像。S1202、电子设备确定目标位置,该目标位置包含在该拍摄目标的图像在该第一图像的区域中。S1203、电子设备根据超像素分割算法,对第一图像进行分割以获得M个区域,M为大于或等于3的整数,且M个区域中不同区域的特征不同。其中,上述S1201,S1202以及S1203的操作方法可分别对应到如图4所示的S401,S402以及S403中,其执行方式与之类似,本申请实施例在此不再赘述。
S1204、电子设备根据第一图像,超像素分割结果以及目标位置,将第一图像分割为RB,RO以及RN。S1205、电子设备根据Rule_merging进行第一合并处理。示例性的,该第一合并处理与图7所示的S701中的第一合并处理类似。即该第一合并处理为:确定是否存在第一区域,当存在该第一区域时,将该第一区域合并到第二区域中。该第一区域是与该第二区域相邻的所有区域中,与该第二区域相似度最高的未标记区域,该第二区域是该N个背景区域中的任意一个区域。
S1206、电子设备判断S1205中是否有区域被合并。当有区域被合并时,重复执行S1205。当没有区域被合并时,执行以下S1207。S1207、电子设备根据Rule_merging进行第二合并处理。示例性的,该第一合并处理与图7所示的S702中的第一合并处理类似。即当不存在该第一区域时,电子设备执行第二合并处理,该第二合并处理为:确定是否存在第三区域,当存在该第三区域时,将该第三区域合并到该第四区域中,并重新执行该第一合并处理。该第三区域是与第四区域相邻的所有区域中,相似度最高的未标记区域,该第四区域是该未被合并到该背景区域中的未标记区域中的任意一个区域。
S1208、电子设备判断S1207中是否有区域被合并。当有区域被合并时,执行重复执行上述S1207。当没有区域被合并时,执行以下S1209。需要说明的是,电子设备在执行上述第一合并处理以及第二合并处理的过程中,由于每执行完成一次合并,RN和RO都有区域被更新,其Hist也就会发生变化。因此,电子设备可以在每执行完成第一合并处理或第二合并处理之后,分别确定第一图像中,RN和RO对应的所有区域的Hist,以便确定是否进行下一步合并。
S1209、电子设备判断是否存区域可以执行上述第一合并处理或第二合并处理。当存在对应区域时时,重复执行上述S1205,当不存在对应区域时,执行以下S1210。S1210、电子设备将未被合并到RB中的RN合并到RO中,以获得拍摄目标对应的ROI。S1211、电子设备根据拍摄目标对应的ROI,确定对焦窗口。
实验证明,通过以上图4以及图12所示的对焦方法能够准确地将对焦窗口定位到拍摄目标在第一图像中对应的位置上。示例性的,以通过图12所示的对焦方法进行对焦为例。请参考图13。如图13所示,图13中的(a)示出了电子设备生成的第一图像。通过图12中的S1201-S1204,可以获取如图13中的(b)所示的经过分割的第一图像。通过图12中的S1205-S1210,可以获取如图13中的(c)所示的拍摄目标(即图中座椅上的动物靠枕)对应的ROI(图中以白色轮廓示出)以及对应的对焦窗口(图中以黑色矩形示出)。可以看到,通过如图12所示的对焦方法,能够准确地将拍摄目标的ROI确定出来,并根据该ROI确定对焦窗口。因此,根据该对焦窗口进行自动对焦,电子设备就可以准确地将焦距调整到拍摄目标所在位置。类似的,图14-图18分别示出了另外一些场景下的对焦过程。例如,如图14所示,根据如图12所示的对焦方法,电子设备可以获取如图14中的(a)所示的第一图像。通过分割,可以获取如图14中的(b)所示的多个区域。通过区域合并,可以获取如图14中的(c)所示的拍摄目标(即图中飞翔的小鸟)对应的ROI(图中以白色轮廓示出)以及对应的对焦窗口(图中以黑色矩形示出)。又如,如图15所示,根据如图12所示的对焦方法,电子设备可以获取如图15中的(a)所示的第一图像。通过分割,可以获取如图15中的(b)所示的多个区域。通过区域合并,可以获取如图15中的(c)所示的拍摄目标(即图中的小轿车)对应的ROI(图中以白色轮廓示出)以及对应的对焦窗口(图中以黑色矩形示出)。又如,如图16所示,根据如图12所示的对焦方法,电子设备可以获取如图16中的(a)所示的第一图像。通过分割,可以获取如图16中的(b)所示的多个区域。通过区域合并,可以获取如图16中的(c)所示的拍摄目标(即图中的骑手)对应的ROI(图中以白色轮廓示出)以及对应的对焦窗口(图中以黑色矩形示出)。又如,如图17所示,根据如图12所示的对焦方法,电子设备可以获取如图17中的(a)所示的第一图像。通过分割,可以获取如图17中的(b)所示的多个区域。通过区域合并,可以获取如图17中的(c)所示的拍摄目标(即图中的电话亭)对应的ROI(图中以白色轮廓示出)以及对应的对焦窗口(图中以黑色矩形示出)。又如,如图18所示,根据如图12所示的对焦方法,电子设备可以获取如图18中的(a)所示的第一图像。通过分割,可以获取如图18中的(b)所示的多个区域。通过区域合并,可以获取如图18中的(c)所示的拍摄目标(即图中的花朵)对应的ROI(图中以白色轮廓示出)以及对应的对焦窗口(图中以黑色矩形示出)。
需要说明的是,上述对焦方法中涉及的第一图像,可以是电子设备在用户的控制下,开始拍摄时,电子设备获取的第1帧图像。电子设备可以根据该第1帧图像确定拍摄目标对应的ROI并据此进行对焦。在一些拍摄场景下,电子设备或者拍摄目标可能在拍摄的过程中出现相对位置的变化,使得电子设备在获取第1帧图像之后获取的其他帧图像与第1帧图像产生变化,对应的对焦窗口也需要进行相应调整。本申请实施例中,电子设备在确定第一图像对应的ROI并进行对焦后,还可通过跟踪(Tracking)算法对后续每一帧的图像对应的ROI的参数进行跟踪并输出跟踪结果。使得电子设备可以根据跟踪结果确定是否需要对ROI进行调整,以便能够对焦距进行适应性的调整。本申请实施例中,可以将该方法称为图像跟踪法。
示例性的,当电子设备采用该图像跟踪法进行对焦时,如图19所示,该方法可以包括S1901-1907。S1901、电子设备生成第一图像,并确定目标位置。S1902、电子设备根据第一图像以及目标位置,通过超像素分割算法以及区域合并算法,获取初始对焦ROI。其中,上述S1901-S1902的具体执行过程与图4或图12所示的对焦方法类似,此处不再赘述。
S1903、电子设备根据自动对焦算法配置对焦窗口1。S1904、电子设备通过跟踪算法实时跟踪ROI,以获得跟踪结果。其中,该跟踪结果中可以包括ROI和/或对焦窗口1的变化信息。需要说明的是,S1903与S1904的执行先后顺序可以是固定的,例如S1903与S1904同时被执行,又如S1903先于S1904被执行,又如S1903后于S1904被执行。S1903与S1904的执行先后顺序可以是根据实际情况设置的。本申请实施例对此不做限制。
S1905、电子设备通过自动对焦算法,根据跟踪结果以及对焦窗口1,确定是否需要调整对焦窗口。其中,电子设备可以根据第一图像对应的ROI和/或第一图像对应的对焦窗口1与跟踪结果中的ROI和/或跟踪结果中的对焦窗口(如对焦窗口2)之间的差异,确定是否需要调整对焦窗口进行对焦调整。
在一些实施例中,电子设备可以通过AF算法计算获得不同帧图像对应的ROI的几何中心点坐标位置的差异(如记该差异为Distance)。对比Distance与第一阈值的大小关系,确定是否需要调整对焦窗口。例如,当Distance大于该第一阈值时,则确定需要调整对焦窗口。当Distance小于该第一阈值时,则确定不需要调整对焦窗口。作为一种示例,该第一阈值可以为20个像素距离或接近20个像素距离的其他距离。需要说明的是,该第一阈值可以是预设的,也可以是灵活调整,本申请实施例对此不作限制。
在另一些实施例中,电子设备可以通过AF算法计算不同帧图像对应ROI的面积大小。例如,第1帧图像对应的ROI的面积为last_area,第1帧之后获取的第i帧图像对应的ROI面积为current_area。电子设备可以判断两个ROI的面积的差异大小(如记该差异大小为m,即m=current_area-last_area)与第二阈值之间的关系,确定是否需要调整对焦窗口。例如,当m大于第二阈值时,则确定需要进行对焦窗口的调整。当m小于第二阈值时,则确定不需要进行对焦窗口的调整。需要说明的是,该第二阈值可以是预设的,也可以是灵活调整,本申请实施例对此不作限制。
在另一些实施例中,电子设备可以通过AF算法计算不同帧图像对应ROI的面积大小。例如,第1帧图像对应的ROI的面积为last_area,第1帧之后获取的第i帧图像对应的ROI面积为current_area。电子设备可以判断两个ROI的面积的差异大小(如记该差异大小为m)在last_area中的占比与第三阈值之间的关系,确定是否需要调整对焦窗口。例如,当m/last_area大于第三阈值时,则确定需要进行对焦窗口的调整。当m/last_area小于第三阈值时,则确定不需要进行对焦窗口的调整。作为一种示例,第三阈值可以为15%或接近15%的一个数值。需要说明的是,该第三阈值可以是预设的,也可以是灵活调整,本申请实施例对此不作限制。
当需要调整对焦窗口时,执行以下S1906。当不需要调整对焦窗口时,执行以下S1907。S1906、电子设备通过对焦算法动态配置对焦窗口,并根据调整后的对焦窗口进行对焦。S1907、电子设备根据初始对焦窗口1进行对焦。
可以理解的是,当电子设备获取对焦窗口1后,就可以通过AF算法进行对焦。如果电子设备通过AF算法在根据对焦窗口1进行对焦过程中,对焦窗口被更新(即动态配置了对焦窗口),则电子设备可以通过AF算法根据更新后的对焦窗口进行对焦。需要说明的是,上述示例中的图像跟踪法,与已申请专利《一种对焦装置、方法及相关设备》(申请号:PCT/CN2018/103370,申请日:2018/08/30)中涉及的方法类似,在具体执行过程中可以作为相应参考。
本申请实施例提供的对焦方法,通过对第一区域进行划分,能够准确地获取具有不同特征的区域。通过对不同区域按照Rule_merging进行合并,使得电子设备能够准确地确定出背景区域所包括的所有区域,进而将剩余的区域作为目标区域,能够准确有效地确定拍摄目标在第一图像中的完整轮廓,有效地提升对拍摄目标的对焦准确度,进而对拍摄目标的清晰拍摄,以提高拍摄图像的图像质量以及拍摄的成片率。因此,根据通过上述方法确定的ROI以及对焦窗口进行对焦,能够对拍摄目标进行准确的对焦。特别是在第一图像中的存在多景深,多目标镂空等情况时,能够有效地排除干扰,将焦距调整到拍摄目标所在位置。同时,由于电子设备可以通过拍摄目标在第一图像中的完整轮廓确定ROI以及对焦窗口,因此能够自适应的调整对焦窗口的大小,避免对焦窗口的尺寸与拍摄目标在第一图像中的图像尺寸差异较大引起的对焦不准确的问题。同时,由于电子设备能够根据拍摄目标在第一图像中的完整轮廓确定ROI以及对焦窗口,因此不会存在拍摄目标在第一图像中的图像漂移出对焦窗口的问题。进一步的,电子设备还可对ROI进行跟踪,使得当由于拍摄目标与电子设备出现相对移动时,电子设备能够灵活地自行调整对焦窗口,进而实现准确的对焦。
上述主要从电子设备的角度对本申请实施例提供的方案进行了介绍。可以理解的是,上述电子设备可以包括对焦装置,以实现上述对焦方法。其中,该对焦装置为了实现上述功能,其包括了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的单元,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对对焦装置进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。可选的,本申请实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
图20示出了的一种对焦装置2000的组成示意图,该对焦装置2000可以电子设备中的芯片或者片上系统。作为一种可实现方式,图20所示对焦装置2000包括:生成单元2001,确定单元2002,获取单元2003,以及合并单元2004。
其中,生成单元2001,用于生成第一图像,第一图像包括拍摄目标的图像。示例性的,在一些实施例中,生成单元2001可以用于执行如图4所示的S401。在另一些实施例中,生成单元2001还可以用于执行如图12所示的S1201。确定单元2002,用于在第一图像中确定目标位置。示例性的,在一些实施例中,确定单元2002可以用于执行如图4所示的S402。在另一些实施例中,确定单元2002还可以用于执行如图12所示的S1202。获取单元2003,用于根据目标位置将第一图像划分为P个背景区域,目标区域以及Q个未标记区域。其中,目标区域包括目标位置,Q个未标记区域是第一图像中除了P个背景区域和目标区域之外的Q个区域,P和Q均为正整数。示例性的,在一些实施例中,获取单元2003可以用于执行如图4所示的S403-S404。在另一些实施例中,获取单元2003还可以用于执行如图12所示的S1203-S1204。合并单元2004,用于根据该P个背景区域将该Q个未标记区域中一个或多个区域合并到该P个背景区域中的至少一个背景区域中。合并单元2004,还用于将该Q个未标记区域中除了该一个或多个区域之外的至少一个未标记区域合并到该目标区域,以获得包括该拍摄目标的感兴趣区域(ROI)。示例性的,在一些实施例中,合并单元2004可以用于执行如图4所示的S405。合并单元2004还可以用于执行如图7所示的S701-S703。在另一些实施例中,合并单元2004还可以用于执行如图12所示的S1205-S1210。确定单元2002,还用于根据该ROI确定对焦区域,该对焦区域包括该ROI的至少部分。示例性的,在一些实施例中,确定单元2002以及合并单元2004可以用于执行如图4所示的S406。在另一些实施例中,确定单元2002以及合并单元2004还可以用于执行如图12所示的S1211。
在一些可能的设计中,该P个背景区域中的任意一个背景区域与该第一图像的边缘接触。
在一些可能的设计中,该确定单元2002,用于将该第一图像中的预设位置确定为该目标位置。
在一些可能的设计中,该确定单元2002,用于根据用户的指示,将该第一图像中与该指示对应的位置确定为该目标位置。该获取单元2003,用于对该第一图像进行超像素分割,以获得M个区域,M为大于或等于3的整数。该获取单元2003,还用于根据该目标位置在该M个区域中获取该目标区域。该获取单元2003,还用于在该M个区域中获取该P个背景区域。该获取单元2003,还用于将该M个区域中除了该P个背景区域和该目标区域之外的该Q个区域确定为该Q个未标记区域。
在一些可能的设计中,该合并单元2004,用于针对该P个背景区域中的至少一个背景区域,执行至少一次如下合并操作:确定是否存在第一区域,该第一区域是未标记区域且与该每个背景区域相邻,且在与该每个背景区域相邻的至少一个第一相邻区域中该第一区域与该每个背景区域的特征相似度最高。当存在该第一区域时,将该第一区域合并到该每个背景区域。
在一些可能的设计中,该合并单元2004,还用于在每执行一次合并操作时,针对该Q个未标记区域中除了该第一区域外的一个或多个未标记区域中的每个未标记区域,确定是否存在第二区域,该第二区域是未标记区域且与该每个未标记区域相邻,且在与该每个未标记区域相邻的至少一个第二相邻区域中该第二区域与该每个未标记区域的特征相似度最高。当存在该第二区域时,将该第二区域合并到该每个未标记区域。
在一些可能的设计中,该对焦区域是矩形对焦窗口,该矩形对焦窗口包括四个边,该四个边中的每个边所具有的与该ROI重合的像素个数小于预设阈值。
如前所述,以上图20涉及的一个或多个单元可以用软件、硬件或二者的结合来实现,本实施例对此不作限定。所述软件可以以计算机指令的方式存储在存储器中,所述硬件可包括逻辑电路、模拟电路、或算法电路等,例如该硬件可位于芯片中。在一些实施例中,上述如图20所示的生成单元2001和/或确定单元2002和/或获取单元2003和/或合并单元2004对应的功能可以通过如图2所示的处理器110实现。
另外,上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述,在此不再赘述。本申请实施例提供的对焦装置,用于执行上述对焦方法中电子设备的功能,因此可以达到与上述对焦方法相同的效果。作为可选而不是必需,可以理解的是,必要时,本申请实施例提供的对焦装置可以包括用于支持上述生成单元2001和/或确定单元2002和/或获取单元2003和/或合并单元2004完成相应功能的处理模块或者控制模块。
图21示出了的一种电子设备2100的组成示意图。该电子设备2100可以包括:处理器2101和存储器2102。该存储器2102用于存储计算机执行指令。示例性的,在一些实施例中,当该处理器2101执行该存储器2102存储的指令时,使得该电子设备2100执行如图4所示的S401-S407中一个或多个步骤,或者,执行如7所示的S701-S703中一个或多个步骤,或者,执行如图12所示的S1201-S1211中一个或多个步骤,或者,执行如图19所示的S1901-S1907中一个或多个步骤,以及电子设备需要执行的其他操作。在一些实施例中,该电子设备2100可以为如图2所示的电子设备100。示例性的,处理器2101的功能可以通过处理器110实现。存储器2102的相关功能可以通过内部存储器121和/或通过外部存储器接口120连接的外部存储器所提供的具有存储功能的器件实现。
图22示出了的一种芯片系统2200的组成示意图。该芯片系统2200可以包括:处理器2201和通信接口2202,用于支持电子设备实现上述实施例中所涉及的功能。在一种可能的设计中,芯片系统2200还包括存储器,用于保存终端必要的程序指令和数据。该芯片系统2200,可以由芯片构成,也可以包含芯片和其他分立器件。在一些实施例中,该芯片系统2200可以包括在如图2所示的电子设备100中。示例性的,处理器2201对应的功能可以通过如图2所示的处理器110实现。
需要说明的是,上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述,在此不再赘述。本申请实施例提供的对焦装置,用于执行上述对焦方法中终端的功能,因此可以达到与上述对焦方法相同的效果。
在上述实施例中的功能或动作或操作或步骤等,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件程序实现时,可以全部或部分地以计算机程序产品的形式来实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包括一个或多个可以用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如,软盘、硬盘、磁带),光介质(例如,DVD)、或者半导体介质(例如固态硬盘(solid state disk,SSD))等。
尽管结合具体特征及其实施例对本申请进行了描述,显而易见的,在不脱离本申请的精神和范围的情况下,可对其进行各种修改和组合。相应地,本说明书和附图仅仅是所附权利要求所界定的本申请的示例性说明,且视为已覆盖本申请范围内的任意和所有修改、变化、组合或等同物。显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包括这些改动和变型在内。

Claims (19)

1.一种对焦方法,其特征在于,所述方法包括:
生成第一图像,所述第一图像包括拍摄目标的图像;
在所述第一图像中确定目标位置;
根据所述目标位置将所述第一图像划分为P个背景区域,目标区域以及Q个未标记区域;其中,所述目标区域包括所述目标位置,所述Q个未标记区域是所述第一图像中除了所述P个背景区域和所述目标区域之外的Q个区域,P和Q均为正整数;
根据所述P个背景区域将所述Q个未标记区域中一个或多个区域合并到所述P个背景区域中的至少一个背景区域中;
将所述Q个未标记区域中除了所述一个或多个区域之外的至少一个未标记区域合并到所述目标区域,以获得包括所述拍摄目标的感兴趣区域ROI;
根据所述ROI确定对焦区域,所述对焦区域包括所述ROI的至少部分。
2.根据权利要求1所述的方法,其特征在于,所述P个背景区域中的任意一个背景区域与所述第一图像的边缘接触。
3.根据权利要求1或2所述的方法,其特征在于,所述在所述第一图像中确定目标位置包括:
将所述第一图像中的预设位置确定为所述目标位置。
4.根据权利要求1或2所述的方法,其特征在于,所述在所述第一图像中确定目标位置,包括:
根据用户的指示,将所述第一图像中与所述指示对应的位置确定为所述目标位置。
5.根据权利要求1-4中任一项所述的方法,其特征在于,所述根据所述目标位置将所述第一图像划分为P个背景区域,目标区域以及Q个未标记区域包括:
对所述第一图像进行超像素分割,以获得M个区域,M为大于或等于3的整数;
根据所述目标位置在所述M个区域中获取所述目标区域;
在所述M个区域中获取所述P个背景区域;
将所述M个区域中除了所述P个背景区域和所述目标区域之外的所述Q个区域确定为所述Q个未标记区域。
6.根据权利要求1-5中任一项所述的方法,其特征在于,所述根据所述P个背景区域将所述Q个未标记区域中一个或多个区域合并到所述P个背景区域中的至少一个背景区域中,包括执行至少一次如下合并操作:
针对所述P个背景区域中的每个背景区域,确定是否存在第一区域,所述第一区域是未标记区域且与所述每个背景区域相邻,且在与所述每个背景区域相邻的至少一个第一相邻区域中所述第一区域与所述每个背景区域的特征相似度最高;
当存在所述第一区域时,将所述第一区域合并到所述每个背景区域。
7.根据权利要求6所述的方法,其特征在于,在每执行一次合并操作时,所述方法还包括:
针对所述Q个未标记区域中除了所述第一区域外的一个或多个未标记区域中的每个未标记区域,确定是否存在第二区域,所述第二区域是未标记区域且与所述每个未标记区域相邻,且在与所述每个未标记区域相邻的至少一个第二相邻区域中所述第二区域与所述每个未标记区域的特征相似度最高;
当存在所述第二区域时,将所述第二区域合并到所述每个未标记区域。
8.根据权利要求1-7中任一项所述的方法,其特征在于,所述对焦区域是矩形对焦窗口,所述矩形对焦窗口包括四个边,所述四个边中的每个边所具有的与所述ROI重合的像素个数小于预设阈值。
9.一种对焦装置,其特征在于,所述装置包括生成单元,确定单元,获取单元以及合并单元;
所述生成单元,用于生成第一图像,所述第一图像包括拍摄目标的图像;
所述确定单元,用于在所述第一图像中确定目标位置;
所述获取单元,用于根据所述目标位置将所述第一图像划分为P个背景区域,目标区域以及Q个未标记区域;其中,所述目标区域包括所述目标位置,所述Q个未标记区域是所述第一图像中除了所述P个背景区域和所述目标区域之外的Q个区域,P和Q均为正整数;
所述合并单元,用于根据所述P个背景区域将所述Q个未标记区域中一个或多个区域合并到所述P个背景区域中的至少一个背景区域中;
所述合并单元,还用于将所述Q个未标记区域中除了所述一个或多个区域之外的至少一个未标记区域合并到所述目标区域,以获得包括所述拍摄目标的感兴趣区域ROI;
所述确定单元,还用于根据所述ROI确定对焦区域,所述对焦区域包括所述ROI的至少部分。
10.根据权利要求9所述的装置,其特征在于,所述P个背景区域中的任意一个背景区域与所述第一图像的边缘接触。
11.根据权利要求9或10所述的装置,其特征在于,
所述确定单元,用于将所述第一图像中的预设位置确定为所述目标位置。
12.根据权利要求9或10所述的装置,其特征在于,
所述确定单元,用于根据用户的指示,将所述第一图像中与所述指示对应的位置确定为所述目标位置。
13.根据权利要求9-12中任一项所述的装置,其特征在于,
所述获取单元,用于对所述第一图像进行超像素分割,以获得M个区域,M为大于或等于3的整数;
所述获取单元,还用于根据所述目标位置在所述M个区域中获取所述目标区域;
所述获取单元,还用于在所述M个区域中获取所述P个背景区域;
所述获取单元,还用于将所述M个区域中除了所述P个背景区域和所述目标区域之外的所述Q个区域确定为所述Q个未标记区域。
14.根据权利要求9-13中任一项所述的装置,其特征在于,
所述合并单元,用于针对所述P个背景区域中的至少一个背景区域,执行至少一次如下合并操作:
确定是否存在第一区域,所述第一区域是未标记区域且与所述每个背景区域相邻,且在与所述每个背景区域相邻的至少一个第一相邻区域中所述第一区域与所述每个背景区域的特征相似度最高;
当存在所述第一区域时,将所述第一区域合并到所述每个背景区域。
15.根据权利要求14所述的装置,其特征在于,
所述合并单元,还用于在每执行一次合并操作时,针对所述Q个未标记区域中除了所述第一区域外的一个或多个未标记区域中的每个未标记区域,确定是否存在第二区域,所述第二区域是未标记区域且与所述每个未标记区域相邻,且在与所述每个未标记区域相邻的至少一个第二相邻区域中所述第二区域与所述每个未标记区域的特征相似度最高;
当存在所述第二区域时,将所述第二区域合并到所述每个未标记区域。
16.根据权利要求9-15中任一项所述的装置,其特征在于,所述对焦区域是矩形对焦窗口,所述矩形对焦窗口包括四个边,所述四个边中的每个边所具有的与所述ROI重合的像素个数小于预设阈值。
17.一种电子设备,其特征在于,所述电子设备包括一个或多个处理器以及一个或多个存储器;所述存储器与所述处理器耦合,所述存储器存储有计算机指令;
当所述处理器执行所述计算机指令时,使得所述电子设备执行如权利要求1-8中任一项所述的对焦方法。
18.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括计算机指令,当所述计算机指令运行时,执行如权利要求1-8中任一项所述的对焦方法。
19.一种芯片系统,其特征在于,所述芯片系统包括处理电路和接口;所述处理电路用于从存储介质中调用并运行所述存储介质中存储的计算机程序,以执行如权利要求1-8中任一项所述的对焦方法。
CN202080000988.5A 2020-03-10 2020-03-10 一种对焦方法、装置及电子设备 Active CN113711123B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/078677 WO2021179186A1 (zh) 2020-03-10 2020-03-10 一种对焦方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN113711123A CN113711123A (zh) 2021-11-26
CN113711123B true CN113711123B (zh) 2022-07-26

Family

ID=77671099

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080000988.5A Active CN113711123B (zh) 2020-03-10 2020-03-10 一种对焦方法、装置及电子设备

Country Status (2)

Country Link
CN (1) CN113711123B (zh)
WO (1) WO2021179186A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114302035B (zh) * 2021-12-13 2024-06-28 杭州海康慧影科技有限公司 一种图像处理方法、装置、电子设备及内窥镜系统
CN116074624B (zh) * 2022-07-22 2023-11-10 荣耀终端有限公司 一种对焦方法和装置
CN116055712B (zh) * 2022-08-16 2024-04-05 荣耀终端有限公司 成片率确定方法、装置、芯片、电子设备及介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007077283A1 (en) * 2005-12-30 2007-07-12 Nokia Corporation Method and device for controlling auto focusing of a video camera by tracking a region-of-interest
KR20130081995A (ko) * 2012-01-10 2013-07-18 엘지전자 주식회사 고속 자동 초점 기능을 구비한 카메라 장치
CN104270562B (zh) * 2014-08-15 2017-10-17 广东欧珀移动通信有限公司 一种拍照对焦方法和拍照对焦装置
US11275230B2 (en) * 2015-08-31 2022-03-15 Sony Group Corporation Detection apparatus, detection method, detection program, and imaging apparatus
JP6965132B2 (ja) * 2017-12-05 2021-11-10 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
US10491831B2 (en) * 2018-03-05 2019-11-26 Jvckenwood Corporation Image pickup apparatus, image pickup method, and recording medium
CN109714526B (zh) * 2018-11-22 2021-02-09 中国科学院计算技术研究所 智能摄像头及控制系统

Also Published As

Publication number Publication date
CN113711123A (zh) 2021-11-26
WO2021179186A1 (zh) 2021-09-16

Similar Documents

Publication Publication Date Title
CN110445978B (zh) 一种拍摄方法及设备
CN111050269B (zh) 音频处理方法和电子设备
US11798162B2 (en) Skin detection method and electronic device
CN113711123B (zh) 一种对焦方法、装置及电子设备
CN114140365B (zh) 基于事件帧的特征点匹配方法及电子设备
CN111566693B (zh) 一种皱纹检测方法及电子设备
CN114880251B (zh) 存储单元的访问方法、访问装置和终端设备
CN113542580A (zh) 去除眼镜光斑的方法、装置及电子设备
CN115150542B (zh) 一种视频防抖方法及相关设备
CN111557007B (zh) 一种检测眼睛睁闭状态的方法及电子设备
CN113850709A (zh) 图像变换方法和装置
CN111417982B (zh) 一种色斑检测方法及电子设备
WO2022206589A1 (zh) 一种图像处理方法以及相关设备
CN114390195B (zh) 一种自动对焦的方法、装置、设备及存储介质
CN114302063B (zh) 一种拍摄方法及设备
WO2022033344A1 (zh) 视频防抖方法、终端设备和计算机可读存储介质
CN115484383A (zh) 拍摄方法及相关装置
CN111723615B (zh) 对检测物图像进行检测物匹配判定的方法和装置
CN113709353A (zh) 图像采集方法和设备
CN117714860A (zh) 图像处理方法及电子设备
CN117714861A (zh) 图像处理方法及电子设备
CN117880645A (zh) 一种图像处理的方法、装置、电子设备及存储介质
CN115695775A (zh) 终端摄像头清晰度的测试方法、系统、图卡及终端设备
CN116582743A (zh) 一种拍摄方法、电子设备及介质
CN115225799A (zh) 图像处理方法和终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant