CN117376702A - 混合自动跟焦方法和混合自动跟焦装置 - Google Patents

混合自动跟焦方法和混合自动跟焦装置 Download PDF

Info

Publication number
CN117376702A
CN117376702A CN202311540613.XA CN202311540613A CN117376702A CN 117376702 A CN117376702 A CN 117376702A CN 202311540613 A CN202311540613 A CN 202311540613A CN 117376702 A CN117376702 A CN 117376702A
Authority
CN
China
Prior art keywords
lens
focus position
confidence
lens focus
phase detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311540613.XA
Other languages
English (en)
Inventor
方竞宇
谢勇刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Semiconductor China R&D Co Ltd
Samsung Electronics Co Ltd
Original Assignee
Samsung Semiconductor China R&D Co Ltd
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Semiconductor China R&D Co Ltd, Samsung Electronics Co Ltd filed Critical Samsung Semiconductor China R&D Co Ltd
Priority to CN202311540613.XA priority Critical patent/CN117376702A/zh
Publication of CN117376702A publication Critical patent/CN117376702A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)

Abstract

公开了一种混合自动跟焦方法和混合自动跟焦装置。所述混合自动跟焦方法包括:基于由相位检测图像传感器输出的相位检测图像的相位差,确定第一镜头对焦位置;基于由相位检测图像传感器输出的场景图像中的感兴趣区域内的特征点的缩放比例,确定第二镜头对焦位置;通过融合第一镜头对焦位置和第二镜头对焦位置,确定最终镜头对焦位置;基于最终镜头对焦位置,执行相位检测图像传感器的跟焦。

Description

混合自动跟焦方法和混合自动跟焦装置
技术领域
本公开构思涉及图像处理,更具体地,涉及混合自动跟焦方法和混合自动跟焦装置。
背景技术
相位检测图像传感器目前被应用于成像系统。
相位检测图像传感器以测量到被摄体的距离并设置适当的焦点的方式对光敏感且快速。相位检测图像传感器可以基于彼此间隔开的至少两个传感器来计算相位差,并且通过基于相位差移动透镜的位置来执行自动聚焦。自动对焦是对被摄体进行自动对焦的功能,并且可以比手动对焦更快、更准确地对焦。
然而,当相位检测图像传感器在复杂环境(例如,复杂的光照和纹理等)下工作时,相位检测图像传感器往往难以确保稳定和可靠的视频跟焦。因此,需要一种用于相位检测图像传感器的确保稳定和可靠的跟焦方法。
发明内容
本发明构思涉及混合自动跟焦方法和混合自动跟焦装置。
在一些示例实施例中,提供一种混合自动跟焦方法,所述混合自动跟焦方法包括:基于由相位检测图像传感器输出的相位检测图像的相位差,确定第一镜头对焦位置;基于由相位检测图像传感器输出的场景图像中的感兴趣区域内的特征点的缩放比例,确定第二镜头对焦位置;通过融合第一镜头对焦位置和第二镜头对焦位置,确定最终镜头对焦位置;基于最终镜头对焦位置,执行相位检测图像传感器的跟焦。
在一些示例实施例中,融合第一镜头对焦位置和第二镜头对焦位置的步骤包括:确定第一镜头对焦位置的第一置信度,其中,第一置信度指示第一镜头对焦位置能够作为最终镜头对焦位置的可靠程度;确定第二镜头对焦位置的第二置信度,其中,第二置信度指示第二镜头对焦位置能够作为最终镜头对焦位置的可靠程度;基于第一置信度和第二置信度,将第一镜头对焦位置和第二镜头对焦位置融合为最终镜头对焦位置。
在一些示例实施例中,第一置信度基于信噪比的权重因子、纹理权重因子和相位差计算时的相关性权重因子中的一个或多个来确定,其中,相位检测图像的信噪比越大,信噪比的权重因子越大并且第一置信度越大,其中,相位检测图像的纹理越复杂,纹理权重因子越大并且第一置信度越大,其中,相位检测图像的相关性误差越小,相关性权重因子越大并且第一置信度越大。
在一些示例实施例中,在计算缩放比例时的拟合误差越小,第二置信度越大。
在一些示例实施例中,将第一镜头对焦位置和第二镜头对焦位置融合为最终镜头对焦位置的步骤包括:通过将第一镜头对焦位置与第一置信度的乘积和第二镜头对焦位置与第二置信度的乘积相加,来获得相加结果;将通过将相加结果除以第一置信度与第二置信度的总和而获得的结果值计算为最终镜头对焦位置。
在一些示例实施例中,将第一镜头对焦位置和第二镜头对焦位置融合为最终镜头对焦位置的步骤还包括:响应于第一置信度与第二置信度之和小于或者等于阈值,将上一帧的最终镜头对焦位置设置为当前帧的最终镜头对焦位置,其中,响应于第一置信度与第二置信度之和大于所述阈值,执行获得相加结果的步骤和将结果值计算为最终镜头对焦位置的步骤。
在一些示例实施例中,确定第一镜头对焦位置的步骤包括:通过将第一镜头标定系数与镜头当前位置的乘积和第二镜头标定系数与相位差的乘积相加,来获得相加结果;将通过将相加结果除以第一镜头标定系数与相位差的总和而获得的结果值确定为第一镜头对焦位置,或者确定第一镜头对焦位置的步骤包括:使用查表法来基于相位差确定第一镜头对焦位置。
在一些示例实施例中,确定第二镜头对焦位置的步骤包括:通过将缩放比例除以镜头当前位置,来获得第一结果;通过将1与缩放比例之间的差除以镜头的焦距,来获得第二结果;将第一结果与第二结果的和的倒数确定为第二镜头对焦位置,其中,缩放比例基于相机投影模型和感兴趣区域中的特征点的位置拟合得到。
在一些示例实施例中,执行相位检测图像传感器的跟焦的步骤还包括:通过对当前帧的最终镜头对焦位置和一个或多个先前帧的最终镜头对焦位置执行滤波和平滑,来获得当前帧的镜头对焦位置;基于镜头对焦位置,执行相位检测图像传感器的跟焦。
在一些示例实施例中,提供一种混合自动跟焦装置,所述混合自动跟焦装置包括:存储器,存储可执行的指令,处理器,被配置为执行可执行的指令以处理器:基于由相位检测图像传感器输出的相位检测图像的相位差,确定第一镜头对焦位置;基于由相位检测图像传感器输出的场景图像中的感兴趣区域内的特征点的缩放比例,确定第二镜头对焦位置;通过融合第一镜头对焦位置和第二镜头对焦位置,确定最终镜头对焦位置;基于最终镜头对焦位置,执行相位检测图像传感器的跟焦。
在一些示例实施例中,处理器被配置为:确定第一镜头对焦位置的第一置信度,其中,第一置信度指示第一镜头对焦位置能够作为最终镜头对焦位置的可靠程度;确定第二镜头对焦位置的第二置信度,其中,第二置信度指示第二镜头对焦位置能够作为最终镜头对焦位置的可靠程度;基于第一置信度和第二置信度,将第一镜头对焦位置和第二镜头对焦位置融合为最终镜头对焦位置。
在一些示例实施例中,第一置信度基于信噪比的权重因子、纹理权重因子和相位差计算时的相关性权重因子中的一个或多个来确定,其中,相位检测图像的信噪比越大,信噪比的权重因子越大并且第一置信度越大,其中,相位检测图像的纹理越复杂,纹理权重因子越大并且第一置信度越大,其中,相位检测图像的相关性误差越小,相关性权重因子越大并且第一置信度越大。
在一些示例实施例中,在计算缩放比例时的拟合误差越小,第二置信度越大。
在一些示例实施例中,处理器被配置为:通过将第一镜头对焦位置与第一置信度的乘积和第二镜头对焦位置与第二置信度的乘积相加,来获得相加结果;将通过将相加结果除以第一置信度与第二置信度的总和而获得的结果值计算为最终镜头对焦位置。
在一些示例实施例中,处理器还被配置为:响应于第一置信度与第二置信度之和小于或者等于阈值,将上一帧的最终镜头对焦位置设置为当前帧的最终镜头对焦位置,其中,响应于第一置信度与第二置信度之和大于所述阈值,处理器被配置为执行获得相加结果的处理和将结果值计算为最终镜头对焦位置的处理。
在一些示例实施例中,处理器被配置为:通过将第一镜头标定系数与镜头当前位置的乘积和第二镜头标定系数与相位差的乘积相加,来获得相加结果;将通过将相加结果除以第一镜头标定系数与相位差的总和而获得的结果值确定为第一镜头对焦位置,或者处理器被配置为:使用查表法来基于相位差确定第一镜头对焦位置。
在一些示例实施例中,处理器被配置为:通过将缩放比例除以镜头当前位置,来获得第一结果;通过将1与缩放比例之间的差除以镜头的焦距,来获得第二结果;将第一结果与第二结果的和的倒数确定为第二镜头对焦位置,其中,缩放比例基于相机投影模型和感兴趣区域中的特征点的位置拟合得到。
在一些示例实施例中,处理器被配置为:通过对当前帧的最终镜头对焦位置和一个或多个先前帧的最终镜头对焦位置执行滤波和平滑,来获得当前帧的镜头对焦位置;基于镜头对焦位置,执行相位检测图像传感器的跟焦。
在一些示例实施例中,提供一种混合自动跟焦方法,所述混合自动跟焦方法包括:基于由相位检测图像传感器输出的相位检测图像的相位差,确定第一镜头对焦位置;基于由相位检测图像传感器输出的场景图像中的感兴趣区域内的特征点的缩放比例,确定第二镜头对焦位置;确定第一镜头对焦位置的第一置信度,其中,第一置信度指示第一镜头对焦位置能够作为最终镜头对焦位置的可靠程度;确定第二镜头对焦位置的第二置信度,其中,第二置信度指示第二镜头对焦位置能够作为最终镜头对焦位置的可靠程度;基于第一置信度和第二置信度,通过融合第一镜头对焦位置和第二镜头对焦位置来确定最终镜头对焦位置;基于最终镜头对焦位置与镜头当前对焦位置之间的差,执行重新对焦。
在一些示例实施例中,在计算缩放比例时的拟合误差越小,第二置信度越大。
附图说明
通过结合附图进行的以下详细描述,将更清楚地理解说明性的、非限制性的示例性实施例。
图1是示出根据一些示例实施例的混合自动跟焦装置的框图;
图2是示出根据一些示例实施例的混合自动跟焦方法的流程图;
图3是示出根据一些示例实施例的融合第一镜头对焦位置和第二镜头对焦位置的方法的示意图;
图4是示出根据一些示例实施例的与信噪比(SNR)的权重因子对应的函数的示意图;
图5是示出根据一些示例实施例的混合自动对焦方法的流程图;
图6是示出根据一些示例实施例的电子装置的框图;
图7是示出根据一些示例实施例的相位检测图像传感器的像素结构的示意图。
贯穿附图和一些示例实施例,除非另外描述或提供,否则相同的附图参考标号将被理解为表示相同的元件、特征和结构。附图可不按比例,并且为了清楚、说明和方便,附图中的元件的相对尺寸、比例和描绘可被夸大。
具体实施方式
提供下面的一些示例实施例以帮助读者获得对在此描述的方法、设备和/或系统的全面理解。然而,在理解本申请的发明构思之后,在此描述的方法、设备和/或系统的各种改变、修改和等同物将是清楚的。例如,在此描述的操作的顺序仅是示例,并且不受限于在此阐述的那些顺序,而是除了必须以特定的顺序发生的操作之外,可如在理解本申请的发明构思之后将是清楚地那样被改变。此外,为了增加的清楚和简明,可省略在理解本申请的公开之后已知的特征的描述。
如在这里所用,除非上下文另有明确指示,否则单数形式也意图包括复数形式。尽管术语第一、第二等可在这里用于描述各种元件、组件、步骤和/或操作,但是这些术语仅用于将一个元件、组件、步骤和/或操作与另一元件、组件、步骤或操作区分开来。
将理解,这里描述的“通过”执行另一操作或子操作执行的操作可以“基于”另一操作或子操作被执行,使得操作可基于可单独包括另一操作或子操作或组合包括另一操作或子操作的操作和/或子操作的集合来执行。
在此描述的特征可以以不同的形式来实现,而不应被解释为受限于在此描述的示例。相反,已提供在此描述的示例,以仅示出在理解本申请的发明构思之后将是清楚的实现在此描述的方法、设备和/或系统的许多可行方式中的一些可行方式。
在一些示例实施例中,镜头对焦位置可与镜头对焦距离具有相同或者相似的含义。镜头对焦距离可指示镜头的焦平面到成像面的距离。
图1是示出根据一些示例实施例的混合自动跟焦装置的框图。
参照图1,混合自动跟焦装置100可包括存储器110和处理器120。在一些示例实施例中,混合自动跟焦装置100还可包括诸如图6中所示的相机610的相位检测图像传感器(例如,内部相位检测图像传感器)。然而,将理解,示例实施例不限于此,并且在一些示例实施例中,相位检测图像传感器(例如,包括在相机610中)可位于混合自动跟焦装置100的外部,因此可不作为混合自动跟焦装置100的一部分被包括(例如,混合自动跟焦装置100可不包括任何内部相位检测图像传感器)。例如,相位检测图像传感器可以是图6中所示的相机610,并且混合自动跟焦装置100可与相机610连接,并且可包括作为图6的处理器620的处理器。相机610可位于同一电子装置600中的混合自动跟焦装置100外部,或者位于彼此通信结合的单独电子装置中。相位检测图像传感器可具有各种形式的像素结构。在一些示例实施例中,相位检测图像传感器可具有如图7中所示的像素结构。图7中的像素结构也可称为全双像素(all dual pixel)结构。参照图7,左相位检测像素L可以通过微透镜收集到来自微透镜右侧的光线,右相位检测像素R可以通过微透镜收集到来自通过微透镜左侧的光线。虽然图7示出根据一些示例实施例的相位检测图像传感器的像素结构的示例,但是示例实施例不限于此,相位检测图像传感器也可具有包括相位检测像素的其他任意像素结构。
尽管在图1中未示出,但是混合自动跟焦装置100可与外部存储器连接和/或与外部装置(也称为远程装置)进行通信。图1示出的混合自动跟焦装置100可包括与一些示例实施例相关联的组件。因此,对于本领域普通技术人员将清楚的是,在混合自动跟焦装置100中还可包括图1中未示出的其他通用组件。
在一些示例实施例中,混合自动跟焦装置100可利用诸如个人计算机(PC)、服务器装置、移动装置、嵌入式装置等的各种类型的装置来实现。例如,混合自动跟焦装置100可以是和/或可被包括在可拍摄图像和/或处理图像的智能电话、平板装置、增强现实(AR)装置、物联网(IoT)装置、自动驾驶车辆、机器人装置或医疗装置中,但示例实施例不限于此。
在一些示例实施例中,存储器110存储在混合自动跟焦装置100中处理的各种数据。例如,存储器110可存储在混合自动跟焦装置100中已处理或将被处理的数据。在一些示例实施例中,存储器可存储在处理器120中可执行的指令(例如,可存储可执行的指令)。此外,存储器110可存储将由混合自动跟焦装置100驱动的应用或驱动器。
例如,存储器110可包括随机存取存储器(RAM)(诸如,动态随机存取存储器(DRAM)或静态随机存取存储器(SRAM))、只读存储器(RAM)、电可擦除可编程只读存储器(EEPROM)、CD-ROM、蓝光光盘、光盘存储装置、硬盘驱动器(HDD)、固态驱动器(SSD)或闪存。
处理器120可控制混合自动跟焦装置100的总体功能。例如,处理器120通常可通过执行存储在存储器110中的程序(例如,执行存储在存储器110中的程序和/或可执行的指令),来控制混合自动跟焦装置100。处理器120可被实现为包括在用于处理数据的设备100中的中央处理器(CPU)、图形处理器(GPU)或应用处理器(AP),但示例实施例不限于此。例如,存储器110可存储可执行的指令,处理器120可被配置为执行存储在存储器110中的可执行的指令,以实现和/或执行根据任何示例性实施例的混合自动跟焦装置100的任何功能、任何方法(例如,如这里所述的混合自动跟焦方法)、其任何组合等。
在一些示例实施例中,处理器120可从存储器110读取数据(例如,由相位检测图像传感器输出的相位检测图像)或将数据写入存储器110,并通过处理读取的数据/写入的数据来执行相位检测图像传感器的跟焦。例如,当指令(这里也称为可执行的指令)在处理器120中被执行时,处理器120可被配置为:基于由相位检测图像传感器输出的相位检测图像的相位差,确定第一镜头对焦位置;基于由相位检测图像传感器输出的场景图像中的感兴趣区域(ROI)内的特征点的缩放比例,确定第二镜头对焦位置;通过融合第一镜头对焦位置和第二镜头对焦位置,确定最终镜头对焦位置;基于最终镜头对焦位置,执行相位检测图像传感器的跟焦。
例如,混合自动跟焦装置100可融合基于由相位检测传感器输出的相位检测图像的对焦位置和基于ROI特征点的对焦位置来确定最终镜头对焦位置,并基于最终镜头对焦位置,执行跟焦。
因此,基于根据一些示例性实施例的混合自动跟焦装置100能够兼顾基于由相位检测传感器输出的相位检测图像的对焦位置和基于ROI特征点的对焦位置二者的优点,从而提高了视频跟焦过程的稳定性和可靠性。
在下文中,将参照图2至图7对处理器120执行的混合自动跟焦方法的示例进行描述。
图2是示出根据一些示例实施例的混合自动跟焦方法的流程图。应当理解,图2中所示的方法可以由根据一些示例性实施例的包括例如图1中所示的混合自动跟焦装置100的任何装置例如基于执行存储在存储器110中的可执行的指令的处理器120实现。
参照图2,在操作S210中,处理器可基于由相位检测图像传感器输出的相位检测图像的相位差,确定第一镜头对焦位置。
在一些示例实施例中,相位检测图像传感器可以包括相位检测(PD)像素,相位检测图像可通过相位检测图像传感器的相位检测像素(例如,基于由相位检测图像传感器的相位检测像素生成的电信号)来获得。在获得相位检测图像之后,可以以各种方式来确定相位检测图像的相位差。
例如,相位检测图像的生成可以在相位检测图像传感器内部的处理器或者相位检测图像传感器外部的处理器(例如,图1中的处理器120)来执行。例如,通过使用相位检测图像传感器拍摄场景而生成的一帧数据可被转换为根据一些示例实施例的相位检测图像和将在下面描述的场景图像。
在一些示例实施例中,可通过指示相位差与第一镜头对焦位置之间的关系的预定等式来基于相位差确定第一镜头对焦位置。
在一些示例实施例中,可通过将预定的第一镜头标定系数与镜头当前位置的乘积和预定的第二镜头标定系数与相位差的乘积相加,来获得相加结果。然后,将通过将相加结果除以第一镜头标定系数与相位差的总和而获得的结果值确定为第一镜头对焦位置。例如,预定等式可对应于如下面的等式(1)所示的分式模型:
在等式(1)中,Ppd表示第一镜头对焦位置,Pcur为当前镜头对焦位置,从驱动模组中读出,D为相位差,K1和K2表示镜头的模组标定系数(即,第一镜头标定系数和第二镜头标定系数)。此外,第一镜头对焦位置可用于写到镜头的驱动模组上,当前镜头对焦位置可从镜头的驱动模组被读出。
在一些示例实施例中,可使用查表法来基于相位差确定第一镜头对焦位置。例如,可预先确定记录相位差和第一镜头对焦位置的查找表,并基于查找表和获得的相位差来确定第一镜头对焦位置。
在操作S220中,处理器可基于由相位检测图像传感器输出的场景图像中的感兴趣区域内的特征点的缩放比例,确定第二镜头对焦位置。
在一些示例实施例中,相位检测图像传感器可以包括被配置为感测入射光的光强度的像素(这里也称为用于感测光强度的像素)。场景图像可通过相位检测图像传感器的感测光强的像素(例如,基于由相位检测图像传感器的感测光强的像素生成的电信号)来获得。在一些示例实施例中,相位检测图像传感器的感测光强的像素可以是RGB像素或者YUV像素。然而,根据一些示例实施例的感测光强的一个或多个像素不限于此,也可以是其他用于感测光强的像素。
在一些示例实施例中,感兴趣区域(ROI)可用于物体跟踪。例如,可根据对焦物体来划定感兴趣区域。感兴趣区域可以是各种形状的区域(诸如,例如,矩形框定的区域)。此外,在一些示例实施例中,可通过跟踪对焦物体实现ROI随对焦物体同步移动。基于感兴趣区域的目标跟踪算法包括但不限于贝叶斯估计法、在线学习法等。
在一些示例实施例中,可通过指示感兴趣区域内的特征点的缩放比例与第二镜头对焦位置之间的关系的预定等式来基于感兴趣区域内的特征点的缩放比例确定第二镜头对焦位置。
在一些示例实施例中,可通过将缩放比例除以镜头当前位置,来获得第一结果。然后,可通过将1与缩放比例之间的差除以镜头的焦距,来获得第二结果。可将第一结果与第二结果的和的倒数确定为第二镜头对焦位置。例如,预定等式可对应于下面的等式(2):
在等式(2)中,K为缩放比例,f为镜头的焦距,Pfp为第二镜头对焦位置,Pcur为当前镜头对焦位置。
此外,ROI内的特征点可以使用各种特征提取算法(例如,仅作为示例,尺度不变特征变换(SIFT算法)来提取。
在一些示例实施例中,缩放比例基于相机投影模型和感兴趣区域中的特征点的位置拟合得到。例如,如下面等式(3)所示,可使用相机投影模型拟合得到缩放比例:
在等式(3)中,K为缩放比例,P为当前帧的特征点坐标构成的矩阵,P’为前一帧的特征点坐标构成的齐次矩阵,bx和by表示对焦物体的平移坐标。P和P’的具体矩阵表示如下等式(4)所示:
在等式(4)中,xi和yi分别为当前帧的特征点i的横坐标和纵坐标,xi’和yi’分别为前一帧的特征点i的横坐标和纵坐标,n是特征点的数量。
在操作S230中,处理器可通过融合第一镜头对焦位置和第二镜头对焦位置,确定最终镜头对焦位置。
通常,在一些示例实施例中,基于相位检测传感器的对焦和基于感兴趣区域的对焦都具有对焦盲区。相位检测传感器的输出性能(诸如,例如,相位检测图像的输出性能)可例如受光照和纹理影响较大。对于较低光照、较低纹理细节、或者某些固定高频的纹理,相位检测传感器的输出精度(例如,相位检测图像的输出精度)会下降。感兴趣区域的大小本身精度和稳定度都不高,而且遇到形变物体时误差较大。
在一些示例实施例中,例如,如上所述,第一镜头对焦位置可基于由相位检测图像传感器输出的相位检测图像的相位差来确定,并且第二镜头对焦位置可基于由相位检测图像传感器输出的场景图像中的感兴趣区域内的特征点的缩放比例来确定。
因此,根据一些示例实施例,可通过融合第一镜头对焦位置和第二镜头对焦位置,确定最终镜头对焦位置,从而相比于单独任一种的对焦位置(诸如,例如,基于相位检测传感器的对焦位置和基于感兴趣区域的对焦位置中的任一个),提高了镜头对焦位置的稳定性和可靠性。
在操作S240中,处理器可基于最终镜头对焦位置,执行相位检测图像传感器的跟焦。
例如,处理器可通过将镜头对焦位置调整为最终镜头对焦位置,来执行相位检测图像传感器的跟焦。由于处理器采用了具有提高的稳定性和可靠性的镜头对焦位置,因此,提高了视频跟焦过程的稳定性和可靠性。
图3是示出根据一些示例实施例的融合第一镜头对焦位置和第二镜头对焦位置的方法的示意图。
参照图3,在操作S310中,处理器可确定第一镜头对焦位置的第一置信度,其中,第一置信度指示第一镜头对焦位置能够作为最终镜头对焦位置的可靠程度。
在一些示例实施例中,第一镜头对焦位置能够作为最终镜头对焦位置的可靠程度可表示相位检测对焦的可靠程度。例如,第一置信度越大,可靠程度越高。
在一些示例实施例中,第一置信度基于信噪比的权重因子、纹理权重因子和相位差计算时的相关性权重因子中的一个或多个来确定。在一些示例实施例中,相位检测图像的信噪比越大,信噪比的权重因子越大并且第一置信度越大。在一些示例实施例中,相位检测图像的纹理越复杂,纹理权重因子越大并且第一置信度越大。在一些示例实施例中,相位检测图像的相关性误差越小,相关性权重因子越大并且第一置信度越大。
在一些示例实施例中,如下面的等式(5)所示,可使用多权重因子的相乘来计算第一置信度:
Cpd=fSNR·ft·fpd 等式(5)
在等式(3)中,Cpd为第一置信度(例如,PD对焦位置的置信度),fSNR为信噪比(SNR)的权重因子,ft为纹理权重因子,fpd为相位差计算时相关性权重因子。这三个因子仅为示例,多权重因子可以使用其他的因子,而每个因子函数也是可调节的函数。例如,fSNR函数可以使用如图4所示的分段线性函数。
上述示例实施例仅是示例性的,第一置信度也可通过各种权重因子的各种计算来获得。例如,各种权重因子不限于上面描述的信噪比的权重因子、纹理权重因子和相位差计算时的相关性权重因子,而是可包括与相位检测对焦的可靠程度相关联的任意权重因子。
在操作S320中,处理器可确定第二镜头对焦位置的第二置信度,其中,第二置信度指示第二镜头对焦位置能够作为最终镜头对焦位置的可靠程度。
在一些示例实施例中,第二镜头对焦位置能够作为最终镜头对焦位置的可靠程度可表示特征点对焦的可靠程度。例如,第二置信度越大,可靠程度越高。
在一些示例实施例中,在计算缩放比例时的拟合误差越小,第二置信度越大。例如,第二置信度可以为相机投影模型计算缩放比例时的拟合误差的负相关函数。
在操作S330中,处理器可基于第一置信度和第二置信度,将第一镜头对焦位置和第二镜头对焦位置融合为最终镜头对焦位置。
根据一些示例实施例,例如,如上所述,第一置信度指示第一镜头对焦位置能够作为最终镜头对焦位置的可靠程度,并且第二置信度指示第二镜头对焦位置能够作为最终镜头对焦位置的可靠程度。因此,根据一些示例实施例的混合自动跟焦方法考虑到了第一镜头对焦位置能够作为最终镜头对焦位置的可靠程度和第二镜头对焦位置能够作为最终镜头对焦位置的可靠程度来融合第一镜头对焦位置和第二镜头对焦位置,因此,能够获得更准确的最终镜头对焦位置。
例如,当第一置信度固定时,第二置信度越大,最终镜头对焦位置越接近第二镜头对焦位置。此外,当第二置信度固定时,第一置信度越大,最终镜头对焦位置越接近第一镜头对焦位置。
在一些示例实施例中,可通过将第一镜头对焦位置与第一置信度的乘积和第二镜头对焦位置与第二置信度的乘积相加,来获得相加结果。然后,可将通过将相加结果除以第一置信度与第二置信度的总和而获得的结果值计算为最终镜头对焦位置。
在一些示例实施例中,通过更多地考虑与第一置信度和第二置信度之中的具有相对高的大小的置信度对应的镜头对焦位置,因此,计算出的最终镜头对焦位置的值可更加可靠。
在一些示例实施例中,响应于第一置信度与第二置信度之和大于预定阈值,可通过将第一镜头对焦位置与第一置信度的乘积和第二镜头对焦位置与第二置信度的乘积相加,来获得相加结果,并且可将通过将相加结果除以第一置信度与第二置信度的总和而获得的结果值计算为最终镜头对焦位置。此外,响应于第一置信度与第二置信度之和小于或者等于所述预定阈值,将上一帧的最终镜头对焦位置设置为当前帧的最终镜头对焦位置。
例如,可通过下面的等式(6)来将第一镜头对焦位置和第二镜头对焦位置融合为最终镜头对焦位置:
在等式(6)中,Pcom为最终镜头对焦位置,Ppd为第一镜头对焦位置,Pfp为第二镜头对焦位置,Pdefault为默认位置(例如,上一帧的镜头对焦位置),th为作为一个可调整的参数的置信阈值,Cpd为第一置信度,Cfp为第二置信度。
根据一些示例实施例的混合自动变焦方法可在第一置信度和第二置信度之和大于阈值时将第一镜头对焦位置和第二镜头对焦位置融合为最终镜头对焦位置,并且在第一置信度和第二置信度之和小于或者等于阈值时将最终镜头对焦位置确定为上一帧的镜头对焦位置。因此,根据一些示例实施例的混合自动变焦方法可提供更准确的最终镜头对焦位置,以实现更好的视频对焦。
此外,在一些示例实施例中,可通过对当前帧的最终镜头对焦位置和一个或多个先前帧的最终镜头对焦位置执行滤波和平滑,来获得当前帧的镜头对焦位置。然后,基于镜头对焦位置,执行相位检测图像传感器的跟焦。
根据一些示例实施例的混合自动变焦方法,可将不同帧之间对镜头对焦位置执行平滑滤波处理,因此,获得的镜头对焦位置更加可靠。
在一些示例实施例中,可使用FIR滤波或IIR滤波来执行平滑滤波处理。
例如,可采用下面的等式7来执行平滑滤波处理:
在等式7中,bi和aj为可调的滤波器系数,Pj f为相对于当前帧的第j帧的滤波后对焦位置,Pi com为第i帧的融合对焦位置,P0 f是当前帧的当前帧的滤波后对焦位置,n和m分别表示参与滤波的当前帧的前n帧和前m帧。例如,0表示当前帧,-1表示上一帧,-2表示上上一帧。
虽然在上面的示例中示出了可使用FIR滤波或IIR滤波来执行平滑滤波处理,但是示例实施例不限于此,并且用于执行平滑滤波处理的算法也可以是任意其他平滑算法或者滤波算法。
图5是示出根据一些示例实施例的混合自动对焦方法的流程图。
参照图5,在操作S510中,可执行目标确认。在一些示例实施例中,目标确认可包括在跟焦前在成像画面中确认对焦物体(例如,人脸、汽车等预拍摄物体),这可以由成像系统自动确认,也可以手动指定确认,并且在确认后执行初始对焦。可以以任何现有的方式实现目标确认。
在操作S520中,可执行对焦物体的ROI跟踪。例如,可根据操作S510中确认的对焦物体,划定ROI(例如,一个矩形框定的区域)并通过跟踪对焦物体实现ROI区域随对焦物体同步移动。实现对焦物体的ROI跟踪的目标跟踪算法包括但不限于贝叶斯估计法、在线学习法等,并且可以以任何其他现有的方式实现对焦物体的ROI跟踪。
在操作S530中,可计算基于PD传感器的输出的第一对焦位置。例如,PD传感器的输出包括PD传感器的相位检测器图像或者相位检测器图像的相位差,并可以以任何现有的方式来获得。在一些示例实施例中,第一对焦位置的计算方法可与第一镜头对焦位置的计算方法相同。上面结合一个或多个示例实施例已经描述了第一镜头对焦位置的计算方法,这里为了避免冗余,不再进行重复描述第一对焦位置的计算方法。
在操作S540中,可计算基于ROI特征点的第二对焦位置。例如,可基于不同帧(例如,不同场景图像)之间的ROI特征点的缩放比例计算。在一些示例实施例中,第二对焦位置的计算方法可与第二镜头对焦位置的计算方法相同。上面结合一个或多个示例实施例已经描述了第二镜头对焦位置的计算方法,这里为了避免冗余,不再进行重复描述第二对焦位置的计算方法。
在操作S550中,可对第一对焦位置和第二对焦位置进行组合和滤波。在一些示例实施例中,组合可对应于上面描述的根据一些示例实施例的融合,滤波可对应于上面描述的根据一些示例实施例的滤波和/或平滑。在操作S550中,可将结果值作为最终镜头对焦位置。
在操作S560中,可基于最终镜头对焦位置确定是否需要重新对焦。例如,可基于最终镜头对焦位置与当前镜头对焦位置之间的差来确定是否需要重新对焦。
在一些示例实施例中,当确定不需要重新对焦时,方法可返回到操作S520。例如,当最终镜头对焦位置与当前镜头对焦位置之间的差小于或等于预定阈值时,可确定不需要重新对焦,并且可返回到操作S520。
在一些示例实施例中,当确定需要重新对焦时,可在操作S570中执行重新对焦。例如,当最终镜头对焦位置与当前镜头对焦位置之间的差大于预定阈值时,可确定需要重新对焦,并且可执行重新对焦。
图6是示出根据一些示例实施例的电子装置的框图。
参照图6,电子装置600可包括相机610和处理器620。例如,电子装置600可应用于或安装在机器人装置(诸如,例如,无人驾驶飞机和高级驾驶员辅助系统(ADAS))、智能TV、智能电话、医疗装置、移动装置、图像显示装置、测量装置、IoT装置以及任何其它各种类型的电子装置,但示例实施例不限于此。
在一些示例实施例中,相机610可包括相位检测图像传感器,并可被配置为拍摄(例如,获得)图像(例如,场景图像)。在一些示例实施例中,处理器620可执行与参照图1描述的由处理器120执行的操作类似的操作。例如,处理器620可通过基于由相位检测图像传感器输出的相位检测图像的相位差,确定第一镜头对焦位置;基于由相位检测图像传感器输出的场景图像中的感兴趣区域内的特征点的缩放比例,确定第二镜头对焦位置;通过融合第一镜头对焦位置和第二镜头对焦位置,确定最终镜头对焦位置;基于最终镜头对焦位置,执行相位检测图像传感器的跟焦。例如,在一些示例实施例中,电子装置600可包括图1中所示的混合自动跟焦装置100,其中,处理器620可以是混合自动跟焦装置100的处理器120。相机610可位于电子装置600内的混合自动跟焦装置100的外部,使得例如相机610和混合自动跟焦装置100是包括在电子装置600内并在电子装置600内在它们之间通信结合的独立装置,其中,混合自动跟焦装置100可不包括任何内部相位检测图像传感器。在一些示例实施例中,相机610可位于电子装置600内的混合自动跟焦装置100的内部。
根据一些示例实施例的混合自动跟焦方法能够兼顾基于由相位检测传感器输出的相位检测图像的对焦位置和基于ROI特征点的对焦位置二者的优点,从而提高了视频跟焦过程的稳定性和可靠性。
根据一些示例实施例的混合自动跟焦方法,可通过融合第一镜头对焦位置和第二镜头对焦位置,确定最终镜头对焦位置,从而相比于单独任一种的对焦位置(例如,基于相位检测传感器的对焦位置和基于感兴趣区域的对焦位置中的任一个),提高了镜头对焦位置的稳定性和可靠性。
根据一些示例实施例的混合自动变焦方法可在第一置信度和第二置信度之和大于阈值时将第一镜头对焦位置和第二镜头对焦位置融合为最终镜头对焦位置,并且在第一置信度和第二置信度之和小于或者等于阈值时将最终镜头对焦位置确定为上一帧的镜头对焦位置。因此,根据一些示例实施例的混合自动变焦方法可提供更准确的最终镜头对焦位置,以实现更好的视频对焦。
根据一些示例实施例的混合自动变焦方法,可将不同帧之间对镜头对焦位置执行平滑滤波处理,因此,获得的镜头对焦位置更加可靠。
上面描述的根据一些示例实施例的一个或多个方法可被编写为在计算机上可执行的程序(例如,作为可执行的指令),并且可通过使用非瞬时(例如,非暂时性)计算机可读记录介质实现在操作该程序的通用数字计算机上。可使用各种装置将在上述方法中使用的数据的结构记录在计算机可读记录介质上。计算机可读记录介质可包括存储介质(例如,存储器),诸如,磁存储介质(例如,ROM、RAM、通用串行总线(USB)、软盘、硬盘等)、光学记录介质(例如,光盘(CD)-ROM、数字通用光盘(DVD)等)等,但示例实施例不限于此。
可以根据执行所描述的一个或多个功能的框和/或块来描述和示出一些示例实施例。在本文中可以被称为单元或模块等的这些块由模拟和/或数字电路(诸如,逻辑门、集成电路、微处理器、微控制器、存储器电路、无源电子组件、有源电子组件、光学组件、硬连线电路等)物理地实现,并且可以可选地由固件和/或软件驱动。例如,电路可以实现在一个或多个半导体芯片中,或者实现在诸如印刷电路板等的基板支撑件上。构成块的电路可以由专用硬件实现,或者由处理器(例如,一个或多个编程的微处理器和相关联的电路)实现,或者由执行块的一些功能的专用硬件和执行块的其他功能的处理器的组合实现。在不脱离本公开构思的范围的情况下,一些示例实施例的每个块可以物理地分成两个或更多个相互作用和离散的块。同样地,在不脱离本公开构思的范围的情况下,一些示例实施例的框可以物理地组合成更复杂的框。实施例的一个方面可以通过存储在非暂时性存储介质(例如,固态驱动(SSD)存储器)内并由处理器(例如,中央处理单元(CPU))执行的指令来实现。
如这里所述,根据任何示例性实施例的任何装置、系统、块模块、单元、控制器、电路和/或其部分(包括但不限于混合自动跟焦装置100、存储器110、处理器120、电子装置600、相机610、处理器620等)可包括处理电路或处理器(诸如,包括逻辑电路的硬件)、硬件/软件组合(诸如,执行软件的处理器)或其组合的一个或多个实例,也可包括在处理电路或处理器(诸如,包括逻辑电路的硬件)、硬件/软件组合(诸如,执行软件的处理器)或其组合的一个或多个实例中,和/或可由处理电路(诸如,包括逻辑电路的硬件)、硬件/软件组合(诸如,执行软件的处理器)或其组合的一个或多个实例实现。例如,处理电路更具体地可包括但不限于中央处理单元(CPU)、算术逻辑单元(ALU)、图形处理单元(GPU)、应用处理器(AP)、数字信号处理器(DSP)、微型计算机、现场可编程门阵列(FPGA)和可编程逻辑单元、微处理器、专用集成电路(ASIC)、神经网络处理单元(NPU)、电子控制单元(ECU)、图像信号处理器(ISP)等。在一些示例性实施例中,处理电路或处理器可包括存储指令的程序的非暂时性计算机可读存储装置(例如,存储器)(例如,固态驱动器(SSD))和被配置为执行指令的程序以实现由任何装置、系统、块模块、单元、控制器、电路和/或其部分根据任何示例实施例和/或其任何部分执行的功能和/或方法的处理器(例如,CPU)。
虽然本公开构思包括特定的示例,但是在理解本申请的发明构思之后将清楚,在不脱离权利要求和它们的等同物的精神和范围的情况下,可在这些示例中进行形式和细节上的各种改变。在此描述的示例应仅被认为是描述性的,而不是出于限制的目的。每个示例中的特征或方面的描述将被认为可适用于其它示例中的类似特征或方面。如果描述的技术以不同的次序被执行,和/或如果描述的系统、架构、装置或电路中的组件以不同的方式被组合,和/或被其它组件或它们的等同物替换或补充,则可实现合适的结果。因此,发明构思的范围不是由上面描述的特定示例实施例限定,而是由权利要求及它们的等同物限定,并且在权利要求及它们的等同物的范围内的所有变化应被解释为包括在发明构思中。

Claims (10)

1.一种混合自动跟焦方法,所述混合自动跟焦方法包括:
基于由相位检测图像传感器输出的相位检测图像的相位差,确定第一镜头对焦位置;
基于由相位检测图像传感器输出的场景图像中的感兴趣区域内的特征点的缩放比例,确定第二镜头对焦位置;
通过融合第一镜头对焦位置和第二镜头对焦位置,确定最终镜头对焦位置;
基于最终镜头对焦位置,执行相位检测图像传感器的跟焦。
2.如权利要求1所述的混合自动跟焦方法,其中,融合第一镜头对焦位置和第二镜头对焦位置的步骤包括:
确定第一镜头对焦位置的第一置信度,其中,第一置信度指示第一镜头对焦位置能够作为最终镜头对焦位置的可靠程度;
确定第二镜头对焦位置的第二置信度,其中,第二置信度指示第二镜头对焦位置能够作为最终镜头对焦位置的可靠程度;
基于第一置信度和第二置信度,将第一镜头对焦位置和第二镜头对焦位置融合为最终镜头对焦位置。
3.如权利要求2所述的混合自动跟焦方法,其中,第一置信度基于信噪比的权重因子、纹理权重因子和相位差计算时的相关性权重因子中的一个或多个来确定,
其中,相位检测图像的信噪比越大,信噪比的权重因子越大并且第一置信度越大,
其中,相位检测图像的纹理越复杂,纹理权重因子越大并且第一置信度越大,
其中,相位检测图像的相关性误差越小,相关性权重因子越大并且第一置信度越大。
4.如权利要求2所述的混合自动跟焦方法,其中,在计算缩放比例时的拟合误差越小,第二置信度越大。
5.如权利要求2所述的混合自动跟焦方法,其中,将第一镜头对焦位置和第二镜头对焦位置融合为最终镜头对焦位置的步骤包括:
通过将第一镜头对焦位置与第一置信度的乘积和第二镜头对焦位置与第二置信度的乘积相加,来获得相加结果;
将通过将相加结果除以第一置信度与第二置信度的总和而获得的结果值计算为最终镜头对焦位置。
6.如权利要求5所述的混合自动跟焦方法,其中,将第一镜头对焦位置和第二镜头对焦位置融合为最终镜头对焦位置的步骤还包括:
响应于第一置信度与第二置信度之和小于或者等于阈值,将上一帧的最终镜头对焦位置设置为当前帧的最终镜头对焦位置,
其中,响应于第一置信度与第二置信度之和大于所述阈值,执行获得相加结果的步骤和将结果值计算为最终镜头对焦位置的步骤。
7.如权利要求1所述的混合自动跟焦方法,其中,确定第一镜头对焦位置的步骤包括:
通过将第一镜头标定系数与镜头当前位置的乘积和第二镜头标定系数与相位差的乘积相加,来获得相加结果;
将通过将相加结果除以第一镜头标定系数与相位差的总和而获得的结果值确定为第一镜头对焦位置,或者
确定第一镜头对焦位置的步骤包括:使用查表法来基于相位差确定第一镜头对焦位置。
8.如权利要求1所述的混合自动跟焦方法,其中,确定第二镜头对焦位置的步骤包括:
通过将缩放比例除以镜头当前位置,来获得第一结果;
通过将1与缩放比例之间的差除以镜头的焦距,来获得第二结果;
将第一结果与第二结果的和的倒数确定为第二镜头对焦位置,
其中,缩放比例基于相机投影模型和感兴趣区域中的特征点的位置拟合得到。
9.一种混合自动跟焦装置,所述混合自动跟焦装置包括:
存储器,存储可执行的指令,
处理器,被配置为执行可执行的指令以:
基于由相位检测图像传感器输出的相位检测图像的相位差,确定第一镜头对焦位置;
基于由相位检测图像传感器输出的场景图像中的感兴趣区域内的特征点的缩放比例,确定第二镜头对焦位置;
通过融合第一镜头对焦位置和第二镜头对焦位置,确定最终镜头对焦位置;
基于最终镜头对焦位置,执行相位检测图像传感器的跟焦。
10.一种混合自动跟焦方法,所述混合自动跟焦方法包括:
基于由相位检测图像传感器输出的相位检测图像的相位差,确定第一镜头对焦位置;
基于由相位检测图像传感器输出的场景图像中的感兴趣区域内的特征点的缩放比例,确定第二镜头对焦位置;
确定第一镜头对焦位置的第一置信度,其中,第一置信度指示第一镜头对焦位置能够作为最终镜头对焦位置的可靠程度;
确定第二镜头对焦位置的第二置信度,其中,第二置信度指示第二镜头对焦位置能够作为最终镜头对焦位置的可靠程度;
基于第一置信度和第二置信度,通过融合第一镜头对焦位置和第二镜头对焦位置来确定最终镜头对焦位置;
基于最终镜头对焦位置与镜头当前对焦位置之间的差,执行重新对焦。
CN202311540613.XA 2023-11-17 2023-11-17 混合自动跟焦方法和混合自动跟焦装置 Pending CN117376702A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311540613.XA CN117376702A (zh) 2023-11-17 2023-11-17 混合自动跟焦方法和混合自动跟焦装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311540613.XA CN117376702A (zh) 2023-11-17 2023-11-17 混合自动跟焦方法和混合自动跟焦装置

Publications (1)

Publication Number Publication Date
CN117376702A true CN117376702A (zh) 2024-01-09

Family

ID=89389357

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311540613.XA Pending CN117376702A (zh) 2023-11-17 2023-11-17 混合自动跟焦方法和混合自动跟焦装置

Country Status (1)

Country Link
CN (1) CN117376702A (zh)

Similar Documents

Publication Publication Date Title
US9998650B2 (en) Image processing apparatus and image pickup apparatus for adding blur in an image according to depth map
EP1984892B1 (en) Foreground/background segmentation in digital images
EP3480784B1 (en) Image processing method, and device
CN110248097B (zh) 追焦方法、装置、终端设备、计算机可读存储介质
EP3627821B1 (en) Focusing method and apparatus for realizing clear human face, and computer device
US9489747B2 (en) Image processing apparatus for performing object recognition focusing on object motion, and image processing method therefor
US10212347B2 (en) Image stabilizing apparatus and its control method, image pickup apparatus, and storage medium
US11070729B2 (en) Image processing apparatus capable of detecting moving objects, control method thereof, and image capture apparatus
US20190230269A1 (en) Monitoring camera, method of controlling monitoring camera, and non-transitory computer-readable storage medium
US20140185882A1 (en) Image processing device, image processing method, image device, electronic equipment, and program
KR101830077B1 (ko) 화상처리장치, 그 제어 방법 및 기억매체
CN111246100A (zh) 防抖参数的标定方法、装置和电子设备
US9538074B2 (en) Image processing apparatus, imaging apparatus, and image processing method
US10204400B2 (en) Image processing apparatus, imaging apparatus, image processing method, and recording medium
US9781331B2 (en) Imaging apparatus, and control method thereof
JP4354096B2 (ja) 撮像装置
CN103988107A (zh) 成像设备、控制成像设备的方法和程序
CN117376702A (zh) 混合自动跟焦方法和混合自动跟焦装置
CN115082352A (zh) 生成全聚焦图像的方法和装置
US9710897B2 (en) Image processing apparatus, image processing method, and recording medium
CN103841312B (zh) 物体侦测装置及方法
JP2016114785A (ja) 撮像装置、撮像方法、及び撮像プログラム
US11854239B2 (en) Image processing device, imaging device, image processing method, and recording medium
CN113055584B (zh) 基于模糊程度的对焦方法、镜头控制器及相机模组
JP4460711B2 (ja) 撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination