CN106464807A - 用于基于相位的自动聚焦的可靠性测量 - Google Patents

用于基于相位的自动聚焦的可靠性测量 Download PDF

Info

Publication number
CN106464807A
CN106464807A CN201580026343.8A CN201580026343A CN106464807A CN 106464807 A CN106464807 A CN 106464807A CN 201580026343 A CN201580026343 A CN 201580026343A CN 106464807 A CN106464807 A CN 106464807A
Authority
CN
China
Prior art keywords
phase
phase difference
accumulated
value
automatic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580026343.8A
Other languages
English (en)
Other versions
CN106464807B (zh
Inventor
V·萨姆洛乌
E·克里斯蒂安尼克乌
J·尼卡宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN106464807A publication Critical patent/CN106464807A/zh
Application granted granted Critical
Publication of CN106464807B publication Critical patent/CN106464807B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/703SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704Pixels specially adapted for focusing, e.g. phase difference pixel sets

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Power Engineering (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)

Abstract

讨论了涉及用于成像设备的自动聚焦、并且更具体地涉及生成与相位自动聚焦移位相关联的可靠性值的技术。这种技术可以包括:基于累积相位差值以及相位自动聚焦图像的相移来进行曲线拟合;以及基于所述曲线拟合生成聚焦相移的可靠性值。

Description

用于基于相位的自动聚焦的可靠性测量
优先权声明
本申请要求题为“RELIABILITY MEASUREMENTS FOR PHASE BASED AUTOFOCUS(用于基于相位的自动聚焦的可靠性测量)”并且于2014年7月10日提交的美国专利申请序列号14/327,798的优先权,该专利申请要求题为“RELIABILITY MEASUREMENTS FOR PHASEBASED AUTOFOCUS(用于基于相位的自动聚焦的可靠性测量)”并且于2014年6月13日提交的美国临时专利申请序列号62/011,897的优先权,这两个专利均通过引用以其全文结合在此。
背景技术
在数字相机中,自动聚焦可以用于聚焦到兴趣对象上。这类数字相机可以作为独立设备被提供,或者它们可以集成到多功能设备中,诸如智能电话等。在各种实现方式中,数字相机可以使用基于相位的自动聚焦(或相位自动聚焦)或基于对比度的自动聚焦。目前,诸如傻瓜相机和集成到多功能设备(诸如智能电话)中的移动相机等移动相机设备趋于使用基于对比度的自动聚焦,但是相位自动聚焦在这类移动相机设备中正变得更加广泛。例如,在一些实现方式中相位自动聚焦可能是有利的,因为其通常快于基于对比度的自动聚焦。例如,相位自动聚焦可以允许数字相机基于捕获信息的单个帧来确定镜头位置运动的正确的方向和量,这可以增加聚焦速度。而且,相位自动聚焦可能是有利的,因为其限制或消除过冲(例如,如在基于对比度的自动聚焦中执行的,相机将镜头位置改变超过聚焦的位置以便获得确定聚焦位置所需的信息)。这种过冲花费时间,并且会在视频捕获中降低质量。
然而,相位自动聚焦并非对于所有的场景以及在所有条件下都是可靠的。这类问题在小型数字相机、集成到智能电话中的相机、以及大量生产的数字相机中可能尤其显著。
附图说明
在附图中通过举例而非限制的方式展示了在此所描述的材料。为了图示的简明和清晰,图中所展示的元件不一定按比例绘制。例如,为清楚起见,某些元件的尺寸相对于其他元件可能被放大了。此外,在认为适当的情况下,在附图之间对参考标记加以重复以表示相应的或相似的元件。在附图中:
图1是用于提供自动聚焦的示例成像设备的示意图;
图2是用于提供自动聚焦的示例传感器的示意图;
图3展示了用于提供自动聚焦的强度分布图;
图4是示例成像设备的说明性框图;
图5展示了包括示例兴趣区域的示例场景;
图6展示了示例累积相位差值和示例相移的示例图;
图7展示了示例累积相位差值和示例相移的示例图;
图8是展示了用于提供自动聚焦的示例过程的流程图;
图9是用于提供自动聚焦的示例系统的示意图;
图10是示例系统的示意图;以及
图11展示了全部根据本公开的至少一些实现方式而安排的示例设备。
具体实施方式
现在参照附图描述一个或多个实施例或实现方式。虽然对特定配置和安排进行了讨论,但应理解,这仅出于说明目的来进行。相关领域的技术人员将认识到,在不背离本描述的精神和范围的情况下可以采用其他配置和安排。对相关领域技术人员而言将明显的是,在此描述的技术和/或安排还可以在除了在此描述的系统和应用之外的各种各样的其他系统和应用中被采用。
虽然以下描述阐述可以在如例如片上系统(SoC)架构的架构中显现各实现方式,但在此描述的技术和/或安排的实现方式并不局限于具体的架构和/或计算系统并且出于类似目的可以由任何架构和/或计算系统实现。例如,采用例如多个集成电路(IC)芯片和/或封装体、和/或各种计算设备和/或消费电子产品(CE)设备(如机顶盒、智能电话等)的各架构可以实现在此描述的技术和/或安排。此外,虽然以下描述可以阐述许多特定的细节(如逻辑实现、系统组件的类型和内在关系、逻辑划分/集成选择等),但要求保护的主题可以在没有这些特定细节的情况下被实践。在其他实例中,可以不详细示出某些材料(诸如,例如,控制结构和完整的软件指令序列),以便不模糊在此公开的材料。
在此公开的材料可以在硬件、固件、软件、或其任意组合中实现。在此公开的材料还可以被实现为存储于机器可读介质上的指令,这些指令可以由一个或多个处理器来读取并执行。机器可读介质可以包括用于存储或传输具有由机器(例如,计算设备)可读的形式的信息的任何介质和/或机制。例如,机器可读介质可以包括只读存储器(ROM);随机存取存储器(RAM);磁盘存储介质;光学存储介质;闪存设备;电气、光学、声学或其他形式的传播信号(例如,载波、红外信号、数字信号等)等。
说明书中提到“一种实现方式(one implementation)”、“实现方式(animplementation)”、“示例实现方式(an example implementation)”等表明所描述的实现方式可以包括具体特征、结构、或特性,但每个实施例可能不一定包括这个具体特征、结构、或特性。此外,这些短语不一定指代同一实现方式。此外,当结合一个实施方式来说明特定特征、结构或特性时,应当指出,无论是否在本文中明确说明,结合其他实施方式来实现这种特征、结构或特性都在本领域技术人员的知识范围内。
在此描述的方法、设备、系统、和制品涉及为成像设备提供自动聚焦,并且更具体地用于生成可靠性值或基于相位自动聚焦而生成的聚焦相移的可靠性值。
如上所述,数字相机(例如,相机或集成在诸如智能电话等设备内的相机)可以使用相位自动聚焦或基于对比度的自动聚焦来进行自动聚焦。在一些实例中,数字相机可以使用相位自动聚焦,所述相位自动聚焦有利地更快速并且可消除过冲。然而,在一些场景和/或条件中相位自动聚焦可能不可靠。
在此所讨论的一些实施例中,可以生成与聚焦相移相关联(例如,在具有子像素准确性的像素中测量的被确定为对准相机的焦点的相移)的置信度或可靠性值或测量。如在此所使用的,置信度或可靠性值或测量可以表征为可靠性值。顾名思义,所述可靠性值可以提供聚焦相移中可靠性或置信度水平。这一可靠性值可以由数字相机来使用以便进行自动聚焦并在一些示例中实现包括相位自动聚焦和基于对比度的自动聚焦的混合自动聚焦系统。例如,当所述可靠性值高时,数字相机可以使用聚焦相移来确定镜头位置移位(例如,基于电机单元等)、移位镜头位置、并基于相位自动聚焦向用户提供自动聚焦。如所讨论的,这一自动聚焦可以较快速且无过冲。在当所述可靠性值低的示例中,数字相机可以采用基于对比度的自动聚焦或者相位自动聚焦与基于对比度的自动聚焦的组合来确定镜头位置移位、移位镜头位置并向用户提供自动聚焦。
在一些实施例中,可以通过针对场景(例如,被捕获的场景)的兴趣区域(例如,用于对成像设备进行聚焦的区域)确定与两张相位自动聚焦图像的相移相关联的累积相位差值来生成所述可靠性值。例如,相位自动聚焦图像可以是经由穿插在图像传感器中的相位自动聚焦像素传感器对(例如,从而使得每个像素与像素传感器相关联)而接收的左相位自动聚焦图像和右相位自动聚焦图像。如在此进一步讨论的,可以基于累积相位差值和相移来进行曲线拟合以便生成累积相位差值拟合曲线,并且可以基于所述拟合曲线(例如,对拟合曲线进行分析)生成可靠性值。成像设备的聚焦可以至少部分地基于可靠性值,从而使得例如所述成像设备可以基于所述可靠性值在相位自动聚焦与对比度自动聚焦之间做出选择,或者根据所述可靠性值对镜头运动步长进行适配。
通过使用这类技术,可以提供自动聚焦,在一些场景和条件下,所述自动聚焦基于相位自动聚焦并且由此而较快速且无过冲。在不适用于相位自动聚焦的其他场景和条件下,可以提供在基于对比度的自动聚焦(或基于对比度的自动聚焦和相位自动聚焦的结合)基础上的自动聚焦,从而使得可以针对这种场景和条件提供高质量自动聚焦(尽管更慢)。
图1是根据本公开的至少一些实现方式安排的用于提供自动聚焦的示例成像设备100的示意图。如图1所示,在实施例中,成像设备100是智能电话。如所示的,成像设备100可以包括正面101和背面102。在一些示例中,如所示的,成像设备100的背面102可以包括集成相机103(例如,包括镜头、光圈和成像传感器)和闪光灯104(例如,闪光灯或手电筒(诸如超级电容器LED等))。还如所示的,成像设备100的正面101可以包括扬声器106、显示器107、以及一个或多个按钮108。此外,成像设备100可以包括麦克风105,所述麦克风在所展示的示例中被示出在成像设备100的底部。这类设备可以提供成像设备100的各种各样的用途。
所描述的成像设备100的这些部件可以以任何适当的方式相结合。例如,相机103和闪光灯104可以结合在成像设备100的正面101上。在一些示例中,前置和后置相机两者以及闪光灯可以结合于成像设备100中。此外,在一些示例中,显示器107可以是触摸屏显示器,从而使得用户可以经由通过显示器107(诸如轻击显示器107)发起的命令与成像设备100进行交互以便指示聚焦的对象或兴趣区域。如所讨论的,在一些示例中,成像设备100可以包括所描述的部件中的每一个部件。在其他示例中,成像设备100可以不包括所描述的部件中的一个或多个部件。例如,成像设备100可以不包括扬声器106、显示器107、和/或麦克风105。此外,所讨论的部件可以并入任何形成因子设备中,如所展示的智能电话、专用相机、超级笔记本、膝上计算机、平板计算机、或在此讨论的任何其他设备。例如,专用相机可以包括自动对焦相机、可互换镜头系统相机、无反光镜相机、数码单镜头反光(DSLR)相机等。
如所讨论的,相机103可以包括图像传感器。如在此所讨论的,所述图像传感器可以捕获图像数据和相位自动聚焦数据。
图2是根据本公开的至少一些实现方式安排的用于提供自动聚焦的示例传感器200的示意图。如图2所示,传感器200可以包括(如经由特写视图201所示)穿插在图像像素传感器205中的相位自动聚焦像素传感器对202,为了清楚呈现,并未单独展示所述图像像素传感器。例如,传感器200可以包括任何数量的图像像素传感器205(诸如8兆像素、10兆像素、12兆像素等)和任何数量的相位自动聚焦像素传感器对202,诸如,例如30000对、400000对、或500000对等。例如,相位自动聚焦像素传感器对202可以具有足以提供分辨率的密度以便执行在此所讨论的技术。图像像素传感器205和自动聚焦像素传感器对202可以包括任何适当的图片传感器(诸如电荷耦合设备)、有源像素传感器、光电二极管、或将光转换为电信号的任何其他设备。
此外,如在此所讨论的,可以以任何适当的方式安排相位自动聚焦像素传感器对202中的像素对,从而使得它们可以获得两张相位自动聚焦图像。例如,如图2所示,如相对于相位自动聚焦像素传感器203和相位自动聚焦像素传感器204所示的,相位自动聚焦像素传感器对202可以在对角线方向上被安排并且彼此相邻。在其他示例中,相位自动聚焦像素传感器203和相位自动聚焦像素传感器204可以水平地被安排并且彼此相邻、或者竖直地被安排并且彼此相邻。在展示的示例中,相位自动聚焦像素传感器203、204被示出为基本上彼此接近。在其他示例中,相位自动聚焦像素传感器203、204可以被分开一定距离,从而使得它们并不彼此接近,并且从而使得一个或多个图像像素传感器205处于它们之间。相位自动聚焦像素传感器对202可以以任何方式(如图2所示的均匀地)或者以变化模式被安排在传感器200上。此外,自动聚焦像素传感器对202可以被分开一定偏移量206。如在此进一步讨论的,偏移量206可以与相移相关联。相位自动聚焦像素传感器对202可以单独记录光线(如关于图3进一步讨论的),从而使得传感器对中的一个传感器可以记录从光圈的左侧进入的光线,并且所述传感器对中的另一个传感器可以记录从光圈的右侧进入的光线。可以以任何适当的方式设置这种分离,诸如将额外材料层覆盖在传感器200上,所述分离从左或右等阻挡光。此外,为了清楚呈现仅提供在此使用的术语左和右。例如,光线可以如所述的朝向左和右或者顶部和底部或者可以提供相位自动聚焦所需的单独图像的任何其他朝向。
单独记录左光线和右光线可以提供两张相位自动聚焦图像(例如,左图像和右图像)。例如,左图像和右图像可以基于同一图像帧和/或图像。在一些示例中,左图像和右图像可以是经由传感器200的相位自动聚焦像素传感器203、204获得的。在一些示例中,没有单独和全左和全右图像或图像平面可以是可用的,并且相反,可以动态地对来自传感器200的像素流(例如,如以下进一步讨论的PAF传感器数据407的)进行处理(例如,如以下进一步讨论的,图像处理和自动聚焦模块401可以一次仅具有帧的一条或两条线)。类似地,如在此描述的左图像和右图像可以包括与左图像和右图像相关联的数据流(无需全图像在任何时间都完全可用)。如在此所使用的,术语图像包括完全成形的图像或图像平面或部分成形的图像或图像平面或表示这类完全或部分成形的图像或图像平面的数据。
此外,如在此进一步讨论的,可以通过相对于彼此(例如,如在此所讨论的水平地或竖直地)移位这些图像来提供相位自动聚焦以便确定聚焦相移(例如,可以对准图像并且由此提供聚焦的移位)。此外,如在此所讨论的,可以生成可靠性值,所述可靠性值与聚焦相移相关联。例如,相位自动聚焦像素传感器对202可以提供特定像素密度的左灰度图像和右灰度图像(例如,与偏移量206相关联),从而使得可以进行相移以便估计所获得的相位自动聚焦图像。此外,如在此进一步讨论的,子像素分辨率聚焦相移可以是经由曲线拟合和/或内插获得的。在一些示例中,传感器200的相机传感器区域可以被划分为包括框(例如,16x12个框)的网格,其中,每个框覆盖多个像素的区域从而使得被覆盖的像素中的一些像素是相位自动聚焦(PAF)像素。
图3展示了根据本公开的至少一些实现方式安排的用于提供自动聚焦的示例强度分布图。如图3所示,对象301可以聚焦于两个镜头位置302和303中。此外,如所示的,光线305至308可以从对象301进行反射并穿过光学器件304和光圈309进入到传感器200上。可以通过传感器200的相位自动聚焦像素传感器202单独对光线305和光线306进行记录,并且类似地,可以通过传感器200的相位自动聚焦像素传感器202单独对光线307和单独对光线308(在镜头位置等改变之后)进行记录以便分别生成强度分布图310至313。虽然在图3中被展示为一维(1D)信号,但强度分布图310至313可以是通过传感器200的区域提供的二维(2D)信号。如果来自单独记录的光线的强度分布图被对准或接近对准(例如,如果强度分布图310和311被对准或者如果强度分布图312和313被对准),则对象301聚焦。在一些示例中,可以基于对传感器200的2D区域内的逐个像素对的差异进行估计来判定强度分布图是否被对准。在图3中展示的示例中,虽然两者均不是完美地聚焦,但镜头位置303比镜头位置302更好地聚焦。此外,镜头位置302、303均过于远离对象301被聚焦。虽然未在图3中示出,但太接近的镜头位置将提供交叉的光线(例如,光线305和光线306将在到达传感器200之前交叉),并且基于光线是否交叉,可以确定镜头位置运动的方向。由此,基于相对于彼此的强度分布图310至313的峰值与其朝向之间的距离(例如,哪一个在左),可以针对成像设备100确定相位自动聚焦移位和方向。在一些示例中,相位自动聚焦移位可以表征为相位差或相位差信息。例如,相位自动聚焦移位或相位差可以是移位量(例如,在像素中,具有子像素准确性),所述移位量是消除左PAF像素与右PAF像素(或顶部PAF对底部PAF)之间的差异所需要的。
图4是根据本公开的至少一些实现方式安排的示例成像设备100的说明性框图。如图4所示,成像设备100可以包括传感器200、图像处理和自动聚焦模块401、累积相位差模块402、曲线拟合模块403、聚焦相移模块404、聚焦相移可靠性模块405、以及聚焦驱动器406。在各示例中,如在此进一步讨论的,成像设备100的模块401至406中的任一个模块可以经由一个或多个中央处理单元、图像处理单元、和/或(多个)图形处理单元被实现。
如图4所示,图像处理和自动聚焦模块401可以从传感器200获得相位自动聚焦(PAF)传感器数据407。例如,如在此所讨论的,PAF传感器数据407可以经由传感器200的相位自动聚焦像素传感器对202被提供。PAF传感器数据407可以包括任何适当的数据,诸如指示传感器强度等的电信号。在一些示例中,PAF传感器数据407可以临时存储在成像设备100的存储器中。如在此所讨论的,图像处理和自动聚焦模块401可以从传感器200或存储器接收PAF传感器数据407,并且可以实时且动态地生成相位自动聚焦(PAF)图像408或相位自动聚焦图像的多个部分。例如,如在此所讨论的,PAF图像408可以包括第一PAF图像和第二PAF图像,诸如左PAF图像和右PAF图像。在一些示例中,PAF图像408包括与在相位自动聚焦像素传感器对202处测量或获得的强度相关联的灰度图像。如所讨论的,在一些示例中,没有单独和全左和全右图像(例如,PAF图像408)或图像平面可以是可用的,并且相反,可以动态地对来自传感器200的像素流(例如,PAF传感器数据407的)进行处理(例如,图像处理和自动聚焦模块401可以一次仅具有帧的一条或两条线)。类似地,如在此描述的左图像和右图像可以包括与左图像和右图像相关联的数据流(无需全图像在任何时间都完全可用)。例如,如经由图像信号处理器(ISP)实现的图像处理和自动聚焦模块401可以接收PAF传感器数据407并且动态地提供PAF图像408(或其多个部分),并且如在此描述的后续模块可以动态地处理数据,而无需获得全图像数据等。
此外,图像处理和自动聚焦模块401可以生成兴趣区域409(或多个兴趣区域)。图5展示了根据本公开的至少一些实现方式安排的包括示例兴趣区域501、502的示例场景500。图5展示了示例场景500,诸如用户正在拍照或录像的场景。如所示的,场景500可以包括兴趣区域501、502,从而使得可以期望成像设备100聚焦在兴趣区域501、502上和/或成像设备100判定兴趣区域501、502是否对应于与成像设备100的不同距离、是否聚焦在兴趣区域或兴趣区域502上(例如,基于兴趣区域中的对象更接近、大于、更接近于场景500的中心等)。兴趣区域501、502可以由成像设备100(例如,经由图像处理和自动聚焦模块401或成像设备100的另一模块)使用任何适当的技术或多种技术来确定。例如,可以基于对象检测或识别技术或人脸检测技术等来确定兴趣区域501、502。在其他示例中,用户可以轻击显示器107以便指示兴趣区域,或者兴趣区域可以是场景500的默认位置,诸如场景的中心等。虽然利用两个兴趣区域进行了展示,但可以使用任何数量的兴趣区域。
返回至图4,兴趣区域409可以以任何适当的方式来限定(多个)兴趣区域,诸如提供兴趣区域的边界或者兴趣区域的位置和维度等。此外,如所示的,在一些示例中,图像处理和自动聚焦模块401可以提供PAF图像408和兴趣区域409。在其他示例中,图像处理和自动聚焦模块401可以仅提供与兴趣区域相关联的图像数据。例如,图像处理和自动聚焦模块401可以仅针对兴趣区域向累积相位差模块402提供相位自动聚焦图像数据。图像处理和自动聚焦模块401可以向累积相位差模块402和/或向成像设备100的存储器提供PAF图像408和兴趣区域409(或等价信息)。
如所示的,图像处理和自动聚焦模块401还可以生成信噪比(SNR)数据414。信噪比数据414可以包括指示对兴趣区域409中的信噪比的度量的任何适当数据。例如,信噪比数据414可以包括模拟增益、镜头阴影校正(LSC)增益、数字增益、传感器上增益、其他增益、或信号电平等。例如,此数据经由图像处理和自动聚焦模块401的图像处理模块或图像处理流水线等可以是可用的。图像处理和自动聚焦模块401可以将信噪比数据414传递至聚焦相移可靠性模块405和/或成像设备100的存储器。
累积相位差模块402可以从图像处理和自动聚焦模块401或存储器接收PAF图像408和兴趣区域409(或等价信息),并且累积相位差模块402可以针对兴趣区域409确定累积相位差值(APDV)410。如在此所使用的,术语差异可以指代彼此邻近或被配对以用于相移的两个相位自动聚焦像素(例如,自动聚焦像素对)之间的差异,在所述两个相位自动聚焦像素中,一个像素是从光圈(例如,在此标记为pafpixL(x,y))的左(或顶部)侧接收光,并且另一像素是从光圈(例如,在此标记为pafpixR(x,y))的右(或底部)侧接收光。如所讨论的,为了表示的清楚起见,使用了左和右,但是可以使用任何相对的或相反侧(例如,顶部和底部等)。如所讨论的,所述相位自动聚焦像素对可以彼此接近(例如,相邻或空间上接近)。在一些示例中,所述相位自动聚焦像素对可以在对角线方向上彼此接近(例如,如Gr像素和Gb像素在拜耳方格中彼此接近)。如所讨论的,在一些示例中,所述相位自动聚焦像素对在其之间具有一定距离。此外,坐标(例如,如在此提供的(x,y))指代相位自动聚焦像素平面坐标(例如,不包括成像像素)。
累积相位差值410可以包括多个相移中的每个相移的累积相位差值。例如,相移可以使PAF图像408相对于彼此移位以便找到聚焦相移(例如,在具有与基于兴趣区域501、502等的成像设备100和场景500的最佳聚焦的测量相关联的子像素准确性的像素中的相移)。累积相位差值410中的单独累积相位差值可以通过兴趣区域针对具体移位对多个乘积进行求和来确定。例如,每个乘积可以是两个值的乘积。第一值可以是左相位自动聚焦图像的像素的相位自动聚焦值(例如,强度值)与右相位自动聚焦图像的像素的相位自动聚焦值之间的差,并且第二值可以是阈值确定值。例如,基于对所述左相位自动聚焦图像的所述像素的所述相位自动聚焦值和所述右相位自动聚焦图像的所述像素的所述相位自动聚焦值的阈值化,所述阈值确定值可以是零或一。例如,如果相位自动聚焦值的最小值和最大值处于最小阈值与最大阈值之间,则阈值确定值可以是一,并且如果相位自动聚焦值中的一个值或两个值均处于阈值之外,则阈值确定值可以是零。
通过使用这种技术,可以针对多个相移确定累积相移差值。例如,零相移可以不将任何移位应用于左相位自动聚焦图像和右相位自动聚焦图像(例如,PAF图像408),+2相移可以将右PAF图像向右移位两次(例如,向右移位两个像素),-7相移可以将右PAF图像向左移位七次(例如,向左移位七个像素),依此类推。可以针对任何数量的相移生成任何数量的累积相位差值410,从而使得后续的曲线拟合和可靠性值生成可以提供有效结果。在如在此所讨论的图6和图7的示例图中,使用11相移(例如,-5到+5)。在其他示例中,可以使用15相移(例如,-7到+7)。在又其他示例中,可以使用5、7或9相移。此外,在一些示例中,相移可以以0相移为中心。在其他示例中,可以实现更左或右相移。在一些示例中,如在此所讨论的,相移可以与偏移量206相关联。如所讨论的,相移可以相差整数值,诸如1。在其他示例中,相移可以相差浮点值,从而使得PAF图像(例如,PAF像素平面)的内插可以用于提供子像素准确移位。在一些示例中,内插可以是双线性内插。
在一些示例中,累积相位差值410可以被标记为pafdiff(j),从而使得针对每个相移j确定累积相位差值,其中,j∈[j最小移位,j最大移位],诸如,例如j∈[-7,+7]。在一些示例中,针对不同类型的相移(例如,左/右、顶部/底部、对角线、和/或在空间上改变曝光(SVE)传感器的情况下针对多次不同曝光的可选地单独累积相位差值)可以具有累积相位差值410(例如,pafdiff(j))的多个版本。在以下示例中,讨论了左/右移位,然而,所提供的技术可以扩展至其他关系。例如,累积相位差值410(例如,paff(j)))可以被确定为如方程(1)所示:
c=min(pafpixL(x,y),pafpixR(x+j,y)),
c=max(pafpixL(x,y),pafpixR(x+j,y)),
其中,(x,y)可以覆盖ROI内的所有像素坐标,ROI可以是兴趣区域,pafdiff(j)可以是在相移j处的累积相位差值,pafpixL(x,y)可以是在(x,y)处针对左相位自动聚焦图像的相位自动聚焦值,pafpixR(x+j,y)可以是在(x+j,y)处针对右相位自动聚焦图像的相位自动聚焦值,bj可以是左相位自动聚焦图像的像素的相位自动聚焦值与右相位自动聚焦图像的像素的相位自动聚焦值之差,c可以是在(x,y)处左相位自动聚焦图像的相位自动聚焦值和在(x+j,y)处右相位自动聚焦图像的相位自动聚焦值中的最小值,c可以是在(x,y)处左相位自动聚焦图像的相位自动聚焦值和在(x+j,y)处右相位自动聚焦图像的相位自动聚焦值中的最大值,a可以是阈值确定值,pafdiff阈值_低可以是可以根据估计的噪音水平或其他类似信息(所述信息指示动态范围的最黑端不可靠)而设置的低阈值,并且pafdiff阈值_高可以是可以根据传感器饱和、像素浮散、和/或其他因素(所述因素指示动态范围的最亮端不可靠)而设置的高阈值。在其他示例中,如果本地邻域中任何像素的尺寸kx×ky(例如,5×5)超过上限阈值,则可以接收相位像素部件(例如,pafpixL(x,y)和pafpixL(x,y))两者以避免像素浮散或其他串扰的问题。如所讨论的,在一些示例中,根本不使用阈值(例如,移除了计算的a和乘以a)。
如方程(1)所示,可以通过在兴趣区域上对多个乘积进行求和来确定与具体相移相关联的累积相位差值,每个乘积包括所述第一相位自动聚焦图像的像素的相位自动聚焦值与所述第二相位自动聚焦图像的像素的相位自动聚焦值之差与阈值确定值的乘积,所述阈值确定值基于在第一相位自动聚焦图像的像素的相位自动聚焦值和第二相位自动聚焦图像的像素的相位自动聚焦值的基础上的阈值化而为零或一。此外,在零相移处,第一相位自动聚焦图像的像素和第二相位自动聚焦图像的像素包括传感器的像素对。针对其他累积相位差值,第二相位自动聚焦图像的像素相对于第一相位自动聚焦图像的像素被移位所述偏移量。
此外,如方程(1)中所示,第一相位自动聚焦图像的像素的相位自动聚焦值和第二相位自动聚焦图像的像素的相位自动聚焦值中的最大值和最小值可以与低阈值和高阈值进行比较,并且当第一相位自动聚焦图像的像素的相位自动聚焦值和第二相位自动聚焦图像的像素的相位自动聚焦值中的所述最大值不大于高阈值并且第一相位自动聚焦图像的像素的相位自动聚焦值和第二相位自动聚焦图像的像素的相位自动聚焦值的最小值不小于低阈值时,可以将阈值确定值设置为一。否则(例如,当最小值和最大值中的一者或两者小于和/或大于相关阈值时),可以将阈值确定值设置零。
在其他示例中,可以通过在兴趣区域上对多个乘积进行求和来确定与具体相移相关联的累积相位差值,每个乘积包括所述第一相位自动聚焦图像的像素的相位自动聚焦值与所述第二相位自动聚焦图像的像素的相位自动聚焦值之差与阈值确定值的乘积,所述阈值确定值基于在第一相位自动聚焦图像的像素的相位自动聚焦值与第二相位自动聚焦图像的像素的相位自动聚焦值之差的阈值化而为零或一。此外,在零相移处,第一相位自动聚焦图像的像素和第二相位自动聚焦图像的像素包括传感器的像素对。针对其他累积相位差值,第二相位自动聚焦图像的像素相对于第一相位自动聚焦图像的像素被移位所述偏移量。在这种示例中,第一相位自动聚焦图像的像素的相位自动聚焦值与第二相位自动聚焦图像的像素的相位自动聚焦值之差可以与低阈值和高阈值进行比较,并且当第一相位自动聚焦图像的像素的相位自动聚焦值与第二相位自动聚焦图像的像素的相位自动聚焦值之差处于低阈值与高阈值之间时,可以将阈值确定值设置为一,并且当第一相位自动聚焦图像的像素的相位自动聚焦值与第二相位自动聚焦图像的像素的相位自动聚焦值之差不处于低阈值与高阈值之间时,可以将阈值确定值设置为零。
如所讨论的,相移或偏移量j可以是整数值或者其可以是浮点值,在这种情况下,PAF像素平面的内插(例如,双线性内插)可以用于使能子像素准确移位或移位。类似地,相移或偏移量j可以是1(如在示例中)或任何其他整数值。
如关于方程(1)所示的,在一些示例中,一些差值(例如,bj)可以经由阈值化(例如,经由阈值pafdiff阈值_低和pafdiff阈值_高)被拒绝,从而使得阈值确定值a为零。在这种示例中,被拒绝的相位自动聚焦像素对(或者可替代地,当a为一时的接受的相位自动聚焦像素对)可以被统计且针对每个累积相位差值存储在存储器中,并且相关累积差值(例如,针对每个ROI的所有pafdiff(j))可以由对其进行计算所使用的相位自动聚焦像素对的数量来进行归一化。例如,这种归一化可以基于被拒绝的像素对来消除累积相位差值410中的潜在偏置。此外,在其他示例中,可以不执行阈值化(例如,可以不实现阈值确定值a、以及阈值pafdiff阈值_低和pafdiff阈值_高)。在这种示例中,方程(1)中展示的求和可以对bj值进行求和(例如,从而使得pafdiff(j)=SUMx,y(bj))。在这种示例中,如在此进一步讨论的,基于亮度的围绕像素对的可靠性可以基于原始图像的低分辨率表示来估计(例如,使用常规的3A统计网格)并且经由聚焦相移可靠性模块405被应用于可靠性值。
如图4所示,累积相位差值410可以从累积两位差模块402传递至曲线拟合模块403和/或传递至成像设备100的存储器。曲线拟合模块403可以从累积两位差模块402或存储器接收累积相位差值410,并且曲线拟合模块403可以基于累积相位差值410和相关联的相移来进行曲线拟合以便生成拟合曲线(FC)411,诸如累积相位差拟合曲线。例如,当曲线被拟合至那些数据点时,pafdiff(j)的值j∈[j最小移位,j最大移位]可以形成曲线pafdiff_f(x)。
在一些示例中,拟合曲线411可以通过以下各项来生成:确定所述多个累积相位差值410的全局最小值;将函数(诸如二次函数)拟合至所述全局最小值、与所述全局最小值的左边相邻的累积相位差值移位、以及与所述全局最小值的右边相邻的累积相位差值移位;将线性函数拟合在剩余累计相位差值之间;以及通过对曲线函数和线性函数进行组合来生成拟合曲线411。
图6展示了根据本公开的至少一些实现方式安排的示例累积相位差值601和示例相移602的示例图600。如图6所示,全局最小值603可以被确定为累积相位差值601的最小值。例如,全局最小值603可以被确定为如方程(2)所示:
其中,jg最小可以是全局最小值(例如,与累积相位差值601的全局最小值相关联的相移),并且argmin可以提供超过j的patdiff(j)的最小值。
此外,图6展示了曲线函数604可以拟合至全局最小值603、累积相位差值605、以及累积相位差值606。如示出的,累积相位差值605可以被移位成与于全局最小值相邻,从而使得一个相移(例如,-1)远离全局最小值603,并且累积相位差值606可以被移位成与于全局最小值相邻,从而使得一个相移(例如,+1)远离全局最小值603。如示出的,曲线函数604可以从累积相位差值605延伸至累积相位差值606。在所展示的示例中,曲线函数延伸通过全局最小值603;然而,在其他示例中,曲线函数604可以不延伸通过全局最小值603。例如,曲线函数604可以是拟合至patdiff(jg最小-1)、patdiff(jg最小)和patdiff(jg最小+1)的二次函数。
同样如示出的,线性函数(诸如标注的线性函数607、609;为了清楚,并未对所有的线性函数进行标注)可以拟合在累积相位差值605和累积相位差值606与剩余累积相位差值之间。例如,线性函数607可以拟合在累积相位差值606与累积相位差值608之间,线性函数609可以拟合在累积相位差值610与累积相位差值611之间。如示出的,可以对曲线函数604和线性函数(诸如线性函数607、609)进行组合以便生成累积相位差值拟合曲线612。虽然关于二次函数讨论了拟合至全局最小值603、累积相位差值605和累积相位差值606的曲线函数604和其他针对其他累积相位差值的线性函数,但是可以使用其他适当的拟合函数。
图6还展示了聚焦相移613(例如,在具有子像素准确性的像素中测量的被确定为对准相机的焦点的相移)。在一些示例中,聚焦相移613可以被确定为累积相位差值拟合曲线612的最小值。例如,聚焦相移613可以被确定为如方程(3)所示:
其中,pafdiff最小可以是累积相位差值拟合曲线612的最小值,并且argmin可以提供超过x的最小patdiff_f(x),并且如所讨论的,patdiff_f(x)可以提供累积相位差值拟合曲线612。在图6的展示示例中,聚焦相移613可以大约为-0.4个像素。
图7展示了根据本公开的至少一些实现方式安排的示例累积相位差值701和示例相移702的示例图700。如图7所示,全局最小值703可以被确定为累积相位差值702的最小值。例如,可以如在此所讨论的来确定全局最小值703。例如,全局最小值703可以被确定为如以上方程(2)所示。图6还展示了曲线函数704可以拟合至全局最小值703、累积相位差值705、和累积相位差值706。如示出的,累积相位差值705可以被移位成与于全局最小值相邻,从而使得一个相移(例如,-1)远离全局最小值703,并且累积相位差值706可以被移位成与于全局最小值相邻,从而使得一个相移(例如,+1)远离全局最小值603。如示出的,曲线函数704可以从累积相位差值705延伸至累积相位差值706。如关于曲线函数604所讨论的,曲线函数704可以是拟合至patdiff(jg最小-1)、patdiff(jg最小)和patdiff(jg最小+1)的二次函数。
同样如示出的,线性函数(未标注)可以拟合在累积相位差值705和累积相位差值706与剩余累积相位差值701之间。例如,线性函数可以通过使用如关于图6在此讨论的技术而拟合在累积相位差值705和累积相位差值706与剩余累积相位差值701之间。如示出的,可以对曲线函数704和线性函数进行组合以便生成累积相位差值拟合曲线707。图7还展示了聚焦相移708。如关于聚焦相移613所讨论的,聚焦相移708可以被确定为累积相位差值拟合曲线707的最小值。例如,聚焦相移708可以被确定为如以上方程(3)所示。在所展示的示例中,聚焦相移708可以大约为+1.05个像素。
返回至图4,曲线拟合模块403可以将拟合曲线411(例如,累积相位差值拟合曲线)传递至聚焦相移模块404、聚焦相移可靠性模块405、和/或成像设备100的存储器。曲线拟合模块403可以使用任何适当的技术(诸如通过提供与曲线函数和线性函数相关联的系数)来传递411指示实现的函数类型的数据、指示多个移位的数据等。聚焦相移模块404可以从曲线拟合模块403或存储器接收拟合曲线411,并且聚焦相移模块404可以基于拟合曲线411确定聚焦相移(FPS)412。例如,如所讨论的,拟合曲线411可以包括拟合至累积相位差值410的一个或多个函数以及相关联的相移(例如,如关于图6和图7示出的)。所述函数可以包括二次函数和线性函数等。
如在此所讨论的,聚焦相移模块404可以使用任何适当的技术或多种技术(诸如确定拟合曲线411的最小值)来确定聚焦相移412。图6和图7展示了拟合曲线的示例最小值(例如,分别为拟合曲线612的聚焦相移613和拟合曲线707的聚焦相移708)。在一些示例中,可以基于以上讨论的方程(3)来确定拟合曲线411的聚焦相移412。聚焦相移模块404可以将聚焦相移412传递至图像处理和自动聚焦模块401和/或成像设备100的存储器。
如图4所示,聚焦相移可靠性模块405(所述聚焦相移可靠性模块还可以表征为置信模块等)可以从曲线拟合模块403或存储器接收拟合曲线411,并且聚焦相移可靠性模块405可以生成可靠性值(RV)413。例如,聚焦相移可靠性模块405可以通过分析拟合曲线411(例如,源于针对不同的相移量生成累积相位差值并将曲线拟合到那个数据上的拟合曲线)来估计或确定聚焦相移412的置信度或可靠性(例如,提供聚焦所估计的相位差信息)。在一些示例中,聚焦相移可靠性模块405还可以从图像处理和自动聚焦模块401或存储器接收信噪比数据414,并且聚焦相移可靠性模块405可以基于拟合曲线411和信噪比数据414生成可靠性值413。同样,在一些示例中,聚焦相移可靠性模块405可以生成或接收数据或对兴趣区域中围绕像素对的基于亮度的可靠性的度量。在其他示例中,聚焦相移可靠性模块405可以仅基于拟合曲线411生成可靠性值413。
聚焦相移可靠性模块404可以使用任何适当的技术或多种技术来确定可靠性值413。在一些示例中,聚焦相移可靠性模块405可以基于累积相位差值拟合曲线411生成与累积相位差值410的聚焦相移412相关联的可靠性值413。在一些示例中,可靠性值413可以通过以下各项生成:确定与累积相位差值拟合曲线411相关联的一次或多次测量和与所述测量相关联的一个或多个权重;以及基于所述一次或多次测量和所述一个或多个权重来生成可靠性值413。例如,可靠性值413可以通过以下各项生成:确定测量和权重中的每一测量和权重的值,所述值包括一减去所述权重加上权重和测量的乘积;以及在所述多个生成的值上求乘积以便确定可靠性值413。在一些示例中,聚焦相移可靠性模块405可以确定如方程(4)中示出的可靠性值413:
其中,pafdiff置信度可以是可靠性值,i可以是计数器变量,n可以是所使用的测量和相关联的权重的次数,c可以是权重,并且m可以是测量。例如,权重c可以是将测量m的相对贡献实现到可靠性值413的[0∶1]范围中的相对权重。此外,在一些示例中,虽然可以使用任何适当的范围,但是测量m也可以处于[0∶1]的范围中。在一些示例中,可靠性值413可以处于0与1之间的范围,从而使得值0指示聚焦相移412完全可靠,并且值1指示聚焦相移412的完全置信度。在一些示例中,权重c可以是预定权重。在一些示例中,权重c可以基于其现有知识对可靠性值的影响而被预先确定。
如所讨论的,一次或多次测量以及相关联的权重可以用于确定可靠性值413。在实施例中,如以下讨论的,可以使用五次测量以及相关联的权重。在这种示例中,方程(4)可以被重写为如方程(5)所示:
pafdiff置信度=((1-c范围)+c范围*m范围)*((1-cDSC)+cDSC*mDSC)*((1-c对称性)+c对称性*m对称性)*((1-cSoP)+cSoP*mSoP)*((1-cSNR)+cSNR*mSNR),
(5)
其中,c范围可以是与m范围相关联的权重,m范围可以是对如以下进一步讨论的拟合曲线411的动态范围的度量,cDSC可以是与mDSC相关联的权重,mDSC可以是对如以下进一步讨论的拟合曲线411的导数的符号变化的数量的度量,c对称性可以是与m对称性相关联的权重,m对称性可以是对如以下进一步讨论的拟合曲线411的左侧与右侧之间的对称性的度量,cSoP可以是与mSoP相关联的权重,mSoP可以是对如以下进一步讨论的驻留在拟合曲线411的全局最小值处的波谷的锐度测量,cSNR可以是与mSNR相关联的权重,并且mSNR可以是对兴趣区域409中的信噪比的度量(例如,基于信噪比数据414)。
如所讨论的,在一些示例中,拟合曲线411的动态范围的度量(以及相关联的权重)可以用于确定可靠性值413。可以使用任何适当的动态范围测量。在一些示例中,动态范围可以被确定为如方程(6)所示:
pafdiff最大_右=max(pafdiff_f(x)),x∈[jg最小,j最大移位]
pafdiff最大_左=max(pafdiff_f(x)),x∈[j最小移位,jg最小]
其中,m范围可以是对动态范围的度量,K范围e可以是动态范围增益(例如,预定值),pafdiff最大_右可以是拟合曲线411的右侧最大值,pafdiff最大_左可以是拟合曲线411的左侧最大值,patdiff_f(x)可以是超过x的拟合曲线411,jg最小可以是全局最小值,j最大移位可以是最大移位(例如,向右最远移位),j最小移位可以是最小移位(例如,向左最远移位),并且pafdiff最小可以是如以上关于方程(3)讨论的拟合曲线411的最小值。如所讨论的,K范围可以是预定的动态范围增益。K范围可以是任何适当的值,诸如在2至6的范围中的值等。在实施例中,K范围为4。
如所讨论的,在一些示例中,拟合曲线411的导数的符号变化的数量的度量(以及相关联的权重)可以用于确定可靠性值413。例如,具有锯齿状或起伏状的拟合曲线可以提供不可靠聚焦相移,因为不清楚哪个匹配与最佳聚焦相关联。任何适当的技术或多种技术可以用于测量拟合曲线411的导数的符号变化的数量。在一些示例中,可以确定拟合曲线的导数(例如,d/dx(patdiff_f(x))),并且可以统计导数的符号变化的数量。
如所讨论的,在一些示例中,拟合曲线411的左侧与右侧之间的对称性测量(以及相关联的权重)可以用于确定可靠性值413。可以使用拟合曲线411的任何适当的对称性测量。在一些示例中,对称性测量可以被确定为如方程(7)所示:
其中,m对称性可以是对称性测量,s可以是远离用于确定对称性测量的拟合曲线411的最小值的两侧的步数(例如,通常大约3或4),并且K对称性可以是对称性测量的增益。K对称性可以是任何适当的增益值。例如,K对称性可以在大约1至2的范围中。在实施例中,K对称性为1.33。例如,针对完全对称的拟合曲线411,m对称性具有值1,并且当拟合曲线411变得更不对称时,m对称性达到0。
如所讨论的,在一些示例中,驻留在拟合曲线411的全局最小值处的波谷的锐度测量(以及相关联的权重)可以用于确定可靠性值413。例如,基本上V形可以比更平坦的形状提供对聚焦相移更可靠的估计。可以使用驻留在拟合曲线411的全局最小值处的任何适当的锐度测量。
在一些示例中,锐度测量可以被确定为如方程(8)所示:
其中,mSoP可以是锐度测量,步长SoP可以是从pafdiff最小的最小位置的相移步,并且KSoP可以是锐度测量的增益。KSoP可以是任何适当的增益值。例如,KSoP可以在大约5至9的范围中。在实施例中,KSoP为7。例如,锐度和显著的峰值可以提供锐度测量方式1,并且较浅或平坦的峰值可以提供锐度测量方式0。
此外,在一些示例中,兴趣区域409的信噪比的测量mSNR(以及相关联的权重CSNR)可以用于确定可靠性值413。在一些示例中,可以从图像处理和自动聚焦模块401接收对兴趣区域409的信噪比的测量。在其他示例中,可以从图像处理和自动聚焦模块401接收与兴趣区域409的信噪比相关联的原始数据,并且聚焦相移可靠性模块405可以确定对兴趣区域409的信噪比的测量。在一些示例中,信噪比可以被归一化或者提供有增益等,从而使得其处于大约0至1的范围中。在一些示例中,针对兴趣区域409,信噪比测量可以与模拟增益、镜头阴影校正(LSC)增益、数字增益、传感器上增益、其他增益、或信号电平等相关联。
同样,如关于方程(1)讨论的,在一些示例中,可以不执行阈值化(例如,可以不实现阈值确定值a以及阈值pafdiff阈值_低和pafdiff阈值_高),并且上述在方程(1)中示出的求和可以对bj值进行求和(例如,从而使得pafdiff(j)=SUMx,y(bj))。在这种示例中,如在此进一步讨论的,基于亮度的围绕像素对的可靠性可以基于原始图像的低分辨率表示或版本被估计(例如,使用常规的3A统计网格)并且经由聚焦相移可靠性模块405被应用于可靠性值。在一些示例中,聚焦相移可靠性模块405可以添加附加术语或多个附加术语,诸如与基于亮度的围绕像素对的区域的可靠性相关联的测量和权重(例如,平均测量等)。例如,测量mrel_亮度和相关联的权重C可靠性_亮度可以经由方程(4)被实现,从而使得m可靠性_亮度可以是对基于亮度的可靠性的度量(诸如针对兴趣区域或其他测量的基于亮度的平均可靠性),并且C可靠性_亮度可以是相关联的权重。在一些示例中,聚焦相移可靠性模块405可以基于亮度从图像处理和自动聚焦模块401接收对可靠性的度量,并且在其他示例中,聚焦相移可靠性模块405可以基于PAF图像408等确定基于亮度的可靠性的度量。
权重c可以是对测量m的相对贡献进行修改的任何适当的值。在一些示例中,权重CDSC(例如,与mDSC相关联的权重、对拟合曲线的导数的符号变化的数量测量)可以承载最大的权重,权重c范围(例如,与m范围相关联的权重、对拟合曲线的动态范围的度量)可以承载第二最大的权重,并且所述使用的任何其他测量可以承载更少的权重。如所讨论的,可以对权重进行修改以改变与权重相关联的测量的相对优先级。
如所讨论的,与拟合至累积相位差值的拟合曲线相关联的一次或多次测量可以用于确定与聚焦相移相关联的可靠性值。例如,图6展示了可以提供基本上高的可靠性值的示例累积相位差值拟合曲线612,而图7展示了可以提供基本上低的可靠性值的示例累积相位差值拟合曲线707。例如,如所示的,与拟合曲线707相比,拟合曲线612可以提供更大的对称性,拟合曲线612的导数可以提供比拟合曲线707的导数更少的符号变化(例如,拟合曲线707的右侧可以于若干个点处在正斜率与负斜率之间发生变化),并且与拟合曲线707相比,拟合曲线612可以提供更大的动态范围(例如,针对大约1.05×104的差,拟合曲线612具有大于2.1×104的最大值和大约1.05×104的最小值,并且针对大约0.037×104的差,拟合曲线707具有大约3.486×104的最大值和和大约3.449×104的最小值)。此外,围绕聚焦相移613的波谷的锐度可以大于围绕聚焦相移707的波谷的锐度(例如,在此注意图6与图7之间的比例差异)。因此,与聚焦相移613相关联的所产生的可靠性值可以基本上大于与聚焦相移613相关联的所产生的可靠性值。
如所讨论的,可以基于拟合曲线来确定与聚焦相移相关联的可靠性值。例如,可以生成这一可靠性值,而无需可以是计算密集且潜在慢速的边缘检测、方差或类似技术。例如,边缘检测、方差、或类似技术可以将平坦的图像区域与具有边缘或纹理信息的区域分开,并且相位自动聚焦在平坦的图像区域中可能被视为不可靠;然而,如所讨论的,这种技术对于一些图像可能是慢速的且不可靠。
返回至图4,如示出的,图像处理和自动聚焦模块401可以分别接收或者从成像设备100的存储器接收聚焦相移412和可靠性值413聚焦相移模块404以及聚焦相移可靠性模块405。图像处理和自动聚焦模块401可以基于聚焦相移412和可靠性值413确定自动聚焦(AF)数据415。例如,自动聚焦数据415可以包括镜头位置移位、更新后的镜头位置、或用于驱动镜头的多个镜头电机单元等。在示例中,可以基于聚焦相移经由通过图像处理和自动聚焦模块401实现的查找表来确定多个镜头电机单元。例如,图像处理和自动聚焦模块401可以向聚焦驱动器406提供自动聚焦数据415,所述聚焦驱动器可以通过调整成像设备100的镜头位置等对成像设备100进行聚焦。
如所讨论的,图像处理和自动聚焦模块401可以基于聚焦相移412和可靠性值413确定自动聚焦数据415。例如,当可靠性值413高时,图像处理和自动聚焦模块401可以提供基于或等于聚焦相移412的自动聚焦数据415。例如,可靠性值413可以与阈值进行比较,并且基于所述比较,图像处理和自动聚焦模块401可以提供基于或等于聚焦相移412的自动聚焦数据415。例如,如果可靠性值413大于阈值,则自动聚焦数据415可以基于或等于聚焦相移412。阈值可以是任何适当的阈值,诸如预先确定的阈值或启发式确定的阈值等。在示例中,当可靠性值处于0至1的范围中时,阈值可以是0.3、0.5、0.6、或0.8等。如果可靠性值413小于阈值(或小于等于阈值),则图像处理和自动聚焦模块401可以在基于对比度的自动聚焦的基础上执行自动聚焦。例如,图像处理和自动聚焦模块401可以基于经由基于对比度的自动聚焦模块(未示出)等对基于对比度的自动聚焦的实现来生成自动聚焦数据415。
在一些示例中,可以实现场景的多于一个的兴趣区域。在这种示例中,可以生成多个聚焦相移和多个相关联的可靠性值。在示例中,可以对不同兴趣区域的可靠性值进行比较,并且图像处理和自动聚焦模块401可以确定基于或等于聚焦相移的自动聚焦数据415,所述聚焦相移与具有最大可靠性值或阈值之上的可靠性值等相关联。在示例中,自动聚焦数据415可以是与阈值之上的可靠性值相关联的聚焦相移的平均值。
如所讨论的,在一些示例中,阈值可以用于经由图像处理和自动聚焦模块401来判定是否使用聚焦相移412或基于对比度的自动聚焦等。在其他示例中,多个阈值或元素可以用于做出这种判定。例如,可以基于权重决定等对在此讨论的测量分布进行估计以便作出这种判定。此外,在一些示例中,图像处理和自动聚焦模块401可以判定是否使用聚焦相移412或基于对比度的自动聚焦。在其他示例中,图像处理和自动聚焦模块401可以基于可靠性值413和/或再次讨论的测量对聚焦相移412进行修改。例如,如果可靠性值413相对低,则可以减小聚焦相移值412,并且可以从新镜头位置再次执行所讨论的技术。例如,如果可靠性值413相对低,则可以减小一次自动聚焦迭代中镜头运动的步长。例如,如果高或相对高的可靠性将会导致使得镜头移动X单元,则相对低的可靠性可能导致使得所述镜头仅移动X的一部分。
在一些示例中,在此讨论的技术可以允许混合的基于相位和对比度的自动聚焦。此外,在此讨论的技术可以在成像设备方面提供经改进的图像质量和经改进的视频质量。
图8是展示根据本公开的至少一些实现方式安排的用于提供自动聚焦的示例过程800的流程图。如图8所展示的,过程800可以包括一个或多个操作801-804。过程800可以形成自动聚焦过程的至少一部分。通过非限制性示例,针对如在此所讨论的成像设备100,过程800可以形成自动聚焦过程的至少一部分。而且,在此将参考图9的系统900描述过程800。
图9是根据本公开的至少一些实现方式安排的用于提供自动聚焦的示例系统900的示意图。如图9所示,系统900可以包括一个或多个中央处理单元(CPU)901、图形处理单元(GPU)902、以及存储器存储设备903。还如所示的,CPU 901可以包括图像处理和自动聚焦模块401、累积相位差模块402、曲线拟合模块403、聚焦相移模块404、以及聚焦相移可靠性模块405。在系统900的示例中,存储器存储设备903可以存储图像内容(诸如捕获的图像(或图像帧)(例如,图像或相位自动聚焦图像)或图像相关的数据(诸如经由成像流水线和/或系统或模块生成的图像数据(诸如测量和权重)))、聚焦相移、可靠性值、累积相位差兴趣区域、拟合曲线数据、信噪比数据、或如在此所讨论的其他数据。
如所示的,在一些示例中,可以经由中央处理单元901来实现图像处理和自动聚焦模块401、累积相位差模块402、曲线拟合模块403、聚焦相移模块404、以及聚焦相移可靠性模块405。在其他示例中,可以经由图形处理单元902来实现图像处理和自动聚焦模块401、累积相位差模块402、曲线拟合模块403、聚焦相移模块404、以及聚焦相移可靠性模块405中的一项或多项。在其他示例中,可以经由成像流水线和/或图像信号处理器等来实现图像处理和自动聚焦模块401、累积相位差模块402、曲线拟合模块403、聚焦相移模块404、以及聚焦相移可靠性模块405中的一项或多项。此外,系统800可以包括经由中央处理单元901和/或图形处理单元902实现的传感器200、聚焦驱动器406、或如在此所讨论的任何其他模块或设备。
图像处理单元902可以包括任意数量和类型的图像处理单元,这些图形处理单元可以提供如在此所讨论的操作。这些操作可以经由软件或硬件或其组合来实现。例如,图形处理单元902可以包括专门用于操纵从存储器存储设备903获得的图像的电路。如在此所讨论的,中央处理单元901可以包括任意数量和类型的处理单元或模块,这些处理单元或模块可以为系统900提供控制以及其他高级别的功能和/或提供任何操作。存储器存储设备903可以是任意类型的存储器,如易失性存储器(例如,静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)等)或非易失性存储器(例如,闪存等)等等。在非限制性示例中,存储器存储设备903可以由缓存存储器实现。在实施例中,可以经由图形处理单元902的执行单元(EU)实现图像处理和自动聚焦模块401、累积相位差模块402、曲线拟合模块403、聚焦相移模块404、以及聚焦相移可靠性模块405(或在此讨论的其他模块)中的一个或多个模块。EU可以包括例如可编程逻辑或电路,如可以提供广泛的可编程逻辑功能阵列的一个或多个逻辑核。在实施例中,可以经由专用硬件(如固定功能电路等)实现图像处理和自动聚焦模块401、累积相位差模块402、曲线拟合模块403、聚焦相移模块404、以及聚焦相移可靠性模块405(或在此讨论的其他模块)中的一个或多个模块。固定功能电路可以包括专用逻辑或电路并且可以提供固定功能入口点的集合,所述集合可以映射到针对固定目的或功能的专用逻辑。
返回至对图8的讨论,过程800可以在操作801(“针对场景的兴趣区域确定与相位自动聚焦图像的相移相关联的累积相位差值”)处开始,其中,针对场景的兴趣区域,可以确定与第一相位自动聚焦图像和第二相位自动聚焦图像的多个相移相关联的多个累积相位差值。例如,如经由CPU 901或其他电路实现的累积相位差模块402可以基于相位自动聚焦图像408(例如,如经由传感器200获得的)来确定相关联的相移(诸如相移602、702)的累积相位差值410、601、或701。例如,累积相位差值可以基于如在此所讨论的方程(1)被确定。
处理可以在操作802(“基于累积相位差值和相移来进行曲线拟合以便生成累积相位差值拟合曲线”)处继续,其中,可以基于所述多个累积相位差值和所述多个相移来进行曲线拟合以便生成累积相位差值拟合曲线。例如,如经由CPU 901或其他电路实现的曲线拟合模块403可以基于累积相位差值410、601、或701和相关联的相移来进行曲线拟合以便生成累积相位差值拟合曲线411、612、或707。例如,曲线拟合模块403可以通过以下各项生成拟合曲线:确定累积相位差值的全局最小值;将函数(诸如二次函数)拟合至所述全局最小值和两个相邻的累积相位差值(例如,所述全局最小值的每一侧上一个累积相位差值);将线性函数拟合至剩余累积相位差值;以及基于所述曲线函数和线性函数来生成累积相位差值拟合曲线(例如,通过对其进行组合)。
处理可以在操作803(“基于累积相位差值拟合曲线来生成与聚焦相移相关联的可靠性值”)处继续,其中,可以至少部分地基于累积相位差值拟合曲线而生成与所述多个累积相位差值和所述多个相移的聚焦相移相关联的可靠性值。例如,如经由CPU 901或其他电路实现的聚焦相移模块404可以生成聚焦相移(诸如聚焦相移412、613、或708)作为累积相位差值拟合曲线的最小值。此外,例如,如关于以上方程(4)讨论的,如经由CPU 901或其他电路实现的聚焦相移可靠性模块405可以基于可靠性值拟合曲线通过以下各项来生成所述值413:确定与累积相位差值拟合曲线相关联的测量以及权重测量;以及确定可靠性值413。例如,所述多次测量可以包括以下各项中的至少一项:对所述累积相位差值拟合曲线的动态范围的度量、对所述累积相位差值拟合曲线的符号变化的度量、对所述累积相位差值拟合曲线的对称性的度量、对围绕所述多个累积相位差值的全局最小值的波谷的锐度的度量、或者对兴趣区域的信噪比的度量。
处理可以在操作804(“部分地基于可靠性值对成像设备进行聚焦”)处继续,其中,所述成像设备可以至少部分地基于所述可靠性值提供聚焦。例如,如在此所讨论的,图像设备可以基于聚焦相移和可靠性值提供聚焦。例如,如在此所讨论的,如经由CPU 901或其他电路实现的图像处理和自动聚焦模块401可以判定是否基于聚焦相移(诸如聚焦相移412、613、或708)而使用相位自动聚焦(例如,当可靠性值413或相关联的测量指示高可靠性时)、或者使用基于对比度的自动聚焦(例如,当可靠性值413或相关联的测量指示低可靠性时)或其他聚焦技术。如在此所讨论的,当成像设备100使用相位自动聚焦时,聚焦可以基于聚焦相移412、613、或708等,从而使得可以基于聚焦相移确定镜头位置或运动。在一些示例中,如在此所讨论的,系统900可以经由聚焦驱动器406实现由图像处理和自动聚焦模块401提供的聚焦数据。
可以针对经由成像设备100的用户实现的任意数量的曝光串行地或者并行地重复过程800任意次数。而且,可以在经由成像设备100的用户实现单次曝光的过程中串行地或者并行地重复过程800任意次数。例如,在基于过程800提供自动聚焦之后,或者当在此的场景或对象可能已经发生改变时,成像设备100可以从新镜头位置重复过程800以便获得甚至更好的聚焦。例如,可以基本上连续执行此过程直到用户已经采取曝光。如所讨论的,过程800可以提供与相位自动聚焦移位(例如,聚焦相移、在具有子像素准确性的像素中测量的对准相机的焦点的相移)相关联的可靠性值,从而使得针对具有高可靠性值的曝光,可以实现更快速的相位自动聚焦,并且针对具有低可靠性值的曝光,可以使用基于对比度的自动聚焦。这种混合自动聚焦可以为成像设备100的用户提供经改进的自动聚焦能力。
在此描述的系统的各种组件可以用软件、固件、和/或硬件和/或其任意组合来实现。例如,成像设备100、系统400、系统1000或设备1100的各组件可以至少部分地由如可以在计算系统(诸如,例如,智能电话)中找到的计算片上系统(SoC)的硬件来提供。本领域技术人员可以认识到,在此描述的系统可以包括尚未在相应附图中描绘的附加组件。例如,在此讨论的系统可以包括为了清楚起见尚未被描绘的附加组件,诸如比特流复用器或解复用器模块等。
虽然在此讨论的示例过程的实现方式可以包括按所展示的顺序采取示出的所有操作,但是本公开并不限于这个方面,并且在各个示例中,此处的示例过程的实现方式可以仅包括所示操作的子集、以与所展示的顺序不同的顺序执行的操作、或附加操作。
另外,在此讨论的操作中的任何一个或多个操作可以响应于由一个或多个计算机程序产品提供的指令而被采取。这类程序产品可以包括提供指令的信号承载介质,当指令由例如处理器执行时可以提供在此描述的功能。计算机程序产品可以以一个或多个机器可读介质的任何形式被提供。因此,例如,包括一个或多个图形处理单元或处理器核的处理器可以响应于由一个或多个机器可读介质传达给处理器的程序代码和/或指令或指令集而采取此处的示例过程的块中的一个或多个块。通常,机器可读介质可以以程序代码和/或指令或指令集的形式传达软件,这些程序编码和指令集可以使在此描述的设备和/或系统中的任意一者实现成像设备100、系统400、系统1000或设备1100的至少多个部分、或者如在此所讨论的任何其他模块或组件。
如在此描述的任何实现方式中所使用的,术语“模块”指被配置成用于提供在此所描述的功能的软件逻辑、固件逻辑、硬件逻辑和/或电路的任意组合。软件可以具体化为软件包、代码和/或指令集或指令,并且如在此描述的任何实现方式中所使用的,“硬件”可以例如单独地或以任何组合包括硬连线电路、可编程电路、状态机电路、固定功能电路、执行单元电路和/或存储由可编程电路执行的指令的固件。这些模块可以统一地或单独地具体化为形成例如,集成电路(IC)、片上系统(SoC)等的较大系统的一部分的电路。
图10是根据本公开的至少一些实现方式安排的示例系统1000的示意图。在各实现方式中,尽管系统1000不限于此上下文,但系统1000可以是媒体系统。例如,系统1000可以并入个人计算机(PC)、膝上计算机、超级膝上计算机、平板机、触摸板、便携式计算机、手持式计算机、掌上型计算机、个人数字助理(PDA)、蜂窝电话、组合式蜂窝电话/PDA、电视、智能设备(例如,智能电话、智能平板机或智能电视)、移动互联网设备(MID)、消息设备、数据通信设备、相机(例如,自动对焦相机、超级变焦相机、数码单镜头反光(DSLR)相机)等。
在各实现方式中,系统1000包括耦合至显示器1020的平台1002。平台1002可以从内容设备(诸如(多个)内容服务设备1030或(多个)内容传递设备1040或者其他类似内容源)接收内容。包括一个或多个导航特征的导航控制器1050可以用于例如与平台1002和/或显示器1020进行交互。以下更详细地描述这些组件中的每一个组件。
在各实现方式中,平台1002可以包括芯片组1005、处理器1010、存储器1012、天线1013、存储设备1014、图形子系统1015、应用1016和/或无线电1018的任意组合。芯片组1005可以在处理器1010、存储器1012、存储设备1014、图形子系统1015、应用1016和/或无线电1018之中提供相互通信。例如,芯片组1005可以包括能够提供与存储设备1014的相互通信的存储器适配器(未描绘)。
处理器1010可以被实现为复杂指令集计算机(CISC)或精简指令集计算机(RISC)处理器、x86指令集兼容处理器、多核处理器、或任何其他微处理器或中央处理器单元(CPU)。在各实现方式中,处理器1010可以是(多个)双核处理器、(多个)双核移动处理器等。
存储器1012可以被实现为易失性存储设备,如但不限于随机存取存储器(RAM)、动态随机存取存储器(DRAM)、或静态RAM(SRAM)。
存储设备1014可以被实现为非易失性存储设备,如但不限于磁盘驱动器、光盘驱动器、磁带驱动器、内部存储设备、附属存储设备、闪存、电池应急SDRAM(同步DRAM)和/或网络可接入的存储设备。在各实现方式中,存储设备1014可以包括用于当例如包括多个硬盘驱动器时增加对有价值的数字媒体的存储性能增强型保护的技术。
图形子系统1015可以执行对诸如用于显示的静态或视频图像的处理。例如,图形子系统1015可以是图形处理单元(GPU)或视觉处理单元(VPU)。可以使用模拟或数字接口来通信地耦合图形子系统1015与显示器1020。例如,接口可以是高清多媒体接口、显示端口、无线HDMI、和/或符合无线HD技术中的任何一个接口。图形子系统1015可以集成到处理器1010或芯片组1005中。在一些实现方式中,图形子系统1015可以是通信地耦合至芯片组1005的独立设备。
在此描述的图形和/或视频处理技术可以用各种硬件架构实现。例如,图形和/或视频功能可以集成到芯片组中。可替代地,可以使用离散图形和/或视频处理器。如又另一种实现方式,图形和/或视频功能可以由通用处理器(包括多核处理器)来提供。在进一步的实施例中,所述功能可以在消费电子设备中实现。
无线电1018可以包括能够使用各种适当的无线通信技术发射并接收信号的一个或多个无线电。这类技术可以涉及跨一个或多个无线网络的通信。示例无线网络包括(但不限于)无线局域网(WLAN)、无线个人局域网(WPAN)、无线城域网(WMAN)、蜂窝网和卫星网。在跨这类网络进行通信时,无线电1018可以根据任何版本中的一个或多个可适用标准进行操作。
在各实现方式中,显示器1020可以包括任何电视机类型的监测器或显示器。显示器1020可以包括例如,计算机显示屏、触摸屏显示器、视频监视器、类似电视机的设备和/或电视机。显示器1020可以是数字的和/或模拟的。在各实现方式中,显示器1020可以是全息显示器。同样,显示器1020可以是可以接收视觉投影的透明表面。这种投影可以传达各种形式的信息、图像和/或对象。例如,这种投影可以是针对移动增强现实(MAR)应用的视觉叠加。在一个或多个软件应用1016的控制下,平台1002可以在显示器1020上显示用户界面1022。
在各实现方式中,(多个)内容服务设备1030可以由任何国家的、国际的和/或独立的服务托管,并因此例如经由互联网可接入平台1002。(多个)内容服务设备1030可以耦合至平台1002和/或至显示器1020。平台1002和/或(多个)内容服务设备1030可以耦合至网络1060以便将媒体信息传达至网络1060或从网络传达(例如,发送和/或接收)。(多个)内容传递设备1040也可以耦合至平台1002和/或至显示器1020。
在各实现方式中,(多个)内容服务设备1030可以包括有线电视盒、个人计算机、网络、电话、能够传递数字信息和/或内容的支持互联网的设备或电器、以及能够在内容提供方与平台1002和/或显示器1020之间经由网络1060或直接地单向或双向传达内容的任何其他类似设备。将认识到,内容可以经由网络1060被单向地和/或双向地传达到系统1000中的组件中的任何一个组件和内容提供方且从系统中的组件中的任何一个组件和内容提供方被传达。内容的示例可以包括任何媒体信息,包括例如视频、音乐、医疗和游戏信息等。
(多个)内容服务设备1030可以接收如包括媒体信息、数字信息和/或其他内容的有线电视节目的内容。内容提供方的示例可以包括任何有线或卫星电视或无线电或互联网内容提供方。所提供的示例不旨在以任何方式限制根据本公开的实现方式。
在各实现方式中,平台1002可以从具有一个或多个导航特征的导航控制器1050中接收控制信号。控制器1050的导航特征可以用于例如与用户界面1022进行交互。在各实施例中,导航控制器1050可以是定点设备,所述定点设备可以是允许用户输入空间(例如,连续的和多维的)数据到计算机的计算机硬件组件(特别是人机接口设备)。诸如图形用户界面(GUI)、和电视机以及监视器的许多系统允许用户使用物理姿势来控制计算机或电视机并向计算机或电视机提供数据。
可以通过指针、光标、聚焦环或在显示器上显示的其他视觉指示器的移动在显示器(例如,显示器1020)上复制控制器1050的导航特征的移动。例如,在软件应用1016的控制下,位于导航控制器1050上的导航特征可以例如被映射至用户界面1022上显示的虚拟导航特征。在各实施例中,控制器1050可以不是独立组件但可以集成在平台1002和/或显示器1020内。然而,本公开不限于在此示出或描述的元素或上下文。
在各实现方式中,驱动器(未示出)可以包括使用户能够通过例如在初始引导后启动的按钮的触摸立刻打开和关闭类似电视机的平台1002的技术。即使当平台被“关闭”时,程序逻辑可以允许平台1002将内容流入到媒体适配器或一个或多个其他内容服务设备1030或一个或多个内容交付设备1040。此外,芯片组1005可以包括支持例如5.1环绕声音频和/或高清7.1环绕声音频的硬件和/或软件。驱动器可以包括用于集成图形平台的图形驱动器。在各实施例中,图形驱动器可以包括外围组件互连(PCI)快速图形卡。
在各实现方式中,系统1000中示出的组件中的任何一个或多个组件可以是集成的。例如,平台1002和(多个)内容服务设备1030可以是集成的,或者平台1002和(多个)内容传递设备1040可以是集成的,或者平台1002、(多个)内容服务设备1030和(多个)内容传递设备1040可以例如是集成的。在各实施例中,平台1002和显示器1020可以是集成单元。例如,显示器1020和(多个)内容服务设备1030可以是集成的,或者显示器1020和(多个)内容传递设备1040可以是集成的。这些示例并不意在限制本公开。
在各实施例中,系统1000可以被实现为无线系统、有线系统、或二者的组合。当被实现为无线系统时,系统1000可以包括适用于时间段、背景噪音、舒适噪音、声调等的组件和接口。无线共享介质的示例可以包括无线频谱部分,如RF频谱等。当被实现为有线系统时,系统1000可以包括适用于通过有线通信介质(如输入/输出(I/O)适配器、利用相应有线通信介质连接I/O适配器的物理连接器、网络接口卡(NIC)、光盘控制器、视频控制器、音频控制器等)进行通信的组件和接口。有线通信介质的示例可以包括导线、电缆、金属引线、印刷电路板(PCB)、背板、交换光纤、半导体材料、双绞线、同轴电缆、光纤等。
平台1002可以建立一个或多个逻辑或物理信道以传达信息。所述信息可以包括媒体信息和控制信息。媒体信息可以指表示针对用户的内容的任何数据。内容的示例可以包括例如,来自语音对话、视频会议、流媒体视频、电子邮件(“email”)消息、语音邮件消息、字母数字符号、图形、图像、视频、文字等的数据。来自语音对话的数据可以是例如,语音信息、静默时间段、背景噪音、舒适噪音、声调等。控制信息可以指表示针对自动化系统的命令、指令或控制字的任何数据。例如,控制信息可以用于通过系统路由媒体信息、或者指示节点以预定方式处理所述媒体信息。然而,各实施例并不限于图10中示出或描述的元素或上下文。
如上所述,系统1000可以用变化的物理风格或形成因子来体现。图11展示了可以用其具体化系统1000的小形成因子设备1100的实现方式。在各实施例中,例如,设备1100可以被实现为具有无线能力的移动计算设备。例如,移动计算设备可以指具有处理系统和移动电源或电源(诸如一个或多个电池)的任何设备。
如上所述,移动计算设备的示例可以包括个人计算机(PC)、膝上计算机、超级膝上计算机、平板计算机、触摸板、便携式计算机、手持式计算机、掌上型计算机、个人数字助理(PDA)、蜂窝电话、组合式蜂窝电话/PDA、电视、智能设备(例如,智能电话、智能平板计算机或智能电视)、移动互联网设备(MID)、消息设备、数据通信设备、相机(例如,自动对焦相机、超级变焦相机、数码单镜头反光(DSLR)相机)等。
移动计算设备的示例还可以包括被安排以由人穿戴的计算机,诸如手腕计算机、手指计算机、戒指计算机、眼镜计算机、皮带夹计算机、臂带计算机、鞋计算机、服装计算机、以及其他可穿戴计算机。在各实施例中,例如移动计算设备可以被实现为能够执行计算机应用、以及语音通信和/或数据通信的智能电话。举例来讲,尽管一些实施例可以用被实现为智能电话的移动计算设备来描述,但可以理解的是,其他实施例也可以使用其他无线移动计算设备来实现。实施例并不限于本上下文中。
如图11所示,设备1100可以包括外壳1102、显示器1104、输入/输出(I/O)设备1106、和天线1108。设备1100还可以包括导航特征1112。显示器1104可以包括适合于移动计算设备的用于显示信息的任何适当的显示单元。I/O设备1106可以包括用于将信息输入移动计算设备中的任何适当的I/O设备。I/O设备1106的示例可以包括:字母数字键盘、数字小键盘、触摸板、输入键、按钮、开关、摇杆式开关、麦克风、扬声器、语音识别设备和软件等。信息也可以通过麦克风(未示出)输入到设备1100中。这种信息可以由语音识别设备(未示出)数字化。实施例并不限于本上下文中。
可以使用硬件元件、软件元件、或两者的组合来实现各实施例。硬件元件的示例可以包括:处理器、微处理器、电路、电路元件(例如,晶体管、电阻器、电容器、电感器等等)、集成电路、专用集成电路(ASIC)、可编程逻辑器件(PLD)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、逻辑门、寄存器、半导体器件、芯片、微芯片、芯片组等等。软件的示例可以包括:软件组件、程序、应用、计算机程序、应用程序、系统程序、机器程序、操作系统软件、中间件、固件、软件模块、例程、子例程、函数、方法、过程、软件接口、应用程序接口(API)、指令集、计算代码、计算机代码、代码段、计算机代码段、字、值、符号、或其任意组合。判定是否使用硬件元件和/或软件元件来实现实施例可以根据任意数量的因子而变化,如预期的计算速率、功率电平、耐热性、处理周期预算、输入数据速率、输出数据速率、存储器资源、数据总线速度以及其他设计或性能约束。
可以由机器可读介质上所存储的表属性指令实现至少一个实施例的一个或多个方面,所述指令代表处理器内的各种逻辑,当被机器读取时所述指令使所述机器制作用于执行在此所描述的技术的逻辑。此类表示(称为“IP核”)可以被存储在有形的机器可读介质上并提供给各顾客或制造设施以加载至实际制作所述逻辑或处理器的制作机器中。
虽然已经参照各实现方式描述了在此阐述的某些特征,但并不打算在限制性意义上解释本说明书。因此,本公开涉及的对本领域技术人员而言明显的对在此描述的实现方式以及其他实现方式的各种修改被视为是在本公开的精神和范围内。
在一个或多个第一实施例中,一种用于为成像设备提供自动聚焦的方法包括:针对场景的兴趣区域确定与第一相位自动聚焦图像和第二相位自动聚焦图像的多个相移相关联的多个累积相位差值;基于所述多个累积相位差值和所述多个相移来进行曲线拟合以便生成累积相位差值拟合曲线;至少部分地基于所述累积相位差值拟合曲线来生成与所述多个累积相位差值和所述多个相移的聚焦相移相关联的可靠性值;以及至少部分地基于所述可靠性值对所述成像设备进行聚焦。
进一步针对所述第一实施例,所述方法进一步包括经由具有多个相位自动聚焦像素传感器对的传感器来获得所述第一相位自动聚焦图像和所述第二相位自动聚焦图像。
进一步针对所述第一实施例,所述方法进一步包括经由具有多个相位自动聚焦像素传感器对的传感器来获得所述第一相位自动聚焦图像和所述第二相位自动聚焦图像,其中,所述传感器包括多个图像像素传感器。
进一步针对所述第一实施例,所述方法进一步包括经由具有多个相位自动聚焦像素传感器对和多个图像像素传感器的传感器来获得所述第一相位自动聚焦图像和所述第二相位自动聚焦图像。
进一步针对所述第一实施例,确定与第一相移相关联的第一累积相位差值包括在所述兴趣区域上对多个乘积进行求和,每个乘积包括所述第一相位自动聚焦图像的像素的相位自动聚焦值与所述第二相位自动聚焦图像的像素的相位自动聚焦值之差与阈值确定值的乘积,其中,所述阈值确定值基于在所述第一相位自动聚焦图像的所述像素的所述相位自动聚焦值和所述第二相位自动聚焦图像的所述像素的所述相位自动聚焦值的基础上的阈值化而包括零或一。
进一步针对所述第一实施例,确定与第一相移相关联的第一累积相位差值包括在所述兴趣区域上对多个乘积进行求和,每个乘积包括所述第一相位自动聚焦图像的像素的相位自动聚焦值与所述第二相位自动聚焦图像的像素的相位自动聚焦值之差与阈值确定值的乘积,其中,所述阈值确定值基于在所述第一相位自动聚焦图像的所述像素的所述相位自动聚焦值和所述第二相位自动聚焦图像的所述像素的所述相位自动聚焦值的基础上的阈值化而包括零或一,其中,所述第一相位自动聚焦图像的所述像素和所述第二相位自动聚焦图像的所述像素包括与传感器的相位自动聚焦像素对相关联的像素对。
进一步针对所述第一实施例,确定与第一相移相关联的第一累积相位差值包括在所述兴趣区域上对多个乘积进行求和,每个乘积包括所述第一相位自动聚焦图像的像素的相位自动聚焦值与所述第二相位自动聚焦图像的像素的相位自动聚焦值之差与阈值确定值的乘积,其中,所述阈值确定值基于在所述第一相位自动聚焦图像的所述像素的所述相位自动聚焦值和所述第二相位自动聚焦图像的所述像素的所述相位自动聚焦值的基础上的阈值化而包括零或一,其中,所述第二相位自动聚焦图像的所述像素相对于所述第一相位自动聚焦图像的所述像素被移位一定偏移量。
进一步针对所述第一实施例,确定与第一相移相关联的第一累积相位差值包括在所述兴趣区域上对多个乘积进行求和,每个乘积包括所述第一相位自动聚焦图像的像素的相位自动聚焦值与所述第二相位自动聚焦图像的像素的相位自动聚焦值之差与阈值确定值的乘积,其中,所述阈值确定值基于在所述第一相位自动聚焦图像的所述像素的所述相位自动聚焦值和所述第二相位自动聚焦图像的所述像素的所述相位自动聚焦值的基础上的阈值化而包括零或一,其中,所述第一相位自动聚焦图像的所述像素和所述第二相位自动聚焦图像的所述像素包括与传感器的相位自动聚焦像素对相关联的像素对或被移位一定偏移量的像素中的至少一者,从而使得所述第二相位自动聚焦图像的所述像素相对于所述第一相位自动聚焦图像的所述像素被移位所述偏移量。
进一步针对所述第一实施例,确定与第一相移相关联的第一累积相位差值包括在所述兴趣区域上对多个乘积进行求和,每个乘积包括所述第一相位自动聚焦图像的像素的相位自动聚焦值与所述第二相位自动聚焦图像的像素的相位自动聚焦值之差与阈值确定值的乘积,其中,所述阈值确定值基于在所述第一相位自动聚焦图像的所述像素的所述相位自动聚焦值和所述第二相位自动聚焦图像的所述像素的所述相位自动聚焦值的基础上的阈值化而包括零或一,其中,所述阈值化包括:将所述第一相位自动聚焦图像的所述像素的所述相位自动聚焦值和所述第二相位自动聚焦图像的所述像素的所述相位自动聚焦值中的最大值与高阈值进行比较,并且将所述第一相位自动聚焦图像的所述像素的所述相位自动聚焦值和所述第二相位自动聚焦图像的所述像素的所述相位自动聚焦值中的最小值与低阈值进行比较;以及当所述第一相位自动聚焦图像的所述像素的所述相位自动聚焦值和所述第二相位自动聚焦图像的所述像素的所述相位自动聚焦值中的所述最大值不大于所述高阈值并且所述第一相位自动聚焦图像的所述像素的所述相位自动聚焦值和所述第二相位自动聚焦图像的所述像素的所述相位自动聚焦值中的所述最小值不小于所述低阈值时,将所述阈值确定值设置为一,否则,将所述阈值确定值设置为零。
进一步针对所述第一实施例,其中,进行所述曲线拟合包括:确定所述多个累积相位差值的全局最小值;将二次函数拟合至所述多个累积相位差值的所述全局最小值、第一累积相位差值和第二累积相位差值,其中,所述第一和第二累积相位差值各自被移位成与所述全局最小值相邻;将线性函数拟合至所述多个累积相位差值中的剩余累积相位差值,每个线性函数包括在所述剩余累积相位差中的移位相邻累积相位差值之间的线;以及基于所述二次函数和所述线性函数来生成所述累积相位差值拟合曲线。
进一步针对所述第一实施例,其中,进行所述曲线拟合包括:确定所述多个累积相位差值的全局最小值;将二次函数拟合至所述多个累积相位差值的所述全局最小值、第一累积相位差值和第二累积相位差值,其中,所述第一和第二累积相位差值各自被移位成与所述全局最小值相邻;将线性函数拟合至所述多个累积相位差值中的剩余累积相位差值,每个线性函数包括在所述剩余累积相位差中的移位相邻累积相位差值之间的线;以及基于所述二次函数和所述线性函数来生成所述累积相位差值拟合曲线,所述方法进一步包括将最终相移确定为所述累积相位差值拟合曲线的最小值。
进一步针对所述第一实施例,生成所述可靠性值包括:确定与所述累积相位差值拟合曲线相关联的多个度量以及与所述多个度量相关联的多个权重;以及基于所述多个度量和所述多个权重来生成所述可靠性值。
进一步针对所述第一实施例,生成所述可靠性值包括:确定与所述累积相位差值拟合曲线相关联的多个度量以及与所述多个度量相关联的多个权重;以及基于所述多个度量和所述多个权重来生成所述可靠性值,其中,基于所述多个度量和所述多个权重来生成所述可靠性值包括:生成每一多个度量和权重的值,所述值至少包括每个度量与每个权重的乘积;以及在所述多个值上求乘积以便确定所述可靠性值。
进一步针对所述第一实施例,生成所述可靠性值包括:确定与所述累积相位差值拟合曲线相关联的多个度量以及与所述多个度量相关联的多个权重;以及基于所述多个度量和所述多个权重来生成所述可靠性值,其中,所述多个度量包括以下各项中的至少一项:对所述累积相位差值拟合曲线的动态范围的度量、对所述累积相位差值拟合曲线的符号变化的度量、对所述累积相位差值拟合曲线的对称性的度量、或者对围绕所述多个累积相位差值的全局最小值的波谷的锐度的度量。
进一步针对所述第一实施例,生成所述可靠性值包括:确定与所述累积相位差值拟合曲线相关联的多个度量以及与所述多个度量相关联的多个权重;以及基于所述多个度量和所述多个权重来生成所述可靠性值,其中,所述多个度量进一步包括以下各项中的至少一项:对所述兴趣区域的信噪比的度量、或者对围绕所述兴趣区域中的像素对的基于可靠性的亮度的度量。
进一步针对所述第一实施例,生成所述可靠性值包括:确定与所述累积相位差值拟合曲线相关联的多个度量以及与所述多个度量相关联的多个权重;以及基于所述多个度量和所述多个权重来生成所述可靠性值,其中,基于所述多个度量和所述多个权重来生成所述可靠性值包括:生成每一多个度量和权重的值,所述值至少包括每个度量与每个权重的乘积;以及在所述多个值上求乘积以便确定所述可靠性值,和/或其中,所述多个度量包括以下各项中的至少一项:对所述累积相位差值拟合曲线的动态范围的度量、对所述累积相位差值拟合曲线的符号变化的度量、对所述累积相位差值拟合曲线的对称性的度量、或者对围绕所述多个累积相位差值的全局最小值的波谷的锐度的度量,和/或其中,所述多个度量进一步包括以下各项中的至少一项:对所述兴趣区域的信噪比的度量、或者对围绕所述兴趣区域中的像素对的基于可靠性的亮度的度量。
进一步针对所述第一实施例,至少部分地基于所述可靠性值对所述成像设备进行聚焦包括基于所述可靠性值与阈值的比较使用最终相移来进行自动聚焦。
进一步针对所述第一实施例,至少部分地基于所述可靠性值对所述成像设备进行聚焦包括基于所述可靠性值与阈值的比较使用基于对比度的自动聚焦值来进行自动聚焦。
进一步针对所述第一实施例,至少部分地基于所述可靠性值对所述成像设备进行聚焦包括以下各项中的至少一项:基于使用最终相移来进行自动聚焦或者使用基于对比度的自动聚焦值来进行自动聚焦。
进一步针对所述第一实施例,所述方法进一步包括:生成与所述场景的第二兴趣区域的第二最终相移相关联的第二可靠性值,其中,至少部分地基于所述可靠性值对所述成像设备进行聚焦包括:至少部分地基于所述可靠性值大于所述第二可靠性值而使用所述最终相移来对所述成像设备进行聚焦。
在一个或多个第二实施例中,一种用于为成像设备提供自动聚焦的系统包括:被配置成用于存储图像数据的存储器以及耦合至所述存储器的中央处理单元,其中,所述中央处理单元包括:累积相位差电路,所述累积相位差电路被配置成用于针对场景的兴趣区域确定与第一相位自动聚焦图像和第二相位自动聚焦图像的多个相移相关联的多个累积相位差值;曲线拟合电路,曲线拟合电路,所述曲线拟合电路被配置成用于基于所述多个累积相位差值和所述多个相移来进行曲线拟合以便生成累积相位差值拟合曲线;聚焦相移可靠性电路,所述聚焦相移可靠性电路被配置成用于至少部分地基于所述累积相位差值拟合曲线来生成与所述多个累积相位差值和所述多个相移的聚焦相移相关联的可靠性值;以及自动聚焦电路,所述自动聚焦电路被配置成用于至少部分地基于所述可靠性值对所述成像设备进行聚焦。
进一步针对所述第二实施例,所述累积相位差电路被配置成用于确定所述多个累积相位差值包括所述累积相位差电路被配置成用于通过被配置成用于在所述兴趣区域上对多个乘积进行求和来确定与第一相移相关联的第一累积相位差值,每个乘积包括所述第一相位自动聚焦图像的像素的相位自动聚焦值与所述第二相位自动聚焦图像的像素的相位自动聚焦值之差与阈值确定值的乘积,其中,所述阈值确定值基于在所述第一相位自动聚焦图像的所述像素的所述相位自动聚焦值和所述第二相位自动聚焦图像的所述像素的所述相位自动聚焦值的基础上的阈值化而包括零或一。
进一步针对所述第二实施例,所述曲线拟合电路被配置成用于进行所述曲线拟合包括所述曲线拟合电路被配置成用于:确定所述多个累积相位差值的全局最小值;将二次函数拟合至所述多个累积相位差值的所述全局最小值、第一累积相位差值和第二累积相位差值,其中,所述第一和第二累积相位差值各自被移位成与所述全局最小值相邻;将线性函数拟合至所述多个累积相位差值中的剩余累积相位差值,每个线性函数包括在所述剩余累积相位差中的移位相邻累积相位差值之间的线;以及基于所述二次函数和所述线性函数来生成所述累积相位差值拟合曲线。
进一步针对所述第二实施例,所述曲线拟合电路被配置成用于进行所述曲线拟合包括所述曲线拟合电路被配置成用于:确定所述多个累积相位差值的全局最小值;将二次函数拟合至所述多个累积相位差值的所述全局最小值、第一累积相位差值和第二累积相位差值,其中,所述第一和第二累积相位差值各自被移位成与所述全局最小值相邻;将线性函数拟合至所述多个累积相位差值中的剩余累积相位差值,每个线性函数包括在所述剩余累积相位差中的移位相邻累积相位差值之间的线;以及基于所述二次函数和所述线性函数来生成所述累积相位差值拟合曲线,所述系统进一步包括最终相移电路,所述最终相移电路被配置成用于将最终相移确定为所述累积相位差值拟合曲线的最小值。
进一步针对所述第二实施例,所述聚焦相移可靠性电路被配置成用于生成所述可靠性值包括所述聚焦相移可靠性电路被配置成用于:确定与所述累积相位差值拟合曲线相关联的多个度量以及与所述多个度量相关联的多个权重;以及基于所述多个度量和所述多个权重来生成所述可靠性值。
进一步针对所述第二实施例,所述聚焦相移可靠性电路被配置成用于生成所述可靠性值包括所述聚焦相移可靠性电路被配置成用于:确定与所述累积相位差值拟合曲线相关联的多个度量以及与所述多个度量相关联的多个权重;以及基于所述多个度量和所述多个权重来生成所述可靠性值,其中,所述多个度量包括以下各项中的至少一项:对所述累积相位差值拟合曲线的动态范围的度量、对所述累积相位差值拟合曲线的符号变化的度量、对所述累积相位差值拟合曲线的对称性的度量、或者对围绕所述多个累积相位差值的全局最小值的波谷的锐度的度量。
进一步针对所述第二实施例,所述聚焦相移可靠性电路被配置成用于生成所述可靠性值包括所述聚焦相移可靠性电路被配置成用于:确定与所述累积相位差值拟合曲线相关联的多个度量以及与所述多个度量相关联的多个权重;以及基于所述多个度量和所述多个权重来生成所述可靠性值,其中,所述多个度量进一步包括以下各项中的至少一项:对所述兴趣区域的信噪比的度量、或者对围绕所述兴趣区域中的像素对的基于可靠性的亮度的度量。
在一个或多个第三实施例中,一种用于为成像设备提供自动聚焦的系统包括:用于针对场景的兴趣区域确定与第一相位自动聚焦图像和第二相位自动聚焦图像的多个相移相关联的多个累积相位差值的装置;用于基于所述多个累积相位差值和所述多个相移来进行曲线拟合以便生成累积相位差值拟合曲线的装置;用于至少部分地基于所述累积相位差值拟合曲线来生成与所述多个累积相位差值和所述多个相移的聚焦相移相关联的可靠性值的装置;以及用于至少部分地基于所述可靠性值对所述成像设备进行聚焦的装置。
进一步针对所述第三实施例,所述用于确定所述多个累积相位差值的装置包括用于通过在所述兴趣区域上对多个乘积进行求和来确定与第一相移相关联的第一累积相位差值的装置,每个乘积包括所述第一相位自动聚焦图像的像素的相位自动聚焦值与所述第二相位自动聚焦图像的像素的相位自动聚焦值之差与阈值确定值的乘积,其中,所述阈值确定值基于在所述第一相位自动聚焦图像的所述像素的所述相位自动聚焦值和所述第二相位自动聚焦图像的所述像素的所述相位自动聚焦值的基础上的阈值化而包括零或一。
进一步针对所述第三实施例,所述用于进行所述曲线拟合的装置包括:用于确定所述多个累积相位差值的全局最小值的装置;用于将二次函数拟合至所述多个累积相位差值的所述全局最小值、第一累积相位差值和第二累积相位差值的装置,其中,所述第一和第二累积相位差值各自被移位成与所述全局最小值相邻;用于将线性函数拟合至所述多个累积相位差值中的剩余累积相位差值的装置,每个线性函数包括在所述剩余累积相位差中的移位相邻累积相位差值之间的线;以及用于基于所述二次函数和所述线性函数来生成所述累积相位差值拟合曲线的装置。
进一步针对所述第三实施例,所述用于进行所述曲线拟合的装置包括:用于确定所述多个累积相位差值的全局最小值的装置;用于将二次函数拟合至所述多个累积相位差值的所述全局最小值、第一累积相位差值和第二累积相位差值的装置,其中,所述第一和第二累积相位差值各自被移位成与所述全局最小值相邻;用于将线性函数拟合至所述多个累积相位差值中的剩余累积相位差值的装置,每个线性函数包括在所述剩余累积相位差中的移位相邻累积相位差值之间的线;以及用于基于所述二次函数和所述线性函数来生成所述累积相位差值拟合曲线的装置,所述系统进一步包括:用于将最终相移确定为所述累积相位差值拟合曲线的最小值的装置。
进一步针对所述第三实施例,所述用于生成所述可靠性值的装置包括:用于确定与所述累积相位差值拟合曲线相关联的多个度量以及与所述多个度量相关联的多个权重的装置;以及用于基于所述多个度量和所述多个权重来生成所述可靠性值的装置。
进一步针对所述第三实施例,所述用于生成所述可靠性值的装置包括:用于确定与所述累积相位差值拟合曲线相关联的多个度量以及与所述多个度量相关联的多个权重的装置;以及用于基于所述多个度量和所述多个权重来生成所述可靠性值的装置,其中,所述多个度量包括以下各项中的至少一项:对所述累积相位差值拟合曲线的动态范围的度量、对所述累积相位差值拟合曲线的符号变化的度量、对所述累积相位差值拟合曲线的对称性的度量、或者对围绕所述多个累积相位差值的全局最小值的波谷的锐度的度量。
进一步针对所述第三实施例,所述用于生成所述可靠性值的装置包括:用于确定与所述累积相位差值拟合曲线相关联的多个度量以及与所述多个度量相关联的多个权重的装置;以及用于基于所述多个度量和所述多个权重来生成所述可靠性值的装置,其中,所述多个度量进一步包括以下各项中的至少一项:对所述兴趣区域的信噪比的度量、或者对围绕所述兴趣区域中的像素对的基于可靠性的亮度的度量。
在一个或多个第四实施例中,至少一种机器可读介质包括多条指令,所述指令响应于在成像设备上被执行而使所述成像设备通过以下各项提供自动聚焦:针对场景的兴趣区域确定与第一相位自动聚焦图像和第二相位自动聚焦图像的多个相移相关联的多个累积相位差值;基于所述多个累积相位差值和所述多个相移来进行曲线拟合以便生成累积相位差值拟合曲线;至少部分地基于所述累积相位差值拟合曲线来生成与所述多个累积相位差值和所述多个相移的聚焦相移相关联的可靠性值;以及至少部分地基于所述可靠性值对所述成像设备进行聚焦。
进一步针对所述第四实施例,确定与第一相移相关联的第一累积相位差值包括在所述兴趣区域上对多个乘积进行求和,每个乘积包括所述第一相位自动聚焦图像的像素的相位自动聚焦值与所述第二相位自动聚焦图像的像素的相位自动聚焦值之差与阈值确定值的乘积,其中,所述阈值确定值基于在所述第一相位自动聚焦图像的所述像素的所述相位自动聚焦值和所述第二相位自动聚焦图像的所述像素的所述相位自动聚焦值的基础上的阈值化而包括零或一。
进一步针对所述第四实施例,进行所述曲线拟合包括:确定所述多个累积相位差值的全局最小值;将二次函数拟合至所述多个累积相位差值的所述全局最小值、第一累积相位差值和第二累积相位差值,其中,所述第一和第二累积相位差值各自被移位成与所述全局最小值相邻;将线性函数拟合至所述多个累积相位差值中的剩余累积相位差值,每个线性函数包括在所述剩余累积相位差中的移位相邻累积相位差值之间的线;以及基于所述二次函数和所述线性函数来生成所述累积相位差值拟合曲线。
进一步针对所述第四实施例,进行所述曲线拟合包括:确定所述多个累积相位差值的全局最小值;将二次函数拟合至所述多个累积相位差值的所述全局最小值、第一累积相位差值和第二累积相位差值,其中,所述第一和第二累积相位差值各自被移位成与所述全局最小值相邻;将线性函数拟合至所述多个累积相位差值中的剩余累积相位差值,每个线性函数包括在所述剩余累积相位差中的移位相邻累积相位差值之间的线;以及基于所述二次函数和所述线性函数来生成所述累积相位差值拟合曲线,所述机器可读介质进一步包括多条指令,所述指令使所述成像设备通过将最终相移确定为所述累积相位差值拟合曲线的最小值来提供自动聚焦。
进一步针对所述第四实施例,生成所述可靠性值包括:确定与所述累积相位差值拟合曲线相关联的多个度量以及与所述多个度量相关联的多个权重;以及基于所述多个度量和所述多个权重来生成所述可靠性值。
进一步针对所述第四实施例,生成所述可靠性值包括:确定与所述累积相位差值拟合曲线相关联的多个度量以及与所述多个度量相关联的多个权重;以及基于所述多个度量和所述多个权重来生成所述可靠性值,其中,基于所述多个度量和所述多个权重来生成所述可靠性值包括:生成每一多个度量和权重的值,所述值至少包括每个度量与每个权重的乘积;以及在所述多个值上求乘积以便确定所述可靠性值。
进一步针对所述第四实施例,生成所述可靠性值包括:确定与所述累积相位差值拟合曲线相关联的多个度量以及与所述多个度量相关联的多个权重;以及基于所述多个度量和所述多个权重来生成所述可靠性值,其中,所述多个度量包括以下各项中的至少一项:对所述累积相位差值拟合曲线的动态范围的度量、对所述累积相位差值拟合曲线的符号变化的度量、对所述累积相位差值拟合曲线的对称性的度量、或者对围绕所述多个累积相位差值的全局最小值的波谷的锐度的度量。
进一步针对所述第四实施例,生成所述可靠性值包括:确定与所述累积相位差值拟合曲线相关联的多个度量以及与所述多个度量相关联的多个权重;以及基于所述多个度量和所述多个权重来生成所述可靠性值,其中,所述多个度量进一步包括以下各项中的至少一项:对所述兴趣区域的信噪比的度量、或者对围绕所述兴趣区域中的像素对的基于可靠性的亮度的度量。
在一个或多个第五实施例中,至少一种机器可读介质可以包括多条指令,所述指令响应于在计算设备上被执行而使所述计算设备执行根据以上实施例中的任一个实施例的方法。
在一个或多个第六实施例中,一种装置可以包括:用于执行根据以上实施例中的任一个实施例的方法的装置。
将认识到,这些实施例并不限于如此描述的这些实施例,而是可在不背离所附权利要求书的范围的情况下通过修改和变更来实践。例如,以上实施例可以包括特征的特定组合。然而,以上实施例并不限于这个方面,并且在各实现方式中,以上实施例可以包括仅采取这类特征的子集、采取这类特征的不同顺序、采取这类特征的不同组合、和/或采取除了明确例举的那些特征之外的附加特征。因此,这些实施例的范围应当参考所附权利要求书、连同这样的权利要求书有权获得的等效物的全部范围来确定。

Claims (25)

1.一种用于为成像设备提供自动聚焦的方法,所述方法包括:
针对场景的兴趣区域确定与第一相位自动聚焦图像和第二相位自动聚焦图像的多个相移相关联的多个累积相位差值;
基于所述多个累积相位差值和所述多个相移来进行曲线拟合以便生成累积相位差值拟合曲线;
至少部分地基于所述累积相位差值拟合曲线来生成与所述多个累积相位差值和所述多个相移的聚焦相移相关联的可靠性值;以及
至少部分地基于所述可靠性值对所述成像设备进行聚焦。
2.如权利要求1所述的方法,其中,确定与第一相移相关联的第一累积相位差值包括:
在所述兴趣区域上对多个乘积进行求和,每个乘积包括所述第一相位自动聚焦图像的像素的相位自动聚焦值同所述第二相位自动聚焦图像的像素的相位自动聚焦值之间的差与阈值确定值的乘积,其中,所述阈值确定值基于阈值化而包括零或一,所述阈值化基于所述第一相位自动聚焦图像的所述像素的所述相位自动聚焦值和所述第二相位自动聚焦图像的所述像素的所述相位自动聚焦值。
3.如权利要求2所述的方法,其中,所述第一相位自动聚焦图像的所述像素和所述第二相位自动聚焦图像的所述像素包括以下中的至少一者:与传感器的相位自动聚焦像素对相关联的像素对;或被移位一定偏移量从而使得所述第二相位自动聚焦图像的所述像素相对于所述第一相位自动聚焦图像的所述像素被移位所述偏移量的像素。
4.如权利要求2所述的方法,其中,所述阈值化包括:
将所述第一相位自动聚焦图像的所述像素的所述相位自动聚焦值和所述第二相位自动聚焦图像的所述像素的所述相位自动聚焦值中的最大值与高阈值进行比较,并且将所述第一相位自动聚焦图像的所述像素的所述相位自动聚焦值和所述第二相位自动聚焦图像的所述像素的所述相位自动聚焦值中的最小值与低阈值进行比较;以及
当所述第一相位自动聚焦图像的所述像素的所述相位自动聚焦值和所述第二相位自动聚焦图像的所述像素的所述相位自动聚焦值中的所述最大值不大于所述高阈值并且所述第一相位自动聚焦图像的所述像素的所述相位自动聚焦值和所述第二相位自动聚焦图像的所述像素的所述相位自动聚焦值中的所述最小值不小于所述低阈值时,将所述阈值确定值设置为一,否则,将所述阈值确定值设置为零。
5.如权利要求1所述的方法,其中,进行所述曲线拟合包括:
确定所述多个累积相位差值的全局最小值;
将二次函数拟合至所述多个累积相位差值的所述全局最小值、第一累积相位差值和第二累积相位差值,其中,所述第一和第二累积相位差值各自被移位成与所述全局最小值相邻;
将线性函数拟合至所述多个累积相位差值中的剩余累积相位差值,每个线性函数包括在所述剩余累积相位差中的移位相邻累积相位差值之间的线;以及
基于所述二次函数和所述线性函数来生成所述累积相位差值拟合曲线。
6.如权利要求5所述的方法,进一步包括:
将最终相移确定为所述累积相位差值拟合曲线的最小值。
7.如权利要求1所述的方法,其中,生成所述可靠性值包括:
确定与所述累积相位差值拟合曲线相关联的多个度量以及与所述多个度量相关联的多个权重;以及
基于所述多个度量和所述多个权重来生成所述可靠性值。
8.如权利要求7所述的方法,其中,基于所述多个度量和所述多个权重来生成所述可靠性值包括:
针对各多个度量和权重生成一值,所述值至少包括每个度量与每个权重的乘积;以及
在所述多个值上求乘积以便确定所述可靠性值。
9.如权利要求7所述的方法,其中,所述多个度量包括以下各项中的至少一项:对所述累积相位差值拟合曲线的动态范围的度量、对所述累积相位差值拟合曲线的符号变化的度量、对所述累积相位差值拟合曲线的对称性的度量、或者对围绕所述多个累积相位差值的全局最小值的波谷的锐度的度量。
10.如权利要求7所述的方法,其中,所述多个度量进一步包括以下各项中的至少一项:对所述兴趣区域的信噪比的度量、或者对围绕所述兴趣区域中的像素对的基于可靠性的亮度的度量。
11.如权利要求1所述的方法,其中,至少部分地基于所述可靠性值对所述成像设备进行聚焦包括以下各项中的至少一项:基于使用最终相移来进行自动聚焦或者使用基于对比度的自动聚焦值来进行自动聚焦。
12.如权利要求1所述的方法,进一步包括:
经由具有多个相位自动聚焦像素传感器对和多个图像像素传感器的传感器来获得所述第一相位自动聚焦图像和所述第二相位自动聚焦图像。
13.一种用于为成像设备提供自动聚焦的系统,所述系统包括:
被配置成用于存储图像数据的存储器;以及
耦合至所述存储器的中央处理单元,其中,所述中央处理单元包括:
累积相位差电路,所述累积相位差电路被配置成用于针对场景的兴趣区域确定与第一相位自动聚焦图像和第二相位自动聚焦图像的多个相移相关联的多个累积相位差值;
曲线拟合电路,所述曲线拟合电路被配置成用于基于所述多个累积相位差值和所述多个相移来进行曲线拟合以便生成累积相位差值拟合曲线;
聚焦相移可靠性电路,所述聚焦相移可靠性电路被配置成用于至少部分地基于所述累积相位差值拟合曲线来生成与所述多个累积相位差值和所述多个相移的聚焦相移相关联的可靠性值;以及
自动聚焦电路,所述自动聚焦电路被配置成用于至少部分地基于所述可靠性值对所述成像设备进行聚焦。
14.如权利要求13所述的系统,其中,所述累积相位差电路被配置成用于确定所述多个累积相位差值包括所述累积相位差电路被配置成用于通过被配置成用于在所述兴趣区域上对多个乘积进行求和来确定与第一相移相关联的第一累积相位差值,每个乘积包括所述第一相位自动聚焦图像的像素的相位自动聚焦值同所述第二相位自动聚焦图像的像素的相位自动聚焦值之间的差与阈值确定值的乘积,其中,所述阈值确定值基于阈值化而包括零或一,所述阈值化基于所述第一相位自动聚焦图像的所述像素的所述相位自动聚焦值和所述第二相位自动聚焦图像的所述像素的所述相位自动聚焦值。
15.如权利要求13所述的系统,其中,所述曲线拟合电路被配置成用于进行所述曲线拟合包括所述曲线拟合电路被配置成用于:
确定所述多个累积相位差值的全局最小值;
将二次函数拟合至所述多个累积相位差值的所述全局最小值、第一累积相位差值和第二累积相位差值,其中,所述第一和第二累积相位差值各自被移位成与所述全局最小值相邻;
将线性函数拟合至所述多个累积相位差值中的剩余累积相位差值,每个线性函数包括在所述剩余累积相位差中的移位相邻累积相位差值之间的线;以及
基于所述二次函数和所述线性函数来生成所述累积相位差值拟合曲线。
16.如权利要求15所述的系统,进一步包括:
最终相移电路,所述最终相移电路被配置成用于将最终相移确定为所述累积相位差值拟合曲线的最小值。
17.如权利要求13所述的系统,其中,所述聚焦相移可靠性电路被配置成用于生成所述可靠性值包括所述聚焦相移可靠性电路被配置成用于:
确定与所述累积相位差值拟合曲线相关联的多个度量以及与所述多个度量相关联的多个权重;以及
基于所述多个度量和所述多个权重来生成所述可靠性值。
18.一种用于为成像设备提供自动聚焦的系统,所述系统包括:
用于针对场景的兴趣区域确定与第一相位自动聚焦图像和第二相位自动聚焦图像的多个相移相关联的多个累积相位差值的装置;
用于基于所述多个累积相位差值和所述多个相移来进行曲线拟合以便生成累积相位差值拟合曲线的装置;
用于至少部分地基于所述累积相位差值拟合曲线来生成与所述多个累积相位差值和所述多个相移的聚焦相移相关联的可靠性值的装置;以及
用于至少部分地基于所述可靠性值对所述成像设备进行聚焦的装置。
19.如权利要求18所述的系统,其中,所述用于确定所述多个累积相位差值的装置包括用于通过在所述兴趣区域上对多个乘积进行求和来确定与第一相移相关联的第一累积相位差值的装置,每个乘积包括所述第一相位自动聚焦图像的像素的相位自动聚焦值同所述第二相位自动聚焦图像的像素的相位自动聚焦值之间的差与阈值确定值的乘积,其中,所述阈值确定值基于阈值化而包括零或一,所述阈值化基于所述第一相位自动聚焦图像的所述像素的所述相位自动聚焦值和所述第二相位自动聚焦图像的所述像素的所述相位自动聚焦值。
20.如权利要求18所述的系统,其中,所述用于进行所述曲线拟合的装置包括:
用于确定所述多个累积相位差值的全局最小值的装置;
用于将二次函数拟合至所述多个累积相位差值的所述全局最小值、第一累积相位差值和第二累积相位差值的装置,其中,所述第一和第二累积相位差值各自被移位成与所述全局最小值相邻;
用于将线性函数拟合至所述多个累积相位差值中的剩余累积相位差值的装置,每个线性函数包括在所述剩余累积相位差中的移位相邻累积相位差值之间的线;以及
用于基于所述二次函数和所述线性函数来生成所述累积相位差值拟合曲线的装置。
21.如权利要求18所述的系统,其中,所述用于生成所述可靠性值的装置包括:
用于确定与所述累积相位差值拟合曲线相关联的多个度量以及与所述多个度量相关联的多个权重的装置;以及
用于基于所述多个度量和所述多个权重来生成所述可靠性值的装置。
22.至少一种机器可读介质,包括多条指令,所述指令响应于在成像设备上被执行而使所述成像设备通过以下各项提供自动聚焦:
针对场景的兴趣区域确定与第一相位自动聚焦图像和第二相位自动聚焦图像的多个相移相关联的多个累积相位差值;
基于所述多个累积相位差值和所述多个相移来进行曲线拟合以便生成累积相位差值拟合曲线;
至少部分地基于所述累积相位差值拟合曲线来生成与所述多个累积相位差值和所述多个相移的聚焦相移相关联的可靠性值;以及
至少部分地基于所述可靠性值对所述成像设备进行聚焦。
23.如权利要求22所述的机器可读介质,其中,确定与第一相移相关联的第一累积相位差值包括:
在所述兴趣区域上对多个乘积进行求和,每个乘积包括所述第一相位自动聚焦图像的像素的相位自动聚焦值同所述第二相位自动聚焦图像的像素的相位自动聚焦值之间的差与阈值确定值的乘积,其中,所述阈值确定值基于阈值化而包括零或一,所述阈值化基于所述第一相位自动聚焦图像的所述像素的所述相位自动聚焦值和所述第二相位自动聚焦图像的所述像素的所述相位自动聚焦值。
24.如权利要求22所述的机器可读介质,其中,进行所述曲线拟合包括:
确定所述多个累积相位差值的全局最小值;
将二次函数拟合至所述多个累积相位差值的所述全局最小值、第一累积相位差值和第二累积相位差值,其中,所述第一和第二累积相位差值各自被移位成与所述全局最小值相邻;
将线性函数拟合至所述多个累积相位差值中的剩余累积相位差值,每个线性函数包括在所述剩余累积相位差中的移位相邻累积相位差值之间的线;以及
基于所述二次函数和所述线性函数来生成所述累积相位差值拟合曲线。
25.如权利要求22所述的机器可读介质,其中,生成所述可靠性值包括:
确定与所述累积相位差值拟合曲线相关联的多个度量以及与所述多个度量相关联的多个权重;以及
基于所述多个度量和所述多个权重来生成所述可靠性值。
CN201580026343.8A 2014-06-13 2015-04-17 用于基于相位的自动聚焦的可靠性测量 Active CN106464807B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462011897P 2014-06-13 2014-06-13
US62/011,897 2014-06-13
US14/327,798 US9338345B2 (en) 2014-06-13 2014-07-10 Reliability measurements for phase based autofocus
US14/327,798 2014-07-10
PCT/US2015/026517 WO2015191163A1 (en) 2014-06-13 2015-04-17 Reliability measurements for phase based autofocus

Publications (2)

Publication Number Publication Date
CN106464807A true CN106464807A (zh) 2017-02-22
CN106464807B CN106464807B (zh) 2019-12-24

Family

ID=54834071

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580026343.8A Active CN106464807B (zh) 2014-06-13 2015-04-17 用于基于相位的自动聚焦的可靠性测量

Country Status (6)

Country Link
US (1) US9338345B2 (zh)
EP (1) EP3155804A4 (zh)
KR (1) KR101800995B1 (zh)
CN (1) CN106464807B (zh)
BR (1) BR112016026490A2 (zh)
WO (1) WO2015191163A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107613216A (zh) * 2017-10-31 2018-01-19 广东欧珀移动通信有限公司 对焦方法、装置、计算机可读存储介质和电子设备
WO2020073663A1 (zh) * 2018-10-12 2020-04-16 华为技术有限公司 一种应用于终端设备的对焦方法、装置和终端设备
CN113747070A (zh) * 2021-09-10 2021-12-03 昆山丘钛微电子科技股份有限公司 摄像头模组的对焦方法、装置、终端设备及介质
CN113959360A (zh) * 2021-11-25 2022-01-21 成都信息工程大学 基于相移与焦移三维面形垂直测量方法、装置、介质

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6381434B2 (ja) * 2014-12-16 2018-08-29 キヤノン株式会社 フォーカス制御装置、光学機器およびフォーカス制御方法
WO2016137273A1 (ko) * 2015-02-26 2016-09-01 엘지이노텍(주) 카메라 모듈 및 이를 이용한 자동 초점 조절 방법
US10148864B2 (en) * 2015-07-02 2018-12-04 Pixart Imaging Inc. Imaging device having phase detection pixels and regular pixels, and operating method thereof
US9978154B2 (en) 2015-07-02 2018-05-22 Pixart Imaging Inc. Distance measurement device base on phase difference and distance measurement method thereof
US10341567B2 (en) * 2016-03-16 2019-07-02 Ricoh Imaging Company, Ltd. Photographing apparatus
JP6462189B2 (ja) * 2016-07-06 2019-01-30 富士フイルム株式会社 合焦制御装置、合焦制御方法、合焦制御プログラム、レンズ装置、撮像装置
JP6971692B2 (ja) * 2016-08-24 2021-11-24 キヤノン株式会社 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
JP6911304B2 (ja) * 2016-09-07 2021-07-28 ソニーグループ株式会社 撮像制御装置および撮像制御方法
CN106331499B (zh) * 2016-09-13 2019-10-29 努比亚技术有限公司 对焦方法及拍照设备
WO2018053825A1 (zh) * 2016-09-26 2018-03-29 深圳市大疆创新科技有限公司 对焦方法和装置、图像拍摄方法和装置及摄像系统
US10044926B2 (en) * 2016-11-04 2018-08-07 Qualcomm Incorporated Optimized phase detection autofocus (PDAF) processing
US10070042B2 (en) * 2016-12-19 2018-09-04 Intel Corporation Method and system of self-calibration for phase detection autofocus

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101071252A (zh) * 2006-05-10 2007-11-14 佳能株式会社 焦点调节方法、焦点调节设备及其控制方法
CN101750847A (zh) * 2008-12-15 2010-06-23 索尼株式会社 图像拾取装置和聚焦控制方法
US20110228053A1 (en) * 2010-03-18 2011-09-22 Fujifilm Corporation Stereoscopic imaging apparatus
US20130250162A1 (en) * 2010-12-17 2013-09-26 Canon Kabushiki Kaisha Automatic focusing apparatus and lens apparatus including the automatic focusing apparatus
US20130258168A1 (en) * 2010-11-30 2013-10-03 Fujifilm Corporation Image capturing apparatus and in-focus position detection method thereof
JP2014077830A (ja) * 2012-10-09 2014-05-01 Olympus Corp 撮像装置及びフォーカス制御方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4324402B2 (ja) * 2003-04-08 2009-09-02 Hoya株式会社 カメラの自動焦点調節装置
JP4571617B2 (ja) * 2006-12-28 2010-10-27 三星デジタルイメージング株式会社 撮像装置及び撮像方法
JP5306116B2 (ja) * 2009-08-31 2013-10-02 キヤノン株式会社 焦点状態検出装置、撮像装置、およびその制御方法
WO2012133427A1 (ja) * 2011-03-30 2012-10-04 富士フイルム株式会社 撮像装置及びそのオートフォーカス制御方法
JP2013008018A (ja) * 2011-05-25 2013-01-10 Canon Inc 撮像装置およびその制御方法
JP6049333B2 (ja) * 2011-10-14 2016-12-21 キヤノン株式会社 焦点検出装置及び焦点検出装置の制御方法
JP6198437B2 (ja) * 2012-05-11 2017-09-20 キヤノン株式会社 撮像装置およびその制御方法
JP2014102400A (ja) * 2012-11-20 2014-06-05 Canon Inc 撮像装置および撮像装置の制御方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101071252A (zh) * 2006-05-10 2007-11-14 佳能株式会社 焦点调节方法、焦点调节设备及其控制方法
CN101750847A (zh) * 2008-12-15 2010-06-23 索尼株式会社 图像拾取装置和聚焦控制方法
US20110228053A1 (en) * 2010-03-18 2011-09-22 Fujifilm Corporation Stereoscopic imaging apparatus
US20130258168A1 (en) * 2010-11-30 2013-10-03 Fujifilm Corporation Image capturing apparatus and in-focus position detection method thereof
US20130250162A1 (en) * 2010-12-17 2013-09-26 Canon Kabushiki Kaisha Automatic focusing apparatus and lens apparatus including the automatic focusing apparatus
JP2014077830A (ja) * 2012-10-09 2014-05-01 Olympus Corp 撮像装置及びフォーカス制御方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107613216A (zh) * 2017-10-31 2018-01-19 广东欧珀移动通信有限公司 对焦方法、装置、计算机可读存储介质和电子设备
CN107613216B (zh) * 2017-10-31 2019-10-18 Oppo广东移动通信有限公司 对焦方法、装置、计算机可读存储介质和电子设备
WO2020073663A1 (zh) * 2018-10-12 2020-04-16 华为技术有限公司 一种应用于终端设备的对焦方法、装置和终端设备
US11363187B2 (en) 2018-10-12 2022-06-14 Huawei Technologies Co., Ltd. Focusing method and apparatus applied to terminal device, and terminal device
CN113747070A (zh) * 2021-09-10 2021-12-03 昆山丘钛微电子科技股份有限公司 摄像头模组的对焦方法、装置、终端设备及介质
CN113959360A (zh) * 2021-11-25 2022-01-21 成都信息工程大学 基于相移与焦移三维面形垂直测量方法、装置、介质
CN113959360B (zh) * 2021-11-25 2023-11-24 成都信息工程大学 基于相移与焦移三维面形垂直测量方法、装置、介质

Also Published As

Publication number Publication date
EP3155804A4 (en) 2018-02-07
CN106464807B (zh) 2019-12-24
US20150365584A1 (en) 2015-12-17
BR112016026490A2 (pt) 2017-08-15
EP3155804A1 (en) 2017-04-19
US9338345B2 (en) 2016-05-10
KR101800995B1 (ko) 2017-11-23
KR20160143803A (ko) 2016-12-14
WO2015191163A1 (en) 2015-12-17

Similar Documents

Publication Publication Date Title
CN106464807A (zh) 用于基于相位的自动聚焦的可靠性测量
CN105659287B (zh) 图像处理装置、图像处理方法和成像系统
CN108549863B (zh) 人体姿态预测方法、装置、设备及存储介质
CN108615248B (zh) 相机姿态追踪过程的重定位方法、装置、设备及存储介质
CN103988503B (zh) 使用预捕获图像运动的场景分割
CN106796657A (zh) 用于多目标对象跟踪的自动目标选择
CN107920211A (zh) 一种拍照方法、终端及计算机可读存储介质
US10511758B2 (en) Image capturing apparatus with autofocus and method of operating the same
CN107079141B (zh) 用于三维视频的图像拼接
CN107079100A (zh) 用于相机阵列的透镜移位校正的方法和系统
CN103533228B (zh) 用于从多个图像产生完美拍摄成像的方法和系统
CN106651767A (zh) 一种获取全景图像的方法及装置
CN109151301A (zh) 包括相机模块的电子装置
CN107925755A (zh) 针对图像处理进行平面表面检测的方法和系统
CN106210538A (zh) 在用户设备上显示基于光场的图像的方法和装置及程序
US10645364B2 (en) Dynamic calibration of multi-camera systems using multiple multi-view image frames
CN111931877B (zh) 目标检测方法、装置、设备及存储介质
CN106165386A (zh) 用于照片上传和选择的自动化技术
CN105578059A (zh) 用于拍摄全景图像的摄影装置和方法
CN109978936A (zh) 视差图获取方法、装置、存储介质及设备
CN105008976B (zh) 摄像装置、信号处理方法、信号处理程序
CN106464800B (zh) 用于成像设备的自动防眩光曝光的方法、系统、机器可读介质及计算设备
US9058655B2 (en) Region of interest based image registration
CN104184928A (zh) 信息处理设备、信息处理方法以及程序
CN105900415A (zh) 使用注视跟踪的增强照片和视频拍摄

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant