CN117136554A - 包括相机的电子设备及其控制方法 - Google Patents

包括相机的电子设备及其控制方法 Download PDF

Info

Publication number
CN117136554A
CN117136554A CN202280023675.0A CN202280023675A CN117136554A CN 117136554 A CN117136554 A CN 117136554A CN 202280023675 A CN202280023675 A CN 202280023675A CN 117136554 A CN117136554 A CN 117136554A
Authority
CN
China
Prior art keywords
electronic device
value
lens
processor
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280023675.0A
Other languages
English (en)
Inventor
郑基五
朴东烈
崔淳景
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020210038970A external-priority patent/KR20220133630A/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN117136554A publication Critical patent/CN117136554A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B3/00—Focusing arrangements of general interest for cameras, projectors or printers
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B30/00—Camera modules comprising integrated lens units and imaging units, specially adapted for being embedded in other devices, e.g. mobile phones or vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

根据本公开的实施例的一个方面，一种电子装置包括：至少一个相机，包括至少一个透镜；第一传感器，检测电子设备的运动；以及至少一个处理器，其中，至少一个处理器执行通过对主体进行聚焦处理来确定至少一个透镜的目标位置并将至少一个透镜移动到目标位置的第一聚焦操作，以及当确定满足作为到主体的距离的拍摄距离小于距离参考值并且景深值小于或等于深度参考值的第一条件时，执行从第一传感器的检测值计算光轴方向上的运动值、计算用于校正光轴方向上的运动值的聚焦校正值、以及在聚焦校正值的基础上附加地驱动至少一个透镜的第二聚焦操作。

Description

包括相机的电子设备及其控制方法
技术领域
本公开涉及包括相机的电子装置、电子装置的控制方法以及具有记录在其上的用于执行电子装置的控制方法的程序的计算机可读记录介质。
背景技术
最近，广角相机已经广泛应用于各种移动设备。广角拍摄用在特写(close-up)拍摄中，以用于在近距离上拍摄主体。随着用于在聚焦在近距离的主体上而不聚焦在背景上的状态下拍摄的特写拍摄被广泛地使用，存在对移动设备中的高质量广角拍摄的需求。
此外，在许多情况下，移动设备的相机模块提供了诸如自动聚焦和防止手振动的高级功能。当电子装置拍摄主体时，通过在自动聚焦之后立即执行曝光时段来获得图像。然而，因为景深随着广角增大而减小，所以拍出的照片不聚焦，因为在广角拍摄中，主体在曝光之后偏离(deviate)景深。
以上信息仅作为背景信息呈现，以协助理解本公开。关于上述任何一个是否可以可用作关于本公开的现有技术，没有做出确定，也没有做出断言。
发明内容
技术问题
本公开的各方面至少解决上述问题和/或缺点，并至少提供下述优点。因此，本公开的一方面是提供一种能够提高特写拍摄中的拍摄质量的电子装置、该电子装置的控制方法以及存储其程序的计算机可读记录介质。
本公开的另一方面是提供一种能够通过跟踪电子装置的光轴方向上的运动来校正光轴方向上的手振动的电子装置、该电子装置的控制方法以及存储其程序的计算机可读记录介质。
另外的方面将在下面的描述中部分地阐述，并且部分地将从描述中变得清晰，或者可以通过对所呈现的实施例的实践而习知。
技术方案
根据本公开的一方面，提供了一种电子装置。该电子装置包括：至少一个相机模块，包括至少一个透镜；第一传感器，被配置为检测电子装置的运动；以及至少一个处理器，被配置为执行第一聚焦操作，包括通过对主体进行聚焦处理来确定至少一个透镜的目标位置并将至少一个透镜移动到目标位置，并且执行第二聚焦操作，包括根据确定满足作为到主体的距离的拍摄距离小于距离参考值并且景深值小于或等于深度参考值的第一条件，从第一传感器的检测值计算光轴方向上的运动值，计算用于补偿光轴方向上的运动值的聚焦校正值，以及基于聚焦校正值附加地驱动至少一个透镜。
此外，根据本公开的实施例，至少一个处理器可以被配置为基于确定满足第一条件，以激活第二聚焦操作的第一模式操作，并且基于确定不满足第一条件，以不执行第二聚焦操作的第二模式操作。
此外，根据本公开的实施例，第二聚焦操作的至少一个透镜的可驱动范围可以比第一聚焦操作的至少一个透镜的可驱动范围更窄(narrower)。
此外，根据本公开的实施例，至少一个处理器可以被配置为基于由至少一个相机模块生成的图像数据来测量到主体的拍摄距离。
此外，根据本公开的实施例，电子装置还可以包括被配置为测量到主体的距离的第二传感器，其中至少一个处理器可以被配置为基于第二传感器的检测值测量到主体的距离。
此外，根据本公开的实施例，至少一个相机模块可以包括广角相机模块和长焦相机模块，长焦相机模块包括具有比广角相机模块更大焦距的透镜，并且至少一个处理器可以被配置为当使用广角相机模块时，确定是否满足第一条件，并且基于确定满足第一条件来执行第二聚焦操作。
此外，根据本公开的实施例，至少一个相机模块可以包括至少一个振动校正透镜和用于调节焦距的至少一个聚焦透镜，并且至少一个处理器可以被配置为从第一传感器检测角速度方向上的运动，并且驱动至少一个振动校正透镜以补偿角速度方向上的运动值，并且通过执行第一聚焦操作和第二聚焦操作来驱动至少一个聚焦透镜。
此外，根据本公开的实施例，至少一个处理器可以被配置为从第一传感器检测角速度方向上的运动，并且对由至少一个相机模块生成的图像执行手振动校正处理，以补偿角速度方向上的运动值。
此外，根据本公开的实施例，至少一个处理器可以包括：被配置为执行第一聚焦操作的第一处理器，以及被配置为执行第二聚焦操作的第二处理器，其中至少一个处理器可以被配置为确定是否满足第一条件，并且当确定满足第一条件时，激活第二处理器的第二聚焦操作。
此外，根据本公开的实施例，第一传感器可以包括6轴加速度传感器，并且第二处理器可以被配置为通过对第一传感器的检测值当中的光轴方向上的加速度值进行二次积分来计算光轴方向上的运动值，计算聚焦校正值以补偿光轴方向上的运动值，并且执行第二聚焦操作。
此外，根据本公开的实施例，距离参考值可以是100毫米，深度参考值可以是8毫米。
此外，根据本公开的实施例，至少一个处理器可以被配置为在输入至少一个相机模块的快门释放信号之后，在曝光时段之前完成第一聚焦操作，并且在曝光时段期间执行第二聚焦操作。
此外，根据本公开的实施例，电子装置还可以包括光学图像稳定微控制器单元(OIS MCU)。
此外，根据本公开的实施例，OIS MCU可以被配置为在生成预览图像的时段和输入快门释放信号之后的曝光时段期间跟踪z轴方向上的运动值。
根据本公开的另一方面，提供了一种包括至少一个相机模块的电子装置的控制方法。该控制方法包括：通过使用第一传感器来检测电子装置的运动；执行第一聚焦操作，包括通过对主体进行聚焦处理来确定至少一个透镜的目标位置，以及将至少一个透镜移动到目标位置，并执行第二聚焦操作，包括根据确定满足作为到主体的距离的拍摄距离小于距离参考值并且景深值小于或等于深度参考值的第一条件，从第一传感器的检测值计算光轴方向上的运动值，计算用于补偿光轴方向上的运动值的聚焦校正值，以及基于聚焦校正值附加地驱动至少一个透镜。
根据本公开的另一方面，计算机可读记录介质在其上记录了用于在计算机中执行电子装置的上述控制方法的程序。
从以下结合附图公开了本公开的各种实施例的详细描述中，本公开的其他方面、优点和显著特征对于本领域技术人员将变得清晰。
附图说明
从以下结合附图的描述中，本公开的某些实施例的上述和其他方面、特征和优点将变得更加明显，其中：
图1是用于描述根据本公开实施例的电子装置的操作的示图；
图2是示出根据本公开实施例的电子装置的结构的示图；
图3是示出根据本公开实施例的电子装置的控制方法的流程图；
图4是示出根据本公开实施例的电子装置的结构的示图；
图5是示出根据本公开实施例的相机控制块、6轴传感器、光学图像稳定微控制器单元(OIS MCU)和相机模块的示图；
图6是用于描述根据本公开实施例的拍摄距离的示图；
图7是用于描述根据本公开实施例的计算景深的过程的示图；
图8是示出根据本公开实施例的电子装置的手振动量和相机模块的深度的示图；
图9是示出根据本公开实施例的拍摄距离和景深之间的关系的曲线图；
图10是示出根据本公开实施例的获得拍摄距离信息的过程的示图；
图11是示出根据本公开实施例的电子装置的结构的框图；
图12是示出根据本公开实施例的相机模块的结构的示图；
图13是示出根据本公开实施例的用于执行振动校正的配置的示图；
图14是用于将获得的图像与根据按照本公开实施例的比较示例而获得的图像进行比较的示图；
图15是用于将获得的图像与根据按照本公开实施例的比较示例而获得的图像进行比较的示图；
图16是根据本公开实施例的网络环境中的电子装置的框图；和
图17是示出根据本公开实施例的相机模块的框图。
在所有附图中，应当注意，相同的附图标记用于描绘相同或相似的元素、特征和结构。
具体实施方式
提供参考附图的以下描述以帮助全面理解由权利要求及其等同物所限定的本公开的各种实施例。它包括各种具体细节以帮助理解，但这些仅被视为示例性的。因此，本领域普通技术人员将认识到，在不脱离本公开的范围和精神的情况下，可以对这里描述的各种实施例进行各种改变和修改。此外，为了清楚和简明起见，可以省略对众所周知的功能和结构的描述。
在以下描述和权利要求中使用的术语和词语不限于文献意义，而是仅由发明人使用，以使得能够清楚和一致地理解本公开。因此，对于本领域的技术人员来说清晰的是，本公开的各种实施例的以下描述仅仅是为了说明的目的而提供的，而不是为了限制由所附权利要求及其等同物所限定的本公开。
应当理解，单数形式“一(a)”、“一(an)”和“该”包括复数指示物，除非上下文中另有明确指示。
在整个公开中，表述“a、b或c中的至少一个”指示仅a、仅b、仅c、a和b两者、a和c两者、b和c两者、a、b和c的全部、或者它们的变体。
在整个说明书中，相同的附图标记可以表示相同的元素。说明书可能没有描述实施例的所有元素，并且为了简明起见，将省略本公开的实施例所属领域的一般描述或者实施例之间的冗余描述。如这里所使用的，术语“模块”或“单元”可以由软件、硬件、固件或其任意组合来实现，并且根据本公开的实施例，多个“模块”或“单元”可以被实现为一个元件，或者一个“模块”或“单元”可以包括多个元件。
在实施例的以下描述中，当认为相关技术的详细描述可能不必要地模糊了本公开的主题时，将省略相关技术的详细描述。此外，在描述本公开的实施例的过程中使用的数字(例如，第一和第二)仅仅是用于将一个元素与另一个元素区分开的识别符号。
此外，在本文中，当元素被称为“连接”或“耦合”到另一个元素时，该元素可以直接地连接或耦合到该另一个元素，或者也可以通过其间的一个或多个其他的中间元素间接地连接或耦合到该另一个元素，除非另有说明。
图1是用于描述根据本公开实施例的电子装置的操作的示图。
参照图1，特写拍摄用于拍摄离电子装置100的相机模块110一定距离内的主体120。在这种情况下，可以在聚焦状态下拍摄景深122内的主体120，并且可以在未聚焦状态下拍摄景深122外部的主体。因此，景深122之外的主体可能出现模糊状态，因为它在获得的图像中失焦。
在特写拍摄中，这种现象可用于聚焦在用户感兴趣的主体上，并有意地在除了感兴趣的主体之外的背景上获得失焦效果。然而，当用户感兴趣的主体偏离景深时，用户感兴趣的主体也可能失焦，并且可能出现模糊效应，从而降级所获得的图像的质量。
然而，在特写摄影中，景深122可能非常浅。根据本公开的实施例，在视角视场(FOV)为83度且拍摄距离为50毫米(mm)的广角拍摄的情况下，景深可以仅为5.9毫米，在视角FOV为120度且拍摄距离为100毫米的超广角拍摄的情况下，景深可以仅为1.2毫米。因此，在特写拍摄中，因为景深122只有几毫米，所以即使在拍摄中有微小的振动，主体120也可能容易偏离景深122。
例如，在主体120的中心位于位置124b的状态下，当主体120的中心位置相对于电子装置100由于电子装置100的光轴方向上的振动102而移动到位置124a或位置124c时，主体120可能偏离景深122的范围。光轴方向上的振动102可以意味着电子装置100和主体120之间的距离改变。例如，电子装置100和主体120之间的距离可以随着电子装置100的位置改变或者随着主体120的位置改变而改变。引起电子装置100的位置改变的电子装置100的光轴方向上的振动102可以由各种因素引起，诸如用户的手振动和当输入快门释放信号时电子装置100的振动。
在本公开的实施例中，在特写拍摄中，可以另外驱动(114)聚焦透镜112，以校正电子装置100的光轴方向上的振动102。电子装置100可以通过使用特定传感器来检测光轴方向上的振动102，计算光轴方向上的振动102的值，然后计算聚焦透镜112的聚焦校正值，以补偿光轴方向上的振动102的计算值。电子装置100可以执行将聚焦透镜112移动到目标位置以聚焦在主体120上的第一聚焦操作，并且根据本公开的实施例，在特写拍摄中，电子装置100可以执行在第一聚焦操作之后附加地驱动聚焦透镜112以校正光轴方向上的振动102的第二聚焦操作。通过第二聚焦操作，本公开的实施例可以防止在特写拍摄中主体120偏离景深122的范围，从而显著提高特写拍摄的拍摄质量。
拍摄距离116可以表示从聚焦透镜112的中心轴到主体120的距离。聚焦透镜112的中心轴可以表示位于包括x轴和y轴的聚焦透镜112的中心平面上并穿过聚焦透镜112的中心的特定轴。这里，拍摄距离116可以表示到主体120的最短距离。光轴方向上的运动可以表示与相机模块110的光轴对应的方向上的运动分量。这里，光轴将被称为z轴。
根据本公开的实施例，拍摄距离116也可以被定义为从图像传感器到主体120的距离。当拍摄距离116被定义为从图像传感器到主体120的距离时，可以根据该定义来设置驱动参数。
图2是示出根据本公开实施例的电子装置的结构的示图。
参照图2，根据本公开的实施例，电子装置100可以包括各种类型的电子装置100，包括相机模块110。例如，电子装置100可以以各种形式实现，诸如通信装置、可佩戴装置、相机、平板个人计算机(PC)和膝上型PC。根据本公开的实施例，电子装置100可以以可折叠电子装置或可卷曲电子装置的形式实现。
电子装置100可以包括相机模块110、处理器210和第一传感器220。
相机模块110可以光电转换入射光以生成图像数据。相机模块110可以包括至少一个透镜、图像传感器和驱动电路。根据本公开的实施例，相机模块110还可以包括光学设备，例如光圈或快门。该至少一个透镜可以包括聚焦透镜。例如，可以通过使用电荷耦合设备(CCD)传感器或互补金属氧化物半导体(CMOS)传感器来实现图像传感器。相机模块110可以包括一个或多个相机模块。例如，相机模块110可以包括超广角相机模块、广角相机模块或长焦相机模块中的至少一个或其任意组合。根据另一实施例，相机模块110可以实现为单个相机模块110，并且可以通过使用相机模块110中的至少一个透镜组件(assembly)来调整焦距和广角。
相机模块110可以将生成的图像数据输出到处理器210。
处理器210可以控制电子装置100的整体操作。处理器210可以包括一个或多个处理器。处理器210可以包括例如用于执行手振动校正(即，图像稳定)处理的移动应用处理器(AP)和辅助处理器。
处理器210可以从相机模块110接收图像数据，并生成获得的图像。处理器210可以通过对图像数据执行各种图像处理和压缩处理来生成对应于静止图像或移动图像的获得的图像。处理器210可以从图像数据生成预览图像、截屏图像、捕获图像或移动图像。
处理器210可以生成用于驱动相机模块110的驱动信号，并将驱动信号输出到相机模块110。可以基于由处理器210生成和输出的驱动信号来驱动相机模块110。相机模块110可以基于驱动信号在z轴方向上驱动聚焦透镜。处理器210可以通过聚焦处理确定聚焦透镜的目标位置，并生成和输出对应于目标位置的驱动信号。聚焦处理可以包括自动聚焦(AF)处理，其中处理器210基于图像数据或特定传感器的检测值自动执行聚焦处理，或者包括手动聚焦处理，其中用户手动调整透镜的位置。处理器210可以根据聚焦模式(自动聚焦模式或手动聚焦模式)执行聚焦处理，并生成用于聚焦透镜的驱动信号。除了用于驱动聚焦透镜的信号之外，驱动信号可以包括图像传感器驱动信号、快门释放信号、闪光灯驱动信号、相机模块激活信号等。通过聚焦处理，可以根据驱动信号执行驱动相机模块110的透镜的第一聚焦操作。
第一传感器220可以是用于检测电子装置100的运动的传感器。第一传感器220可以包括例如加速度传感器或陀螺仪传感器。此外，根据本公开的实施例，第一传感器220可以对应于6轴传感器。6轴传感器可以是用于检测3个轴上的角速度和3个轴上的加速度的传感器。3个轴上的角速度可以包括偏转、俯仰和滚动方向上的角速度。3个轴上的加速度可以包括x轴、y轴和z轴方向上的加速度。第一传感器220可以将检测到的3轴的角速度值和3轴的加速度值作为传感器检测值输出到处理器210。
为了确定拍摄是否是特写拍摄，处理器210可以确定是否满足第一条件。第一条件是作为从图像传感器到主体的距离的拍摄距离小于距离参考值，并且景深值小于或等于深度参考值。例如，距离参考值可以被设置为100毫米，深度参考值可以被设置为8毫米。距离参考值和深度参考值可以通过用户输入来设置或改变。
当确定满足第一条件时，处理器210可以在执行第二聚焦操作的第一模式下操作。在第一模式中，电子装置100可以在完成第一聚焦操作之后执行第二聚焦操作。每当通过聚焦处理改变聚焦透镜的聚焦目标位置时，可以执行第一聚焦操作。第二聚焦操作可以在第一聚焦操作完成之后跟踪z轴方向上的运动，并且可以在预览时段和曝光时段期间执行。曝光时段可以是在输入快门释放信号之后图像传感器被曝光特定曝光时间的时段。
当确定不满足第一条件时，处理器210可以在不执行第二聚焦操作的第二模式下操作。在第二模式中，电子装置100可以执行第一聚焦操作，并且可以不执行用于跟踪z轴方向上的运动的处理。
第一聚焦操作的可驱动范围可以大于第二聚焦操作的可驱动范围。因为第一聚焦操作用于聚焦在主体上，而第二聚焦操作是用于校正第一聚焦操作完成之后的振动的精细校正操作，所以第二聚焦操作的可驱动范围可以设置得比第一聚焦操作的可驱动范围更短(shorter)。当电子装置100在光轴方向上的运动值偏离可以通过第二聚焦操作校正的范围时，电子装置100可以再次执行第一聚焦操作。
在第一模式中，处理器210可以根据第一传感器220的检测值计算光轴方向上的运动值，以执行第二聚焦操作。处理器210可以基于从第一传感器220输出的传感器检测值来生成电子装置100的运动值。处理器210可以基于第一传感器220在z轴方向上的加速度来计算光轴方向(即，z轴方向)上的运动值。处理器210可以通过对加速度执行积分操作来计算z轴方向上的运动值。处理器210可以根据第一传感器220的检测值来跟踪z轴方向上的运动值。处理器210可以在以预览模式操作的时段和在曝光时段中跟踪z轴方向上的运动值。
处理器210可以基于z轴方向上的运动值来计算用于补偿z轴方向上的运动的聚焦校正值。处理器210可以计算用于偏移(offset)z轴方向上的运动值的聚焦校正值，以补偿z轴方向上的运动值。当在电子装置100的z轴方向上存在运动时，根据z轴方向上的运动的改变可能出现在获得的图像中。特别地，当主体由于z轴方向上的运动而偏离景深时，主体可能在未聚焦的模糊状态下被拍摄，从而降级了所获得的图像的质量。处理器210可以生成用于在z轴方向上移动聚焦透镜的聚焦校正值，以便偏移z轴方向上的运动并将主体保持在景深的范围内。聚焦校正值可以表示聚焦透镜112的运动方向和运动量。处理器210可以生成聚焦校正值，生成对应于聚焦校正值的透镜驱动信号，并将驱动信号输出到相机模块110。
相机模块110可以基于从处理器210输入的驱动信号来驱动相机模块110中的聚焦透镜112。根据本公开的实施例，相机模块110可以在第一模式下执行第一聚焦操作和第二聚焦操作，并且可以在第二模式下执行第一聚焦操作。相机模块110的驱动电路可以基于从处理器210输入的驱动信号来控制至少一个透镜和图像传感器。相机模块110可以基于驱动信号将聚焦透镜移动到聚焦目标位置，并且可以根据聚焦校正值在z轴方向上移动聚焦透镜。
图3是示出根据本公开实施例的电子装置的控制方法的流程图。
根据本公开实施例的电子装置的控制方法可以由包括相机模块、运动检测传感器和处理器的各种电子装置来执行。本公开将集中于根据本公开实施例的电子装置100执行电子装置的控制方法的实施例。根据所描述的实施例的电子装置的控制方法不限于由这里描述的电子装置100执行，并且可以由各种类型的电子装置执行。
参照图3，在操作S302，电子装置可执行聚焦处理，并基于聚焦处理的结果值执行第一聚焦操作。根据本公开的实施例，可以基于通过相机模块输入的图像数据来执行聚焦处理。根据另一实施例，可以基于诸如距离传感器或相位差传感器的传感器的检测值来执行聚焦处理。聚焦处理的结果值可以是透镜的目标位置。
电子装置可以通过将聚焦透镜移动到透镜的目标位置来执行第一聚焦操作。为此，电子装置的处理器可以生成用于驱动聚焦透镜的驱动信号，并将驱动信号输出到相机模块，相机模块可以基于驱动信号驱动聚焦透镜。
接下来，在操作S304和S306，电子装置可以确定拍摄距离值和景深值是否满足第一条件。第一条件是拍摄距离值小于距离参考值，并且景深值小于或等于深度参考值。电子装置可以检测或计算并获得拍摄距离值和景深值。
在操作S304，电子装置可以确定拍摄距离是否小于距离参考值。在操作S306，电子装置可以确定景深值是否等于或小于深度参考值。操作S304和S306的顺序可以根据实施例改变，并且可以并行执行。
根据本公开的实施例，当选择具有浅景深的透镜(例如，广角透镜或亮透镜)时，电子装置可以确定拍摄距离是否小于参考距离值。在这种情况下，电子装置可以首先在操作S306确定是否选择了具有浅景深的透镜，并且当选择了具有浅景深的透镜时，可以在操作S304确定拍摄距离是否小于距离参考值。
当确定满足第一条件时，电子装置可以在执行第一聚焦操作之后附加地执行第二聚焦操作的第一模式下操作。当确定不满足第一条件时，电子装置可以在执行第一聚焦操作并且不执行第二聚焦操作的第二模式下操作。
当电子装置在第一模式下操作时，可以执行操作S308、S310和S312。
在操作S308，电子装置可以计算电子装置在光轴方向上的运动值。电子装置可以通过使用各种类型的运动传感器来检测电子装置的运动。根据本公开的实施例，电子装置可以使用6轴加速度传感器。电子装置可以通过在6轴加速度传感器中对光轴方向上的加速度进行积分来计算光轴方向上的运动值。然而，因为运动传感器的检测值可以用于除了第二聚焦操作之外的操作，所以即使当电子装置在第二模式下操作时，也可以执行用于计算除第二聚焦操作之外的操作的运动值的处理。
接下来，在操作S310，电子装置可以基于光轴方向上的运动值来计算聚焦校正值。电子装置可以计算用于补偿电子装置的光轴方向上的运动的聚焦校正值。电子装置可以计算用于偏移所获得的图像中光轴方向上的运动的影响的、聚焦透镜的运动量和运动方向，并且计算表示聚焦透镜的运动量和运动方向的聚焦校正值。电子装置可以通过使用聚焦校正值来生成用于驱动聚焦透镜的驱动信号。
在操作S312，电子装置可以通过驱动聚焦透镜来执行第二聚焦操作。电子装置可以基于驱动信号来驱动相机模块的聚焦透镜，驱动信号是基于聚焦校正值生成的。
根据本公开的实施例，每当拍摄距离改变时，可以确定是否满足第一条件。拍摄距离可以基于第一聚焦操作的结果值获得，或者可以通过使用单独的(separate)第二传感器获得。当拍摄距离改变时，电子装置可以执行S302的第一聚焦操作，并且可以执行确定S304和S306的第一条件是否满足的操作。当因为满足第一条件而确定电子装置在第一模式下操作时，电子装置可以根据快门释放信号在用于生成预览图像的时段和用于捕获图像的曝光时段期间跟踪光轴方向上的运动，基于光轴方向上的运动值计算聚焦校正值，并执行第二聚焦操作。因此，可以通过跟踪光轴方向上的运动来连续执行第二聚焦操作。
根据另一实施例，每当执行第一聚焦操作时，可以确定是否满足第一条件。电子装置可以基于第一聚焦操作的结果值获得拍摄距离，并基于获得的拍摄距离确定是否满足第一条件。当因为满足第一条件而确定电子装置在第一模式下操作时，电子装置可以根据快门释放信号在用于生成预览图像的时段和用于捕获图像的曝光时段期间跟踪光轴方向上的运动，基于光轴方向上的运动值计算聚焦校正值，并执行第二聚焦操作。因此，可以通过跟踪光轴方向上的运动来连续执行第二聚焦操作。
当在操作S304或S306确定不满足第一条件时，电子装置可以在第二模式下操作。在第二模式中，在执行第一聚焦操作之后，电子装置可以不另外执行第二聚焦操作。
图4是示出根据本公开实施例的电子装置的结构的示图。
参照图4，根据本公开的实施例，电子装置100a可以包括电路块410和相机模块110，相机模块110包括广角相机模块420。尽管图4示出相机模块110仅包括广角相机模块420，但是除了广角相机模块420之外，相机模块110还可以包括另一个相机模块，例如长焦相机模块。
电路块410可以包括应用处理器(AP)430、光学图像稳定微控制器单元(OIS MCU)440和6轴传感器220a。这里，AP 430和OIS MCU 440可以对应于图2的处理器210。6轴传感器220a可以对应于图2的第一传感器220。这里，AP 430也可以被称为第一处理器，并且OISMCU 440也可以被称为第二处理器。
AP 430可以控制电子装置100a的整体操作。AP 430可以以片上系统(SoC)的形式实现为芯片组，芯片组包括中央处理单元(CPU)、图形处理单元(GPU)、视频处理单元(VPU)、数字信号处理器(DSP)、调制解调器等。AP 430可以包括用于控制和驱动相机模块110的相机控制块432。
相机控制块432可以执行相机控制操作，诸如自动聚焦(AF)或自动曝光。相机控制块432可以在电子装置100a的拍摄模式下执行AF操作。当电子装置100a在手动拍摄模式下操作时，相机控制块432可以基于用户输入的用户输入信号来确定聚焦透镜的透镜目标位置。
AF操作可以包括当开始拍摄模式时，确定聚焦透镜的透镜目标位置以实时聚焦在主体上。相机控制块432可以向OIS MCU 440输出由AF操作确定的透镜目标位置信息。相机控制块432的AF操作可以使用各种方法，诸如通过使用诸如红外传感器或激光传感器的距离传感器来执行AF的有源AF，或者基于图像数据来执行AF的无源AF。
根据本公开的实施例，电子装置100a可以包括对应于距离传感器的第二传感器，基于第二传感器的检测值确定到主体的距离，并基于确定的到主体的距离执行AF操作。电子装置100a可以基于到主体的距离来确定聚焦透镜的目标位置，并基于确定的聚焦透镜的目标位置来执行AF操作。根据另一实施例，电子装置100可以通过使用诸如对比度(contrast)AF的方法基于图像数据执行AF操作。
6轴传感器220a可以是用于检测3个轴上的角速度和3个轴上的加速度的传感器。3个轴上的角速度可以包括偏转、俯仰和滚动方向上的角速度。3个轴上的加速度可以包括x轴、y轴和z轴方向上的加速度。6轴传感器220a可以向OIS MCU 440输出包括3轴角速度值和3轴加速度值的传感器检测值。
OIS MCU 440可以基于透镜目标位置信息生成用于驱动相机模块110的透镜的驱动信号。相机模块110可以基于从OIS MCU 440输入的驱动信号来驱动透镜424。当从AP 430的相机控制块432输入透镜目标位置时，OIS MCU 440可以生成用于第一聚焦操作的驱动信号，并将该驱动信号输出到相机模块110。当输入驱动信号时，相机模块110可以根据驱动信号驱动透镜424。
当电子装置100a在第一模式下操作时，OIS MCU 440可以生成用于第二聚焦操作的驱动信号。AP 430可以基于拍摄距离和景深值来确定是以第一模式还是第二模式操作。AP 430可以向OIS MCU 440输出关于它是在第一模式还是第二模式下操作的模式信息。当OIS MCU 440基于从AP 430输入的模式信息在第一模式下操作时，OIS MCU 440可以通过使用从6轴传感器220a输入的传感器检测值来计算聚焦校正值。OIS MCU 440可以通过使用传感器检测值当中z轴方向上的加速度值来生成用于补偿z轴方向上的运动的聚焦校正值。此外，OIS MCU 440可以生成对应于聚焦校正值的驱动信号，将驱动信号输出到相机模块110，并执行第二聚焦操作。相机模块110可以接收对应于聚焦校正值的驱动信号，并执行第二聚焦操作。
OIS MCU 440可以在生成预览图像的时段和输入快门释放信号之后的曝光时段期间跟踪z轴方向上的运动值。此外，OIS MCU 440可以根据跟踪z轴方向上的运动的结果来更新用于补偿z轴方向上的运动值的聚焦校正值和对应的驱动信号。因此，可以通过根据驱动信号跟踪z轴方向上的运动来驱动相机模块110的透镜424。
OIS MCU 440可以从AP 430接收关于生成预览图像的时段的信息和关于输入快门释放信号之后的曝光时段的信息。例如，OIS MCU 440可以接收对应于预览模式的信息、快门释放信号输入信息和关于曝光时间的信息。
作为另一个示例，OIS MCU 440可以从相机模块110接收关于曝光时段的信息。例如，OIS MCU 440可以从读出的信息中获得关于曝光时段的信息，或者促进成像设备422的信息。OIS MCU 440可以在成像设备422被接合(engaged)的时段或者从成像设备422读出成像信号的时段期间跟踪z轴方向上的运动值，并执行第二聚焦操作。
根据本公开的另一实施例，OIS MCU 440可以在确定第一聚焦操作的目标位置之后立即执行第二聚焦操作。例如，当完成对第一聚焦操作的目标位置的确定时，OIS MCU440可以基于z轴方向上的运动值生成聚焦校正值。也就是说，OIS MCU 440可以在确定第一聚焦操作的目标位置之后立即开始第二聚焦操作。在这种情况下，OIS MCU 440可以通过将第二聚焦操作的聚焦校正值加到第一聚焦操作的目标位置来生成驱动信号，并控制相机模块110。
当电子装置100a在第二模式下操作时，OIS MCU 440可以不另外执行第二聚焦操作。因此，当OIS MCU 440在第二模式下操作时，OIS MCU 440可基于由AP 430的相机控制块432生成的透镜目标位置生成用于第一聚焦操作的驱动信号，并将驱动信号输出到相机模块110，并且可以不基于6轴传感器220a的传感器检测值执行z轴方向上的运动的校正。然而，根据本公开的实施例，除了z轴方向上的运动的校正之外，OIS MCU 440还可以执行用于角速度方向上的运动的校正的处理。
根据本公开的实施例，相机模块110可以包括多个相机模块110，并且当广角相机模块420被激活时，电子装置100a可以在第一模式或第二模式下操作。当多个相机模块110包括广角相机模块420和长焦相机模块时，AP 430可以基于到主体的距离、焦距、拍摄模式、主体的类型等选择相机模块110的广角相机模块420或长焦相机模块之一。
例如，基于用户输入的变焦控制信号，AP 430可以在放大的情况下激活长焦相机模块以增加焦距，并且可以在缩小的情况下激活广角相机模块420以减小拍摄距离。
作为另一个示例，AP 430可以在用于拍摄近主体的特写模式的情况下激活广角相机模块420，并且可以在用于拍摄诸如风景的远主体的模式的情况下激活长焦相机模块。此外，可以设置单独的拍摄模式，并且AP 430可以在肖像模式的情况下激活广角相机模块420，并且可以在风景模式的情况下激活长焦相机模块。
然而，在长焦相机模块被激活的模式下，因为焦距被设置得长并且景深深，所以即使当在z轴方向有手振动时，主体也很可能被维持在景深内。因此，根据本公开的实施例，仅当广角相机模块420被选择和激活时，AP 430可以确定第一条件是否被满足，并且当第一条件被满足时，AP 430可以控制电子装置100a以第一模式操作来激活第二聚焦操作。在这种情况下，当选择并激活长焦相机模块时，AP 430可以在第二模式下操作，而不确定是否满足第一条件。
当相机模块110包括超广角相机模块、广角相机模块和长焦相机模块的三个相机模块时，AP 430可以仅在超广角相机模块被激活时确定是否满足第一条件，并且可以在第一条件被满足时以第一模式操作。当广角相机模块或长焦相机模块被激活时，AP 430可以在第二模式下操作，而不确定是否满足第一条件。
作为另一示例，当相机模块110包括超广角相机模块、广角相机模块和长焦相机模块的三个相机模块时，AP 430可以仅在超广角相机模块或广角相机模块被激活时确定是否满足第一条件，并且可以在满足第一条件时以第一模式操作。当激活长焦相机模块时，AP430可以在第二模式下操作，而不确定是否满足第一条件。
图5是示出根据本公开实施例的相机控制块、6轴传感器、OIS MCU和相机模块的示图。
参考图5，根据本公开实施例的OIS MCU 440可以包括直流(DC)截止滤波器(即，低频滤波器)510、第一积分块512、第一高通滤波器(HPF)514、第二积分块516、第二HPF 518和求和块520。
当OIS MCU 440在第一模式下操作时，可以激活处理z轴方向上的运动值的计算和聚焦校正值的生成的操作。当电子装置100a在第一模式下操作时，相机控制块432可以生成用于促进第二聚焦操作的控制信号，并将该控制信号输出到OIS MCU 440。
OIS MCU 440的DC截止滤波器510可以从6轴传感器220a接收z轴方向上的加速度。DC截止滤波器510可以从z轴方向的加速度值中移除DC分量，以移除重力加速度分量和偏移分量。
接下来，DC截止滤波器510可以将处理的加速度值输出到第一积分块512。第一积分块512可以相对于时间积分加速度值。第一积分块512的输出值可以输入到第一HPF 514。
第一HPF 514可以控制第一积分块512的输出值中的低频分量，以移除由积分处理中的误差累积引起的积分漂移。在由6轴传感器220a测量的加速度中，由于诸如噪声的因素，测量值中可能出现误差。在积分处理的情况下，测量值中的误差可能在积分期间累积，因此积分结果值可能漂移。第一HPF 514可以移除由于这样的漂移现象的积分漂移值。当第一HPF 514处理第一积分块512的输出值时，可以获得速度值。
接下来，第一HPF 514可以向第二积分块516输出速度值。第二积分块516可以对速度值相对于时间进行积分。第二积分块516的输出值可以输入到第二HPF 518。第二HPF 518可以从第二积分块516的输出值中移除低频分量，以移除积分漂移值。第二HPF 518的输出值可以对应于距离值。OIS MCU 440可以从距离值生成聚焦校正值。OIS MCU 440可以通过将第二积分块516的输出值乘以增益值来生成聚焦校正值。聚焦校正值可以被输入到求和块520。聚焦校正值可以表示为等式1。在等式1中，Gain表示增益值，Acc表示z轴加速度值。
[等式1]
聚焦校正值＝Gain*JAccdt
求和块520可以接收并求和从AP 430的相机控制块432输入的透镜目标位置信息和聚焦校正值。求和块520可以将透镜目标位置信息和聚焦校正值的和作为透镜驱动信号输出到相机模块110a。
求和块520可以接收第一聚焦操作的透镜目标位置信息，并将第一聚焦操作的驱动信号输出到相机模块110a。此外，求和块520可以接收用于第二聚焦操作的聚焦校正值，并将用于第二聚焦操作的驱动信号输出到相机模块110a。用于第一聚焦操作的驱动信号和用于第二聚焦操作的驱动信号的输出可以在不同的时间段输出。因此，OIS MCU 440可以控制相机模块110a在完成第一聚焦操作之后执行第二聚焦操作。
根据本公开的实施例，当电子装置100a在第二聚焦操作被去激活的第二模式下操作时，求和块520可以仅接收和输出用于第一聚焦操作的驱动信号。此外，当电子装置100a在手动聚焦(MF)模式下操作时，用于第一聚焦操作的驱动信号(即，透镜目标位置)可以不被输入到求和块520，并且只有用于第二聚焦操作的驱动信号可以被输入到求和块520，因此用于第二聚焦操作的驱动信号可以被输入到相机模块110a。
相机模块110a可以接收从OIS MCU 440输入的驱动信号，相机模块110a的透镜驱动电路530a和530b可以驱动聚焦透镜112。透镜驱动电路530a和530b可以根据驱动信号在光轴方向F上驱动聚焦透镜112。
图6是用于描述根据本公开实施例的拍摄距离的示图。
参照图6，根据本公开实施例的电子装置100可以基于到主体120a和120b的拍摄距离来确定是否执行第二聚焦操作。可以基于聚焦透镜的中心来确定到主体120a和120b的拍摄距离。随着拍摄距离的减小，电子装置100可以具有更浅的景深。当景深减小时，由于电子装置100的光轴方向上的振动610，主体120a可能偏离景深的范围。因此，当拍摄距离减小时，电子装置100的光轴方向上的振动610很可能出现在所获得的图像中。具体地，当在第一聚焦操作结束的曝光时段期间发生光轴方向上的振动610时，因为在主体120a偏离景深的状态下累积信号，所以主体120a可能在所获得的图像中失焦。
另一方面，当拍摄距离大于或等于特定距离时，随着景深增加，因为即使当光轴方向上的振动610发生时，主体120b也在景深的范围内，所以光轴方向上的振动610的影响可能不会出现在所获得的图像中。
当拍摄距离小于距离参考值时，根据本公开实施例的电子装置100可以确定是否另外执行第二聚焦操作，并且当拍摄距离大于或等于距离参考值时，可以不执行第二聚焦操作。这样，通过基于拍摄距离确定是否执行第二聚焦操作，可以仅在要求另外的振动校正时执行第二聚焦操作，并且可以防止不必要的另外驱动。
根据本公开的实施例，当拍摄距离小于100毫米时，电子装置100可以确定是否执行第二聚焦操作，并且当拍摄距离大于或等于100毫米时，电子装置100可以不执行第二聚焦操作。当拍摄距离大于或等于100毫米时，因为景深偏离浅时段，所以电子装置100可以在第一聚焦操作之后执行拍摄，而无需另外校正光轴方向上的振动。
图7是用于描述根据本公开实施例的计算景深的过程的示图。
参照图7，示出了聚焦透镜710、成像设备720、第一路径的光、第二路径的光和第三路径的光。
当拍摄距离小于距离参考值时，电子装置100可以确定景深是否小于或等于深度参考值。因为当景深较浅时，光轴方向上的振动成为问题，所以即使当拍摄距离较短时，当景深不浅时，电子装置100也可以不执行用于校正光轴方向上的振动的第二聚焦操作。
景深可以是在拍摄中被认为是聚焦的区域。当景深较深时，可能意味着可以被认为是聚焦的区域的长度长，而当景深较浅时，可能意味着可以被认为是聚焦的区域的长度短。景深可能取决于孔径值、透镜焦距或与主体的距离而变化。景深可以随着孔径值的减小而增加，并且可以随着到主体的距离的增加而增加。
本公开的实施例可以通过使用作为到主体的距离的拍摄距离变量来测量景深值。
拍摄距离“a”可以表示从聚焦透镜710的中心轴730到主体位置734的距离。景深702可以由拍摄距离“a”、图像距离“b”、像素大小Psize、F数(F number)F#和焦距“f”来确定。如上所述，拍摄距离“a”可以由第二传感器测量，或者可以基于第一聚焦操作的结果值来确定。
图像距离“b”可以表示从聚焦透镜710的中心轴730到成像位置736的距离。图7示出了基于第一光路的主体位置734和成像位置736。焦距“f”可以是进入聚焦透镜710的入射光被折射并会聚到一点的点和聚焦透镜710的中心轴730之间的距离。焦距“f”可以根据聚焦透镜710的类型来确定。
根据透镜公式，可以在拍摄距离“a”、图像距离“b”和焦距“f”之间建立等式2的关系。
[等式2]
拍摄距离“a”可以如上所述测量，并且图像距离“b”可以如等式3中那样从拍摄距离“a”和焦距“f”确定，因为焦距“f”由透镜的类型确定。
[等式3]
F数F#可以由焦距“f”和透镜直径D来确定，如等式4所示。
[等式4]
如等式5所示，景深可以被定义为后部深度704和前部深度706之间的差。
[等式5]
景深＝后部深度-前部深度
前深度706可以如等式6中定义的，后深度704可以如等式7中定义的。像素大小Psize可以是图像传感器的像素大小值，并且可以从图像传感器的规格信息中获得。
[等式6]
[方程式7]
当将前深度值和后深度值代入等式5的景深公式时，景深值可以如等式8中定义的。
[等式8]
因此，景深702可以随着像距“b”的增加而减小，并且图像距离“b”可以随着拍摄距离“a”的减小而增加。结果，景深702可以随着拍摄距离“a”的减小而减小。
电子装置100可以根据像素大小Psize、F数F#、图像距离“b”和焦距“f”来计算景深，并确定景深是否小于或等于深度参考值。根据本公开的实施例，深度参考值可以被设置为8毫米。因此，当拍摄距离小于100毫米的距离参考值并且景深小于或等于8毫米的深度参考值时，电子装置100可以确定满足第一条件并激活第二聚焦操作。
根据本公开的实施例，如表1所示，可以为每个相机模块预先存储焦距、像素大小和F数。
[表1]
广角相机模块 超广角相机模块
焦距(毫米) 6.65 2.22
像素大小(毫米) 0.00080 0.00140
F数(毫米) 1.890 2.280
图8是示出根据本公开实施例的电子装置的手振动量和相机模块的深度的示图。
参照图8，可以看出，当电子装置100的相机模块拍摄近距离处的主体820时，景深由拍摄距离确定，并且不是取决于视角的变量。在超广角相机模块的情况下，视角为120度或更大，并且景深很可能被确定为浅，因为该相机模块的最近拍摄距离为50毫米或更小。因此，根据本公开实施例的电子装置100可以不简单地参照广角来确定是否执行第二聚焦操作，而是可以基于拍摄距离和景深来确定是否执行第二聚焦操作。
作为用于在近距离拍摄主体820的相机模块的示例，广角相机模块可以具有100毫米的最近拍摄距离，并且当在最近拍摄距离执行拍摄时，景深可以是1.2毫米。作为相机模块的另一示例，当在最近的拍摄距离执行拍摄时，超广角相机模块可以具有50毫米的最近拍摄距离，并且景深可以是5.9毫米。
广角相机模块的视角可以是120度，超宽相机模块的视角可以是83度，其中，根据包括焦距的透镜特性，其可以具有宽视角，但是景深可能不由视角直接确定。
因此，当通过考虑每个相机模块的特性在多个相机模块当中选择具有短焦距和浅景深的特定相机模块时，根据本公开实施例的电子装置100可以确定是否满足第一条件，并且当满足第一条件时，可以执行第二聚焦操作。
此外，作为在电子装置100的拍摄操作中检测z轴方向810上的手振动量的结果，当拍摄具有大约50毫米拍摄距离的主体820时，测量到大约8毫米的手振动。根据实验结果，在本公开的实施例中，用于确定是否执行第二聚焦操作的第一条件的深度参考值被确定为8毫米。距离参考值和深度参考值可以根据本公开的实施例而改变。根据本公开的实施例，用户可以通过用户输入来改变用于确定是否执行第二聚焦操作的距离参考值和深度参考值。电子装置100可以基于用户输入改变距离参考值或深度参考值。
图9是示出根据本公开实施例的拍摄距离和景深之间的关系的曲线图。
根据本公开的实施例，可以看出，景深随着拍摄距离的减小而减小，景深随着拍摄距离的增大而增大。取决于相机模块的类型，这种变化模式可能不同地出现。
参照图9，示出了图8所示的超广角相机模块和广角相机模块的拍摄距离和景深之间的关系。首先，两种类型的相机模块在具有长拍摄距离的长距离拍摄中可能都具有深的景深。特别地，在超广角相机模块的情况下，可以看到景深随着拍摄距离的增加而快速增加。当景深增加时，即使当在电子装置100中发生光轴方向上的振动时，因为主体在景深内，所以也可能不要求校正光轴方向上的振动。从图9的曲线图可以看出，在长距离拍摄的情况下，不要求用于校正光轴方向上的振动的第二聚焦操作。
图10是示出根据本公开实施例的获得拍摄距离信息的过程的示图。
参照图10，根据本公开的实施例，电子装置100b可以基于图像数据计算拍摄距离。电子装置100b的相机模块110可以通过拍摄主体来生成图像数据，并将图像数据输出到处理器210。
处理器210的相机控制块1010可以通过使用图像数据来执行用于控制相机的处理。相机控制块1010可以对应于上面参考图4描述的AP 430的相机控制块432。相机控制块1010可以通过使用图像数据来执行聚焦处理。聚焦处理可以以各种方式执行。聚焦处理可以使用例如使用图像数据的相位差AF方法或对比度AF方法。在对比度AF方法中，当聚焦透镜连续移动时，可以在图像数据的边缘测量对比度，并且当对比度最大化时确定实现聚焦。基于通过对比度AF方法确定的聚焦透镜的透镜目标位置，相机控制块1010可以测量到主体的距离。
相机控制块1010可以从由对比度AF确定的透镜目标位置获得图像距离“b”，并可以通过使用透镜的焦距“f”和像距“b”，通过使用等式1的透镜公式来确定拍摄距离“a”。这样，根据本公开的实施例，处理器210可以基于图像数据执行聚焦处理，根据聚焦处理的结果值计算拍摄距离“a”，并获得拍摄距离信息。
图11是示出根据本公开实施例的电子装置的结构的框图。
参照图11，根据本公开的另一实施例，电子装置100c可以包括相机模块110、处理器210、第一传感器220和第二传感器1110。根据本公开的实施例，电子装置100c可以包括能够测量到前方主体的距离的第二传感器1110。电子装置100c可以通过使用第二传感器1110的检测值来测量拍摄距离，该拍摄距离是到主体的距离。
第二传感器1110可以是用于测量到前方主体的距离的传感器。第二传感器1110可以被实现为飞行时间(ToF)方法的各种类型的传感器，并且可以被实现为例如超声波传感器、红外传感器、激光成像、检测和测距(LIDAR)传感器、无线电检测和测距(雷达)传感器或相机传感器。根据本公开的实施例，第二传感器1110可以通过嵌入在相机模块110的图像传感器中的一些像素中来实现。图像传感器可以包括用于检测相位差的相位差检测像素，并且处理器210可以通过使用相位差检测像素的输出值来测量到主体的距离。
处理器210可以通过使用第二传感器1110的传感器检测值来计算拍摄距离。此外，处理器210可以通过使用第二传感器1110的传感器检测值来执行聚焦处理。
图12是示出根据本公开实施例的相机模块的结构的示图。
参照图12，根据本公开实施例的相机模块110a和110b包括多个相机模块。例如，相机模块110a可以包括广角相机模块1210和长焦相机模块1220。作为另一示例，相机模块110b可以包括超广角相机模块1230、广角相机模块1210和长焦相机模块1220。
处理器210可以通过基于拍摄距离、拍摄模式、变焦控制信号等选择多个相机模块1210、1220和1230中的一个来执行拍摄。例如，当变焦水平被放大控制信号增加时，处理器210可以选择长焦相机模块1220，并且当变焦水平被缩小控制信号降低时，处理器210可以顺序地选择广角相机模块1210和超广角相机模块1230。作为另一示例，处理器210可以在风景模式下选择长焦相机模块1220，并且在肖像模式或特写模式下选择超广角相机模块1230或广角相机模块1210。作为另一示例，当拍摄距离小于或等于第一参考值时，处理器210可以选择超广角相机模块1230，当拍摄距离在第一参考值和第二参考值之间时，处理器210可以选择广角相机模块1210，当拍摄距离大于或等于第二参考值时，处理器210可以选择长焦相机模块1220。
仅当在多个相机模块当中选择广角相机模块1210或超广角相机模块1230时，处理器210可以确定拍摄距离和景深是否满足第一条件。如上所述，当拍摄距离短且景深浅时，可能要求z轴振动校正，而当拍摄距离长且景深深时，可能不太要求z轴振动校正。
因此，根据本公开的实施例，当选择长焦相机模块1220时，处理器210可以确定不要求z轴振动校正，并且可以不确定是否满足第一条件。通过该另外的条件，处理器210可以防止对要求多个操作的第一条件是否被满足的不必要的确定，从而减少其处理负荷。
图13是示出根据本公开实施例的用于执行振动校正的配置的示图。
参照图13，三维空间中的主体的自由度可以包括总共六个轴，并且可以包括作为旋转运动的俯仰、偏转和滚动，以及作为垂直、水平和前/后方向上的线性运动的x轴、y轴和z轴平移。电子装置100可以在三维空间中移动，并且振动可以包括6轴运动分量。根据本公开的实施例，电子装置100的第一传感器220可以检测6轴方向上的运动。
处理器210可以从第一传感器220接收表示6轴方向上的运动分量的传感器检测值。传感器检测值可以包括俯仰分量的角速度、偏转分量的角速度、滚动分量的角速度、x轴加速度、y轴加速度和z轴加速度。处理器210可以通过使用第一传感器220的传感器检测值来执行振动校正。
根据本公开的实施例，处理器210可以总是校正俯仰、偏转和滚动分量的角速度方向上的振动以及x轴和y轴方向上的振动，而不管第一条件是否满足，并且可以仅在第一条件满足时校正z轴方向上的振动。这里，用于校正俯仰、偏转和滚动分量的角速度方向上的振动以及x轴和y轴方向上的振动而不管第一条件是否满足的振动校正将被称为第一振动校正，并且当第一条件满足时执行的z轴方向上的振动校正将被称为第二聚焦操作。
第一振动校正可以使用光学校正方法或电子校正方法。光学振动校正可以使用图像传感器平移方法或透镜平移方法。
在图像传感器平移方法中，可以通过在与电子装置100移动的方向相反的方向上移动图像传感器1330来校正振动。当电子装置100向左移动时，图像传感器1330可以向右移动，当电子装置100向下移动时，图像传感器1330可以向上移动。不管透镜的类型如何，都可以应用图像传感器平移方法。在透镜平移方法中，可以通过移动相机模块110的一些透镜来校正振动。在透镜平移方法中，振动校正透镜1310可以包括在相机模块110中，并且可以通过移动振动校正透镜1310来校正振动，以补偿电子装置100的运动。电子装置100可以通过在与振动发生的方向相反的方向上移动振动校正透镜1310来校正电子装置100的振动。
电子振动校正可以是通过对图像数据使用图像处理来校正振动的方法。根据本公开实施例的电子振动校正功能可以确保具有高灵敏度设置的快门速度。在根据本公开的另一实施例的电子振动校正中，可以通过将曝光设置为低、增加快门速度、然后提高获得的图片的亮度来校正振动。
与第一振动校正单独地，当满足第一条件时，可以通过使用聚焦透镜1320在z轴方向上的驱动来执行第二聚焦驱动。因此，执行第一振动校正和第二聚焦驱动的条件可以彼此不同，并且通过使用振动校正而使用的光学设备可以彼此不同。
图14是用于将获得的图像与根据依据本公开实施例的比较示例的获得的图像进行比较的示图。
根据本公开实施例的比较示例图像1410和实施例图像1420二者都是在小于100毫米的拍摄距离和8毫米或更小的景深下获得的。在比较示例图像1410中不应用第二聚焦操作，在实施例图像1420中应用第二聚焦操作。
参照图14，在比较示例图像1410中，可以看出，因为玩偶的头发部分1412和面部雀斑部分1414由于振动而失焦，所以在获得的图像中出现模糊。另一方面，在实施例图像1420中，可以看出，因为玩偶的头发部分1422和面部雀斑部分1424是在聚焦状态下拍摄的，所以可以清楚地获得图像。
图15是用于将获得的图像与根据依据本公开实施例的比较示例的获得的图像进行比较的示图。
根据本公开实施例的比较示例图像1510和实施例图像1520二者都是在小于100毫米的拍摄距离和8毫米或更小的景深下获得的。在比较示例图像1510中不应用第二聚焦操作，在实施例图像1520中应用第二聚焦操作。
参考图15，在比较示例图像1510中，可以看出，因为玩偶的嘴唇部分1512和玩偶的丝带部分1514由于振动而失焦，所以在获得的图像中出现模糊。另一方面，在实施例图像1520中，可以看出，因为玩偶的嘴唇部分1522和玩偶的丝带部分1524是在聚焦状态下拍摄的，所以可以清楚地获得图像。
图16是根据本公开实施例的网络环境中的电子装置的框图。
参照图16，在网络环境1600中，电子装置1601可以通过第一网络1698(例如，短程无线通信网络)与电子装置1602通信，或者可以通过第二网络1699(例如，远程无线通信网络)与电子装置1604或服务器1608中的至少一个通信。
根据本公开的实施例，电子装置1601可以通过服务器1608与电子装置1604通信。根据本公开的实施例，电子装置1601可以包括处理器1620、存储器1630、输入模块1650、音频输出模块1655、显示模块1660、音频模块1670、传感器模块1676、接口1677、连接端子1678、触觉模块1679、相机模块1680、电力管理模块1688、电池1689、通信模块1690、订户识别模块1696、天线模块1697。
在本公开的一些实施例中，电子装置1601可以不包括这些元件中的至少一个(例如，连接端子1678)，或者还可以包括一个或多个其他元件。在本公开的一些实施例中，这些元件中的一些(例如，传感器模块1676、相机模块1680或天线模块1697)可以集成到一个元件中(例如，显示模块1660)。
例如，处理器1620可以通过执行软件(例如，程序1640)来控制连接到处理器1620的电子装置1601的至少一个其他元件(例如，硬件或软件元件)，并且可以执行各种数据处理和操作。根据本公开的实施例，作为数据处理或操作的至少一部分，处理器1620可以将从另一元件(例如，传感器模块1676或通信模块1690)接收的命令或数据存储在易失性存储器1632中，可以处理存储在易失性存储器1632中的命令或数据，并且可以将结果数据存储在非易失性存储器1634中。
根据本公开的实施例，处理器1620可以包括主处理器1621(例如，中央处理单元或应用处理器)或辅助处理器1623(例如，图形处理单元、神经处理单元(NPU)、图像信号处理器、传感器中枢处理器或通信处理器)，它们可以与主处理器421一起或独立地操作。例如，当电子装置1601包括主处理器1621和辅助处理器1623时，辅助处理器1623可以比主处理器1621使用更少的电力，或者可以被设置为专用于指定的功能。辅助处理器1623可以与主处理器1621单独地实现，或者作为主处理器1621的一部分来实现。
例如，当主处理器1621处于不活动(例如，睡眠)状态时，辅助处理器1623可以代表主处理器1621控制与电子装置1601的元件当中的至少一个元件(例如，显示模块1660、传感器模块1676或通信模块1690)相关的至少一些状态或功能，或者当主处理器1621处于活动(例如，应用执行)状态时，与主处理器1621一起控制与电子装置1601的元件当中的至少一个元件(例如，显示模块1660、传感器模块1676或通信模块1690)相关的至少一些状态或功能。
根据本公开的实施例，辅助处理器1623(例如，图像信号处理器或通信处理器)可以被实现为与其功能相关的另一元件(例如，相机模块1680或通信模块1690)的一部分。
根据本公开的实施例，辅助处理器1623(例如，神经处理单元)可以包括专用于处理人工智能模型的硬件结构。人工智能模型可以通过机器学习来生成。该训练可以例如在训练人工智能模型的电子装置1601本身中执行，或者可以通过单独的服务器(例如，服务器1608)执行。训练算法可以包括例如监督学习、非监督学习、半监督学习或强化学习，但不限于此。
人工智能模型可以包括多个神经网络层。人工神经网络可以包括但不限于深度神经网络(DNN)、卷积神经网络(CNN)、循环神经网络(RNN)、受限玻尔兹曼机器(RBM)、深度信念网络(DBN)、双向循环深度神经网络(BRDNN)、深度Q网络或者上述网络中的两个或更多个的组合。除了硬件结构之外，人工智能模型可以附加地或可替代地包括软件结构。
存储器1630可以存储由电子装置1601的至少一个元件(例如，处理器1620或传感器模块1676)使用的各种数据。该数据可以包括例如软件(例如，程序1640)和关于与其相关的命令的输入数据或输出数据。存储器1630可以包括易失性存储器1632或非易失性存储器1634。
程序1640可以作为软件存储在存储器1630中，并且可以包括例如操作系统1642、中间件1644或应用1646。
输入模块1650可以从电子装置1601的外部(例如，用户)接收将由电子装置1601的元件(例如，处理器1620)使用的命令或数据。输入模块1650可以包括例如麦克风、鼠标、键盘、键(例如，按钮)或数字笔(例如，手写笔)。
音频输出模块1655可以向电子装置1601的外部输出音频信号。音频输出模块1655可以包括例如扬声器或接收器。扬声器可以用于一般目的，例如多媒体回放或记录回放。接收器可以用于接收呼入呼叫。根据本公开的实施例，接收器可以与扬声器单独地实现或者作为扬声器的一部分实现。
显示模块1660可以向电子装置1601的外部(例如，用户)可视地提供信息。显示模块1660可以包括例如显示器、全息设备或投影仪以及用于控制对应设备的控制电路。根据本公开的实施例，显示模块1660可以包括设置为检测触摸的触摸传感器或者设置为测量由触摸生成的力的强度的压力传感器。
音频模块1670可以将声音转换成电信号或将电信号转换成声音。根据本公开的实施例，音频模块1670可以通过输入模块1650获得声音，或者可以通过音频输出模块1655或直接或无线连接到电子装置1601的外部电子装置(例如，电子装置1602)(例如，扬声器或耳机)输出声音。
传感器模块1676可以检测电子装置1601的操作状态(例如，电力或温度)或外部环境状态(例如，用户状态)，并生成与检测到的状态对应的电信号或数据值。根据本公开的实施例，传感器模块1676可以包括例如手势传感器、陀螺仪传感器、气压传感器、磁传感器、加速度传感器、握持传感器、颜色传感器、IR传感器、生物传感器、温度传感器、湿度传感器或照度传感器。
接口1677可以支持一个或多个指定的协议，电子装置1601可以使用该协议来直接或无线连接到外部电子装置(例如，电子装置1602)。根据本公开的实施例，接口1677可以包括例如高清多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。
连接端子1678可以包括连接器，电子装置1601可以通过该连接器物理连接到外部电子装置(例如，电子装置1602)。根据本公开的实施例，连接端子1678可以包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如，耳机连接器)。
触觉模块1679可以将电信号转换成用户可以通过触觉或动觉感知识别的机械刺激(例如，振动或运动)或电刺激。根据本公开的实施例，触觉模块1679可以包括例如电机、压电设备或电刺激设备。
相机模块1680可以捕捉静止图像和运动图像。根据本公开的实施例，相机模块1680可以包括一个或多个透镜、图像传感器、图像信号处理器或闪光灯。
电力管理模块1688可以管理提供给电子装置1601的电力。根据本公开的实施例，电力管理模块1688可以被实现为例如电力管理集成电路(PMIC)的至少一部分。
电池1689可以向电子装置1601的至少一个元件供电。根据本公开的实施例，电池1689可以包括例如不可充电的一次电池、可充电的二次电池或燃料电池。
通信模块1690可以支持在电子装置1601和外部电子装置(例如，电子装置1602、电子装置1604或服务器1608)之间建立直接(例如，有线)通信信道或无线通信信道，并通过建立的通信信道执行通信。通信模块1690可以包括独立于处理器1620操作的一个或多个通信处理器(例如，应用处理器)，并且支持直接(例如，有线)通信或无线通信。
根据本公开的实施例，通信模块1690可以包括无线通信模块1692(例如，蜂窝通信模块、短程通信模块或全球导航卫星系统(GNSS)通信模块)或有线通信模块1694(例如，局域网(LAN)通信模块或电力线通信模块)。这些通信模块当中的对应通信模块可以通过第一网络1698(例如，诸如蓝牙、Wi-Fi direct或红外数据协会(IrDA)的短程通信网络)或第二网络1699(例如，诸如传统蜂窝网络、第五代(5G)网络、下一代通信网络、互联网或计算机网络(例如，LAN或广域网WAN)的远程通信网络)与外部电子装置1604通信。这些不同类型的通信模块可以集成到一个元件(例如，单个芯片)中，或者可以实现为彼此单独的多个部件(component)(例如，多个芯片)。无线通信模块1692可以通过使用存储在订户识别模块1696中的订户信息(例如，国际移动用户标识符(IMSI))来识别或认证诸如第一网络1698或第二网络1699的通信网络中的电子装置1601。
无线通信模块1692可以支持第四代(4G)网络之后的5G网络和下一代通信技术，例如新无线电(NR)接入技术。NR接入技术可以支持高容量数据的高速传输(增强型移动宽带(eMBB))、终端电力的最小化和多个终端的接入(大规模机器类型通信(mMTC))或者超可靠和低延迟通信(URLLC)。无线通信模块1692可以支持例如高频带(例如，毫米波带)以实现高数据速率。
无线通信模块1692可以支持用于确保高频带中的性能的各种技术，例如，诸如波束成形、大规模多输入多输出(MIMO)、全维MIMO(FD-MIMO)、阵列天线、模拟波束成形或大型天线的技术。无线通信模块1692可以支持电子装置1601、外部电子装置(例如，电子装置1604)或网络系统(例如，第二网络1699)中规定的各种要求。根据本公开的实施例，无线通信模块1692可以支持用于实现eMBB的峰值数据速率(例如，20Gbps或更高)、用于实现mMTC的丢失覆盖(例如，164dB或更低)、或者用于实现URLLC的U平面延迟(例如，在下行链路(DL)和上行链路(UL)中的每一个中的0.5ms或更低，或者1ms或更低的往返)。
天线模块1697可以向外部(例如，外部电子装置)发送信号或电力，从外部(例如，外部电子装置)接收信号或电力。根据本公开的实施例，天线模块1697可以包括天线，该天线包括形成在基板(例如，印刷电路板(PCB))上的导体或者包括导电图案的辐射器。根据本公开的实施例，天线模块1697可以包括多个天线(例如，阵列天线)。在这种情况下，例如，通信模块1690可以从多个天线当中选择适合于在诸如第一网络1698或第二网络1699的通信网络中使用的通信方案的至少一个天线。可以通过选择的至少一个天线在通信模块1690和外部电子装置之间发送或接收信号或电力。根据本公开的一些实施例，除了辐射器之外的其他部件(例如，射频集成电路(RFIC))可以另外形成为天线模块1697的一部分。
根据本公开的各种实施例，天线模块1697可以形成毫米波天线模块。根据本公开的实施例，毫米波天线模块可以包括印刷电路板、布置在印刷电路板的第一表面(例如，底表面)上或邻近并且能够支持指定高频带(例如，毫米波带)的RFIC、以及布置在印刷电路板的第二表面(例如，顶表面或侧表面)上或邻近并且能够发送或接收指定高频带的信号的多个天线(例如，阵列天线)。
上述元件中的至少一些可以通过外围设备(例如，总线、通用输入和输出(GPIO)、串行外围接口(SPI)或移动工业处理器接口(MIPI))之间的通信方案彼此连接，并且可以彼此交换信号(例如，命令或数据)。
根据本公开的实施例，可以通过连接到第二网络1699的服务器1608在电子装置1601和外部电子装置1604之间发送或接收命令或数据。外部电子装置1602和1604中的每一个可以与电子装置1601相同或不同。
根据本公开的实施例，由电子装置1601执行的所有或一些操作可以由外部电子装置1602、1604和1608当中的一个或多个外部电子装置执行。例如，当电子装置1601需要自动地或响应于来自用户或另一设备的请求来执行功能或服务时，电子装置1601可以请求一个或多个外部电子装置附加地执行功能或服务的至少一部分，或者代替自己执行功能或服务来执行功能或服务的至少一部分。已经接收到请求的一个或多个外部电子装置可以执行请求的功能或服务的至少一部分或者与请求相关的附加功能或服务，并且将其执行结果发送到电子装置1601。电子装置1601可以附加地或按原样处理执行结果，并提供其处理结果作为对请求的响应的至少一部分。为此，例如，可以使用云计算、分布式计算、移动边缘计算或客户端-服务器计算技术。电子装置1601可以通过使用例如分布式计算或移动边缘计算来提供超低延迟服务。在本公开的另一实施例中，外部电子装置1604可以包括物联网(IoT)设备。服务器1608可以是使用机器学习和/或神经网络的智能服务器。根据本公开的实施例，外部电子装置1604或服务器1608可以包括在第二网络1699中。电子装置1601可以应用于基于5G通信技术和IoT相关技术的智能服务(例如，智能家居、智能城市、智能汽车或医疗保健)。
图16的电子装置1601可以对应于上述电子装置100、100a、100b或100c，处理器1620可以对应于上述处理器210，传感器模块1676可以对应于上述第一传感器220或第二传感器1110，相机模块1680可以对应于上述相机模块110、110a或110b。
图17是示出根据本公开实施例的相机模块的框图。
参考图17，相机模块1680可以包括透镜组件1710、闪光灯1720、图像传感器1730、图像稳定器1740、存储器1750(例如，缓冲存储器)或图像信号处理器1760。
透镜组件1710可以收集从其图像将被捕获的物体发出的光。透镜组件1710可以包括一个或多个透镜。根据本公开的实施例，相机模块1680可以包括多个透镜组件1710。在这种情况下，相机模块1680可以形成例如双相机、360度相机或球形相机。多个透镜组件1710中的一些可以具有相同的透镜属性(例如，视角、焦距、自动聚焦、f数或光学变焦)，或者至少一个透镜组件可以具有不同于其他透镜组件的透镜属性的一个或多个透镜属性。透镜组件1710可以包括例如广角透镜或长焦透镜。
闪光灯1720可以发射用于增强从物体发射或反射的光的光。根据本公开的实施例，闪光灯1720可以包括一个或多个发光二极管(LED)(例如，红绿蓝(RGB)LED、白色LED、红外LED或紫外LED)或氙灯。
图像传感器1730可以通过将从物体发射或反射并透射通过透镜组件1710的光转换成电信号来获得对应于物体的图像。根据本公开的实施例，图像传感器1730可以包括例如从具有不同属性的图像传感器(例如，RGB传感器、黑白(BW)传感器、红外传感器(IR)传感器或紫外(UV)传感器)当中选择的一个图像传感器、具有相同属性的多个图像传感器或具有不同属性的多个图像传感器。包括在图像传感器1730中的每个图像传感器可以通过使用例如电荷耦合设备(CCD)传感器或互补金属氧化物半导体(CMOS)传感器来实现。
图像稳定器1740可以在特定方向上移动包括在透镜组件1710中的至少一个透镜或图像传感器1730，或者响应于相机模块1680或包括相机模块1680的电子装置1601的运动，控制图像传感器1730的操作特性(例如，读出时序的调整)。这可以补偿运动对捕获的图像的至少一些不利影响。根据本公开的实施例，图像稳定器1740可以通过使用布置在相机模块1680内部或外部的陀螺仪传感器(未示出)或加速度传感器(未示出)来检测相机模块1680或电子装置1601的运动。根据本公开的实施例，图像稳定器1740可以被实现为例如光学图像稳定器。
存储器1750可以临时存储通过图像传感器1730获得的图像的至少一部分，以用于下一次图像处理操作。例如，当根据快门延迟了图像获得或者高速获得多个图像时，获得的原始图像(例如，拜耳模式图像或高分辨率图像)可以存储在存储器1750中，并且可以通过显示模块1660预览与其对应的副本图像(例如，低分辨率图像)。此后，当满足指定条件(例如，用户输入或系统命令)时，存储在存储器1750中的原始图像的至少一部分可以被例如图像信号处理器1760获得和处理。根据本公开的实施例，作为存储器1630的至少一部分，存储器1750可以被配置为独立于存储器1630操作的单独的存储器。
图像信号处理器1760可以对通过图像传感器1730获得的图像或存储在存储器1750中的图像执行一个或多个图像处理。一个或多个图像处理可以包括例如深度图生成、三维(3D)建模、全景生成、特征点提取、图像合成或图像补偿(例如，降噪、分辨率调整、亮度调整、模糊、锐化或柔化)。附加地或可替代地，图像信号处理器1760可以对包括在相机模块1680中的元件中的至少一个元件(例如，图像传感器1730)执行控制(例如，曝光时间控制或读出时序控制)。
由图像信号处理器1760处理的图像可以被存储回存储器1750中，以用于进一步处理，或者可以被提供给相机模块1680的外部元件(例如，存储器1630、显示模块1660、电子装置1602、电子装置1604或服务器1608)。
根据本公开的实施例，图像信号处理器1760可以被配置为处理器1620的至少一部分，或者被配置为独立于处理器1620操作的单独的处理器。当图像信号处理器1760被配置为与处理器1620单独的处理器时，由图像信号处理器1760处理的至少一个图像可以通过显示模块1660按原样显示或者在处理器1620进行附加图像处理之后显示。
根据本公开的实施例，电子装置1601可以包括具有不同属性或功能的多个相机模块1680。在这种情况下，例如，多个相机模块1680中的至少一个可以是广角相机，并且至少另一个可以是长焦相机。类似地，多个相机模块1680中的至少一个可以是前置相机，并且至少另一个可以是后置相机。
图17的透镜组件1710可以对应于上述聚焦透镜112，图像传感器1730可以对应于上述成像设备422或图像传感器1330，图像稳定器1740可以对应于用于执行上述参照图13描述的第一振动校正的部件。根据本公开的实施例，图像稳定器1740可以对应于OIS MCU，以用于控制上面参照图13描述的第一振动校正和第二聚焦操作。
根据本公开的各种实施例的电子装置可以包括各种类型的装置。电子装置可以包括例如便携式通信装置(例如，智能电话)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器。根据本公开实施例的电子装置不限于上述装置。
本公开的各种实施例和本文使用的术语不旨在将本文描述的技术特征限制于特定实施例，并且本公开应当被理解为包括本公开的实施例的各种修改、等同物或替代物。在整个公开内容和附图中，相同的附图标记可以用于表示相同或相关的元素。如本文所用，短语“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”和“A、B或C中的至少一个”中的每一个可以包括该短语中一起列出的任何一个项目或其任意组合。诸如“第一”和“第二”的术语可以仅用于将元素与另一个元素区分开，并不旨在在其他方面(例如，重要性或顺序)限制这些元素。当特定(例如，第一)元素在使用或不使用术语“功能上”或“通信上”的情况下被称为“耦合”或“连接”到另一个(例如，第二)元素时，这可能意味着该特定元素可以直接(例如，通过有线)、无线或通过第三元素连接到另一个元素。
这里使用的术语“模块”可以包括实现为硬件、软件或固件的单元，并且可以是例如与诸如“逻辑”、“逻辑块”、“部件”或“电路”的术语可互换。“模块”可以是执行一个或多个功能的集成部件或集成部件的一部分或最小单元。例如，根据本公开的实施例，该模块可以以专用集成电路(ASIC)的形式实现。
本公开的各种实施例可以实现为软件(例如，程序1640)，该软件包括存储在机器(例如，电子装置1601)可读的存储介质(例如，内部存储器1636或外部存储器1638)中的一个或多个指令。例如，机器(例如，电子装置1601的处理器(例如，处理器1620))可以调用并执行来自存储介质的一个或多个存储的指令中的至少一个。这可以允许机器被操作来根据所调用的至少一个指令执行至少一个功能。一个或多个指令可以包括由编译器生成的代码或由解释器可执行的代码。机器可读存储介质可以以非暂时性存储介质的形式提供。这里，术语“非暂时性的”可能仅仅意味着存储介质是有形的装置，并且不包括信号(例如，电磁波)，并且可能意味着数据可以永久地或暂时地存储在存储介质中。
根据本公开的实施例，根据本公开的各种实施例的方法可以包括在计算机程序产品中并在其中提供。计算机程序产品可以作为产品在卖方和买方之间交易。计算机程序产品可以以机器可读存储介质(例如，光盘只读存储器(CD-ROM))的形式分发，或者可以通过应用商店(例如，Play StoreTM)在线分发(例如，下载或上传)，或者直接在两个用户装置(智能电话)之间分发。在在线分发的情况下，计算机程序产品的至少一部分可以至少临时存储或临时生成在机器可读存储介质中，诸如制造商的服务器、应用商店的服务器或中继服务器的存储器。
根据本公开的实施例，可以提供一种能够提高特写拍摄中的拍摄质量的电子装置、该电子装置的控制方法以及存储其程序的计算机可读记录介质。
此外，根据本公开的实施例，可以提供一种能够通过跟踪电子装置的光轴方向上的运动来校正光轴方向上的手振动的电子装置、该电子装置的控制方法以及存储其程序的计算机可读记录介质。
根据本公开的各种实施例，上述元素的每个元素(例如，模块或程序)可以包括单个实体或多个实体，并且多个实体中的一些可以单独地布置在另一个元素中。根据本公开的各种实施例，可以省略上述元素当中的一个或多个元素或操作，或者可以添加一个或多个其他元素或操作。可替代地或附加地，多个元素(例如，模块或程序)可以集成到一个元素中。在这种情况下，集成的元素可以以与集成之前由多个元素当中的对应元素执行的功能相同或相似的方式执行多个元素中的每个元素的一个或多个功能。根据本公开的各种实施例，由模块、程序或其他元素执行的操作可以顺序地、并行地、迭代地或启发式地执行；一个或多个操作可以以不同的顺序执行或被省略；或者可以在其中添加一个或多个其他操作。
虽然已经参照本公开的各种实施例示出和描述了本公开，但是本领域技术人员将理解，在不脱离由所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以在形式和细节上进行各种改变。

Claims (15)

1.一种电子装置，包括：
至少一个相机，包括至少一个透镜；
第一传感器，被配置为检测电子装置的运动；和
至少一个处理器，被配置为：
执行第一聚焦操作，第一聚焦操作包括：通过对主体进行聚焦处理来确定至少一个透镜的目标位置，以及将至少一个透镜移动到目标位置，以及
执行第二聚焦操作，第二聚焦操作包括，根据确定满足作为到主体的距离的拍摄距离小于距离参考值并且景深值小于或等于深度参考值的第一条件：
从第一传感器的检测值计算光轴方向上的运动值，
计算用于补偿光轴方向上的运动值的聚焦校正值，以及
基于聚焦校正值附加地驱动至少一个透镜。
2.根据权利要求1所述的电子装置，其中，所述至少一个处理器还被配置为：
基于确定满足第一条件，以激活第二聚焦操作的第一模式操作，并且
基于确定不满足第一条件，以不执行第二聚焦操作的第二模式操作。
3.根据权利要求1所述的电子装置，其中，第二聚焦操作的至少一个透镜的可驱动范围比第一聚焦操作的至少一个透镜的可驱动范围更窄。
4.根据权利要求1所述的电子装置，其中，所述至少一个处理器还被配置为基于由至少一个相机生成的图像数据来测量到主体的拍摄距离。
5.根据权利要求1所述的电子装置，还包括：
第二传感器，被配置为测量到主体的距离，
其中，所述至少一个处理器还被配置为基于第二传感器的检测值测量到主体的距离。
6.根据权利要求1所述的电子装置，
其中，所述至少一个相机包括广角相机和长焦相机，所述长焦相机包括具有比广角相机更大焦距的透镜，并且
其中，所述至少一个处理器还被配置为：
响应于使用广角相机，确定是否满足第一条件，并且
基于确定满足第一条件来执行第二聚焦操作。
7.根据权利要求1所述的电子装置，
其中，所述至少一个相机包括至少一个振动校正透镜和用于调节焦距的至少一个聚焦透镜，并且
其中，所述至少一个处理器还被配置为：
从第一传感器检测角速度方向上的运动，并且驱动至少一个振动校正透镜以补偿角速度方向上的运动值，以及
通过执行第一聚焦操作和第二聚焦操作来驱动至少一个聚焦透镜。
8.根据权利要求1所述的电子装置，其中，所述至少一个处理器还被配置为：
从第一传感器检测角速度方向上的运动；以及
对由至少一个相机生成的图像执行手振动校正处理，以补偿角速度方向上的运动值。
9.根据权利要求1所述的电子装置，
其中，所述至少一个处理器包括：
第一处理器，被配置为执行第一聚焦操作，以及
第二处理器，被配置为执行第二聚焦操作，以及
其中，所述至少一个处理器还被配置为：
确定是否满足第一条件，并且
基于确定满足第一条件，激活第二处理器的第二聚焦操作。
10.根据权利要求9所述的电子装置，
其中，第一传感器包括6轴加速度传感器，并且
其中，第二处理器还被配置为：
通过对第一传感器的检测值当中的光轴方向上的加速度值进行二次积分来计算光轴方向上的运动值，
计算聚焦校正值以补偿光轴方向上的运动值，并且
执行第二聚焦操作。
11.根据权利要求1所述的电子装置，其中，所述距离参考值是100毫米，并且深度参考值是8毫米。
12.根据权利要求1所述的电子装置，其中，所述至少一个处理器还被配置为：
在输入至少一个相机的快门释放信号之后，在曝光时段之前完成第一聚焦操作；以及
在曝光时段期间执行第二聚焦操作。
13.根据权利要求1所述的电子装置，
其中，所述电子装置还包括光学图像稳定微控制器单元(OIS MCU)，所述光学图像稳定微控制器单元被配置为在生成预览图像的时段和输入快门释放信号之后的曝光时段期间，跟踪z轴方向上的运动值。
14.一种包括至少一个相机的电子装置的控制方法，该控制方法包括：
通过使用第一传感器来检测电子装置的运动；
执行第一聚焦操作，第一聚焦操作包括通过对主体进行聚焦处理来确定至少一个透镜的目标位置，以及将至少一个透镜移动到目标位置；以及
执行第二聚焦操作，第二聚焦操作包括根据确定满足作为到主体的距离的拍摄距离小于距离参考值并且景深值小于或等于深度参考值的第一条件：
从第一传感器的检测值计算光轴方向上的运动值，
计算用于补偿光轴方向上的运动值的聚焦校正值，以及
基于聚焦校正值附加地驱动至少一个透镜。
15.一种计算机可读记录介质，具有记录在其上的用于在计算机中执行权利要求14的控制方法的程序。
CN202280023675.0A 2021-03-25 2022-03-24 包括相机的电子设备及其控制方法 Pending CN117136554A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2021-0038970 2021-03-25
KR1020210038970A KR20220133630A (ko) 2021-03-25 2021-03-25 카메라를 포함하는 전자 장치 및 그 제어 방법
PCT/KR2022/004177 WO2022203433A1 (ko) 2021-03-25 2022-03-24 카메라를 포함하는 전자 장치 및 그 제어 방법

Publications (1)

Publication Number Publication Date
CN117136554A true CN117136554A (zh) 2023-11-28

Family

ID=83363836

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280023675.0A Pending CN117136554A (zh) 2021-03-25 2022-03-24 包括相机的电子设备及其控制方法

Country Status (3)

Country Link
US (1) US11743585B2 (zh)
EP (1) EP4300940A1 (zh)
CN (1) CN117136554A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200084395A (ko) * 2018-12-20 2020-07-13 삼성전자주식회사 영상에서 오브젝트를 인식하는 전자 장치 및 그 동작 방법

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0566452A (ja) 1991-09-10 1993-03-19 Canon Inc 防振機能付カメラ
US5794078A (en) 1995-09-11 1998-08-11 Nikon Corporation Image movement correction of camera
DE60325536D1 (de) * 2002-09-20 2009-02-12 Nippon Telegraph & Telephone Vorrichtung zum Erzeugen eines pseudo-dreidimensionalen Bildes
US7415199B2 (en) 2005-05-24 2008-08-19 Sony Ericsson Mobile Communications Ab Image capture apparatus, methods and computer program products using auto-focus-generated distance estimates to control flash and image stabilization
US7412158B2 (en) * 2005-08-08 2008-08-12 Nokia Corporation Deeper depth of field for video
US7409149B2 (en) * 2005-11-03 2008-08-05 International Business Machines Corporation Methods for improved autofocus in digital imaging systems
US7627240B2 (en) 2006-03-27 2009-12-01 Nokia Corporation Optical device with improved autofocus performance and method related thereto
JP4552974B2 (ja) 2007-06-22 2010-09-29 カシオ計算機株式会社 カメラ装置、フォーカス制御方法及びプログラム
JP5409342B2 (ja) 2009-12-25 2014-02-05 キヤノン株式会社 撮像装置及びその制御方法
JP2011217311A (ja) 2010-04-02 2011-10-27 Canon Inc 撮像装置および撮像装置の制御方法
DE102011084282A1 (de) * 2011-10-11 2013-04-11 Deutsche Post Ag Zustellung von Postsendungen durch Teilnehmer eines Zustelldienstes
JP5956749B2 (ja) 2011-12-21 2016-07-27 キヤノン株式会社 防振制御装置及びその制御方法、及び撮像装置
JP6063634B2 (ja) * 2012-03-29 2017-01-18 オリンパス株式会社 焦点調節装置
US10419658B1 (en) * 2014-07-20 2019-09-17 Promanthan Brains LLC, Series Point only Camera optimizing for several directions of interest
WO2016088530A1 (ja) 2014-12-02 2016-06-09 富士フイルム株式会社 撮像装置及び像振れ補正方法
JP2016118634A (ja) * 2014-12-19 2016-06-30 オリンパス株式会社 撮影装置及び撮影方法
US9628695B2 (en) * 2014-12-29 2017-04-18 Intel Corporation Method and system of lens shift correction for a camera array
JP2019133026A (ja) 2018-01-31 2019-08-08 キヤノン株式会社 撮像装置及びその焦点調節方法、並びにプログラム
JP6737307B2 (ja) 2018-07-02 2020-08-05 株式会社ニコン ブレ補正装置及び撮影装置
US11350024B1 (en) * 2021-03-04 2022-05-31 Amazon Technologies, Inc. High speed continuously adaptive focus and deblur

Also Published As

Publication number Publication date
EP4300940A1 (en) 2024-01-03
US11743585B2 (en) 2023-08-29
US20220311940A1 (en) 2022-09-29

Similar Documents

Publication Publication Date Title
CN112602111A (zh) 模糊基于深度信息组合多个图像而获得的图像的电子设备及驱动该电子设备的方法
CN113454982A (zh) 用于使图像稳定化的电子装置及其操作方法
CN113647094A (zh) 用于在视频中提供焦外成像效果的电子设备、方法和计算机可读介质
US20230239576A1 (en) Method, apparatus, and storage medium for providing slow shutter
CN114846608A (zh) 包括图像传感器的电子设备及其操作方法
CN111670573A (zh) 用于通过根据电子装置的移动调整与对象在关注区域中的移动相关联的阈值来拍摄移动画面的电子装置及其操作方法
US20230209202A1 (en) Electronic device for performing image stabilization, and operating method therefor
US11743585B2 (en) Electronic apparatus including camera and control method thereof
US20220360713A1 (en) Electronic device including camera
US11431906B2 (en) Electronic device including tilt OIS and method for capturing image and processing captured image
KR20230001760A (ko) 이미지 안정화 방법 및 이를 위한 전자 장치
US11991446B2 (en) Method of image stabilization and electronic device therefor
KR20220133630A (ko) 카메라를 포함하는 전자 장치 및 그 제어 방법
EP4329286A1 (en) Electronic device for synchronizing lens driving information with image
US20240013405A1 (en) Object tracking method and electronic apparatus therefor
US20230199134A1 (en) Electronic device applying bokeh effect to image and operating method thereof
US20230412924A1 (en) Method and electronic device for image stabilization during image capturing
US20230164420A1 (en) Electronic device including reflector and lens assembly
EP4228246A1 (en) Electronic device capable of auto-focusing and method for operating same
US20230199330A1 (en) Electronic device for processing continuous shooting input and method thereof
US20240078685A1 (en) Method for generating file including image data and motion data, and electronic device therefor
US20230215018A1 (en) Electronic device including camera and method for generating video recording of a moving object
US20230101860A1 (en) Electronic device including image sensor and operating method thereof
US20230113058A1 (en) Electronic device including image sensor and operating method thereof
US20240056687A1 (en) Image processing method and electronic device for supporting same

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination