CN114554039A - 光学图像稳定电路、光学图像稳定设备和相机模块 - Google Patents

光学图像稳定电路、光学图像稳定设备和相机模块 Download PDF

Info

Publication number
CN114554039A
CN114554039A CN202110771602.7A CN202110771602A CN114554039A CN 114554039 A CN114554039 A CN 114554039A CN 202110771602 A CN202110771602 A CN 202110771602A CN 114554039 A CN114554039 A CN 114554039A
Authority
CN
China
Prior art keywords
signal
face
position signal
generate
optical image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110771602.7A
Other languages
English (en)
Inventor
张楠洪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electro Mechanics Co Ltd
Original Assignee
Samsung Electro Mechanics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electro Mechanics Co Ltd filed Critical Samsung Electro Mechanics Co Ltd
Publication of CN114554039A publication Critical patent/CN114554039A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/64—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image
    • G02B27/646—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image compensating for small deviations, e.g. due to vibration or shake
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2205/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G03B2205/0007—Movement of one or more optical elements for control of motion blur

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Studio Devices (AREA)

Abstract

公开了一种用于对象位置校正的光学图像稳定(OIS)电路、OIS设备以及相机模块。根据一个实施例的OIS电路包括面部检测单元，基于从图像传感器输入图像信号，生成包括面部的坐标信息的面部位置信号；手抖检测器，基于从陀螺仪传感器输入感测信号，生成与手抖相对应的手抖位置信号；运算单元，基于面部位置信号和手抖位置信号生成复合位置信号；以及控制单元，基于复合位置信号控制镜头模块的位置。

Description

光学图像稳定电路、光学图像稳定设备和相机模块
相关申请的交叉引用
本申请要求于2020年11月10日在韩国知识产权局提交的第10-2020-0149367号韩国专利申请的优先权权益，其全部公开内容出于所有目的通过引用并入本文。
技术领域
以下描述涉及一种使用面部跟踪进行对象位置校正的光学图像稳定(OIS)电路和OIS设备。
背景技术
通常，随着质量竞争的加剧，应用于相机模块的光学图像稳定(OIS)要求相对较高的手抖校正性能。在最新的智能手机中，主要目标是提高在极端抖动条件下拍摄的照片和视频的质量。为了满足这一点，可以从安装在相机电话上的陀螺仪传感器接收用户的手抖信息，并可对其执行校正。
然而，传统的OIS技术仅能校正用户手部的手抖。另外，由于在对象实时移动的条件下不存在单独的对象位置校正信号，因此会面临对象的移动由相机原样捕获的问题。另外，为了使对象的移动最小化，用户应根据对象的移动直接移动智能电话以捕获图像。然而，对于极限编舞视频或外部因素引起的振动，可能难以通过移动智能电话来校正对象的移动。因此，需要一种用于校正对象的运动的技术。
传统的OIS技术可由陀螺仪传感器识别施加到相机的振动，并可执行手抖校正。因此，即使用户的位置是固定的，当对象移动时，始终会面临相机可能无法正确地跟随对象的移动并且对象可能被捕获在不同的位置的问题。
因此，会面临的问题是，在对象难以固定在中央部分的环境中(诸如对象大幅振动或移动的环境，使用采用后摄相机的单脚架的环境等)，图像和照片的质量比所预期的质量差。
发明内容
提供本发明内容旨在以简化形式介绍构思的选择，其中，对于构思在以下具体描述中进行进一步描述。本发明内容并不旨在指出所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护主题的范围。
一种用于对象位置校正的OIS电路和OIS设备，不仅执行用户的手抖校正，而且还使用跟踪对象面部的面部位置(坐标)信息对对象位置进行OIS校正。
在一个总体方面，一种用于对象位置校正的光学图像稳定(OIS)电路包括：面部检测单元，基于从图像传感器输入图像信号，生成包括面部的坐标信息的面部位置信号；手抖检测器，基于从陀螺仪传感器输入感测信号，生成与手抖相对应的手抖位置信号；运算单元，基于面部位置信号和手抖位置信号生成复合位置信号；以及控制单元，基于复合位置信号控制镜头模块的位置。
面部检测单元可包括：面部识别单元，配置为从图像传感器输入的图像信号中识别面部；以及面部位置检测器，配置为在面部识别单元识别出面部之后，生成包括面部的坐标信息的面部位置信号。
面部位置检测器可配置为在面部识别单元从捕获图像中识别出多个面部之后，生成包括多个面部之中的捕获图像中的中央面部的坐标信息的面部位置信号。
手抖检测器可包括：陀螺仪滤波器，配置为从陀螺仪传感器输入的感测信号中去除噪声和DC偏移，并使包括手抖频率的经滤波的感测信号通过；以及陀螺仪积分器，配置为对经滤波的感测信号输入进行积分，以生成包括与手抖相对应的角度信息的手抖位置信号。
运算单元可包括加法器，加法器配置为将面部位置信号和手抖位置信号相加以生成复合位置信号。
控制单元可包括：反馈运算器，配置为基于复合位置信号和反馈信号生成误差信号；比例-积分-微分(PID)控制器，配置为对误差信号执行PID控制以生成位置控制信号；驱动单元，配置为基于位置控制信号生成驱动信号以驱动致动器；以及模数A/D转换单元，配置为将从与致动器相关联的位置传感器输入的位置信号转换为作为数字信号的反馈信号，并将反馈信号输出到反馈运算器。
A/D转换单元可包括：放大器，配置为放大从位置传感器输入的位置信号；以及A/D转换器，配置为将由放大器放大的信号转换为数字信号。
在另一个总体方面，一种用于对象位置校正的光学图像稳定(OIS)设备包括：图像传感器，捕获目标屏幕以生成图像信号；面部检测单元，基于从图像传感器输入图像信号，生成包括面部的坐标信息的面部位置信号；陀螺仪传感器，生成与手抖相对应的感测信号；手抖检测器，基于从陀螺仪传感器输入感测信号，生成与手抖相对应的手抖位置信号；运算单元，基于面部位置信号和手抖位置信号生成复合位置信号；以及控制单元，基于复合位置信号控制镜头模块的位置。
OIS设备还可包括致动器，致动器配置为在控制单元的控制下调节镜头模块的位置移动。
OIS设备还可包括位置传感器，位置传感器配置为感测由致动器移动的镜头模块的位置。
在另一个总体方面，一种相机模块包括：镜头模块，配置为捕获图像；以及光学图像稳定设备。该光学图像稳定设备，包括：对象检测器，配置为生成第一位置信号，第一位置信号包括与图像对应的输入图像信号中包括的目标对象的坐标信息；抖动检测器，配置为基于输入感测信号生成第二位置信号，输入感测信号具有与对应于图像的抖动相关的频率分量；运算器，基于第一位置信号和第二位置信号生成复合位置信号；以及控制器，配置为基于复合位置信号生成用于驱动镜头模块的驱动信号。
相机模块可包括致动器，该致动器配置为基于驱动信号调节镜头模块的位置移动。
运算器可配置为通过将第一位置信号和第二位置信号相加来生成复合位置信号。
目标对象是面部。
其它特征和方面将通过以下详细的描述、附图和权利要求而变得显而易见。
附图说明
图1是根据示例的用于对象位置校正的OIS电路的视图。
图2是根据示例的用于对象位置校正的OIS设备的视图。
图3是面部检测单元的视图。
图4是手抖检测器的视图。
图5是运算单元的视图。
图6是运算单元的主信号图。
图7是控制单元的视图。
图8A和图8B示出了在应用面部跟踪前后的状态。
图9A和图9B示出了在应用面部跟踪前后的状态。
在整个附图和详细描述中，相同的附图标记表示相同的元件。附图可能并非等比例的，并且出于清楚性、说明性以及便利性，附图中元件的相对尺寸、比例和描绘可能会被夸大。
具体实施方式
提供以下详细描述旨在帮助读者获得对本文所描述的方法、装置和/或系统的全面理解。然而，本文所描述的方法、装置和/或系统的各种改变、变型及等同物将对于本领域中的普通技术人员显而易见。本文所描述的操作的顺序仅仅为示例，且并非受限于本文中所阐述的那些顺序，而是如对于本领域普通技术人员显而易见的那样可进行改变，除了必须以特定顺序进行的操作之外。另外，为提升清楚性和简洁性，对于本领域普通技术人员公知的功能和构造的描述可被省略。
本文所描述的特征可以以不同的形式体现，且不应理解为受限于本文所描述的示例。相反，提供了本文所描述的示例以使得本公开将是全面且完整的，并且将本公开的范围充分地传达给本领域普通技术人员。
在本文中，应注意，关于示例或实施方式使用术语“可”(例如，关于示例或实施方式可包括或实施的特征)意味着存在其中包括或实施了这种特征的至少一个示例或实施方式，而所有的示例和实施方式并不都限于此。
在整个说明书中，当诸如层、区域或基板的元件描述为“位于”另一元件“上”、“连接至”或“联接至”另一元件时，其可以直接“位于”该另一元件“上”、直接“连接至”或直接“联接至”该另一元件，或者可存在插置于其间的一个或多个其它的元件。相反地，当元件描述为“直接位于”另一元件“上”、“直接连接至”或“直接联接至”另一元件时，不能存在插置于其间的其它的元件。
如在本文中使用的，术语“和/或”包括相关所列项中的任一者以及任何两者或更多者的任何组合。
尽管本文中可使用诸如“第一”、“第二”和“第三”的术语来描述各种构件、组件、区域、层或区段，但是这些构件、组件、区域、层或区段并不受限于这些术语。相反地，这些术语仅用于将一个构件、部件、区域、层或区段与另一个构件、部件、区域、层或区段区分开。因此，在不脱离各示例的教导的情况下，本文所描述的示例中所引用的第一构件、组件、区域、层或区段也可以被称作第二构件、组件、区域、层或区段。
为易于描述，可在本文中使用空间相对术语，诸如“上方”、“上部”、“下方”和“下部”等来描述图中所示的一个元件与另一元件的关系。除了附图中描绘的定向之外，这种空间相对术语还旨在包含装置在使用或操作中的不同定向。例如，如果附图中的装置被翻转，则描述为在相对于另一元件的“上方”或“上部”的元件则将处于相对于该另一元件的“下方”或“下部”。因此，根据装置的空间定向，术语“上方”包含上方和下方两种定向。装置可具有其它方式的定向(例如，旋转90度或处于其它定向)，并且本文中使用的空间相对术语应相应地进行解释。
本文中使用的术语仅用于描述各种示例，而不是用于限制本公开。冠词“一(a)”、“一个(an)”和“所述(the)”旨在还包括复数形式，除非上下文另外明确地指示。术语“包括”、“包含”和“具有”指定所述特征、数字、操作、构件、元件和/或其组合的存在，但不排除一个或多个其它特征、数字、操作、构件、元件和/或其组合的存在或添加。
由于制造技术和/或公差，附图中所示形状可发生变化。因此，本文所描述的示例并不限于附图中所示特定形状，而是包括在制造期间产生的形状的改变。
如在理解本申请的公开内容之后将变得显而易见的那样，本文所描述的示例的特征可以以多种方式组合。另外，尽管本文所描述的示例具有多种配置，但是如在理解本申请的公开内容之后将变得显而易见的那样，其它配置也是可能的。
图1是根据示例的用于对象位置校正的OIS电路的视图，以及图2是根据示例的用于对象位置校正的OIS设备的视图。
参照图1，用于对象位置校正的OIS电路20可包括面部检测单元200、手抖检测器400、运算单元500和控制单元600。
参照图2，用于对象位置校正的OIS设备10可包括图像传感器100、陀螺仪传感器300和OIS电路20。
OIS设备10还可包括致动器700和位置传感器800。
参照图2，图像传感器100可安装在相机模块上。在操作相机模块时，图像传感器100可捕获目标屏幕以生成图像信号Ssen1并将图像信号Ssen1输出到面部检测单元200。例如，图像信号Ssen1可以不包括人，或可包括至少一个人。
陀螺仪传感器300可安装在相机或配备有相机的电子设备上，并可生成具有与用户的手抖相对应的角速度(度/每秒(dps))信息的感测信号Ssen2，并将感测信号Ssen2输出到手抖检测器400。例如，从陀螺仪传感器300输出的感测信号Ssen2可包括手抖频率分量(例如，2Hz至20Hz)。
参照图1和图2，面部检测单元200可基于从图像传感器100输入的图像信号Ssen1生成包括面部的坐标信息的面部位置信号Sfp。例如，面部检测单元200可以从图像信号Ssen1识别面部，并可提供包括面部的坐标(X和Y)信息的面部位置信号Sfp。
手抖检测器400可基于从陀螺仪传感器300输入的感测信号Ssen2生成与手抖相对应的手抖位置信号Shp。例如，手抖检测器400可以从陀螺仪传感器300输入的感测信号Ssen2中提取手抖频率分量(例如，2Hz至20Hz)，并且可基于此提供手抖位置信号Shp。
运算单元500可输入/计算从面部检测单元200输入的面部位置信号Sfp和从手抖检测器400输入的手抖位置信号Shp，以生成复合位置信号Ssum，并可将复合位置信号Ssum输出到控制单元600。例如，运算单元500可合成面部位置信号Sfp和手抖位置信号Shp以生成复合位置信号Ssum。
另外，控制单元600可基于从运算单元500输入的复合位置信号Ssum控制致动器700移动镜头模块5的位置。例如，控制单元600可使用复合位置信号Ssum和反馈信号来生成用于移动镜头模块5的位置的驱动信号，并将该驱动信号输出到致动器700。
另外，参照图2，致动器700可以在控制单元600的控制下调节镜头模块5的位置移动。例如，致动器700可包括设置在相机模块的壳体中的驱动线圈，以及设置在可在壳体内移动的镜头模块5中的磁体。根据控制单元600的驱动信号，由于从驱动线圈生成的驱动力的作用，可调节附着磁体的镜头模块5的位置移动。
位置传感器800可感测由致动器700移动的镜头模块5的位置以生成位置信号Spos，并将位置信号Spos输出到控制单元600。
对于每一幅附图，可省略对相同的附图标记和具有相同功能的部件的不必要的重复描述，而可描述每一幅附图中的可能差异。
图3是面部检测单元的视图。
参照图3，面部检测单元200可包括面部识别单元210和面部位置检测器220。
面部识别单元210可根据从图像传感器100输入的图像信号Ssen1识别面部。例如，面部识别单元210可包括面部识别功能。为了从图像信号Ssen1的影像数据中识别面部，可依次检测面部的皮肤颜色信息、作为面部组成部分的眼鼻口等的位置估计、眼鼻口的合成角度、面部对比度的图案等以确定面部的存在与否。例如，面部识别功能可包括面部识别程序。
面部位置检测器220可以在面部识别单元210识别出面部之后，生成包括关于所识别的面部的坐标信息的面部位置信号Sfp。
例如，面部位置检测器220可以在面部识别单元210从捕获图像识别出多个面部之后生成包括所识别的多个面部之中的捕获图像中的中央面部的坐标信息的面部位置信号。
例如，在面部识别单元210对对象的面部识别操作中，面部位置检测器220可识别出所识别的多个面部中的每一个的尺寸和位置。当在图像信号中识别出多个面部时，为了仅对最靠近中央部分的面部的一个坐标进行控制，可输出包括中央面部的坐标信号的面部位置信号Sfp。
图4是手抖检测器的视图。
参照图4，手抖检测器400可包括陀螺仪滤波器410和陀螺仪积分器420。
陀螺仪滤波器410可以从陀螺仪传感器300输入的感测信号Ssen2中去除噪声和DC偏移，并可使包括手抖频率的感测信号通过。例如，当陀螺仪传感器300是基于微机电系统(MEMS)的陀螺仪时，可包括诸如DC偏移、噪声、漂移等的误差分量。因此，为了确保更精准的性能，可通过陀螺仪滤波器410去除包括在感测信号Ssen2中的偏移和噪声。
陀螺仪积分器420可以对从陀螺仪滤波器410输入的感测信号进行积分，以生成包括与手抖相对应的角度信息的手抖位置信号Shp。例如，陀螺仪积分器420可以在时间(t)上对角速度(dps,ω＝θ/t)信息进行积分，以将积分结果转换为角(θ)信息。通过该过程，可以将与手抖信息相对应的角速度转换为位置信号。
图5是运算单元的视图，图6是运算单元的主信号图。
参照图5和图6，例如，运算单元500可包括加法器510。加法器510可将面部位置信号Sfp和手抖位置信号Shp相加，以生成复合位置信号Ssum。
参照图6，由于复合位置信号Ssum是通过运算单元500将面部位置信号Sfp和手抖位置信号Shp相加生成的，因此根据各种示例的OIS设备除了进行用户的手抖校正之外，还可执行人的面部位置校正。
例如，在运算单元500中，与手抖位置信号Shp中包括的约2Hz至20Hz的手抖频率相比，面部位置信号Sfp中包括的面部位置(坐标)的变化量(约0.1Hz至约2Hz)会相对较慢。因此，在运算单元500的计算过程中，可另外使用能够去除面部位置(坐标)中包括的噪声的低通滤波器(LPF)。
图7是控制单元的视图。
参照图7，控制单元600可包括反馈运算器610，比例-积分-微分(PID)控制器620，驱动单元630和模/数(A/D)转换单元640。
反馈运算器610可输入/计算复合位置信号Ssum和反馈信号Sfd以生成误差信号Serr。
PID控制器620可以对误差信号Serr执行PID控制以生成位置控制信号SC。
驱动单元630可基于位置控制信号SC生成驱动信号Sdr以驱动致动器700。
A/D转换单元640可将从位置传感器800输入的位置信号Spos转换为作为数字信号的反馈信号Sfd，并将所转换的反馈信号Sfd输出到反馈运算器610。
A/D转换单元640可包括放大器641和A/D转换器642。
放大器641可放大从位置传感器800输入的位置信号Spos。
A/D转换器642可以将由放大器641放大的信号转换为数字信号。
例如，控制单元600可接收由运算单元500计算出的复合位置信号Ssum以计算致动器700的驱动方向和距离，可基于此改变驱动单元630中的用于驱动致动器700的驱动电流，并且可使用驱动电流驱动致动器700。
A/D转换单元640可接收位置传感器800(例如霍尔传感器)的信号以接收对镜头模块5的当前位置的反馈，可将所接收的信号转换为数字代码，然后可将数字代码输出到控制单元600以启动连续反馈控制。
位置传感器800可设置在致动器700内。例如，位置传感器800可设置在安装在致动器700中的驱动线圈上，并且可以是感测镜头模块5的位置的霍尔传感器810。
图8A和图8B示出了在应用面部跟踪前后的状态，以及图9A和图9B示出了在应用面部跟踪前后的状态。
参照图8A和图9A，可以看出，在没有应用面部跟踪的情况下，对象可能会偏离屏幕的中央部分。
参照图8B和图9B，可以看出，在应用了面部跟踪的情况下，对象可位于屏幕的中央部分。
根据本文讨论的各种示例的面部跟踪OIS控制，可以看出，对象的位置和用户的手抖被实时校正，并且即使在对象高速移动的图像中，人的面部也始终位于中央部分。
上述示例可采用通过将面部位置信号和手抖位置信号相加来执行OIS控制的方法，并因此对于编辑人像和在三脚架上进行自拍可能是有利的。
另外，当捕获到未识别出对象的面部的景观时，可执行与传统方法相同的OIS，并且当捕获到人时可获得最优OIS效果而不影响传统的OIS性能。
根据各种示例的OIS电路和OIS设备中的控制单元600可以在计算环境(例如，外围部件互连(PCI)、USB、固件(IEEE 1394)、光学总线结构、网络等)中实现，其中处理器(例如，中央处理单元(CPU)、图形处理单元(GPU)、微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)等)、存储器(例如，易失性存储器(例如，RAM等)、非易失性存储器(例如，ROM、闪存等))、输入设备(例如，键盘、鼠标、笔、语音输入设备、触摸输入设备、红外相机、视频输入设备等)、输出设备(例如，显示器、扬声器、打印机等)和通信接入设备(例如，调制解调器、网络接口卡(NIC)、集成网络接口、射频发射机/接收机、红外端口、USB连接设备等)彼此互连。
计算环境可以在分布式计算环境中实现，所述分布式计算环境包括个人计算机、服务器计算机、手持或膝上型设备、移动设备(例如，移动电话、PDA、媒体播放器等)、多处理器系统、消费类电子产品、小型计算机、大型计算机、或任何上述系统或设备，但不限于此。
根据各种示例，不仅可执行用户的手抖校正，而且还可执行使用跟踪对象的面部移动的面部位置(坐标)信息对对象位置的OIS校正，从而不仅校正手抖还校正对象的移动。
因此，会产生在捕获视频时对象的面部始终固定在屏幕的中央部分的效果。特别地，在对象想要放置在中央部分的条件下(诸如在拍摄视频、在三角架上自拍等)，对象的面部始终固定在屏幕的中央部分，以允许用户在任何条件下获得用户想要的高质量图像和照片。
另外，如果使用该功能，当对在不同位置捕获的同一人的多个图像进行编辑时，由于人脸的位置始终固定在相同的位置，因此会有利于进行图像的交叉编辑，并且会有利于以较少移动来跟踪对象，诸如在捕获相对高速移动的偶像表演视频时。
尽管本公开包括特定示例，但是对于本领域普通技术人员将显而易见的是，在不背离权利要求及其等同项的精神和范围的情况下，可在形式和细节上对这些示例进行各种改变。本文所描述的示例应仅以描述性的含义来考虑，而非出于限制的目的。对于各示例中的特征和方面的描述应认为适用于其它示例中的相似的特征或方面。在所描述的技术以不同的顺序执行和/或所描述的系统、架构、装置或电路中的组件以不同的方式组合的情况下可获得适当的结果，并且/或者所述结果可通过其它组件或其等同物替换或替代。因此，本公开的范围并不由详细的描述限定，而是由权利要求及其等同项来限定，且在权利要求及其等同项的范围内的所有变型均应理解为包含在本公开中。

Claims (20)

1.一种光学图像稳定(OIS)电路，包括：
面部检测单元，配置为基于从图像传感器输入的图像信号，生成包括面部的坐标信息的面部位置信号；
手抖检测器，配置为基于从陀螺仪传感器输入的感测信号，生成与手抖相对应的手抖位置信号；
运算单元，配置为基于所述面部位置信号和所述手抖位置信号生成复合位置信号；以及
控制单元，配置为基于所述复合位置信号控制镜头模块的位置。
2.根据权利要求1所述的光学图像稳定电路，其中，所述面部检测单元包括：
面部识别单元，配置为从所述图像传感器输入的所述图像信号中识别所述面部；以及
面部位置检测器，配置为在所述面部识别单元识别出所述面部之后，生成包括所述面部的坐标信息的所述面部位置信号。
3.根据权利要求2所述的光学图像稳定电路，其中，所述面部位置检测器配置为在所述面部识别单元从捕获图像识别出多个面部之后，生成包括所述多个面部之中的所述捕获图像中的中央面部的坐标信息的所述面部位置信号。
4.根据权利要求1所述的光学图像稳定电路，其中，所述手抖检测器包括：
陀螺仪滤波器，配置为从所述陀螺仪传感器输入的所述感测信号中去除噪声和DC偏移，并使包括手抖频率的经滤波的感测信号通过；以及
陀螺仪积分器，配置为对所述经滤波的感测信号输入进行积分，以生成包括与所述手抖相对应的角度信息的所述手抖位置信号。
5.根据权利要求1所述的光学图像稳定电路，其中，所述运算单元包括加法器，
其中，所述加法器配置为将所述面部位置信号和所述手抖位置信号相加以生成所述复合位置信号。
6.根据权利要求1所述的光学图像稳定电路，其中，所述控制单元包括：
反馈运算器，配置为基于所述复合位置信号和反馈信号生成误差信号；
比例-积分-微分控制器，配置为对所述误差信号执行比例-积分-微分控制以生成位置控制信号；
驱动单元，配置为基于所述位置控制信号生成驱动信号以驱动致动器；以及
模数转换单元，配置为将从与所述致动器相关联的位置传感器输入的位置信号转换为作为数字信号的所述反馈信号，并将所述反馈信号输出到所述反馈运算器。
7.一种光学图像稳定设备，包括：
图像传感器，配置为捕获目标屏幕以生成图像信号；
面部检测单元，配置为基于从所述图像传感器输入所述图像信号，生成包括面部的坐标信息的面部位置信号；
陀螺仪传感器，配置为生成与手抖相对应的感测信号；
手抖检测器，配置为基于从所述陀螺仪传感器输入所述感测信号，生成与所述手抖相对应的手抖位置信号；
运算单元，配置为基于所述面部位置信号和所述手抖位置信号生成复合位置信号；以及
控制单元，配置为基于所述复合位置信号控制镜头模块的位置。
8.根据权利要求7所述的光学图像稳定设备，其中，所述面部检测单元包括：
面部识别单元，配置为从所述图像传感器输入所述图像信号中识别所述面部；以及
面部位置检测器，配置为在所述面部识别单元识别出所述面部之后，生成包括所述面部的坐标信息的所述面部位置信号。
9.根据权利要求8所述的光学图像稳定设备，其中，所述面部位置检测器配置为在所述面部识别单元从捕获图像识别出多个面部之后，生成包括所述多个面部之中的所述捕获图像中的中央面部的坐标信息的所述面部位置信号。
10.根据权利要求7所述的光学图像稳定设备，其中，所述手抖检测器包括：
陀螺仪滤波器，配置为从所述陀螺仪传感器输入的所述感测信号中去除噪声和DC偏移，并且使包括手抖频率的经滤波的感测信号通过；以及
陀螺仪积分器，配置为对所述经滤波的感测信号输入进行积分，以生成包括与所述手抖相对应的角度信息的所述手抖位置信号。
11.根据权利要求7所述的光学图像稳定设备，其中，所述运算单元包括加法器，
其中，所述加法器配置为将所述面部位置信号和所述手抖位置信号相加，以生成所述复合位置信号。
12.根据权利要求7所述的光学图像稳定设备，还包括致动器，所述致动器配置为在所述控制单元的控制下调节所述镜头模块的位置移动。
13.根据权利要求12所述的光学图像稳定设备，还包括位置传感器，所述位置传感器配置为感测由所述致动器移动的所述镜头模块的位置。
14.根据权利要求13所述的光学图像稳定设备，其中，所述控制单元包括：
反馈运算器，配置为基于所述复合位置信号和反馈信号生成误差信号；
比例-积分-微分控制器，配置为对所述误差信号执行比例-积分-微分控制以生成位置控制信号；
驱动单元，配置为基于所述位置控制信号生成驱动信号以驱动致动器；以及
模数转换单元，配置为将从所述位置传感器输入的位置信号转换为作为数字信号的所述反馈信号，并将所述反馈信号输出到所述反馈运算器。
15.根据权利要求13所述的光学图像稳定设备，其中，所述位置传感器是霍尔传感器。
16.根据权利要求14所述的光学图像稳定设备，其中，所述模数转换单元包括：
放大器，配置为放大从所述位置传感器输入的所述位置信号；以及
模数转换器，配置为将由所述放大器放大的信号转换为数字信号。
17.一种相机模块，包括：
镜头模块，配置为捕获图像；以及
光学图像稳定设备，包括：
对象检测器，配置为生成第一位置信号，所述第一位置信号包括与所述图像对应的输入图像信号中包括的目标对象的坐标信息；
抖动检测器，配置为基于输入感测信号生成第二位置信号，所述输入感测信号具有与对应于所述图像的抖动相关的频率分量；
运算器，基于所述第一位置信号和所述第二位置信号生成复合位置信号；以及
控制器，配置为基于所述复合位置信号生成用于驱动所述镜头模块的驱动信号。
18.根据权利要求17所述的相机模块，还包括致动器，所述致动器配置为基于所述驱动信号调节所述镜头模块的位置移动。
19.根据权利要求17所述的相机模块，其中，所述运算器配置为通过将所述第一位置信号和所述第二位置信号相加来生成所述复合位置信号。
20.根据权利要求17所述的相机模块，其中，所述目标对象是面部。
CN202110771602.7A 2020-11-10 2021-07-08 光学图像稳定电路、光学图像稳定设备和相机模块 Pending CN114554039A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200149367A KR102428595B1 (ko) 2020-11-10 2020-11-10 얼굴 트래킹을 통한 피사체 위치 보정 ois 회로 및 장치
KR10-2020-0149367 2020-11-10

Publications (1)

Publication Number Publication Date
CN114554039A true CN114554039A (zh) 2022-05-27

Family

ID=81453732

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110771602.7A Pending CN114554039A (zh) 2020-11-10 2021-07-08 光学图像稳定电路、光学图像稳定设备和相机模块

Country Status (3)

Country Link
US (1) US11490009B2 (zh)
KR (1) KR102428595B1 (zh)
CN (1) CN114554039A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070019517A (ko) * 2005-08-11 2007-02-15 삼성전자주식회사 화상 보정 각도 생성 회로 및 이를 이용한 화상 보정 장치
KR20100067406A (ko) * 2008-12-11 2010-06-21 삼성전자주식회사 디지털 촬영 장치의 흔들림 보정 방법 및 장치
CN202421598U (zh) * 2010-12-28 2012-09-05 罗姆股份有限公司 透镜控制设备和使用透镜控制设备的图像感测设备
KR20160070589A (ko) * 2014-12-10 2016-06-20 삼성전기주식회사 손떨림 보정 장치 및 손떨림 보정 장치의 소비 전력 최소화 방법
CN107920200A (zh) * 2016-10-07 2018-04-17 佳能株式会社 图像模糊校正装置及其控制方法和摄像装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007041570A (ja) 2005-07-01 2007-02-15 Nikon Corp 電子カメラ
KR101740231B1 (ko) * 2010-11-17 2017-05-26 삼성전자주식회사 3차원 얼굴 위치 추정 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070019517A (ko) * 2005-08-11 2007-02-15 삼성전자주식회사 화상 보정 각도 생성 회로 및 이를 이용한 화상 보정 장치
KR20100067406A (ko) * 2008-12-11 2010-06-21 삼성전자주식회사 디지털 촬영 장치의 흔들림 보정 방법 및 장치
CN202421598U (zh) * 2010-12-28 2012-09-05 罗姆股份有限公司 透镜控制设备和使用透镜控制设备的图像感测设备
KR20160070589A (ko) * 2014-12-10 2016-06-20 삼성전기주식회사 손떨림 보정 장치 및 손떨림 보정 장치의 소비 전력 최소화 방법
CN107920200A (zh) * 2016-10-07 2018-04-17 佳能株式会社 图像模糊校正装置及其控制方法和摄像装置

Also Published As

Publication number Publication date
US11490009B2 (en) 2022-11-01
KR102428595B1 (ko) 2022-08-03
KR20220063478A (ko) 2022-05-17
US20220150408A1 (en) 2022-05-12

Similar Documents

Publication Publication Date Title
EP1936956B1 (en) Hand-shake correction method and apparatus of camera module for use in mobile device
US10104292B2 (en) Multishot tilt optical image stabilization for shallow depth of field
CN106911889B (zh) 图像模糊校正设备和倾斜校正设备及其控制方法
CN110035222B (zh) 半导体装置和电子设备
US8289406B2 (en) Image stabilization device using image analysis to control movement of an image recording sensor
US9019387B2 (en) Imaging device and method of obtaining image
CN103176332B (zh) 图像稳定设备及其控制方法、光学设备和摄像设备
US9013585B2 (en) Image capture device
JP6614810B2 (ja) ブレ補正装置、撮像装置、ブレ補正方法
JP6214316B2 (ja) 像ブレ補正装置、レンズ装置、撮像装置、像ブレ補正装置の制御方法、プログラム、および、記憶媒体
KR101528860B1 (ko) 디지털 촬영 장치의 흔들림 보정 방법 및 장치
CN110731077B (zh) 视频图像防抖方法和终端
KR101856947B1 (ko) 촬영장치, 움직임 추정장치, 영상 보정 방법, 움직임 추정방법 및 컴퓨터 판독가능 기록매체
JP2006099109A (ja) ２つの２軸線形加速度計を用いて画像取込装置の動きを検出するためのシステムおよび方法
CN113556464B (zh) 拍摄方法、装置及电子设备
US10412306B1 (en) Optical image stabilization method and apparatus
JP2014068336A (ja) 撮像装置および画像処理装置
US11490009B2 (en) Optical image stabilization circuit and optical image stabilization device for object position correction using face tracking
CN105791669B (zh) 电子设备及其控制方法
CN113243103A (zh) 成像设备、稳像设备、成像方法和稳像方法
JP6960324B2 (ja) ブレ量算出装置、ブレ量補正装置、撮像装置、方法、およびプログラム
JP2007142938A (ja) 携帯情報端末器
KR101855936B1 (ko) 스마트폰 화면 안정화 시스템 및 방법
JP2024003460A (ja) 姿勢算出装置、姿勢算出方法、姿勢算出装置を備える撮像装置とその制御方法
CN115396596A (zh) 一种超分辨率图像成像方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination