CN112369009B - 用于创建场景的超分辨率图像的光学图像稳定移动 - Google Patents

用于创建场景的超分辨率图像的光学图像稳定移动 Download PDF

Info

Publication number
CN112369009B
CN112369009B CN201980045299.3A CN201980045299A CN112369009B CN 112369009 B CN112369009 B CN 112369009B CN 201980045299 A CN201980045299 A CN 201980045299A CN 112369009 B CN112369009 B CN 112369009B
Authority
CN
China
Prior art keywords
scene
super
movement
resolution
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980045299.3A
Other languages
English (en)
Other versions
CN112369009A (zh
Inventor
陈翼环
梁家恺
巴特洛梅伊·马切伊·弗伦斯基
佩曼·米兰法
伊格纳西奥·加西亚·多拉多
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Priority to CN202210535222.8A priority Critical patent/CN115018701A/zh
Publication of CN112369009A publication Critical patent/CN112369009A/zh
Application granted granted Critical
Publication of CN112369009B publication Critical patent/CN112369009B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4069—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by subpixel displacements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本公开描述了针对光学图像稳定移动以创建场景的超分辨率图像的系统和技术。该系统和技术包括用户设备(102)通过光学图像稳定系统(114)将移动引入(502)到用户设备(102)的相机系统(112)的一个或多个组件。然后，用户设备(102)捕获(504)场景的图像的相应的多个帧(306)，其中场景的图像的相应的多个帧(306)具有作为所引入到相机系统(112)的一个或多个组件的移动的结果的跨多个帧(306)的场景的图像的相应的子像素偏移。用户设备(102)基于跨相应的多个帧(306)的场景的图像的相应的子像素偏移来执行(506)超分辨率计算，并且基于超分辨率计算来创建(508)场景的超分辨率图像。

Description

用于创建场景的超分辨率图像的光学图像稳定移动
背景技术
与当今的用户设备相关联的相机技术，诸如数字镜头单反(DLSR)相机或具有图像传感器的智能手机，已经在几个方面取得了进步。作为一个示例，用户设备可以包括光学图像稳定(OIS)相机模块，其将具有图像传感器的相机系统与OIS系统相结合，以补偿用户设备正捕获图像时用户设备的运动。作为另一个示例，用户设备可以包括从场景的多个低分辨率图像创建超分辨率图像的超分辨率能力，其中场景的多个低分辨率图像是使用相机系统的本机分辨率能力捕获到的多个图像并且超分辨率图像具有高于相机系统的本机分辨率能力的分辨率。
在某些情况下，OIS系统的使用与用户设备的超分辨率能力不兼容或冲突。例如，如果场景的多个、低分辨率图像需要反映该场景的图像的位置偏移(或像素位置的差异)以使超分辨率算法起作用，则OIS系统在场景的多个低分辨率图像捕获期间引入的稳定性可能会阻止所需的位置偏移。作为另一示例，如果用户设备处于没有移动的稳定状态(并且在捕获多个低分辨率图像期间OIS系统不起作用或没有补偿运动)，则多个低分辨率图像可以是相同的并且不拥有所需的位置偏移。
此外，用户设备可以以包括在按下快门按钮之前和之后发生的突发序列模式的各种模式以及在与按下快门按钮几乎同时发生的零快门滞后模式期间捕获场景的多个图像。在这样的情况下，OIS系统与用户设备的超分辨率能力之间的前述的不兼容性进一步使它们本身调和。
发明内容
本公开描述了针对光学图像稳定移动以创建场景的超分辨率图像的系统和技术。该系统和技术包括用户设备使用光学图像稳定系统以将移动引入到用户设备的相机系统的一个或多个组件。然后，用户设备捕获场景的图像的相应的多个帧，其中，场景的图像的相应的多个帧具有作为所引入到相机系统的一个或多个组件的移动的结果的跨多个帧的场景的图像的相应的子像素偏移。用户设备基于跨相应的多个帧的场景的图像的相应的子像素偏移来执行超分辨率计算，并基于超分辨率计算来创建场景的超分辨率图像。
因此，该系统和技术可以创建超分辨率图像而不影响光学图像稳定(OIS)系统性能。此外，这些系统和技术可以稳定相机系统的一个或多个组件而不会分散用户的注意力，以“零快门滞后”模式工作，并且不需要等待用户按下快门移动，最小化可能对获取高质量图像和用户体验有害的输入滞后以及时延。
在一些方面，描述了一种用于创建场景的超分辨率图像的方法。该方法包括用户设备将移动引入到用户设备的相机系统的一个或多个组件。作为该方法的一部分，用户设备捕获场景的图像的相应的多个帧，其中场景的图像的相应的多个帧具有作为所引入到相机系统的一个或多个组件的移动的结果的跨多个帧的场景的图像的相应的子像素偏移。该方法继续进行，其中，基于跨相应的多个帧的场景的图像的相应的子像素偏移，用户设备执行超分辨率计算并且基于超分辨率计算来创建场景的超分辨率图像。
在又一些其他方面，描述了一种用户设备。用户设备包括具有图像传感器的相机系统和OIS系统、处理器和显示器。该用户设备还包括计算机可读存储介质，该计算机可读存储介质存储光学图像稳定系统驱动管理器应用和超分辨率管理器应用的指令，这些指令在由处理器执行时，执行引导用户设备执行一系列操作的互补功能。
所述一系列操作包括由一个或多个处理器接收引导用户设备捕获场景图像的命令。所述一系列操作还包括在捕获场景图像期间将移动引入到相机系统的一个或多个组件，其中，所引入的移动导致捕获场景的图像的相应的多个帧，其具有跨多个帧的图像的相应的子像素偏移，并由一个或多个处理器基于跨多个帧的场景的图像的相应的子像素偏移来执行超分辨率计算。所述一系列操作进一步包括由一个或多个处理器基于超分辨率计算来创建场景的超分辨率图像并通过显示器来渲染场景的超分辨率图像。
在附图和以下描述中阐述一种或多种实施方式的细节。根据说明书和附图以及根据权利要求书，其他特征和优点将显而易见。提供此发明内容以介绍在详细描述和附图中进一步描述的主题。因此，读者不应该认为该发明内容描述基本特征或限制所要求保护的主题的范围。
附图说明
本公开描述与光学图像稳定移动相关联以创建场景的超分辨率图像的一个或多个方面的细节。
图1图示示例操作环境，其中执行光学图像稳定移动的各个方面以创建超分辨率图像场景。
图2图示由OIS系统引入的移动的示例方面。
图3图示与检测运动状况和将移动引入OIS系统相关联的示例方面。
图4图示使用具有子像素偏移的多个帧来执行超分辨率计算并创建场景的超分辨率图像的示例方面。
图5图示用于光学图像稳定移动以创建场景的超分辨率图像的示例方法。
具体实施方式
本公开描述针对光学图像稳定移动以创建场景的超分辨率图像的系统和技术。
虽然所描述的用于光学图像稳定移动以创建场景的超分辨率图像的系统和技术的特征和概念可以在任何数量的不同环境、系统、设备和/或各种配置中实现，但是在以下示例设备、系统和配置的上下文中描述方面。
示例操作环境
图1图示示例操作环境100，其中执行光学图像稳定移动的各个方面以创建场景的超分辨率图像。如所图示的，用户设备102被固定到三脚架104上并且渲染其正在捕获的场景的超分辨率图像106。尽管被图示为智能电话，但是用户设备102可以是具有图像捕获能力的另一种类型的设备，诸如DLSR相机或平板电脑。用户设备102到三角架104的固定约束用户设备102，使得用户设备102静止不运动。
用户设备102包括检测用户设备102的运动状况的一个或多个运动传感器108(例如，陀螺仪、加速计)的组合。在一些情况下，诸如当用户设备102固定在三脚架104上时，检测到的运动状况可以是静态运动状况(即，用户设备102不移动)。在其他情况下，诸如当用户设备102从三脚架104上移除时，检测到的运动状况可以是动态运动状况(即，不是静态运动状况的任何运动状况)。
用户设备还包括光学图像稳定(OIS)相机模块110，其包括相机系统112和OIS系统114。相机系统112可以包括多个组件，诸如镜头、光圈和一个或多个图像传感器(例如，40兆像素(MP)、32MP、16MP、8MP)。图像传感器可以包括互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器。在一些情况下，图像传感器可以包括滤色器阵列(CFA)，其覆盖图像传感器的像素并且限制如与颜色波长相关联的通过像素记录的光的强度。这种CFA的示例是拜耳(Bayer)CFA，其根据红色波长、蓝色波长和绿色波长对光滤波。
通常，OIS系统114提供用于修改相机系统112的一个或多个组件的物理位置或定向的机制。OIS系统114可以包括微型马达和磁感应定位机构，其可以改变相机系统112的一个或多个组件的平面内位置、平面外位置，俯仰、偏航或倾斜。平面内位置可以是位于由两个轴限定的平面内的位置，而平面外位置可以是位于由两个轴限定的平面之外的另一位置。
用户设备102还包括一个或多个处理器116的组合。处理器116可以是单核处理器，或者是由多种材料构成的多核处理器，所述材料诸如硅、多晶硅、高K电介质、铜等。在多个处理器116(例如，一个以上处理器的组合)的情况中，多个处理器116可包括中央处理单元(CPU)、图形处理单元(GPU)、数字信号处理器(DSP)或图像处理单元(IPU)。此外，并且在这种情况下，多个处理器116可以使用流水线处理来执行两个或更多个计算操作。
用户设备102还包括计算机可读存储介质(CRM)118，其包括OIS驱动管理器120和超分辨率管理器122形式的可执行指令。本文描述的CRM 118排除传播信号。CRM 118可以包括任何合适的存储器或存储设备，诸如随机存取存储器(RAM)、静态RAM(SRAM)、动态RAM(DRAM)、非易失性RAM(NVRAM)、只读存储器(ROM)或可用于存储OIS驱动管理器120和超分辨率管理器122的闪存。
在一些情况下，OIS驱动管理器120和超分辨率管理器122可以由处理器116执行以使用户设备102执行互补功能，该互补功能有效产生OIS移动(例如，物理移动或相机系统112的一个或多个元件的位置的变化)、捕获具有子像素偏移的场景的图像的多个帧以及计算场景的超分辨率图像(106)。在一些情况下，OIS移动可以对应于相机系统112的位置变化，其将通过操作用户设备的用户的自然的、手持的运动(例如，用户的手抖动或其他自然的生物力学)而显现。
可以使用处理器116执行OIS驱动管理器120的代码或指令，以引导OIS系统114执行OIS移动。在一些情况下，OIS移动可以是非同步移动(例如，在预定的位置位移范围内的移动并且不具有时间同步)。这种非同步移动可以应用于静态运动状况。
在其他情况下，OIS移动可以是同步移动(例如，与取决于用户设备102的检测到的运动并与所述检测到的运动在时间上同步的位置位移范围相对应的运动)。这样的同步移动可以适用于动态运动状况，并且可以叠加到引入OIS系统114的另一个OIS移动上。
超分辨率管理器122的代码或指令当由处理器116执行时，可以引导用户设备102执行与在OIS驱动管理器120的引导下执行的操作互补的多个操作。此类操作可以包括引导相机系统112以突发序列捕获场景的图像的多个帧，执行超分辨率计算，并且使用用户设备的显示器124渲染场景的超分辨率图像106。
由于OIS移动(例如，在OIS驱动管理器120的引导下由OIS系统114引入相机系统112的移动)，相机系统112可以捕获场景的图像的多个变化126、128和130，其中多个变化126-130对应于场景的图像的多个帧，其具有跨多个帧的图像的相应的子像素偏移。
在OIS移动期间，OIS驱动管理器120可以通过对场景图像的多个帧进行统一采样来解析地或数值地计算覆盖得分。在一些情况下，计算出的覆盖得分可能导致附加或补充的OIS移动，以限定捕获的多个变化126-130的图像内容。此移动可以确保场景图像的完全覆盖并产生更高质量的图像。
超分辨率计算可以包括例如与鲁棒性模型计算相结合的高斯径向基函数(RBF)计算，以创建场景的超分辨率图像106。超分辨率计算使用场景图像的变化126-130(例如，场景图像的多个帧，具有跨多个帧的图像的相应的子像素偏移)来创建场景的超分辨率图像106。
图2图示由OIS系统引入的移动的示例方面200。方面200包括图1的用户设备102的相机系统112和OIS系统114。
如所图示的，OIS系统114可以将移动引入相机系统112。“平面内”移动可以是包含在由x轴202和y轴204限定的平面内的移动。由x轴202和y轴204限定的“平面”对应于(例如，平行于)具有场景的超分辨率图像106的另一平面。“平面外”移动可以是在x轴202和y轴204所限定的平面之外的移动，并且可以是沿着z轴206的移动或包括俯仰、偏航或滚转的另一个移动。
OIS系统114引入的移动可以由一个或多个因素触发。例如，引入到OIS系统114的移动可以响应于用户设备102进入取景器模式、响应于用户设备102接收到捕获命令或者响应于用户设备102通过运动传感器108检测运动状况。OIS系统114引入的移动也可以通过这些因素中的一个或多个因素的组合来触发。
图3图示与检测运动状况和将移动引入OIS系统相关联的示例方面300。示例方面300可以由图1的用户设备102和图2的OIS相机模块110执行。OIS驱动管理器120(由处理器116执行)可以通过OIS系统114将移动引入到相机系统112。在一些情况下，通过OIS系统114引入到相机系统112的移动可以在场景图像的捕获期间简单地使相机稳定，而在其他情况下，通过OIS系统114引入到相机系统112的移动可以在场景图像的多个图像的捕获期间将子像素偏移引入场景的多个图像。在又一些其他情况中，通过OIS系统114引入到相机系统112的移动可以是稳定场景的图像的一些帧的捕获(例如，为了清楚目的没有子像素偏移)以及还在场景图像的其他帧的捕获期间引入偏移(例如，为了超分辨率的目的保留子像素偏移)的移动的组合。
示例方面300包括运动状况的检测302、移动的引入304以及具有子像素偏移的多个帧306的捕获(帧308-312对应于图1的变体126-128)。多个帧306用作计算和形成超分辨率图像106的基础。在突发序列期间，用户设备102可以使用分辨率来捕获多个帧306，该分辨率是低于场景的超分辨率图像106的另一分辨率。
运动状况的检测302可以包括检测静态运动状况314或动态运动状况318。向相机系统112的移动的引入304可以包括OIS驱动管理器120在突发序列期间引入非同步OIS移动316或同步OIS移动320。
在同步OIS移动320的情况下，OIS系统114可以引入第一移动，该第一移动旨在根据检测到的动态运动状况318使相机系统112稳定(例如，使相机系统112稳定以清楚并且没有子像素偏移地捕获场景的图像的帧)。同步移动320可以是与第一移动同步并且叠加在第一移动上的第二移动(例如，是与检测到的动态运动状况318相关联的相反移动的移动)，旨在生成或保留跨场景的图像的帧的子像素偏移。取决于第一移动的幅度，第二移动的叠加本质上可以是积极的或消极的(例如，“添加到”第一移动或从第一移动“减去”)。此外，第二移动的一些部分可以大于像素，而第二移动的其他部分可以小于像素。
突发序列可以包括以设定的时间间隔捕获多个帧306，该设定的时间间隔可以在例如从一毫秒到三毫秒、从一毫秒到五毫秒或者从二分之一毫秒到十毫秒的范围。此外，并且在一些情况下，突发序列的时间间隔可以基于用户设备的运动而可变化(例如，在用户设备102的高速运动期间的时间间隔可以比在用户设备102的低速运动期间的另一时间间隔“更短”以保持小于一个像素的偏移)。
在突发序列期间的移动的引入304致使用户设备102捕获多个帧306，使得多个帧306具有相应的相对子像素偏移。如所图示的，帧310的图像相对于帧308的图像分别水平偏移半个像素和垂直偏移半个像素。此外，并且如所图示的，帧312的图像相对于帧308的图像分别水平偏移四分之一像素。相应的相对子像素偏移可以包括子像素偏移的不同的幅度和组合(例如，与一个帧相关联的一个子像素偏移可能是水平四分之一像素和垂直四分之三像素，而与另一帧相关联的另一子像素偏移可以是水平零像素和垂直像素的一半)。通常，由本公开描述的技术和系统可以适应比帧308-312的图示和描述更加随机的子像素偏移，包括不均匀的子像素偏移。
图4图示使用具有如由OIS移动引入的子像素偏移的多个帧306来执行超分辨率计算并创建场景的超分辨率图像的示例方面400。示例方面400可以使用图1-图3的元件，其中执行超分辨率计算由图1的用户设备102执行，子像素偏移是图2的OIS移动的结果，并且具有子像素偏移的多个帧是图3的多个帧306。
如图4中所图示，多个帧306被输入到由用户设备102执行的超分辨率计算402。支持超分辨率计算402的算法可以驻留在用户设备102的超分辨率管理器122中。在一些情况下，用户设备102(例如，多个处理器116)可以使用流水线处理来执行超分辨率计算402的部分。通常，超分辨率计算402可以使用各种算法和技术。
超分辨率计算402的第一示例包括高斯径向基函数(RBF)核计算。为了执行高斯RBF核计算，用户设备102对来自多个帧306中的每个帧的像素信号进行滤波以生成与颜色通道相对应的相应颜色特定的图像平面。然后，用户设备102将相应颜色特定的图像平面对准到所选的参考帧。
继续超分辨率计算402的第一示例，高斯RBF核计算可以包括用户设备102分析局部梯度结构张量以计算协方差矩阵。计算协方差矩阵可能依赖于以下数学关系：
Figure BDA0002883560700000101
在数学关系(1)中，Ω表示核协方差矩阵，e1和e2表示正交方向向量以及两个相关联的特征值λ1和λ2，并且k1和k2控制所需的核方差。
计算局部梯度结构张量可以依赖于以下数学关系：
Figure BDA0002883560700000102
在数学关系(2)中，Ix和Iy分别表示水平和垂直方向上的局部图像梯度。
另外，作为超分辨率计算402的第一示例的一部分，用户设备102可以使用统计邻域模型来计算鲁棒性模型，该统计邻域模型包括颜色均值和空间标准差计算。在一些情况下，鲁棒性模型计算可以包括去噪计算以补偿色差。
超分辨率图像计算402对于多个帧306中的每个(例如，对于帧308、310和312)有效地估计像素对与相应颜色平面相关联的颜色通道的贡献。
继续超分辨率计算402的第一示例，可以使用以下用于归一化计算的数学关系来累积颜色平面：
Figure BDA0002883560700000103
在数学关系(3)中，x和y表示像素坐标，总和Σn在贡献帧上运算(或是贡献帧总和)，总和Σi是局部邻域内的样本总和，cn,i表示给定帧n和样本i处的拜耳像素值，wn,i表示局部样本权重，并且
Figure BDA0002883560700000111
表示局部鲁棒性。累积的颜色平面可以被组合以创建场景的超分辨率图像106。
超分辨率计算402的第二示例可以包括分析运动模糊的影响。这样的超分辨率计算可以使用“解答量(volume of solutions)”计算方法来分析多个图像(例如，多个帧306)的运动模糊的影响，该“解答量”计算方法解决由于量化误差而导致的像素测量中的不确定性。
超分辨率计算402的第三示例可以包括使用帧循环方法的计算。这样的方法可以迭代地使用先前的低分辨率帧、先前计算的高分辨率图像以及当前的低分辨率帧来创建当前的超分辨率图像(例如，先前的低分辨率帧和当前低分辨率帧可以分别是帧308和帧310)。循环方法可以包括流估计以估计归一化的、低分辨率流图，使用缩放因子将低分辨率流图放大以产生高分辨率流图，使用高分辨率流图来翘曲先前的高分辨率图像，将翘曲的、先前的高分辨率图像映射到低分辨率空间，以及将低分辨率空间的映射拼接到当前超分辨率图像。
图4的超分辨率计算402还可以使用与先前示例中描述的算法和技术不同或除其之外的算法和技术。这样的算法和技术可以包括机器学习的算法和技术。无论如何，并且根据本公开，将移动引入相机系统112的一个或多个组件可适用于其他算法和技术。
示例方法
参考图5描述根据与光学图像稳定移动相关联以创建场景的超分辨率图像的一个或多个方面的示例方法500。通常，本文所述的任何组件、模块、方法和操作都可以使用软件、固件、硬件(例如，固定逻辑电路)、手动处理或其任意组合来实现。可以在存储在计算机处理系统本地和/或远程的计算机可读存储存储器上的可执行指令的一般上下文中描述示例方法的一些操作，并且实施方式可以包括软件应用、程序、功能等。替代地或另外，本文描述的任何功能性可以至少部分地由一个或多个硬件逻辑组件执行，诸如但不限于现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SoC)或复杂可编程逻辑设备(CPLD)。
图5图示用作创建场景的超分辨率图像的一部分的方法500的示例方面。以框502-508的集合的形式描述方法500，所述框502-508指定可以执行的操作。但是，操作不一定限于图5中所示或本文描述的顺序，对于操作可以以替代顺序、以完全或部分重叠的方式或以迭代的方式来实现。此外，尽管将在由图1的用户设备102使用图2-4的元件执行的上下文中描述由方法500表示的操作，但是可以在由具有计算能力的一个或多个其他设备来执行操作(或操作的部分)，所述其他设备诸如服务器或包括超分辨率管理器122的指令(或指令的部分)的云计算设备。
在框502处，用户设备102(例如，执行OIS驱动管理器120的代码的处理器116)将移动引入相机系统112的一个或多个组件(例如，OIS系统114将移动引入相机系统112)。在一些情况中，用户设备102可以响应于进入取景器模式来引入移动，而在其他情况中，用户设备102可以响应于接收到捕获命令来引入移动。引入移动可以包括向相机系统112的一个或多个组件引入平面内移动或引入平面外移动。
在框504处，用户设备102捕获场景的图像的相应的多个帧306，作为所引入到相机系统112的一个或多个组件的移动的结果，所述相应的多个帧306具有跨多个帧的场景306的图像的相应的子像素偏移。
在框506处，用户设备102(例如，执行超分辨率管理器122的指令的处理器116)基于跨多个帧的场景图像的相应的子像素偏移来执行超分辨率计算402。超分辨率计算402的示例包括：(i)计算高斯径向基函数核并计算鲁棒性模型、(ii)分析跨多个帧的运动模糊的影响以及(iii)使用帧循环方法，其使用来自于多个帧的先前低分辨率帧和当前低分辨率帧以创建当前的超分辨率图像。
在框508处，基于超分辨率计算402，用户设备102(例如，执行超分辨率管理器122的指令的处理器116)创建场景的超分辨率图像106。
示例方法500还可以包括基于通过对场景的图像的多个帧进行采样而计算的覆盖得分来变更移动。
尽管本公开描述针对光学图像稳定移动以创建场景的超分辨率图像的系统和技术，但是要理解，所附权利要求的主题不必限于描述的特定的特征或方法。而是，公开了特定的特征和方法作为示例方式，其中可以实现使用光学图像稳定移动来创建场景的超分辨率图像。
除了以上描述之外，可以给用户提供有允许用户关于本文中描述的系统、程序或特征是否并何时可以使得能够收集用户信息(例如，用户捕获到的图像、系统计算的超分辨率图像、关于用户的社交网络、社交动作或活动、专业、用户的偏好、或用户的当前位置的信息)，并且用户是否被从服务器发送了内容或通信做出选择的控制。此外，某些数据可以在它被存储或者使用之前被以一个或多个方式处理，使得个人可识别的信息被移除。例如，可以处理用户的身份，使得对用户来说不能够确定个人可识别的信息，或者用户的地理位置可以在获得位置信息的情况下被一般化(诸如到城市、邮政编码、或州级别)，使得不能够确定用户的特定位置。因此，用户可以具有对收集关于用户的什么信息、如何使用该信息并且向用户提供什么信息的控制。
下面，描述几个示例：
示例1：一种用于创建场景的超分辨率图像的方法，所述方法由用户设备执行并且包括：通过光学图像稳定系统将移动引入到所述用户设备的相机系统的一个或多个组件；捕获所述场景的图像的相应的多个帧，所述场景的图像的所述相应的多个帧具有作为所引入到所述相机系统的一个或多个组件的移动的结果的跨所述多个帧的所述场景的图像的相应的子像素偏移；基于跨所述多个帧的所述场景的图像的所述相应的子像素偏移，执行超分辨率计算；以及基于所述超分辨率计算，创建所述场景的所述超分辨率图像。
示例2.根据示例1所述的方法，其中，将所述移动引入到所述相机系统的所述一个或多个组件是响应于进入取景器模式。
示例3：根据示例1所述的方法，其中，将所述移动引入到所述相机系统的所述一个或多个组件是响应于接收到捕获命令。
示例4：根据示例1-3中的任一项所述的方法，其中，将所述移动引入所述用户设备的相机系统的所述一个或多个组件包括将平面内移动引入到所述相机系统的所述一个或多个组件，其中，所述平面内移动是包含在由两个轴限定的平面中的移动。
示例5：根据示例1-4中的任一项所述的方法，其中，将所述移动引入到所述用户设备的相机系统的所述一个或多个组件包括将平面外移动引入到所述相机系统的所述一个或多个组件，其中，所述平面外移动是在由两个轴限定的平面外的移动。
示例6：根据示例1-5中的任一项所述的方法，其中，执行所述超分辨率计算包括：计算高斯径向基函数核；和计算鲁棒性模型。
示例7：根据示例1-6中的任一项所述的方法，其中，执行所述超分辨率计算包括分析跨所述多个帧的运动模糊的影响。
示例8：根据示例1-7中的任一项所述的方法，其中，执行所述超分辨率使用帧循环方法，所述帧循环方法使用来自于所述多个帧的先前低分辨率帧和当的低分辨率帧以创建当前超分辨率图像。
示例9：根据示例1-8中的任一项所述的方法，其中，附加或补充移动基于覆盖得分来引入到所述相机系统的所述一个或多个组件，所述覆盖得分通过对所述场景的图像的所述多个帧的采样来计算。
示例10：一种用户设备，包括：相机系统；光学图像稳定系统；一个或多个处理器；显示器；以及计算机可读存储介质，所述计算机可读存储介质存储光学图像稳定系统驱动管理器应用和超分辨率管理器应用的指令，所述指令在由所述一个或多个处理器执行时，执行引导所述用户设备进行下述的互补功能：由所述一个或多个处理器接收命令，所述命令引导所述用户设备捕获场景的图像；基于所接收的命令通过所述光学图像稳定系统，在所述场景的图像的所述捕获期间将移动引入到所述相机系统的一个或多个组件，其中，所引入的移动导致所述场景的图像的相应的多个帧的所述捕获，所述相应的多个帧具有跨所述多个帧的图像的子像素偏移；由所述一个或多个处理器基于跨所述多个帧的所述场景的图像的所述相应的子像素偏移，执行超分辨率计算；由所述一个或多个处理器基于所述超分辨率计算来创建所述场景的超分辨率图像；以及由所述显示器渲染所述场景的所述超分辨率图像。
示例11：根据示例10所述的用户设备，其中，所述用户设备进一步包括一个或多个检测静态运动状况的运动传感器。
示例12.根据示例11所述的用户设备，其中，对所述静态运动状况的所述检测使所述用户设备通过所述光学图像稳定系统将非同步移动引入到所述相机系统的一个或多个组件。
示例13：根据示例10所述的用户设备，其中，所述用户设备进一步包括一个或多个检测动态运动状况的运动传感器。
示例14.根据示例13所述的用户设备，其中，所述动态运动状况的所述检测使所述用户设备通过所述光学图像稳定系统将同步移动引入到所述相机系统的一个或多个组件。
示例15：一种系统，所述系统提供用于执行根据示例1-9中的任一项所述方法的装置。
示例16：用户设备，所述用户设备被配置成执行根据示例1-9中的任一项所述的方法。
示例17：一种包括指令的计算机可读存储介质，所述指令在被执行时，配置处理器以执行根据示例1-9中的任一项所述的方法。

Claims (13)

1.一种用于创建场景的超分辨率图像的方法，所述方法由用户设备执行并且包括：
检测运动状况；
基于检测到的运动状况通过光学图像稳定系统将移动引入到所述用户设备的相机系统的一个或多个组件；
捕获所述场景的图像的相应的多个帧，所述场景的图像的所述相应的多个帧具有作为到所述相机系统的一个或多个组件的所引入移动的结果的、跨所述多个帧的所述场景的图像的相应的子像素偏移；
基于跨所述多个帧的所述场景的图像的所述相应的子像素偏移，执行超分辨率计算；以及
基于所述超分辨率计算，创建所述场景的所述超分辨率图像。
2.根据权利要求1所述的方法，其中，将所述移动引入到所述相机系统的所述一个或多个组件是响应于进入取景器模式。
3.根据权利要求1所述的方法，其中，将所述移动引入到所述相机系统的所述一个或多个组件是响应于接收到捕获命令。
4.根据权利要求1-3中的任一项所述的方法，其中，将所述移动引入所述用户设备的相机系统的所述一个或多个组件包括：将平面内移动引入到所述相机系统的所述一个或多个组件，其中，所述平面内移动是包含在由两个轴限定的平面中的移动。
5.根据权利要求1-3中的任一项所述的方法，其中，将所述移动引入到所述用户设备的相机系统的所述一个或多个组件包括：将平面外移动引入到所述相机系统的所述一个或多个组件，其中，所述平面外移动是在由两个轴限定的平面外的移动。
6.根据权利要求1-3中的任一项所述的方法，其中，执行所述超分辨率计算包括：
计算高斯径向基函数核；和
计算鲁棒性模型。
7.根据权利要求1-3中的任一项所述的方法，其中，执行所述超分辨率计算包括：分析跨所述多个帧的运动模糊的影响。
8.根据权利要求1-3中的任一项所述的方法，其中，执行所述超分辨率计算使用帧循环方法，所述帧循环方法使用来自于所述多个帧的先前低分辨率帧和当前低分辨率帧以创建当前超分辨率图像。
9.根据权利要求1-3中的任一项所述的方法，其中，基于覆盖得分来将附加或补充移动引入到所述相机系统的所述一个或多个组件，所述覆盖得分通过对所述场景的图像的所述多个帧的采样来计算。
10.一种用户设备，包括：
相机系统；
光学图像稳定系统；
检测运动状况的一个或多个运动传感器；
一个或多个处理器；
显示器；以及
计算机可读存储介质，所述计算机可读存储介质存储光学图像稳定系统驱动管理器应用和超分辨率管理器应用的指令，所述指令在由所述一个或多个处理器执行时，执行互补功能，所述互补功能引导所述用户设备：
由所述一个或多个处理器接收命令，所述命令引导所述用户设备捕获场景的图像；
基于所接收的命令和检测到的运动状况通过所述光学图像稳定系统，在所述场景的图像的所述捕获期间将移动引入到所述相机系统的一个或多个组件，其中，所引入的移动导致所述场景的图像的相应的多个帧的所述捕获，所述相应的多个帧具有跨所述多个帧的图像的子像素偏移；
由所述一个或多个处理器基于跨所述多个帧的所述场景的图像的所述相应的子像素偏移，执行超分辨率计算；
由所述一个或多个处理器基于所述超分辨率计算来创建所述场景的超分辨率图像；以及
由所述显示器渲染所述场景的所述超分辨率图像。
11.根据权利要求10所述的用户设备，其中，响应于确定检测到的运动状况是静态运动状况，通过所述光学图像稳定系统将非同步移动引入到所述相机系统的一个或多个组件。
12.根据权利要求10所述的用户设备，其中，响应于确定检测到的运动状况是动态运动状况，通过所述光学图像稳定系统将同步移动引入到所述相机系统的一个或多个组件。
13.一种用于创建场景的超分辨率图像的系统，所述系统提供用于执行根据权利要求1-9所述的方法中的任一个的装置。
CN201980045299.3A 2018-08-08 2019-08-06 用于创建场景的超分辨率图像的光学图像稳定移动 Active CN112369009B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210535222.8A CN115018701A (zh) 2018-08-08 2019-08-06 用于创建场景的超分辨率图像的光学图像稳定移动

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862716346P 2018-08-08 2018-08-08
US62/716,346 2018-08-08
PCT/US2019/045334 WO2020033427A1 (en) 2018-08-08 2019-08-06 Optical image stabilization movement to create a super-resolution image of a scene

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210535222.8A Division CN115018701A (zh) 2018-08-08 2019-08-06 用于创建场景的超分辨率图像的光学图像稳定移动

Publications (2)

Publication Number Publication Date
CN112369009A CN112369009A (zh) 2021-02-12
CN112369009B true CN112369009B (zh) 2022-06-07

Family

ID=67688834

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201980045299.3A Active CN112369009B (zh) 2018-08-08 2019-08-06 用于创建场景的超分辨率图像的光学图像稳定移动
CN202210535222.8A Pending CN115018701A (zh) 2018-08-08 2019-08-06 用于创建场景的超分辨率图像的光学图像稳定移动

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202210535222.8A Pending CN115018701A (zh) 2018-08-08 2019-08-06 用于创建场景的超分辨率图像的光学图像稳定移动

Country Status (6)

Country Link
US (1) US11611697B2 (zh)
JP (2) JP7271653B2 (zh)
KR (3) KR102509466B1 (zh)
CN (2) CN112369009B (zh)
DE (1) DE112019003972T5 (zh)
WO (1) WO2020033427A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112369009B (zh) 2018-08-08 2022-06-07 谷歌有限责任公司 用于创建场景的超分辨率图像的光学图像稳定移动
WO2021180294A1 (en) * 2020-03-09 2021-09-16 Huawei Technologies Co., Ltd. Imaging device and method for efficient capture of stationary objects
US11190689B1 (en) 2020-07-29 2021-11-30 Google Llc Multi-camera video stabilization
CN112634160A (zh) 2020-12-25 2021-04-09 北京小米松果电子有限公司 拍照方法及装置、终端、存储介质
US11880902B2 (en) 2020-12-30 2024-01-23 Waymo Llc Systems, apparatus, and methods for enhanced image capture
GB2614448A (en) * 2021-12-31 2023-07-05 Cambridge Mechatronics Ltd Actuator arrangement
US11605153B1 (en) 2022-01-03 2023-03-14 Microsoft Technology Licensing, Llc Generate super-resolution images from sparse color information
US11676250B1 (en) * 2022-01-03 2023-06-13 Microsoft Technology Licensing, Llc Use motion data to generate higher resolution images
CN115396596B (zh) * 2022-08-15 2023-06-30 上海交通大学 一种超分辨率图像成像方法、装置及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106357957A (zh) * 2016-10-20 2017-01-25 西安应用光学研究所 基于亚像素相位相关检测的快速反射镜稳像装置及方法
CN107040708A (zh) * 2016-02-04 2017-08-11 三星电机株式会社 图像稳定模块及相机模块

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100630557B1 (ko) * 2004-12-28 2006-09-29 주식회사 팬택 큐카메라를 이용하는 이동 통신 단말기에서의 오에스디제공 방법
JP2007057998A (ja) 2005-08-26 2007-03-08 Fujifilm Corp 撮影装置
US8306121B2 (en) * 2008-03-17 2012-11-06 Ati Technologies Ulc Method and apparatus for super-resolution of images
US7941004B2 (en) 2008-04-30 2011-05-10 Nec Laboratories America, Inc. Super resolution using gaussian regression
US8477217B2 (en) 2008-06-30 2013-07-02 Sony Corporation Super-resolution digital zoom
US8111300B2 (en) * 2009-04-22 2012-02-07 Qualcomm Incorporated System and method to selectively combine video frame image data
JP5523017B2 (ja) * 2009-08-20 2014-06-18 キヤノン株式会社 画像処理装置及び画像処理方法
US8390724B2 (en) * 2009-11-05 2013-03-05 Panasonic Corporation Image capturing device and network camera system
US20120069238A1 (en) * 2010-09-16 2012-03-22 Panasonic Corporation Image capturing device
US8594464B2 (en) * 2011-05-26 2013-11-26 Microsoft Corporation Adaptive super resolution for video enhancement
US9124797B2 (en) * 2011-06-28 2015-09-01 Microsoft Technology Licensing, Llc Image enhancement via lens simulation
CA2873496A1 (en) * 2012-05-14 2013-11-21 Luca Rossato Encoding and decoding based on blending of sequences of samples along time
US9288395B2 (en) * 2012-11-08 2016-03-15 Apple Inc. Super-resolution based on optical image stabilization
US9635246B2 (en) * 2013-06-21 2017-04-25 Qualcomm Incorporated Systems and methods to super resolve a user-selected region of interest
US9478010B2 (en) 2013-12-12 2016-10-25 Google Technology Holdings LLC Generating an enhanced image of a predetermined scene from a plurality of images of the predetermined
US9426362B2 (en) 2015-01-16 2016-08-23 Mems Drive, Inc. Three-axis OIS for super-resolution imaging
JP5914716B1 (ja) 2015-02-19 2016-05-11 オリンパス株式会社 撮像装置
US20170171456A1 (en) * 2015-12-10 2017-06-15 Google Inc. Stereo Autofocus
US10038849B2 (en) * 2016-03-16 2018-07-31 Panasonic Intellectual Property Mangement Co., Ltd. Imaging device with controlled timing of images to be synthesized based on shake residual
KR102523762B1 (ko) * 2018-06-20 2023-04-20 엘지이노텍 주식회사 이미지 센서 및 이를 이용하는 카메라 모듈
CN112369009B (zh) 2018-08-08 2022-06-07 谷歌有限责任公司 用于创建场景的超分辨率图像的光学图像稳定移动
CN112384945A (zh) 2018-08-09 2021-02-19 谷歌有限责任公司 使用应用于用户设备的自然手持运动的超分辨率

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107040708A (zh) * 2016-02-04 2017-08-11 三星电机株式会社 图像稳定模块及相机模块
CN106357957A (zh) * 2016-10-20 2017-01-25 西安应用光学研究所 基于亚像素相位相关检测的快速反射镜稳像装置及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Jittered Exposures for Image Super-Resolution;Nianyi Li;《2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops》;20180622;第2.1-2.2、3.1-3.2节，附图4 *

Also Published As

Publication number Publication date
US11611697B2 (en) 2023-03-21
KR102509466B1 (ko) 2023-03-14
KR20220162861A (ko) 2022-12-08
JP2021533660A (ja) 2021-12-02
JP7271653B2 (ja) 2023-05-11
KR102612530B1 (ko) 2023-12-11
US20210374909A1 (en) 2021-12-02
KR102471595B1 (ko) 2022-11-28
US20230224596A1 (en) 2023-07-13
DE112019003972T5 (de) 2021-05-20
KR20210027479A (ko) 2021-03-10
WO2020033427A1 (en) 2020-02-13
CN112369009A (zh) 2021-02-12
CN115018701A (zh) 2022-09-06
JP2023100754A (ja) 2023-07-19
KR20230038316A (ko) 2023-03-17

Similar Documents

Publication Publication Date Title
CN112369009B (zh) 用于创建场景的超分辨率图像的光学图像稳定移动
US10057491B2 (en) Image-based motion sensor and related multi-purpose camera system
KR100866963B1 (ko) 수평 방향의 기울어짐 왜곡과 수직 방향의 스케일링 왜곡을보정할 수 있는 디지털 영상 안정화 방법
US8417059B2 (en) Image processing device, image processing method, and program
US10911680B2 (en) Method and system of geolocation and attitude correction for mobile rolling shutter cameras
US8965105B2 (en) Image processing device and method
JP7490100B2 (ja) ユーザデバイスに適用される自然の手持ち式の動きを用いた超解像
JP2013061850A (ja) ノイズ低減のための画像処理装置及び画像処理方法
US10460487B2 (en) Automatic image synthesis method
US10764500B2 (en) Image blur correction device and control method
JP2020136774A (ja) 動きベクトルを検出する画像処理装置およびその制御方法ならびにプログラム
US12010440B2 (en) Optical image stabilization movement to create a super-resolution image of a scene
CN113327228B (zh) 图像处理方法和装置、终端和可读存储介质
JP2019176261A (ja) 画像処理装置
EP4280154A1 (en) Image blurriness determination method and device related thereto
JP2018072941A (ja) 画像処理装置、画像処理方法、プログラム、記憶媒体
JP2022099120A (ja) 被写体追尾装置およびその制御方法
EP2747417B1 (en) Combined rectification and video stabilisation
JP2020095673A (ja) 画像処理装置およびその制御方法、ならびに撮像装置
JP2016201637A (ja) 画像処理装置及び画像処理方法
JP2007194973A (ja) 動きベクトル検出装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant