CN113542614A - 高动态范围图像的电子图像稳定方法、设备和摄像机 - Google Patents

高动态范围图像的电子图像稳定方法、设备和摄像机 Download PDF

Info

Publication number
CN113542614A
CN113542614A CN202110400544.7A CN202110400544A CN113542614A CN 113542614 A CN113542614 A CN 113542614A CN 202110400544 A CN202110400544 A CN 202110400544A CN 113542614 A CN113542614 A CN 113542614A
Authority
CN
China
Prior art keywords
image
pixel
data
rolling shutter
image sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110400544.7A
Other languages
English (en)
Other versions
CN113542614B (zh
Inventor
袁嵩
约翰·佛波哥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Axis AB
Original Assignee
Axis AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Axis AB filed Critical Axis AB
Publication of CN113542614A publication Critical patent/CN113542614A/zh
Application granted granted Critical
Publication of CN113542614B publication Critical patent/CN113542614B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/689—Motion occurring during a rolling shutter mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及高动态范围图像的电子图像稳定方法、设备和摄像机。本发明总体上涉及用于由卷帘快门图像传感器捕获的高动态范围(HDR)图像的电子图像稳定(EIS)的算法，并且更具体地涉及这样的算法，该算法被配置为对于HDR图像中的像素块当中的每个特定像素块，通过确定特定像素块是从第一图像或第二图像的像素数据复制的还是来自第一图像和第二图像两者的像素数据的混合来对HDR图像执行EIS，特定像素块在空间上与卷帘快门图像传感器的像素区域相对应，并且基于特定像素块的来源使用在捕获第一图像和第二图像时测量的运动数据来执行EIS。

Description

高动态范围图像的电子图像稳定方法、设备和摄像机
技术领域
本发明总体上涉及用于由卷帘快门图像传感器捕获的高动态范围(HDR)图像的电子图像稳定(EIS)的算法。
背景技术
各种电子设备(例如，智能电话、平板计算机或者数码摄像机)可以配备越来越复杂的成像功能。这种成像功能例如包括捕获HDR静态图像或者视频。这里，术语“HDR”表示用于再现比标准数字成像或照相技术可能提供的大的亮度动态范围的多重曝光技术。HDR图像也可以称为宽动态范围(WDR)图像。
在捕获图像时，可以使用CMOS图像传感器。CMOS图像传感器可以带来诸如更低的价格、增加的灵敏度、更高的分辨率等的优点。许多CMOS图像传感器采用卷帘快门技术。卷帘快门是涉及图像传感器扫描图像的方式的技术术语。卷帘快门图像传感器逐行地从传感器的一侧(通常是顶部)到另一侧顺序地扫描图像。
当结合多重曝光合并HDR成像来执行电子图像稳定(EIS)时，存在两个主要的可能性：
1、在曝光合并步骤之前单独稳定每次曝光。
2、在合并步骤之后将已合并的曝光一起稳定。
其中，方法(1)通常将获得更高的质量稳定性。由于曝光在时间上是分开的，因此图像传感器(例如，卷帘快门图像传感器)在一次曝光期间的运动将与在另一次曝光期间的运动不匹配。使用方法(1)，每次曝光能够在它们被合并成HDR图像之前被正确地稳定。
然而，方法(1)带来的后果是带宽需求增加。至少两次曝光在它们能够被合并之前，需要保持更长时间的分离(通过EIS步骤)。这通常意味着成像流水线的更大的部分需要在合并的图像上运行两次(每次曝光一次)，而不是仅运行一次。例如，分离的曝光需要被存储在可访问存储器中，直到在两个图像上都执行了EIS。此外，由于对每次曝光执行EIS，因此增加了实现HDR图像所需的处理能力。
替代方法(2)在带宽方面更有效，但是由于在执行EIS时曝光已经被合并，因此在现有技术中难以执行完全正确的EIS。这导致HDR图像的图像质量降低。
因此，在这方面需要改进。
发明内容
鉴于以上内容，本发明的目的是解决或者至少减少以上讨论的缺点中的一个或者若干个。通常，以上目的通过所附独立专利权利要求来实现。
根据本发明的第一方面，提供了一种执行描绘场景的高动态范围(HDR)图像的电子图像稳定(EIS)的方法，该方法包括：
接收描绘场景的第一图像和第二图像，第一图像和第二图像由包括多个像素区域的卷帘快门图像传感器捕获，其中，卷帘快门图像传感器在捕获图像期间一次从一个像素区域读出像素数据，第一图像和第二图像使用不同的曝光时间捕获，
接收第一运动数据和第二运动数据，每个运动数据分别指示卷帘快门图像传感器在捕获第一图像和第二图像时的多个姿态，其中，每个姿态与卷帘快门图像传感器的一像素区域相对应并且指示确定的卷帘快门图像传感器在读出该像素区域的像素数据期间的定向和/或位置，
通过合并第一图像和第二图像创建HDR图像，
对于HDR图像中的像素块当中的每个特定像素块，通过以下步骤对HDR图像执行EIS，特定像素块在空间上与卷帘快门图像传感器的像素区域相对应：
·确定特定像素块是从第一图像或第二图像的像素数据复制的，还是来自第一图像和第二图像两者的像素数据的混合，
·其中，在确定特定像素块是从第一图像的像素数据复制的时，通过使用第一运动数据的对应像素区域的姿态对特定像素块执行EIS，
·其中，在确定特定像素块是从第二图像的像素数据复制的时，通过使用第二运动数据的对应像素区域的姿态对特定像素块执行EIS。
卷帘快门图像传感器是不在单个时刻捕获场景的图像，而是通常或者垂直地或者水平地扫描整个场景并且因此在不同的时刻读出像素数据的传感器。换句话说，不是场景的图像的所有部分都在完全相同的时刻被记录。因此，在本说明书的上下文中，术语“像素区域”应被理解为例如卷帘快门图像传感器的一行像素或者一列像素。像素区域还可以包括卷帘快门图像传感器的多个行或者多个列。在这样读出像素数据期间，连续地测量摄像机的摄像机运动。例如，摄像机运动可以针对卷帘快门图像传感器的每个像素区域测量，或者每隔一个像素区域测量，等等。然而，摄像机运动将在从多个像素区域读出像素数据期间的至少两个时机测量，使得一个像素区域可以与不同于与另一像素区域相关联的运动数据的(指示所测量的摄像机运动水平的)运动数据相关联。对于这两个像素区域之间的像素区域，摄像机运动可以从这两个测量值进行插值。
在下文中，为了简单起见，卷帘快门图像传感器可以被称为图像传感器。
在本文中，像素区域的摄像机运动由在像素数据从像素区域读出时限定图像传感器的姿态的数据来表示。在本文中，图像传感器的姿态指示定向(例如俯仰、偏转和/或翻滚)和/或位置(例如图像传感器的x、y和/或z位置)。因此，可以用1自由度(DOF)到6DOF表示姿态。
因此，第一运动数据和第二运动数据包括在捕获第一图像和第二图像期间图像传感器的至少两个测量的姿态。每个测量的姿态与如以上定义的像素区域相对应。运动数据中未明确呈现的任何其余姿态仍然被指示，并且可以通过任何已知的插值策略来计算。
第一图像和第二图像有利地在接近的时间(例如在两个随后的时间段中)捕获，或者使用例如DOL-HDR技术在时间上交错。在任何情况下，例如使用短曝光时间捕获第一图像(即第一图像的全部图像数据)，并且例如使用长曝光时间捕获第二图像(即第二图像的全部图像数据)，反之亦然。
应理解，多于两个(>2)图像可以(使用不同的曝光时间)被捕获以创建HDR图像。为简单起见，本公开仅描述两个图像的情况。
通过合并第一图像和第二图像，HDR图像被创建。本领域技术人员已知有许多已知的用于创建HDR图像的多重曝光技术。通常，合并基于阈值，以减少HDR图像中的过度曝光的像素的数量(即图像传感器的满阱容量)。在合并多次曝光时，可以使用线性加权。根据使用情况，也可以采用合并结果的色调映射。
在合并步骤之后，对HDR图像执行EIS。
本发明人已经认识到，在计算EIS的校正表时，通过仅针对曝光中的一次(例如，具有更长的曝光时间的曝光)进行优化来执行EIS，来自长曝光的最终HDR图像(稳定的HDR图像)的任何部分将看起来都是正确的，但是(来自短曝光的)高亮部分将在周围闪烁，好像与下层场景断开一样。为了减轻这种情况，通过确定块是从哪个图像复制的并且经由使用对应的第一运动数据或者第二运动数据来计算该块的空间校正以确定最终HDR中该块的空间校正，EIS在像素块(例如宏块)的基础上执行。有利地，然后可以在捕获该像素块时基于卷帘快门图像传感器的对应姿态在块的基础上稳定该最终HDR。这反过来可以改善最终HDR图像的感知到的质量。
根据一些实施例，在确定特定像素块是来自第一图像和第二图像两者的像素数据的混合时，该方法进一步包括：
接收第一混合值，该第一混合值指示特定像素块中来自第一图像的像素数据的比率，
通过根据第一混合值对第一运动数据的对应像素区域的姿态和第二运动数据的对应像素区域的姿态进行加权，计算特定像素块的姿态，
其中，通过使用所计算的姿态对特定像素块执行EIS。
换句话说，第一运动数据的对应像素区域的姿态和第二运动数据的对应像素区域的姿态被混合为具有总和为1的权重的线性组合，其中权重取决于第一混合值。然后，计算的混合姿态被用于EIS。
来自第一图像和第二图像的像素数据之间的混合(以及由此的比率)可以根据所使用的HDR算法确定。通常，混合基于更长曝光的图像的像素块有多接近过度曝光来确定。可替代地或者附加地，混合基于更短曝光的图像的对应的像素块有多接近曝光不足来确定。
在该实施例中，对于混合的像素块，使用来自为长曝光和短曝光两者收集的运动数据的加权结果。因此，这些像素块的EIS可以被感知为是正确执行的，即与从或者第一图像或者第二图像获取的像素块的EIS一致。
根据一些实施例，该方法进一步包括，在确定特定像素块是来自第一图像和第二图像两者的像素数据的混合时，该方法进一步包括：
接收第二混合值，该第二混合值指示与从第一图像的像素数据复制的特定像素块相邻的像素块的比率，
通过根据第二混合值对第一运动数据的对应像素区域的姿态和第二运动数据的对应像素区域的姿态进行加权，计算像素块的姿态，
其中，通过使用所计算的姿态对特定像素块执行EIS。
换句话说，第一运动数据的对应像素区域的姿态和第二运动数据的对应像素区域的姿态被混合为具有总和为1的权重的线性组合，其中权重取决于与从第一图像的像素数据复制的特定像素块相邻的像素块的比率。然后，计算的混合姿态被用于EIS。
在该实施例中，从第一图像复制的周围像素块的数量与从第二图像复制的周围像素块的数量的比率被用于对来自第一运动数据和第二运动数据的数据进行加权。因此，这些像素块的EIS可以被感知为是正确执行的，即与(从或者第一图像或者第二图像获取的)周围像素块的EIS一致。
根据一些实施例，第一运动数据中的每个姿态包括指示卷帘快门图像传感器在捕获第一图像时从对应像素区域读出像素数据时的偏转、俯仰、可选地和翻滚的角定向数据，
其中，第二运动数据中的每个姿态包括指示卷帘快门图像传感器在捕获第二图像时从对应像素区域读出像素数据时的偏转、俯仰、可选地和翻滚的角定向数据。
对于安装在例如墙壁上的摄像机，该实施例可足以实现HDR图像的感知到的高质量EIS。大多数摄像机已经包括用于测量角定向的传感器，并且因此本实施例不会产生任何额外的硬件成本。
附加地或者可替代地，根据一些实施例，第一运动数据中的每个姿态包括指示卷帘快门图像传感器在捕获第一图像时从对应像素区域读出像素数据时在空间中的位置的位置数据，
其中，第二运动数据中的每个姿态包括指示卷帘快门图像传感器在捕获第二图像时从对应像素区域读出像素数据时在空间中的位置的位置数据。
对于诸如身体佩戴式摄像机(BWC)、车载摄像机等的可移动摄像机，有利的是，在执行EIS时考虑摄像机(以及由此卷帘快门图像传感器)的位置。该位置可以由摄像机的x值、y值和z值中的至少一个指示。
根据本发明的第二方面，提供了一种具有存储在其上的指令的非暂时性计算机可读存储介质，该指令在具有处理能力的设备上执行时用于实现根据第一方面的方法。
第二方面通常可以具有与第一方面相同的特征和优点。
根据本发明的第三方面，提供了一种被配置为执行描绘场景的高动态范围(HDR)图像的电子图像稳定(EIS)的设备，该设备包括第一电路，第一电路被配置为执行：
图像接收功能，被配置为接收描绘场景的第一图像和第二图像，第一图像和第二图像由包括多个像素区域的卷帘快门图像传感器捕获，其中，卷帘快门图像传感器在捕获图像期间一次从一个像素区域读出像素数据，第一图像和第二图像使用不同的曝光时间捕获，
运动数据接收功能，被配置为接收第一运动数据和第二运动数据，每个运动数据分别指示卷帘快门图像传感器在捕获第一图像和第二图像时的多个姿态，其中，每个姿态与卷帘快门图像传感器的一像素区域相对应并且指示确定的卷帘快门图像传感器在读出该像素区域的像素数据期间的定向和/或位置，
HDR图像创建功能，被配置为通过合并第一图像和第二图像创建HDR图像，
EIS执行功能，被配置为：对于HDR图像中的像素块当中的每个特定像素块，通过以下步骤对HDR图像执行EIS，特定像素块在空间上与卷帘快门图像传感器的像素区域相对应：
确定特定像素块是从第一图像或第二图像的像素数据复制的，还是来自第一图像和第二图像两者的像素数据的混合，
其中，在确定特定像素块是从第一图像的像素数据复制的时，通过使用第一运动数据的对应像素区域的姿态对特定像素块执行EIS，
其中，在确定特定像素块是从第二图像的像素数据复制的时，通过使用第二运动数据的对应像素区域的姿态对特定像素块执行EIS。
第三方面通常可以具有与第一方面相同的特征和优点。
根据本发明的第四方面，提供了摄像机，该摄像机包括：
根据第三方面的设备，
卷帘快门图像传感器，包括多个像素区域，其中，卷帘快门图像传感器在捕获图像期间一次从一个像素区域读出像素数据，其中，卷帘快门图像传感器被配置为使用不同的曝光时间捕获第一图像和第二图像，
第二电路，被配置为执行：
图像传输功能，被配置为将第一图像和第二图像传输到设备。
根据一些实施例，该摄像机进一步包括运动传感器，该运动传感器被配置为确定第一运动数据和第二运动数据，每个运动数据分别指示卷帘快门图像传感器在捕获第一图像和第二图像时的多个姿态，其中，该运动传感器被配置为确定卷帘快门图像传感器在读出卷帘快门图像传感器的多个像素区域中的一像素区域的像素数据期间的定向和/或位置，并且将姿态存储在相应的运动数据中，
其中，第二电路被配置为执行：
运动数据传输功能，被配置为将第一运动数据和第二运动数据传输到设备。
根据一些实施例，运动传感器包括陀螺仪以确定卷帘快门图像传感器的定向。
根据一些实施例，运动传感器包括加速度计以确定卷帘快门图像传感器在空间中的位置。
根据一些实施例，卷帘快门图像传感器包括用于捕获第一图像的第一卷帘快门图像传感器和用于捕获第二图像的第二卷帘快门图像传感器。
根据一些实施例，卷帘快门图像传感器包括单个卷帘快门图像传感器，其中，该单个卷帘快门图像传感器首先捕获整个第一图像，并且然后捕获整个第二图像。
根据一些实施例，卷帘快门图像传感器包括单个卷帘快门图像传感器，其中，该单个卷帘快门图像传感器从多个像素区域中的第一像素区域读出第一图像和第二图像两者的图像数据，然后继续从多个像素区域中的不同的第二像素区域读出图像数据。
第四方面通常可以具有与第一方面相同的特征和优点。
附图说明
通过以下参照附图对本发明实施例的说明性和非限制性的详细描述，将更好地理解本发明的以上以及另外的目的、特征和优点，在附图中相同的附图标记将被用于类似的元件，其中：
图1示意性地示出了根据实施例的用于执行HRD图像的EIS的数据，
图2示意性地示出了根据另一实施例的用于执行HRD图像的EIS的数据，
图3示出了用于执行HRD图像的EIS的方法的流程图，
图4示意性地示出了包括用于执行HDR图像的EIS的电路的摄像机，
图5示意性地示出了在从第一图像复制的周围图像数据的比率被用于确定像素块的权重的实施例中的运动数据的权重。
具体实施方式
在具有卷帘快门图像传感器的摄像机中，由于在略微不同的时间读取像素的排(行或者列)，因此读数中的一些可能受(由例如陀螺仪或者加速度计感觉到的)振动影响，而一些可能不受振动影响。此外，读数之间的振动幅度可以不同。另外，在捕获图像期间，卷帘快门图像可能由于振动以外的其它原因而移动。
因此，卷帘快门图像传感器的姿态可以在捕获图像时改变，并且在像素的排的读数之间不同。
此外，为了创建HDR图像，需要具有不同的曝光时间的至少两个图像。这些图像将在不同的时间跨度(或者后续的时间跨度或者重叠的时间跨度)期间被捕获。在任何情况下，第一图像(例如，使用短曝光时间捕获的图像)中的一排像素可能受不同于第二图像(例如，使用更长的曝光时间捕获的图像)中的对应的一排像素的振动的影响。类似地，在捕获第一图像和第二图像期间，卷帘快门图像可能由于振动以外的其它原因而不同地移动。
因此，卷帘快门图像传感器的姿态可以在捕获多个图像时改变，并且在第一图像和第二图像中的像素的排的读数之间不同。
当要执行HDR图像的EIS时，具体地，当在通过合并至少第一图像和第二图像来创建HDR图像之后执行EIS时，这可能引起问题。在这种情况下，本公开可以有助于改进的EIS。
如本文中描述的，可以使用任何已知的算法创建HDR图像。包含非常暗的区域和非常亮的区域两者的场景对于摄像机来说是具有挑战性的。安全领域中此类宽动态范围(WDR)场景的典型示例包括入口门、停车库和隧道，在这些地方，来自外部的光与较暗的内部之间存在大的反差。具有直射阳光和浓密阴影的室外场景也是有问题的。已经为能够更好地重新创建整个场景内容的摄像机开发了若干种方法。没有一种技术适合所有场景和情况，并且每种方法都有其缺点，包括引入各种被称为伪像的视觉异常。存在多重曝光方法和单次曝光方法。可以进一步使用局部对比度增强方法。在本公开中，使用多重曝光方法创建HDR图像。
在下面的详细示例中，从使用不同的曝光时间捕获的第一图像和第二图像创建HDR图像。如以上解释的，(具有其它曝光时间的)其它图像也可以被用于创建HDR。为简单起见，本公开集中于两个图像的情况，其中第一图像与第二图像相比以较长的曝光来捕获。然而，本公开可以容易地适于X个图像的情况，其中X>2。
通常，如果HDR图像主要从长曝光图像创建而更少量的数据源自短曝光图像，则是优选的。在HDR图像中，来自长曝光图像的数据通常具有更少的噪声。假设长曝光图像由0.01秒的曝光时间捕获，并且短曝光图像由0.001秒的曝光时间捕获。这意味着长曝光图像中的像素比短曝光图像中的像素亮大约10倍。因此，当被添加到HDR图像时，来自短曝光图像的像素数据需要被加强(增强、倍增等)10倍。这反过来又导致来自短曝光图像的数据中的噪声增加。
有利地，长曝光图像的曝光时间因此基于捕获的场景的亮度来调整。短曝光图像的曝光时间也可以基于捕获的场景的亮度来调整，或者可以是长曝光时间的预先定义的分数。在其它实施例中，预先定义短曝光图像和长曝光图像的曝光时间。
现在将结合图1和图3描述执行描绘场景的高动态范围(HDR)图像的EIS的方法。
图1的上部分示出了场景的三个图像100、110、120，示意性地描绘了具有直射阳光和浓密阴影的室外场景。最左边的第一图像100表示与中间的第二图像110相比以更长的曝光范围捕获的图像。如在第二图像中示意性地指示的，区域114曝光不足，而区域116仅在第二图像120中被捕获，因为区域116在第一图像100中过度曝光。第一图像100和第二图像110由被配置为执行高动态范围(HDR)图像的电子图像稳定(EIS)的(下面结合图4进一步描述的)设备接收S302。
最右边的图像120表示从第一图像100和第二图像110(通过合并)创建S306的HDR图像。在HDR图像120中，从第二图像110复制区域116，并且从第一图像100复制其余区域102、104。
第一图像100和第二图像110由下面进一步定义的卷帘快门图像传感器捕获。
图1的下部分表示第一运动数据130和第二运动数据140，每个运动数据指示卷帘快门图像传感器在捕获第一图像100和第二图像110时的多个姿态。在该简化的示例中，卷帘快门图像包括两个像素区域，使得运动数据包括两个姿态，一个用于图像的上部分，并且一个用于图像的下部分。因此，运动数据130指示两个姿态132、134。姿态132与卷帘快门图像传感器的上部像素区域相对应，并且指示确定的卷帘快门图像传感器在读出第一图像100的上部像素区域的像素数据期间的定向和/或位置。相应地，在读出第一图像100的下部像素区域的像素数据时，姿态134指示卷帘快门图像传感器的定向和/或位置。这同样适用于指示与第二图像110的上部像素区域和下部像素区域相对应的两个姿态142、144的第二运动数据140。
在捕获第一图像100/第二图像110时从对应像素区域读出像素数据时，第一运动数据130和第二运动数据140的姿态可以包括指示卷帘快门图像传感器的偏转、俯仰、可选地和翻滚的角定向数据。可替代地或者附加地，第一运动数据130和第二运动数据140的姿态可以包括指示卷帘快门图像传感器在捕获第一图像100/第二图像110时从对应像素区域读出像素数据时在空间中的位置的位置数据。该位置可以由卷帘快门图像传感器的x值、y值和z值中的至少一个指示。
第一运动数据130和第二运动数据140也被接收S304并且被用于对HDR图像120执行EIS，如现在将描述的。
为了执行EIS，对于HDR图像120中的每个像素块，确定应使用来自第一运动数据130和/或第二运动数据140的哪个姿态。
本文中描述的像素块可以与HDR图像的宏块相对应。可以采用将HDR图像120的像素划分为用于执行EIS的像素块的任何其它适当方式。通常，像素块具有8×8像素、16×16像素、32×32像素或者64×64像素的大小。像素块的大小遍及整个HDR图像120可以相同，或者遍及HDR图像120可以不同。
为了便于描述，在图1的示例中，HDR图像120被分成4个像素块，该4个像素块中的每一个在空间上与卷帘快门图像传感器的像素区域相对应(即，两个块用于上部区域，并且两个块用于下部区域。这些像素块在图1中由表150表示，其中用于每个像素块的姿态使用取自第一运动数据130或者第二运动数据140的附图标记来标记。
对于每个像素块，确定S310该像素块是从第一图像的像素数据或第二图像的像素数据复制的，还是来自第一图像和第二图像两者的像素数据的混合。在图1的示例中，HDR图像120不包含任何混合区域(该实施例将在下面结合图2进行描述)。
对于HDR图像120中的左上像素块，确定该像素块是从第二图像110的像素数据复制的。因此，对于该像素块，EIS通过使用第二运动数据140的对应像素区域的姿态142来执行S312。
对于HDR图像120中的其余像素块，确定这些像素块是从第一图像100的像素数据复制的。因此，对于这些像素块，EIS通过使用第一运动数据140的对应像素区域的姿态132、134来执行S312。
图2示出了与图1相同的两个图像100、110，并且具有相同的运动数据130、140。然而，得到的HDR图像120包括混合区域202，其中来自第一图像100中的区域102的图像数据和来自第二图像110中的区域112的图像数据被混合以形成HDR图像中的混合区域202的图像数据。如何执行混合取决于所使用的HDR算法。通常，来自长曝光图像的特定百分比的图像数据与来自短曝光图像的特定百分比的图像数据混合，其中所使用的百分比取决于更长曝光的图像的像素块有多接近过度曝光，和/或更短曝光的图像的对应的像素块有多接近曝光不足。
在该实施例中，在确定特定像素块是来自第一图像和第二图像两者的像素数据的混合时，可以通过对第一运动数据130的对应像素区域的姿态134和第二运动数据140的对应像素区域的姿态144进行加权来计算S316要使用的姿态152。加权可以以多种方式进行。在一个实施例中，加权取决于混合区域中的多少图像数据源自第一图像100(或者反之亦然)。在该实施例中，接收指示混合像素块中来自第一图像100的像素数据的比率的第一混合值。例如，该值指示60％的像素数据来自第一图像100。因此，在该实施例中，混合姿态152将被计算为X*134+(1-X)*144，其中，X＝0.6。然后，混合姿态152被用于S318对HDR图像120中的混合像素区域202执行EIS。
另一实施例在图5中示出。在图5中，HDR图像由表500表示。表500中的每个单元表示HDR图像中的像素块。单元值T0表示该像素块是从第一图像复制的。单元值T1表示该像素块是从第二图像复制的。从图5中能够看出，两个像素块是从第二图像复制的，并且九个像素块是从第一图像复制的。其余的块包括来自第一图像和第二图像两者的像素数据的混合。在该实施例中，对于混合像素块中的每一个，指示与从第一图像的像素数据复制的特定像素块相邻的像素块的比率的第二混合值被用于确定如何从第一运动数据的对应像素区域摆出姿态，并且第二运动数据的对应像素区域的姿态被加权。在图5的示意性示例中，对于第二行中间的两个像素块，第二混合值被计算为由单元值T0.3表示的70％。因此，在该实施例中，该像素块的混合姿态将被计算为X*(第一运动数据的值)+(1-X)*(第二运动数据的值)，其中X＝0.7。然后，混合姿态被用于S318对HDR图像中的混合像素区域执行EIS。
对于其它混合像素块，其它混合值被计算并且由单元值T0.5和T0.7表示。
图4通过示例的方式示出了被配置为执行描绘场景的高动态范围(HDR)图像的电子图像稳定(EIS)的设备401。在该示例中，设备401被包括在摄像机400中，摄像机400还包括一个或者多个图像传感器402和一个或者多个运动传感器404。在其它实施例中，设备401与摄像机400分离，并且(通过有线或者无线通信)接收执行HDR图像的EIS所需的数据。
设备401包括被配置为执行上面结合图1至图3以及图5例示的方法的电路。
该电路可以由一个或者多个处理器实现，或者被实现为专用集成电路。应注意，上文所公开的方法可以被实现为软件、固件、硬件或者其组合。
例如，以上描述的方法可以用存储在非暂时性计算机可读存储介质上的软件来实现，即，该非暂时性计算机可读存储介质上存储有指令，当在具有处理能力的设备上(例如，通过设备401的电路)执行时，该指令用于实现根据上文的方法。
现在返回到图4，设备401的电路可以被配置为执行图像接收功能，该图像接收功能被配置为接收第一图像100和第二图像110。该电路可以被进一步配置为执行HDR图像创建功能，该HDR图像创建功能被配置为通过合并第一图像100和第二图像110来创建HDR图像。在图4中，图像接收功能和HDR图像创建功能由HDR创建单元416实现。应注意，在本公开中提及的功能单元之间的任务划分不一定与物理单元的划分相对应；相反，一个物理部件可以具有多个功能，并且一个任务可以由若干个物理部件协作执行。
设备401的电路可以被进一步配置为执行运动数据接收功能，该运动数据接收功能被配置为接收第一运动数据130和第二运动数据140。在图4中，至少在EIS执行单元420中实现此运动数据接收功能。EIS执行单元420进一步实现EIS执行功能，该EIS执行功能被配置为对从HDR创建单元416接收的HDR图像120执行EIS。EIS执行功能被配置为如以上描述的对HDR图像120执行EIS。
EIS HDR图像422然后可以被从设备401输出，例如被传送到远离摄像机400的设备或者被存储在摄像机的存储器424(或者摄像机外部的存储器)中。
在一些实施例中，例如如图2中描述的，来自HDR图像120中的第一图像100和第二图像110的混合图像数据也是可能的。出于该原因，设备401可以包括用于计算混合姿态的功能，该混合姿态将用于包括混合图像数据的HDR图像120中的像素块的EIS。在图4中，此功能在混合姿态计算单元418中实现。混合姿态计算单元418从HDR创建单元416接收关于哪些像素块包括混合图像数据以及该混合像素数据如何从第一图像数据100和第二图像数据110混合的信息408。混合姿态计算单元418进一步接收第一运动数据130和第二运动数据140，并且例如如以上描述的计算混合姿态152。混合姿态152被发送到EIS执行单元420以被相应地利用。
摄像机400进一步包括包含多个像素区域的至少一个卷帘快门图像传感器402。每个卷帘快门图像传感器402在捕获图像期间一次从一个像素区域读出像素数据。至少一个卷帘快门图像传感器402被配置为使用不同的曝光时间捕获第一图像100和第二图像110。
在一个实施例中，第一卷帘快门图像传感器402被用于捕获第一图像100，并且第二卷帘快门图像传感器402被用于捕获第二图像110。在此情形下，第一和第二传感器402可以在彼此之后或者在重叠的时间间隔期间捕获相应的图像100、110。因此，可以实现用于捕获针对HDR图像的图像100、110的更灵活的解决方案。
在另一实施例中，卷帘快门图像传感器402包括单个卷帘快门图像传感器402，其中该单个卷帘快门图像传感器首先捕获整个第一图像100，并且然后捕获整个第二图像110。因此，可以实现用于捕获针对HDR图像的图像100、110的低复杂度解决方案。此外，可以降低摄像机400的成本。
在又一实施例中，采用DOL-HDR技术。在该实施例中，卷帘快门图像传感器402包括单个卷帘快门图像传感器402，其中该单个卷帘快门图像传感器402从多个像素区域中的第一像素区域读出第一图像100和第二图像110两者的图像数据，然后继续从多个像素区域中的不同的第二像素区域读出图像数据。与使用多图像集输出的传统WDR/HDR技术相比，该实施例可以提供诸如弱光环境下的改善的特性的优点。
捕获的图像100、110使用被配置为执行图像传输功能的第二电路被传输到设备401，该图像传输功能被配置为将该第一图像和第二图像传输到设备401。第一电路和第二电路可以是例如由一个或者多个处理器或类似物实现的分离的电路或者相同的电路。在图4的实施例中，第一图像100和第二图像110由设备401的HDR创建单元416接收。
为了在捕获第一图像100和第二图像110期间测量至少一个卷帘快门图像传感器402的姿态，摄像机400可以被提供有被配置为确定第一运动数据130和第二运动数据140的至少一个运动传感器404。如以上描述的，每个运动数据130、140分别指示卷帘快门图像传感器402在捕获第一图像和第二图像时的多个姿态，其中运动传感器404被配置为确定卷帘快门图像传感器在读出卷帘快门图像传感器的多个像素区域中的一像素区域的像素数据期间的定向和/或位置。确定的姿态被存储在相应的运动数据130、140中。
至少一个运动传感器404可以包括加速度计，以确定卷帘快门图像传感器在空间中的位置。加速度计还可以被用于通过估计来自加速度计的重力加速度的矢量并且将此矢量与如果加速度计处于其“正常定向”(例如，处于预先定义的定向)时的矢量进行比较来确定卷帘快门图像传感器的定向。可替代地或者附加地，至少一个运动传感器404包括陀螺仪，以确定卷帘快门图像传感器的定向。可以使用用于测量卷帘快门图像传感器402的姿态的其它合适的运动传感器。
作为使用传感器来确定运动数据130、140的替代方案，图像分析算法可以被用于在捕获第一图像100和第二图像110期间确定卷帘快门图像传感器的运动。
因此，每个姿态可以表示卷帘快门图像传感器402的位置和/或旋转，其中位置和/或旋转可以由空间中的一个自由度到六个自由度表示。
运动数据130、140使用被配置为执行运动数据传输功能的第二电路被传输到设备401，该运动数据传输功能被配置为将该第一运动数据和第二运动数据传输到该设备。在图4的实施例中，第一运动数据130和第二运动数据140由设备401的EIS执行单元420接收。可选地，第一运动数据130和第二运动数据140也由设备401的混合姿态计算单元418接收。
应注意，图4中所示的摄像机400和设备401的架构仅作为示例，并且被配置为执行如本文中描述的执行HDR图像的EIS的方法的设备的任何合适架构可以被采用。

Claims (12)

1.一种执行描绘场景的高动态范围HDR图像的电子图像稳定EIS的方法，所述方法包括：
接收描绘所述场景的第一图像和第二图像，所述第一图像和所述第二图像由包括多个像素区域的卷帘快门图像传感器捕获，其中，所述卷帘快门图像传感器在捕获图像期间一次从一个像素区域读出像素数据，所述第一图像和所述第二图像使用不同的曝光时间捕获，
接收第一运动数据和第二运动数据，每个运动数据分别指示所述卷帘快门图像传感器在捕获所述第一图像和所述第二图像时的多个姿态，其中，每个姿态与所述卷帘快门图像传感器的一像素区域相对应并且指示确定的所述卷帘快门图像传感器在读出该像素区域的像素数据期间的定向和/或位置，
通过合并所述第一图像和所述第二图像创建所述HDR图像，
对于所述HDR图像中的像素块当中的每个特定像素块，通过以下步骤对所述HDR图像执行EIS，所述特定像素块在空间上与所述卷帘快门图像传感器的像素区域相对应：
确定所述特定像素块是从所述第一图像或所述第二图像的像素数据复制的，还是来自所述第一图像和所述第二图像两者的像素数据的混合，
其中，在确定所述特定像素块是从所述第一图像的像素数据复制的时，通过使用所述第一运动数据的对应像素区域的所述姿态对所述特定像素块执行EIS，
其中，在确定所述特定像素块是从所述第二图像的像素数据复制的时，通过使用所述第二运动数据的对应像素区域的所述姿态对所述特定像素块执行EIS，
其中，在确定所述特定像素块是来自所述第一图像和所述第二图像两者的像素数据的混合时，所述方法进一步包括：
接收第一混合值或者第二混合值，所述第一混合值指示所述特定像素块中来自所述第一图像的像素数据的比率，所述第二混合值指示与从所述第一图像的像素数据复制的所述特定像素块相邻的像素块的比率，
通过根据所述第一混合值对所述第一运动数据的所述对应像素区域的所述姿态和所述第二运动数据的所述对应像素区域的所述姿态进行加权，计算所述特定像素块的姿态，
其中，通过使用所计算的姿态对所述特定像素块执行EIS。
2.根据权利要求1所述的方法，其中，所述第一运动数据中的每个姿态包括指示所述卷帘快门图像传感器在捕获所述第一图像时从对应像素区域读出像素数据时的偏转、俯仰、可选地和翻滚的角定向数据，
其中，所述第二运动数据中的每个姿态包括指示所述卷帘快门图像传感器在捕获所述第二图像时从对应像素区域读出像素数据时的偏转、俯仰、可选地和翻滚的角定向数据。
3.根据权利要求1所述的方法，其中，所述第一运动数据中的每个姿态包括指示所述卷帘快门图像传感器在捕获所述第一图像时从对应像素区域读出像素数据时在空间中的位置的位置数据，
其中，所述第二运动数据中的每个姿态包括指示所述卷帘快门图像传感器在捕获所述第二图像时从对应像素区域读出像素数据时在空间中的位置的位置数据。
4.一种非暂时性计算机可读存储介质，具有存储在所述非暂时性计算机可读存储介质上的指令，所述指令在具有处理能力的设备上执行时用于实现根据权利要求1至3中的任一项所述的方法。
5.一种被配置为执行描绘场景的高动态范围HDR图像的电子图像稳定EIS的设备，所述设备包括第一电路，所述第一电路被配置为执行：
图像接收功能，被配置为接收描绘所述场景的第一图像和第二图像，所述第一图像和所述第二图像由包括多个像素区域的卷帘快门图像传感器捕获，其中，所述卷帘快门图像传感器在捕获图像期间一次从一个像素区域读出像素数据，所述第一图像和所述第二图像使用不同的曝光时间捕获，
运动数据接收功能，被配置为接收第一运动数据和第二运动数据，每个运动数据分别指示所述卷帘快门图像传感器在捕获所述第一图像和所述第二图像时的多个姿态，其中，每个姿态与所述卷帘快门图像传感器的一像素区域相对应并且指示确定的所述卷帘快门图像传感器在读出该像素区域的像素数据期间的定向和/或位置，
HDR图像创建功能，被配置为通过合并所述第一图像和所述第二图像创建所述HDR图像，
EIS执行功能，被配置为：对于所述HDR图像中的像素块当中的每个特定像素块，通过以下步骤对所述HDR图像执行EIS，所述特定像素块在空间上与所述卷帘快门图像传感器的像素区域相对应：
确定所述特定像素块是从所述第一图像或所述第二图像的像素数据复制的，还是来自所述第一图像和所述第二图像两者的像素数据的混合，
其中，在确定所述特定像素块是从所述第一图像的像素数据复制的时，通过使用所述第一运动数据的对应像素区域的所述姿态对所述特定像素块执行EIS，
其中，在确定所述特定像素块是从所述第二图像的像素数据复制的时，通过使用所述第二运动数据的对应像素区域的所述姿态对所述特定像素块执行EIS，
其中，在确定所述特定像素块是来自所述第一图像和所述第二图像两者的像素数据的混合时，混合姿态计算功能被配置为：
接收第一混合值或者第二混合值，所述第一混合值指示所述特定像素块中来自所述第一图像的像素数据的比率，所述第二混合值指示与从所述第一图像的像素数据复制的所述特定像素块相邻的像素块的比率，并且
通过根据所述第一混合值对所述第一运动数据的所述对应像素区域的所述姿态和所述第二运动数据的所述对应像素区域的所述姿态进行加权，计算所述特定像素块的姿态，
其中，通过使用所计算的姿态对所述特定像素块执行EIS。
6.一种摄像机，包括：
根据权利要求5所述的设备，
卷帘快门图像传感器，包括多个像素区域，其中，所述卷帘快门图像传感器在捕获图像期间一次从一个像素区域读出像素数据，其中，所述卷帘快门图像传感器被配置为使用不同的曝光时间捕获第一图像和第二图像，
第二电路，被配置为执行：
图像传输功能，被配置为将所述第一图像和所述第二图像传输到所述设备。
7.根据权利要求6所述的摄像机，进一步包括运动传感器，所述运动传感器被配置为确定第一运动数据和第二运动数据，每个运动数据分别指示所述卷帘快门图像传感器在捕获所述第一图像和所述第二图像时的多个姿态，其中，所述运动传感器被配置为确定所述卷帘快门图像传感器在读出所述卷帘快门图像传感器的所述多个像素区域中的一像素区域的像素数据期间的定向和/或位置，并且将所述姿态存储在相应的运动数据中，
其中，所述第二电路被配置为执行：
运动数据传输功能，被配置为将所述第一运动数据和所述第二运动数据传输到所述设备。
8.根据权利要求7所述的摄像机，其中，所述运动传感器包括陀螺仪以确定所述卷帘快门图像传感器的定向。
9.根据权利要求6所述的摄像机，其中，所述运动传感器包括加速度计以确定所述卷帘快门图像传感器在空间中的位置。
10.根据权利要求6所述的摄像机，其中，所述卷帘快门图像传感器包括用于捕获所述第一图像的第一卷帘快门图像传感器和用于捕获所述第二图像的第二卷帘快门图像传感器。
11.根据权利要求6所述的摄像机，其中，所述卷帘快门图像传感器包括单个卷帘快门图像传感器，其中，所述单个卷帘快门图像传感器首先捕获整个所述第一图像，并且然后捕获整个所述第二图像。
12.根据权利要求6所述的摄像机，其中，所述卷帘快门图像传感器包括单个卷帘快门图像传感器，其中，所述单个卷帘快门图像传感器从所述多个像素区域中的第一像素区域读出所述第一图像和所述第二图像两者的图像数据，然后继续从所述多个像素区域中的不同的第二像素区域读出图像数据。
CN202110400544.7A 2020-04-22 2021-04-14 高动态范围图像的电子图像稳定方法、设备和摄像机 Active CN113542614B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP20170780.9 2020-04-22
EP20170780.9A EP3902240B1 (en) 2020-04-22 2020-04-22 Method, device, camera and software for performing electronic image stabilization of a high dynamic range image

Publications (2)

Publication Number Publication Date
CN113542614A true CN113542614A (zh) 2021-10-22
CN113542614B CN113542614B (zh) 2023-01-13

Family

ID=70390965

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110400544.7A Active CN113542614B (zh) 2020-04-22 2021-04-14 高动态范围图像的电子图像稳定方法、设备和摄像机

Country Status (4)

Country Link
US (1) US11223769B2 (zh)
EP (1) EP3902240B1 (zh)
JP (1) JP7169388B2 (zh)
CN (1) CN113542614B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024071902A1 (ko) * 2022-09-29 2024-04-04 삼성전자 주식회사 카메라 모듈을 포함하는 전자 장치 및 그 동작 방법

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11711613B2 (en) * 2021-04-27 2023-07-25 Qualcomm Incorporated Image alignment for computational photography
JP2023072196A (ja) * 2021-11-12 2023-05-24 株式会社ユニバーサルエンターテインメント 遊技機
JP7485376B2 (ja) * 2021-11-12 2024-05-16 株式会社ユニバーサルエンターテインメント 遊技機
US20240296682A1 (en) * 2021-12-30 2024-09-05 Mobileye Vision Technologies Ltd. Image position dependent blur control within hdr blending scheme
US11818465B2 (en) * 2022-01-10 2023-11-14 Gopro, Inc. Systems, apparatus, and methods for stabilization and blending of exposures
CN114923629B (zh) * 2022-04-29 2024-08-27 惠州市乐仕康运动用品有限公司 一种纺织高速锭子旋转时振动幅值检测方法
IL295203A (en) * 2022-07-31 2024-02-01 Qualcomm Inc Creating a high dynamic range image with multi-domain motion correction
DE202023103726U1 (de) 2023-07-05 2023-07-21 Wenglor sensoric elektronische Geräte GmbH Bildverarbeitungsvorrichtung

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101622862A (zh) * 2006-12-12 2010-01-06 杜比实验室特许公司 具有多个传感器的hdr照相机
US20140002694A1 (en) * 2012-07-02 2014-01-02 Csr Technology Inc. Device and algorithm for capturing high dynamic range (hdr) video
CN109951660A (zh) * 2019-04-23 2019-06-28 Oppo广东移动通信有限公司 一种像素结构、cmos图像传感器、图像信号处理器和终端
US20190297283A1 (en) * 2016-05-25 2019-09-26 Bruno Cesar DOUADY Image Signal Processor for Local Motion Estimation and Video Codec

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4403635B2 (ja) 2000-05-31 2010-01-27 パナソニック株式会社 ダイナミックレンジ拡大カメラ
IL165190A (en) * 2004-11-14 2012-05-31 Elbit Systems Ltd System and method for stabilizing an image
JP4806329B2 (ja) 2006-10-23 2011-11-02 三洋電機株式会社 撮像装置及び撮像方法
US8098957B2 (en) 2008-02-13 2012-01-17 Qualcomm Incorporated Shared block comparison architechture for image registration and video coding
US8111300B2 (en) 2009-04-22 2012-02-07 Qualcomm Incorporated System and method to selectively combine video frame image data
US8885978B2 (en) 2010-07-05 2014-11-11 Apple Inc. Operating a device to capture high dynamic range images
US8913153B2 (en) * 2011-10-06 2014-12-16 Aptina Imaging Corporation Imaging systems and methods for generating motion-compensated high-dynamic-range images
US8964040B2 (en) 2012-06-06 2015-02-24 Apple Inc. High dynamic range image registration using motion sensor data
JP2014030073A (ja) 2012-07-31 2014-02-13 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US9363438B2 (en) 2013-07-23 2016-06-07 Michael BEN ISRAEL Digital image processing
JP6170395B2 (ja) * 2013-09-26 2017-07-26 キヤノン株式会社 撮像装置およびその制御方法
US9560287B2 (en) 2014-12-19 2017-01-31 Sony Corporation Noise level based exposure time control for sequential subimages
JP2017005539A (ja) 2015-06-11 2017-01-05 株式会社 日立産業制御ソリューションズ 撮影装置
US10666941B1 (en) * 2016-04-06 2020-05-26 Ambarella International Lp Low bitrate encoding of panoramic video to support live streaming over a wireless peer-to-peer connection
JP2017191572A (ja) * 2016-04-15 2017-10-19 キヤノン株式会社 画像処理装置及びその方法、プログラム
US10477064B2 (en) * 2017-08-21 2019-11-12 Gopro, Inc. Image stitching with electronic rolling shutter correction
US10491824B2 (en) * 2017-09-26 2019-11-26 Gopro, Inc. Combined mechanical and electronic image stabilization
KR102452564B1 (ko) * 2018-02-07 2022-10-11 삼성전자주식회사 광학식 이미지 안정화 움직임을 추정하기 위한 장치 및 방법
US10853927B2 (en) * 2019-03-19 2020-12-01 Apple Inc. Image fusion architecture
US10880455B2 (en) * 2019-03-25 2020-12-29 Apple Inc. High dynamic range color conversion using selective interpolation
US11024006B2 (en) * 2019-04-22 2021-06-01 Apple Inc. Tagging clipped pixels for pyramid processing in image signal processor

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101622862A (zh) * 2006-12-12 2010-01-06 杜比实验室特许公司 具有多个传感器的hdr照相机
US20140002694A1 (en) * 2012-07-02 2014-01-02 Csr Technology Inc. Device and algorithm for capturing high dynamic range (hdr) video
US20190297283A1 (en) * 2016-05-25 2019-09-26 Bruno Cesar DOUADY Image Signal Processor for Local Motion Estimation and Video Codec
CN109951660A (zh) * 2019-04-23 2019-06-28 Oppo广东移动通信有限公司 一种像素结构、cmos图像传感器、图像信号处理器和终端

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024071902A1 (ko) * 2022-09-29 2024-04-04 삼성전자 주식회사 카메라 모듈을 포함하는 전자 장치 및 그 동작 방법

Also Published As

Publication number Publication date
EP3902240A1 (en) 2021-10-27
CN113542614B (zh) 2023-01-13
JP7169388B2 (ja) 2022-11-10
US20210337101A1 (en) 2021-10-28
US11223769B2 (en) 2022-01-11
EP3902240B1 (en) 2022-03-30
JP2021184591A (ja) 2021-12-02

Similar Documents

Publication Publication Date Title
CN113542614B (zh) 高动态范围图像的电子图像稳定方法、设备和摄像机
CN108989700B (zh) 成像控制方法、装置、电子设备以及计算机可读存储介质
EP3609177A1 (en) Control method, control apparatus, imaging device, and electronic device
CN109068058B (zh) 超级夜景模式下的拍摄控制方法、装置和电子设备
US8581992B2 (en) Image capturing apparatus and camera shake correction method, and computer-readable medium
US7825969B2 (en) Image stabilization using multi-exposure pattern
CN110191291B (zh) 基于多帧图像的图像处理方法和装置
CN108683861A (zh) 拍摄曝光控制方法、装置、成像设备和电子设备
CN108683863B (zh) 成像控制方法、装置、电子设备以及可读存储介质
US8310553B2 (en) Image capturing device, image capturing method, and storage medium having stored therein image capturing program
US20140286593A1 (en) Image processing device, image procesisng method, program, and imaging device
CN107395991A (zh) 图像合成方法、装置、计算机可读存储介质和计算机设备
CN109005363B (zh) 成像控制方法、装置、电子设备以及存储介质
JP2015144475A (ja) 撮像装置、撮像装置の制御方法、プログラム及び記憶媒体
JP6227935B2 (ja) 画像処理装置および画像処理方法
JP6332212B2 (ja) 姿勢推定装置、姿勢推定方法及びプログラム
JP5713643B2 (ja) 撮像装置、撮像装置の制御方法、プログラム及び記憶媒体
JP6603557B2 (ja) 画像処理装置および画像処理方法
JP4936222B2 (ja) 動きベクトル照合装置、画像合成装置及びプログラム
JP6529269B2 (ja) 画像処理装置、情報処理方法及びプログラム
KR20220156242A (ko) 이미지 처리 장치
JP6080503B2 (ja) 画像処理装置
JP2020088419A (ja) 撮像装置、画像補正方法、プログラム
WO2015152821A1 (en) Image processing devices and image processing methods
CN115037915B (zh) 视频处理方法和处理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant