CN103945145B - 处理图像的设备和方法 - Google Patents
处理图像的设备和方法 Download PDFInfo
- Publication number
- CN103945145B CN103945145B CN201310751111.1A CN201310751111A CN103945145B CN 103945145 B CN103945145 B CN 103945145B CN 201310751111 A CN201310751111 A CN 201310751111A CN 103945145 B CN103945145 B CN 103945145B
- Authority
- CN
- China
- Prior art keywords
- exposed images
- short exposed
- image
- long exposure
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 62
- 230000004927 fusion Effects 0.000 claims abstract description 24
- 238000001514 detection method Methods 0.000 claims description 27
- 238000010586 diagram Methods 0.000 claims description 18
- 230000008901 benefit Effects 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 3
- 230000003321 amplification Effects 0.000 claims 1
- 238000003199 nucleic acid amplification method Methods 0.000 claims 1
- 230000006870 function Effects 0.000 description 10
- 238000003672 processing method Methods 0.000 description 9
- 238000003491 array Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 206010021033 Hypomenorrhoea Diseases 0.000 description 1
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 235000015170 shellfish Nutrition 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/52—Automatic gain control
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
一种通过宽动态范围（WDR）处理来处理图像并利用WDR处理获得具有宽动态区域的图像的设备和方法。所述方法包括：接收具有不同的曝光时间的长曝光图像和短曝光图像；检测当长曝光图像和短曝光图像融合时可能出现的运动伪影区域；通过非线性地调节短曝光图像的增益以使得短曝光图像的亮度分量对应于长曝光图像的亮度分量来产生非线性增益控制短曝光图像；基于检测到的运动伪影区域补偿非线性增益控制曝光图像中的运动；融合非线性增益控制短曝光图像和长曝光图像以输出执行了WDR处理的图像。
Description
本申请要求于2013年1月17日提交到韩国知识产权局的第10-2013-0005428号韩国专利申请的权益，所述申请的公开内容通过引用完整地合并与此。
技术领域
与示例性实施例一致的设备和方法涉及处理图像，更具体地讲，涉及通过宽动态范围（WDR）处理获得具有宽动态区域的图像的处理图像。
背景技术
近来，对于诸如数码相机、数码摄像机和相机电话的数字图像处理设备的用户需求快速增加。因此，数字图像处理设备变得越来越复杂，且添加了越来越多样化的功能。
然而，由于数字图像处理设备获得与实际屏幕的动态区域相比具有相对较小区域的动态区域，数字图像处理设备无法处理实际屏幕的所有信息。具体地讲，当在图像的亮部分与暗部分之间的发光强度的差异由于背光而较大的情况下获得图像时，难以获得关于图像的亮部分和暗部分二者的足够信息。因此，对应区域的图像质量可能显著劣化。为了解决这一问题，已开发出WDR图像处理。
WDR处理允许通过融合短曝光图像和长曝光图像来产生图像的亮部分和暗部分均清楚可见的图像。短曝光图像的曝光时间被调节为较短，以使得图像的亮部分可被清楚地看见，长曝光图像的曝光时间被调节为较长，以使得图像的暗部分可被清楚地看见。
然而，当实际图像中出现移动对象时，在执行WDR处理的图像中可能产生运动伪影。
因此，在应用WDR处理时，需要校正运动伪影的图像处理技术。
发明内容
示例性实施例至少解决上述问题和/或缺点以及上面没有描述的其他缺点。另外，不要求示例性实施例克服上述缺点，示例性实施例可不克服上述任何问题。
一个或多个示例性实施例提供一种处理图像的设备和方法，据此可校正在WDR处理中可能出现的运动伪影。
根据示例性实施例的一方面，提供一种图像处理设备，包括：图像输入单元，被构造为接收具有不同的曝光时间的长曝光图像和短曝光图像；运动伪影区域检测单元，被构造为检测由长曝光图像和短曝光图像的融合引起的运动伪影区域；非线性增益调节单元，被构造为通过非线性地调节接收的短曝光图像的增益来产生非线性增益控制短曝光图像，其中所述调节将短曝光图像的亮度分量调节为对应于长曝光图像的亮度分量，所述非线性增益调节单元还被构造为基于检测到的运动伪影区域补偿产生的非线性增益控制短曝光图像中的运动；融合单元，被构造为融合非线性增益控制短曝光图像和长曝光图像，以输出执行了宽动态范围（WDR）处理的图像。
根据示例性实施例的另一方面，提供一种处理图像的方法，所述方法包括：利用图像传感器接收具有不同的曝光时间的长曝光图像和短曝光图像；检测由长曝光图像和短曝光图像的融合引起的运动伪影区域，以产生检测到的运动伪影区域的位置信息和将应用于检测到的运动伪影区域的权重信息；非线性地调节短曝光图像的增益以产生非线性增益控制短曝光图像，其中所述非线性地调节的步骤将短曝光图像的亮度分量调节为对应于长曝光图像的亮度分量；基于检测到的运动伪影区域补偿非线性增益控制短曝光图像中的运动；融合非线性增益控制短曝光图像和长曝光图像，以输出执行了宽动态范围（WDR）处理的图像。
根据示例性实施例的另一方面，提供一种图像处理设备，包括：运动伪影区域检测单元，被构造为检测由长曝光图像和短曝光图像的融合引起的运动伪影区域；非线性增益调节单元，被构造为通过非线性地调节短曝光图像的增益来产生非线性增益控制短曝光图像，并且还被构造为基于运动伪影区域补偿非线性增益控制短曝光图像中的运动。.
附图说明
通过参照附图描述特定示例性实施例，上述和/或其他方面将更清楚，其中：
图1A至图1C是示出根据现有技术的WDR处理以及在WDR处理中产生的运动伪影的示意图；
图2A是示出根据示例性实施例的图像处理设备的示意性结构图；
图2B是示出根据示例性实施例的图像处理方法的示意性流程图；
图3A是示出根据示例性实施例，根据长曝光图像和短曝光图像的拍摄时间的差异，在融合长曝光图像和短曝光图像时可能出现的运动伪影的示意图；
图3B是示出根据示例性实施例的检测图3A所示的运动伪影的运动伪影区域检测单元的示意性结构框图；
图4A是示出根据示例性实施例的作为图像处理设备的元件的非线性增益调节单元的示意性结构框图；
图4B是示出根据示例性实施例的可使用图4A所示的非线性增益调节单元执行的图像处理方法的示意性流程图；
图4C是示出图4B所示的图像处理方法的操作的示意图；
图5A是示出根据示例性实施例的基于运动伪影区域补偿非线性短曝光图像内的运动的方法的示意性流程图；
图5B是图5A所示的运动补偿方法的算法的示意图；
图6示出根据示例性实施例的将短曝光图像的亮度分量规范化，以符合长曝光图像的亮度分量的操作；
图7示出根据示例性实施例的融合长曝光图像和短曝光图像的操作；
图8示出当应用根据示例性实施例的图像处理方法时，去除了运动伪影的结果图像。
具体实施方式
下面的描述仅举例说明了特定示例性实施例的原理。即使未在本说明书中清楚地描述或示出，本领域普通技术人员可采用示例性实施例的原理并在示例性实施例的概念和范围内发明各种设备。本说明书中所呈现的条件术语和示例性实施例的使用仅意在清楚表达示例性实施例的概念，其不限于说明书中所提及的示例性实施例和条件。另外，对示例性实施例的原理和观点的所有详细描述应该被理解为包括结构和功能等同物。所述等同物不仅包括目前已知的等同物，而且包括未来将开发出的等同物，即，为执行相同功能而发明的所有装置，而不管其结构。
因此，图中所示的各种装置的功能（包括表示为处理或类似概念的功能块）不仅可利用专用于所述功能的硬件来提供，而且可利用能够运行用于所述功能的适当软件的硬件来提供。当通过处理器提供功能时，所述功能可通过单个专用处理器、单个共享处理器或多个单独的处理器（其部分可被共享）来提供。术语“处理器”、“控制”或类似概念的使用不应被理解为排他地表示能够运行软件的一件硬件，而是应该理解为隐含地包括存储软件的数字信号处理器（DSP）、硬件、ROM、RAM和非易失性存储器。其他已知和常用的硬件也可包括在其中。
通过下面参照附图进行的详细描述，上述目的、特征和优点将更明显。另外，省略或不详细描述熟知技术或构造，因为它们将在不必要的细节方面模糊示例性实施例。
当一个部件“包括”组件时，其表示该部件不包括除了所述组件之外的组件，但可包括其他组件，只要没有相反的特殊指示即可。
以下，将参照附图详细描述示例性实施例。
如本文所用，术语“和/或”包括一个或多个关联所列项的任何和所有组合。在元件列表之前的诸如“……中的至少一个”的表达修饰整个元件列表，而非修饰列表中的各个元件。
尽管诸如数码相机的图像处理设备的性能在不断提高，但是由于动态范围的局限，在获得图像时所使用的现有技术的电荷耦合器件（CCD）或互补金属氧化物半导体（CMOS）传感器中引起亮区域或暗区域的信息的丢失。动态区域是指图像的最亮区域和最暗区域之间的亮度之比。由于与实际场景的动态区域相比，图像获得设备中所使用的传感器的动态区域非常小，所以可能未完全表现实际场景的亮范围。
图1A是示出产生可表现实际场景的亮度范围的具有宽动态范围的图像的现有技术的WDR处理的示意图。
参照图1A，在WDR处理中，在长的曝光时间段中获得长曝光图像信号101，在短的曝光时间段中获得短曝光图像信号102。执行预定的曝光信号处理103，其中，在所述曝光信号处理103中，通过根据光量向长曝光图像和短曝光图像不同地应用权重来调节长曝光图像和短曝光图像的曝光平衡，然后可将图像融合以产生具有宽动态范围的图像104。例如，如果拍摄设备的动态范围为60dB，则通过WDR处理可获得具有约120dB的动态范围的图像。
图1B示出在现有技术的WDR处理中利用长/短可变曝光方法感测长曝光图像和短曝光图像的操作。图1C示出在现有技术的WDR处理中产生的运动伪影。
参照图1B，根据长/短可变曝光方法，通过针对每一帧选择性地调节曝光时间来控制快门，从而获得WDR处理所需的长曝光图像和短曝光图像。
在用图像传感器拍摄帧时所应用的标准曝光时间期间获得长曝光信号111。可基于长曝光信号111构成一个长帧121（参见图1C）。在针对标准曝光时间而言相对较短的曝光时间期间获得短曝光信号112。可基于短曝光信号112构成短帧122（参见图1C）。
当利用图1B所示的长/短可变曝光方法交替获得长帧121和短帧122时，在长曝光图像和短曝光图像融合的融合帧123中可能产生运动伪影124。融合帧123中的运动伪影124是由于长帧121的图像捕获时间与短帧122的图像捕获时间之间的时间差引起的。具体地讲，当图像中包括快速移动对象时，运动伪影更经常出现。
图2A是根据示例性实施例的图像处理设备200的示意性结构框图，图2B是示出根据示例性实施例的可利用图像处理设备200执行的图像处理方法的示意性流程图。参照图2A和图2B，根据当前示例性实施例的图像处理设备200包括运动伪影区域检测单元210、非线性增益调节单元220和融合单元230。在操作S201，图像处理设备200通过利用图像传感器（未示出）选择性地调节每一帧的曝光时间，来获得长曝光图像和短曝光图像。
图像处理设备200的运动伪影区域检测单元210、非线性增益调节单元220和融合单元230的至少一部分可通过包括操作系统、应用程序模块和其他程序模块中的至少一个的软件实现，并且可物理地存储在本领域熟知的各种存储器装置中。另外，如上所述的软件模块也可存储在能够与图像处理设备200通信的远程存储器装置中。软件模块的示例包括执行特定功能或特定抽象数据类型（将稍后描述）的例程、子例程、程序、对象、组件和数据结构。然而，示例性实施例不限于此。
在操作S202，非线性增益调节单元220通过将短曝光图像的增益非线性调节为短曝光图像的亮度分量YS对应于长曝光图像的亮度分量YL，来产生非线性增益控制短曝光图像。根据示例性实施例，利用图像处理设备的图像传感器获得的长曝光图像和短曝光图像的图像信号作为具有R-G-G-B阵列（由25%R、50%G和25%B构成）的贝尔图形（Bayer pattern）输入。因此，非线性增益调节单元220针对贝尔图形的每一单位区域计算最大颜色，并基于非线性曲线计算与每一单位区域的最大颜色对应的增益值，所述非线性曲线通过将短曝光图像的增益非线性调节为短曝光图像的亮度分量对应于长曝光图像的亮度分量来获得。
运动伪影区域检测单元210在操作S203基于长曝光图像和短曝光图像检测运动伪影区域，并将检测结果传输给非线性增益调节单元220。根据示例性实施例，运动伪影区域是指产生长曝光图像与短曝光图像之间的运动信息差异的区域。运动伪影区域检测单元210检测如上所述的运动伪影区域的位置，并把将被应用于对应运动伪影区域的权重与检测到的运动伪影区域的位置一起传输给非线性增益调节单元220。
尽管按照依次顺序示出操作S202和S203，但是该顺序可改变，可利用另外的处理器电路或组件并行或同时地执行所述操作。这两个操作的顺序不限于此。
在操作S204，基于在操作S203检测到的运动伪影区域，非线性增益调节单元220补偿在操作S202中产生的非线性增益控制短曝光图像中的运动。如果检测到运动伪影区域，其指示长曝光图像与短曝光图像之间的运动信息存在差异，因此，非线性增益调节单元220针对非线性增益控制短曝光图像补偿此差异。
在操作S205，为了输出执行了WDR处理的图像，融合单元230将在操作S204中补偿了运动的非线性增益控制短曝光图像与在操作S201中获得的长曝光图像融合。
图3A是示出根据示例性实施例的当长曝光图像和短曝光图像融合时由于长曝光图像和短曝光图像的图像捕获时间的差异而可能出现的运动伪影的示意图。图3B是示出根据示例性实施例的检测图3A所示的运动伪影的运动伪影区域检测单元300的结构框图。
参照图3A，如果存在移动对象，则在长曝光图像与短曝光图像彼此融合的部分L1周围的与移动对象的运动对应的部分L3中出现运动模糊。运动模糊是由于当特别是根据长/短可变曝光方法获得图像时长曝光图像与短曝光图像之间的图像捕获时间的时间差引起的。这称作运动伪影。
参照图3B，运动伪影区域检测单元300包括放大单元310、第一低通滤波器320、局部对象检测单元330、第二低通滤波器340和权重设置单元350。
放大单元310按照长曝光图像的曝光时间与短曝光图像的曝光时间之比放大短曝光图像，以便补偿短曝光图像和长曝光图像的曝光时间的差异。
例如，当短曝光图像的快门速度为x1/10，长曝光图像的快门速度为x1时，可按照10（快门速度之比）放大短曝光图像。
当长曝光图像与短曝光图像融合时，第一低通滤波器320平滑长曝光图像的区域，平滑的区域形成为边界。
局部对象检测单元330检测长曝光图像与短曝光图像之间的差异等于或大于阈值Thr的区域，作为局部对象。可利用绝对差和（SAD）算法来计算长曝光图像与短曝光图像之间的差异。局部对象是指当长曝光图像和短曝光图像稍后融合时预期会出现运动伪影的区域。
第二低通滤波器340针对被检测为局部对象的区域的将形成所述区域的边界的一部分执行平滑。
权重设置单元350针对检测到的局部对象区域设置将在融合长曝光图像和短曝光图像时应用的权重。所述权重可预先设置，可根据长曝光图像和短曝光图像的亮度级设置，或者可根据是否存在运动伪影来设置。
图4A是示出根据示例性实施例的作为图像处理设备的元件的非线性增益调节单元400的示意性结构框图。图4B是示出根据示例性实施例的可利用图4A所示的非线性增益调节单元400执行的图像处理方法的示意性流程图。图4C是示出图4B所示的图像处理方法的详细操作的示意图。
参照图4A，非线性增益调节单元400包括最大颜色计算单元410、最大颜色非线性增益调节单元420、运动伪影处理单元430和自适应增益调节单元440。非线性增益调节单元400可改善输入的短曝光图像的亮部分与暗部分之间的对比度比率并产生直方图，所述直方图通过反映改善的对比度来提供关于短曝光图像的对比度和对比度的分布的信息。
最大颜色计算单元410在操作S401中基于短曝光图像的当前像素选择2×2阵列的贝尔图形区域451（参见图4C），从对应贝尔图形区域选择最大颜色，并在操作S402中产生最大颜色平面452（参见图4C），在该平面452中所有的对应贝尔图形区域用选择的最大颜色代替。
在操作S403，最大颜色非线性增益调节单元420基于非线性曲线453计算与对应贝尔图形区域的最大颜色对应的非线性增益值（参见图4C）。根据当前示例性实施例，可在将短曝光图像的亮度分量的每一区域规范化以对应于长曝光图像的亮度分量的每一区域时产生用于计算非线性增益值的非线性曲线453。与长曝光图像的亮度分量对应的短曝光图像的亮度分量可被分类到三个区域中：低亮度区域、中间亮度区域和高亮度区域。不同的系数可应用于每一亮度分量区域，以形成亮度分量区域中的每一个的线性曲线。可通过将相应线性曲线连接来形成非线性曲线。
如下面的等式1（参见图4C的标号454）中所表示的，在操作S404中通过基于计算的最大颜色MaxColor以及与计算的最大颜色MaxColor对应的非线性增益值NonLinearGain(MaxColor)调节短曝光图像的非线性增益来产生非线性增益控制短曝光图像。
[等式1]
NonLinearGain(MaxColor)/MaxColor×输入像素图像
在当前示例性实施例中，当利用计算的贝尔图形区域的最大颜色执行非线性增益调节时，即使图像还未进行白平衡处理，也可没有颜色失真地控制非线性增益。
另外，当在操作S405中上述运动伪影检测单元300成功检测运动伪影区域时，在操作S406中基于检测到的运动伪影区域补偿非线性增益控制短曝光图像内的运动。
图5A是示出根据示例性实施例的基于运动伪影区域补偿非线性短曝光图像内的运动的方法的示意性流程图。图5B是图5A所示的运动补偿方法的算法的示意图。图5A和图5B所示的运动补偿方法可利用上面详细描述的图2所示的图像处理设备200和/或图4A所示的非线性增益调节单元400执行。
在当前示例性实施例中，当上述运动伪影检测单元300检测到运动伪影区域时，输入关于检测到的运动伪影区域的位置以及将应用于该运动伪影区域的权重的信息。
在操作S501和S511中，基于利用上述运动伪影检测单元300输入的运动伪影区域的位置信息，设置非线性增益控制短曝光图像的伪影局部块521。
另外，在操作S502和S512中，基于利用上述运动伪影检测单元300输入的运动伪影区域的位置信息，设置长曝光图像的伪影局部块521周围的八个局部块522。
在操作S503、S513和S514中，计算非线性增益控制短曝光图像的伪影局部块521的红-绿-蓝（RGB）区域平均值以及运动伪影周围的长曝光图像的八个局部块522中的每一个的RGB区域平均值。
在操作S504和S515中，将非线性增益控制短曝光图像的伪影局部块521的RGB区域平均值与运动伪影周围的长曝光图像的八个局部块522的RGB区域平均值进行比较，以从运动伪影周围的长曝光图像的局部块当中获得最类似于伪影局部块521的局部块。
为了比较非线性增益控制短曝光图像的伪影局部块和运动伪影周围的长曝光图像的局部块，可使用SAD算法。
根据上述一系列操作，可从长曝光图像的信息获得与短曝光图像中识别出运动伪影的位置的信息最类似的信息。通过基于长曝光图像中与识别出运动伪影的位置的信息最类似的信息将短曝光图像规范化，可去除运动伪影。
即，在操作S505和S516中，通过比较伪影局部块521的RGB区域平均值和伪影局部块周围的局部块522中的获得的局部块的RGB区域平均值来计算用于补偿运动伪影的增益值。
如下面的等式2中所表示的，将利用上述运动伪影检测单元300输入的运动伪影区域的权重以及用于补偿运动伪影的增益值Motion_Artifact_gain应用于短曝光图像Short_NonLinearGain，以补偿非线性增益控制短曝光图像内的运动。这样做是为了以高柔和度补偿运动伪影区域。
[等式2]
Short_NonLinearGain_Motion_Artifact_removal=
Short_NonLinearGain×(Motion_Artifact_gain×Weight)
如上所述，根据当前示例性实施例，除了补偿WDR处理中的长曝光图像与短曝光图像的曝光度之外，另外补偿长曝光图像与短曝光图像之间导致运动差异的一部分图像，从而减少由于运动引起的伪影。
图6示出根据示例性实施例的将短曝光图像的亮度分量规范化，以符合长曝光图像的亮度分量的操作。根据当前示例性实施例的将短曝光图像规范化的方法可利用上面详细描述的图2A所示的图像处理设备200和/或图4A所示的非线性增益调节单元400执行。
根据示例性实施例的将短曝光图像规范化的方法，短曝光图像和长曝光图像的亮度分量各自被分类到三个区域中：低亮度区域、中间亮度区域和高亮度区域。不同的权重应用于相应区域，以产生每一区域的线性曲线。
在将不同的权重应用于每一区域时，可针对低亮度区域调节权重以减少图像的运动伪影。还可针对中间亮度区域调节权重以降低图像的噪声。还可针对高亮度区域调节权重以加宽图像的动态区域。
如上所述，可通过将针对相应区域产生的线性曲线组合来产生具有短曝光图像的非线性增益值的非线性曲线。
图7示出根据示例性实施例的融合长曝光图像和短曝光图像的操作。融合长曝光图像和短曝光图像的方法可利用上面详细描述的图2A所示的图像处理设备200来执行。参照图7，从图像传感器获得的长曝光图像701以及从上述非线性增益调节单元220输出的非线性增益控制短曝光图像702彼此融合。在融合长曝光图像701和短曝光图像702时，基于长曝光图像701的亮度分量值按照分段方式计算权重曲线，以计算长曝光图像701和短曝光图像702的融合权重。另外，如下面的等式3中所表示的，可附加地应用从上述运动伪影检测单元300导出的运动伪影区域的权重Motion_Detect_weight。即，可基于运动伪影区域的权重Motion_Detect_Weight调节非线性增益控制短曝光图像和长曝光图像的融合权重（Weight和1-Weight）。
[方程3]
Fusion=(Weight-Motion_Detect_Weight)×long+(1-(Weight-Motion_Detect_Weight))×short
图8示出当应用根据示例性实施例的图像处理方法时，去除了运动伪影的结果图像。参照图8，在通过融合长帧801和短帧802形成融合帧图像803时，如图1C所示由于运动伪影引起的边界区域可如标号804所指示被平滑，从而提供执行更自然的WDR处理的帧图像。
如上所述，根据示例性实施例的图像处理方法，与现有技术的WDR处理不同，在获得具有宽动态区域的图像时由于移动对象而可能出现的运动伪影可被最小化。
本发明还可实施为计算机可读记录介质上的计算机可读代码。计算机可读记录介质是可存储能够随后被计算机系统读取的数据的任何数据存储装置。计算机可读记录介质的示例包括只读存储器（ROM）、随机存取存储器（RAM）、CD-ROM、磁带、软盘、光学数据存储装置等。计算机可读记录介质还可分布于联网的计算机系统上，以使得计算机可读代码以分布式方式存储和执行。另外，用于实现本发明的功能程序、代码和代码段可容易地由示例性实施例所属领域的程序员解释。
上述示例性实施例和优点仅是示例性的，而不应解释为限制。本教导可容易地应用于其他类型的设备。另外，示例性实施例的描述意在为示意性的，而非限制权利要求的范围，对于本领域技术人员而言许多替代、修改和变化将是明显的。
Claims (17)
1.一种图像处理设备，包括：
图像输入单元，被构造为接收具有不同的曝光时间的长曝光图像和短曝光图像；
运动伪影区域检测单元，被构造为检测由长曝光图像和短曝光图像的融合引起的运动伪影区域；
非线性增益调节单元，被构造为通过非线性地调节接收的短曝光图像的增益来产生非线性增益控制短曝光图像，其中，所述调节将短曝光图像的亮度分量调节为对应于长曝光图像的亮度分量，所述非线性增益调节单元还被构造为基于检测到的运动伪影区域补偿产生的非线性增益控制短曝光图像中的运动；
融合单元，被构造为融合非线性增益控制短曝光图像和长曝光图像，以输出执行了宽动态范围WDR处理的图像，
其中，所述非线性增益调节单元还被构造为计算短曝光图像的贝尔图形的每一单位区域的最大颜色，被构造为将短曝光图像规范化以使得短曝光图像的亮度分量对应于长曝光图像的亮度分量，并且被构造为基于非线性曲线计算与每一单位区域的最大颜色对应的增益值，其中，通过调节短曝光图像的增益产生所述非线性曲线。
2.根据权利要求1所述的图像处理设备，其中，所述图像输入单元还被构造为利用图像传感器选择性地调节各个帧的曝光时间，以获得长曝光图像和短曝光图像。
3.根据权利要求1所述的图像处理设备，其中，所述运动伪影区域检测单元还被构造为产生运动伪影区域的位置信息和用于运动伪影区域的权重信息。
4.根据权利要求1所述的图像处理设备，其中，所述运动伪影区域检测单元包括：
放大单元，被构造为按照短曝光图像的曝光时间与长曝光图像的曝光时间之比放大短曝光图像；
第一低通滤波器，被构造为对由短曝光图像和长曝光图像的融合引起的形成为短曝光图像与长曝光图像之间的边界的长曝光图像的区域进行平滑；
局部对象检测单元，被构造为基于长曝光图像与短曝光图像之间的差异检测运动伪影区域；
第二低通滤波器，被构造为对将形成为检测到的运动伪影区域的边界的区域进行平滑；
权重设置单元，被构造为设置用于检测到的运动伪影区域的权重。
5.根据权利要求1所述的图像处理设备，其中，通过根据亮度级将与长曝光图像的亮度分量对应的短曝光图像的亮度分量分类到多个亮度分量区域中，向分类的亮度分量区域分别应用不同的系数以分别形成与每一个分类的亮度分量区域对应的线性曲线，并将分别形成的线性曲线连接，来产生所述非线性曲线。
6.根据权利要求1所述的图像处理设备，其中，所述非线性增益调节单元还被构造为基于检测到的运动伪影区域的位置信息对非线性增益控制短曝光图像的伪影局部块以及伪影局部块周围的长曝光图像的局部块进行定位，并被构造为从伪影局部块周围的长曝光图像的局部块中获得与伪影局部块最类似的局部块，以基于伪影局部块与伪影局部块周围的长曝光图像的局部块中的获得的局部块之间的差异计算短曝光图像的增益值，以用于补偿检测到的运动伪影区域。
7.根据权利要求6所述的图像处理设备，其中，所述非线性增益调节单元还被构造为从运动伪影区域检测单元接收用于检测到的运动伪影区域的权重，并且被构造为基于接收的权重和计算的短曝光图像的增益值补偿非线性增益控制短曝光图像中的运动。
8.根据权利要求1所述的图像处理设备，其中，所述融合单元还被构造为从运动伪影区域检测单元接收用于检测到的运动伪影区域的权重，并且被构造为基于接收的权重调节非线性增益控制短曝光图像和长曝光图像的融合权重。
9.一种处理图像的方法，所述方法包括：
利用图像传感器接收具有不同的曝光时间的长曝光图像和短曝光图像；
检测由长曝光图像和短曝光图像的融合引起的运动伪影区域，以产生检测到的运动伪影区域的位置信息和用于检测到的运动伪影区域的权重信息；
非线性地调节短曝光图像的增益以产生非线性增益控制短曝光图像，其中，非线性地调节的步骤将短曝光图像的亮度分量调节为对应于长曝光图像的亮度分量；
基于检测到的运动伪影区域补偿非线性增益控制短曝光图像中的运动；
融合非线性增益控制短曝光图像和长曝光图像，以输出执行了宽动态范围WDR处理的图像，
其中，非线性地调节增益值的步骤包括：
计算短曝光图像的贝尔图形的每一单位区域的最大颜色；
通过将短曝光图像规范化以使得短曝光图像的亮度分量对应于长曝光图像的亮度分量来调节短曝光图像的增益，从而产生非线性曲线；
基于非线性曲线计算与每一单位区域的最大颜色对应的增益值。
10.根据权利要求9所述的方法，其中，在接收长曝光图像和短曝光图像的步骤中，通过选择性地调节各个帧的曝光时间来获得长曝光图像和短曝光图像。
11.根据权利要求9所述的方法，其中，检测运动伪影区域的步骤包括：
按照短曝光图像的曝光时间与长曝光图像的曝光时间之比放大短曝光图像；
利用第一低通滤波器对由短曝光图像和长曝光图像的融合引起的形成为短曝光图像与长曝光图像之间的边界的长曝光图像的区域进行平滑；
基于长曝光图像与短曝光图像之间的差异检测运动伪影区域；
利用第二低通滤波器对将形成为检测到的运动伪影区域的边界的区域进行平滑；
设置用于检测到的运动伪影区域的权重。
12.根据权利要求9所述的方法，其中，通过根据亮度级将与长曝光图像的亮度分量对应的短曝光图像的亮度分量分类到多个亮度分量区域中，向分类的亮度分量区域分别应用不同的系数以分别形成与每一个分类的亮度分量区域对应的线性曲线，并将分别形成的线性曲线连接，来产生所述非线性曲线。
13.根据权利要求9所述的方法，其中，补偿步骤包括：
基于检测到的运动伪影区域的位置信息对非线性增益控制短曝光图像的伪影局部块进行定位；
基于检测到的运动伪影区域的位置信息设置伪影局部块周围的长曝光图像的局部块；
从设置的伪影局部块周围的长曝光图像的局部块当中获得与伪影局部块最类似的局部块；
基于伪影局部块与伪影局部块周围的长曝光图像的局部块中的获得的局部块之间的差异计算短曝光图像的增益值，以用于补偿检测到的运动伪影区域；
基于计算出的短曝光图像的增益值补偿非线性增益控制短曝光图像中的运动。
14.根据权利要求13所述的方法，其中，在补偿步骤中，基于用于检测到的运动伪影区域的权重以及计算出的接收的短曝光图像的增益值来补偿非线性增益控制短曝光图像中的运动。
15.根据权利要求9所述的方法，其中，在融合步骤中，基于用于检测到的运动伪影区域的权重信息，调节非线性增益控制短曝光图像和长曝光图像的融合权重。
16.一种图像处理设备，包括：
运动伪影区域检测单元，被构造为检测由长曝光图像和短曝光图像的融合引起的运动伪影区域；
非线性增益调节单元，被构造为通过非线性地调节短曝光图像的增益来产生非线性增益控制短曝光图像，并且还被构造为基于运动伪影区域补偿非线性增益控制短曝光图像中的运动，
其中，所述非线性增益调节单元还被构造为计算短曝光图像的贝尔图形的每一单位区域的最大颜色，被构造为将短曝光图像规范化以使得短曝光图像的亮度分量对应于长曝光图像的亮度分量，并且被构造为基于非线性曲线计算与每一单位区域的最大颜色对应的增益值，其中，通过调节短曝光图像的增益产生所述非线性曲线。
17.根据权利要求16所述的图像处理设备，还包括：融合单元，被构造为融合非线性增益控制短曝光图像和长曝光图像以输出执行了宽动态范围WDR处理的图像。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130005428A KR101871945B1 (ko) | 2013-01-17 | 2013-01-17 | 영상 처리 장치 및 방법 |
| KR10-2013-0005428 | 2013-01-17 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103945145A CN103945145A (zh) | 2014-07-23 |
| CN103945145B true CN103945145B (zh) | 2018-08-28 |
Family
ID=51164848
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310751111.1A Active CN103945145B (zh) | 2013-01-17 | 2013-12-31 | 处理图像的设备和方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US9124811B2 (zh) |
| KR (1) | KR101871945B1 (zh) |
| CN (1) | CN103945145B (zh) |
Families Citing this family (37)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9437171B2 (en) * | 2012-12-05 | 2016-09-06 | Texas Instruments Incorporated | Local tone mapping for high dynamic range images |
| US9544505B2 (en) * | 2014-04-11 | 2017-01-10 | Hanwha Techwin Co., Ltd. | Image processing apparatus for synthesizing images based on a plurality of exposure time periods and image processing method thereof |
| KR102289261B1 (ko) * | 2014-10-30 | 2021-08-12 | 한화테크윈 주식회사 | 움직임 영역 검출 장치 및 방법 |
| JP6515999B2 (ja) * | 2015-03-30 | 2019-05-22 | 株式会社ニコン | 撮像素子および撮像装置 |
| JP6572004B2 (ja) * | 2015-06-18 | 2019-09-04 | オリンパス株式会社 | 露出制御装置および露出制御方法 |
| KR102368625B1 (ko) * | 2015-07-23 | 2022-03-02 | 삼성전자주식회사 | 디지털 촬영 장치 및 그 방법 |
| CN106412448B (zh) * | 2016-02-03 | 2023-08-15 | 深圳市迪威码半导体有限公司 | 一种基于单帧图像的宽动态范围处理方法与系统 |
| JP2017143340A (ja) * | 2016-02-08 | 2017-08-17 | 株式会社デンソー | 情報処理装置及びプログラム |
| CN106131450B (zh) * | 2016-07-29 | 2020-06-30 | 努比亚技术有限公司 | 一种图像处理的方法、装置和终端 |
| WO2018035696A1 (zh) * | 2016-08-22 | 2018-03-01 | 华为技术有限公司 | 一种图像处理方法以及装置 |
| JP6793511B2 (ja) * | 2016-09-30 | 2020-12-02 | キヤノン株式会社 | 画像処理装置 |
| JP6697684B2 (ja) * | 2016-10-13 | 2020-05-27 | パナソニックＩｐマネジメント株式会社 | 画像処理装置、画像処理方法、及び画像処理回路 |
| US10880504B2 (en) * | 2016-12-27 | 2020-12-29 | Canon Kabushiki Kaisha | Image pickup device, image capturing system, and movable body |
| WO2018137247A1 (en) * | 2017-01-26 | 2018-08-02 | Huawei Technologies Co., Ltd. | Relative illuminance compensation method and device by multiple exposure |
| KR102317624B1 (ko) * | 2017-03-27 | 2021-10-26 | 삼성전자 주식회사 | 전자 장치 및 그의 이미지 처리 방법 |
| US10482625B1 (en) | 2017-03-28 | 2019-11-19 | Amazon Technologies, Inc. | Calibration of networked imaging devices to a global color space |
| CN108965929B (zh) * | 2017-05-23 | 2021-10-15 | 华为技术有限公司 | 一种视频信息的呈现方法、呈现视频信息的客户端和装置 |
| CN107231530B (zh) * | 2017-06-22 | 2019-11-26 | 维沃移动通信有限公司 | 一种拍照方法及移动终端 |
| US10863105B1 (en) | 2017-06-27 | 2020-12-08 | Amazon Technologies, Inc. | High dynamic range imaging for event detection and inventory management |
| US10650246B1 (en) | 2017-06-27 | 2020-05-12 | Amazon Technologies, Inc. | System for determining a camera radiance |
| US10491808B1 (en) | 2017-06-27 | 2019-11-26 | Amazon Technologies, Inc. | Detecting sunlight in images |
| JP2019083364A (ja) * | 2017-10-27 | 2019-05-30 | キヤノン株式会社 | 画像処理装置、撮像装置および制御方法 |
| CN107909617B (zh) * | 2017-11-13 | 2020-03-17 | 四川大学 | 一种基于非线性对比度加权的光源颜色估计方法 |
| US10554902B2 (en) | 2018-05-01 | 2020-02-04 | Hanwha Techwin Co., Ltd. | Apparatus and method for processing images |
| JP7130777B2 (ja) | 2018-06-07 | 2022-09-05 | ドルビー ラボラトリーズ ライセンシング コーポレイション | シングルショットｈｄｒカラーイメージセンサからのｈｄｒ画像生成 |
| CN109040524B (zh) * | 2018-08-16 | 2021-06-29 | Oppo广东移动通信有限公司 | 伪影消除方法、装置、存储介质及终端 |
| US10721415B2 (en) * | 2018-09-13 | 2020-07-21 | Futurewei Technologies, Inc. | Image processing system with LED flicker mitigation |
| US10587816B1 (en) | 2019-01-04 | 2020-03-10 | Gopro, Inc. | High dynamic range processing based on angular rate measurements |
| KR102643588B1 (ko) * | 2019-01-21 | 2024-03-04 | 엘지전자 주식회사 | 카메라 장치 및 이를 구비하는 전자 장치 |
| JP2020184669A (ja) * | 2019-05-07 | 2020-11-12 | シャープ株式会社 | 画像処理装置、撮像装置、画像処理方法、プログラム |
| US11062436B2 (en) * | 2019-05-10 | 2021-07-13 | Samsung Electronics Co., Ltd. | Techniques for combining image frames captured using different exposure settings into blended images |
| WO2021033787A1 (ko) * | 2019-08-19 | 2021-02-25 | 한국전기연구원 | 단일 컬러 카메라를 이용하고 가시광선 및 근적외선 영상 동시 획득이 가능한 가시광선 및 근적외선 영상 제공 시스템 및 방법 |
| CN113327215B (zh) * | 2021-05-28 | 2022-10-21 | 浙江大华技术股份有限公司 | 一种宽动态图像合成方法、装置、电子设备及存储介质 |
| KR20230032359A (ko) * | 2021-08-30 | 2023-03-07 | 에스케이하이닉스 주식회사 | 전자 장치 및 그 동작 방법 |
| WO2023065197A1 (zh) * | 2021-10-21 | 2023-04-27 | 华为技术有限公司 | 运动目标检测方法、装置以及检测设备 |
| CN116233607B (zh) * | 2021-12-01 | 2024-05-14 | Oppo广东移动通信有限公司 | 一种多曝光图像处理方法、装置、芯片及电子设备 |
| CN117061841B (zh) * | 2023-06-12 | 2024-06-25 | 深圳市博盛医疗科技有限公司 | 一种双晶片内窥镜成像方法及成像装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1956506A (zh) * | 2005-10-28 | 2007-05-02 | 株式会社东芝 | 固体摄像装置 |
| CN102769756A (zh) * | 2011-05-02 | 2012-11-07 | 索尼公司 | 图像处理设备、图像处理方法和程序 |
Family Cites Families (53)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2565715B1 (fr) * | 1984-06-08 | 1987-09-04 | Dassault Electronique | Dispositif de lecture de caracteres magnetiques-optiques avec possibilite d'impression et de memorisation |
| JP3134784B2 (ja) * | 1996-08-05 | 2001-02-13 | 松下電器産業株式会社 | 画像合成回路 |
| EP0912047B1 (en) * | 1997-10-23 | 2004-04-07 | Olympus Optical Co., Ltd. | Imaging apparatus comprising means for expanding the dynamic range |
| NZ332626A (en) * | 1997-11-21 | 2000-04-28 | Matsushita Electric Ind Co Ltd | Expansion of dynamic range for video camera |
| CN1276646C (zh) * | 1999-11-22 | 2006-09-20 | 松下电器产业株式会社 | 固态成象设备 |
| US6734905B2 (en) * | 2000-10-20 | 2004-05-11 | Micron Technology, Inc. | Dynamic range extension for CMOS image sensors |
| JP2005141527A (ja) * | 2003-11-07 | 2005-06-02 | Sony Corp | 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム |
| JP4556722B2 (ja) * | 2004-05-31 | 2010-10-06 | コニカミノルタホールディングス株式会社 | 撮像装置 |
| US7397509B2 (en) * | 2004-08-27 | 2008-07-08 | Micron Technology, Inc. | High dynamic range imager with a rolling shutter |
| US20060115182A1 (en) * | 2004-11-30 | 2006-06-01 | Yining Deng | System and method of intensity correction |
| KR100672856B1 (ko) | 2005-04-14 | 2007-01-22 | 한국과학기술연구원 | 넓은 다이내믹 레인지를 갖는 카메라 영상신호 처리장치 |
| JP4735051B2 (ja) * | 2005-05-25 | 2011-07-27 | コニカミノルタオプト株式会社 | 撮像装置 |
| KR20080034508A (ko) | 2005-08-08 | 2008-04-21 | 요셉 러브너 | 적응형 노출 제어 |
| JP2007142500A (ja) * | 2005-11-14 | 2007-06-07 | Pioneer Electronic Corp | 表示装置、信号処理回路、プログラム及び表示方法 |
| JP4795929B2 (ja) * | 2006-12-26 | 2011-10-19 | 富士通株式会社 | 補間方法を決定するプログラム、装置、および方法 |
| JP4127411B1 (ja) * | 2007-04-13 | 2008-07-30 | キヤノン株式会社 | 画像処理装置及び方法 |
| JP4688954B2 (ja) * | 2007-04-18 | 2011-05-25 | 国立大学法人 東京大学 | 特徴量選択方法、特徴量選択装置、画像分類方法、画像分類装置、コンピュータプログラム、及び記録媒体 |
| US7812869B2 (en) * | 2007-05-11 | 2010-10-12 | Aptina Imaging Corporation | Configurable pixel array system and method |
| WO2009019823A1 (ja) * | 2007-08-07 | 2009-02-12 | Panasonic Corporation | 撮像処理装置および撮像装置、画像処理方法およびコンピュータプログラム |
| JP2009049547A (ja) * | 2007-08-15 | 2009-03-05 | Seiko Epson Corp | 画像処理装置、画像処理方法、画像処理プログラム |
| JP4424403B2 (ja) * | 2007-09-28 | 2010-03-03 | ソニー株式会社 | 撮像装置、撮像方法及び撮像プログラム |
| JP4424402B2 (ja) * | 2007-09-28 | 2010-03-03 | ソニー株式会社 | 撮像装置、撮像制御方法、撮像制御プログラム |
| JP5374773B2 (ja) * | 2007-10-26 | 2013-12-25 | 太陽誘電株式会社 | 映像表示装置および方法およびこれに組み込まれる信号処理回路および液晶バックライト駆動装置 |
| JP5208495B2 (ja) * | 2007-12-27 | 2013-06-12 | オリンパスメディカルシステムズ株式会社 | 医療用システム |
| KR101442153B1 (ko) * | 2008-01-15 | 2014-09-25 | 삼성전자 주식회사 | 저조도 영상 처리 방법 및 시스템 |
| JP2009211313A (ja) * | 2008-03-03 | 2009-09-17 | Fujitsu Ltd | 画像処理装置、画像処理方法および画像処理プログラム |
| JP5231284B2 (ja) * | 2008-03-31 | 2013-07-10 | 富士フイルム株式会社 | 撮像装置、撮像方法、およびプログラム |
| US8184904B2 (en) * | 2008-06-04 | 2012-05-22 | Wipro Limited | Method and apparatus for dynamic and adaptive enhancement of colors in digital video images |
| JP4645707B2 (ja) * | 2008-09-01 | 2011-03-09 | ソニー株式会社 | コンテンツデータ処理装置 |
| TW201011691A (en) * | 2008-09-05 | 2010-03-16 | Primax Electronics Ltd | Method for adjusting brightness of images |
| JP4561912B2 (ja) * | 2008-09-12 | 2010-10-13 | ソニー株式会社 | 撮像装置、撮像方法及びプログラム |
| JP4770907B2 (ja) * | 2008-10-21 | 2011-09-14 | ソニー株式会社 | 撮像装置、撮像方法及びプログラム |
| CN101867727B (zh) * | 2009-04-16 | 2011-12-07 | 华为技术有限公司 | 一种视频处理方法及装置 |
| US8525900B2 (en) | 2009-04-23 | 2013-09-03 | Csr Technology Inc. | Multiple exposure high dynamic range image capture |
| JP2010279016A (ja) * | 2009-04-30 | 2010-12-09 | Sony Corp | 固体撮像素子とその駆動方法および撮像装置 |
| EP2347692A4 (en) * | 2009-05-14 | 2012-08-01 | Olympus Medical Systems Corp | IMAGING DEVICE |
| JP5589585B2 (ja) * | 2009-07-07 | 2014-09-17 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
| US8605177B2 (en) * | 2009-09-16 | 2013-12-10 | Altasens, Inc. | Image sensor with wide dynamic range |
| JP5458865B2 (ja) * | 2009-09-18 | 2014-04-02 | ソニー株式会社 | 画像処理装置、撮像装置、および画像処理方法、並びにプログラム |
| KR101616874B1 (ko) | 2009-09-23 | 2016-05-02 | 삼성전자주식회사 | 다중 영상 합성 방법 및 그 장치 |
| US8488055B2 (en) * | 2010-09-30 | 2013-07-16 | Apple Inc. | Flash synchronization using image sensor interface timing signal |
| JP5655626B2 (ja) * | 2011-02-24 | 2015-01-21 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
| JP5960731B2 (ja) * | 2011-03-02 | 2016-08-02 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 局所マルチスケールトーンマッピングオペレータ |
| JP5744614B2 (ja) * | 2011-04-28 | 2015-07-08 | オリンパス株式会社 | 画像処理装置、画像処理方法、および、画像処理プログラム |
| JP2012257193A (ja) * | 2011-05-13 | 2012-12-27 | Sony Corp | 画像処理装置、撮像装置、および画像処理方法、並びにプログラム |
| US8970719B2 (en) * | 2011-06-23 | 2015-03-03 | JVC Kenwood Corporation | Image processing apparatus and image processing method |
| JP2013066145A (ja) * | 2011-08-31 | 2013-04-11 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
| JP2013066142A (ja) * | 2011-08-31 | 2013-04-11 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
| JP5936323B2 (ja) * | 2011-09-26 | 2016-06-22 | キヤノン株式会社 | 画像記録装置およびその制御方法 |
| JP5875812B2 (ja) * | 2011-09-27 | 2016-03-02 | オリンパス株式会社 | 顕微鏡システムおよび照明強度調整方法 |
| JP5860663B2 (ja) * | 2011-10-18 | 2016-02-16 | 日立オートモティブシステムズ株式会社 | ステレオ撮像装置 |
| CN103999458A (zh) * | 2011-12-16 | 2014-08-20 | 索尼公司 | 图像捕获设备 |
| JP5978949B2 (ja) * | 2012-03-16 | 2016-08-24 | 富士通株式会社 | 画像合成装置及び画像合成用コンピュータプログラム |
-
2013
- 2013-01-17 KR KR1020130005428A patent/KR101871945B1/ko active IP Right Grant
- 2013-07-05 US US13/935,609 patent/US9124811B2/en active Active
- 2013-12-31 CN CN201310751111.1A patent/CN103945145B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1956506A (zh) * | 2005-10-28 | 2007-05-02 | 株式会社东芝 | 固体摄像装置 |
| CN102769756A (zh) * | 2011-05-02 | 2012-11-07 | 索尼公司 | 图像处理设备、图像处理方法和程序 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20140198226A1 (en) | 2014-07-17 |
| KR20140093079A (ko) | 2014-07-25 |
| CN103945145A (zh) | 2014-07-23 |
| US9124811B2 (en) | 2015-09-01 |
| KR101871945B1 (ko) | 2018-08-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103945145B (zh) | 处理图像的设备和方法 | |
| CN110022469B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| KR102474715B1 (ko) | 매크로포토그래피를 위한 컬러 및 모노 이미지들의 시차 마스크 융합 | |
| US8384805B2 (en) | Image processing device, method, and computer-readable medium for executing pixel value correction in a synthesized image | |
| JP6111336B2 (ja) | 画像処理方法および装置 | |
| CN101742123B (zh) | 图像处理设备和方法 | |
| US9646397B2 (en) | Image processing apparatus and image processing method | |
| EP3480784B1 (en) | Image processing method, and device | |
| US8169500B2 (en) | Dynamic range compression apparatus, dynamic range compression method, computer-readable recording medium, integrated circuit, and imaging apparatus | |
| CN106030653B (zh) | 用于生成高动态范围图像的图像处理系统和图像处理方法 | |
| KR20050009694A (ko) | 브래킷된 이미지 시퀀스로부터 고 동적 범위 이미지를생성하는 시스템 및 프로세스 | |
| KR20130013288A (ko) | 다중 노출 퓨전 기반에서 고스트 흐림을 제거한 ｈｄｒ 영상 생성 장치 및 방법 | |
| US9589339B2 (en) | Image processing apparatus and control method therefor | |
| JP2010166558A (ja) | 撮像装置 | |
| US20170256067A1 (en) | Image processing device, image processing method, and solid-state imaging device | |
| JP2014143613A (ja) | 画像処理装置、方法、及びプログラム、並びに撮像装置 | |
| CN110728705B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| US20220198625A1 (en) | High-dynamic-range image generation with pre-combination denoising | |
| JP2014039170A (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
| JP2015204488A (ja) | 動き検出装置および動き検出方法 | |
| JP2015007816A (ja) | 画像補正装置、撮像装置及び画像補正用コンピュータプログラム | |
| JP2013162359A (ja) | 画像処理装置および画像処理方法 | |
| JP2014179920A (ja) | 撮像装置及びその制御方法、プログラム、並びに記憶媒体 | |
| KR101306780B1 (ko) | Ｈｄｒ 영상 시스템에서 영상 간의 노출 정도를 보정하기 위한 장치 및 그 방법 | |
| US11153467B2 (en) | Image processing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C53 | Correction of patent of invention or patent application | ||
| CB02 | Change of applicant information |
Address after: Gyeongnam Changwon City, South Korea Applicant after: HANWHA TECHWIN Co.,Ltd. Address before: Gyeongnam Changwon City, South Korea Applicant before: Samsung Techwin Co.,Ltd. |
|
| COR | Change of bibliographic data |
Free format text: CORRECT: ADDRESS; FROM: Free format text: CORRECT: APPLICANT; FROM: SAMSUNG TAI KEWEI CO., LTD. TO: HANWHA TECHWIN CO., LTD. |
|
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder | ||
| CP01 | Change in the name or title of a patent holder |
Address after: Gyeongnam Changwon City, South Korea Patentee after: HANWHA AEROSPACE Co.,Ltd. Address before: Gyeongnam Changwon City, South Korea Patentee before: HANWHA TECHWIN Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20190301 Address after: Gyeonggi Do city of South Korea Patentee after: HANWHA TECHWIN Co.,Ltd. Address before: Gyeongnam Changwon City, South Korea Patentee before: HANWHA AEROSPACE Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220321 Address after: Gyeonggi Do city of South Korea Patentee after: HANWHA TECHWIN Co.,Ltd. Patentee after: New future semiconductor Co.,Ltd. Address before: Gyeonggi Do city of South Korea Patentee before: HANWHA TECHWIN Co.,Ltd. |
|
| CP01 | Change in the name or title of a patent holder | ||
| CP01 | Change in the name or title of a patent holder |
Address after: Gyeonggi Do city of South Korea Patentee after: Hanhua Vision Co.,Ltd. Patentee after: New future semiconductor Co.,Ltd. Address before: Gyeonggi Do city of South Korea Patentee before: HANWHA TECHWIN Co.,Ltd. Patentee before: New future semiconductor Co.,Ltd. |