CN103168462B - 图像合成装置和图像合成方法 - Google Patents

图像合成装置和图像合成方法 Download PDF

Info

Publication number
CN103168462B
CN103168462B CN201180004309.2A CN201180004309A CN103168462B CN 103168462 B CN103168462 B CN 103168462B CN 201180004309 A CN201180004309 A CN 201180004309A CN 103168462 B CN103168462 B CN 103168462B
Authority
CN
China
Prior art keywords
image
exposure
likelihood score
pixel
mask
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201180004309.2A
Other languages
English (en)
Other versions
CN103168462A (zh
Inventor
平井义人
三浦健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Morpho Inc
Original Assignee
Morpho Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Morpho Inc filed Critical Morpho Inc
Publication of CN103168462A publication Critical patent/CN103168462A/zh
Application granted granted Critical
Publication of CN103168462B publication Critical patent/CN103168462B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/815—Camera processing pipelines; Components thereof for controlling the resolution by using a single image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

一种使用曝光条件不同的第1图像和第2图像生成合成图像的装置。该装置具有图像输入部(10)、似然度计算部(13)、曝光估计部(14)以及合成部(16)。图像输入部(10)输入第1图像和第2图像。似然度计算部(13)根据第1图像和第2图像的差分，计算各像素处的动态被摄体似然度。曝光估计部(14)根据动态被摄体似然度估计对第1图像和第2图像的曝光条件进行调合的曝光转换函数。合成部(16)使用曝光转换函数将第1图像和第2图像进行合成。

Description

图像合成装置 和图像合成方法
技术领域
本发明涉及图像合成装置、图像合成方法、图像合成程序以及记录介质。
背景技术
以往，作为图像合成装置，公知有进行高动态范围合成(HDR(High Dynamic Range)合成)的图像合成装置(参照专利文献1)。该装置通过对以不同的曝光条件依次进行拍摄的多个画面进行合成，在外观上扩大了视频信号的动态范围。由此，消除在逆光时等产生的“曝光过度”或“曝光不足”(亮度等级过高或过低的部分)。此外，在该装置中，与由于手抖而产生的多个画面之间的随着摄像时的时间经过的位置偏移对应，在进行了多个画面的各个坐标转换之后进行HDR合成。具体而言，使用图像的运动信息，并使用两个画面的公共区域部分进行HDR合成。由此，消除画面(摄像元件)相对于被摄体的位置偏移(画面抖动)。
现有技术文献
专利文献
专利文献1：日本特许3110797号公报
发明内容
发明所要解决的课题
但是，在被摄体为动态物体的情况下，在依次拍摄的多个图像中被摄体位置处于不同的位置。因此，在专利文献1记载的图像合成装置中，即使在被摄体移动而使得颜色发生变化的情况下，由于曝光不同，也被作为颜色发生变化的图像进行合成。因此，有可能不能生成适当的合成图像。在该技术领域中，期望即使在被摄体移动的情况下也能够生成适当的合成图像的图像合成装置、图像合成方法、图像合成程序以及存储有该图像合成程序的记录介质。
用于解决课题的手段
即，本发明的一个方面的图像合成装置是使用曝光条件不同的第1图像和第2图像生成合成图像的装置。该装置具有输入部、似然度计算部、曝光估计部以及合成部。输入部输入第1图像和第2图像。似然度计算部根据第1图像和第2图像的差分，计算各像素处的动态被摄体似然度。曝光估计部根据动态被摄体似然度估计对第1图像和第2图像的曝光条件进行调合的曝光转换函数。合成部使用曝光转换函数将第1图像和第2图像进行合成。
在该图像构成装置中，在对第1图像和第2图像的曝光进行调合之前，根据第1图像和第2图像的差分计算各像素处的动态被摄体似然度。并且，根据动态被摄体似然度估计对第1图像和第2图像的曝光条件进行调合的曝光转换函数。由此，在对曝光进行调合时考虑到动态被摄体似然度，因此能够排除例如可能会由于被摄体的运动而使得颜色发生变化的区域来调合曝光。因此，能够生成适当的合成图像。
在一个实施方式中，图像处理装置也可以还具有对第1图像和第2图像的像素值进行归一化的归一化部，似然度计算部根据归一化后的第1图像和第2图像的差分，计算各像素处的动态被摄体似然度。能够通过这样构成，适当地计算各像素处的动态被摄体似然度。
在一个实施方式中，也可以是似然度计算部使用通过对第1图像的分辨率分别进行分等级的变更而得到的多个第1处理图像、和通过对第2图像的分辨率分别进行分等级的变更而得到的多个第2处理图像，按照每个分辨率计算各像素的差分，并通过对按照每个分辨率得到的差分进行加权来计算各像素的动态被摄体似然度。能够通过这样构成，高精度地计算各像素的动态被摄体似然度。
在一个实施方式中，也可以是似然度计算部根据第1图像和第2图像的差分的可靠度、以及第1处理图像或第2处理图像的图像尺寸或分辨率，对按照每个分辨率得到的差分进行加权。能够通过这样构成，进一步高精度地计算各像素的动态被摄体似然度。
在一个实施方式中，也可以是曝光估计部根据各像素的动态被摄体似然度，选择用于导出曝光转换函数的取样点。能够通过这样构成，排除例如可能包含被摄体的运动的区域来选择用于导出曝光转换函数的取样点，因此能够高精度地估计曝光转换函数。因此，能够生成适当的合成图像。
在一个实施方式中，也可以是曝光估计部根据各像素的动态被摄体似然度，确定 用于导出曝光转换函数的取样点的权重。能够通过这样构成，对用于导出曝光转换函数的取样点设定与动态被摄体似然度对应的权重，因此能够高精度地估计曝光转换函数。因此，能够生成适当的合成图像。
在一个实施方式中，也可以是曝光估计部在各像素的动态被摄体似然度越高时，将用于导出曝光转换函数的取样点的权重确定得越小。能够通过这样构成，针对从包含被摄体的运动的可能性高的区域取得的用于曝光转换系数的取样点，将权重设定得较小，因此能够高精度地估计曝光转换函数。因此，能够生成适当的合成图像。
在一个实施方式中，也可以是合成部根据第1图像和第2图像的差分计算各像素处的动态被摄体似然度，并使用该动态被摄体似然度和曝光转换函数将第1图像和第2图像进行合成。能够通过这样构成，考虑被摄体的运动进行合成，因此能够生成适当的合成图像。
在一个实施方式中，也可以是合成部根据第1图像或第2图像的原来的亮度值的大小，生成表示第1图像和第2图像的像素值的合成比的亮度基础蒙板。并且，也可以是合成部根据第1图像和第2图像的差分，生成表示第1图像和第2图像的像素值的合成比的被摄体抖动蒙板。进而，还可以是合成部使亮度基础蒙板和被摄体抖动蒙板结合，生成对第1图像和第2图像的像素值进行合成的合成蒙板。
能够通过这样构成，在调合了曝光后的状态下，根据第1图像和第2图像的差分，生成与以亮度值为基准而合成的亮度基础蒙板不同的被摄体抖动蒙板。因此，能够用不同的处理仅将产生被摄体抖动的区域进行合成。因此，能够生成抑制了被摄体抖动的合成图像。
在一个实施方式中，也可以是合成部根据第1图像和第2图像的差分计算各像素处的动态被摄体似然度，并根据该动态被摄体似然度生成被摄体抖动蒙板。能够通过这样构成，根据动态被摄体似然度确定产生被摄体抖动的区域并生成被摄体抖动蒙板。
在一个实施方式中，也可以是合成部使用通过对第1图像的分辨率分别进行分等级的变更而得到的多个第1处理图像、和通过对第2图像的分辨率分别进行分等级的变更而得到的多个第2处理图像，按照每个分辨率计算各像素的差分，通过对按照每个分辨率得到的差分进行加权来计算各像素的动态被摄体似然度，并根据该动态被摄体似然度生成被摄体抖动蒙板。能够通过这样构成，高精度地计算各像素的动态被摄 体似然度。
在一个实施方式中，也可以是合成部检测动态被摄体似然度为预定阈值以下的像素相邻的区域，对各区域赋予识别标示，并按照每个区域生成被摄体抖动蒙板。通过这样构成，即使在图像内存在进行不同的运动的动态物体的情况下也能够适当地合成。
在一个实施方式中，也可以是合成部生成在第1图像和第2图像中强制性地选择亮度值低的像素值的第1蒙板、或在第1图像和第2图像中强制性地选择亮度值高的像素值的第2蒙板，作为被摄体抖动蒙板。能够通过这样构成，针对被摄体可能运动的区域，强制性地选择第1图像和第2图像中的任意一个图像。因此，能够避免由于被摄体运动而在合成后的图像中双重或三重地偏移显示被摄体的情况。
在一个实施方式中，也可以是合成部通过对亮度基础蒙板乘以使第1蒙板反转后的蒙板、或加上第2蒙板，生成合成蒙板。能够通过这样构成，生成适当地校正被摄体的抖动的合成蒙板。
在一个实施方式中，也可以是图像处理装置还具有取得第1图像与第2图像之间的像素的运动信息的运动信息取得部。并且，似然度计算部根据运动信息校正第1图像和第2图像，并使用校正后的第1图像和第2图像计算各像素的动态被摄体似然度。通过这样构成，即使在摄像元件相对于被摄体相对运动的情况下，也能够校正摄像元件的运动来计算各像素的动态被摄体似然度。
在一个实施方式中，也可以是第1图像为将曝光条件不同的图像彼此合成后的图像。能够通过这样构成，将曝光条件不同的多个图像依次进行合成来生成最终的合成图像。
此外，本发明的另一个方面的图像合成方法是使用曝光条件不同的第1图像和第2图像生成合成图像的方法。在该方法中，输入第1图像和第2图像。并且，根据第1图像和第2图像的差分计算各像素处的动态被摄体似然度。接着，根据动态被摄体似然度估计对第1图像和第2图像的曝光条件进行调合的曝光转换函数。进而，使用曝光转换函数将第1图像和第2图像进行合成。
此外，本发明的又一个方面的图像合成程序是使计算机工作，以使用曝光条件不同的第1图像和第2图像生成合成图像的程序。该程序使计算机作为输入部、似然度计算部、曝光估计部以及合成部工作。输入部输入第1图像和第2图像。似然度计算 部根据第1图像和第2图像的差分，计算各像素处的动态被摄体似然度。曝光估计部根据动态被摄体似然度估计对第1图像和第2图像的曝光条件进行调合的曝光转换函数。合成部使用曝光转换函数将第1图像和第2图像进行合成。
此外，本发明的再一个方面的记录介质是记录有图像合成程序的记录介质，该图像合成程序使计算机工作，以使用曝光条件不同的第1图像和第2图像生成合成图像。该程序使计算机作为输入部、似然度计算部、曝光估计部以及合成部工作。输入部输入第1图像和第2图像。似然度计算部根据第1图像和第2图像的差分，计算各像素处的动态被摄体似然度。曝光估计部根据动态被摄体似然度估计对第1图像和第2图像的曝光条件进行调合的曝光转换函数。合成部使用曝光转换函数将第1图像和第2图像进行合成。
根据本发明的其他方面的图像合成方法、图像合成程序以及记录介质，与上述图像合成装置起到相同的效果。
发明效果
根据本发明的各种方面以及实施方式，提供即使在被摄体移动的情况下也能够生成适当的合成图像的图像合成装置、图像合成方法、图像合成程序以及存储有该图像合成程序的记录介质。
附图说明
图1是搭载有一个实施方式的图像合成装置的便携终端的功能框图。
图2是搭载有图1的图像合成装置的便携终端的硬件结构图。
图3是示出图1所示的图像合成装置的预处理动作的流程图。
图4是说明运动检测的概要图。
图5是说明差分图像的概要图。
图6是说明使用多层分辨率导出差分图像的例子的概要图。
图7是示出曝光转换函数的一例的曲线图。
图8是说明亮度转换函数的概要图。
图9是示出图1所示的图像合成装置的合成动作的流程图。
图10是说明合成处理流程的概要图。
图11是说明合成蒙板的概要图。(A)是示出曝光转换函数的一例的曲线图。(B) 是示出接合曝光转换函数彼此时的权重的一例的曲线图。
图12是说明亮度基础蒙板的概要图。(A)是输入图像的一例。(B)是亮度基础蒙板的一例。
图13是说明差分图像的被摄体抖动区域的标示的概要图。(A)是差分图像的一例。(B)是进行标示后的差分图像的一例。
图14是说明被摄体抖动蒙板的生成处理流程的概要图。
图15是说明合成蒙板的生成处理流程的概要图。
具体实施方式
以下，参照附图说明本发明的实施方式。另外，在各图中，对相同或相当部分标注相同的标号，并省略重复说明。
本实施方式的图像合成装置是对曝光条件不同的多个图像进行合成来生成一个合成图像的装置。该图像合成装置例如在进行以下的HDR合成的情况下采用：对以不同的曝光条件依次拍摄的多个图像进行合成，在外观上扩大视频信号的动态范围。本实施方式的图像合成装置适合被搭载到例如移动电话、数字照相机、PDA(Personal Digital Assist：个人数字助理)等资源存在限制的移动终端，但是不限于此，也可以被搭载到例如通常的计算机系统。另外，以下考虑到说明理解的容易性，作为本发明的图像合成装置的一例，对搭载到具有照相机功能的便携终端的图像合成装置进行说明。
图1是具有本实施方式的图像合成装置1的便携终端2的功能框图。图1所示的便携终端2是例如由用户携带的移动终端，具有图2所示的硬件结构。图2是便携终端2的硬件结构图。如图2所示，便携终端2在物理上构成为包含以下部分等的通常的计算机系统：CPU(Central Processing Unit：中央处理器)100、ROM(Read Only Memory：只读存储器)101和RAM(Random Access Memory：随机存取存储器)102等主存储装置、照相机或键盘等输入器件103、显示器等输出器件104、硬盘等辅助存储装置105。通过在CPU 101、ROM 101、RAM 102等硬件上读入预定的计算机软件，根据CPU 100的控制使输入器件103和输出器件104动作，并且进行主存储装置或辅助存储装置105中的数据的读出和写入，由此实现后述的便携终端2和图像合成装置1的各功能。另外，对于上述说明，作为便携终端2的硬件结构进行说明，但 是图像合成装置1也可以构成为包含CPU 100、ROM 101和RAM 102等主存储装置、输入器件103、输出器件104、辅助存储装置105等的通常的计算机系统。此外，便携终端2也可以具有通信模块等。
如图1所示，便携终端2具有照相机20、图像合成装置1以及显示部21。照相机20具有拍摄图像的功能。作为照相机20，采用了例如CMOS的像素传感器等。照相机20具有连续摄像功能，从例如利用用户操作等指定的时刻起以预定的间隔进行反复摄像。即，照相机20不仅具有每次取得一张静态图像还具有每次取得多张静态图像(连续的帧图像)的功能。并且，照相机20具有变更连续的各帧图像的曝光条件进行拍摄的功能。即，利用照相机20连续拍摄的各图像成为曝光条件各自不同的图像。照相机20具有例如按照每次摄像都将所拍摄的帧图像输出到图像合成装置1的功能。
图像合成装置1具有图像输入部10、预处理部11、运动校正部15以及合成部16。
图像输入部10具有输入利用照相机20拍摄的帧图像的功能。图像输入部10具有例如每次摄像都输入利用照相机20拍摄的帧图像的功能。此外，图像输入部10具有将输入帧图像保存到便携终端2所具备的存储装置中的功能。
预处理部11进行HDR合成前的预处理。预处理部11具有运动信息取得部12、似然度计算部13以及曝光估计部14。
运动信息取得部12具有取得图像之间的像素的运动信息的功能。例如，在将输入帧图像设为第1图像和第2图像时，取得第1图像与第2图像之间的像素的运动信息。采用了例如运动矢量作为运动信息。此外，运动信息取得部12在利用图像输入部10输入了3个以上的输入图像的情况下，也可以按照曝光顺序对输入图像进行分类，在曝光条件相近的输入图像之间取得运动信息。能够通过对曝光条件相近的图像彼此进行比较来检测运动，避免运动的检测精度由于图像之间的曝光的差异而降低的情况。并且，运动信息取得部12也可以从多个输入图像中，选择对运动信息进行调合的基准图像。作为基准图像，例如采用多个输入图像中的有效像素最多的图像。此处，所谓有效像素，是没有曝光不足或曝光过度的像素。曝光不足或曝光过度以亮度值为基准进行判定。此外，运动信息取得部12在使用两个输入图像取得运动信息的情况下，也可以从两个输入图像中的曝光较高的输入图像提取特征点，并从曝光较低 的图像求出与该特征点对应的对应点。能够通过这样动作避免如下情况：在曝光较低的图像中提取为特征点的点在曝光较高的图像中曝光过度，由此不能取得运动信息。另外，也可以利用陀螺仪传感器等取得运动信息。运动信息取得部12具有将运动信息输出到似然度计算部13的功能。
似然度计算部13具有计算各像素处的被摄体的运动似然度(动态被摄体似然度)的功能。动态被摄体似然度越大，意味着在被摄体中存在运动的可能性越高，成为合成图像抖动的区域的可能性越高。似然度计算部13使用运动信息校正输入图像之间的画面的运动。之后，似然度计算部13在两个输入图像中使对应的像素的像素值归一化。例如，似然度计算部13根据附近像素的像素值求出局部三值模式(LTP：Local Ternary Patterns)。作为像素值，采用了RGB三色，作为附近像素采用了附近24个像素。并且，似然度计算部13使用归一化后的图像之间的差分计算动态被摄体似然度。例如，计算归一化后的像素值的差分、即关注像素的LTP中的符号的不一致比例，作为关注像素的动态被摄体似然度。
此外，似然度计算部13也可以使两个输入图像进行多重分辨率化来计算动态被摄体似然度。例如，似然度计算部13通过对各输入图像(第1图像和第2图像)的分辨率分别进行分等级的变更，生成分辨率不同的多个图像(第1处理图像和第2处理图像)。并且，似然度计算部13在同一分辨率中，生成第1处理图像和第2处理图像的差分图像。该差分图像是第1处理图像与第2处理图像的差分，具体而言是像素值的差分。并且，似然度计算部13通过对按照每个分辨率得到的差分图像进行加权来计算各像素的动态被摄体似然度。作为权重(可靠度)，采用了各像素的LTP中的符号的不一致比例。例如，在LTP中，有意采用存在差的对的数量。此外，权重也可以利用第1处理图像或第2处理图像的图像尺寸或分辨率被进一步加权。即，也可以是图像尺寸越大或分辨率越大，越增大权重。似然度计算部13具有将各像素的动态被摄体似然度输出到曝光估计部14的功能。
曝光估计部14具有估计对输入图像之间的曝光条件进行调合的曝光转换函数的功能。所谓曝光转换函数，是指对各输入图像的曝光进行曝光转换而转换为与基准图像相当的函数。曝光估计部14在输入了3个以上的输入图像的情况下，也可以在曝光条件相近的输入图像之间来调合曝光条件。能够通过对曝光条件相近的图像彼此进行比较来调合曝光，避免估计的精度由于图像之间的曝光的差异而降低的情况。
曝光估计部14例如使用运动信息来校正输入画面之间的运动。并且，在运动校正后的两个输入图像中，根据同一部位对亮度值进行取样以作为组，并描绘其关系。作为输入图像的坐标，采用了例如哈尔顿(Halton)数列。另外，曝光估计部14也可以不采用预定值以上的亮度值或预定值以下的亮度值作为取样点。例如，采用包含在10～245的范围内的亮度值作为取样点。曝光估计部14例如通过对描绘的结果进行拟合来估计曝光转换函数。例如，在设第1图像的取样点i处的原来的亮度值为Ki、曝光转换函数为f(ki)、第2图像的取样点i处的原来的亮度值为Ui的情况下，也可以使用以下的误差函数e，利用高斯-牛顿法(Gauss-Newton法)进行拟合。
【数学式1】
e＝∑{(f(Ki)-Ui)2} …(1)
另外，曝光估计部14根据各像素的动态被摄体似然度，进行用于导出曝光转换函数的取样。曝光估计部14例如根据各像素的动态被摄体似然度选择取样点。例如，曝光估计部14分等级地设置阈值，并从动态被摄体似然度较小的像素对亮度值进行取样。此外，曝光估计部14也可以根据动态被摄体似然度，对取样点赋予权重。例如，也可以使以下的误差函数e最小化来进行拟合。
【数学式2】
e＝∑{wi·(f(Ki)-Ui)2} …(2)
在式2中，wi是权重。此处，动态被摄体似然度越高的像素，权重Wi设定得越小。由此，曝光估计部14根据各像素的动态被摄体似然度计算曝光转换函数，由此能够使得连可靠度较低的取样点的数据也不对曝光转换函数的导出产生影响。另外，也可以将曝光转换函数变更为使得转换后的输入图像收敛于可表现的范围内。
运动校正部15具有使用运动信息校正输入画面之间的运动的功能。合成部16使用合成蒙板将输入图像彼此、或者已经合成的图像和输入图像进行合成。合成蒙板是将合成(α混合)图像彼此时的合成比(权重)进行图像化后的蒙板。合成部16在具有3个以上的输入图像的情况下，首先依照合成蒙板合成两个输入图像，并生成合成图像与剩余的输入图像的合成蒙板来进行合成。合成部16对亮度基础蒙板和被摄体抖动蒙板进行结合来生成合成蒙板。亮度基础蒙板是如下的蒙板：用于根据亮度值确定将图像彼此合成时的权重，由此避免在合成中使用曝光过度或曝光不足的区 域。被摄体抖动蒙板是如下的蒙板：在对被摄体移动的图像进行了合成时，用于避免2重3重地重叠显示被摄体的现象(重影现象)。
合成部16根据输入图像的原来的亮度值计算权重，并生成亮度基础蒙板。权重例如用以下的计算式求出。
【数学式3】
f(x)＝1.0 (x＜A)
f ( x ) = B - x B - A ( A < = x < B )
f(x)＝0.0 (B＜＝x)
利用上述计算式，适当地确定权重，并且减轻亮度的不连续性。另外，为了减轻空间上的不连续性，也可以对合成蒙板实施模糊处理。
合成部16根据输入图像之间的差分计算权重，并生成被摄体抖动蒙板。合成部16根据输入图像之间的像素值的差分计算动态被摄体似然度。对于输入图像之间的像素值的差分和动态被摄体似然度，能够通过与上述似然度计算部13进行同样的动作来得到。并且，似然度计算部13检测动态被摄体似然度为预定阈值以下的像素相邻的被摄体抖动区域，对各被摄体抖动区域赋予识别标示，并针对每个被摄体抖动区域生成被摄体抖动蒙板。另外，预定阈值能够根据要求规格适当进行变更。在将阈值设定得较大时，能够容易地提取连续区域。通过针对每个被摄体抖动区域生成蒙板，能够针对每个被摄体抖动区域从信息量较多的图像选择像素，而回避曝光过度区域或曝光不足区域。即，作为该被摄体抖动蒙板，具有在待合成的图像彼此中强制性选择亮度值较低的像素值的lo_mask(第1蒙板)、在待合成的图像彼此中强制性选择亮度值较高的像素值的hi_mask(第2蒙板)。合成部16基本上生成使得从信息量多的高曝光的图像中选择像素值的第2蒙板。但是，合成部16在高曝光的图像中被摄体抖动区域受到曝光过度区域影响的情况下，生成第1蒙板。具体而言，在满足以下任意一个条件的情况下生成第1蒙板。作为第1条件，是在待合成的两个图像中，高曝光的图像的曝光过度的面积大于低曝光的图像的曝光不足区域的面积的情况。作为第2条件，是在待合成的两个图像中的高曝光的图像中，被摄体抖动区域内的曝光过度区域的面积为10％以上的情况。另外，也可以将以下情况作为条件：在待合成的两个图像中的高曝光的图像中，与被摄体抖动区域相邻的区域为曝光过度区域。
合成部16使亮度基础蒙板和被摄体抖动蒙板结合来生成合成蒙板。例如，合成部16对亮度基础蒙板乘以使第1蒙板反转后的蒙板。此外，合成部16对亮度基础蒙板加上第2蒙板。合成部16将所有输入图像进行合成，并将最终的合成图像输出到显示部21。显示部21对合成图像进行显示。作为显示部21，采用了例如显示器装置。
接着，说明图像合成装置1的动作。图3是说明HDR合成的预处理的流程图。在如下情况下开始图3所示的控制处理：例如由用户选择了HDR合成模式，且照相机20对多个图像进行了连续拍摄。
首先，图像输入部10输入图像帧(S10)。以下，考虑到说明理解的容易性，设为输入了5个输入图像I0～I4来进行说明。在S10的处理结束时，转移到曝光顺序分类处理(S12)。
在S12的处理中，运动信息取得部12按照曝光顺序对输入图像I0～I4进行分类。运动信息取得部12使用例如亮度值的平均值进行分类。此处，输入图像I0～I4的数字越小，亮度值越小。此时，输入图像I0～I4按照数字的顺序被分类。在S12的处理结束时，转移到运动信息取得处理(S14)。
在S14的处理中，运动信息取得部12取得输入图像I0～I4各个图像之间的运动信息。图4是说明运动信息的取得处理的概要图。如图4所示，从左向右按照平均亮度值变大的方式依次排列输入图像I0～I4。首先，运动信息取得部12从输入图像I0～I4中设定基准图像。此处，将输入图像I2设为基准图像。接着，取得曝光条件相近的输入图像彼此的运动信息(例如输入图像I0和输入图像I1、输入图像I1和输入图像I2等)。运动信息取得部12在两个输入图像中的曝光较高的输入图像中提取特征点，并从曝光较低的输入图像提取针对所提取的特征点的对应点。能够根据该运动信息，求出将曝光条件接近的输入图像彼此转换为同一维度的坐标的转换矩阵。另外，在图4中，示出了在曝光条件接近的输入图像彼此中，用于将曝光较低的图像调合到曝光较高的图像的转换矩阵m10、m21、m32、m43。接着，使用转换矩阵m10、m21、m32、m43，计算使基准图像I2以外的其他输入图像I0、I1、I3、I4的坐标变形为与基准图像I2相当的坐标的转换矩阵。如图4所示，使输入图像I0转换为基准图像I2的转换矩阵为m10*m21。使输入图像I1转换为基准图像I2的转换矩阵为m10。使输入图像I3转换为基准图像I2的转换矩阵为(m32)-1。使输入图像I4转换为基准图像I2的转换矩阵为(m32*m43)-1。以下将转换后的输入图像设为I0 ’～I4 ’进行说明。在 S14的处理结束时，转移到动态被摄体似然度计算处理(S16)。
在S16的处理中，似然度计算部13计算输入图像I0 ’～I4 ’各个图像之间的动态被摄体似然度。图5是计算输入图像I0 ’与输入图像I1 ’的图像之间的动态被摄体似然度的例子。另外，在图5中，示出了使用R值作为像素值的情况。如图5所示，似然度计算部13取得输入图像I0 ’的关注像素(R值＝42)的附近8个像素的像素值(R值)。并且，使用关注像素的像素值和附近8个像素的像素值进行归一化。例如使用LTP。如果关注像素的像素值与附近8个像素的像素值的差在±5的范围内则设为0，在大于+5的情况下设为1，在小于-5的情况下设为-1。似然度计算部13还针对输入图像I1 ’同样地进行归一化。在图中，在输入图像I1 ’的与输入图像I0 ’的关注像素对应的像素处进行了归一化。接着，在对归一化后的像素的像素值进行了比较时，可知产生了差分。根据差分的大小(标号的不一致程度)表示为使该像素的颜色从黑变化为白的图像是差分图像X。该差分图像是各像素的动态被摄体似然度进行了图像化的图像。另外，不限于附近8个像素，也可以是附近24个像素。此外，不仅限于R值，对于G值和B值也可以同样地进行处理。
为了提高在差分图像X的区域C1中示出的平滑区域的动态被摄体似然度的精度，似然度计算部13也可以使用多重分辨率求出动态被摄体似然度。图6是使用多重分辨率求出动态被摄体似然度的一例。首先，似然度计算部13生成对输入图像I0 ’和输入图像I1 ’的分辨率进行了分等级的变更后的多个图像。并且，用相同的分辨率生成差分图像。该差分图像是单纯减去了像素值的图像。在图6中，示出了使输入图像I0 ’和输入图像I1 ’按照6个等级进行了多重化的情况。各个差分图像是X1～X6，数字越大，则是分辨率越低的差分图像。此外，分辨率越低，图像尺寸越小。用可靠度对该差分图像进行加权来计算最终的差分图像。可靠度例如使用对在上述LTP的差分中存在有意的差的对的数量乘上了图像尺寸(或分辨率)而得到的值。例如，在图5所示的LTP的情况下，存在有意的差的对的数量为1。由此，按照每个像素将对的数量与图像尺寸相乘，计算与差分图像X1～X6对应的权重图像(将权重图像化后的图像)。并且，使用差分图像X1～X6和权重图像计算最终的差分图像。似然度计算部13用与上述方法相同的方法计算输入图像I1 ’～I4 ’的差分图像。在S16的处理结束时，转移到曝光转换函数估计处理(S18)。
在S18的处理中，曝光估计部14估计曝光转换函数。曝光估计部14在设转换前 的亮度值为x、转换后的亮度值为y时，能够用以下的数学式表示曝光转换函数。
【数学式4】
y＝a·xb
此处，(a、b)是曝光转换参数。能够通过导出曝光转换参数(a、b)求出曝光转换函数。以下，对求出运动校正后的输入图像I0 ’和输入图像I1 ’之间的曝光转换函数的情况进行说明。曝光估计部14在输入图像的点(x，y)处，对曝光较低的输入图像I0 ’的亮度值和曝光较低的输入图像I1 ’的亮度值的组进行一些取样，并描绘其关系。此处，根据在S16的处理中取得的差分图像选择进行取样的点。例如，设定成不从动态被摄体似然度高的区域进行取样。即，设定为从动态被摄体似然度低的区域进行取样。并且，例如动态被摄体似然度越高则分配越低的权重，使用式2估计曝光转换函数。由此，进行例如图7所示的拟合。似然度计算部13用与上述方法相同的方法估计输入图像I1 ’～I4 ’之间的曝光转换函数。另外，也可以排除掉亮度值接近0的数据或接近255的数据。
图8是说明上述曝光转换函数的估计处理的概要图。另外，在图8中，示出了在曝光条件接近的输入图像之间，用于将曝光低的图像调合到曝光高的图像的曝光转换参数(a10、b10)、(a21、b21)、(a32、b32)、(a43、b43)。可以通过将曝光最低的输入图像I0 ’的曝光转换参数(A0，B0)的A0设定为1.0以使最终的合成图像收敛在可表现的范围内，从而使得转换结果不超过1.0。此处，将输入图像I0 ’的曝光转换后的图像显示为输入图像I0 ”。此外，在设基准图像I2 ’的相对于曝光最低的输入图像I0 ’的曝光转换参数为(A2，B2)时，可以通过将A0设定为1.0同时将B2设定为1.0，从而设定为在增益为1/A2时颜色与输入图像相同。似然度计算部13按照每个RGB通道分别进行上述处理。在S18的处理结束时，结束图3所示的预处理。
以上结束图3所示的控制处理。通过执行图3所示的控制处理，能够在估计曝光转换函数前，通过检测被摄体抖动，避免从被摄体抖动区域进行取样，或通过加权来减小从被摄体抖动区域取样的数据的影响。因此，能够高精度地估计曝光转换函数。此外，如果是以往的HDR技术，如果不进行曝光调合，则不能正确地进行被摄体抖动的校正，并且反之如果不进行被摄体抖动的修正，则不能正确地进行曝光调合。但是，能够通过在估计曝光转换函数前简易地检测被摄体抖动(被摄体的运动)，消除上述僵持关系。
接着，说明图像合成装置1的合成动作。图9是说明HDR合成的流程图。例如在图3所示的控制处理结束时，开始图9所示的控制处理。
如图9所示，运动校正部15实际地校正运动(S20)。在该处理中，与图3的S14的处理同样地，运动校正部15使用转换矩阵校正曝光转换后的输入图像I0 ”～I4 ”的运动。另外，也可以根据要求的精度使用子像素插值算法等。在S20的处理结束后，转移到亮度基础蒙板生成处理和被摄体抖动区域提取处理(S22和S24)。
在S22的处理中，合成部16生成亮度基础蒙板。图10是说明合成处理流程的概要图。如图10所示，通过从曝光低的输入图像I0 ”起依次置换输入图像I1 ”～I4 ”来合成图像。即，最初生成用于确定对于输入图像I0 ”以怎样的程度合成输入图像I1 ”的亮度基础蒙板。该亮度基础蒙板根据输入图像I1 ”的原来的亮度值来计算权重。例如，将曝光过度区域附近的权重设为零。通过这样设定权重，并以将曝光高的图像重叠到曝光低的图像的方式进行合成，能够对于对象的像素必然地选择信息量多的输入图像。图11的(A)是示出像素值相对于输入亮度的关系的曲线图。如图11的(A)所示，函数f0～f3是表示根据亮度值采用哪个图像的像素值的曲线图。函数f0～f3被应用到数字越大曝光越大的图像。例如，在输入曝光最低的输入图像I0 ”时，应用函数f0并采用所有的像素值。接着，在输入了输入图像I1 ”时，应用函数f0和函数f1。因此，在S0～S5的亮度值的范围内，采用输入图像I1 ”，在S6以上的亮度值的范围内，采用输入图像I0 ”。S5～S6的亮度值的范围采用以(B)所示的权重进行混合后的合成值。另外，为了方便省略了γ校正。接着在输入了输入图像I2 ”时，应用函数f0～f2。因此，在S0～S3的亮度值的范围内，采用输入图像I2 ”，在S4～S5的亮度值的范围内，采用输入图像I1 ”，在S6以上的亮度值的范围内，采用输入图像I0 ”。S3～S4以及S5～S6的亮度值的范围采用以(B)所示的权重进行混合后的合成值。接着在输入了输入图像I3 ”时，应用函数f0～f3。因此，在S0～S1的亮度值的范围内，采用输入图像I3 ”，在S2～S3的亮度值的范围内，采用输入图像I2 ”，在S4～S5的亮度值的范围内，采用输入图像I1 ”，在S6以上的亮度值的范围内，采用输入图像I0 ”。S1～S2、S3～S4以及S5～S6的亮度值的范围采用以(B)所示的权重进行混合后的合成值。由此，优先采用曝光高的图像。此外，针对曝光过度区域采用曝光低的图像，并且将边界部分平滑地混合。在图12中示出对上述图11的(A)所示的曲线图进行图像化后的亮度基础蒙板的一例。图12的(A)示出输入图像、(B)是该输入图像 的亮度基础蒙板。在图12的(B)中，在100％利用输入图像的像素值的情况下表现为白、在没有100％利用输入图像的像素值的情况下表现为黑。在S22的处理结束时，转移到合成蒙板生成处理(S32)。
另一方面，在S24的处理中，合成部16提取被摄体抖动区域。例如，合成部16与图3的S16的处理同样地计算差分图像，并提取动态被摄体似然度为预定值以上的区域作为被摄体抖动区域。图13的(A)是包含被摄体抖动区域的差分图像的一例。在S24的处理结束时，转移到标示处理(S26)。
在S26的处理中，合成部16对被摄体抖动区域进行标示。合成部16对连续的被摄体抖动区域设定一个标示Rn。图13的(B)是对连续区域进行标示后的例子。在S26的处理结束时，转移到各区域的基准图像的选择处理(S28)。
在S28的处理中，合成部16针对每个被摄体抖动区域设定基准图像。合成部16基本上优先将高曝光的图像作为基准图像。例如，在将输入图像I0 ”和输入图像I1 ”进行合成的情况下，选择输入图像I1 ”作为基准图像。但是，在输入图像I1 ”中被摄体抖动区域受曝光过度区域影响的情况下，选择输入图像I0 ”作为基准图像。在S28的处理结束时，转移到被摄体抖动蒙板生成处理(S30)。
在S30的处理中，合成部16针对每个被摄体抖动区域生成被摄体抖动蒙板。合成部16在将高曝光图像优先作为基准图像的情况下生成第2蒙板。另一方面，在将低曝光图像优先作为基准图像的情况下生成第1蒙板。图14是说明S24～S30的一系列处理的概要图。如图14所示，在将输入图像I0 ”和输入图像I1 ”进行合成时，求出差分图像X，并按照差分图像的每个区域，生成第1蒙板(lo_mask)或第2蒙板(hi_mask)。即，针对被摄体运动的区域，通过使用被摄体抖动蒙板仅从一张图像输入像素值，由此能够避免上述重影现象。在S30的处理结束时，转移到合成蒙板生成处理(S32)。
在S32的处理中，合成部16根据亮度基础蒙板和被摄体抖动蒙板生成合成蒙板。图15是说明合成蒙板的生成处理的概要图。如图15所示，对使lo_mask反转后的图像乘以亮度基础蒙板。此外，对hi_mask加上亮度基础蒙板。通过这样结合，生成合成蒙板。在S32的处理结束时，转移到合成处理(S34)。
在S34的处理中，合成部16依照在S32的处理中生成的合成蒙板进行合成处理。另外，在用权重a将已合成的图像的亮度值P0和应用了曝光转换函数的输入图像的 亮度值P1进行合成的情况下，合成后的亮度值P2能够用以下的数学式求出。
【数学式5】
P2＝(1-a)·P0+a·P1
此时，针对曝光最低的图像直接将整个区域合成。在S34的处理结束时，转移到输入图像确认处理(S36)。
在S36的处理中，判定合成部16是否将所有的输入图像进行了合成。在没有合成所有输入图像的情况下，转移到S22和S24的处理。并且，例如，如图10所示，进行输入图像I0 ”和输入图像I1 ”的合成图像O0、与新的入图像I0 ”的合成处理。另一方面，在将所有输入图像进行了合成的情况下，结束图9所示的控制处理。
通过执行图9所示的控制处理，生成校正了被摄体抖动的HDR合成图像。
接着，对用于使便携终端(计算机)2作为上述图像合成装置1发挥功能的图像合成程序进行说明。
图像合成程序具有主模块、输入模块以及运算处理模块。主模块是统一控制图像处理的部分。输入模块使便携终端2动作以取得输入图像。运算处理模块具有运动信息取得模块、似然度计算模块、曝光估计模块、运动校正模块以及合成模块。通过执行主模块、输入模块以及运算处理模块而实现的功能分别与上述图像合成装置1的图像输入部10、运动信息取得部12、似然度计算部13、曝光估计部14、运动校正部15以及合成部16的功能相同。
图像合成程序例如利用ROM等记录介质或半导体存储器来提供。此外，图像合成程序也可以作为数据信号经由网络来提供。
以上，根据本实施方式的图像合成装置1、图像合成方法以及图像合成程序，在将第1图像和第2图像的曝光进行调合之前，根据第1图像和第2图像的差分计算各像素处的被摄体的运动的似然度。接着，根据被摄体的运动的似然度估计对第1图像和第2图像的曝光条件进行调合的曝光转换函数。由此，在对曝光进行调合时考虑到被摄体的运动的似然度，因此能够排除例如可能会由于被摄体的运动而使得颜色发生了变化的区域来调合曝光。因此，能够生成适当的合成图像。并且，能够使用被摄体抖动蒙板避免被摄体抖动(重影的显示)的产生，从而成为清楚的图像。
另外，上述实施方式示出本发明的图像合成装置的一例。本发明的图像合成装置不限于实施方式的图像合成装置1，可以在不变更各权利要求所记载的主旨的范围 内，对实施方式的图像合成装置进行变形、或应用到其他图像合成装置。
例如，在上述各实施方式中，对照相机20取得帧图像的例子进行了说明，但是可以是从其他设备经由网络发送的图像。此外，在不对合成图像进行显示而仅记录的情况下，也可以不具有显示部21。
此外，可以使上述各实施方式的图像合成装置1与手抖校正装置一起工作。
标号说明
1：图像合成装置；10：图像输入部(输入部)；12：运动信息取得部；13：似然度计算部；14：曝光估计部；15：运动校正部；16：合成部。

Claims (16)

1.一种图像合成装置，其使用曝光条件不同的第1图像和第2图像生成合成图像，在该图像合成装置中，具有：
输入部，其输入所述第1图像和所述第2图像；
似然度计算部，在估计对所述第1图像和所述第2图像的曝光条件进行调合的曝光转换函数之前，所述似然度计算部根据所述第1图像和所述第2图像的差分，计算各像素处的第1动态被摄体似然度；
曝光估计部，其根据所述第1动态被摄体似然度估计所述曝光转换函数；
合成部，其根据使用所述曝光转换函数进行曝光转换而得到的第1图像和第2图像的差分，计算各像素处的第2动态被摄体似然度，使用所述第2动态被摄体似然度和所述曝光转换函数将所述第1图像和所述第2图像进行合成。
2.根据权利要求1所述的图像合成装置，其中，
所述似然度计算部对所述第1图像和所述第2图像的像素值进行归一化，并根据归一化后的所述第1图像和所述第2图像的差分，计算各像素处的所述第1动态被摄体似然度。
3.根据权利要求1或2所述的图像合成装置，其中，
所述似然度计算部使用通过对所述第1图像的分辨率分别进行分等级的变更而得到的多个第1处理图像、和通过对所述第2图像的分辨率分别进行分等级的变更而得到的多个第2处理图像，按照每个分辨率计算各像素的差分，并通过对按照每个分辨率得到的差分进行加权来计算各像素的所述第1动态被摄体似然度。
4.根据权利要求3所述的图像合成装置，其中，
所述似然度计算部根据所述第1图像和所述第2图像的差分的可靠度、以及所述第1处理图像或所述第2处理图像的图像尺寸或分辨率，对按照每个分辨率得到的差分进行加权。
5.根据权利要求1或2所述的图像合成装置，其中，
所述曝光估计部根据各像素的所述第1动态被摄体似然度，选择用于导出所述曝光转换函数的取样点。
6.根据权利要求1或2所述的图像合成装置，其中，
所述曝光估计部根据各像素的所述第1动态被摄体似然度，确定用于导出所述曝光转换函数的取样点的权重。
7.根据权利要求6所述的图像合成装置，其中，
所述曝光估计部在各像素的所述第1动态被摄体似然度越高时将用于导出所述曝光转换函数的取样点的权重确定得越小。
8.根据权利要求1或2所述的图像合成装置，其中，
所述合成部根据所述第1图像或所述第2图像的原来的亮度值的大小，生成表示所述第1图像和所述第2图像的像素值的合成比的亮度基础蒙板，
所述合成部根据所述第1图像和所述第2图像的差分，生成表示所述第1图像和所述第2图像的像素值的合成比的被摄体抖动蒙板，
所述合成部使所述亮度基础蒙板和所述被摄体抖动蒙板结合，生成将所述第1图像和所述第2图像的像素值进行合成的合成蒙板。
9.根据权利要求8所述的图像合成装置，其中，
所述合成部根据所述第2动态被摄体似然度生成所述被摄体抖动蒙板。
10.根据权利要求9所述的图像合成装置，其中，
所述合成部使用通过对所述第1图像的分辨率分别进行分等级的变更而得到的多个第1处理图像、和通过对所述第2图像的分辨率分别进行分等级的变更而得到的多个第2处理图像，按照每个分辨率计算各像素的差分，并通过对按照每个分辨率得到的差分进行加权来计算各像素的所述第2动态被摄体似然度，根据该第2动态被摄体似然度生成所述被摄体抖动蒙板。
11.根据权利要求10所述的图像合成装置，其中，
所述合成部检测所述第2动态被摄体似然度为预定阈值以下的像素相邻的区域，对各区域赋予识别标示，并按照每个区域生成所述被摄体抖动蒙板。
12.根据权利要求8所述的图像合成装置，其中，
所述合成部生成在所述第1图像和所述第2图像中强制性地选择亮度值低的像素值的第1蒙板、或在所述第1图像和所述第2图像中强制性地选择亮度值高的像素值的第2蒙板，作为所述被摄体抖动蒙板。
13.根据权利要求12所述的图像合成装置，其中，
所述合成部通过对所述亮度基础蒙板乘以使所述第1蒙板反转后的蒙板、或加上所述第2蒙板，生成所述合成蒙板。
14.根据权利要求1或2所述的图像合成装置，其中，
该图像合成装置还具有取得所述第1图像与所述第2图像之间的像素的运动信息的运动信息取得部，
所述似然度计算部根据所述运动信息校正所述第1图像和所述第2图像，并使用校正后的所述第1图像和所述第2图像计算各像素的所述第1动态被摄体似然度。
15.根据权利要求1或2所述的图像合成装置，其中，
所述第1图像由将曝光条件不同的图像彼此合成而得到的图像构成。
16.一种图像合成方法，使用曝光条件不同的第1图像和第2图像生成合成图像，在该图像合成方法中，
输入所述第1图像和所述第2图像，
在估计对所述第1图像和所述第2图像的曝光条件进行调合的曝光转换函数之前，根据所述第1图像和所述第2图像的差分计算各像素处的第1动态被摄体似然度，
根据所述第1动态被摄体似然度估计所述曝光转换函数，
根据使用所述曝光转换函数进行曝光转换而得到的第1图像和第2图像的差分，计算各像素处的第2动态被摄体似然度，使用所述第2动态被摄体似然度和所述曝光转换函数将所述第1图像和所述第2图像进行合成。
CN201180004309.2A 2011-10-14 2011-10-14 图像合成装置和图像合成方法 Active CN103168462B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2011/073713 WO2013054446A1 (ja) 2011-10-14 2011-10-14 画像合成装置、画像合成方法、画像合成プログラム及び記録媒体

Publications (2)

Publication Number Publication Date
CN103168462A CN103168462A (zh) 2013-06-19
CN103168462B true CN103168462B (zh) 2016-09-28

Family

ID=48081519

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201180004309.2A Active CN103168462B (zh) 2011-10-14 2011-10-14 图像合成装置和图像合成方法
CN201280019344.6A Active CN103493473B (zh) 2011-10-14 2012-08-31 图像处理装置、图像处理方法、图像处理程序和记录介质

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201280019344.6A Active CN103493473B (zh) 2011-10-14 2012-08-31 图像处理装置、图像处理方法、图像处理程序和记录介质

Country Status (6)

Country Link
US (2) US9129414B2 (zh)
EP (2) EP2688288B1 (zh)
JP (1) JP5365823B2 (zh)
KR (2) KR101609491B1 (zh)
CN (2) CN103168462B (zh)
WO (2) WO2013054446A1 (zh)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101896026B1 (ko) * 2011-11-08 2018-09-07 삼성전자주식회사 휴대 단말기에서 움직임 블러를 생성하는 장치 및 방법
JP5713885B2 (ja) * 2011-12-26 2015-05-07 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体
CN108107571B (zh) * 2013-10-30 2021-06-01 株式会社摩如富 图像处理装置及方法及非暂时性计算机可读记录介质
US9576341B2 (en) * 2013-10-30 2017-02-21 Ricoh Imaging Company, Ltd. Image-processing system, imaging apparatus and image-processing method
US9210335B2 (en) * 2014-03-19 2015-12-08 Konica Minolta Laboratory U.S.A., Inc. Method for generating HDR images using modified weight
JP6598479B2 (ja) * 2014-03-31 2019-10-30 キヤノン株式会社 画像処理装置、その制御方法、および制御プログラム
JP5847228B2 (ja) * 2014-04-16 2016-01-20 オリンパス株式会社 画像処理装置、画像処理方法及び画像処理プログラム
WO2015196122A1 (en) * 2014-06-19 2015-12-23 Contentguard Holdings, Inc. Rendering content using obscuration techniques
CN105472263B (zh) * 2014-09-12 2018-07-13 聚晶半导体股份有限公司 影像撷取方法及使用此方法的影像撷取设备
US20160232672A1 (en) * 2015-02-06 2016-08-11 Qualcomm Incorporated Detecting motion regions in a scene using ambient-flash-ambient images
JP6485204B2 (ja) * 2015-05-14 2019-03-20 リコーイメージング株式会社 撮影装置、画像ファイル生成装置、画像ファイル処理装置及びプログラム
JP6648914B2 (ja) * 2015-06-16 2020-02-14 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US9819873B2 (en) * 2015-06-25 2017-11-14 Canon Kabushiki Kaisha Image-processing apparatus and image-processing method
CN105187730B (zh) * 2015-07-31 2018-08-07 上海兆芯集成电路有限公司 高动态范围图像产生方法以及使用该方法的装置
US10122936B2 (en) * 2015-09-02 2018-11-06 Mediatek Inc. Dynamic noise reduction for high dynamic range in digital imaging
US10755395B2 (en) * 2015-11-27 2020-08-25 Canon Medical Systems Corporation Dynamic image denoising using a sparse representation
EP3236418B1 (en) * 2016-04-13 2020-10-28 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
JP6877109B2 (ja) * 2016-04-13 2021-05-26 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US10757344B2 (en) * 2016-07-01 2020-08-25 Maxell, Ltd. Imaging apparatus, imaging method and imaging program
JP6715463B2 (ja) * 2016-09-30 2020-07-01 パナソニックＩｐマネジメント株式会社 画像生成装置、画像生成方法、プログラムおよび記録媒体
CN107330867B (zh) * 2017-06-16 2020-02-18 Oppo广东移动通信有限公司 图像合成方法、装置、计算机可读存储介质和计算机设备
JP2019028537A (ja) * 2017-07-26 2019-02-21 キヤノン株式会社 画像処理装置および画像処理方法
US11272124B2 (en) 2017-10-31 2022-03-08 Morpho, Inc. Image compositing device, image compositing method, and storage medium
JP7009252B2 (ja) * 2018-02-20 2022-01-25 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP7098980B2 (ja) * 2018-03-16 2022-07-12 株式会社リコー 撮像装置、画像処理装置および画像処理方法
KR102628911B1 (ko) * 2019-01-07 2024-01-24 삼성전자주식회사 영상 처리 방법 및 이를 수행하는 영상 처리 장치
KR102648747B1 (ko) 2019-01-18 2024-03-20 삼성전자주식회사 Hdr 이미지를 생성하기 위한 이미징 시스템 및 그것의 동작 방법
US11367169B2 (en) * 2019-04-26 2022-06-21 Lg Electronics Inc. Method for processing picture of automatic driving vehicle
US11430134B2 (en) * 2019-09-03 2022-08-30 Nvidia Corporation Hardware-based optical flow acceleration
CN113469200A (zh) 2020-03-30 2021-10-01 阿里巴巴集团控股有限公司 数据处理方法和系统、存储介质、计算设备
CN112233127B (zh) * 2020-10-15 2022-09-16 上海圭目机器人有限公司 一种用于弯道拼接图像的下采样方法
CN113409201B (zh) * 2021-06-01 2024-03-19 平安科技（深圳）有限公司 图像增强处理方法、装置、设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010258885A (ja) * 2009-04-27 2010-11-11 Ricoh Co Ltd 撮像装置及び画像処理方法
JP4638361B2 (ja) * 2006-02-16 2011-02-23 パナソニック株式会社 撮像装置

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3927888A1 (de) 1989-08-24 1991-02-28 Philips Patentverwaltung Wechselrichteranordnung
JP3110797B2 (ja) 1991-06-21 2000-11-20 キヤノン株式会社 撮像方法及び撮像画面合成装置
JPH10191136A (ja) 1996-12-27 1998-07-21 Canon Inc 撮像装置及び画像合成装置
US6370270B1 (en) * 1999-01-06 2002-04-09 National Instruments Corporation System and method for sampling and/or placing objects using low discrepancy sequences
KR20010103394A (ko) * 2000-05-10 2001-11-23 박정관 신분증 인식 기술을 이용한 고객 정보 관리 시스템 및 방법
JP3731729B2 (ja) 2000-12-20 2006-01-05 松下電器産業株式会社 画像合成回路
JP4257165B2 (ja) 2003-08-19 2009-04-22 株式会社日立製作所 撮像装置及び方法
JP2005130054A (ja) * 2003-10-21 2005-05-19 Sharp Corp 撮像装置およびその駆動方法
US7492375B2 (en) * 2003-11-14 2009-02-17 Microsoft Corporation High dynamic range image viewing on low dynamic range displays
US20050117799A1 (en) 2003-12-01 2005-06-02 Chiou-Shann Fuh Method and apparatus for transforming a high dynamic range image into a low dynamic range image
US7463296B2 (en) * 2004-04-01 2008-12-09 Microsoft Corporation Digital cameras with luminance correction
KR101086402B1 (ko) * 2004-08-30 2011-11-25 삼성전자주식회사 영상 분할 방법
EP1797723A1 (en) * 2004-10-05 2007-06-20 Vectormax Corporation A video compression system
JP2006148550A (ja) 2004-11-19 2006-06-08 Konica Minolta Opto Inc 画像処理装置及び撮像装置
JP4850281B2 (ja) * 2007-03-13 2012-01-11 オリンパス株式会社 画像信号処理装置、画像信号処理プログラム
JP5133085B2 (ja) 2007-04-18 2013-01-30 パナソニック株式会社 撮像装置および撮像方法
JP4851392B2 (ja) 2007-05-30 2012-01-11 富士通株式会社 画像合成装置と画像合成方法および画像合成プログラム
JP4933354B2 (ja) * 2007-06-08 2012-05-16 キヤノン株式会社 情報処理装置、及び情報処理方法
KR101442610B1 (ko) * 2008-02-18 2014-09-19 삼성전자주식회사 디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기위한 프로그램을 저장한 기록매체
JP2009276956A (ja) * 2008-05-14 2009-11-26 Fujifilm Corp 画像処理装置および方法並びにプログラム
JP2010045510A (ja) 2008-08-11 2010-02-25 Panasonic Corp 画像処理装置及び画像処理方法
KR101534317B1 (ko) 2008-10-10 2015-07-06 삼성전자주식회사 높은 동적 대역(ｈｄｒ) 영상 생성방법 및 장치
US20100091119A1 (en) 2008-10-10 2010-04-15 Lee Kang-Eui Method and apparatus for creating high dynamic range image
US8339475B2 (en) * 2008-12-19 2012-12-25 Qualcomm Incorporated High dynamic range image combining
US8040258B2 (en) * 2009-04-07 2011-10-18 Honeywell International Inc. Enhanced situational awareness system and method
JP5296193B2 (ja) * 2009-04-08 2013-09-25 パナソニック株式会社 撮像装置、再生装置、撮像方法及び再生方法
KR101551690B1 (ko) * 2009-06-26 2015-09-09 삼성전자주식회사 디지털 촬영장치, 그 제어방법 및 이를 실행하기 위한 프로그램을 저장한 기록매체
KR101614914B1 (ko) * 2009-07-23 2016-04-25 삼성전자주식회사 모션 적응적 고대비 영상 획득 장치 및 방법
US8737755B2 (en) * 2009-12-22 2014-05-27 Apple Inc. Method for creating high dynamic range image
US8606009B2 (en) 2010-02-04 2013-12-10 Microsoft Corporation High dynamic range image generation and rendering
JP2011171842A (ja) * 2010-02-16 2011-09-01 Olympus Corp 画像処理装置及び画像処理プログラム
JP5445235B2 (ja) 2010-03-09 2014-03-19 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US8711248B2 (en) * 2011-02-25 2014-04-29 Microsoft Corporation Global alignment for high-dynamic range image generation
JP2013066142A (ja) * 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP5832855B2 (ja) * 2011-11-01 2015-12-16 クラリオン株式会社 画像処理装置、撮像装置および画像処理プログラム
JP5633550B2 (ja) * 2012-09-05 2014-12-03 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP5364887B2 (ja) 2013-03-04 2013-12-11 株式会社モルフォ 画像合成装置、画像合成方法、画像合成プログラム及び記録媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4638361B2 (ja) * 2006-02-16 2011-02-23 パナソニック株式会社 撮像装置
JP2010258885A (ja) * 2009-04-27 2010-11-11 Ricoh Co Ltd 撮像装置及び画像処理方法

Also Published As

Publication number Publication date
EP2688288A4 (en) 2015-04-08
US20140212065A1 (en) 2014-07-31
US20140079333A1 (en) 2014-03-20
JPWO2013054446A1 (ja) 2015-03-30
JP5365823B2 (ja) 2013-12-11
EP2693738B1 (en) 2019-04-17
EP2693738A1 (en) 2014-02-05
KR101643122B1 (ko) 2016-07-26
WO2013054607A1 (ja) 2013-04-18
EP2688288B1 (en) 2018-05-16
CN103493473B (zh) 2018-01-16
KR20140093237A (ko) 2014-07-25
KR20160039701A (ko) 2016-04-11
CN103168462A (zh) 2013-06-19
WO2013054446A1 (ja) 2013-04-18
CN103493473A (zh) 2014-01-01
US9129414B2 (en) 2015-09-08
EP2693738A4 (en) 2015-10-14
US9626750B2 (en) 2017-04-18
KR101609491B1 (ko) 2016-04-05
EP2688288A1 (en) 2014-01-22

Similar Documents

Publication Publication Date Title
CN103168462B (zh) 图像合成装置和图像合成方法
JP5791336B2 (ja) 画像処理装置及びその制御方法
US8462217B2 (en) Image pickup device, flash image generating method, and computer-readable memory medium
US8315474B2 (en) Image processing device and method, and image sensing apparatus
JP4862930B2 (ja) 画像処理装置、画像処理方法及びプログラム
US20100061642A1 (en) Prediction coefficient operation device and method, image data operation device and method, program, and recording medium
JP5300590B2 (ja) 画像処理装置およびその方法
US8411911B2 (en) Image processing apparatus, image processing method, and storage medium for storing program
JP5767485B2 (ja) 画像処理装置及び制御方法
WO2007142109A1 (ja) 画像高解像度化装置及び画像高解像度化方法並びにプログラム
US20090231628A1 (en) Image Processing Apparatus, Image Processing Method, Computer Program for Image Processing
Yan et al. High dynamic range imaging via gradient-aware context aggregation network
JP2010193058A (ja) 撮像装置、撮像方法及び撮像プログラム
JP5610245B2 (ja) 画像合成装置、画像合成方法、画像合成プログラム及び記録媒体
US20070116372A1 (en) Signal processing device, signal processing method, program, and recording medium
CN114390201A (zh) 对焦方法及其装置
JP5581728B2 (ja) 画像処理装置及び方法、並びにプログラム
US8243154B2 (en) Image processing apparatus, digital camera, and recording medium
JP2019175283A (ja) 認識装置、認識システム、プログラムおよび位置座標検出方法
JP7443030B2 (ja) 学習方法、プログラム、学習装置、および、学習済みウエイトの製造方法
US20060159368A1 (en) Image processing device, method, and program
US9243935B2 (en) Distance information estimating apparatus
JP5364887B2 (ja) 画像合成装置、画像合成方法、画像合成プログラム及び記録媒体
JP2014155000A (ja) 画像処理装置、その制御方法、および制御プログラム
JP4770965B2 (ja) 画像マッチング装置、およびカメラ

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant