CN106023275B - 图像合成装置及图像合成方法 - Google Patents

图像合成装置及图像合成方法 Download PDF

Info

Publication number
CN106023275B
CN106023275B CN201610192217.6A CN201610192217A CN106023275B CN 106023275 B CN106023275 B CN 106023275B CN 201610192217 A CN201610192217 A CN 201610192217A CN 106023275 B CN106023275 B CN 106023275B
Authority
CN
China
Prior art keywords
image
resolution
frequency component
resolution ratio
composograph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610192217.6A
Other languages
English (en)
Other versions
CN106023275A (zh
Inventor
小林理弘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Morpho Inc
Original Assignee
Morpho Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Morpho Inc filed Critical Morpho Inc
Publication of CN106023275A publication Critical patent/CN106023275A/zh
Application granted granted Critical
Publication of CN106023275B publication Critical patent/CN106023275B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

本发明提供图像合成装置及图像合成方法。图像合成装置(1)将前景图像合成到背景图像上而生成合成图像，该图像合成装置(1)具备：图像取得部(10)，其取得多个分辨率的背景图像及前景图像；频率成分计算部(13)，其根据多个分辨率的背景图像、及多个分辨率的前景图像来分别计算低频成分及高频成分；以及图像合成部(18)，其根据多个分辨率的背景图像的低频成分和多个分辨率的前景图像的高频成分来生成合成图像。

Description

图像合成装置及图像合成方法
技术领域
本发明涉及图像合成装置及图像合成方法。
背景技术
以往，作为图像合成技术，公知有泊松融合(例如，参照专利文献1)。该泊松融合(Poisson blend)是以使作为合成对象的两个图像之间的梯度的误差最小化的方式进行合成的方法。在泊松融合中，与通常使用的阿尔法融合相比，合成后的两个图像的边界不明显。
专利文献
专利文献1：美国专利申请公开第2004/0165788号说明书
但是，泊松融合优化的图像的梯度是具有x方向的分量和y方向的分量的矢量场，一般的矢量场有时不具有作为梯度的正确的性质(可积分性较低)。泊松融合是在保持可积分性的同时求出接近目标梯度的梯度的方法。因此，在目标梯度的可积分性较低的情况下，通过优化有可能获得与目标值偏离较大的结果。由于因该偏离而引起的局部图像信号的失真，会导致不期望的颜色出现，可能会认为是伪像(artifact)。
期望一种图像合成装置、图像合成方法、图像合成程序以及存储有图像合成程序的记录介质，能够抑制由于数学制约而导致的图像信号失真并且所合成的两个图像的边界不明显，且生成没有违和感的合成图像。
发明内容
本发明的一个方式的图像合成装置是将第二图像合成到第一图像上而生成合成图像的图像合成装置。该图像合成装置具备：图像取得部，其取得多个分辨率的第一图像及第二图像；频率成分计算部，其根据多个分辨率的第一图像、及多个分辨率的第二图像分别计算低频成分及高频成分；以及图像合成部，其根据多个分辨率的第一图像的低频成分和多个分辨率的第二图像的高频成分生成合成图像。
根据该图像合成装置，根据多个分辨率的第一图像的低频成分和多个分辨率的第二图像的高频成分来生成合成图像。在低频成分中包含整体的亮度及色调，在高频成分中包含纹理。因此，能够使合成图像的亮度及色调与背景图像的亮度及色调相符合，并反映前景图像的纹理(详细的情形)。此外，由于合成图像是通过各种各样的频率成分的合成而生成的，因此，在理论上不会产生泊松融合那样的由数学约束而导致的图像信号的失真。其结果是，抑制了由数学约束导致的图像信号的失真，并且所合成的两个图像的边界不明显，能够生成没有违和感的合成图像。
图像取得部可以通过将第一分辨率的第一图像的低频成分及第一分辨率的第二图像的低频成分分别缩小，来生成比第一分辨率小的第二分辨率的第一图像及第二分辨率的第二图像。在这种情况下，能够使第一图像及第二图像的低分辨率化容易化。
图像合成部可以按照每个分辨率来生成合成图像，图像合成部可以将所生成的第二分辨率的合成图像扩大，将扩大后的第二分辨率的合成图像的并非合成对象的区域即非合成对象区域置换为第一分辨率的第一图像中的与非合成对象区域对应的区域之后，以使扩大后的第二分辨率的合成图像的作为合成对象的区域即合成对象区域的高频成分与根据第一分辨率的第二图像的高频成分而确定的目标高频成分之间的差分最小的方式，将目标高频成分合成到合成对象区域，由此，生成第一分辨率的合成图像。根据该结构，由于扩大后的第二分辨率的合成图像的非合成对象区域被置换为第一分辨率的第一图像中的与非合成对象区域对应的区域，因此，第一分辨率的第一图像原样直接再现于第一分辨率的合成图像中的非合成对象区域。并且，当在非合成对象区域内再现了第一分辨率的第一图像之后，以使合成对象区域的高频成分与目标高频成分之间的差分最小的方式，在合成对象区域中合成第一分辨率的目标高频成分。因此，合成对象区域与非合成对象区域之间的边界的变化降低，并且在第一分辨率的合成图像中的合成对象区域内，不改变整体的亮度及色调地再现第一分辨率的第二图像的纹理。其结果是，能够使所合成的两个图像的边界进一步不明显，能够生成更没有违和感的合成图像。进而，由于从分辨率小的第二图像开始按顺序合成高频成分，因此能够缩短运算时间。
图像合成部可以将多个分辨率的第一图像中的最低分辨率的第一图像作为最低分辨率的合成图像。在第一图像的最低频率成分中包含整个第一图像的亮度及色调。因此，通过将第一图像的最低频率成分作为最低分辨率的合成图像，能够使整体的亮度及色调与第一图像符合。
本发明的其它方式的图像合成装置可以还具备掩模图像取得部，该掩模图像取得部取得规定了合成对象区域及非合成对象区域的多个分辨率的掩模图像。图像合成部可以使用每个分辨率的掩模图像生成该分辨率的合成图像。在这种情况下，通过使掩模图像的分辨率下降，能够规定各分辨率的合成对象区域及非合成对象区域。因此，能够使各分辨率的合成对象区域及非合成对象区域的规定容易化。
掩模图像取得部也可以将第一分辨率的掩模图像分割为预定像素数的块，当在块中包含合成对象区域的情况下，将该块作为合成对象区域的像素，当在块中不包含合成对象区域的情况下，将该块作为非合成对象区域的像素，由此生成第二分辨率的掩模图像。在这种情况下，越是分辨率低的掩模图像，就越能够使掩模图像中的合成对象像素所占的区域扩大。因此，在图像合成中，在某个分辨率的合成对象区域内，合成了比该分辨率小的分辨率的目标高频成分，在合成对象区域与非合成对象区域之间的边界周边也合成了比该分辨率小的分辨率的目标高频成分。因此，能够使第二图像的再现性提高，并且能够使所合成的两个图像的边界进一步不明显，能够生成更没有违和感的合成图像。
频率成分计算部针对每个分辨率，可以通过从该分辨率的第一图像中减去该分辨率的第一图像的低频成分，来计算该分辨率的第一图像的高频成分，也可以通过从该分辨率的第二图像中减去该分辨率的第二图像的低频成分，来计算该分辨率的第二图像的高频成分。在这种情况下，能够通过简单的运算来计算各分辨率的第一图像的高频成分、及各分辨率的第二图像的高频成分。
本发明的另一个其它方式的图像合成方法是图像合成装置进行的将第二图像合成到第一图像上而生成合成图像的图像合成方法。该图像合成方法包含：图像取得步骤，取得多个分辨率的第一图像及第二图像；频率成分计算步骤，根据多个分辨率的第一图像、及多个分辨率的第二图像来分别计算低频成分及高频成分；以及图像合成步骤，根据多个分辨率的第一图像的低频成分和多个分辨率的第二图像的高频成分来生成合成图像。
根据该图像合成方法，能够起到与上述本发明的一个方式的图像合成装置同样的效果。
本发明的另一个其它方式的图像合成程序是使计算机进行动作来将第二图像合成到第一图像上而生成合成图像的图像合成程序。该图像合成程序使计算机作为以下部分发挥功能：图像取得部，其取得多个分辨率的所述第一图像及所述第二图像；频率成分计算部，其根据所述多个分辨率的所述第一图像、及所述多个分辨率的所述第二图像分别计算低频成分及高频成分；以及图像合成部，其根据所述多个分辨率的所述第一图像的低频成分和所述多个分辨率的所述第二图像的高频成分生成所述合成图像。
根据该图像合成程序，能够起到与上述的本发明的一个方式的图像合成装置同样的效果。
本发明的另外其它方式的记录介质是记录有图像合成程序的记录介质，该图像合成程序使计算机进行动作，来将第二图像合成到第一图像上而生成合成图像。记录于该记录介质的图像合成程序使计算机作为以下部分发挥功能：图像取得部，其取得多个分辨率的所述第一图像及所述第二图像；频率成分计算部，其根据所述多个分辨率的所述第一图像、及所述多个分辨率的所述第二图像分别计算低频成分及高频成分；以及图像合成部，其根据所述多个分辨率的所述第一图像的低频成分和所述多个分辨率的所述第二图像的高频成分生成所述合成图像。
根据该记录介质，能够起到与上述的本发明的一个方式的图像合成装置同样的效果。
根据本发明，抑制了由于数学约束而导致的图像信号的失真，并且所合成的两个图像的边界不明显，能够生成没有违和感的合成图像。
附图说明
图1是具备本实施方式的图像合成装置的便携终端的功能框图。
图2是搭载有图1的图像合成装置的便携终端的硬件结构图。
图3是用于说明高频成分计算处理及低分辨率化处理的图。
图4是用于说明掩模图像缩小处理的图。
图5是用于说明预处理的图。
图6是用于说明预处理的图。
图7是示出图1的图像合成装置所进行的图像合成方法的一系列处理的流程图。
图8是示出背景图像、前景图像及掩模图像的一例的图。
图9是示出各层的背景图像、前景图像、高频成分及掩模图像的一例的图。
图10是示出合成图像的一例的图。
标号说明
1：图像合成装置；10：图像取得部；13：频率成分计算部；14：目标高频成分计算部；15：掩模图像取得部；18：图像合成部。
具体实施方式
以下，参照附图详细说明本发明的实施方式。在附图说明中，对同一或者相同的要素使用同一标号，并省略重复的说明。
本实施方式的图像合成装置是通过将前景图像(第二图像)合成到背景图像(第一图像)而生成合成图像的装置。这里，前景图像及背景图像是作为图像合成的对象的图像，前景图像是合成源的图像，背景图像是合成目标图像。合成图像是将前景图像合成到背景图像的预定区域而得的图像，例如具有与背景图像相同的尺寸。本实施方式的图像合成装置优选搭载于例如移动电话、数码相机、PDA(Personal Digital Assistant：个人数字助理)等资源有限的移动终端，但是不限于此，例如也可以搭载于通常的计算机系统。此外，图像合成装置也包含组装入摄像装置的所谓的On-chip(片上)ISP(Image SignalProcessor：图像信号处理器)等。另外，以下，考虑到说明理解的容易性，作为一例，对搭载于便携终端的图像合成装置进行说明。
图1是具备本实施方式的图像合成装置1的便携终端2的功能框图。图1所示的便携终端2例如是用户携带的移动终端，具有图2所示的硬件结构。图2是便携终端2的硬件结构图。如图2所示，便携终端2是物理上构成为包含CPU(Central Processing Unit：中央处理器)100、RAM(Random Access Memory：随机存取存储器)101及ROM(Read Only Memory：只读存储器)102等主存储装置、摄像头或者键盘等输入设备103、显示器等输出设备104、硬盘或者半导体存储器等辅助存储装置105等的通常的计算机系统。通过将预定的计算机软件读入CPU 100、RAM 101等硬件上，并使输入设备103及输出设备104在CPU 100的控制下进行动作，并且进行主存储装置和辅助存储装置105中的数据的读出及写入，由此，实现后述的便携终端2及图像合成装置1的各功能。另外，上述说明是作为便携终端2的硬件结构来进行说明的，但是，图像合成装置1也可以构成为包含CPU 100、RAM 101及ROM 102等主存储装置、输入设备103、输出设备104、辅助存储装置105等的通常的计算机系统。此外，便携终端2也可以具备通信模块等。
如图1所示，便携终端2具备图像合成装置1和显示部21。图像合成装置1在功能上具备图像取得部10、频率成分计算部13、目标高频成分计算部14、掩模图像取得部15、图像合成部18和输出部19。
图像取得部10取得多个分辨率的前景图像及多个分辨率的背景图像。图像取得部10通过将预定分辨率(第一分辨率)的前景图像的低频成分及预定分辨率的背景图像的低频成分分别缩小，来生成比预定分辨率小1级的分辨率(第二分辨率)的前景图像及背景图像。具体而言，图像取得部10具备图像输入部11及低分辨率化部12。
图像输入部11具有输入作为合成对象的前景图像和背景图像的功能。图像输入部11例如可以将由摄像头等摄像装置拍摄的图像作为前景图像或者背景图像而输入，也可以将从其它仪器经由网络等发送的图像作为前景图像或者背景图像而输入。图像输入部11输入用于将前景图像合成到背景图像上的合成信息。例如，便携终端2的用户通过使用触摸面板等输入设备103对前景图像实施平行移动、扩大缩小及旋转等处理来指定所合成的前景图像的大小、朝向及背景图像上的合成位置。图像输入部11输入例如表示便携终端2的用户使用输入设备103而指定的前景图像的大小、前景图像的朝向、合成位置等的合成信息。图像输入部11将所输入的前景图像、背景图像及合成信息输出至频率成分计算部13，将所输入的背景图像及合成信息输出至图像合成部18。
低分辨率化部12具有通过将频率成分计算部13所计算出的预定分辨率的前景图像的低频成分及预定分辨率的背景图像的低频成分分别缩小来生成比预定分辨率小1级的分辨率的前景图像及背景图像的功能。低分辨率化部12通过对例如预定分辨率的前景图像的低频成分进行子采样来生成分辨率减半的低分辨率的前景图像，通过对预定分辨率的背景图像的低频成分进行子采样来生成分辨率减半的低分辨率的背景图像。这里，将各图像的源图像称为层0的图像，将相对于源图像(1/2)k的分辨率的图像称为层k的图像。即，层越大，分辨率越小。这里，k是0～N的整数值。N可以如下决定：在重复进行例如将输入的前景图像及背景图像在垂直和水平方向每次缩小1/2的低分辨率化处理的情况下，缩小的图像的尺寸低于预先确定的值时的低分辨率化处理的次数。低分辨率化部12将所生成的层1～N的前景图像及背景图像输出至频率成分计算部13，将层1～N的背景图像输出至图像合成部18。另外，在以下说明中，有时将“分辨率”作为与其分辨率对应的“层”来进行说明。
频率成分计算部13具有根据多个分辨率的前景图像及多个分辨率的背景图像来分别计算低频成分及高频成分的功能。频率成分计算部13对图像输入部11所输入的前景图像及背景图像、以及低分辨率化部12所生成的低分辨率的前景图像及背景图像分别计算低频成分及高频成分。即，频率成分计算部13对层0～N-1的前景图像及背景图像分别计算低频成分及高频成分。该低频成分及高频成分的计算使用背景图像的坐标系来进行，前景图像的低频成分及高频成分的计算根据从图像输入部11输出的合成信息来进行。频率成分计算部13将层0～N-1的前景图像及背景图像的低频成分输出至低分辨率化部12，将层0～N-1的前景图像及背景图像的高频成分输出至目标高频成分计算部14。
使用图3对低分辨率化部12及频率成分计算部13的处理具体进行说明。图3是用于说明频率成分计算处理及低分辨率化处理的图。频率成分计算部13例如对作为频率成分的计算对象的图像即层k的对象图像Ik中包含的全部像素的像素值Ik i，j分别计算该像素的低频成分Lk i，j及高频成分Hk i，j。另外，在以下的说明中，表示图像等的标号中添加的编号i表示该图像等的像素的列编号，表示图像等的标号中添加的编号j表示该图像等的像素的行编号。在图3的例子中，i是0～3的整数值，j是0～3的整数值。
具体而言，频率成分计算部13首先对作为频率成分的计算对象的像素即对象像素的低频成分Lk i，j进行计算。在低频成分的计算中，例如，使用低通滤波器来计算包含对象像素及对象像素周围8个像素的3×3像素的像素值的平均，由此计算对象像素的低频成分。并且，频率成分计算部13通过从对象像素的像素值Ik i，j中减去该对象像素的低频成分Lk i，j来计算该对象像素的高频成分Hk i，j。并且，低分辨率化部12通过对层k的对象图像Ik的低频成分Lk进行子采样来生成层k+1的图像Ik+1。低分辨率化部12及频率成分计算部13对层0～N-1的前景图像及背景图像进行上述处理。即，频率成分计算部13通过按照每个分辨率来从该分辨率的前景图像中减去该分辨率的前景图像的低频成分，来计算该分辨率的前景图像的高频成分，通过从该分辨率的背景图像中减去该分辨率的背景图像的低频成分来计算该分辨率的背景图像的高频成分。
目标高频成分计算部14具有根据由频率成分计算部13计算出的前景图像的高频成分来计算目标高频成分的功能。目标高频成分计算部14在各层中根据前景图像的高频成分来计算目标高频成分。目标高频成分计算部14例如通过将前景图像的高频成分与背景图像的高频成分合成来计算目标高频成分。适当选择计算方法，合成图像根据所选择的计算方法而不同。目标高频成分计算部14例如可以如数式(1)所示那样，针对各像素，计算层k的前景图像的高频成分作为层k的目标高频成分
数式1
目标高频成分计算部14例如可以如数式(2)所示那样，针对各像素，将层k的前景图像的高频成分及层k的背景图像的高频成分中绝对值较大的一方计算作为层k的目标高频成分
数式2
目标高频成分计算部14例如可以如数式(3)所示那样，针对各像素，通过将层k的前景图像的高频成分及层k的背景图像的高频成分进行阿尔法融合(Alphablending)来计算层k的目标高频成分另外，α是0～1的值。目标高频成分计算部14将计算出的层0～N-1的目标高频成分输出至图像合成部18。
数式3
掩模图像取得部15取得多个分辨率的掩模图像。掩模图像是规定了作为合成对象的区域的合成对象区域、及并非合成对象的区域的非合成对象区域的图像。掩模图像根据作为合成对象的像素的合成对象像素来规定合成对象区域，根据作为非合成对象的像素的非合成对象像素来规定非合成对象区域。掩模图像是二值图像，例如，掩模图像中的具有像素值1的像素表示合成对象像素，具有像素值0的像素表示非合成对象像素。掩模图像例如与前景图像相同的尺寸。掩模图像取得部15将预定分辨率的掩模图像分割为预定像素数的块，当在块中包含合成对象区域的情况下，将该块作为合成对象区域的像素，当在块中不包含合成对象区域的情况下，将该块作为非合成对象区域的像素，由此生成比该分辨率小1级的分辨率的掩模图像。具体而言，掩模图像取得部15具备掩模图像输入部16及掩模图像缩小部17。
掩模图像输入部16具有输入掩模图像的功能。掩模图像输入部16例如输入便携终端2的用户使用触摸面板等输入设备103而指定的掩模图像、或者通过应用而自动生成的掩模图像。掩模图像输入部16将所输入的掩模图像输出至掩模图像缩小部17。
掩模图像缩小部17具有将掩模图像输入部16所输入的掩模图像缩小的功能。掩模图像缩小部17例如将掩模图像分割为2×2像素的块，在该块内的任意像素是合成对象像素的情况下，将该块作为1像素的合成对象像素，在该块内的全部像素都是非合成对象像素的情况下，将该块作为1像素的非合成对象像素。即，掩模图像缩小部17根据2×2像素的块内的合成对象像素的逻辑和来将掩模图像缩小为1/2的分辨率的掩模图像。
在合成对象像素的像素值是1而非合成对象像素的像素值是0的情况下，掩模图像缩小部17根据2×2像素的块内的像素值的逻辑和来将掩模图像缩小为1/2的分辨率的掩模图像。另外，与前景图像及背景图像同样地，将掩模图像的源图像称为层0的掩模图像，将相对于源图像(1/2)k的分辨率的掩模图像称为层k的掩模图像。伴随着掩模图像的缩小，掩模图像中合成对象像素所占的区域即合成对象区域扩大。掩模图像缩小部17生成层1～N-1的掩模图像，将层0～N-1的掩模图像输出至图像合成部18。
使用图4对掩模图像缩小部17的处理进行具体的说明。图4是用于说明掩模图像缩小处理的图。掩模图像缩小部17例如将层k的掩模图像Mk分割为2×2像素的块(块B1、块B2、块B3及块B4)。在块B1中，全部像素都是非合成对象像素Mbg。因此，在块B1包含非合成对象区域Rbg，不包含合成对象区域Rfg，因此，在层k+1的掩模图像Mk+1中，将与块B1对应的像素设定为非合成对象像素Mbg。在块B2中，两个像素是合成对象像素Mfg，两个像素是非合成对象像素Mbg。因此，在块B2中包含合成对象区域Rfg及非合成对象区域Rbg，因此，在层k+1的掩模图像Mk+1中，将与块B2对应的像素设定为合成对象像素Mfg。在块B3中，一个像素是合成对象像素Mfg，三个像素是非合成对象像素Mbg。因此，在块B3中包含合成对象区域Rfg及非合成对象区域Rbg，因此在层k+1的掩模图像Mk+1中，将与块B3对应的像素设定为合成对象像素Mfg。在块B4中，全部像素都是合成对象像素Mfg。因此，在块B4中包含合成对象区域Rfg，因此，在层k+1的掩模图像Mk+1中，将与块B4对应的像素设定为合成对象像素Mfg。由此，掩模图像缩小部17根据掩模图像Mk生成掩模图像Mk+1。
图像合成部18具有根据多个分辨率的背景图像的低频成分和多个分辨率的前景图像的高频成分来生成合成图像的功能。图像合成部18按照每个分辨率来生成合成图像。图像合成部18使用每个分辨率的掩模图像来生成该分辨率的合成图像。图像合成部18为了将整体的亮度及色彩汇集于背景图像，而将多个分辨率的背景图像中的作为最低分辨率的层N的背景图像直接作为层N的合成图像。图像合成部18对层k+1的合成图像进行预处理及优化处理来生成层k的合成图像。另外，图像合成部18的处理使用背景图像的坐标系来进行。
首先，对图像合成部18的预处理进行说明。在预处理中，图像合成部18将所生成的预定分辨率的合成图像扩大来生成扩大合成图像。并且，图像合成部18将该分辨率的扩大合成图像的非合成对象区域置换为与比该分辨率大1级的分辨率的背景图像中的非合成对象区域对应的区域。以下，对预处理进行详细说明。图像合成部18将层k+1的合成图像扩大2倍来生成扩大合成图像。该扩大处理例如通过最接近法来进行。图像合成部18在扩大合成图像的预定位置应用层k的掩模图像。在扩大合成图像中，应用了掩模图像的位置是与由从图像输入部11输出的合成信息示出的合成位置对应的位置。并且，图像合成部18在扩大合成图像中将与掩模图像的非合成对象像素对应的像素的像素值置换为层k的背景图像的像素的像素值。此时，图像合成部18在扩大合成图像中将与掩模图像的范围外的像素对应的像素的像素值置换为与该像素对应的层k的背景图像的像素的像素值。由此，图像合成部18生成层k的合成前图像。
使用图5及图6具体说明图像合成部18的预处理。图5及图6是用于说明预处理的图。如图5所示，图像合成部18生成将层k+1的合成图像Ok+1扩大2倍而得的扩大合成图像Oxk +1。图像合成部18例如通过将合成图像Ok+1的各像素扩大为具有与该像素相同像素值的2×2的像素来生成扩大合成图像Oxk+1。并且，图像合成部18将图6中的(a)所示的层k的掩模图像Mk应用于扩大合成图像Oxk+1，并将与掩模图像Mk的非合成对象像素Mbg对应的像素置换为图6中的(b)所示的层k的背景图像Ibg k的像素的像素值。由此，生成图6中的(c)所示的合成前图像Opk。
接下来，对图像合成部18的优化处理进行说明。在优化处理中，图像合成部18以使预定分辨率的扩大合成图像的合成对象区域的高频成分与比该分辨率大1级的分辨率的目标高频成分之间的差分最小的方式，将目标高频成分合成至合成对象区域，由此生成比该分辨率大1级的分辨率的合成图像。以下，对优化处理进行详细的说明。为了反映前景图像的纹理，图像合成部18使用层k的目标高频成分对合成前图像中的与合成对象像素对应的像素进行优化处理。该优化处理通过解决使高频成分的误差最小化的优化问题来进行。
如数式(4)所示，某个像素的像素值Ii，j中的误差函数Ei，j是从合成前图像Opk中的该像素值Ii，j的高频成分中减去该像素的目标高频成分Hdst＿i，j并将相减的结果平方的函数。某个像素的像素值Ii，j的高频成分Hi，j与频率成分计算部13的处理同样地通过从该像素的像素值Ii，j中减去该像素的低频成分Li，j来进行计算。例如通过运算包含该像素及该像素周围的8像素的3×3像素的像素值的平均来计算低频成分Li，j。另外，在数式(4)～数式(6)中，省略了表示层的标号。此外，在数式(4)～数式(6)中，k不是作为表示层的参数而使用，而是作为表示图像等的像素的列编号的参数而使用。
数式4
如数式(5)所示，目标函数E(I)是通过在整个图像上(遍及全部像素)对误差函数Ei，j进行求和计算而得的。另外，系数81/2是为了运算方便而设定的值，由于不对优化的结果造成影响，因此，也可以是其它值。
数式5
图像合成部18以使目标函数E(I)最小化的方式将像素值Ii，j优化。图像合成部18例如使用根据极值的条件式而得到的像素值Ik，l中的更新数式(6)来将像素值Ik，l优化。另外，κ表示优化次数。
数式6
图像合成部18将优化次数κ每次加1并重复数式(6)而进行运算直至合成对象像素Mfg的像素值收敛。该重复次数例如是100次左右。图像合成部18取得具有优化后的像素值的图像作为层k的合成图像Ok。优化的像素的顺序是任意的，也可以多个像素的优化并行。
图像合成部18重复进行上述预处理及优化处理直至得到层0的合成图像O0。图像合成部18将合成图像O0输出至输出部19。
输出部19具有输出由图像合成部18生成的合成图像的功能。输出部19例如通过向显示部21输出合成图像而使合成图像显示在显示部21。显示部21显示合成图像。作为显示部21，例如使用显示器装置。
接下来，对图像合成装置1的动作进行说明。图7是示出图像合成装置1所进行的图像合成方法的一系列的处理的流程图。例如，在便携终端2中，在执行了图像合成用的应用的情况下，通过使用摄像头等摄像装置进行摄像来开始图7所示的处理。在这种情况下，每当进行摄像时，就重复进行图7所示的处理。
首先，图像输入部11输入合成对象的前景图像及背景图像(步骤S01，图像取得步骤)。例如，图像输入部11输入所拍摄的图像作为前景图像，将预先准备的图像作为背景图像而输入至便携终端2。假设图像输入部11输入了图8中的(a)所示的图像作为背景图像，输入了图8中的(b)所示的图像作为前景图像。此外，图像输入部11输入用于将前景图像合成到背景图像上的合成信息。图像输入部11将所输入的层0的前景图像及背景图像输出至频率成分计算部13，将所输入的层0的背景图像及合成信息输出至图像合成部18。
接下来，频率成分计算部13根据由图像输入部11输入的、作为源图像的前景图像及背景图像的层0的前景图像及背景图像，分别计算低频成分及高频成分(步骤S02，频率成分计算步骤)。并且，频率成分计算部13将层0的前景图像及背景图像的低频成分输出至低分辨率化部12。
接下来，低分辨率化部12通过对层0的前景图像及背景图像的低频成分进行子采样而使分辨率下降，由此生成层1的前景图像及背景图像(步骤S03，图像取得步骤)。并且，低分辨率化部12将层1的前景图像及背景图像输出至频率成分计算部13，并且将层1的背景图像输出至图像合成部18。并且，频率成分计算部13判定从低分辨率化部12输出的前景图像及背景图像是否是最低分辨率的前景图像及背景图像(步骤S04)。这里，由于输出了层1的前景图像及背景图像，因此，在步骤S04中，判定为不是最低分辨率的前景图像及背景图像(步骤S04；否)，重复进行步骤S02及步骤S03。
通过重复进行步骤S02～步骤S04，如果层N的前景图像及背景图像从低分辨率化部12输出，则在步骤S04中，判定为是最低分辨率的前景图像及背景图像(步骤S04；是)，频率成分计算部13将层0～N-1的前景图像及背景图像的高频成分输出至目标高频成分计算部14。通过步骤S02～步骤S04中的处理，如图9所示，生成了层0～N-1的背景图像、前景图像及前景图像的高频成分，并向目标高频成分计算部14输出，层0～N的背景图像被输出至图像合成部18。另外，在该例中，设N＝6，对层6的背景图像省略图示。
接下来，目标高频成分计算部14根据各层的前景图像的高频成分来计算各层的目标高频成分(步骤S05)。目标高频成分的计算方法能够采用例如数式(1)～数式(3)所示的方法。这里，对使用数式(1)来计算目标高频成分的情况进行了说明。并且，目标高频成分计算部14将所计算的层0～N-1的目标高频成分输出至图像合成部18。
接下来，掩模图像输入部16输入掩模图像(步骤S06)。例如，掩模图像输入部16输入图8中的(c)所示的图像作为掩模图像。并且，掩模图像缩小部17将掩模图像输入部16所输入的作为源图像的掩模图像的层0的掩模图像缩小，生成层1的掩模图像(步骤S07)。掩模图像缩小部17例如将层0的掩模图像分割为2×2像素的块，在该块内的任意像素是合成对象像素的情况下，设该块为1像素的合成对象像素，在该块内的全部像素都是非合成对象像素的情况下，设该块为1像素的非合成对象像素，由此生成层1的掩模图像。并且，掩模图像缩小部17重复进行该处理直至得到层N-1的掩模图像。通过进行步骤S07中的处理，生成图9所示的各层(层1～N-1)的掩模图像。并且，掩模图像缩小部17将层0～N-1的掩模图像输出至图像合成部18。
接下来，图像合成部18生成各层的合成图像(步骤S08，图像合成步骤)。在该步骤S08中，首先，图像合成部18为了将整体的亮度及色彩汇集于背景图像，而将层N的背景图像直接作为层N的合成图像。并且，图像合成部18对层N的合成图像进行预处理及优化处理而生成层N-1的合成图像。在预处理中，图像合成部18将层N的合成图像扩大2倍，在层N的扩大合成图像的预定位置应用层N-1的掩模图像。并且，图像合成部18在层N的扩大合成图像中将与层N-1的掩模图像的非合成对象像素对应的像素的像素值置换为与该像素对应的层N-1的背景图像的像素的像素值。此外，图像合成部18在层N的扩大合成图像中将与层N-1的掩模图像的范围外的像素对应的像素的像素值置换为与该像素对应的层N-1的背景图像的像素的像素值。由此，生成层N-1的合成前图像。
接下来，在优化处理中，为了反映前景图像的纹理，图像合成部18在层N-1的合成前图像中，使用层N-1的目标高频成分对与层N-1的掩模图像的合成对象像素对应的像素进行优化处理。重复运算数式(6)直至与层N-1的掩模图像的合成对象像素对应的像素的像素值收敛，由此，进行该优化处理。并且，图像合成部18取得具有被优化的像素值的图像作为层N-1的合成图像。
并且，图像合成部18判定是否取得了最高分辨率(层0)的合成图像(步骤S09)。这里，由于取得了层N-1的合成图像，因此，在步骤S09中，判定为不是最高分辨率的合成图像(步骤S09；否)，重复进行步骤S08。即，图像合成部18重复进行上述预处理及优化处理直至得到层0的合成图像。通过重复进行步骤S08～步骤S09，生成图10所示的层0的合成图像O0。如图10所示，生成了前景图像FG与背景图像BG之间的边界不明显且没有违和感的合成图像O0。并且，如果生成并取得了层0的合成图像，则在步骤S09中，判定为是最高分辨率的合成图像(步骤S09；是)，图像合成部18将层0的合成图像输出至输出部19。
接下来，输出部19输出由图像合成部18生成的合成图像(步骤S10)。例如，输出部19通过将合成图像输出至显示部21来使合成图像显示于显示部21。由此，图像合成方法的一系列的处理结束。另外，步骤S01～步骤S05的处理和步骤S06及步骤S07的处理可以并行进行。
接下来，对用于使便携终端(计算机)2作为上述图像合成装置1而发挥功能的图像合成程序进行说明。
图像合成程序具备主模块、输入模块、运算处理模块及输出模块。主模块是在总体上控制图像处理的部分。输入模块使便携终端2进行动作来取得图像，该输入模块具备图像输入模块及掩模图像输入模块。运算处理模块具备低分辨率化模块、频率成分计算模块、目标高频成分计算模块、掩模图像缩小模块及图像合成模块。输出模块使便携终端2进行动作来输出合成图像。通过执行主模块、输入模块、运算处理模块及输出模块而实现的功能与上述图像合成装置1的图像取得部10、频率成分计算部13、目标高频成分计算部14、掩模图像取得部15、图像合成部18及输出部19的功能分别相同。
图像合成程序例如由ROM或者半导体存储器等记录介质提供。此外，图像合成程序也可以作为数据信号而经由网络来提供。
以上，通过本实施方式的图像合成装置1、图像合成方法、图像合成程序及记录有图像合成程序的记录介质，基于多个分辨率的背景图像的低频成分和多个分辨率的前景图像的高频成分来生成合成图像。在低频成分中包含了整体的亮度及色调，在高频成分中包含了纹理。因此，能够使合成图像的亮度及色调与背景图像的亮度及色调相符合，并反映前景图像的纹理(详细的情形)。此外，由于合成图像是通过各种各样的频率成分的合成而生成的，因此，在理论上不会产生由泊松融合那样的数学约束而导致的图像信号的失真。其结果，抑制了由数学约束导致的图像信号的失真，并且所合成的两个图像的边界不明显，能够生成没有违和感的合成图像。
在泊松融合中，使用梯度在狄氏条件(dirichlet condition)(固定端条件)下进行优化，来保持背景图像的偏移。但是，在泊松融合中，有时用于估计具有与目标梯度最接近的梯度的图像的运算量会变大。因此，有可能无法高速地进行合成处理。与此相对，在图像合成装置1中，由于按照分辨率从小到大的顺序合成前景图像的高频成分，因此，能够缩短优化所需要的运算时间。
此外，由于层k-1的扩大合成图像的非合成对象区域被置换为层k的背景图像中的与非合成对象区域对应的区域，因此，层k的背景图像原样地再现于层k的合成图像中的非合成对象区域。并且，在非合成对象区域中再现了层k的背景图像的合成前图像中，以使合成对象区域的高频成分与目标高频成分之间的差分最小的方式在合成对象区域中合成层k的目标高频成分。因此，合成对象区域与非合成对象区域之间的边界的变化降低，并且在层k的合成图像中的合成对象区域内，不改变整体的亮度及色调地再现层k的前景图像的纹理。其结果，能够使合成后的两个图像的边界进一步不明显，能够生成更没有违和感的合成图像。
此外，通过使层k的前景图像的低频成分及层k的背景图像的低频成分分别缩小来生成层k+1的前景图像及背景图像。因此，能够使前景图像及背景图像的低分辨率化容易化。此外，在背景图像的最低频率成分中包含背景图像的整体的亮度及色调。因此，通过将背景图像的最低频率成分作为最低分辨率(层N)的合成图像，能够使整体的亮度及色调与背景图像相符合。
此外，使用各层的掩模图像生成各层的合成图像。因此，通过使掩模图像的分辨率降低，能够规定各层的合成对象区域及非合成对象区域。因此，能够使各层的合成对象区域及非合成对象区域的规定容易化。
此外，将层k的掩模图像分割为预定像素数的块，当在块中包含合成对象像素的情况下，将该块作为合成对象像素，当在块中不包含合成对象像素的情况下，将该块作为非合成对象像素，由此生成层k+1的掩模图像。由此，越是分辨率低的掩模图像，就越能够使掩模图像中的合成对象像素所占的区域扩大。因此，在图像合成中，在层k的合成对象区域内，合成了比层k大的层的目标高频成分，在合成对象区域与非合成对象区域之间的边界周边也合成了比层k大的层的目标高频成分。因此，能够提高前景图像的再现性，并且能够使所合成的两个图像的边界进一步不明显，能够生成更没有违和感的合成图像。
对于每层，通过从该层的前景图像中减去该层的前景图像的低频成分，计算出该层的前景图像的高频成分，通过从该层的背景图像中减去该层的背景图像的低频成分，来计算该层的背景图像的高频成分。因此，能够通过简单的运算来计算各层的前景图像的高频成分、及各层的背景图像的高频成分。
另外，上述实施方式示出了本发明的图像合成装置的一例。本发明的图像合成装置不限于实施方式的图像合成装置1，也可以在不变更各权利要求中记载的主旨的范围内，对实施方式的图像合成装置进行变形，或者应用于其它装置。
例如，掩模图像输入部16也可以输入用户生成的掩模图像。
此外，输出部19也可以将合成图像输出至存储器等存储装置。

Claims (6)

1.一种图像合成装置，其将第二图像合成到第一图像上而生成合成图像，其中，该图像合成装置具备：
图像取得部，其取得多个分辨率的所述第一图像及所述第二图像；
频率成分计算部，其根据所述多个分辨率的所述第一图像、及所述多个分辨率的所述第二图像分别计算低频成分及高频成分；以及
图像合成部，其根据所述多个分辨率的所述第一图像的低频成分和所述多个分辨率的所述第二图像的高频成分生成所述合成图像，
所述图像取得部通过将第一分辨率的所述第一图像的低频成分及所述第一分辨率的所述第二图像的低频成分分别缩小，来生成比所述第一分辨率小的第二分辨率的所述第一图像及所述第二分辨率的所述第二图像，
所述图像合成部按照每个分辨率来生成合成图像，
所述图像合成部将所生成的所述第二分辨率的所述合成图像扩大，将扩大后的所述第二分辨率的所述合成图像的并非合成对象的区域即非合成对象区域置换为所述第一分辨率的所述第一图像中的与所述非合成对象区域对应的区域之后，以使扩大后的所述第二分辨率的所述合成图像的作为合成对象的区域即合成对象区域的高频成分与根据所述第一分辨率的所述第二图像的高频成分而确定的目标高频成分之间的差分最小的方式，将所述目标高频成分合成到所述合成对象区域，由此生成所述第一分辨率的所述合成图像。
2.根据权利要求1所述的图像合成装置，其中，
所述图像合成部将所述多个分辨率的所述第一图像中的最低分辨率的所述第一图像作为所述最低分辨率的所述合成图像。
3.根据权利要求1所述的图像合成装置，其中，
该图像合成装置还具备掩模图像取得部，该掩模图像取得部取得规定了所述合成对象区域及所述非合成对象区域的多个分辨率的掩模图像，
所述图像合成部使用每个分辨率的所述掩模图像生成该分辨率的所述合成图像。
4.根据权利要求3所述的图像合成装置，其中，
所述掩模图像取得部将所述第一分辨率的所述掩模图像分割为预定像素数的块，当在所述块中包含所述合成对象区域的情况下，将该块作为所述合成对象区域的像素，当在所述块中不包含所述合成对象区域的情况下，将该块作为所述非合成对象区域的像素，由此生成所述第二分辨率的所述掩模图像。
5.根据权利要求1～4中任意一项所述的图像合成装置，其中，
所述频率成分计算部针对每个分辨率，通过从该分辨率的所述第一图像中减去该分辨率的所述第一图像的所述低频成分，来计算该分辨率的所述第一图像的所述高频成分，通过从该分辨率的所述第二图像中减去该分辨率的所述第二图像的所述低频成分，来计算该分辨率的所述第二图像的所述高频成分。
6.一种图像合成方法，该图像合成方法是图像合成装置进行的将第二图像合成到第一图像上而生成合成图像的图像合成方法，其中，该图像合成方法包含：
图像取得步骤，取得多个分辨率的所述第一图像及所述第二图像；
频率成分计算步骤，根据所述多个分辨率的所述第一图像、及所述多个分辨率的所述第二图像来分别计算低频成分及高频成分；以及
图像合成步骤，根据所述多个分辨率的所述第一图像的低频成分和所述多个分辨率的所述第二图像的高频成分来生成所述合成图像，
在所述图像取得步骤中，通过将第一分辨率的所述第一图像的低频成分及所述第一分辨率的所述第二图像的低频成分分别缩小，来生成比所述第一分辨率小的第二分辨率的所述第一图像及所述第二分辨率的所述第二图像，
在所述图像合成步骤中，按照每个分辨率来生成合成图像，
在所述图像合成步骤中，将所生成的所述第二分辨率的所述合成图像扩大，将扩大后的所述第二分辨率的所述合成图像的并非合成对象的区域即非合成对象区域置换为所述第一分辨率的所述第一图像中的与所述非合成对象区域对应的区域之后，以使扩大后的所述第二分辨率的所述合成图像的作为合成对象的区域即合成对象区域的高频成分与根据所述第一分辨率的所述第二图像的高频成分而确定的目标高频成分之间的差分最小的方式，将所述目标高频成分合成到所述合成对象区域，由此生成所述第一分辨率的所述合成图像。
CN201610192217.6A 2015-03-31 2016-03-30 图像合成装置及图像合成方法 Active CN106023275B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015071487A JP6453694B2 (ja) 2015-03-31 2015-03-31 画像合成装置、画像合成方法、画像合成プログラム及び記録媒体
JP2015-071487 2015-03-31

Publications (2)

Publication Number Publication Date
CN106023275A CN106023275A (zh) 2016-10-12
CN106023275B true CN106023275B (zh) 2019-01-15

Family

ID=57017341

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610192217.6A Active CN106023275B (zh) 2015-03-31 2016-03-30 图像合成装置及图像合成方法

Country Status (3)

Country Link
US (1) US9824431B2 (zh)
JP (1) JP6453694B2 (zh)
CN (1) CN106023275B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9767533B2 (en) * 2015-02-16 2017-09-19 Adobe Systems Incorporated Image resolution enhancement based on data from related images
WO2018220780A1 (ja) * 2017-06-01 2018-12-06 日本電気株式会社 画像生成装置、画像生成方法およびプログラムを記憶する記憶媒体
AU2018309905A1 (en) * 2017-08-01 2020-01-23 Sony Corporation Image processing device, image processing method, and program
CN108198160B (zh) * 2017-12-28 2019-12-17 深圳云天励飞技术有限公司 图像处理方法、装置、图像过滤方法、电子设备及介质
CN108550175B (zh) * 2018-04-16 2022-05-24 上海思依暄机器人科技股份有限公司 一种图片合成方法、系统及存储介质
CN108986185B (zh) * 2018-08-01 2023-04-07 浙江深眸科技有限公司 基于深度学习的图像数据扩增方法
WO2020042004A1 (en) * 2018-08-29 2020-03-05 Intel Corporation Training one-shot instance segmenters using synthesized images
US11223817B2 (en) * 2018-11-12 2022-01-11 Electronics And Telecommunications Research Institute Dual stereoscopic image display apparatus and method
CN112232430A (zh) * 2020-10-23 2021-01-15 浙江大华技术股份有限公司 神经网络模型测试方法、装置、存储介质及电子装置
CN113706428B (zh) * 2021-07-02 2024-01-05 杭州海康威视数字技术股份有限公司 一种图像生成方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6034785A (en) * 1997-04-21 2000-03-07 Fuji Photo Film Co., Ltd. Image synthesizing method
CN101021945A (zh) * 2007-03-23 2007-08-22 北京中星微电子有限公司 一种图像合成方法及装置
CN101504766A (zh) * 2009-03-25 2009-08-12 湖南大学 基于混合多分辨率分解的图像融合方法
CN101930604A (zh) * 2010-09-08 2010-12-29 中国科学院自动化研究所 基于低频相关性分析的全色图像与多光谱图像融合方法
US20140002500A1 (en) * 2012-06-27 2014-01-02 Canon Kabushiki Kaisha Image processing apparatus and image processing method
CN103780863A (zh) * 2014-01-17 2014-05-07 Tcl集团股份有限公司 一种高分辨率图像生成方法及装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09269999A (ja) * 1996-01-31 1997-10-14 Fuji Photo Film Co Ltd 画像合成装置および方法
JP2004165800A (ja) * 2002-11-11 2004-06-10 Canon Inc 画像処理装置
JP2004240732A (ja) * 2003-02-06 2004-08-26 Konica Minolta Holdings Inc 画像合成方法、画像合成装置、画像合成プログラム及び画像記録装置
US6856705B2 (en) 2003-02-25 2005-02-15 Microsoft Corporation Image blending by guided interpolation
US7570286B2 (en) * 2005-05-27 2009-08-04 Honda Motor Co., Ltd. System and method for creating composite images
KR101493694B1 (ko) * 2008-08-01 2015-02-16 삼성전자주식회사 이미지 처리장치, 이미지 처리방법 및 처리방법을실행시키기 위한 프로그램을 저장한 기록매체
JP5895195B2 (ja) * 2012-03-13 2016-03-30 パナソニックＩｐマネジメント株式会社 ノイズ削減装置およびノイズ削減方法
US8736706B1 (en) * 2012-03-13 2014-05-27 Google Inc. Method and system for generating high resolution composite images
JP6168549B2 (ja) * 2013-04-23 2017-07-26 国立大学法人電気通信大学 画像処理装置、画像処理方法、プログラム及び撮像装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6034785A (en) * 1997-04-21 2000-03-07 Fuji Photo Film Co., Ltd. Image synthesizing method
CN101021945A (zh) * 2007-03-23 2007-08-22 北京中星微电子有限公司 一种图像合成方法及装置
CN101504766A (zh) * 2009-03-25 2009-08-12 湖南大学 基于混合多分辨率分解的图像融合方法
CN101930604A (zh) * 2010-09-08 2010-12-29 中国科学院自动化研究所 基于低频相关性分析的全色图像与多光谱图像融合方法
US20140002500A1 (en) * 2012-06-27 2014-01-02 Canon Kabushiki Kaisha Image processing apparatus and image processing method
CN103780863A (zh) * 2014-01-17 2014-05-07 Tcl集团股份有限公司 一种高分辨率图像生成方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
保持纹理细节的无缝图像合成;吴金亮 等;《浙江大学学报（工学版）》;20130630;第47卷(第6期);第951-956页

Also Published As

Publication number Publication date
CN106023275A (zh) 2016-10-12
JP2016192059A (ja) 2016-11-10
JP6453694B2 (ja) 2019-01-16
US9824431B2 (en) 2017-11-21
US20160292838A1 (en) 2016-10-06

Similar Documents

Publication Publication Date Title
CN106023275B (zh) 图像合成装置及图像合成方法
CN108304755B (zh) 用于图像处理的神经网络模型的训练方法和装置
He et al. Conditional sequential modulation for efficient global image retouching
US11250591B2 (en) Target detection method, system, and non-volatile storage medium
Xia et al. Joint bilateral learning for real-time universal photorealistic style transfer
US20200226725A1 (en) Digital Image Fill
CN104969257B (zh) 图像处理设备和图像处理方法
US20070229529A1 (en) Texture mapping apparatus, method and program
CN112883806B (zh) 基于神经网络的视频风格迁移方法、装置、计算机设备和存储介质
CN102202162A (zh) 图像处理设备，图像处理方法和程序
CN108257162B (zh) 合成脸部表情图像的方法和装置
CN104350743B (zh) 用于混合图像去马赛克和扭曲的系统，方法和计算机程序产品
CN115082358B (zh) 图像增强方法、装置、计算机设备和存储介质
Tan et al. Arbitrary scale super-resolution for brain MRI images
CN111626926A (zh) 一种基于gan的纹理图像智能合成方法
JP2013243780A (ja) 画像合成装置、画像合成方法、画像合成プログラム及び記録媒体
JP2006350562A (ja) 画像処理装置及び画像処理プログラム
Balakrishnan et al. Rayleigh eigendirections (reds): Nonlinear GAN latent space traversals for multidimensional features
CN110830848B (zh) 图像插值方法、装置、计算机设备和存储介质
CN115049558A (zh) 模型训练、人脸图像处理方法及装置、电子设备及可读存储介质
JP2005348221A (ja) 画像生成装置、静止画像生成装置、画像ずれ量検出装置、画像整列装置、画像生成方法、画像生成プログラムおよび画像生成プログラムを記録した記録媒体
JPWO2019082283A1 (ja) 画像解析装置
CN113256513B (zh) 一种基于对抗神经网络的人像美化方法和系统
JP5752011B2 (ja) 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体
Kulkarni et al. Image Inpainting on Archeological Dataset Using UNet Architecture on Embedded Platform

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant