CN102542546A - 图像合成处理装置及图像合成处理方法 - Google Patents
图像合成处理装置及图像合成处理方法 Download PDFInfo
- Publication number
- CN102542546A CN102542546A CN2011103033249A CN201110303324A CN102542546A CN 102542546 A CN102542546 A CN 102542546A CN 2011103033249 A CN2011103033249 A CN 2011103033249A CN 201110303324 A CN201110303324 A CN 201110303324A CN 102542546 A CN102542546 A CN 102542546A
- Authority
- CN
- China
- Prior art keywords
- image
- background image
- synthetic
- foreground
- rotation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 92
- 230000015572 biosynthetic process Effects 0.000 title abstract description 21
- 238000003786 synthesis reaction Methods 0.000 title abstract description 21
- 238000003672 processing method Methods 0.000 title abstract 2
- 238000001514 detection method Methods 0.000 claims description 14
- 239000000284 extract Substances 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 5
- 230000002194 synthesizing effect Effects 0.000 abstract description 4
- 238000002156 mixing Methods 0.000 abstract description 2
- 238000010276 construction Methods 0.000 abstract 1
- 238000006243 chemical reaction Methods 0.000 description 32
- 239000000203 mixture Substances 0.000 description 17
- 238000000034 method Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 10
- 230000014509 gene expression Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000003860 storage Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000006866 deterioration Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000003321 amplification Effects 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 2
- 229910052744 lithium Inorganic materials 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 229910005580 NiCd Inorganic materials 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000005039 memory span Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
本发明提供图像合成处理装置及图像合成处理方法。该图像合成处理装置能够利用不需要特定的硬件结构和特定的运算处理的简单的系统结构，将前景图像和背景图像合成为颜色鲜明且自然的图像，而不在前景图像中的替换颜色像素与其他像素之间的边界处产生混色。该图像合成处理装置的第一旋转处理单元将所述背景图像，按与指示的旋转方向相反的方向旋转预定的旋转角，合成单元将在相反方向上旋转后的背景图像与原始的前景图像合成为合成图像，而旋转单元将所述合成图像按所述指示的旋转方向旋转预定的旋转角，从而生成期望的图像。
Description
技术领域
本发明涉及一种图像合成处理装置及图像合成处理方法。
背景技术
已知一种图像合成处理，该图像合成处理将图像进行放大/缩小，并(通过用放大/缩小后的图像替换另一图像的一部分)将放大/缩小后的图像与另一图像合成。
在这种图像合成处理中，如果背景图像和前景图像都采用YUV格式，则有时将包含替换颜色像素的前景图像旋转，并将旋转后的前景图像与背景图像合成。
在作为由亮度信号Y、蓝色色差信号U和红色色差信号V表示颜色的YUV系统之一的YUV422中，在相邻的两个水平像素之间共享色差信号U、V的信息，以降低数据量，同时防止图像质量的劣化。在作为另一YUV系统的YUV444中，从每4个水平像素中抽样亮度信号Y和色差信号U、V。
为了旋转前景图像并将旋转后的前景图像与背景图像合成，将前景图像从YUV422格式转换成YUV444格式，将经过格式转换的前景图像旋转，并将旋转后的前景图像从YUV444格式转换成YUV422格式。这时，由于像素插值处理，有时在前景图像中的某些替换颜色像素与其他图像数据像素之间会发生混色(color mix)。结果，在前景图像与背景图像之间的边界处出现混色像素，使得前景图像与背景图像之间的边界变得不清晰。
通常，如果图像数据像素与替换颜色像素之间的混色的程度小于阈值，则将混色像素分别视为替换颜色像素。
迄今为止，已经提出了一种方法，该方法通过使用算法等将混色像素转换成替换颜色像素。还提出了一种图像合成方法，其中，当将具有透明部分的图像放大/缩小并且将放大/缩小后的图像与另一图像合成时，执行补充处理以防止合成的图像变得不自然(例如，参见日本特开2009-94902号公报)。
还提出了另一种图像合成方法，其中在前景图像中的替换颜色像素与图像数据像素之间执行插值，从而使前景图像与背景图像之间的边界变得自然(例如参见日本特开平5-120417号公报)。
在该方法中，从彩色图像中提取要经受调整或修改(以下称为“调整”)的调整对象区域，指定调整中的目标颜色，并将整个调整对象区域的颜色改变为目标颜色。这时，除了用于调整对象区域的颜色调整以外，还对背景部分与调整对象区域之间的边界执行加法混色处理。结果，实现了自然的颜色调整或图像合成，同时保持了原始图像中的数据连续性，由此能够防止在调整对象区域与其他区域之间的边界处生成伪轮廓，使得图像的特性不受到破坏。当合成两个图像时，在两个图像的边界处执行颜色调整，使得合成的图像变得自然。
由于普通的数字相机等受到处理速度和存储器容量方面的制约，因此以YUV422格式执行图像处理。在YUV422格式下，色差信号U、V的信息在相邻的两个像素之间共享，因此，在从YUV422格式转换成YUV444格式时执行插值处理以生成各像素的UV数据。结果，在每两个像素中出现混色。换言之，与以YUV444格式执行图像处理的情况相比，在以YUV422格式执行图像处理的情况下，混色倾向于出现在前景图像中的图像数据像素与替换颜色像素之间的边界处，从而无法生成清晰的合成图像。
发明内容
本发明提供一种图像合成处理装置和图像合成处理方法，其能够利用不需要特定硬件结构和特定运算处理的简单的系统结构，将前景图像和背景图像合成为颜色鲜明且自然的图像，而不在前景图像中的替换颜色像素与其他像素之间的边界处产生混色。
根据本发明的一个方面，提供了一种图像合成处理装置，其旋转背景图像和前景图像中的至少一个，然后将前景图像与背景图像合成，所述图像合成处理装置包括：第一图像旋转处理单元，其被构造成将所述背景图像，按与指示的旋转方向相反的相反方向旋转指示的旋转角；合成处理单元，其被构造成将旋转后的背景图像与原始的前景图像合成，从而生成合成图像；以及第二图像旋转处理单元，其被构造成，将所述合成图像按所述指示的旋转方向旋转所述指示的旋转角。
根据本发明，利用不需要特定硬件结构和特定运算处理的简单的系统结构，即使以YUV422格式执行图像处理，也能够将前景图像和背景图像合成为颜色鲜明且自然的图像，而不在前景图像中的替换颜色像素与其他像素之间的边界处产生混色。
通过下面参照附图对示例性实施例的详细说明，本发明的其他特征将变得清楚。
附图说明
图1是示出根据本发明一个实施例的数字相机的结构的框图；
图2A和图2B是示出根据用于旋转前景图像并将旋转后的前景图像与背景图像合成的指令而执行的图像合成处理的过程的流程图；
图3是示出根据图2A和图2B的图像合成处理而合成前景图像和背景图像的处理的图；
图4是示出执行图2A和图2B的图像合成处理的数字相机的图像处理器的结构的框图；
图5A和图5B是示出根据用于缩放前景图像并将缩放后的前景图像与背景图像合成的指令而执行图像合成处理的过程的流程图；
图6是示出根据图5A和图5B的图像合成处理而合成前景图像和背景图像的处理的图；
图7是示出执行图5A和图5B的图像合成处理的图像处理器的结构的框图。
具体实施方式
现在，参照示出了本发明优选实施例的附图，在下文中详细说明本发明。
图1示出了根据本发明的一个实施例的用作图像合成处理装置的数字相机的结构的框图。
在图1中，数字相机100包括包含聚焦镜头的摄像镜头(taking lens)103、具有光圈作用的快门101以及由例如将光学图像转换成电子信号的CCD或CMOS实现的图像拍摄(pickup)设备22。防止包括摄像镜头103、快门101以及图像拍摄设备22的图像拍摄系统被污染或者损坏的遮挡器102布置在摄像镜头103的自由端。
标号23表示将从图像拍摄设备22输出的模拟信号转换成数字信号的A/D转换器，而标号24表示对来自A/D转换器23或者来自存储器控制器15的数据进行颜色转换处理和光栅化处理(例如像素插值和缩小)的图像处理器。图像处理器24执行基于拍摄的图像数据的计算。基于该计算的结果，系统控制器50执行例如曝光控制和距离测量控制，以进行TTL-AF(through-the-lens auto-focus，经由镜头的自动对焦)处理、AE(automatic exposure，自动曝光)处理、EF(electronic flash，电子闪光)处理以及TTL-AWB(through-the-lens auto-white balance，经由镜头的自动白平衡)处理。
将来自A/D转换器23的输出数据经由图像处理器24和存储器控制器15或者经由存储器控制器15写入(作为工作存储器的)存储器32。存储器32存储通过图像拍摄设备22获得、然后由A/D转换器23转换成数字数据的图像数据。存储器32还用作存储要在显示单元28上显示的图像数据的视频存储器，并且具有足以存储期望数量的静态图像和/或预定时间长度的动态图像和/或预定时间长度的音频数据的存储容量。
标号13表示D/A转换器，其将存储在存储器32中的用于显示的图像数据转换成模拟信号，并将模拟信号提供给显示单元28。基于来自D/A转换器13的模拟信号，在显示单元28的显示设备(例如LCD)上进行显示。
标号56表示由非易失性存储器(例如EEPROM)实现的电可擦除可记录的存储器，其存储由系统控制器50为进行操作而使用的常数、程序等。
系统控制器50控制整个数字相机100，并执行存储在非易失性存储器56中的程序，以实现稍后将描述的图像合成处理。标号52表示由例如RAM实现的系统存储器，其用于展开系统控制器50为进行操作而使用的常数和变量，以及展开从非易失性存储器56读取的程序等。系统控制器50还通过控制存储器32、D/A转换器13以及显示单元28等来执行显示控制。
数字相机100具有模式切换开关60、第一快门开关62、第二快门开关64以及操作单元70，用户利用这些部件向系统控制器50输入操作指令。
模式切换开关60由用户操作，来发出用于在静态图像记录模式、动态图像记录模式、再现模式等之间改变系统控制器50的操作模式的指令。当中途操作或者半按下数字相机100的快门按钮(未示出)以发出拍照(photographing)准备指令时，第一快门开关62被接通，以生成第一快门开关信号SW1。当输入第一快门开关信号SW1时，系统控制器50开始AF处理、AE处理、AWB处理、EF处理等。
当完全操作或者全按下快门按钮以发出拍照指令时，第二快门开关64被接通，以生成第二快门开关信号SW2。当输入第二快门开关信号SW2时，系统控制器50开始从自图像拍摄设备22的信号读取到向记录介质200的图像数据写入的一系列拍照处理。
操作单元70用作功能按钮，各功能按钮分配有适合于在用户选择了显示单元28上显示的任一功能图标时的场合(scene)的功能。该功能按钮包括：结束按钮、返回按钮、图像转变(shift)按钮、跳跃(jump)按钮、光圈步降(step-down)按钮、属性改变按钮等。
操作单元70具有由用户用来向系统控制器50输入指令的控制器轮(可以称为所谓的触摸轮)。
数字相机100具有电源开关72、电源控制器80以及电源单元30。电源控制器80包括电池检测电路、DC-DC转换器、用于选择相机100的要供应电力的块的开关电路等，并且检测电池的装/卸、电池类型以及电池余量。电源单元30由诸如碱性电池或锂电池的原电池(一次电池)实现，或者由诸如镍镉(NiCd)电池、镍氢(NiMH)电池或者锂电池的可充电电池(二次电池)实现，或者由AC适配器实现。
标号18表示与记录介质200的接口。记录介质200是由例如半导体存储器或者磁盘实现的存储器卡等。
接下来，将描述由数字相机100执行的图像合成处理。首先，对根据用于旋转前景图像并将旋转后的前景图像与背景图像合成的指令来执行的图像合成处理进行描述。图2A和图2B是示出图像合成处理的流程图，图3示出了将前景图像与背景图像合成的处理，而图4以框图的形式示出了图像处理器24的结构。
当用户输入用于将前景图像旋转指示的旋转角(例如X度的角)并将旋转后的前景图像与背景图像合成的指令时，图像合成处理开始。
在图像合成处理中，存储器控制器15根据用户的指令识别背景图像和前景图像(在图3中分别示出为R1和R4)，并在存储器32中展开背景图像R1和前景图像R4(步骤S1)。接下来，存储器控制器15读取在存储器32中展开的背景图像R1当中的位于读取区域(合成对象区域)中的背景图像R2的像素中的一个像素，并将所读取的像素提供给图像处理器24的(图4中示出的)第一旋转单元G5(步骤S2)。
第一旋转单元G5将输入的背景图像R2的像素从YUV422格式转换为YUV444格式(步骤S3)，将经过格式转换的像素旋转负X度的角度(即，将所述像素按与所指示的旋转方向相反的方向旋转所指示的X度的旋转角)，并且计算旋转后的背景图像像素的位置和像素值(步骤S4)。接下来，第一旋转单元G5将旋转后的背景图像像素从YUV444格式转换成YUV422格式，并输出经过格式转换的像素(步骤S5)。
存储器控制器15将经过格式转换的背景图像像素写入到存储器32中(步骤S6)，并确定是否针对背景图像R2的所有像素执行了旋转处理(步骤S7)。如果步骤S7的确定结果是“否”，则处理返回步骤S2，在步骤S2中将背景图像R2的下一像素输入第一旋转单元G5。如果步骤S7的确定结果为“是”，则处理进行到步骤S8。
在步骤S8中，存储器控制器15从存储器32中读取前景图像R4的像素中的一个像素以及旋转后的背景图像R3的像素中的对应像素，并将这些像素提供给图4中示出的合成单元G6。
合成单元G6将输入的背景图像R3的像素和输入的前景图像R4的像素，从YUV422格式转换成YUV444格式(步骤S9)，并确定前景图像R4的像素是否是替换颜色像素R8中的任一个(步骤S10)。如果步骤S10的确定结果为“否”，则处理进行到步骤S12。如果步骤S10的确定结果为“是”，则处理进行到步骤S11。
在步骤S11中，合成单元G6将背景图像R3的像素从YUV444格式转换成YUV422格式。在步骤S12中，合成单元G6将前景图像R4的像素从YUV444格式转换成YUV422格式。
在步骤S13中，合成单元G6将在步骤S11中转换成YUV422格式的背景图像R3的像素，或者在步骤S12中转换成YUV422的前景图像R4的像素，写入存储器32中，作为合成图像R5的像素。
接下来，合成单元G6确定是否针对前景图像R4的所有像素和背景图像R3的所有对应像素执行了合成处理(步骤S14)。如果步骤S14的确定结果是“否”，则处理返回到步骤S8，在步骤S8中，将前景图像R4的下一像素和旋转后的背景图像R3的下一对应像素输入合成单元G6。如果步骤S14的确定结果为“是”，则处理进行到步骤S15。
在步骤S15中，存储器控制器15从存储器32中读取合成图像R5的像素中的一个像素，并将所读取的像素提供给图4中示出的第二旋转单元G8。
第二旋转单元G8将输入的合成图像R5的像素从YUV422格式转换成YUV444格式(步骤S16)，将该像素按所指示的旋转方向旋转所指示的X度的旋转角，并计算旋转后的合成图像像素的位置和像素值(步骤S17)。
接下来，第二旋转单元G8将计算出的旋转后的合成图像R6的像素的像素值从YUV444格式转换成YUV422格式(步骤S18)，并且存储器控制器15将经过格式转换的旋转后的合成图像R6的像素的像素值写入存储器32(步骤S19)。
接下来，存储器控制器15确定是否针对合成图像R5的所有像素执行了旋转处理(步骤S20)。如果步骤S20的确定结果是“否”，则处理返回到步骤S15，在步骤S15中，将合成图像R5的下一像素提供给第二旋转单元G8。如果步骤S20的确定结果为“是”，则处理进行到步骤S21。
在步骤S21中，存储器控制器15从存储器32读取位于写回(write-back)区域的背景图像R2，并且将所读取的背景图像R2提供给图4中示出的高频检测单元G3。
高频检测单元G3对输入的背景图像R2执行利用系统控制器50指定的截止频率的HPF(High Pass Filter，高通滤波)处理，并将表示有无超过截止频率的高频分量的检测结果输出给系统控制器50(步骤S22)。
系统控制器50基于从高频检测单元G3输入的检测结果，确定背景图像R2是否包括超过截止频率的高频分量(边缘)(步骤S23)。如果步骤S23的确定结果为“否”，则系统控制器50将合成图像R6写在背景图像R1上，由此生成最终合成图像R7(步骤S29)，并完成图像合成处理。
另一方面，当确定背景图像R2包括高频分量(即，如果步骤S23的确定结果为“是”)时，存储器控制器15读取背景图像R1的像素中的一个像素，并将所读取的像素提供给图4中示出的滤波处理单元G2(步骤S24)。滤波处理单元G2将输入的像素从YUV422格式转换为YUV444格式，并对经过格式转换的像素执行利用系统控制器50指定的截止频率的LPF(低通滤波)处理，并输出经过LPF处理的像素(步骤S25)。
接下来，存储器控制器15将经过LPF处理的像素写入存储器32(步骤S26)，并确定是否针对背景图像R1的所有像素执行了LPF处理(步骤S27)。如果步骤S27的确定结果为“否”，则处理返回步骤S24，在步骤S24中，将背景图像R1的下一像素提供给滤波处理单元G2。如果步骤S27的确定结果为“是”，则处理进行到步骤S28。
在步骤S28中，存储器控制器15将合成图像R6写在经过LPF处理的背景图像R1上，由此生成最终合成图像R7，从而完成图像合成处理。
如上所述，在图2A和图2B中的图像合成处理中，不对前景图像R4中的替换颜色像素R8执行图像处理。结果，防止了替换颜色像素R8混入合成图像中，使得能够生成具有明确边界(sharp boundary)的合成图像。此外，由于将从背景图像R1中提取的背景图像R1的一部分(即，与前景图像R4具有相同大小的背景图像R2)与前景图像R4合成，因此与将整个背景图像R1与前景图像R4合成的情况相比，能够提高图像合成处理的速度。
由于在通过旋转从背景图像R1中提取的背景图像R2、然后将旋转后的背景图像R3与前景图像R4合成而生成合成图像R6时执行的插值处理，降低了高频分量对合成图像R6的贡献。因此，如果在背景图像R1的围绕背景图像R2的部分中存在大量的高频分量，则最终合成图像R7中的背景图像R1与合成图像R6之间的频率分量差变大。结果，在最终合成图像R7中的写入了合成图像R6的矩形区域的周边变得可视性很高，导致图像质量的劣化。
为了避免这一问题，在图像合成处理中，如图2B中的步骤S21至S26中所述，如果确定背景图像R2包括超过HPF截止频率的高频分量(边缘)，则对背景图像R1执行LPF处理，从而降低背景图像R1的围绕背景图像R2的部分与合成图像R6之间的频率分量差。
接下来，将对根据对前景图像进行缩放并将缩放后的前景图像与背景图像进行合成的指令来执行的图像合成处理进行描述。图5A和图5B是示出图像合成处理的流程图，图6示出了将前景图像与背景图像合成的处理，而图7以框图的形式示出了图像处理器24的结构。
该图像合成处理是由系统控制器50，通过在系统存储器52中展开存储在非易失性存储器56中的程序并通过执行所展开的程序而实现的。
当用户输入了用于以预定倍率(例如，1/N倍缩小)缩放前景图像并将缩放后的前景图像与背景图像合成的指令时，开始图像合成处理。
在图像合成处理中，存储器控制器15根据用户的指令识别背景图像和前景图像(在图6中分别示出为Q1和Q4)，并在存储器32中展开背景图像Q1和前景图像Q4(步骤S50)。接下来，存储器控制器15读取在存储器32中展开的背景图像Q1之中的位于读取区域(合成对象区域)中的背景图像Q2的像素中的一个像素，并将所读取的像素提供给图像处理器24的第一缩放单元H5(图7中示出)(步骤S51)。
第一缩放单元H5将输入的背景图像Q2的像素从YUV422格式转换成YUV444格式(步骤S52)，将经过格式转换的像素放大N倍，并计算放大后的背景图像像素的像素值(步骤S53)。接下来，第一缩放单元H5将放大后的背景图像像素从YUV444格式转换成YUV422格式，并输出经过格式转换的像素(步骤S54)。
存储器控制器15将经过格式转换的背景图像像素写入存储器32(步骤S55)，并确定是否对背景图像Q2的所有像素执行了放大处理(步骤S56)。如果步骤S56的确定结果是“否”，则处理返回步骤S51，在步骤S51中，将背景图像Q2的下一像素输入第一缩放单元H5。如果步骤S56的确定结果为“是”，则处理进行到步骤S57。
在步骤S57中，存储器控制器15从存储器32中读取前景图像Q4的像素中的一个像素和放大后的背景图像Q3的像素中的对应像素，并将这些像素提供给图7中示出的合成单元H6。合成单元H6将输入的背景图像Q3的像素和输入的前景图像Q4的像素从YUV422格式转换成YUV444格式(步骤S58)。
接下来，合成单元H6确定前景图像Q4的像素是否是替换颜色像素Q8中的任一像素(步骤S59)。如果步骤S59的确定结果为“是”，则处理进行到步骤S60，在步骤S60中将背景图像Q3的像素从YUV444格式转换成YUV422格式。另一方面，如果确定前景图像Q4的像素不是替换颜色像素Q8中的任一像素(即，如果步骤S59为“否”)，则处理进行到步骤S61，在步骤S61中将前景图像Q4的像素从YUV444格式转换为YUV422格式。
接下来，存储器控制器15将在步骤S60中转换成YUV422格式的背景图像Q3的像素或者在步骤S61中转换成YUV422格式的前景图像Q4的像素写入存储器32中，作为合成图像Q5的像素(步骤S62)。接下来，存储器控制器15确定是否针对前景图像Q4的所有像素和背景图像Q3的所有像素执行了合成处理(步骤S63)。如果步骤S63的确定结果为“否”，则处理返回步骤S57，在步骤S57中将前景图像Q4的下一像素和放大后的背景图像Q3的相应下一像素输入合成单元H6。如果步骤S63的确定结果为“是”，则处理进行到步骤S64，在步骤S64中存储器控制器15从存储器32中读取合成图像Q5的像素中的一个像素，并将所读取的像素提供给图7中示出的第二缩放单元H8。
第二缩放单元H8将输入的合成图像Q5的像素从YUV422格式转换成YUV444格式(步骤S65)，将像素缩小到1/N倍，并计算缩小后的合成图像像素的像素值(步骤S66)。接下来，第二缩放单元H8将计算出的缩小后的合成图像Q6的像素的像素值，从YUV444格式转换成YUV422格式(步骤S67)。
存储器控制器15将经过格式转换的缩小后的合成图像Q6的像素的像素值写入存储器32中(步骤S68)，并确定是否针对合成图像Q5的所有像素执行了缩小处理(步骤S69)。如果步骤S69的确定结果为“否”，则处理返回步骤S64，在步骤S64中将合成图像Q5的下一像素提供给第二缩放单元H8。如果步骤S69的确定结果为“是”，则处理进行到步骤S70。
在步骤S70中，存储器控制器15从存储器32中读取位于写回区域的背景图像Q2，并将所读取的背景图像Q2提供给高频检测单元H3。高频检测单元H3对输入的背景图像Q2执行利用系统控制器50指定的截止频率的HPF处理，并向系统控制器50输出表示有无超过截止频率的高频分量的检测结果(步骤S71)。
接下来，系统控制器50基于从高频检测单元H3输入的检测结果，确定背景图像Q2是否包括超过截止频率的高频分量(边缘)(步骤S72)。如果步骤S72的确定结果为“否”，则系统控制器50将合成图像Q6写在背景图像Q1上(步骤S78)，并完成图像合成处理。
另一方面，当确定背景图像Q2包括高频分量(即，如果步骤S72的确定结果为“是”)时，存储器控制器15读取背景图像Q1的像素中的一个像素，并将所读取的像素提供给滤波处理单元H2(步骤S73)。滤波处理单元H2将输入的像素从YUV422格式转换成YUV444格式，对经过格式转换的像素执行利用系统控制器50指定的截止频率的LPF处理，并输出经过LPF处理的像素(步骤S74)。
接下来，存储器控制器15将经过LPF处理的像素写入存储器中(步骤S75)，并确定是否针对背景图像Q1的所有像素执行了LPF处理(步骤S76)。如果步骤S76的确定结果为“否”，则处理返回步骤S73，在步骤S73中将背景图像Q1的下一像素提供给滤波处理单元H2。如果步骤S76的确定结果为“是”，则处理进行到步骤S77。
在步骤S77中，存储器控制器15将合成图像Q6写在经过LPF处理的背景图像Q1上，由此生成最终合成图像Q7，并完成图像合成处理。
如上所述，在图5A和图5B的图像合成处理中，不对前景图像Q4中的替换颜色像素Q8执行图像处理。因此，防止了替换颜色像素Q8混入合成图像中，从而能够生成具有明确边界的合成图像。
以下是上述实施例的要点。在通过旋转或放大/缩小前景图像并通过用旋转后的或放大后/缩小后的前景图像替换背景图像的一部分来将前景图像与背景图像合成的情况下，通常对前景图像像素执行插值处理。结果，在前景图像中的替换颜色像素与其他像素(图像数据像素)之间的边界处发生混色。在此情况下，在背景图像与前景图像之间的边界处出现混色像素，使得边界变得不清晰。
为了避免这一问题，在本实施例的图像合成处理装置中，按与指示的旋转方向相反的方向旋转背景图像，而不是按指示的旋转方向旋转前景图像，或者，以指示的倍率缩小/放大背景图像，而不是以指示的倍率放大/缩小前景图像。由于不对前景图像执行旋转处理或放大/缩小处理，因此在前景图像中的替换颜色像素与其他像素之间的边界处不会产生由于插值处理而导致的混色，由此防止了在前景图像与背景图像之间的边界处出现混色像素，从而防止边界变得不清晰。
接下来，按与指示的旋转方向相反的方向旋转背景图像，或者以指示的倍率缩小/放大背景图像，将所得到的背景图像与原始前景图像(即，未经过旋转处理或放大/缩小处理的前景图像)合成以生成合成图像，然后将该合成图像按所示的方向旋转或以指示的倍率放大/缩小，从而生成最终合成图像。最终合成图像等效于通过将背景图像与按指示的方向旋转后或者按指示的倍率放大/缩小后的前景图像合成而生成的普通合成图像。此外，与普通合成图像不同的是，在前景图像中的替换颜色像素和图像数据像素之间不产生混色。因此，在最终合成图像中前景图像与背景图像之间的边界处不发生混色，使得最终合成图像变得清晰。
更具体地说，如果发出按预定的旋转角旋转前景图像并将所得到的图像与背景图像合成的指令，则由第一图像旋转处理单元(第一旋转单元G5)将背景图像按与指示的旋转方向相反的方向，旋转所指示的旋转角。如果发出按预定的倍率放大前景图像并将所得到的图像与背景图像合成的指令，则由第一图像缩放处理单元(第一缩放单元H5)以指示的缩放倍率缩小背景图像。如果发出按预定的倍率缩小前景图像并将所得到的图像与背景图像合成的指令，则由第一图像缩放处理单元(第一缩放单元H5)以指示的倍率放大背景图像。
接下来，由合成处理单元(合成单元G6或H6)将旋转后或放大后或缩小后的背景图像与原始前景图像合成，由此生成合成图像。接下来，由第二图像旋转处理单元(第二旋转单元G8)将合成图像按指示的旋转方向旋转指示的旋转角，或者由第二图像缩放处理单元(第二缩放单元H8)将合成图像以指示的倍率放大或缩小，从而生成最终合成图像。
为了提高图像合成处理速度，不将整个背景图像R1或Q1与前景图像R4或Q4合成，而仅将背景图像R1或Q1的与前景图像尺寸相同的区域(即，仅将背景图像R2或Q2)与前景图像R4或Q4合成。为此，由提取单元(存储器控制器15和系统控制器50)从背景图像R1或Q1中提取背景图像R2或Q2。
如果在背景图像R2或Q2中包含有图像轮廓或边界，则在通过将背景图像R2或Q2与前景图像R4或Q4合成以生成合成图像R6或Q6的过程中，降低与图像轮廓或边界对应的高频分量对合成图像R6或Q6的贡献。结果，在最终合成图像R7或Q7中背景图像R1或Q1与合成图像R6或Q6之间的边界变得可视性非常高，导致图像质量的劣化。
为了避免这一问题，通过高频检测单元(高频检测单元G3或H3)检测在背景图像R2或Q2中有无高频分量，如果确定存在高频分量，则通过滤波处理单元对背景图像R1或Q1执行LPF(低通滤波)处理，并由写回单元将合成图像R6或Q6写在经过LPF处理的背景图像R1或Q1上，从而生成最终合成图像R7或Q7，同时抑制了图像质量劣化。
根据上述实施例，利用不需要特定硬件结构和特定运算处理的简单的系统结构，能够将前景图像和背景图像合成为颜色鲜明且自然的最终合成图像，而即使以YUV422格式执行图像处理，也不在前景图像中的替换颜色像素与其他像素之间的边界处产生混色。
本发明可应用于图像合成(例如幻灯片放映、图像再现以及印戳合成)用的各种图像合成处理装置。
虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明不局限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽泛解释，以使所述范围涵盖所有的此类变型例以及等同结构和功能。
本申请要求于2010年10月7日提交的日本专利申请2010-227606号公报的优先权，该申请的全部内容通过引用并入本文。
Claims (10)
1.一种图像合成处理装置，其旋转背景图像和前景图像中的至少一个，然后将前景图像与背景图像合成，所述图像合成处理装置包括：
第一图像旋转处理单元，其被构造成将所述背景图像，按与指示的旋转方向相反的相反方向，旋转指示的旋转角；
合成处理单元，其被构造成将旋转后的背景图像与原始的前景图像合成，从而生成合成图像；以及
第二图像旋转处理单元，其被构造成将所述合成图像按所述指示的旋转方向旋转所述指示的旋转角。
2.根据权利要求1所述的图像合成处理装置，该图像合成处理装置还包括：
提取单元，其被构造成从所述背景图像中提取位于合成对象区域中的背景图像部分；以及
写回单元，其被构造成写回由所述第二图像旋转处理单元旋转的合成图像，
其中，由所述第一图像旋转处理单元将所述提取单元提取的背景图像部分按所述相反方向旋转所述指示的旋转角，由所述合成处理单元将旋转后的背景图像部分与原始的前景图像合成，并且由所述写回单元将通过由所述第二图像旋转处理单元将合成图像按所述指示的旋转方向旋转所述指示的旋转角而生成的图像，写回到整个背景图像上。
3.根据权利要求1所述的图像合成处理装置，该图像合成处理装置还包括：
高频检测单元，其被构造成检测所述背景图像中有无高频分量；以及
滤波处理单元，其被构造成在所述高频检测单元检测到高频分量的情况下，对所述背景图像执行低通滤波处理，
其中，所述合成处理单元将原始的前景图像与经过了低通滤波处理的背景图像合成。
4.根据权利要求1所述的图像合成处理装置，其中所述背景图像和所述前景图像中的至少一个是YUV422格式图像。
5.一种图像合成处理装置，其对背景图像和前景图像中的至少一个执行用于放大或缩小的缩放，然后将前景图像与背景图像合成，所述图像合成处理装置包括：
第一图像缩放处理单元，其被构造成按指示的倍率对所述背景图像执行逆缩放，其中，在发出了用于放大前景图像的指令的情况下，对背景图像执行缩小，而在发出了用于缩小前景图像的指令的情况下，对背景图像执行放大；
合成处理单元，其被构造成将原始的前景图像与经过了所述逆缩放的背景图像合成，从而生成合成图像；以及
第二图像缩放处理单元，其被构造成按所述指示的倍率缩放所述合成图像。
6.根据权利要求5所述的图像合成处理装置，该图像合成处理装置还包括：
提取单元，其被构造成从所述背景图像中提取位于合成对象区域中的背景图像部分；以及
写回单元，其被构造成写回由所述第二图像缩放处理单元缩放的合成图像，
其中，由所述第一图像缩放处理单元对所述提取单元提取的背景图像部分进行按所述指示的倍率执行的所述逆缩放，由所述合成处理单元将经过所述逆缩放的背景图像部分与原始的前景图像合成，并且由所述写回单元将通过由所述第二图像缩放处理单元对合成图像按所述指示的倍率进行缩放而生成的图像，写回到整个背景图像上。
7.根据权利要求5所述的图像合成处理装置，该图像合成处理装置还包括：
高频检测单元，其被构造成检测所述背景图像中有无高频分量；以及
滤波处理单元，其被构造成在所述高频检测单元检测到高频分量的情况下，对所述背景图像执行低通滤波处理，
其中，所述合成处理单元将原始的前景图像与经过了低通滤波处理的背景图像合成。
8.根据权利要求5所述的图像合成处理装置，其中所述背景图像和所述前景图像中的至少一个是YUV422格式图像。
9.一种图像合成处理方法，其旋转背景图像和前景图像中的至少一个，然后将前景图像与背景图像合成，所述图像合成处理方法包括以下步骤：
第一图像旋转处理步骤，将所述背景图像，按与指示的旋转方向相反的相反方向，旋转指示的旋转角；
合成处理步骤，将旋转后的背景图像与原始的前景图像合成，从而生成合成图像；以及
第二图像旋转处理步骤，将所述合成图像按所述指示的旋转方向旋转所述指示的旋转角。
10.一种图像合成处理方法，其对背景图像和前景图像中的至少一个执行用于放大或缩小的缩放，然后将前景图像与背景图像合成，所述图像合成处理方法包括以下步骤：
第一图像缩放处理步骤，按与指示的倍率对所述背景图像执行逆缩放，其中，在发出了用于放大前景图像的指令的情况下，对背景图像执行缩小，而在发出了用于缩小前景图像的指令的情况下，对背景图像执行放大；
合成处理步骤，将原始的前景图像与经过了所述逆缩放的背景图像合成，从而生成合成图像；以及
第二图像缩放处理步骤，按所述指示的倍率缩放所述合成图像。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010227606A JP5729963B2 (ja) | 2010-10-07 | 2010-10-07 | 画像合成処理装置及びその制御方法 |
| JP2010-227606 | 2010-10-07 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102542546A true CN102542546A (zh) | 2012-07-04 |
| CN102542546B CN102542546B (zh) | 2015-09-09 |
Family
ID=45925188
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201110303324.9A Expired - Fee Related CN102542546B (zh) | 2010-10-07 | 2011-09-29 | 图像合成处理装置及图像合成处理方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US8837864B2 (zh) |
| JP (1) | JP5729963B2 (zh) |
| CN (1) | CN102542546B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103079040A (zh) * | 2013-01-11 | 2013-05-01 | 北京友维科软件科技有限公司 | 图像与影像视频合成系统与合成方法 |
| CN103679769A (zh) * | 2012-09-26 | 2014-03-26 | 奥林巴斯映像株式会社 | 图像编辑装置以及图像编辑方法 |
| CN111210450A (zh) * | 2019-12-25 | 2020-05-29 | 北京东宇宏达科技有限公司 | 一种针对海天背景红外图像处理方法 |
| CN113992877A (zh) * | 2021-09-16 | 2022-01-28 | 南昌威爱信息科技有限公司 | 一种基于虚拟视频拍摄方法及系统 |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103020932A (zh) * | 2012-12-04 | 2013-04-03 | 广东欧珀移动通信有限公司 | 一种应用程序图标遮罩处理方法及系统 |
| CN104700357A (zh) * | 2015-04-14 | 2015-06-10 | 华东理工大学 | 一种基于双线性算子的汉字图像缩放方法 |
| WO2018061189A1 (ja) * | 2016-09-30 | 2018-04-05 | 国立大学法人奈良先端科学技術大学院大学 | 情報処理装置、表示方法、読取方法、およびコンピュータ読み取り可能な非一時的記憶媒体 |
| CN106530265B (zh) * | 2016-11-08 | 2019-03-01 | 河海大学 | 一种基于色度坐标的自适应图像融合方法 |
| CN108683856B (zh) * | 2018-08-01 | 2021-04-27 | 维沃移动通信有限公司 | 一种拍照方法及终端设备 |
| CN109246478A (zh) * | 2018-11-20 | 2019-01-18 | 郑州云海信息技术有限公司 | 一种视频格式转换装置及方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1110069A (zh) * | 1993-05-21 | 1995-10-11 | 世嘉企业股份有限公司 | 图象处理设备及方法 |
| US20090316989A1 (en) * | 2006-09-11 | 2009-12-24 | Koninklijke Philips Electronics N.V. | Method and electronic device for creating an image collage |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2756048B2 (ja) | 1991-10-30 | 1998-05-25 | 富士通株式会社 | カラー画像の色調整及び画像合成方法並びに装置 |
| JPH07288806A (ja) * | 1994-04-20 | 1995-10-31 | Hitachi Ltd | 動画像通信システム |
| JP3461613B2 (ja) * | 1995-03-30 | 2003-10-27 | 株式会社リコー | 画像処理装置 |
| JPH11313339A (ja) * | 1998-04-30 | 1999-11-09 | Toshiba Corp | 表示制御装置および動画／グラフィクス合成表示方法 |
| WO1999067949A1 (fr) * | 1998-06-22 | 1999-12-29 | Fuji Photo Film Co., Ltd. | Imageur et procede |
| US7064783B2 (en) * | 1999-12-31 | 2006-06-20 | Stmicroelectronics, Inc. | Still picture format for subsequent picture stitching for forming a panoramic image |
| JP4399462B2 (ja) * | 2004-09-22 | 2010-01-13 | ポリゴンマジック株式会社 | 画像処理装置、方法、およびプログラム |
| JP2007196567A (ja) * | 2006-01-27 | 2007-08-09 | Konica Minolta Business Technologies Inc | 画像形成方法および画像形成装置 |
| JP2008015741A (ja) * | 2006-07-05 | 2008-01-24 | Konica Minolta Holdings Inc | 画像処理装置、画像処理方法及びこれを用いた撮像装置 |
| US7941002B2 (en) * | 2006-12-01 | 2011-05-10 | Hewlett-Packard Development Company, L.P. | Apparatus and methods of producing photorealistic image thumbnails |
| JP2009094902A (ja) | 2007-10-10 | 2009-04-30 | Sharp Corp | 画像合成装置、画像合成方法、プログラムおよび記録媒体 |
| JP5051156B2 (ja) * | 2009-03-05 | 2012-10-17 | カシオ計算機株式会社 | 画像処理装置及びプログラム |
-
2010
- 2010-10-07 JP JP2010227606A patent/JP5729963B2/ja not_active Expired - Fee Related
-
2011
- 2011-09-29 CN CN201110303324.9A patent/CN102542546B/zh not_active Expired - Fee Related
- 2011-10-04 US US13/252,297 patent/US8837864B2/en not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1110069A (zh) * | 1993-05-21 | 1995-10-11 | 世嘉企业股份有限公司 | 图象处理设备及方法 |
| US20090316989A1 (en) * | 2006-09-11 | 2009-12-24 | Koninklijke Philips Electronics N.V. | Method and electronic device for creating an image collage |
Non-Patent Citations (1)
| Title |
|---|
| H.B.KEKRE等: "Rotation Invariant Fusion of Partial Image Parts in Vista Creation using Missing View Regeneration", 《PROCEEDINGS OF WORLD ACADEMY OF SCIENCE:ENGINEERING & TECHNOLOGY》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103679769A (zh) * | 2012-09-26 | 2014-03-26 | 奥林巴斯映像株式会社 | 图像编辑装置以及图像编辑方法 |
| CN103679769B (zh) * | 2012-09-26 | 2017-05-10 | 奥林巴斯株式会社 | 图像编辑装置以及图像编辑方法 |
| CN103079040A (zh) * | 2013-01-11 | 2013-05-01 | 北京友维科软件科技有限公司 | 图像与影像视频合成系统与合成方法 |
| WO2014108102A1 (zh) * | 2013-01-11 | 2014-07-17 | 北京友维科软件科技有限公司 | 图像与影像视频合成系统与合成方法 |
| CN111210450A (zh) * | 2019-12-25 | 2020-05-29 | 北京东宇宏达科技有限公司 | 一种针对海天背景红外图像处理方法 |
| CN113992877A (zh) * | 2021-09-16 | 2022-01-28 | 南昌威爱信息科技有限公司 | 一种基于虚拟视频拍摄方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5729963B2 (ja) | 2015-06-03 |
| CN102542546B (zh) | 2015-09-09 |
| JP2012084987A (ja) | 2012-04-26 |
| US20120087585A1 (en) | 2012-04-12 |
| US8837864B2 (en) | 2014-09-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102542546B (zh) | 图像合成处理装置及图像合成处理方法 | |
| US8922667B2 (en) | Image pickup apparatus capable of applying color conversion to captured image and control method thereof | |
| JP4160883B2 (ja) | 画像記録装置及び画像記録方法 | |
| JP4497912B2 (ja) | カメラ及びカメラのズーム制御方法 | |
| CN101573971B (zh) | 图像记录装置和图像记录方法 | |
| JP4767838B2 (ja) | 撮像装置および撮像方法 | |
| CN101668106B (zh) | 图像处理装置、摄像装置以及图像处理方法 | |
| JP2008180906A (ja) | 撮影装置及び合焦制御方法 | |
| CN104246597B (zh) | 成像装置以及成像方法 | |
| JP6351212B2 (ja) | 撮像装置、撮像装置の制御方法及びシステム | |
| JP6765919B2 (ja) | 画像処理装置、その制御方法、プログラム | |
| JP7278092B2 (ja) | 画像処理装置、撮像装置、画像処理方法、撮像装置の制御方法、及びプログラム | |
| JP2009088628A (ja) | 画像処理装置 | |
| JP2004221650A (ja) | 電子カメラ | |
| JP6351213B2 (ja) | 撮像装置、撮像装置の制御方法及びシステム | |
| JP2005202037A (ja) | 立体カメラ | |
| JP2018174540A (ja) | 撮像装置、撮像装置の制御方法及びシステム | |
| JP2018174541A (ja) | 撮像装置、撮像装置の制御方法及びシステム | |
| JP5882794B2 (ja) | 撮像装置 | |
| JP7475517B2 (ja) | 撮像装置及びその制御方法及びプログラム | |
| JP2019068342A (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体 | |
| JP2004078075A (ja) | オンスクリーンディスプレイ装置 | |
| JP2016208207A (ja) | 撮像装置 | |
| JP2016208206A (ja) | 記録装置 | |
| JP2020088665A (ja) | 画像処理装置、画像処理方法、プログラムおよび記憶媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20150909 |