CN101827214A - 图像处理装置及图像处理方法 - Google Patents
图像处理装置及图像处理方法 Download PDFInfo
- Publication number
- CN101827214A CN101827214A CN201010130169.0A CN201010130169A CN101827214A CN 101827214 A CN101827214 A CN 101827214A CN 201010130169 A CN201010130169 A CN 201010130169A CN 101827214 A CN101827214 A CN 101827214A
- Authority
- CN
- China
- Prior art keywords
- image
- subject
- imaging conditions
- background
- opposing party
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 158
- 238000003672 processing method Methods 0.000 title claims abstract description 10
- 238000003384 imaging method Methods 0.000 claims abstract description 179
- 238000003860 storage Methods 0.000 claims abstract description 25
- 230000015654 memory Effects 0.000 claims description 27
- 230000015572 biosynthetic process Effects 0.000 claims description 18
- 238000003786 synthesis reaction Methods 0.000 claims description 17
- 230000002194 synthesizing effect Effects 0.000 claims description 10
- 230000033228 biological regulation Effects 0.000 description 31
- 238000000034 method Methods 0.000 description 19
- 238000001514 detection method Methods 0.000 description 17
- 230000009471 action Effects 0.000 description 14
- 230000009466 transformation Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 230000003287 optical effect Effects 0.000 description 10
- 238000004519 manufacturing process Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 6
- 230000000295 complement effect Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 230000001052 transient effect Effects 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 241001269238 Data Species 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000035807 sensation Effects 0.000 description 2
- 235000019615 sensations Nutrition 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000005755 formation reaction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/74—Circuits for processing colour signals for obtaining special effects
- H04N9/75—Chroma key
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
- H04N1/3876—Recombination of partial images to recreate the original image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/6083—Colour correction or control controlled by factors external to the apparatus
- H04N1/6086—Colour correction or control controlled by factors external to the apparatus by scene illuminant, i.e. conditions at the time of picture capture, e.g. flash, optical filter used, evening, cloud, daylight, artificial lighting, white point measurement, colour temperature
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
本发明提供一种图像处理装置及图像处理方法。照相机装置(100)具有:存储介质(9);操作输入部(12);和图像合成部(8g)。存储介质(9)以将图像与该图像的摄像时的摄像条件建立关联的方式进行多个图像存储;操作输入部(12)从该存储介质(9)中读出多个图像并指示合成。图像合成部(8g)从存储介质(9)中读出与由操作输入部(12)指示合成后的多个图像分别建立了关联的摄像条件,以接近一方图像的摄像条件的方式对另一方图像进行合成。
Description
技术领域
本发明涉及对多个图像进行合成的图像处理装置及图像处理方法。
背景技术
现在,公知通过对被摄体图像和背景用图像或帧图像进行合成而生成合成图像的技术。
然而,若被摄体图像与背景用图像或帧图像的摄像条件不同,则当合成图像时,存在被摄体图像与背景用图像或帧图像的平衡变差的问题。例如,当在室内的照明下进行被摄体图像的拍摄,而另一方面,在晴天的室外进行背景用图像的拍摄时,由于被摄体图像与背景用图像中对比度或明亮度不同,存在生成有不协调感觉的合成图像的问题。
发明内容
本发明的目的在于,能够极力减少拍摄环境的影响,而生成不协调感觉少的合成图像。
为了实现上述目的,本发明的图像处理装置,具有:存储单元,其以将图像与该图像的摄像时的摄像条件建立关联的方式进行多个图像存储;指示单元,其指示在该存储单元中所存储的多个图像之间的合成;
图像处理单元,其由所述存储单元读出与由该指示单元指示合成后的图像分别建立了关联的摄像条件,以接近一方图像的摄像条件的方式对另一方图像进行处理;和合成单元,其对由该图像处理单元处理后的所述另一方图像和所述一方图像进行合成。
此外,本发明的图像处理装置,具有:
区域指示单元,其在至少两个图像中,对一方图像中的应合成另一方图像的区域进行指示;明亮度获取单元,其获取由该区域指示单元所指示的另一个图像的应合成区域的明亮度;和合成单元,其以所述另一方的图像的明亮度接近由所述明亮度获取单元获取到的一方图像的应合成区域的明亮度的方式施行处理,合成所述两个图像。
此外,本发明的图像处理装置,具有:确定单元,其在至少两个图像中,对一方图像中的光源的位置进行确定;位置指示单元,其在所述一方图像中,对应合成另一方图像的位置进行指示;和合成单元,其根据所述一方图像的光源的位置和由所述位置指示单元所指示的位置,对所述另一方图像施行处理,对所述两个图像进行合成。
本发明的技术方案的图像处理方法,包括:存储步骤,以将图像与该图像的摄像时的摄像条件建立关联的方式进行多个图像存储;指示步骤,指示在所述存储步骤中所存储的图像之间的合成;图像处理步骤,由所述存储步骤读出与由该指示步骤指示合成后的图像分别建立了关联的摄像条件,以接近一方图像的摄像条件的方式对另一方图像进行处理;和合成步骤,对由该图像处理步骤处理后的所述另一方图像和所述一方图像进行合成。
本发明的图像处理方法,包括:区域指示步骤,在至少两个图像中,对一方图像中的应合成另一方图像的区域进行指示;明亮度获取步骤,获取由该区域指示步骤所指示的一方图像的应合成区域的明亮度;和合成步骤,以所述另一方图像的明亮度接近由所述明亮度获取步骤获取到的一方图像的应合成区域的明亮度的方式施行处理,合成所述两个图像。
本发明的图像处理方法,包括:确定步骤,在至少两个图像中,对一方图像中的光源的位置进行确定;位置指示步骤,在所述一方图像中,对应合成另一方图像的位置进行指示;和合成步骤,根据所述一方图像的光源的位置和由所述位置指示步骤所指示的位置,对所述另一方图像施行处理,对所述两个图像进行合成。
附图说明
图1是表示适用本发明的实施方式1的照相装置的结构的图。
图2是表示基于相同照相装置的背景用图像生成处理的动作的一个示例的流程图。
图3是表示基于相同照相装置的被摄体剪取处理的动作的一个示例的流程图。
图4是表示基于相同照相装置的合成图像生成处理的动作的一个示例的流程图。
图5是表示图4的合成图像生成处理的图像的一个示例的模式图。
图6A是表示图4的合成图像生成处理的图像的一个示例的模式图。
图6B是表示图4的合成图像生成处理的图像的一个示例的图。
图6C是表示图4的合成图像生成处理的图像的一个示例的图。
图7是表示适用本发明的实施方式2的照相装置的结构的方框图。
图8是表示基于图7的照相装置的背景用图像生成处理的动作的一个示例的流程图。
图9是表示基于图7的照相装置的被摄体剪取处理的动作的一个示例的流程图。
图10是表示基于图7的照相装置的合成图像生成处理的动作的一个示例的流程图。
图11A是表示图10的合成图像生成处理的图像的一个示例的模式图。
图11B是表示图10的合成图像生成处理的图像的一个示例的模式图。
图11C是表示图10的合成图像生成处理的图像的一个示例的模式图。
图12A是表示被摄体合成图像的一个示例的图。
图12B是表示被摄体合成图像的一个示例的图。
具体实施方式
[实施方式1]
图1是表示适用本发明的实施方式1的照相装置100的结构的图。
实施方式1的照相装置100,判定背景用图像P1及被摄体图像P3的明亮度、对比度、色调(色味)等的摄像条件是否一致。当在摄像条件判定部8f中判定为被摄体图像P3的明亮度、对比度、色调(色味)等的摄像条件不一致时,图像合成部8g对被摄体图像P3施行规定的图像处理后,与背景图像P1进行合成。
具体而言,如图1所示,照相装置100具有:镜头部1;电子摄像部2;摄像控制部3;图像数据生成部4;图像存储器5;特征量运算部6;块匹配部7;图像处理部8;记录介质9;显示控制部10;显示部11;操作输入部12;和CPU13。
此外,摄像控制部3、特征量运算部6、块匹配部7、图像处理部8、CPU13,例如作为定制LSI来组装。
镜头部1,由多个镜头构成,具有变焦镜头或聚焦镜头等。
此外,镜头部1虽然省略图示,但可以具有:当拍摄被摄体时使变焦镜头向光轴方向移动的变焦驱动部;和使聚焦镜头向光轴方向移动的聚焦驱动部等。
电子摄像部2,例如由CCD(Charge Coupled Device)或CMOS(Complementary Metal-oxide Semiconductor)等的图像传感器构成,将通过镜头部1的各种镜头的光学像转换为二维图像信号。
摄像控制部3虽然省略图示,但具有定时发生器和驱动器等。而且,摄像控制部3,根据定时发生器、驱动器对电子摄像部2进行扫描驱动,按照每个规定周期,通过电子摄像部2将光学像转换为二维图像信号,从该电子摄像部2的摄像区域一个画面一个画面地读出图像帧后输出给图像数据生成部4。
此外,摄像控制部3进行对AF(自动调焦处理)、AE(自动曝光处理)、AWB(自动白平衡)等的被摄体进行摄像时的条件的调整控制。
如此构成的摄像镜头部1、电子摄像部2及摄像控制部3,对仅由图像合成处理的背景形成的背景用图像P1(参照图6A)或包含被摄体的背景图像P2(参照图6B)进行摄像。
此外,摄像镜头部1、电子摄像部2及摄像控制部3,在拍摄包含被摄体的背景图像P2之后,在固定了拍摄包含该被摄体的背景图像P2时的摄像条件的状态下,为了生成仅包括在包含被摄体的背景图像P2中的被摄体的被摄体图像P3,根据包含被摄体的背景图像P2仅对背景的图像(图示略)进行摄像。
图像数据生成部4,对从电子摄像部2传送来的图像帧的模拟值的信号按照每个RGB的各色成分进行适当增益调整之后,由取样保持电路(图示略)进行取样保持,通过A/D转换器(图示略)转换为数字数据,并由彩色处理电路(图示略)进行包括像素插值处理及γ补正处理的彩色处理之后,生成数字值的亮度信号Y及色差信号Cb、Cr(YUV数据)。
从彩色处理电路输出的亮度信号Y及色差信号Cb、Cr,经由未图示的DMA控制器,DMA传送给作为缓冲存储器而使用的图像存储器5。
图像存储器5,例如,由DRAM等构成,对由特征量运算部6、块匹配部7、图像处理部8、CPU13等处理的数据等进行暂时存储。
特征量运算部6,将仅背景的图像作为基准,来进行从仅该背景的图像中提取特征点的特征提取处理。具体而言,特征量运算部6根据仅背景的图像的YUV数据,选择规定数(或规定数以上)的特征的特征性高的块区域(特征点),提取该块的内容作为模板(template)(例如,16×16像素的正方形)。
在此,所谓特征提取处理,是从多个候补块中选择有益于跟踪的特征性高的块的处理。
块匹配部7,进行用于将仅背景的图像和包含被摄体的背景图像P2进行对位的块匹配处理。具体而言,块匹配部7搜索与由特征提取处理提取的模板的包含被摄体的背景图像P2内的何处对应。即,块匹配部7搜索在包含被摄体的背景图像P2内与模板的像素值最佳对应的位置[对应区域]。而且,块匹配部7计算仅像素值的相异度的评价值(例如,平方差和(SSD)或绝对差和(SAD)等)最佳的背景的图像与包含被摄体的背景图像P2间的最佳的偏移量(offset),作为该模板的移动向量。
图像处理部8,具有进行包含被摄体的背景图像P2与仅背景的图像的对位的对位部8a。
对位部8a,根据由仅背景的图像提取的特征点,计算出针对仅背景的图像的包含被摄体的背景图像P2的各像素的坐标变换式(投影变换矩阵),按照该坐标变换式,将包含被摄体的背景图像P2进行坐标变换,进行与仅背景的图像的对位。
此外,图像处理部8,生成在包含由对位部8a对位后的被摄体的背景图像P2与仅背景的图像之间对应的各像素的差分信息。而且,图像处理部8,具有被摄体区域提取部8b,该被摄体区域提取部8b将上述差分信息作为基准而从包含被摄体的背景图像P2中提取包含被摄体的被摄体区域。
此外,图像处理部8,具有位置信息生成部8c,该位置信息生成部8c对在包含被摄体的背景图像P2内提取的被摄体区域的位置进行确定,而生成表示包含被摄体的背景图像P2中的被摄体区域的位置的位置信息。
在此,作为位置信息,例如,列举了阿尔法图(Alpha map),所谓阿尔法图,是对于包含被摄体的背景图像P2的各像素,将被摄体区域的图像针对规定的背景进行阿尔法混合(Alpha blending)时的权重作为阿尔法值(0≤α≤1)来表达的图。
此外,图像处理部8具有剪取图像生成部8d,该剪取图像生成部8d根据生成的阿尔法图,以在包含被摄体的背景图像P2的各像素之中,对规定的单色图像(图示略)不使阿尔法值为1的像素透过,并且,使阿尔法值为0的像素透过的方式,将被摄体的图像与规定的单色图像进行合成来生成被摄体图像P3(参照附图6C)的图像数据。
此外,图像处理部8具有获取摄像条件作为与各图像的图像合成处理关联的合成关联信息的摄像条件获取部8e。
在此,摄像条件是例如,明亮度、对比度、色调等。而且,摄像条件获取部8e,根据由图像数据生成部4生成的背景用图像P1或由剪取图像生成部8d生成的被摄体图像P3的图像数据,获取各个图像的明亮度或对比度。此外,摄像条件获取部8e,在拍摄背景用图像P1或被摄体图像P3时,从摄像控制部3获取白平衡的调整值作为色调。而且,摄像条件获取部8e在合成图像生成处理中,从在记录介质9中作为Exif形式的图像文件被记录的背景用图像P1或被摄体图像P3的图像数据的Exif信息中读出并获取该图像的明亮度或对比度、白平衡的调整值(色调)等摄像条件。
在此,摄像条件获取部8e,获取与背景用图像(第一图像)P1的图像合成处理关联的摄像条件。而且,摄像条件获取部8e,获取与拍摄该被摄体图像P3的生成相关的包含被摄体的背景图像P2时的摄像条件,作为被摄体图像(第二图像)P3的摄像条件。
此外,图像处理部8具有摄像条件判定部8f,该摄像条件判定部8f判定由摄像条件获取部8e获取到的背景用图像P1的摄像条件与被摄体图像P3的摄像条件是否一致。具体而言,摄像条件判定部8f,判定在合成图像生成处理中,由用户指定的合成图像的背景的背景用图像P1的摄像条件与由用户指定的被摄体图像P3的摄像条件是否一致。
在此,摄像条件判定部8f判定由摄像条件获取部8e获取到的背景用图像(第一图像)P1的摄像条件与被摄体图像(第二图像)P3的摄像条件是否一致。
此外,图像处理部8具有将被摄体图像P3和背景用图像P1进行合成的图像合成部8g。具体而言,图像合成部8g,在背景用图像P1的各像素之中,使阿尔法值为0的像素透过,阿尔法值为1的像素以被摄体图像P3所对应的像素的像素值进行覆写。而且,图像合成部8g,在背景用图像P1的各像素之中,阿尔法值0<α<1的像素,使用1的补数(1-α)来生成截取被摄体区域后的图像(背景用图像×(1-α))之后,计算在使用阿尔法图中的1的补数(1-α)生成被摄体图像P3时与单一背景色混合后的值,并从被摄体图像P3中减去该值,将减算后的被摄体图像P3与剪取被摄体区域后的图像(背景用图像×(1-α))进行合成。
此外,图像合成部8g根据由摄像条件获取部8e获取到的被摄体图像P3的摄像条件和背景用图像P1的摄像条件,将被摄体图像P3与背景用图像P1进行合成。具体而言,图像合成部8g,当由摄像条件判定部8f判定为背景用图像P1的摄像条件与被摄体图像P3的摄像条件不一致时,将背景用图像P1的明亮度、对比度、色调等的摄像条件作为基准,对被摄体图像P3施行明亮度调整、对比度调整、白平衡调整等图像处理,对该图像处理后的被摄体图像P3和背景用图像P1进行合成而生成被摄体合成图像P4。
记录介质9,例如,由非易失性存储器(闪存器)等构成,对由图像处理部8的JPEG压缩部(图示略)编码后的背景用图像P1或被摄体图像P3的图像数据进行存储。
此外,被摄体图像P3的图像数据,与由图像处理部8的位置信息生成部8c生成的阿尔法图建立对应后,将该被摄体图像P3的图像数据的扩展名保存为“.jpe”。
此外,各图像数据,由该图像的明亮度或对比度、白平衡的调整值(色调)等的摄像条件被作为Exif信息而附带的Exif形式的图像文件构成。
显示控制部10进行读出图像存储器5中暂时存储的显示用的图像数据并使其显示到显示部11上的控制。
具体而言,显示控制部10具有:VRAM;VRAM控制器;和数字视频编码器等。而且,数字视频编码器,通过VRAM控制器从VRAM中定期地读出在CPU13的控制下从图像存储器5被读出且被存储到VRAM(图示略)中的亮度信号及色差信号Cb、Cr,显示控制部10根据这些数据产生视频信号,发送给显示部11。
显示部11,例如是液晶显示装置。显示部11根据来自显示控制部10的视频信号,在显示画面中显示由电子摄像部2所拍摄的图像等。具体而言,显示部11,在摄像模式下,根据通过基于摄像镜头部1、电子摄像部2及摄像控制部3的被摄体的拍摄而生成的多个图像帧,显示实时取景图像,或显示被拍摄的记录浏览(REC-view)图像作为本摄像图像。
操作输入部12用于进行该照相装置100的规定操作。具体而言,操作输入部12,具有:与被摄体的拍摄指示相关的快门按钮12a;与摄像模式或功能等的选择指示或被摄体图像P3的合成位置的设定指示相关的选择决定按钮12b;和与变焦量的调整指示相关的变焦按钮(图示略)等。操作输入部12根据这些按钮的操作,将规定的操作信号输出给CPU13。
CPU13用于控制照相装置100的各部。具体而言,CPU13根据照相装置100用的各种处理程序(图示略)进行各种控制动作。
接着,针对基于照相装置100的背景用图像生成处理,参照图2进行说明。
图2是表示背景用图像生成处理的动作的一个示例的流程图。
而且,在以下说明的背景用图像生成处理中,设为在室内进行背景用图像P1的拍摄。是与室外拍摄的图像(例如,后述的包含被摄体的背景图像P2)相比,例如明亮度、对比度、色调等不同的图像。
背景用图像生成处理是通常的静止图像的摄像处理。背景用图像生成处理,是根据基于用户的操作输入部12的选择决定按钮12b的规定操作,从菜单画面中显示的多个摄像模式之中选择指示静止图像摄像模式时所执行的处理。
如图2所示,首先,CPU13使显示控制部10,根据通过基于摄像镜头部1、电子摄像部2及摄像控制部3的背景用图像P1的拍摄所生成的多个图像帧,在显示部11的显示画面中显示实时取景图像(步骤S1)。
接着,CPU13判定是否由用户对操作输入部12的快门按钮12a进行了摄像指示操作(步骤S2)。在此,若由CPU13判定为摄像指示操作了快门按钮12a(步骤S2:是),则CPU13使摄像控制部3调整聚焦镜头的聚焦位置或曝光条件(快门速度、光圈、放大率等)或白平衡等的条件。然后,CPU13在规定的条件下通过电子摄像部2拍摄背景用图像P1(参照图6A)的光学像(步骤S3)。
接着,CPU13在使图像数据生成部4生成从电子摄像部2传送来的背景用图像P1的图像帧的YUV数据之后,使图像处理部8的摄像条件获取部8e,根据背景用图像P1的YUV数据获取该图像的明亮度或对比度作为摄像条件,并且从摄像控制部3获取背景用图像P1的摄像时的白平衡的调整值作为色调(步骤S4)。
其后,CPU13使记录介质9的规定存储区域存储背景用图像P1的YUV数据,作为将由摄像条件获取部8e获取到的摄像条件(该图像的明亮度、对比度、色调等)作为Exif信息而附带的Exif形式的图像文件(步骤S5)。
由此,结束背景用图像生成处理。
接着,针对基于照相装置100的被摄体剪取处理,参照图3来进行说明。
图3是表示被摄体剪取处理的动作的一个示例的流程图。
而且,在以下说明的被摄体剪取处理中,设为在室外进行包含被摄体的背景图像P2的摄像。此外,图6B和图6C中的包含被摄体的背景图像P2或被摄体图像P3的明亮度以图像上的斜线的密度表示,斜线的密度越薄意味着图像越亮。
被摄体剪取处理,是根据基于用户的操作输入部12的选择决定按钮12b的规定操作,从在菜单画面中显示的多个摄像模式之中选择指示了被摄体模式时所执行的处理。
如图3所示,首先,CPU13使显示控制部10根据通过基于摄像镜头部1、电子摄像部2及摄像控制部3的被摄体的摄像而生成的多个图像帧,在显示部11的显示画面中显示实时取景图像,并在显示部11的显示画面中,与该实时取景图像重叠地显示包含被摄体的背景图像P2的摄像指示信息(步骤S11)。
接着,CPU13判定是否由用户对操作输入部12的快门按钮12a进行了摄像指示操作(步骤S12)。在此,若由CPU判定为摄像指示操作了操作输入部12的快门按钮12a(步骤S12:是),则CPU13使摄像控制部13调整聚焦镜头的聚焦位置或曝光条件(快门速度、光圈、放大率等)或白平衡等的条件,在规定的条件下通过电子摄像部2拍摄包含被摄体的背景图像P2(参照图6B)的光学像(步骤S13)。
接着,CPU13在使图像数据生成部4生成从电子摄像部2传送来的包含被摄体的背景图像P2的图像帧的YUV数据之后,CPU13使图像处理部8的摄像条件获取部8e,根据包含被摄体的背景图像P2的YUV数据获取该图像的明亮度或对比度作为摄像条件,并且从摄像控制部3获取包含被摄体的背景图像P2的摄像时的白平衡的调整值作为色调(步骤S14)。而且,由图像数据生成部4生成的包含被摄体的背景图像P2的YUV数据被暂时存储到图像存储器5中。
此外,CPU13对摄像控制部3进行控制,对固定了包含该被摄体的背景图像P2的摄像时的聚焦位置或曝光条件或白平衡等的条件的状态进行保持。
然后,CPU13使显示控制部10根据通过基于摄像镜头部1、电子摄像部2及摄像控制部3的被摄体的摄像生成的多个图像帧,在显示部11的显示画面中显示实时取景图像,并使由被摄体的摄像而生成的多个图像帧与该实时取景图像重叠,在显示部11的显示画面中显示包含被摄体的背景图像P2的半透过的显示方式的图像和仅背景的图像的摄像指示信息(步骤S15)。
此后,CPU13判定是否由用户对操作输入部12的快门按钮12a进行了摄像指示操作(步骤S16)。然后,用户向画角外移动被摄体,或在等到了被摄体的移动之后,由用户调整照相机位置,以使仅背景的图像与包含被摄体的背景图像P2的半透明的图像重叠,若判定为摄像指示操作了操作输入部12的快门按钮12a(步骤S16:是),则CPU13使摄像控制部3,以在包含被摄体的背景图像P2的摄像后所固定的条件,由电子摄像部2拍摄仅背景的图像的光学像(步骤S17)。
此后,CPU13使图像数据生成部4根据从电子摄像部2传送来的仅背景的图像的图像帧,生成仅背景的图像的YUV数据,将该YUV数据暂时存储到图像存储器5中。
接着,CPU13使特征量运算部6、块匹配部7及图像处理部8,以规定的图像变换模型(例如,相似变换模型,或全等变换模型)计算出用于以图像存储器5中暂时存储的仅背景的图像的YUV数据作为基准,来投影变换包含被摄体的背景图像P2的YUV数据的投影变换矩阵(步骤S18)。
具体而言,特征量运算部6根据仅背景的图像的YUV数据,来选择规定数(或者,规定数以上)的特征的特征性高的块区域(特征点),提取该块的内容作为模板。然后,块匹配部7在包含被摄体的背景图像P2内搜索由特征提取处理提取出的模板的像素值最佳匹配的位置,计算出像素值的相异度的评价值最佳的仅背景的图像与包含被摄体的背景图像P2间的最佳的偏移量作为该模板的移动向量。然后,图像处理部8的对位部8a,根据由块匹配部7计算出的多个模板的移动向量,统计算出全体的移动向量,并采用该移动向量的特征点对应来计算包含被摄体的背景图像P2的投影变换矩阵。
接着,CPU13通过使对位部8a根据计算出的投影变换矩阵来投影变换包含被摄体的背景图像P2,进行使包含被摄体的背景图像P2的YUV数据与仅背景图像的YUV数据对位的处理(步骤S19)。
而且,CPU13使图像处理部8的被摄体区域提取部8b进行从包含被摄体的背景图像P2提取包含被摄体的被摄体区域的处理(步骤S20)。
具体而言,被摄体区域提取部8b,对包含被摄体的背景图像P2的YUV数据和仅背景的图像的YUV数据的每一个数据实施低通滤波来去除各图像的高频分量。此后,被摄体区域提取部8b,针对在实施低通滤波后的包含被摄体的背景图像P2和仅背景的图像之间对应的各像素计算出相异度来生成相异度图。接着,被摄体区域提取部8b,以规定的阈值对各像素的相异度图进行2值化之后,为了从相异度图中去除由于细微噪声或手抖动而产生差异的区域,进行收缩处理。此后,被摄体区域提取部8b,进行标记(labeling)处理,去除了规定值以下的区域或最大区域以外的区域之后,将最大的岛的图形确定为被摄体区域,进行用于修正收缩的膨胀处理。
接着,CPU13使图像处理部8的位置信息生成部8c生成表示在被提取后的被摄体区域的包含被摄体的背景图像P2内的位置的阿尔法图(步骤S21)。
此后,CPU13使图像处理部8的剪取图像生成部8d进行生成将被摄体的图像与规定的单色图像合成后的被摄体图像P3(参照图6C)的图像数据的处理(步骤S22)。
具体而言,剪取图像生成部8d,在读出包含被摄体的背景图像P2、单色图像及阿尔法图而在图像存储器5中展开之后,针对包含被摄体的背景图像P2的全部的像素,使阿尔法值为0的像素(α=0)透过,将阿尔法值0<α<1的像素(0<α<1),与规定的单色混合,对于阿尔法值为1的像素(α=1),设定为不做任何操作地使规定的单色不透过。
此后,CPU13将被摄体图像P3的YUV数据作为由摄像条件获取部8e获取到的摄像条件(该图像的明亮度或对比度、色调等)及由图像处理部8的位置信息生成部8c生成的阿尔法图被作为Exif信息而附带的Exif形式的图像文件,例如,以扩展名为“.jpe”的一个文件在记录介质9的规定的存储区域存储该被摄体图像P3的图像数据(步骤S23)。
由此,结束被摄体切除处理。
接着,针对合成图像生成处理,参照图4及图5详细地进行说明。
图4是表示合成图像生成处理的动作的流程图。图5是表示合成图像生成处理中的图像合成处理的动作的一个示例的流程图。
合成图像生成处理,是根据由基于用户的操作输入部12的选择决定按钮12b的规定操作构成的指示,从菜单画面中显示的多个摄像模式之中选择指示了图像合成模式时执行的处理。
如图4所示,若根据由基于用户的操作输入部12的规定操作构成的指示,在记录介质9中记录的多个图像之中选择指定了成为合成图像的背景的所希望的背景用图像P1(参照图6A)(步骤S31),则图像处理部8,读出由用户指定的背景用图像P1的图像数据,在图像存储器5中进行展开,并且,图像处理部8的摄像条件获取部8e,读出并获取与该图像数据建立对应而存储的摄像条件(该图像的明亮度、对比度、色调等)(步骤S32)。
接着,若根据基于用户的操作输入部12的规定操作,在记录介质9中存储的多个图像之中选择指定了所希望的被摄体图像P3(步骤S33),则图像处理部8读出所指定的被摄体图像P3的图像数据,在图像存储器5中进行展开,并且,图像处理部8的摄像条件获取部8e,读出并获取与该图像数据建立对应而存储的摄像条件(该图像的明亮度或对比度、色调等)(步骤S34)。
接着,图像处理部8的摄像条件判定部8f,根据被读出的背景用图像P1的摄像条件和被摄体图像P3的摄像条件,判定彼此的图像的明亮度、对比度、色调等是否一致(步骤S35)。
在此,若背景用图像P1与被摄体图像P3的摄像条件由摄像条件判定部8f判定为不一致(步骤S35:否),则图像合成部8g,将背景用图像P1的摄像条件作为基准,以被摄体图像P3的摄像条件接近背景用图像P1的摄像条件的方式施行规定的图像处理(步骤S36)。具体而言,当背景用图像P1与被摄体图像P3的明亮度不一致时,图像合成部8g对被摄体图像P3,以接近背景用图像P1的方式施行明亮度调整。此外,当背景用图像P1与被摄体图像P3的对比度的强弱不一致时,图像合成部8g对被摄体图像P3,以接近背景用图像P1的方式施行对比度调整。而且,当背景用图像P1与被摄体图像P3的色调不一致时,图像合成部8g对被摄体图像P3,以接近背景用图像P1的方式施行白平衡调整。
另一方面,在步骤S35中,若由摄像条件判定部8f判定为摄像条件一致(步骤S35:是),则图像合成部8g,不进行对被摄体图像P3的图像处理,而进行其以后的处理。
然后,若根据基于用户的操作输入部12的规定操作,指定了背景用图像P1中的被摄体图像P3的合成位置(步骤S37),则图像合成部8g进行对背景用图像P1和被摄体图像P3(也包含步骤S36中的图像处理后的图像)合成的图像合成处理(步骤S38)。
而且,对背景用图像P1中的被摄体图像P3的合成位置进行指定的处理(步骤S37),只要是在图像合成处理(步骤S38)之前,则可以在任何时刻进行。
在此,针对图像合成处理参照图5详细地进行说明。
如图5所示,图像合成部8g读出与被摄体图像P3建立对应而保存的阿尔法图,在图像存储器5中进行展开(步骤S41)。
而且,当由图4的步骤S37指定了背景用图像P1中的被摄体图像P3的合成位置时,图像合成部8g针对背景用图像P1与阿尔法图出现偏差而成为阿尔法图的范围外的区域,设定为不产生作为α=0阿尔法值不存在的区域。
接着,图像合成部8g指定背景用图像P1的任一个像素(例如,左上角的像素)(步骤S42),针对该像素,根据阿尔法图的阿尔法值使处理分支(步骤S43)。具体而言,图像合成部8g,针对背景用图像P1的任一个像素中的阿尔法值为1的像素(步骤S43:α=1),以被摄体图像P3所对应的像素的像素值进行覆写(步骤S44),针对0<α<1的像素(步骤S43:0<α<1),采用1的补数(1-α)生成了剪取被摄体区域后的图像(背景用图像P1×(1-α))之后,计算出采用阿尔法图中的1的补数(1-α)来生成被摄体图像P3时与单一背景色混合后的值,并从被摄体图像P3中减去该值,将被减算的被摄体图像P3与剪取被摄体区域后的图像(背景用图像×(1-α))进行合成(步骤S45),针对阿尔法值为0的像素(步骤S43:α=0),图像合成部8g不做任何操作地使背景用图像P1透过。
接着,图像合成部8g判定是否针对背景用图像P1的全部像素进行了处理(步骤S46)。
在此,若由图像合成部8g判定为未对全部像素进行处理(步骤S46:否),则图像合成部8g使处理对象移动到下一个像素(步骤S47),将处理移动到步骤S42。
在由图像合成部8g判定为由步骤S46针对全部像素进行了处理(步骤S46:是)之前,通过反复上述的处理,图像合成部8g生成将被摄体图像P3和背景用图像P1进行合成后的被摄体合成图像P4的图像数据。
由此,结束图像合成处理。
此后,如图4所示,CPU13使显示控制部10根据由图像合成部8g生成的被摄体合成图像P4的图像数据,在显示部11的显示画面中显示在背景用P1中重叠了被摄体的被摄体合成图像P4(参照图6C)(步骤S39)。
由此,结束合成图像生成处理。
如上所述,根据实施方式1的照相装置100,根据由摄像条件获取部8e获取到的背景用图像P1及被摄体图像P3的摄像条件,图像合成部8g对背景用图像P1和被摄体P3进行合成,生成被摄体合成图像P4。具体而言,电子摄像部2在规定的摄像条件下拍摄了包含被摄体的背景图像P2之后,剪取图像生成部8d生成从包含被摄体的背景图像P2中提取包含被摄体的被摄体区域后的被摄体图像P3。然后,摄像条件获取部8e,获取背景用图像P1及被摄体图像P3的明亮度、对比度、色调等的摄像条件,摄像条件判定部8f判定这些摄像条件是否一致。当由摄像条件判定部8f判定为摄像条件不一致时,图像合成部8g以被摄体图像P3的摄像条件接近背景用图像P1的摄像条件的方式施行规定的图像处理。然后,图像合成部8g,由于对被摄体图像P3和背景用图像P1进行合成,所以当被摄体图像P3的摄像条件与背景用图像P1的摄像条件不同时,能够考虑这些摄像条件,以被摄体图像P3与背景用图像P1的明亮度或对比度、色调一致的方式施行图像处理。因此,图像合成部8g能够生成不协调感少的被摄体合成图像P4。
而且,在上述实施方式1中,当由摄像条件判定部8f判定为背景用图像P1与被摄体图像P3的明亮度、对比度、色调等的摄像条件不一致时,图像合成部8g将背景用图像P1的摄像条件作为基准而对被摄体P3施行了图像处理,并将该图像处理后的被摄体图像P3和背景用图像P1进行了合成,但图像合成部8g,并不局限于此,例如,也可以将被摄体图像P3的摄像条件作为基准而对背景用图像P1施行图像处理,对该图像处理后的背景用图像P1和被摄体图像P3进行合成。
此外,图像合成部8g,也可以在以被摄体图像P3的摄像条件与背景用图像P1的摄像条件彼此接近的方式对双方的图像施行图像处理之后,对这些图像进行合成。
[实施方式2]
以下,针对实施方式2的照相装置200,参照图7~图11进行说明。
实施方式2的照相装置200,如图7~图11所示,判定背景用图像P11和被摄体图像P13的相对于水平面的倾斜度(摄像条件)是否一致,当判定为倾斜度不一致时,将背景用图像P11的水平方向作为基准,对被摄体图像P13施行规定的旋转处理后,与背景用图像P11进行合成。
而且,实施方式2的照相装置200,除了摄像控制部3的结构及摄像条件的内容不同以外,具有与上述实施方式1的照相装置100大致相同的结构,省略其说明。
实施方式2的照相装置200的摄像控制部3,具有摄像镜头部1及电子摄像部2,和对拍摄图像时的该照相装置200的相对于水平面的倾斜度进行检测的倾斜度检测部3a。
倾斜度检测部3a,例如,由具有加速度传感器或角速度传感器等的电子式的水准器等构成。并且,倾斜度检测部3a,将对背景用图像P11或包含被摄体的背景图像P12进行拍摄时检测出的该照相装置200的相对于水平面的倾斜度作为各图像的倾斜度信息(摄像条件)输出给CPU13。而且,照相装置200的相对于水平面的倾斜度,优选考虑图像的上下,将水平面作为基准以规定的一个方向的旋转角度进行检测。
在此,倾斜度检测部3a,获取对背景用图像(第一图像)P11进行拍摄时的摄像条件,作为被摄体图像(第二图像)P13的摄像条件,获取与拍摄该被摄体图像P13的生成有关的包含被摄体的背景图像P12时的摄像条件。
而且,由倾斜度检测部3a检测出的倾斜度信息(摄像条件),作为Exif信息而被附带在背景用图像P11或被摄体图像P13的图像数据中。
接着,针对背景用图像生成处理,参照图8进行说明。
图8是表示背景用图像生成处理的动作的一个示例的流程图。
而且,在以下说明的背景用图像生成处理中,获取倾斜度信息的处理及存储倾斜度信息的处理以外的处理,与实施方式1中的大致相同,其详细的说明省略。
此外,在背景用图像P11的摄像中,设为照相装置200在相对于水平面倾斜了规定的角度的状态下进行了拍摄(参照图11A)。
如图8所示,与实施方式1相同,在实时取景图像的显示中(步骤S1),若判定为对快门按钮12a进行了摄像指示操作(步骤S2:是),则CPU13使摄像控制部3调整聚焦镜头的聚焦位置或曝光条件(快门速度、光圈、放大率等)或白平衡等的摄像条件,在规定的摄像条件下由电子摄像部2拍摄背景用图像P11(参照图11A)的光学像(步骤S3)。
此时,摄像控制部3的倾斜度检测部3a,检测出该照相装置200的相对于水平面的倾斜度作为背景用图像P11的摄像时的相对于水平面的倾斜度,将该倾斜度信息输出给CPU13(步骤S61)。
接着,CPU13在使图像数据生成部4生成从电子摄像部2传送来的背景用图像P11的图像帧的YUV数据之后,在记录介质9的规定的存储区域中存储背景用图像P11的YUV数据,作为由摄像条件获取部8e获取到的倾斜度信息(摄像条件)被作为Exif信息而附带的Exif形式的图像文件(步骤S62)。
由此,结束背景用图像生成处理。
接着,针对被摄体剪取处理参照图9进行说明。
图9是表示被摄体剪取处理的动作的一个示例的流程图。
而且,在以下说明的被摄体剪取处理中的被摄体图像P13的摄像中,设为照相装置200在水平状态下进行了拍摄(参照图11B)。
如图9所示,与实施方式1相同,在实时取景图像的显示中(步骤S11),若判定为摄像指示操作了快门按钮12a(步骤S12:是),则CPU13使摄像控制部3调整聚焦镜头的聚焦位置或曝光条件(快门速度、光圈、放大率等)或白平衡等的摄像条件,在规定的摄像条件下由电子摄像部2拍摄包含被摄体的背景图像P12(参照图11B)的光学像(步骤S13)。
此时,摄像控制部3的倾斜度检测部3a,检测出该照相装置200的相对于水平面的倾斜度作为包含被摄体的背景图像P12的摄像时的相对于水平面的倾斜度,将该倾斜度信息输出给CPU13(步骤S71)。
接着,与实施方式1相同,CPU13使图像数据生成部4生成从电子摄像部2传送来的包含被摄体的背景图像P12的图像帧的YUV数据,使图像存储器5暂时存储包含被摄体的背景图像P12的YUV数据。
而且,与实施方式1相同,在实时取景图像的显示中(步骤S15),由用户调整照相机位置,以使仅背景的图像与包含被摄体的背景图像P12的半透过的图像进行重叠,若由CPU13判定为摄像指示操作了操作输入部12的快门按钮12a(步骤S16:是),则CPU13使摄像控制部3以在拍摄包含被摄体的背景图像P12之后所固定的摄像条件,由电子摄像部2拍摄仅背景的图像的光学像(步骤S17)。
此后,与实施方式1相同,CPU13使图像数据生成部4根据从电子摄像部2传送来的仅背景的图像的图像帧,生成仅背景图像的YUV数据,使图像存储器5暂时存储该YUV数据。
接着,与实施方式1相同,CPU13使特征量运算部6、块匹配部7及图像处理部8,以规定的图像变换模型(例如,相似变换模型,或全等变换模型)计算出用于以图像存储器5中暂时存储的仅背景的图像的YUV数据作为基准,来投影变换包含被摄体的背景图像P12的YUV数据的投影变换矩阵(步骤S18)。
接着,与实施方式1相同,CPU13通过使图像处理部8的对位部8a根据计算出的投影变换矩阵来投影变换包含被摄体的背景图像P12,从而进行将包含被摄体的背景图像P12的YUV数据与仅背景图像的YUV数据进行对位的处理(步骤S19)。
并且,与实施方式1相同,CPU13使图像处理部8的被摄体区域提取部8b进行从包含被摄体的背景图像P12中提取包含被摄体的被摄体区域的处理(步骤S20)。
接着,与实施方式1相同,CPU13使图像处理部8的位置信息生成部8c生成表示在被提取后的被摄体区域的包含被摄体的背景图像P12内的位置的阿尔法图(步骤S21)。
此后,与实施方式1相同,CPU13使图像处理部8的剪取图像生成部8d进行生成将被摄体的图像与规定的单色图像合成后的被摄体图像P13的图像数据的处理(步骤S22)。
此后,CPU13将被摄体图像P13的YUV数据作为由摄像条件获取部8e获取到的倾斜度信息(摄像条件)及由图像处理部8的位置信息生成部8c生成的阿尔法图被作为Exif信息而附带的Exif形式的图像文件,例如,以将该被摄体图像P13的图像数据的扩展名设为“.jpe”的一个文件,存储到记录介质9的规定的存储区域中(步骤S72)。
由此,结束被摄体剪取处理。
接着,针对合成图像生成处理参照图10详细地进行说明。
图10是表示合成图像生成处理的动作的一个示例的流程图。
如图10所示,与实施方式1相同,若根据基于用户的操作输入部12的规定操作,选择指定了在记录介质9中记录的多个图像之中成为合成图像的背景的所希望的背景用图像P11(参照图11A)(步骤S31),则图像处理部8读出所指定的背景用图像P11的图像数据,在图像存储器5中进行展开,并且,图像处理部8的摄像条件获取部8e读出获取与该图像数据建立对应而存储的摄像条件(倾斜度信息)(步骤S81)。
接着,与实施方式1相同,若根据基于用户的操作输入部12的规定操作,选择指定了记录介质9中记录的多个的图像中所希望的被摄体图像P13(步骤S33),则图像处理部8,读出所指定的被摄体图像P13的图像数据,在图像存储器5中进行展开,并且,图像处理部8的摄像条件获取部8e读出获取与该图像数据建立对应而存储的摄像条件(倾斜度信息)(步骤S82)。
接着,与实施方式1相同,图像处理部8的摄像条件判定部8f,根据读出的背景用图像P11的摄像条件(倾斜度信息)和被摄体图像P13的摄像条件(倾斜度信息),来判定彼此的图像的相对于水平面的倾斜度是否一致(步骤S83)。
在此,背景用图像P11是摄像时照相装置200相对于水平面倾斜的图像,由于被摄体图像P13是在水平状态下拍摄的包含被摄体的背景图像P12的图像,所以若判定为摄像条件(倾斜度信息)不一致(步骤S83:否),则图像合成部8g,将背景用图像P11的摄像条件作为基准,对被摄体图像P13施行规定的旋转处理(图像处理)(步骤S84)。具体而言,以使背景用图像P11的水平方向与被摄体图像P13的水平方向一致的方式,使该被摄体图像P13旋转规定的角度。
另一方面,若在步骤S83中,摄像条件由摄像条件判定部8f判定为一致(步骤S83:是),则不对被摄体图像P13进行旋转处理,而进行其以后的处理。
而且,与实施方式1相同,若根据基于用户的操作输入部12的规定操作,指定了背景用图像P11中的被摄体图像P13的合成位置(步骤S37),则图像合成部8g进行对背景用图像P11与被摄体图像P13(也包括步骤S84中的旋转处理后的图像)进行合成的图像合成处理(步骤S38)。
此后,与实施方式1相同,CPU13使显示控制部10,根据由图像合成部8g生成的被摄体合成图像P14的图像数据,使显示部11的显示画面显示在背景用图像P11中重叠被摄体的被摄体合成图像P14(参照图11C)(步骤S39)。
由此,结束合成图像生成处理。
如上所述,根据实施方式2的照相装置200,摄像条件获取部8e获取背景用图像P11及被摄体图像P13的相对于水平面的倾斜度作为摄像条件,摄像条件判定部8f判定这些图像的倾斜度是否一致,当由摄像条件判定部8f判定为倾斜度不一致时,图像合成部8g由于对被摄体图像P13施行规定的旋转处理之后与背景用图像P11进行合成,所以当被摄体图像P13和背景用图像P11的相对于水平面的倾斜度不同时,能够将背景用图形P11的水平方向作为基准施行使被摄体图像P13旋转规定角度的旋转处理,以使被摄体图像P13和背景用图像P11的水平方向一致,能够生成水平方向一致的不协调感少的被摄体合成图像P14。
而且,在上述实施方式2中,图像合成部8g,当由摄像条件判定部8f判定为背景用图像P11的摄像条件与被摄体图像P13的摄像条件(倾斜度信息)不一致时,将背景用图像P11的水平面作为基准,使被摄体图像P13旋转规定的角度,但不局限于此,例如,也可以将被摄体图像P13的水平面作为基准,使背景用图像P11旋转规定的角度。但是,由于背景用图形P11的旋转,图像整体相对于显示画面斜向倾斜,不美观,所以图像合成部8g以包含被摄体部分的区域的纵方向及横方向与上下方向及水平面大致相等的方式施行修剪(trimming)处理,或者,优选在显示该图像时,以在显示画面中不显示倾斜部分的方式,以规定的倍率进行放大显示。
此外,图像合成部8g,在施行了使双方的图像以每次旋转规定角度的旋转处理,以使被摄体图像P13的倾斜度与背景用图像P11的倾斜度一致之后,图像合成部8g可以将这些图像进行合成,也可以不仅考虑相对于水平面的倾斜度,而且还考虑相对于垂直面的倾斜度。
而且,本发明不局限于上述实施方式1、2,在不脱离本发明的宗旨的范围内,可进行各种改良和设计的变更。
例如,在上述实施方式1、2中,将背景用图像P1(P11)或被摄体图像P3(P13)的明亮度、对比度、色调、各图像的相对于水平面的倾斜度等摄像条件作为基准,图像合成部8g进行了对背景用图像P1和被摄体图像P3的合成,但图像合成的基准不局限于此。
即,摄像条件获取部8e,可以获取背景用图像P1中的被摄体图像P3的合成位置的明亮度的信息,图像合成部8g,根据该明亮度的信息,调整被摄体图像P3的明亮度而进行合成,生成被摄体合成图像P24。具体而言,摄像条件获取部8e,可以根据背景用图像P1的图像数据,对各像素的亮度进行测定,检侧出明亮度。然后,摄像条件获取部8e,可以获取被摄体图像P3的合成位置的明亮度和相对于背景用图像P1整体的合成位置的相对的明亮度信息,图像合成部8g可以对照该合成位置的明亮度及相对的明亮度来调整被摄体图像P3的明亮度进行合成。
由此,图像合成部8g,能够根据背景用图像P1中的被摄体图像P3的合成位置的明亮度的信息,来调整该被摄体图像P3的明亮度进行合成,能够生成画质一致的不协调感更少的被摄体合成图像P4。
此外,摄像条件获取部8e根据背景用图像P1的各像素的亮度从该图像中检测出光源(例如,荧光灯或白炽灯)L,图像合成部8g可以根据相对于该光源L的位置的被摄体图像P23的合成位置的相对的距离,调整被摄体图像P23的明亮度。例如,当由图像合成部8g在位于相对于光源L的位置相对远的位置上合成被摄体图像P23时,图像合成部8g以使被摄体图像P23更暗的方式进行图像处理(参照图12A),另一方面,由图像合成部8g在位于相对于光源L的位置相对近的位置上合成被摄体图像P23时,图像合成部8g以使被摄体图像P23更亮的方式进行图像处理(参照图12B)。而且,在图12A及图12B中,以图像上的点(dot)数表示被摄体图像P23的明亮度,点数越少表示越明亮的图像。
即,图像合成部8g,可以仅根据由摄像条件获取部8e获取到的光源L的位置信息,对被摄体图像P23和背景用图像P21进行合成。
此时,图像合成部8g,可以根据被摄体图像P23的合成位置与光源L的位置信息,附加被摄体图像P23的影子进行合成。例如,图像合成部8g,根据光源L的位置,变更被摄体图像P23的影子的朝向进行合成。
而且,图像合成部8g,可以按照相对于光源L的位置的相对的被摄体图像P23的合成位置,来变更影子的浓度,以使越接近合成位置的影子变得越浓。
因此,摄像条件获取部8e获取背景用图像P21中的光源L的位置信息,根据该光源L的位置信息和背景用图像P21中的被摄体图像P23的合成位置,图像合成部8g附加被摄体图像P23的影子之后进行图像合成,所以图像合成部8g能够考虑到从光源至被摄体图像P23的光的到来方向(入射方向)来进行图像合成,能够生成不协调感更少的被摄体图像P24。
而且,作为光源,当从背景用图像P1中检测出太阳时,图像合成部8g,不需要进行按照相对于该光源的位置的被摄体图像P23的合成位置的相对的距离来调整被摄体图像P23的明亮度的处理,优选附加被摄体图像P23的影子进行合成。
此外,作为被摄体图像P23,在合成动态JPEG图像时,当通过被摄体图像在背景用图像内移动,来使相对于光源L的位置或合成位置的明亮度变化时,摄像条件获取部8e按照每个图像帧获取相对于光源的位置或合成位置的明亮度,图像合成部8g根据该位置或明亮度对被摄体图像的明亮度进行变更,或以规定的朝向附加影子进行合成。
而且,在上述实施方式1、2中,图像合成部8g在背景用图像P1(P11)中对一个被摄体图像P3(P13)进行了合成,但被摄体图像P3的合成数能够适当地任意变更,也可是多个。此时,优选以全部被摄体图像P3、…与背景用图像P1不产生不协调感的方式进行规定的图像处理或旋转处理等。
此外,虽然在进行背景用图像生成处理之后,进行了被摄体剪取处理,但这些处理的顺序也可以相反。
此外,也可以设置为:在用户指定了图像合成模式之后,电子摄像部2对用户希望的背景用图像或被摄体图像进行拍摄,图像合成部8g对拍摄的背景用图像或被摄体图像进行图像合成。例如,可以设置为:预先将规定的背景用图像与摄像条件建立关联而存储在存储介质9中,在用户指定了图像合成模式之后,电子摄像部2拍摄与该背景用图像合成的所希望的被摄体图像,摄像条件获取部8e获取此时的明亮度或对比度等的摄像条件,图像合成部8g以使相互的摄像条件接近的方式施行图像处理。此外,同样地也可以设置为:摄像条件获取部8e先获取背景用图像中的被摄体图像的合成区域的明亮度,在用户指定了图像合成模式之后,电子摄像部2拍摄与该背景用图像合成的所希望的被摄体图像,图像合成部8g获取该图像的明亮度,以使相互的明亮度接近的方式施行图像处理。此外,同样地也可以设置为:先确定背景用图像中的光源的位置,在用户指定了图像合成模式之后,电子摄像部2拍摄与该背景用图像合成的所希望的被摄体图像,图像合成部8g根据背景用图像中的光源的位置及被摄体图像的合成位置对该图像施行图像处理。
而且,照相装置100、200的结构,是上述实施方式1、2中所例举的一个示例,并不局限于此。即,作为图像处理装置,例示了照相装置,但不局限于此。例如,可以是如下的图像处理装置:背景用图像、被摄体图像的生成,可以在与该照相装置100、200不同的照相装置中进行,仅存储从该照相装置传送的图像数据或摄像条件,仅执行合成图像生成处理。
而且,在上述实施方式中,虽然设为如下结构:通过在CPU13的控制下,对图像处理部8的摄像条件获取部8e或图像合成部8g进行驱动来实现本发明,但不局限于此,也可以设为如下结构:通过由CPU13执行规定的程序等来实现。
即,存储程序的程序存储器(未图示)存储包括指示处理程序、图像处理程序及合成处理程序的程序,或者包括区域指示处理程序、明亮度获取处理程序及合成处理程序的程序,或者包括确定处理程序、位置指示处理程序及合成处理程序的程序。并且,指示处理程序可以使CPU13指示在记录介质9中所存储的多个图像之间的合成。此外,图像处理程序可以使CPU13通过记录介质9读出分别与指示合成后的图像建立了关联的摄像条件,以接近一方图像的摄像条件的方式处理另一方图像。此外,合成处理程序可以使CPU13对图像处理后的另一方图像和一方图像进行合成。
此外,区域指示处理程序可以使CPU13在至少两个图像中指示应合成一方图像中的另一方图像的区域。此外,明亮度获取程序可以使CPU13获取所指示的一方图像的应合成区域的明亮度。此外,合成处理程序可以使CPU13以另一方图像的明亮度接近获取到的一方图像的应合成区域的明亮度的方式施行处理,并合成两个图像。
此外,确定处理程序可以使CPU13在至少两个图像中,确定一方图像中的光源的位置。此外,位置指示处理程序可以使CUP13在一方图像中,指示应合成的另一方图像的位置。此外,合成处理程序可以使CPU13根据所指示的位置和一方图像的光源的位置对另一方图像施行处理,并合成两个图像。
Claims (14)
1.一种图像处理装置,具有:
存储单元,其以将图像与该图像的摄像时的摄像条件建立关联的方式进行多个图像存储;
指示单元,其指示在该存储单元中所存储的多个图像之间的合成;
图像处理单元,其由所述存储单元读出与由该指示单元指示合成后的图像分别建立了关联的摄像条件,以接近一方图像的摄像条件的方式对另一方图像进行处理;和
合成单元,其对由该图像处理单元处理后的所述另一方图像和所述一方图像进行合成。
2.根据权利要求1所述的图像处理装置,其特征在于,
该图像处理装置还具有判定单元,所述判定单元判定与由所述指示单元指示合成后的图像分别建立了关联的摄像条件是否大致一致,
所述图像处理单元,当由该判定单元判定为摄像条件并非大致一致时,以接近一方图像的摄像条件的方式对另一方图像进行处理。
3.根据权利要求1所述的图像处理装置,其特征在于,
所述摄像条件包括所述图像的拍摄时的对比度及色调中的至少一个。
4.根据权利要求1所述的图像处理装置,其特征在于,
所述摄像条件包括在所述图像的摄像时的该图像的相对于水平面的倾斜度,
所述图像处理单元,由所述存储单元读出表示该水平面的倾斜度的信息,以接近一方图像的倾斜度的方式使另一方图像的倾斜度变化。
5.根据权利要求1所述的图像处理装置,其特征在于,该图像处理装置还具有:
摄像单元;
摄像条件获取单元,其获取由该摄像单元进行摄像时的摄像条件;和
存储控制单元,其以将由所述摄像单元拍摄的图像与由所述摄像条件获取单元获取到的摄像条件建立关联而存储到所述存储单元中的方式进行控制。
6.根据权利要求1所述的图像处理装置,其特征在于,
所述另一方图像是指从具有背景和被摄体的图像中剪取包含被摄体的区域的被摄体图像。
7.一种图像处理装置,具有:
区域指示单元,其在至少两个图像中,对一方图像中的应合成另一方图像的区域进行指示;
明亮度获取单元,其获取由该区域指示单元所指示的一方图像的应合成区域的明亮度;和
合成单元,其以所述另一方的图像的明亮度接近由所述明亮度获取单元获取到的一方图像的应合成区域的明亮度的方式施行处理,合成所述两个图像。
8.根据权利要求7所述的图像处理装置,其特征在于,
所述另一方图像是指从具有背景和被摄体的图像中剪取包含被摄体的区域的被摄体图像。
9.一种图像处理装置,具有:
确定单元,其在至少两个图像中,对一方图像中的光源的位置进行确定;
位置指示单元,其在所述一方图像中,对应合成另一方图像的位置进行指示;和
合成单元,其根据所述一方图像的光源的位置和由所述位置指示单元所指示的位置,对所述另一方图像施行处理,对所述两个图像进行合成。
10.根据权利要求9所述的图像处理装置,其特征在于,
所述处理至少包括下列处理中的一个处理:
对所述另一方图像的明亮度进行调整的处理;和
对所述另一方图像附加影子的处理。
11.根据权利要求10所述的图像处理装置,其特征在于,
所述另一方图像,是指从具有背景和被摄体的图像中剪取包括被摄体的区域的被摄体图像。
12.一种图像处理方法,包括:
存储步骤,以将图像与该图像的摄像时的摄像条件建立关联的方式进行多个图像存储;
指示步骤,指示在所述存储步骤中所存储的图像之间的合成;
图像处理步骤,由所述存储步骤读出与由该指示步骤指示合成后的图像分别建立了关联的摄像条件,以接近一方图像的摄像条件的方式对另一方图像进行处理;和
合成步骤,对由该图像处理步骤处理后的所述另一方图像和所述一方图像进行合成。
13.一种图像处理方法,包括:
区域指示步骤,在至少两个图像中,对一方图像中的应合成另一方图像的区域进行指示;
明亮度获取步骤,获取由该区域指示步骤所指示的一方图像的应合成区域的明亮度;和
合成步骤,以所述另一方图像的明亮度接近由所述明亮度获取步骤获取到的一方图像的应合成区域的明亮度的方式施行处理,合成所述两个图像。
14.一种图像处理方法,包括:
确定步骤,在至少两个图像中,对一方图像中的光源的位置进行确定;
位置指示步骤,在所述一方图像中,对应合成另一方图像的位置进行指示;和
合成步骤,根据所述一方图像的光源的位置和由所述位置指示步骤所指示的位置,对所述另一方图像施行处理,对所述两个图像进行合成。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009-051876 | 2009-03-05 | ||
JP2009051876A JP5051156B2 (ja) | 2009-03-05 | 2009-03-05 | 画像処理装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101827214A true CN101827214A (zh) | 2010-09-08 |
CN101827214B CN101827214B (zh) | 2013-08-14 |
Family
ID=42677916
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201010130169.0A Expired - Fee Related CN101827214B (zh) | 2009-03-05 | 2010-03-05 | 图像处理装置及图像处理方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20100225785A1 (zh) |
JP (1) | JP5051156B2 (zh) |
CN (1) | CN101827214B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104038672A (zh) * | 2013-03-07 | 2014-09-10 | 联想(北京)有限公司 | 图像形成方法和电子设备 |
CN104717422A (zh) * | 2013-12-17 | 2015-06-17 | 奥林巴斯映像株式会社 | 显示设备以及显示方法 |
CN105959534A (zh) * | 2016-04-28 | 2016-09-21 | 青岛海信移动通信技术股份有限公司 | 图像处理方法、装置及电子设备 |
CN111953909A (zh) * | 2019-05-16 | 2020-11-17 | 佳能株式会社 | 图像处理设备、图像处理方法和存储介质 |
CN112601486A (zh) * | 2018-10-22 | 2021-04-02 | 奥林巴斯株式会社 | 图像处理装置、图像处理方法、内窥镜系统和内窥镜观察方法 |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5419576B2 (ja) * | 2009-07-24 | 2014-02-19 | キヤノン株式会社 | インクジェット記録装置およびインクジェット記録装置の記録媒体搬送方法 |
JP5729963B2 (ja) * | 2010-10-07 | 2015-06-03 | キヤノン株式会社 | 画像合成処理装置及びその制御方法 |
JP5725965B2 (ja) * | 2011-04-28 | 2015-05-27 | キヤノン株式会社 | 撮像装置及びその制御方法 |
US8891870B2 (en) * | 2012-11-09 | 2014-11-18 | Ge Aviation Systems Llc | Substance subtraction in a scene based on hyperspectral characteristics |
JP5704205B2 (ja) * | 2013-09-24 | 2015-04-22 | 辰巳電子工業株式会社 | 画像処理装置、これを用いた写真撮影遊戯装置、画像処理方法、画像処理プログラム、及び写真印刷シート |
JP2015225476A (ja) * | 2014-05-27 | 2015-12-14 | 富士ゼロックス株式会社 | 画像処理装置およびプログラム |
JP6357922B2 (ja) * | 2014-06-30 | 2018-07-18 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP2017016463A (ja) * | 2015-07-02 | 2017-01-19 | 日本電信電話株式会社 | 画像処理方法、画像処理装置、及び、プログラム |
WO2019003383A1 (ja) * | 2017-06-29 | 2019-01-03 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置および材質特定方法 |
US11488285B2 (en) * | 2020-04-13 | 2022-11-01 | Apple Inc. | Content based image processing |
JP2022085643A (ja) * | 2020-11-27 | 2022-06-08 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
KR102482262B1 (ko) * | 2021-10-12 | 2022-12-28 | 주식회사 테스트웍스 | 객체 분할과 배경 합성을 이용한 데이터 증강 장치 및 방법 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000270203A (ja) * | 1999-03-18 | 2000-09-29 | Sanyo Electric Co Ltd | 撮像装置及び画像合成装置並びに方法 |
JP2004056729A (ja) * | 2002-07-24 | 2004-02-19 | Macnica Inc | 画像処理端末および画像処理方法 |
JP2005006133A (ja) * | 2003-06-13 | 2005-01-06 | Fuji Photo Film Co Ltd | 画像処理装置、画像処理方法、及び画像処理プログラム |
JP2008021129A (ja) * | 2006-07-13 | 2008-01-31 | Sony Corp | 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4136432B2 (ja) * | 2002-04-15 | 2008-08-20 | 松下電器産業株式会社 | 図形描画装置 |
JP2006129391A (ja) * | 2004-11-01 | 2006-05-18 | Sony Corp | 撮像装置 |
US7834894B2 (en) * | 2007-04-03 | 2010-11-16 | Lifetouch Inc. | Method and apparatus for background replacement in still photographs |
-
2009
- 2009-03-05 JP JP2009051876A patent/JP5051156B2/ja not_active Expired - Fee Related
-
2010
- 2010-03-05 US US12/718,003 patent/US20100225785A1/en not_active Abandoned
- 2010-03-05 CN CN201010130169.0A patent/CN101827214B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000270203A (ja) * | 1999-03-18 | 2000-09-29 | Sanyo Electric Co Ltd | 撮像装置及び画像合成装置並びに方法 |
JP2004056729A (ja) * | 2002-07-24 | 2004-02-19 | Macnica Inc | 画像処理端末および画像処理方法 |
JP2005006133A (ja) * | 2003-06-13 | 2005-01-06 | Fuji Photo Film Co Ltd | 画像処理装置、画像処理方法、及び画像処理プログラム |
JP2008021129A (ja) * | 2006-07-13 | 2008-01-31 | Sony Corp | 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104038672A (zh) * | 2013-03-07 | 2014-09-10 | 联想(北京)有限公司 | 图像形成方法和电子设备 |
CN104038672B (zh) * | 2013-03-07 | 2019-06-25 | 联想(北京)有限公司 | 图像形成方法和电子设备 |
CN104717422A (zh) * | 2013-12-17 | 2015-06-17 | 奥林巴斯映像株式会社 | 显示设备以及显示方法 |
JP2015119277A (ja) * | 2013-12-17 | 2015-06-25 | オリンパスイメージング株式会社 | 表示機器、表示方法及び表示プログラム |
CN105959534A (zh) * | 2016-04-28 | 2016-09-21 | 青岛海信移动通信技术股份有限公司 | 图像处理方法、装置及电子设备 |
CN105959534B (zh) * | 2016-04-28 | 2019-09-17 | 青岛海信移动通信技术股份有限公司 | 图像处理方法、装置及电子设备 |
CN112601486A (zh) * | 2018-10-22 | 2021-04-02 | 奥林巴斯株式会社 | 图像处理装置、图像处理方法、内窥镜系统和内窥镜观察方法 |
CN112601486B (zh) * | 2018-10-22 | 2024-05-24 | 奥林巴斯株式会社 | 图像处理装置、图像处理方法、内窥镜系统和内窥镜观察方法 |
CN111953909A (zh) * | 2019-05-16 | 2020-11-17 | 佳能株式会社 | 图像处理设备、图像处理方法和存储介质 |
CN111953909B (zh) * | 2019-05-16 | 2022-02-01 | 佳能株式会社 | 图像处理设备、图像处理方法和存储介质 |
US11367229B2 (en) | 2019-05-16 | 2022-06-21 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
Also Published As
Publication number | Publication date |
---|---|
US20100225785A1 (en) | 2010-09-09 |
JP2010206685A (ja) | 2010-09-16 |
JP5051156B2 (ja) | 2012-10-17 |
CN101827214B (zh) | 2013-08-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101827214B (zh) | 图像处理装置及图像处理方法 | |
CN103139485B (zh) | 图像合成装置及图像合成方法 | |
CN110290289B (zh) | 图像降噪方法、装置、电子设备以及存储介质 | |
TWI414178B (zh) | 攝像裝置、影像處理方法及記錄媒體 | |
JP4862930B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
CN101355655B (zh) | 图像拾取装置及其处理方法 | |
CN103782586B (zh) | 成像设备 | |
CN102348056B (zh) | 图像合成装置和图像合成方法 | |
CN105609035B (zh) | 图像显示装置及方法 | |
CN109155815A (zh) | 摄像装置及其设定画面 | |
CN108537155A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
CN104885440B (zh) | 图像处理装置、摄像装置及图像处理方法 | |
US20110158551A1 (en) | Image composition device, image composition method, and storage medium storing program | |
CN106797453A (zh) | 图像处理装置、摄像装置、图像处理方法以及图像处理程序 | |
CN103179330A (zh) | 照相机、图像显示装置和图像显示方法 | |
CN101909152A (zh) | 摄像装置 | |
CN107205112A (zh) | 摄像装置、摄像方法以及记录介质 | |
CN102542251B (zh) | 被摄体检测装置以及被摄体检测方法 | |
CN106550186A (zh) | 姿态估计装置以及姿态估计方法 | |
JP6937603B2 (ja) | 画像処理装置およびその制御方法、プログラム、並びに記憶媒体 | |
JP4760496B2 (ja) | 画像データ生成装置、画像データ生成方法 | |
JP5494537B2 (ja) | 画像処理装置及びプログラム | |
JP5287965B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2010278701A (ja) | 画像合成装置、画像合成方法及びプログラム | |
JP4803319B2 (ja) | 撮像装置、画像処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20130814 Termination date: 20210305 |