CN1472702A - 图像合成装置及图像合成方法 - Google Patents
图像合成装置及图像合成方法 Download PDFInfo
- Publication number
- CN1472702A CN1472702A CNA031237142A CN03123714A CN1472702A CN 1472702 A CN1472702 A CN 1472702A CN A031237142 A CNA031237142 A CN A031237142A CN 03123714 A CN03123714 A CN 03123714A CN 1472702 A CN1472702 A CN 1472702A
- Authority
- CN
- China
- Prior art keywords
- image data
- unit
- color
- data
- mentioned
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 116
- 230000002194 synthesizing effect Effects 0.000 title description 4
- 238000006243 chemical reaction Methods 0.000 claims abstract description 22
- 238000012545 processing Methods 0.000 claims description 96
- 238000011282 treatment Methods 0.000 claims description 52
- 238000005728 strengthening Methods 0.000 claims description 11
- 230000015572 biosynthetic process Effects 0.000 claims description 10
- 238000003786 synthesis reaction Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 4
- 241001269238 Data Species 0.000 claims 2
- 239000002131 composite material Substances 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 47
- 238000003384 imaging method Methods 0.000 description 18
- 230000009466 transformation Effects 0.000 description 18
- 150000001875 compounds Chemical class 0.000 description 17
- 230000005055 memory storage Effects 0.000 description 14
- 230000003287 optical effect Effects 0.000 description 6
- MKYBYDHXWVHEJW-UHFFFAOYSA-N N-[1-oxo-1-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)propan-2-yl]-2-[[3-(trifluoromethoxy)phenyl]methylamino]pyrimidine-5-carboxamide Chemical compound O=C(C(C)NC(=O)C=1C=NC(=NC=1)NCC1=CC(=CC=C1)OC(F)(F)F)N1CC2=C(CC1)NN=N2 MKYBYDHXWVHEJW-UHFFFAOYSA-N 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000005039 memory span Effects 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
- Studio Devices (AREA)
- Editing Of Facsimile Originals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Abstract
本发明提供的图像合成装置及图像合成方法，将原图像YC数据变换为拜耳数据，逆γ变换该变换后的拜耳数据。另外，在将作为合成对象的摄影图像YC数据也变换为拜耳数据，并逆γ变换该变换后的拜耳数据。接着，将这些逆γ变换后的原图像拜耳数据与摄影图像拜耳数据相加，限贴相加后的拜耳数据的上限值。并且，对限幅上限值的相加后的拜耳数据实施象素内插和γ变换，将γ变换后的拜耳数据变换为YC数据。
Description
技术领域
本发明涉及一种可将各图像进行合成的图像合成装置及图像合成方法。
背景技术
近年来，具备将摄像并记录图像数据彼此进行合成后、生成合成图像数据并进行记录的功能的数字照相机广泛普及。在这种数字照相机(カメラ包含摄像机)中，对从作为固体摄像元件的一种CCD输出的CCD数据实施所谓的象素内插处理、γ补偿处理、白平衡处理、边缘强化处理、YC数据变换处理(将CCD数据变换为由辉度信号Y及色差信号C构成的YC数据的处理)等颜色处理(三原色法)后，以JPEG(Joint Photographic Expert Group)等规定格式记录在闪存等记录媒体中。另外，在合成图像数据时，从闪存中读取构成合成对象的第1图像数据和第2图像数据，并进行扩展，将图像数据彼此进行合成，生成合成图像数据。
但是，这样若以被实施各种颜色处理后的图像数据彼此，进行合成而生成合成图像数据，则产生由于图像亮的部位太白、或相反暗的部位变得更暗等颜色差引起的画质恶化，并且产生图像合成处理必需很多存储器容量等问题。
本发明是鉴于该现有课题，其目的在于提供一种可大幅度提高进行图像合成时的便利性的图像合成装置及图像合成方法。
发明内容
在一个形态中，
构成为在图像合成装置中具备：第1取得单元，取得未实施预定的颜色处理(三原色法)的彩色图像数据；第2取得单元，取得实施上述预定的颜色处理的彩色图像数据；变换单元，将由第2取得单元取得的彩色图像数据变换为实施上述预定的颜色处理前的状态的彩色图像数据；和合成单元，合成由变换单元变换的彩色图像数据和由上述第1取得单元取得的彩色图像数据。
在另一形态中，
作为图像合成方法，提供如下图像合成方法，即，取得未实施预定的颜色处理的彩色图像数据和实施上述预定的颜色处理的彩色图像数据；将取得的实施上述预定的颜色处理的彩色图像数据变换为实施上述预定的颜色处理前的状态的彩色图像数据；合成变换后的彩色图像数据和取得的未实施上述预定的颜色处理的彩色图像数据。
附图的简要说明
图1是本发明各实施形态中共同的数字照相机的框图。
图2是实施形态1的概括流程图。
图3是详细表示图2所示流程图中步骤SA3的流程图。
图4是详细表示图2所示流程图中步骤SA4的流程图。
图5是详细表示图4所示流程图中步骤SC4的流程图。
图6是表示实施形态1中的存储器使用状况的说明图。
图7是实施形态2的概括流程图。
图8是详细表示图7所示流程图中步骤SA13的流程图。
图9是详细表示图8所示流程图中步骤SC14的流程图。
图10是实施形态3的概括流程图。
图11是详细表示图10所示流程图中步骤SE3的流程图。
图12是详细表示图11所示流程图中步骤SF4的流程图。
图13是表示实施形态3中的存储器使用状况的说明图。
图14是实施形态3的概括流程图。
图15是详细表示图14所示流程图中步骤SH3的流程图。
图16是详细表示图15所示流程图中步骤SI4的流程图。
图17是表示实施形态4中对原图像YC数据的LPF处理的说明图。
实施例
(实施形态1)
下面，根据附图来说明本发明的实施形态1。图1是表示各实施形态中共同的数字照相机的电路构成的框图。该数字照相机具有光学透镜1；由光学透镜1成像的CCD等摄像元件2；驱动摄像元件2及后述的单元电路4的TG3；和由保持从摄像元件2中输出的摄像信号的CDS(Correlated Double Sampling)、放大该摄像信号的AGC(AutoGain Control)放大器、将放大后的摄像信号变换为数字信号的A/D变换器(AD)构成的单元电路4。上述摄像元件2在其前面配置原色拜耳(ベイヤBayer)排列的滤色(RGB)镜。
被摄物的像经光学透镜1成像在摄像元件2上，摄像元件2输出信号。从摄像元件2输出的信号由单元电路4采样、放大、数字化后，将拜耳数据(RGB数据)原样发送到图像处理电路/CPU6，由图像处理电路/CPU6的处理来实施各种信号处理(包含颜色处理)及图像处理。
上述光学透镜1保持在具备AF电机等的透镜驱动电路5上，上述光学透镜1通过由图像处理电路/CPU6的控制驱动透镜驱动电路5来沿光轴方向移动，并调整成像在摄像元件2上的被摄物像的焦距。另外，在AE控制时，根据从图像处理电路/CPU6发送的快门脉冲，由TG3来驱动摄像元件2，控制电荷贮存时间。由此实现电子快门。
图像处理电路/CPU6具备各种信号处理及图像处理功能，在摄像待机时，根据经单元电路4变换为数字信号的摄像信号来生成视频信号，并将由摄像元件2摄像的被摄物像作为直达(through)图像显示在由TFT液晶监视器等构成的显示装置7中。另外，在摄像时，压缩摄像信号，生成由JPEG格式的YC数据构成的图像文件，并将该文件存储在由闪存等构成的自由装卸的外部存储器8中，再现时，从外部存储器8中读取压缩后的图像文件，进行扩展后，显示在显示装置7中。
并且，在图像处理电路/CPU6上连接包含电源开关、快门键、上卷键、设置键等各种开关的操作键部9、存储器10、程序ROM11。存储器10是用作后述图像合成处理等中的作业区域的工作(work)RAM。程序ROM11存储图像处理电路/CPU6的各部控制及各种数据处理必需的动作程序、即执行后述流程图中所示处理的程序等。
下面，根据图2-图5所示流程图来说明由以上构成所构成的数字照相机的动作。这些流程图表示在已摄像后、以YC数据状态保存在外部存储器8中的原图像的图像数据(下面称为原图像YC数据)中、合成通过快门键的操作由摄像元件2取得、存储在外部存储器8中之前的摄像图像的图像数据(下面称为摄像图像YC数据)的情况。
上述图像处理电路/CPU6根据上述程序，按照图2所示整体示意流程来执行处理，从外部存储器8中读取构成合成对象的原图像YC数据，并扩展后，展开于存储器10上(步骤SA1)。另外，摄像元件2伴随快门键的操作进行摄像，取得从单元电路4输出的拜耳数据(下面称为摄影图像拜耳数据)(步骤SA2)，如后所述，根据摄影图像拜耳数据(Bayer data)，进行摄影图像YC数据的生成处理(颜色处理)等(步骤SA3)。并且，在进行后述的复合(合成)图像YC数据生成处理后(步骤SA4)，将由该复合图像YC数据生成处理得到的图像数据(下面称为复合图像YC数据。)显示在显示装置7中，同时，保存在存储器10或外部存储器8中(步骤SA5)。
图3是详细表示上述步骤SA3的摄影图像YC数据生成处理(颜色处理)的流程图。首先，设定初始值，作为表示伴随快门键的操作、由摄像元件2摄像、从单元电路4输出、暂时存储在存储器10中的摄影图像拜耳数据的处理对象点坐标的值(步骤SB1)。接着，从摄影图像拜耳数据中读取该初始值表示的处理对象点数据及其周围点数据(步骤SB2)。之后，根据该读取处理对象点数据及其周围点数据，进行象素内插处理(步骤SB3)，接着，对象素内插后的数据依次进行γ变换(γ补偿)处理(步骤SB4)、边缘强化处理(步骤SB5)后，进行从拜耳数据到YC数据的变换处理(步骤SB6)，将该处理对象点中的(每1pix的)摄影图像YC数据写入存储器10中(步骤SB7)。
另外，判断是否对摄影图像拜耳数据的所有点(pix)结束以上步骤SB2-步骤SB7的处理(步骤SB8)。若对所有点的处理未结束(步骤SB8；否)，则在更新表示处理对象点坐标的值后(步骤SB9)，对更新值表示的处理对象点执行步骤SB2-步骤SB7的处理。另外，若对摄影图像拜耳数据的所有点结束了以上步骤SB2-步骤SB7的处理，则根据图3所示流程的处理结束。
图4是详细表示上述步骤SA4的复合图像YC数据生成处理的流程图。首先，设定初始值，作为表示处理对象点坐标的值(步骤SC1)，从原图像YC数据中读取该初始值表示的处理对象点数据(步骤SC2)。另外，还从摄影图像YC数据中读取该初始值表示的处理对象点数据(步骤SC3)，根据后述图5所示流程图来执行复合运算处理(步骤SC4)，将该处理对象点中复合后的YC数据写入存储器10中(步骤SC5)。
之后，判断是否对原图像YC数据及摄影图像YC数据的所有点结束以上步骤SC2-步骤SC5的处理(步骤SC6)。若对所有点的处理未结束(步骤SC6；否)，则在更新表示处理对象点坐标的值后(步骤SC7)，对更新值表示的处理对象点执行步骤SC2-步骤SC5的处理。另外，若对原图像YC数据及摄影图像YC数据的所有点结束了以上步骤SC2-步骤SC5的处理，则根据图4所示流程的处理结束。
图5是详细表示图4所示步骤SC4的复合运算处理的流程图。首先，将上述处理对象点中的原图像YC数据变换为拜耳数据(步骤SD1)，逆γ变换该变换后的处理对象点的拜耳数据(步骤SD2)。即，通过对已实施γ补偿、具有非线性的数据执行使之具有线性的处理，返回γ补偿前的状态。另外，将上述处理对象点中的摄影图像YC数据也变换为拜耳数据(步骤SD3)，逆γ变换该变换后的处理对象点的拜耳数据(步骤SD4)。接着，将逆γ变换后的处理对象点中的原图像的拜耳数据与摄影图像的拜耳数据相加(步骤SD5)，限幅相加后的拜耳数据的上限值(步骤SD6)。并且，在对限幅上限值的拜耳数据执行象素内插处理后(步骤SD7)，进行γ变换(步骤SD8)，将γ变换后的拜耳数据变换为YC数据(步骤SD9)。
因此，通过在图4的步骤SC4中执行图5流程图中示出的处理，将原图像YC数据与摄影图像YC数据的所有点拜耳数据变换及逆γ变换后相加，之后，进行象素内插、γ变换，生成由YC数据构成的复合图像YC数据(合成图像数据)。
因此，若执行以上图2-图5所示流程图中示出的处理，则例如若设图像尺寸为2048×1568pix、各YC数据的格式在YcbCr每个比特中为4∶2∶2、拜耳数据为1Byte/pix，则如图6所示，在存储器10中，分别当展开原图像YC数据时，需要6MB(10a)、当存储摄影图像拜耳数据时需要3MB(10b)、将摄影图像拜耳数据变换为摄影图像YC数据时，需要6MB(10c)，在变换为复合图像YC数据时，需要6MB(10d)。由此，若存储器10中有21MB的容量，则可根据原图像YC数据和摄影图像YC数据，生成复合图像YC数据。另外，在将复合图像YC数据写到摄影图像YC数据上时(10e)，若存储器10中有15MB的容量，则可根据原图像YC数据和摄影图像YC数据，生成复合图像YC数据。由此，可用比以往少的存储器容量来进行图像合成。
并且，如图2-图5的流程图所示，合成图像时，对已实施γ补偿的原图像YC数据及摄影图像YC数据实施逆γ补偿，以合成两个YC数据，所以不必以前为了避免画质恶化而必需的很多的存储器容量，同时，不必进行补偿运算处理中花费时间的图像补偿处理，可单纯通过短时间处理来合成无画质恶化的图像。
另外，在本实施例中，合成事先保存的原图像与保存前的摄影图像，但也可对各原图像、即已保存记录在外部存储器8中的各图像进行合成。
(实施形态2)
图7表示本发明实施形态2中，合成已摄像并以YC数据状态保存在外部存储器8中的第1原图像YC数据与第2原图像YC数据的情况。
上述图像处理电路/CPU6根据上述程序，按照图7所示整体示意流程来执行处理。
首先，从外部存储器8中选择读取构成合成对象的第1原图像YC数据，扩展后，展开于存储器10上(步骤SA11)。例如，对应于上卷键操作，将记录在外部存储器8中的多个YC数据依次切换显示在显示装置7上，在显示希望合成的YC数据的时刻，通过操作设置键来选择第1原图像YC数据。接着，从外部存储器8中选择读取构成合成对象的第2原图像YC数据，扩展后，展开于存储器10上(步骤SA12)，进行复合(合成)图像YC数据生成处理之后(步骤SA13)，将通过该复合图像YC处理所得到的复合图像YC数据保存在存储器10或外部存储器8中(步骤SA14)。
图8是详细表示上述步骤SA13的复合图像YC数据生成处理的流程图。首先，设定初始值，作为表示处理对象点坐标的值(步骤SC11)，从第1原图像YC数据中读取该初始值表示的处理对象点数据(步骤SC12)。另外，还从第2原图像YC数据中读取该初始值表示的处理对象点数据(步骤SC13)，按照后述图9所示流程图来执行复合运算处理(步骤SC14)，将该处理对象点中的复合化YC数据写入存储器10中(步骤SC5)。
下面，判断是否对第1原图像YC数据及第2原图像YC数据的所有点结束了以上步骤SC12-步骤SC15的处理(步骤SC16)。若对所有点的处理未结束(步骤SC16；否)，则在更新表示处理对象点坐标的值后(步骤SC17)，对更新值表示的处理对象点执行步骤SC12-步骤SC15的处理。另外，若对第1原图像YC数据及第2原图像YC数据的所有点结束了以上步骤SC12-步骤SC15的处理，则根据图8所示流程的处理结束。
图9是详细表示图8所示步骤SC14的复合运算处理的流程图。首先，将上述处理对象点中的第1原图像YC数据变换为拜耳数据(步骤SD11)，逆γ变换该变换后的处理对象点的拜耳数据(步骤SD12)。即，通过对已实施γ补偿、具有非线性的数据执行使之具有线性的处理，返回γ补偿前的状态。另外，将上述处理对象点中的第2原图像YC数据也变换为拜耳数据(步骤SD13)，逆γ变换该变换后的处理对象点的拜耳数据(步骤SD14)。接着，将逆γ变换后的处理对象点中的第1原图像的拜耳数据与第2原图像的拜耳数据相加(步骤SD15)，限幅相加后的拜耳数据的上限值(步骤SD16)。并且，在对限幅上限值的拜耳数据执行象素内插处理后(步骤SD17)，进行γ变换(步骤SD18)，将γ变换后的拜耳数据变换为YC数据(步骤SD19)。
因此，通过在图8的步骤SC14执行图9流程图中示出的处理，将第1原图像YC数据与第2原图像YC数据的所有点拜耳数据变换及逆γ变换后相加，之后，进行象素内插、γ变换，生成由YC数据构成的复合图像YC数据(合成图像数据)。
因此，若执行以上图7-图9所示流程图中示出的处理，则例如若设图像尺寸为2048×1568pix、各YC数据的格式在YcbCr每个比特中为4∶2∶2、拜耳数据为1Byte/pix，则在存储器10中，分别当展开第1原图像YC数据时，需要6MB，当展开第2原图像YC数据时，需要6MB，当变换为复合图像YC数据时，需要6MB。由此，若存储器10中有18MB的容量，则可根据第1原图像YC数据和第2原图像YC数据，生成复合图像YC数据。另外，在将复合图像YC数据写到第1或第2原图像YC数据上时，若存储器10中有12MB的容量，则可根据第1原图像YC数据和第2原图像YC数据，生成复合图像YC数据。由此，可用比以往少的存储器容量来进行图像合成。
并且，如图7-图9的流程图所示，合成图像时，对已实施γ补偿的第1原图像YC数据和第2原图像YC数据施逆γ补偿，以合成两个YC数据，所以不必以前为了避免画质恶化而必需的很多的存储器容量，同时，不必进行补偿运算处理中花费时间的图像补偿处理，可单纯通过短时间处理来合成无画质恶化的图像。
(实施形态3)
图10-图13表示本发明实施形态3中，在已摄像并以YC数据状态保存在外部存储器8中的原图像YC数据中合成通过快门键操作、由摄像元件2取得、实施各种颜色处理之前的摄影图像拜耳数据的情况。
上述图像处理电路/CPU6根据上述程序，按照图10所示整体示意流程来执行处理，从外部存储器8中读取构成合成对象的原图像YC数据，扩展后，展开于存储器10上(步骤SE1)。另外，摄像元件2伴随快门键的操作进行摄像，取得从单元电路4输出的摄影图像拜耳数据(步骤SE2)，如后所述，进行复合拜耳数据生成处理(步骤SE3)。并且，在进行复合图像YC数据生成(颜色处理)处理后(步骤SE4)，将由该复合图像YC数据生成(颜色处理)处理得到的图像数据显示在显示装置7中，同时，保存记录在外部存储器8中(步骤SE5)。
图11是详细表示上述步骤SE3的复合图像拜耳数据生成的流程图。首先，设定初始值，作为表示处理对象点坐标的值(步骤SF1)。接着，从存储器10中展开的原图像YC数据中读取该初始值表示的处理对象点数据(步骤SF2)。之后，从伴随快门键操作、由摄像元件2摄像、从单元电路4中输出、暂时存储在存储器10中的摄影图像拜耳数据中读取上述初始值表示的处理对象点数据(步骤SF3)。另外，使用读取的原图像YC数据的处理对象点数据和摄影图像拜耳数据的处理对象点数据，进行后述复合运算处理(步骤SF4)。并且，将通过该复合运算处理生成的该处理对象点中复合后的拜耳数据写入存储器10中(步骤SF5)。
之后，判断是否对原图像YC数据及摄影图像拜耳数据的所有点结束以上步骤SF2-步骤SF5的处理(步骤SF6)。若对所有点的处理未结束(步骤SF6；否)，则在更新表示处理对象点坐标的值后(步骤SF7)，对更新值表示的处理对象点执行步骤SF2-步骤SF5的处理。另外，若对原图像YC数据及摄影图像拜耳数据的所有点结束了以上步骤SF2-步骤SF5的处理，则根据图11所示流程的处理结束。
图12是详细表示图10所示步骤SF4的复合运算处理的流程图。首先，通过[原图像YC/拜耳数据变换]处理，将上述处理对象点中的原图像YC数据变换为拜耳数据(步骤SG1)。并且，通过[原图像拜耳数据逆γ变换]处理，进行逆γ变换，将处理对象点的拜耳数据处理为与摄影图像的拜耳数据相等(步骤SG2)。在该状态下，进行[原图像拜耳数据/摄影图像拜耳数据相加]处理，将上述对象处理点中的原图像拜耳数据与摄影图像拜耳数据相加(步骤SG3)。限幅相加后的拜耳数据的上限值(步骤SG4)，完成每1pix的复合运算处理。
因此，通过在图10的步骤SF4中执行图12流程图中示出的处理，生成以拜耳数据状态相加原图像YC数据与摄影图像拜耳数据的所有点(pix)后的复合图像拜耳数据(合成图像数据)。
另外，在上述图10所示流程图中，就步骤SE3之后的步骤SE4的复合图像YC数据生成(颜色处理)而言，执行与图3所示流程图的处理一样的处理。
即，首先，设定初始值，作为表示处理对象点坐标的值(步骤SB1)，从复合图像拜耳数据中读取该初始值表示的处理对象点数据及其周围点数据(步骤SB2)。之后，根据该读取处理对象点数据及其周围点数据，依次进行象素内插处理(步骤SB3)、γ变换处理(步骤SB4)、边缘强化处理(步骤SB5)，之后，进行从拜耳数据到YC数据的变换处理(步骤SB6)，将该处理对象点中的(每1pix的)复合图像YC数据写入存储器10中(步骤SB7)。
另外，判断是否对复合图像拜耳数据的所有点(pix)结束以上步骤SB2-步骤SB7的处理(步骤SB8)。若对所有点的处理未结束(步骤SB8；否)，则在更新表示处理对象点坐标的值后(步骤SB9)，对更新值表示的处理对象点执行步骤SB2-步骤SB7的处理。另外，若对复合图像拜耳数据的所有点结束了以上步骤SB2-步骤SB7的处理，则根据图3所示流程的处理结束。
若执行以上图10-图12及图3流程图中示出的处理，则例如在图像尺寸为2048×1568pix的情况下，如图13所示，当在存储器10中排列所有数据时，原图像YC数据变为6MB(10a)、摄影图像拜耳数据变为3MB(10b)、复合图像拜耳数据变为3MB(10e)，复合图像YC数据变为6MB(10d)。由此，若存储器10中有18MB的容量，则可根据原图像YC数据和实施颜色处理前的摄影图像拜耳数据，生成复合图像YC数据。另外，可分别写复合图像YC数据与原图像YC数据、摄影图像拜耳数据与复合图像拜耳数据，所以若考虑该情况，则如果存储器10中有9MB的容量，则可生成复合图像YC数据。由此，可以少的存储器容量来进行合成。
并且，在本实施形态的情况下，仅在图12的步骤SG1中的[原图像YC/拜耳数据变换]中发生复合处理的乘法。这里的运算基本上是3×3的矩阵运算，但因为也可根据拜耳排列的颜色来算出RGB之一，所以每1pix的乘法次数变为3次。不必复杂运算处理所需时间，可单纯通过短时间处理来合成无画质恶化的图像。
(实施形态4)
图14-图17表示本发明实施形态4中，在已摄像并以YC数据状态保存在外部存储器8中的原图像YC数据中合成通过快门键操作、由摄像元件2取得、实施颜色处理之前的摄影图像拜耳数据的情况。
上述图像处理电路/CPU6根据上述程序，按照图14所示整体示意流程来执行处理。该整体示意流程中的步骤SH1-SH5的处理与上述图10的步骤SE1-SE5的处理相同。另外，图15是详细表示步骤SH3的复合图像拜耳数据生成的流程图，但该流程图中的步骤SI1-SI7的处理也与上述图11的步骤SF1-SF7的处理相同。
图16是详细表示图15所示步骤SI4的复合运算处理的流程图。首先，执行[原图像YC数据/LPF处理](步骤SJ1)。在该步骤SJ1的处理中，在复合运算时，对原图像YC数据进行LPF(低通滤波器)处理。该运算的内容以Y为例示于图14中。
即，在算出某个对象点(在图的实例中为坐标(1，1))中的Y的低频分量时，对以对象点为中心的周围9个点(水平3×垂直3)的数据，进行滤波器系数的卷积运算。这里，在Y(i-1，j-1)-Y(i-1+1，j-1+1)中卷积LPF的矩阵LFP(0，0)-LFP(2，2)，算出YL(i，j)，此时下式成立。
式1
若如此执行步骤SJ1的处理，则对于通过步骤SJ1的处理得到的原图像YC数据的低频分量，可在以下的步骤SJ2-SJ5中执行与上述图12的步骤SG1-SG4相同的处理。
即，与颜色处理前的摄影图像拜耳数据相比，原图像YC数据通常是进行作为颜色处理之一的边缘强化后的数据，所以包含较多的高频分量。因此，若原样使用原图像YC数据来进行复合处理/颜色处理，则还对原图像的高频分量进行边缘强化(参照图3的流程)，变为无用的高频分量多的图像。但是，在实施形态4中，因为事先对原图像YC数据进行LPF，抑制了高频分量，并进行复合处理/颜色处理，所以抑制了复合处理后的图像的无用高频分量，结果，可合成无图像恶化的图像。
另外，在本实施形态中，虽设滤波器的构成为3×3，但也可以是5×5等其它构成。另外，虽在复合运算处理时进行滤波处理，但也可在原图像YC数据读取之后就进行滤波处理。
另外，在上述实施形态1-4中，虽设CCD的拜耳数据为原色拜耳排列(RGB)，但也可是补色的排列(YMC)。并且，虽设各YC数据的格式在YcbCr各1比特中为4∶2∶2，但也可以是4∶2∶0。
另外，在上述实施形态1-4中，说明了合成各静止图像的情况，但也可在合成活动图像的情况、或合成活动图像和静止图像的情况下，适用本发明。
另外，在上述实施形态1-4中，说明在将各图像进行复合合成(相加)中适用本发明的情况，但在将各图像相减的情况下也可适用本发明。例如，还考虑在通过从打开快门状态下的摄影得到的图像数据中减去关闭快门状态下的摄影得到的图像数据来去除噪声的情况下，适用本发明。
另外，在上述实施形态1-4中，说明将任一本发明适用于数字照相机的情况，但若是带摄像机的便携电话终端、带摄像机的便携信息终端、带摄像机的个人计算机等具有摄像功能的设备，则本发明也可适用于任一设备中。
另外，在上述实施形态1-4中，说明将本发明适用于具有摄像功能的设备的情况，但本发明也可适用于不带摄像机功能的便携电话终端、便携信息终端、个人计算机等中，主要是具备图像合成功能的设备，则本发明也可适用于任一设备中。
Claims (20)
1、一种图像合成装置，其特征在于：具备：
第1取得单元，取得未实施预定的颜色处理的彩色图像数据；
第2取得单元，取得实施上述预定的颜色处理的彩色图像数据；
变换单元，将由第2取得单元取得的彩色图像数据变换为实施上述预定的颜色处理前的状态的彩色图像数据；和
合成单元，合成由变换单元变换的彩色图像数据和由上述第1取得单元取得的彩色图像数据。
2、根据权利要求1所述的图像合成装置，其特征在于：
具备存储单元，存储实施上述预定的颜色处理的彩色图像数据，
上述第2取得单元取得存储在该存储单元中的彩色图像数据。
3、根据权利要求2所述的图像合成装置，其特征在于：
上述存储单元存储多个实施上述预定的颜色处理的彩色图像数据，
具备选择单元，从存储在上述存储单元中的多个彩色图像数据中选择任意彩色图像数据，
上述第2取得单元取得由选择单元选择的彩色图像数据。
4、根据权利要求2所述的图像合成装置，其特征在于：
具备摄像单元，对被摄物进行摄像，并输出彩色图像数据，和
颜色处理单元，对从摄像单元输出的彩色图像数据执行上述预定的颜色处理，
上述存储单元存储通过颜色处理单元实施上述预定的颜色处理的彩色图像数据。
5、根据权利要求1所述的图像合成装置，其特征在于：
具备摄像单元，对被摄物进行摄像，并输出彩色图像数据，和
颜色处理单元，对从摄像单元输出的彩色图像数据执行上述预定的颜色处理，
上述第2取得单元取得通过颜色处理单元实施上述预定的颜色处理的彩色图像数据。
6、根据权利要求1所述的图像合成装置，其特征在于：
具备摄像单元，对被摄物进行摄像，并输出彩色图像数据，和
颜色处理单元，对从摄像单元输出的彩色图像数据执行上述预定的颜色处理，
上述第1取得单元取得通过颜色处理单元实施上述预定的颜色处理之前的彩色图像数据。
7、根据权利要求1所述的图像合成装置，其特征在于：
具备存储单元，存储实施上述预定的颜色处理的彩色图像数据，
上述变换单元包含将存储单元中存储的彩色图像数据变换为实施上述预定的颜色处理之前状态的彩色图像数据，
上述第1取得单元取得由上述变换单元变换为实施上述预定的颜色处理之前状态的彩色图像数据。
8、根据权利要求7所述的图像合成装置，其特征在于：
上述存储单元存储多个实施上述预定的颜色处理的彩色图像数据，
具备选择单元，从存储在上述存储单元中的多个彩色图像数据中选择任意彩色图像数据，
上述变换单元包含将由选择单元选择的彩色图像数据变换为实施上述预定的颜色处理之前状态的彩色图像数据的单元。
9、根据权利要求7所述的图像合成装置，其特征在于：
具备摄像单元，对被摄物进行摄像，并输出彩色图像数据，和
颜色处理单元，对从摄像单元输出的彩色图像数据执行上述预定的颜色处理，
上述存储单元存储通过颜色处理单元实施上述预定的颜色处理的彩色图像数据。
10、根据权利要求1所述的图像合成装置，其特征在于：
具备存储单元，存储上述合成单元合成的合成彩色图像数据。
11、根据权利要求1所述的图像合成装置，其特征在于：
具备显示单元，显示上述合成单元合成的合成彩色图像数据。
12、根据权利要求1所述的图像合成装置，其特征在于：
具备颜色处理单元，对上述合成单元合成的合成彩色图像数据执行上述预定的颜色处理。
13、根据权利要求1所述的图像合成装置，其特征在于：
上述预定的颜色处理包含γ补偿处理。
14、根据权利要求1所述的图像合成装置，其特征在于：
上述预定的颜色处理包含将拜耳数据变换为辉度、色差数据的处理。
15、根据权利要求1所述的图像合成装置，其特征在于：
上述预定的颜色处理包含象素内插处理。
16、根据权利要求1所述的图像合成装置，其特征在于：
上述第2取得单元取得实施上述预定的颜色处理和边缘强化处理后的彩色图像数据，
具备滤波处理单元，对上述第2取得单元取得的彩色图像数据实施抑制高频分量的滤波处理，
上述合成单元合成实施了上述滤波处理单元的滤波处理和上述变换单元的变换处理的彩色图像数据与上述第1取得单元取得的彩色图像数据。
17、根据权利要求16所述的图像合成装置，其特征在于：
上述第1取得单元取得未实施上述预定的颜色处理和边缘强化处理的彩色图像数据。
18、根据权利要求17所述的图像合成装置，其特征在于：
具备摄像单元，对被摄物摄像，并输出彩色图像数据，和
处理单元，对从摄像单元输出的彩色图像数据执行上述预定的颜色处理及边缘强化处理，
上述第1取得单元取得该处理单元实施上述颜色处理单元和边缘强化处理之前的彩色图像数据。
19、根据权利要求16所述的图像合成装置，其特征在于：
具备边缘强化单元，对上述合成单元合成的合成图像数据实施边缘强化处理。
20、一种图像合成方法，其特征在于：
取得未实施预定的颜色处理的彩色图像数据和实施上述预定的颜色处理的彩色图像数据；
将取得的实施上述预定的颜色处理的彩色图像数据变换为实施上述预定的颜色处理前的状态的彩色图像数据；
合成该变换后的彩色图像数据和取得的未实施上述预定的颜色处理的彩色图像数据。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002145688 | 2002-05-21 | ||
| JP2002145688 | 2002-05-21 | ||
| JP200373473 | 2003-03-18 | ||
| JP2003073473A JP3800192B2 (ja) | 2002-05-21 | 2003-03-18 | 撮像装置、画像合成方法及び画像合成プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN1472702A true CN1472702A (zh) | 2004-02-04 |
| CN1276643C CN1276643C (zh) | 2006-09-20 |
Family
ID=29405349
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNB031237142A Expired - Fee Related CN1276643C (zh) | 2002-05-21 | 2003-05-20 | 图像合成装置及图像合成方法 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US7286701B2 (zh) |
| EP (1) | EP1365578B1 (zh) |
| JP (1) | JP3800192B2 (zh) |
| KR (1) | KR100483187B1 (zh) |
| CN (1) | CN1276643C (zh) |
| TW (1) | TWI230014B (zh) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1530377A4 (en) * | 2002-06-28 | 2006-05-10 | Nokia Corp | INFORMATION TERMINAL |
| JP2005142699A (ja) * | 2003-11-05 | 2005-06-02 | Mega Chips Corp | 画像圧縮伸張装置 |
| US20050185836A1 (en) * | 2004-02-24 | 2005-08-25 | Wei-Feng Huang | Image data processing in color spaces |
| JP4632721B2 (ja) * | 2004-03-18 | 2011-02-16 | メガビジョン株式会社 | 処理装置及びガンマ値調整プログラム |
| WO2006068292A1 (ja) * | 2004-12-21 | 2006-06-29 | Sony Corporation | 画像処理装置と画像処理方法および画像処理プログラム |
| US7336817B2 (en) * | 2005-06-20 | 2008-02-26 | Microsoft Corporation | Processing raw and pre-processed digital images |
| JP2007170823A (ja) * | 2005-12-19 | 2007-07-05 | Apisute:Kk | 赤外線撮像装置 |
| US20090094392A1 (en) * | 2007-10-03 | 2009-04-09 | Mikio Sakurai | System and Method for Data Operations in Memory |
| JP5642344B2 (ja) | 2008-11-21 | 2014-12-17 | オリンパスイメージング株式会社 | 画像処理装置、画像処理方法、および、画像処理プログラム |
| JP5430379B2 (ja) * | 2009-02-03 | 2014-02-26 | キヤノン株式会社 | 撮像装置及びその制御方法及びプログラム |
| CN102222941B (zh) * | 2010-04-13 | 2013-09-18 | 登丰微电子股份有限公司 | 电池电压平衡装置及电池充电装置 |
| JP5622513B2 (ja) * | 2010-10-08 | 2014-11-12 | オリンパスイメージング株式会社 | 画像処理装置、画像処理方法、および撮像装置 |
| JP6014349B2 (ja) * | 2012-04-10 | 2016-10-25 | キヤノン株式会社 | 撮像装置、制御方法、及びプログラム |
| JP6048046B2 (ja) * | 2012-10-01 | 2016-12-21 | 株式会社ソシオネクスト | 画像合成装置及び画像合成方法 |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4742400A (en) * | 1986-02-12 | 1988-05-03 | Ricoh Corporation | Digital image processing device for intermediate tone |
| US4833531A (en) * | 1986-04-21 | 1989-05-23 | Konishiroku Photo Industry Co., Ltd. | Technique for interpolating a color image for image enlargement or reduction based on look-up tables stored in memory |
| US5253046A (en) * | 1991-03-07 | 1993-10-12 | Canon Kabushiki Kaisha | Color image pickup apparatus for object image conversion |
| JP3078085B2 (ja) * | 1991-03-26 | 2000-08-21 | オリンパス光学工業株式会社 | 画像処理装置および画像処理方法 |
| US5280354A (en) * | 1991-04-04 | 1994-01-18 | Sony Corporation | Video camera with flare correcting circuit |
| JPH04307873A (ja) | 1991-04-04 | 1992-10-30 | Sony Corp | ビデオ信号のフレア補正回路 |
| US5943094A (en) * | 1991-09-04 | 1999-08-24 | Canon Kabushiki Kaisha | Image pickup device with noise data generation |
| JPH077675A (ja) | 1993-06-21 | 1995-01-10 | Matsushita Electric Ind Co Ltd | 画素欠陥補正装置 |
| JP2682459B2 (ja) * | 1994-08-23 | 1997-11-26 | 日本電気株式会社 | 通信制御装置 |
| US20020057349A1 (en) * | 1996-03-06 | 2002-05-16 | Masanori Yamaguchi | Image pickup apparatus and solid state image pickup device |
| EP0858208A1 (en) | 1997-02-07 | 1998-08-12 | Eastman Kodak Company | Method of producing digital images with improved performance characteristic |
| US6882364B1 (en) * | 1997-12-02 | 2005-04-19 | Fuji Photo Film Co., Ltd | Solid-state imaging apparatus and signal processing method for transforming image signals output from a honeycomb arrangement to high quality video signals |
| US6801251B1 (en) * | 1998-11-18 | 2004-10-05 | Fuji Photo Film Co., Ltd. | Digital camera, and image synthesizer and method of controlling the same |
| JP4626007B2 (ja) * | 1999-06-14 | 2011-02-02 | 株式会社ニコン | 画像処理方法、画像処理プログラムを記録した機械読み取り可能な記録媒体、および画像処理装置 |
| US6954228B1 (en) * | 1999-07-23 | 2005-10-11 | Intel Corporation | Image processing methods and apparatus |
| JP2001275029A (ja) * | 2000-03-28 | 2001-10-05 | Minolta Co Ltd | デジタルカメラ、その画像信号処理方法及び記録媒体 |
| JP4055927B2 (ja) * | 2000-08-25 | 2008-03-05 | シャープ株式会社 | 画像処理装置およびデジタルカメラ |
-
2003
- 2003-03-18 JP JP2003073473A patent/JP3800192B2/ja not_active Expired - Fee Related
- 2003-05-13 US US10/437,720 patent/US7286701B2/en active Active
- 2003-05-19 EP EP03011366.6A patent/EP1365578B1/en not_active Expired - Lifetime
- 2003-05-19 TW TW092113418A patent/TWI230014B/zh not_active IP Right Cessation
- 2003-05-20 KR KR10-2003-0031743A patent/KR100483187B1/ko active IP Right Grant
- 2003-05-20 CN CNB031237142A patent/CN1276643C/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| TWI230014B (en) | 2005-03-21 |
| CN1276643C (zh) | 2006-09-20 |
| EP1365578A3 (en) | 2005-06-15 |
| US20030219156A1 (en) | 2003-11-27 |
| EP1365578A2 (en) | 2003-11-26 |
| EP1365578B1 (en) | 2015-10-14 |
| TW200402235A (en) | 2004-02-01 |
| JP2004048663A (ja) | 2004-02-12 |
| KR100483187B1 (ko) | 2005-04-14 |
| US7286701B2 (en) | 2007-10-23 |
| KR20030091058A (ko) | 2003-12-01 |
| JP3800192B2 (ja) | 2006-07-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN1276643C (zh) | 图像合成装置及图像合成方法 | |
| JP3226271B2 (ja) | ディジタル電子スチルカメラ | |
| CN101616263B (zh) | 摄像装置 | |
| KR20070037375A (ko) | 촬상장치 및 촬상방법 | |
| JP5002931B2 (ja) | 撮像装置及びそのプログラム | |
| CN1835556A (zh) | 像素插值装置及照相机装置 | |
| JP2006514501A (ja) | 改善されたカメラ付き移動電話機 | |
| CN1461143A (zh) | 伴随事先摄影的摄影方法以及照相机装置 | |
| JP2001169167A (ja) | 電子カメラ | |
| JP4504412B2 (ja) | 画像処理装置及び画像処理方法 | |
| CN1306806C (zh) | 图像重放装置及摄像装置 | |
| US7688361B2 (en) | Image processor including memory controller which starts reading image data before writing screenful of image data is completed | |
| JP2006080860A (ja) | カメラ及びカメラ画像転送システム | |
| CN115280760A (zh) | 固态成像装置 | |
| JP4752652B2 (ja) | 撮像装置、撮像画像表示方法、及び、プログラム | |
| CN1294815A (zh) | 电子静物摄像机用显示装置 | |
| JP4229234B2 (ja) | デジタルカメラ | |
| JP2009033438A (ja) | 撮像装置 | |
| JP4088898B2 (ja) | 撮像装置 | |
| JP2004222148A (ja) | デジタルカメラと撮像画像データ記録方法 | |
| JPH03284079A (ja) | 画像情報の圧縮率を変更可能な電子スチルカメラ | |
| KR19990043560A (ko) | 화상 통신 장치 및 화상 통신 방법 | |
| Tsai et al. | Portable computer camera with a color image play-back LCD | |
| JPH10243295A (ja) | 撮像装置 | |
| JP2008148154A (ja) | 撮像装置及びその駆動方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20060920 Termination date: 20210520 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |