CN103312969A - 图像合成装置以及图像合成方法 - Google Patents

图像合成装置以及图像合成方法 Download PDF

Info

Publication number
CN103312969A
CN103312969A CN2013100735145A CN201310073514A CN103312969A CN 103312969 A CN103312969 A CN 103312969A CN 2013100735145 A CN2013100735145 A CN 2013100735145A CN 201310073514 A CN201310073514 A CN 201310073514A CN 103312969 A CN103312969 A CN 103312969A
Authority
CN
China
Prior art keywords
image
mentioned
images
unit
mobile object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2013100735145A
Other languages
English (en)
Other versions
CN103312969B (zh
Inventor
柏木基志
松本康佑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Publication of CN103312969A publication Critical patent/CN103312969A/zh
Application granted granted Critical
Publication of CN103312969B publication Critical patent/CN103312969B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明的图像合成装置以及图像合成方法在将连续地拍摄的多个图像作为摄影图像进行合成时，能够适当地合成移动物体和非移动物体双方。从连续地拍摄的多个图像的每一个图像中去除暗电流噪声(S6～S8)。从去除了暗电流噪声后的多个图像中提取在图像间位置发生变化的移动物体的图像部分(S11～S15)，并且提取在图像间位置不发生变化的非移动物体的图像部分(S11～S13)。按照图像间的位置的变化对去除暗电流噪声后的多个图像的每一个图像中的移动物体的图像部分的位置进行移动(S17、S18)，并且在多个图像的每一个图像中的非移动物体的图像部分的位置固定的状态下进行合成，并生成摄影图像(S19、S20)。

Description

图像合成装置以及图像合成方法
技术领域
本发明涉及将连续地拍摄的多个图像作为摄影图像进行合成的图像合成装置以及图像合成方法。
背景技术
以往，在通过正确曝光对星空等的光量少的被摄体进行摄影时，需要长时间曝光，因此作为摄影图像只能得到星星等的移动物体流动了的图像。作为能解决该问题的技术，例如在日本特开2003-259184号公报中记载有以下技术：在拍摄装置中，通过将各次的曝光时间设为短时间的连续曝光来进行拍摄(以下，称作分割曝光)，将所拍摄的多个图像进行合成，并且此时使各图像错开移动物体即被摄体的移动量。
根据这种技术，通过合成多个图像来确保必要的曝光量，并且在合成时使各图像错开被摄体的移动量，从而能够得到移动物体静止的图像。
发明内容
但是，在上述技术中，被摄体仅为移动物体的情况尚可，但例如在如建筑物或风景那样不移动的物体作为被摄体而被包含的情况下，存在以下问题：摄影图像成为与移动物体相反地不移动的物体发生了流动的图像等、不能适当地合成移动物体和非移动物体双方。
本发明正是鉴于这样的现有的课题而提出的，其目的在于提供一种在将连续地拍摄的多个图像作为摄影图像进行合成时，能适当地合成移动物体和非移动物体双方的图像合成装置以及图像合成方法。
为了解决上述课题，与本发明的第1方面相关的图像合成装置的特征在于，具备：图像取得单元(7)，连续地拍摄并取得多个图像；第1提取单元(2)，从通过上述图像取得单元所取得的多个图像的每一个图像中提取在图像间位置发生变化的移动物体的图像部分；第2提取单元(2)，从通过上述图像取得单元所取得的多个图像的每一个图像中提取在图像间位置不发生变化的非移动物体的图像部分；和合成单元(2)，按照图像间的位置的变化对通过上述第1提取单元(2)所提取的上述多个图像的每一个图像中的上述移动物体的图像部分的位置进行移动，并且在通过上述第2提取单元(2)所提取的上述多个图像的每一个图像中的上述非移动物体的图像部分的位置固定的状态下，合成各个图像部分并生成摄影图像。
此外，为了解决上述课题，与本发明的第2方面相关的图像合成方法的特征在于，包括：在具备取得连续拍摄的多个图像的图像取得单元(7)的装置(1)中，从由上述图像取得单元(7)所取得的多个图像的每一个图像中提取在图像间位置发生变化的移动物体的图像部分的第1步骤；从由上述图像取得单元(7)所取得的多个图像的每一个图像中提取在图像间位置不发生变化的非移动物体的图像部分的第2步骤；按照图像间的位置的变化对通过上述第1步骤所提取的上述多个图像的每一个图像中的上述移动物体的图像部分的位置进行移动，并且在通过上述第2步骤所提取的上述多个图像的每一个图像中的上述非移动物体的图像部分的位置固定的状态下，合成各个图像部分并生成摄影图像的第3步骤。
根据本发明，在将连续地拍摄的多个图像作为摄影图像进行合成时，能够适当地合成移动物体和非移动物体双方。
参照附图在下面的详细描述中充分公开了本发明的上述以及其他目的和新颖的特征。附图只是用于描述的目的，而并不限定本发明，这一点是显而易见的。
附图说明
图1为作为与本发明相关的图像合成装置的数码相机的框图。
图2为表示该数码相机的星空摄影模式下的动作内容的流程图。
图3为表示在分割曝光摄影时所取得的图像的一例的图。
图4为表示原图像中的与摄影时刻相对应的星星的位置的图。
图5为表示基于原图像所作成的图像的图。
图6为以对应的原图像的摄影顺序表示一系列的移动物体图像的一部分的图。
图7为表示在最终的摄影图像之前作成的图像的图。
具体实施方式
以下，对本发明的实施方式进行说明。图1为表示作为与本发明相关的图像合成装置的数码相机1的概略构成的框图。
数码相机1为通过CPU(Central Processing Unit，中央处理器)2控制系统整体的结构。CPU2中包括具有用于得到当前的日期和时刻的日历功能的内置时钟2a。
数码相机1具有：由包括聚焦透镜在内的光学系统和机械式快门构成的透镜模块3；和用于对透镜模块3内的光学系统、机械式快门分别进行驱动的电动机等的执行元件4。而且，由用于驱动执行元件4的各种驱动器构成的驱动器模块5经由总线6连接。
此外，数码相机1具有CCD(Charge Coupled Device，电荷耦合器件)或CMOS(Complementary Metal 0xide Semiconductor，互补金属氧化物半导体)型的拍摄元件7作为拍摄单元。拍摄元件7按照TG(TimingGenerator，定时脉冲发生器)8所生成的垂直定时信号、水平定时信号、电子快门定时信号被水平/垂直驱动器9驱动。
拍摄元件7通过被水平/垂直驱动器9驱动而对在透镜模块3的光学系统中被成像的被摄体的光学像(被摄体像)进行光电变换，从而将模拟的拍摄信号提供给AFE(Analog Front End，模拟前端)10。
AFE10由CDS(Correlated Double Sampling，相关双采样)、PGA(Programmable Gain Amp，可编程增益放大器)、ADC(Analog-to-Digitalconverter，模拟-数字转换器)等构成。AFE10对模拟的拍摄信号进行基于CDS处理的噪声去除、以及拍摄信号向数字信号的变换，并输出到DSP(Digital Signal Processor，数字信号处理器)11。
DSP11将所输入的拍摄信号变换为RGB数据，进而将RGB数据变换为由辉度(Y)成分以及色差(UV)成分构成的YUV数据。此外，DSP11对YUV数据实施自动白平衡、边缘强调、像素插补等的用于提高图像品质的数字信号处理，并依次存储到SDRAM12中。
在摄影模式下，每当在SDRAM12中蓄积1帧(1画面)的YUV数据(图像数据)，YUV数据被发送到液晶监视器(LCD)13并作为实时取景(live view)图像被画面显示。此外，在按压快门键的摄影时，CPU2对暂时存储于SDRAM12中的YUV数据进行压缩，并作为规定的格式的图像文件记录于外部存储器14中。外部存储器14为经由未图示的卡接口与照相机主体连接的可自由拆装的存储卡。
在再生模式中，CPU2按照用户的选择操作将记录于外部存储器14中的图像文件读出并解压，在作为YUV数据而使其在SDRAM12中展开后，在液晶监视器13中进行显示。
闪速存储器15为存储有用于使CPU2控制照相机整体的多种程序或数据的程序保存用存储器。在闪速存储器15中存储的程序中包括用于使CPU2执行AF(auto focus，自动聚焦)控制、AE(Auto Exposure，自动曝光)控制、AWB(Auto White Balance，自动白平衡)控制或后述的处理的控制程序。
按键输入部16由快门键以及模式切换键等的多个操作键构成，该模式切换键使用于数码相机1的基本的动作模式即摄影模式和再生模式的切换、或设置为摄影模式的下位的动作模式的个别的摄影模式的选择。按键输入部16中的操作键的操作状态被CPU2随时监视。
而且，在本实施方式的数码相机1中，作为摄影模式的下位的动作模式，设置有在采用三脚架等将数码相机主体进行了固定的状态下对星空进行摄影时所使用的星空摄影模式，在星空摄影模式下，CPU2按照存储于闪速存储器15中的程序执行以下的处理。
如果叙述概要，则在星空摄影模式下CPU2通过按照被摄体的亮度将一次摄影分割为短时间的连续的多次摄影并进行曝光的分割曝光来进行拍摄，通过执行包括图像合成在内的规定的处理，根据通过这种拍摄所取得的多幅图像来取得并记录最终的摄影图像。
以下，按照图2所示的流程图说明在星空摄影模式下CPU2所执行的具体的处理内容。
由用户设定了星空摄影模式后，CPU2开始处理，首先设定基准时刻(步骤S1)。基准时刻为对上述的多幅图像进行合成时作为基准的图像的摄影时刻，这样的时刻让用户通过规定的键操作来指定。让用户指定的时刻不限于具体的时刻，例如包括摄影开始时、摄影结束时、n分钟后、n小时后(其中，n为任意的值)之类的以摄影开始时间点作为起点的相对的时刻。
接下来，CPU2待机到通过快门键的按下而产生摄影指示为止(步骤S2：“否”)，如果产生了摄影指示(步骤S2：“是”)，则决定用于通过AE控制得到正确曝光的曝光时间(以下称作全曝光时间。)(步骤S3)。
进而，CPU2决定与在步骤S3中决定的全曝光时间相对应的摄影幅数N(步骤S4)。在这种处理时CPU2求得将全曝光时间(T)除以既定的单位曝光时间(t)所得到的值(T/t)，并将该值决定为摄影幅数N。
既定的单位曝光时间为考虑抑制采用分割曝光摄影所得到的多幅摄影图像中不可避免地包括的、拍摄元件7所产生的暗电流所引起的暗电流噪声而预先决定的短的曝光时间(数秒)。
然后，CPU2待机直到摄影开始时刻到来为止(步骤S5：“否”)，如果到达摄影开始时刻(步骤S5：“是”)，则通过反复执行步骤S6～步骤S8的处理从而取得摄影幅数N幅的摄影图像。
在此，摄影开始时刻为与在步骤S1的处理中所设定的基准时刻相对应的时刻，例如如果基准时刻为具体的时刻，则为该时刻。此外，在基准时刻为摄影开始时以及摄影结束时的情况下，为步骤S5的处理定时、即当前时刻。在该情况下，CPU2在步骤S5的处理定时直接开始步骤S6～步骤S8的处理。
此外，在基准时刻为n分钟后或n小时后之类的以摄影开始时间点作为起点的相对的时刻的情况下，摄影开始时刻为从当前时刻开始n分钟后或n小时后的时刻。另外，关于与这样的相对的时刻相对应的摄影开始时刻，也可设为从当前时刻开始经过了n分钟或n小时后的时间点的时刻、或从该时刻起全曝光时间之前的时刻。
而且，如果到达上述的摄影开始时刻，则CPU2直接开始由原图像摄影(步骤S6)、暗图像摄影(步骤S7)、从原图像“减去”暗图像而得到的图像的作成、存储(步骤S8)构成的一系列的处理。
步骤S6的处理为之前说明的通过单位曝光时间的曝光取得通常的摄影图像(以下称作原图像。)的处理。图3(a)中表示通过步骤S6的处理所得到的原图像101的例子。在原图像101中，包括即使时间推移也不移动的物体(以下称作非移动物体。)即山(风景)201以及北极星202、和随着周日运动而移动的其他星星203，还包括不可避免地产生的暗电流噪声204。
在此，实际的暗电流噪声204分散在图像内的多处，但原图像101的摄影时的曝光时间如前述那样为既定的单位曝光时间，是较短的时间。因此，原图像101中的暗电流噪声204主要成为具有再现性的固定模式噪声。
步骤S7的暗图像摄影是通过在关闭了透镜模块3中的机械式快门(未图示)的状态下进行摄影来取得只由噪声成分构成的噪声图像(以下称作暗图像。)的处理。图3(b)为表示由步骤S7的处理所得到的暗图像102的例子的图，暗图像102中不包括在原图像101中所包括的被摄体，而只存在暗电流噪声204。
此外，步骤S8的处理为以下处理：通过从原图像减去暗图像而从原图像去除暗电流噪声，将噪声去除后的原图像暂时存储于预先确保于DSRAM12中的作业区域中。图3(c)为表示由步骤S8的处理所得到的噪声去除后的原图像即噪声去除图像103的图。
在此，如已经说明的那样存在于原图像101中的暗电流噪声204主要为具有再现性的固定模式噪声。因此，通过执行步骤S8的处理能够得到暗电流噪声204极少的良好的状态的图像作为噪声去除图像103。
以后，CPU2反复执行上述的步骤S6～步骤S8的一系列的处理直到所设定的摄影幅数N幅的摄影结束为止、即取得N幅的噪声去除图像103为止(步骤S9：“否”)。由此在SDRAM12中，如图4(a)～(f)所示那样，暂时存储有图像内的多个星星203的位置按照摄影定时的不同而缓缓地变化的N幅噪声去除图像103。
之后，如果摄影幅数N幅的摄影结束(步骤S9：“是”)，则CPU2针对所有的噪声去除图像103将摄影顺序连续的两幅噪声去除图像103作为处理对象来反复执行以下的处理。
首先，CPU2设定表示作为处理对象的两幅一组的噪声去除图像的变量n(步骤S10)。另外，变量n的初始值为1，每当反复执行步骤S10的处理时，CPU2将变量n依次设定为3、5、7、…等奇数(步骤S10)。
接下来，CPU2进行从第n幅噪声去除图像减去第n+1幅噪声去除图像的减法运算处理，作成差分图像(步骤S11)。图5(a)为表示第n幅的噪声去除图像G1的图，图5(b)为表示第n+1幅的噪声去除图像G2的图，图5(c)为表示差分图像G3的图。
如图5(c)所示那样，在差分图像G3中，减去在第n幅以及第n+1幅的噪声去除图像G1、G2中共同的非移动物体即山201以及北极星202后的结果、仅有在双方的噪声去除图像G1、G2中分别存在的移动物体即多个星星203存在于不同的位置。
接下来，CPU2执行将第n幅噪声去除图像G1和第n+1幅噪声去除图像G2相加的加法运算处理，并作成如图5(d)所示那样的加法运算图像G4(步骤S12)。
如图5(d)所示那样，加法运算图像G4中存在非移动物体即山201以及北极星202、和进行周日运动的移动物体即多个星星203这双方。此外，在加法运算图像G4中，非移动物体即山201以及北极星202的亮度成为第n幅以及第n+1幅的噪声去除图像的亮度的2倍。
另外，CPU2将通过以上的处理所作成的差分图像G3以及加法运算图像G4暂时存储于在SDRAM12中被预先确保的作业区域中。
接下来，CPU2执行提取差分图像G3和加法运算图像G4的差分的减法运算处理，作成图5(e)所示那样的非移动物体图像G5(步骤S13)，将这样的非移动物体图像G5暂时存储于在SDRAM12中已预先确保的作业区域中。
如图5(e)所示那样在非移动物体图像G5中仅非移动物体即山201以及北极星202以第n幅以及第n+1幅的噪声去除图像G1、G2的2倍的亮度而存在。
接下来，CPU2使非移动物体图像G5的亮度降低到1/2后，将非移动物体图像G5和第n幅噪声去除图像G1作为对象来执行减法运算处理，作成图5(f)所示那样的移动物体图像G6(步骤S14)。如图5(f)所示那样，移动物体图像G6中仅有存在于第n幅噪声去除图像G1中的移动物体即多个星星203以与第n幅噪声去除图像G1相同的亮度存在。
进而，CPU2使非移动物体图像G5的亮度降低到1/2后，以非移动物体图像G5和第n+1幅噪声去除图像G2作为对象来执行减法运算处理，作成图5(g)所示那样的移动物体图像G7(步骤S15)。如图5(g)所示那样，移动物体图像G7中，仅有存在于第n+1幅噪声去除图像G2中的移动物体即多个星星203以与第n+1幅噪声去除图像G2相同的亮度存在。
另外，CPU2在步骤S14以及步骤S15的处理时，将由各处理所作成的移动物体图像G6、G7暂时存储于在SDRAM12中预先确保的作业区域中。
以后，CPU2在返回到步骤S10的处理并变更了变量n之后，反复执行上述的步骤S11～步骤S15的处理，直到针对相当于摄影幅数N的1/2的所有的组的处理结束为止(步骤S16：“否”)。
另外，虽然没有图示，但在摄影幅数N不是偶数而是奇数的情况下，CPU2针对第N幅(最后)的噪声去除图像，例外地将第N幅噪声去除图像和第N-1幅噪声去除图像作为一组执行同样的处理。另外，在以下的说明中，为了方便，以摄影幅数N为偶数作为前提。
通过以上的处理，SDRAM12中存储有仅移动物体即多个星星203分别存在的、总计N幅移动物体图像G6、G7。另外，在以下的说明中将移动物体图像G6、G7总称为一系列的移动物体图像。同时，在SDRAM12中存储有仅非移动物体即山201以及北极星202以2倍的亮度存在的N/2幅非移动物体图像G5。
图6为将在SDRAM12中存储的一系列的移动物体图像104的一部分按照各自所对应的原图像的摄影顺序、即多个星星203被摄影的顺序来排列的图。如图6所示那样，在一系列的移动物体图像104中，在多个星星203的位置上存在与摄影时刻的差相对应的周日运动的移动量的偏差。
此后，如果针对相当于摄影幅数N的1/2的所有的组的处理结束(步骤S16：“是”)，则CPU2接着进行以下的处理。
首先，CPU2根据N幅移动物体图像104计算多个星星203的周日运动的“移动量”(步骤S17)。这样的处理为下述的处理：将N幅移动物体图像104中、与由步骤S1所设定的基准时刻所摄影的原图像相对应的移动物体图像104作为基准图像，计算其他的移动物体图像104的多个星星203相对于这样的基准图像中的多个星星203的相对的移动量。
如果具体地进行描述，则图像间的多个星星203的移动为周日运动且为以北极星202为中心的旋转移动，因此在采用公知的图像处理技术确定了与北极星202的位置相对应的旋转中心之后，针对基准图像以外的移动物体图像104运算相对于基准图像的相对的旋转角度作为移动量。
此时，旋转中心通过以下的方法来确定。首先，合成N幅移动物体图像104，作成图7(a)所示那样的作业用合成图像105。在此在作业用合成图像105内相同的星星203的移动轨迹成为圆弧。因此，针对例如容易识别的最亮的任意的星星203确定移动轨迹，通过求得包括所确定的移动轨迹在内的圆的中心从而确定旋转中心。另外，在摄影时的视角内不包括北极星的情况下，旋转中心存在于图像外。
接下来，CPU2在成为基准图像的移动物体图像104上，一边对其他的多幅移动物体图像104执行与由步骤S17的处理所计算的移动量相对应的位置调整(旋转)，一边依次相加，作成仅存在确保了充分的亮度的多个星星203的、如图7(b)所示那样的第1合成图像106(步骤S18)。另外，图7(b)是基准时刻为摄影开始时且将第1幅的移动物体图像104作为基准图像的情况的例子。
进而，CPU2将N/2幅非移动物体图像G5相加，作成仅存在确保了充分的亮度的山201以及北极星202的、图7(c)所示那样的第2合成图像107(步骤S19)。
此后，CPU2通过将第1合成图像106和第2合成图像107相加而作成存在确保了充分的亮度的多个星星203、山201以及北极星202的、图7(d)所示那样的最终的摄影图像108(步骤S20)，并保存于外部存储器14中(步骤S21)。
因此，在数码相机1中，在对星空进行摄影时，通过使用星空摄影模式，从而能够得到确保与采用正确曝光进行摄影的情况同样的亮度，并且采用分割曝光所摄影的移动物体即多个星星、和非移动物体即山以及北极星双方被适当地合成的摄影图像。
此外，在本实施方式中，通过在摄影图像的合成中使用从采用分割曝光所拍摄的多幅图像中去除暗电流噪声所得到的噪声去除图像，从而能够得到高品质的摄影图像。
此外，在本实施方式中，如上所述那样，在摄影图像的合成之前的处理中，通过从将第n幅噪声去除图像G1和第n+1幅噪声去除图像G2相加所得到的加法运算图像G4中减去从第n幅噪声去除图像G1中减去了第n+1幅噪声去除图像G2而得到的差分图像G3，从而从2幅一组的噪声去除图像中提取非移动物体即山201以及北极星202(参照图5)。由此，能够高精度且高效地得到非移动物体的图像部分。
此外，通过从第n幅噪声去除图像G1和第n+1幅噪声去除图像G2中减去使亮度成为1/2的从加法运算图像G4减去差分图像G3所得到的非移动物体图像G5，从而从各个噪声去除图像中提取移动物体即多个星星203(参照图5)。由此，能够高精度且高效地得到移动物体的图像部分。
此外，在本实施方式中，将用户所指定的基准时刻设定为在合成多幅图像时作为基准的图像的摄影时刻，将在不同的时刻所摄影的移动物体即多个星星203的位置旋转移动到与基准时刻相当的位置，即进行补正和合并。因此，用户作为摄影图像能够得到多个星星203静止于与期望的时刻对应的位置的图像。
此外，在例如基准时刻为摄影开始时的情况下，第1幅图像的摄影时的多个星星203的位置成为合成后的摄影图像中的多个星星203的位置。因此，在该情况下，能够得到摄影时用户已实际确认过的状态的图像作为摄影图像。
另外，在本实施方式中，采用将与用户所指定的基准时刻所摄影的原图像相对应的移动物体图像104作为基准图像，在基准图像中的多个星星203中合成其他的移动物体图像104中的多个星星203的结构，此外，上面的说明中对将基准图像设为1幅图像的情况进行了说明。但是，基准图像也可被固定，在本发明的实施时，也可设为例如多次N的摄影中最后(第N幅)的图像、或摄影次数为中央(N/2幅)的图像、以及其他任意的摄影次数的图像。
另外，在以上的说明中，针对将本发明适用于在数码相机1中对星空进行摄影时所使用的星空摄影模式下的动作中的情况进行了说明。即针对被摄体暗，且存在于视角内的移动物体的移动速度非常慢的情况下的适用例进行了说明。但是，本发明也能适用于被摄体亮且在存在于视角内的移动物体的移动速度较快的情况。在该情况下，未必需要采用三脚架等进行固定，也可通过手持摄影来进行摄影，但由于还存在因为手抖动而不能在固定的位置拍摄非移动物体的情况，因此也可通过手抖动补偿来将非移动物体补正到固定的位置。
此外，在上述实施方式中，对进行采用曝光方式的曝光的情况进行了说明，但多个图像也可为分别独立地被拍摄的图像，在合成图像过分明亮的情况下，也可适当地补正亮度。
此外，在上述的实施方式中，通过拍摄元件7拍摄图像并进行图像的合成，但也可变更拍摄元件7，而从外部取得通过外部设备拍摄的图像来进行图像的合成。
以上，对本发明的几个实施方式及其变形例进行了说明，但这些实施方式及其变形例只要在能得到本发明的作用效果的范围内也可适当变更，变更后的实施方式也包括在权利要求书中记载的发明以及与该发明均等的发明的范围中。
通过上述实施方式已经说明了本发明，但是本发明并不限定于上述说明的详细内容，而是包括落入权利要求的范围中的所有实施方式。

Claims (10)

1.一种图像合成装置，其特征在于，具备：
图像取得单元(7)，连续地拍摄并取得多个图像；
第1提取单元(2)，从通过上述图像取得单元所取得的多个图像的每一个图像中提取在图像间位置发生变化的移动物体的图像部分；
第2提取单元(2)，从通过上述图像取得单元所取得的多个图像的每一个图像中提取在图像间位置不发生变化的非移动物体的图像部分；和
合成单元(2)，按照图像间的位置的变化对通过上述第1提取单元(2)所提取的上述多个图像的每一个图像中的上述移动物体的图像部分的位置进行移动，并且在通过上述第2提取单元(2)所提取的上述多个图像的每一个图像中的上述非移动物体的图像部分的位置固定的状态下，合成各个图像部分并生成摄影图像。
2.根据权利要求1所述的图像合成装置，其特征在于，
上述图像取得单元(7)通过将一次摄影分割为短时间的连续的多次来进行曝光的分割曝光来取得多个图像。
3.根据权利要求1所述的图像合成装置，其特征在于，
上述合成单元(2)生成上述移动物体以及上述非移动物体均静止的内容的图像作为上述摄影图像。
4.根据权利要求1所述的图像合成装置，其特征在于，
上述第2提取单元(2)从将通过连续拍摄而在不同的定时所拍摄的一组图像相加而得到的加法运算图像中减去从上述一组图像中的一个图像中减去另一个图像而得到的减法运算图像，从而从上述多个图像的每一个图像中提取上述非移动物体的图像部分。
5.根据权利要求1所述的图像合成装置，其特征在于，
上述第1提取单元(2)从上述多个图像的每一个图像中减去通过上述第2提取单元所提取的非移动物体的图像部分，从而提取上述多个图像的每一个图像中的上述移动物体的图像部分。
6.根据权利要求1所述的图像合成装置，其特征在于，
上述合成单元(2)将通过上述第1提取单元(2)所提取的上述多个图像的每一个图像中的移动物体的图像部分的位置补正到连续地拍摄的第1幅图像的移动物体的图像部分的位置来进行合成。
7.根据权利要求1所述的图像合成装置，其特征在于，
还具备时刻设定单元(2)，
上述合成单元(2)将通过上述第1提取单元(2)所提取的上述多个图像的每一个图像中的上述移动物体的图像部分的位置补正到通过上述时刻设定单元所设定的时刻所对应的位置来进行合成。
8.根据权利要求2所述的图像合成装置，其特征在于，还具备：
机械式快门(3)；
噪声图像取得单元(2)，取得与分割曝光的拍摄定时连续的在关闭上述机械式快门(3)的状态下所拍摄的多个噪声图像；和
提供单元(2)，通过从上述多个图像的每一个图像中减去通过上述噪声图像取得单元(2)所取得的多个噪声图像的每一个图像，从而从上述多个图像的每一个图像中去除暗电流噪声，将去除暗电流噪声后的上述多个图像作为上述移动物体的图像部分以及上述非移动物体的图像部分的提取对象提供给上述第1提取单元(2)以及上述第2提取单元(2)。
9.根据权利要求1所述的图像合成装置，其特征在于，
还具备手抖动补偿单元(2)，
上述合成单元(2)在通过上述补偿单元(2)补偿手抖动并将通过上述第2提取单元(2)所提取的上述多个图像的每一个图像中的上述非移动物体的图像部分的位置进行了固定的状态下，合成各个图像部分并生成摄影图像。
10.一种图像合成方法，其特征在于，包括：
在具备取得连续拍摄的多个图像的图像取得单元(7)的装置(1)中，
从由上述图像取得单元(7)所取得的多个图像的每一个图像中提取在图像间位置发生变化的移动物体的图像部分的第1步骤；
从由上述图像取得单元(7)所取得的多个图像的每一个图像中提取在图像间位置不发生变化的非移动物体的图像部分的第2步骤；和
按照图像间的位置的变化对通过上述第1步骤所提取的上述多个图像的每一个图像中的上述移动物体的图像部分的位置进行移动，并且在通过上述第2步骤所提取的上述多个图像的每一个图像中的上述非移动物体的图像部分的位置固定的状态下，合成各个图像部分并生成摄影图像的第3步骤。
CN201310073514.5A 2012-03-12 2013-03-08 图像合成装置以及图像合成方法 Active CN103312969B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-054364 2012-03-12
JP2012054364A JP5678911B2 (ja) 2012-03-12 2012-03-12 画像合成装置、その画像合成方法、及びプログラム

Publications (2)

Publication Number Publication Date
CN103312969A true CN103312969A (zh) 2013-09-18
CN103312969B CN103312969B (zh) 2016-09-07

Family

ID=49137716

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310073514.5A Active CN103312969B (zh) 2012-03-12 2013-03-08 图像合成装置以及图像合成方法

Country Status (3)

Country Link
US (1) US9041821B2 (zh)
JP (1) JP5678911B2 (zh)
CN (1) CN103312969B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104104874A (zh) * 2014-07-17 2014-10-15 深圳市中兴移动通信有限公司 星轨拍摄方法、物体运动轨迹拍摄方法及装置
CN104113696A (zh) * 2014-07-28 2014-10-22 深圳市中兴移动通信有限公司 运动物体的轨迹的拍摄方法及装置
CN104243819A (zh) * 2014-08-29 2014-12-24 小米科技有限责任公司 照片获取方法及装置
WO2016000515A1 (zh) * 2014-07-02 2016-01-07 努比亚技术有限公司 拍摄星轨视频的方法、装置和计算机存储介质
CN105594191A (zh) * 2013-10-02 2016-05-18 奥林巴斯株式会社 摄像装置、图像处理装置以及图像处理方法
CN107295272A (zh) * 2017-05-10 2017-10-24 深圳市金立通信设备有限公司 一种图像处理的方法及终端
CN110830723A (zh) * 2019-11-29 2020-02-21 Tcl移动通信科技（宁波）有限公司 拍摄方法、装置、存储介质及移动终端

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6039471B2 (ja) * 2013-03-15 2016-12-07 キヤノン株式会社 撮像装置およびその制御方法
JP6104060B2 (ja) * 2013-06-06 2017-03-29 オリンパス株式会社 撮像装置、撮像方法
US9571720B2 (en) * 2013-12-10 2017-02-14 Olympus Corporation Image processing device, display device, imaging apparatus, image processing method, and program
EP3934228B1 (en) * 2014-04-28 2023-11-29 Lynx System Developers, Inc. Systems and methods for processing event timing images
US10375300B2 (en) 2014-04-28 2019-08-06 Lynx System Developers, Inc. Methods for processing event timing data
JP6478481B2 (ja) * 2014-05-07 2019-03-06 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
CN104134225B (zh) * 2014-08-06 2016-03-02 深圳市中兴移动通信有限公司 图片的合成方法及装置
JP2016076869A (ja) * 2014-10-08 2016-05-12 オリンパス株式会社 撮像装置、撮影方法、およびプログラム
JP2016082420A (ja) * 2014-10-17 2016-05-16 キヤノン株式会社 撮像システム
JP6525692B2 (ja) * 2015-04-08 2019-06-05 キヤノン株式会社 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置
CN105072350B (zh) 2015-06-30 2019-09-27 华为技术有限公司 一种拍照方法及装置
JP6659162B2 (ja) * 2016-03-15 2020-03-04 キヤノン株式会社 撮像装置、撮像装置の制御方法及びプログラム
JP6679424B2 (ja) * 2016-06-17 2020-04-15 キヤノン株式会社 撮像装置、その制御方法、プログラム
WO2018145293A1 (en) * 2017-02-10 2018-08-16 Covidien Lp Systems, methods, and computer readable media for processing and compounding ultrasound images in the presence of motion
JP2019029753A (ja) * 2017-07-27 2019-02-21 京セラ株式会社 電子機器、画像補正方法および画像補正プログラム
JP7030565B2 (ja) * 2018-03-06 2022-03-07 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US11070743B2 (en) * 2018-03-27 2021-07-20 Huawei Technologies Co., Ltd. Photographing using night shot mode processing and user interface
JP2022032358A (ja) * 2020-08-11 2022-02-25 卓也 生駒 天体写真撮影システム及びプログラム
WO2024043557A1 (ko) * 2022-08-22 2024-02-29 삼성전자 주식회사 이미지를 합성하기 위한 방법 및 이를 지원하는 전자 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1773361A (zh) * 2004-11-09 2006-05-17 三星Techwin株式会社 除去数字图像处理设备中热噪点的方法和设备
US20070120997A1 (en) * 2005-11-21 2007-05-31 Megachips Lsi Solutions Inc. Image processor and camera system
US20070147706A1 (en) * 2005-12-27 2007-06-28 Megachips Lsi Solutions Inc. Image processor and camera system, image processing method, and motion picture displaying method
CN101052101A (zh) * 2006-04-03 2007-10-10 三星Techwin株式会社 用于图像拾取的装置和方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002208005A (ja) * 2001-01-12 2002-07-26 Minolta Co Ltd 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2003259184A (ja) 2002-03-06 2003-09-12 Olympus Optical Co Ltd 撮像装置
CN100477745C (zh) * 2002-08-09 2009-04-08 夏普株式会社 图像合成装置和图象合成方法
JP2006025312A (ja) 2004-07-09 2006-01-26 Konica Minolta Photo Imaging Inc 撮像装置、及び画像取得方法
JP2007089087A (ja) 2005-09-26 2007-04-05 Casio Comput Co Ltd 天体撮像装置
US7702131B2 (en) * 2005-10-13 2010-04-20 Fujifilm Corporation Segmenting images and simulating motion blur using an image sequence
JP5251878B2 (ja) * 2007-08-27 2013-07-31 ソニー株式会社 撮像装置及び撮像方法
JP4831248B2 (ja) 2009-11-30 2011-12-07 カシオ計算機株式会社 電子辞書装置およびプログラム
US8736704B2 (en) * 2011-03-25 2014-05-27 Apple Inc. Digital camera for capturing an image sequence

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1773361A (zh) * 2004-11-09 2006-05-17 三星Techwin株式会社 除去数字图像处理设备中热噪点的方法和设备
US20070120997A1 (en) * 2005-11-21 2007-05-31 Megachips Lsi Solutions Inc. Image processor and camera system
US20070147706A1 (en) * 2005-12-27 2007-06-28 Megachips Lsi Solutions Inc. Image processor and camera system, image processing method, and motion picture displaying method
CN101052101A (zh) * 2006-04-03 2007-10-10 三星Techwin株式会社 用于图像拾取的装置和方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105594191A (zh) * 2013-10-02 2016-05-18 奥林巴斯株式会社 摄像装置、图像处理装置以及图像处理方法
US10244184B2 (en) 2014-07-02 2019-03-26 Nubia Technology Co., Ltd. Method and apparatus for shooting star trail video, and computer storage medium
WO2016000515A1 (zh) * 2014-07-02 2016-01-07 努比亚技术有限公司 拍摄星轨视频的方法、装置和计算机存储介质
WO2016008364A1 (zh) * 2014-07-17 2016-01-21 努比亚技术有限公司 星轨拍摄方法、物体运动轨迹拍摄方法、装置及存储介质
CN104104874A (zh) * 2014-07-17 2014-10-15 深圳市中兴移动通信有限公司 星轨拍摄方法、物体运动轨迹拍摄方法及装置
CN104113696A (zh) * 2014-07-28 2014-10-22 深圳市中兴移动通信有限公司 运动物体的轨迹的拍摄方法及装置
WO2016015544A1 (zh) * 2014-07-28 2016-02-04 努比亚技术有限公司 运动物体的轨迹的拍摄方法及装置
CN104113696B (zh) * 2014-07-28 2016-03-23 深圳市中兴移动通信有限公司 运动物体的轨迹的拍摄方法及装置
WO2016029641A1 (zh) * 2014-08-29 2016-03-03 小米科技有限责任公司 照片获取方法及装置
CN104243819B (zh) * 2014-08-29 2018-02-23 小米科技有限责任公司 照片获取方法及装置
CN104243819A (zh) * 2014-08-29 2014-12-24 小米科技有限责任公司 照片获取方法及装置
CN107295272A (zh) * 2017-05-10 2017-10-24 深圳市金立通信设备有限公司 一种图像处理的方法及终端
CN110830723A (zh) * 2019-11-29 2020-02-21 Tcl移动通信科技（宁波）有限公司 拍摄方法、装置、存储介质及移动终端

Also Published As

Publication number Publication date
US9041821B2 (en) 2015-05-26
JP5678911B2 (ja) 2015-03-04
JP2013186879A (ja) 2013-09-19
CN103312969B (zh) 2016-09-07
US20130242121A1 (en) 2013-09-19

Similar Documents

Publication Publication Date Title
CN103312969A (zh) 图像合成装置以及图像合成方法
CN101090459B (zh) 拍摄设备和拍摄方法
US8199222B2 (en) Low-light video frame enhancement
KR101566081B1 (ko) 화상 처리 장치, 화상 처리 방법 및 기억 매체
EP2887646B1 (en) Method and apparatus for acquiring a set of images illuminated by a flash
US8072497B2 (en) Imaging apparatus and recording medium
US20100080547A1 (en) Focal point detection device and camera system
CN107547801B (zh) 能够间歇地拍摄图像的摄像设备及其控制方法和记录介质
CN104243863A (zh) 拍摄装置、拍摄方法
JP5909997B2 (ja) 撮像装置および撮像装置の制御方法
JP6056551B2 (ja) 画像処理プログラムおよびデジタルカメラ
JP7004852B2 (ja) 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム
JP4025836B2 (ja) 撮像装置及び携帯通信機器
WO2020170904A1 (ja) ぶれ補正装置、撮像装置、監視システム、及びプログラム
JP6296909B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム
JP5144469B2 (ja) 撮像装置及びその制御方法
JP2002152602A (ja) デジタルスチルカメラ
US9479710B2 (en) Cinematic image blur in digital cameras based on exposure timing manipulation
JP5131554B2 (ja) 撮像装置、及びプログラム
JP6360409B2 (ja) 撮像装置、撮像方法
JP7358653B2 (ja) 撮像装置、駆動方法、及び撮像プログラム
JP7305689B2 (ja) 画像処理装置、画像処理方法、撮像装置、プログラムおよび記録媒体
JP4992382B2 (ja) ノイズ除去方法ならびにノイズ除去制御プログラム
JP5631084B2 (ja) 画像記録装置
JP2022187291A (ja) レンズ駆動型ハイブリッド画像補正システムならびにレンズ駆動ドライバーｌｓｉ

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant