CN101658028A - 图像合成装置、图像合成方法、图像合成程序、集成电路、摄像系统以及摄像方法 - Google Patents

图像合成装置、图像合成方法、图像合成程序、集成电路、摄像系统以及摄像方法 Download PDF

Info

Publication number
CN101658028A
CN101658028A CN200880011010A CN200880011010A CN101658028A CN 101658028 A CN101658028 A CN 101658028A CN 200880011010 A CN200880011010 A CN 200880011010A CN 200880011010 A CN200880011010 A CN 200880011010A CN 101658028 A CN101658028 A CN 101658028A
Authority
CN
China
Prior art keywords
image
photographs
interpolating
region
photographed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200880011010A
Other languages
English (en)
Other versions
CN101658028B (zh
Inventor
手塚忠则
渊上郁雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN101658028A publication Critical patent/CN101658028A/zh
Application granted granted Critical
Publication of CN101658028B publication Critical patent/CN101658028B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

帧插补电路(61)，基于与无摄影区间在时间上邻接的双方曝光区间的摄影图像，来生成用于对进行曝光的曝光区间与下一曝光区间之间的该无摄影区间进行插补的插补图像。并且，帧合成电路(62)，基于在规定时间区间所摄影的摄影图像和该时间区间的由帧插补电路(61)生成的插补图像，生成该规定时间区间的合成图像。

Description

图像合成装置、图像合成方法、图像合成程序、集成电路、摄像系统以及摄像方法
技术领域
本发明涉及利用连续摄影的多张摄影图像来生成合成图像的技术。
背景技术
在现有的数码相机等摄像装置中，具备连续摄影多张图像的功能，并且有的还具备将连续摄影的全部或者一部分张数的图像合成而生成静止图像的功能。另外，以下将“连续摄影”称为“连拍”。例如，在专利文献1中公开了一种方法，将连拍的多张图像暂时记录到缓冲器中，并对暂时记录在缓冲器中的一部分张数的图像进行合成，由此生成与改变了快门速度的静止图像等价的合成图像。另外，“快门速度”相当于“曝光时间”、即“进行曝光的曝光区间的时间宽度”。
专利文献1：日本特开2005-86228号公报
然而，在连拍的时间间隔(以下称为“连拍间隔”)比快门速度长时，在进行曝光的曝光区间与下一曝光区间之间存在没有进行曝光的区间(以下称为“无摄影区间“)(参照图1(b))。
但是，在对比文件1所公开的手法中不过是将所连拍的多张图像简单地进行图像合成，因此在对以比快门速度长的连拍间隔连拍的多张摄影图像进行了合成的情况下，成为无摄影区间的图像被排除了的图像、即频闪合成那样的图像。这样存在的问题为，从所连拍的多张摄影图像，不能够生成与比实际的快门速度慢的快门速度的静止图像近似的合成图像。
如果以使连拍间隔与快门速度大致相同的方式进行调整并进行连拍，则能够解决上述问题，但是如下所述，不一定能够将二者调整得成为相同。由于连拍间隔由摄像装置的性能制约，因此尤其是在白天那样明亮的场所进行摄影的情况下，有时即使将光圈缩小到极限，为了配合曝光也不得不使快门速度比连拍间隔短。
发明内容
因此，本发明的目的在于提供图像合成装置、图像合成方法、图像合成程序、集成电路、摄像系统以及摄像方法，从以比曝光时间长的时间间隔而连续摄影的摄影图像，能够生成与静止图像近似的合成图像，该静止图像是如果以比实际的曝光时间长的曝光时间来摄影则能够得到。
为了实现上述目的的本发明的图像合成装置为，利用以规定时间间隔连续摄影的摄影图像来生成规定时间区间的合成图像，其具备：插补部，根据与无摄影区间在时间上邻接的双方的曝光区间的摄影图像，生成对进行曝光的曝光区间与下一曝光区间之间的该无摄影区间进行插补的插补图像；和合成部，根据在规定时间区间中所摄影的摄影图像和由该时间区间的上述插补部生成的插补图像，以摄影图像与插补图像的相同位置的像素重叠的方式，生成该规定时间区间的合成图像。
并且，本发明的图像合成方法为，利用以规定时间间隔连续摄影的摄影图像来生成涉及规定时间区间的合成图像，其具备：插补步骤，根据与无摄影区间在时间上邻接的双方的曝光区间的摄影图像，生成对进行曝光的曝光区间与下一曝光区间之间的该无摄影区间进行插补的插补图像；和合成步骤，根据在规定时间区间中所摄影的摄影图像和由该时间区间的上述插补步骤生成的插补图像，以摄影图像与插补图像的相同位置的像素重叠的方式，生成该规定时间区间的合成图像。
并且，本发明的图像合成程序为，使计算机作为图像合成装置，该图像合成装置利用以规定时间间隔连续摄影的摄影图像来生成规定时间区间的合成图像，使该计算机执行：插补步骤，根据与无摄影区间在时间上邻接的双方的曝光区间的摄影图像，生成对进行曝光的曝光区间与下一曝光区间之间的该无摄影区间进行插补的插补图像；和合成步骤，根据在规定时间区间中所摄影的摄影图像和由该时间区间的上述插补步骤生成的插补图像，以摄影图像与插补图像的相同位置的像素重叠的方式，生成该规定时间区间的合成图像。
并且，本发明的集成电路为，利用以规定时间间隔连续摄影的摄影图像来生成涉及规定时间区间的合成图像，其具备：插补电路，根据与无摄影区间在时间上邻接的双方的曝光区间的摄影图像，生成对进行曝光的曝光区间与下一曝光区间之间的该无摄影区间进行插补的插补图像；和合成电路，根据在规定时间区间中所摄影的摄影图像和由该时间区间的上述插补电路生成的插补图像，以摄影图像与插补图像的相同位置的像素重叠的方式，生成该规定时间区间的合成图像。
发明的效果为：根据上述的图像合成装置、图像合成方法、图像合成程序以及集成电路，根据与无摄影区间在时间上邻接的双方的曝光区间的摄影图像，制作对该无摄影区间进行插补的插补图像，并对摄影图像添加插补图像来进行合成图像的生成。因此，从以比曝光区间的时间宽度(曝光时间)长的时间间隔而连续摄影的摄影图像，能够生成与静止图像近似的合成图像，该静止图像是如果以比实际的曝光时间长的曝光时间来摄影则能够得到。
在上述图像合成装置中，也可以是，上述插补部以上述无摄影区间全部被插补的方式生成1张以上的插补图像。
据此，由于无摄影区间的全部时间被插补图像填补，因此能够得到没有时间排除的合成图像。
在上述图像合成装置中，也可以是，在上述无摄影区间的时间宽度为上述曝光区间的时间宽度的N(N为正整数)倍时，上述插补部生成N张的插补图像。
据此，在无摄影区间全部被插补图像填补、且摄影图像与插补图像在时间上不会重复，并且对1个无摄影区间生成2张以上的插补图像的情况下，插补图像彼此也在时间上不重复地生成合成图像。因此，能够生成与以相同于时间区间的曝光时间而摄影的静止图像大致等价的合成图像。
在上述图像合成装置中，也可以是，在上述无摄影区间的时间宽度不是上述曝光区间的时间宽度的正整数倍时，上述插补部求得上述曝光区间的时间宽度的(N-1)倍比上述无摄影区间的时间宽度小、且上述曝光区间的时间宽度的N倍比上述无摄影区间的时间宽度大那样的正整数N，并生产N张的插补图像。
据此，在将摄影图像与插补图像在时间上重复的期间抑制为最小限度、并且对1个无摄影区间生成2张以上的插补图像的情况下，将插补图像彼此在时间上重复的期间也一直到最小限度，并且生成无摄影区间全部被插补图像填补的合成图像。因此，能够生成相对于静止图像没有时间排除、重复期间少的合成图像，该静止图像是如果以相同于时间区间的曝光时间而摄影则应该能够得到的。
在上述图像合成装置中，也可以是，上述插补部，通过根据在上述双方的曝光区间的摄影图像间活动的部分的各上述摄影图像各自中的位置、以及对上述无摄影区间进行插补的插补图像的张数，来决定上述插补图像的该活动部分的位置，由此进行上述插补图像的生成。
据此，能够简单地进行插补图像的生成。
本发明的摄像系统为，具备：摄像部；控制部，控制上述摄像部的连续摄影，以使进行连续摄影的时间间隔成为进行曝光的曝光区间的时间宽度的正整数倍；插补部，根据与无摄影区间在时间上邻接的双方的曝光区间的摄影图像，生成对进行曝光的曝光区间与下一曝光区间之间的该无摄影区间进行插补的插补图像；以及合成部，根据在规定时间区间中所摄影的摄影图像和由该时间区间的上述插补部生成的插补图像，以摄影图像与插补图像的相同位置的像素重叠的方式，生成涉及该规定时间区间的合成图像。
本发明的摄像方法为，具备：控制步骤，控制摄像部的连续摄影，以使进行连续摄影的时间间隔成为进行曝光的曝光区间的时间宽度的正整数倍；插补步骤，根据与无摄影区间在时间上邻接的双方的曝光区间的摄影图像，生成对进行曝光的曝光区间与下一曝光区间之间的该无摄影区间进行插补的插补图像；以及合成步骤，根据在规定时间区间中所摄影的摄影图像和由该时间区间的上述插补步骤生成的插补图像，以摄影图像与插补图像的相同位置的像素重叠的方式，生成涉及该规定时间区间的合成图像。
根据上述摄像系统以及摄像方法，在存在无摄影区间的情况下，能够以无摄影区间的时间宽度为曝光区间的时间宽度的整数倍进行连续摄影。因此，在无摄影区间全部被插补图像填补、且摄影图像与插补图像在时间上不会重复，并且对1个无摄影区间生成2张以上的插补图像的情况下，插补图像彼此也在时间上不重复地生成合成图像。
附图说明
图1是用于说明连拍间隔与快门开放期间的关系的图。
图2(a)是第1实施方式的摄像装置的主视图、(b)是摄像装置的后视图。
图3是图2的摄像装置的功能框图。
图4是图3的帧插补电路的插补图像的生成处理的说明图。
图5表示图3的摄像装置进行的图像合成处理的流程的流程图。
图6是表示用于设定图5的图像合成处理中所显示的合成开始位置以及合成结束位置的GUI的一个例子的图。
图7是表示图3的摄像装置进行的图像合成处理的一个例子的图。
图8是表示图3的摄像装置进行的图像合成处理的其他例子的图。
图9是表示图3的摄像装置进行的图像合成处理的又一其他例子的图。
图10是第2实施方式的摄像装置的功能框图。
图11表示图10的摄像装置进行的连拍处理的流程的流程图。
图12是表示用于设定图11的连拍处理中所显示连拍间隔的GUI的一个例子的图。
符号说明：
1摄像装置
51CPU
52存储器
53摄像光学系统机构
54聚焦驱动电路
55焦距驱动电路
56光圈驱动电路
57摄像元件
58摄影控制电路
59前端部
60DSP
61帧插补电路
62帧合成电路
63压缩解压缩电路
64存储卡
具体实施方式
《第1实施方式》
以下，参照附图对本发明的第1实施方式的摄像装置。
(连拍间隔与快门开放期间的关系)
在说明本实施方式摄像装置1的构成以及动作之前，首先参照图1对连拍间隔与快门开放期间的关系进行说明。图1是用于说明连拍间隔与快门开放期间的关系的图。另外，“连拍间隔”相当于“连续摄影的时间间隔”。“快门开放期间”相当于曝光的“曝光时间”，该时间区间相当于“曝光区间”。曝光区间与下一曝光区间之间的快门没有开放的时间区间、即没有曝光的时间区间相当于“无摄影区间”。
图1(a)表示连拍间隔Δt与快门开放期间Δt’相等时二者的关系。在连拍间隔Δt与快门开放期间Δt’相等时(Δt＝Δt’)，曝光区间在时间上连续、不存在无摄影区间。
图1(b)表示连拍间隔Δt比快门开放期间Δt’长时二者的关系。在连拍间隔Δt比快门开放期间Δt’长时(Δt＞Δt’)，在曝光区间与下一曝光区间之间快门未开放、即存在未曝光的期间Δt-Δt’的无摄影区间。
但是，本发明的主要注目于，从以比曝光时间长的时间间隔而连续摄影的摄影图像生成规定时间区间所涉及的合成图像。根据该情况，以下主要说明与连续摄影的“时间间隔”相当的“连拍间隔”比与“进行曝光的曝光区间的时间宽度(曝光时间)”相当的“快门开放期间”长的情况。另外，将用于对无摄影区间进行插补的图像称为“插补图像”。
(摄像装置的外观)
参照图2对本实施方式的摄像装置1的外观进行说明。图2(a)是本实施方式的摄像装置1的主视图、(b)是其后视图。
在摄像装置1的上面设置有摄影指示用的摄影按钮2、连拍摄影设定用的连拍模式开关3以及模式转盘4，在其正面上设置有镜头5。并且，在摄像装置1的背面上设置有焦点露出固定按钮6、功能按钮7、中心键8以及上下左右方向的按键8b～8e，还设置有液晶监视器9。
(摄像装置的功能构成)
图2的摄像装置1使用与无摄影区间在时间上邻接的双方的曝光区间的摄影图像、生成用于插补该无摄影区间的1张以上的插补图像。并且，摄像装置1使用规定时间区间内的摄影图像以及插补图像生成该规定时间区间所涉及的合成图像。其中，规定时间区间在本实施方式中是用户指定的，在以下将“规定时间区间”称为“图像合成区间”。
以下，参照图3说明图2的摄像装置1的功能构成。图3是图2的摄像装置1的功能框图。
摄像装置1具备：CPU(Central Processing Unit)51；存储器52；摄像光学系统机构53，其具有主镜头53a、焦距镜头53b以及光圈53c；聚焦驱动电路54；焦距驱动电路55；光圈驱动电路56；摄像元件57；摄影控制电路58；前端部59；DSP(Digital Signal Processer)60；SD卡或标准闪存(注册商标)存储器等存储卡64。
CPU51进行摄像装置1整体的控制。存储器52例如是半导体存储器，在存储器52中记录有用于控制摄像装置1的各种控制程序或各种应用程序等。并且，在存储器52中记录有图像数据等。
聚焦驱动电路54、焦距驱动电路55以及光圈驱动电路56由CPU51控制。并且，摄像光学系统机构53的主镜头53a由聚焦驱动电路54驱动，焦距镜头53b由焦距驱动电路55驱动，光圈53c由光圈驱动电路57驱动。从被写体入射的光经由主镜头53a、焦距镜头53b以及光圈53c而导入到摄像元件57。
摄像元件57由CCD(Charge Coupled Device)图像传感器或CMOS(Complementary Metal Oxide Semiconductor)图像传感器等构成。摄影控制电路58例如在连拍时由CPU51设定连拍间隔Δt以及快门开放期间Δt’，并根据所设定的连拍间隔Δt以及快门开放期间Δt’来进行摄像元件57的控制。由此，摄像元件57在连拍时在连拍间隔Δt中进行根据快门开放期间Δt’的电荷的蓄积、以及与蓄积的电荷量相对应的模拟值的输出。
前端部59将从摄像元件57输出的模拟值转换为数字数据，并输出数字数据。DSP60对从前端部59输出的数字数据进行加工，而转换为RGB、YCbCr、YUV等在色空间中表现的图像数据(以下称为“摄影图像数据”)，并将摄影图像数据记录到存储器52中。另外，摄影图像数据具有摄影图像的各像素的像素值的信息。
帧插补电路61，使用与无摄影区间在时间上邻接的双方的摄影区间的存储器52所记录的摄影图像的摄影图像数据，生成用于插补该无摄影区间的插补图像的图像数据(以下称为“插补图像数据”)，将生成的插补图像数据记录到存储器52中。另外，插补图像数据具有与摄影图像的各像素分别对应的像素的像素值的信息。
帧合成电路62为，使图像合成区间内的摄影图像与插补图像的相同位置的像素重叠而生成与图像合成区间有关的合成图像。具体地说，帧合成图像62对于每个像素，将存储器52所记录的图像合成区间内的摄影图像的摄影图像数据与插补图像的插补图像数据相加，并通过使相加而得到的数据除以图像合成区间内的摄影图像以及插补图像的合计张数，由此生成合成图像的图像数据(以下称为“合成图像数据”)，并将生成的合成图像数据记录到存储器52中。另外，合成图像数据具有与摄影图像的各像素分别对应的像素值的信息。
另外，基于帧插补电路61的插补图像的生成处理的详细，将使用图4而后述。并且，从摄影图像到合成图像的生成为止的帧插补电路61以及帧合成电路62的处理动作将使用图5以及图6而后述，其具体例子将使用图7到图9而后述。
压缩解压缩电路63进行存储器52或者存储卡64所记录的数据的压缩或者解压缩，将在该处理中得到的数据记录到存储器52或者存储卡64中。
(插补图像的生成)
以下，参照图4说明帧插补电路61进行的插补图像的生成处理。图4是用于说明图3的帧插补电路61进行的插补图像的生成处理的图。其中，设连续的曝光区间的摄影图像为PA、PB，连拍间隔为Δt，快门开放期间为Δt’。另外，使连拍间隔Δt比快门开放期间Δt’长(Δt＞Δt’)。
帧插补电路61使用连拍间隔Δt和快门开放期间Δt’，计算对1个无摄影区间进行查补的插补图像的张数(以下称为“插补张数”)。例如，帧插补电路61通过从连拍间隔Δt减去快门开放期间Δt’，由此求出无摄影区间的时间宽度Δt-Δt’，接着求出满足(N-1)×Δt’＜Δt-Δt’≤N×Δt’的N(N为正整数)，将求得的N作为插补张数。
但是，在无摄影区间的时间宽度为曝光区间的时间宽度的N(N为正整数)倍的情况下，帧插补电路61使用于插补1个无摄影区间的插补张数为N张，并生成N张插补图像。并且，在在无摄影区间的时间宽度不是曝光区间的时间宽度的整数倍的情况下，帧插补电路61求得如下的正整数N：曝光区间的时间宽度的(N-1)倍比无摄影区间的时间宽度小、且曝光区间的时间宽度的N倍比无摄影区间的时间宽度大，并生成N张插补图像。并且，在连拍间隔Δt与快门开放期间Δt’相等的情况下(Δt＝Δt’)，帧插补电路61将0作为插补张数N，不进行插补图像的生成。
帧插补电路61使用摄影图像PA与摄影图像PB来进行活动检索，并找到摄影图像PA与摄影图像PB之间活动的部分。其中，作为活动检索的方法利用如下的方法：检索在MPEG(Moving Picture Experts Group)等中利用的每个矩形区域的差分绝对值和较小的部分，并根据差分绝对值的大小来推测矩形区域的活动矢量。另外，在图4的例子中，例如为摄影图像PA的部分Pa活动到摄影图像PB的部分Pb。
之后，帧插补电路61对于n为1以上N以下的各个，将检测到的活动矢量为n/(N+1)倍而进行活动矢量的修正，将修正图像中的活动的部分的位置决定为修正的活动矢量的表示位置，以活动的部分来到修正的活动矢量的表示位置的方式生成插补图像。例如，帧插补电路61使活动的部分Pa来到与其对应的所修正的活动矢量的表示位置，即，向图4的部分Pab活动的那样生成插补图像PAB。其中，在插补图像PAB是从快门开放期间Δt’的摄影图像PA、PB生成的情况下，插补图像PAB与快门开放期间为Δt’的图像相当。
另外，插补图像的生成手法不限于上述的手法，只要是能够生成插补图像的手法，不特别限定。
(摄像装置的动作)
以下，说明图3的摄像装置1进行的连拍处理以及图像合成处理。
[摄影处理]
说明图3的摄像装置1进行的连拍处理。
当通过用户操作而连拍模式开关3被活动到连拍模式的位置上时，CPU51对摄影控制电路58设定连拍间隔Δt以及快门开放期间Δt’，控制光圈驱动电路56而进行光圈53c的调节。
当通过用户操作而摄影按钮2被按下时，CPU51对摄影控制电路58指示摄影开始，摄影元件57被摄影控制电路58控制，根据连拍间隔Δt与快门开放期间Δt’而进行电荷的蓄积以及与蓄积的电荷量相对应的模拟值的输出。前端部59将从摄像元件57输出的模拟值转换为数字数据并输出，DSP60将从前端部59输出的数字数据转换为在色空间中表现的摄影图像数据，并记录到存储器52中。该处理被进行直到摄影按钮2的按下停止、或者存储器52没有空间，而CPU51对摄影控制电路58指示摄像结束。
由此，以连拍间隔Δt、快门开放期间Δt’所连拍的多张摄像图像的摄像图像数据被记录到存储器52中。但是，在从摄像图像生成合成图像时利用连拍间隔Δt与快门开放期间Δt’，因此相对于实现图像数据组连拍间隔Δt与快门开放期间Δt’被赋予对应地记录到存储器52中。
[图像合成处理]
参照图5说明图3的摄像装置1进行的图像合成处理。图5表示图3的摄像装置1进行的图像合成处理的流程的流程图。
CPU51判断用户是否利用功能按钮7、中心键8a以及上下左右方向的按键8b～8e而进行了图像合成的指示操作(步骤S11)。CPU51进行步骤S11的处理直到用户进行图像合成的指示操作(S11：否)。
另一方面，当用户进行图像合成的指示操作时(S11：是)，CPU51从用户接受图像合成区间的开始位置和结束位置，对帧合成电路62进行从用户接受的图像合成区间的开始位置和结束位置的设定(步骤S12)。从用户的图像合成区间的开始位置和结束位置的接受，例如如下进行：将用于制定图像合成区间的开始位置和结束位置的、图6表示一个例子的GUI显示在液晶监视器9上，接受利用了该GUI的用户操作。在图6中，P1～P5表示摄影图像的图标，S以及E分别表示图像合成区间的开始位置和结束位置的指定用的指示器。在图6表示一个例子的GUI中，在时间轴上显示摄像图像的图标，如果用户指定了显示中的图标则显示对应的摄影图像，用户通过使指示器S以及E移动，由此能够指定图像合成区间的开始位置和结束位置。另外，图像合成区间的开始位置和结束位置的设定方法，不限于此，例如也可以是指定将摄影图像从第几张到第几张为止进行合成的方法。
帧插补电路61根据存储器52所记录的连拍间隔Δt和快门开放期间Δt’，计算用于插补1个无摄影区间的插补图像的插补张数N(步骤S13)。
帧合成电路62，根据在步骤S12设定的图像合成区间的开始位置和结束位置、和在步骤S13所计算的插补张数N，计算进行图像合成的摄影图像以及插补图像的合计张数(以下称为“合成图像张数”)NT(步骤S14)。例如，当设图像合成区间的最初摄影图像之前的插补图像的张数为NA、图像合成区间内的摄影图像的张数为NB、对1个无摄影区间进行插补的插补图像的张数为NC(通过步骤S13的计算求出的N)、图像合成区间的最后摄影图像之后的插补图像的张数为ND时，合计张数NT为NA+NB+NC×(NB-1)+ND。另外，在用户所指定的开始位置或者结束位置与摄影图像以及插补图像的先头位置或者结束位置不一致的情况下，进行修正以使图像合成区间的开始位置和结束位置与摄影图像以及插补图像的先头位置或者结束位置一致。
帧合成电路62将循环变数i初始化为0(步骤S15)，并将合成图像数据OUT清零地初始化(步骤S16)。其中，合成图像数据OUT表示与摄影图像的各像素相对应的像素的值。另外，图像合成区间内的摄影图像以及插补图像从时间早的开始为循环变数i与0、1、2、…、NT-1相当的图像。
帧合成电路62判断与循环变数i相当的图像(以下称为“图像i”)是否为摄影图像(步骤S17)。在图像i相当于摄影图像时(S17：是)，帧合成电路62将图像i的摄影图像数据设定为加法图像数据I(步骤S18)，并将合成图像数据OUT与加法图像数据I相加，并将相加结果作为合成图示数据OUT，由此进行合成图像数据OUT的更新(步骤S22)。另外，以各图像(摄影图像、插补图像)之间相同位置像素的像素值相加的方式，进行合成图像数据OUT与加法图像数据I的加法处理。
另一方面，在图像i不相当于摄影图像、即是插补图像的情况下(步骤S17：否)，帧插补电路61确定图像i的插补对象的无摄影区间，并确定与确定的无摄影区间在时间上邻接的双方的曝光区间的摄影图像(步骤S19)。帧插补电路61使用在步骤S19中确定的插补图像生成用的2张摄影图像的摄影图像数据，生成与图像i相当的插补图像的插补图像数据，将生成的插补图像数据记录到存储器52中(步骤S20)。另外，还在掌握了图像i是对插补对象的无摄影区间进行插补的第几张图像的基础上，进行步骤S20的处理。
帧合成电路62将在步骤S20生成的插补图像的插补图像数据设定为加法图像数据I(步骤S21)，将合成图像数据OUT与加法图像数据I相加，并将相加结果作为合成图像数据OUT，由此进行合成图像数据OUT的更新(步骤S22)。另外，以各图像(摄影图像、插补图像)之间相同位置像素的像素值相加的方式，进行合成图像数据OUT与加法图像数据I的加法处理。
帧合成电路62将循环变数i加上1(步骤S23)，判断相加后的循环变数i是否小于合成图像张数NT(步骤S24)。如果循环变数i小于合成图像张数NT(S24：是)，则图像合成区间内的全部摄影图像以及插补图像的相加未结束，因此进行步骤S17的处理。另一方面，如果循环变数i不小于合成图像张数NT(S24：否)，则像合成区间内的全部摄影图像以及插补图像的相加结束，因此帧合成电路62使与合成图像数据OUT的各像素对应的值除以合成图像张数NT，将除算结果作为合成图像数据OUT，由此进行合成图像数据OUT的更新，将更新后的合成图像数据OUT记录到存储器52中(步骤S25)。
如此，合成图像除了摄影图像还使用插补图像来生成，因此合成图像成为与将图像合成区间的时间宽度作为快门开放期间而摄影的静止图像近似的图像。
(图像合成处理的例子)
参照图7到图9说明由图3的摄像装置1进行的图像合成处理。其中，设连拍间隔的时间宽度为Ta、曝光区间的时间宽度为Tb、无摄影区间的时间宽度为Tc。
[图像合成处理的例子(之一)]
图7是表示连拍间隔的时间宽度Ta是曝光区间的时间宽度Tb的整数倍时、摄像装置1进行的图像合成处理的一个例子的图。其中，连拍间隔的时间宽度Ta是曝光区间的时间宽度Tb的2倍(Ta＝2Tb)，图像合成区间如图7所示。另外，在该例子中，无摄影区间的时间宽度是曝光区间的时间宽度的1倍(Tb＝Tc)。
CPU51对帧合成电路62进行图像合成区间的开始位置与结束位置的设定(步骤S11、S12)。帧插补电路61计算用于插补1个无摄影区间的插补图像的插补张数N，此处N＝1(步骤S13)。并且，帧合成电路62计算进行图像合成的摄影图像以及插补图像的合计张数(合成图像张数)NT，此处NT＝7(步骤S14)。帧合成电路62对循环变数i以及合成图像数据OUT进行初始化(步骤S15、S16)。
与循环变数的值“0”相当的图像为摄影图像A3(步骤S17的是)，因此帧合成电路62将摄影图像A3的摄影图像数据作为加法图像数据I而与合成图像数据OUT相加，进行合成图像数据OUT的更新(步骤S18、S22)。
接着，帧合成电路62判断为加了1之后的循环变数i的值“1”小于图像合成张数“7”(步骤S23、步骤S24的是)。与循环变数的值“1”相当的图像不是摄影图像(步骤S17的否)，因此帧插补电路61从摄影图像A3、A4的摄影图像数据生成插补图像B1的插补图像数据(步骤S19、20)。并且，帧合成电路62将插补图像B1的插补图像数据作为加法图像数据I而与合成图像数据OUT相加，进行合成图像数据OUT的更新(步骤S21、S22)。
接着，帧合成电路62判断为加了1之后的循环变数i的值“2”小于图像合成张数“7”(步骤S23、步骤S24的是)。与循环变数的值“2”相当的图像是摄影图像A4(步骤S17的是)，因此帧合成电路62将摄影图像A4的摄影图像数据作为加法图像数据I而与合成图像数据OUT相加，进行合成图像数据OUT的更新(步骤S18、S22)。
接着，帧合成电路62判断为加了1之后的循环变数i的值“3”小于图像合成张数“7”(步骤S23、步骤S24的是)。与循环变数的值“3”相当的图像不是摄影图像(步骤S17的否)，因此帧插补电路61从摄影图像A4、A5的摄影图像数据生成插补图像B2的插补图像数据(步骤S19、20)。并且，帧合成电路62将插补图像B2的插补图像数据作为加法图像数据I而与合成图像数据OUT相加，进行合成图像数据OUT的更新(步骤S21、S22)。
接着，帧合成电路62判断为加了1之后的循环变数i的值“4”小于图像合成张数“7”(步骤S23、步骤S24的是)。与循环变数的值“4”相当的图像是摄影图像A5(步骤S17的是)，因此帧合成电路62将摄影图像A5的摄影图像数据作为加法图像数据I而与合成图像数据OUT相加，进行合成图像数据OUT的更新(步骤S18、S22)。
接着，帧合成电路62判断为加了1之后的循环变数i的值“5”小于图像合成张数“7”(步骤S23、步骤S24的是)。与循环变数的值“5”相当的图像不是摄影图像(步骤S17的否)，因此帧插补电路61从摄影图像A5、A6的摄影图像数据生成插补图像B3的插补图像数据(步骤S19、20)。并且，帧合成电路62将插补图像B3的插补图像数据作为加法图像数据I而与合成图像数据OUT相加，进行合成图像数据OUT的更新(步骤S21、S22)。
接着，帧合成电路62判断为加了1之后的循环变数i的值“6”小于图像合成张数“7”(步骤S23、步骤S24的是)。与循环变数的值“6”相当的图像是摄影图像A6(步骤S17的是)，因此帧合成电路62将摄影图像A6的摄影图像数据作为加法图像数据I而与合成图像数据OUT相加，进行合成图像数据OUT的更新(步骤S18、S22)。另外，合成图像数据OUT的图像成为图7的合成图像C。
接着，帧合成电路62判断为加了1之后的循环变数i的值“7”不小于图像合成张数“7”(步骤S23、步骤S24的否)。帧合成电路62使合成图像C的合成图像数据OUT除以图像合成张数“7”，进行合成图像数据OUT的更新(步骤S25)。另外，合成图像数据OUT的图像成为图7的合成图像D。
在该例子中，合成图像成为与静止图像等价的图像，该静止图像为，在图像合成区间内没有时间排除、且没有重复期间，使图像合成区间的时间宽度为快门开放期间。
[图像合成处理的例子(之二)]
图8是表示连拍间隔的时间宽度Ta为曝光区间的时间宽度Tb的整数倍时的、摄像装置1进行的图像合成处理的其他例子的图。其中，连拍间隔的时间宽度Ta为曝光区间的时间宽度Tb的3倍(Ta＝3Tb)，图像合成区间如图8所示。另外，在该例子中，无摄影区间的时间宽度为曝光区间的时间宽度的2倍(2Tb＝Tc)。
CPU51对帧合成电路62进行图像合成区间的开始位置与结束位置的设定(步骤S11、S12)。帧插补电路61计算用于插补1个无摄影区间的插补图像的插补张数N，此处N＝2(步骤S13)。并且，帧合成电路62计算进行图像合成的摄影图像以及插补图像的合计张数(合成图像张数)NT，此处NT＝8(步骤S14)。帧合成电路62对循环变数i以及合成图像数据OUT进行初始化(步骤S15、S16)。
与循环变数的值“0”相当的图像为摄影图像E2(步骤S17的是)，因此帧合成电路62将摄影图像E2的摄影图像数据作为加法图像数据I而与合成图像数据OUT相加，进行合成图像数据OUT的更新(步骤S18、S22)。
接着，帧合成电路62判断为加了1之后的循环变数i的值“1”小于图像合成张数“8”(步骤S23、步骤S24的是)。与循环变数的值“1”相当的图像不是摄影图像(步骤S17的否)，因此帧插补电路61从摄影图像E2、E3的摄影图像数据生成插补图像F1的插补图像数据(步骤S19、20)。并且，帧合成电路62将插补图像F1的插补图像数据作为加法图像数据I而与合成图像数据OUT相加，进行合成图像数据OUT的更新(步骤S21、S22)。
接着，帧合成电路62判断为加了1之后的循环变数i的值“2”小于图像合成张数“8”(步骤S23、步骤S24的是)。与循环变数的值“2”相当的图像不是摄影图像(步骤S17的否)，因此帧插补电路61从摄影图像E2、E3的摄影图像数据生成插补图像F2的插补图像数据(步骤S19、20)。并且，帧合成电路62将插补图像F2的插补图像数据作为加法图像数据I而与合成图像数据OUT相加，进行合成图像数据OUT的更新(步骤S21、S22)。
接着，帧合成电路62判断为加了1之后的循环变数i的值“3”小于图像合成张数“8”(步骤S23、步骤S24的是)。与循环变数的值“3”相当的图像是摄影图像E3(步骤S17的是)，因此帧合成电路62将摄影图像E3的摄影图像数据作为加法图像数据I而与合成图像数据OUT相加，进行合成图像数据OUT的更新(步骤S18、S22)。
接着，帧合成电路62判断为加了1之后的循环变数i的值“4”小于图像合成张数“8”(步骤S23、步骤S24的是)。与循环变数的值“4”相当的图像不是摄影图像(步骤S17的否)，因此帧插补电路61从摄影图像E3、E4的摄影图像数据生成插补图像F3的插补图像数据(步骤S19、20)。并且，帧合成电路62将插补图像F3的插补图像数据作为加法图像数据I而与合成图像数据OUT相加，进行合成图像数据OUT的更新(步骤S21、S22)。
接着，帧合成电路62判断为加了1之后的循环变数i的值“5”小于图像合成张数“8”(步骤S23、步骤S24的是)。与循环变数的值“5”相当的图像不是摄影图像(步骤S17的否)，因此帧插补电路61从摄影图像E3、E4的摄影图像数据生成插补图像F4的插补图像数据(步骤S19、20)。并且，帧合成电路62将插补图像F4的插补图像数据作为加法图像数据I而与合成图像数据OUT相加，进行合成图像数据OUT的更新(步骤S21、S22)。
接着，帧合成电路62判断为加了1之后的循环变数i的值“6”小于图像合成张数“8”(步骤S23、步骤S24的是)。与循环变数的值“6”相当的图像是摄影图像E4(步骤S17的是)，因此帧合成电路62将摄影图像E4的摄影图像数据作为加法图像数据I而与合成图像数据OUT相加，进行合成图像数据OUT的更新(步骤S18、S22)。
接着，帧合成电路62判断为加了1之后的循环变数i的值“7”小于图像合成张数“8”(步骤S23、步骤S24的是)。与循环变数的值“7”相当的图像不是摄影图像(步骤S17的否)，因此帧插补电路61从摄影图像E4、E5的摄影图像数据生成插补图像F5的插补图像数据(步骤S19、20)。并且，帧合成电路62将插补图像F5的插补图像数据作为加法图像数据I而与合成图像数据OUT相加，进行合成图像数据OUT的更新(步骤S21、S22)。另外，合成图像数据OUT的图像成为图8的合成图像G。
接着，帧合成电路62判断为加了1之后的循环变数i的值“8”不小于图像合成张数“8”(步骤S23、步骤S24的否)。帧合成电路62使合成图像G的合成图像数据OUT除以图像合成张数“8”，进行合成图像数据OUT的更新(步骤S25)。另外，合成图像数据OUT的图像成为图8的合成图像H。
在该例子中，合成图像成为与静止图像等价的图像，该静止图像为，在图像合成区间内没有时间排除、且没有重复期间，使图像合成区间的时间宽度为快门开放期间。
[图像合成处理的例子(之三)]
图9是表示连拍间隔的时间宽度Ta不是曝光区间的时间宽度Tb的整数倍时的、摄像装置1进行的图像合成处理的例子的图。其中，连拍间隔的时间宽度Ta比曝光区间的时间宽度Tb的3倍大、4倍小(3Tb＜Ta＜4Tb)，图像合成区间如图9所示。另外，在该例子中，无摄影区间的时间宽度Tc比曝光区间的时间宽度的2倍大、3倍小(2Tb＜Tc＜3Tb)。
CPU51对帧合成电路62进行图像合成区间的开始位置与结束位置的设定(步骤S11、S12)。帧插补电路61计算用于插补1个无摄影区间的插补图像的插补张数N，此处N＝3(步骤S13)。并且，帧合成电路62计算进行图像合成的摄影图像以及插补图像的合计张数(合成图像张数)NT，此处NT＝9(步骤S14)。帧合成电路62对循环变数i以及合成图像数据OUT进行初始化(步骤S15、S16)。
与循环变数的值“0”相当的图像为摄影图像I2(步骤S17的是)，因此帧合成电路62将摄影图像I2的摄影图像数据作为加法图像数据I而与合成图像数据OUT相加，进行合成图像数据OUT的更新(步骤S18、S22)。
接着，帧合成电路62判断为加了1之后的循环变数i的值“1”小于图像合成张数“9”(步骤S23、步骤S24的是)。与循环变数的值“1”相当的图像不是摄影图像(步骤S17的否)，因此帧插补电路61从摄影图像I2、I3的摄影图像数据生成插补图像J1的插补图像数据(步骤S19、20)。并且，帧合成电路62将插补图像J1的插补图像数据作为加法图像数据I而与合成图像数据OUT相加，进行合成图像数据OUT的更新(步骤S21、S22)。
接着，帧合成电路62判断为加了1之后的循环变数i的值“2”小于图像合成张数“9”(步骤S23、步骤S24的是)。与循环变数的值“2”相当的图像不是摄影图像(步骤S 17的否)，因此帧插补电路61从摄影图像I2、I3的摄影图像数据生成插补图像J2的插补图像数据(步骤S19、20)。并且，帧合成电路62将插补图像J2的插补图像数据作为加法图像数据I而与合成图像数据OUT相加，进行合成图像数据OUT的更新(步骤S21、S22)。
接着，帧合成电路62判断为加了1之后的循环变数i的值“3”小于图像合成张数“9”(步骤S23、步骤S24的是)。与循环变数的值“3”相当的图像不是摄影图像(步骤S17的否)，因此帧插补电路61从摄影图像I2、I3的摄影图像数据生成插补图像J3的插补图像数据(步骤S19、20)。并且，帧合成电路62将插补图像J3的插补图像数据作为加法图像数据I而与合成图像数据OUT相加，进行合成图像数据OUT的更新(步骤S21、S22)。
接着，帧合成电路62判断为加了1之后的循环变数i的值“4”小于图像合成张数“9”(步骤S23、步骤S24的是)。与循环变数的值“4”相当的图像是摄影图像I3(步骤S17的是)，因此帧合成电路62将摄影图像I3的摄影图像数据作为加法图像数据I而与合成图像数据OUT相加，进行合成图像数据OUT的更新(步骤S18、S22)。
接着，帧合成电路62判断为加了1之后的循环变数i的值“5”小于图像合成张数“9”(步骤S23、步骤S24的是)。与循环变数的值“5”相当的图像不是摄影图像(步骤S17的否)，因此帧插补电路61从摄影图像I3、I4的摄影图像数据生成插补图像J4的插补图像数据(步骤S19、20)。并且，帧合成电路62将插补图像J4的插补图像数据作为加法图像数据I而与合成图像数据OUT相加，进行合成图像数据OUT的更新(步骤S21、S22)。
接着，帧合成电路62判断为加了1之后的循环变数i的值“6”小于图像合成张数“9”(步骤S23、步骤S24的是)。与循环变数的值“6”相当的图像不是摄影图像(步骤S 17的否)，因此帧插补电路61从摄影图像I3、I4的摄影图像数据生成插补图像J5的插补图像数据(步骤S19、20)。并且，帧合成电路62将插补图像J5的插补图像数据作为加法图像数据I而与合成图像数据OUT相加，进行合成图像数据OUT的更新(步骤S21、S22)。
接着，帧合成电路62判断为加了1之后的循环变数i的值“7”小于图像合成张数“9”(步骤S23、步骤S24的是)。与循环变数的值“7”相当的图像不是摄影图像(步骤S17的否)，因此帧插补电路61从摄影图像I3、I4的摄影图像数据生成插补图像J6的插补图像数据(步骤S19、20)。并且，帧合成电路62将插补图像J6的插补图像数据作为加法图像数据I而与合成图像数据OUT相加，进行合成图像数据OUT的更新(步骤S21、S22)。
接着，帧合成电路62判断为加了1之后的循环变数i的值“8”小于图像合成张数“9”(步骤S23、步骤S24的是)。与循环变数的值“8”相当的图像是摄影图像I4(步骤S17的是)，因此帧合成电路62将摄影图像I4的摄影图像数据作为加法图像数据I而与合成图像数据OUT相加，进行合成图像数据OUT的更新(步骤S18、S22)。另外，合成图像数据OUT的图像成为图9的合成图像K。
接着，帧合成电路62判断为加了1之后的循环变数i的值“9”不小于图像合成张数“9“(步骤S23、步骤S24的否)。帧合成电路62使合成图像K的合成图像数据OUT除以图像合成张数“9”，进行合成图像数据OUT的更新(步骤S25)。另外，合成图像数据OUT的图像成为图9的合成图像L。
在该例子中，合成图像成为与静止图像非常相似的图像，该静止图像为，摄影图像与插补图像一部分重复、插补图像彼此也一部分重复，但是在图像合成区间内没有时间排除，使图像合成区间的时间宽度为快门开放期间。
《第2实施方式》
以下，参照附图对本发明第2实施方式进行说明。其中，本实施方式的摄像装置1a是对第1实施方式的摄像装置1附加了如下功能：进行连拍间隔Δt以及快门开放期间Δt’的调整，以使拍间隔Δt成为快门开放期间Δt’的正整数倍。另外，在摄像装置1a中，除了拍间隔Δt为快门开放期间Δt’的1倍的情况，无摄影区间的时间宽度为曝光区间的时间宽度的正整数倍。
摄像装置1a进行与摄像装置1进行的图像合成处理(参照图5)实质上相同的图像合成处理，从摄影图像生成合成图像。
(摄像装置的功能构成)
参照图10说明本实施方式的摄像装置1a的功能构成。图10是本实施方式的摄像装置1a的功能框图。另外，在本实施方式中，将与第一实施方式的构成要素实质上相同的构成要素赋予相同的符号，其说明适用本实施方式所以省略对其说明。
摄像装置1a的CPU51a，进行连拍间隔Δt以及快门开放期间Δt’的决定、以使拍间隔Δt成为快门开放期间Δt’的正整数倍，并且进行光圈53c的光圈值的决定。CPU51a进行光圈驱动电路56的控制以便成为决定的光圈值。并且，CPU51a进行摄影控制电路58的控制，以便以决定的连拍间隔Δt以及快门开放期间Δt’进行连拍。
(摄像装置的动作)
以下，参照图11说明图10的摄像装置1a进行的连拍处理。图11是表示图10的摄像装置1a进行的连拍处理的流程的流程图。其中，CPU51a从存储器52读出记述有图11所示的动作流程的程序，并执行读出的程序。另外，用户指定连拍间隔Δt，CPU51a进行快门开放期间Δt’的决定，以使所指定的连拍间隔Δt成为快门开放期间Δt’的正整数倍。
当通过用户操作而连拍模式开关3被活动到连拍模式的位置上时，CPU51a将摄像装置1a的摄影模式设定为连拍模式(步骤S51)。CPU51a将用于从用户接受的连拍间隔Δt的、例如图12表示1个例子的GUI显示在液晶监视器9上。用户利用GUI的输入区域9a而进行连拍间隔Δt的指定，CPU51a将由用户指定的连拍间隔Δt设定到摄影控制电路58(步骤S52)。
CPU51a根据当前的光量确定允许的快门开放期间，并求得由用户指定的连拍间隔Δt成为快门开放期间Δt’的正整数倍那样的、确定的快门开放期间范围内的快门开放期间Δt’，将求得的快门开放期间Δt’设定到摄影控制电路58中(步骤S53)。CPU51a利用与当前的光量相对应的存储器52所记录的快门开放期间与光圈值的关系，求得与在不知S53所求得的快门开放期间Δt’相对应的光圈值，根据求得的光圈值进行光圈驱动电路56的控制，由此进行光圈53c的调节(步骤S54)。
CPU51a判断是否进行了摄影按钮2的按下(步骤S55)，在进行摄影按钮2的按下之前(S55：否)进行步骤S55的处理。当进行了摄影按钮2的按下时(S55：是)，在进行摄影按钮2的按下的期间(S56：否)，由CPU51a控制的摄影控制电路58进行摄像元件57的控制，以使摄影元件57根据连拍间隔Δt以及快门开放期间Δt’反复进行电荷的蓄积以及与蓄积的电荷相对应的模拟值的输出。由此，摄像元件57根据连拍间隔Δt以及快门开放期间Δt’反复进行电荷的蓄积以及与蓄积的电荷相对应的模拟值的输出。从摄像元件57输出的模拟值通过前端部59转换为数字数据，从前端部59输出的数字数据通过DSP60而转换为在色空间表现的摄影图像数据，摄影图像数据被记录到存储器52中(步骤S57)。当摄影按钮2的按下结束时(S56：是)，摄像装置1a结束连拍处理。另外，在图11的动作流程中，在摄影按钮2被按下的期间进行连拍处理，但是在存储器52成为没有空间的情况下也可以结束连拍处理。
但是，在实施方式中，帧插补电路61以及帧合成电路62利用如上所述那样得到的多张摄影图像进行合成图像处理(参照图5)。在本实施方式中，没有无摄影区间、或者无摄影区间的时间宽度为曝光区间的时间宽度的整数倍，因此能够得到在图像合成区间没有时间排除、且没有重复期间的合成图像。
《补充》
本发明不限于在上述实施方式中说明的内容，在为了实现本发明的目的以及与其关联或者附随的目的的所有方式中都能够实施，例如也可以如下那样：
(1)在上述各实施方式中，说明了帧插补电路61以及帧合成电路62处于摄像装置1、1a内的情况，但是不限于此，也可以使摄像装置以外的其他装置具备帧插补电路16以及帧合成电路17。另外，例如将其他装置与摄像装置有线连接，其他装置从摄像装置入手所连拍的多张摄影图像的摄影图像数据。
(2)在上述各实施方式中，帧插补电路61在设连拍间隔为Δt、快门开放期间为Δt’时，生成N(N为正整数)张插补图像，该N满足(N-1)×Δt’＜Δt-Δt’≤N×Δt’，但是不限于此，例如也可以生成如下的张数的插补图像。
在上述各实施方式中，在无摄影区间的时间宽度为摄影区间的时间宽度的N(N为正整数)倍时，帧插补电路61也可以生成比N多的张数的插补图像，并且也可以生成比N少的张数的插补图像。
在上述第1实施方式中，在无摄影区间的时间宽度不是摄影区间的时间宽度的整数倍时，帧插补电路61也可以生成满足N×Δt’＜Δt-Δt’的N(N为正整数)张的插补图像，在该情况下能够得到图像(摄影图像、插补图像)彼此不重复的合成图像。尤其是，如果帧插补电路61生成满足N×Δt’＜Δt-Δt’的最大N(N为正整数)张的插补图像，则能够进行图像(摄影图像、插补图像)彼此不重复、没有时间排除的合成图像的生成。
并且，在上述第1实施方式中，在无摄影区间的时间宽度不是摄影区间的时间宽度的整数倍时，帧插补电路61也可以生成满足Δt-Δt’＜(N-1)×Δt’的N(N为正整数)张的插补图像。
(3)在上述第1实施方式中说明的插补图像的生成中，在无摄影区间的时间宽度不是摄影区间的时间宽度的整数倍时，也可以生成插补图像以使图像(摄影图像、插补图像)彼此重复部分的期间相互相等，也可以生成插补图像以使其相互不相等。
(4)在上述第1实施方式中说明的插补图像的生成中，利用2张摄影图像来生成插补图像，但是不限于此，例如也可以利用3张以上的摄影图像生成插补图像。并且，也可以从图9的插补图像J1和摄影图像I3生成插补图像J2等、从插补图像和摄影图像生成插补图像，也可以从图8的插补图像J1和插补图像J3生成插补图像J2等、从插补图像和插补图像生成插补图像。
(5)在上述第2实施方式中，用户指定连拍间隔Δt，并计算连拍间隔Δt成为快门开放期间Δt’的正整数倍那样的快门开放期间Δt’，由此使连拍间隔Δt成为快门开放期间Δt’的正整数倍。但是，不限于此，例如也可以是如下的情况。用户计算与调节的光圈值相对应的快门开放期间Δt’、或者用户指定快门开放期间Δt’，并计算连拍间隔Δt成为快门开放期间Δt’的正整数倍那样的连拍间隔Δt，由此使连拍间隔Δt成为快门开放期间Δt’的正整数倍。
(6)在上述第1实施方式中，也可以将记述了参照图5的动作流程进行了说明的图像合成处理的程序存储到存储器中，例如CPU读出并执行存储器所记录的程序，CPU作为执行帧插补电路61以及帧合成电路62的处理等的功能部动作。并且，也可以将该程序记录到记录媒体中并进行发布。
在上述第2实施方式中，也可以将记述了参照图11的动作流程进行了说明的摄像处理的程序记录到记录媒体中，并进行发布。并且，图11的动作流程所表示的处理内容也可以由CPU51a以外的器件执行。
另外，在变形例中也同样。
(7)在上述各实施方式等的各构成，典型地也可以作为集成电路、即LSI(Large Scale Integration)来实现。这些也可以个别地单芯片化，也可以单芯片化为包括各实施方式全部构成或者一部分构成。
此处，成为LSI，但是根据集成度的不同有时也称为IC(IntegratedCircuit)、系统LSI、超LSI、超级LSI。
并且，集成电路化的手法不限于LSI，也可以通过专用电路或通用处理器来实现。在LSI制造后，也可以利用能够编程的FPGA(FieldProgrammable Gate Array)、或能够再构成LSI内部的电路单元的连接或设定的可重构的硅柔性处理器(silicon flexible processor)。
并且，如果由于半导体技术的进步或者派生的其他技术而置换LSI的集成电路化的技术出现，则当然也可以使用该技术进行功能块的集成化。生物技术的适应等也有可能。
产业可利用性
本发明在从连拍的摄像图像生成曝光时间比实际的曝光时间长的合成图像的情况下是有用的。

Claims (10)

1、一种图像合成装置，利用以规定时间间隔连续摄影的摄影图像来生成规定时间区间的合成图像，其特征在于，具备：
插补部，根据与无摄影区间在时间上邻接的双方的曝光区间的摄影图像，生成对进行曝光的曝光区间与下一曝光区间之间的该无摄影区间进行插补的插补图像；和
合成部，根据在规定时间区间中所摄影的摄影图像和由该时间区间的上述插补部生成的插补图像，以摄影图像与插补图像的相同位置的像素重叠的方式，生成该规定时间区间的合成图像。
2、如权利要求1所述的图像合成装置，其特征在于，
上述插补部以上述无摄影区间全部被插补的方式生成1张以上的插补图像。
3、如权利要求2所述的图像合成装置，其特征在于，
在上述无摄影区间的时间宽度为上述曝光区间的时间宽度的N倍时，上述插补部生成N张的插补图像；N为正整数。
4、如权利要求2所述的图像合成装置，其特征在于，
在上述无摄影区间的时间宽度不是上述曝光区间的时间宽度的正整数倍时，上述插补部求得上述曝光区间的时间宽度的(N-1)倍比上述无摄影区间的时间宽度小、且上述曝光区间的时间宽度的N倍比上述无摄影区间的时间宽度大那样的正整数N，并生产N张的插补图像。
5、如权利要求1所述的图像合成装置，其特征在于，
上述插补部，通过根据在上述双方的曝光区间的摄影图像间活动的部分的各上述摄影图像各自中的位置、以及对上述无摄影区间进行插补的插补图像的张数，来决定上述插补图像的该活动部分的位置，由此进行上述插补图像的生成。
6、一种图像合成方法，利用以规定时间间隔连续摄影的摄影图像来生成涉及规定时间区间的合成图像，其特征在于，具备：
插补步骤，根据与无摄影区间在时间上邻接的双方的曝光区间的摄影图像，生成对进行曝光的曝光区间与下一曝光区间之间的该无摄影区间进行插补的插补图像；和
合成步骤，根据在规定时间区间中所摄影的摄影图像和由该时间区间的上述插补步骤生成的插补图像，以摄影图像与插补图像的相同位置的像素重叠的方式，生成该规定时间区间的合成图像。
7、一种图像合成程序，使计算机作为图像合成装置，该图像合成装置利用以规定时间间隔连续摄影的摄影图像来生成涉及规定时间区间的合成图像，其特征在于，使该计算机执行：
插补步骤，根据与无摄影区间在时间上邻接的双方的曝光区间的摄影图像，生成对进行曝光的曝光区间与下一曝光区间之间的该无摄影区间进行插补的插补图像；和
合成步骤，根据在规定时间区间中所摄影的摄影图像和由该时间区间的上述插补步骤生成的插补图像，以摄影图像与插补图像的相同位置的像素重叠的方式，生成该规定时间区间的合成图像。
8、一种集成电路，利用以规定时间间隔连续摄影的摄影图像来生成规定时间区间的合成图像，其特征在于，具备：
插补电路，根据与无摄影区间在时间上邻接的双方的曝光区间的摄影图像，生成对进行曝光的曝光区间与下一曝光区间之间的该无摄影区间进行插补的插补图像；和
合成电路，根据在规定时间区间中所摄影的摄影图像和由该时间区间的上述插补电路生成的插补图像，以摄影图像与插补图像的相同位置的像素重叠的方式，生成该规定时间区间的合成图像。
9、一种摄像系统，其特征在于，具备：
摄像部；
控制部，控制上述摄像部的连续摄影，以使进行连续摄影的时间间隔成为进行曝光的曝光区间的时间宽度的正整数倍；
插补部，根据与无摄影区间在时间上邻接的双方的曝光区间的摄影图像，生成对进行曝光的曝光区间与下一曝光区间之间的该无摄影区间进行插补的插补图像；以及
合成部，根据在规定时间区间中所摄影的摄影图像和由该时间区间的上述插补部生成的插补图像，以摄影图像与插补图像的相同位置的像素重叠的方式，生成该规定时间区间的合成图像。
10、一种摄像方法，其特征在于，具备：
控制步骤，控制摄像部的连续摄影，以使进行连续摄影的时间间隔成为进行曝光的曝光区间的时间宽度的正整数倍；
插补步骤，根据与无摄影区间在时间上邻接的双方的曝光区间的摄影图像，生成对进行曝光的曝光区间与下一曝光区间之间的该无摄影区间进行插补的插补图像；以及
合成步骤，根据在规定时间区间中所摄影的摄影图像和由该时间区间的上述插补步骤生成的插补图像，以摄影图像与插补图像的相同位置的像素重叠的方式，生成涉及该规定时间区间的合成图像。
CN2008800110108A 2008-02-04 2008-12-26 图像合成装置、图像合成方法、集成电路、摄像系统以及摄像方法 Expired - Fee Related CN101658028B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP023595/2008 2008-02-04
JP2008023595 2008-02-04
PCT/JP2008/004027 WO2009098749A1 (ja) 2008-02-04 2008-12-26 画像合成装置、画像合成方法、画像合成プログラム及び集積回路並びに撮像システム及び撮像方法

Publications (2)

Publication Number Publication Date
CN101658028A true CN101658028A (zh) 2010-02-24
CN101658028B CN101658028B (zh) 2012-07-25

Family

ID=40951837

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008800110108A Expired - Fee Related CN101658028B (zh) 2008-02-04 2008-12-26 图像合成装置、图像合成方法、集成电路、摄像系统以及摄像方法

Country Status (5)

Country Link
US (1) US8237820B2 (zh)
EP (1) EP2239935B1 (zh)
JP (1) JP5226705B2 (zh)
CN (1) CN101658028B (zh)
WO (1) WO2009098749A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105872389A (zh) * 2012-02-20 2016-08-17 佳能株式会社 图像处理装置、摄像装置及控制方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012048491A (ja) * 2010-08-26 2012-03-08 Nec Biglobe Ltd 画像生成装置、画像生成方法、プログラムおよび記録媒体
US20220185506A1 (en) * 2019-05-14 2022-06-16 Mitsubishi Electric Corporation Formation flight control device, observation satellite, ground station, formation flight system, sand observation system, formation flight control method, and program

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2262853B (en) * 1991-12-20 1995-07-19 Sony Broadcast & Communication Digital video signal processing
EP1491038A2 (en) * 2001-12-26 2004-12-29 YEDA RESEARCH AND DEVELOPMENT CO., Ltd. A system and method for increasing space or time resolution in video
US7295232B2 (en) * 2003-01-15 2007-11-13 Canon Kabushiki Kaisha Camera and program
JP3800207B2 (ja) * 2003-07-18 2006-07-26 ソニー株式会社 撮像装置
JP4082318B2 (ja) 2003-09-04 2008-04-30 カシオ計算機株式会社 撮像装置、画像処理方法及びプログラム
US6998922B2 (en) * 2003-09-08 2006-02-14 Broadcom Corp. Phase locked loop modulator calibration techniques
US8493298B2 (en) * 2003-11-01 2013-07-23 Silicon Quest Kabushiki-Kaisha Video display system
EP1684506A4 (en) * 2003-11-11 2008-06-04 Seiko Epson Corp IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, PROGRAM THEREFOR AND RECORDING MEDIUM
JP2005268912A (ja) 2004-03-16 2005-09-29 Sharp Corp フレーム補間のための画像処理装置およびそれを備えた表示装置
JP2006086933A (ja) * 2004-09-17 2006-03-30 Canon Inc 撮像装置及び制御方法
JP4483501B2 (ja) * 2004-09-22 2010-06-16 株式会社ニコン 静止画を動画再生するための前処理を行う画像処理装置、プログラム、および方法
JP4569389B2 (ja) 2005-05-31 2010-10-27 カシオ計算機株式会社 撮像装置、画像処理方法及びプログラム
JPWO2007063819A1 (ja) 2005-11-29 2009-05-07 パイオニア株式会社 記録装置、再生装置、記録方法、記録プログラムおよびコンピュータに読み取り可能な記録媒体
US8018999B2 (en) * 2005-12-05 2011-09-13 Arcsoft, Inc. Algorithm description on non-motion blur image generation project
JP2007166198A (ja) * 2005-12-13 2007-06-28 National Univ Corp Shizuoka Univ フレームレート変換方法および装置
JP4979969B2 (ja) * 2006-04-03 2012-07-18 三星電子株式会社 撮像装置および撮像方法
JP5168837B2 (ja) * 2006-07-27 2013-03-27 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP4181593B2 (ja) * 2006-09-20 2008-11-19 シャープ株式会社 画像表示装置及び方法
JP2008228282A (ja) * 2007-02-13 2008-09-25 Matsushita Electric Ind Co Ltd 画像処理装置
JP4483963B2 (ja) * 2008-03-25 2010-06-16 ソニー株式会社 撮像装置、撮像方法
US8228400B2 (en) * 2009-04-17 2012-07-24 Sony Corporation Generation of simulated long exposure images in response to multiple short exposures

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105872389A (zh) * 2012-02-20 2016-08-17 佳能株式会社 图像处理装置、摄像装置及控制方法
CN105872389B (zh) * 2012-02-20 2019-01-04 佳能株式会社 图像处理装置、摄像装置及控制方法

Also Published As

Publication number Publication date
US8237820B2 (en) 2012-08-07
JP5226705B2 (ja) 2013-07-03
US20100039519A1 (en) 2010-02-18
CN101658028B (zh) 2012-07-25
EP2239935A4 (en) 2013-08-14
WO2009098749A1 (ja) 2009-08-13
JPWO2009098749A1 (ja) 2011-05-26
EP2239935B1 (en) 2019-01-30
EP2239935A1 (en) 2010-10-13

Similar Documents

Publication Publication Date Title
US7573504B2 (en) Image recording apparatus, image recording method, and image compressing apparatus processing moving or still images
CN101582989B (zh) 摄影装置
CN102244730B (zh) 摄像装置及手抖动修正方法
TWI420902B (zh) 相機、相機之控制程式及相機之控制方法
US7724286B2 (en) Image pickup apparatus and image pickup method
JP4645685B2 (ja) カメラ、カメラ制御プログラム及び撮影方法
US10212362B2 (en) Method and apparatus for creating or storing resultant image which changes in selected area
WO2016023406A1 (zh) 物体运动轨迹的拍摄方法、移动终端和计算机存储介质
TWI420901B (zh) 攝像裝置、攝像方法及攝像程式
CN102833471A (zh) 摄像装置和摄像方法
JP4992860B2 (ja) 撮像装置及びプログラム
JP5906023B2 (ja) 撮像装置及びその制御方法
TWI477887B (zh) 影像處理裝置、影像處理方法及記錄媒體
JP4645228B2 (ja) 撮影装置及びプログラム
JP5882599B2 (ja) 撮像装置及びその制御方法
CN101658028B (zh) 图像合成装置、图像合成方法、集成电路、摄像系统以及摄像方法
WO2016169488A1 (zh) 图像处理方法、装置、计算机存储介质和终端
US9866796B2 (en) Imaging apparatus, imaging method, and computer-readable recording medium
KR101905813B1 (ko) 영상비교장치
JP2005236511A (ja) 電子カメラ
JP6360409B2 (ja) 撮像装置、撮像方法
JP2011050107A (ja) カメラ、カメラ制御プログラム及び撮影方法
JP4952739B2 (ja) 画像ファイル生成装置および画像再生装置
JP2010171989A (ja) 電子カメラ
JP2018207417A (ja) 撮像装置及びその制御方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MATSUSHITA ELECTRIC (AMERICA) INTELLECTUAL PROPERT

Free format text: FORMER OWNER: MATSUSHITA ELECTRIC INDUSTRIAL CO, LTD.

Effective date: 20141010

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20141010

Address after: Seaman Avenue Torrance in the United States of California No. 2000 room 200

Patentee after: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

Address before: Osaka Japan

Patentee before: Matsushita Electric Industrial Co.,Ltd.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120725

Termination date: 20161226