CN104113700B - 拍摄装置和拍摄方法 - Google Patents
拍摄装置和拍摄方法 Download PDFInfo
- Publication number
- CN104113700B CN104113700B CN201410154987.2A CN201410154987A CN104113700B CN 104113700 B CN104113700 B CN 104113700B CN 201410154987 A CN201410154987 A CN 201410154987A CN 104113700 B CN104113700 B CN 104113700B
- Authority
- CN
- China
- Prior art keywords
- data
- mentioned
- view data
- image
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 116
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 116
- 238000003384 imaging method Methods 0.000 claims abstract description 113
- 238000012545 processing Methods 0.000 claims description 98
- 238000009825 accumulation Methods 0.000 claims description 85
- 241001269238 Data Species 0.000 claims description 56
- 239000000203 mixture Substances 0.000 claims description 16
- 238000010586 diagram Methods 0.000 claims description 11
- 239000002131 composite material Substances 0.000 claims description 7
- 230000003287 optical effect Effects 0.000 abstract description 46
- 230000009471 action Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 230000008859 change Effects 0.000 description 9
- 230000005055 memory storage Effects 0.000 description 8
- 238000012935 Averaging Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 5
- 239000004973 liquid crystal related substance Substances 0.000 description 5
- 102220564325 TIR domain-containing adapter molecule 2_S16E_mutation Human genes 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 239000010409 thin film Substances 0.000 description 2
- 240000001439 Opuntia Species 0.000 description 1
- 238000010009 beating Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000007540 photo-reduction reaction Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000006722 reduction reaction Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 102220144835 rs148716754 Human genes 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/72—Combination of two or more compensation controls
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Studio Devices (AREA)
- Exposure Control For Cameras (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Image Processing (AREA)
Abstract
本发明提供拍摄装置和拍摄方法，能够防止难度高的B门拍摄的曝光失败并拍摄符合拍摄者的意图的照片。使用从图像传感器4以规定时间间隔连续地读出的图像数据，生成基于对图像数据的每个像素使用较暗一方的像素的较暗合成的较暗合成图像数据、和基于对图像数据的每个像素使用较亮一方的像素的较亮合成的较亮合成图像数据（S35），根据较亮合成图像数据和较暗合成图像数据生成差值输出图像数据（S47），将所生成的较暗合成图像数据作为背景输出图像数据，并且将差值输出图像作为光迹输出图像数据，分别对明亮度进行调整，将调整后的各图像进行合成（S49）。
Description
技术领域
本发明涉及拍摄装置和拍摄方法，特别涉及在数字静态相机等电子拍摄装置中，能够通过较亮合成来生成B门（Bulb）拍摄图像并且能够任意地调整曝光的拍摄装置和拍摄方法。
背景技术
以往，在单反式的拍摄装置中，通过光学取景器进行被摄体像的观察。但是，最近，市面开始销售如下拍摄装置，该拍摄装置没有光学取景器，通过利用背面液晶监视器等来显示从图像传感器读出的图像的实时取景显示，来观察被摄体像。此外，市面还开始销售如下拍摄装置，该拍摄装置取代光学取景器，除了背面液晶监视器等以外，使用电子取景器来显示实时取景显示的图像，能够对上述的背面液晶监视器的显示和电子取景器的显示进行切替。
以往，不管是光学取景器还是电子取景器，在B门拍摄这样的长时间拍摄时，在曝光过程中都无法从图像传感器读出图像数据，因此无法确认被摄体的状态和曝光状态，只能在拍摄结束后确认图像。因此，必须由拍摄者自己根据被摄体的明亮度等来估计并决定光圈和ISO感光度等曝光设定、曝光开始和结束的时刻，对于拍摄者而言不容易做到不因曝光不足或曝光过度而导致拍摄失败而得到期望的拍摄图像。
因此，为了解决这样的不良情况，在日本特开2005-117395号公报（以下称作“专利文献1”）所公开的拍摄装置中，以规定的时间间隔从图像传感器中读出图像数据，每次从图像传感器中读出该图像数据，都单纯地进行图像数据的累积相加，将由此得到的图像在液晶监视器等中进行显示，能够对曝光经过进行显示。
此外，在日本专利第4148586号公报（以下称作“专利文献2”）所公开的拍摄装置中，连续地从图像传感器读出图像数据，通过较亮合成，生成B门拍摄图像数据。该较亮合成是如下的图像合成：对图像数据的每个像素的亮度级别进行比较，选择较大一方作为合成后的亮度级别。
发明内容
发明要解决的问题
在专利文献1所公开的拍摄装置中，在B门拍摄过程中，能够将当前的曝光信息作为经过信息向拍摄者进行告知，能够减少曝光不足或曝光过度等失败。但是，在将一般的向夜空发射的烟花的光迹或星星的光迹作为B门拍摄的对象进行拍摄的情况下，曝光时间越长，光迹的长度越延长，并且有时背景（在这些情况下为夜空）的明亮度发生变化。该情况下，需要以使得背景的明亮度不会曝光过度或曝光不足的曝光时间来结束拍摄，光迹的长度与拍摄者的意图无关而由背景的明亮度决定。
与此对应地，在专利文献2所公开的拍摄装置中，通过较亮合成来生成拍摄图像数据，该较亮合成是指，针对连续地从摄像元件读出的图像数据，对图像数据的每个像素的亮度级别进行比较，选择较亮一方的像素作为合成后的亮度级别。因此，背景的明亮度与曝光时间无关而维持合成前的一张图像的明亮度，能够符合拍摄者的构思意图来设定曝光时间，并拍入光迹。
但是，在专利文献1、2所公开的拍摄装置中，均是拍摄者为了按照意图分别对背景的明亮度和光迹的长度/明亮度进行拍摄，需要与被摄体的明亮度匹配地对光圈、ISO感光度以及对合成前的一张图像进行拍摄的曝光时间进行调整。该调整需要长年的拍摄经验或试拍的明亮度确认等，需要高度的拍摄技术。
此外，由于星星、烟花等是在暗环境下进行拍摄，因此，在拍摄后，在白天或房间等明亮的环境下确认图像时，拍摄图像看起来是与拍摄时不同的明亮度，因此，往往会以不符合拍摄意图的明亮度来进行拍摄。
本发明是鉴于这样的情况而完成的，其目的在于提供能够防止难度高的B门拍摄的曝光失败并能够拍摄符合拍摄者的意图的照片的拍摄装置和拍摄方法。
用于解决问题的手段
本发明的拍摄装置根据从图像传感器读出的图像数据进行曝光调整，该拍摄装置具有：图像传感器；较亮合成处理部，其将根据从上述图像传感器读出的图像数据而最初生成的第1图像数据作为累积较亮合成图像数据进行存储，针对从第2帧开始的根据从上述图像传感器读出的图像数据而生成的第2图像数据依次反复进行如下的较亮合成处理：在该较亮合成处理中，对构成根据从上述图像传感器读出的图像数据而生成的上述第2图像数据的多个像素数据与构成上述累积较亮合成图像数据的多个像素数据的分别对应的像素数据进行比较，将任意的较大一方的像素数据作为新的像素数据，重构上述累积较亮合成图像数据；较暗合成处理部，其将根据从上述图像传感器读出的图像数据而最初生成的第1图像数据作为累积较暗合成图像数据进行存储，针对从第2帧起的根据从上述图像传感器读出的图像数据而生成的第2图像数据依次反复进行如下的较暗图像合成处理：在较暗图像合成处理中，对构成根据从上述图像传感器读出的图像数据而生成的上述第2图像数据的多个像素数据与构成上述累积较暗合成图像数据的多个像素数据的分别对应的像素数据进行比较，将任意的较小一方的像素数据作为新的像素数据，重构上述累积较暗合成图像数据；差值图像合成部，其运算构成上述累积较亮合成图像数据的像素数据与构成上述累积较暗合成图像数据的像素数据的分别对应的像素数据的差，生成新的差值图像数据；以及图像合成部，其将对上述累积较暗合成图像数据乘以任意的增益值而得到的图像数据和对上述差值图像数据乘以任意的增益值而得到的图像数据进行合成。
本发明的拍摄装置根据从图像传感器读出的图像数据进行曝光调整，该拍摄装置具有：图像传感器；较亮合成处理部，其将根据从上述图像传感器读出的图像数据而最初生成的第1图像数据作为累积较亮合成图像数据进行存储，针对从第2帧开始的根据从上述图像传感器读出的图像数据而生成的第2图像数据依次反复进行如下的较亮图像合成处理：在该较亮图像合成处理中，将构成根据从上述图像传感器读出的图像数据而生成的上述第2图像数据的多个像素数据和构成上述累积较亮合成图像数据的多个像素数据的分别对应的像素数据的差与规定的值进行比较，当上述差为上述规定的值以上时，对构成根据从上述图像传感器读出的图像数据而生成的上述第2图像数据的多个像素数据和构成上述累积较亮合成图像数据的多个像素数据的分别对应的像素数据进行比较，将任意的较大一方的像素数据作为新的像素数据，当上述差小于上述规定的值时，将构成根据从上述图像传感器读出的图像数据而生成的上述第2图像数据的像素数据和构成上述累积较亮合成图像数据的像素数据的分别对应的像素数据的平均值作为新的像素数据，重构上述累积较亮合成图像数据；较暗合成处理部，其将根据从上述图像传感器读出的图像数据而最初生成的第1图像数据作为累积较暗合成图像数据进行存储，针对从第2帧起的根据从上述图像传感器读出的图像数据而生成的第2图像数据依次反复进行如下的较暗图像合成处理：在较暗图像合成处理中，将构成根据从上述图像传感器读出的图像数据而生成的上述第2图像数据的多个像素数据和构成上述累积较暗合成图像数据的多个像素数据的分别对应的像素数据的差与规定的值进行比较，当上述差为上述规定的值以上时，对构成根据从上述图像传感器读出的图像数据而生成的上述第2图像数据的多个像素数据和构成上述累积较暗合成图像数据的多个像素数据的分别对应的像素数据进行比较，将任意的较小一方的像素数据作为新的像素数据，当上述差小于上述规定的值时，将构成根据从上述图像传感器读出的图像数据而生成的上述第2图像数据的像素数据和构成上述累积较暗合成图像数据的像素数据的分别对应的像素数据的平均值作为新的像素数据，重构上述累积较暗合成图像数据；差值图像合成部，其运算构成上述累积较亮合成图像数据的多个像素数据与构成上述累积较暗合成图像数据的多个像素数据中的各个像素数据的差，生成新的差值图像数据；以及图像合成部，其将对上述累积较暗合成图像数据乘以任意的增益值而得到的图像数据和对上述差值图像数据乘以任意的增益值而得到的图像数据进行合成。
本发明的拍摄方法根据从图像传感器读出的图像数据进行曝光调整，该拍摄方法具有：较亮合成处理步骤，将根据从图像传感器读出的图像数据而最初生成的第1图像数据作为累积较亮合成图像数据进行存储，针对从第2帧开始的根据从上述图像传感器读出的图像数据而生成的第2图像数据依次反复进行如下的较亮合成处理：在该较亮合成处理中，对构成根据从上述图像传感器读出的图像数据而生成的上述第2图像数据的多个像素数据与构成上述累积较亮合成图像数据的多个像素数据的分别对应的像素数据进行比较，将任意的较大一方的像素数据作为新的像素数据，重构上述累积较亮合成图像数据；较暗合成处理步骤，将根据从上述图像传感器读出的图像数据而最初生成的第1图像数据作为累积较暗合成图像数据进行存储，针对从第2帧起的根据从上述图像传感器读出的图像数据而生成的第2图像数据依次反复进行如下的较暗图像合成处理：在较暗图像合成处理中，对构成根据从上述图像传感器读出的图像数据而生成的上述第2图像数据的多个像素数据与构成上述累积较暗合成图像数据的多个像素数据的分别对应的像素数据进行比较，将任意的较小一方的像素数据作为新的像素数据，重构上述累积较暗合成图像数据；差值图像合成步骤，运算构成上述累积较亮合成图像数据的像素数据与构成上述累积较暗合成图像数据的像素数据的分别对应的像素数据的差，生成新的差值图像数据；以及图像合成步骤，将对上述累积较暗合成图像数据乘以任意的增益值而得到的图像数据和对上述差值图像数据乘以任意的增益值而得到的图像数据进行合成。
本发明的拍摄方法根据从图像传感器读出的图像数据进行曝光调整，该拍摄方法具有：较亮合成处理步骤，将根据从图像传感器读出的图像数据而最初生成的第1图像数据作为累积较亮合成图像数据进行存储，针对从第2帧开始的根据从上述图像传感器读出的图像数据而生成的第2图像数据依次反复进行如下的较亮图像合成处理：在该较亮图像合成处理中，将构成根据从上述图像传感器读出的图像数据而生成的上述第2图像数据的多个像素数据和构成上述累积较亮合成图像数据的多个像素数据的分别对应的像素数据的差与规定的值进行比较，当上述差为上述规定的值以上时，对构成根据从上述图像传感器读出的图像数据而生成的上述第2图像数据的多个像素数据和构成上述累积较亮合成图像数据的多个像素数据的分别对应的像素数据进行比较，将任意的较大一方的像素数据作为新的像素数据，当上述差小于上述规定的值时，将构成根据从上述图像传感器读出的图像数据而生成的上述第2图像数据的像素数据和构成上述累积较亮合成图像数据的像素数据的分别对应的像素数据的平均值作为新的像素数据，重构上述累积较亮合成图像数据；较暗合成处理步骤，将根据从上述图像传感器读出的图像数据而最初生成的第1图像数据作为累积较暗合成图像数据进行存储，针对从第2帧起的根据从上述图像传感器读出的图像数据而生成的第2图像数据依次反复进行如下的较暗图像合成处理：在较暗图像合成处理中，将构成根据从上述图像传感器读出的图像数据而生成的上述第2图像数据的多个像素数据和构成上述累积较暗合成图像数据的多个像素数据的分别对应的像素数据的差与规定的值进行比较，当上述差为上述规定的值以上时，对构成根据从上述图像传感器读出的图像数据而生成的上述第2图像数据的多个像素数据和构成上述累积较暗合成图像数据的多个像素数据的分别对应的像素数据进行比较，将任意的较小一方的像素数据作为新的像素数据，当上述差小于上述规定的值时，将构成根据从上述图像传感器读出的图像数据而生成的上述第2图像数据的像素数据和构成上述累积较暗合成图像数据的像素数据的分别对应的像素数据的平均值作为新的像素数据，重构上述累积较暗合成图像数据；差值图像合成步骤，运算构成上述累积较亮合成图像数据的多个像素数据与构成上述累积较暗合成图像数据的多个像素数据中的各个像素数据的差，生成新的差值图像数据；以及图像合成步骤，将对上述累积较暗合成图像数据乘以任意的增益值而得到的图像数据和对上述差值图像数据乘以任意的增益值而得到的图像数据进行合成。
发明的效果
根据本发明，能够提供能够防止难度高的B门拍摄的曝光失败并拍摄符合拍摄者的意图的照片的拍摄装置和拍摄方法。
附图说明
图1是示出本发明的第1实施方式的相机的主要电气结构的框图。
图2是示出在本发明的第1实施方式的相机中，在B门模式中选择了较亮合成模式的情况下的动作的流程图。
图3是示出在本发明的第1实施方式的相机中，在B门模式中选择了较亮合成模式的情况下的动作的流程图。
图4A和图4B是示出在本发明的第1实施方式的相机中进行曝光调整时的操作画面的图，图4A是曝光调整要否确认画面，图4B是曝光调整操作画面。
图5A～图5D是示出在本发明的第1实施方式的相机中的较亮/暗合成的图，图5A示出合成前的图像，图5B示出较亮合成的图像，图5C示出较暗合成的图像，图5D示出从较亮合成图像中减去较暗合成图像后的差值输出图像。
图6A和图6B是说明在本发明的第1实施方式的相机中进行曝光调整的图，图6A示出光迹的明亮度调整，图6B示出背景的明亮度调整。
图7是示出在本发明的第2实施方式的相机中，选择了B门模式的情况下的动作的流程图。
具体实施方式
下面参照附图使用应用了本发明的相机来说明优选的实施方式。本发明的优选的实施方式的相机是数字相机，概略地，将基于从摄像元件读出的图像数据的图像数据在显示部中进行实时取景显示，并且根据快门释放按钮的操作将为了记录用而进行了图像处理后的图像数据记录在外部存储器中。此外，当设定较亮合成模式作为B门拍摄模式时，在B门拍摄过程中，能够生成基于对图像数据的每个像素使用明亮的一方的像素的较亮合成的较亮合成图像数据，并使用该图像数据在B门拍摄过程中进行曝光状态的经过显示。
并且，该相机生成基于对图像数据的每个像素使用较暗一方的像素的较暗合成的较暗合成图像数据，根据前述的较亮合成图像数据和较暗合成图像数据生成差值输出图像数据。将生成的较暗合成图像数据作为背景输出图像数据，并且将差值输出图像数据作为光迹输出图像数据，分别对明亮度进行调整，对调整后的各图像数据进行合成，由此，能够相对于作为基准的较亮合成图像数据分别独立地调整背景的明亮度、光迹的明亮度。
图1是示出作为本发明的优选实施方式的第1实施方式的相机的主要电气结构的框图。本实施方式的相机具有摄像部1、图像处理部10、系统控制部20以及总线31和与它们连接的各部。
镜头2在图像传感器4上对被摄体的光学像进行成像。在该镜头2内具有决定用于调节曝光量的光圈值的光圈。此外，机械快门3通过开闭动作进行对图像传感器4的曝光和遮光，控制快门速度。图像传感器4包含CMOS图像传感器、CCD图像传感器等摄像元件，按照每个像素将由镜头2成像的被摄体的光学像转换为电信号，将图像数据输出到图像处理部10和总线31。总线31是用于在各模块之间进行信号的收发的信号线。
图像处理部10对从图像传感器4输出的图像数据实施图像处理，具有图像比较合成部11、图像平均合成部12、差值图像合成部13、图像相加合成部14、图像合成部15以及显像处理部16。
图像比较合成部11对从图像传感器4连续读出的图像数据与内部存储器33中所保存的图像数据的每个像素的输出进行比较，对每个像素进行较亮处理和较暗合成处理，使用通过这些处理生成的较亮合成图像数据和较暗合成图像数据来生成合成图像数据。
即，在图像比较合成部11的较亮处理中，最初将构成根据从图像传感器4读出的图像数据而生成的图像数据的像素数据作为较亮合成图像数据存储在内部存储器33中。接着，针对构成根据从图像传感器4读出的图像数据而生成的图像数据的像素数据，和构成存储在内部存储器33中的累积较亮合成图像数据的多个像素数据，比较分别对应的像素数据。然后，在比较分别对应的像素数据的结果为其差为规定值以上的情况下，检测任意的较大一方、即较亮一方的像素数据，使用该较亮一方的像素数据来重构累积较亮合成图像数据。另一方面，图像比较合成部11在比较分别对应的像素数据的结果为其差小于规定值的情况下，将对应的像素数据置换为由图像平均合成部12计算出的平均值。在每次从图像传感器4读出图像数据时重复进行该处理。通过进行较亮处理，能够得到夜空的星星的光迹图像（参照后述的图5B）。
此外，在图像比较合成部11的较暗处理中，最初将构成根据从图像传感器4读出的图像数据而生成的图像数据的像素数据作为较暗合成图像数据存储在内部存储器33中。接着，针对构成根据从图像传感器4读出的图像数据而生成的图像数据的像素数据，和构成存储在内部存储器33中的累积较暗合成图像数据的多个像素数据，比较分别对应的像素数据。然后，在比较分别对应的像素数据的结果为其差为规定值以上的情况下，检测任意的较小一方、即较暗一方的像素数据，使用该较暗一方的像素数据来重构累积较暗合成图像数据。另一方面，图像比较合成部11在比较分别对应的像素数据的结果为其差小于规定值的情况下，将对应的像素数据置换为由图像平均合成部12计算出的平均值。在每次从图像传感器4读出图像数据时重复进行该处理。通过进行较暗处理，能够消去夜空的星星的光迹，得到背景的图像（参照后述的图5C）。
图像平均合成部12在针对构成累积较亮合成图像数据或累积较暗合成图像数据的多个像素数据，比较分别对应的像素数据的结果为其差小于规定值的情况下，计算对应的像素数据的平均值。
差值图像合成部13计算较亮合成图像数据和较暗合成图像数据的每个像素的差值输出，生成差值图像数据。即，差值图像数据是按照每个像素数据从较亮合成图像数据减去较暗合成图像数据来计算差值而得到的图像数据，是背景图像数据消失而仅留光迹的图像数据（参照后述的图5D）。
图像相加合成部14将每个像素的输出相加，生成相加合成数据。即，在每次以规定周期从图像传感器4读出图像数据时，图像相加合成部14对图像数据进行相加运算，生成相加合成数据。通过根据该相加合成数据进行显示，能够进行B门拍摄时的拍摄经过显示。另外，在后述的流程图（参照图2、3）中，省略了基于该相加合成数据的拍摄经过显示。
图像合成部15分别对较暗合成图像数据和差值图像数据乘以增益，并进行相加处理。由图像比较合成部11生成的较暗合成图像数据是移动的明亮部分消失而仅由背景构成的图像数据（参照图5C），此外，差值图像数据是由移动的明亮部分、即由光迹构成的图像数据（参照图5D）。分别对这些图像数据乘以增益并进行相加处理，由此，能够分别独立地调整光迹部分和背景部分的明亮度。后面使用图4A至图6B以及图3的S43～S55来说明该调整。
显像处理部16对图像合成部15中生成的RAW图像数据进行去马赛克、白平衡调整，伽马校正、图像压缩等显像处理。
内部存储器33暂时存储相机动作所需要的各种设定信息和在图像处理时中途经过的图像数据。内部存储器33由闪存、SDRAM等可电擦写的非易失性的存储器构成。
外部存储器36是能够在相机主体上自由装卸或者被固定在内部的可电擦写的非易失性的存储介质，例如是SD卡或CF卡等。该外部存储器36记录由显像处理部16进行了显像处理后的图像数据，并且能够在再现时读出所记录的图像数据并将其输出到相机的外部。
显示部37由TFT（Thin Film Transistor：薄膜晶体管）液晶或有机EL等的背面显示部或EVF（电子取景器）构成，显示由显像处理部16进行了显像后的图像。
输入接口38具有快门释放按钮等操作部件、用于输入背面显示部等中的触摸操作的触摸面板等，根据用户操作进行各种的模式设定和快门释放等拍摄动作的指示。
曝光判定部34根据从图像传感器4读出的图像数据或者在各合成部中生成的图像数据的输出来判定是否为适当曝光。比较部35对要进行比较合成的多个图像数据的每个像素的输出差进行比较。此外，还能够对每个像素的输出差与规定值（阈值水平）进行比较。
系统控制部20具有CPU（Central Processing Unit：中央处理单元），依照存储在内部存储器33内的程序进行相机的整体控制。此外，系统控制部20具有曝光时间计算部21和曝光时间控制部22。曝光时间计算部21根据曝光判定部34中的曝光判定结果来计算最合适的曝光时间（快门速度）。曝光时间控制部22根据曝光时间计算部21的计算结果来控制机械快门3的开闭定时处理。曝光时间计算部21和曝光时间控制部22可以利用软件进行处理，此外，也可以利用硬件进行处理。
接着，对图1所示的相机的动作的概要进行说明。根据系统控制部20的控制，来调整构成镜头2的对焦镜头，将光圈设定为规定值，机械快门3打开，通过图像传感器4将光学像转换为电信号。在图像处理部10中对从图像传感器4读出的图像数据实施规定的图像处理，并将其记录在外部存储器36中。此外，对在图像处理部10中实施了规定的图像处理的图像数据调整尺寸后，显示于显示部37中。
系统控制部20经由输入接口38接收来自用户的指示，进行图像传感器4的曝光开始、信号读出等的定时控制、机械快门3的开闭定时控制、镜头2的光圈控制或自动对焦控制。此外，系统控制部20从图像处理部10取得图像数据，进行利用显示部37的图像显示和在外部存储器36中保存图像数据等的控制。
接着，使用图2和图3所示的流程图，来说明本实施方式的相机的处理的流程。依照存储在内部存储器33中的程序，由系统控制部20控制各部来执行该流程图。
在该流程图中图示了用户通过输入接口来选择B门拍摄模式，并且选择了B门拍摄模式中的较亮合成模式的情况下的处理序列。即使是B门拍摄模式，针对不进行曝光过程中的经过显示的通常的B门拍摄和利用相加图像进行曝光过程中的经过显示的相加合成显示模式，也进行了省略。另外，在选择了作为经过显示模式的一种的相加合成显示模式后，在B门拍摄过程中以规定的周期从图像传感器4读出图像数据，并依次将该读出的图像数据相加，由此，能够在显示部37中显示根据曝光时间的经过而画面逐渐变亮的情况。此外，在作为经过显示模式的一种的较亮合成模式中，背景的明亮度不依赖于曝光时间而是固定的，能够根据曝光时间来调整光迹的长度。
用户预先调节相机的朝向和镜头的焦点距离（变焦），以便能够在进行B门拍摄时预先确认显示部37和光学取景器（未图示）从而能够拍摄希望拍摄的被摄体。此外，也可以根据需要，经由按钮和触摸面板等的输入接口38来设定对焦镜头的位置、光圈值、ISO感光度等拍摄信息。
进入图2所示的流程后，系统控制部20根据快门释放开关的最初的按压动作来判定第1释放开关是否被接通（S1）。当该判定结果不是接通时，成为待机状态。
当步骤S1中的判定结果为第1释放开关是接通时，接着，进行AF和AE（S3）。这里，系统控制部20进行AF（自动对焦），在被摄体上对焦。在进行AF时，系统控制部20驱动镜头2内的对焦镜头，以使得从图像传感器4反复读出的图像数据的对比度值成为最大值。此外，进行AE（自动曝光控制），计算成为适当曝光的曝光时间和光圈等。
在进行AF和AE后，接着，判定第2释放开关是否为接通（S5）。这里，系统控制部20判定是否进行了比最初的按压动作相对更强的按压动作而使第2释放开关接通。当该判定结果为第2释放开关不是接通时，返回步骤S3，重复AF/AE动作。
当步骤S5中的判定结果为第2释放开关是接通时，进行基于较亮合成模式的较亮合成。首先，反映图像读出周期T（S7）。该周期T是从图像传感器4读出图像数据的周期，可以是由用户手动设定的值，此外，也可以是与步骤S3的AE中计算出的适当曝光时间对应的值。
在反映了图像读出周期T之后，接着开始曝光（S9）。这里，系统控制部20对图像传感器4开始曝光。在开始曝光后，接着，判定是否经过了曝光时间T（S11）。这里，在步骤S9中的曝光开始后，判定是否经过了时间T。在经过时间T之前成为待机状态。
当步骤S11中的判定结果为经过了曝光时间T时，接着，读出图像数据并开始下一帧的曝光（S13）。接着，将在步骤S13中读出的图像数据保存在内部存储器33中（S15）。
在内部存储器33中保存了图像数据后，接着，进行较亮/暗合成处理（S17）。但是，在较亮合成模式下最初从图像传感器4读出图像数据的情况下，跳过较亮/暗合成处理，从第2帧开始进行较亮/暗合成处理。在后述的步骤S25的判定结果是“否”的情况下，在经过时间T后，对步骤S13中读出的图像数据和内部存储器33中存储的图像数据（累积较亮合成图像数据和累积较暗合成数据）进行该从第2帧开始的较亮/暗合成处理。
如下进行第2帧的较亮/暗合成处理。在内部存储器33中暂时存储有第1帧和第2帧的图像数据。系统控制部20将在内部存储器33中暂时存储的第1帧和第2帧的读出图像数据传送到比较部35，对2张图像的相同地址的像素输出进行比较，选择较大一方的像素数据作为合成后的图像的像素数据，作为较亮合成图像数据（累积较亮合成图像数据）。此外，对2张图像的相同地址的像素输出进行比较，选择较小一方的像素数据作为合成后的图像的像素数据，作为较暗合成图像数据（累积较暗合成图像数据）。
将在步骤S17中生成的较亮合成图像数据和较暗合成图像数据保存在内部存储器33中（S19）。
在内部存储器中保存后，接着进行显像处理（S21）。这里，系统控制部20通过显像处理部16对暂时存储在内部存储器33中的图像数据进行去马赛克处理、γ校正处理、降噪处理、YC信号生成处理、调整尺寸处理等显像处理。另外，由于所读出的图像数据的像素数大于液晶显示或电子取景器的显示像素，所以进行调整尺寸处理以与显示元件的显示像素数匹配。
在进行显像处理后，接着进行显像图像的显示（S23）。这里，系统控制部20将由显像处理部16进行了显像处理后的较亮合成图像作为曝光经过图像，显示于显示部37中。能够作为B门拍摄时的经过图像由用户进行确认。
在进行显像图像的显示后，接着，判定是否检测到第2释放开关的断开（S25）。在本实施方式中，从用户强力按入快门释放按钮起到离开为止，即当第2释放开关接通时开始B门拍摄，当第2释放开关断开时结束B门拍摄。另外，当然也可以是，最初第2释放开关接通后，即使断开也继续进行B门拍摄，当再次接通第2释放开关时结束B门拍摄。
在步骤S25中的判定结果为第2释放开关并未断开的情况下，返回步骤S11。从第3帧开始的图像数据也是在经过曝光时间T后从图像传感器读出（S13），并保存在内部存储器33中（S15）。在比较部35中对从图像传感器4读出的图像数据和至此为止保存在内部存储器33中的累积较亮合成图像数据（如果是第3帧的合成图像数据，则为第1、第2帧的较亮合成图像数据）进行较亮合成处理（S17），并作为累积较亮合成图像数据保存在内部存储器33中（S19）。对该保存的累积较亮合成图像数据实施显像处理（S21），并将其作为曝光经过图像显示于显示部37中（S23）。此外，同样地，对从图像传感器4读出的图像数据和累积较暗合成图像数据（如果是第3帧的合成图像数据，则为第1、第2帧的较暗合成图像数据）进行较暗合成处理（S17），并将其作为累积较暗合成图像数据保存在内部存储器33中（S19）。
这样，在B门拍摄过程中，每次经过时间T，就从图像传感器4读出图像数据，进行较亮合成处理和较暗合成处理，将较亮合成处理后的图像作为曝光经过图像显示在显示部37中。
当步骤S25中的判定结果为检测到第2释放开关的断开时，进行B门拍摄的结束处理。
首先，在步骤S43以下，进行曝光调整处理。在该曝光调整处理中，能够分别独立地调整最终拍摄图像的背景和光迹的部分的明亮度。首先，进行是否调整背景/光迹的明亮度的判定（S43）。在该步骤中，将调整要否画面（例如，图4A所示的曝光调整要否画面）显示在显示部37中，因此，用户观察该曝光调整要否画面，确认背景和光迹的明亮度是否符合意图。在符合意图的情况下，通过输入接口38选择“不进行”曝光调整（S43→“否”）。该情况下，将累积较亮合成图像数据及其显像处理图像数据保存在外部存储器中，结束拍摄。
另一方面，在步骤S43的判定结果为选择了“进行”曝光调整的情况下（S43→“是”），将背景/光迹的明亮度调整画面（例如，图4B所示的曝光调整操作画面）显示在显示部37中。
在该状态下，进行了曝光调整增益设定操作后，取得其设定操作量（S45）。在图4B所示的例中，分别针对背景和光迹显示调整指示器。在用户进行了通过向右对指示器进行滑动操作使亮度变明，或者通过向左进行滑动操作使亮度变暗的指示后，系统控制部20经由输入接口38中的触摸面板输入用户的指示。
系统控制部20将由用户的操作输入的背景、光迹的明亮度调整量是对所显示的图像变更几倍的明亮度变更为调整增益。当设背景的调整增益为α、设光迹的调整增益为β时，例如在输入了希望对背景进行＋1级的明亮度调整、对光迹进行-1级的明亮度调整的意思的情况下，转换为α=2、β=0.5。
接着，在进行了曝光调整增益设定操作后，接着进行差值输出图像数据的生成（S47）。这里，系统控制部20将较亮合成图像数据和较暗合成图像数据输入到差值图像合成部13，通过下述（1）式生成差值输出图像数据，并将其保存在内部存储器33中。
差值输出图像数据=较亮合成图像数据-较暗合成图像数据···（1）
这里，如图5所示，如果以曝光时间T读出的合成前的各个图像数据不存在背景的明亮度发生变化的部分，则较暗合成图像数据（图5C）相当于反映了除去光迹的背景的明亮度的图像数据。另一方面，差值输出图像数据（图5D）是按照对应的每个像素从较亮合成图像数据（图5B）中减去背景（较暗合成图像数据）（图5C）而得到的图像数据，因此成为仅拍入光迹的图像数据。
在步骤S47中生成差值输出图像数据后，接着，进行合成图像数据的生成（S49）。这里，系统控制部20将在内部存储器33中保存的较暗合成图像数据和差值输出图像数据输出到图像合成部15，根据以下所示的式（2）生成合成图像数据。即，进行将较暗合成图像数据与调整增益α相乘得到的图像数据、和将差值输出图像数据与调整增益β相乘得到的图像数据这2个图像数据的相加合成，生成合成图像数据。将该生成的合成图像数据保持在内部存储器33中。
合成图像数据=（较暗合成图像数据×α）＋（差值输出图像数据×β）···（2）
这里，A＋B表示图像数据A和图像数据B的相加合成图像数据。
通过上述的合成，生成将背景的明亮度调整图像数据（较暗合成图像数据×α）和光迹的明亮度调整图像数据（差值输出图像数据×β）合成后的图像数据，生成根据用户的操作调整了明亮度后的图像数据。
在步骤S49中生成了合成图像数据后，接着，进行显像处理（S51），在显示部37中进行图像显示（S53）。在进行了图像显示后，接着，判定明亮度是否没问题（S55）。这里，如图4A所示，再次显示调整画面，因此，用户确认进行了明亮度调整后的图像，如果需要重新调整，则对曝光调整“进行”进行触摸操作。如果合成图像的明亮度不足或过度，则返回步骤S45，在输入明亮度调整值后，再次进行背景/光迹的明亮度调整。
图6A和图6B中示出背景/光迹调整的例子。图6A是光迹的明亮度调整的例子，这里，对轨迹的条数进行调整。图像P2是基准图像，图像P1实施了负校正，图像P3实施了正校正。由图6A可知，能够在不使背景的明亮度变化的情况下仅调整光迹。
此外，图6B是背景的明亮度调整的例子。图像P5是基准图像（与P2相同的图像），图像P4实施了负校正，图像P6实施了正校正。由图6B可知，能够在不使光迹的明亮度发生变化的情况下仅调整背景的明亮度。
另一方面，在步骤S55中判断为已调整为符合用户意图的明亮度的情况下，经由输入接口38在图4A所示的画面中对曝光调整“不进行”进行触摸操作。该情况下，步骤S55中的判定结果为明亮度没问题，将合成图像及其显像处理图像保存在外部存储器36中（S57），拍摄完成。
这样，在本发明的第1实施方式中，如图6A和图6B所示，用户能够在拍摄后一边确认较亮合成图像，一边根据构思意图分别调整背景和光迹的明亮度。因此，能够防止由于难度高的B门拍摄的曝光失败而导致的拍摄失败，并且拍摄符合拍摄者的意图的照片。
接着，对本发明的第1实施方式的变形例进行说明。在第1实施方式中，在进行图像比较合成部11中的较亮/暗合成时，通过比较部35按照每个像素对像素数据进行比较，判定是大还是小。与此相对，在本变形例中，计算要进行比较的像素数据输出之间的差值像素数据，在比较部35中将该差值像素数据与阈值水平（规定值）TH进行比较，将大于阈值水平的像素数据作为在图像比较合成部11中进行较亮/暗合成后的值，此外，对小于阈值水平的像素在图像平均合成部12中计算平均值，将该平均值作为合成后的图像输出。即，进行下面所示的处理。
差值像素数据≥TH→较亮/暗合成
差值像素数据＜TH→平均合成
从图像传感器4读出的图像数据中包含随机噪声。针对亮度不发生变化的背景，在多个图像数据的较亮合成中，随机噪声的最大值被反映到累积较亮合成图像数据中，此外，在较暗合成中，随机噪声的最小值被反映到累积较暗合成图像数据中。因此，在本变形例中，通过将阈值水平TH设定为随机噪声程度的值，能够抑制随机噪声引起的画质恶化，改善最终的合成图像的画质。
接着，使用图7说明本发明的第2实施方式。在第1实施方式中，来自图像传感器4的1帧的曝光时间（读出周期T）在B门拍摄过程中是固定的。与此相对，在第2实施方式中，使来自图像传感器4的1帧的曝光时间根据周围的明亮度而发生变化。
即，在第1实施方式中，在从第2释放开关成为接通起到成为断开为止的拍摄中途，背景的明亮度发生了变化的情况下，例如，在黄昏时或黎明时的天体拍摄、燃放大的烟花、背景的明亮度发生了变化的情况下，在最终的累积较亮合成中反映背景被拍得最亮时的背景。另一方面，在累积较暗合成图像数据中反映背景被拍得最暗时的背景。差值合成图像数据是这些图像数据的差值，因此，包含了光迹的输出和背景的明亮度的变化的差值。
在拍摄者使用该差值合成图像数据进行在第1实施方式中说明的背景/光迹的明亮度调整的情况下，不仅光迹的明亮度发生变化，背景的亮度也发生变化，会生成拍摄者不希望的合成图像数据。因此，在第2实施方式中，为了解决该问题，根据周围的明亮度的变化改变1帧的曝光时间，由此能够尽量减小进行较亮/暗合成时的图像的明亮度变化。
本实施方式中的结构与第1实施方式的图1所示的框图相同，仅是将图2所示的流程图置换为图7。此外，图7的流程图仅是在图2所示的流程图中追加步骤S16A～S16E，因此，以该不同点为中心进行说明。
进入图7所示的流程，在步骤S7中反映图像读出周期T，开始曝光（S9），在经过第1帧的曝光时间T后（S11），读出图像数据并开始用于下次拍摄的曝光（S13），将读出的图像数据保存在内部存储器33中（S15）。
在步骤S15中将图像数据保存在内部存储器中后，判定第2帧及之后的帧的曝光时间是否经过了T／N（S16A）。这里，N是整数，T／N是比时间T短的时间。图像传感器4以时间T对第1帧进行曝光，从第2帧开始以时间T／N进行曝光。
步骤S16A中的判定结果为经过了曝光时间T／N时，读出图像数据并开始用于下次拍摄的曝光（S16B）。将所读出的图像数据保存在内部存储器33中（S16C）。
在内部存储器中进行了保存后，接着，进行相加图像处理（S16D）。这里，在图像相加合成部14中，从第2帧起将读出的图像数据相加。即，在步骤S16B中，每次读出图像数据时，将图像数据相加。将该相加图像数据保存在内部存储器33中，在下次的相加图像处理时使用。
在进行了相加图像处理后，接着，判定该相加图像数据与步骤S15中存储在内部存储器33中的第1帧的图像数据之间的曝光差是否小于1／N（S16E）。这里，比较部35对通过第1帧的曝光而取得的图像数据的曝光量与通过相加图像处理而取得的图像数据的曝光量进行比较。在比较部35中通过以下所示的（3）式计算曝光差来进行比较。
曝光差=｛（第1帧的图像数据的曝光量）-（相加合成图像数据的曝光量）｝／（第1帧的图像数据曝光量）···（3）
关于曝光量的计算，可以使用近年来在数字相机中所安装的AE（测光）的方法来计算图像像素输出平均值。
在步骤S16E中的判定结果是曝光差为1／N以上的情况下，返回步骤S16A，重复进行上述的相加合成处理。由此，相加合成图像数据的曝光量逐渐变大。
在步骤S16E中的判定结果是曝光差为1／N以下的情况下，将相加合成图像数据保存在内部存储器33中，使用该相加合成图像数据和第1帧的读出图像数据进行较亮/暗合成（S17），分别作为累积较亮合成图像数据和累积较暗合成图像数据保存在内部存储器33中（S19）。
以后，在第2释放开关断开之前，针对每隔时间T／N（N为整数）读出的图像数据，通过上述的处理序列，生成与第1帧的曝光差为1／N以下的相加合成图像数据，进行累积较亮合成和累积较暗合成。当步骤S25中的判定结果为第2释放开关断开时，执行图3所示的步骤S31以下的步骤。该流程与第1实施方式相同，因此省略说明，根据拍摄者的意图调整背景/光迹的明亮度，将最终的图像数据保存在外部存储器36中。
这样，在第2实施方式中，通过对背景的明亮度接近第1帧的拍摄图像的明亮度（曝光差为1／N以下）的相加合成图像数据进行较亮合成和较暗合成，即使在背景的明亮度发生了变化的情况下，也能够防止生成不符合拍摄者意图的合成图像数据。
如以上说明的那样，在本发明的各实施方式和变形例中，使用从图像传感器以规定时间间隔连续地读出的图像数据，基于对图像数据的每个像素使用较暗一方的像素的较暗合成生成较暗合成图像数据，并且基于对图像数据的每个像素使用较亮一方的像素的较亮合成生成较亮合成图像数据，根据较亮合成图像数据和较暗合成图像数据生成差值输出图像数据（例如参照图3的S35、S47、图5B、5C、5D）。然后，将生成的较暗合成图像数据作为背景图像数据，并且将差值输出图像数据作为光迹输出图像数据，分别对明亮度进行调整，对调整后的各图像数据进行相加合成，由此，能够相对于作为基准的较亮合成图像数据，分别独立地调整背景的明亮度、光迹的明亮度。因此，能够防止难度高的B门拍摄的曝光失败，并拍摄符合拍摄者的意图的照片。
此外，在较暗合成图像数据和较亮图像数据的合成的生成时，对相同地址的像素数据之间进行比较，使用较大或较小一方的像素数据来进行生成。因此，结构简单，能够迅速地进行处理。此外，在进行较暗合成图像数据和较亮图像数据的合成时，在像素数据之间的差值超过了规定值的情况下，使用较大或较小的像素数据生成较暗合成图像数据或较亮合成图像数据，在像素数据之间的差值为规定值以下的情况下，使用像素数据的平均值来生成较暗合成图像数据或较亮合成图像数据。通过使用差值进行判定，能够降低像素噪声的影响。
另外，在本发明的各实施方式、变形例中，在进行了较亮/暗合成处理后，仅存储了最新的累积较亮合成图像数据/累积较暗合成图像数据（图2的步骤S19、图3的S37、图7的S19），但是，也可以是，存储过去的一连串的累积明合成图像数据/累积暗合成图像数据，在B门拍摄结束后，根据这些图像数据分别生成差值输出图像数据，由用户选择希望的图像数据。
此外，在本发明的各实施方式、变形例中，显示了较亮合成图像作为图像显示，但是不限于此，如果用户进行了选择，也可以显示较暗合成图像、差值输出图像。
此外，在本发明的各实施方式、变形例中，使用数字相机作为用于拍摄的机器进行了说明，但是，作为相机，可以是数字单反相机、无反射镜相机、紧凑型数字相机，也可以摄像机、录像机那样的动态图像用的相机，并且还可以是移动电话、智能手机、或便携信息终端（PDA：Personal Digital Assist：个人数字助理）、游戏设备等中内置的相机。无论何种情况，只要是能够进行B门拍摄的用于拍摄的设备，就能够应用本发明。
此外，在本说明书中说明的技术中，关于主要在流程图中进行说明的控制，大多数都能够利用程序来进行设定，有时也收录于记录介质或记录部中。关于向该记录介质、记录部的记录方法，可以在商品出厂时进行记录，也可以利用所发布的记录介质，还可以经由互联网进行下载。
此外，关于权利要求书、说明书以及附图中的动作流程，为了方便使用“首先”、“接着”等表现顺序的词语进行了说明，但是，在没有特别进行说明的部分，不意味着必须按照该顺序进行实施。
本发明不限于上述实施方式，在实施阶段中，能够在不脱离其主旨的范围内对结构要素进行变形并具体化。此外，通过适当组合上述实施方式所公开的多个结构要素能够形成各种发明。例如，也可以删除实施方式中示出的全部结构要素中若干结构要素。并且，也可以适当组合不同的实施方式的结构要素。
Claims (4)
1.一种拍摄装置，其根据从图像传感器读出的图像数据进行曝光调整，该拍摄装置具有：
图像传感器；
较亮合成处理部，其将根据从上述图像传感器读出的图像数据而最初生成的第1图像数据作为累积较亮合成图像数据进行存储，针对根据从上述图像传感器读出的从第2帧开始的图像数据而生成的每一个第2图像数据依次进行如下的较亮合成处理：在该较亮合成处理中，对构成根据从上述图像传感器读出的图像数据而生成的上述第2图像数据的多个像素数据与构成上述累积较亮合成图像数据的多个像素数据的分别对应的像素数据进行比较，将任意的较大一方的像素数据作为新的像素数据，重构上述累积较亮合成图像数据；
较暗合成处理部，其将根据从上述图像传感器读出的图像数据而最初生成的第1图像数据作为累积较暗合成图像数据进行存储，针对根据从上述图像传感器读出的从第2帧起的图像数据而生成的每一个第2图像数据依次进行如下的较暗图像合成处理：在该较暗图像合成处理中，对构成根据从上述图像传感器读出的图像数据而生成的上述第2图像数据的多个像素数据与构成上述累积较暗合成图像数据的多个像素数据的分别对应的像素数据进行比较，将任意的较小一方的像素数据作为新的像素数据，重构上述累积较暗合成图像数据；
差值图像合成部，其运算构成上述累积较亮合成图像数据的像素数据与构成上述累积较暗合成图像数据的像素数据的分别对应的像素数据的差，生成新的差值图像数据；以及
图像合成部，其将对上述累积较暗合成图像数据乘以任意的增益值而得到的图像数据和对上述差值图像数据乘以任意的增益值而得到的图像数据进行合成，
其中，该拍摄装置还具有将进行多次拍摄而得到的图像数据相加的图像相加合成部，
上述第1图像数据是以成为适当曝光的曝光时间进行拍摄而得到的图像数据，上述图像相加合成部将以比成为上述适当曝光的曝光时间短的曝光时间进行多次拍摄而得到的第3图像数据相加得到相加图像数据，当该相加图像数据与上述第1图像数据的差的绝对值在规定范围内时，将上述相加图像数据作为上述第2图像数据，其中，所述第2帧开始的图像数据包括所述第3图像数据。
2.一种拍摄装置，其根据从图像传感器读出的图像数据进行曝光调整，该拍摄装置具有：
图像传感器；
较亮合成处理部，其将根据从上述图像传感器读出的图像数据而最初生成的第1图像数据作为累积较亮合成图像数据进行存储，针对根据从上述图像传感器读出的从第2帧开始的图像数据而生成的每一个第2图像数据依次进行如下的较亮图像合成处理：在该较亮图像合成处理中，将构成根据从上述图像传感器读出的图像数据而生成的上述第2图像数据的多个像素数据和构成上述累积较亮合成图像数据的多个像素数据的分别对应的像素数据的差与规定的值进行比较，当上述差为上述规定的值以上时，对构成根据从上述图像传感器读出的图像数据而生成的上述第2图像数据的多个像素数据和构成上述累积较亮合成图像数据的多个像素数据的分别对应的像素数据进行比较，将任意的较大一方的像素数据作为新的像素数据，当上述差小于上述规定的值时，将构成根据从上述图像传感器读出的图像数据而生成的上述第2图像数据的像素数据和构成上述累积较亮合成图像数据的像素数据的分别对应的像素数据的平均值作为新的像素数据，重构上述累积较亮合成图像数据；
较暗合成处理部，其将根据从上述图像传感器读出的图像数据而最初生成的第1图像数据作为累积较暗合成图像数据进行存储，针对根据从上述图像传感器读出的从第2帧起的图像数据而生成的每一个第2图像数据依次进行如下的较暗图像合成处理：在较暗图像合成处理中，将构成根据从上述图像传感器读出的图像数据而生成的上述第2图像数据的多个像素数据和构成上述累积较暗合成图像数据的多个像素数据的分别对应的像素数据的差与规定的值进行比较，当上述差为上述规定的值以上时，对构成根据从上述图像传感器读出的图像数据而生成的上述第2图像数据的多个像素数据和构成上述累积较暗合成图像数据的多个像素数据的分别对应的像素数据进行比较，将任意的较小一方的像素数据作为新的像素数据，当上述差小于上述规定的值时，将构成根据从上述图像传感器读出的图像数据而生成的上述第2图像数据的像素数据和构成上述累积较暗合成图像数据的像素数据的分别对应的像素数据的平均值作为新的像素数据，重构上述累积较暗合成图像数据；
差值图像合成部，其运算构成上述累积较亮合成图像数据的多个像素数据与构成上述累积较暗合成图像数据的多个像素数据中的各个像素数据的差，生成新的差值图像数据；以及
图像合成部，其将对上述累积较暗合成图像数据乘以任意的增益值而得到的图像数据和对上述差值图像数据乘以任意的增益值而得到的图像数据进行合成，
其中，该拍摄装置还具有将进行多次拍摄而得到的图像数据相加的图像相加合成部，
上述第1图像数据是以成为适当曝光的曝光时间进行拍摄而得到的图像数据，上述图像相加合成部将以比成为上述适当曝光的曝光时间短的曝光时间进行多次拍摄而得到的第3图像数据相加得到相加图像数据，当该相加图像数据与上述第1图像数据的差的绝对值在规定范围内时，将上述相加图像数据作为上述第2图像数据，其中，所述第2帧开始的图像数据包括所述第3图像数据。
3.一种拍摄方法，根据从图像传感器读出的图像数据进行曝光调整，该拍摄方法具有：
较亮合成处理步骤，将根据从图像传感器读出的图像数据而最初生成的第1图像数据作为累积较亮合成图像数据进行存储，针对根据从上述图像传感器读出的从第2帧开始的图像数据而生成的每一个第2图像数据依次进行如下的较亮合成处理：在该较亮合成处理中，对构成根据从上述图像传感器读出的图像数据而生成的上述第2图像数据的多个像素数据与构成上述累积较亮合成图像数据的多个像素数据的分别对应的像素数据进行比较，将任意的较大一方的像素数据作为新的像素数据，重构上述累积较亮合成图像数据；
较暗合成处理步骤，将根据从上述图像传感器读出的图像数据而最初生成的第1图像数据作为累积较暗合成图像数据进行存储，针对根据从上述图像传感器读出的从第2帧起的图像数据而生成的每一个第2图像数据依次进行如下的较暗图像合成处理：在较暗图像合成处理中，对构成根据从上述图像传感器读出的图像数据而生成的上述第2图像数据的多个像素数据与构成上述累积较暗合成图像数据的多个像素数据的分别对应的像素数据进行比较，将任意的较小一方的像素数据作为新的像素数据，重构上述累积较暗合成图像数据；
差值图像合成步骤，运算构成上述累积较亮合成图像数据的像素数据与构成上述累积较暗合成图像数据的像素数据的分别对应的像素数据的差，生成新的差值图像数据；以及
图像合成步骤，将对上述累积较暗合成图像数据乘以任意的增益值而得到的图像数据和对上述差值图像数据乘以任意的增益值而得到的图像数据进行合成，
其中，该拍摄方法还具有将进行多次拍摄而得到的图像数据相加的图像相加合成步骤，
上述第1图像数据是以成为适当曝光的曝光时间进行拍摄而得到的图像数据，在上述图像相加合成步骤中，将以比成为上述适当曝光的曝光时间短的曝光时间进行多次拍摄而得到的第3图像数据相加得到相加图像数据，当该相加图像数据与上述第1图像数据的差的绝对值在规定范围内时，将上述相加图像数据作为上述第2图像数据，其中，所述第2帧开始的图像数据包括所述第3图像数据。
4.一种拍摄方法，根据从图像传感器读出的图像数据进行曝光调整，该拍摄方法具有：
较亮合成处理步骤，将根据从图像传感器读出的图像数据而最初生成的第1图像数据作为累积较亮合成图像数据进行存储，针对根据从上述图像传感器读出的从第2帧开始的图像数据而生成的每一个第2图像数据依次进行如下的较亮图像合成处理：在该较亮图像合成处理中，将构成根据从上述图像传感器读出的图像数据而生成的上述第2图像数据的多个像素数据和构成上述累积较亮合成图像数据的多个像素数据的分别对应的像素数据的差与规定的值进行比较，当上述差为上述规定的值以上时，对构成根据从上述图像传感器读出的图像数据而生成的上述第2图像数据的多个像素数据和构成上述累积较亮合成图像数据的多个像素数据的分别对应的像素数据进行比较，将任意的较大一方的像素数据作为新的像素数据，当上述差小于上述规定的值时，将构成根据从上述图像传感器读出的图像数据而生成的上述第2图像数据的像素数据和构成上述累积较亮合成图像数据的像素数据的分别对应的像素数据的平均值作为新的像素数据，重构上述累积较亮合成图像数据；
较暗合成处理步骤，将根据从上述图像传感器读出的图像数据而最初生成的第1图像数据作为累积较暗合成图像数据进行存储，针对根据从上述图像传感器读出的从第2帧起的图像数据而生成的每一个第2图像数据依次进行如下的较暗图像合成处理：在较暗图像合成处理中，将构成根据从上述图像传感器读出的图像数据而生成的上述第2图像数据的多个像素数据和构成上述累积较暗合成图像数据的多个像素数据的分别对应的像素数据的差与规定的值进行比较，当上述差为上述规定的值以上时，对构成根据从上述图像传感器读出的图像数据而生成的上述第2图像数据的多个像素数据和构成上述累积较暗合成图像数据的多个像素数据的分别对应的像素数据进行比较，将任意的较小一方的像素数据作为新的像素数据，当上述差小于上述规定的值时，将构成根据从上述图像传感器读出的图像数据而生成的上述第2图像数据的像素数据和构成上述累积较暗合成图像数据的像素数据的分别对应的像素数据的平均值作为新的像素数据，重构上述累积较暗合成图像数据；
差值图像合成步骤，运算构成上述累积较亮合成图像数据的多个像素数据与构成上述累积较暗合成图像数据的多个像素数据中的各个像素数据的差，生成新的差值图像数据；以及
图像合成步骤，将对上述累积较暗合成图像数据乘以任意的增益值而得到的图像数据和对上述差值图像数据乘以任意的增益值而得到的图像数据进行合成，
其中，该拍摄方法还具有将进行多次拍摄而得到的图像数据相加的图像相加合成步骤，
上述第1图像数据是以成为适当曝光的曝光时间进行拍摄而得到的图像数据，在所述图像相加合成步骤中，将以比成为上述适当曝光的曝光时间短的曝光时间进行多次拍摄而得到的第3图像数据相加得到相加图像数据，当该相加图像数据与上述第1图像数据的差的绝对值在规定范围内时，将上述相加图像数据作为上述第2图像数据，其中，所述第2帧开始的图像数据包括所述第3图像数据。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013087300A JP6034740B2 (ja) | 2013-04-18 | 2013-04-18 | 撮像装置および撮像方法 |
| JP2013-087300 | 2013-04-18 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104113700A CN104113700A (zh) | 2014-10-22 |
| CN104113700B true CN104113700B (zh) | 2018-01-16 |
Family
ID=51710323
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410154987.2A Expired - Fee Related CN104113700B (zh) | 2013-04-18 | 2014-04-17 | 拍摄装置和拍摄方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (2) | US9635272B2 (zh) |
| JP (1) | JP6034740B2 (zh) |
| CN (1) | CN104113700B (zh) |
Families Citing this family (45)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005093654A2 (en) | 2004-03-25 | 2005-10-06 | Fatih Ozluturk | Method and apparatus to correct digital image blur due to motion of subject or imaging device |
| US9826159B2 (en) * | 2004-03-25 | 2017-11-21 | Clear Imaging Research, Llc | Method and apparatus for implementing a digital graduated filter for an imaging apparatus |
| US10721405B2 (en) | 2004-03-25 | 2020-07-21 | Clear Imaging Research, Llc | Method and apparatus for implementing a digital graduated filter for an imaging apparatus |
| JP6034740B2 (ja) | 2013-04-18 | 2016-11-30 | オリンパス株式会社 | 撮像装置および撮像方法 |
| JP6278636B2 (ja) * | 2013-08-21 | 2018-02-14 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム、並びに記憶媒体 |
| CN104104886B (zh) * | 2014-07-24 | 2016-07-06 | 努比亚技术有限公司 | 过曝拍摄方法及装置 |
| CN104202521B (zh) * | 2014-08-28 | 2016-05-25 | 努比亚技术有限公司 | 拍摄方法及拍摄装置 |
| JP2016076869A (ja) * | 2014-10-08 | 2016-05-12 | オリンパス株式会社 | 撮像装置、撮影方法、およびプログラム |
| JP6370207B2 (ja) * | 2014-12-17 | 2018-08-08 | オリンパス株式会社 | 撮像装置、画像処理装置、撮像方法、およびプログラム |
| TWI512270B (zh) * | 2015-01-13 | 2015-12-11 | Pixart Imaging Inc | 具動態曝光時間的光學測距系統 |
| JP2016163052A (ja) * | 2015-02-26 | 2016-09-05 | オリンパス株式会社 | 画像処理装置、撮像装置、画像処理方法、及び画像処理プログラム |
| JP2016167767A (ja) * | 2015-03-10 | 2016-09-15 | オリンパス株式会社 | 撮像装置、合成撮影方法及び合成撮影プログラム |
| CN104700426B (zh) * | 2015-04-02 | 2017-11-03 | 厦门美图之家科技有限公司 | 一种判断图像是否偏暗或偏亮的方法和系统 |
| EP3286915B1 (en) | 2015-04-23 | 2021-12-08 | Apple Inc. | Digital viewfinder user interface for multiple cameras |
| US10148890B2 (en) * | 2015-05-01 | 2018-12-04 | Olympus Corporation | Image pickup apparatus and method for controlling the same to prevent display of a through image from being stopped when a shutter unit is not completely opened |
| JP6476064B2 (ja) * | 2015-05-01 | 2019-02-27 | オリンパス株式会社 | 撮像装置、及び撮像制御方法 |
| CN105072350B (zh) * | 2015-06-30 | 2019-09-27 | 华为技术有限公司 | 一种拍照方法及装置 |
| CN105025229B (zh) * | 2015-07-30 | 2018-06-29 | 广东欧珀移动通信有限公司 | 调节照片亮度的方法和相关装置 |
| CN105141853B (zh) * | 2015-08-18 | 2019-02-05 | 联想(北京)有限公司 | 图像处理方法以及电子设备 |
| JP6569176B2 (ja) | 2015-08-26 | 2019-09-04 | オリンパス株式会社 | 画像処理装置、撮像装置、画像処理方法 |
| JP6246175B2 (ja) * | 2015-10-09 | 2017-12-13 | キヤノン株式会社 | 被写体の軌跡を撮像する撮像装置及び撮像装置の制御方法 |
| JP6736282B2 (ja) * | 2015-11-16 | 2020-08-05 | オリンパス株式会社 | 画像処理装置及び画像処理方法 |
| JP2017108309A (ja) * | 2015-12-10 | 2017-06-15 | オリンパス株式会社 | 撮像装置および撮像方法 |
| JP6659162B2 (ja) * | 2016-03-15 | 2020-03-04 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法及びプログラム |
| US10009536B2 (en) | 2016-06-12 | 2018-06-26 | Apple Inc. | Applying a simulated optical effect based on data received from multiple camera sensors |
| JP6284604B2 (ja) * | 2016-10-28 | 2018-02-28 | オリンパス株式会社 | 画像処理装置、画像処理方法、およびプログラム |
| JP6827854B2 (ja) * | 2017-03-09 | 2021-02-10 | キヤノン株式会社 | 画像処理装置及び方法、及び撮像装置 |
| DK180859B1 (en) | 2017-06-04 | 2022-05-23 | Apple Inc | USER INTERFACE CAMERA EFFECTS |
| US11112964B2 (en) | 2018-02-09 | 2021-09-07 | Apple Inc. | Media capture lock affordance for graphical user interface |
| US10375313B1 (en) | 2018-05-07 | 2019-08-06 | Apple Inc. | Creative camera |
| US11722764B2 (en) | 2018-05-07 | 2023-08-08 | Apple Inc. | Creative camera |
| US10674072B1 (en) | 2019-05-06 | 2020-06-02 | Apple Inc. | User interfaces for capturing and managing visual media |
| US11770601B2 (en) | 2019-05-06 | 2023-09-26 | Apple Inc. | User interfaces for capturing and managing visual media |
| US11128792B2 (en) | 2018-09-28 | 2021-09-21 | Apple Inc. | Capturing and displaying images with multiple focal planes |
| US11321857B2 (en) | 2018-09-28 | 2022-05-03 | Apple Inc. | Displaying and editing images with depth information |
| CN112887586B (zh) * | 2019-05-06 | 2022-05-10 | 苹果公司 | 用于捕获和管理视觉媒体的用户界面 |
| US11706521B2 (en) | 2019-05-06 | 2023-07-18 | Apple Inc. | User interfaces for capturing and managing visual media |
| JP2020202452A (ja) * | 2019-06-07 | 2020-12-17 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| JP2021125820A (ja) * | 2020-02-06 | 2021-08-30 | キヤノン株式会社 | 撮像装置、制御方法、プログラムおよび記録媒体 |
| US11054973B1 (en) | 2020-06-01 | 2021-07-06 | Apple Inc. | User interfaces for managing media |
| CN112351214B (zh) * | 2020-09-22 | 2022-05-06 | 智博汽车科技(上海)有限公司 | 辅助人脸图像采集的方法、装置、可读存储介质及车辆 |
| US11212449B1 (en) | 2020-09-25 | 2021-12-28 | Apple Inc. | User interfaces for media capture and management |
| US11539876B2 (en) | 2021-04-30 | 2022-12-27 | Apple Inc. | User interfaces for altering visual media |
| US11778339B2 (en) | 2021-04-30 | 2023-10-03 | Apple Inc. | User interfaces for altering visual media |
| CN113411513B (zh) * | 2021-08-20 | 2021-11-26 | 中国传媒大学 | 基于显示终端的智能灯光调节方法、装置及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005117395A (ja) * | 2003-10-08 | 2005-04-28 | Konica Minolta Photo Imaging Inc | 撮像装置 |
| CN102469255A (zh) * | 2010-11-08 | 2012-05-23 | 奥林巴斯映像株式会社 | 摄像装置和摄像方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4148586B2 (ja) | 1999-03-08 | 2008-09-10 | カシオ計算機株式会社 | 画像合成装置 |
| US8184904B2 (en) * | 2008-06-04 | 2012-05-22 | Wipro Limited | Method and apparatus for dynamic and adaptive enhancement of colors in digital video images |
| JP5895409B2 (ja) * | 2011-09-14 | 2016-03-30 | 株式会社リコー | 撮像装置 |
| JP5889323B2 (ja) * | 2011-10-12 | 2016-03-22 | キヤノン株式会社 | 撮像装置及び撮像装置の制御方法 |
| US8515270B1 (en) * | 2012-08-03 | 2013-08-20 | Granite Bay Software | System and method for improved time-lapse photography |
| JP6034740B2 (ja) | 2013-04-18 | 2016-11-30 | オリンパス株式会社 | 撮像装置および撮像方法 |
| JP6391383B2 (ja) | 2014-02-10 | 2018-09-19 | キヤノン株式会社 | 画像処理装置、その制御方法、プログラム及び記憶媒体 |
-
2013
- 2013-04-18 JP JP2013087300A patent/JP6034740B2/ja active Active
-
2014
- 2014-04-17 CN CN201410154987.2A patent/CN104113700B/zh not_active Expired - Fee Related
- 2014-04-17 US US14/255,000 patent/US9635272B2/en active Active
-
2017
- 2017-03-11 US US15/456,500 patent/US9912875B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005117395A (ja) * | 2003-10-08 | 2005-04-28 | Konica Minolta Photo Imaging Inc | 撮像装置 |
| CN102469255A (zh) * | 2010-11-08 | 2012-05-23 | 奥林巴斯映像株式会社 | 摄像装置和摄像方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20140313367A1 (en) | 2014-10-23 |
| US20170187941A1 (en) | 2017-06-29 |
| CN104113700A (zh) | 2014-10-22 |
| US9912875B2 (en) | 2018-03-06 |
| JP2014212415A (ja) | 2014-11-13 |
| US9635272B2 (en) | 2017-04-25 |
| JP6034740B2 (ja) | 2016-11-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104113700B (zh) | 拍摄装置和拍摄方法 | |
| US8081220B2 (en) | Digital still camera and method of controlling image combination | |
| JP6936930B2 (ja) | 撮像装置および焦点調節方法 | |
| CN111684788A (zh) | 一种图像处理的方法和装置 | |
| CN105721741B (zh) | 摄像装置、图像处理装置以及摄像方法 | |
| CN106878624A (zh) | 摄像装置和摄像方法 | |
| JP6321990B2 (ja) | 撮像装置および撮像方法 | |
| JP6250098B2 (ja) | 撮像装置および撮像方法 | |
| JP4323969B2 (ja) | 撮影装置 | |
| JP2016149631A (ja) | 撮像装置および撮像方法 | |
| JP6096041B2 (ja) | 撮像装置および撮像方法 | |
| JP5495598B2 (ja) | 撮像装置及びその制御方法 | |
| CN106101521B (zh) | 摄像装置以及摄像装置的控制方法 | |
| JP5747595B2 (ja) | 露出制御装置及びカメラ | |
| JP2010200097A (ja) | 撮像装置 | |
| JP2016225757A (ja) | 撮像装置、撮像方法 | |
| JP6284604B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| JP6418715B2 (ja) | 画像処理装置および画像処理方法 | |
| JP2006050139A (ja) | 光学機器 | |
| JP2016054447A (ja) | 撮像装置、画像処理装置、画像処理方法、および画像処理プログラム | |
| JP2006115172A (ja) | 撮影装置およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20211208 Address after: Tokyo, Japan Patentee after: Aozhixin Digital Technology Co.,Ltd. Address before: Tokyo, Japan Patentee before: OLYMPUS Corp. |
|
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180116 |