CN105594196A - 摄像装置和摄像方法 - Google Patents

摄像装置和摄像方法 Download PDF

Info

Publication number
CN105594196A
CN105594196A CN201480054290.6A CN201480054290A CN105594196A CN 105594196 A CN105594196 A CN 105594196A CN 201480054290 A CN201480054290 A CN 201480054290A CN 105594196 A CN105594196 A CN 105594196A
Authority
CN
China
Prior art keywords
view data
mentioned
data
image
dark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480054290.6A
Other languages
English (en)
Other versions
CN105594196B (zh
Inventor
岩崎宏明
细野兼矢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN105594196A publication Critical patent/CN105594196A/zh
Application granted granted Critical
Publication of CN105594196B publication Critical patent/CN105594196B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H04N25/677—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction for reducing the column or line fixed pattern noise
    • G06T5/70—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种在对从图像传感器连续读出的图像信号进行比较合成(较亮合成或较暗合成)而生成B门摄影图像时，进行校正以提高FPN删除的校正效果，使画质提高的摄像装置和摄像方法。在进行B门摄影等的长时间曝光时，在打开快门并取得亮图像以前，在对快门进行了遮光的状态下取得暗时图像_1，并在长时间曝光结束后，在对快门进行了遮光的状态下取得暗时图像_2。而且，在进行较亮合成处理或者较暗合成处理的情况下，使用暗时图像_1或者暗时图像_2的任意一个，进行FPN处理。

Description

摄像装置和摄像方法
技术领域
本发明涉及在数字静态照相机等电子摄像装置中特别是能够通过较亮合成、较暗合成来生成B门摄影图像且能够任意调整曝光时间的摄像装置和摄像方法。
背景技术
以往，在单反式的摄像装置中，通过光学式取景器进行被摄体像的观察。但是，最近已知有以下摄像装置：取消光学式取景器，通过实时取景显示，观察被摄体像，该实时取景显示由液晶监视器等显示从图像传感器读出的图像。此外，销售有以下摄像装置：取代光学取景器，与液晶监视器分别使用电子取景器来显示实时取景显示的图像，并能够对液晶监视器和电子取景器进行切换。
以往，光学取景器的情况和电子取景器的情况下均在如B门摄影的长时间摄影时，由于无法在曝光中进行来自图像传感器的图像信号的读出，所以无法确认被摄体的状态或曝光状态，在摄影结束后确认图像。所以，对于摄影者来说，根据被摄体的亮度等由摄影者自己估计曝光设定或曝光时间，确定曝光的开始或结束，不产生由于曝光不足或过多导致的摄影失败地获得期望的摄影图像并不容易。
因此，提出有以下摄像装置：以规定的时间间隔从图像传感器中读出像素信号，每次从图像传感器中读出该图像信号时，将单纯地累计相加所得的图像显示在液晶监视器中(参照专利文献1)。根据该摄像装置，在B门摄影等长时间摄影时，由于显示中途经过，所以能够减少摄影的失败。此外，提出了以下摄像装置：连续从图像传感器中读出图像信号，通过较亮合成(对图像数据的每个像素的亮度级别进行比较，选择较大一方作为合成后的亮度级别的合成方式)，生成B门摄影图像(参照专利文献2)。
现有技术文献
专利文献
专利文献1：日本特开2005-117395号公报
专利文献2：日本特许第4148586号公报
发明内容
发明所要解决的课题
在B门摄影中，进行利用在几秒～几分钟范围的长时间的曝光的摄影。作为图像传感器的特性，在长时间摄影时在构成图像传感器的像素的光电二极管中产生暗电流成分，并产生固定模式噪声。暗电流的产生量按照每个像素存在偏差，与曝光时间成比例地增加。此外，具有图像传感器的温度越高越增加的特性，在图像中表现为缺陷状的噪声或图像浓度不匀。
由于打开快门后无论是曝光的状态下的摄影还是遮光的状态下的摄影都毫不相关地仅依赖曝光时的图像传感器温度和曝光时间，产生由该暗电流导致的固定模式噪声，所以，在目前销售的数字照相机中，进行FPN(FixedPatternNoise：固定模式噪声)删除处理，即，在B门摄影时，用户在摄影后(使摄影图像为亮时图像)自动以相同的快门速度拍摄遮光图像，在图像传感器后级的图像处理电路中进行亮时图像数据和遮光图像数据的减法处理，由此校正固定模式噪声。
但是，在用户使用专利文献1、2所记载的摄像装置或近年来销售的数字照相机进行B门摄影时，在摄影前一边确认被实时取景显示的图像一边进行构图的确认、焦点调节和其他摄影设定后，开始摄影。此外，以用户在实时取景显示和通过肉眼直接观察被摄体后不会感觉到不舒适而是能够将注意力集中到构图调整等摄影的方式，由图像传感器在实时取景中以高速(1秒30帧、60帧或其以上)的帧率显示图像。
另一方面，在开始B门摄影后，在曝光动作中来自图像传感器的读出动作的次数减少，并进行抑制了图像传感器内部的一部分电路的电力消耗的动作，与实时取景中的动作相比，成为充分抑制了电力消耗即来自图像传感器的发热的状态。此外，由于在未进行图像读出的期间，未通过图像处理电路进行处理，也未进行实时取景图像的显示更新，所以照相机整体的发热得到抑制。因此，在环境温度不变的位置进行了摄影的情况下，存在以下倾向：在B门摄影开始时温度高，越进行曝光，温度越降低。
在专利文献1、2所记载的摄像装置或通常销售的搭载了实时取景功能的数字照相机中，由于在亮时图像摄影后拍摄暗时图像，所以暗时图像是在在图像传感器的温度进一步降低的状态下拍摄的。由于图像传感器的温度越高，作为固定模式噪声的原因的暗时电流越增加，所以亮时图像的固定模式噪声比暗时图像大，即使进行FPN删除处理也无法校正。
本发明正是鉴于这种情况而完成的，其目的在于提供一种在对从图像传感器连续读出的图像信号进行比较合成(较亮合成或较暗合成)而生成B门摄影图像时，以FPN删除的校正效果提高的方式进行校正，使画质提高的摄像装置和摄像方法。
用于解决课题的手段
本发明的第1方式的摄像装置其存储根据从摄像元件读出的图像数据而最初生成的第1图像数据作为累计较亮合成图像数据，接着对根据从上述摄像元件读出的图像数据而生成的从第2帧起的第2图像数据依次反复进行较亮合成处理，该较亮合成处理是对构成根据从上述摄像元件读出的图像数据而生成的上述第2图像数据的多个像素数据和构成上述累计较亮合成图像数据的多个像素数据的分别对应的像素数据进行比较，将任意的较大一方的像素数据作为新的像素数据来再次构成上述累计较亮合成图像数据，其特征在于，该摄像装置具有：暗时图像数据摄像部，其在取得上述第1图像数据以前或者最后取得的上述第2图像数据以后，在对入射到上述摄像元件的摄像面的光线进行了遮光的状态下取得暗时图像数据；以及校正部，其使用上述暗时图像数据来校正上述累计较亮合成图像数据中的固定模式噪声，上述校正部使用在取得上述第1图像数据以前取得的暗时图像数据或者在上述最后取得的上述第2图像数据以后取得的暗时图像数据中的、在与取得上述第1图像数据或者上述第2图像数据的时刻中假设摄像元件的温度最高的时刻最接近的时刻取得的暗时图像数据，校正上述累计较亮合成图像数据中的固定模式噪声。
本发明的第2方式的摄像装置存储根据从摄像元件读出的图像数据而最初生成的第1图像数据作为累计较暗合成图像数据，接着对根据从上述摄像元件读出的图像数据而生成的从第2帧起的第2图像数据依次反复进行较暗合成处理，该较暗合成处理是对构成根据从上述摄像元件读出的图像数据而生成的上述第2图像数据的多个像素数据和构成上述累计较暗合成图像数据的多个像素数据的分别对应的像素数据进行比较，将任意的较小一方的像素数据作为新的像素数据来再次构成上述累计较暗合成图像数据，其特征在于，该摄像装置具有：暗时图像数据摄像部，其在取得上述第1图像数据以前或者最后取得的上述第2图像数据以后，在对入射到上述摄像元件的摄像面的光线进行了遮光的状态下取得暗时图像数据；以及校正部，其使用上述暗时图像数据来校正上述累计较暗合成图像数据中的固定模式噪声，上述校正部使用在取得上述第1图像数据以前取得的暗时图像数据或者在上述最后取得的上述第2图像数据以后取得的暗时图像数据中的、在与取得上述第1图像数据或者上述第2图像数据的时刻中假设摄像元件的温度最低的时刻最接近的时刻取得的暗时图像数据，校正上述累计较暗合成图像数据中的固定模式噪声。
本发明的第3方式的摄像方法存储根据从摄像元件读出的图像数据而最初生成的第1图像数据作为累计较亮合成图像数据，接着对根据从上述摄像元件读出的图像数据而生成的从第2帧起的第2图像数据依次反复进行较亮合成处理，该较亮合成处理是对构成根据从上述摄像元件读出的图像数据而生成的上述第2图像数据的多个像素数据和构成上述累计较亮合成图像数据的多个像素数据的分别对应的像素数据进行比较，将任意的较大一方的像素数据作为新的像素数据来再次构成上述累计较亮合成图像数据，其特征在于，该摄像方法具有：暗时图像数据摄像步骤，在取得上述第1图像数据以前或者最后取得的上述第2图像数据以后，在对入射到上述摄像元件的摄像面的光线进行了遮光的状态下取得暗时图像数据；以及校正步骤，使用上述暗时图像数据来校正上述累计较亮合成图像数据中的固定模式噪声，上述校正步骤中，使用在取得上述第1图像数据以前取得的暗时图像数据或者在上述最后取得的上述第2图像数据以后取得的暗时图像数据中的、在与取得上述第1图像数据或者上述第2图像数据的时刻中假设摄像元件的温度最高的时刻最接近的时刻取得的暗时图像数据，校正上述累计较亮合成图像数据中的固定模式噪声。
本发明的第4方式的摄像方法存储根据从摄像元件读出的图像数据而最初生成的第1图像数据作为累计较暗合成图像数据，接着对根据从上述摄像元件读出的图像数据而生成的从第2帧起的第2图像数据依次反复进行较暗合成处理，该较暗合成处理是对构成根据从上述摄像元件读出的图像数据而生成的上述第2图像数据的多个像素数据和构成上述累计较暗合成图像数据的多个像素数据的分别对应的像素数据进行比较，将任意的较小一方的像素数据作为新的像素数据来再次构成上述累计较暗合成图像数据，其特征在于，该摄像方法具有：暗时图像数据摄像步骤，在取得上述第1图像数据以前或者最后取得的上述第2图像数据以后，在对入射到上述摄像元件的摄像面的光线进行了遮光的状态下取得暗时图像数据；以及校正步骤，使用上述暗时图像数据来校正上述累计较暗合成图像数据中的固定模式噪声，上述校正步骤中，使用在取得上述第1图像数据以前取得的暗时图像数据或者在上述最后取得的上述第2图像数据以后取得的暗时图像数据中的、在与取得上述第1图像数据或者上述第2图像数据的时刻中假设摄像元件的温度最低的时刻最接近的时刻取得的暗时图像数据，校正上述累计较暗合成图像数据中的固定模式噪声。
发明效果
根据本发明，能够提供一种在对从图像传感器连续读出的图像信号进行比较合成(较亮合成或较暗合成)而生成B门摄影图像时，进行校正以提高FPN删除的校正效果，使画质提高的摄像装置和摄像方法。
附图说明
图1是示出本发明的一个实施方式的照相机的主要电气结构的框图。
图2是示出本发明的一个实施方式的照相机中的设定了比较合成模式的情况下的动作的流程图。
图3是示出本发明的一个实施方式的照相机中的设定了比较合成模式的情况下的动作的流程图。
图4是示出本发明的一个实施方式的照相机中的较亮合成处理时的动作的时序图。
图5是示出本发明的一个实施方式的照相机中的较暗合成处理时的动作的时序图。
具体实施方式
以下，使用应用了本发明的照相机对优选实施方式进行说明。本发明的优选实施方式的照相机为数字照相机，大体上在显示部中实时取景显示基于从摄像元件(图像传感器4)读出的图像数据的图像数据，并且根据释放按钮的操作，将图像处理为记录用的图像数据而记录在外部存储器中。此外，通过从拍摄时的亮时图像中减去在对入射到摄像元件的摄像面的光线进行了遮光的状态下取得的暗时图像，进行FPN校正。在进行该FPN校正时，以取得成为校正对象的亮时图像时的温度和暗时图像取得时的温度尽可能相等的方式调整暗时图像取得的时机。
即，在本实施方式中，在对从图像传感器4中连续读出的图像信号进行比较合成而生成B门摄影图像时，在进行较亮合成(按照图像数据的每个像素对亮度级别进行比较，选择较大一方作为合成后的亮度级别的图像合成)作为比较合成的情况下(参照图2的S21)，使用在亮时图像拍摄前所拍摄的暗时图像进行FPN删除(参照图2的S25)。此外，在进行较暗合成(按照图像数据的每个像素对亮度级别进行比较，选择较小一方作为合成后的亮度级别的图像合成)作为比较合成的情况下，通过使用在拍摄了亮时图像后拍摄的暗时图像进行FPN删除，高精度地校正合成图像的固定模式噪声，提高画质(参照图3的S41)。此外，也对合成中途的图像使用在亮时图像拍摄前拍摄的暗时图像进行FPN删除，也提高实时取景显示或中途经过的记录图像的画质(参照图2的S25、图3的S31)。
图1是示出作为本发明优选实施方式的一个实施方式的照相机的主要电气结构的框图。本实施方式的照相机具有：摄像部1、图像处理部10、系统控制部20、以及总线31和与总线31连接的各部。另外，虽然在本实施方式中，镜头2与照相机主体构成为一体，但是镜头2当然也可以为更换镜头。
在摄像部1内具有：镜头2、机械快门3、图像传感器4和温度传感器5。镜头2将被摄体的光学像成像到图像传感器4上。在该镜头2内具有：确定用于调节曝光量的光圈值的光圈。此外，机械快门3通过开闭动作来进行向图像传感器4的曝光或遮光，并控制快门速度。通过关闭机械快门3，图像传感器4被遮光，将在该状态下取得的图像数据称作暗时图像数据。
图像传感器4包含CMOS图像传感器或CCD图像传感器等摄像元件，按照每个像素将由镜头2成像的被摄体的光学像转换为电信号，将图像数据输出到图像处理部10和总线31。总线31是用于在各个块之间进行信号的收发的信号线。机械快门3和图像传感器4作为暗时图像数据摄像部发挥作用，该暗时图像数据摄像部在取得第1图像数据(第1图像数据是根据从图像传感器4读出的图像数据而最初生成的图像数据)以前或者最后取得的第2图像数据(第2图像数据是在生成第1图像数据后，根据从图像传感器4读出的图像数据而生成的图像数据)后，在对入射到图像传感器4的摄像面的光线进行了遮光的状态下取得暗时图像数据。
温度传感器5配置在图像传感器4的附近，将与图像传感器4的周围的温度相应的信号输出到系统控制部20。如后所述，温度传感器5至少将取得第1图像数据时和取得第2图像数据时的温度数据输出到系统控制部20，所述第1图像数据是根据从图像传感器4读出的图像数据而最初生成的，所述第2图像数据是根据从图像传感器4读出的图像数据而最后生成的。
图像处理部10对从图像传感器4输出的图像数据实施图像处理。该图像处理部10具有：图像合成部11、FPN删除处理部12和显像处理部13。
图像合成部11具有较亮合成部11a和较暗合成部11b，按照从图像传感器4连续读出的图像或保存在内部存储器33中的图像数据中的分别对应的每个像素对输出进行比较，按照每个像素，通过较亮合成处理和较暗合成处理来生成合成图像。
较亮合成部11a进行如下的较亮合成处理。将构成根据从图像传感器4读出的图像数据而最初生成的图像数据的像素数据作为累计较亮合成图像数据存储在内部存储器33中。接着，在从图像传感器4读出图像数据后，较亮合成部11a对构成根据所读出的图像数据而生成的图像数据的像素数据和构成存储在内部存储器33中的累计较亮合成图像数据的多个像素数据的分别对应的像素数据进行比较。而且，根据比较分别对应的像素数据后的结果，检测任意的较大一方、即较亮一方的像素数据，使用该较亮一方的像素数据再次构成累计较亮合成图像数据。每次从图像传感器4读出图像数据时，反复进行该处理。另外，在拍摄例如天体照片的情况下进行较亮合成处理时，能够获得夜空的星星的光迹的图像。
较暗合成部11b进行如下的较暗合成处理。将构成根据从图像传感器4读出的图像数据而最初生成的图像数据的像素数据作为累计较暗合成图像数据存储在内部存储器33中。接着，在从图像传感器4读出图像数据后，较暗合成部11b对构成根据所读出的图像数据而生成的图像数据的像素数据和构成存储在内部存储器33中的累计较暗合成图像数据的多个像素数据的分别对应的像素数据进行比较。而且，比较分别对应的像素数据后的结果是，检测任意的较小一方、即较暗一方的像素数据，使用该较暗一方的像素数据，再次构成累计较暗合成图像数据。另外，在拍摄例如天体照片的情况下进行较暗合成处理时，能够消除夜空的星星的光迹，获得背景的图像。
FPN删除处理部12进行亮时摄影图像(在打开机械快门3时拍摄出的摄影图像)和暗时摄影图像(在关闭机械快门3时拍摄出并用于取得暗时图像数据的图像)的每个像素数据的输出的减法处理，校正固定模式噪声。FPN删除处理部12作为使用暗时图像数据来校正累计较亮合成图像数据中的固定模式噪声的校正部发挥作用。该校正部使用在取得第1图像数据以前取得的暗时图像数据或者在最后取得的第2图像数据以后取得的暗时图像数据中的、在与假设取得第1图像数据或者第2图像数据时的摄像元件的温度最高的时刻最接近的时刻取得的暗时图像数据，校正累计较亮合成图像数据中的固定模式噪声。
此外，FPN删除处理部12作为使用暗时图像数据来校正上述累计较暗合成图像数据中的固定模式噪声的校正部发挥作用。该校正部使用在取得第1图像数据以前取得的暗时图像数据或者在最后取得的第2图像数据以后取得的暗时图像数据中的、在与假设取得第1图像数据或者第2图像数据时的摄像元件的温度最低的时刻最接近的时刻取得的暗时图像数据，校正累计较暗合成图像数据中的固定模式噪声。
显像处理部13对由图像合成部10生成的RAW图像数据进行去马赛克、白平衡调整、伽马校正、图像压缩等显像处理。
在总线31上除了前述的图像处理部10以外还连接有内部存储器33、外部存储器36、显示部37、输入IF(接口：Interface)38和系统控制部20。
内部存储器33暂时存储照相机动作所需的各种设定信息或在图像处理时中途经过的图像数据。内部存储器33由闪存、SDRAM等非易失性存储器构成。
外部存储器36是在照相机主体上安装自如或者固定于内部的非易失性的存储介质，例如为SD卡或CF卡等。该外部存储器36记录由显像处理部13进行了显像处理后的图像数据，此外，能够在再现时读出所记录的图像数据，并输出到照相机的外部。
显示部37具有：TFT(ThinFilmTransistor：薄膜晶体管)液晶或有机EL等背面显示部或EVF(电子取景器)，显示由显像处理部13显像后的图像。
输入IF38具有释放按钮等操作部件或用于输入背面显示部等处的触摸操作的触摸面板等，根据用户操作，进行各种模式设定或释放等摄影动作的指示。
系统控制部20具有CPU(CentralProcessingUnit：中央处理单元)，通过按照存储在内部存储器33内的程序控制照相机的各部，进行整体控制。
此外，系统控制部20进行前述的较亮合成处理的整体控制。在该较亮合成处理中，存储根据从图像传感器4读出的图像数据而最初生成的第1图像数据作为累计较亮合成图像数据，接着对根据从摄像元件读出的图像数据而生成的从第2帧起的第2图像数据依次反复进行较亮合成处理，该较亮合成处理对构成根据从图像传感器4读出的图像数据而生成的第2图像数据的多个像素数据和构成累计较亮合成图像数据的多个像素数据的分别对应的像素数据进行比较，将任意的较大一方的像素数据作为新的像素数据来再次构成累计较亮合成图像数据。
此外，系统控制部20进行前述的较暗合成处理的整体控制。在该较暗合成处理中，存储根据从图像传感器4读出的图像数据而最初生成的第1图像数据作为累计较暗合成图像数据，接着对根据从摄像元件读出的图像数据而生成的从第2帧起的第2图像数据依次反复进行较暗合成处理，该较暗合成处理对构成根据从图像传感器4读出的图像数据而生成的第2图像数据的多个像素数据和构成累计较暗合成图像数据的多个像素数据的分别对应的像素数据进行比较，将任意的较小一方的像素数据作为新的像素数据来再次构成累计较暗合成图像数据。
接着，叙述图1所示的照相机的动作的概要。根据系统控制部20的控制，进行构成镜头2的对焦镜头的调整，将光圈设定为规定值，打开机械快门3，通过图像传感器4将光学像转换为电信号。从图像传感器4读出的图像数据在图像处理部10中被实施规定的图像处理，记录于外部存储器36中。此外，由图像处理部10实施了规定的图像处理所得的图像数据在被尺寸调整后显示在显示部37中。
系统控制部20经由输入IF38接受来自用户的指示，进行图像传感器4的曝光开始、信号读出等定时控制、机械快门3的开闭定时控制、镜头2的光圈控制或自动对焦控制。此外，系统控制部20从图像处理部10接收图像数据，进行显示部37的图像显示或在外部存储器36中的图像数据的保存等的控制。
接着，使用图2和图3所示的流程图，对本实施方式的照相机的处理的流程进行说明。通过由系统控制部20按照存储在内部存储器33中的程序对各部进行控制，执行该流程图。
在该流程图中图示出用户通过输入IF38选择B门摄影模式，并且选择B门摄影模式中的比较合成模式的情况下的序列。省略即使是B门摄影模式也不进行曝光中的经过显示的普通的B门摄影和用相加图像进行曝光中的经过显示的相加合成显示模式，说明对连续读出的图像数据进行比较合成并依次显示为摄影经过的经过显示动作。在比较合成中存在较亮合成和较暗合成。能够根据用户的摄影意图进行选择。作为照相机的内部处理，可以并列地同时进行较亮合成和较暗合成。另外，在设定了较亮合成模式后，与曝光时间无关，背景的亮度固定，能够根据曝光时间调整光迹的长度，此外，在设定了较暗合成模式后，移动的光迹被消除，仅成为背景图像。
在进入到图2所示的流程后，首先进行实时取景显示(S1)。在该步骤中，使机械快门3为打开状态，根据以规定的帧率从图像传感器4读出的图像数据，在显示部37中进行实时取景显示。在进行了实时取景显示后，用户确认实时取景图像(或者由光学取景器形成的被摄体像)，以能够拍摄想要拍摄的被摄体的方式，调节照相机的朝向或镜头2的焦距(变焦)或焦点。此外，根据需要，用户能够经由操作按钮或触摸面板等输入IF部38，进行经过显示模式、较亮合成模式、较暗合成模式等的设定。
在进行实时取景显示后，接着进行实施了第1释放的情况下的处理(S3)。这里，系统控制部20判定通过释放按钮的半按下而接通的第1释放开关的状态，如果为接通，则进行AF(自动焦点控制)和AE(自动曝光控制)。AF以基于从图像传感器4反复读出的图像信号的对比度信号成为最大值的方式，进行镜头2中的对焦镜头的驱动控制，对准焦点。此外，AE以从图像传感器4反复读出的图像信号的输出成为适当水平的方式，自动控制光圈值、ISO感光度和曝光时间T。可以通过照相机的设定，使AF、AE的功能的双方或者单方无效，用户通过手动经由输入IF38等设定对焦镜头的位置(焦点调节)、光圈值、ISO感光度、曝光时间T等。
在进行了第1释放处理后，接着，判定第2释放是否接通(S5)。为了在构图或对准焦点后开始摄影，用户对释放按钮进行按压，所以在该步骤中判定与释放按钮连动的第2释放开关是否接通。在该判定的结果为未接通的情况下，返回到步骤S1，反复进行实时取景显示，直到第2释放开关变为接通为止，每次第1释放开关接通时，进行AF、AE动作。
如果步骤S5的判定的结果为第2释放开关接通，则在步骤S7以后开始B门摄影。首先，进行暗时图像_1的摄影(S7)。这里，系统控制部20关闭机械快门3，在遮光状态下在曝光时间T内拍摄暗时图像_1。
在进行暗时图像_1的摄影后，接着，将暗时图像_1的图像数据保存在内部存储器中(S9)。这里，从图像传感器4读出在步骤S7中拍摄出的暗时图像_1的图像数据，并保存在内部存储器33中。该保存的暗时图像数据之后用于FPN处理(参照S21、S41)。
在将暗时图像_1的图像数据保存到内部存储器33后，接着，开始曝光(S11)。这里，系统控制部20打开机械快门3，图像传感器4开始第1帧的曝光，此外使用于计测曝光时间的计时器复位，开始计时动作。
在开始曝光后，接着，判定是否经过了曝光时间T(S13)。曝光时间T是图像传感器的图像读出周期(曝光时间)，由用户事先通过手动设定，或者通过AE功能自动设定。在第1帧的情况下，根据在步骤S11中开始计时动作的计时器的经过时间进行判定，在从第2帧起，根据在后述的步骤S15中开始计时动作的计时器的经过时间进行判定。在该判定的结果为未经过曝光时间T的情况下，一边继续进行曝光，一边等待经过曝光时间T。
当步骤S13的判定的结果为经过曝光时间T时，读出图像信号，并再次开始曝光(S15)。这里，系统控制部20从图像传感器4读出图像信号，在图像信号的读出结束后，再次开始曝光。在该曝光的再次开始时，在机械快门3保持打开的状态下，通过图像传感器4的电子快门控制，再次开始图像信号的存储。此外，使用于对曝光时间进行计时的计时器复位，再次开始计时动作。
此外，在步骤S15中进行了图像信号的读出后，保存到内部存储器中(S17)。在该步骤中，将从图像传感器4读出的图像信号作为数字的图像数据存储在内部存储器33中。在向内部存储器33记录图像数据的同时完成读出后，不留间隔地开始下一帧的曝光。所以，能够将连续取入的图像彼此的漏曝光抑制为最小限，能够将最终合成的图像的光迹中断抑制为最小限。在通常用作数字照相机的图像传感器的CMOS图像传感器中，由于能够按照每行读出，并依次控制曝光开始，所以连续的帧和帧之间的漏曝光的时间为1行的读出时间左右。由于该时间非常短，为几10～100μ秒左右，所以不会被视觉确认为光迹中断的图像。
在步骤S17中将图像信号保存在内部存储器中后，接着，判定是否进行第1帧的处理(S19)。比较合成处理由于在取得第2帧的图像数据后进行，因此判定是第1帧的图像数据的取得时还是从第2帧起的图像数据取得时。在步骤S19的判定的结果为第1帧的处理的情况下，进入到步骤S23，不进行合成处理。
在步骤S19的判定的结果为不是第1帧处理的情况(即，从第2帧起的处理的情况)下，接着，从合成图像和读出图像进行比较合成(S21)。这里，按照用户的设定进行较亮合成处理和较暗合成处理(可以为任意一方)。目前，在刚刚读出第2帧的图像数据后，在内部存储器33中暂时存储有第1帧和第2帧的图像数据。系统控制部20使用暂时存储在内部存储器33中的第1帧和第2帧的读出图像数据，对2张图像的相同地址的像素输出彼此进行比较，选择较大一方的像素数据作为合成后的图像的像素数据，设为较亮合成图像数据(累计较亮合成图像数据)。此外，对2张图像相同地址的像素输出彼此进行比较，选择较小一方的像素数据作为合成后的图像的像素数据，设为较暗合成图像数据(累计较暗合成图像数据)。在第3帧以后，同样，使用从图像传感器4读出的图像数据和保存在内部存储器33中的目前为止的累计较亮合成图像数据或者累计较暗合成图像数据，进行较亮合成处理/较暗合成处理。关于比较合成处理的详细情况将后述。
在步骤S21中进行了比较合成处理后，接着在内部存储器中进行保存(S23)。这里，在第1帧的情况下，保存在步骤S15中读出的图像信号，在从第2帧起的情况下，保存在步骤S21中进行了比较合成处理的合成图像的图像数据。
在保存到内部存储器后，接着，进行FPN处理(S25)。这里，FPN删除处理部12使用保存在内部存储器33中的合成图像数据和在步骤S7、9中取得的暗时图像_1的图像数据，计算构成合成图像的多个像素数据和构成暗时图像_1的多个像素数据的、分别对应的像素数据差分(合成图像-暗时图像_1)。
在进行FPN处理后，接着进行显像处理(S27)。这里，显像处理部13对存储在内部存储器33中的图像数据(第1帧的图像数据、或者合成图像的图像数据)实施去马赛克处理、γ校正处理、噪声减少处理、YC信号生成处理和尺寸调整处理等显像处理。由于从图像传感器4读出的图像信号的像素数大于显示部37的显示监视器的显示像素，所以尺寸调整处理用于使其与显示监视器的显示像素数一致。
在进行显像处理后，接着，进行显像图像的显示(S31)。这里，将基于在步骤S27中被显像处理的图像数据的图像显示在显示部37中。在步骤S13中，由于每次经过曝光时间T时，将被合成处理的图像显示为曝光经过图像，所以用户能够确认通过长时间曝光而逐渐进行曝光的图像。在进行显像图像的显示时，可以将被FPN处理后的RAW图像数据、显像处理图像数据作为中途经过的图像数据保存在外部存储器36中。
在进行显像显示后，接着，检测第2释放是否断开(S33)。用户通过在步骤S5中按压释放按钮，开始了B门摄影，然后在结束B门摄影的情况下，解除释放按钮的按压。因此，在该步骤中，判定释放开关是否断开。在该判定的结果为未断开的情况(接通的情况)下，返回到步骤S13，当在步骤S15中使计时器复位后经过时间T时，执行步骤S15～S31中的处理。
在步骤S33的判定的结果为第2释放断开的情况下，即使未经过曝光时间T，也在断开的定时结束曝光。所以，不从图像传感器4读出图像数据，而是对保存在内部存储器33中的累计合成图像数据进行处理。在判定为第2释放开关断开的情况下，首先，判別由用户设定的比较合成方法是较亮合成还是较暗合成(S35)。是较亮合成还是较暗合成由用户经由输入IF38进行设定，所以在该步骤中基于设定状态进行判定。另外，在设定了较亮合成和较暗合成双方的情况下，对各自的合成图像实施不同的处理。
在步骤S35的判定的结果为设定了较亮合成的情况下，将从最终合成图像减去暗时图像_1所得的图像保存在外部存储器中(S45)。每次从图像传感器4读出图像数据时，在步骤S21中进行较亮合成，所以在该步骤中，将保存在内部存储器33中的较亮合成的最终合成图像的图像数据保存在外部存储器36中。
在步骤S35的判定的结果为设定了较暗合成的情况下，在步骤S37～S43中对较暗合成的图像数据进行FPN处理。首先，拍摄暗时图像_2(S37)。这里，系统控制部20关闭机械快门3，在遮光状态下在曝光时间T内拍摄暗时图像_2。
在拍摄暗时图像_2后，接着，将暗时图像_2的图像数据保存在内部存储器中(S39)。这里，从图像传感器4读出在步骤S39中拍摄的暗时图像_2的图像数据，并保存在内部存储器33中。
在保存在内部存储器中后，接着，通过从最终合成图像减去暗时图像_2，进行FPN处理(S41)。这里，从通过在步骤S23中保存在内部存储器33中的较暗合成而生成的最终合成图像的图像数据中，对在步骤S37中拍摄出的暗时图像_2的图像数据，在分别对应的像素数据彼此间进行减法运算。
在进行FPN处理后，保存在外部存储器中(S43)。这里，将在步骤S41中进行了FPN处理的图像数据作为最终的摄影图像数据保存在外部存储器36中。
在步骤S43或者步骤S45中保存在外部存储器中后，进行记录图像的图像显示(S47)。这里，将基于保存在外部存储器36中的摄影图像数据的图像显示在显示部37中。在进行记录图像的显示后，结束比较合成模式中的动作。
这样，在图2和图3所示的流程图中，在进行较亮合成的情况下，在最初取得图像数据以前将暗时图像数据(暗时图像_1的图像数据、S7、S9)作为在与假设图像传感器4的温度最高的时刻最接近的时刻取得的暗时图像数据，并使用该暗时图像数据来校正累计较亮合成图像数据中的固定模式噪声(参照S25、S45)。
此外，在进行较暗合成的情况下，在最后取得图像数据以后将暗时图像数据(暗时_2的图像数据、S37、S39)作为在与假设图像传感器4的温度最低的时刻最接近的时刻取得的暗时图像数据，并使用该暗时图像数据来校正累计较暗合成图像数据中的固定模式噪声(参照S41、S43)。
接着，对比较合成处理进行说明。目前，将图像数据的2维的地址设为(x，y)，将第N张(N为整数)的读出图像设为N(x，y)。当将到第N-1张之前的合成图像设为N-1_com(x，y)时，第N张比较合成图像N_com(x，y)是对N(x，y)和N-1_com(x，y)的地址(x，y)的输出数据进行比较所得的结果。另外，x为1～图像传感器的x方向的像素数，y为1～y方向的像素数。
这时的较亮合成对相同地址的像素输出N(x，y)和N-1_com(x，y)的大小进行比较，选择较大一方，作为合成图像N_com(x，y)的像素输出。另外，在大小相等的情况下，反映该值。
此外，较暗合成对相同地址的像素输出N(x，y)和N-1_com(x，y)的大小进行比较，选择较小一方，作为合成图像N_com(x，y)的像素输出。另外，在大小相等的情况下，反映该值。
接着，使用图4和图5，对比较合成处理进行说明。在两个图中，最上段表示图像传感器4的附近的温度在时间上的变化。下一段表示图像传感器4(摄像元件)的动作，再下一段表示比较合成处理在时间上的变化。在该段中，“合”表示较亮合成处理，“-”表示FPN删除处理。图像处理的下一段表示显示图像在时间上的变化，显示图像的下一段表示记录图像在时间上的变化。
在表示较亮合成处理的图4中，在开始摄影后，取得暗时图像_1(图2的S7)，接着取得亮时图像_1(S15)。使用亮时图像_1和暗时图像_1的图像数据进行FPN处理(S25)，基于进行了FPN处理的图像数据来进行显示，并保存为合成图像1(S31)。接着在取得亮时图像_2后(S15)，使用暗时图像_1进行FPN处理(S25)，基于进行了FPN处理的图像数据进行显示，并保存为合成图像2(S31)。以后，每次取得亮时图像时，进行同样的处理，在结束摄影后，显示并记录对最后取得的亮时图像_N进行了FPN处理所得的合成图像_N。
在表示较暗合成处理的图5中，直到从开始摄影到摄影结束时的图像的显示为止，与较亮合成处理同样。在摄影的结束时，虽然显示对最后取得的亮时图像_N进行了FPN处理的合成图像_N，但是与此同时取得暗时图像_2(图3的S37、S39)。在取得暗时图像_2后，对在亮时图像_N的取得时被较暗合成的图像数据使用暗时图像_2实施FPN处理，将实施了该FPN处理的图像数据作为最终记录图像记录在外部存储器36中。
接着，使用图4和图5，对在实际的摄影时在图像中产生的固定模式噪声(FPN)进行说明。在曝光时间相同的情况下，摄影时的图像传感器4的温度较高一方的FPN增大。如图4所示，在实时取景动作中，伴随着高速的读出处理、图像处理和显示处理，图像传感器4的温度上升。然后，在开始摄影后，由图像传感器4以慢于实时取景的帧率的周期T进行读出处理、图像处理和显示处理，所以图像传感器4的温度从摄影开始起逐渐下降。由于在该情况下在最初读出的亮时图像_1和最后拍摄的亮时图像_N中，亮时图像_N的拍摄时的温度较低，所以FPN较小。
在较亮合成中，由于像素输出较大的像素的输出被反映为像素输出，所以在比较合成的图像彼此的曝光(被摄体的亮度)相等的情况下，反映在温度较高(噪声较大)时拍摄的图像的像素数据。也就是说，在对亮时图像_1到亮时图像_N进行较亮合成时，将一般来说温度最高的亮时图像_1的FPN(固定模式噪声)反映在合成图像中。
另一方面，在较暗合成中，由于暗合成处理的结果是像素输出较小的像素的输出被反映为像素输出，所以在比较合成的图像彼此的曝光(被摄体的亮度)相等的情况下，反映在温度较低(噪声较小)时拍摄的图像的像素数据。也就是说，在对亮时图像_1到亮时图像_N进行较暗合成时，将一般来说温度最低的暗时图像_N的FPN(固定模式噪声)反映在合成图像中。
因此，如图4和图5所示，对在较亮合成中最终记录的亮时图像_1到亮时图像_N的合成图像，用在最初拍摄亮时图像前拍摄的暗时图像_1进行FPN删除处理，由此合成图像和暗时图像的FPN成为接近的大小，能够进行精度较高的FPN的校正。此外，每次合成亮时图像时，用暗时图像_1实施FPN删除处理，由此也能够对包含在曝光经过图像中的FPN进行校正。
此外，针对较暗合成图像，对亮时图像_1到亮时图像_N的合成图像，用拍摄亮图像后拍摄的暗时图像_2实施FPN删除处理，由此合成图像和暗时图像的FPN成为接近的大小，能够进行精度较高的FPN的校正。此外，每次合成亮时图像时，用暗时图像_1实施FPN删除处理，由此也能够对包含在曝光经过图像的图像中的FPN进行校正。
如以上所说明那样，在本发明的一个实施方式中，在进行B门摄影等的长时间曝光时，在打开快门并取得亮时图像以前，在对快门进行了遮光的状态下取得暗时图像_1，并在长时间曝光结束后，在对快门进行了遮光的状态下取得暗时图像_2。而且，在进行较亮合成处理的情况下，使用暗时图像_1进行FPN处理，另一方面，在进行较暗合成处理的情况下，使用暗时图像_2进行FPN处理。所以，能够进行校正以提高FPN删除的校正效果，能够提高画质。
接着，说明本发明的一个实施方式的变形例。在环境温度在摄影中发生了变化的情况下、或想要高速处理曝光时间T的情况下、或在照相机的电源刚刚接通后开始摄影的情况下、或在照相机本身的散热效果较低的情况下，如图4、图5所示，假设即使开始摄影，温度也并未逐渐下降，反倒上升。在这种情况下，在通过本发明的一个实施方式那样的方法进行校正后，包含在合成图像中的FPN和暗时图像的FPN不同，由此有可能无法充分进行校正。因此，在本变形例中，通过温度传感器5监视图像传感器4的温度，测定摄影中的图像传感器温度，选择进行FPN处理的暗时图像。
在本变形例中，较亮合成时和较暗合成时均拍摄在亮时图像拍摄前拍摄的暗时图像_1和在亮时图像拍摄后拍摄的暗时图像_2，并检测摄影时的图像传感器温度。在较亮合成时，对亮时图像摄影中的最高温度T_hi与暗时图像_1的摄影时的温度T_1和暗时图像_2的摄影时的温度T_2进行比较，使用摄影时的温度接近T_hi的一方的暗时图像来进行最终的记录图像的FPN删除处理。
在较暗合成时，对亮时图像摄影中的最低温度T_Lo与暗时图像_1的摄影时的温度T_1和暗时图像_2的摄影时的温度T_2进行比较，使用摄影时的温度接近T_Lo的一方的暗时图像来进行最终的记录图像的FPN删除处理。
这样，在本变形例中，设置对取得第1图像数据和第2图像数据时的图像传感器4的温度进行检测的温度传感器5，根据由温度传感器5检测出的温度来校正固定模式噪声(FPN)。所以，能够进行合成图像和暗时图像的固定模式噪声(FPN)的大小接近且校正精度较高的FPN删除处理。
如以上所说明那样，本发明的一个实施方式和变形例的照相机(摄像装置)通过以下的处理进行较亮合成处理。即，存储根据从摄像元件(例如，图像传感器4)读出的图像数据(例如，图2的S15)而最初生成的第1图像数据作为累计较亮合成图像数据，接着对根据从摄像元件读出的图像数据而生成的从第2帧起的第2图像数据依次反复进行较亮合成处理，该较亮合成处理对构成根据从摄像元件读出的图像数据而生成的第2图像数据的多个像素数据和构成累计较亮合成图像数据的多个像素数据的分别对应的像素数据进行比较，将任意的较大一方的像素数据作为新的像素数据来再次构成累计较亮合成图像数据(例如，参照图2的S21、图4)。
此外，本发明的一个实施方式或变形例的照相机(摄像装置)通过以下的处理进行较暗合成处理。即，存储根据从摄像元件(图像传感器4)读出的图像数据(例如，图2的S15)而最初生成的第1图像数据作为累计较暗合成图像数据，接着对根据从摄像元件读出的图像数据而生成的从第2帧起的第2图像数据依次反复进行较暗合成处理，该较暗合成处理对构成根据从摄像元件读出的图像数据而生成的第2图像数据的多个像素数据和构成累计较暗合成图像数据的多个像素数据的分别对应的像素数据进行比较，将任意的较小一方的像素数据作为新的像素数据来再次构成累计较暗合成图像数据(例如，参照图2的S21、图5)。
此外，本发明的一个实施方式或变形例的照相机(摄像装置)设置有：暗时图像数据摄像部(例如，机械快门3、图像传感器4、系统控制部20等)，其在取得第1图像数据以前或者在最后取得的第2图像数据以后，在对入射到摄像元件的摄像面的光线进行了遮光的状态下取得暗时图像数据；以及校正部(例如，FPN删除处理部12)，其使用暗时图像数据来校正累计较亮合成图像数据中的固定模式噪声。此外，校正部使用在取得第1图像数据以前取得的暗时图像数据或者在最后取得的第2图像数据以后取得的暗时图像数据中的、与假设取得第1图像数据或者第2图像数据时的摄像元件的温度最高的时刻最接近的时刻取得的暗时图像数据，校正累计较亮合成图像数据中的固定模式噪声(例如，图2的S25)。所以，在对从图像传感器连续读出的图像信号进行较亮合成而生成摄影图像时，能够进行校正以提高FPN删除的校正效果，使画质提高。
此外，在本发明的一个实施方式或变形例的照相机(摄像装置)中，假设取得第1图像数据时的摄像元件的温度最高。即，在进行较亮合成时，将在拍摄亮时图像以前取得的暗时图像_1假设为在摄像元件的温度最高时取得的暗时图像来进行使用。
此外，在本发明的一个实施方式或变形例的照相机(摄像装置)中，设置对取得第1图像数据、第2图像数据和暗时图像数据时的摄像元件的温度进行检测的温度传感器5，校正部(例如，FPN删除处理部12)根据由温度传感器5检测出的温度，校正固定模式噪声(FPN)。所以，能够进行与实际的温度变化对应的固定模式噪声的校正。
此外，本发明的一个实施方式或变形例的照相机(摄像装置)设置有：暗时图像数据摄像部(例如，机械快门3、图像传感器4、系统控制部20等)，其在取得第1图像数据以前或者在最后取得的第2图像数据以后，在对入射到摄像元件的摄像面的光线进行了遮光的状态下取得暗时图像数据；以及校正部(例如，FPN删除处理部12)，其使用暗时图像数据来校正累计较暗合成图像数据中的固定模式噪声。此外，校正部使用在取得第1图像数据以前取得的暗时图像数据或者在最后取得的第2图像数据以后取得的暗时图像数据中的、在与假设取得第1图像数据或者第2图像数据时的摄像元件的温度最低的时刻最接近的时刻取得的暗时图像数据，校正累计较亮合成图像数据中的固定模式噪声(例如，图3的S41)。所以，在对从图像传感器连续读出的图像信号进行较暗合成而生成摄影图像时，能够进行校正以提高FPN删除的校正效果，使画质提高。
此外，在本发明的一个实施方式或变形例的照相机(摄像装置)中，假设取得第2图像数据时的摄像元件的温度最低。即，在进行较暗合成后，将在拍摄最后的亮时图像以后取得的暗时图像_2假设为在摄像元件的温度最低时取得的暗时图像来进行使用。
此外，在本发明的一个实施方式或变形例的照相机(摄像装置)中，校正部(例如，FPN删除处理部12)使用在取得第1图像数据以前取得的暗时图像数据(例如，暗时图像_1)来校正累计比较合成图像数据中的固定模式噪声(例如，图2的S25)，摄像装置显示由校正了固定模式噪声的累计比较合成图像数据表示的图像(例如，图3的S31)。所以，在依次将合成中途的图像作为曝光经过进行实时取景显示，或者保存为中途经过图像的情况下，能够校正实时取景图像、中途经过图像的固定模式噪声。即，也对合成中途的图像使用在亮时图像拍摄前拍摄的暗时图像进行FPN删除，由此也能够提高实时取景显示或途中经过的记录图像的画质。
另外，在本发明的一个实施方式和变形例中，通过按压释放按钮来开始摄影，通过解除按压来停止摄影，但是不限于此，当然可以是通过按压释放按钮来开始摄影，一旦开始摄影后即使解除按压也继续进行摄影，在再次按压释放按钮后停止摄影。
此外，虽然在本发明的各实施方式和变形例中，能够设定较亮合成和较暗合成双方，但是不限于此，可以仅设定一方，此外B门摄影时的中途经过显示也可以仅是较亮或者仅是较暗，此外，也可以单纯地显示相加图像。
此外，在本发明的一个实施方式或变形例中，作为用于摄影的设备，使用数字照相机进行了说明，但是作为照相机，可以是数字单反照相机和袖珍数字照相机，可以是摄像机、电影摄影机这样的动态图像用的照相机，还可以是内置在移动电话、智能手机、便携信息终端(PDA、PersonalDigitalAssist：个人数字助理)或者游戏设备等中的照相机。无论是哪种相机，只要是用于能够长时间曝光的摄影的设备，都能够应用本发明。
此外，关于本说明书中说明的技术中主要利用流程图说明的控制，多数情况下能够利用程序进行设定，有时也保存在记录介质或记录部中。关于在该记录介质、记录部中的记录方法，可以在产品出厂时进行记录，也可以利用发布的记录介质，还可以经由因特网进行下载。
此外，关于权利要求、说明书和附图中的动作流程，即使为了方便而使用“首先”、“接着”等表现顺序的词语进行了说明，但在没有特别说明的地方，不是指必须按该顺序进行实施。
本发明不原样限定为上述实施方式，在实施阶段能够在不脱离其主旨的范围内对结构要素进行变形并具体化。此外，能够通过上述实施方式公开的多个结构要素的适当组合形成各种发明。例如，可以删除实施方式所示的全部结构要素中的几个结构要素。并且，可适当组合不同实施方式的结构要素。
标号说明
1：摄像部；2：镜头(光圈)；3：机械快门；4：图像传感器；5：温度传感器；10：图像处理部；11：图像合成部；11a：较亮合成部；11b：较暗合成部；12：FPN删除处理部；13：显像处理部；31：总线；33：内部存储器；36：外部存储器；37：显示部；38：输入IF。

Claims (9)

1.一种摄像装置，其存储根据从摄像元件读出的图像数据而最初生成的第1图像数据作为累计较亮合成图像数据，接着对根据从上述摄像元件读出的图像数据而生成的从第2帧起的第2图像数据依次反复进行较亮合成处理，该较亮合成处理是对构成根据从上述摄像元件读出的图像数据而生成的上述第2图像数据的多个像素数据和构成上述累计较亮合成图像数据的多个像素数据的分别对应的像素数据进行比较，将任意的较大一方的像素数据作为新的像素数据来再次构成上述累计较亮合成图像数据，其特征在于，该摄像装置具有：
暗时图像数据摄像部，其在取得上述第1图像数据以前或者最后取得的上述第2图像数据以后，在对入射到上述摄像元件的摄像面的光线进行了遮光的状态下取得暗时图像数据；以及
校正部，其使用上述暗时图像数据来校正上述累计较亮合成图像数据中的固定模式噪声，
上述校正部使用在取得上述第1图像数据以前取得的暗时图像数据或者在上述最后取得的上述第2图像数据以后取得的暗时图像数据中的、在与取得上述第1图像数据或者上述第2图像数据的时刻中假设摄像元件的温度最高的时刻最接近的时刻取得的暗时图像数据，校正上述累计较亮合成图像数据中的固定模式噪声。
2.根据权利要求1所述的摄像装置，其特征在于，
假设取得上述第1图像数据时的上述摄像元件的温度最高。
3.根据权利要求1所述的摄像装置，其特征在于，
该摄像装置还具有温度传感器，该温度传感器对取得上述第1图像数据、上述第2图像数据和上述暗时图像数据时的上述摄像元件的温度进行检测，
上述校正部根据由上述温度传感器检测出的温度，校正上述固定模式噪声。
4.一种摄像装置，其存储根据从摄像元件读出的图像数据而最初生成的第1图像数据作为累计较暗合成图像数据，接着对根据从上述摄像元件读出的图像数据而生成的从第2帧起的第2图像数据依次反复进行较暗合成处理，该较暗合成处理是对构成根据从上述摄像元件读出的图像数据而生成的上述第2图像数据的多个像素数据和构成上述累计较暗合成图像数据的多个像素数据的分别对应的像素数据进行比较，将任意的较小一方的像素数据作为新的像素数据来再次构成上述累计较暗合成图像数据，其特征在于，该摄像装置具有：
暗时图像数据摄像部，其在取得上述第1图像数据以前或者最后取得的上述第2图像数据以后，在对入射到上述摄像元件的摄像面的光线进行了遮光的状态下取得暗时图像数据；以及
校正部，其使用上述暗时图像数据来校正上述累计较暗合成图像数据中的固定模式噪声，
上述校正部使用在取得上述第1图像数据以前取得的暗时图像数据或者在上述最后取得的上述第2图像数据以后取得的暗时图像数据中的、在与取得上述第1图像数据或者上述第2图像数据的时刻中假设摄像元件的温度最低的时刻最接近的时刻取得的暗时图像数据，校正上述累计较暗合成图像数据中的固定模式噪声。
5.根据权利要求4所述的摄像装置，其特征在于，
假设取得上述最后取得的上述第2图像数据时的上述摄像元件的温度最低。
6.根据权利要求4所述的摄像装置，其特征在于，
该摄像装置还具有温度传感器，该温度传感器对取得上述第1图像数据、上述第2图像数据和上述暗时图像数据时的上述摄像元件的温度进行检测，
上述校正部根据由上述温度传感器检测出的温度，校正上述固定模式噪声。
7.根据权利要求1或4所述的摄像装置，其特征在于，
上述摄像装置具有显示部，该显示部显示由校正了固定模式噪声后的上述累计较亮合成图像数据或上述累计较暗合成图像数据表示的图像。
8.一种摄像方法，存储根据从摄像元件读出的图像数据而最初生成的第1图像数据作为累计较亮合成图像数据，接着对根据从上述摄像元件读出的图像数据而生成的从第2帧起的第2图像数据依次反复进行较亮合成处理，该较亮合成处理是对构成根据从上述摄像元件读出的图像数据而生成的上述第2图像数据的多个像素数据和构成上述累计较亮合成图像数据的多个像素数据的分别对应的像素数据进行比较，将任意的较大一方的像素数据作为新的像素数据来再次构成上述累计较亮合成图像数据，其特征在于，该摄像方法具有：
暗时图像数据摄像步骤，在取得上述第1图像数据以前或者最后取得的上述第2图像数据以后，在对入射到上述摄像元件的摄像面的光线进行了遮光的状态下取得暗时图像数据；以及
校正步骤，使用上述暗时图像数据来校正上述累计较亮合成图像数据中的固定模式噪声，
上述校正步骤中，使用在取得上述第1图像数据以前取得的暗时图像数据或者在上述最后取得的上述第2图像数据以后取得的暗时图像数据中的、在与取得上述第1图像数据或者上述第2图像数据的时刻中假设摄像元件的温度最高的时刻最接近的时刻取得的暗时图像数据，校正上述累计较亮合成图像数据中的固定模式噪声。
9.一种摄像方法，存储根据从摄像元件读出的图像数据而最初生成的第1图像数据作为累计较暗合成图像数据，接着对根据从上述摄像元件读出的图像数据而生成的从第2帧起的第2图像数据依次反复进行较暗合成处理，该较暗合成处理是对构成根据从上述摄像元件读出的图像数据而生成的上述第2图像数据的多个像素数据和构成上述累计较暗合成图像数据的多个像素数据的分别对应的像素数据进行比较，将任意的较小一方的像素数据作为新的像素数据来再次构成上述累计较暗合成图像数据，其特征在于，该摄像方法具有：
暗时图像数据摄像步骤，在取得上述第1图像数据以前或者最后取得的上述第2图像数据以后，在对入射到上述摄像元件的摄像面的光线进行了遮光的状态下取得暗时图像数据；以及
校正步骤，使用上述暗时图像数据来校正上述累计较暗合成图像数据中的固定模式噪声，
上述校正步骤中，使用在取得上述第1图像数据以前取得的暗时图像数据或者在上述最后取得的上述第2图像数据以后取得的暗时图像数据中的、在与取得上述第1图像数据或者上述第2图像数据的时刻中假设摄像元件的温度最低的时刻最接近的时刻取得的暗时图像数据，校正上述累计较暗合成图像数据中的固定模式噪声。
CN201480054290.6A 2013-10-02 2014-09-18 摄像装置和摄像方法 Active CN105594196B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013207772 2013-10-02
JP2013-207772 2013-10-02
PCT/JP2014/074632 WO2015049990A1 (ja) 2013-10-02 2014-09-18 撮像装置および撮像方法

Publications (2)

Publication Number Publication Date
CN105594196A true CN105594196A (zh) 2016-05-18
CN105594196B CN105594196B (zh) 2017-10-31

Family

ID=52778584

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480054290.6A Active CN105594196B (zh) 2013-10-02 2014-09-18 摄像装置和摄像方法

Country Status (4)

Country Link
US (2) US9549132B2 (zh)
JP (2) JP5952975B2 (zh)
CN (1) CN105594196B (zh)
WO (1) WO2015049990A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112771841A (zh) * 2018-10-04 2021-05-07 索尼互动娱乐股份有限公司 传感器模块、电子设备、视觉传感器校准方法、对象检测方法和程序

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6391383B2 (ja) * 2014-02-10 2018-09-19 キヤノン株式会社 画像処理装置、その制御方法、プログラム及び記憶媒体
CA3054383C (en) * 2017-02-24 2023-07-11 Sunnybrook Research Institute Systems and methods for noise reduction in imaging
JP2021175001A (ja) 2020-04-17 2021-11-01 オリンパス株式会社 撮像装置および撮像方法
US11915394B2 (en) * 2021-05-11 2024-02-27 Teledyne Flir Commercial Systems, Inc. Selective processing of anomalous pixels systems and methods

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101352033A (zh) * 2005-12-27 2009-01-21 富士通微电子株式会社 固体摄像元件以及暗电流分量除去方法
CN101374195A (zh) * 2007-08-09 2009-02-25 佳能株式会社 摄像设备
CN101448078A (zh) * 2008-12-15 2009-06-03 昆山锐芯微电子有限公司 图像传感器和图像信号处理方法
JP2011166234A (ja) * 2010-02-04 2011-08-25 Olympus Corp 固体撮像装置
JP2013135343A (ja) * 2011-12-26 2013-07-08 Ricoh Co Ltd 撮像装置
CN103248836A (zh) * 2012-02-14 2013-08-14 全视科技有限公司 用于成像像素的黑色电平校正的方法和系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4148586B2 (ja) 1999-03-08 2008-09-10 カシオ計算機株式会社 画像合成装置
JP2005117395A (ja) 2003-10-08 2005-04-28 Konica Minolta Photo Imaging Inc 撮像装置
JP5274101B2 (ja) * 2008-05-19 2013-08-28 キヤノン株式会社 放射線画像処理装置、放射線画像処理方法及びプログラム
JP6021465B2 (ja) * 2011-07-11 2016-11-09 キヤノン株式会社 画像処理装置及び画像処理装置の制御方法
JP5895409B2 (ja) * 2011-09-14 2016-03-30 株式会社リコー 撮像装置
JP5889323B2 (ja) * 2011-10-12 2016-03-22 キヤノン株式会社 撮像装置及び撮像装置の制御方法
JP6274780B2 (ja) * 2013-08-21 2018-02-07 キヤノン株式会社 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101352033A (zh) * 2005-12-27 2009-01-21 富士通微电子株式会社 固体摄像元件以及暗电流分量除去方法
CN101374195A (zh) * 2007-08-09 2009-02-25 佳能株式会社 摄像设备
CN101448078A (zh) * 2008-12-15 2009-06-03 昆山锐芯微电子有限公司 图像传感器和图像信号处理方法
JP2011166234A (ja) * 2010-02-04 2011-08-25 Olympus Corp 固体撮像装置
JP2013135343A (ja) * 2011-12-26 2013-07-08 Ricoh Co Ltd 撮像装置
CN103248836A (zh) * 2012-02-14 2013-08-14 全视科技有限公司 用于成像像素的黑色电平校正的方法和系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112771841A (zh) * 2018-10-04 2021-05-07 索尼互动娱乐股份有限公司 传感器模块、电子设备、视觉传感器校准方法、对象检测方法和程序
CN112771841B (zh) * 2018-10-04 2023-06-30 索尼互动娱乐股份有限公司 传感器模块、电子设备、视觉传感器校准方法、对象检测方法和程序

Also Published As

Publication number Publication date
JP5952975B2 (ja) 2016-07-13
US10136087B2 (en) 2018-11-20
US9549132B2 (en) 2017-01-17
WO2015049990A1 (ja) 2015-04-09
JP2016178699A (ja) 2016-10-06
US20160182841A1 (en) 2016-06-23
CN105594196B (zh) 2017-10-31
JPWO2015049990A1 (ja) 2017-03-09
US20170094209A1 (en) 2017-03-30
JP6250098B2 (ja) 2017-12-20

Similar Documents

Publication Publication Date Title
CN108933899B (zh) 全景拍摄方法、装置、终端及计算机可读存储介质
CN104113700B (zh) 拍摄装置和拍摄方法
US8477993B2 (en) Image taking apparatus and image taking method
CN101237530B (zh) 照相装置,控制照相装置的方法
CN105721741B (zh) 摄像装置、图像处理装置以及摄像方法
CN110213494B (zh) 拍摄方法和装置、电子设备、计算机可读存储介质
CN103595921A (zh) 摄像装置
CN105516611A (zh) 摄像装置和摄影方法
CN105594196A (zh) 摄像装置和摄像方法
US10116856B2 (en) Imaging apparatus and imaging method for controlling a display while continuously adjusting focus of a focus lens
CN101909152A (zh) 摄像装置
JP6906950B2 (ja) 撮像装置、その制御方法とプログラムと記録媒体
CN103916606A (zh) 数字拍摄装置及控制其的方法
JP6096041B2 (ja) 撮像装置および撮像方法
CN106101521B (zh) 摄像装置以及摄像装置的控制方法
CN106101495B (zh) 摄像装置以及摄像装置的控制方法
JP2006303967A (ja) 撮像装置および撮像装置の制御方法
JP2010200097A (ja) 撮像装置
JP5747595B2 (ja) 露出制御装置及びカメラ
JP6418715B2 (ja) 画像処理装置および画像処理方法
JP2004112487A (ja) 撮影条件判断装置
JP6284604B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2015232665A (ja) 撮影装置
JP2015233256A (ja) 電子機器
JP2010028657A (ja) 画像処理装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant