CN101444084A - 摄像装置 - Google Patents

摄像装置 Download PDF

Info

Publication number
CN101444084A
CN101444084A CNA2007800169709A CN200780016970A CN101444084A CN 101444084 A CN101444084 A CN 101444084A CN A2007800169709 A CNA2007800169709 A CN A2007800169709A CN 200780016970 A CN200780016970 A CN 200780016970A CN 101444084 A CN101444084 A CN 101444084A
Authority
CN
China
Prior art keywords
image
information
exposure
images
image information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007800169709A
Other languages
English (en)
Other versions
CN101444084B (zh
Inventor
竹田光彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of CN101444084A publication Critical patent/CN101444084A/zh
Application granted granted Critical
Publication of CN101444084B publication Critical patent/CN101444084B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

当在多个图像间进行合成、生成抑制了手抖动的图像时，由于即便在不会发生手抖动的照度条件下也进行合成处理，所以导致画质恶化，当在多个图像中的任意一个是不适当曝光的图像间进行合成时，损害亮度信息的线性特性。作为解决问题的办法，提案一种摄像装置，通过合成利用像素的加法平均或像素加法得到的尺寸比目的图像尺寸小的第一图像、与虽然手抖动极少、但为了得到适当曝光而增益放大、噪声多的第二图像，生成目的图像，进而对应于照度条件，通过使第一图像与第二图像的合成比率对应于温度条件等是可变的，从而能够得到在任何照度条件下均没有手抖动或模糊、抑制了噪声的图像。

Description

摄像装置
技术领域
本发明涉及一种摄像静止图像的摄像装置，具体而言涉及一种手抖动修正技术。
背景技术
专利文献1中，公开了一种摄像装置的发明，其利用预览显示用的预览图像等尺寸小的图像(下面称为“第一图像”)、与以通过摄像装置的用户等按下快门得到为目的的图像(下面称为“第二图像”)，能够进行手抖动修正。
在通常的摄像装置中，根据摄像时的周围的明亮度等，进行曝光控制，在适当的曝光下进行摄像。但是，当曝光控制导致曝光时间变长时，手抖动发生的可能性变高。对此，在专利文献1中，假设预览图像等尺寸小的第一图像虽然曝光适当，但发生手抖动，另一方面，第二图像以减轻手抖动的方式缩短曝光时间。由此，第二图像由于变为尽管无手抖动、但曝光不足的图像，所以利用预览图像等的适当曝光图像的亮度信息，修正第二图像的亮度信息。
进而，在专利文献1中，还记述了利用像素加法取得预览图像等尺寸小的图像的方法。所谓像素加法例如是如图23所示，将四个像素转换为一个像素的方法，当转换时，将四个像素的像素值相加后的值作为一个像素的像素值。例如，当在400×400像素的图像中进行像素加法时，则变为200×200像素的图像。该像素加法的优点在于即便最初的图像是明亮度不足的图像，由于使四个像素的像素值相加来作为一个像素的像素值，所以即便快门时间短，通过像素加法生成的图像也变为确保了明亮度的图像。此外，例如在高像素化CCD的情况下，由于随着CCD整体的大小变大，一个个像素的大小变小，所以射到一个个像素的光变少。即，灵敏度变低。此外，当为了对其修正而放大信号时，则噪声也会变大，但根据像素加法，虽然图像的尺寸变小，但不放大信号就能够确保明亮度，即便在低照度环境下等光量不足的条件下，也可得到噪声少的良好图像。
即便是在不使用像素加法的预览图像等尺寸小的图像中，当减小尺寸时，由于多数情况下使用加法平均处理了邻接像素后的图像，所以虽然有发生手抖动的情况，也可与像素加法一样得到噪声少的良好图像。
用图24和图25来说明专利文献1中使用第一图像与第二图像来进行合成时的概略。
在图24中，作为一例，示出第一图像(2401)与第二图像(2402)的大小不同的情况。此外，(a)示例第一图像与第二图像之间无错位的情况，(b)示例第一图像与第二图像之间有错位的情况。以Ph表示第一图像(2401)的高度、以Pw表示宽度，以Sh表示第二图像(2402)的高度、以Sw表示宽度。首先，在(a)中，当假设对应于第一图像(2401)的像素(x’，y’)的点是第二图像(2402)的像素(x，y)时，由于在(a)中无错位，所以可表示为x’＝αx，y’＝βy。这里，α与β是第一图像与第二图像的水平方向、垂直方向的缩小率，α＝Pw/Sw，β＝Ph/Sh。此外，在(b)中，当假设错位的移动量为(Mx，My)，假设对应于第一图像(2401)的像素(x”，y”)的点是第二图像(2402)的像素(x，y)时，则可表示为x”＝αx+Mx，y”＝βy+My。这样，可求出第一图像与第二图像中各像素彼此的对应关系。从而，通过利用该对应关系，例如可比较对应的各像素的亮度信息，修正明亮度等，进行合成。再有，错位的移动量(Mx，My)可利用块匹配或边缘检测等来检测。
图25表示所述“比较对应的各像素的亮度信息，修正明亮度”的方法的具体例。如在图25中说明的那样，当使错位的移动量为(Mx，My)，α＝Pw/Sw，β＝Ph/Sh时，第一图像的像素(x’，y’)与第二图像的像素(x，y)的关系可表示为x’＝αx+Mx，y’＝βy+My(下面称为“算式1”)。通常，像素的明亮度与曝光时间的长度成比例变化(例如若曝光时间变为两倍，则像素的明亮度也变为两倍)，所以只要对应于第一图像与第二图像的曝光时间比，使在第二图像的图像信息所示的各像素的像素值(RGB值等)增加的话，第二图像的明亮度就变得与第一图像相同。但是，由于噪声也会被放大，所以这里示例利用线性内插、取得与第一图像的像素值的平均后使噪声成分减少的方法来进行像素值的修正的情况。由于线性内插是公知的，所以这里不详述。使在算式1算出的x’的整数部作为k，小数部作为u，y’的整数部作为l，小数部作为v，第一图像的像素(x’，y’)的像素值为Pp(x’，y’)时，则由式Pp(x’，y’)＝Pp(k+u，l+v)＝Pp(k，l)(l-u)(l-v)+Pp(k+1，l)u(l-v)+Pp(k，l+1)(l-u)l+Pp(k+1，l+1)kl，求出像素值Pp(x’，y’)。此外，修正第二图像的亮度信息时的修正量以如下方式算出。使在得到第一图像时的曝光控制中被控制成大致适当曝光的曝光时间(第一图像的曝光时间)作为To，在得到第二图像时的曝光控制中被控制成难以发生手抖动的曝光时间(第二图像的曝光时间)作为Tx时，则有Tr＝Tx/To。当使第二图像的像素(x，y)中的像素值作为Ps(x，y)时，则修正的第二图像的亮度信息的像素值Pa(x，y)由Pa(x，y)＝(Pp(x’，y’)+Ps(x，y)·Tr)/2的算式表示。由此，可利用作为第一图像的亮度信息的像素值Pp(x’，y’)与作为第二图像的亮度信息的像素值Ps(x，y)，以像素值Pa(x，y)来修正第二像素的亮度信息。
此外，在专利文献2中，公开了如下摄像装置的发明，即在光量足够的明亮的高照度环境下的情况下，进行通常的摄影，将被摄体像的亮度判定为低亮度被摄体，并且，比较彩色摄像元件邻接的场(field)的输出图像彼此的结果，判断为所述输出图像彼此中差异少，无运动，被摄体的运动少的情况下，通过将所述各场的同色像素相加，即便是低照度下的被摄体也不顾忌手抖动等，可摄影S/N良好的照片。
专利文献1：日本专利申请2005-209249号
专利文献2：日本专利申请公开2004-235901号公报
但是，在专利文献1的方法中，当使用第一图像与第二图像进行合成时，为了使噪声成分减少，由于始终与通过减小尺寸从而高频成分变少并变得有点模糊的第一图像进行加法平均，所以即便是因在光量足够的高照度环境下、第二图像的摄像条件变为足够短的曝光时间从而不发生手抖动的图像也执行修正，通过修正第二图像的高频成分变少，尽管是抑制手抖动的修正，但边缘变得有点模糊从而导致画质恶化。此外上述“在光量足够的高照度环境下”是指在不发生手抖动的曝光时间为比1/60秒短的曝光时间的情况下，控制摄像控制部以比1/60秒短的曝光时间来控制取得目的图像时必需的曝光时间的状态。
此外，专利文献1的方法公开了如下技术实例，即通过利用作为适当曝光的第一图像、与虽然曝光不足但减轻了手抖动的第二图像，在仅通过利用第一图像的亮度信息修正第二图像的亮度信息来得到减轻了手抖动的图像时，在将第一图像的曝光时间与第二图像的曝光时间的比率乘以第二图像之后，取得与第一图像的平均从而使曝光适当的技术，但根据该方法，实际的摄像部在图像处理过程中实施γ修正，亮度信息的线性特性被损害，所以当单纯地相乘而合成时，则偏离了实际的亮度信息的亮度信息被合成，从而变得不自然。例如，还可以考虑如下方法，即对应于实施了γ修正的量实施逆特性的γ修正，进行上述曝光时间的比率的运算、平均，之后实施γ修正的方法，但当考虑在软、硬件下的实现时，则会显著地增加负荷。
此外，在不使用专利文献1的方法而应用专利文献2的方法的情况下，通过在光量足够的高照度环境下的手抖动修正，虽然模糊被消除，但在判断为变得比通常摄影下发生手抖动的某个规定的照度环境暗(在专利文献2中指将被摄体像的亮度判定为低亮度被摄体)，并且判断为被摄体的运动少时，则立即执行三场的加法，从而目的图像的尺寸变小，或通过加法急剧变为三倍的亮度，由于加法导致高频成分消失，在便利性、画质方面非常差。
在专利文献1的方法中，即便应用控制，以使在光量足够的明亮的高照度环境下的情况下进行通常摄影，在比通常摄影下发生手抖动的某个规定照度环境暗的情况下进行手抖动修正，也是以发生手抖动的某个规定照度环境为界，明亮时变为高频成分多的高画质图像，暗时变为高频成分急剧变少的低画质图像，在稍许的照度环境变化下画质变化大，变得不自然。
进而，在某个程度的暗的低照度环境下，为了弥补第二图像因曝光时间短而导致的曝光不足，在实施增益放大的状态下进行合成时，即便在某个程度的暗的低照度环境下，提高使用第一图像的合成比率抑制了噪声，也有在光未充分射到被摄体的暗部中噪声成分醒目的缺点。
进而此外，在某个程度的暗的低照度环境下，为了弥补第二图像因曝光时间短而导致的曝光不足，在实施增益放大的状态下进行合成时，即便在某个程度的暗的低照度环境下，提高使用第一图像的合成比率抑制了噪声，也由于摄像部的温度上升状态而无法抑制噪声，变为通常使用中难以忍受的画质。
发明内容
因此，本发明提案一种摄像装置，可根据照度条件利用摄像控制对不同摄像条件进行控制，从而在可能发生手抖动的照度环境下，部分地利用多个图像的图像信息合成一个图像的图像信息，由此修正手抖动，在光量足够的高照度环境下，将在通常的摄像条件下摄像的图像原样地作为目的图像。
此外，本发明中在可能发生手抖动的照度环境下，当通过部分地利用多个图像的图像信息合成一个图像的图像信息来修正手抖动时，通过使多个图像间的合成比率配合所述摄像条件为可变的，从而不会以某个规定的照度环境为界，明亮时变为高频成分多的高画质图像，暗时变为高频成分急剧变少的低画质图像，稍许的照度环境变化下画质变化大，变得不自然。
进而，在本发明中，在某个程度的暗的低照度环境下，为了弥补第二图像因缩短曝光时间而引起的曝光不足，在实施增益放大的状态下进行合成时，通过在光未充分射到的暗部中进一步增大在所述合成比率中使用噪声少的第一图像的权重，能够得到抑制了噪声的良好画质。
进而此外，在本发明中，在某个程度的暗的低照度环境下，为了弥补第二图像因缩短曝光时间而引起的曝光不足，在实施增益放大的状态下进行合成时，通过根据摄像部的温度上升状态，进一步增大在所述合成比率中使用噪声少的第一图像的权重，从而即便摄像部的温度上升，也能够得到抑制了噪声的良好画质。
再有，在本发明中，在某个程度的暗的低照度环境下，为了弥补第二图像因缩短曝光时间而引起的曝光不足，在实施增益放大的状态下进行合成时，从噪声少的图像中取得边缘信息，在不是边缘信息的区域中，可进行进一步增大了使用噪声少的图像的权重的合成，所以在不是边缘信息的区域中，能够得到抑制了噪声的良好画质的图像。
进而再有，在本发明中，从多个图像中取得运动区域信息，在运动区域中可进行使用了噪声少的图像的合成，所以在运动区域中可得到抑制了噪声的良好画质的图像。
进而再有此外，在本发明中，在某个程度的暗的低照度环境下，为了弥补第二图像因缩短曝光时间而引起的曝光不足，在实施增益放大的状态下进行合成时，由于可分别合成亮度信息与色信息，所以可对应于亮度噪声或色噪声的发生状况，得到抑制了发生噪声的手抖动修正图像。
发明效果
在本发明的摄像装置中，可对应于照度条件进行或不进行用于修正手抖动的合成，并且，可对应于照度条件使修正手抖动时的多个图像间的合成比率可变，所以能够对应于状况在保持抑制了噪声的最佳画质的同时，得到期望的抑制了手抖动的图像。
此外，在根据照度条件进行基于合成的手抖动修正的情况下，照度条件越暗或温度条件变得越高温，有随着增益放大而噪声增加的倾向，但能够配合被摄体的状态(明部或暗部，边缘部或不是边缘部，是否是运动的被摄体等)，进行适当抑制噪声的合成，即便低照度下也可进行高品位的摄影。
附图说明
图1是实施方式1的摄像装置的功能块图。
图2是实施方式1的摄像装置的功能块图。
图3是表示在第一控制部件被控制的曝光控制的一个例子的图。
图4是表示在第二控制部件被控制的曝光控制的一个例子的图。
图5是表示在合成部使用第一图像与第二图像进行合成时的概略的一个例子的图。
图6是表示实施方式1的摄像装置的处理流程的流程图。
图7是示例摄像装置的具体结构的图。
图8是实施方式2的摄像装置的功能块图。
图9是表示在实施方式2的第二控制部件被控制的曝光控制与乘法系数控制的一个例子的图。
图10是实施方式3的摄像装置的功能块图。
图11是表示在实施方式3被控制的乘法系数控制的一个例子的图。
图12是实施方式4的摄像装置的功能块图。
图13是表示在实施方式4被控制的乘法系数控制的一个例子的图。
图14是表示实施方式4的摄像装置的处理流程的流程图。
图15是实施方式5的摄像装置的功能块图。
图16是说明二次微分滤波器的图。
图17是表示在实施方式5被控制的乘法系数控制的一个例子的图。
图18是实施方式6的摄像装置的功能块图。
图19是说明生成运动区域信息的方法的图。
图20是表示在实施方式6被控制的乘法系数控制的一个例子的图。
图21是实施方式7的摄像装置的功能块图。
图22是表示在实施方式7的第二控制部件被控制的曝光控制与乘法系数控制的一个例子的图。
图23是说明像素加法的图。
图24是表示在合成部使用第一图像与第二图像进行合成时的概略的一个例子的图。
图25是修正第二图像的亮度信息的方法具体例。
图26是表示在实施方式7的第二控制部件被控制的曝光控制与乘法系数控制的一个例子的图。
附图标记说明
0100  摄像装置
0101  摄像部
0102  控制部
0103  图像信息保持部
0104  合成部
0206  第一控制部件
0207  第二控制部件
具体实施方式
参照附图来详细说明实施本发明的最佳方式。再有，本发明不限于这些实施方式，在不脱离其主旨的范围下，可以各种方式实施。再有，下面的实施方式与权利要求的关系如下。实施方式1主要说明权利要求1、2、3、10等。实施方式2主要说明权利要求4等。实施方式3主要说明权利要求5等。实施方式4主要说明权利要求6等。实施方式5主要说明权利要求7等。实施方式6主要说明权利要求8等。实施方式7主要说明权利要求9等。
(实施方式1)
(实施方式1：概要)本实施方式涉及一种摄像装置，用于对应于照度条件决定是否进行手抖动修正的合成，在进行手抖动修正合成时利用在不同摄像条件下摄像的多个图像来合成无手抖动的图像。
(实施方式1：结构)在图1、图2中示例本实施方式的摄像装置的功能块。图1示例的摄像装置(0100)具有：“摄像部”(0101)、“控制部”(0102)、“图像信息保持部”(0103)、和“合成部”(0104)。
此外，如图2所示，摄像装置(0200)具有：“摄像部”(0201)、“控制部”(0202)、“图像信息保持部”(0203)、和“合成部”(0204)，进而，所述控制部(0202)具有：“第一控制部件”(0206)和“第二控制部件”(0207)也可。
再有，作为本发明的结构要素的各部由硬件、软件、硬件和软件双方之一构成。例如，作为实现其的一例，在利用计算机的情况下，有CPU、总线、存储器、接口、外围装置等构成的硬件、与可在这些硬件上执行的软件。作为软件，通过依次执行在存储器上展开的程序，通过存储器上的数据、或经接口输入的数据的加工、保存、输出等，实现各部的功能。进而具体而言，图7是表示摄像装置的更具体的结构的图，作为一例，示出由摄像部(0701)、CPU(0702)、暂时存储存储器(0703)、存储装置(0704)、图像输出单元(0705)、监视器(0706)等构成。此外，示出所述摄像部(0701)内部由“透镜”(0707)、“CCD(Charge Coupled Device：电荷耦合元件”(0708)、“CDS/AGC(Correlated Double Sampling/Auto GainControl，相关双采样/自动增益控制)”(0709)、“A/D转换器”(0710)、“图像处理处理器”(0711)等构成。此外，所述图像处理处理器(0711)内部也可具有“γ修正处理机构”(0712)。(在说明书整体中一样。)
下面，说明各结构要件。
“摄像部”(0101)具有摄像被摄体的功能。所谓“摄像”，具体而言以图7为例，是指通过透镜(0707)等光学系统，在CCD(0708)等摄像元件感光来自被摄体的光，经过降低CCD(0708)中所含的噪音的CDS、或包含AGC的CDS/AGC(0709)，该AGC进行用于通过放大信号从而弥补曝光量下降的灵敏度提高，由A/D转换器(0710)等转换为电信号，再在图像处理处理器(0711)经过曝光控制或白平衡控制或γ修正处理机构(0712)，通过进行亮度/色信号处理从而构成图像信息。此外，摄像部也可包含用于执行这种处理的程序。此外，摄像部根据摄像条件进行摄像。所谓“摄像条件”，具体而言相当于曝光时间(与“快门速度”同义)、在多个图像间摄像的摄像间隔、灵敏度提高用的增益条件(与AGC的“增益”同义)、是否在摄像部进行基于加法平均或像素加法的尺寸缩小的缩小控制条件、是否是用于进行手抖动修正的合成用图像的图像条件、尺寸条件(可由“缩小率”等定义)等。
“控制部”(0102)利用在根据照度条件而不同的曝光时间条件或增益条件下构成的摄像条件来进行摄像控制。所谓“利用摄像条件来进行摄像控制”是指读出设定的摄像条件，以在读出的摄像条件下进行摄像部(0101)的摄像的方式进行控制。此外，也可具有决定摄像条件的功能。所谓决定摄像条件，具体而言是指决定曝光时间或摄像间隔、可否执行基于加法平均或像素加法的尺寸缩小控制等。例如，相当于以前的摄像机那样利用周围的明亮度等算出适当曝光的曝光时间并作为摄像时的曝光时间而设定，或在即便延长曝光时间也发生曝光量下降的情况下，进行通过AGC使信号电平放大的增益控制等。此外，为了改善手抖动修正时修正用图像中的正确的位置对准或S/N、灵敏度，也可包含在摄像部进行基于加法平均或像素加法的尺寸缩小的控制等。曝光时间或摄像间隔、增益控制在进行基于加法平均或像素加法的尺寸缩小控制时，假定事先以提高增益的方式进行控制，通过相应地缩短曝光时间，进行减轻手抖动的设定，或在认为由于适当曝光时间的长度而引起手抖动的可能性高的情况下，将曝光时间设定得短，相应地施加增益，设定成适当曝光等。作为控制部的具体处理，例如在图7中的暂时存储存储器(0703)或存储装置(0704)等规定存储区域中存储曝光时间、摄像间隔等值，从该规定的存储区域中读出设定值，对应于读出的设定值控制在摄像部的摄像。此外，控制部也可包含用于使CPU(0702)执行这种处理的程序。
此外，如图2所示，控制部(0202)也可具有“第一控制部件”(0206)与“第二控制部件”(0207)。
“第一控制部件”(0206)具有将作为摄像的多个图像之一的图像的第一图像，以比摄像的多个图像的其它图像小的图像尺寸且成为适当曝光的图像的方式进行控制的功能。所谓“比其它图像小的图像”例如是其它图像的1/n的尺寸。此外，第一控制部件也可通过像素的加法平均或像素加法，将作为摄像的多个图像之一的图像的第一图像变为比摄像的多个图像的其它图像小的图像尺寸，也可在进行控制时，对应于以像素的加法平均或像素加法改善的S/N，将曝光时间控制得短。
“第二控制部件”(0207)具有将作为摄像的多个图像的另一图像的第二图像，以在手抖动不发生的短的曝光时间、且曝光变得适当的方式施加增益来摄像，以上述方式进行控制的功能。所谓“不发生手抖动的短的曝光时间”例如像一般说的那样，若曝光时间为约1/60秒(约16毫秒)以下，则在基于手抖动的边缘的流动变得不能识别的情况下，指的是1/60秒的曝光时间。第二图像的摄像尺寸是以利用摄影得到为目的的图像的尺寸。
“图像信息保持部”(0103)具有保持通过控制部(102)控制到不同摄像条件下摄像的一个或多个图像的图像信息的功能。所谓“控制到不同摄像条件下摄像的一个或多个图像”，例如相当于在第一控制部件(0206)被控制而摄像的第一图像与在第二控制部件(0207)被控制而摄像的第二图像等。此外，在合成部(0104)，在多个图像的摄像位置错位的情况下需要在位置对准之后进行多个图像的合成，但具体实施例已在背景技术中叙述，所以这里省略。此外，所谓“图像信息”是用于实现图像的信息，具体而言，例如可以举出由各像素的RGB值或YUV值等数值表示的信息。可是，亮度信息(Y)、色信息(UV)由RGB值表示是公知的，大致由“Y＝0.299R+0.587G+0.114B”(下面称为“算式2”)、“U＝-0.169R-0.331G+0.500B”、“V＝0.500R-0.419G-0.081B”等算式求出。由此，可认为亮度信息、色信息也包含于图像信息中。图像信息保持部具体而言，主要通过图7中示例的暂时存储存储器(0703)或存储装置(0704)等实现。进而，图像信息保持部也可包含用于使CPU(0702)执行保持图像信息的处理的程序。
“合成部”(0104)具有根据照度条件，部分地利用保持的多个图像的图像信息来合成用于合成图像的图像信息，或原样输出根据该摄像条件摄像的图像的功能。例如，假设对应于照度条件决定是否进行合成，在进行合成的情况下，根据从图像信息保持部(0103)发送来的关于第一图像的图像信息1与摄像条件1、和图像信息2与摄像条件2，部分地利用图像信息，合成一个图像的图像信息的情况等。所谓“部分地利用所述多个图像的图像信息”是指在合成的情况下也可不利用图像信息全部。例如，假设仅修正图像的一部分的情况，即仅修正图像中的某一部分的RGB值或YUV值来合成的情况等。此外，所谓“合成图像”是以最终得到为目的的图像，是减轻了抖动的图像。合成部例如根据摄像条件1和摄像条件2，得知图像有多枚、各个图像是合成用图像、第一图像是第二图像的1/n的尺寸等，部分地利用图像信息，合成用于合成图像的图像信息。此外，合成部也可包含使CPU(0702)执行用于这种处理的程序。
(在可能发生手抖动的照度条件下的控制的具体例)下面，说明在可能发生手抖动的照度条件下的控制的具体例。首先，使用图3来说明第一控制部件使第一图像适当曝光的控制。通常在以对应于摄像环境的照度使曝光成为适当曝光的方式进行控制的情况下，因手抖动等发生抖动的可能性高。这是因为低照度环境下的曝光控制状态(3-3)与高照度环境下的曝光控制状态(3-1)相比，曝光时间变长(曲线3A)，发生手抖动的可能性变高。由于第一控制部件如上所述，以生成比其它图像小的图像的方式进行控制，所以当生成小的图像时，只要使用加法平均处理就可期待改善S/N。由于在加法平均处理改善的噪声电平在使相加的像素数量为n的情况下，变为
1 / n
倍，所以在不期待S/N的改善的情况下，即便施加
n
倍的增益，施加增益后的S/N也与加法平均前的S/N没有变化。因此，在第一图像优先减轻手抖动的情况下，也可施加
n
倍的增益(曲线3B)，相应地将曝光时间设为
1 / n
倍(曲线3C)。即，第一控制部件实现控制摄像条件的效果、以得到曝光适当、且手抖动尽量减轻的图像。
再有，在第一控制部件以生成比第二图像小的图像的方式进行控制时，在进行像素加法的控制的情况下，由于不进行平均处理，所以为了变为适当曝光的图像，即便不施加增益，也需要将曝光时间变为1/n倍。即，在像素加法的情况下，要是可以与对应于摄像环境的照度适当曝光时的S/N相等的话，就能将曝光时间变为1/n倍，进而得到减轻了手抖动的图像。
此外，在不使用像素加法而利用加法平均处理生成小的图像时、或使用像素加法生成小的图像时，当发生手抖动的边缘宽度小时，由于包含发生手抖动的边缘像素来进行加法平均或加法处理，所以虽然有一些，但也可期待消除手抖动发生了的边缘、减轻手抖动的效果。
在第一控制部件中，作为摄像条件，例如曝光时间是“减轻了手抖动的曝光时间”，摄像多个图像间的摄像间隔是“能够实现减轻了手抖动的曝光时间的最小摄像间隔”，灵敏度提高用的增益条件是“比通常控制高
n
倍(像素相加时为n倍)的值”，基于在摄像部进行的加法平均或像素加法的尺寸缩小有无是“有尺寸缩小控制”，是否是用于进行手抖动修正的合成用图像的图像条件是“是合成用图像1”，尺寸条件是“为其它图像的1/n的缩小率”，将这些摄像条件例如作为摄像条件1来保持。
下面，使用图4说明第二控制部件以适当曝光的方式进行的控制。图4中，使“不发生手抖动的短的曝光时间”作为1/60秒。例如，即便在低照度环境下，第二控制部件也维持1/60秒的曝光时间(曲线4A)，对应于不足适当曝光的部分施加增益，变为适当曝光(曲线4B)。从而，在低照度环境下，通过第二控制部件得到的图像S/N相当差，并且由于施加增益，所以变为噪声相当多的图像。即，虽然第二控制部件与第一控制部件一样，实现控制摄像条件，使曝光适当且手抖动极少，但因照度条件不同，得到噪声相当多的图像的功能。
在第二控制部件中，作为摄像条件，例如曝光时间是“手抖动极少的曝光时间”，在多个图像间摄像的摄像间隔是“能够实现手抖动极少的曝光时间的最小摄像间隔”，用于灵敏度提高的增益条件是“相当高的值”，基于在摄像部进行的加法平均或像素加法的尺寸缩小有无是“无尺寸缩小控制”，是否是用于进行手抖动修正的合成用图像的图像条件是“是合成用图像2”，尺寸条件是“以通过摄影得到为目的的图像的尺寸”，将这些摄像条件例如作为摄像条件2来保持。
下面，用图5来说明在合成部使用第一图像与第二图像进行合成时的概略。在图5中，作为一个例子示出第一图像(0501)与第二图像(0502)的大小不同的情况。此外，有时第一图像与第二图像之间也存在错位，但具体的实施例在背景技术中已描述，所以这里不叙述。以Ph表示第一图像(0501)的高度、Pw表示宽度，Sh表示第二图像(0502)的高度、Sw表示宽度。首先，当假定对应于第一图像(0501)的像素(x’，y’)的点是第二图像(0502)的像素(x，y)时，则可表示为x’＝αx，y’＝βy。这里，α与β是第一图像与第二图像的水平方向、垂直方向的缩小率，α＝Pw/Sw，β＝Ph/Sh。在本实施例中，在第一控制部件得到的第一图像的曝光电平(＝亮度信息的电平)与在第二控制部件得到的第二图像的曝光电平，通过在第一控制部件和第二控制部件适当进行增益控制等，是相同的曝光电平，当合成时，不必修正亮度信息。此外，如上所述，在第一控制部件得到的第一图像是通过缩小处理或像素加法而减轻了手抖动的图像，在第二控制部件得到的第二图像是手抖动极少、但为了得到适当曝光而施加增益的噪声非常多的图像。合成这两个图像在本例中利用单纯的加法平均来合成。
当使第一图像的像素(x’，y’)的像素值为Pp(x’，y’)，第二图像的像素(x，y)的像素值为Ps(x，y)，以手抖动修正为目的的合成图像的像素(x，y)的像素值为P(x，y)时，则以P(x，y)＝(Pp(x’，y’)+Ps(x，y))/2表示。由此，可通过作为第一亮度信息的像素值Pp(x’，y’)与作为第二亮度信息的像素值Ps(x，y)，用像素值P(x，y)来修正第二亮度信息。
(手抖动极少的照度条件下的控制的具体例)下面，说明手抖动极少的照度条件下的控制的具体例。再有，对与在上述可能发生手抖动的照度条件下的控制的具体例中说明的内容相同的部分省略说明，仅说明不同的部分。
首先，在控制部中，根据周围的明亮度等判断作为适当曝光的曝光时间计算的曝光时间等信息是“可能发生手抖动的曝光时间”还是“不发生手抖动的曝光时间”。作为具体例，例如在图7的暂时存储存储器(0705)或存储装置(0706)等的规定存储区域中，存储在摄像部得到的曝光时间等值，CPU(0702)从该规定的存储区域中读入设定值。此外，使暂时存储存储器(0703)或存储装置(0704)持有“可能发生手抖动的曝光时间”或“不发生手抖动的曝光时间”的信息，CPU(0702)通过使之与读入的设定值对照，实现判断在摄像部得到的曝光时间是“可能发生手抖动的曝光时间”还是“不发生手抖动的曝光时间”的处理。作为这种在控制部的判断结果，设曝光时间为“不发生手抖动的曝光时间”以下，即例如在上述实例中为约1/60秒(约16毫秒)以下。
此时，第一控制部件以将摄像的图像数量作为一、第一图像成为适当曝光的图像的方式进行控制。由于不进行尺寸缩小控制，也有足够光量，所以可以认为也不必进行增益控制。即，第一控制部件实现控制摄像条件的效果，以得到曝光适当，噪声少且手抖动极少的图像。
此外，在第一控制部件中，作为摄像条件，例如曝光时间是“手抖动极少的曝光时间”，在多个图像间摄像的摄像间隔是“能够实现手抖动极少的曝光时间的最小摄像间隔”，灵敏度提高用的增益条件是“0”，基于在摄像部进行的加法平均或像素加法的尺寸缩小有无是“无尺寸缩小控制”，是否是用于进行手抖动修正的合成用图像的图像条件是“非合成用”，尺寸条件是“以通过摄影得到为目的的图像的尺寸”，将这些摄像条件例如作为摄像条件1而保持。
此外，图像信息保持部此时保持通过控制部(0102)的第一控制部件被控制并摄像的一个图像的图像信息。
进而，在合成部中，由于可利用照度条件判断未进行合成，所以将图像信息1原样作为目的图像输出。
(实施方式1：处理流程)图6示例本实施方式的摄像装置的处理流程的流程图。摄像装置例如每当用户按下快门等对被摄体进行摄像时，进行图6的处理。
首先控制摄像条件。该处理通过控制部执行(控制步骤S0601)。接着，根据在上述控制步骤(S0601)控制的摄像条件，判断为了得到目的图像所需的曝光时间是否是手抖动极少的曝光时间。该处理由控制部执行(判断步骤S0603)。
所述判断步骤(S0603)判断的结果，在不是手抖动极少的曝光时间的情况下(向图6中NO箭头的方向迁移)，对第一图像以减轻手抖动的曝光时间、并且成为适当曝光的图像的方式施加增益进行控制，并生成比第二图像小的图像的方式进行控制。该处理通过第一控制部件执行(第一控制步骤S0604)。接着，在以所述第一控制步骤(S0604)控制的摄像条件下进行摄像。该处理通过摄像部执行(第一图像摄像步骤S0605)。接着，保持在所述第一图像摄像步骤(S0605)摄像的第一图像的图像信息。该处理通过图像信息保持部执行(第一图像信息保持步骤S0606)。接着，对第二图像以不发生手抖动的曝光时间、并且曝光变为适当的方式施加增益进行控制，以与目的图像相同的摄像尺寸进行摄像的方式进行控制。该处理通过第二控制部件执行(第二控制步骤S0607)。接着，在以所述第二控制步骤(S0607)控制的摄像条件下进行摄像。该处理通过摄像部执行(第二图像摄像步骤S0608)。接着，保持在所述第二图像摄像步骤(S0608)摄像的第二图像的图像信息。该处理通过图像信息保持部执行(第二图像信息保持步骤S0609)。接着，合成第一图像与第二图像，生成目的图像。该处理通过合成部执行(合成步骤S0610)。
在所述判断步骤(S0603)判断的结果中，在是手抖动极少的曝光时间的情况下(向图6中的YES箭头的方向迁移)，对第一图像以手抖动极少的曝光时间、且成为适当曝光的图像的方式进行控制，并以与目的图像相同的摄像尺寸进行摄像的方式进行控制。该处理通过第一控制部件执行(第一控制’步骤S0611)。接着，在第一控制’步骤(S0611)控制的摄像条件下进行摄像。该处理通过摄像部执行(第一图像’摄像步骤S0612)。接着，保持在所述第一图像’摄像步骤(S0612)摄像的第一图像的图像信息。该处理通过图像信息保持部执行(第一图像’信息保持步骤S0613)。接着，原样输出第一图像，生成目的图像。该处理通过合成部执行(输出步骤S0614)。
(实施方式1：效果)在本实施方式的摄像装置中，在通常摄影中以手抖动极少的曝光时间下能够摄影的情况下，可得到手抖动极少、且无增益放大的抑制了噪声的图像，在通常摄影中手抖动极少的曝光时间下不能摄影的情况下，可利用在不同的摄像条件下摄像的多个图像，得到减轻了手抖动的图像，所以在任何照度条件下，均可得到抑制了噪声的图像。尤其是通过对作为减轻了手抖动、噪声也少的图像的第一图像、与虽然噪声多但手抖动极少的第二图像进行合成，可得到抑制了噪声且减轻手抖动的图像。此外，当合成时，由于第一图像也好第二图像均是适当曝光，所以合成处理简化，得到目的图像之前难耗费处理时间。进而，因为为了得到适当曝光，在摄像部的γ修正部件实施γ修正前的AGC实施增益放大，所以第一图像与第二图像的图像信息的线性特性得到维持，可进行自然的图像合成处理。
(实施方式2)
(实施方式2：概要)本实施方式涉及一种摄像装置，其利用在不同的摄像条件下摄像的多个图像来合成无手抖动的图像时，在手抖动发生的某个规定照度环境附近，能够得到稍许的照度环境变化下画质无大的变化、抑制了噪声的手抖动修正图像。
(实施方式2：结构)图8中示例本实施方式的摄像装置的功能块。本实施方式的摄像装置的结构是在实施方式1说明的图1、图2的摄像装置的结构上加上“第一合成比率可变合成部件”(0808)的结构。在图8中，示例在图2说明的摄像装置的结构上加上所述第一合成比率可变合成部件(0808)的结构。摄像装置(0800)具有：“摄像部”(0801)、“控制部”(0802)、“图像信息保持部”(0803)、和“合成部”(0804)。此外，所述控制部(0802)具有：“第一控制部件”(0806)和“第二控制部件”(0807)。此外，所述合成部(0804)具有：“第一合成比率可变合成部件”(0808)。对与在实施方式1中使用的图1、图2说明的结构要件相同的结构要件省略说明。
“第一合成比率可变合成部件”(0808)具有使合成比率配合多个图像的摄像条件的任一个或二个以上变化的功能。具体而言，例如对将摄像条件转换为乘法系数(0809)后得到的各乘法系数进行输入，在乘法器(0810、0811)将所述各乘法系数乘以图像信息之后，在加法器(0812)将相乘后的各图像信息相加，从而合成图像。再有，当乘以乘法系数时，以像素单位决定相乘的乘法系数并进行乘法也可。
(可能发生手抖动的照度条件下的控制的具体例)在本实施例中，在手抖动极少的照度条件下的控制与实施方式1一样，用图8来说明仅在可能发生手抖动的照度条件下的控制的具体例。对于与在实施方式1中使用的图1、图2相同的结构要件，就进行同样控制的结构要件省略说明。
在合成部中，例如当将摄像条件转换为乘法系数时(0809)，对应于涉及第一图像的摄像条件1或涉及第二图像的摄像条件2的曝光条件或增益条件，与涉及第一图像的图像信息1相乘的乘法系数1(未图示)、和与涉及第二图像的图像信息2的乘法系数2(未图示)变化，在加法器(0812)通过将相乘后的各图像信息相加来合成。
合并使用图3和图9来说明在合成部使用第一图像与第二图像进行合成时的概略。图9指示以如下方式进行控制的状态，即，控制部(0802)内的“第二控制部件”(0807)相对于照度条件，对进行摄像对作为摄像的多个图像的另一图像的第二图像，以不发生手抖动的曝光时间、且曝光变得适当的方式施加增益并进行摄像。此外，根据取得的摄像条件，指示转换为乘法系数的控制。
首先，作为照度条件，在比高照度环境下(图3：3-1)稍暗的中照度环境下(图3：3-2)，在第一控制部件(0806)中以曝光时间为约1/60秒以上的方式进行控制，相当于在实施方式1中说明的“可能发生手抖动的照度条件下的控制”。第一控制部件(0806)的控制以后与实施方式1中说明的控制相同，下面说明第二控制部件(0807)的控制。
在第二控制部件中，例如，通过维持“不发生手抖动的曝光时间”、即曝光时间约1/60秒，从而进行抑制了抖动的曝光时间的控制(图9：9-2)。进而，第二控制部件(0807)对于曝光时间维持约1/60秒引起的曝光不足，施加增益后变为适当曝光。进而，在摄像环境向低照度环境方向推移的情况下，进一步施加增益后变为适当曝光，但在某个规定的增益值中，到达发现由于增益放大而增加的噪声引起的画质恶化的增益值(图9：增益值A)。
将摄像条件转换为乘法系数时(0809)，例如图9的上部所指示的那样，从将曝光时间控制为约1/60秒以上起，到发现由于增益放大而增加的噪声引起的画质恶化的增益值的控制状态(图9：9-2所示的中照度的曝光控制状态)，将乘法器1(0810)的乘法系数1(第一图像用)控制为0，将乘法器2(0811)的乘法系数2(第二图像用)控制为1。
合成部的第一合成比率可变合成部件(0808)根据将摄像条件转换为乘法系数(0809)得到的乘法系数，在乘法器1(0810)和乘法器2(0811)对图像信息进行乘法，在加法器(0812)合成图像。
由此，在合成部(0808)进行仅使用图像信息2的信息的合成处理，进行控制以得到以图像信息2的特性的“手抖动极少、未发现噪声引起的画质恶化的图像”为主的图像。
接着，在比上述照度条件更暗的低照度环境下，第二控制部件(0807)继续维持“不发生手抖动的曝光时间”、即曝光时间约1/60秒，进行抑制抖动的曝光时间的控制(9-3)。此时，第二控制部件(0807)对曝光时间维持约1/60秒引起的曝光不足，相比认为由于增益放大而增加的噪声引起的画质恶化的增益值的控制状态(9-4)，进一步施加增益后变为适当曝光。
当将摄像条件转换为乘法系数时(0809)，如图9的上部所指示的那样，从发现由于增益放大而增加的噪声引起的画质恶化的增益值的控制状态起到曝光控制变为最大的控制状态为止(9-3所示的低照度下的曝光控制状态)，以使涉及乘法器1(0810)的乘法系数1(第一图像用)从0缓慢变化到0.5，使涉及乘法器2(0811)的乘法系数2(第二图像用)从1缓慢变化到0.5的方式控制系数。
在合成部的第一合成比率可变合成部件根据将摄像条件转换为乘法系数(0809)得到的乘法系数，在乘法器1(0810)和乘法器2(0811)对图像信息进行乘法，在加法器(0812)合成图像。
由此，在合成部中，照度变得越暗、越进行主要使用图像信息1的信息而非图像信息2的信息的合成，进行如下控制，减弱使用作为图像信息2的特性的“手抖动极少，但发现噪声引起的画质恶化，由于增益放大导致噪声增加，画质恶化变大的图像”的比率，进行控制，以得到以图像信息1的特性的“抑制手抖动，尺寸小，但噪声少的图像”为主的图像。
再有，在本实施例中，第一合成比率可变合成部件(0808)的乘法器1(0810)和乘法器2(0811)从发现由于增益放大而增加的噪声引起的画质恶化的增益值的控制状态起到曝光控制变为最大的控制状态为止(图9：9-3所示的低照度下的曝光控制状态)，使乘法器1(0810)的乘法系数1从0缓慢变化到0.5，使涉及乘法器2(0811)的乘法系数从1缓慢变化到0.5，对此已经进行了说明，但当图像信息2的噪声成分多时，以使乘法器1(0810)的系数1从0缓慢变化到1，使涉及乘法器2(0811)的乘法系数2从1缓慢变化到0的方式进行控制也可。取得的乘法系数的变化程度应对应于图像信息1和图像信息2的状态适当变更，可以本实施例的值以外的值来控制。
此外，在本实施例中，分别说明了应用于涉及乘法器1(0810)的乘法系数1与应用于涉及乘法器2(0811)的乘法系数2的乘法系数，但涉及乘法器2(0811)的乘法系数2也可由从1减去涉及乘法器1(0810)的乘法系数1后的值来定义。
(实施方式2：处理流程)本实施方式的摄像装置中的处理流程与实施方式1中说明的图6的摄像装置的处理流程一样。但是，特征在于合成步骤(S0610)中的第一图像与第二图像的合成如上所述，是配合摄像条件使多个图像间的合成比率可变化。
(实施方式2：效果)在可能发生手抖动的照度环境下，当通过部分地利用多个图像的图像信息来合成一个图像的图像信息、从而修正手抖动时，通过使多个图像间的合成比率与所述摄像条件配合变化，可得到如下图像，该图像不会以某个规定的照度环境为界，明亮时变为高频成分多的高画质图像，暗时变为高频成分急剧变少的低画质图像，稍许的照度环境变化下画质变化大，不自然。
(实施方式3)
(实施方式3：概要)本实施方式涉及如下摄像装置，即为了在某个程度的暗的低照度环境下，弥补第二图像由于缩短曝光时间而引起的曝光不足，在施加增益放大的状态下进行合成的情况下，在光未充分射到被摄体的暗部中，能够进行进一步增大使用噪声少的图像的权重的合成，所以在光未充分射到被摄体的暗部中，得到抑制了噪声的良好画质的图像。
(实施方式3：结构)在图10中示例本实施方式的摄像装置的功能块。本实施方式的摄像装置的结构是在实施方式1或实施方式2说明的摄像装置的结构上加入“亮度信息取得部件”(1008)和“第二合成比率可变合成部件”(1009)的结构。在图10中，示例在实施方式1的图2说明的摄像装置的结构上加入所述亮度信息取得部件(1008)和所述第二合成比率可变合成部件(1009)的结构。摄像装置(1000)具有：“摄像部”(1001)、“控制部”(1002)、“图像信息保持部”(1003)、和“合成部”(1004)。此外，所述控制部(1002)具有：“第一控制部件”(1006)和“第二控制部件”(1007)。此外，所述合成部(1004)具有：“亮度信息取得部件”(1008)和“第二合成比率可变合成部件”(1009)。关于在实施方式1或2中说明的结构要件相同的结构要件省略说明。
“亮度信息取得部件”(1008)具有从所述图像信息保持部(1003)保持的一个或多个图像中取得亮度信息的功能。例如，取得第一图像的第一亮度信息。“亮度信息”可以是构成图像的全部像素的亮度信息，也可以仅是部分像素的亮度信息。此外，亮度信息如算式2那样使用RGB各值来表示，所以作为亮度信息，也可将不是Y值而是RGB值的组合作为亮度信息。
此外，在摄像装置中，假设可判断在亮度信息取得部件(1008)取得的亮度信息是高亮度、中亮度还是低亮度等。
“第二合成比率可变合成部件”(1009)具有使合成比率配合所述亮度信息是可变的功能。具体而言，例如输入将亮度信息转换为乘法系数(1010)后得到的各乘法系数，图像信息在乘法器(1011、1012)与所述各乘法系数相乘之后，在加法器(1013)相加，合成。
(在可能发生手抖动的照度条件下的控制的具体例)在本实施例中，在手抖动极少的照度条件下的控制与实施方式1一样，用图10来仅说明在可能发生手抖动的照度条件下、且发现基于噪声的画质恶化的增益控制的具体例。关于与在实施方式1中使用的图1或图2相同的结构要件，省略进行同样控制的结构要件的说明。
合成部例如在合成的同时取得第一图像的第一亮度信息，根据所述第一亮度信息转换为乘法系数(1010)之后，将乘法系数发送到第二合成比率可变合成部件(1009)，第二合成比率可变合成部件(1009)将图像信息与所述各乘法系数相乘之后，在加法器(1013)相加。
合并使用图11来说明在合成部使用第一图像与第二图像进行合成时的概略。在图11中，根据从第一图像或第二图像取得的各像素的亮度信息、指示转换为乘法系数的控制。
首先，在亮度信息为从高亮度到中亮度的像素合成中，例如如图11中所指示的那样，将涉及乘法器1(1011)的乘法系数3(第一图像用：图10中未图示)控制为0，将涉及乘法器2(1012)的乘法系数4(第二图像用：图10中未图示)控制为1。在合成部(1004)的第二合成比率可变合成部件(1009)中，根据从亮度信息得到的乘法系数，在乘法器1(1011)和乘法器2(1012)对图像信息进行乘法，在加法器(1013)合成图像。由此，合成部(1004)变成进行仅使用图像信息2的信息的合成处理(实际上是仅单独使用图像信息2的图像的生成处理)，进行以作为图像信息2的特性的“虽然是发现基于噪声的画质恶化的增益控制状态，但高亮度部信号电平高，难以看到噪声的像素”为主的合成控制。(11-1)
下面，在亮度信息从中亮度到低亮度的像素的合成中，例如图11所指示的那样，以使涉及乘法器1(1011)的乘法系数3(第一图像用)从0缓慢变化到0.5，使涉及乘法器2(1012)的乘法系数4(第二图像用)从1缓慢变化到0.5的方式进行控制。在合成部(1004)的第二合成比率可变合成部件(1009)中，根据从亮度信息得到的乘法系数，在乘法器1(1011)和乘法器2(1012)对图像信息进行乘法，在加法器(1013)合成图像。由此，在合成部(1004)中，进行对应于亮度信息的合成处理，进行如下合成控制，亮度信息越变为低亮度，越不太使用作为图像信息2的特性的“在发现基于噪声的画质恶化的增益控制状态下，低亮度部信号电平低，更易发现噪声的像素”，而以作为图像信息1的特性的“抑制手抖动，虽然噪声少，但由于尺寸小，所以高频成分少的像素”为主。(11-2)
再有，在本实施例中，当从亮度信息得到乘法系数时(1010)，在亮度信息从中亮度到低亮度的像素的合成中，以使涉及乘法器1(1011)的乘法系数3从0缓慢变化到0.5，使涉及乘法器2(1012)的乘法系数4从1缓慢变化到0.5的方式进行控制，虽然对以上内容进行了说明，但当图像信息2的噪声成分多时，也可以使乘法器1(1011)的乘法系数3从0缓慢变化到1的方式进行控制，以使涉及乘法器2(1012)的乘法系数4从1缓慢变化到0的方式进行控制。取得的乘法系数的变化程度应对应于图像信息1和图像信息2等的状态适当变更，以本实施例的值以外的值来控制也可。
此外，在本实施例中，分别说明了应用于涉及乘法器1(1011)的乘法系数3与应用于涉及乘法器2(1012)的乘法系数4的乘法系数，但涉及乘法器2(1012)的乘法系数4也可由从1减去涉及乘法器1(1011)的乘法系数3后的值来定义。
进而，例如在与实施方式2说明的第一合成比率可变合成部件一起应用本实施方式的情况下，也可对实施方式2的乘法器2(0810)中的乘法系数2，将乘以本实施方式的乘法器2(1012)的乘法系数4的数值的平方根作为应用于乘法器2(1012)的乘法系数’，应用于乘法器1(1011)的乘法系数由从1减去应用于所述乘法器2(1012)的乘法系数’后的值来定义。
(实施方式3：处理流程)本实施方式的摄像装置中的处理流程与实施方式1中说明的图6的摄像装置的处理流程一样。但是，特征在于合成步骤(S0610)中的第一图像与第二图像的合成如上所述，使多个图像间的合成比率配合亮度信息为可变。
(实施方式3：效果)在本实施方式的摄像装置中，在某种程度暗的低照度环境下，为了弥补第二图像因缩短曝光时间而引起的曝光不足，在施加增益放大的状态下进行合成的情况下，在根据亮度信息判断为光未充分射到被摄体的暗部的像素中，通过进一步增大所述合成比率中使用噪声少的第一图像的权重，在光未充分射到被摄体的暗部中，能够得到抑制了噪声的良好画质。
(实施方式4)
(实施方式4：概要)本实施方式涉及如下摄像装置，即为了在某个程度的暗的低照度环境下，弥补第二图像因缩短曝光时间而引起的曝光不足，在施加增益放大的状态下进行合成的情况下，可对应于摄像部的温度上升状态，能够进行进一步增大使用噪声少的图像的权重的合成，所以即便摄像部的温度上升，也可得到抑制了噪声的良好画质的图像。即，以虽然因增益放大发生噪声，但有可能因摄像部的温度上升状态而不能抑制噪声为前提。
(实施方式4：结构)图12中示例本实施方式的摄像装置的功能块。本实施方式的摄像装置的结构为在实施方式1到3的任一个说明的摄像装置的结构上加上“温度取得部”(1213)、“温度信息保持部”(1214)和“第三合成比率可变合成部件”(1209)的结构。在图12中，示例在实施方式1的图2中说明的摄像装置的结构上加上所述温度取得部(1213)、所述温度信息保持部(1214)和所述第三合成比率可变合成部件(1209)的结构。摄像装置(1200)具有：“摄像部”(1201)、“控制部”(1202)、“图像信息保持部”(1203)、“合成部”(1204)、“温度取得部”(1213)、和“温度信息保持部”(1214)。此外，所述控制部(1202)具有：“第一控制部件”(1206)和“第二控制部件”(1207)。所述合成部(1204)具有：“第三合成比率可变合成部件”(1209)。对与实施方式1到3的任一个中说明的结构要件相同的结构要件省略说明。
“温度取得部”(1213)具有：取得摄像部(1201)的温度的功能。作为取得摄像部的温度的方法，例如可考虑由邻接于摄像部的温度传感器来测定温度的方法等。此外，温度传感器的种类不限于特定种类。此外，“温度信息保持部”(1214)具有保持在温度取得部(1213)得到的温度信息的功能。
“第三合成比率可变合成部件”(1209)具有使合成比率配合所述温度信息可变的功能。具体而言，例如对应于从温度信息保持部(1214)得到的温度信息，对多个图像信息每个，在乘法器(1210、1211)乘以图像信息，在加法器(1212)将相乘的各图像信息相加，由此合成图像。
(可能发生手抖动的照度条件下的控制的具体例)在本实施例中，手抖动极少的照度条件下的控制状态也与实施方式1一样，用图12来仅说明在可能发生手抖动的照度条件下的控制的具体例。关于与在实施方式1中使用的图1或图2相同的结构要件，省略说明进行同样控制的结构要件。
合成部例如对应于从温度信息保持部(1214)得到的温度信息，使与涉及第一图像的图像信息1相乘的乘法系数5(未图示)和与涉及第二图像的图像信息2相乘的乘法系数6(未图示)变化，在加法器(1212)将相乘的各图像信息相加，由此合成。
合并使用图13来说明在合成部使用第一图像与第二图像进行合成时的概略。图13指示根据从保持由温度取得部(1213)取得的温度信息的温度信息保持部(1214)得到的温度信息、转换为乘法系数的控制。
首先，在温度信息所示的摄像部(1201)的温度为从低温度(摄氏25度左右)到中温度(摄氏25度至35度左右)的情况下，例如图13所指示的那样，将涉及乘法器1(1210)的乘法系数5(第一图像用)控制为0，将涉及乘法器2(1211)的乘法系数6(第二图像用)控制为1。在合成部(1204)的第三合成比率可变合成部件(1209)根据由温度信息得到的乘法系数，在乘法器1(1210)和乘法器2(1211)对图像信息进行乘法，在加法器(1212)合成图像。由此，合成部(1204)进行仅使用图像信息2的信息的合成处理，进行以作为温度信息从低温度到中温度的图像信息2的特性的“虽然手抖动极少，量子噪音因增益放大而增加，但热噪音噪声小，抑制了总噪声的图像”为主的合成控制。(13-1)
通常，光系统的噪声n为n＝量子噪音(P，M)+热噪音+系统噪音，量子噪音随着输入光功率P与传感器的倍增率M增大，但热噪音不依赖于此。因此，在高照度环境下，当使用倍增率高的传感器时可忽视热噪音。
但是，在低照度环境下，由于热噪音也与增益放大一起被放大，所以噪声变大。此外，具有如下特性，在摄像部的温度高的情况下，热噪音变大，热噪音与增益放大一起进一步被放大。
下面，在温度信息所示的摄像部(1201)的温度从中温度(摄氏25度至35度左右)至高温度(约摄氏35度以上)的情况下，例如图13所指示的那样，以使涉及乘法器1(1210)的乘法系数5(第一图像用)从0缓慢变化到0.5，使涉及乘法器2(1211)的乘法系数6(第二图像用)从1缓慢变化到0.5的方式对系数进行控制。在合成部(1004)的第三合成比率可变合成部件(1209)中，根据由温度信息得到的系数，在乘法器1(1210)和乘法器2(1211)对图像信息进行乘法，在加法器(1212)合成图像。由此，在合成部(1204)中，进行对应于温度信息的合成处理，进行如下合成控制，温度信息越变为高温，越不太使用作为高温时的图像信息2的特性的“手抖动极少，通过量子噪音或高温而增加的热噪音被增益放大，从而总的噪声变大的图像”，而以作为图像信息1的特性的“抑制手抖动，通过加法平均处理或像素加法噪声变少，但由于尺寸小，所以高频成分少的像素”为主。(13-2)
再有，在本实施例中，当从温度信息得到乘法系数时(1208)，在温度信息从中温度到高温度的图像的合成中，以使涉及乘法器1(1210)的乘法系数5从0缓慢变化到0.5，使涉及乘法器2(1211)的乘法系数6从1缓慢变化到0.5的方式进行控制，虽然已进行了上述说明，但当高温时的图像信息2的噪声成分多时，以使乘法器1(1210)的乘法系数5从0缓慢变化到1，控制成使涉及乘法器2(1211)的乘法系数6从1缓慢变化到0的方式进行控制也可。取得的乘法系数的变化程度应对应于图像信息1和图像信息2的状态适当变更，以本实施例的值以外的值来控制也可。
此外，在本实施例中，虽然分别说明了应用于乘法器1(1210)的乘法系数5与应用于乘法器2(1211)的乘法系数6的乘法系数，但乘法器2(1211)的乘法系数6也可以从1减去乘法器1(1210)的乘法系数5后的值来定义。
进而，例如在与实施方式2或实施方式3说明了的第一合成比率可变合成部件或第二合成比率可变合成部件一起应用本实施方式的情况下，也可对算出其它实施方式的乘法器2中的乘法系数的各乘法系数，将乘以本实施方式的乘法器2(1212)的乘法系数6的数值的平方根作为应用于乘法器2(1212)的乘法系数’，应用于乘法器1(1211)的乘法系数以从1减去所述乘法系数’后的值来定义。
(实施方式4：处理流程)本实施方式的摄像装置中的处理流程与实施方式1中说明的图6的摄像装置的处理流程基本一样，用图14仅说明不同点。
在控制步骤(S1401)之前，与实施方式1中说明的图6的摄像装置的处理流程一样。接着，温度取得部取得摄像部的温度信息。该处理由温度取得部执行(温度信息取得步骤S1415)。接着，保持在所述温度信息取得步骤(S1415)取得的温度信息。该处理通过温度信息保持部执行(温度信息保持步骤S1416)。
之后，保持在第二图像摄像步骤(S1408)摄像的第二图像的图像信息，在第二图像信息保持步骤(S1409)之前，与实施方式1说明的图6的摄像装置的处理流程相同。在之后进行的合成步骤(S1410)中的第一图像与第二图像的合成中，如上所述，其特征在于使多个图像间的合成比率配合温度信息是可变的。
(实施方式4：效果)在本实施方式的摄像装置中，在某种程度暗的低照度环境下，为了弥补第二图像因缩短曝光时间而引起的曝光不足，当在施加增益放大的状态下进行合成的情况下，对应于摄像部的温度上升状态，进一步增大所述合成比率中使用噪声少的第一图像的权重，从而即便摄像部的温度上升，也可得到抑制了噪声的良好画质。
(实施方式5)
(实施方式5：概要)本实施方式涉及如下摄像装置，即为了在某个程度的暗的低照度环境下，弥补第二图像因缩短曝光时间而引起的曝光不足，在施加增益放大的状态下进行合成的情况下，从噪声少的图像中取得边缘信息，在不是边缘的区域中，可进行进一步增大使用噪声少的图像的权重的合成，所以不是边缘的区域可得到抑制噪声的良好画质的图像。
(实施方式5：结构)图15中示例本实施方式的摄像装置的功能块。本实施方式的摄像装置的结构为在实施方式1到4的任一个中说明的摄像装置的结构上加上“边缘信息取得部件”(1508)、和“第四合成比率可变合成部件”(1510)的结构。在图15中，示例在实施方式1的图2说明的摄像装置的结构上加上所述边缘信息取得部(1508)、和所述第四合成比率可变合成部件(1510)的结构。摄像装置(1500)具有：“摄像部”(1501)、“控制部”(1502)、“图像信息保持部”(1503)、和“合成部”(1504)。此外，所述控制部(1502)具有：“第一控制部件”(1506)和“第二控制部件”(1507)。此外，所述合成部(1504)具有：“边缘信息取得部件”(1508)和“第四合成比率可变合成部件”(1510)。对与实施方式1到4的任一个中说明的结构要件相同的结构要件省略说明。
“边缘信息取得部件”(1508)具有从所述图像信息保持部(1503)保持的一个或多个图像中取得边缘信息的功能。例如从第一图像的图像信息1中取得边缘信息。作为取得边缘信息的方法，例举代表例，如图16所示，可通过应用将中心数值作为注目像素的权重(1601)、其周围的数值作为周围像素的权重的、3×3矩阵构成的二次微分滤波器(拉普拉斯算符滤波器)来实现。作为实际的边缘信息，相当于滤波后的绝对值量。
“第四合成比率可变合成部件”(1510)具有使合成比率与所述边缘信息配合是可变的功能。具体而言，例如输入从所述边缘信息转换为乘法系数(1509)后得到的各乘法系数，在乘法器1(1511)、乘法器2(1512)所述各乘法系数乘以图像信息之后，在加法器(1513)相加，合成。
(在可能发生手抖动的照度条件下的控制的具体例)在本实施例中，在手抖动极少的照度条件下的控制状态与实施方式1一样，用图15来仅说明在可能发生手抖动的照度条件下、且发现噪声引起的画质恶化的增益控制的具体例。对于与实施方式1中使用的图1或图2相同的结构要件，就进行同样控制的结构要件省略说明。
合成部例如在合成的同时取得第一图像的边缘信息，在从所述边缘信息转换为乘法系数之后，将乘法系数发送到第四合成比率可变合成部件(1510)，在第四合成比率可变合成部件(1510)中，将所述各乘法系数乘以图像信息之后，在加法器(1513)相加。
合并使用图17来说明在合成部使用第一图像与第二图像进行合成时的概略。图17根据从边缘信息取得部件(1508)得到的边缘信息、指示转换为乘法系数的控制。
首先，在第一图像的边缘信息为从高频到中频的像素合成中，例如图17(17-1)所指示的那样，以使涉及乘法器1(1511)的乘法系数7(第一图像用：图15中未图示)为0，使涉及乘法器2(1512)的乘法系数8(第二图像用：图15中未图示)为1的方式进行控制。在合成部(1504)的第四合成比率可变合成部件(1510)中，根据从边缘信息得到的乘法系数，在乘法器1(1511)和乘法器2(1512)对图像信息进行乘法，在加法器(1513)合成图像。由此，合成部(1504)进行如下合成控制，原样使用相当于图像信息1中边缘信息从高频到中频的像素部分的图像信息2的信息，边缘区域以作为图像信息2的特性的“虽然手抖动极少，但发现噪声引起的画质恶化，噪声因增益放大而增加，且画质恶化变大的图像”为主。
接着，在第一图像的第一边缘信息从中频到低频的像素的合成中，例如图17(17-2)所指示的那样，以使涉及乘法器1(1511)的乘法系数7(第一图像用)从0缓慢变化到0.5，使涉及乘法器2(1512)的乘法系数8(第二图像用)从1缓慢变化到0.5的方式进行控制。在合成部(1504)内的第四合成比率可变合成部件(1509)中，根据从边缘信息得到的乘法系数，在乘法器1(1511)和乘法器2(1512)对图像信息进行乘法，在加法器(1513)合成图像。由此，在合成部(1504)中进行如下合成控制，图像信息1的边缘信息从中频越变为低频，越缓慢减少图像信息2的信息使用，越多使用图像信息1的信息，不是边缘的区域以作为图像信息1的特性的“抑制手抖动，虽然噪声因加法平均处理或像素加法而变少，但由于尺寸小，所以高频成分少的像素”为主。
再有，在本实施例中，说明了当从边缘信息得到乘法系数时(1509)，在边缘信息从中频到低频的像素的合成中，以使涉及乘法器1(1511)的乘法系数7从0缓慢变化到0.5，使涉及乘法器2(1512)的乘法系数8从1缓慢变化到0.5的方式进行控制，但当图像信息2的噪声成分多时，也可以以使乘法器1(1511)的乘法系数7从0缓慢变化到1，使涉及乘法器2(1512)的乘法系数8从1缓慢变化到0的方式进行控制。取得的乘法系数的变化程度应对应于图像信息1和图像信息2的状态适当变更，可以本实施例的值以外的值进行控制。
此外，在本实施例中，分别说明了应用于涉及乘法器1(1511)的乘法系数7与应用于涉及乘法器2(1512)的乘法系数8的乘法系数，但涉及乘法器2(1512)的乘法系数7也可由从1减去涉及乘法器1(1511)的乘法系数1后的值来定义。
进而，例如在与实施方式2说明的第一合成比率可变合成部件等一起应用本实施方式的情况下，也可对算出其它实施方式的乘法器2中的乘法系数的各乘法系数，将乘以本实施方式的乘法器2(1512)的乘法系数8的数值的平方根作为应用于乘法器2(1512)的乘法系数’，应用于乘法器1(1511)的乘法系数由从1减去所述乘法系数’后的值来定义。
(实施方式5：处理流程)本实施方式的摄像装置中的处理流程与实施方式1中说明的图6的摄像装置的处理流程一样。但是，特征在于合成步骤(S0610)中的第一图像与第二图像的合成如上所述，使多个图像间的合成比率配合边缘信息为可变。
(实施方式5：效果)在本实施方式的摄像装置中，在某种程度暗的低照度环境下，为了弥补第二图像因缩短曝光时间而引起的曝光不足，当在施加增益放大的状态下进行合成的情况下，在边缘信息为高频时，进行以作为图像信息2的特性的“虽然手抖动极少，但发现噪声引起的画质恶化，噪声因增益放大而增加，且画质恶化变大的图像”为主的合成控制，在边缘信息为低频时，进行以作为图像信息1的特性的“抑制手抖动，噪声因加法平均处理或像素加法而变少，但由于尺寸小，所以高频成分少的图像”为主的合成控制，可得到在非边缘区域中抑制了噪声的良好画质。
(实施方式6)
(实施方式6：概要)本实施方式涉及如下摄像装置，即为了在某个程度的暗的低照度环境下，弥补第二图像因缩短曝光时间而引起的曝光不足，在施加增益放大的状态下进行合成的情况下，从多个图像中取得运动区域信息，在运动区域中，可进行使用了噪声少的图像的合成，所以运动区域可得到抑制了噪声的良好画质的图像。
(实施方式6：结构)图18中示例本实施方式的摄像装置的功能块。本实施方式的摄像装置的结构为在实施方式1说明的图2的摄像装置的结构上加上“运动区域信息取得部件”(1808)、和“第五合成比率可变合成部件”(1810)的结构。在图18中，示例在图2说明的摄像装置的结构上加上所述运动区域信息取得部件(1808)、和所述第五合成比率可变合成部件(1810)的结构。摄像装置(1800)具有：“摄像部”(1801)、“控制部”(1802)、“图像信息保持部”(1803)、和“合成部”(1804)。此外，所述控制部(1802)具有：“第一控制部件”(1806)和“第二控制部件”(1807)。所述合成部(1804)具有：“运动区域信息取得部件”(1808)和“第五合成比率可变合成部件”(1810)。对与实施方式1中使用的图2相同的结构要件省略说明。
“运动区域信息取得部件”(1808)具有从所述图像信息保持部(1803)保持的多个图像中取得运动区域信息的功能。运动区域信息取得部件具体地例如从第一图像的图像信息1与第二图像的图像信息2中取得运动区域信息。
用图19来说明使用第一图像与第二图像来取得运动区域信息的方法的概略。在图19中，作为一例，示出第一图像(1901)与第二图像(1902)的大小不同的情况。此外，虽然有时第一图像与第二图像之间也存在错位，但具体的实施例在背景技术中已描述，所以这里不记述。以Ph表示第一图像(1901)的高度、Pw表示宽度，以Sh表示第二图像(1902)的高度、Sw表示宽度。在以第二图像为基准的第一图像的水平方向缩小率作为α、垂直方向的缩小率作为β的情况下，α＝Pw/Sw，β＝Ph/Sh。
首先，运动区域信息取得部件对第二图像(1902)，在缩小化部件(1903)进行将所述水平方向的缩小率设为α、垂直方向的缩小率设为β的图像缩小化，进行缩小化后的第二图像(1903)的生成。此时，第二图像(1902)由于具有“虽然手抖动极少，但发现噪声引起的画质恶化，噪声因增益放大而增加，且画质恶化变大的图像”的特性，所以最好实施LPF(Low Pass Filter，低通滤波)处理，直到为由加法平均或像素加法得到的第一图像(1901)的频率特性，通过尽量以接近第一图像(1901)的频率特性的状态进行缩小化(抽帧处理)，生成缩小化的第二图像(1903)。
接着，运动区域信息取得部件，在减法器(1905)对所述缩小化的第二图像(1904)与第一图像(1901)的图像信息进行差分运算。之后，在绝对值化部件(1906)对差分运算的图像信息进行绝对值化。在二进制化部件(1907)对绝对值化了的图像信息进行二进制化，得到运动区域信息(1908)。“二进制化部件”(1907)具有某个规定的阈值，若绝对值化的图像信息为阈值以上的话，通过判定为运动区域，生成1的信息(运动区域信息1908中的黑区域)。若绝对值化了的图像信息为阈值以下的话，通过判断为不是运动区域，生成0的信息(运动区域信息1908中的白区域)。再有，将在所述“运动区域信息取得部件”(1808)中生成的所述运动区域信息转换为乘法系数。
“第五合成比率可变合成部件”(1810)具有：以在根据所述运动区域信息判断为运动区域的第二图像的运动区域中使用所述第一图像，在根据所述运动区域信息判断为运动区域以外的第二图像的非运动区域中使用所述第二图像的方式进行控制的功能。例如输入得到的各乘法系数，在乘法器1(1811)、乘法器2(1812)所述各乘法系数乘以图像信息之后，在加法器(1813)相加，合成。
(可能发生手抖动的照度条件下的控制的具体例)在本实施例中，手抖动极少的照度条件下的控制状态与实施方式1一样，用图18来仅说明在可能发生手抖动的照度条件下、且发现噪声引起的画质恶化的增益控制的具体例。对于与实施方式1中使用的图2相同的结构要件，就进行同样控制的结构要件省略说明。
合成部例如在合成的同时从第一图像的图像信息1与第二图像的图像信息2取得运动区域信息，在从所述运动区域信息转换为乘法系数之后，将乘法系数发送到第五合成比率可变合成部件(1810)，在第五合成比率可变合成部件(1810)中，将所述各乘法系数与图像信息相乘之后，在加法器(1813)相加。
合并使用图20来说明在合成部使用第一图像与第二图像进行合成时的概略。图20根据从运动区域信息取得部件(1808)得到的运动区域信息、对转换为乘法系数的控制进行控制。
首先，在将所述运动区域信息判断为非运动区域的像素的合成中，例如图20所指示的那样，以使涉及乘法器1(1811)的乘法系数9(第一图像用：图18中未图示)为0，使涉及乘法器2(1812)的乘法系数10(第二图像用：图18中未图示)为1的方式进行控制。在合成部(1804)的第五合成比率可变合成部件(1810)中，根据从运动区域信息得到的乘法系数，在乘法器1(1811)和乘法器2(1812)对图像信息进行乘法，在加法器(1813)合成图像。由此，在合成部(1804)中，对判定为非运动区域的区域进行仅使用图像信息2的合成，进行以作为图像信息2的特性的“虽然手抖动极少，但发现噪声引起的画质恶化，噪声因增益放大而增加，且画质恶化变大的图像”为主的合成控制。
下面，在所述运动区域信息被判定为运动区域的像素的合成中，例如图20所指示的那样，将涉及乘法器1(1811)的乘法系数9(第一图像用)控制为1，将涉及乘法器2(1812)的乘法系数10(第二图像用)控制为0。在合成部(1804)的第五合成比率可变合成部件(1810)中，根据从运动区域信息得到的乘法系数，在乘法器1(1811)和乘法器2(1812)对图像信息进行乘法，在加法器(1813)合成图像。由此，在合成部(1804)中，对判定为运动区域的区域进行仅使用图像信息1的合成，进行以作为图像信息1的特性的“抑制手抖动，虽然噪声因加法平均处理或像素加法很少，但由于尺寸小，所以高频成分少的像素”为主的合成控制。
例如，非运动区域对应于摄像条件改变合成比率，或通过使用根据边缘信息合成的图像，可得到进一步改善运动区域的噪声成分的图像。
(实施方式6：处理流程)本实施方式的摄像装置中的处理流程与实施方式1中说明的图6的摄像装置的处理流程一样。但是，特征在于合成步骤(S0610)中的第一图像与第二图像的合成如上所述，使多个图像间的合成比率配合运动信息为可变。
(实施方式6：效果)在本实施方式的摄像装置中，在某种程度暗的低照度环境下，为了弥补第二图像因缩短曝光时间而引起的曝光不足，当在施加增益放大的状态下进行合成的情况下，在运动区域进行以作为图像信息1的特性的“抑制手抖动，噪声因加法平均处理或像素加法而很少，但由于尺寸小，所以高频成分少的图像”为主的合成控制，所以可得到抑制了噪声的良好画质。
(实施方式7)
(实施方式7：概要)本实施方式涉及如下摄像装置，即为了在某个程度的暗的低照度环境下，弥补第二图像因缩短曝光时间而引起的曝光不足，在施加增益放大的状态下进行合成的情况下，可分别合成亮度信息与色信息，所以可对应于亮度噪声或色噪声的发生状况，得到抑制了发生噪声的手抖动修正图像。
(实施方式7：结构)图21中示例本实施方式的摄像装置的功能块。本实施方式的摄像装置的结构为在实施方式1到实施方式6的任一个中说明的摄像装置的结构上加上“第六合成比率可变合成部件”(2122)的结构。在图21中，示例在实施方式1的图2说明了的摄像装置的结构上加上所述第六合成比率可变合成部件(2122)的结构。摄像装置(2100)具有：“摄像部”(2101)、“控制部”(2102)、“图像信息保持部”(2103)、和“合成部”(2104)。此外，所述控制部(2102)具有：“第一控制部件”(2106)和“第二控制部件”(2107)。所述合成部(2104)具有：“第六合成比率可变合成部件”(2122)。对与实施方式1到实施方式6的任一个中说明的结构要件相同的结构要件省略说明。
“第六合成比率可变合成部件”(2122)具有以相同合成比率或各自不同合成比率来合成亮度成分与色成分的功能。例如输入根据摄像条件得到的各乘法系数(2112)，将以所述各乘法系数与从图像信息1得到的第一亮度信息(2108)和从图像信息2得到的第二亮度信息(2109)相乘之后，在亮度加法器(2116)将相乘的各亮度信息相加，从而合成亮度信息。此外，输入根据摄像条件得到的各乘法系数，以所述各乘法系数与从图像信息1得到的第一色信息(2110)和从图像信息2得到的第二色信息(2111)相乘之后，在色加法器(2120)将相乘的各色信息相加，从而合成色信息。进而，进一步对合成后的亮度信息与合成后的色信息进行合成(2121)。
(可能发生手抖动的照度条件下的控制的具体例)在本实施例中，手抖动极少的照度条件下的控制的状态与实施方式1一样，用图21来说明仅在可能发生手抖动的照度条件下的控制的具体例。对于与实施方式1到实施方式6的任一个中说明的结构要件相同的结构要件，就进行同样控制的结构要件省略说明。
合成部例如在根据与从图像信息保持部(2103)发送来的第一图像有关的图像信息1与摄像条件1、及图像信息2与摄像条件2，部分地利用图像信息来合成一个图像的图像信息时，可分别合成亮度信息与色信息。
合并使用图22、图26来说明在合成部使用第一图像与第二图像进行合成时的概略。在图22、图26中，指示的是如下状态，即，控制部(2102)的“第二控制部件”(2107)相对于照度条件，以在不发生手抖动的曝光时间且曝光变得适当的方式，对作为摄像的多个图像的另一图像的第二图像施加增益来进行摄像的控制状态。此外，根据取得的摄像条件，指示转换为乘法系数的控制。
首先，作为照度条件，在比高照度环境下(22-1、26-1)稍暗的中照度环境下，控制第一控制部件(2106)的曝光时间为约1/60秒以上(22-2、26-2)，相当于在实施方式1中说明的“可能发生手抖动的照度条件下的控制”。第一控制部件(2106)的控制以后与在实施方式1中说明的控制相同，下面说明第二控制部件(2107)的控制。
第二控制部件例如通过维持“不发生手抖动的曝光时间”、即曝光时间约1/60秒，从而进行抑制手抖动的曝光时间的控制(22-2、26-2)。并且，第二控制部件(2107)对于曝光时间维持约1/60秒引起的曝光不足，施加增益后变为适当曝光。进而，在摄像环境向低照度环境方向推移的情况下，进一步施加增益后变为适当曝光，但在某个规定的增益值中，到达发现由于增益放大而增加的噪声引起的画质恶化的增益值(22-4、26-4)。
将摄像条件转换为乘法系数时(2112)，例如在图22、图26的上部所指示的那样，从将曝光时间控制为约1/60秒以上起，至发现由于增益放大而增加的噪声引起的画质恶化的增益值的控制状态(22-2、26-2所示的中照度的曝光控制状态)，将涉及亮度乘法器1(2114)的亮度乘法系数1(第一图像用：图21中未图示)控制为0，将涉及亮度乘法器2(2115)的亮度乘法系数2(第二图像用：图21中未图示)控制为1，将涉及色乘法器1(2118)的色乘法系数1(第一图像用：图21中未图示)控制为0，将涉及色乘法器2(2119)(第二图像用：图21中未图示)的色乘法系数2控制为1。
此外，在合成部中，根据将摄像条件转换为乘法系数(2112)得到的系数，在亮度乘法器1(2114)和亮度乘法器2(2115)对亮度信息进行乘法，在亮度加法器(2116)合成亮度信息。此外，根据将摄像条件转换为乘法系数(2112)得到的系数，在色乘法器1(2118)和色乘法器2(2119)对色信息进行乘法，在色加法器(2120)合成色信息。进而，对合成后的亮度信息与合成后的色信息进行合成。由此，在合成部(2104)变为进行仅使用图像信息2的信息的合成处理，进行得到以作为图像信息2的特性的“手抖动极少，未发现噪声引起的画质恶化的图像”为主的图像的控制。
接着，在比上述照度条件更暗的低照度环境下，在第二控制部件(2107)中，继续维持“不发生手抖动的曝光时间”、即曝光时间为约1/60秒，进行抑制了抖动的曝光时间的控制(22-3、26-3)。此时，在第二控制部件(2107)中，对曝光时间维持约1/60秒引起的曝光不足，相比发现由于增益放大而增加的噪声引起的画质恶化的增益值的控制状态(增益值B)，进一步施加增益后变为适当曝光。
当将摄像条件转换为乘法系数时(2112)，如在图22、图26的上部所指示的那样，从发现由于增益放大而增加的噪声引起的画质恶化的增益值的控制状态起，到曝光控制变为最大的控制状态为止(22-3、26-3所示的低照度下的曝光控制状态)，以使涉及亮度乘法器1(2114)的亮度乘法系数1(第一图像用)从0缓慢变化到0.5，使涉及亮度乘法器2(2115)的亮度乘法系数2(第二图像用)从1缓慢变化到0.5的方式对亮度乘法系数进行控制。此外，同样地以使涉及色乘法器1(2118)的色乘法系数1(第一图像用)从0缓慢变化到1，使涉及色乘法器2(2119)的色乘法系数2(第二图像用)从1缓慢变化到0的方式对色乘法系数进行控制。
在合成部中，根据将摄像条件转换为乘法系数(2112)得到的系数，在色乘法器1(2118)和色乘法器2(2119)对色信息进行乘法，在色加法器(2120)合成色信息。进而，对合成后的亮度信息与合成后的色信息进行合成。由此，在合成部(2104)中，进行照度变得越暗、越主要使用图像信息1的信息而非图像信息2的信息的合成，进行如下控制：减弱使用作为图像信息2的特性的“手抖动极少，但发现噪声引起的画质恶化，由于增益放大而噪声增加，从而画质恶化变大的图像”的比率，得到以作为图像信息1的特性的“抑制手抖动，尺寸小，但噪声少的图像”为主的图像。
在上述控制中，使用图像信息2的色信息的权重的变化，是由于照度越暗使用图像信息2的亮度信息的权重变化越大，所以在低照度环境下，相比亮度信息，色信息使用噪声少的图像信息1的信息来合成。由此，在图像信息2的色信息中色噪声多的情况下，可得到进一步抑制了色噪声的手抖动修正图像。
在上述实施例中，说明了在图像信息2的色信息中色噪声多的情况，但相反在色信息中的色噪声少、亮度信息中的亮度噪声多的情况下，也可使取得的乘法系数的变化关系相反，得到进一步抑制了亮度噪声的手抖动修正图像。
在上述实施例中，在变化图像信息1与图像信息2的合成比率的照度条件下，设定对亮度信息的乘法系数的控制与对色信息的乘法系数的控制为相同照度条件，但在因增益放大而增加的噪声量下亮度信息与色信息存在差异的情况下，也可将对亮度信息的乘法系数的控制与对色信息的乘法系数的控制在分别不同的亮度条件下控制。
此外，取得的乘法系数的变化程度应对应于图像信息1和图像信息2的状态适当变更，也可由本实施例的值以外的值来控制。
此外，在本实施方式中，分别说明了应用于涉及亮度乘法器1(2114)的亮度乘法系数1与应用于涉及亮度乘法器2(2115)的亮度乘法系数2的亮度乘法系数，此外分别说明了应用于涉及色乘法器1(2118)的色乘法系数1与应用于涉及色乘法器2(2119)的色乘法系数2的色乘法系数，但涉及亮度乘法器2(2115)的亮度乘法系数2也可由从1减去涉及亮度乘法器1(2114)的亮度乘法系数1后的值来定义，此外，涉及色乘法器2(2119)的色乘法系数2也可由从1减去涉及色乘法器1(2118)的色乘法系数1后的值来定义。
(实施方式7：处理流程)本实施方式的摄像装置中的处理流程与实施方式1中说明的图6的摄像装置的处理流程一样。但是，特征在于合成步骤(S0610)中的第一图像与第二图像的合成如上所述，能够配合摄像条件分别合成亮度信息与色信息。
(实施方式7：效果)在可能发生手抖动的照度环境下，当通过部分地利用多个图像的图像信息来合成一个图像的图像信息从而修正手抖动时，由于可分别合成亮度信息与色信息，所以可对应于亮度噪声或色噪声的发生状况，得到抑制了发生噪声的手抖动修正图像。

Claims (10)

1、一种摄像装置，具有：
摄像部；
控制部，能够利用摄像条件进行摄像的控制，该摄像条件以根据照度条件而不同的曝光时间条件或增益条件构成；
图像信息保持部，对通过控制部控制到不同摄像条件并摄像的一个或多个图像的图像信息进行保持；和
合成部，根据照度条件，部分地利用被保持的多个图像的图像信息并对合成图像用的图像信息进行合成，或原样输出根据该摄像条件而摄像的图像。
2、根据权利要求1所述的摄像装置，其特征在于，
所述控制部具有：
第一控制部件，以使作为摄像的多个图像的一个图像的第一图像，以小于摄像的多个图像的其它图像的图像尺寸、且成为适当曝光的图像的方式进行控制；
第二控制部件，以使作为摄像的多个图像的另一图像的第二图像，以通过缩短曝光时间且增益放大而成为适当曝光的图像的方式进行控制。
3、根据权利要求2所述的摄像装置，其特征在于，
所述第一控制部件的特征在于利用像素的加法平均或像素加法，使作为摄像的多个图像的一个图像的第一图像是比摄像的多个图像的其它图像小的图像尺寸，在进行控制时，对应于利用像素的加法平均或像素加法改善的S/N，控制缩短曝光时间。
4、根据权利要求1至3的任意一项所述的摄像装置，其特征在于，
所述合成部具有：第一合成比率可变合成部件，决定在部分地利用所述多个图像的图像信息并对合成图像的图像信息进行合成时的合成比率，使合成比率配合多个图像的摄像条件的任意一个或二个以上是可变的。
5、根据权利要求1至4的任意一项所述的摄像装置，其特征在于，
所述合成部具有：
亮度信息取得部件，从在所述图像信息保持部保持的一个或多个图像取得亮度信息；和
第二合成比率可变合成部件，决定在部分地利用所述多个图像的图像信息并对合成图像的图像信息进行合成时的合成比率，使合成比率配合所述亮度信息是可变的。
6、根据权利要求1至5的任意一项所述的摄像装置，其特征在于，具有：
温度取得部，能够计测所述摄像部的温度；和
温度信息保持部，保持通过所述温度取得部取得的温度信息，
所述合成部具有：第三合成比率可变合成部件，决定在部分地利用所述多个图像的图像信息并对合成图像的图像信息进行合成时的合成比率，使合成比率配合所述温度信息是可变的。
7、根据权利要求1至6的任意一项所述的摄像装置，其特征在于，
所述合成部具有：
边缘信息取得部件，从在所述图像信息保持部保持的一个或多个图像取得边缘信息；和
第四合成比率可变合成部件，决定在部分地利用所述多个图像的图像信息并对合成图像的图像信息进行合成时的合成比率，使合成比率配合所述边缘信息是可变的。
8、根据权利要求2或3所述的摄像装置，其特征在于：
所述合成部具有：
运动区域信息取得部件，从在所述图像信息保持部保持的多个图像取得运动区域信息；和
第五合成比率可变合成部件，决定在部分地利用所述多个图像的图像信息并对合成图像的图像信息进行合成时的合成比率，以下述方式进行控制：即在根据所述运动区域信息判断为运动区域的第二图像的运动区域中，使用所述第一图像；在根据所述运动区域信息判断为运动区域以外的第二图像的非运动区域中，使用所述第二图像。
9、根据权利要求1至8的任意一项所述的摄像装置，其特征在于，
所述合成部具有：
第六合成比率可变合成部件，决定在部分地利用所述多个图像的图像信息并对合成图像的图像信息进行合成时的合成比率，能够以相同的合成比率或分别不同的合成比率来合成亮度成分与色成分。
10、一种摄像方法，具有：
摄像步骤；
控制步骤，能够对摄像条件进行控制，该摄像条件以根据照度条件而不同的曝光时间条件或增益条件构成；
图像信息保持步骤，对通过控制步骤控制到不同摄像条件并摄像的一个或多个图像的图像信息进行保持；和
合成步骤，根据照度条件，部分地利用被保持的多个图像的图像信息，并对合成图像用的图像信息进行合成，或原样输出根据该摄像条件而摄像的图像。
CN2007800169709A 2006-05-09 2007-04-16 摄像装置 Expired - Fee Related CN101444084B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2006130638 2006-05-09
JP130638/2006 2006-05-09
PCT/JP2007/058298 WO2007129533A1 (ja) 2006-05-09 2007-04-16 撮像装置

Publications (2)

Publication Number Publication Date
CN101444084A true CN101444084A (zh) 2009-05-27
CN101444084B CN101444084B (zh) 2012-02-15

Family

ID=38667642

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800169709A Expired - Fee Related CN101444084B (zh) 2006-05-09 2007-04-16 摄像装置

Country Status (6)

Country Link
US (1) US20100231748A1 (zh)
EP (1) EP2018048A4 (zh)
JP (2) JP5019543B2 (zh)
KR (1) KR101035824B1 (zh)
CN (1) CN101444084B (zh)
WO (1) WO2007129533A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102111555A (zh) * 2009-12-25 2011-06-29 卡西欧计算机株式会社 具有图像的放大显示功能的照相机
CN104754209A (zh) * 2013-12-26 2015-07-01 佳能株式会社 合成多个图像的图像处理设备及其控制方法和摄像装置
CN105282455A (zh) * 2014-06-20 2016-01-27 宇龙计算机通信科技(深圳)有限公司 一种拍照方法、装置及移动终端
CN105338338A (zh) * 2014-07-17 2016-02-17 诺基亚技术有限公司 用于成像条件检测的方法和装置
WO2017016258A1 (zh) * 2015-07-28 2017-02-02 中兴通讯股份有限公司 一种终端及终端拍摄的方法
CN109951634A (zh) * 2019-03-14 2019-06-28 Oppo广东移动通信有限公司 图像合成方法、装置、终端及存储介质
CN110447221A (zh) * 2017-03-28 2019-11-12 索尼半导体解决方案公司 图像处理装置、图像处理方法和电子设备

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005093654A2 (en) 2004-03-25 2005-10-06 Fatih Ozluturk Method and apparatus to correct digital image blur due to motion of subject or imaging device
US9826159B2 (en) * 2004-03-25 2017-11-21 Clear Imaging Research, Llc Method and apparatus for implementing a digital graduated filter for an imaging apparatus
US10721405B2 (en) * 2004-03-25 2020-07-21 Clear Imaging Research, Llc Method and apparatus for implementing a digital graduated filter for an imaging apparatus
JP5065060B2 (ja) * 2008-01-16 2012-10-31 キヤノン株式会社 撮像装置及びその制御方法
JP5183297B2 (ja) * 2008-05-19 2013-04-17 三洋電機株式会社 画像処理装置、撮像装置及び画像処理方法
JP2010141653A (ja) * 2008-12-12 2010-06-24 Sanyo Electric Co Ltd 画像処理装置及び撮像装置
KR101571334B1 (ko) * 2009-02-12 2015-11-24 삼성전자주식회사 디지털 영상 처리장치 및 그 제어방법
JP2011044846A (ja) * 2009-08-20 2011-03-03 Sanyo Electric Co Ltd 画像処理装置及び撮像装置
EP2387229B1 (en) * 2010-05-14 2016-04-06 Casio Computer Co., Ltd. Image capturing apparatus and camera shake correction method, and computer-readable medium
JP5136664B2 (ja) * 2010-07-09 2013-02-06 カシオ計算機株式会社 画像処理装置、及びプログラム
WO2012015359A1 (en) * 2010-07-26 2012-02-02 Agency For Science, Technology And Research Method and device for image processing
JP5570373B2 (ja) * 2010-09-29 2014-08-13 富士フイルム株式会社 内視鏡システム
JP5244164B2 (ja) * 2010-10-18 2013-07-24 富士フイルム株式会社 内視鏡装置
US8919301B2 (en) 2010-12-29 2014-12-30 Ford Global Technologies, Llc Cylinder block assembly
JP5978949B2 (ja) * 2012-03-16 2016-08-24 富士通株式会社 画像合成装置及び画像合成用コンピュータプログラム
TWI462054B (zh) * 2012-05-15 2014-11-21 Nat Univ Chung Cheng Estimation Method of Image Vagueness and Evaluation Method of Image Quality
KR101933454B1 (ko) * 2012-09-25 2018-12-31 삼성전자주식회사 촬영 이미지 생성 방법 및 장치와 그 방법에 대한 프로그램 소스를 저장한 기록 매체
US8977012B2 (en) * 2012-10-31 2015-03-10 Google Inc. Image denoising system and method
JP2014143667A (ja) * 2012-12-28 2014-08-07 Canon Inc 撮像素子、撮像装置、その制御方法、および制御プログラム
JP6083526B2 (ja) * 2013-07-12 2017-02-22 富士通株式会社 情報処理装置、プログラム、および方法
DE102013012810A1 (de) * 2013-08-01 2015-02-05 Connaught Electronics Ltd. Verfahren zum Aktivieren und Deaktivieren einer Bildkorrekturfunktion, Kamerasystem und Kraftfahrzeug
TWI524760B (zh) * 2014-04-18 2016-03-01 聚晶半導體股份有限公司 照相機陣列校正方法
KR101689665B1 (ko) * 2014-07-04 2016-12-26 삼성전자 주식회사 이미지 센서, 이미지 센싱 방법, 그리고 이미지 센서를 포함하는 이미지 촬영 장치
US10237447B2 (en) * 2015-06-29 2019-03-19 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
CN107197146B (zh) * 2017-05-31 2020-06-30 Oppo广东移动通信有限公司 图像处理方法和装置、移动终端、计算机可读存储介质
JP7097248B2 (ja) * 2018-07-05 2022-07-07 Ｏｍデジタルソリューションズ株式会社 撮像装置及び表示方法
KR102664341B1 (ko) 2019-08-02 2024-05-09 한화비전 주식회사 움직임 벡터 산출 장치 및 방법

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3074967B2 (ja) * 1992-10-27 2000-08-07 松下電器産業株式会社 高ダイナミックレンジ撮像・合成方法及び高ダイナミックレンジ撮像装置
JP3382359B2 (ja) * 1994-07-22 2003-03-04 キヤノン株式会社 撮像装置
JPH08179395A (ja) * 1994-12-26 1996-07-12 Canon Inc 像ぶれ補正手段のための作動制御装置
US6677992B1 (en) * 1997-10-23 2004-01-13 Olympus Corporation Imaging apparatus offering dynamic range that is expandable by weighting two image signals produced during different exposure times with two coefficients whose sum is 1 and adding them up
JP4018820B2 (ja) * 1998-10-12 2007-12-05 富士フイルム株式会社 固体撮像装置および信号読出し方法
JP2001008104A (ja) * 1999-06-23 2001-01-12 Fuji Photo Film Co Ltd 広ダイナミックレンジ撮像装置
CN1276646C (zh) * 1999-11-22 2006-09-20 松下电器产业株式会社 固态成象设备
US6738510B2 (en) * 2000-02-22 2004-05-18 Olympus Optical Co., Ltd. Image processing apparatus
JP2002094885A (ja) * 2000-09-13 2002-03-29 Nikon Corp 撮像装置及び撮像方法
JP2003173438A (ja) * 2001-12-06 2003-06-20 Minolta Co Ltd 画像処理装置
JP2003259226A (ja) * 2002-02-28 2003-09-12 Olympus Optical Co Ltd 撮像装置
JP4024581B2 (ja) * 2002-04-18 2007-12-19 オリンパス株式会社 撮像装置
JP2003333422A (ja) * 2002-05-16 2003-11-21 Fuji Photo Film Co Ltd シェーディング補正方法およびディジタルカメラ
JP2003333416A (ja) * 2002-05-17 2003-11-21 Minolta Co Ltd デジタルカメラ
JP4272863B2 (ja) * 2002-09-20 2009-06-03 キヤノン株式会社 カメラおよびカメラシステム
JP3801126B2 (ja) * 2002-09-25 2006-07-26 ソニー株式会社 撮像装置，撮像装置の画像出力方法，およびコンピュータプログラム
JP2004221992A (ja) * 2003-01-15 2004-08-05 Canon Inc 撮影装置およびプログラム
JP4022152B2 (ja) 2003-01-29 2007-12-12 株式会社リコー 撮像装置
JP3754964B2 (ja) * 2003-02-03 2006-03-15 キヤノン株式会社 撮像装置
JP4388293B2 (ja) * 2003-03-13 2009-12-24 京セラ株式会社 カメラの手振れ補正装置
JP2004328137A (ja) * 2003-04-22 2004-11-18 Konica Minolta Photo Imaging Inc 画像撮像装置、画像処理装置及び画像処理プログラム
JP2004328530A (ja) * 2003-04-25 2004-11-18 Konica Minolta Photo Imaging Inc 撮像装置、画像処理装置及び画像記録装置
JP4613510B2 (ja) * 2003-06-23 2011-01-19 ソニー株式会社 画像処理方法および装置、並びにプログラム
US7339598B2 (en) * 2003-07-11 2008-03-04 Vistaprint Technologies Limited System and method for automated product design
JP4257165B2 (ja) * 2003-08-19 2009-04-22 株式会社日立製作所 撮像装置及び方法
JP4515781B2 (ja) 2004-01-20 2010-08-04 東芝マイクロエレクトロニクス株式会社 半導体メモリ
JP4089912B2 (ja) * 2005-03-22 2008-05-28 株式会社リコー デジタルカメラシステム

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102111555B (zh) * 2009-12-25 2014-02-05 卡西欧计算机株式会社 具有图像的放大显示功能的照相机
US8736736B2 (en) 2009-12-25 2014-05-27 Casio Computer Co., Ltd. Imaging apparatus equipped with image enlarging display function, recording medium recording control program of the imaging apparatus, and control method of the imaging apparatus
CN102111555A (zh) * 2009-12-25 2011-06-29 卡西欧计算机株式会社 具有图像的放大显示功能的照相机
US9712726B2 (en) 2013-12-26 2017-07-18 Canon Kabushiki Kaisha Image processing device that synthesizes a plurality of images, method of controlling the same, image pickup apparatus, and storage medium
CN104754209A (zh) * 2013-12-26 2015-07-01 佳能株式会社 合成多个图像的图像处理设备及其控制方法和摄像装置
CN105282455A (zh) * 2014-06-20 2016-01-27 宇龙计算机通信科技(深圳)有限公司 一种拍照方法、装置及移动终端
CN105282455B (zh) * 2014-06-20 2018-06-19 宇龙计算机通信科技(深圳)有限公司 一种拍照方法、装置及移动终端
CN105338338A (zh) * 2014-07-17 2016-02-17 诺基亚技术有限公司 用于成像条件检测的方法和装置
US9973706B2 (en) 2014-07-17 2018-05-15 Nokia Technologies Oy Method and apparatus for detecting imaging conditions
WO2017016258A1 (zh) * 2015-07-28 2017-02-02 中兴通讯股份有限公司 一种终端及终端拍摄的方法
CN106412214A (zh) * 2015-07-28 2017-02-15 中兴通讯股份有限公司 一种终端及终端拍摄的方法
CN106412214B (zh) * 2015-07-28 2019-12-10 中兴通讯股份有限公司 一种终端及终端拍摄的方法
CN110447221A (zh) * 2017-03-28 2019-11-12 索尼半导体解决方案公司 图像处理装置、图像处理方法和电子设备
CN110447221B (zh) * 2017-03-28 2022-06-14 索尼半导体解决方案公司 图像处理装置、图像处理方法和电子设备
US11553143B2 (en) 2017-03-28 2023-01-10 Sony Semiconductor Solutions Corporation Image processing apparatus, image processing method, and electronic apparatus
US11750932B2 (en) 2017-03-28 2023-09-05 Sony Semiconductor Solutions Corporation Image processing apparatus, image processing method, and electronic apparatus
CN109951634A (zh) * 2019-03-14 2019-06-28 Oppo广东移动通信有限公司 图像合成方法、装置、终端及存储介质

Also Published As

Publication number Publication date
JP5019543B2 (ja) 2012-09-05
WO2007129533A1 (ja) 2007-11-15
KR101035824B1 (ko) 2011-05-20
KR20080102413A (ko) 2008-11-25
JP5354701B2 (ja) 2013-11-27
US20100231748A1 (en) 2010-09-16
EP2018048A4 (en) 2011-07-20
JP2012165479A (ja) 2012-08-30
CN101444084B (zh) 2012-02-15
JPWO2007129533A1 (ja) 2009-09-17
EP2018048A1 (en) 2009-01-21

Similar Documents

Publication Publication Date Title
CN101444084B (zh) 摄像装置
US7176962B2 (en) Digital camera and digital processing system for correcting motion blur using spatial frequency
JP4487640B2 (ja) 撮像装置
JP4678218B2 (ja) 撮像装置及び画像処理方法
US8373769B2 (en) Imaging apparatus, imaging processing method and recording medium
JP2009044367A (ja) 撮影方法及び撮影装置
US8155472B2 (en) Image processing apparatus, camera, image processing program product and image processing method
CN101569173A (zh) 数字图像中降低的位置相关噪声
WO2005099356A2 (ja) 撮像装置
JP7229728B2 (ja) 撮影装置、その制御方法、プログラム
JP2006333113A (ja) 撮像装置
JP2017050646A (ja) 画像処理装置、画像処理方法、およびプログラム
JP3501960B2 (ja) 画像表示制御装置及び方法
KR101612853B1 (ko) 촬영장치, 촬영장치의 제어방법 및 제어방법을 실행시키기 위한 프로그램을 저장한 기록매체
JP4752434B2 (ja) 色補正処理プログラムおよび電子カメラ
JP2006180270A (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、及び記録媒体
JPH07123421A (ja) 撮像装置
JP4307862B2 (ja) 信号処理方法、信号処理回路、及び撮像装置
JP4735820B2 (ja) 撮像装置の信号処理方法及び撮像装置
JP7134832B2 (ja) 画像処理装置、その制御方法及びプログラム
JP6601062B2 (ja) 撮像制御装置、撮像制御方法及びプログラム
JP2002176584A (ja) 自動露出補正装置及び方法
JP3845771B2 (ja) 撮像装置、ホワイトバランス制御方法及びホワイトバランス制御プログラム
JP2004357238A (ja) 撮像装置及びその画像処理方法
JP2007053480A (ja) 撮像装置の信号処理方法及び撮像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120215

Termination date: 20160416