CN101668125A - 成像装置、固态成像器件、图像处理装置、方法和程序 - Google Patents

成像装置、固态成像器件、图像处理装置、方法和程序 Download PDF

Info

Publication number
CN101668125A
CN101668125A CN200910172050A CN200910172050A CN101668125A CN 101668125 A CN101668125 A CN 101668125A CN 200910172050 A CN200910172050 A CN 200910172050A CN 200910172050 A CN200910172050 A CN 200910172050A CN 101668125 A CN101668125 A CN 101668125A
Authority
CN
China
Prior art keywords
image
pixel
time exposure
short time
exposure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200910172050A
Other languages
English (en)
Other versions
CN101668125B (zh
Inventor
光永知生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101668125A publication Critical patent/CN101668125A/zh
Application granted granted Critical
Publication of CN101668125B publication Critical patent/CN101668125B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046—Colour interpolation to calculate the missing colour values

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本发明公开了一种成像装置、固态成像器件、图像处理装置、方法和程序。所述图像处理装置包括：抖动估计单元，其被配置为估计在预定时段中产生的图像的抖动信息；短时间曝光抖动校正单元，其被配置为基于所估计的抖动信息，校正由于在预定时段内的间歇曝光而产生的多个短时间曝光图像的抖动；长时间曝光校正单元，其被配置为基于所估计的抖动信息，校正由于在预定时段内的连续曝光而产生的长时间曝光图像的抖动；以及图像合成单元，其被配置为合成经校正的短时间曝光图像和经校正的长时间曝光图像。

Description

成像装置、固态成像器件、图像处理装置、方法和程序
技术领域
本发明涉及图像处理装置，具体而言，涉及一种对图像数据进行图像处理的图像处理装置、成像装置和固态成像器件及其处理方法、以及使得计算机执行所述方法的程序。
背景技术
近些年来，CCD(电荷耦合器件)传感器和CMOS(互补金属氧化物半导体)传感器等已经被广泛用作固态成像器件，所述固态成像器件对对象成像以产生图像数据。半导体技术的进步稳步地改善关于这些固态成像器件的入射光的动态范围(即，从由于本底噪声的损失而导致信号无法分离的水平到饱和水平的辉度范围)。但是，实际上，当使用固态成像器件时，极少出现超过预定动态范围的入射光。因此，人们正在积极地研究用于扩展动态范围的技术。
例如，作为用于获得高动态范围图像的技术，已经提出了一种技术，在该技术中，使用不同的曝光量成像的多个图像被合成为一个图像。但是，对于这样的技术，用于多个图像的成像的曝光时间增大，因此，这样的技术具有容易发生移动对象模糊或者摄像机抖动的问题。作为用于解决这种问题的技术，例如，已经提出了一种成像技术，在该成像技术中，具有不同灵敏度的多个像素被布置在单个图像传感器的成像表面上，由此一次执行多阶曝光(multistep exposure)，以产生高动态范围图像(例如，参见国际公布WO 2002/056603小册子(图1))。可以通过采用这种成像技术来同时执行不同灵敏度的成像，由此可以相对缩短整个曝光时间。但是，这种成像技术与其他现有成像技术的相同之处在于：未改善固态成像器件的灵敏度本身。因此，在存在低辉度对象的情况下，曝光时间根据该低辉度对象而增大，并且未减少摄像机抖动的出现。
另一方面，例如，对于用于校正出现摄像机抖动的图像的技术，已经提出了一种技术，在该技术中，采用短曝光图像(短时间曝光图像)和长曝光图像(长时间曝光图像)来校正在长时间曝光图像期间出现的摄像机抖动(例如，参见L.Yuan，J.Sun，L.Quan，H.Y.Shum：“ImageDeblurring with Blurred/Noisy Image Pairs”，Proceedings of ACMSIGGRAPH 2007，Article 1，2007)。对于这种摄像机抖动校正技术，采用短时间曝光图像来估计长时间曝光图像的摄像机抖动函数PSF(点扩展函数)，并且将长时间曝光图像进行反向校正，以校正在长时间曝光图像时发生的摄像机抖动。也就是说，短时间曝光图像被用作参考数据，以估计长时间曝光图像的摄像机抖动PSF。
另外，例如，已经提出了一种摄像机抖动校正技术，该技术采用能够测量成像装置本身的操作的成像装置。例如，已经提出了一种成像装置，在所述成像装置中组合了通过长曝光来执行成像的高分辨率图像传感器和通过短连续曝光来测量摄像机抖动的低分辨率图像传感器(例如，参见M.Ben-Ezra，S.K.Nayar：“Motion Deblurring Using Hybrid Imaging”，Proceedings of IEEE International Conference on Computer Vision andPattern Recognition，Vol.I，pp 657-664，2003)。这种摄像机抖动校正技术是以下摄像机抖动校正技术：在该技术中，通过利用短时间曝光图像进行的测量来估计长时间曝光图像的摄像机抖动PSF，并且通过将该图像进行反向校正来校正在长时间曝光图像上已经出现的摄像机抖动。也就是说，由低分辨率图像传感器产生的短时间曝光图像用于估计长时间曝光图像的摄像机抖动PSF。
发明内容
根据上述现有技术，可以通过使用短时间曝光图像来校正长时间曝光图像的摄像机抖动。但是，在使用短时间曝光图像来校正长时间曝光图像的摄像机抖动的情况下，难以正确地补偿根据曝光时间与长时间曝光图像的曝光时间完全不同的短时间曝光图像对长时间曝光图像的饱和区域的恢复。也就是说，难以产生适当地校正了摄像机抖动的高动态范围图像。
已经发现期望产生适当地校正了摄像机抖动的高动态范围图像。
根据本发明的一个实施例，提供了一种图像处理装置及其方法、以及使得计算机执行所述方法的程序，所述图像处理装置包括：抖动估计单元，其被配置为估计在预定时段内产生的图像的抖动信息；短时间曝光抖动校正单元，其被配置为根据所估计的抖动信息来校正由于在所述预定时段内的间歇曝光而产生的多个短时间曝光图像的抖动；长时间曝光校正单元，其被配置为根据所述估计的抖动信息来校正由于在所述预定时段内的连续曝光而产生的长时间曝光图像的抖动；以及图像合成单元，其被配置为合成经校正的短时间曝光图像和经校正的长时间曝光图像。因此，提供了下述效果：合成已经基于抖动信息校正了抖动的短时间曝光图像和长时间曝光图像，由此产生已经校正了抖动的高动态范围图像。
所述抖动估计单元可以计算表示由于成像装置在所述预定时段内的运动而导致的图像坐标的时间变化的参数曲线，作为所述抖动信息。因此，提供了下述效果：校正了不仅包括平移运动而且包括旋转运动的摄像机抖动。
所述抖动估计单元可以包括：计算单元，其被配置为计算构成所述多个短时间曝光图像的图像之间的坐标变换矩阵的每个分量的离散的时间变化；以及曲线拟合单元，其被配置为将所述坐标变换矩阵的每个分量的离散的时间变化拟合成所述参数曲线。因此，提供了下述效果：根据在预定时段内间歇地成像的短时间曝光图像来计算抖动信息。
所述抖动估计单元可以包括：图像间抖动信息计算单元，其被配置为计算关于构成所述多个短时间曝光图像的每个图像的连续图像之间的坐标变换矩阵，作为图像之间的抖动信息；抖动信息计算单元，其被配置为根据所计算出的图像之间的抖动信息来计算表示每个分量的时间变化的参数曲线，作为所述抖动信息；图像抖动校正单元，其被配置为通过根据所述计算出的抖动信息将所述多个短时间曝光图像的像素位置对准以合成所述多个短时间曝光图像，来校正所述短时间曝光图像的抖动；呈现单元，其被配置为根据所述计算出的抖动信息，在所述长时间曝光图像上的多个目标位置上产生点模糊函数图像；点模糊函数图像校正单元，其被配置为根据与所述经校正的短时间曝光图像的目标位置相邻的图像和与所述长时间曝光图像的目标位置相邻的图像，校正每个所述目标位置的点模糊函数图像；以及抖动信息更新单元，其被配置为根据所述计算出的图像之间的抖动信息、所述经校正的点模糊函数图像和所述计算出的抖动信息来更新所述抖动信息。因此，提供了下述效果：通过使用在预定时段内间歇地成像的短时间曝光图像和在预定时段内连续成像的长时间曝光图像的点模糊函数来计算抖动信息。
所述图像间抖动信息计算单元可以计算在所述多个短时间曝光图像的图像之间的匹配点，由此计算所述图像之间的抖动信息；并且所述抖动估计单元包括可靠点提取单元，所述可靠点提取单元被配置为提取已经从所述匹配点的所述多个短时间曝光图像中的大多数短时间曝光图像中获得匹配的匹配点，作为可靠点；所述图像抖动校正单元对于与所述提取的可靠点相邻的区域，根据所述计算出的抖动信息来对准所述多个短时间曝光图像的像素位置以合成它们，由此校正所述短时间曝光图像的抖动；所述呈现单元根据所述计算出的抖动信息来在所述长时间曝光图像上的可靠点的位置上产生点模糊函数图像；并且所述点模糊函数图像校正单元根据与所述经校正的短时间曝光图像的可靠点相邻的图像和与所述长时间曝光图像的可靠点相邻的图像，校正所述点模糊函数图像。因此，提供了下述效果：通过利用可靠区域来以更高的可靠性检测抖动信息，在所述可靠区域中，已经在预定时段内的最长时段中获得了匹配。
所述短时间曝光抖动校正单元可以根据所述估计的抖动信息来对准构成所述多个短时间曝光图像的图像的像素位置以合成它们，由此校正所述短时间曝光图像的抖动。因此，提供了下述效果：通过对准所述短时间曝光图像的像素位置来合成多个短时间曝光图像，由此校正所述短时间曝光图像的抖动。
所述长时间曝光抖动校正单元可以包括：呈现单元，其被配置为根据所述估计的抖动信息来在所述长时间曝光图像的多个目标位置上产生点模糊函数图像；以及去卷积单元，其被配置为根据每个所述产生的点模糊函数图像，针对每个所述目标位置，将所述长时间曝光图像进行去卷积处理。因此，提供了下述效果：基于所述估计的抖动信息来产生在长时间曝光图像上的多个目标位置上的点模糊函数图像，并且基于每个所产生的点模糊函数图像，针对每个目标位置对所述长时间曝光图像进行去卷积处理。
所述图像合成单元可以针对每个像素将所述经校正的短时间曝光图像的像素值和所述经校正的长时间曝光图像的校正值相加，使用在按照短时间曝光的入射光强度和像素值响应特性与按照长时间曝光的入射光强度和像素值响应特性之间的合成特性的逆特性以校正针对每个像素相加得到的像素值，由此产生所述经校正的短时间曝光图像和所述经校正的长时间曝光图像之间的合成图像。因此，提供了下述效果：针对每个像素将所述经校正的短时间曝光图像的像素值和所述经校正的长时间曝光图像的像素值相加，通过使用合成特性的逆特性来校正针对每个像素相加得到的像素值，由此产生合成图像。
所述短时间曝光图像可以是从固态成像器件输出的马赛克图像；并且所述长时间曝光图像可以是从所述固态成像器件输出的马赛克图像；并且所述图像合成单元布置所述经校正的短时间曝光图像的像素和所述经校正的长时间曝光图像的像素，以便获得具有与从所述固态成像器件输出的马赛克图像相同的像素阵列的马赛克图像，由此对所述图像合成单元的马赛克图像执行去马赛克处理。因此，提供了下述效果：对具有与马赛克图像相同的像素阵列的图像执行去马赛克处理，在所述图像中，重新布置了所述经校正的短时间曝光图像的像素和所述经校正的长时间曝光图像的像素。
另外，根据本发明的一个实施例，提供了一种成像装置及其处理方法、以及使得计算机执行所述方法的程序，所述成像装置包括：固态成像器件，其中，在成像表面上排列了用于通过在预定时段内的连续曝光来产生长时间曝光图像的第一像素和用于通过在所述预定时段内的间歇曝光来产生多个短时间曝光图像的第二像素；抖动估计单元，其被配置为根据通过使用所述第二像素而产生的多个短时间曝光图像，估计在所述预定时段内的抖动信息；短时间曝光抖动校正单元，其被配置为根据所述估计的抖动信息来校正所述短时间曝光图像的抖动；长时间曝光抖动校正单元，其被配置为根据所述估计的抖动信息来校正通过使用所述第一像素而产生的长时间曝光图像的抖动；以及图像合成单元，其被配置为合成所述经校正的短时间曝光图像和所述经校正的长时间曝光图像。因此，提供了下述效果：合成已经基于抖动信息被校正的短时间曝光图像和长时间曝光图像，由此产生已经校正了抖动的高动态范围图像。
对于所述固态成像器件，可以在竖直方向上交替地布置其中在水平方向上排列所述第一像素的第一像素线和其中在水平方向上排列所述第二像素的第二像素线。因此，提供了下述效果：通过所述固态成像器件来执行成像，其中，在竖直方向上交替地布置所述第一像素线和所述第二像素线。
对于所述固态成像器件，为了以方格图案布置具有第一光谱灵敏度的像素，可以将具有第一光谱灵敏度的像素交替地布置在所述第一像素线和所述第二像素线上，并且为了在所述第一像素线和所述第二像素线上在具有第一光谱灵敏度的像素之间交替地布置具有第二光谱灵敏度的像素和具有第三光谱灵敏度的像素，可以在斜向上交替地排列关于所述第一像素的具有第二光谱灵敏度的像素和关于所述第二像素的具有第二光谱灵敏度的像素，并且也可以在所述斜向上交替地排列关于所述第一像素的具有第三光谱灵敏度的像素和关于所述第二像素的具有第三光谱灵敏度的像素。因此，提供了下述效果：由所述固态成像器件执行成像，其中，为了以方格图案布置具有第一光谱灵敏度的像素，将具有第一光谱灵敏度的像素交替地布置在所述第一像素线和第二像素线上，并且为了在所述第一像素线和所述第二像素线上的具有第一光谱灵敏度的像素之间交替地布置具有第二光谱灵敏度的像素和具有第三光谱灵敏度的像素，可以在斜向上交替地排列关于所述第一像素的具有第二光谱灵敏度的像素和关于所述第二像素的具有第二光谱灵敏度的像素，并且也可以在所述斜向上交替地排列按照所述第一像素的具有第三光谱灵敏度的像素和按照所述第二像素的具有第三光谱灵敏度的像素。
对于所述固态成像器件，可以以方格图案来布置所述第一像素和所述第二像素。因此，提供了下述效果：由所述固态成像器件执行成像，其中，以方格图案来布置所述第一像素和所述第二像素。
对于所述固态成像器件，由关于所述第一像素的具有第一光谱灵敏度的像素、具有第二光谱灵敏度的像素和具有第三光谱灵敏度的像素构成的阵列是斜向倾斜的Bayer阵列，并且由关于所述第二像素的具有第一光谱灵敏度的像素、具有第二光谱灵敏度的像素和具有第三光谱灵敏度的像素构成的阵列是斜向倾斜的Bayer阵列。因此，提供了下述效果：由所述固态成像器件执行成像，其中，由关于所述第一像素的具有第一光谱灵敏度的像素、具有第二光谱灵敏度的像素和具有第三光谱灵敏度的像素构成的阵列是斜向倾斜的Bayer阵列，并且由关于所述第二像素的具有第一光谱灵敏度的像素、具有第二光谱灵敏度的像素和具有第三光谱灵敏度的像素构成的阵列是斜向倾斜的Bayer阵列。
对于所述固态成像器件，在由在水平方向上交替地排列的所述第一像素和所述第二像素构成的水平线的上侧，行转移信号线和行复位信号线可以被布置并且连接到包括在所述水平线中的所述第一像素，其中所述行转移信号线提供用于通过在水平方向上在所述预定时段内的连续曝光来执行读取的控制信号，并且，在所述水平线的下侧，行转移信号线和行复位信号线可以被布置并且连接到包括在所述水平线中的所述第二像素，其中所述行转移信号线提供用于通过在水平方向上在所述预定时段内的间歇曝光来顺次执行读取的控制信号。因此，提供了下述效果：通过所述固态成像器件来执行成像，其中，在水平线的上侧，行转移信号线和行复位信号线被布置并且连接到包括在所述水平线中的所述第一像素，其中所述行转移信号线提供用于在所述预定时段内的连续曝光来执行读取的控制信号，并且，在所述水平线的下侧，行转移信号线和行复位信号线被布置并且连接到包括在所述水平线中的所述第二像素，其中所述行转移信号线提供用于通过在所述预定时段内的间歇曝光来顺次执行读取的控制信号。
对于所述固态成像器件，可以在水平方向上交替地布置第一像素组和第二像素组，其中在所述第一像素组中，以阶梯式图案来连接在水平方向上排列的三个第一像素和在竖直方向上排列的三个第一像素，并且在所述第二像素组中，以阶梯式图案来连接在水平方向上排列的三个第二像素和在竖直方向上排列的三个第二像素。因此，提供了下述效果：通过所述固态成像器件来执行成像，其中，在水平方向上交替地布置第一像素组和第二像素组。
对于所述固态成像器件，由具有第一光谱灵敏度的像素、具有第二光谱灵敏度的像素和具有第三光谱灵敏度的像素构成的阵列可以是Bayer阵列。因此，提供了下述效果：通过所述固态成像器件来执行成像，其中，由具有第一光谱灵敏度的像素、具有第二光谱灵敏度的像素和具有第三光谱灵敏度的像素构成的阵列是Bayer阵列。
另外，根据本发明的一个实施例，提供了一种固态成像器件，在所述固态成像器件中，在成像表面上排列用于通过在预定时段内的连续曝光来产生长时间曝光图像的像素和用于通过在预定时段内的间歇曝光来产生多个短时间曝光图像的像素。因此提供了下述效果：由所述固态成像器件执行成像，其中，在成像表面上排列用于通过在预定时段内的连续曝光来产生长时间曝光图像的像素和用于通过在预定时段内的间歇曝光来产生多个短时间曝光图像的像素。
根据上述配置，提供了下述优点：可以产生已经适当地经校正了摄像机抖动的高动态范围图像。
附图说明
图1是图示了根据本发明的第一实施例的成像装置的内部配置示例的方框图；
图2是图示了被提供给根据本发明的第一实施例的固态成像器件的像素的等同电路的图；
图3是示意性地图示了根据本发明的第一实施例的固态成像器件的像素布线的图；
图4是示意性地图示了关于图3中所示的像素(#11)、(#12)、(#16)、(#17)这四个像素的控制信号和在每个像素中存储电荷的方式的时序图；
图5A和5B是图示了在根据本发明的第一实施例的固态成像器件的曝光时间E11期间的光电二极管的电荷存储的时间变化的图；
图6是图示了要安装在根据本发明的第一实施例的固态成像器件的光接收部分上的滤色器的像素阵列的示例的图；
图7是示意性地图示了根据本发明的第一实施例的固态成像器件以短时间曝光间歇地成像的短时间曝光马赛克图像的像素阵列的图；
图8是示意性地图示了根据本发明的第一实施例的固态成像器件13以长时间曝光而间歇地成像的长时间曝光马赛克图像的像素阵列的图；
图9是图示了根据本发明的第一实施例的图像处理电路的功能配置示例的方框图；
图10是图示了根据本发明的第一实施例的RGB图像合成单元的功能配置示例的方框图；
图11A和11B是图示了由根据本发明的第一实施例的曲线拟合单元计算出的样条控制点和在计算这些样条控制点时使用的仿射矩阵(帧间摄像机抖动信息)的图；
图12A和12B是图示了关于根据本发明的第一实施例的固态成像器件的入射光强度和待输出的像素值的响应特性之间的关系的图；
图13是图示了根据本发明的第一实施例的RGB图像合成单元的过程的流程图；
图14是图示了由根据本发明的第一实施例的摄像机抖动估计单元进行的摄像机抖动估计处理的过程的流程图；
图15是图示了由根据本发明的第一实施例的运动估计单元进行的运动估计处理的过程的流程图；
图16是图示了由根据本发明的第一实施例的曲线拟合单元进行的曲线拟合处理的过程的流程图；
图17是图示了由根据本发明的第一实施例的短时间曝光摄像机抖动校正单元进行的对短时间曝光RGB图像的摄像机抖动校正处理的过程的流程图；
图18是图示了由根据本发明的第一实施例的长时间曝光摄像机抖动校正单元进行的对长时间曝光RGB图像的摄像机抖动校正处理的过程的流程图；
图19是图示了由根据本发明的第一实施例的局部PSF呈现单元进行的局部PSF(点扩展函数)图像产生处理的过程的流程图；
图20是图示了由根据本发明的第一实施例的高动态范围图像合成单元进行的对高动态范围图像进行的合成处理的过程的流程图；
图21是图示了根据本发明的第二实施例的RGB图像合成单元的功能配置示例的方框图；
图22是在根据本发明的第二实施例的摄像机抖动信息更新单元执行最大点搜索时使用的更新的局部PSF图像上绘制了摄像机抖动轨迹上的点的图；
图23是在根据本发明的第二实施例的摄像机抖动信息更新单元执行最大点搜索时使用的更新的局部PSF图像上绘制了最大梯度方向的图；
图24是在根据本发明的第二实施例的摄像机抖动信息更新单元执行最大点搜索时使用的更新的局部PSF图像上绘制了最大点的图；
图25A和25B是图示了在根据本发明的第二实施例的摄像机抖动信息更新单元执行边缘检测处理时使用的算子的图；
图26是图示了由根据本发明的第二实施例的摄像机抖动估计单元进行的摄像机抖动估计处理的过程的流程图；
图27是图示了由根据本发明的第二实施例的运动估计单元进行的第二运动估计处理的过程的流程图；
图28是图示了由根据本发明的第二实施例的局部PSF更新单元进行的局部PSF图像更新处理的过程的流程图；
图29是图示了由根据本发明的第二实施例的摄像机抖动信息更新单元进行的摄像机抖动信息更新处理的过程的流程图；
图30是图示了根据本发明的第三实施例的RGB图像合成单元的功能配置示例的方框图；
图31是图示了根据本发明的第四实施例的RGB图像合成单元的功能配置示例的方框图；
图32是图示了要安装在根据本发明的第四实施例的固态成像器件的光接收部分上的滤色器的像素阵列的示例的图；
图33是图示了要安装在根据本发明的第四实施例的固态成像器件的光接收部分上的滤色器的像素阵列的示例的图；
图34是示意性地图示了用于实现在图32中所示的像素阵列的固态成像器件的像素布线的图；
图35是示意性地图示了关于在图34中所示的像素(#11)、(#12)、(#16)、(#17)这四个像素的控制信号和在每个像素中存储电荷的方式的时序图；
图36是示意性地图示了用于实现在图33中所示的像素阵列的固态成像器件的像素布线的图；以及
图37是示意性地图示了关于在图36中所示的像素(#11)、(#12)、(#16)、(#17)这四个像素的控制信号和在每个像素中存储电荷的方式的时序图。
具体实施方式
接着，将参照附图来详细说明本发明的实施例。
第一实施例
图1是图示了根据本发明的第一实施例的成像装置100的内部配置示例的方框图。成像装置100包括透镜11、光圈12、固态成像器件13、采样电路21、A/D(模数)转换电路22、图像处理电路23、编码器/解码器31和存储器32。另外，成像装置100包括显示驱动器41、显示单元42、定时产生器51、操作接受单元52、控制单元53和总线59。注意，图像处理电路23、编码器/解码器31、存储器32、显示驱动器41、定时产生器51、操作接受单元52和控制单元53经由总线59相互连接。可以以例如对对象成像以产生运动画面的数字摄像机(例如，单体摄像机)来实现成像装置100。
透镜11是用于聚集来自对象的光的透镜。光圈12调整由透镜11聚集的光的光量。因此，来自对象的、由透镜11聚集的、光量已经由光圈12调整的光被提供到固态成像器件13。
固态成像器件13是这样的图像传感器：其由定时产生器51驱动，通过光电转换将经由透镜11和光圈12输入的来自对象的光转换为电信号(图像信号)，并且向采样电路21输出该转换出的电信号。也就是说，在经由透镜11和光圈12输入的来自对象的光达到固态成像器件13的传感器成像表面上的光接收元件时，通过这些光接收元件来执行光电转换，由此产生电信号。注意，使用例如CCD(电荷耦合器件)或者CMOS(互补金属氧化物半导体)来实现固态成像器件13。另外，成像装置100通过使用固态成像器件13来实现比通常更宽的动态范围，由此，可以在从暗对象到亮对象的范围内执行成像，而没有噪声和饱和。注意，将参照图2至图8来详细地说明固态成像器件13中的像素的阵列和读取控制。
采样电路21由定时产生器51驱动，对从固态成像器件13提供的电信号进行采样，以对所述电信号进行模拟处理比如去除噪声分量，并且将进行了这种处理的模拟信号提供到A/D转换电路22。注意，例如使用相关双采样电路(CDS)来实现采样电路21。因此，减少了在固态成像器件13上发生的噪声。
A/D转换电路22由定时产生器51驱动，将从采样电路21提供的模拟信号转换为数字信号，并且将该转换出的数字信号提供到图像处理电路23。
图像处理电路23包括图像存储器(图像的RAM(随机存取存储器))和用于信号处理的处理器。图像处理电路23对从A/D转换电路22提供的数字信号(图像数据)进行预定的图像处理，并且将进行了该图像处理的图像数据提供到显示驱动器41和编码器/解码器31。具体而言，从图像处理电路23提供的数字信号被暂时存储在图像处理电路23内的图像存储器中。随后，用于图像处理电路23的信号处理的处理器对存储在图像存储器中的数字信号进行预先编程的图像处理。也就是说，图像处理电路23执行信号处理，以将固态成像器件13的输出转换为高动态范围RGB图像。注意，例如使用DSP(数字信号处理器)来实现用于图像处理电路23的信号处理的处理器。注意，将参照图9至图22来详细说明由图像处理电路23执行的处理的细节。
编码器/解码器31对从图像处理电路23提供的图像数据进行编码，并且向存储器32提供和记录所编码的数据。另外，当显示存储在存储器32中的图像数据时，编码器/解码器31从存储器32中读取图像数据以解码所述图像数据，并且将其提供到图像处理电路23。
存储器32是存储由编码器/解码器31编码的图像数据的存储器。另外，存储器32向编码器/解码器31提供所存储的图像数据。注意，以例如采用半导体存储器、磁记录介质、磁光记录介质或者光记录介质等的记录装置来实现存储器32。
显示驱动器41将从图像处理电路23提供的数字信号转换为模拟信号，并且控制显示单元42以显示对应于转换出的模拟信号的图像。
显示单元42显示对应于由显示驱动器41转换出的模拟信号的图像。注意，在正常状态中，通过定时产生器51的控制、以恒定帧速率来在图像处理电路23的内置图像存储器中连续地重写数字信号(图像数据)。随后，图像处理电路23的内置图像存储器的图像数据经由显示驱动器41被输出到显示单元42，并且对应于所述图像数据的图像被显示在显示单元42上。使用例如LCD(液晶显示器)来实现显示单元42，并且显示单元42也具有取景器的功能。
采样电路21是定时产生器，其控制固态成像器件13、采样电路21、A/D转换电路和图像处理电路23的操作定时。例如，在通过用户按下快门按钮而产生的信号被提供到定时产生器51时，定时产生器51适当地驱动固态成像器件13、采样电路21、A/D转换电路和图像处理电路23。因此，执行成像图像的捕获。
操作接受单元52是这样的操作接受单元：其接受操作输入比如快门操作或者由用户输入的其他命令，并且向控制单元53提供所接受的操作输入的内容。例如，操作接受单元52包括诸如在成像装置100的主单元上设置的快门按钮等等的操作按钮。
控制单元53是这样的控制单元：其控制整个成像装置100，读取在驱动器(未示出)中存储的控制程序，并且基于所述控制程序或者由操作接受单元52接受的来自用户的命令等来执行各种控制。使用例如CPU(中心处理单元)来实现控制单元53。
图2是图示了在根据本发明的第一实施例的固态成像器件13中包括的像素的等同电路的图。在固态成像器件13中包括的像素由作为光接收单元的光电二极管(PD)61、浮动扩散(FD)元件62和四个MOS-FET(M1-M4)71-74组成。
辐射到像素上的光在PD 61被转换为电子，并且根据所述光的光量的电荷被存储在PD 61中。MOS-FET(M1)71控制在PD 61和FD 62之间的电荷转移。转移信号(TR)81被施加到MOS-FET(M1)71的栅电极，由此在PD 61中存储的电荷被转移到FD 62。FD 62连接到MOS-FET(M3)73的栅电极。在行选择信号(RS)82被施加到MOS-FET(M4)74的栅电极时，可以从读取线(RD)83读取对应于在FD 62中存储的电荷的电压。在复位信号(RST)84被施加到MOS-FET(M2)72的栅电极时，在FD 62中存储的电荷流过MOS-FET(M2)72，因此，复位了电荷存储状态。
图3是示意性地图示了根据本发明的第一实施例的固态成像器件13的像素布线的图。具有图2中所示的配置的像素#1-#25被布置为二维的规则网格。另外，在竖直列方向上布置了读取线(RD)118至122，其中，在同一竖直列上的像素共享一条读取线。另外，读取线(PD)118至122通过列选择器132而独占地连接到输出端117。在此，像素(#1)、(#3)和(#5)等(以奇数标注的像素)是在特定的曝光周期内连续地曝光对象并且最后被读取的像素。另外，像素(#2)、(#4)和(#6)等(以偶数标注的像素)是在特定的曝光周期内间歇地曝光对象并且每次被读取的像素。
通过由行选择器131控制的行选择信号的选择和由列选择器131控制的读取线的选择，一个特定像素可以连接到输出端117。因此，可以通过分时方式来读取所有像素的信号，同时顺次选择每个像素。
另外，使用转移信号线(TR)101、104、107、110、113和116与复位信号线(RST)102、105、108、111、114和117来对固态成像器件13进行布线。在此，用于提供不同信号的信号线被布置在同一水平线上的像素的上侧和下侧，每个像素连接到交替地位于每个像素的上侧和下侧的转移信号线(TR)和复位信号线(RST)。例如，复位信号线(RST)108和转移信号线(TR)107被布置在像素(#11)-(#15)的水平线的上侧，并且像素(#11)连接到这些信号线。另外，复位信号线(RST)111和转移信号线(TR)110被布置在同一水平线的下侧，并且像素(#12)连接到这些信号线。注意，在图3中，表示长时间曝光的下标L(长)或者表示短时间曝光的下标S(短)根据待提供的控制信号的类型而被标注到复位信号线(RST)和转移信号线(TR)的名称上。因此，对于本发明的第一实施例，使用下述配置：在所述配置中，不同的控制信号被交替地布置在每一条水平线，并且在同一水平线上的像素连接到上部信号或者下部信号，因此，以方格图案(checkered pattern)布置了要被不同地控制的两种类型的像素。因此，固态成像器件13可以通过使用要被不同地控制的两种类型的像素来不仅对具有亮的辉度的对象进行成像、而且对具有暗的辉度的对象进行成像，而没有模糊。
图4是示意性地表达关于图3中所示的像素(#11)、(#12)、(#16)和(#17)的四个像素的控制信号和在每个像素中存储电荷的方式的时序图。注意，在图3中，像素(#11)141、(#12)142、(#16)143和(#17)144通过被虚线矩形145围绕而被示出。在此，在图4中所示的水平轴是时间轴，但是将用虚线以省略的方式示出未进行解释的时段。另外，通过图4中所示的标注有与在图3中所示的对应信号线相同的附图标号的每个波形来进行说明。另外，曝光周期E1和E3是对应于长时间曝光的周期，曝光周期E2是对应于短时间曝光的周期。注意，曝光周期E1-E3有很大的不同，但是实际曝光周期E1-E3通常相同。
图4中所示的波形从上面开始依次是关于像素(#11)-(#15)的水平线的行选择信号(RS)109、关于像素(#16)-(#20)的水平线的行选择信号(RS)112、关于像素(#12)、(#16)等的复位信号(RST)111和转移信号(TR)110、关于像素(#11)等的复位信号(RST)108和转移信号(TR)107、以及关于像素(#17)等的复位信号(RST)114和转移信号(TR)113。随后，图4中示出了关于像素(#11)的存储电荷(CHG)151、关于像素(#12)的存储电荷(CHG)152、关于像素(#16)的存储电荷(CHG)153以及关于像素(#17)的存储电荷(CHG)154。
首先，将对于像素(#11)进行说明。像素(#11)连接到行选择信号线(RS)109、复位信号线(RST)108和转移信号线(TR)107，并因此按照这些控制信号来操作。具体而言，像素(#11)在曝光周期E1的开始接收复位信号线(RST)108和转移信号线(TR)107的信号，并且在PD和FD的电荷被复位后，开始通过曝光进行的PD的电荷存储。在此，即使在曝光周期E1的中间将行选择信号(RS)109施加到像素(#11)几次，像素(#11)仍继续电荷存储，除非同时向像素(#11)提供复位信号线(RST)108和转移信号线(TR)107的信号。随后，在曝光周期E1的结束时，行选择信号(RS)109被施加到像素(#11)，并且复位信号线(RST)108的信号被施加到像素(#11)，由此，在FD复位时的电势被输出到读取线(RD)118。紧接其后，在转移信号线(TR)107的信号被施加到像素(#11)时，在PD中存储的电荷被转移到FD，同时，与所存储的电荷等效的信号电势被输出到读取线(RD)118。
接着，将对像素(#12)进行说明。像素(#12)连接到行选择信号线(RS)109、复位信号线(RST)111和转移信号线(TR)110，并因此按照这些控制信号来操作。具体而言，像素(#12)在曝光周期E2的开始接收复位信号线(RST)111和转移信号线(TR)110的信号，并且在复位PD和FD的电荷后，开始通过曝光进行的PD的电荷存储。随后，在曝光周期E2的中间将行选择信号线(RS)109施加到像素(#12)几次，并且紧接其后，复位信号线(RST)111的信号被施加到像素(#12)，由此，在FD复位时的电势被输出到读取线(RD)。紧接其后，在转移信号线(TR)110的信号被施加到像素(#12)时，在PD中存储的电荷被转移到FD，同时，与所存储的电荷等效的信号电势被输出到读取线(RD)119。电荷已经从中转移的PD变为电荷零状态，并且从该时间点重新开始电荷存储。随后，在曝光周期E2期间，多次重复这样的操作。另外，在曝光周期E2的结束时，再一次读取所存储的电荷，并且结束曝光操作。
接着，将对像素(#16)进行说明。像素(#16)连接到行选择信号线(RS)112、复位信号线(RST)111和转移信号线(TR)110，并且因此按照这些控制信号来操作。在此，除了行选择信号(RS)112不同之外，像素(#16)与像素(#12)相同。另外，除了曝光周期E2的后半部分之外，在曝光周期E2期间的行选择信号线(RS)109和行选择信号(RS)112的信号波形大多数相同。另外，在曝光周期E2结束时，来自复位信号线(RST)111和转移信号线(TR)110的信号在行选择信号(RS)109和行选择信号(RS)112重叠时被施加到像素(#16)。因此，像素(#16)以与像素(#12)相同的方式来操作。
接着，将对像素(#17)进行说明。像素(#17)连接到行选择信号(RS)112、复位信号线(RST)114和转移信号线(TR)113，并且因此按照这些控制信号来操作。在此，除了波形被移位之外，行选择信号(RS)112、复位信号线(RST)114和转移信号线(TR)113的波形是与行选择信号(RS)109、复位信号线(RST)108和转移信号线(TR)107的波形相同的波形。因此，曝光周期E3的像素(#17)操作，以使得曝光周期E1的像素(#11)的操作时间移位。
像素(#11)和(#17)的操作将汇总如下。也就是说，像素(#11)和(#17)在曝光周期中连续地存储电荷，并且在曝光周期结束时向读取线(RD)118和119输出所存储的电荷。另一方面，像素(#12)与像素(#16)操作，以使得在曝光周期中间隙地重复电荷存储和输出。因此，固态成像器件13具有下述特征：以方格图案来布置连续地执行长时间曝光的像素和间歇地执行短时间曝光并且每次输出所存储的电荷的像素。
接着，将参照附图详细进行对用于固态成像器件13获得高动态范围场景信息的方法的说明。
图5A和5B是图示了根据本发明的第一实施例的在固态成像器件13的在曝光周期E11中的PD的电荷存储的时间变化的图。图5A图示了在曝光具有亮的辉度的对象的情况下的示例，图5B图示了在曝光具有暗辉度的对象的情况下的示例。另外，在图5A和5B中所示的水平轴是时间轴，并且竖直轴是用于指示PD的电荷数量的轴。
首先，将参照图5A来进行对曝光具有亮的辉度的对象的情况的说明。在固态成像器件13的两种类型的像素中，执行长时间曝光的像素在曝光周期E11中连续地曝光对象，并且在曝光周期E11的结束时在箭头177中所示的定时执行一次从PD向FD的电荷转移。虚线178指示该像素的PD的电荷量的改变。在对象辉度高的情况下，对于因此执行长时间曝光的像素，PD的电荷量在曝光周期中达到饱和水平SL。因此，要在电荷转移时转移的电荷数Q1等于饱和水平SL。
另一方面，间隙地执行短时间曝光的像素在曝光周期E11中间歇地在短曝光周期E12内多次执行曝光。在以箭头170-177指示的定时执行从PD向FD的电荷转移，以进行多次曝光中的每次曝光，并且从固态成像器件13输出与转移电荷量等效的信号。因此，执行短时间曝光的像素在亮对象的状态下不饱和。
接着，将参照图5B来进行对曝光具有暗辉度的对象的情况的说明。假设图5B中所示的时间轴指示与图5A中的曝光周期相同的曝光周期。另外，长时间曝光像素的曝光周期E11和短时间曝光的曝光周期E12与在图5A中的曝光周期E11和E12相同。此外，长时间曝光和短时间曝光的转移定时(在箭头170-177中所示)与在图5A中的那些转移定时相同。
在此，在对象辉度低的状态下，如虚线181所示，延迟了长时间曝光像素的PD的存储电荷的改变，因此，转移电荷量Q3未达到饱和水平SL。另一方面，对于短时间曝光像素，如实线180所示，在充分地执行了PD的电荷存储之前，关于FD的转移定时170-177到达，因此每个曝光时的转移电荷量Q4变为极小。因此，有可能待转移的电荷淹没在噪声中。
如上所述，通过控制所述两种类型的像素，通常可以在同一周期中使用连续地执行长时间曝光的像素和间歇地执行短时间曝光的像素，因此，即使在亮对象或暗对象的情况下，也可以输出有效信号的至少任何一种。因此，从固态成像器件13输出的两种类型的信号用于产生图像，由此可以产生亮部分和暗部分之间的辉度差很大的高动态范围图像。另外，可以对亮部分和暗部分之间的辉度差很大的高动态范围场景进行成像，而不引起过白和过黑。
图6是图示要安装在根据本发明的第一实施例的固态成像器件13的光接收部分上的滤色器的像素阵列的示例的图。在图6中，每个方块示意性地表示像素。对于本发明的第一实施例，作为示例，图示了由G(绿色)、R(红色)和B(蓝色)构成的三色R、G和B的滤色器。在此，没有阴影的方块表示长时间曝光像素，内部加阴影的方块表示短时间曝光像素。另外，在每个方块内部示出了指示滤色器的类型的符号。例如，在G像素中，“GL”被标注到长时间曝光像素，而“GS”被标注到短时间曝光像素。另外，在R像素中，“RL”被标注到长时间曝光像素，而“RS”被标注到短时间曝光像素。另外，在B像素中，“BL”被标注到长时间曝光像素，而“BS”被标注到短时间曝光像素。注意，G像素是具有实现本发明的特征的第一光谱灵敏度的像素的示例。另外，R向是具有实现本发明的特征的第二光谱灵敏度的像素的示例。此外，B像素是具有用于实现本发明的特征的第三光谱灵敏度的像素的示例。
图6图示了以方格图案来布置长时间曝光像素和短时间曝光像素的示例。对于RGB三色的滤色器，以倾斜45度的Bayer阵列来布置长时间曝光像素和短时间曝光像素。对于图6中所示的示例，对于像素曝光控制的空间布局和色彩的空间布局，曝光控制的空间布局的密度和各向同性具有优于色彩的空间布局的优先级。因此，对于高动态范围图像，可以提供对于用于曝光控制的空间布局有益的像素布局。
图7是示意性地图示了由根据本发明的第一实施例的固态成像器件13以短时间曝光间歇地成像的短时间曝光马赛克图像的像素阵列的图。在图7中所示的短时间曝光马赛克图像的像素阵列对应于在图6中所示的固态成像器件13的像素阵列。该短时间曝光马赛克图像是下述情况下的数据：其中，从图6中所示的固态成像器件13的像素阵列中排除了长时间曝光像素部分的信息。
图8是示意性地图示了根据本发明的第一实施例的固态成像器件13以长时间曝光间歇地成像的长时间曝光马赛克图像的像素阵列的图。在图8中所示的长时间曝光马赛克图像的像素阵列对应于在图6中所示的固态成像器件13的像素阵列。该长时间曝光马赛克图像是下述情况下的数据：其中，从图6中所示的固态成像器件13的像素阵列中排除短时间曝光像素部分的信息。
接着，将参照附图来详细说明由图像处理电路23执行的信号处理。由图像处理电路23内的计算单元来实现在本发明的每个实施例中所示的信号处理，所述计算单元对输入到图像处理电路23的数字信号(图像数据)执行使用预定程序代码描述的计算。因此，将程序中的每个处理增量描述为功能块，并且将以流程图来描述由每个处理执行的序列。注意，除了通过以本发明的每个实施例描述的程序实施的实施例之外，还可以建立下述布置：其中，实施了实现等同于以下所示的功能块的处理的硬件电路。
图9是图示了根据本发明的第一实施例的图像处理电路23的功能配置示例的方框图。注意，图9图示了由图像处理电路23执行的整个信号处理的配置。图像处理电路23包括白平衡处理单元201和202、RGB图像合成单元203、伽马校正单元204和YC转换单元205。
白平衡处理单元201对由固态成像器件13以短时间曝光间隙地成像的短时间曝光马赛克图像(参见图7)进行白平衡处理，并且向RGB图像合成单元203输出进行了白平衡处理的图像数据。白平衡处理单元202对由固态成像器件13以长时间曝光成像的长时间曝光马赛克图像(参见图8)进行白平衡处理，并且向RGB图像合成单元203输出进行了白平衡处理的图像数据。这样的白平衡处理是根据每个像素强度具有的色彩而向马赛克图像应用适当的系数、以使得无彩色对象区域的色彩平衡变为例如无彩色的处理。
RGB图像合成单元203合成进行了白平衡处理的短时间曝光马赛克图像和长时间曝光马赛克图像，合成高动态范围RGB图像，并且向伽马校正单元204输出合成的RGB图像。注意，将参照图10和其他附图来详细说明RGB图像合成单元203。
伽马校正单元204对由RGB图像合成单元203合成的RGB图像进行伽马校正，并且向YC转换单元205输出进行了伽马校正的RGB图像。YC转换单元205是YC矩阵单元，其将由伽马校正单元204进行了伽马校正的RGB图像转换为Y图像和C图像。随后，向显示驱动器41和编码器/解码器31提供所转换的Y图像和C图像。
因此，图像处理电路23输入以短时间曝光间歇地成像的多个马赛克图像和以长时间曝光成像的马赛克图像这两种类型的图像数据，并且基于这两种类型的图像数据来输出高动态范围的Y图像和C图像。
图10是图示了根据本发明的第一实施例的RGB图像合成单元203的功能配置示例的方框图。RGB图像合成单元203包括第一去马赛克处理单元211、第二去马赛克处理单元212、摄像机抖动估计单元213、短时间曝光摄像机抖动校正单元216、长时间曝光摄像机抖动校正单元218和高动态范围图像合成单元221。
第一去马赛克处理单元211对由白平衡处理单元201进行了白平衡处理的多个短时间曝光马赛克图像进行去马赛克处理，以产生多个短时间曝光RGB图像，随后，将每个所产生的短时间曝光RGB图像输出到摄像机抖动估计单元213和短时间曝光摄像机抖动校正单元216。注意，所述短时间曝光RGB图像是在每个像素位置具有全部R、G和B通道的强度的图像。
第二去马赛克处理单元212对由白平衡处理单元202进行了白平衡处理的长时间曝光马赛克图像进行去马赛克处理，以产生长时间曝光RGB图像，随后，向长时间曝光摄像机抖动校正单元218输出所产生的长时间曝光RGB图像。注意，长时间曝光RGB图像是在每个像素位置具有全部R、G和B通道的强度的图像。
在此，由第一和第二去马赛克处理单元211和212进行的去马赛克处理是差值处理，其中，计算在所有像素位置——包括其中像素信息已丢失的像素位置——的RGB的值，以使得每个像素具有全部R、G和B通道的强度。例如，如图7和8中所示，对于短时间曝光马赛克图像和长时间曝光马赛克图像中的任何一种，当像素阵列旋转45度时，所述像素阵列变为Bayer阵列。因此，例如，第一和第二马赛克图像单元211和212可以向Bayer阵列应用用于常用Bayer阵列的去马赛克处理，其中，每个马赛克图像被斜向倾斜。随后，对丢失的像素位置的RGB值进行根据周围像素的双线性插值，由此执行对每个马赛克图像的去马赛克处理。注意，已经进行了将每个马赛克图像斜向倾斜并且对每个马赛克图像进行了去马赛克处理的示例的说明，但是，可以对每个马赛克图像应用其它去马赛克处理。
摄像机抖动估计单元213包括运动估计单元214和曲线拟合单元215，并且基于从第一去马赛克处理单元211输出的多个短时间曝光RGB图像来计算摄像机在曝光周期中的运动(摄像机抖动信息)。注意，摄像机抖动估计单元213是在本发明的发明内容中提到的抖动估计单元的示例。
运动估计单元214针对从第一去马赛克处理单元211输出的多个短时间曝光RGB图像计算帧间摄像机抖动信息，所述帧间摄像机抖动信息为在时间轴上彼此相邻的帧之间的摄像机抖动信息，并且运动估计单元214随后向曲线拟合单元215输出所计算出的帧间摄像机抖动信息。对于本发明的第一实施例，将说明采用图像之间的摄像机运动矩阵作为该帧间摄像机抖动信息的示例。现在，对于本发明的第一实施例，将说明采用仿射矩阵H作为摄像机运动矩阵的示例，该示例执行从图像上的点m1到图像上的点m2的坐标变换，如表达式1中所示。该仿射矩阵是3×3的矩阵，即，具有6个自由度的变换矩阵。
m2＝Hm1        表达式1
Figure G2009101720507D00201
Figure G2009101720507D00202
Figure G2009101720507D00203
现在，将说明由运动估计单元214进行的仿射矩阵的计算方法。例如，对于从第一去马赛克处理单元211输出的多个短时间曝光RGB图像，获得在时间轴上彼此相邻的两个图像(帧)。在这两个图像中，假设在时间轴上的时间点较早的图像被当作图像1，并且时间点较晚的图像被当作图像2。随后，执行图像1和2的特征点的提取。例如，采用边缘检测技术以便提取边缘的梯度在竖直方向上和水平方向上很强的点(例如，角落点)来作为特征点。另外，可以使用另一种特征点提取处理来提取特征点，其中可以执行图像之间的匹配点的搜索。
随后，执行从图像1提取的特征点与从图像2提取的特征点之间的匹配。这种特征点之间的匹配是提取关于图像1和2的被视为同一对象的一对特征点。例如，可以使用一种技术来作为这种特征点匹配方法，其中，基于指标比如在围绕特征点的矩形图像之间的归一化函数来提取一对类似的特征点。另外，只要可以正确地计算摄像机运动矩阵，就可以使用其它匹配方法。例如，可以使用梯度方法、块匹配方法等。
随后，通过使用所提取的匹配点对(匹配的特征点对)来计算仿射矩阵。例如，可以将使用RANSAC(随机采样一致性)的仿射矩阵计算方法用作这种仿射矩阵计算方法。具体而言，重复下述操作：其中，随机地从所提取的匹配点对中选择一个匹配点对，并且使用所选择的匹配点对来执行仿射矩阵的最小二乘估计。随后，选择将难以说明的匹配点减到尽可能少的所计算的仿射矩阵作为估计结果。对于这个示例，已经描述了使用RANSAC的仿射矩阵计算方法以作为示例，但是可以使用其它仿射矩阵计算方法。
因此，在运动估计单元214内的存储器中写入所计算的仿射矩阵。另外，同样对于从第一去马赛克处理单元211输出的其他短时间曝光RGB图像，类似地，在时间轴上彼此相邻的两个图像之间的仿射矩阵顺次被计算，并且被写入到存储器中。因此，运动估计单元214计算构成所述多个短时间曝光图像的图像之间的坐标变换矩阵的每个分量的离散时间变化，并且作为在发明内容中提到的计算单元的示例。
曲线拟合单元215针对从第一去马赛克处理单元211输出的多个短时间曝光RGB图像计算在特定部分(长时间曝光部分)内的摄像机抖动信息。具体而言，曲线拟合单元215基于从运动估计单元214输出的帧间摄像机抖动信息(仿射矩阵)来计算平滑地连接图像之间的摄像机抖动的样条曲线的控制点(样条控制点)，随后向短时间曝光摄像机抖动校正单元216和长时间曝光摄像机抖动校正单元218输出所计算的样条控制点。在此，对于本发明的第一实施例，确定样条曲线的样条控制点将被描述为摄像机抖动信息，所述样条曲线表示运动矩阵的每个分量的时间变化，所述运动矩阵表示摄像机的运动。将参照下一附图来详细说明样条控制点的计算方法。
图11A和11B是图示由根据本发明的第一实施例的曲线拟合单元215计算的样条控制点和在计算所述样条控制点时使用的仿射矩阵(帧间摄像机抖动信息)的图。图11A图示了以时间顺序表示从运动估计单元214输出的仿射矩阵的一个分量的改变的曲线图，图11B图示了表示基于所述仿射矩阵的一个分量的改变而计算的样条控制点的曲线图。在此，对于在图11A和11B中图示的曲线图，水平轴是时间轴，并且竖直轴是表示仿射矩阵的一个分量的值的轴。注意，沿着时间顺序顺次曝光图像，因此，利用多个短时间曝光RGB图像的帧的分度标记作为增量被标注到图11A和11B中示出的曲线图的水平轴。例如，第一个(第零)短时间曝光在t＝0开始，并且在t＝1结束。另外，在图11A和11B中，表达式1中所示的仿射矩阵的第一分量将被描述为仿射矩阵的分量的示例。另外，图11A和11B中所示的示例图示了在产生一个长时间曝光图像(长时间曝光部分)的同时产生8个短时间曝光图像的情况，以作为示例。
在此，由运动估计单元214所计算出的仿射矩阵等同于从一个短时间曝光的曝光时间点到下一个短时间曝光图像的曝光时间点的时间变化。另外，每个短时间曝光图像的曝光的长度是在图11A和11B中所示的曲线图的水平轴上的一段，但是期望通过使用该段的中心位置来代表曝光时间点。因此，可以使用箭头311到317来表示短时间曝光图像之间的仿射矩阵的一个分量的时间变化，其中，水平轴上的“i-0.5”作为起点，并且“i+0.5”作为终点(i是整数(1≤i≤7))，如图11A中所示。注意，在图11A中，以点301-308来表示箭头311到317的起点或者终点。
在此，仿射矩阵是表示两个图像之间的相对运动的矩阵。因此，为了在图11A中所示的曲线图上绘制样条曲线，需要设置与仿射矩阵的每个分量相关的竖直轴上的用作基准的位置。因此，对于图11A中所示的曲线图，用作摄像机位置基准的时间点被设置到水平轴上的一个位置。例如，假设用作摄像机位置基准的时间点位置被设置为t＝0，并且在这种情况下的竖直轴的值被设置为a＝1。下面进行对以下情况的说明：用作摄像机位置基准的时间点位置被设置到t＝0，但是可以被设置到水平轴上的另外位置以作为摄像机位置基准。另外，即使在设置了水平轴上的任何位置的情况下，下述的样条曲线计算方法仍然适用。
曲线拟合单元215计算例如使得图11A中所示的箭头311-317的起点301到终点308被连接的曲线，以作为样条曲线。对于图11A和11B中所示的曲线图，该样条曲线例如是从时间点t＝0到t＝8的平滑参数曲线(以曲线图上的虚线来表示的曲线330)，并且基于表达式1中所示的仿射矩阵H的分量a的时间变化来计算该样条曲线。图11A和11B中所示的曲线图中的虚线330中示出了如此计算出的样条曲线。具体而言，可以使用表达式2中所示的三维B样条函数a(t)来计算样条曲线。注意，可以使用表达式3来表示表达式2右侧的N。
a ( t ) = Σ i = 0 n - 1 N i , 4 ( t ) A i                         表达式2
N i , k ( t ) = ( t - x i ) N i , k - 1 ( t ) x i + k - 1 - x i + ( x i + k - t ) N i + 1 , k - 1 ( t ) x i + k - x i + 1
                       表达式3
Figure G2009101720507D00232
                       表达式4
在此，xj(j＝0，...，12)是样条节点，并且对于这个示例，使用(0，0，0，1，...，7，8，8，8)这13个整数。另外，可以通过使用仿射矩阵的分量a来求解在表达式4中所示的联立方程，计算图11B中所示的样条控制点(A0)320到(A8)328。在此，在表达式4的每个联立方程的右侧出现的Δai→j表示图像之间的(i，j)的仿射矩阵分量a。如图11B中所示，对于九个样条控制点(A0)320到(A8)328获得十个方程(表达式4)，因此，可以通过最小二乘法来求解这些方程。注意，在表达式4中所示的联立方程是与仿射矩阵的分量a相关的联立矩阵。在仿射矩阵的其他分量的情况下，表达式4中所示的第一方程的右侧值根据分量而不同。具体而言，对于分量a和e，表达式4的右侧值是“1”，而对于其他分量(b，c，d和f)，表达式4的右侧值是“0”(但是，是在基准是t＝0的情况下)。这是要对应于单位矩阵的分量，注意，在图11B中，以实心方块示出了所计算的样条控制点(A0)320到(A8)328。另外，根据所计算的样条控制点(A0)320到(A8)328，确定样条曲线的形状。
在图10中，短时间曝光摄像机抖动校正单元216基于从曲线拟合单元215输出的摄像机抖动信息来校正从第一去马赛克处理单元211输出的多个短时间曝光RGB图像的摄像机抖动，随后，向高动态范围图像合成单元221输出经校正的短时间曝光RGB图像。也就是说，短时间曝光摄像机抖动校正单元216包括运动补偿单元217，并且该运动补偿单元217对从第一去马赛克处理单元211输出的多个短时间曝光RGB图像的每个帧执行摄像机抖动补偿。根据这种补偿，多个短时间曝光RGB图像中的每个像素在相同位置上重叠，并且被平均。
具体而言，在多个短时间曝光RGB图像中，运动补偿单元217确定用作摄像机位置基准的一个帧(例如，图11A中对应于t＝0.5的图像)作为基准帧。随后，在对应于该基准帧的图像(基准图像)的像素位置中，运动补偿单元217将一个像素位置作为基准像素位置，并且对除了基准图像之外的每个图像(目标图像)顺次计算对应于基准像素位置的位置的像素值。在此，可以通过使用摄像机抖动信息(样条控制点)来计算从基准图像到时间点t＝0的仿射矩阵和从时间点t＝0到目标图像的仿射矩阵。因此，如此计算出的仿射矩阵用于获得对应于基准像素位置的目标图像的位置。随后，顺次计算在对应于所获得的基准像素位置的目标图像的位置上的像素值。注意，可以进行下述布置：其中，运动补偿单元217保存由运动估计单元214计算的仿射矩阵，并且使用这个仿射矩阵。
运动补偿单元217顺次向在基准图像的基准像素的位置上的像素值加上如此计算出的每个目标图像的像素值。随后，在已经完成了除基准图像之外的所有目标图像的基准像素位置的像素值的相加的情况下，将与基准像素位置相关的相加后的像素值除以用作用于加上像素值的目标图像的图像的数量，以计算平均值。随后，将相除后的像素值(平均值)写入运动补偿单元217内的存储器(未示出)中，以作为基准像素位置的摄像机抖动校正结果。随后，顺次改变基准图像的基准像素位置，并且以与如上所述的方式相同的方式，对基准图像的所有像素位置顺次执行平均值的计算，并且在运动补偿单元217内的存储器中写入基准图像的所有像素位置的平均值以作为基准像素位置的摄像机抖动校正结果。随后，对基准图像的所有像素位置重复平均值的计算和写入运动补偿单元217内的存储器中，直到完成了平均值的计算和写入运动补偿单元217内的存储器中。注意，短时间曝光摄像机抖动校正单元216是在发明内容中提到的短时间曝光抖动校正单元的示例。
长时间曝光摄像机抖动校正单元218基于从曲线拟合单元215输出的摄像机抖动信息来校正从第二去马赛克处理单元212输出的长时间曝光RGB图像的摄像机抖动。具体而言，长时间曝光摄像机抖动校正单元218包括局部PSF呈现单元219和去卷积单元220。注意，长时间曝光摄像机抖动校正单元218是在发明内容中提到的长时间曝光抖动校正单元的示例。
局部PSF呈现单元219基于从曲线拟合单元215输出的摄像机抖动信息来在图像的每个局部区域上产生局部PSF图像，并且向去卷积单元220输出每个产生的局部PSF图像。注意，PSF(点扩展函数，点模糊函数)是指示点光源何时作为输入被给出、多少模糊图像作为输出出现的函数。PSF图像被计算用以通过使用该PSF来校正图像。也就是说，局部PSF呈现单元219对从长时间曝光RGB图像中划分出的每个矩形小区域(i，j)计算局部PSF图像。具体而言，局部PSF呈现单元219预先读取被存储为数据的最小PSF图像。在此，最小PSF图像是表示在没有摄像机抖动的情况下其成像系统的PSF的图像数据。随后，表示时间点的变量t被初始化为0。随后，对于以适当的步长分度的每个时间点t，根据摄像机抖动信息来计算在时间点t的由于小区域的中心像素位置的摄像机抖动而导致的运动位置。具体而言，表达式1用于计算从在t＝0情况下的小区域的中心像素位置(x(0)，y(0))开始的运动位置(x(t)，y(t))。在此，可以通过将时间点t代入表示仿射矩阵H的时间变化的表达式2来计算在表达式1中所示的仿射矩阵H。随后，在所计算的时间点t的运动位置(x(t)，y(t))上绘制最小PSF图像。在时间点t之前绘制的结果和绘制区域在该绘制的时间重叠的情况下，将绘制值与至此为止的值结合，而不是重写。随后，将时间点t前进微小的步长Δt。在新的时间点t已经通过曝光结束时间点的情况下，至此为止的绘制结果被写入局部PSF呈现单元219内的存储器中，以作为局部PSF图像。注意，局部PSF呈现单元219是在发明内容中提到的呈现单元的示例。
去卷积单元220基于从局部PSF呈现单元219输出的局部PSF图像，对从第二去马赛克处理单元212输出的长时间曝光RGB图像执行针对每个光点(spot)的模糊校正处理。通过该模糊校正处理来产生已经执行了摄像机抖动校正的长时间曝光RGB图像，并且所产生的长时间曝光RGB图像被输出到高动态范围图像合成单元221。具体而言，去卷积单元220产生试验性结果图像X以执行长时间曝光摄像机抖动校正，并且通过使用从第二去马赛克处理单元212输出的长时间曝光RGB图像来初始化该试验性结果图像X。也就是说，将适用性的结果图像X替换为长时间曝光RGB图像。随后，将长时间曝光RGB图像划分为小的矩形区域，并且对于划分后的每个小区域，对应于由局部PSF呈现单元219产生的小区域(i，j)的局部PSF图像的值被转换为矩阵格式，以产生矩阵A(i，j)。在此，如果假设小区域(i，j)的大小是(m×n)，则矩阵A(i，j)是((m×n)×(m×n))，并且矩阵A(i，j)的每行表示在小区域(i，j)的每个像素位置的局部PSF的系数(局部PSF图像的像素值)。假设由局部PSF呈现单元219产生的每个小区域(i，j)的局部PSF图像的尺寸是(p×q)。在这种情况下，在矩阵A(i，j)的每行的(m×n)分量中，局部PSF的系数被设置为(p×q)分量，并且0被设置到剩余的((m×n)-(p×q))分量。注意，局部PSF的系数被设置到哪个分量依赖于局部PSF的行对应于小区域(i，j)的哪个像素位置。另外，去卷积单元220将划分长时间曝光RGB图像之后的每个小区域(i，j)的像素值转换为向量格式，以产生向量b(i，j)。现在，如果假设划分长时间曝光RGB图像之后的每个小区域(i，j)的大小是(m×n)，则向量b(i，j)是((m×n)×1)的列向量，其中，小区域(i，j)的像素值顺次排列在一列中。随后，去卷积单元220对所有的小区域(i，j)建立矩阵A(i，j)和向量b(i，j)。
另外，在对所有的小区域(i，j)建立矩阵A(i，j)和向量b(i，j)后，去卷积单元220针对试验性结果图像X的每个小区域(i，j)，将对应于小区域(i，j)的部分转换为向量格式。按照这种转换，去卷积单元220建立向量x(i，j)。现在，如果假设小区域(i，j)的大小是m×n，则向量x(i，j)是(m×n)×1的列向量，其中，小区域(i，j)的像素值顺次排列在一列中。随后，去卷积单元220基于表达式5来更新向量x(i，j)(在表达式5中，将波浪符标注到更新后的向量x)，并且计算向量x(i，j)和更新后的向量x(x具有波浪符)(i，j)之间的差Δx(i，j)。在表达式5中，λ是预先设置的常数。在此，更新后的向量x(具有波浪符的x)(i，j)和更新前后的差Δx(i，j)也是(m×n)×1的列向量。注意，表达式5中所示的单位矩阵I是((m×n)×(m×n))的矩阵。
x ~ ( i , j ) = x ( i , j ) + A + ( i , j ) ( b ( i , j ) - A ( i , j ) x ( i , j ) )
A+ (i，j)＝(At (i，j)A(i，j)-λ2I)-1At (i，j)
                                             表达式5
随后，在对所有的小区域计算Δx(i，j)的情况下，去卷积单元220基于每个小区域的更新后的向量x(i，j)来更新试验性结果图像X。随后，去卷积单元220计算评估值min(Δx(i，j))。在此，评估值min(Δx(i，j))表示最小值函数，所述最小值函数表示差Δx(i，j)的绝对值的最小值。随后，去卷积单元220确定评估值min(Δx(i，j))是否变得小于预定基准ε1。去卷积单元220重复向量x(i，j)的建立处理和差Δx(i，j)的计算处理，直到评估值min(Δx(i，j))变得小于基准ε1。另外，在评估值min(Δx(i，j))变得小于基准ε1的情况下，去卷积单元220输出在该时间的试验性结果图像，作为摄像机抖动校正之后的长时间曝光RGB图像。
高动态范围图像合成单元221合成通过短时间曝光摄像机抖动校正单元216进行了摄像机抖动校正的短时间曝光RGB图像和通过长时间曝光摄像机抖动校正单元218进行了摄像机抖动校正的长时间曝光RGB图像，以产生高动态范围图像，并且将该高动态范围图像输出到伽马校正单元204。具体而言，高动态范围图像合成单元221包括相加响应逆特性LUT保存单元222、像素值相加单元223和像素值转换单元224。注意，高动态范围图像合成单元221是在发明内容中提到的图像合成单元的示例。
相加响应逆特性LUT保存相加响应逆特性LUT(查找表)，并且将所保存的相加响应逆特性LUT提供给像素值转换单元224。注意，将参照图12A和12B来详细说明相加响应逆特性LUT。
像素值相加单元223针对每个像素，将从短时间曝光摄像机抖动校正单元216和长时间曝光摄像机抖动校正单元218输出的两个图像的像素值相加，并且向像素值转换单元224输出作为相加结果的相加像素值。具体而言，像素值相加单元223对进行了摄像机抖动校正的短时间曝光RGB图像和进行了摄像机抖动校正的长时间曝光RGB图像，将每个像素的同一像素位置(目标像素位置)的像素值相加。
像素值转换单元224使用在相加响应逆特性LUT保存单元222中保存的相加响应逆特性LUT来转换从像素值相加单元223输出的相加像素值。具体而言，像素值转换单元224使用相加响应逆特性LUT来校正所述相加像素值，并且将经校正的相加像素值写入存储器中，作为在目标像素位置的合成结果的像素值。随后，在进行了摄像机抖动校正的短时间曝光RGB图像和进行了摄像机抖动校正的长时间曝光RGB图像的所有像素位置中的合成结果的像素值的写入完成后，该结果图像被输出，以作为高动态范围图像。
现在，参照图12A和12B来详细说明在产生高动态范围图像时使用的相加响应逆特性LUT。
图12A和12B是图示了关于根据本发明的第一实施例的固态成像器件13的入射光强度和待输出的像素值的响应特性之间的关系的图。图12A图示了水平轴表示关于固态成像器件13的入射光强度的值、并且竖直轴表示像素值的曲线图。
固态成像器件(图像传感器)通常具有关于入射光强度的线性特性，因此，短时间曝光图像的响应特性变为例如图12A中所示的虚线341。另一方面，长时间曝光图像的曝光大于短时间曝光，因此长时间曝光图像的响应特性变为例如图12A中所示的虚线342。因此，已经加上短时间曝光图像和长时间曝光图像的图像的响应特性变为图12A中所示的实线343。在确定成像装置中包括的图像传感器的特性和短时间曝光与长时间曝光之间的曝光比率的情况下，可以预先计算这种相加响应特性。
相加响应逆特性LUT是这样的数据：其中，上述相加响应的逆特性以表格来表示，并且用于反向引用考虑了固态成像器件的特性的相加像素值。这种相加响应逆特性LUT变为例如图12B中的曲线图上的实线344所示的形状。注意，图12B中所示的曲线图是水平轴指示相加像素值并且竖直轴指示输出像素值的曲线图。像素值转换单元224使用图12B中所示的曲线图来将从像素值相加单元223输出的相加像素值转换为输出像素值。因此，可以通过使用相加响应逆特性LUT转换来转换通过将短时间曝光图像和长时间曝光图像的像素值相加而获得的值，产生适当的高动态范围图像。另外，在该图像合成时，不必对短时间曝光图像或者长时间曝光图像匹配辉度，由此可以防止噪声的增加。因此，可以改善S/N(信/噪)比。
接着，将参照附图来说明根据本发明的第一实施例的成像装置100的操作。
图13是图示了根据本发明的第一实施例的RGB图像合成单元203的过程的流程图。
首先，在循环L900中，第一去马赛克处理单元211对从白平衡处理单元201输出的短时间曝光马赛克图像进行去马赛克处理，以产生短时间曝光RGB图像(步骤S901)。在对从白平衡处理单元201输出的长时间曝光段内的短时间曝光马赛克图像执行去马赛克处理时，循环L900结束，并且流程进行到步骤S902。
接着，第二去马赛克处理单元212将从白平衡处理单元202输出的长时间曝光马赛克图像进行去马赛克处理，以产生长时间曝光RGB图像(步骤S902)。
随后，摄像机抖动估计单元213执行摄像机抖动估计处理(步骤S910)。将参照图14-16来详细说明该摄像机抖动估计处理。注意，步骤S910是在发明内容中提到的抖动估计过程的示例。
随后，短时间曝光摄像机抖动校正单元216执行短时间曝光RGB图像的摄像机抖动校正(步骤S950)。将参照图17来详细说明步骤S950中的摄像机抖动校正处理。注意，步骤S950是在发明内容中提到的短时间曝光抖动校正过程的一个示例。
随后，长时间曝光摄像机抖动校正单元218执行长时间曝光RGB图像的摄像机抖动校正处理(步骤S960)。将参照附图18和19来详细说明步骤S960中的摄像机抖动校正处理。注意，步骤S960是在发明内容中提到的长时间曝光抖动校正过程的示例。
随后，高动态范围图像合成单元221执行高动态范围图像的合成处理(步骤S990)，并且结束RGB图像合成单元203的处理。将参照图20来详细说明高动态范围图像的合成处理。注意，步骤S990是在发明内容中提到的图像合成过程的示例。
图14是图示由根据本发明的第一实施例的摄像机抖动估计单元213进行的摄像机抖动估计处理(图13中的步骤S910)的过程的流程图。
首先，在循环L911中，运动估计单元214对从第一去马赛克处理单元211输出的每个短时间曝光RGB图像执行运动估计处理，以计算在时间上相邻的帧之间的仿射矩阵(步骤S920)。将参照图15来详细说明该运动估计处理。在对从第一去马赛克处理单元211输出的长时间曝光段内的短时间曝光RGB图像执行运动估计处理时，循环L911结束，并且流程进行到步骤S930。
接着，曲线拟合单元215执行曲线拟合处理，以计算平滑地连接图像之间的抖动的样条曲线的控制点(即，摄像机抖动信息)，并且结束摄像机抖动估计处理的操作。将参照图16来详细说明该曲线拟合处理。
图15是图示由根据本发明的第一实施例的运用估计单元214进行的运动估计处理(图14中的步骤S920)的过程的流程图。
运动估计单元214获得在时间轴上的相邻两个图像中的、在时间轴上时间上较早的图像(图像1)(步骤S921)，并且获得两个图像中的时间上较晚的图像(图像2)(步骤S922)。
接着，运动估计单元214提取图像1的特征点(步骤S923)，并且提取图像2的特征点(步骤S924)。随后，运动估计单元214执行从图像1提取的特征点与从图像2提取的特征点之间的匹配，以提取匹配点对(步骤S925)。
接着，运动估计单元214使用所提取的匹配点对来计算仿射矩阵(步骤S926)。随后，运动估计单元214在存储器中写入计算出的仿射矩阵(步骤S927)，并且结束运动估计单元214的处理。
图16是图示由根据本发明的第一实施例的曲线拟合单元215进行的曲线拟合处理(图14中的步骤S930)的过程的流程图。
曲线拟合单元215从存储器中读取由运动估计单元214计算出的每个仿射矩阵(步骤S931)。随后，在循环L932中，曲线拟合单元215使用表达式4来计算样条控制点以针对每个仿射矩阵的六个分量确定确定样条曲线，所述样条曲线是每个分量的时间变化(步骤S933)。在对每个仿射矩阵的全部六个分量执行了用于计算样条控制点的处理后，循环L932结束，并且流程进行到步骤S934。
接着，曲线拟合单元215将全部计算出的样条控制点写入存储器中以作为摄像机抖动信息(步骤S934)，并且结束曲线拟合单元215的处理。
图17是图示由根据本发明的第一实施例的短时间曝光摄像机抖动校正单元216进行的针对短时间曝光RGB图像的摄像机抖动校正处理(图13中的步骤S950)的过程的流程图。
短时间曝光摄像机抖动校正单元216获得由第一去马赛克处理单元211进行了去马赛克处理的短时间曝光RGB图像(步骤S951)，随后，读取摄像机抖动信息(即，样条控制点)(步骤S952)。
接着，在循环L953中，短时间曝光摄像机抖动校正单元216从多个短时间曝光RGB图像中确定一个基准图像，并且对这个基准图像的每个像素位置执行循环L954以及步骤S957和S958中的处理。也就是说，短时间曝光摄像机抖动校正单元216将基准图像的一个像素位置作为基准像素位置，并且对这个基准像素位置执行在循环L954以及步骤S957和S958中的处理。
在循环L954中，短时间曝光摄像机抖动校正单元216顺次确定除了基准图像之外的目标图像中的一个目标图像，对这个目标图像计算对应于基准像素位置的像素位置，并且计算对应于这个基准像素位置的像素位置的像素值(步骤S955)。随后，短时间曝光摄像机抖动校正单元216将所述目标图像的所计算的像素值加到基准图像的基准像素位置的像素值上(步骤S956)。在循环L954中，短时间曝光摄像机抖动校正单元216重复上述步骤，直到对全部目标图像完成了基准像素位置的像素值的相加。
在对全部目标图像完成了基准像素位置的像素值的相加的情况下，循环L954结束，并且流程进行到步骤S957。随后，短时间曝光摄像机抖动校正单元216通过将与基准像素位置相关的相加后的像素值除以用作用于所述像素值的计算的目标的像素的数量来计算平均值(步骤S957)。随后，短时间曝光摄像机抖动校正单元216相除后的像素值(平均值)写入存储器中，作为基准像素位置的摄像机抖动校正结果(步骤S958)。随后，在计算了平均值并且完成了将摄像机抖动校正结果写入存储器中的情况下，循环L953结束，并且短时间曝光RGB图像的摄像机抖动校正处理的操作结束。
图18是图示由根据本发明的第一实施例的长时间曝光摄像机抖动校正单元218进行的对长时间曝光RGB图像的摄像机抖动校正处理(图13中的步骤S960)的过程的流程图。
长时间曝光摄像机抖动校正单元218获得由第二去马赛克处理单元212进行了去马赛克处理的长时间曝光RGB图像(步骤S961)。随后，去卷积单元220产生试验性结果图像X，并且通过使用所获得的长时间曝光RGB图像来初始化这个试验性结果图像X(步骤S962)。
在循环L963中，将长时间曝光RGB图像划分为多个小矩形区域，并且在每个划分出的区域上执行步骤S980、S964和S965中的处理。
首先，局部PSF呈现单元219执行局部PSF图像产生处理(步骤S980)。将参照图19来详细说明这个局部PSF图像产生处理。随后，去卷积单元220将对应于小区域(i，j)的局部PSF图像的值转换为矩阵格式，以建立矩阵A(i，j)(步骤S964)。随后，去卷积单元220将小区域(i，j)的像素值转换为向量格式，以建立向量b(i，j)(步骤S965)。随后，在对划分长时间曝光RGB图像之后的每个小区域完成了步骤S964、S965和S980中的处理后，循环L963结束，并且流程进行到循环L966。
在循环L966中，重复循环L967和步骤S970中的处理，直到评估值min(Δx(i，j))变为小于预定的基准ε1。在循环L967中，对试验性结果图像X的每个小区域执行步骤S968和S969中的处理。
去卷积单元220将对应于所述试验性结果图像X的小区域(i，j)的部分转换为向量格式，以建立向量x(i，j)(步骤S968)。随后，去卷积单元220基于表达式5来更新向量x(i，j)，以计算差Δx(i，j)(步骤S969)。在对试验性结果图像X的每个小区域完成了步骤S968和S969中的处理后，循环L967结束，并且流程进行到步骤S970。
接着，去卷积单元220基于对全部小区域所计算的更新后的向量x(i，j)来更新试验性结果图像X(步骤S970)。随后，在评估值min(Δx(i，j))变为小于预定的基准ε1的情况下，循环L966结束，并且流程进行到步骤S971。随后，去卷积单元220输出此时的试验性结果图像X，作为摄像机抖动校正后的长时间曝光RGB图像(步骤S971)。
图19是图示由根据本发明的第一实施例的局部PSF呈现单元219进行的局部PSF图像产生处理(图18中的步骤S980)的过程的流程图。
局部PSF呈现单元219读取摄像机抖动信息(即，样条控制点)(步骤S981)。随后，局部PSF呈现单元219读取预先被存储为数据的最小PSF图像(步骤S982)，并且将表示时间点的变量t初始化为零(步骤S983)。
接着，在循环L984中，局部PSF呈现单元219对于具有适当增量的每个时间点，根据摄像机抖动信息来计算在时间点t的小区域的中心像素位置的由于摄像机抖动而导致的运动位置(x(t)，y(t))(步骤S985)。随后，局部PSF呈现单元219在在时间点t所计算出的位置(x(t)，y(t))上绘制最小PSF图像(步骤S986)，并且将时间点t前进微小步长宽度Δt(步骤S987)。在新的时间点t还没有经过曝光结束时间点的情况下，重复步骤S985和S987中的处理。另一方面，在新的时间点t已经经过曝光结束时间点的情况下，循环L984结束，并且将至此位置的绘制结果写入存储器中作为局部PSF图像(步骤S988)。
图20是图示由根据本发明的第一实施例的高动态范围图像合成单元221进行的高动态范围图像的合成处理(图13中的步骤S990)的过程的流程图。
高动态范围图像合成单元221获得摄像机抖动校正后的短时间曝光RGB图像(步骤S991)，并且获得摄像机抖动校正后的长时间曝光RGB图像(步骤S992)。随后，像素值转换单元224读取在相加响应逆特性LUT保存单元222中保存的相加响应逆特性LUT(步骤S993)。
接着，在循环L994中，对短时间曝光RGB图像和长时间曝光RGB图像的每个像素位置重复步骤S995到S997中的处理。首先，像素值相加单元223将两个图像的目标像素位置的像素值相加(步骤S995)。接着，像素值转换单元224使用所述相加响应逆特性LUT来校正所计算出的相加像素值(步骤S996)，并且将经校正的相加校正值写入存储器中，作为合成结果的像素值(步骤S997)。
在已经对短时间曝光图像和长时间曝光图像中的所有像素位置完成了步骤S995到S997中的处理的情况下，循环L994结束，并且高动态范围图像的合成处理的操作结束。
对于第一实施例，已经描述了这样的示例：其中，基于短时间曝光RGB图像来计算摄像机抖动信息，但是也可以通过使用短时间曝光RGB图像和长时间曝光RGB图像两者来估计摄像机抖动信息。因此，处理被重复多次，其中，通过使用短时间曝光RGB图像和长时间曝光RGB图像两者来估计摄像机抖动信息，由此可以获得具有更高精度的摄像机抖动信息。因此，对于第二实施例，将描述这样的示例：其中，通过使用短时间曝光RGB图像和长时间曝光RGB图像两者来估计摄像机抖动信息。
第二实施例
图21是图示根据本发明的第二实施例的RGB图像合成单元400的功能配置示例的方框图。RGB图像合成单元400是图10中所示的RGB图像合成单元203的变型，并且与RGB图像合成单元202的不同之处在于：设置有摄像机抖动估计单元410，以代替摄像机抖动估计单元213。因此，将主要对摄像机抖动估计单元410进行说明，并且将省略与图10中所示的RGB图像合成单元203中的那些点相同的点的说明。
摄像机抖动估计单元410包括运动估计单元411、曲线拟合单元412、局部PSF呈现单元413、运动补偿单元414、局部PSF更新单元415和摄像机抖动信息更新单元416。
运动估计单元411计算从第一去马赛克处理单元211输出的多个短时间曝光RGB图像的帧间摄像机抖动信息，并且还提取在多个短时间曝光RGB图像帧上的具有高可靠性的匹配点对的列表。注意，在下面，具有高可靠性的匹配点将被称为“可靠点”，并且具有高可靠性的匹配点对的列表将被称为“可靠点列表”。另外，运动估计单元411向曲线拟合单元412和摄像机抖动信息更新单元416输出帧间摄像机抖动信息。所提取的可靠点列表被输出到局部PSF呈现单元413、运动补偿单元414和局部PSF更新单元415。具体而言，运动估计单元411通过上述仿射矩阵计算方法来对所述多个短时间曝光RGB图像顺次计算在时间轴上相邻的帧之间的仿射矩阵。另外，从在仿射矩阵计算时提取的匹配点对中提取实际上有助于仿射矩阵的计算的匹配点对，并且保存所述匹配点对的信息(匹配点对信息)。另外，从所保存的匹配点对信息中提取在进行了仿射矩阵计算的所有帧对的所有帧中可以连接的匹配点。随后，将所提取的在所有帧中可以连接的匹配点写入可靠点列表中，作为可靠点。注意，运动估计单元411是在发明内容中提到的帧间摄像机抖动信息计算单元和可靠点提取单元的一个示例。
曲线拟合单元412基于从运动估计单元411输出的帧间摄像机抖动信息(仿射矩阵)来计算摄像机抖动信息(样条控制点)。所计算的摄像机抖动信息被输出到局部PSF呈现单元413和运动补偿单元414。所述样条控制点计算方法与曲线拟合单元215的样条控制点计算方法相同，因此在此将省略其说明。另外，曲线拟合单元412是在发明内容中提到的抖动信息计算单元的示例。
局部PSF呈现单元413基于在当前时间点的最新摄像机抖动信息，计算在从运动估计单元411输出的可靠点列表中包括的可靠点周围的小区域中的局部PSF图像。所计算的局部PSF图像被输出到局部PSF更新单元415。在已经从摄像机抖动信息更新单元416输出更新的摄像机抖动信息的情况下，使用作为由短时间曝光摄像机抖动校正单元216更新了的摄像机抖动信息的该摄像机抖动信息。在还没有输出更新的摄像机抖动信息的情况下，使用从曲线拟合单元412输出的摄像机抖动信息。注意，这里的局部PSF图像计算方法与局部PSF呈现单元413的局部PSF图像计算方法相同，因此在此将省略其说明。另外，局部PSF呈现单元413是在发明内容中提到的呈现单元的示例。
运动补偿单元414对从第一去马赛克处理单元211输出的多个短时间曝光RGB图像中的可靠点周围的小区域校正摄像机抖动，并且产生校正了摄像机抖动的多个短时间曝光RGB图像。摄像机抖动校正后的多个短时间曝光RGB图像被输出到局部PSF更新单元415。注意，多个短时间曝光RGB图像中的可靠点是在从运动估计单元411输出的可靠点列表中包括的可靠点。另外，运动补偿单元414是在发明内容中提到的图像抖动校正单元的示例。
局部PSF更新单元415针对从局部PSF呈现单元413输出的局部PSF图像，更新在从运动估计单元411输出的可靠点列表中包括的可靠点周围的小区域图像，以便产生更新的局部PSF图像。所产生的更新的局部PSF图像被输出到摄像机抖动信息更新单元416。具体而言，局部PSF更新单元415基于从运动补偿单元414输出的在摄像机抖动校正之后的短时间曝光RGB图像和从第二去马赛克处理单元212输出的长时间曝光RGB图像，更新在可靠点周围的小区域的局部PSF图像。
具体而言，局部PSF更新单元415将对应于在可靠点周围的小区域的局部PSF图像的值转换为矩阵格式，以便产生矩阵A。这个矩阵A是((m×n)×(m×n))的矩阵，并且矩阵A(i，j)的每行表示在小区域(i，j)的每个像素位置上的局部PSF的系数。另外，假设由局部PSF呈现单元413产生的每个小区域(i，j)的局部PSF图像的大小是(p×q)。在这种情况下，在矩阵A(i，j)的每行的(m×n)分量中，将(p×q)个分量设置为局部PSF图像的像素值(即局部PSF的系数)，并且将剩余的((m×n)-(p×q))分量设置为0。注意，被设置为局部PSF的系数的分量依赖于其行对应于小区域(i，j)的哪个像素部分。接着，小区域的长时间曝光RGB图像的像素值被变换为向量格式，以便产生向量b。现在，如果假设小区域(i，j)的大小是(m×n)，则向量b是((m×n)×1)的列向量，其中，小区域(i，j)的像素值顺次排列在一列上。随后，小区域的在摄像机抖动校正之后的短时间曝光RGB图像的像素值被变换为向量格式，以便产生向量x。向量x是((m×n)×1)的列向量，其中，小区域的像素值顺次排列在一列上。将在此使用的在摄像机抖动校正之后的短时间曝光RGB图像的像素值乘以与相对于长时间曝光RGB图像的曝光比率相对应的缩放系数，以便作为相同的辉度。接着，使用表达式6来计算矩阵A的更新的矩阵
Figure G2009101720507D00351
在表达式6中，λ是预设常数。更新的矩阵
Figure G2009101720507D00352
被输出到摄像机抖动信息更新单元416，作为更新的局部PSF图像。注意，表达式6中所示的单位矩阵I是((m×n)×(m×n))的矩阵。另外，局部PSF更新单元415是在发明内容中提到的点模糊函数图像校正单元的示例。
A ~ = A + ( b - Ax ) x +
x+＝xt(xxt+λ2I)-1
                      表达式6
摄像机抖动信息更新单元416还用于更新从曲线拟合单元412输出的摄像机抖动信息(样条控制点)。更新的摄像机抖动信息(样条控制点)被输出到短时间曝光摄像机抖动校正单元216和长时间曝光摄像机抖动校正单元218。具体而言，基于从运动估计单元411输出的帧间摄像机抖动信息、从曲线拟合单元415输出的摄像机抖动信息以及从局部PSF更新单元输出的局部PSF图像来更新摄像机抖动信息。注意，在更新的摄像机抖动信息的校正量大于预设阈值的情况下，更新的摄像机抖动信息被输出到局部PSF呈现单元413和运动补偿单元414。将参照图22到图25B来详细说明该摄像机抖动信息更新处理。注意，摄像机抖动信息更新单元416是在发明内容中提到的抖动信息更新单元的示例。
图22-24是图示了灰度图像的图，所述灰度图像是在根据本发明的第二实施例的摄像机抖动信息更新单元416执行最大点搜索时使用的更新的局部PSF图像的示例。另外，图25A和25B是图示了在根据本发明的第二实施例的摄像机抖动信息更新单元416执行边缘检测处理时使用的一阶求导算子的图，其中，图25A图示了用于水平方向边缘检测处理的具有一组3×3系数的Sobel算子，图25B图示了用于竖直方向边缘检测处理的具有一组3×3系数的Sobel算子。
首先，摄像机抖动信息更新单元416获得从曲线拟合单元412输出的在当前时间点的最新摄像机抖动信息。接着，摄像机抖动信息更新单元416从局部PSF更新单元415获得与在可靠点列表中包括的可靠点相对应的更新的局部PSF图像。随后，表示时间点的变量t被初始化(可靠点(x(0)，y(0)))。接着，根据所获得的摄像机抖动信息计算可靠点的在当前时间点t的运动位置(x(t)，y(t))。也就是说，对表达式7的右侧设置xp(0)＝x(0)，yp(0)＝y(0)，并且已经对其计算了代入当前时间点t的结果的左侧值(xp(t)，yp(t))是运动位置。在表达式7中所示的Ai等的值对应于在表达式2中所示的那些值。另外，Bi、Ci、Di、Ei和Fi是针对仿射矩阵的分量b、c、d、e和f计算的值。现在，在图22中，通过白点451-459来指示以适当的时间间隔Δt计算的、在对应的小区域中的由更新之前的摄像机抖动信息标识的摄像机抖动轨道上的点的位置(运动位置)。
x p ( t ) y p ( t ) = Σ i = 0 n - 1 N i , 4 ( t ) ( x p ( 0 ) A i - y p ( 0 ) B i + C i ) Σ i = 0 n - 1 N i , 4 ( t ) ( x p ( 0 ) D i + y p ( 0 ) E i + F i ) p＝1，...，P t＝0，Δt，2Δt....，n-1
                                表达式7
接着，摄像机抖动信息更新单元416计算局部PSF图像的梯度在位置(x(t)，y(t))为最大的方向(最大梯度方向)。可以通过使用图25A和25B中所示的Sobel算子进行的边缘检测处理来计算该最大梯度方向。向在局部PSF图像的位置(x(t)，y(t))附近的3×3图像应用图25A和25B中所示的Sobel算子使得能够计算在水平方向和竖直方向上的第一微分系数。所述最大梯度方向可以是由所计算的第一微分系数构成的二维向量的方向。图23图示了对摄像机抖动轨道上的点451-459计算的局部PSF图像的最大梯度方向，如实线461-469所示。
接着，摄像机抖动信息更新单元416以位置(x(t)，y(t))作为基础来提取沿着计算出的最大梯度方向的局部PSF图像的辉度值，并且搜索辉度值具有峰值的位置(峰值点)。图24示出了在最大梯度方向(实线461-469)上提取的辉度值具有峰值的位置，如白点471-479所示。因此，可以通过将样条曲线计算为尽可能通过峰值点来获得新的摄像机抖动信息。
接着，摄像机抖动信息更新单元416基于时间点t、可靠点位置(x(0)，y(0))和搜索到的峰值点来计算表达式7中的方程。也就是说，在表达式7中，设置xp(0)＝x(0)，yp(0)＝y(0)，并且将搜索到的峰值点代入左侧。例如，如果提取峰值点p(其中p ＝1到P)，则可以以表达式7中的方程来表达在时间点t的可靠点p的位置。因此，可以针对对更新的局部PSF图像检测到的每个峰值点来获得表达式7中的一组方程。接着，将时间点t前进预设的适当分度Δt，并且重复该过程直到时间点t超过曝光结束时间点。
接着，摄像机抖动信息更新单元416计算样条控制点。具体而言，根据运动估计单元411输出的帧间摄像机抖动信息而获得的方程(即，表达式4中的方程)和通过在可靠点上更新局部PSF图像而获得的方程(即，表达式7中的方程)形成联立方程，所述联立方程然后被求解以计算样条控制点。输出所计算出的样条控制点，作为更新的摄像机抖动信息。注意，在更新的摄像机抖动信息的校正量大于预设阈值的情况下，所述更新的摄像机抖动信息被输出到局部PSF呈现单元413和运动补偿单元414，并且重复摄像机抖动信息更新处理。另一方面，在更新的摄像机抖动信息的校正量不大于预设阈值的情况下，将更新的摄像机抖动信息输出到短时间曝光摄像机抖动校正单元216和长时间曝光摄像机抖动校正单元218。
因此，可以使用在可靠点周围的小区域上的由局部PSF更新单元415计算的更新的局部PSF图像来反映摄像机抖动信息的更新量。也就是说，可以计算最佳地拟合已经产生的所有更新的局部PSF图像的样条曲线，由此计算更多的摄像机抖动信息。
接着，将参照附图来说明根据本发明的第二实施例的成像装置100的操作。注意，下述操作是RGB图像合成单元203的处理过程的部分修改，因此将仅说明不同部分，并且在此将省略相同部分的说明。
图26是图示由根据本发明的第二实施例的摄像机抖动估计单元410进行的摄像机抖动估计处理的处理的流程图。在此的处理过程是取代图13中的步骤S910而被执行的处理过程。
首先，运动估计单元411执行第二运动估计处理，该处理包括多个短时间曝光RGB图像的帧间摄像机抖动信息(仿射矩阵)的计算和可靠点列表的提取(步骤S1010)。将参照图27来详细说明该第二运动估计处理。
接着，曲线拟合单元412执行曲线拟合处理，其中，基于帧间摄像机抖动信息(仿射矩阵)来计算摄像机抖动信息(步骤S1020)。该曲线拟合处理与图16中所示的处理过程(S930)相同，因此将省略在此的说明。
接着，在步骤L1001中，重复循环S1002和步骤S1060的处理。在循环L1002中，对在所提取的可靠点列表中包括的可靠点周围的小区域执行步骤S1030到S1050的处理。也就是说，运动补偿单元414对在每个小区域上的短时间曝光RGB图像执行摄像机抖动校正处理(步骤S1030)。对短时间曝光RGB图像的摄像机抖动校正处理与在图17中所示的处理过程(步骤S950)相同，因此将省略在此的说明。
接着，局部PSF呈现单元413执行局部PSF图像产生处理，其中，在小区域产生局部PSF图像(步骤S1040)。该局部PSF图像产生处理与在图18中所示的处理过程(步骤S980)相同，因此将省略在此的说明。
接着，局部PSF更新单元415执行局部PSF图像更新处理，其中，在小区域上更新局部PSF图像(步骤S1050)。将参照图28来详细说明该局部PSF图像更新处理。
在对在所提取的可靠点列表中包括的可靠点周围的小区域结束了步骤S1030到S1050中的处理的情况下，循环L1002结束，并且流程前进到步骤S1060。
接着，摄像机抖动信息更新单元416执行摄像机抖动信息更新处理，其中，基于帧间摄像机抖动信息、在当前时间点的摄像机抖动信息和更新的局部PSF图像来更新摄像机抖动信息(步骤S1060)。在更新的摄像机抖动信息的校量大于预设阈值ε2的情况下，重复循环L1002和步骤S1060。另一方面，在更新的摄像机抖动信息的校正量不大于预设阈值ε2的情况下，结束L1001，并且摄像机抖动估计处理的操作结束。
图27是图示由根据本发明的第二实施例的运动估计单元411进行第二运动估计处理的处理过程的流程图(在图26中的步骤S1010)。
在循环L1011中，运动估计单元411对多个短时间曝光RGB图像中的图像对执行步骤S920中的处理(如图15中所示)和步骤S1012。也就是说，从在仿射矩阵计算时提取的匹配点对中提取实际上有助于仿射矩阵的计算的匹配点对，并且保存所提取的匹配点对的信息(步骤S1012)。在对所有的图像完成了步骤S920和S1012的处理时，循环L1011结束，并且流程前进到步骤S1013。
接着，运动估计单元411从所保存的匹配点对信息中提取在所有帧中可以连接的匹配点(步骤S1013)，并且将所提取的可以在所有帧中连接的匹配点写入可靠点列表中，作为可靠点(步骤S1014)。
图28是图示了根据本发明的第二实施例的局部PSF更新单元415执行局部PSF图像更新处理的处理过程的流程图(图26中的步骤S1050)。
首先，局部PSF更新单元415变换与在可靠点列表中包括的可靠点周围的小区域相对应的局部PSF图像的值，以建立矩阵A(步骤S1051)。
接着，局部PSF更新单元415将小区域的长时间曝光图像的像素值变换为向量格式，以建立向量b(步骤S1052)。接着，局部PSF更新单元415将在摄像机抖动校正之后的小区域的短时间曝光RGB图像的像素值变换为向量格式，以建立向量x(步骤S1053)。
接着，局部PSF更新单元415使用表达式6来计算矩阵A的更新的矩阵
Figure G2009101720507D00391
(步骤S1054)。局部PSF更新单元415然后向摄像机抖动信息更新单元416输出更新的矩阵
Figure G2009101720507D00392
作为更新的局部PSF图像(步骤S1055)。
图29是图示了根据本发明的第二实施例的摄像机抖动信息更新单元416执行摄像机抖动信息更新处理(图26中的步骤S1060)的处理过程的流程图。
首先，摄像机抖动信息更新单元416获得在当前时间点的摄像机抖动信息(步骤S1061)。接着，在循环L1062中，对在可靠点列表中包括的每个可靠点重复步骤S1063和S1064以及循环L1065的处理。
在循环L1062中，摄像机抖动信息更新单元416从局部PSF更新单元415中获得与在可靠点列表中包括的可靠点的位置相对应的更新的局部PSF图像(步骤S1063)。随后，摄像机抖动信息更新单元416将表示时间点的变量t初始化为0(步骤S1064)。接着，摄像机抖动信息更新单元416根据摄像机抖动信息计算可靠点(x(0)，y(0))的在当前时间点t的运动位置(x(t)，y(t))(步骤S1066)。
接着，摄像机抖动信息更新单元416计算局部PSF图像的梯度在位置(x(t)，y(t))上为最大的方向(最大梯度方向)(步骤S1067)。接着，摄像机抖动信息更新单元416以位置(x(t)，y(t))作为基础来提取沿着所计算出的最大梯度方向的局部PSF图像的辉度值，并且搜索辉度值有峰值的位置(峰值点)(步骤S1068)。
接着，摄像机抖动信息更新单元416针对时间点t、可靠点位置(x(0)，y(0))和搜索到的峰值点来产生表达式7中的方程(步骤S1069)。在循环L1065中，时间点t前进预设的适当步长Δt，重复该循环，直到时间点t超过曝光结束时间点。
接着，摄像机抖动信息更新单元416获得由运动估计单元411计算出的仿射矩阵(步骤S1071)。摄像机抖动信息更新单元416然后形成根据所获得的仿射矩阵而获得的方程(即，表达式4中的方程)和通过在可靠点更新局部PSF图像而获得的方程(即，表达式7中的方程)的联立方程。然后求解所述联立方程，以计算用于指示仿射矩阵的分量的时间变化的样条控制点(步骤S1072)。
接着，输出所计算出的样条控制点，作为更新的摄像机抖动信息(步骤S1073)。
现在，除了对在可靠点周围的小区域进行操作之外，图21中所示的摄像机抖动估计单元410的运动补偿单元414执行与短时间曝光摄像机抖动校正单元216的运动补偿单元217相同的操作。因此，可以进行下述布置：其中，将短时间曝光摄像机抖动校正单元216的运动补偿单元217用于此目的，而不是向摄像机抖动估计单元410提供运动补偿单元414。在下面的第三实施例中，将描述这样的配置示例：其中，将短时间曝光摄像机抖动校正单元的运动补偿单元用于此目的。
第三实施例
图30是图示了根据本发明的第三实施例的RGB图像合成单元500的功能配置示例的方框图。RGB图像合成单元500是图21中所示的RGB图像合成单元400的变型，并且与RGB图像合成单元400的不同之处在于，使用运动补偿单元521的短时间曝光摄像机抖动校正单元520来取代摄像机抖动估计单元410的运动补偿单元414。其它配置与图21中所示的RGB图像合成单元400相同，因此这里将省略说明。注意，摄像机抖动估计单元510是在发明内容中提到的模糊估计单元的示例，并且短时间曝光摄像机抖动校正单元520是在发明内容中提到的短时间曝光模糊校正单元的示例。
现在，图10中所示的RGB图像合成单元203和图21中所示的RGB图像合成单元400具有第一去马赛克处理单元211和第二去马赛克处理单元212。也就是说，RGB图像合成单元203和RGB图像合成单元400独立地将多个短时间曝光马赛克图像和长时间曝光马赛克图像去马赛克。以这种方式，对于将单个固态成像器件的像素划分为短时间曝光和长时间曝光以执行成像的系统，易于进行划分后的去马赛克的色彩阵列(例如，图6中所示的阵列)是优选的。但是，对于单个固态成像器件的像素阵列，可以应用本发明的第一和第二实施例，而无需易于进行划分后的去马赛克的色彩阵列。例如，在仅仅通过划分和重新排列马赛克图像的像素来获得每种色彩的平面(在二维网格中排列的数据)的情况下，可以实现下述配置：其中，可以在高动态范围图像合成单元上执行去马赛克处理。在下面的第四实施例中，将描述在高动态范围图像合成单元上执行去马赛克处理的配置。
第四实施例
图31是图示了根据本发明的第四实施例的RGB图像合成单元600的功能配置示例的方框图。RGB图像合成单元600是图10中所示的RGB图像合成单元203的变型，并且与RGB图像合成单元203的不同之处在于：使用去马赛克处理和图像融合单元612以取代第一去马赛克处理单元211和第二去马赛克处理单元212。其他配置与图10中所示的RGB图像合成单元203相同，因此在此将省略其说明。去马赛克处理和图像融合单元612通过根据与从固态成像器件13输出的马赛克图像相同的像素阵列来重新布置进行了摄像机抖动校正的短时间曝光图像的像素和进行了摄像机抖动校正的长时间曝光图像的像素，产生马赛克图像。然后对所产生的马赛克图像执行去马赛克处理。注意，将参照图32和33来说明容易通过RGB图像合成单元600去马赛克的色彩矩阵的示例。还要注意，高动态范围图像合成单元610是在发明内容中提到的图像合成单元的示例。
图32和33是图示要安装在根据本发明的第四实施例的固态成像器件13的光接收部分上的滤色器的像素阵列的示例的图。图32和33图示了色彩阵列的示例，其中，可以仅仅通过划分和重新布置马赛克图像的像素来获得每种色彩的平面，并且可以容易地通过RGB图像合成单元600来对每种色彩的平面进行去马赛克。方块中的符号与在图6中的情况相同，用于指示滤色器的类型。可以使用图2中所示的像素结构来实现图32和33中所示的固态成像器件。
注意，根据感兴趣的色彩和曝光时间，图32和33中所示的两个像素阵列都是网格或者对角网格。因此，可以仅仅通过重新布置像素来针对每个曝光时间建立具有相等的像素间隔的四个平面(R、G×2，B)。可以执行使用这些作为输入的摄像机抖动估计、短时间曝光摄像机抖动校正和长时间曝光摄像机抖动校正中的每个处理。在这种情况下，可以使用包括去马赛克处理的、用于合成短时间曝光图像和长时间曝光图像的处理(例如参见国际公布WO 2002/056604)。现在，图32中所示的示例使得能够实现以下像素阵列：其中，对于像素的用于曝光控制的空间布置和色彩的空间布置，由于用于曝光控制的空间布置是依照水平线的顺序，因此便利了固态成像器件的制造。另外，对于像素的用于曝光控制的空间布置和色彩的空间布置，图33中所示的示例通过相对于用于曝光控制的空间布置优先考虑色彩的密度和各向异性，使得能够实现在通常的高动态范围成像过程中对分辨率性能有益的像素阵列。
图34是示意性地图示用于实现图32中所示的像素阵列的固态成像器件的像素布线的图。另外，图35是示意性地图示关于图34中所示的像素(#11)、(#12)、(#16)和(#17)这四个像素的控制信号和在每个像素中存储电荷的方式的时序图。
图36是示意性地图示用于实现图33中所示的像素阵列的固态成像器件的像素布线的图。另外，图37是示意性地图示关于图36中所示的像素(#11)、(#12)、(#16)和(#17)这四个像素的控制信号和在每个像素中存储电荷的方式的时序图。注意，图34和35之间的关系以及图36和37之间的关系与图3和4之间的关系相同。注意，对于图34和36，关于执行短时间曝光和长时间曝光的像素的布置，用于控制像素的布线与在图3中的布线不同。具体而言，对于图36中所示的像素阵列，两条水平线不共用同一控制线，以便防止在同一定时从同一列中的多个像素读取信号。
现在，在此所述的在图31中所示的RGB图像合成单元600是图10中所示的RGB图像合成单元203的变型，但是，对于RGB图像合成单元400和500的情况而言，可以改变每个去马赛克处理单元的布置。
另外，在配置根据本发明的实施例的RGB图像合成单元203、400、500和600的情况下，用于固态成像器件的色彩和曝光时间的阵列不限于图6、32和33中所示的那些阵列，并且其它阵列也适用。另外，用于短时间曝光和长时间曝光的像素不必具有相同的光谱特性，并且可以与不同的光谱特性组合。在这种情况下，可以通过在去马赛克处理后利用线性矩阵变换等来匹配色彩空间，应用根据本发明的实施例的图像处理。
另外，在使用根据本发明的实施例的RGB图像合成单元的情况下，可以对甚至除了由单个固态成像器件(成像传感器)产生的短时间曝光图像和长时间曝光图像之外的图像实现根据本发明的实施例的图像处理。例如，可以建立下述布置：其中，使用两个不同的成像传感器，一个产生短时间曝光图像，另一个产生长时间曝光图像，并且对所产生的图像进行RGB图像合成单元的处理。也就是说，根据本发明的实施例的图像处理可以被应用到具有下述配置的成像装置：在所述配置中，使用多个成像传感器来在同一时段中获得长时间曝光图像和多个短时间曝光图像。
如上所述，对于本发明的实施例，在固态成像器件13的成像平面中排列和布置在预定曝光时段中连续曝光并在预定曝光时段结尾读取的像素和在预定曝光时段中间歇地曝光并且每次都读取的像素。因此，可以匹配具有不同灵敏度的曝光时段，并且合成长时间曝光图像和短时间曝光图像，以产生高动态范围图像。另外，在对在辉度上具有高动态范围的场景进行成像的情况下，可以设置比用于成像暗对象的曝光时段更短而没有噪声的曝光时段。另外，用于对亮对象进行成像的短时间曝光像素在整个时段上重复间歇的成像，因此可以更精确地获得运动对象的在预定的曝光时段内的信息。因此，可以通过以不同的灵敏度成像来产生高动态范围图像，并且相应地可以减少由于不同灵敏度的图像之间的时间流逝而导致的在运动画面区域中的伪像的发生以及由于长时间曝光而导致的摄像机抖动。
可以提供下述结构：其中，固态成像器件13的水平线提供用于在时段中连续地曝光并且在时段结尾被读取的像素的控制信号和用于在时段期间间歇地曝光并且每次都被读取的像素的控制信号。由于这种配置，可以改善色彩的空间布置以及两种类型的曝光控制的设计自由度。另外，当操作时向两种类型的控制线提供相同的控制信号使得能够实现与通常的图像传感器相同的操作。
另外，对于本发明的实施例，在合成长时间曝光图像和短时间曝光图像以产生高动态范围图像之前估计曝光时段中的摄像机抖动，基于所述摄像机抖动来校正在长时间曝光图像和短时间曝光图像的每个中的摄像机抖动。因此，校正摄像机抖动使得用于成像高动态范围图像的曝光时间减少。
另外，对于本发明的实施例，通过参数曲线格式来估计摄像机抖动(例如，仿射矩阵的在曝光时段中的时间变化)。使用参数曲线格式还允许下述情况容易地被处理：其中，PSF格式依赖于由于旋转分量导致的图像的位置而不同。也就是说，也可以处理对于处理PSF图像格式(点模糊函数)的摄像机抖动的现有技术来说难于处理的问题。
另外，对于本发明的实施例，执行处理，以便在执行运动补偿后覆盖通过间歇短时间曝光而产生的多个图像，因此可以在校正短时间曝光图像的摄像机抖动的同时减小噪声。因此，可以在合成高动态范围图像时改善梯度连续性。
因此，根据本发明的实施例，在将短时间曝光图像和长时间曝光图像合成为单个图像之前校正摄像机抖动，并且在校正后合成图像，因此可以产生没有摄像机抖动的高动态范围图像。
另外，对于本发明的第二实施例，暂时进行从参数曲线表达向PSF图像表达的转换，并且在根据现有技术基于图像应用模糊估计和模糊恢复后，从PSF图像表达转换回参数曲线表达。这使得能够实现甚至更精确的摄像机抖动估计和摄像机抖动校正。
注意，也可以将根据本发明的实施例的摄像机抖动估计和摄像机抖动校正应用到作为固态成像器件的RAW数据输出的马赛克图像。另外，可以使用合成方法，其中，在合成之前匹配长时间曝光图像与短时间曝光图像中的每个图像的辉度。
另外，虽然已经对于固态成像器件(成像传感器)的像素的光谱灵敏度是RGB三原色的情况描述了根据本发明的上述实施例，但是也可以使用具有除了RGB三原色之外的光谱灵敏度的像素，比如具有例如互补色光谱灵敏度Y(黄色)、C(青色)、M(洋红)等的像素。
另外，虽然已经对于成像装置比如数字摄像机的情况描述了根据本发明的上述实施例，但是可以将本发明的所述实施例应用到输入由成像装置产生的运动画面并且执行其图像处理的图像处理装置，比如个人计算机等。
注意，已经使用本发明的实施例以说明用于实现本发明的示例，所述示例与如上所述的本发明的每个特征具有对应关系。但是，本发明不限于上述实施例，并且可以在不脱离本发明的实质的情况下，做出各种变型。
另外，以上述实施例描述的过程可以作为具有这些过程系列的方法，或者作为程序，可以通过存储所述程序的记录介质来使得计算机执行这些过程系列。该记录介质的示例包括CD(光盘)、MD(微型盘)、DVD(数字通用盘)、存储卡和蓝光盘(注册商标)。
本发明包含与于2008年9月3日向日本专利局提交的在先日本专利申请JP 2008-225483中公开的主题相关的主体，该在先日本专利申请JP2008-225483的整个内容通过引用结合于此。
本领域内的技术人员应当注意，可以根据设计要求和其他因素来做出各种变型、组合、子组合和改变，只要这些变型、组合、子组合和改变在所附的权利要求及其等同内容的范围内。

Claims (20)

1.一种图像处理装置，包括：
抖动估计单元，其被配置为估计在预定时段内产生的图像的抖动信息；
短时间曝光抖动校正单元，其被配置为根据所估计的抖动信息来校正由于在所述预定时段内的间歇曝光而产生的多个短时间曝光图像的抖动；
长时间曝光校正单元，其被配置为根据所述估计的抖动信息来校正由于在所述预定时段内的连续曝光而产生的长时间曝光图像的抖动；以及
图像合成单元，其被配置为合成经校正的短时间曝光图像和经校正的长时间曝光图像。
2.根据权利要求1的图像处理装置，其中，所述抖动估计单元计算用于表示由于成像装置在所述预定时段内的运动而导致的图像坐标的时间变化的参数曲线，作为所述抖动信息。
3.根据权利要求2的图像处理装置，所述抖动估计单元包括：
计算单元，其被配置为计算构成所述多个短时间曝光图像的图像之间的坐标变换矩阵的每个分量的离散的时间变化；以及
曲线拟合单元，其被配置为将所述坐标变换矩阵的每个分量的离散的时间变化拟合成所述参数曲线。
4.根据权利要求1的图像处理装置，所述抖动估计单元包括：
图像间抖动信息计算单元，其被配置为计算关于构成所述多个短时间曝光图像的每个图像的连续图像之间的坐标变换矩阵，作为图像之间的抖动信息；
抖动信息计算单元，其被配置为根据所计算出的图像之间的抖动信息来计算表示每个分量的时间变化的参数曲线，作为所述抖动信息；
图像抖动校正单元，其被配置为通过根据所述计算出的抖动信息将所述多个短时间曝光图像的像素位置对准以合成所述多个短时间曝光图像，来校正所述短时间曝光图像的抖动；
呈现单元，其被配置为根据所述计算出的抖动信息，在所述长时间曝光图像上的多个目标位置上产生点模糊函数图像；
点模糊函数图像校正单元，其被配置为根据与所述经校正的短时间曝光图像的目标位置相邻的图像和与所述长时间曝光图像的目标位置相邻的图像，校正每个所述目标位置的点模糊函数图像；以及
抖动信息更新单元，其被配置为根据所述计算出的图像之间的抖动信息、所述经校正的点模糊函数图像和所述计算出的抖动信息来更新所述抖动信息。
5.根据权利要求4的图像处理装置，其中，所述图像间抖动信息计算单元计算在所述多个短时间曝光图像的图像之间的匹配点，由此计算所述图像之间的抖动信息；
并且所述抖动估计单元包括：
可靠点提取单元，其被配置为提取已经从所述匹配点的所述多个短时间曝光图像中的大多数短时间曝光图像中获得匹配的匹配点，作为可靠点；
并且所述图像抖动校正单元对于与所述提取的可靠点相邻的区域，根据所述计算出的抖动信息来对准所述多个短时间曝光图像的像素位置以合成它们，由此校正所述短时间曝光图像的抖动；
并且所述呈现单元根据所述计算出的抖动信息来在所述长时间曝光图像上的可靠点的位置上产生点模糊函数图像；
并且所述点模糊函数图像校正单元根据与所述经校正的短时间曝光图像的可靠点相邻的图像和与所述长时间曝光图像的可靠点相邻的图像，校正所述点模糊函数图像。
6.根据权利要求1的图像处理装置，其中，所述短时间曝光抖动校正单元根据所述估计的抖动信息来对准构成所述多个短时间曝光图像的图像的像素位置以合成它们，由此校正所述短时间曝光图像的抖动。
7.根据权利要求1的图像处理装置，所述长时间曝光抖动校正单元包括：
呈现单元，其被配置为根据所述估计的抖动信息来在所述长时间曝光图像的多个目标位置上产生点模糊函数图像；以及
去卷积单元，其被配置为根据每个所述产生的点模糊函数图像，针对每个所述目标位置，将所述长时间曝光图像进行去卷积处理。
8.根据权利要求1的图像处理装置，其中，所述图像合成单元针对每个像素将所述经校正的短时间曝光图像的像素值和所述经校正的长时间曝光图像的校正值相加，使用在按照短时间曝光的入射光强度和像素值响应特性与按照长时间曝光的入射光强度和像素值响应特性之间的合成特性的逆特性以校正针对每个像素相加得到的像素值，由此产生所述经校正的短时间曝光图像和所述经校正的长时间曝光图像之间的合成图像。
9.根据权利要求1的图像处理装置，其中，所述短时间曝光图像是从固态成像器件输出的马赛克图像；
并且所述长时间曝光图像是从所述固态成像器件输出的马赛克图像；
并且所述图像合成单元布置所述经校正的短时间曝光图像的像素和所述经校正的长时间曝光图像的像素，以便获得具有与从所述固态成像器件输出的马赛克图像相同的像素阵列的马赛克图像，由此对所述图像合成单元的马赛克图像执行去马赛克处理。
10.一种成像装置，包括：
固态成像器件，其中，在成像表面上排列了用于通过在预定时段内的连续曝光来产生长时间曝光图像的第一像素和用于通过在所述预定时段内的间歇曝光来产生多个短时间曝光图像的第二像素；
抖动估计单元，其被配置为根据通过使用所述第二像素而产生的多个短时间曝光图像，估计在所述预定时段内的抖动信息；
短时间曝光抖动校正单元，其被配置为根据所估计的抖动信息来校正所述短时间曝光图像的抖动；
长时间曝光抖动校正单元，其被配置为根据所述估计的抖动信息来校正通过使用所述第一像素而产生的长时间曝光图像的抖动；以及
图像合成单元，其被配置为合成经校正的短时间曝光图像和经校正的长时间曝光图像。
11.根据权利要求10的图像处理装置，其中，对于所述固态成像器件，在竖直方向上交替地布置其中在水平方向上排列所述第一像素的第一像素线和其中在水平方向上排列所述第二像素的第二像素线。
12.根据权利要求11的图像处理装置，其中，对于所述固态成像器件，为了以方格图案布置具有第一光谱灵敏度的像素，将具有第一光谱灵敏度的像素交替地布置在所述第一像素线和所述第二像素线上，并且为了在所述第一像素线和所述第二像素线上在具有第一光谱灵敏度的像素之间交替地布置具有第二光谱灵敏度的像素和具有第三光谱灵敏度的像素，在斜向上交替地排列关于所述第一像素的具有第二光谱灵敏度的像素和关于所述第二像素的具有第二光谱灵敏度的像素，并且也在所述斜向上交替地排列关于所述第一像素的具有第三光谱灵敏度的像素和关于所述第二像素的具有第三光谱灵敏度的像素。
13.根据权利要求10的图像处理装置，其中，对于所述固态成像器件，以方格图案来布置所述第一像素和所述第二像素。
14.根据权利要求13的图像处理装置，其中，对于所述固态成像器件，由关于所述第一像素的具有第一光谱灵敏度的像素、具有第二光谱灵敏度的像素和具有第三光谱灵敏度的像素构成的阵列是斜向倾斜的Bayer阵列，并且由关于所述第二像素的具有第一光谱灵敏度的像素、具有第二光谱灵敏度的像素和具有第三光谱灵敏度的像素构成的阵列是斜向倾斜的Bayer阵列。
15.根据权利要求13的图像处理装置，其中，对于所述固态成像器件，在由在水平方向上交替地排列的所述第一像素和所述第二像素构成的水平线的上侧，行转移信号线和行复位信号线被布置并且连接到包括在所述水平线中的所述第一像素，其中所述行转移信号线提供用于通过在水平方向上在所述预定时段内的连续曝光来执行读取的控制信号，并且，在所述水平线的下侧，行转移信号线和行复位信号线被布置并且连接到包括在所述水平线中的所述第二像素，其中所述行转移信号线提供用于通过在水平方向上在所述预定时段内的间歇曝光来顺次执行读取的控制信号。
16.根据权利要求10的成像装置，其中，对于所述固态成像器件，在水平方向上交替地布置第一像素组和第二像素组，其中在所述第一像素组中，以阶梯式图案来连接在水平方向上排列的三个第一像素和在竖直方向上排列的三个第一像素，并且在所述第二像素组中，以阶梯式图案来连接在水平方向上排列的三个第二像素和在竖直方向上排列的三个第二像素。
17.根据权利要求16的图像处理装置，其中，对于所述固态成像器件，由具有第一光谱灵敏度的像素、具有第二光谱灵敏度的像素和具有第三光谱灵敏度的像素构成的阵列是Bayer阵列。
18.一种固态成像器件，其中，在成像表面上排列用于通过在预定时段内的连续曝光来产生长时间曝光图像的像素和用于通过在预定时段内的间歇曝光来产生多个短时间曝光图像的像素。
19.一种图像处理方法，包括以下步骤：
估计在预定时段内产生的图像的抖动信息；
根据所估计的抖动信息来校正由于在所述预定时段内的间歇曝光而产生的多个短时间曝光图像的抖动；
根据所述估计的抖动信息来校正由于在所述预定时段内的连续曝光而产生的长时间曝光图像的抖动；以及
合成经校正的短时间曝光图像和经校正的长时间曝光图像。
20.一种程序，所述程序使得计算机执行以下步骤：
估计在预定时段内产生的图像的抖动信息；
根据所估计的抖动信息来校正由于在所述预定时段内的间歇曝光而产生的多个短时间曝光图像的抖动；
根据所述估计的抖动信息来校正由于在所述预定时段内的连续曝光而产生的长时间曝光图像的抖动；以及
合成经校正的短时间曝光图像和经校正的长时间曝光图像。
CN2009101720507A 2008-09-03 2009-09-03 成像装置、固态成像器件、图像处理装置、方法 Expired - Fee Related CN101668125B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008-225483 2008-09-03
JP2008225483A JP4661922B2 (ja) 2008-09-03 2008-09-03 画像処理装置、撮像装置、固体撮像素子、画像処理方法およびプログラム
JP2008225483 2008-09-03

Publications (2)

Publication Number Publication Date
CN101668125A true CN101668125A (zh) 2010-03-10
CN101668125B CN101668125B (zh) 2012-08-08

Family

ID=41724794

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009101720507A Expired - Fee Related CN101668125B (zh) 2008-09-03 2009-09-03 成像装置、固态成像器件、图像处理装置、方法

Country Status (3)

Country Link
US (2) US8749646B2 (zh)
JP (1) JP4661922B2 (zh)
CN (1) CN101668125B (zh)

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102202178A (zh) * 2010-03-25 2011-09-28 株式会社东芝 图像处理方法及图像处理装置
CN102769756A (zh) * 2011-05-02 2012-11-07 索尼公司 图像处理设备、图像处理方法和程序
CN102860012A (zh) * 2010-04-21 2013-01-02 佳能株式会社 图像处理装置、方法以及记录介质
CN102907083A (zh) * 2010-05-21 2013-01-30 松下电器产业株式会社 摄像装置、图像处理装置、图像处理方法及图像处理程序
CN102970487A (zh) * 2011-08-31 2013-03-13 索尼公司 图像处理设备、图像处理方法和程序
CN103026380A (zh) * 2011-04-08 2013-04-03 松下电器产业株式会社 图像处理装置及图像处理方法
CN103125112A (zh) * 2010-09-27 2013-05-29 富士胶片株式会社 成像设备以及成像方法
CN103209309A (zh) * 2012-01-12 2013-07-17 索尼公司 图像传感器、成像装置、电子设备和成像方法
CN103685995A (zh) * 2012-09-13 2014-03-26 株式会社东芝 摄像装置
CN103973989A (zh) * 2014-04-15 2014-08-06 北京理工大学 获取高动态图像的方法及系统
CN104243844A (zh) * 2013-06-06 2014-12-24 富士通株式会社 图像处理装置、图像处理方法以及电子设备
CN104243794A (zh) * 2013-06-14 2014-12-24 晶睿通讯股份有限公司 即时影像处理方法及其装置
CN104349018A (zh) * 2013-08-07 2015-02-11 索尼公司 图像处理设备、图像处理方法和电子设备
CN104427240A (zh) * 2013-09-09 2015-03-18 深圳富泰宏精密工业有限公司 电子装置及其影像调整方法
CN105874781A (zh) * 2014-01-10 2016-08-17 高通股份有限公司 用于使用多个短曝光俘获数字图像的系统和方法
CN106375655A (zh) * 2015-07-23 2017-02-01 三星电子株式会社 数字拍摄设备和数字拍摄方法
CN106664362A (zh) * 2014-07-02 2017-05-10 索尼公司 图像处理装置、图像处理方法和程序
CN107610075A (zh) * 2017-08-29 2018-01-19 维沃移动通信有限公司 图像合成方法及移动终端
CN108293098A (zh) * 2015-11-05 2018-07-17 索尼半导体解决方案公司 固态成像器件、成像装置和电子设备
CN108353134A (zh) * 2015-10-30 2018-07-31 三星电子株式会社 使用多重曝光传感器的拍摄装置及其拍摄方法
CN109167931A (zh) * 2018-10-23 2019-01-08 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及移动终端
CN109983758A (zh) * 2016-12-02 2019-07-05 索尼半导体解决方案公司 成像元件、成像方法以及电子设备
CN110062154A (zh) * 2013-11-12 2019-07-26 佳能株式会社 摄像设备、图像处理控制设备及其控制方法和存储介质
CN110290320A (zh) * 2019-06-27 2019-09-27 Oppo广东移动通信有限公司 视频预览图生成方法和装置、电子设备、计算机可读存储介质
CN110418065A (zh) * 2018-04-27 2019-11-05 北京展讯高科通信技术有限公司 高动态范围图像运动补偿方法、装置及电子设备
WO2020034769A1 (zh) * 2018-08-16 2020-02-20 Oppo广东移动通信有限公司 图像处理方法以及装置、存储介质及电子设备
CN110915196A (zh) * 2017-07-24 2020-03-24 索尼公司 成像设备、图像处理方法和程序
CN111095912A (zh) * 2017-09-29 2020-05-01 富士胶片株式会社 摄像装置、摄像方法及程序
CN111385494A (zh) * 2018-12-26 2020-07-07 夏普株式会社 固体摄像元件
CN111565265A (zh) * 2019-02-14 2020-08-21 上海银镐环境科技有限公司 一种频率差值摄像器件
CN114365478A (zh) * 2019-10-03 2022-04-15 松下知识产权经营株式会社 摄像装置、摄像系统及摄像方法

Families Citing this family (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7636486B2 (en) * 2004-11-10 2009-12-22 Fotonation Ireland Ltd. Method of determining PSF using multiple instances of a nominally similar scene
EP2175416A1 (en) * 2008-10-13 2010-04-14 Sony Corporation Method and system for image deblurring
JP5326943B2 (ja) * 2009-08-31 2013-10-30 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP5424835B2 (ja) * 2009-11-30 2014-02-26 キヤノン株式会社 画像処理装置、画像処理方法
DE102010028746B4 (de) * 2010-05-07 2012-06-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bildsensor und Verfahren zum Aufnehmen eines Bildes
KR101630307B1 (ko) * 2010-05-12 2016-06-14 삼성전자주식회사 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 저장매체
EP2387229B1 (en) * 2010-05-14 2016-04-06 Casio Computer Co., Ltd. Image capturing apparatus and camera shake correction method, and computer-readable medium
JP5482427B2 (ja) * 2010-05-14 2014-05-07 カシオ計算機株式会社 撮像装置、手ブレ補正方法、プログラム
JP5482428B2 (ja) * 2010-05-14 2014-05-07 カシオ計算機株式会社 撮像装置、手ブレ補正方法、プログラム
KR101664123B1 (ko) * 2010-06-14 2016-10-11 삼성전자주식회사 필터링에 기반하여 고스트가 없는 ｈｄｒｉ를 생성하는 장치 및 방법
CN103181160B (zh) 2010-07-28 2016-06-15 富士胶片株式会社 成像设备和成像方法
JP5940974B2 (ja) * 2010-11-18 2016-06-29 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 撮像装置、撮像方法
JP2012165259A (ja) * 2011-02-08 2012-08-30 Olympus Corp 画像処理装置、画像処理方法、画像処理プログラム、および撮影装置
TWI520602B (zh) * 2011-02-15 2016-02-01 佳能企業股份有限公司 曝光參數補正方法及成像裝置
JP5655626B2 (ja) * 2011-02-24 2015-01-21 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP2012257193A (ja) 2011-05-13 2012-12-27 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
TW201301201A (zh) * 2011-06-23 2013-01-01 Hon Hai Prec Ind Co Ltd 影像處理系統及方法
JP2013021636A (ja) * 2011-07-14 2013-01-31 Sony Corp 画像処理装置および方法、学習装置および方法、プログラム、並びに記録媒体
KR101699919B1 (ko) * 2011-07-28 2017-01-26 삼성전자주식회사 다중 노출 퓨전 기반에서 고스트 흐림을 제거한 ｈｄｒ 영상 생성 장치 및 방법
JP5780885B2 (ja) * 2011-08-26 2015-09-16 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
US8432466B2 (en) * 2011-09-29 2013-04-30 International Business Machines Corporation Multiple image high dynamic range imaging from a single sensor array
JP2013143729A (ja) 2012-01-12 2013-07-22 Sony Corp 撮像素子、撮像装置、電子機器および撮像方法
JP5409829B2 (ja) * 2012-02-17 2014-02-05 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、および、プログラム
WO2013165595A1 (en) * 2012-04-30 2013-11-07 Nikon Corporation Point spread function cost function with non-uniform weights
US8917330B1 (en) * 2012-06-01 2014-12-23 Gopro, Inc. Cinematic image blur in digital cameras based on exposure timing manipulation
JP2014030073A (ja) * 2012-07-31 2014-02-13 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
KR101890305B1 (ko) * 2012-08-27 2018-08-21 삼성전자주식회사 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 기록매체
JP5706594B2 (ja) * 2012-10-29 2015-04-22 株式会社日立国際電気 画像処理装置
JP2014143498A (ja) * 2013-01-22 2014-08-07 Toshiba Corp 固体撮像装置
KR101926489B1 (ko) 2013-02-04 2018-12-07 한화테크윈 주식회사 다중대역 필터배열 센서를 이용한 영상융합장치 및 방법
JP6172967B2 (ja) * 2013-02-20 2017-08-02 キヤノン株式会社 撮像装置、及びその制御方法
US9019401B2 (en) * 2013-02-26 2015-04-28 GM Global Technology Operations LLC System and method for creating an image with a wide dynamic range
US9350916B2 (en) 2013-05-28 2016-05-24 Apple Inc. Interleaving image processing and image capture operations
US9384552B2 (en) * 2013-06-06 2016-07-05 Apple Inc. Image registration methods for still image stabilization
US9262684B2 (en) 2013-06-06 2016-02-16 Apple Inc. Methods of image fusion for image stabilization
US9491360B2 (en) 2013-06-06 2016-11-08 Apple Inc. Reference frame selection for still image stabilization
US8901492B1 (en) * 2013-07-16 2014-12-02 Taiwan Semiconductor Manufacturing Company, Ltd. Three-dimensional semiconductor image reconstruction apparatus and method
TWI644568B (zh) * 2013-07-23 2018-12-11 新力股份有限公司 攝像元件、攝像方法及攝像程式
JP2015026977A (ja) * 2013-07-26 2015-02-05 株式会社東芝 固体撮像装置
TWI501639B (zh) * 2013-07-29 2015-09-21 Quanta Comp Inc 拍攝高動態範圍影片之方法
US9742973B2 (en) * 2013-08-08 2017-08-22 Sony Corporation Array camera design with dedicated Bayer camera
US20150071547A1 (en) 2013-09-09 2015-03-12 Apple Inc. Automated Selection Of Keeper Images From A Burst Photo Captured Set
JP6304983B2 (ja) * 2013-09-17 2018-04-04 キヤノン株式会社 焦点検出装置、光電変換システム、焦点検出装置の駆動方法
US20150097978A1 (en) * 2013-10-07 2015-04-09 Qualcomm Incorporated System and method for high fidelity, high dynamic range scene reconstruction with frame stacking
JP6207351B2 (ja) * 2013-11-12 2017-10-04 キヤノン株式会社 固体撮像装置および撮像システム
CN105934944B (zh) * 2013-11-26 2020-08-14 株式会社尼康 摄像元件及摄像装置
KR102170627B1 (ko) * 2014-01-08 2020-10-27 삼성전자주식회사 이미지 센서
KR102149187B1 (ko) 2014-02-21 2020-08-28 삼성전자주식회사 전자 장치와, 그의 제어 방법
US9621805B2 (en) 2014-03-12 2017-04-11 Sony Corporation Method, system and computer program product for debluring images
JP6624048B2 (ja) * 2014-03-18 2019-12-25 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
US10104388B2 (en) * 2014-06-30 2018-10-16 Sony Corporation Video processing system with high dynamic range sensor mechanism and method of operation thereof
KR102222073B1 (ko) * 2014-08-29 2021-03-04 삼성전자주식회사 촬영 방법 및 전자 장치
JP6449320B2 (ja) 2014-11-07 2019-01-09 オリンパス株式会社 撮像装置
US9392174B2 (en) * 2014-12-11 2016-07-12 Facebook, Inc. Systems and methods for time-lapse selection subsequent to capturing media content
KR102224851B1 (ko) * 2014-12-11 2021-03-08 삼성전자주식회사 서브 픽셀 보간을 수행하는 이미지 처리 장치 및 이미지 처리 시스템
US9749534B2 (en) * 2014-12-31 2017-08-29 Canon Kabushiki Kaisha Devices, systems, and methods for estimation of motion blur from a single image
GB2523253B (en) * 2015-01-23 2017-04-12 Visidon Oy Image processing method
JP2017118191A (ja) * 2015-12-21 2017-06-29 ソニー株式会社 撮像素子及びその駆動方法、並びに撮像装置
CN108541374B (zh) * 2015-12-28 2020-12-15 华为技术有限公司 一种图像融合方法、装置及终端设备
US9774803B2 (en) * 2016-02-18 2017-09-26 Samsung Electronics Co., Ltd. Motion reducing methods and systems using global shutter sensors
KR102317624B1 (ko) * 2017-03-27 2021-10-26 삼성전자 주식회사 전자 장치 및 그의 이미지 처리 방법
CN108184075B (zh) * 2018-01-17 2019-05-10 百度在线网络技术（北京）有限公司 用于生成图像的方法和装置
JP6831493B2 (ja) * 2018-03-29 2021-02-17 富士フイルム株式会社 撮像装置、撮像方法、およびプログラム
CN113691738B (zh) 2018-06-07 2023-04-18 杜比实验室特许公司 从单拍摄hdr彩色图像传感器生成hdr图像
US11025825B2 (en) * 2018-07-19 2021-06-01 Karl Storz Imaging, Inc. System and method to obtain a moving endoscopic image
JP7224980B2 (ja) * 2019-03-15 2023-02-20 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
KR20210018576A (ko) * 2019-08-05 2021-02-18 삼성전자주식회사 이미지의 픽셀 값을 보상하기 위한 전자 장치
TWI731679B (zh) * 2020-05-13 2021-06-21 國立清華大學 視網膜可容許曝照時間簡易測定裝置及方法
CN116134298A (zh) * 2020-06-03 2023-05-16 伦敦大学国王学院 用于联合去马赛克和光谱特征图估计的方法和系统
JP7081635B2 (ja) * 2020-09-24 2022-06-07 株式会社ニコン 画像処理装置
KR20220063575A (ko) 2020-11-10 2022-05-17 삼성전자주식회사 색분리 렌즈 어레이를 적용한 영상 획득 장치 및 방법
CN112689099B (zh) * 2020-12-11 2022-03-22 北京邮电大学 一种面向双镜头相机的无重影高动态范围成像方法及装置
WO2022169139A2 (en) * 2021-02-05 2022-08-11 Samsung Electronics Co., Ltd. Electronic apparatus and method for controlling thereof

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04216534A (ja) * 1990-12-17 1992-08-06 Olympus Optical Co Ltd カメラのぶれ状態検出装置及びぶれ防止装置
JP4345940B2 (ja) * 1999-04-13 2009-10-14 株式会社リコー 手ぶれ画像補正方法、記録媒体及び撮像装置
DE60236404D1 (de) 2001-01-09 2010-07-01 Sony Corp Bildaufnahmegerät
JP4511066B2 (ja) * 2001-03-12 2010-07-28 オリンパス株式会社 撮像装置
EP1280350B1 (en) 2001-07-26 2007-11-07 Irdeto Access B.V. Time validation system
JP2004056573A (ja) * 2002-07-22 2004-02-19 Sony Corp 映像信号処理方法、処理回路、及び撮像装置の駆動方法
JP3801126B2 (ja) * 2002-09-25 2006-07-26 ソニー株式会社 撮像装置，撮像装置の画像出力方法，およびコンピュータプログラム
US7295232B2 (en) * 2003-01-15 2007-11-13 Canon Kabushiki Kaisha Camera and program
US7639889B2 (en) * 2004-11-10 2009-12-29 Fotonation Ireland Ltd. Method of notifying users regarding motion artifacts based on image analysis
US7636486B2 (en) * 2004-11-10 2009-12-22 Fotonation Ireland Ltd. Method of determining PSF using multiple instances of a nominally similar scene
US7557832B2 (en) * 2005-08-12 2009-07-07 Volker Lindenstruth Method and apparatus for electronically stabilizing digital images
EP2007133A2 (en) * 2006-04-11 2008-12-24 Panasonic Corporation Image pickup device
US8059174B2 (en) * 2006-05-31 2011-11-15 Ess Technology, Inc. CMOS imager system with interleaved readout for providing an image with increased dynamic range
JP5100066B2 (ja) * 2006-09-06 2012-12-19 パナソニック株式会社 撮像装置および撮像方法
JP4806329B2 (ja) * 2006-10-23 2011-11-02 三洋電機株式会社 撮像装置及び撮像方法
US7825969B2 (en) * 2006-12-15 2010-11-02 Nokia Corporation Image stabilization using multi-exposure pattern
JP4946417B2 (ja) * 2006-12-18 2012-06-06 ソニー株式会社 撮像装置、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
US7796872B2 (en) * 2007-01-05 2010-09-14 Invensense, Inc. Method and apparatus for producing a sharp image from a handheld device containing a gyroscope
US7548689B2 (en) * 2007-04-13 2009-06-16 Hewlett-Packard Development Company, L.P. Image processing method
JP5375457B2 (ja) * 2008-09-03 2013-12-25 株式会社リコー 撮像装置及び撮像方法

Cited By (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102202178A (zh) * 2010-03-25 2011-09-28 株式会社东芝 图像处理方法及图像处理装置
US8836800B2 (en) 2010-03-25 2014-09-16 Kabushiki Kaisha Toshiba Image processing method and device interpolating G pixels
CN102860012A (zh) * 2010-04-21 2013-01-02 佳能株式会社 图像处理装置、方法以及记录介质
CN102860012B (zh) * 2010-04-21 2015-06-03 佳能株式会社 图像处理装置及图像处理方法
CN102907083A (zh) * 2010-05-21 2013-01-30 松下电器产业株式会社 摄像装置、图像处理装置、图像处理方法及图像处理程序
CN102907083B (zh) * 2010-05-21 2016-09-28 松下电器（美国）知识产权公司 摄像装置、图像处理装置及图像处理方法
CN103125112A (zh) * 2010-09-27 2013-05-29 富士胶片株式会社 成像设备以及成像方法
CN103125112B (zh) * 2010-09-27 2015-07-08 富士胶片株式会社 成像设备以及成像方法
CN103026380A (zh) * 2011-04-08 2013-04-03 松下电器产业株式会社 图像处理装置及图像处理方法
CN103026380B (zh) * 2011-04-08 2016-04-13 松下电器（美国）知识产权公司 图像处理装置及图像处理方法
CN102769756A (zh) * 2011-05-02 2012-11-07 索尼公司 图像处理设备、图像处理方法和程序
CN102970487A (zh) * 2011-08-31 2013-03-13 索尼公司 图像处理设备、图像处理方法和程序
CN103209309A (zh) * 2012-01-12 2013-07-17 索尼公司 图像传感器、成像装置、电子设备和成像方法
CN103685995A (zh) * 2012-09-13 2014-03-26 株式会社东芝 摄像装置
CN104243844A (zh) * 2013-06-06 2014-12-24 富士通株式会社 图像处理装置、图像处理方法以及电子设备
CN104243794A (zh) * 2013-06-14 2014-12-24 晶睿通讯股份有限公司 即时影像处理方法及其装置
CN104243794B (zh) * 2013-06-14 2017-06-27 晶睿通讯股份有限公司 即时影像处理方法及其装置
CN104349018A (zh) * 2013-08-07 2015-02-11 索尼公司 图像处理设备、图像处理方法和电子设备
CN104427240A (zh) * 2013-09-09 2015-03-18 深圳富泰宏精密工业有限公司 电子装置及其影像调整方法
CN110062154B (zh) * 2013-11-12 2021-01-05 佳能株式会社 摄像设备、图像处理控制设备及其控制方法和存储介质
CN110062154A (zh) * 2013-11-12 2019-07-26 佳能株式会社 摄像设备、图像处理控制设备及其控制方法和存储介质
CN105874781A (zh) * 2014-01-10 2016-08-17 高通股份有限公司 用于使用多个短曝光俘获数字图像的系统和方法
US10091434B2 (en) 2014-01-10 2018-10-02 Qualcomm Incorporated System and method for capturing digital images using multiple short exposures
CN103973989B (zh) * 2014-04-15 2017-04-05 北京理工大学 获取高动态图像的方法及系统
CN103973989A (zh) * 2014-04-15 2014-08-06 北京理工大学 获取高动态图像的方法及系统
CN106664362A (zh) * 2014-07-02 2017-05-10 索尼公司 图像处理装置、图像处理方法和程序
CN106664362B (zh) * 2014-07-02 2019-08-27 索尼公司 图像处理装置、图像处理方法和计算机可读介质
CN106375655A (zh) * 2015-07-23 2017-02-01 三星电子株式会社 数字拍摄设备和数字拍摄方法
CN108353134A (zh) * 2015-10-30 2018-07-31 三星电子株式会社 使用多重曝光传感器的拍摄装置及其拍摄方法
CN108293098A (zh) * 2015-11-05 2018-07-17 索尼半导体解决方案公司 固态成像器件、成像装置和电子设备
CN108293098B (zh) * 2015-11-05 2021-01-19 索尼半导体解决方案公司 固态成像器件、成像装置和电子设备
CN109983758A (zh) * 2016-12-02 2019-07-05 索尼半导体解决方案公司 成像元件、成像方法以及电子设备
CN110915196A (zh) * 2017-07-24 2020-03-24 索尼公司 成像设备、图像处理方法和程序
CN107610075A (zh) * 2017-08-29 2018-01-19 维沃移动通信有限公司 图像合成方法及移动终端
CN111095912B (zh) * 2017-09-29 2021-08-06 富士胶片株式会社 摄像装置、摄像方法及记录介质
CN111095912A (zh) * 2017-09-29 2020-05-01 富士胶片株式会社 摄像装置、摄像方法及程序
CN110418065A (zh) * 2018-04-27 2019-11-05 北京展讯高科通信技术有限公司 高动态范围图像运动补偿方法、装置及电子设备
WO2020034769A1 (zh) * 2018-08-16 2020-02-20 Oppo广东移动通信有限公司 图像处理方法以及装置、存储介质及电子设备
CN109167931A (zh) * 2018-10-23 2019-01-08 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及移动终端
CN111385494A (zh) * 2018-12-26 2020-07-07 夏普株式会社 固体摄像元件
CN111565265A (zh) * 2019-02-14 2020-08-21 上海银镐环境科技有限公司 一种频率差值摄像器件
CN110290320A (zh) * 2019-06-27 2019-09-27 Oppo广东移动通信有限公司 视频预览图生成方法和装置、电子设备、计算机可读存储介质
CN114365478A (zh) * 2019-10-03 2022-04-15 松下知识产权经营株式会社 摄像装置、摄像系统及摄像方法
CN114365478B (zh) * 2019-10-03 2024-03-29 松下知识产权经营株式会社 摄像装置、摄像系统及摄像方法

Also Published As

Publication number Publication date
US8749646B2 (en) 2014-06-10
CN101668125B (zh) 2012-08-08
US9325918B2 (en) 2016-04-26
JP4661922B2 (ja) 2011-03-30
US20100053346A1 (en) 2010-03-04
US20150097997A1 (en) 2015-04-09
JP2010062785A (ja) 2010-03-18

Similar Documents

Publication Publication Date Title
CN101668125B (zh) 成像装置、固态成像器件、图像处理装置、方法
CN101123684B (zh) 拍摄图像信号失真补偿方法和装置及图像拍摄方法和装置
CN101601279B (zh) 摄像装置以及摄像方法
CN101755448B (zh) 校正曝光期间的成像设备运动
EP3284061B1 (en) Systems and methods for performing high speed video capture and depth estimation using array cameras
CN101558637B (zh) 摄像装置以及摄像方法
US7839444B2 (en) Solid-state image-pickup device, method of driving solid-state image-pickup device and image-pickup apparatus
CN101662690B (zh) 图像处理设备、成像设备及图像处理方法
CN101605208B (zh) 图像处理设备、成像设备及图像处理方法
US7636393B2 (en) Image processing method, image recording method, image processing device and image file format
CN103563350B (zh) 图像处理装置、图像处理方法以及数码相机
JP5853166B2 (ja) 画像処理装置及び画像処理方法並びにデジタルカメラ
US8213744B2 (en) Image processing apparatus and storage medium storing image processing program
CN102761682B (zh) 图像处理设备及其控制方法
CN103109305A (zh) 图像处理装置、摄像装置、程序和图像处理方法
US8861846B2 (en) Image processing apparatus, image processing method, and program for performing superimposition on raw image or full color image
CN103491310B (zh) 图像捕获装置及其控制方法
US20140270518A1 (en) Image processing device, image processing method and storage medium storing image processing program
US20130083221A1 (en) Image processing method and apparatus
JP4359650B2 (ja) 画像データ生成装置、画像データ生成方法、および画像データ生成プログラム
CN101282486A (zh) 图像处理设备
CN107079092A (zh) 摄像装置、摄像方法、处理程序
CN101330572B (zh) 控制数字图像处理装置的方法和数字图像处理装置
JP3143245B2 (ja) 撮像装置およびその測光方法およびその合焦制御方法ならびに撮像方法
JP2001069516A (ja) カラー撮像装置およびそれを用いたデジタルスチルカメラ

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120808

Termination date: 20150903

EXPY Termination of patent right or utility model