CN102209201A - 摄像装置、摄像系统、摄像方法 - Google Patents

摄像装置、摄像系统、摄像方法 Download PDF

Info

Publication number
CN102209201A
CN102209201A CN2011100436483A CN201110043648A CN102209201A CN 102209201 A CN102209201 A CN 102209201A CN 2011100436483 A CN2011100436483 A CN 2011100436483A CN 201110043648 A CN201110043648 A CN 201110043648A CN 102209201 A CN102209201 A CN 102209201A
Authority
CN
China
Prior art keywords
time
exposure
mentioned
pixel
time interval
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011100436483A
Other languages
English (en)
Other versions
CN102209201B (zh
Inventor
羽田和宽
池田诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Imaging Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Imaging Corp filed Critical Olympus Imaging Corp
Publication of CN102209201A publication Critical patent/CN102209201A/zh
Application granted granted Critical
Publication of CN102209201B publication Critical patent/CN102209201B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/587Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures

Abstract

本发明提供如下的摄像装置、摄像系统、摄像方法:能够进行能够合成自然移动的宽动态范围的图像数据的摄像,而不会增大图像处理的负荷。摄像装置进行交替反复进行长时间曝光LE和短时间曝光SE的摄像,在将第1时间间隔与第2时间间隔相等地设为时间间隔e的第1驱动模式下驱动摄像元件,该第1时间间隔是SE中的像素的曝光结束时刻与紧接其后的LE中的像素的曝光开始时刻之间的时间间隔,该第2时间间隔是LE中的像素的曝光结束时刻与紧接其后的SE中的像素的曝光开始时刻之间的时间间隔。

Description

摄像装置、摄像系统、摄像方法
技术领域
本发明涉及进行如下摄像的摄像装置、摄像系统、摄像方法:能够通过交替反复进行长时间曝光和短时间曝光,合成宽动态范围的图像数据。
背景技术
近年来,提出并在市面上销售有如下的数字照相机:进行短时间曝光(SE:Short Exposure)和长时间曝光(LE:Long Exposure),取得曝光时间不同的2张图像,对所得到的2张图像进行合成,由此,得到宽动态范围的静止图像。
近年来,还提出了各种用于针对动态图像得到这种宽动态范围图像的方案。
例如,在日本特开2003-46857号公报中记载了如下技术:根据使摄像时间长短变化的图像列,对宽动态范围图像进行合成。
参照图7和图8对这种现有的用于取得宽动态范围动态图像的摄像流程进行说明。这里,图7是示出正在移动的被摄体的一例的图,图8是示出对宽动态范围动态图像进行摄像时的各信号的状况的时序图。
输出成为摄像定时的基准的垂直同步信号VD,作为固定的每个垂直同步期间x的脉冲。
关于SE图像和LE图像中的任一方,在从输出垂直同步信号VD后经过了预先设定的固定时间y后,输出用于规定从摄像元件读出图像数据的定时的读出开始脉冲。输出该读出开始脉冲后,从摄像元件的例如第1行起按顺序依次开始输出图像数据。然后,在输出读出开始脉冲后经过了时间d后,输出最后的行的图像数据,读出结束。
这样,根据垂直同步信号VD预先确定图像读出的定时,所以,将从读出定时起追溯了曝光时间的时点作为电子快门es的移动定时,由此进行曝光时间的控制。即,在从读出开始脉冲追溯SE时间b(其中b<x)的时点产生电子快门开始脉冲,由此进行SE。同样,在从读出开始脉冲追溯LE时间c(其中b<c<x)的时点产生电子快门开始脉冲,由此进行LE。
在这种定时进行曝光时,关于任意行,从SE期间结束到LE期间开始之间的曝光间隔时间为x-c,从LE期间结束到SE期间开始之间的曝光间隔时间为x-b,两者不一致。
因此,例如在图7所示的如下情况下:在静止的背景下对从画面左侧朝向右侧以固定速度移动的被摄体进行摄像,对时间上邻接的SE图像和LE图像进行合成,由此得到与垂直同步信号VD的周期对应的帧速率的合成图像,在该情况下,采用处理负荷小的单纯相加等作为合成处理时,如图8所示,合成图像中的被摄体的移动量根据每一帧而不同,观察到不圆滑且不自然的移动。
另一方面,在进行预测运算等来合成图像以便接近更自然的移动的情况下,不仅图像处理本身变得复杂,而且,需要使用于对时间上靠前的SE图像和时间上靠后的LE图像进行合成的图像处理算法、与用于对时间上靠前的LE图像和时间上靠后的SE图像进行合成的图像处理算法不同,图像处理更加复杂,处理负荷变大。
发明内容
本发明的目的在于,提供如下的摄像装置、摄像系统、摄像方法:能够进行能够合成自然移动的宽动态范围的图像数据的摄像,而不会增大图像处理的负荷。
简单地讲,本发明的第1方式的摄像装置进行如下的摄像:能够通过交替地反复进行长时间曝光和短时间曝光,合成扩展了动态范围的图像数据,其中,该摄像装置具有:摄像元件,其排列有多个像素;以及定时控制部,其在使第1时间间隔和第2时间间隔相等地设为时间间隔e的第1驱动模式下,驱动上述摄像元件,其中,该第1时间间隔是短时间曝光中的像素的曝光结束时刻与紧接其后的长时间曝光中的该像素的曝光开始时刻之间的时间间隔,该第2时间间隔是该长时间曝光中的该像素的曝光结束时刻与紧接其后的短时间曝光中的该像素的曝光开始时刻之间的时间间隔。
并且,本发明的第2方式的摄像系统具有:上述摄像装置;以及合成处理部,其对该摄像装置通过相前后的定时的长时间曝光和短时间曝光而得到的2个图像数据进行处理,合成扩展了动态范围的图像数据。
进而,本发明的第3方式的摄像方法进行如下的摄像:能够通过交替地反复进行长时间曝光和短时间曝光,合成扩展了动态范围的图像数据,其中,该摄像方法具有以下步骤:通过排列有多个像素的摄像元件进行长时间曝光的步骤;以及通过上述摄像元件进行短时间曝光的步骤,定时控制部驱动所述摄像元件,由此,在使第1时间间隔和第2时间间隔相等地设为时间间隔e的第1驱动模式下,交替地反复进行所述进行长时间曝光的步骤和所述进行短时间曝光的步骤,其中,该第1时间间隔是短时间曝光中的像素的曝光结束时刻与紧接其后的长时间曝光中的该像素的曝光开始时刻之间的时间间隔,该第2时间间隔是该长时间曝光中的该像素的曝光结束时刻与紧接其后的短时间曝光中的该像素的曝光开始时刻之间的时间间隔。
通过参照所附附图的后述说明,能够更加明确地理解本发明的上述和除此之外的目的、特征、优点。
附图说明
图1是示出本发明的实施方式1中摄像装置的结构的一例的框图。
图2是示出上述实施方式1中对摄像装置和外部合成处理部进行组合的摄像系统的结构例的框图。
图3是示出上述实施方式1中在第1驱动模式下对宽动态范围动态图像进行摄像时的各信号的状况的时序图。
图4是示出上述实施方式1中动态范围扩展摄像模式中的摄像装置的处理的流程图。
图5是示出本发明的实施方式2中在第1驱动模式下对宽动态范围动态图像进行摄像时的各信号的状况的时序图。
图6是示出上述实施方式2中动态范围扩展摄像模式中的摄像装置的处理的流程图。
图7是示出正在移动的被摄体的一例的图。
图8是示出以往和本发明的各实施方式中的第2驱动模式下的对宽动态范围动态图像进行摄像时的各信号的状况的时序图。
具体实施方式
下面,参照附图对本发明的实施方式进行说明。
[实施方式1]
图1~图4示出本发明的实施方式1,图1是示出摄像装置的结构的一例的框图。
图1所示的摄像装置具有:镜头1、摄像元件2、同步信号生成部3、驱动部4、合成处理部5、图像处理部6、记录部7、显示部8、指示部9、以及系统控制部10。另外,在本实施方式中,对摄像装置构成为数字照相机的情况进行了说明,但是,当然不限于此,能够广泛应用于数字摄像机或带摄影功能的便携电话等、具有动画显示或动画摄影功能的各种设备。
镜头1是用于使光学被摄体像在摄像元件2的摄像面上成像的摄影光学系统,构成为包括光圈或聚焦透镜等。
摄像元件2具有排列有多个像素的摄像面,对由镜头1成像的光学被摄体像进行光电转换,生成电图像信号。这里,摄像元件2能够以像素单位或行单位依次进行像素复位。作为该摄像元件2的具体例,能够列举CMOS摄像元件等的XY地址型摄像元件,但是不限于此。
同步信号生成部3在系统控制部10的控制下,生成垂直同步信号VD(参照图3)。
驱动部4在系统控制部10的控制下,根据由同步信号生成部3生成的垂直同步信号VD,产生读出开始脉冲或电子快门开始脉冲,驱动摄像元件2。
图像处理部6对由摄像元件2摄像并读出的图像信号实施各种图像处理,构成为包括合成处理部5。这里,合成处理部5针对各帧进行如下处理:对通过交替反复进行的短时间曝光(SE:Short Exposure)和长时间曝光(LE:Long Exposure)内的相前后的定时的SE和LE得到的2个图像数据进行处理,合成1帧的宽动态范围的图像数据。
记录部7以非易失的方式记录所拍摄并由图像处理部6进行了处理以便用于记录的图像数据,例如构成为存储卡等的能够搬出到摄像装置外部的移动存储器。因此,记录部7可以不是摄像装置固有的结构。
显示部8是显示所拍摄并由图像处理部6进行了处理以便用于显示的图像或与该摄像装置的操作有关的菜单等的显示器件。
指示部9是用于针对该摄像装置进行操作输入的用户接口,包括用于指示电源的接通/断开的电源按钮、用于指示摄影开始的摄影按钮、用于设定为动态范围扩展摄像模式的摄像模式设定按钮、以及其他各种设定按钮等。
系统控制部10根据从指示部9输入的来自用户的指示、从图像处理部6得到的与已摄像的被摄体有关的信息(例如AF信息、AE信息、与被摄体的动态范围有关的信息等)等,进行该摄像装置整体的控制。例如,系统控制部10根据AE信息或与被摄体的动态范围有关的信息,决定SE时间b和LE时间c(参照图3等),对同步信号生成部3、驱动部4、合成处理部5进行控制,从而生成宽动态范围的图像数据。并且,系统控制部10在进行实时取景(LV)显示的过程中从指示部9输入静止图像的摄影指示时,高速取得AF信息或AE信息等,所以,能够进行同步信号生成部3或驱动部4的控制以提高摄像帧速率。因此,系统控制部10、同步信号生成部3和驱动部4构成定时控制部。
并且,图2是示出对摄像装置和外部合成处理部进行组合的摄像系统的结构例的框图。
在该图2所示的结构中,代替将合成处理部设置在摄像装置内的情况,而将合成处理部设置在摄像装置的外部。
即,在图2的结构例中,图像处理部6不具有合成处理部5,而在摄像装置的外部设有外部合成处理部15。作为该外部合成处理部15的例子,能够列举执行合成处理程序的计算机等。
而且,通过交替反复进行LE和SE而得到的图像数据经由未图示的通信线路或记录部7等传递到外部合成处理部15,在外部合成处理部15中,针对各帧进行如下处理:对通过相前后的定时的SE和LE得到的2个图像数据进行处理,合成1帧的宽动态范围的图像数据。
接着,图3是示出在第1驱动模式下对宽动态范围动态图像进行摄像时的各信号的状况的时序图。
系统控制部10根据进行通常的LV显示时、或者为高速取得AF信息或AE信息等而得到摄像数据时等的状况,设定在单位时间内产生垂直同步信号VD的数量即摄像帧速率。该摄像帧速率也成为图像处理部6生成的动态图像的帧速率。此时,设所设定的摄像帧速率中的2帧量的时间、即SE和LE各进行一次的时间、即由连续的3个垂直同步信号VD确定的连续的2个垂直同步期间的合计期间(在本实施方式中是对垂直同步信号VD的2个不同的周期进行相加后的期间)为a。
并且,系统控制部10根据AE信息或与被摄体的动态范围有关的信息,在b+c<a的限制下,设定SE时间b和LE时间c。
而且,系统控制部10将从产生垂直同步信号VD到SE中的开始读出像素的信号(产生读出开始脉冲)为止的时间和从产生垂直同步信号VD到LE中的开始读出像素的信号(产生读出开始脉冲)为止的时间这双方,设定为作为能够以时钟单位计测的正值而预先设定的固定时间y。
在该限制下,系统控制部10根据以下的数式1
[数式1]
e=(a-b-c)/2
求出使第1时间间隔和第2时间间隔相等的时间间隔e,该第1时间间隔是SE中的像素的曝光结束时刻与紧接其后的LE中的像素的曝光开始时刻之间的时间间隔,该第2时间间隔是LE中的像素的曝光结束时刻与紧接其后的SE中的像素的曝光开始时刻之间的时间间隔。另外,如上所述,为了满足b+c<a的限制,保证该时间间隔e为正值(实际上设定为能够以时钟单位计测的正值)。
而且,如以下的数式2所示,
[数式2]
x1=e+c=(a-b+c)/2
设定与LE有关的垂直同步期间x1,并且,如以下的数式3所示,
[数式3]
x2=a-x1=(a+b-c)/2
设定与SE有关的垂直同步期间x2。
而且,如图3所示,系统控制部10对同步信号生成部3进行控制,由此,以垂直同步期间交替成为x1、x2的方式产生垂直同步信号VD,并且,对驱动部4进行控制,由此,在产生垂直同步信号VD后经过了固定时间y时,产生读出开始脉冲。
例如,如图3所示,在产生表示垂直同步期间x1的开始定时的垂直同步信号VD后经过了固定时间y时,由驱动部4产生读出开始脉冲,开始读出SE图像数据,例如以行单位依次进行(即,例如以行单位依次结束SE)。另外,从针对最初行结束SE的时点追溯SE时间b的时点成为针对该最初行开始SE的时点(进而,关于任意行,从读出SE图像数据的时点追溯曝光时间b的时点成为进行图3中点划线所示的基于像素复位的电子快门es的时点)。并且,从开始读出图像数据到结束为止的时间根据摄像元件2的读出速度或要读出的行数等而不同,但是,这里图示为d。
接着,关于SE图像数据的读出结束的行,能够开始进行LE图像的电荷蓄积。因此,系统控制部10对驱动部4进行控制,由此,在从产生与SE有关的读出开始脉冲的时点起经过了上述时间间隔e的时点,产生电子快门开始脉冲。将电子快门的移动特性预先设定为与图像数据读出的移动特性一致,由此,关于任意行,在SE图像数据的读出结束后经过了上述时间间隔e的时点,进行用于开始LE图像的电荷蓄积的基于像素复位的电子快门es。
然后,在产生表示垂直同步期间x2的开始定时的垂直同步信号VD后经过了固定时间y时,由驱动部4产生读出开始脉冲,例如以行单位依次读出LE图像数据。而且,在这种定时进行LE的开始和结束时,LE时间为上述c。
接着,关于LE图像数据的读出结束的行,能够开始进行SE图像的电荷蓄积。因此,系统控制部10对驱动部4进行控制,由此,在从产生与LE有关的读出开始脉冲的时点起经过了上述时间间隔e的时点,产生电子快门开始脉冲。由此,关于任意行,在LE图像数据的读出结束后经过了上述时间间隔e的时点,进行用于开始SE图像的电荷蓄积的基于像素复位的电子快门es。
而且,在产生表示垂直同步期间x1的开始定时的垂直同步信号VD后经过了固定时间y时,由驱动部4产生读出开始脉冲,例如以行单位依次读出SE图像数据。而且,在这种定时进行SE的开始和结束时,SE时间为上述b。
然后,同样地,以垂直同步期间交替成为x1、x2的方式产生垂直同步信号VD,并通过如下的定时控制来驱动摄像元件2:在产生垂直同步信号VD后经过了固定时间y时,产生读出开始脉冲,在产生读出开始脉冲后经过了时间间隔e的时点,产生电子快门开始脉冲。
接着,除了图3所示的第1驱动模式以外,本实施方式的摄像装置还能够在图8所示的与以往相同的第2驱动模式下驱动摄像元件2,该第2驱动模式满足使与SE有关的垂直同步信号VD的周期和与LE有关的垂直同步信号VD的周期中的任一方为固定周期(垂直同步期间x)的限制、以及使从产生垂直同步信号VD到SE中的开始读出像素的信号为止的时间和从产生垂直同步信号VD到LE中的开始读出像素的信号为止的时间的双方为预先设定的固定时间y的限制这两个限制。
因此,参照图4说明区分使用2种驱动模式并对宽动态范围动态图像进行摄像时的处理流程。这里,图4是示出动态范围扩展摄像模式中的摄像装置的处理的流程图。
在设定了动态范围扩展摄像模式的状态下通过电源按钮接通电源或断开电源时,操作摄像模式设定按钮设定了动态范围扩展摄像模式时,开始该动态范围扩展摄像模式的处理。
于是,首先,如上所述,系统控制部10设定摄像帧速率(与该摄像帧速率对应的垂直同步期间为图3所示的平均垂直同步期间a/2或图8所示的垂直同步期间x)(步骤S1)。
接着,系统控制部10根据AE信息或与被摄体的动态范围有关的信息,设定SE时间b和LE时间c(步骤S2)。
接着,系统控制部10判定在步骤S1中设定的摄像帧速率是否为预先设定的规定速率以上(步骤S3)。这里,申请人进行了实验,可知,例如在摄像帧速率为120fps以上的情况下,即使在图8所示的第2驱动模式下驱动摄像元件2时,即,即使SE的曝光结束时刻和紧接其后的LE的曝光开始时刻之间的第1时间间隔与LE的曝光结束时刻和紧接其后的SE的曝光开始时刻之间的第2时间间隔不等时,所合成的宽动态范围动态图像的不自然也不明显。因此,该规定速率是对在第2驱动模式下驱动摄像元件2时所合成的宽动态范围动态图像的不自然明显或不明显进行划分的阈值,一例的值如上所述为120fps。
这里,在摄像帧速率小于规定速率的情况下,进而,系统控制部10判定在步骤S2中设定的LE时间c是否为预先设定的规定时间以上(步骤S4)。
以SE时间b和LE时间c之比为1∶4的情况为例说明进行该判定的理由。例如在c=0.9x、b=0.225x的情况下,在图8所示的第2驱动模式下驱动摄像元件2时,第1时间间隔为x-c=0.1x,第2时间间隔为x-b=0.775x,之比为1∶7.75,第1时间间隔和第2时间间隔大大不同。
与此相对,在LE时间c较小时,例如在c=0.2x、b=0.05x的情况下,第1时间间隔为x-c=0.8x,第2时间间隔为x-b=0.995x,之比为1∶1.24,第1时间间隔和第2时间间隔差异不大,认为所合成的宽动态范围动态图像的不自然也不明显。
因此,设判定用的规定时间为对在第2驱动模式下驱动摄像元件2时所合成的宽动态范围动态图像的不自然明显或不明显进行划分的阈值。该规定时间能够表现为针对垂直同步期间x(取小于1的值)之比。因此,代替判定LE时间c是否为规定时间以上的情况,也可以判定LE时间c是否为垂直同步期间x的规定比例以上。
在上述步骤S3中摄像帧速率为规定速率以上的情况下,或者在上述步骤S4中LE时间小于规定时间的情况下,系统控制部10进行控制,以便通过第2驱动模式驱动摄像元件2,进行图8所示的SE和LE的曝光间隔为非等间隔的固定VD周期的反复摄像(步骤S5)。
另一方面,在上述步骤S3中摄像帧速率小于规定速率、且在上述步骤S4中LE时间为规定时间以上的情况下,系统控制部10根据在步骤S1中设定的摄像帧速率(进而为连续的2个垂直同步期间的合计期间a)和在步骤S2中设定的SE时间b和LE时间c,如上述数式1所示计算SE和LE的时间间隔e(步骤S6)。另外,这里说明了系统控制部10根据数式1进行计算的例子,但是不限于进行计算,例如也可以通过参照表来求出等。
进而,系统控制部10分别如上述数式2、3所示,计算与LE有关的垂直同步期间x1和与SE有关的垂直同步期间x2(步骤S7)。
然后,系统控制部10进行控制,以便通过第1驱动模式驱动摄像元件2,进行图3所示的SE和LE的曝光间隔为等间隔的不同VD周期的反复摄像(步骤S8)。
进行步骤S5或步骤S8的处理而反复输出SE图像和LE图像后,在图1的结构的情况下,合成处理部5进行如下处理:对通过相前后的定时的SE和LE得到的2个图像数据进行处理,合成宽动态范围的图像数据。并且,图像处理部6还进行其他处理(步骤S9)。
然后,将所合成的宽动态范围的图像数据显示在显示部8上或记录在记录部7中(步骤S10),在针对全部帧的图像数据进行了处理后,结束该处理。
另外,在图2的结构的情况下,至少省略步骤S9中的合成宽动态范围的图像数据的处理,在步骤S10的处理中,将LE图像数据和SE图像数据分别记录在记录部7中。然后,使外部合成处理部15读取在该记录部7中记录的数据,通过外部合成处理部15进行在步骤S9中省略的处理、即合成宽动态范围的图像数据的处理等。
根据这种实施方式1,短时间曝光的曝光时间的中央时点(图3中标注标号SE的菱形区域的重心位置的时间轴位置)和长时间曝光的曝光时间的中央时点(图3中标注标号LE的菱形区域的重心位置的时间轴位置)在时间轴方向上均等分散,所以,能够进行能够合成自然移动的宽动态范围的图像数据的摄像,而不会增大图像处理的负荷。
并且,能够以垂直同步信号VD为基准生成摄像元件2的驱动信号、即读出开始脉冲和电子快门开始脉冲,所以,能够简化驱动部4中的脉冲生成的电路结构,或能够简化驱动部4的控制。并且,存在如下优点:关于LE图像和SE图像的任一方,在从产生垂直同步信号VD起经过了固定时间的时点开始读出图像数据,所以,图像处理部6的定时控制也很简单。
进而,在摄像帧速率为规定帧速率(例如120fps)以上时,或者长时间曝光的曝光时间小于规定时间时(小于垂直同步期间的规定比例时),在第2驱动模式下驱动摄像元件,所以,还能够使垂直同步信号VD为固定周期,使所合成的宽动态范围动态图像的不自然不明显,能够使同步信号生成部3的控制更加简单。
[实施方式2]
图5和图6示出本发明的实施方式2,图5是示出在第1驱动模式下对宽动态范围动态图像进行摄像时的各信号的状况的时序图,图6是示出动态范围扩展摄像模式中的摄像装置的处理的流程图。在该实施方式2中,对与上述实施方式1相同的部分标注相同的标号并省略说明,主要仅说明不同之处。
上述实施方式1使从产生垂直同步信号VD到产生读出开始脉冲为止的时间固定,通过改变垂直同步信号VD的产生定时,由此,将SE结束时刻和LE开始时刻的第1时间间隔与LE结束时刻和SE开始时刻的第2时间间隔相等地设为时间间隔e。与此相对,在该实施方式2中,在使垂直同步信号VD的周期为固定周期的状态下,对从产生垂直同步信号VD到SE中的开始读出像素的信号为止的时间和从产生垂直同步信号VD到LE中的开始读出像素的信号为止的时间进行控制,由此,将第1时间间隔与第2时间间隔相等地设为时间间隔e。
首先,本实施方式的摄像装置或摄像系统的结构与上述实施方式1的图1或图2所示的结构相同。
接着,系统控制部10将与LE有关的垂直同步期间和与SE有关的垂直同步期间均设定为相同的x(因此,连续的2个垂直同步期间的合计期间a为2x),并且,与上述实施方式1同样设定SE时间b和LE时间c。
在使该垂直同步信号VD的周期为固定周期的限制下,系统控制部10根据上述数式1,求出使SE中的像素的曝光结束时刻和紧接其后的LE中的像素的曝光开始时刻的第1时间间隔与LE中的像素的曝光结束时刻和紧接其后的SE中的像素的曝光开始时刻的第2时间间隔相等的时间间隔e。
并且,系统控制部10将从产生垂直同步信号VD到SE中的开始读出像素的信号为止的时间设定为预先设定的规定时间y1,并且,如以下的数式4所示,
[数式4]
y3=y1+e+c-x
设定从产生垂直同步信号VD到LE中的开始读出像素的信号为止的时间y3。
其中,关于y1和y3的设定,需要将SE图像的读出结束后到产生下一垂直同步信号VD为止的时间y2、以及LE图像的读出结束后到产生下一垂直同步信号VD为止的时间y4均设定为正值(更加优选为某个正的最小值以上的值)。
而且,如图5所示,系统控制部10对同步信号生成部3进行控制,由此,以使垂直同步期间为固定的x的方式产生垂直同步信号VD,并且,对驱动部4进行控制,由此,交替进行如下处理:在产生与SE有关的垂直同步信号VD后经过了规定时间y1时,产生读出开始脉冲,在产生与LE有关的垂直同步信号VD后经过了时间y3时,产生读出开始脉冲。并且,关于SE和LE的任一方,系统控制部10对驱动部4进行控制,由此,在产生读出开始脉冲后经过了时间间隔e的时点产生电子快门开始脉冲,这点与上述实施方式1相同。
另外,在上述中,在预先设定y1作为固定时间后求出y3,但是,与此相反,在预先设定y3作为固定时间后求出y1也不是不可能的。但是,参照图5可知,例如将y3设定为较小的值时,容易产生使y1成为负值而需要再次调整各值的情况等,所以,如上所述,首先优选使y1为预先设定的较小值的固定时间,各值的设定容易。
接着,本实施方式的摄像装置也能够在图5所示的第1驱动模式和图8所示的与以往相同的第2驱动模式这两个模式下驱动摄像元件2。图6是示出动态范围扩展摄像模式中的摄像装置的处理的流程图。
在该图6中,步骤S1~S6的处理与图4所示的处理相同。
然后,系统控制部10设定表示与SE有关的读出定时的规定时间y1,并且,通过上述数式4计算表示与LE有关的读出定时的时间y3。此时,与LE有关的电子快门es的移动开始为垂直同步信号VD产生后的经过时间y1+e的定时,与SE有关的电子快门es的移动开始为经过时间y3+e的定时(步骤S21)。
然后,系统控制部10进行控制,以便通过第1驱动模式驱动摄像元件2,进行图5所示的SE和LE的曝光间隔为等间隔的固定VD周期的反复摄像(步骤S22)。
进行了步骤S5或步骤S22的处理后的步骤S9和步骤S10的处理与图4所示的处理相同。
根据这种实施方式2,发挥与上述实施方式1大致相同的效果,并且,不需要使垂直同步信号VD的周期不同,能够成为固定周期,所以,能够简化同步信号生成部3中的脉冲生成的电路结构,并简化同步信号生成部3的控制。
并且,在摄像帧速率为规定帧速率(例如120fps)以上时,或者长时间曝光的曝光时间小于规定时间时(小于垂直同步期间的规定比例时),在第2驱动模式下驱动摄像元件,所以,还能够以垂直同步信号VD为基准生成读出开始脉冲,使所合成的宽动态范围动态图像的不自然不明显,能够使驱动部4的控制更加简单。
另外,在上述中,主要说明了摄像装置和摄像系统,但是,当然也可以是实现同样功能的摄像方法、摄像程序、记录摄像程序的记录介质等。

Claims (10)

1.一种摄像装置,其进行如下摄像:能够通过交替地反复进行长时间曝光和短时间曝光,来合成扩展了动态范围的图像数据,
该摄像装置的特征在于,该摄像装置具有:
摄像元件,其排列有多个像素;以及
定时控制部,其在使第1时间间隔和第2时间间隔相等地设为时间间隔e的第1驱动模式下,驱动上述摄像元件,其中,该第1时间间隔是短时间曝光中的像素的曝光结束时刻与紧接其后的长时间曝光中的该像素的曝光开始时刻之间的时间间隔,该第2时间间隔是该长时间曝光中的该像素的曝光结束时刻与紧接其后的短时间曝光中的该像素的曝光开始时刻之间的时间间隔。
2.根据权利要求1所述的摄像装置,其特征在于,
上述定时控制部在由连续的3个垂直同步信号确定的连续的2个垂直同步期间内,驱动上述摄像元件,使得上述短时间曝光和上述长时间曝光各进行一次,
在将连续的2个垂直同步期间的合计期间设为a,将短时间曝光的曝光时间设为b,将长时间曝光的曝光时间设为c时,上述时间间隔e由e=(a-b-c)/2表现。
3.根据权利要求2所述的摄像装置,其特征在于,
上述定时控制部还在使从产生垂直同步信号到上述短时间曝光中的开始读出像素的信号为止的时间和从产生垂直同步信号到上述长时间曝光中的开始读出该像素的信号为止的时间这双方为预先设定的固定时间的限制下,以使上述第1时间间隔与上述第2时间间隔相等地成为上述时间间隔e的方式,对垂直同步信号的周期进行控制。
4.根据权利要求2所述的摄像装置,其特征在于,
上述定时控制部还在使上述垂直同步信号的周期为固定周期的限制下,以使上述第1时间间隔与上述第2时间间隔相等地成为上述时间间隔e的方式,对从产生垂直同步信号到上述短时间曝光中的开始读出像素的信号为止的时间和从产生垂直同步信号到上述长时间曝光中的开始读出像素的信号为止的时间进行控制。
5.根据权利要求1所述的摄像装置,其特征在于,
除了上述第1驱动模式以外,上述定时控制部还能够在第2驱动模式下驱动上述摄像元件,该第2驱动模式满足使垂直同步信号的周期为固定周期的限制、以及使从产生垂直同步信号到上述短时间曝光中的开始读出像素的信号为止的时间和从产生垂直同步信号到上述长时间曝光中的开始读出该像素的信号为止的时间的双方为预先设定的固定时间的限制这两个限制,在作为单位时间内产生上述垂直同步信号的数量的摄像帧速率小于规定帧速率时,在上述第1驱动模式下驱动上述摄像元件,在该摄像帧速率为该规定帧速率以上时,在上述第2驱动模式下驱动上述摄像元件。
6.根据权利要求5所述的摄像装置,其特征在于,
上述规定帧速率为120fps。
7.根据权利要求1所述的摄像装置,其特征在于,
除了上述第1驱动模式以外,上述定时控制部还能够在第2驱动模式下驱动上述摄像元件,该第2驱动模式满足使垂直同步信号的周期为固定周期的限制、以及使从产生垂直同步信号到上述短时间曝光中的开始读出像素的信号为止的时间和从产生垂直同步信号到上述长时间曝光中的开始读出该像素的信号为止的时间的双方为预先设定的固定时间的限制这两个限制,在上述长时间曝光的曝光时间为垂直同步期间的规定比例以上时,在上述第1驱动模式下驱动上述摄像元件,在该长时间曝光的曝光时间小于该垂直同步期间的规定比例时,在上述第2驱动模式下驱动上述摄像元件。
8.根据权利要求1~7中的任一项所述的摄像装置,其特征在于,
该摄像装置还具有合成处理部,该合成处理部对通过相前后的定时的长时间曝光和短时间曝光而得到的2个图像数据进行处理,来合成扩展了动态范围的图像数据。
9.一种摄像系统,其特征在于,该摄像系统具有:
权利要求1~7中的任一项所述的摄像装置;以及
合成处理部,其对上述摄像装置通过相前后的定时的长时间曝光和短时间曝光而得到的2个图像数据进行处理,来合成扩展了动态范围的图像数据。
10.一种摄像方法,进行如下摄像:能够通过交替地反复进行长时间曝光和短时间曝光,来合成扩展了动态范围的图像数据,该摄像方法的特征在于,该摄像方法具有以下步骤:
通过排列有多个像素的摄像元件进行长时间曝光的步骤;以及
通过上述摄像元件进行短时间曝光的步骤,
定时控制部驱动所述摄像元件,由此,在使第1时间间隔与第2时间间隔相等地设为时间间隔e的第1驱动模式下,交替地反复进行所述进行长时间曝光的步骤和所述进行短时间曝光的步骤,其中,该第1时间间隔是短时间曝光中的像素的曝光结束时刻与紧接其后的长时间曝光中的该像素的曝光开始时刻之间的时间间隔,该第2时间间隔是该长时间曝光中的该像素的曝光结束时刻与紧接其后的短时间曝光中的该像素的曝光开始时刻之间的时间间隔。
CN201110043648.3A 2010-03-30 2011-02-22 摄像装置、摄像系统、摄像方法 Expired - Fee Related CN102209201B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010079077A JP5432799B2 (ja) 2010-03-30 2010-03-30 撮像装置、撮像システム、撮像方法
JP2010-079077 2010-03-30

Publications (2)

Publication Number Publication Date
CN102209201A true CN102209201A (zh) 2011-10-05
CN102209201B CN102209201B (zh) 2014-12-10

Family

ID=44697841

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110043648.3A Expired - Fee Related CN102209201B (zh) 2010-03-30 2011-02-22 摄像装置、摄像系统、摄像方法

Country Status (3)

Country Link
US (1) US8638374B2 (zh)
JP (1) JP5432799B2 (zh)
CN (1) CN102209201B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104704808A (zh) * 2012-10-09 2015-06-10 奥林巴斯株式会社 摄像显示系统、摄像装置、摄像方法和程序
CN106254786A (zh) * 2015-06-12 2016-12-21 豪威科技股份有限公司 检测发光二极管的方法及系统
CN109839790A (zh) * 2017-11-29 2019-06-04 奥林巴斯株式会社 摄像装置
CN110260586A (zh) * 2013-08-28 2019-09-20 东芝生活电器株式会社 摄像系统以及摄像装置
WO2022094784A1 (zh) * 2020-11-04 2022-05-12 深圳市大疆创新科技有限公司 图像处理方法、装置及可移动平台

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7616256B2 (en) * 2005-03-21 2009-11-10 Dolby Laboratories Licensing Corporation Multiple exposure methods and apparatus for electronic cameras
JP5701664B2 (ja) * 2011-04-07 2015-04-15 オリンパス株式会社 撮像装置
JP5821300B2 (ja) * 2011-06-07 2015-11-24 ソニー株式会社 撮像装置及び撮像方法
US8970719B2 (en) * 2011-06-23 2015-03-03 JVC Kenwood Corporation Image processing apparatus and image processing method
JP5936323B2 (ja) * 2011-09-26 2016-06-22 キヤノン株式会社 画像記録装置およびその制御方法
US9113097B2 (en) * 2013-02-06 2015-08-18 Canon Kabushiki Kaisha Image capturing apparatus that controls performing of short-term and long-term exposures and corresponding read operations, and control method thereof
JP6306845B2 (ja) 2013-09-12 2018-04-04 キヤノン株式会社 撮像装置及びその制御方法
US20170214903A1 (en) * 2014-03-13 2017-07-27 Sony Corporation Imaging apparatus, imaging system, and control method for imaging apparatus
JP2016044995A (ja) 2014-08-20 2016-04-04 セイコーエプソン株式会社 測色方法、測色装置および電子機器
JP6570918B2 (ja) * 2015-08-19 2019-09-04 オリンパス株式会社 撮像装置、撮像方法
US11244478B2 (en) * 2016-03-03 2022-02-08 Sony Corporation Medical image processing device, system, method, and program
JP2017220843A (ja) * 2016-06-09 2017-12-14 ソニー株式会社 撮像制御装置および方法、並びに車両
JP6604297B2 (ja) * 2016-10-03 2019-11-13 株式会社デンソー 撮影装置
JP6697684B2 (ja) * 2016-10-13 2020-05-27 パナソニックIpマネジメント株式会社 画像処理装置、画像処理方法、及び画像処理回路
US10834315B2 (en) * 2016-11-08 2020-11-10 Sony Corporation Image transfer apparatus and moving image generating system for transferring moving image data
CN110114803B (zh) * 2016-12-28 2023-06-27 松下电器(美国)知识产权公司 三维模型分发方法、三维模型接收方法、三维模型分发装置以及三维模型接收装置
JP6779408B2 (ja) * 2018-03-09 2020-11-04 富士フイルム株式会社 撮像装置、撮像方法、およびプログラム
CN113572972B (zh) * 2021-07-05 2022-04-12 深圳市阿达视高新技术有限公司 高动态范围图像合成方法、系统、图像处理设备和介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5828793A (en) * 1996-05-06 1998-10-27 Massachusetts Institute Of Technology Method and apparatus for producing digital images having extended dynamic ranges
JP2002185864A (ja) * 2000-12-12 2002-06-28 Sony Corp 固体撮像素子及びその駆動方法
CN1592361A (zh) * 2003-08-29 2005-03-09 三星电子株式会社 用于改进具有高照明差的照片质量的装置和方法
CN1799057A (zh) * 2003-04-29 2006-07-05 微软公司 用于生成高动态范围视频的系统和过程
JP2007060449A (ja) * 2005-08-26 2007-03-08 Sanyo Electric Co Ltd 撮像装置
CN101083724A (zh) * 2006-05-31 2007-12-05 Ess技术公司 具有提供增强动态范围图像的交错读取的cmos图像系统
CN101350890A (zh) * 2007-08-31 2009-01-21 豪威科技有限公司 在向下采样模式中具有高动态范围的图像传感器
CN101507262A (zh) * 2006-09-06 2009-08-12 松下电器产业株式会社 成像装置、成像方法和拍摄程序
CN101543056A (zh) * 2006-12-15 2009-09-23 诺基亚公司 使用多曝光模式的图像稳定化

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3074967B2 (ja) * 1992-10-27 2000-08-07 松下電器産業株式会社 高ダイナミックレンジ撮像・合成方法及び高ダイナミックレンジ撮像装置
JPH0795481A (ja) * 1993-09-20 1995-04-07 Sony Corp 撮像装置
US6248133B1 (en) * 1994-06-17 2001-06-19 Matsushita Electric Industrial Co., Ltd. Solid state imaging device and a method of driving the same
JP3332588B2 (ja) * 1994-07-26 2002-10-07 株式会社東芝 撮像装置
JPH08331461A (ja) * 1995-06-02 1996-12-13 Sony Corp 固体撮像装置の駆動方法
US6219097B1 (en) * 1996-05-08 2001-04-17 Olympus Optical Co., Ltd. Image pickup with expanded dynamic range where the first exposure is adjustable and second exposure is predetermined
DE69841609D1 (de) * 1997-10-17 2010-05-27 Panasonic Corp Eine Videkamera mit erweitertem Dynamikbereich
US6744471B1 (en) * 1997-12-05 2004-06-01 Olympus Optical Co., Ltd Electronic camera that synthesizes two images taken under different exposures
US6903770B1 (en) * 1998-07-27 2005-06-07 Sanyo Electric Co., Ltd. Digital camera which produces a single image based on two exposures
EP1237363B1 (en) * 1999-11-22 2006-01-18 Matsushita Electric Industrial Co., Ltd. Solid-state imaging device
JP4403635B2 (ja) * 2000-05-31 2010-01-27 パナソニック株式会社 ダイナミックレンジ拡大カメラ
JP2002027328A (ja) * 2000-07-07 2002-01-25 Matsushita Electric Ind Co Ltd 固体撮像素子の駆動方法および固体撮像装置
JP3740394B2 (ja) 2001-07-27 2006-02-01 日本電信電話株式会社 高ダイナミックレンジ映像の生成方法とその装置、及びこの方法の実行プログラムとこの実行プログラムの記録媒体
EP1469673B1 (en) * 2002-01-22 2018-09-12 Sony Corporation Imaging apparatus and imaging method
JP4738907B2 (ja) * 2004-11-19 2011-08-03 富士フイルム株式会社 固体撮像素子および固体撮像装置
JP4649313B2 (ja) * 2005-10-28 2011-03-09 株式会社東芝 固体撮像装置
JP3996618B1 (ja) * 2006-05-11 2007-10-24 総吉 廣津 半導体撮像素子
US8013919B2 (en) * 2006-06-27 2011-09-06 Samsung Electronics Co., Ltd. CMOS image sensor with increased dynamic range based on multiple exposure periods of varying lengths
US7940320B2 (en) * 2006-11-01 2011-05-10 Canon Kabushiki Kaisha Image sensing apparatus and control method therefor having a field based varying horizontal cycle
JP4766692B2 (ja) * 2006-12-20 2011-09-07 キヤノン株式会社 撮像装置及びその制御方法及びプログラム及び記憶媒体
JP4424402B2 (ja) * 2007-09-28 2010-03-03 ソニー株式会社 撮像装置、撮像制御方法、撮像制御プログラム
JP2009152669A (ja) * 2007-12-18 2009-07-09 Sony Corp 撮像装置、撮像処理方法及び撮像制御プログラム
KR100925191B1 (ko) * 2008-02-25 2009-11-06 엘지전자 주식회사 카메라의 백라이트 보정 장치 및 방법
JP5074297B2 (ja) * 2008-05-29 2012-11-14 シャープ株式会社 固体撮像装置およびその駆動方法、並びに電子情報機器
US20100220215A1 (en) * 2009-01-12 2010-09-02 Jorge Rubinstein Video acquisition and processing systems
JP5375142B2 (ja) * 2009-02-05 2013-12-25 ソニー株式会社 固体撮像装置、固体撮像装置の駆動方法、及び電子機器
KR101595265B1 (ko) * 2009-12-03 2016-02-26 삼성전자주식회사 촬상장치 및 이를 이용한 스미어 제거 방법

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5828793A (en) * 1996-05-06 1998-10-27 Massachusetts Institute Of Technology Method and apparatus for producing digital images having extended dynamic ranges
JP2002185864A (ja) * 2000-12-12 2002-06-28 Sony Corp 固体撮像素子及びその駆動方法
CN1799057A (zh) * 2003-04-29 2006-07-05 微软公司 用于生成高动态范围视频的系统和过程
CN1592361A (zh) * 2003-08-29 2005-03-09 三星电子株式会社 用于改进具有高照明差的照片质量的装置和方法
JP2007060449A (ja) * 2005-08-26 2007-03-08 Sanyo Electric Co Ltd 撮像装置
CN101083724A (zh) * 2006-05-31 2007-12-05 Ess技术公司 具有提供增强动态范围图像的交错读取的cmos图像系统
CN101507262A (zh) * 2006-09-06 2009-08-12 松下电器产业株式会社 成像装置、成像方法和拍摄程序
CN101543056A (zh) * 2006-12-15 2009-09-23 诺基亚公司 使用多曝光模式的图像稳定化
CN101350890A (zh) * 2007-08-31 2009-01-21 豪威科技有限公司 在向下采样模式中具有高动态范围的图像传感器

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104704808A (zh) * 2012-10-09 2015-06-10 奥林巴斯株式会社 摄像显示系统、摄像装置、摄像方法和程序
CN104704808B (zh) * 2012-10-09 2017-10-13 奥林巴斯株式会社 摄像显示系统、摄像装置、摄像方法和程序
CN110260586A (zh) * 2013-08-28 2019-09-20 东芝生活电器株式会社 摄像系统以及摄像装置
CN110260586B (zh) * 2013-08-28 2022-04-01 东芝生活电器株式会社 摄像系统以及摄像装置
CN106254786A (zh) * 2015-06-12 2016-12-21 豪威科技股份有限公司 检测发光二极管的方法及系统
CN109839790A (zh) * 2017-11-29 2019-06-04 奥林巴斯株式会社 摄像装置
CN109839790B (zh) * 2017-11-29 2021-07-02 奥林巴斯株式会社 摄像装置
WO2022094784A1 (zh) * 2020-11-04 2022-05-12 深圳市大疆创新科技有限公司 图像处理方法、装置及可移动平台

Also Published As

Publication number Publication date
JP2011211620A (ja) 2011-10-20
US8638374B2 (en) 2014-01-28
US20110242368A1 (en) 2011-10-06
JP5432799B2 (ja) 2014-03-05
CN102209201B (zh) 2014-12-10

Similar Documents

Publication Publication Date Title
CN102209201B (zh) 摄像装置、摄像系统、摄像方法
CN103428460A (zh) 针对影像撷取模组记录输出视讯序列的录影方法以及录影装置
CN103248813B (zh) 摄影设备及其操作控制方法
CN101873431B (zh) 摄像装置及摄像方法
US8767096B2 (en) Image processing method and apparatus
CN103002211B (zh) 摄影设备
CN103491310B (zh) 图像捕获装置及其控制方法
CN101867723A (zh) 图像处理装置、摄像装置及图像再生装置
CN103503432A (zh) 图像处理装置、图像处理方法和图像处理程序
US20130114938A1 (en) Image-capturing apparatus
CN103139475A (zh) 摄像装置
JP5125734B2 (ja) 撮像装置、画像選択方法及び画像選択プログラム
CN101651783A (zh) 再现运动图像的运动图像再现装置以及摄像装置
JP2012015830A (ja) カメラ
JP2011135185A (ja) 撮像装置
JP2009213114A (ja) 撮像装置及びプログラム
JP2013074572A (ja) 画像処理装置、画像処理方法及びプログラム
JP4953770B2 (ja) 撮像装置
TWI420899B (zh) 影像處理裝置和方法及記錄媒體
CN103002223A (zh) 摄影设备
JP2020184669A (ja) 画像処理装置、撮像装置、画像処理方法、プログラム
CN105407290A (zh) 摄像装置和摄像方法
JP7377048B2 (ja) 画像処理装置及び方法、及び撮像装置
CN101197950B (zh) 摄像装置及摄像方法
JP2014049798A (ja) デジタルカメラ

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20151127

Address after: Tokyo, Japan

Patentee after: OLYMPUS Corp.

Address before: Tokyo, Japan

Patentee before: Olympus Imaging Corp.

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20141210