CN110024378A - 摄像装置以及摄像机 - Google Patents

摄像装置以及摄像机 Download PDF

Info

Publication number
CN110024378A
CN110024378A CN201880004558.3A CN201880004558A CN110024378A CN 110024378 A CN110024378 A CN 110024378A CN 201880004558 A CN201880004558 A CN 201880004558A CN 110024378 A CN110024378 A CN 110024378A
Authority
CN
China
Prior art keywords
signal
picture signal
described image
during
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880004558.3A
Other languages
English (en)
Other versions
CN110024378B (zh
Inventor
浜崎岳史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN110024378A publication Critical patent/CN110024378A/zh
Application granted granted Critical
Publication of CN110024378B publication Critical patent/CN110024378B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

摄像装置(1)具备：能无损地输出图像信号的摄像元件(10)；对由摄像元件(10)生成的图像信号进行给定的处理并生成图像数据的图像处理部(160)；和控制图像处理部(160)的控制器(20)，图像处理部(160)通过控制器(20)的控制在一次曝光期间(L)内从摄像元件(10)多次读出图像信号，基于根据一次曝光期间(L)中的最后的读出图像信号的信号电平算出的目标电平、和将多次读出的各个图像信号相加而得到的加法运算信号来算出成为目标的目标增益值，对加法运算信号乘以目标增益值来生成图像数据。

Description

摄像装置以及摄像机
技术领域
涉及对图像进行摄像的摄像装置以及摄像机。
背景技术
过去，已知使用图像传感器来对图像进行摄像的摄像装置(例如参考专利文献1)。
在专利文献2中，作为能进行全局快门驱动的MOS型图像传感器，公开了将在光电二极管中产生的电荷写入到非易失性存储晶体管的结构，且公开了能无损地读出数据的图像传感器。
作为能进行无损读出的图像传感器，有将浮栅放大器(FGA)应用于CCD图像传感器的示例。同样地，在专利文献3记载了应用于CMOS图像传感器的示例。
在专利文献4中公开了能进行无损读出的有机CMOS图像传感器。
现有技术文献
专利文献
专利文献1：JP特开2008-042180号公报
专利文献2：JP特开2002-280537号公报
专利文献3：JP特开2004-015291号公报
专利文献4：国际公开第2015/045828号
发明内容
发明要解决的课题
在一般的摄像装置中，由于在低照度环境下的拍摄中无法得到足够的光量，因此需要以电气方式将信号放大(以下称作增益提高)。
在该放大时，期望由模拟电路带来的增益提高(以下称作模拟增益的乘法运算)，但在模拟电路增益达到最大值增益也仍然不足的情况下，需要由数字电路带来的增益提高(以下称作数字增益的乘法运算)。但是，数字增益的乘法运算会导致影像信号的比特精度的劣化、和与此相伴的量化噪声的增大，因此会出现在所需以上产生噪声这样的课题。
因此，本公开的目的在于，提供可将进行乘法运算的数字增益值尽可能抑制得小且能相比现有技术更加抑制噪声产生的摄像装置以及摄像机。
用于解决课题的手段
本公开的一个方案所涉及的摄像装置具备：能无损地输出图像信号的摄像元件；对由摄像元件生成的图像信号进行给定的处理并生成图像数据的图像处理部；和控制图像处理部的控制器，图像处理部通过控制器的控制在一次曝光期间内从摄像元件多次读出图像信号，基于根据一次曝光期间中的最后的读出图像信号的信号电平算出的目标电平、和将多次读出的各个图像信号相加而得到的加法运算信号来算出成为目标的目标增益值，对加法运算信号乘以目标增益值来生成图像数据。
本公开的一个方案所涉及的摄像机具备：上述摄像装置；和将外部的光会聚到摄像元件的至少一个光学元件。
发明效果
根据上述本公开所涉及的摄像装置以及摄像机，能对相比现有技术更加抑制噪声的图像进行摄像。
附图说明
图1是表示实施方式所涉及的摄像机的结构的框图。
图2是表示实施方式所涉及的图像信号的读出定时的说明图。
图3是表示变形例1所涉及的图像信号的读出定时的说明图。
图4是表示变形例2所涉及的图像信号的读出定时的说明图。
图5是作为活动的被摄体的一例而示出在整面灰色的背景之前移动的白色矩形的被摄体的示意图。
图6是表示实施方式2所涉及的图像信号的读出定时的说明图。
图7是表示实施方式2所涉及的时刻0～时刻0.5T的期间的摄像结果的说明图。
图8是表示实施方式2所涉及的时刻0～时刻T的期间的摄像结果的说明图。
图9是表示实施方式2所涉及的将信号A和信号B相加的情况下的结果的说明图。
图10是表示实施方式2所涉及的从信号B中减去信号A而得到的信号C的说明图。
图11是表示实施方式2所涉及的从信号A中减去信号C而得到的信号D的说明图。
图12是表示实施方式2所涉及的在信号D上乘以0.5倍的增益并从信号(A+B)中减去其结果而得到的减法运算结果的说明图。
图13是表示暗部的闪光拍摄时的图像信号的读出定时的说明图。
具体实施方式
本公开的一个方案所涉及的摄像装置具备：能无损地输出图像信号的摄像元件；对由摄像元件生成的图像信号进行给定的处理并生成图像数据的图像处理部；和控制图像处理部的控制器，图像处理部通过控制器的控制在一次曝光期间内从摄像元件多次读出图像信号，基于从一次曝光期间中的最后的读出图像信号的信号电平算出的目标电平、和将多次读出的各个图像信号相加而得到的加法运算信号来算出成为目标的目标增益值，对加法运算信号乘以目标增益值来生成图像数据。
据此，由于对将一次曝光期间内读出的多个图像信号相加而得到的加法运算信号乘以目标增益值，因此即使与对一个图像信号乘以目标增益值的情况相比，也能抑制比特精度劣化。若比特精度的劣化大，在图像中就容易产生噪声，但通过抑制该比特精度劣化，能对抑制了噪声的图像进行摄像。
另外，本公开的一个方案所涉及的摄像机具备上述摄像装置和将外部的光会聚到摄像元件的透镜。
据此，能提供能发挥与上述的摄像装置同等的效果的摄像机。
以下，详细说明实施方式。另外，以下说明的实施方式都示出本公开的优选的一个具体例。以下的实施方式所示的数值、形状、材料、结构要素、结构要素的配置位置以及连接方式等都是一例，其主旨并不是要限定本公开。本公开仅由权利要求书来限定。因而，关于以下的实施方式中的结构要素当中未记载于本公开的独立权利要求的结构要素，作为构成更优选的方式的要素来说明，这些要素在为了达成本公开的课题上不一定是必需的。
(实施方式1)
以下，说明实施方式1中的摄像装置的结构以及动作。
[1.结构]
图1是表示实施方式1所涉及的摄像机100的结构的框图。
摄像机100具备光学系统110、透镜驱动部120和摄像装置1。
光学系统110由将外部的光会聚到摄像装置1的摄像元件10的1个以上的透镜构成。具体地，光学系统110由变焦透镜111、手抖补正透镜112、聚焦透镜113、光圈114构成。通过使变焦透镜111沿着光轴110A移动，能进行被摄体像的放大、缩小。另外，通过使聚焦透镜113沿着光轴110A移动，能调整被摄体像的聚焦。另外，手抖补正透镜112能在与光学系统110的光轴110A垂直的面内移动。通过使手抖补正透镜112向抵消摄像机100的抖动的方向移动，能降低摄像机100的抖动给摄像图像带来的影响。另外，光圈114具有位于光轴110A上的开口部114A，对应于使用者的设定地或自动地调整开口部114A的大小，来调整透过的光的量。
透镜驱动部120包含驱动变焦透镜111的变焦致动器、驱动补正透镜112的手抖补正致动器、驱动聚焦透镜113的聚焦致动器、驱动光圈114阀光圈致动器。并且，透镜驱动部120控制上述的变焦致动器、聚焦致动器、手抖补正致动器、光圈致动器。
摄像装置1具备摄像元件10、A/D转换器150、处理部300、卡槽190、内部存储器240、操作构件210和显示监视器220。
摄像元件10例如是有机MOS图像传感器等能无损地输出图像信号的摄像元件。摄像元件10对由光学系统110形成的被摄体像进行摄像，生成作为模拟信号的模拟图像信号。摄像元件10进行曝光、转送、电子快门等各种动作。
A/D转换器150对在摄像元件10中生成的模拟图像信号进行模拟增益提高，将其变换成作为数字信号的数字图像信号。
处理部300执行针对在摄像元件10中生成的图像信号的处理、和针对摄像机100整体的控制处理。具体地，处理部300具备图像处理部160、控制部20和存储器170。
图像处理部160对在摄像元件10中生成的图像信号实施各种处理，生成用于在显示监视器220进行显示的图像数据，或生成用于存放于存储卡200的图像数据。例如，图像处理部160对在摄像元件10中生成的图像信号进行伽马补正、白平衡补正、损伤补正等各种处理、与后述的目标电平和目标增益值相应的数字增益提高。另外，图像处理部160将在摄像元件10中生成的图像信号通过遵循H.264标准、MPEG2标准的压缩格式等进行压缩。图像处理部160能以DSP或微型计算机等实现。
控制部20是控制摄像机100整体的控制器。即，控制部20是控制图像处理部160的控制器。控制部20能以半导体元件等实现。控制部20可以仅由硬件构成，也可以通过将硬件和软件组合来实现。控制部20能以微型计算机等实现。另外，还能使控制部20作为图像处理部160起作用。
存储器170作为图像处理部160以及控制部20的工作存储器起作用。存储器170例如能以DRAM、SRAM、铁电体存储器等实现。存储器170可以与处理部300的外部电连接。
卡槽190能拆装地保持存储卡200。卡槽190能以机械方式以及电气方式与存储卡200连接。存储卡200在内部包含闪速存储器、铁电体存储器等，能存放在图像处理部160中生成的图像文件等数据。
内部存储器240由闪速存储器或铁电体存储器等构成。内部存储器240存储用于控制摄像机100整体的控制程序等。
操作构件210是接受来自使用者的操作的用户界面的总称。操作构件210例如包含接受来自使用者的操作的十字键、决定按钮等。
显示监视器220具有能显示基于在摄像元件10中生成的图像信号的图像数据、从存储卡200读出的图像数据所表示的图像数据的画面220A。另外，显示监视器220还能在画面220A显示用于进行摄像机100的各种设定的各种菜单画面等。在显示监视器220的画面220A上配置触摸面板220B。触摸面板220B能被用户触摸来接受各种触摸操作。针对触摸面板220B的触摸操作所表示的指示被通知到控制部20，使各种处理被进行。
[2.动作]
说明具有以上那样的结构的数字摄像机100的动作。摄像元件10具有无损输出功能。所谓无损输出功能，是能在曝光期间内无损地输出图像信号的功能。以下，说明使用摄像元件10的无损输出功能的数字摄像机100的动作。
图像处理部160通过控制部20的控制在摄像元件10中的一次曝光期间内多次读出图像信号。具体地，图像处理部160通过控制摄像元件10的读出定时来在一次曝光期间内读出多次图像信号。
图2是表示实施方式1所涉及的图像信号的读出定时的说明图。在此，示出在一次的曝光期间L内两次读出图像信号的情况。作为曝光期间L，例如是1/60秒。在本实施方式中，为了简化说明，按摄像元件10的受光量在曝光期间L内接受恒定(不变化的)被摄体光的方式来进行说明。如图2所示那样，图像处理部160在一次曝光期间L内从摄像元件10两次读出图像信号。读出定时设为曝光期间L的时间点(时刻T)、和将该曝光期间L均等地二分割的其分割点(时刻0.5T)。这时，由于摄像元件10中的各像素的蓄积电荷与时间成正比地增加，因此若将第二次读出的图像信号的信号电平设为S，则第一次读出的图像信号的信号电平就成为0.5S。另一方面，图像信号的比特长在第一次、第二次都是相同的值(n)。
图像处理部160将从摄像元件10取得的一次曝光期间L内的两次份的图像信号按各次的每一次暂时存储在存储器170。之后，图像处理部160根据通过第二次读出的信号电平算出的目标电平、和将两次读出的各个图像信号相加而得到的加法运算信号，来算出目标增益值。图像处理部160对加法运算信号乘以目标增益值来生成图像数据。该处理是噪声抑制处理，从生成的图像数据中降低噪声。
在此，所谓目标电平，是最终希望表现的图像数据的信号电平，目标增益值通过目标电平与将两次读出的各个图像信号相加而得到的加法运算信号的信号电平之比来求取。
作为目标电平的决定方法的一例，有如下那样的方法：将数字增益乘法运算后的n比特信号的目标电平确定为219×2n-8，以使得对反射率约90％的白的被摄体进行了摄像的情况下的摄像机100的输出亮度信号振幅在8比特下成为219。
在此，以将目标电平设为2倍的情况为例来说明如下事项，即，通过数字增益的乘法运算，根据图像信号的加法运算的有无，比特精度是怎样变化的。首先，在一次曝光期间L仅读出一次图像信号，并乘以2倍的模拟增益，对于这样的情况，乘以2倍的数字增益的情况下的比特精度劣化用式(1)来求取。
log2(2n+1)-log2(2n)＝(n+1)-n＝1···(1)
在此，log2(2n+1)表示乘以2倍的模拟增益的情况下的比特精度，log2(2n)表示2倍的数字增益乘法运算后的比特精度(与数字增益乘法运算前的比特精度相比没有变化)。如式(1)所示那样，在该情况下，比特精度劣化成为lbit。
接下来，如图2所示那样，在一次曝光期间L两次读出具有相同的曝光开始时刻但曝光时间不同的图像信号的情况下的比特精度劣化用式(2)求来取。
log2(2n+1)-log2(1.5×2n)＝(n+1)-(n+0.58)＝0.42···(2)
在此，若将第二次读出的图像信号的信号电平设为S，则由于第一次读出的图像信号的信号电平是0.5S，因此加法运算信号的信号电平成为1.5S。因此，在式(2)中，log2(2n +1)表示乘以2倍的模拟增益的情况下的比特精度，log2(1.5×2n)表示2÷1.5＝4/3倍的数字增益乘法运算后的比特精度。如式(2)所示那样，在该情况下，比特精度劣化成为0.42bit。已知比特精度劣化越小则在图像中产生的噪声越降低。因此，在一次的曝光期间L内多次读出图像信号并相加会降低噪声。
[3.效果等]
如上述那样，根据上述实施方式1所涉及的摄像装置1，具备：能无损地输出图像信号的摄像元件10；对由摄像元件10生成的图像信号进行给定的处理并生成图像数据的图像处理部160；和控制图像处理部160的控制部20(控制器)，图像处理部160通过控制部20的控制在一次曝光期间内从摄像元件10多次读出图像信号，基于根据一次曝光期间L中的最后的读出图像信号的信号电平算出的目标电平、和将多次读出的各个图像信号相加而得到的加法运算信号来算出成为目标的目标增益值，对加法运算信号乘以目标增益值来生成图像数据。
据此，由于对将在一次曝光期间L内读出的多个图像信号相加而得到的加法运算信号乘以目标增益值，因此即使与对一个图像信号乘以目标增益值的情况相比，也能抑制比特精度劣化。若比特精度的劣化大就容易在图像中产生噪声，但通过抑制该比特精度劣化，能对抑制了噪声的图像进行摄像。
另外，图像处理部160在将一次曝光期间L分割成均等的定时读出各个图像信号。
据此，由于在将曝光期间L均等地分割的定时读出多个图像信号，因此在全部读出时，能容易地确保图像信号的每一次的读出时间Tr。
[变形例1]
在上述实施方式1中例示了在一次曝光期间L内两次读出图像信号的情况。但是，一次曝光期间L内的图像信号的读出次数也可以是三次以上。不管在哪种情况下，图像处理部160都在一次曝光期间L内从摄像元件10多次读出图像信号，基于根据一次曝光期间L中的最后的读出图像信号的信号电平算出的目标电平、和将多次读出的各个图像信号相加而得到的加法运算信号来算出成为目标的目标增益值，并对加法运算信号乘以目标增益值。
在该变形例1中例示了将一次曝光期间L内的图像信号的读出次数设为四次的情况。
图3是表示变形例1所涉及的图像信号的读出定时的说明图。如图3所示那样，图像处理部160在一次曝光期间L内从摄像元件10读出四次图像信号。读出定时设为曝光期间L的时间点(时刻T)、和将该曝光期间L均等地四分割的其分割点(时间0.25T、时间0.5T、时间0.75T)。即，在该情况下，各次的图像信号也是具有相同的曝光开始时刻但曝光时间不同。另外，在本变形例中，为了简化说明而按传感器的受光量在曝光期间L内接受恒定(不变化的)被摄体光的方式来进行说明。
图像处理部160将从摄像元件10取得的一次曝光期间L内的四次份的图像信号按各次的每一次暂时存储到存储器。之后，图像处理部160基于根据第四次读出的信号电平算出的目标电平、和将四次读出的各个图像信号相加而得到的加法运算信号来算出成为目标的目标增益值。图像处理部160通过对加法运算信号乘以求得的目标增益值，来将加法运算信号的信号电平放大。将目标电平设为4倍的情况下的比特精度劣化如式(3)那样求取。
log2(2n+2)-log2(2.5×2n)＝(n+2)-(n+1.32)＝0.68···(3)
如此地，由于在一次曝光期间L内将四次读出的各个图像信号相加，因此能抑制比特精度劣化。虽然若使一次曝光期间L内的读出次数增加，仅此就能抑制比特精度劣化，但若使之不规则地增加，则相邻的读出定时的间隔就有可能会变得比图像信号的每一次的读出时间Tr短。但是，由于在将一次曝光期间L分割成均等的定时读出各个图像信号，因此在全部的读出时，能容易地确保图像信号的每一次的读出时间Tr。换言之，在将一次曝光期间L均等地分割时，要求决定读出次数，以使得相邻的读出定时的间隔不小于读出时间Tr。
[变形例2]
在上述实施方式1中，说明了将一次曝光期间L均等地分割并在其分割点读出图像信号的情况。但是，只要是在一次曝光期间L内多次读出图像信号，其读出定时怎么样都可以。在该变形例2中说明不将曝光期间L均等地分割地多次读出图像信号的情况。
图4是表示变形例2所涉及的图像信号的读出定时的说明图。
如图4所示那样，图像处理部160在一次曝光期间L内两次读出图像信号。具体地，图像处理部160将一次曝光期间L内的图像信号的读出次数当中最后一次的读出定时设为曝光期间的最终时间点，将该最后一次以外的次的读出定时设为该曝光期间的L/2以上且不足L-Tr的期间L1内。例如，在将读出时间Tr设为时间0.1T的情况下，将第一次的读出定时设为曝光期间L内的L-Tr时间点(时刻0.9T)，将第二次的读出定时设为曝光期间的最终时间点(时刻T)。
如此地，通过将一次曝光期间L中的读出次数当中最后一次的读出定时设为曝光期间的最终时间点，将该最后一次以外的次的读出定时收于该曝光期间L的一半以上(L/2以上)且曝光期间L与一次的读出时间Tr之间的差分以下(不足L-Tr)的期间L1内，能确保最后一次的刚刚之前一次的读出时间Tr。因此，能提高图像信号的读出的稳定性。
另外，图像处理部160在一次曝光期间L当中该曝光期间L的一半以上(L/2以上)的期间L1内多次读出图像信号。
并且，第一次的读出定时若接近一次曝光期间L的最终时间点则更佳。例如，如图4所示那样，第一次的读出定时为时刻0.9T且第二次的读出定时为T的情况下的比特精度劣化用式(4)来求取。
log2(2n+1)-log2(1.9×2n)＝(n+1)-(n+0.93)＝0.07···(4)
在此，若将第二次读出的图像信号的信号电平设为S，则由于第一次读出的图像信号的信号电平是0.9S，因此加法运算后的图像信号的信号电平成为1.9S。因此，在式(4)中，log2(2n+1)表示乘以2倍的模拟增益的情况下的比特精度，log2(1.9×2n)表示2÷1.9＝20/19倍的数字增益乘法运算后的比特精度。如式(4)所示那样，在该情况下，比特精度劣化成为0.07bit。如此地，即使与式(2)的情况相比，也能抑制比特精度劣化。因此，能大幅抑制比特精度劣化，结果，能对更加抑制了噪声的图像进行摄像。
另外，图像处理部160可以在期间L1内也多次读出图像信号。在该情况下，也期望考虑读出时间Tr来决定各读出定时。
另外，图像处理部160也可以基于过去算出的目标增益值来决定本次的曝光期间L内的图像信号的读出次数。据此，由于图像处理部160基于过去算出的目标增益值来决定本次的曝光期间L内的图像信号的读出次数，因此能设定对目标增益值合适的读出次数。
在过去算出的目标增益值中，可以是在刚刚之前的曝光期间L求得的目标增益值，也可以是在更前阶段的曝光期间L求得的目标增益值。进而，也可以使用在与曝光期间L不同的定时(例如静止图像拍摄时在自动聚焦时等)求得的目标增益值。
(实施方式2)
在上述实施方式1中，虽然在拍摄静止的被摄体时能得到充分的噪声降低效果，但其反面，在对活动的被摄体进行摄像的情况下会产生课题。以下说明该课题。
图5是作为活动的被摄体的一例而示出在整面灰色(图5中以点的阴影进行图示)的背景G之前移动的白色的矩形的被摄体H的示意图。设被摄体H在背景G之前在时刻0～时刻T的期间等速移动。
图6是表示实施方式2所涉及的图像信号的读出定时的说明图。如图6所示那样，实施方式2中的摄像元件10的驱动方法设为在时刻0.5T以及时刻T读出摄像结果的图像信号，将在时刻0.5T以及时刻T读出的图像信号分别设为信号A、信号B。
图7是表示实施方式2所涉及的时刻0～时刻0.5T的期间的摄像结果的说明图。具体地，图7的(a)是表示摄像到的图像的示意图，图7的(b)是表示摄像到的图像中的VIIb-VIIb切断面处的信号电平的波形的波形图。如图7的(a)所示那样，在时刻0～时刻0.5T的摄像结果中，得到包含静止的背景G和被摄体H的移动轨迹h1在内的图像信号(信号A)。
图8是表示实施方式2所涉及的时刻0～时刻T的期间的摄像结果的说明图。具体地，图8的(a)是表示摄像到的图像的示意图，图8的(b)是表示摄像到的图像中的VIIIb-VIIIb切断面处的信号电平的波形的波形图。如图8的(a)所示那样，在时刻0～时刻T的摄像结果中，得到包含静止的背景G和被摄体H的移动轨迹h2在内的图像信号(信号B)。
图9是表示实施方式2所涉及的将信号A和信号B相加的情况下的结果的说明图。具体地，图9的(a)是表示基于加法运算结果的图像的示意图，图9的(b)是表示基于加法运算结果的图像中的IXb-IXb切断面处的信号电平的波形的波形图。
在此，在将信号A和信号B相加而得到的信号(A+B)中，在时刻0～时刻T的被摄体轨迹h3当中的对信号A、B来说为共用的区域(共用区域h4)的信号电平、和仅存在于信号B的非共用区域h5的信号电平中产生差，会产生如图9所示那样被摄体轨迹h3的信号电平变得不连续这样的课题。
因此，为了解决该课题，在图像处理部160所进行的处理中追加以下的处理。
图10是表示实施方式2所涉及的从信号B中减去信号A而得到的信号C的说明图。具体地，图10的(a)是表示基于信号C的图像的示意图，图10的(b)是表示基于信号C的图像中的Xb-Xb切断面处的信号电平的波形的波形图。通过从信号B中减去信号A而得到的信号C相当于在图6中记载为(C)的斜线的阴影部分的蓄积电荷输出，换言之是时刻0.5T～时刻T的期间的摄像结果。
图11是表示实施方式2所涉及的从信号A中减去信号C而得到的信号D的说明图。具体地，图11的(a)是表示基于信号D的图像的示意图，图11的(b)是表示基于信号D的图像中的XIb-XIb切断面处的信号电平的波形的波形图。
若考虑信号A以及信号C都是0.5T间的曝光期间的摄像结果，则由于表示静止的被摄体的区域即静止被摄体区域h10的信号电平在信号A和信号C相等，因此在从信号A中减去信号C而得到的信号D中，静止被摄体区域h10被取消而成为0。另外，不是0的区域成为表示存在被摄体的活动的区域的信号即活动检测信号。活动检测信号表示运动物体区域h20，该运动物体区域h20是表示正在动作的被摄体的区域。根据这些，背景G成为静止被摄体区域h10，时刻0～时刻T的被摄体轨迹h3成为运动物体区域h20。运动物体区域h20以外的区域是静止被摄体区域h10。
如此，图像处理部160从一次曝光期间L中的最后的读出图像信号(信号B)中减去在该图像信号之前读出的图像信号即基准图像信号(信号A)，基于将该减法运算结果(信号C)从基准图像信号(信号A)中减去而得到的信号D，来检测运动物体区域h20和静止被摄体区域h10的任意一方。
另外，在一次的曝光期间L内读出N次以上图像信号的情况下，将第k次(k＝2～N)读出的图像信号设为信号B，将第k-1次读出的图像信号设为信号A，并对k＝2～N逐次重复同样的处理。
在此，在信号D中，除了运动物体区域h20以外还包含重叠在图像中的噪声。为了使信号D成为纯粹的活动检测信号，需要通过对信号D设置适当的阈值并使电平接近0的数据的值强制地成为0，从而来抑制噪声。以下，按信号D是实施了上述噪声抑制处理后的信号的方式来进行说明。
图12是表示实施方式2所涉及的在信号D上乘以0.5倍的增益并从信号(A+B)中减去其结果而得到的减法运算结果的说明图。具体地，图12的(a)是表示基于该减法运算结果的图像的示意图，图12的(b)是表示基于该减法运算结果的图像中的XIIb-XIIb切断面处的信号电平的波形的波形图。
若在上述那样得到的信号D上乘以0.5倍的增益，并从信号(A+B)中减去其结果，则由于在静止被摄体区域h10中D＝0，因此以下的式(5)成立。
A+B-0.5D＝A+B···(5)
进而，在运动物体区域h20中以下的式(6)成立。
A+B-0.5D＝A+B-0.5(A-C)＝A+B-0.5(A-B+A)
＝A+B-A+0.5B＝1.5B···(6)
仅运动物体区域h20被置换成在信号B上乘以1.5倍的增益而得到的结果。其结果，如图12所示那样，运动物体区域h20的信号电平的不连续消失，可得到自然的摄像结果。
通过上述说明的处理得到的图像对静止被摄体区域h10实施有噪声抑制处理。该情况下的加法运算信号成为对于静止被摄体区域h10将多次读出的各个图像信号相加而得到的信号。另一方面，关于运动物体区域h20，仅乘以1.5倍的增益。因此，在运动物体区域h20中，与现有的摄像装置相比，虽然不能期待S/N的提高，但静止被摄体区域h10与实施方式1同样，成为S/N得到改善的图像。如此，图像处理部160将图像信号内的运动物体区域h20和静止被摄体区域h10相区别，对静止被摄体区域h10实施噪声抑制处理。
即，虽然得到在运动物体区域h20和静止被摄体区域h10中在S/N上存在差的图像，但由于在动态图像中的一般的三维降噪处理中也得到在运动物体区域h20与静止被摄体区域h10的S/N上存在差的图像，因此认为不太会有不协调感。
另外，上述以被摄体H等速移动的情况为例进行了说明，但在伴随加减速的移动的情况下，也仅仅是活动检测信号的值从正变化为负的位置发生改变，因而同样成立。
另外，在所述变形例1以及2的情况下，同样的思路也成立。
另外，为了使运动物体区域h20的S/N接近静止被摄体区域h10的S/N，可以限定在运动物体区域h20即上述说明中信号D不是0的区域，来局部地进行LPF等二维降噪处理。
另外，用于判别运动物体区域h20和静止被摄体区域h10的方法并不限定于针对上述的信号A、信号B的加减运算。作为其他判别方法，可举出使用运动矢量进行判别的方法等。
(补充)
如以上那样，作为本申请公开的技术的例示，对实施方式进行了说明。但是，本公开中的技术并不限定于此，还能适用于适当进行了变更、置换、附加、省略等的实施方式中。
(A)在本公开中，还包含内置有实施方式1、2中的摄像装置1的电子设备，这点不言自明。
如图1所示那样，摄像机100包含摄像装置1和光学系统110而构成。
光学系统110由变焦透镜111、手抖补正透镜112、聚焦透镜113、光圈114等光学元件构成，将外部的光会聚到摄像元件10。
若接受到来自使用者的操作，则图像处理部160对来自摄像元件10的输出信号实施各种信号处理，在插入到卡槽190的存储卡200中记录图像数据。
(B)摄像装置1中的各结构要素(功能块)可以通过IC(Integrated Circuit：集成电路)、LSI(Large Scale Integration：大规模集成电路)等半导体装置而单独地单芯片化，还可以包含一部分或全部的结构要素来进行单芯片化。另外，集成电路化的手法并不限于LSI，也可以用专用电路或通用处理器实现。也可以在LSI制造后利用能进行编程的FPGA(Field Programmable Gate Array：现场可编程门阵列)、DSP(Digital SignalProcessor：数字信号处理器)、能重构LSI内部的电路单元的连接或设定的可重构处理器。进而，若由于半导体技术的进步或派生的其他技术而出现了对LSI置换的集成电路化的技术，则也可以使用该技术来进行功能块的集成化。生物技术的运用等也具有可能性。
另外，上述各种处理的全部或一部分可以通过电子电路等硬件实现，也可以使用软件来实现。另外，基于软件的处理通过由摄像装置1中所含的处理器执行存储于存储器的程序而实现。另外，也可以将该程序记录于记录介质来使其发布或流通。例如，能够将发布的程序安装在其他具有处理器的装置上并使该处理器执行该程序，由此使该装置进行上述各处理。
(C)在实施方式1、2中，摄像元件10以有机MOS图像传感器为一例进行了说明，但作为能进行全局快门驱动的MOS型图像传感器，可以是具有将在光电二极管中产生的电荷写入到非易失性存储晶体管的结构且能无损地读出数据的图像传感器，也可以是应用浮栅放大器(FGA)的CCD图像传感器或CMOS图像传感器。只要是在曝光中能无损地输出图像信号的摄像元件即可。
另外，摄像元件10也可以与A/D转换器150一体构成。
(D)在实施方式1中，以将目标电平设为2倍的情况为例说明了比特精度劣化，但增益并不限定于2倍。在实施方式1中，若将增益设为2m倍(m＞0)，则比特精度劣化用式(7)来求取，比特精度劣化成为mbit。
log2(2n+m)-log2(2n)＝(n+m)-n＝m···(7)
与此相对，在一次曝光期间L两次读出具有相同的曝光开始时刻但曝光时间不同的图像信号的情况下的比特精度劣化用式(8)来求取。
log2(2n+m)-log2(1.5×2n)＝(n+m)-(n+0.58)
＝m-0.58···(8)
因此，比特精度劣化被抑制得仅比mbit小0.58。因此，能降低噪声。
进而，在一次曝光期间L将曝光期间均等地分割，读出2c次(c＞1)图像信号，并将目标电平设为2c倍的情况下的比特精度劣化用式(9)来求取。
log2(2n+c)-log2((2c+1)/2×2n)
＝log2(2n+c)-log2((2c+1)×2n-1)
＝(n+c)-(n-1)-log2(2c+1)
＝c-(log2(2c+1)-1)···(9)
因此，比特精度劣化能抑制得仅比cbit小log2(2c+1)-1。因此，能抑制噪声。
(E)在实施方式1中，为了简化说明而按传感器的受光量在曝光期间L内接受恒定(不变化)的被摄体光的方式来说明，但并不限定于此。例如，在闪光拍摄时、从暗的隧道出来的情况下等曝光量急剧变化的情况下，也能降低噪声。
图13是表示暗部的闪光拍摄时的图像信号的读出定时的说明图。是与如下那样的情况的时间和蓄积电荷相关的图表：在曝光期间L中，暗部的曝光期间为0到0.5T的信号电平是0.1S，在时刻0.5T到时刻0.75T的曝光期间进行闪光，从曝光0.75T起再次变暗。若将目标增益值设为2倍，则比特精度劣化用式(10)来求取。
log2(2n+1)-log2(1.1×2n)＝(n+1)-(n+0.14)＝0.86···(10)
因此，比特精度劣化被抑制得小了0.14。
在曝光期间L内的一部分期间中蓄积电荷完全不改变这样的特殊的曝光期间，只要没有无损读出，那么虽然蓄积电荷因蓄积速度才会不同，但会如q1、q2、q3所示那样同时间一起增加，因此，通过在曝光期间L多次无损地读出图像信号，与仅读出1次的图像信号相比，能减小比特精度劣化。
另外，即使在曝光期间L内的一部分或全部期间，处于蓄积电荷量完全不改变的特殊的曝光状态，将多次读出的图像信号相加而得到的加法运算信号也比最后读出的图像信号的电平大，因此减小比特精度劣化的效果同样成立。
另外，通过任意组合上述的实施方式1、2示出的结构要素以及功能而实现的方式也包含在本公开的范围中。
如以上那样，作为本公开中的技术的例示而说明了实施方式1、2。为此，提供了附图以及详细的说明。因此，在记载于附图以及详细说明的结构要素之中，不仅包含为了解决课题而必须的结构要素，还能为了例示上述技术而包含对于解决课题来说并非必须的结构要素。因此，不应因这些非必须的结构要素记载于附图和详细的说明中而直接认定这些非必须的结构要素是必须的。另外，上述的实施方式1、2由于用于例示本公开中的技术，因此能在权利要求书或其均等的范围内进行各种变更、置换、附加、省略等。
产业上的可利用性
本公开能对能拍摄静止图像或动态图像的摄像装置适用。具体地，能对镜头交换式数字摄像机、紧凑型数字摄像机、数字视频摄像机、智能手机、可穿戴摄像机、监视摄像机等能拍摄静止图像或动态图像的各种摄像装置适用。
附图标记说明
1 摄像装置
10 摄像元件
20 控制部(控制器)
100 摄像机
110 光学系统
110A 光轴
111 变焦透镜
112 补正透镜
113 聚焦透镜
114A 开口部
120 透镜驱动部
150 A/D转换器
160 图像处理部
170 存储器
190 卡槽
200 存储卡
210 操作构件
220 显示监视器
220A 画面
220B 触摸面板
240 内部存储器
300 处理部
G 背景
H 被摄体
h1、h2 移动轨迹
h3 被摄体轨迹
h4 共用区域
h5 非共用区域
h10 静止被摄体区域(运动物体区域以外的区域)
h20 运动物体区域
L 曝光期间
L1 期间
Tr 读出时间
T 时刻

Claims (8)

1.一种摄像装置，具备：
能无损地输出图像信号的摄像元件；
对由所述摄像元件生成的图像信号进行给定的处理并生成图像数据的图像处理部；和
控制所述图像处理部的控制器，
所述图像处理部通过所述控制器的控制在一次曝光期间内从所述摄像元件多次读出图像信号，基于根据所述一次曝光期间中的最后的读出图像信号的信号电平算出的目标电平、和将多次读出的各个所述图像信号相加而得到的加法运算信号来算出成为目标的目标增益值，对所述加法运算信号乘以所述目标增益值来生成所述图像数据。
2.根据权利要求1所述的摄像装置，其中，
所述图像处理部在将所述一次曝光期间分割成均等的定时读出各个所述图像信号。
3.根据权利要求1所述的摄像装置，其中，
若将所述一次曝光期间设为L，则所述图像处理部在所述一次曝光期间当中L/2以上的期间多次读出所述图像信号。
4.根据权利要求3所述的摄像装置，其中，
若将所述图像信号的每一次的读出时间设为Tr，则所述图像处理部将所述一次曝光期间内的所述图像信号的读出次数当中最后一次的读出定时设为曝光期间的最终时间点，将该最后一次以外的次的读出定时收于该曝光期间的L/2以上且不足L-Tr的期间内。
5.根据权利要求1～4中任一项所述的摄像装置，其中，
所述图像处理部基于过去算出的所述目标增益值来决定本次的曝光期间内的所述图像信号的读出次数。
6.根据权利要求1～5中任一项所述的摄像装置，其中，
所述图像处理部检测所述图像信号内的运动物体区域或所述运动物体区域以外的区域的任意一方，所述加法运算信号是对于所述运动物体区域以外的区域将多次读出的各个所述图像信号相加而得到的信号。
7.根据权利要求6所述的摄像装置，其中，
所述图像处理部从所述一次曝光期间中的最后的读出图像信号中减去在该图像信号之前读出的图像信号即基准图像信号，并将该减法运算结果从所述基准图像信号中减去，由此检测所述运动物体区域或所述运动物体区域以外的区域的任意一方。
8.一种摄像机，具备：
权利要求1～7中任一项所述的摄像装置；和
具有将外部的光会聚到所述摄像元件的至少一个光学元件的光学系统。
CN201880004558.3A 2017-07-13 2018-07-10 摄像装置以及摄像机 Active CN110024378B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-136688 2017-07-13
JP2017136688 2017-07-13
PCT/JP2018/025956 WO2019013184A1 (ja) 2017-07-13 2018-07-10 撮像装置及びカメラ

Publications (2)

Publication Number Publication Date
CN110024378A true CN110024378A (zh) 2019-07-16
CN110024378B CN110024378B (zh) 2021-04-27

Family

ID=65001362

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880004558.3A Active CN110024378B (zh) 2017-07-13 2018-07-10 摄像装置以及摄像机

Country Status (5)

Country Link
US (1) US10785420B2 (zh)
EP (1) EP3654636B1 (zh)
JP (1) JP6624580B2 (zh)
CN (1) CN110024378B (zh)
WO (1) WO2019013184A1 (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009239338A (ja) * 2008-03-25 2009-10-15 Canon Inc 撮像装置及び撮像方法
CN103404126A (zh) * 2011-05-31 2013-11-20 奥林巴斯映像株式会社 摄像装置、摄像方法
CN103491322A (zh) * 2012-06-12 2014-01-01 佳能株式会社 放射线摄像设备及其控制方法
CN105144699A (zh) * 2013-03-15 2015-12-09 拉姆伯斯公司 阈值监测的有条件重置的图像传感器
CN105594197A (zh) * 2013-09-27 2016-05-18 富士胶片株式会社 摄像装置及摄像方法
CN106161975A (zh) * 2015-05-13 2016-11-23 奥林巴斯株式会社 摄像装置和摄像方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6038988A (ja) 1983-08-12 1985-02-28 Victor Co Of Japan Ltd 固体撮像素子を用いた静止画像撮像装置
JPH0250584A (ja) * 1988-08-11 1990-02-20 Olympus Optical Co Ltd ダイナミックレンジ拡大システム
JP4040261B2 (ja) 2001-03-22 2008-01-30 富士フイルム株式会社 固体撮像装置とその駆動方法
JP2002290814A (ja) 2001-03-26 2002-10-04 Minolta Co Ltd デジタルカメラ
JP2004015291A (ja) 2002-06-05 2004-01-15 Sony Corp 固体撮像装置及びその駆動方法
US20070041063A1 (en) 2005-08-18 2007-02-22 Matsushita Electric Industrial Co., Ltd. Image sensor
JP2008042180A (ja) 2006-07-13 2008-02-21 Matsushita Electric Ind Co Ltd イメージセンサ
JP5749224B2 (ja) 2012-07-13 2015-07-15 株式会社東芝 カメラモジュール
WO2015045828A1 (ja) 2013-09-27 2015-04-02 富士フイルム株式会社 撮像装置及び撮像方法
JP6089232B2 (ja) 2014-03-28 2017-03-08 パナソニックＩｐマネジメント株式会社 撮像装置
JP5895270B2 (ja) 2014-03-28 2016-03-30 パナソニックＩｐマネジメント株式会社 撮像装置
JP2017163260A (ja) 2016-03-08 2017-09-14 東芝デベロップメントエンジニアリング株式会社 撮像制御装置
JP2018107734A (ja) 2016-12-27 2018-07-05 パナソニックＩｐマネジメント株式会社 撮像装置、および、カメラ

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009239338A (ja) * 2008-03-25 2009-10-15 Canon Inc 撮像装置及び撮像方法
CN103404126A (zh) * 2011-05-31 2013-11-20 奥林巴斯映像株式会社 摄像装置、摄像方法
CN103491322A (zh) * 2012-06-12 2014-01-01 佳能株式会社 放射线摄像设备及其控制方法
CN105144699A (zh) * 2013-03-15 2015-12-09 拉姆伯斯公司 阈值监测的有条件重置的图像传感器
CN105594197A (zh) * 2013-09-27 2016-05-18 富士胶片株式会社 摄像装置及摄像方法
CN106161975A (zh) * 2015-05-13 2016-11-23 奥林巴斯株式会社 摄像装置和摄像方法

Also Published As

Publication number Publication date
JP6624580B2 (ja) 2019-12-25
EP3654636A1 (en) 2020-05-20
JPWO2019013184A1 (ja) 2019-11-07
CN110024378B (zh) 2021-04-27
WO2019013184A1 (ja) 2019-01-17
US20190273874A1 (en) 2019-09-05
EP3654636A4 (en) 2020-07-08
EP3654636B1 (en) 2022-06-22
US10785420B2 (en) 2020-09-22

Similar Documents

Publication Publication Date Title
US8081250B2 (en) Image pickup apparatus having a correction unit for correction of noise components generated by clamping circuits
WO2017018188A1 (ja) イメージセンサ、及び、電子機器
US10573681B2 (en) Imaging device, camera, and imaging method
WO2015141490A1 (ja) 撮像素子、制御方法、並びに、撮像装置
CN104023173A (zh) 固体摄像装置以及摄像机模块
CN100473116C (zh) 电子式抖动校正装置
CN109474781A (zh) 摄像装置、摄像装置的控制方法、记录介质
CN102547087A (zh) 成像设备、图像处理方法和计算机可读存储介质
CN102547164B (zh) 图像处理装置和图像处理方法
JP6469224B2 (ja) ピクセル感度及びダイナミックレンジを高める方法及び装置
JP7146022B2 (ja) 半導体装置、撮像装置、および撮像装置が実行する方法
US9531959B2 (en) Imaging systems and methods for capturing image data at high scan rates
CN110024378A (zh) 摄像装置以及摄像机
KR102518373B1 (ko) 이미지 센서 및 이를 포함하는 전자 기기
JP6661841B2 (ja) 撮像用途のための拡張高ダイナミックレンジ直接注入回路
Carmona-Galán et al. Automatic DR and spatial sampling rate adaptation for secure and privacy-aware ROI tracking based on focal-plane image processing
CN115633263A (zh) 图像传感器电路、电路控制方法及电路控制装置
KR20120011241A (ko) 영상 처리 장치
JPH04114571A (ja) 固体撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant