CN102714699B - 摄像装置、摄像方法 - Google Patents

摄像装置、摄像方法 Download PDF

Info

Publication number
CN102714699B
CN102714699B CN201180006263.8A CN201180006263A CN102714699B CN 102714699 B CN102714699 B CN 102714699B CN 201180006263 A CN201180006263 A CN 201180006263A CN 102714699 B CN102714699 B CN 102714699B
Authority
CN
China
Prior art keywords
mentioned
speed
exploring
degree
continuous shooting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201180006263.8A
Other languages
English (en)
Other versions
CN102714699A (zh
Inventor
藤井隆志
物部祐亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of CN102714699A publication Critical patent/CN102714699A/zh
Application granted granted Critical
Publication of CN102714699B publication Critical patent/CN102714699B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091Digital circuits
    • G03B7/093Digital circuits for control of exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/684Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2207/00Control of exposure by setting shutters, diaphragms, or filters separately or conjointly
    • G03B2207/005Control of exposure by setting shutters, diaphragms, or filters separately or conjointly involving control of motion blur

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Image Processing (AREA)

Abstract

一种摄像装置,在照明环境非常暗的情况下或被摄体的亮度值小的情况下,连拍合成摄影高感光度且高析像度的图像,具备:摄像部,接受来自被摄体的光,生成拍摄有上述被摄体的图像;连拍图像合成部,合成由上述摄像部在时间上连续摄像的两张以上的张数的上述图像,从而生成拍摄有上述被摄体的连拍合成图像;以及参数设定部,根据上述被摄体的亮度值和上述被摄体的速度,设定摄像两张以上的上述张数的上述图像中的各个上述图像时的快门速度。

Description

摄像装置、摄像方法
技术领域
本发明涉及在数字静止照相机、数字视频摄像机、网络照相机、安全照相机等领域中用来以高感光度、高析像度摄影被摄体的技术。
背景技术
近年来,在数字照相机或摄影机等的摄像元件中,多像素化不断发展,用摄像元件摄影的摄影图像的析像度提高。但是,通过这样的多像素化的影响,每1个像素的受光量减少,在摄影图像中有噪声变多的课题。
为了抑制因这样的受光量减少的噪声,摄影高感光度、高析像度的图像,在以往的照相机中搭载有将通过连拍摄影的多张图像向1个图像合成的连拍合成摄影的技术。
在这样的连拍合成摄影中,在以曝光时间比较短的快门速度将多张图像(连拍图像)摄影后,通过对相互的这些多张连拍图像的位置进行对位并合成,不降低析像度而实现噪声降低,尽管受光量减少,但维持为噪声较少,还维持为析像度较高。
在这样的连拍合成摄影中,公开了适当地设定照相机的参数的技术。
例如,作为该设定的技术,如专利文献1中的技术那样,有以下技术:通过将快门速度设定为不易受到手抖的影响的足够快的速度,并且根据被摄体亮度控制摄影的张数、感光度,从而以适当的连拍张数制作高析像度、高感光度的合成图像。
在先技术文献
专利文献
专利文献1:特开2009-152803号公报
发明概要
发明所要解决的课题
但是,在一般的连拍合成摄影中,在被摄体的速度较快、抖动量较多的情况下,将快门速度设定得比通常的快门速度短。
因此,每1张连拍图像的曝光时间不是比较长的第1时间,而是比较短的第2时间,曝光时间变少。
一方面,有进行通常的照明环境(比较明亮的照明环境)下的连拍合成摄影的情况。
在此情况下,在每1张连拍图像的曝光时间是比较短的第1时间的情况下,作为包含在连拍图像中的噪声,光散粒噪声那样的随机噪声为支配性的,每当将连拍图像叠加时噪声被降低,也能够得到高感光度、高析像度的适当的连拍合成图像。
但是,也有进行非常暗的照明环境(比较暗的照明环境)下的连拍合成摄影的情况。
在此情况下,在进行连拍合成摄影时的连拍图像中,暗电流噪声那样的固定样式噪声为支配性的。另外,有时在连拍图像的一部分中的亮度值较小的图像区域中,该图像区域中的向被摄体的照明的照明环境是比较暗的环境等。在这样的固定样式噪声较多而为支配性的情况下,有以下课题:即使如专利文献1那样控制张数、感光度而将连拍图像合成,噪声也难以被降低。
发明内容
本发明是解决上述以往的课题的,目的是提供一种摄像装置,在被摄体的速度较快、抖动量较多的情况下,或者在照明环境非常暗的情况或被摄体的亮度值较小的情况下,也连拍合成摄影高感光度、高析像度的图像。
用于解决课题的手段
为了解决以往的课题,本发明的摄像装置具备:摄像部,接受来自被摄体的光,生成拍摄有上述被摄体的图像;连拍图像合成部,合成由上述摄像部在时间上连续摄像的两张以上的张数的上述图像,从而生成拍摄有上述被摄体的连拍合成图像;参数设定部,根据上述被摄体的亮度值和上述被摄体的速度,设定两张以上的上述张数的上述图像中的各个上述图像被摄像时的快门速度。
另外,例如上述参数设定部也可以根据上述被摄体的上述亮度值和上述被摄体的上述速度设定上述快门速度和被摄像的上述图像的上述张数。即,在上述被摄体的上述亮度值、上述被摄体的上述速度、上述快门速度和上述张数中,上述被摄体的上述亮度值及上述被摄体的上述速度的设定不由上述参数设定部进行。另一方面,上述快门速度和上述张数的设定由上述参数设定部进行。
发明效果
根据本发明的摄像装置,在被摄体的速度较快、抖动量较多的情况下、或者在照明环境非常暗的情况或被摄体的亮度值较小的情况下,也能够摄影高感光度、高析像度的图像。
附图说明
图1是表示本发明的实施方式1、2、3的摄像装置的构造的图。
图2是本发明的实施方式1、2、3的摄像装置的流程图。
图3是表示本发明的实施方式1、2、3、4的摄像部的构造的图。
图4是说明依存于快门速度的抖动量与析像度的关系的图。
图5是表示本发明的实施方式1、2、3的速度析像度数据库保存的抖动量与析像度的表的图。
图6是说明依存于快门速度、连拍张数所成的组的噪声量和析像度的关系的图。
图7是表示本发明的实施方式1、2、3的亮度值析像度数据库保存的噪声量与析像度的表的图。
图8是本发明的实施方式1的连拍参数计算部的流程图。
图9是表示在本发明的实施方式1、2、3的连拍参数计算部中、为了决定快门速度和连拍张数而参照的曲线图的图。
图10是本发明的实施方式2的连拍参数计算部的流程图。
图11是表示在本发明的实施方式2的连拍参数计算部中、说明根据被摄体速度移动(shift)抖动量和析像度的表的曲线图的图。
图12是表示在本发明的实施方式2的连拍参数计算部中、说明根据被摄体亮度值、总曝光时间的组移动噪声量和析像度的表的曲线图的图。
图13是表示在本发明的实施方式3的连拍参数计算部中、为了决定快门速度和连拍张数而参照的曲线图的图。
图14是本发明的实施方式3的连拍参数计算部的流程图。
图15是表示本发明的实施方式4的摄像装置的构造的图。
图16是本发明的实施方式4的摄像装置的流程图。
图17是表示本发明的实施方式1的摄像装置的图。
具体实施方式
以下,参照附图对本发明的实施方式进行说明。另外,以下说明的实施方式都是表示本发明的优选的一具体例的。在以下的实施方式中表示的数值、形状、材料、构成要素、构成要素的配置位置及连接形态、步骤、步骤的顺序等是一例,并不限定本发明。即,本发明由权利要求书确定。由此,关于以下的实施方式的构成要素中的、没有在表示本发明的最上位概念的独立权利要求中记载的构成要素,不是为了解决本发明的课题而必定需要的,而作为构成更优选的形态的要素进行说明。
实施方式的摄像装置100具备接受来自被摄体101x的光101L、生成拍摄了被摄体101x的图像(例如图像92a)的摄像部(摄像元件部203)、通过将由摄像部在时间上连续摄像的两张以上的张数的图像合成而生成拍摄有被摄体101x的连拍合成图像(由多个图像92a生成的图像93a)的连拍图像合成部107和根据被摄体101x的亮度值(由信息205a表示的第1亮度水平)和被摄体101x的速度(由信息205v表示的第1运动)设定上述两张以上的张数的图像中的各个图像被摄像时的快门速度(曝光时间)的参数设定部205。
由此,在曝光时间的期间中,不止是根据由进行了第1运动而产生的运动即第2运动决定的、作为生成的连拍合成图像的析像度的上限的第1析像度(图9的虚线)来进行设定。即,有根据作为对第1亮度水平乘以曝光时间的长度而得到的水平等的第2亮度水平决定的、作为生成的连拍合成图像的析像度的上限的第2析像度(图9的实线)。根据上述第1析像度(虚线)和该第2析像度(实线)进行设定。由此,在其快门速度(例如,图9的快门速度L1)下,虽然第1析像度(虚线)是阈值(例如图9的值X3)以上,但将第2析像度(实线)设定为比阈值低的快门速度,避免生成的连拍合成图像的析像度(画质)变低。即,在该快门速度(例如快门速度L2)下,第2析像度(实线)也设定作为阈值以上的快门速度,能够提高生成的连拍合成图像的析像度。
并且,根据由被摄体101x的速度(第1运动)和曝光时间确定的上述的第2运动进行设定。由此,不仅是其速度为通常的速度的情况,而且在比较快的速度的情况下,也设定适合于该较快的速度的曝光时间,能够提高生成的连拍合成图像的析像度(画质)。此外,如上述那样,根据由第1亮度水平和曝光时间确定的上述第2亮度水平进行设定。由此,不仅在照明环境是通常的环境、被摄体101x的第1亮度水平(亮度值)为通常的情况下,而且在非常暗的环境、第1亮度水平较低的情况下,也能够设定适合于该情况的曝光时间,从而提高画质。
(实施方式1)
一般而言,在如专利文献1那样、以手抖修正为目的进行连拍合成摄影的情况下,可以设定不依存于总曝光时间的适当的快门速度和连拍张数。
由此,此时不需要预先将总曝光时间设定为一定。
但是,(例如如防犯照相机中的情况那样)在照相机自身被固定、被摄体较快地移动的情况下,需要针对有限的时间内的图像得到更高析像度的连拍合成图像。
由此,可以想到预先用户根据使用状况及用途来设定任意的总曝光时间。
本实施方式的摄像装置为了得到高感光度、高析像度的连拍合成图像,在用户设定的总曝光时间中,使用被摄体的亮度值和被摄体的速度所成的组决定适合于连拍合成摄影的快门速度和连拍张数所成的组。
另外,总曝光时间为快门速度与连拍张数的乘积的时间。
图1是本发明的实施方式1的摄像装置100的结构图。
图2是表示摄像装置100的整体的处理的流程图。
以下,使用这些图1、图2进行说明。
如图1所示,本发明的实施方式1的摄像装置100具备摄像部101、连拍图像合成部107和参数设定部108。
此外,参数设定部108具有亮度值计算部102、速度计算部103、速度析像度数据库104、亮度值析像度数据库105和连拍参数计算部106。
接着,使用图2对本发明的实施方式1的摄像装置100的处理进行说明。
在步骤S101中,亮度值计算部102计算被摄体(例如图1的被摄体101x)的亮度值(数据102d)。
在步骤S102中,速度计算部103计算被摄体的速度(数据103d)。
在步骤S103中,连拍参数计算部106使用在上述步骤S101、步骤S102中分别计算出的被摄体的亮度值及速度和连拍合成摄影的总曝光时间(后述),决定快门速度和连拍张数(通过连拍摄像的图像的张数)。
另外,图17的参数设定部205例如也可以是图1的参数设定部108的一部分。参数设定部205例如也可以包括参数设定部108中的图1的连拍参数计算部106并且不包括亮度值计算部102及速度计算部103的部分。
另外,在该步骤S103中的参数(快门速度、连拍张数等)的决定中,也可以通过利用摄像部101的透镜、光圈值、摄像元件的像素数等的关于照相机的数据来提高决定的参数的精度。
在步骤S104中,连拍参数计算部106将在上述步骤S103中决定的参数设定到摄像部101中。
在步骤S105中,摄像部101使用在上述步骤S104中对该摄像部101设定的参数(快门速度、连拍张数等)将连拍图像摄影。
在步骤S106中,在连拍图像合成部107中,根据在上述步骤S105中摄影的连拍图像(多个图像107a)制作连拍合成图像(图像107b)。
接着,对摄像装置100的各构成要素更详细地说明。
摄像部101使用由连拍参数计算部106求出的照相机参数(快门速度、连拍张数等)输出多个连拍图像。此外,输出在该输出后进行的、连拍参数的计算所需要的数据(参照S101、S102)。
图3是摄像部101的结构图。
以下,使用图3对摄像部101的各构成要素进行说明。
从被摄体101x发出的光通过透镜201和光圈202照射在摄像元件部(摄像部)203上。在该摄像元件部203中,将该光变换为被摄体101x的数字信号的图像数据(数据203d)。
在透镜201、光圈202、摄像元件部203(处理部203A)中,根据在照相机参数设定部209中设定的参数,变更焦点距离、光圈值、感光度、快门速度、连拍张数等的该处理部203A中的设定值。
在摄像元件部203中,将在时间上连续的多个图像数据向连拍图像合成部107(图1)输出。此外,这样的图像数据由于为了计算被摄体的亮度值而由亮度值计算部102(图1)利用,所以也被向该亮度值计算部102输出。
在用户设定部204中,读取用户设定的焦点距离、光圈值、感光度、快门速度等一般性的照相机参数(数据204d)。并且,用户设定部204将读取的照相机参数向照相机参数设定部209输出。
此外,用户设定部204读取用户设定的连拍合成图像的总曝光时间、被摄体的对象(例如脸或车等)、被摄体的区域(例如图像整体或图像的一部分区域等)、被摄体的状况(例如预先测量的被摄体的速度、距离、照度、亮度值等)。并且,将所读取的这些设定向亮度值计算部102、速度计算部103、连拍参数计算部106输出。此外,用户在连拍合成摄影中,在计算量、析像度、感光度中设定了优先的事项的情况下,将该事项读取,向连拍参数计算部106输出。
在照相机参数设定部209中,将在用户设定部204中设定的焦点距离、光圈值、感光度、快门速度等一般性的照相机参数反映到透镜201、光圈202及摄像元件部203中。另外,所谓反映,例如是指透镜201的位置等的控制等。此外,将由连拍参数计算部106求出的上述快门速度和连拍张数反映到摄像元件部203中。即,例如进行控制使该连拍张数的图像中的各个图像用该快门速度摄像。
照相机数据保持部207保持数据。保持的数据例如也可以包括当前安装在摄像装置100中的透镜201、光圈202、摄像元件部203的识别号码。此外,该数据也可以包括与像高及光圈值对应的透镜201的MTF(modulation transfer function)。此外,该数据也可以包括摄像元件部203的像素数、由温度传感器206测量的摄像元件部203的温度数据等。
此外,照相机数据保持部207保持当前设定的焦点距离、光圈值、感光度、快门速度等一般性的照相机参数的数据。将保持的各数据向亮度值计算部102、速度计算部103、连拍参数计算部106输出。
亮度值计算部102(图1)根据由摄像部101输出的数据(数据102d)计算被摄体的亮度值(数据102d、图17的亮度值信息205a),将计算出的亮度值向连拍参数计算部106(图1)输出。
另外,作为例子,对将被摄体的区域设为从摄像部101得到的图像数据的图像的整体(大致整体)、并根据整体计算亮度值的方法进行说明。
首先,亮度值计算部102根据图像数据的整体求出代表亮度值。
另外,作为求出的代表亮度值,例如可以使用全部图像数据的平均值、或图像数据中的最小值、最大值等。
接着,亮度值计算部102将计算出的代表亮度值正规化为任意的快门速度、感光度下的亮度值。
另外,例如,在将以作为当前设定的快门速度的1/8(sec)、作为设定的感光度的ISO400摄影的被摄体的代表亮度值正规化为快门速度1(sec)、感光度ISO100下的值的情况下,快门速度成为8倍,感光度成为1/4倍。由此,通过乘以8×(1/4)=2倍,能够得到正规化的亮度值。
另外,这样的正规化为了使在连拍参数计算部106中使用的亮度值成为不依存于照相机参数的值而进行。
另外,作为被摄体的亮度值,也可以使用基于在用户设定部204中设定的、预先测量的被摄体的照度及亮度值等的数据计算出的亮度值。
例如,在用户设定部204中,也可以设定由照度计测量的被摄体的照度。并且,在亮度值计算部102中,也可以使用将照度与亮度值建立了对应的表,求出该表与设定的照度建立对应的亮度值作为被摄体的亮度值。
在速度计算部103(图1)中,根据由摄像部101输出的数据(数据103d)计算被摄体的速度(数据103d,图17的相对速度信息205v),将计算出的速度向连拍参数计算部106输出。
另外,作为这样输出的速度的数据,可以使用在1秒钟的期间中被摄体的图像运动的像素数(pixel/sec)等。
作为这样的计算被摄体的速度的处理的具体例,可以举出被摄体因手抖而抖动的情况下的、通过使用从照相机数据保持部207输出的焦点距离(mm)求出手抖的速度来进行的处理。
一般而言,在设定了1/焦点距离(sec)的快门速度的情况下,可以说难以发生手抖引起的抖动的影响。由此,作为适合作为表示手抖的速度的数据的数据,在大体想到的许多情况下,可以计算焦点距离(pixel/sec)。
此外,在用户设定部204中,在设定了脸或车那样的运动的被摄体的情况下,可以根据前一帧中的被摄体的位置与当前帧中的被摄体的位置之间的差来求出该被摄体的速度。
另外,作为被摄体的速度,也可以使用基于在用户设定部204中设定的预先测量的数据(关于被摄体的速度及距离的数据等)计算出的速度。例如,在作为被摄体而摄影车的情况下,在用户设定部204中,用户设定使用速度测量器测量出的车的速度。并且,设定根据该车通过的道路与照相机之间的位置关系得到的距离。根据这样设定的车的速度、距离和焦点距离,能够求出在照相机中摄像的图像中的、作为车的速度的该图像中的上述的像素数。
在速度析像度数据库104(图1)中,保存有表示依存于被摄体的速度的、抖动量与析像度之间的关系的数据(数据104d)。
被摄体的速度越快、或者快门速度越长,则被摄体的抖动量越多,析像度越低。
图4是表示将以被摄体速度Y运动的析像度图(ISO12233)的楔形部分摄影而得到的图像的图。即,图4的表中表示的左栏的图像、中央栏的图像、及右栏的图像的3张图像中的各个图像是以与其他哪个图像中的快门速度都不同的快门速度摄影的图像。
在比较短的时间的快门速度1/80(sec)的情况下(左栏),可知通过目视能够确认的析像度变高。
此外,在较长的快门速度1/20(sec)的情况下(右栏),由于析像度图抖动,所以可知通过目视能够确认的析像度变低。
图5是将这样的被摄体速度Y下的快门速度与析像度之间的关系用曲线图表示的图。
图5的纵轴的析像度是根据在上述的图4中说明那样摄影的、各个快门速度(横轴)下的析像度图通过目视确认析像度的值(条数)。
另外,作为析像度,也可以不是这样的通过目视确认的值的析像度等,而利用通过析像度测量软件等测量的值的析像度、或根据摄影图像测量的任意的空间频率中的对比度值的析像度等。
速度析像度数据库104(图1)将在该图5中表示那样的依存于快门速度(横轴)的抖动量与析像度(纵轴)之间的关系作为表(以下称作速度析像度表)保存。在速度析像度表(数据104d)中,根据被摄体101x的速度,该速度析像度表中的、对应于该速度的析像度的值不同。
此外,在速度析像度表中,根据透镜201的识别号码、对应于像高的透镜201的MTF、摄像元件部203的像素数、光圈值等,析像度的值变化。
通过准备对应于它们中的至少1个的、两个MTF中的两个速度析像度表等两个以上的速度析像度表,在连拍参数计算部106中参照高精度的表,能够避免参照其他的精度低的表。
此外,也可以考虑连拍合成摄影中的各连拍图像的对位(拍摄了与拍摄在一个连拍图像中的位置上的被摄体的部位相同的部位的、另一个连拍图像中的位置的确定等)中的偏差(这两个位置之间的位置关系)。例如,通过对测量出的析像度乘以考虑到因各位置之间的上述的偏差造成的析像度恶化的倍率,能够制作比测量出的析像度本身中的精度更高精度的表。
亮度值析像度数据库105(图1)保存依存于连拍合成摄影的总曝光时间和被摄体的亮度值所成的组的数据。例如,保存两个以上的组中的各个组的总曝光时间及亮度值下的该数据。各个数据是表示噪声量(快门速度)与析像度之间的关系的数据(数据105d)。
在将亮度值较小的被摄体连拍合成摄影的情况下,即使连拍合成摄影的总曝光时间相同,根据快门速度和连拍张数所成的组不同,噪声量也不同。
图6是将非常小的亮度值X的被摄体以总曝光时间1/5(sec)连拍合成摄影的图像。
在图6所示的3张图像中,根据图像不同,该图像中的快门速度与连拍张数所成的组与其他图像中的组不同,另一方面,总曝光时间在哪个图像中都相同(1/5sec)。
如图6的左栏、中央栏、右栏中的左栏那样,在是较短的快门速度1/80(sec)、连拍张数是16张的情况下,即使将两个以上的连拍图像合成,也不能将噪声除去,可知析像度图的图像(左栏的图像)淹没在噪声中。
这是因为,在各个连拍图像中,由于暗电流噪声那样的固定样式噪声为支配性的,所以即使将这样的多个连拍图像相加,也难以将噪声除去。
在对这样的情况下的连拍合成图像实施低通过滤器等的NR(噪声降低)的情况下,由于除去的噪声的量较多,所以需要将NR的强度设定得较强。在实施了强度较强的NR的情况下,在与噪声除去同时,析像度较大地恶化,所以能够通过目视确认的析像度变低。
另一方面,在是较长的快门速度1/20(sec)、连拍张数是4张的情况下(右栏),析像度图中的噪声的量变少。
这是因为,由于在每1张的连拍图像中的摄像中的曝光量变多,暗电流噪声那样的固定样式噪声的影响变少,所以通过将多个连拍图像相加,容易将噪声除去。
在对这样的情况下的连拍合成图像实施NR的情况下,由于除去的噪声量较少,所以能够将NR的强度设定得较弱。因此,因NR造成的析像度的恶化变小,所以能够用目视确认的析像度变高。
图7是表示这样的亮度值X与总曝光时间1/5(sec)所成的组的、每1张连拍图像的快门速度及连拍张数所成的组(横轴)与析像度(纵轴)的关系的图。
连拍张数由于总曝光时间是固定的,所以根据快门速度,唯一地决定为“总曝光时间”除以该“快门速度”的时间而得到的值的张数。
亮度值析像度数据库105中的析像度和速度析像度数据库104中的析像度,使用以相同的尺度测量的值。
另外,析像度既可以无NR而测量,也可以在实施已有的NR后测量。
在亮度值析像度数据库105中,将图7那样的各个快门速度和连拍张数所成的组(横轴)、与用该组中的快门速度及连拍张数将连拍图像摄影时的连拍合成图像中的析像度(噪声量,纵轴)的关系作为表(以下设为亮度值析像度表)保存。
在亮度值析像度表(数据105d)中,根据该亮度值析像度表中的连拍合成摄影的总曝光时间和被摄体的亮度值所成的组是哪一组,该亮度值析像度表中的析像度的值与其他组中的亮度值析像度表中的值不同。
此外,在亮度值析像度表中,该亮度值析像度表中的析像度的值也根据该亮度值析像度表中的摄像元件部203的识别号码、摄像元件部203的像素数、摄像元件部203的温度数据等,而相对于其他亮度值析像度表中的值变化。通过准备对应于它们中的至少1个的亮度值析像度表,在连拍参数计算部106中能够参照更高精度的表。
这样,有图1的数据103d(图17的信息205a)和数据102d(图17的信息205v)。
通过数据103d,确定作为单位时间中的被摄体101x的运动的第1运动(速度)等。
第1运动(运动101xM)是相对于摄像装置100的运动的相对运动等。
有第2运动,该第2运动是该第1运动进行了曝光时间(图9的横轴)的期间而成的运动,是曝光时间(图9的横轴)的期间中的被摄体101x的运动。
根据该第2运动确定作为在进行该第2运动时生成的连拍合成图像的析像度的上限的第1析像度(图9的虚线)。
该第1析像度当上述第1运动比较小而上述第2运动越小时越低,当第1运动比较大而第2运动越大时越高。
即,通过数据103d确定上述第1析像度(图9的虚线)作为该数据103d表示的上述第1运动下的第2运动中的析像度等。
另外,通过数据102d表示作为在单位时间中取得的被摄体101x的亮度的亮度水平的第1亮度水平等。
有第2亮度水平,该第2亮度水平是对该第1亮度水平乘以曝光时间的长度而得到的水平等,是在曝光时间的期间中取得的被摄体101x的亮度的亮度水平。
有固定样式噪声的水平相对于该第2亮度水平的比率(相对于第2亮度水平的相对的噪声量)。
根据该比率确定作为生成的连拍合成图像的析像度的上限的第2析像度(图9的实线)。
该第2析像度在上述固定样式噪声的比率越高时越低,在固定样式噪声的比率越低时越高。
另外,也可以是,在上述比率高的情况下,上述第1亮度水平的像素淹没在高比率的水平的固定样式噪声中,该第2析像度低。另一方面,也可以是,在该比率低的情况下,没有这样的淹没,该第2析像度高。
即,通过数据102d确定上述第2析像度(图9的实线)为由该数据102d表示的第1亮度水平下的上述第2亮度水平的比率下的析像度等。
生成的连拍合成图像的析像度例如是作为这些第1析像度和第2析像度中的更低的析像度等的第3析像度等。
另一方面,有多个曝光时间(图9的1/80秒、1/40秒、1/20秒等)。
通过数据103d,作为将该数据103d下的上述第1运动进行了各个曝光时间(图9的1/80秒、1/40秒、1/20秒等)而成的运动等而确定各个曝光时间下的第2运动,进而,确定各个曝光时间下的第1析像度(图9的值q1、q21、q22等)。
此外,通过数据102d确定各个曝光时间下的上述第1析像度,通过确定该曝光时间下的上述第2析像度,确定各个曝光时间下的第2析像度(值X2、X3等)。
即,通过这些数据103d及数据102d的两个数据,确定各个曝光时间下的上述第3析像度(图9的值X2、X3、X1)。
进而,通过这些数据103d及数据102d,确定这些多个曝光时间下的上述第3析像度中的最高的第3析像度,确定最高的第3析像度的曝光时间(在图9中是1/40秒)。
另外,如图9所示,例如确定的最高的第3析像度的曝光时间下的第1析像度(值X3)与该曝光时间下的第2析像度(值X3)相同。
如在后面详细叙述那样,例如进行以下的控制。
在该控制中,例如,进行由数据103d及数据102d确定的、上述最高的第3曝光时间的曝光时间下的曝光。
另外,在该控制中,例如进行下述张数的连拍图像的摄像:在对该曝光时间乘以该张数的值而得到的时间与规定的总曝光时间相同。
由此,使将这些连拍图像的曝光时间合计而得到的合计时间与上述总曝光时间相同。
并且,在该控制中,例如进行控制使该张数的连拍图像中的各个连拍图像在该曝光时间的曝光下摄像。
另外,这样的控制例如通过输出表示上述曝光时间的信息205b(图17)和表示上述张数的信息205n来进行。
另外,该控制例如通过参数设定部205(图17)进行。
在连拍参数计算部106中,根据被摄体的速度、连拍合成摄影的总曝光时间和被摄体的亮度值所成的组,计算适合于连拍合成摄影的快门速度和连拍张数。并且,将计算出的这些连拍张数等向摄像部101输出。作为例子,使用图8的处理流程说明使连拍合成摄影的总曝光时间为1/5(sec)、使被摄体的速度为Y、使亮度值为X的情况下的快门速度和连拍张数的方法。
图8是表示处理流程的图。
在步骤S201中,从速度析像度数据库104中参照图5那样的、对应于被摄体的速度Y的速度析像度表。
此时,通过使用从照相机数据保持部207输出的透镜201的识别号码、对应于像高的透镜201的MTF、摄像元件部203的像素数、光圈值等的数据,能够参照精度更高的速度析像度表。
在步骤S202中,参照亮度值析像度数据库105中的、图7所示的曲线图中的亮度值析像度表那样的、与被摄体亮度值X和总曝光时间1/5(sec)所成的组对应的亮度值析像度表。
此时,通过使用从照相机数据保持部207输出的摄像元件部203的识别号码、摄像元件部203的像素数、摄像元件部203的温度数据等,能够参照精度更高的亮度值析像度表。
在步骤S203中,使用在步骤S201和步骤S202中得到的速度析像度表和亮度值析像度表,计算适合于连拍合成摄影的快门速度和连拍张数。
图9是表示标绘图5中的析像度和图7中的析像度而得到的曲线图。
图5和图7的纵轴的析像度用同样的尺度测量,所以速度析像度表和亮度值析像度表能够如图9那样标绘在相同的轴的曲线图上。
速度析像度表表示依存于快门速度(横轴)的、连拍合成图像中的抖动量(上述第2运动)及析像度(虚线的数据)的关系。在该关系中,更左侧的更短的时间的快门速度(横轴)下的析像度(纵轴)是更高的析像度。并且,亮度值析像度表表示快门速度(横轴)与在该快门速度及连拍张数所成的组(横轴,快门速度)下摄影的连拍合成图像中的析像度(噪声量,实线的数据)的关系。在该关系中,更左侧的更短的时间的快门速度(横轴)下的析像度(纵轴)是更低的析像度。
通过使用该图9中那样的曲线图,能够求出任意的快门速度(快门速度和连拍张数所成的组,图9的横轴)下的连拍合成图像中的析像度(两个析像度中的更低的析像度)。
作为例子,首先,对作为连拍合成摄影的参数而将快门速度设定为1/20(sec)、将连拍张数设定为4张的情况详细地说明(参照图4右栏、图6右栏)。
在此情况下,由于每1张连拍图像的快门速度、即在将1个连拍图像摄像时进行的曝光的时间比较长,所以在连拍合成图像中,由噪声引起的析像度恶化变小(参照图7、图9的实线的数据、图6的右栏的图像等)。
但是,由于每1张连拍图像的抖动量、即各个连拍图像中的被摄体的像的抖动的抖动量较多,所以由抖动引起的析像度恶化变大(参照图5、图9的虚线的数据、图4的右栏的图像等)。
因此,在连拍合成图像中,因抖动造成的析像度恶化(参照图9的虚线的数据等)为支配性的,连拍合成图像的析像度为速度析像度表(参照图9的虚线等)中的、与该快门速度1/20(sec)中的析像度相同程度的、比较低的值X1。
接着,对作为连拍合成摄影的参数而将快门速度设定为1/80(sec)、将连拍张数设定为16张的情况进行说明(参照图4的左栏的图像、图6的左栏的图像等)。
在此情况下,由于每1张连拍图像的快门速度较短(在图5的横轴上,是比较左侧的快门速度),所以难以发生抖动,因抖动造成的析像度恶化变小(参照图9的虚线的数据、图5、图4的左栏的图像等)。
但是,由于每1张连拍图像的噪声量较多,所以在连拍合成图像中,由噪声引起的析像度恶化变大(参照图7、图9的实线的数据、图6的左栏的图像等)。
因此,在连拍合成图像中,由噪声引起的析像度恶化(参照图9的实线的数据等)为支配性的,连拍合成图像的析像度为亮度值析像度表中的、与该快门速度1/80(sec)中的析像度(图7、图9的实线)相同程度的比较低的值X2。
接着,对作为连拍合成摄影的参数而将快门速度设定为1/40(sec)、将连拍张数设定为8张的情况进行说明(参照图4的中央栏、图6的中央栏等)。
在快门速度为1/40(sec)的情况下,根据图9可知,速度析像度表(虚线)中的析像度与亮度值析像度表(实线)中的析像度为相同程度(大指相同)。在此情况下,因抖动引起的析像度恶化的影响与因噪声引起的析像度恶化的影响为相同程度。因此,连拍合成图像中的析像度为最高的值X3。
如以上这样,通过设定速度析像度表和亮度值析像度表的两个表中的析像度交叉的点的快门速度(快门速度与连拍张数所成的组),能够得到高析像度、高感光度的适当的连拍合成图像。
即,设定因连拍合成图像的抖动引起的析像度恶化的程度与因连拍合成图像的噪声引起的析像度恶化的程度为相同程度那样的快门速度(快门速度和连拍张数所成的组)。
被摄体的速度越快,因抖动引起的析像度恶化的影响越大,在图9的速度析像度表中,可知虚线的数据中的各快门速度下的析像度变得更低。
因此,被摄体的速度越快,连拍合成摄影中的快门速度越短,连拍张数越多。
被摄体的亮度值越小,因噪声引起的析像度恶化(参照图9中的实线的数据)的影响越大,在图9的亮度值析像度表中,各快门速度下的实线的数据处的析像度变低。
因此,被摄体的亮度值越小,连拍合成摄影中的快门速度越长,连拍张数越少。
在亮度值非常小的情况下,或者在速度非常慢的情况下,作为连拍张数有设定最低的1张的张数的情况。
此外,如上述那样决定连拍合成摄影中的各个连拍图像的摄像中的快门速度,所以在各连拍图像中发生某种程度的抖动。
在步骤S204中,将在步骤S203中决定的快门速度和连拍张数所成的组向照相机参数设定部209(图3)输出。
在连拍图像合成部107(图1)中,进行在摄像部101中摄影的多个连拍图像的合成。
另外,作为合成方法,可以考虑例如确定多个连拍图像中的、拍摄了被摄体中的相互相同的部位的位置(进行对位)的方法。并且,在该方法中,将各个连拍图像中的、被确定的该连拍图像中的位置的像素值合计(相加)为合计值。通过这样,能够实现适当的动作。
即,例如也可以确定与生成的连拍合成图像中的部位相同的、各个连拍图像中的部位。连拍合成图像中的部位的像素值也可以是将各个连拍图像中的被确定的部位的像素值平均的平均值等。
另外,作为对位的方法,可以考虑Lucas-Kanade法、或通过使用陀螺仪传感器的信息来实现的方法等。
此外,在本发明中摄影的连拍图像中,有残留有抖动的情况,所以也可以在连拍图像的相加后、对相加后的上述连拍合成图像进行维纳滤波器等的已有的抖动修正,使该连拍合成图像的析像度进一步提高。
另外,在图17中说明的特征,例如是既对应于该实施方式1也对应于其他实施方式的在多个实施方式中共通的特征等。
(实施方式2)
接着,对实施方式2进行说明。本实施方式2中的结构例如基本上是与上述实施方式1中的结构相同的结构,但仅连拍参数计算部106中的处理不同。
在实施方式1的连拍参数计算部106中,参照了存在于速度析像度数据库104和亮度值析像度数据库105的各个数据库中的表。
速度析像度表根据被摄体速度而该表中的值不同,亮度值析像度表根据连拍合成摄影的总曝光时间和被摄体的亮度值所成的组而该表中的值不同。因此,如果准备与被摄体速度的各个值对应的速度析像度表等,则使用的数据量变多。
在本实施方式2中,说明从存在于各数据库中的表向不存在于各数据库中的表变换的方法。另外,例如这样的变换也可以由连拍参数计算部106进行。由此,能够削减各数据库的数据量。
在本实施方式中,说明在连拍参数计算部106中计算设被摄体的亮度值为X、设速度为Y、设总曝光时间为T的情况下的适当的快门速度和连拍张数的方法。
图10是表示实施方式2中的处理流程的图。
作为前提条件,假设在速度析像度数据库104中不存在对应于速度Y的速度析像度表而存在对应于速度Y/2的速度析像度表。
此外,假设在亮度值析像度数据库105中不存在对应于亮度值X、总曝光时间T所成的组的亮度值析像度表而存在对应于亮度值2X、总曝光时间T/2所成的组的速度析像度表。
在步骤S301中,参照存在于速度析像度数据库104中的对应于被摄体的速度Y/2的速度析像度表。
在步骤S302中,根据参照的对应于速度Y/2的速度析像度表,求出对应于速度Y的速度析像度表。
在被摄体的速度与依存于快门速度的抖动量之间有相关性。例如,速度Y/2下的快门速度1/20(sec)的抖动量与速度Y下的快门速度1/40(sec)的抖动量相同。因此,测量的析像度也相同。
图11是表示利用该性质将表从速度Y/2的速度析像度表变换为速度Y的速度析像度表的情况下的关系的图。
将数据移动,以使速度Y/2下的快门速度S的析像度与速度Y下的快门速度S/2的析像度相同。
在步骤S303中,参照存在于亮度值析像度数据库105中的、对应于被摄体的亮度值2X和总曝光时间T/2所成的组的亮度值析像度表。
在步骤S304中,根据对应于被摄体的亮度值2X和总曝光时间T/2所成的组的亮度值析像度表求出对应于被摄体的亮度值X和总曝光时间T所成的组的亮度值析像度表。
在被摄体的亮度值、总曝光时间所成的组与快门速度、连拍张数所成的组下摄影的连拍合成图像的噪声量中有相关性。
例如,在将亮度值2X的被摄体以快门速度1/80(sec)、连拍张数16张下的、总曝光时间1/5(sec)摄影的连拍合成图像、与将亮度值X的被摄体以快门速度1/40(sec)、连拍张数16张的总曝光时间2/5(sec)摄影的连拍合成图像之间,每1张连拍图像的曝光量和连拍张数相同。因此,噪声量和测量的辨率相同。
图12表示利用该性质、将表从亮度值2X和总曝光时间T/2所成的组的亮度值析像度表变换为亮度值X和总曝光时间T所成的组的亮度值析像度表的情况下的关系的图。
进行移位,以使亮度值2X和总曝光时间T/2所成的组中的快门速度S、连拍张数T/2S张下的析像度与亮度值X和总曝光时间T所成的组中的快门速度2S、连拍张数T/2S张下的析像度相同。
在步骤S304中,使用在步骤S302和步骤S303中分别求出的速度析像度表和亮度值析像度表,计算适合于连拍合成摄影的快门速度和连拍张数。计算的方法使用与实施方式1的步骤S203中的方法同样的方法。在步骤S305中,将在步骤S304中决定的快门速度和连拍张数向照相机参数设定部209输出。
(实施方式3)
接着,对实施方式3进行说明。本实施方式3中的结构是与实施方式1中的结构基本上相同的结构,仅连拍参数计算部106的处理与实施方式1中的处理不同。
在实施方式1中,对速度析像度表和亮度值析像度表的析像度的数据的曲线图如图9那样交叉的情况进行了说明。
在速度析像度表和亮度值析像度表的析像度中,依存于摄像元件部203的像素数及透镜201的MTF而存在极限值。
图13是表示曲线图的图。
因此,在被摄体的亮度值是比较亮的值的情况下、或被摄体的速度是比较慢的速度的情况下,如图13那样,有速度析像度表和亮度值析像度表的两个表中的析像度饱和为极限值、不能唯一地求出快门速度和连拍张数的情况。
在本实施方式中,对这样的情况下的快门速度和连拍张数的决定方法进行说明。
图14是本实施方式3中的连拍参数计算部106的处理的处理流程。
以下,使用图14说明本实施方式。
在步骤S401和步骤S402中,使用与实施方式1的步骤S201和步骤S202中的方法同样的方法,求出速度析像度表和亮度值析像度表。
在步骤S403中,在由判断步骤S401和步骤S402求出的这些速度析像度表和亮度值析像度表中,判断快门速度和连拍张数所成的组是否唯一地决定。
在如上述图9那样、速度析像度表与亮度值析像度表的曲线图交叉的情况下,快门速度和连拍张数所成的组唯一地求出。
在此情况下,在步骤S406中,通过与实施方式1的步骤S203中的方法同样的方法求出快门速度和连拍张数。
如图13那样,在速度析像度表和亮度值析像度表不交叉的情况下,快门速度和连拍张数所成的组不唯一地求出。
在此情况下,在步骤S404中,根据用户的设定求出快门速度和连拍张数。
在步骤S404中,在用户设定的计算量、析像度、感光度下,基于优先的事项求出快门速度和连拍张数。
例如,对通过用户设定部204使计算量或感光度优先的情况进行说明。
在连拍合成摄影中,连拍张数越少,连拍图像合成部107中的连拍图像制作的计算量越少。
此外,连拍张数越少,每1张连拍图像1的亮度值、即各个连拍图像中的被摄体的像的亮度值上升。因此,能够减少连拍合成图像的噪声量。
因此,速度析像度表中的析像度是极限值,并且快门速度越长、连拍张数越少则越好。
在图13的情况下,每1张的连拍图像的快门速度优选的是1/20(sec)。
接着,对通过用户设定部204使析像度优先的情况进行说明。
在被摄体速度不稳定而随机地运动的情况下,被摄体的速度有可能比由速度计算部103计算的速度快,连拍合成摄影中的快门速度越短,析像度越高的可能性越高。
因此,亮度值析像度表中的析像度是极限值,并且快门速度越短、连拍张数越多则越好。
在图13的情况下,作为每1张的连拍图像的快门速度、即将各个连拍图像摄像时的快门速度,优选的是1/30(sec)。
在步骤S405中,将在步骤S404或步骤S406中决定的快门速度和连拍张数向照相机参数设定部209输出。
(实施方式4)
接着,对实施方式4进行说明。
图15是本发明的实施方式4的摄像装置的结构图。
以下,使用图15说明本实施方式的摄像装置100的结构。
在本实施方式4中,不使用图1的结构图中的速度析像度数据库104和亮度值析像度数据库105,而使用从连拍图像合成部107得到的连拍合成图像将快门速度和连拍张数更新。
摄像部101、连拍图像合成部107的各个功能块中的处理是与实施方式1的该功能块中的处理相同的处理。
另一方面,连拍参数计算部106的处理与实施方式1中的处理不同。
此外,新追加了抖动量计算部158和噪声量计算部159。
图16是将本实施方式4中的快门速度和连拍张数更新的方法的处理流程。
作为前提条件,假设连拍合成摄影的总曝光时间为固定。
在步骤S501中,以在摄像部101中当前设定的快门速度和连拍张数进行连拍合成摄影。由此,连拍图像合成部107制作连拍合成图像。
另外,在初始状态中没有设定快门速度和连拍张数的情况下,通过在用户设定部204中设定的初始的快门速度和连拍张数进行摄影。
在步骤S502中,在抖动量计算部158中,测量从连拍图像合成部107得到的连拍合成图像中的抖动量。
测量的抖动量例如可以使用连拍合成图像中的被摄体的抖动幅度。
使用的抖动幅度例如通过使用一般的盲解卷积的方法测量。
这样的抖动量依存于被摄体的速度,被摄体的速度越快,抖动量越大。
在步骤S503中,在噪声量计算部159中,测量从连拍图像合成部107得到的连拍合成图像中的噪声量。
噪声量例如也可以根据连拍合成图像的平坦部分中的分散(方差)值和平均值求出。
例如,可以根据平坦部分的平均值通过计算求出光散粒噪声相对于该平均值的分散值,通过用测量出的分散值除以光散粒噪声的分散值,能够求出连拍合成图像中的暗电流噪声的比率作为噪声量。
另外,作为图像的平坦部分,可以在被摄体区域整体中测量任意的矩形区域中的分散值,并求出并使用值最小的区域。
这样的噪声量依存于被摄体的亮度值,亮度值越小,噪声量越大。
在步骤S504中,连拍参数计算部106使用在步骤S502和步骤S503中求出的抖动量和噪声量将快门速度和连拍张数更新。
更新快门速度和连拍张数,以降低根据抖动量和噪声量计算的评价值。
当计算评价值时,可以通过对抖动量和噪声量分别乘以不同的权重、求出对抖动量进行相乘的相乘后的值和对噪声量进行相乘的相乘后的值这两个值中的最大值来进行该计算。
例如,对设抖动量为B、噪声量为N、对于抖动量的权重为W1、对于噪声量的权重为W2的情况进行说明。
进行抖动量B与权重W1的相乘后的值为W1·B,进行噪声量N与权重W2的相乘后的值为W2·N。
这里,调查W1·B与W2·N之间的大小关系,将较大者的值作为评价值。
在作为评价值而采用W1·B的情况下,为了降低评价值,使当前设定的快门速度短1档,此外,使连拍张数对应于这样短1档而变多。通过这样,能够减少连拍合成图像中的抖动而降低W1·B的值。
此外,在作为评价值而采用W2·N的情况下,为了降低评价值,使当前设定的快门速度长1档,此外,使连拍张数对应于这样短1级而变少。通过这样,能够减少连拍合成图像中的噪声量而降低W2·N的值。
作为有关抖动量和噪声量的权重W1、W2中的各个值,例如使用用户通过用户设定部204设定的值。
作为权重的计算方法,可以采用通过使用在事前摄影的连拍合成图像来计算的方法。
例如,在使用多个组(快门速度和连拍张数所成的多个组)中的各个组摄影而得到的多个连拍合成图像中,可以求出该连拍合成图像能够以最高的析像度摄影的连拍合成图像的抖动量B和噪声量N,计算为W1·B=W2·N那样的W1、W2。
在步骤S505中,将在步骤S504中决定的快门速度和连拍张数向照相机参数设定部209输出。
通过重复本实施方式的处理而将快门速度和连拍张数更新,设定因抖动引起的析像度恶化和因噪声引起的析像度恶化的影响为相同程度的快门速度(图9中的实线与虚线交叉的点处的快门速度)和连拍张数所成的组,能够得到高析像度且高感光度的连拍合成图像。
此外,即使被摄体的亮度值和速度在时间上变化,也对应于此而将适当的快门速度和连拍张数更新,所以适合于连续进行连拍合成摄影。
图17是表示摄像装置100的图。
摄像装置100具备参数设定部205、摄像部203和连拍图像合成部107。
在参数设定部205中,输入表示亮度值的信息(亮度值信息)205a和关于被摄体的相对速度的信息(相对速度信息)205v。
参数设定部205将表示由输入的这些信息205a及信息205v确定的快门速度的信息205b输出。
参数设定部205也输出表示对应于该快门速度的连拍的张数的信息205n。
摄像部203用由输出的信息205b表示的快门速度摄像由输出的信息205n表示的张数的连拍图像中的各个连拍图像。
摄像的各个连拍图像是拍摄有被摄体101x的图像。
连拍图像合成部107根据摄像的上述张数的连拍图像生成拍摄有被摄体101x的图像(连拍合成图像)93a。
这样,例如在某种情形等中,也可以进行以下的动作。
即,通过摄像动作203x将被摄体101x摄像,生成包含被摄体101x的像93m的第1图像93a。包含在生成的第1图像93a中的像93m也可以具有抖动。
所以,通过第2时间下的曝光,摄像包含被摄体101x的像92m的第2图像92a。即,不通过比第2时间长的第1时间的曝光摄像包含被摄体101x的像的图像。由此,第2图像92a中的被摄体101x的像92m的抖动(抖动92p)变得比第1时间的曝光中的图像中的被摄体101x的像的抖动小。
这里,所谓第1时间,例如是将对于摄像了多张的第2图像92a的第2时间分别合计而得到的时间等。
即,摄像多张这样的第2图像92a。即,多张第2图像92a是通过连拍摄像被摄体101x而得到的多张图像。
并且,第1图像93a由摄像的这些多张第2图像92a生成。由于各连拍图像(第2图像92a)的抖动变小,所以合成图像(第1图像93a)的抖动也较小。即,第1图像93a中的抖动变得比通过第1时间的曝光摄影的图像的抖动小。
这里,在被摄体101x被比较强的光91a照射、被比较明亮地照射的第1情况下,能够取得适当的连拍图像,可以想到由多个第2图像92a生成的第1图像93a的画质(例如析像度)较高。
但是,在被摄体101x没有被比较强的光91a照射、没有被比较明亮地照射、而被比较弱的光91b照射的第2情况下,不能取得适当的连拍图像,可以考虑由多个第2图像92a生成的第1图像93a的画质没有变高。
即,在第1情况下,由于各个第2图像92a中的被摄体101x的像92m中的像素值较高,第2图像92a中的相对的噪声的水平(噪声相对于像素值的比率)较低,相对的噪声量变少。因此,由多个第2图像92a生成的第1图像93a的画质也变高。
相反,在第2情况下,通过被摄体101x的像92m的像素值较低,相对的噪声的水平较高,相对的噪声量变多,所以第1图像93a的画质变低。
所以,也可以取得表示被摄体101x被较强的光91a照射还是没有被较强的光91a照射的亮度值信息205a(参照图1的数据102d、图2的S101等)。
另外,取得的亮度值信息205a例如也可以表示各个第2图像92a中的像92m的亮度值是否比阈值高。在表示高的情况下,表示用较强的光91a照射,在没有表示高的情况下,表示没有用较强的光91a照射。
并且,根据取得的亮度值信息205a,仅在用较强的光91a照射的情况下由摄像的多个第2图像92a生成第1图像93a。
相反,在表示没有用较强的光91a照射的情况下,也可以由多个第3图像92b生成第1图像93a。
这里,所谓第3图像92b,是包含被摄体101x的像92n的、通过比上述第2时间(例如,图9的快门速度L1下的时间)长的第3时间(快门速度L2下的时间)下的曝光来摄像的图像。
并且,由这些多个第3图像92b生成的图像的画质(参照图9的值X3的析像度、图6的中央栏处的图像的比较高的析像度等)在上述较暗的第2情况下也比较高(参照比值X3低的、快门速度L1下的析像度的值X2,图6的左栏中的图像的比较低的析像度等)。
即,在较亮的第1情况下,使用第2图像92a生成第1图像93a,在不亮的第2情况下,使用第3图像92b生成第1图像93a。由此,在哪种情况下都能够取得适当的生成图像。
此外,第2情况下的、将第3图像92b摄像时的曝光时间(快门速度)是根据上述亮度值信息205a及被摄体的相对速度信息205v确定的适当的曝光时间。由此,在生成图像中也能够得到充分的析像度。
(其他变形例)
另外,基于上述实施方式说明了本发明,但本发明当然并不限定于上述实施方式。以下这样的情况也包含在本发明中。
(1)上述摄像装置具体而言是由微处理器、ROM、RAM、硬盘单元、显示器单元、键盘、鼠标等构成的计算机系统。在上述RAM或硬盘单元中存储有计算机程序。通过上述微处理器按照上述计算机程序动作,摄像装置达到其功能。这里,计算机程序是为了达到规定的功能而将表示对计算机的指令的命令代码组合多个而构成的。
(2)构成上述摄像装置的构成要素的一部分或全部也可以由1个系统LSI(Large Scale Integration:大规模集成电路)构成。系统LSI是将多个构成部分集成到1个芯片上而制造的超多功能LSI,具体而言,是包括微处理器、ROM、RAM等而构成的计算机系统。在上述RAM中存储有计算机程序。通过上述微处理器按照上述计算机程序动作,系统LSI达到其功能。
(3)构成上述摄像装置的构成要素的一部分或全部也可以由相对于摄像装置能够拆装的IC卡或单体的模组构成。上述IC卡或上述模组是由微处理器、ROM、RAM等构成的计算机系统。上述IC卡或上述模组也可以包括上述超多功能LSI。通过微处理器按照计算机程序动作,上述IC卡或上述模组达到其功能。该IC卡或该模组也可以具有耐篡改性。
(4)本发明也可以是上述所示的方法。此外,也可以是将这些方法通过计算机实现的计算机程序,也可以是由上述计算机程序构成的数字信号。
此外,本发明也可以是将上述计算机程序或上述数字信号记录到计算机可读取的记录介质、例如软盘、硬盘、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、BD(Blu-ray Disc)、半导体存储器等中的产品。此外,也可以是记录在这些记录媒体中的上述数字信号。
此外,本发明也可以是将上述计算机程序或上述数字信号经由电气通信线路、无线或有线通信线路、以因特网为代表的网络、数据广播等传送的系统。
此外,本发明也可以是具备微处理器和存储器的计算机系统,上述存储器存储有上述计算机程序,上述微处理器按照上述计算机程序动作。
此外,也可以通过将上述程序或上述数字信号记录到上述记录媒体中并移送、或通过将上述程序或上述数字信号经由上述网络等移送,由独立的其他计算机系统实施。
(5)也可以将上述实施方式及上述变形例分别组合。
工业实用性
本发明在制造及销售摄像装置或进行图像处理的信息处理装置的产业中能够经营性地、持续地、反复地使用。
根据本发明的摄像装置,在防犯照相机或监视照相机等安全照相机中、即使在人或车一瞬间通过那样的情况下也能够取得高析像度的图像,所以也能够期待防犯率改善的效果。另外,还有可能用在如数字静止照相机、数字摄像机那样被一般消费者使用的各种各样的情形中。
附图标记说明
101摄像部
102亮度值计算部
103速度计算部
104速度析像度数据库
105亮度值析像度数据库
106连拍参数计算部
107连拍图像合成部
108参数设定部
158抖动量计算部
159噪声量计算部
201透镜
202光圈
203摄像元件部
204用户设定部
206温度传感器
207照相机数据保持部
209照相机参数设定部

Claims (9)

1.一种摄像装置,具备:
摄像部,接受来自被摄体的光,生成拍摄有上述被摄体的图像;
连拍图像合成部,合成由上述摄像部在时间上连续摄像的两张以上的张数的上述图像,从而生成拍摄有上述被摄体的连拍合成图像;以及
参数设定部,根据上述被摄体的亮度值和上述被摄体的速度,设定两张以上的上述张数的上述图像中的各个上述图像被摄像时的快门速度;
上述参数设定部以上述连拍合成图像中的因抖动引起的析像度恶化的程度与上述连拍合成图像中的因噪声引起的析像度恶化的程度为相同程度的方式,设定上述快门速度,
上述摄像装置还具备:
速度析像度数据库,表示依存于上述被摄体的上述速度的上述抖动的抖动量与因上述抖动引起的上述析像度恶化的程度之间的关系;以及
亮度值析像度数据库,表示依存于上述被摄体的上述亮度值的上述噪声的噪声量与因上述噪声引起的上述析像度恶化的程度之间的关系;
上述速度析像度数据库保存速度析像度表;
保存的上述速度析像度表表示上述被摄体的各个上述速度下的快门速度与析像度之间的被测量的关系;
上述亮度值析像度数据库保存亮度值析像度表;
保存的上述亮度值析像度表表示上述被摄体的各个上述亮度值下的快门速度与析像度之间的被测量的关系;
上述参数设定部设定在上述速度析像度表和上述亮度值析像度表这两个表中交叉的点的快门速度。
2.如权利要求1所述的摄像装置,
上述参数设定部根据上述被摄体的上述亮度值和上述被摄体的上述速度,设定上述快门速度和被摄像的上述图像的上述张数。
3.如权利要求2所述的摄像装置,
当上述被摄体相对于该摄像装置的相对速度越快时,上述参数设定部设定越短时间的快门速度作为上述快门速度,并且设定越多的张数作为上述张数。
4.如权利要求2所述的摄像装置,
当上述被摄体的上述亮度值越小时,上述参数设定部设定越长时间的快门速度作为上述快门速度,并且设定越少的张数作为上述张数。
5.如权利要求2~4中任一项所述的摄像装置,
上述摄像部具备用户设定部,该用户设定部能够在各个上述图像被摄像之前设定总曝光时间;
设定的上述张数为:该张数和设定的上述快门速度的乘积与由上述用户设定部设定的上述总曝光时间一致。
6.如权利要求1~4中任一项所述的摄像装置,
上述参数设定部根据下述第1速度析像度表,利用上述被摄体的速度和依存于上述快门速度的抖动量之间的相关性生成下述第2速度析像度表,该第1速度析像度表存在于速度析像度数据库中,表示因依存于上述被摄体的第1上述速度的第1抖动量的上述抖动引起的上述析像度恶化的程度,该第2速度析像度表不存在于上述速度析像度数据库中,表示因依存于上述被摄体的第2上述速度的第2抖动量的上述抖动引起的上述析像度恶化的程度。
7.如权利要求1~4中任一项所述的摄像装置,
上述参数设定部根据下述第1亮度值析像度表,利用上述被摄体的亮度值和总曝光时间的组、以及以上述快门速度摄影的上述连拍合成图像的噪声量之间的相关性生成下述第2亮度值析像度表,该第1亮度值析像度表存在于亮度值析像度数据库中,表示因依存于上述被摄体的第1上述亮度值的第1噪声量的上述噪声引起的上述析像度恶化的程度,该第2亮度值析像度表不存在于上述亮度值析像度数据库中,表示因依存于上述被摄体的第2上述亮度值的第2噪声量的上述噪声引起的上述析像度恶化的程度。
8.如权利要求5所述的摄像装置,
上述快门速度基于摄像条件设定;
上述摄像条件包括透镜的识别号码、摄像元件的识别号码、光圈值、温度中的至少1个。
9.一种摄像方法,包括:
摄像步骤,接受来自被摄体的光,生成拍摄有上述被摄体的图像;
连拍图像合成步骤,合成上述摄像步骤中在时间上连续摄像的两张以上的张数的上述图像,从而生成拍摄有上述被摄体的连拍合成图像;以及
参数设定步骤,根据上述被摄体的亮度值和上述被摄体的速度,设定两张以上的上述张数的上述图像中的各个上述图像被摄像时的快门速度;
上述参数设定步骤以上述连拍合成图像中的因抖动引起的析像度恶化的程度与上述连拍合成图像中的因噪声引起的析像度恶化的程度为相同程度的方式,设定上述快门速度;
使用上述摄像方法的摄像装置具备:
速度析像度数据库,表示依存于上述被摄体的上述速度的上述抖动的抖动量与因上述抖动引起的上述析像度恶化的程度之间的关系;以及
亮度值析像度数据库,表示依存于上述被摄体的上述亮度值的上述噪声的噪声量与因上述噪声引起的上述析像度恶化的程度之间的关系;
上述速度析像度数据库保存速度析像度表;
保存的上述速度析像度表表示上述被摄体的各个上述速度下的快门速度与析像度之间的被测量的关系;
上述亮度值析像度数据库保存亮度值析像度表;
保存的上述亮度值析像度表表示上述被摄体的各个上述亮度值下的快门速度与析像度之间的被测量的关系;
在上述参数设定步骤中,设定在上述速度析像度表和上述亮度值析像度表这两个表中交叉的点的快门速度。
CN201180006263.8A 2010-11-18 2011-11-16 摄像装置、摄像方法 Expired - Fee Related CN102714699B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010257593 2010-11-18
JP2010-257593 2010-11-18
PCT/JP2011/006374 WO2012066775A1 (ja) 2010-11-18 2011-11-16 撮像装置、撮像方法

Publications (2)

Publication Number Publication Date
CN102714699A CN102714699A (zh) 2012-10-03
CN102714699B true CN102714699B (zh) 2016-09-21

Family

ID=46083723

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180006263.8A Expired - Fee Related CN102714699B (zh) 2010-11-18 2011-11-16 摄像装置、摄像方法

Country Status (5)

Country Link
US (1) US8896728B2 (zh)
EP (1) EP2642746B1 (zh)
JP (1) JP5940974B2 (zh)
CN (1) CN102714699B (zh)
WO (1) WO2012066775A1 (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101889932B1 (ko) * 2012-07-25 2018-09-28 삼성전자주식회사 촬영 장치 및 이에 적용되는 촬영 방법
KR101890305B1 (ko) * 2012-08-27 2018-08-21 삼성전자주식회사 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 기록매체
JP6105241B2 (ja) * 2012-09-21 2017-03-29 旭化成ホームズ株式会社 照明制御システム
JP6048911B2 (ja) * 2012-12-17 2016-12-21 株式会社リコー 画像処理装置、画像処理方法および撮像装置
US9591211B2 (en) * 2013-05-10 2017-03-07 Huawei Technologies Co., Ltd. Photographing method and apparatus
CN104144289B (zh) * 2013-05-10 2018-02-06 华为技术有限公司 拍照方法及装置
US9565416B1 (en) 2013-09-30 2017-02-07 Google Inc. Depth-assisted focus in multi-camera systems
US9615012B2 (en) * 2013-09-30 2017-04-04 Google Inc. Using a second camera to adjust settings of first camera
US9478010B2 (en) * 2013-12-12 2016-10-25 Google Technology Holdings LLC Generating an enhanced image of a predetermined scene from a plurality of images of the predetermined
CN103888683B (zh) * 2014-03-24 2015-05-27 深圳市中兴移动通信有限公司 移动终端及其拍摄方法
KR20160016068A (ko) * 2014-08-01 2016-02-15 삼성전자주식회사 이미지 생성 방법 및 그 전자 장치
CN105472231B (zh) * 2014-09-03 2019-03-29 联想(北京)有限公司 控制方法、图像采集装置和电子设备
JP2016092723A (ja) * 2014-11-10 2016-05-23 ソニー株式会社 信号処理装置及び撮像システム
CN105306806B (zh) * 2014-12-22 2019-01-29 维沃移动通信有限公司 一种移动终端及其拍照的方法
JP6466786B2 (ja) * 2015-06-12 2019-02-06 オリンパス株式会社 撮像装置、撮像方法およびプログラム
CN105635575B (zh) 2015-12-29 2019-04-12 宇龙计算机通信科技(深圳)有限公司 成像方法、成像装置和终端
CN107615744B (zh) * 2016-04-27 2020-07-24 华为技术有限公司 一种图像拍摄参数的确定方法及摄像装置
CN105959557B (zh) * 2016-06-07 2019-05-10 深圳市万普拉斯科技有限公司 拍照方法和装置
WO2018119632A1 (zh) * 2016-12-27 2018-07-05 深圳市大疆创新科技有限公司 图像处理的方法、装置和设备
CN107509044B (zh) * 2017-08-31 2020-08-18 Oppo广东移动通信有限公司 图像合成方法、装置、计算机可读存储介质和计算机设备
CN108462831B (zh) * 2018-03-18 2020-09-08 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN110166703B (zh) 2018-03-27 2020-05-19 华为技术有限公司 拍照方法、拍照装置和移动终端
CN109194882B (zh) 2018-08-22 2020-07-31 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
CN109218628B (zh) * 2018-09-20 2020-12-08 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
CN112085682B (zh) * 2020-09-11 2023-08-22 成都国科微电子有限公司 图像降噪方法、装置、电子设备及存储介质
CN112367470B (zh) * 2020-10-29 2022-03-08 维沃移动通信有限公司 图像处理方法、装置及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003259184A (ja) * 2002-03-06 2003-09-12 Olympus Optical Co Ltd 撮像装置
JP2009008961A (ja) * 2007-06-29 2009-01-15 Fujifilm Corp 撮影装置及びその制御方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7061524B2 (en) * 2001-11-13 2006-06-13 The Board Of Trustees Of The Leland Stanford Junior University Motion/saturation detection system and method for synthesizing high dynamic range motion blur free images from multiple captures
US7009636B2 (en) * 2001-11-13 2006-03-07 The Board Of Trustees Of The Leland Stanford Junior University Photocurrent estimation from multiple captures for simultaneous SNR and dynamic range improvement in CMOS image sensors
US8570389B2 (en) * 2004-07-22 2013-10-29 Broadcom Corporation Enhancing digital photography
JP4987355B2 (ja) * 2005-10-14 2012-07-25 京セラ株式会社 撮像装置および撮像方法
JP4956403B2 (ja) 2007-12-19 2012-06-20 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
KR20090067230A (ko) * 2007-12-21 2009-06-25 손승남 차량번호인식을 위한 카메라 제어방법
US8130278B2 (en) * 2008-08-01 2012-03-06 Omnivision Technologies, Inc. Method for forming an improved image using images with different resolutions
JP2010063088A (ja) * 2008-08-08 2010-03-18 Sanyo Electric Co Ltd 撮像装置
JP4661922B2 (ja) * 2008-09-03 2011-03-30 ソニー株式会社 画像処理装置、撮像装置、固体撮像素子、画像処理方法およびプログラム
US8724928B2 (en) * 2009-08-31 2014-05-13 Intellectual Ventures Fund 83 Llc Using captured high and low resolution images
US8194165B2 (en) * 2009-09-30 2012-06-05 Truesense Imaging, Inc. Methods for capturing and reading out images from an image sensor
US8279316B2 (en) * 2009-09-30 2012-10-02 Truesense Imaging, Inc. Methods for capturing and reading out images from an image sensor
US8144220B2 (en) * 2009-09-30 2012-03-27 Truesense Imaging, Inc. Methods for capturing and reading out images from an image sensor
US8279317B2 (en) * 2009-09-30 2012-10-02 Truesense Imaging, Inc. Methods for capturing and reading out images from an image sensor
US8194166B2 (en) * 2009-09-30 2012-06-05 Truesense Imaging, Inc. Methods for capturing and reading out images from an image sensor
US8134628B2 (en) * 2009-09-30 2012-03-13 Truesense Imaging, Inc. Methods for capturing and reading out images from an image sensor
US8294803B2 (en) * 2009-09-30 2012-10-23 Truesense Imaging, Inc. Methods for capturing and reading out images from an image sensor
US8314873B2 (en) * 2009-09-30 2012-11-20 Truesense Imaging, Inc. Methods for capturing and reading out images from an image sensor
US20110074997A1 (en) * 2009-09-30 2011-03-31 Border John N Methods for capturing and reading out images from an image sensor
US20110074980A1 (en) * 2009-09-30 2011-03-31 Border John N Methods for capturing and reading out images from an image sensor
US8194164B2 (en) * 2009-09-30 2012-06-05 Truesense Imaging, Inc. Methods for capturing and reading out images from an image sensor
US8149303B2 (en) * 2009-09-30 2012-04-03 Truesense Imaging, Inc. Methods for capturing and reading out images from an image sensor
US8179445B2 (en) * 2010-03-03 2012-05-15 Eastman Kodak Company Providing improved high resolution image

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003259184A (ja) * 2002-03-06 2003-09-12 Olympus Optical Co Ltd 撮像装置
JP2009008961A (ja) * 2007-06-29 2009-01-15 Fujifilm Corp 撮影装置及びその制御方法

Also Published As

Publication number Publication date
JPWO2012066775A1 (ja) 2014-05-12
US8896728B2 (en) 2014-11-25
WO2012066775A1 (ja) 2012-05-24
JP5940974B2 (ja) 2016-06-29
EP2642746B1 (en) 2015-06-10
EP2642746A4 (en) 2014-03-12
EP2642746A1 (en) 2013-09-25
US20120287310A1 (en) 2012-11-15
CN102714699A (zh) 2012-10-03

Similar Documents

Publication Publication Date Title
CN102714699B (zh) 摄像装置、摄像方法
US10944901B2 (en) Real time assessment of picture quality
JP5868183B2 (ja) 撮像装置及び撮像方法
US9998650B2 (en) Image processing apparatus and image pickup apparatus for adding blur in an image according to depth map
JP5820257B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
US8705801B2 (en) Distance estimation device, distance estimation method, integrated circuit, and computer program
US9208396B2 (en) Image processing method and device, and program
CN109255810B (zh) 图像处理装置及图像处理方法
US9100559B2 (en) Image processing apparatus, image pickup apparatus, image processing method, and image processing program using compound kernel
US9420168B2 (en) Image processing apparatus, image processing method, and storage medium
CN102572262A (zh) 电子设备
US9332195B2 (en) Image processing apparatus, imaging apparatus, and image processing method
CN107615747A (zh) 图像处理设备、摄像设备、图像处理方法和存储介质
JP7104294B2 (ja) 測距カメラ
JP5882789B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US9538074B2 (en) Image processing apparatus, imaging apparatus, and image processing method
JP6608194B2 (ja) 画像処理装置およびその制御方法ならびにプログラム
JP2016066995A (ja) 像ズレ量算出装置、撮像装置、および像ズレ量算出方法
JP6491442B2 (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
JP2014086899A (ja) 画像処理装置、画像処理方法およびプログラム。
JP6639155B2 (ja) 画像処理装置及び画像処理方法
JP2015130646A (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
CN105593739B (zh) 照相机系统和焦点检测像素的校正方法
JP2023137196A (ja) 画像処理装置、撮像装置、画像処理方法、およびプログラム
JP2020134399A (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、および記憶媒体

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: MATSUSHITA ELECTRIC (AMERICA) INTELLECTUAL PROPERT

Free format text: FORMER OWNER: MATSUSHITA ELECTRIC INDUSTRIAL CO, LTD.

Effective date: 20141015

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20141015

Address after: Seaman Avenue Torrance in the United States of California No. 2000 room 200

Applicant after: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

Address before: Osaka Japan

Applicant before: Matsushita Electric Industrial Co.,Ltd.

C53 Correction of patent of invention or patent application
CB02 Change of applicant information

Address after: Seaman Avenue Torrance in the United States of California No. 20000 room 200

Applicant after: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

Address before: Seaman Avenue Torrance in the United States of California No. 2000 room 200

Applicant before: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM:

C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160921

Termination date: 20191116

CF01 Termination of patent right due to non-payment of annual fee