CN108259757A - 摄像装置、图像处理装置、以及记录方法 - Google Patents
摄像装置、图像处理装置、以及记录方法 Download PDFInfo
- Publication number
- CN108259757A CN108259757A CN201810212426.1A CN201810212426A CN108259757A CN 108259757 A CN108259757 A CN 108259757A CN 201810212426 A CN201810212426 A CN 201810212426A CN 108259757 A CN108259757 A CN 108259757A
- Authority
- CN
- China
- Prior art keywords
- image
- pixel
- data
- image data
- photographic device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 116
- 238000000034 method Methods 0.000 title claims abstract description 53
- 241001269238 Data Species 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 10
- 239000000203 mixture Substances 0.000 claims description 7
- 230000015572 biosynthetic process Effects 0.000 claims description 5
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 238000006073 displacement reaction Methods 0.000 abstract description 62
- 238000003384 imaging method Methods 0.000 abstract description 6
- 238000013079 data visualisation Methods 0.000 abstract 1
- 238000012937 correction Methods 0.000 description 46
- 238000007792 addition Methods 0.000 description 43
- 230000003287 optical effect Effects 0.000 description 29
- 230000008569 process Effects 0.000 description 23
- 238000004891 communication Methods 0.000 description 18
- 238000001514 detection method Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 230000015654 memory Effects 0.000 description 9
- 210000001747 pupil Anatomy 0.000 description 9
- 230000006837 decompression Effects 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 7
- 238000007906 compression Methods 0.000 description 7
- 230000006835 compression Effects 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 230000007547 defect Effects 0.000 description 4
- 238000009792 diffusion process Methods 0.000 description 4
- 238000007667 floating Methods 0.000 description 4
- 238000003825 pressing Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 239000003990 capacitor Substances 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 230000005693 optoelectronics Effects 0.000 description 3
- 239000013589 supplement Substances 0.000 description 3
- 230000035508 accumulation Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 101100508416 Caenorhabditis elegans ifd-1 gene Proteins 0.000 description 1
- 241000406668 Loxodonta cyclotis Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/58—Control of the dynamic range involving two or more exposures
- H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
- H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/663—Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
提供能够以更高画质使RAW数据显影的摄像装置、图像处理装置、记录图像文件的记录介质、记录方法、图像再现方法以及程序。具有:摄像部(11),其生成图像数据,该图像数据是将从多个像素分别输出的多个电信号中的从作为置换对象的置换像素输出的电信号置换为同时或在不同定时得到的不同的摄像用像素的电信号而得到的;以及图像文件生成部(194),其生成图像文件,该图像文件将摄像部(11)生成的图像数据和与摄像部(11)的置换像素的位置有关的位置信息对应起来记录。
Description
本申请是申请日为2013年03月13日,申请号为201380027680.X,发明名称为“摄像装置、图像处理装置、以及记录方法”的发明专利申请的分案申请。
技术领域
本发明涉及通过对被摄体摄像并进行光电转换来生成电子图像数据的摄像装置、对图像数据实施图像处理的图像处理装置、记录有图像文件的记录介质、图像数据的记录方法、记录图像数据的图像文件的图像再现方法以及程序。
背景技术
近年来,在数字相机或数字摄像机等摄像装置中,已知通过RAW数据的形式将摄像结果记录于存储卡等记录介质中的技术。这里,RAW数据是从摄像元件得到的摄像结果的图像数据,是未执行γ校正处理、白平衡调整处理和频率特性的校正处理等用于显示摄像结果的一系列画质校正处理的画质校正前的图像数据。作为记录这种RAW数据的摄像装置,已知将画质校正前的RAW数据与确定摄影时的画质校正处理的画质指定信息对应起来记录的摄像装置(参照专利文献1)。
现有技术文献
专利文献
专利文献1日本特开2007-334708号公报
发明内容
发明要解决的课题
然而,在上述专利文献1中记录的RAW数据例如是使用周边的其他像素的图像数据对摄像元件的像素缺陷进行插值后得到的数据。因此,如果通过个人计算机等其他图像处理装置对记录于记录介质中的RAW数据进行显示用的画质校正处理并显影,则其制约会影响画质。
本发明就是鉴于上述情况而完成的,其目的在于提供一种能够以更高画质对RAW数据进行显影的摄像装置、图像处理装置、图像文件、记录方法以及程序。
用于解决课题的手段
为了解决上述课题,达成目的,本发明的摄像装置的特征在于,具有:摄像部,其生成图像数据,该图像数据是将从多个像素分别输出的多个电信号中的从作为置换对象的置换像素输出的电信号置换为同时或在不同定时得到的不同的摄像用像素的电信号而得到的;以及图像文件生成部,其生成图像文件,该图像文件将所述摄像部生成的所述图像数据和与所述摄像部的所述置换像素的位置有关的位置信息对应起来记录。
此外,本发明的摄像装置的特征在于,在上述发明中,所述置换像素是以下像素中的任意一种以上的像素:像素存在缺陷的缺陷像素;检测该摄像装置的焦点时使用的检测用像素;具有与构成图像的像素不同的滤色器(用于检测特定的波长的BPF(Band PassFilter:带通滤波器)等)的像素;在边缘提取中提取出的提取像素;以及使用其他图像数据对像素信号进行补充校正的校正对象的校正像素。近年来,摄像元件中存在具有各种功能的结构,并非所有像素都能用于摄像,因此需要在图像化时事先把握不用于图像形成的像素数据、不适于使用的像素数据、图像用以外的像素数据。在把握了以上情况后,能够进行校正、代用或置换而再现良好的图像。
此外,本发明的摄像装置的特征在于,在上述发明中,所述校正像素是用于调整摄影参数的专用功能像素或与根据摄影条件确定的图像区域相当的像素。
此外,本发明的图像处理装置对由具有摄像部的摄像装置生成的图像文件实施图像处理,该摄像部具有多个像素,其特征在于,该图像处理装置具有图像处理部,该图像处理部取得图像文件,根据由取得的所述图像文件记录的位置信息对图像数据进行画质校正处理,生成处理图像数据,其中,所述图像数据由所述摄像部生成,并且是将从作为置换对象的置换像素输出的电信号置换为同时或在不同定时得到的不同的摄像用像素的电信号而得到的,所述图像文件将所述图像数据和与所述摄像部的所述置换像素的位置有关的所述位置信息对应起来记录。
此外,本发明的图像处理装置的特征在于,在上述发明中,还具有显示部,该显示部再现显示与所述处理图像数据对应的处理图像。
此外,本发明的记录介质记录由具有摄像部的摄像装置生成的图像文件,该摄像部具有多个像素,其特征在于,所述图像文件记录如下内容:图像数据,其由所述摄像部生成,并且是将从作为置换对象的置换像素输出的电信号置换为同时或在不同定时得到的不同的摄像用像素的电信号而得到的;以及位置信息,其与所述摄像部的所述置换像素的位置有关。
此外,本发明的记录方法是由具有摄像部的摄像装置执行的记录方法,该摄像部具有多个像素,其特征在于,执行如下步骤:摄像步骤,生成图像数据,该图像数据是将从多个像素分别输出的多个电信号中的从作为置换对象的置换像素输出的电信号置换为同时或在不同定时得到的不同的摄像用像素的电信号而得到的;以及图像文件生成步骤,生成图像文件,该图像文件将在所述摄像步骤中生成的所述图像数据和与所述摄像步骤中的所述置换像素的位置有关的位置信息对应起来记录。
此外,本发明的图像再现方法是由进行图像文件的图像再现的图像再现设备执行的图像再现方法,该图像文件记录图像数据,其特征在于,该图像再现方法具有以下步骤:取得步骤,取得与置换像素的位置有关的置换对象像素信息,该置换像素是构成对应于所述图像数据的图像、且被置换为其他像素的像素;确定步骤,根据在所述取得步骤中取得的所述置换对象像素信息,由从构成对应于所述图像数据的图像的多个像素中分别输出的多个电信号确定所述置换像素;生成步骤,通过从所述多个图像分别输出的多个电信号对在所述确定步骤中确定出的所述置换像素进行插值并生成插值图像数据;以及再现步骤,对在所述生成步骤中生成的所述插值图像数据进行再现。
此外,本发明的程序的特征在于,使具有具备多个像素的摄像部的摄像装置执行如下步骤:摄像步骤,生成图像数据,该图像数据是将从多个像素分别输出的多个电信号中的从作为置换对象的置换像素输出的电信号置换为同时或在不同定时得到的不同的摄像用像素的电信号得到的;以及图像文件生成步骤,生成图像文件,该图像文件将在所述摄像步骤中生成的所述图像数据和与所述摄像步骤中的所述置换像素的位置有关的位置信息对应起来记录。
发明的效果
根据本发明,图像文件生成部生成图像文件,该图像文件将RWA数据和与插值像素或置换像素的位置有关的位置信息对应起来记录,因此具有如下效果:在对RAW数据进行显示用的画质校正处理时,能够增加再现时的自由度并以高画质进行显影。
附图说明
图1是表示本发明的第1实施方式的摄像装置的功能结构的框图。
图2是表示本发明的第1实施方式的摄像装置的摄像部的受光部和垂直模拟加法电路的结构的一例的电路图。
图3是说明本发明的第1实施方式的摄像装置的AF信号计算部进行的瞳分割相位差法的概要的示意图。
图4是表示根据本发明的第1实施方式的摄像装置的AF信号计算部进行的瞳分割相位差法而由摄像部得到的图像信号的图。
图5是说明本发明的第1实施方式的摄像装置的AF信号计算部进行的其他的瞳分割相位差法的概要的示意图。
图6是说明本发明的第1实施方式的摄像装置的摄像部的像素排列的图。
图7是说明本发明的第1实施方式的摄像装置的摄像部进行的像素的插值方法的图。
图8是表示本发明的第1实施方式的摄像装置的图像文件生成部生成的图像文件的结构的一例的图。
图9是表示本发明的第1实施方式的摄像装置执行的处理的概要的流程图。
图10是表示图9的动态图像时像素读出处理的概要的流程图。
图11是示意性表示通过其他图像处理装置对由本发明的第1实施方式的摄像装置拍摄到的RAW数据进行显影时的像素的图像数据的图。
图12是表示本发明的第2实施方式的摄像装置的功能结构的框图。
图13是表示本发明的第2实施方式的摄像装置执行的处理的概要的流程图。
图14是表示本发明的第2实施方式的摄像装置的显示部显示的图像的一例的图。
图15是表示本发明的第2实施方式的摄像装置进行的HDR摄影的图像的一例的图。
图16是表示本发明的第2实施方式的摄像装置进行的HDR摄影的图像的另一例的图。
图17是表示本发明的第2实施方式的摄像装置的图像文件生成部生成的图像文件的一例的图。
图18是示意性表示通过其他图像处理装置对由本发明的第2实施方式的摄像装置拍摄到的RAW数据进行显影时的像素的图像数据的图。
图19是表示本发明的第2实施方式的变形例的摄像装置的图像文件生成部生成的图像文件的一例的图。
具体实施方式
以下,参照附图,说明用于实施本发明的方式(以下,称作“实施方式”)。此外,本发明不限于该实施方式。进而,在附图的描述中,对于相同的部分赋予同一符号。
(第1实施方式)
图1是表示本发明的第1实施方式的摄像装置的功能结构的框图。图1所示的摄像装置1具有主体部10和更换镜头部20,该更换镜头部20可自由拆装于主体部10上,从规定的视野区域会聚光。
主体部10具有摄像部11、主体通信部12、时钟部13、操作输入部14、记录部15、记录介质16、显示部17、触摸面板18、控制部19。
摄像部11通过CCD或CMOS传感器等摄像元件构成。摄像部11既可以是如具有拜尔排列的摄像元件那样从1个像素输出1个数据的摄像元件,也可以是具有层叠型的受光部且从1个像素输出RGB这样的多个数据的摄像元件。摄像部11在控制部19的控制下进行驱动。摄像部11经由快门(未图示)通过多个像素的受光面接受来自更换镜头部20的被摄体的光,生成光电转换后的电信号作为画质校正前的图像数据(RAW数据)。具体而言,摄像部11生成图像数据并将该图像数据输出给控制部19,其中,该图像数据是将从多个像素分别输出的多个电信号中的从作为置换对象的置换像素输出的电信号置换为同时或在不同定时得到的不同的摄像用像素的电信号而得到的。此时,摄像部11将与置换像素和对置换像素进行插值后的摄像用像素各自的位置有关的位置信息(地址信息)输出给控制部19。这里,置换像素指的是像素存在缺陷的缺陷像素、检测摄像装置1的焦点时的检测用像素(以下,称作“AF像素”)、为了获得光源的特性和被摄体的颜色特性等而具有与构成图像的像素不同的滤色器(用于检测特定的波长的BPF等)的像素、使用在光学黑体提取中提取的OB图像和在边缘提取时提取的提取像素以及其他图像数据对像素信号进行补充校正的校正对象的校正像素中的任意一种像素。这里,校正像素是用于调整摄影参数的专用功能像素或与根据摄影条件确定的图像区域相当的像素。此外,摄影参数是曝光值、快门速度、ISO灵敏度和白平衡。此外,摄影条件是被摄体深度信息、被摄体的亮度信息和被摄体的颜色信息。近些年来,摄像元件存在具有各种功能的结构,并非所有像素都能够用于摄像,因此需要在图像化时预先把握不用于图像形成的像素数据、不适于使用的像素数据、图像用以外的像素数据。在把握了以上内容的基础上,能够进行校正、代用或置换而再现良好图像。此外,还可能存在由于摄影光学系统的问题而优选不使用的像素,因此优选这种像素在再现时不直接使用该信号,而进行校正、代用或置换。
下面说明摄像部11的详细结构。摄像部11具有受光部111、垂直模拟加法电路112、水平数字加法电路113、AF用存储器114。
受光部111上呈矩阵状配置多个像素,接收来自更换镜头部20的被摄体的光并进行光电转换,输出电信号。
垂直模拟加法电路112从受光部111中相加并读出2个行的像素的值,将该2个行的加法像素值输出给水平数字加法电路113。
水平数字加法电路113在2个列上将从垂直模拟加法电路112输入的2个行的加法像素值相加,将4像素的加法像素值作为动态图像摄像时的加法像素值输出给控制部19,并且作为AF像素的像素值输出给AF用存储器114并记录。
图2是表示受光部111和垂直模拟加法电路112的结构的一例的电路图。受光部111由呈矩阵状配置的多个像素构成,图2中仅示出受光部111中的同色的2行的2个像素P(虚线)的结构。
如图2所示,各像素P通过光电二极管PD、转发晶体管T1、浮动扩散FD、重置晶体管T2、放大晶体管T3构成。光电二极管PD根据接收的光产生电荷。光电二极管PD中产生的电荷被转发晶体管T1转发给浮动扩散FD并被蓄积。通过重置晶体管T2设定浮动扩散FD的重置和蓄积期间,基于浮动扩散FD的信号电荷的电压被放大晶体管T3放大。
行选择开关T4基于行选择信号而接通、断开,经由列线(Column line)CA将来自放大晶体管T3的信号电流输出给CDS电路11a。1列的所有行选择开关T4与共同的列线CA连接,同一行的所有行选择开关T4同时接通,从而从同一行的全部像素P经由各列线CA将信号供给到各CDS电路11a。
如上构成的像素P在静态图像摄影时,通过未图示的垂直扫描电路按照每条线选择性接通行选择开关T4。此外,像素P在动态图像摄像时,通过垂直扫描电路接通每条线的同一色的2行的行选择开关T4。由此,像素P在动态图像摄影时,经由列线CA输出同一色的2行的像素P的像素值。
CDS电路11a去除同一色的2行的像素值的重置噪声而进行输出。CDS电路11a的输出经由晶体管T5蓄积于电容器C1中。在动态图像摄像时,在电容器C1中蓄积2像素的像素值之和的电荷。电容器C1的蓄积电荷经由放大器11b被供给给模拟数字转换部(ADC)11c,并被转换为数字信号后输出给控制部19。这样,从设置于各列线CA上的ADC11c输出同色的2行的像素P的加法像素值。另外,各ADC11c的输出通过未图示的水平扫描电路被依次输出。
另外,为了简化受光部111的结构,并且使处理变得高速,需要使各像素的结构和读出的步骤等在像素间共同化。因此,摄像部11在动态图像摄影时,仅输出同色的2行的像素P的加法像素值,无法输出单一的像素P的像素值。此外,摄像部11在动态图像摄影时,在通过水平扫描电路完成了2行的像素P的读出后,进行下2行的像素P的读出。另外,每当2行的像素P的读出结束时,都重置这些行的各像素P。
返回图1,继续说明摄像装置1的结构。
主体通信部12是用于进行与安装于主体部10上的更换镜头部20的通信的通信接口。主体通信部12还包括与更换镜头部20的电触点。
时钟部13具有计时功能和摄影日期时间的判定功能。时钟部13为了对由摄像部11摄像的图像数据附加日期时间数据而向控制部19输出日期时间数据。
操作输入部14具有:电源开关,其作为操作输入用的用户接口,将摄像装置1的电源状态切换为接通状态或断开状态;释放开关,其受理用于赋予静态图像摄影的指示的静态图像释放信号的输入;模式转盘开关,其切换摄像装置1中设定的各种摄影模式;操作开关,其切换摄像装置1的各种设定;选单开关,其将摄像装置1的各种设定显示于显示部17上;再现开关,其将与记录于记录介质16的图像数据对应的图像显示于显示部17上;以及动态图像开关,其受理用于赋予动态图像摄影的指示的动态图像释放信号的输入。释放开关能够通过来自外部的按压而进退。释放开关在被半按下的情况下,被输入指示摄影准备动作的第1释放信号。与此相对,在全部按下释放开关的情况下,被输入指示静态图像摄影的第2释放信号。
记录部15是使用易失性存储器和非易失性存储器构成的。记录部15暂时记录经由控制部19从摄像部11输入的图像数据和摄像装置1的处理中的信息。此外,记录部15记录用于使摄像装置1动作的各种程序、摄像程序和程序的执行中使用的各种数据和各种参数。此外,记录部15记录用于确定摄像装置1的制造编号。
记录介质16是使用从摄像装置1的外部安装的存储卡等构成的。记录介质16经由存储器I/F(未图示)以自由拆装的方式安装于摄像装置1。在控制部19的控制下,在记录介质16中写入记录图像数据的图像文件,或读出记录于记录介质16的图像文件图像数据。此外,在本第1实施方式中,图像文件记录图像数据和与摄像部11的置换像素的位置有关的位置信息,其中,该图像数据由摄像部11生成,并且是将从作为置换对象的置换像素输出的电信号置换为同时或在不同定时得到的不同的摄像用像素的电信号而得到的。
显示部17是使用由液晶或有机EL(Electro Luminescence)等构成的显示面板构成的。显示部17显示与图像数据对应的图像。这里,图像的显示包括将刚刚完成摄影后的图像数据显示规定时间(例如3秒)的记录浏览显示、再现记录于记录介质16的图像数据的再现显示和按照时间序列依次显示与由摄像部11连续生成的图像数据对应的实时取景图像的实时取景显示等。此外,显示部17适当显示摄像装置1的操作信息和与摄影有关的信息。
触摸面板18设置于显示部17的显示画面上。触摸面板18检测来自外部的物体的触摸,输出与检测的触摸位置对应的位置信号。此外,触摸面板18可以检测用户根据在显示部17上显示的信息而接触的位置,按照该检测到的接触位置受理指示由摄像装置1进行的动作的指示信号的输入。通常,作为触摸面板18,具有电阻膜方式、静电电容方式、光学方式等。在本第1实施方式中,能够应用任意的方式的触摸面板。
控制部19是使用CPU(Central Processing Unit)等构成的。控制部19按照从操作输入部14或触摸面板18输入的指示信号,向构成摄像装置1的各部分进行控制信号和各种数据的发送,从而总括地控制摄像装置1的动作。
下面说明控制部19的详细结构。控制部19具有AF信号计算部191、图像处理部192、图像压缩解压缩部193、图像文件生成部194、记录控制部195。
AF信号计算部191根据从摄像部11输入的图像数据取得规定的区域的像素的图像信号,根据取得的图像信号的相位差,生成基于瞳分割相位差法的AF信号。AF信号计算部191经由主体通信部12将AF信号输出给更换镜头部20。另外,后面叙述AF信号计算部191的瞳分割相位差法的详细情况。
图像处理部192生成处理图像数据,该处理图像数据是对从摄像部11输入的图像数据(RAW数据)进行包括画质校正处理的各种图像处理后得到的。具体地,图像处理部192对图像数据进行至少包含调整图像的明亮度的增益处理、校正灰度的灰度校正处理、边缘处理、平滑化处理、白平衡处理、色校正处理、噪声减少处理、γ校正处理和对应于摄影模式的色相校正处理在内的图像处理,生成显示用或记录用的处理图像数据。这里,摄像模式是通过人物摄影(肖像摄影)、风景摄影、夜景摄影等场景来校正显影的图像的画质的模式。另外,在本第1实施方式中,图像处理部192作为图像处理装置发挥功能。
图像压缩解压缩部193按照规定的形式压缩由图像处理部192实施了图像处理的处理图像数据,将该压缩后的压缩图像数据输出给记录介质16。这里,作为规定的形式,具有JPEG(Joint Photographic Experts Group:联合图像专家小组)方式、MotionJPEG方式和MP4(H.264)方式等。此外,图像压缩解压缩部193取得记录于记录介质16的图像数据(压缩图像数据),将取得的图像数据解压缩并输出给图像文件生成部194或记录部15。
图像文件生成部194生成图像文件,该图像文件将画质校正前的图像数据(RAW数据)、处理图像数据和压缩图像数据与摄影信息对应起来记录,该跟摄影信息包含:与摄像部11的置换像素和对置换像素进行插值后的摄像用像素各自的位置有关的位置信息(地址信息)或表示包含各自的位置的范围的范围信息、摄像装置1的摄影模式、图像处理部192的图像处理参数。另外,后面叙述图像文件生成部194生成的图像文件的详细情况。这里,由于是补充不足的像素信息,因而使用了“插值”这一用语,也可以将进行的处理改说为“置换”。
记录控制部195将图像文件生成部194生成的图像文件记录于记录介质16中。此外,记录控制部195使图像文件生成部194生成对应于从操作输入部14或触摸面板18输入的指示信号的内容的图像文件。具体而言,记录控制部195使图像文件生成部194生成将RAW数据与摄影信息对应起来记录的图像文件并将其记录于记录介质16中。
还可以在具有以上的结构的主体部10上进一步设置声音输入输出部、向被摄体发出辅助光(闪光)的辅助光发光部、具有经由因特网与外部的图像处理装置进行双向通信的功能的通信部等。
接着,说明更换镜头部20。更换镜头部20具有光学系统21、驱动部22、镜头通信部23、操作部24、镜头记录部25、镜头控制部26。
光学系统21是使用一个或多个透镜和光圈构成的。光学系统21从规定的视野区域聚集光。光学系统21具有使视场角改变的光学变焦功能和使焦点改变的对焦功能。
驱动部22是使用DC电机或步进电机等构成的,通过使光学系统21的透镜在光轴O1上移动,从而进行光学系统21的焦点位置和视场角等的变更。此外,驱动部22驱动光学系统21的光圈。
镜头通信部23是在更换镜头部20连接于主体部10时,用于与主体部10的主体通信部12进行通信的通信接口。
操作部24是设置于更换镜头部20的透镜镜筒的周围的环,受理开始光学系统21的光学变焦的操作的操作信号的输入或指示光学系统21的焦点位置的调整的指示信号的输入。另外,操作部24可以是按压式的开关等。
镜头记录部25是使用Flash存储器构成的,记录用于分别确定光学系统21的位置和动作的控制用程序、光学系统21的镜头特性、焦距、亮度级数和各种参数。
镜头控制部26是使用CPU等构成的。镜头控制部26根据操作部24的操作信号或来自主体部10的指示信号控制更换镜头部20的动作。具体地,镜头控制部26根据操作部24的操作信号驱动驱动部22进行光学系统21的焦点对准、变焦变更或光圈值的变更。此外,镜头控制部26在更换镜头部20安装于主体部10时,将更换镜头部20的焦点位置信息、焦距和识别更换镜头部20的固有信息等发送给主体部10。
接着,说明上述AF信号计算部191使用的瞳分割相位差法。图3是说明AF信号计算部191使用的瞳分割相位差法的概要的示意图。
如图3所示,从被摄体Z1经由各光路射入摄像装置1的光学像通过光学系统21而在摄像部11的摄像元件的入射面上成像。作为AF检测用的像素(以下,称作AF像素)构成2个摄像部(例如,R摄像部和L摄像部),将各光路在射出瞳例如分割为右方向和左方向,将来自右方向的光(右光)和来自左方向的光(左光)分别射入R摄像部11R和L摄像部11L。具体地,如放大图3所示的摄像部11的一部分所示,通过使R摄像部11R、L摄像部11L相对于光学系统21的光轴偏心,从而能够使右光和左光分别射入R摄像部11R、L摄像部11L中。
在焦点对准的情况下,来自被摄体的同一点的光射入R摄像部11R、L摄像部11L。因此,通过在水平方向上配置的AF检测用的多个R摄像部11R得到的图像信号与通过多个L摄像部11L得到的图像信号相同。
与此相对,在未对焦的情况下,来自被摄体的同一点的光会射入根据焦点的偏移量而偏移后的位置的R摄像部11R和L摄像部11L中。因此,如图4所示,通过在水平方向上配置的AF检测用的多个R摄像部11R得到的图像信号(实线)L1与通过多个L摄像部11L得到的图像信号(虚线)L2的相位错开,该相位的偏移量对应于焦点的偏移量。这样,AF信号计算部191根据由R摄像部11R、L摄像部11L得到的图像信号L1和图像信号L2的相位差,生成驱动焦点调整用的镜头的驱动信号,经由主体通信部12输出给更换镜头部20,从而能够实现摄像装置1的自动对焦。
另外,在图3中,示出了为了使AF像素和摄像用像素(通常像素)的结构共同化,通过仅具有R摄像部11R的像素(以下,称作R像素)和仅具有L摄像部11L的像素(以下,称作L像素)构成AF像素的例子。另外,AF信号计算部191也可以如图5所示,省略L像素,仅使用R像素作为AF像素,对通过多个摄像用像素(以下,也称作N像素)得到的图像信号的相位和通过R摄像部11R得到的图像信号的相位进行比较,从而生成焦点调整用的驱动信号。
接着,详细说明摄像部11的像素排列。图6是说明摄像部11的像素排列的图。在图6中,较密的影线表示配置蓝色的滤色器的蓝色的像素,较粗的影线表示配置红色的滤色器的红色的像素,无底色处表示配置绿色的滤色器的绿色的像素,具有切边的框表示AF像素。另外,在图6中,作为像素排列举例说明的是拜尔排列,例如也可以应用于蜂窝排列。
如图6所示,在拜尔排列中,以水平和垂直2×2像素为单位重复相同的排列。即,2×2像素中斜向配置蓝和红的像素,剩余的斜向的2个像素配置绿的像素。在图6中,A~G的符号用于指定像素,像素R是AF检测用的R像素。另外,在图3的像素R的位置配置用于获得绿色的像素的绿色的滤色器。
摄像部11在静态图像摄影时将从各像素读出的信号直接用作摄像图像的各像素值,在摄像后进行像素插值。另一方面,摄像部11在动态图像摄像时,将同色的4个像素的像素值相加,从而生成该颜色的1个像素。例如,摄像部11将绿色的像素D~G相加生成绿色的1个像素,将像素A、B、R、C相加生成该生成的像素的相邻像素。这对于其他颜色而言也相同。然而,像素R并非N像素,因此若直接使用像素A、B、R、C构成1个像素,则会产生画质劣化。于是,在本第1实施方式中,摄像部11利用其他的像素对AF像素插值,从而生成图像数据(RAW数据)。
图7是说明摄像部11执行的像素的插值方法的图。另外,在图7中,说明了仅使用R像素作为AF像素的例子,然而在仅使用L像素作为AF像素的情况下,以及使用R、L像素双方作为AF像素的情况下同样能够应用。
如图7所示,摄像部11在进行动态图像摄像的情况下,为了高速进行通过同色的2行的2列像素生成1个像素的处理,在从受光部111中读出图像信号时,将同色的2行的像素相加并读出。在通过A~G、R表示像素A~G、R的像素值的情况下,如图7(a)和图7(b)所示,对于绿色的像素,输出加法像素值(D+F)、(E+G)、…、(A+R)、(B+C)、…。进而,对于从摄像部11读出的加法像素值,进行同色的2列的像素加法,从而如图7(c)和图7(d)所示,可获得加法像素值(D+E+F+G)、…、(A+B+R+C)、··。另外,如上所述,像素R是输出仅基于从射出瞳的右方向射入的光的像素值的R像素。
在本第1实施方式中,1个像素由R摄像部11R和L摄像部11L构成,若能够将R摄像部11R的像素值与L摄像部11L的像素值相加,则能够根据这种AF像素获得与N像素同等的像素值。即,在像素R的位置上,不仅设有R摄像部11R还设有L摄像部11L的情况下,估计L摄像部11L的像素值,在对像素R的像素值上加入估计出的L摄像部11L的像素值,从而能够求出在像素R的位置上构成N像素的情况下的像素值。
另外,摄像部11在动态图像摄像时,为进行高速处理,进行上述加法读出,在动态图像摄像时无法进行从受光部111中读出单独的像素的像素值等加法读出以外的读出。因此,摄像部11既无法直接读出像素R的像素值,也无法直接求出像素R的2倍的像素值作为像素R的位置的N像素的值。因此,像素R的位置(参照图6)是被像素D~G围出的中央的位置,将在该位置构成N像素时的像素值估计为加法像素值(D+E+F+G)/4。进而,R摄像部11R与L摄像部11L的像素值为大致相同的值,设这些像素值的和为N像素的像素值,将加法像素值(D+E+F+G)/8作为像素R的位置的L摄像部11L的像素值(图7(c))。这样,摄像部11将在加法像素值(A+B+R+C)上加入作为L摄像部11L的像素值的加法像素值(D+E+F+G)/8而得到的值,作为用N像素构成所有像素A、B、R、C的情况下的加法像素值(图7(d))。
另一方面,摄像部11为了进行动态图像摄像时的AF处理,需要求出像素R的像素值(R摄像部的像素值)。图像处理部192从摄像部11输出加法像素值(A+R),根据该加法像素值(A+R)估计并减去像素A的像素值,从而获得像素R的像素值。像素A是与由像素D~G围出的中央的像素接近的同色像素,因此将像素A的像素值估计为加法像素值(D+E+F+G)/4。这样,摄像部11通过加法像素值(A+R)-加法像素值(D+E+F+G)/4来求出像素R的像素值(图7(e))。
接着,说明图像文件生成部194生成的图像文件。图8是表示图像文件生成部194生成的图像文件的结构的一例的图。
图8所示的图像文件F100是通过以EXIF为基准的格式记录RAW数据的文件,与EXIF同样地设有文件头,通过IFD(Image File Directory)被分配各种数据。
这里,图像文件F100在文件先头的字段F1中记录主图像数据的再现所需的信息(主图像数据IFD0)、该主图像数据的摄影时的信息(摄影信息IFD1)。在本第1实施方式中,向主图像数据分配RAW数据DR,主图像数据的摄影时的信息被分配用于确定在RAW数据的摄影时使用的摄像装置1的信息、摄影条件的信息。具体而言,被分配EXIF的对应的信息,还被分配光圈、对焦距离、快门速度等的信息、图像处理部192的画质校正模式等的信息和图像处理的参数以及文件名、用户名等EXIF中定义的信息。
此外,图像文件F100的字段F2被分配由图像压缩解压缩部193生成的以JPEG格式进行了数据压缩的缩略图图像数据,在字段F3记录由该摄像装置1的制造商独自定义的信息(平文部制造商信息IFD)。图像文件F100的这些先头3个字段F1~F3是通过EXIF的格式生成的,因而形成为通过能够处理EXIF的文件的各种应用也能够再现分配给主图像数据的RAW数据。
接着,图像文件F100被分配主图像数据的摄影时的图像处理信息DS0A。具体而言,在字段F4中记录RAW数据DR的摄影时的摄像装置1的光圈的设定(例如,0EV,-1EV等的设定)、快门速度、摄影模式等。此外,依次记录在摄影时得到的具体的参数。在本第1实施方式中,作为参数,首先记录再现摄影时的图像处理所需的参数,然后记录各种在局部切取RAW数据DR时使用的基准的参数(以下,称作“切取用基准信息”)。
即,图像文件F100在字段F5上记录再现摄影时的图像处理所需的参数(以下,称作“图像处理信息”)。因此,关于光圈,在先头侧的字段F4上例如记录为0EV,在接下来的字段F5的图像处理信息DS0A上记录具体的光圈值5.6等。此外,关于画质校正模式,在先头侧的字段F4上记录自动白平衡调整模式、人物摄影的摄影模式等,此外,在字段F5的图像处理信息DS0A上记录该自动白平衡调整模式的各色信号的增益、对应于摄影模式的颜色校正的参数等。
此外,图像文件F100在字段F6上设定各种的切取用基准信息DS0B。具体而言,在字段F6记录根据对焦调整检测的摄影时的对焦位置信息。这里,摄影时的对焦位置信息是在RAW数据DR的图像上对焦的区域的位置信息。此外,记录通过摄影时的对焦搜索处理检测到的背景的对焦位置信息。在字段F6上记录摄影时检测到的脸部的位置信息。在摄像装置1中,摄影时使用脸部的模板检测由控制部19拍摄脸部的区域,将检测到该脸部的区域设定给该脸部位置的信息。另外,摄像装置1在用户选择人物摄影的摄影模式的情况下,以使得检测到该脸部的区域对焦的方式进行对焦调整,取得RAW数据DR。另外,在未检测到脸部的情况下,在脸部的位置信息上记录该情况。
此外,图像文件F100记录逆光位置的信息。这里,逆光位置的信息是在摄像结果中表示逆光的部分的位置信息,在进行对焦搜索时检测摄像结果的各部的对焦位置,根据该对焦位置的检测结果,检测被判断为对1个物体进行了摄影、并且对焦位置越位于身前侧则亮度级别越低的区域,将该检测到的区域的位置信息设定给逆光位置的信息。图像文件F100还记录饱和位置的信息。这里,饱和位置的信息是根据该摄像装置1的动态范围而使得亮度级别饱和的区域的位置。摄像装置1在摄影时使光圈可变,判定相对于该光圈的变化的各部分的亮度级别的变化,检测饱和的区域。另外,将该检测到的区域的位置信息设定为该饱和位置的信息。此外,图像文件F100记录摄影时的光轴中心的位置信息。这里,光轴中心的位置信息是根据用于确定镜头中所设置的镜头机种的信息而设定的。另外,根据这些逆光位置信息、饱和位置信息、光轴中心位置信息,也无法检测对应的位置信息的情况下,分别记录该情况。图像文件F100接下来被依次分配其他的各种参数,形成该主图像数据的摄影时的摄影信息DS0。
此外,图像文件F100接着记录编辑处理的摄影信息DS1、DS2、···。这里,编辑处理的摄影信息DS1、DS2、···是在编辑处理中设定的摄影信息,是与分配给摄影时的摄影信息DS0的再现摄影时的图像处理信息DS0A对应地设定的。关于摄影信息DS1、DS2、···,对分配给摄影时的摄影信息DS0的字段F4上的光圈的设定、快门速度、摄影模式等摄影信息追加履历的信息,形成先头侧的字段F7。此外,履历的信息是将各摄影信息DS1、DS2、···设定到图像文件F100时的日期时间的信息。进而,图像文件F100在字段F8上记录与被分配给前一个字段F7的摄影信息对应的具体的图像处理信息。
此外,图像文件F100在字段F9上记录与摄像部11的受光部111的AF像素的位置有关的AF像素的位置信息、和与对AF像素进行插值后的摄像用像素有关的位置信息。
此外,图像文件F100在该编辑处理的摄影信息DS1、DS2、···的区域后接着被分配缩略图图像数据DT的再现所需的信息,在进一步接下来的字段上被分配缩略图图像数据DT。此外,被分配作为主图像数据的RAW数据DR。在图像文件F100中,形成为能够在接着该主图像数据之后,追加与分配给摄影时的摄影信息DS0的切取用基准信息(字段F6)DS0B对应的信息即在编辑处理时设定的切取用基准信息。另外,该追加的信息为与摄影时的摄影信息DS0同样的字段结构,并且与编辑处理时的摄影信息DS1、···同样地设定履历的信息。
这里,图像文件F100的RAW数据DR的数据量占据整体的数据量的95〔%〕左右,但是,由于该RAW数据DR被分配给文件的末尾,因而仅再现从文件先头处开始的5〔%〕左右,就能够取得缩略图图像数据DT、摄影信息DS0、编辑处理的摄影信息DS1~DS2等。
这样,在按照图8所示的格式,图像文件生成部194在图像文件F100中记录摄像结果的情况下,基于记录控制部195的指示,通过从摄像部11输出的RAW数据DR、从记录控制部195输出的摄影信息DS和缩略图图像数据DT、由图像压缩解压缩部193生成的基于JPEG的缩略图图像数据DT等,生成该图像文件F100的数据并输出给记录介质16。
接着,说明摄像装置1执行的处理。图9是表示摄像装置1执行的处理的概要的流程图。
如图9所示,在对摄像装置1接通电源后,控制部19判断摄像装置1是否被设定为摄影模式(步骤S101)。在控制部19判断为摄像装置1被设定为摄影模式的情况下(步骤S101:“是”),摄像装置1转移至后述的步骤S102。与此相对,在控制部19判断为摄像装置1未被设定为摄影模式的情况下(步骤S101:“否”),摄像装置1转移至后述的步骤S122。
在步骤S102中,控制部19使摄像部11执行摄像,使显示部17显示对应于从摄像部11输入的图像数据的实时取景图像。此时,图像处理部192对来自摄像部11的图像数据实施与显示部17的显示像素数对应的间隔处理,然后向显示部17输出。
接着,在由操作输入部14输入了指示动态图像摄影的指示信号的情况下(步骤S103:“是”),摄像装置1执行在动态图像摄影时从摄像部11中每次同时读出2行的动态图像时像素读出处理(步骤S104)。
图10是表示动态图像时像素读出处理的概要的流程图。如图10所示,摄像部11将上述图7所示的用于进行运算的变量L、M、N初始化为0(步骤S201)。
接着,摄像部11通过垂直模拟加法电路112,将隔着1行的2行的2个像素相加(步骤S202)。由此,例如可得到图6的绿色像素D、F的加法像素值(D+F)、像素E、G的加法像素值(E+G)、…。
此后,在2行的2个像素为包含AF像素的2个像素的情况下(步骤S203:“是”),摄像部11使变量L增加1(L=L+1)(步骤S204),将加法像素值S1(L)=(A+R)暂时记录于AF用存储器114中(步骤S205)。在步骤S205之后,摄像部11转移至步骤S206。
在2行的2个像素并非具有AF像素的2个像素的情况下(步骤S203:“否”),在受光部111的所有列的处理未结束的情况下(步骤S206:“否”),摄像部11变更受光部111的列(步骤S207),返回步骤S202。与此相对,在受光部111的所有列的处理结束的情况下(步骤S206:“是”),摄像部11转移至步骤S208。
接着,摄像部11通过水平数字加法电路113将间隔1列的4个像素相加(步骤S208)。由此,例如将加法像素值(D+F)与加法像素值(E+G)相加。
此后,在相加的4个像素包围AF像素的情况下(步骤S209:“是”),摄像部11使变量M增加1(步骤S210),将加法像素值S2(M)=(D+E+F+G)暂时记录于AF用存储器114中(步骤S211)。由此,包围AF像素的所有4个像素的加法像素值被存储于AF用存储器114中。在步骤S211之后,摄像部11转移至步骤S212。
在相加的4个像素不包围AF像素的情况下(步骤S209:“否”),摄像部11转移至步骤S212。
接着,在相加的4个像素包围AF像素的情况下(步骤S212:“是”),摄像部11使变量N增加1(步骤S213),将4个像素的加法结果(A+B+R+C)代入加法像素值S3(N)中(步骤S214)。
此后,摄像部11对S3(N)加入S2(M)/8(例如,得到图7(d)的右边的加法像素值(步骤S215)。在步骤S215之后,摄像部11转移至步骤S216。
在步骤S212中,在相加的4个像素不包含AF像素的情况下(步骤S212:“否”),摄像部11转移至步骤S216。
接着,在受光部111的所有行都结束的情况下(步骤S216:“是”),摄像装置1返回图9的主程序。与此相对,在受光部111的所有行未结束的情况下(步骤S216:“否”),摄像部11变更受光部111的行(步骤S217),返回步骤S202。
返回图9,继续进行步骤S105转移的说明。在步骤S105中,控制部19使由同一色的4个像素包围的像素为AF像素时的4个像素的加法像素值S2(J)变为1/4,从而估计AF像素由N像素构成时的像素值N(J)。
接着,AF信号计算部191从包含R像素的2个像素的加法值S1(J)中减去R像素由N像素构成时的像素值N(J)(参照图7(e)),从而估计R像素的像素值R(J)(步骤S106)。
此后,AF信号计算部191从AF像素由N像素构成时的像素值N(J)中减去AF像素由R像素构成时的像素值R(J),从而估计AF像素由L像素构成时的像素值L(J)(步骤S107)。
接着,AF信号计算部191检测通过估计出的多个像素值R(J)而得到的图像信号与通过估计出的多个像素值L(J)而得到的图像信号之间的相关性(步骤S108),并且检测通过估计出的多个像素值R(J)而得到的图像信号与通过估计出的多个像素值N(J)而得到的图像信号之间的相关性(步骤S109)。
此后,镜头控制部26根据从AF信号计算部191输入的AF信号,驱动驱动部22,从而通过相关性较高的一方进行光学系统21的焦点对准(步骤S110)。具体而言,AF信号计算部191在焦点对准的相位差检测中采用可获得较高相关性的组合。例如,AF信号计算部191在通过像素值R(J)得到的图像信号与通过多个像素值L(J)得到的图像信号的相关性较高的情况下,检测通过像素值R(J)得到的图像信号与通过多个像素值L(J)得到的图像信号之间的相位差,根据检测到的相位差生成用于驱动控制更换镜头部20的AF信号并输出给镜头控制部26。该AF信号被输出给镜头控制部26,镜头控制部26驱动驱动部22,进行光学系统21的焦点对准。
接着,图像处理部192使用所取得的每个坐标的颜色数据信息即焦点对准后的4个加法像素值,生成动态图像摄像时的图像,在实施了规定的图像处理后,将对应于处理图像数据的图像显示于显示部17上(步骤S111)。此外,图像压缩解压缩部193对图像处理部192生成的处理图像数据实施编码处理,然后将其记录于记录部152中(步骤S111)。
此后,在经由操作输入部14被输入了结束动态图像摄影的指示信号的情况下(步骤S112:“是”),摄像装置1转移至后述的步骤S117。与此相对,在未经由操作输入部14被输入结束动态图像摄影的指示信号的情况下(步骤S112:“否”),摄像装置1返回步骤S105,继续进行动态图像摄影。
在步骤S103中,在不存在来自操作输入部14的指示动态图像摄影的指示信号的情况下(步骤S103:“否”),当被输入了指示静态图像摄影的指示信号时(步骤S113:“是”),摄像装置1执行自动调整焦点的AF处理(步骤S114),执行静态图像摄影(步骤S115)。此时,控制部19将从摄像部11输入的图像数据(RAW数据DR)记录于记录部15中。
接着,图像处理部192从记录部15取得图像数据,对取得的图像数据实施包括AF像素的插值在内的图像处理并生成处理图像数据(步骤S116)。
此后,图像文件生成部194生成图像文件,该图像文件将记录于记录部15中的RAW数据DR和处理图像数据、与跟由图像处理部192实施了插值处理的摄像部11的AF像素的位置有关的AF像素的位置信息以及跟用于对AF像素进行插值的摄像用像素的位置有关的位置信息对应起来记录(步骤S117),并将生成的图像文件记录于记录介质16中(步骤S118)。由此,如图11所示,摄像装置1为了对应于实时取景图像而生成高速的图像数据,但是,通过记录为RAW数据DR,在通过其他的图像处理装置例如计算机对RAW数据DR进行显影时,通过使用AF像素的位置信息和置换了AF像素的摄像用像素的位置信息,能够生成进行了更为自然且准确的插值或置换和合成的图像。另外,与静态图像摄影同样地,图像文件生成部194将记录于记录部15中的动态图像数据与AF像素的位置信息和插值像素的信息对应起来,生成图像文件。
接着,控制部19使显示部17对与所记录的处理图像数据对应的图像进行记录浏览显示(步骤S119)。
此后,在摄像装置1的电源断开的情况下(步骤S120:“是”),摄像装置1结束本处理。与此相对,在摄像装置1的电源未断开的情况下(步骤S120:“否”),摄像装置1转移至步骤S121。
接着,控制部19根据从操作输入部14输入的指示信号,受理将摄像装置1的模式变更为摄影模式或再现模式的操作(步骤S121)。在步骤S121之后,摄像装置1返回步骤S101。
在步骤S113中,在未经由操作输入部14输入指示静态图像摄影的指示信号的情况下(步骤S113:“否”),摄像装置1转移至步骤S120。
接着,说明摄像装置1未被设定为摄影模式的情况(步骤S101:“否”)。这种情况下,当摄像装置1被设定为再现模式时(步骤S122:“是”),控制部19使显示部17显示记录于记录介质16上的图像文件的一览显示(步骤S123)。具体地,控制部19使显示部17显示与图像文件中包含的图像数据对应的缩略图图像的一览显示。
在选择了图像文件的情况下(步骤S124:“是”),控制部19使显示部17再现与所选择的图像文件的图像数据对应的图像(步骤S125)。此时,图像处理部192使用记录于图像文件的RAW数据DR和插值像素的位置信息进行图像处理,从而进行图像数据的显影。由此,在本第1实施方式中,图像处理部192作为图像处理装置发挥功能。此后,摄像装置1返回步骤S122。
在步骤S124中,未在规定时间(例如3秒)内选择图像文件的情况下(步骤S124:“否”),摄像装置1转移至步骤S126。
接着,在从操作输入部14输入了结束再现模式的指示信号的情况下(步骤S126:“是”),摄像装置1转移到步骤S120。与此相对,在未经由操作输入部14输入结束再现模式的指示信号的情况下(步骤S126:“否”),摄像装置1返回步骤S123。
在步骤S122中,在摄像装置1未被设定为再现模式的情况下(步骤S122:“否”),摄像装置1返回步骤S101。
根据以上说明的本第1实施方式,图像文件生成部194生成图像文件F100,该图像文件F100将由摄像部11生成的画质校正前的图像数据和与摄像部11的AF像素以及对插值像素进行插值的摄像用像素(N像素)各自的位置有关的位置信息对应起来记录,因此,能够在对RAW数据DR进行显示用的画质校正处理的后处理中以高画质对图像进行显影。
进而,根据本第1实施方式,为进行动态图像时的高速处理,在从具有AF像素的摄像部11中将多个像素的像素值相加后输出的情况下,也能够通过简单的运算处理,估计AF像素为通常像素时的加法像素值,能够获得高画质的动态图像。此外,这种情况下,通过简单的运算处理,能够取得AF像素的像素值,高精度地进行焦点对准。另外,简单的运算处理指的是如下处理,即根据要进行相加的多个像素是包含AF像素的像素还是包围AF像素的像素,从而分别存储加法结果,对所存储的加法结果进行简单的四则运算,能够实现高速处理。
此外,在本第1实施方式中,图像处理部192根据AF像素的位置信息和对AF像素进行插值的摄像用像素的位置信息,进行RAW数据DR的画质校正处理,生成处理图像数据,但是,例如也能够应用在边缘提取时提取的提取像素。这种情况下,图像处理部192根据提取像素的位置信息,减小插值像素的权重,关注其周围的像素,由此能够以更高画质显影图像。进而,在一般的噪声减少处理中,判断平坦部和边缘部,然而也能够根据提取像素的位置信息变更此时的判断基准。其结果,能够防止图像处理部192的噪声减少处理导致的不必要的画质劣化。
此外,在本第1实施方式中,说明了仅使用R像素作为AF像素的例子,然而同样能够应用于仅使用L像素的情况以及使用R、L像素双方的情况。
此外,在本第1实施方式中,说明了使用具有接收来自水平左右方向的光的L摄像部11L、R摄像部11R的像素作为AF像素的例子,然而针对使用具有接收来自垂直上下方向的光的2个摄像部的像素作为AF像素的例子,也同样能够应用,这是不言自明的。
此外,在本第1实施方式中,作为RAW数据记录了画质校正前的图像数据,但也可以记录对置换像素插值后的图像数据作为RAW数据,还可以将置换前的(画质校正前的)置换像素的数据另外记录于图像文件中。由此,可任意选择是否对RAW数据DR进行显示用的画质校正处理。可通过各种方法进行校正、代用、置换,能够实现与摄像装置同等的画质,并且在具有另行进行显示用的画质校正处理的后处理的情况下,能够使用这些信息以更高画质显影。这里,仅说明了置换像素的数据的情况,但是,不仅能够通过其他像素置换,还能够根据图像的图案类推并进行校正,将这些情况一并用置换这一用语进行表现。
此外,在本第1实施方式中,校正了对焦用的像素(AF像素),然而还存在将曝光调整用像素嵌入摄像元件中的例子以及嵌入闪光灯的光量控制用的像素、后述的校正曝光的像素的例子,它们都与本实施例同样,该像素并非用于摄影和再现显示用图像的像素或像素数据,无法直接使用,需要上述校正、代用、置换处理。因而,使文件具备表示该像素的位置的信息,对于在后工序中进行处理时而言是很重要的。不仅如此,还可以将进行何种置换和校正的信息放入文件。还可以使其具备例如图7的置换规则、置换用像素的信息。通过制定这种共同规则,能够在再现时在再现装置中实施最佳的图像处理。尤其在存在文件的转交和传输的情况下,需要通过不同的设备再现,该设备可能是PC或智能手机或TV,因而可以根据这些再现设备情况,进行最佳的图像调整。
(第2实施方式)
接着,说明本发明的第2实施方式。本第2实施方式的摄像装置的结构与上述第1实施方式的摄像装置不同。因此,在本第2实施方式中,在说明摄像装置的结构之后,说明本第2实施方式的摄像装置执行的处理。另外,以下,对与上述第1实施方式相同的结构赋予同一符号进行说明。
图12是表示本发明的第2实施方式的摄像装置的功能结构的框图。图12所示的摄像装置200具有主体部210、更换镜头部20。
主体部210具有摄像部11、主体通信部12、时钟部13、操作输入部14、记录部15、记录介质16、显示部17、触摸面板18、被摄体分析部211、控制部212。
被摄体分析部211经由控制部212根据由摄像部11生成的图像数据分析作为插值对象的摄像部11的像素区域。具体地,被摄体分析部211根据在图像数据中包含的亮度信息,分析被摄体的亮度和曝光状态、例如曝光值极限状态(过度曝光)、曝光不足状态(曝光不足)或适当曝光状态的像素区域,将该分析结果输出给控制部212。
控制部212是使用CPU等构成的。控制部212根据从操作输入部14或触摸面板18输入的指示信号,对构成摄像装置200的各部分进行控制信号和各种数据的转发,从而总括地控制摄像装置200的动作。
说明控制部212的详细结构。控制部212具有AF信号计算部191、图像处理部192、图像压缩解压缩部193、图像文件生成部194、记录控制部195、图像合成部213。
图像合成部213在摄像装置200以HDR(High Dynamic Range)摄影模式进行摄影的情况下,根据被摄体分析部211的分析结果和从摄像部11输入的图像数据,生成放大了动态范围的图像数据。具体地,图像合成部213使用从摄像部11输入的2个图像数据、例如在一部分像素动态范围饱和的图像数据(过度曝光图像)和在一部分像素产生噪声的图像数据(曝光不足图像),利用其他像素置换产生噪声的像素或饱和的像素,从而生成调整了动态范围的图像数据。
下面说明具有以上的结构的摄像装置200执行的处理。图13是表示摄像装置200执行的处理的概要的流程图。
如图13所示,在摄像装置200被设定为摄像模式的情况下(步骤S301:“是”),控制部212经由主体通信部12和镜头通信部23与更换镜头部20进行镜头通信(步骤S302)。
接着,控制部212使摄像部11执行摄像,使显示部17显示与从摄像部11输入的图像数据对应的实时取景图像(步骤S303)。此时,图像处理部192在对来自摄像部11的图像数据实施了与显示部17的显示像素数对应的间隔处理后,将其输出给显示部17。
接着,控制部212判断是否从显示部17的画面外进行了滑动触摸或半按下了操作输入部14的释放开关(步骤S304)。具体而言,控制部212根据触摸面板18从显示部17的画面外检测触摸位置,判定该触摸位置是否产生了时间性的变化,从而判断是否被进行了滑动触摸。在控制部212判断为从显示部17的画面外进行了滑动触摸或半按下了操作输入部14的释放开关的情况下(步骤S304:“是”),摄像装置200转移至后述的步骤S305。与此相对,在控制部212判断为未从显示部17的画面外滑动触摸或半按下操作输入部14的释放开关的情况下(步骤S304:“否”),摄像装置200转移至后述的步骤S312。
在步骤S305中,控制部212使显示部17显示用于调整生成HDR图像时的动态范围的HDR条M1。具体如图14所示,控制部212将HDR条M1重叠显示于显示部17显示的实时取景图像Wn(n=自然数)上。进而,控制部212使显示部17将对HDR图像的生成进行重置的重置图标A1重叠于实时取景图像Wn上进行显示。HDR条M1例如显示受理指示曝光过度侧的图像数据的指示信号的输入的条位置上端图标Y1、和受理指示曝光不足侧的图像数据的指示信号的输入的条位置下端图标Y2。
接着,在经由触摸面板18对条位置上端图标Y1进行滑动操作的情况下(步骤S306:“是”),以+侧的图像数据作为合成图像的基准,按照滑动的移动距离使曝光量增减(步骤S307),将HDR的合成图像显示于显示部17上(步骤S308)。例如图15所示,图像合成部213将+侧的图像Wh1作为合成图像的基准,按照滑动的移动距离将彼此合成的图像Wh1和图像Wu1的曝光量增减为适当,生成合成图像Wn+1。在步骤S308之后,摄像装置200转移至后述的步骤S312。
在未经由触摸面板18对条位置上端图标Y1进行滑动操作的情况下(步骤S306:“否”),在经由触摸面板18对条位置下端图标Y2进行滑动操作时(步骤S309:“是”),以-侧的图像数据作为合成图像的基准,按照滑动的移动距离使曝光量增减(步骤S310),将HDR的合成图像显示于显示部17上(步骤S311)。例如图16所示,图像合成部213以-侧的图像Wumax为合成图像的基准,按照滑动的移动距离将彼此合成的图像Whmax和图像Wumax的曝光量增减为适当,生成合成图像Wn+2。在步骤S311之后,摄像装置200转移至后述的步骤S312。
在步骤S309中,在未经由触摸面板18对条位置下端图标Y2进行滑动操作的情况下(步骤S309:“否”),摄像装置200转移至步骤S312。
接着,控制部212判断是否是触摸了重置图标A1的情况、或在显示部17进行了实时取景图像的显示后不存在触摸操作(步骤S312)。在由控制部212判断为触摸了重置图标A1的情况下,或在显示部17进行了实时取景图像的显示后不存在触摸操作的情况下(步骤S312:“是”),摄像装置200转移至步骤S313。与此相对,在由控制部212判断为未触摸重置图标A1的情况下,或在显示部17进行了实时取景图像的显示后存在触摸操作的情况下(步骤S312:“否”),摄像装置200转移至步骤S314。
在步骤S313中,图像合成部213将根据适当曝光的图像数据按照±2级进行了调整的2个图像数据合成起来,生成合成图像。此时,图像合成部213也可以合成适当曝光的图像数据、-2阶段的曝光的图像数据和+2阶段的曝光的图像数据这3个图像数据,生成合成图像。
接着,在不存在操作输入部14的释放开关的半按下操作或触摸,在显示部17上显示了HDR条M1后,经过了规定时间(例如3秒)的情况下(步骤S314:“是”),控制部212将HDR条M1从显示部17的实时取景图像中删除(步骤S315)。在步骤S315之后,摄像装置200转移至步骤S316。与此相对,在不存在操作输入部14的释放开关的半按下操作或触摸,在显示部17上显示了HDR条M1之后,未经过规定时间(例如3秒)的情况下(步骤S314:“否”),摄像装置200执行AE、AF处理(步骤S316)。
接着,在经由操作输入部14的释放开关输入了第2释放信号的情况下(步骤S317:“是”),摄像装置200执行静态图像摄影(步骤S318)。此时,控制部212将从摄像部11输入的2个图像数据(RAW数据DR)记录于记录部15中。
此后,图像文件生成部194生成图像文件,该图像文件将记录于记录部15的校正前的2个图像数据(RAW数据DR)和作为RAW数据DR的由图像合成部213生成的HDR图像RAW数据、与在HDR图像RAW数据中彼此将像素相加并进行插值的像素的位置信息对应起来记录(步骤S319)。具体如图17所示,图像文件生成部194制作图像文件。在该图像文件的F200中,在字段F9上储存校正前的2个RAW数据(第1RAW数据、第2RAW数据)和HDR图像数据。进而,在字段F9上记录与在HDR图像RAW数据上彼此将像素相加并置换的像素的位置有关的位置信息。
接着,图像文件生成部194将生成的图像文件记录于记录介质16中(步骤S320)。由此,如图18所示,摄像装置200为了对应于实时取景图像而生成高速的图像数据,但是,通过记录为RAW数据DR,从而在利用其他的图像处理装置、例如计算机使用RAW数据DR对HDR图像显影时,通过使用置换像素的位置信息((图18(a)~图18(c)),从而能够生成进行了更为自然且准确的置换、合成、校正等图像处理的HDR图像(图18(d))。
此后,在摄像装置200的电源断开的情况下(步骤S321:“是”),摄像装置200结束本处理。相对于此,在摄像装置200的电源未断开的情况下(步骤S321:“否”),摄像装置200返回步骤S301。
在步骤S301中,摄像装置200未设定为摄影模式的情况下(步骤S301:“否”),在摄像装置200设定为再现模式时(步骤S322:“是”),控制部212使显示部17再现记录于记录介质16中的图像文件的图像数据(步骤S323)。此时,图像处理部192可以根据储存于图像文件中的2个RAW数据和置换像素的位置信息,生成HDR图像。由此,不必进行摄影,因此即使图像处理的时间比摄影时长,也能增长图像处理的时间,能够生成进行了更为自然且正确的置换和合成等图像处理的HDR图像(例如参照图18)。
接着,在经由操作输入部14变更了图像的情况下(步骤S324:“是”),控制部212向记录介质16记录的下一个图像文件变更(步骤S325),摄像装置200转移至步骤S321。相对于此,在未经由操作输入部14变更图像的情况下(步骤S324:“否”),摄像装置200转移至步骤S321。
在步骤S322中,摄像装置200未设定为再现模式的情况下(步骤S322:“否”),摄像装置200转移至步骤S321。
根据以上说明的本第2实施方式,图像文件生成部194生成图像文件F200,该图像文件F200将由摄像部11生成的画质校正前的图像数据和与摄像部11的图像处理的校正像素以及置换了校正像素的其他摄像用像素各自的位置有关的位置信息对应起来,因此在对RAW数据DR进行显示用的画质校正处理时能够以高画质显影。
此外,在本第2实施方式中,将第1RAW数据和第2RAW数据记录于1个图像文件中,而例如图19所示,也可以将记录介质16中的第1RAW数据和第2RAW数据的图像文件的指定信息对应起来记录于记录了HDR的RAW数据DR的图像文件F300中。由此,能够减小1个图像文件的容量。
此外,在本第2实施方式中,生成了图像文件F200,该图像文件F200将画质校正前的图像数据、和与摄像部11的图像处理的校正像素以及置换了校正像素的其他摄像用像素各自的位置有关的位置信息对应起来,然而也可以将表示画质校正前的校正必要图像部的数据(表示像素的数据)记录为RAW数据,还可以在画质校正后将表示校正后的图像部的数据(表示像素的数据)记录为RAW数据。还可以并非按照每个像素进行记录,而是将表示区域的数据另行记录于图像文件中。这样,只要记录了已校正的部分和需要校正的部分,就能够通过各种方法进行该部分的画质的校正、图像的代用、数据置换,能够实现与摄像装置不同的画质。
此外,在本第2实施方式中,说明的是置换像素的数据的情况,然而不仅可以通过其他的像素进行置换,还能够根据图像的图案进行类推并校正,将这样的情况也一并用置换这一用语来表现。这里,校正的是HDR用的图像部分,而此外也可以通过能够校正需要置换的图像部分的方式进行记录。无论何种情况,都与本实施例同样地,该像素并非为进行摄影和再现用图像而能够直接使用的像素数据,需要进行上述的校正、代用、置换处理。因而,使文件具备表示该像素的位置的信息对于在后工序中处理该文件时而言是很重要的。不仅如此,还可以将进行何种置换和校正的信息放入文件中。可以使其具有置换规则、置换用像素的信息。通过制定这种共同规则,从而能够在再现装置进行再现时实施最佳的图像处理。尤其在存在文件的转交和传输的情况下,使用不同的设备进行再现,而该不同的设备或为PC或为智能手机或为TV,因而可以根据这些再现设备的情况,进行最佳的图像调整。
此外,在本发明中,还可以通过进行记录图像数据的图像文件的图像再现的图像再现设备执行处理。具体而言,图像再现设备执行如下步骤:取得步骤,取得与置换像素的位置有关的置换对象像素信息,该置换像素是构成对应于图像数据的图像、且被置换为其他像素的像素;确定步骤,根据在取得步骤中取得的置换对象像素信息,根据从构成与图像数据对应的图像的多个像素中分别输出的多个电信号来确定置换像素;生成步骤,通过从多个图像分别输出的多个电信号对在确定步骤中确定的置换像素进行插值,并生成插值图像数据;以及再现步骤,对在生成步骤中生成的插值图像数据进行再现。由此,在对RAW数据进行显示用的画质校正处理时,能够增加再现时的自由度,并以高画质再现图像。进而,通过对已校正的部分和需要校正的部分进行插值,从而能够通过各种方法进行该部分的画质的校正、图像的代用、数据置换,能够通过不同于摄像装置的画质进行再现。这里,图像再现设备是摄像装置、包含智能手机的便携设备、平板型便携设备等电子设备、具有头戴式显示器和PC等的显示监视器的信息处理装置。
此外,在本发明中,图像处理部被组装入控制部中,例如也可以独立设置图像处理部。进而,还可以设置多个图像处理部(图像引擎)。
此外,在本发明中,图像处理部作为图像处理装置而组装入摄像装置内,但也可以独立设置图像处理部。
此外,在本发明中,将图像文件记录于记录介质中,但也可以经由因特网将其输出给其他的图像处理装置、例如具有图像处理部的移动电话和平板型便携设备等电子设备。
此外,本发明的摄像装置除了可应用于紧凑型数字相机、数字单反相机以外,例如还能用于可安装附件等的数字摄像机和具有摄影功能的移动电话和平板型便携设备等的电子设备。
另外,在本说明书的流程图的说明中,使用“首先”、“此后”、“接着”等表现来明确表示步骤间的处理的前后关系,而用于实施本发明所需要的处理的顺序并不由这些表现而唯一地确定。即,在本说明书描述的流程图的处理的顺序可以在不产生矛盾的范围内进行变更。
此外,由本发明的摄像装置和图像处理装置执行的程序是作为能够安装的形式或能够执行的形式的文件数据,记录于CD-ROM、软盘(FD)、CD-R、DVD(Digital VersatileDisk:数字通用光盘)、USB介质、闪存等计算机可读取的记录介质中提供的。
此外,由本发明的摄像装置和图像处理装置执行的程序还可以构成为,储存于与因特网等网络连接的计算机上,以经由网络下载的方式进行提供。进而,还可以构成为将由本发明的摄像装置和图像处理装置执行的程序经由因特网等网络提供或发布。
这样,本发明还可包含以上未描述的各种实施方式,可以在由权利要求书确定的技术思想的范围内进行各种设计变更等。
符号说明
1、200 摄像装置
10、210 主体部
11 摄像部
12 主体通信部
13 时钟部
14 操作输入部
15 记录部
16 记录介质
17 显示部
18 触摸面板
19、212 控制部
20 更换镜头部
21 光学系统
22 驱动部
23 镜头通信部
24 操作部
25 镜头记录部
26 镜头控制部
111 受光部
112 垂直模拟加法电路
113 水平数字加法电路
114 AF用存储器
191 AF信号计算部
192 图像处理部
193 图像压缩解压缩部
194 图像文件生成部
195 记录控制部
211 被摄体分析部
213 图像合成部
Claims (6)
1.一种摄像装置,其特征在于,具有:
摄像部,其具有由多个像素构成的摄像元件,以第一曝光条件摄像而生成第一图像数据,并且以不同于所述第一曝光条件的1个或多个第二曝光条件摄像而生成1个或多个第二图像数据;
图像合成部,其根据所述第一图像数据和1个或多个所述第二图像数据,生成放大了动态范围后的合成图像数据;以及
图像文件生成部,其生成图像文件,该图像文件将所述第一图像数据、1个或多个所述第二图像数据、所述合成图像数据和位置信息对应起来记录,该位置信息与在所述图像合成部生成所述合成图像数据时使用对应于所述第一图像数据的第一图像和对应于至少1个以上的第二图像数据的第二图像进行插值的像素的位置有关。
2.根据权利要求1所述的摄像装置,其特征在于,
所述图像文件生成部生成所述图像文件,其中,所述图像文件将与在所述图像合成部生成所述合成图像数据时使用所述第一图像和所述第二图像进行了插值的规则有关的信息、所述第一图像数据、1个或多个所述第二图像数据、所述合成图像数据和所述位置信息对应起来记录。
3.根据权利要求1所述的摄像装置,其特征在于,
所述摄像装置还具有操作输入部,该操作输入部受理用于变更所述第一曝光条件或所述第二曝光条件的指示信号的输入,
所述摄像部根据从所述操作输入部输入的所述指示信号,生成所述第一图像数据和所述第二图像数据。
4.一种图像处理装置,其对具有摄像部的摄像装置生成的图像文件内的图像数据实施图像处理,该摄像部具有由多个像素构成的摄像元件,其特征在于,
所述图像处理装置具有图像处理部,该图像处理部取得图像文件,根据由该图像文件记录的位置信息,合成第一图像数据和至少1个以上的第二图像数据,从而生成放大了动态范围后的处理图像,其中,所述图像文件将所述摄像部以第一曝光条件摄像而生成的所述第一图像数据、以不同于所述第一曝光条件的1个或多个第二曝光条件摄像而生成的1个或多个所述第二图像数据、以及与使用对应于所述第一图像数据的第一图像和对应于至少1个以上的第二图像数据进行插值的像素的位置有关的位置信息对应起来记录。
5.一种由具有摄像部的摄像装置执行的记录方法,该摄像部具有由多个像素构成的摄像元件,其特征在于,该记录方法具有:
第一生成步骤,以第一曝光条件摄像而生成第一图像数据;
第二生成步骤,以不同于所述第一曝光条件的1个或多个第二曝光条件摄像而生成1个或多个第二图像数据;
图像合成步骤,根据所述第一图像数据和1个或多个所述第二图像数据,生成放大了动态范围后的合成图像数据;以及
图像文件生成步骤,生成图像文件,该图像文件将所述第一图像数据、1个或多个所述第二图像数据、所述合成图像数据和位置信息对应起来记录,该位置信息与在所述图像合成步骤中生成所述合成图像数据时使用对应于所述第一图像数据的第一图像和对应于至少1个以上的第二图像数据的第二图像进行插值的像素的位置有关。
6.根据权利要求5所述的记录方法,其特征在于,
在所述图像文件生成步骤中,生成所述图像文件,其中,所述图像文件将与在所述图像合成步骤中生成所述合成图像数据时使用所述第一图像和所述第二图像进行了插值的规则有关的信息、所述第一图像数据、1个或多个所述第二图像数据、所述合成图像数据和所述位置信息对应起来记录。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JPJP2012-125410 | 2012-05-31 | ||
JP2012125410 | 2012-05-31 | ||
CN201380027680.XA CN104365082B (zh) | 2012-05-31 | 2013-03-13 | 摄像装置、图像处理装置、以及记录方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201380027680.XA Division CN104365082B (zh) | 2012-05-31 | 2013-03-13 | 摄像装置、图像处理装置、以及记录方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108259757A true CN108259757A (zh) | 2018-07-06 |
Family
ID=49672933
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810212426.1A Pending CN108259757A (zh) | 2012-05-31 | 2013-03-13 | 摄像装置、图像处理装置、以及记录方法 |
CN201380027680.XA Active CN104365082B (zh) | 2012-05-31 | 2013-03-13 | 摄像装置、图像处理装置、以及记录方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201380027680.XA Active CN104365082B (zh) | 2012-05-31 | 2013-03-13 | 摄像装置、图像处理装置、以及记录方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9426392B2 (zh) |
EP (1) | EP2860958B1 (zh) |
JP (2) | JP6184869B2 (zh) |
CN (2) | CN108259757A (zh) |
WO (1) | WO2013179725A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114143515A (zh) * | 2021-11-30 | 2022-03-04 | 维沃移动通信有限公司 | 图像传感器、摄像模组和电子设备 |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5967991B2 (ja) * | 2012-03-16 | 2016-08-10 | キヤノン株式会社 | 撮像装置及びその制御方法、並びにプログラム |
US9509919B2 (en) * | 2014-11-17 | 2016-11-29 | Duelight Llc | System and method for generating a digital image |
JP2015169722A (ja) * | 2014-03-05 | 2015-09-28 | ソニー株式会社 | 撮像装置 |
JP6444073B2 (ja) * | 2014-06-25 | 2018-12-26 | キヤノン株式会社 | 画像処理装置 |
KR20160071203A (ko) * | 2014-12-11 | 2016-06-21 | 삼성전자주식회사 | 이미지 신호 프로세서, 이의 작동 방법, 및 이를 포함하는 모바일 컴퓨팅 장치 |
US10003814B2 (en) * | 2015-05-06 | 2018-06-19 | Mediatek Inc. | Image processor, display image processing method and associated electronic device |
JP6738251B2 (ja) * | 2016-09-09 | 2020-08-12 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
JP2018107664A (ja) * | 2016-12-27 | 2018-07-05 | キヤノン株式会社 | 画像処理装置および画像処理方法、撮像装置、プログラム |
US10158797B2 (en) * | 2017-03-31 | 2018-12-18 | Motorola Mobility Llc | Combining images when a face is present |
KR102434417B1 (ko) * | 2017-07-20 | 2022-08-22 | 삼성전자주식회사 | 이미지 데이터 및 이미지 촬영의 제어와 관련된 데이터의 크기에 기반하여, 이미지 데이터 및 이미지 촬영의 제어와 관련된 데이터를 전송하는 방법 및 이를 지원하는 전자 장치 |
CN107835362B (zh) * | 2017-10-30 | 2019-12-31 | Oppo广东移动通信有限公司 | 图像存储方法、图像显示方法及电子设备 |
BR112020019324A8 (pt) | 2018-03-27 | 2022-08-30 | Huawei Tech Co Ltd | Terminal móvel de fotografia |
US11546529B2 (en) * | 2018-04-06 | 2023-01-03 | Nikon Corporation | Image-capturing device and image transmission recording system |
US11133339B2 (en) | 2018-04-16 | 2021-09-28 | Canon Kabushiki Kaisha | Image sensor, image capturing apparatus and image processing apparatus |
JP7187190B2 (ja) * | 2018-06-29 | 2022-12-12 | キヤノン株式会社 | 電子機器、および電子機器の制御方法、プログラム、記憶媒体 |
JP7263053B2 (ja) | 2019-02-28 | 2023-04-24 | キヤノン株式会社 | 撮像装置、画像処理装置、それらの制御方法、プログラム |
WO2021157011A1 (ja) | 2020-02-06 | 2021-08-12 | 大日本住友製薬株式会社 | 仮想現実動画再生装置、及びそれを使用する方法 |
US11533439B2 (en) * | 2020-05-29 | 2022-12-20 | Sanjeev Kumar Singh | Multi capture settings of multi light parameters for automatically capturing multiple exposures in digital camera and method |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008205530A (ja) * | 2007-02-16 | 2008-09-04 | Seiko Epson Corp | 撮像装置、撮像システム及び撮像方法 |
JP2009105681A (ja) * | 2007-10-23 | 2009-05-14 | Canon Inc | 画像処理装置及び画像処理プログラム |
CN102348066A (zh) * | 2010-07-30 | 2012-02-08 | 株式会社尼康 | 摄像装置及图像合成程序 |
US8582623B2 (en) * | 2002-01-07 | 2013-11-12 | Qualcomm Incorporated | Multiplexed CDMA and GPS searching |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5810032A (ja) * | 1981-07-09 | 1983-01-20 | オリンパス光学工業株式会社 | 内視鏡 |
JP2749849B2 (ja) * | 1988-12-27 | 1998-05-13 | キヤノン株式会社 | 撮像装置 |
US5309243A (en) * | 1992-06-10 | 1994-05-03 | Eastman Kodak Company | Method and apparatus for extending the dynamic range of an electronic imaging system |
JP3887060B2 (ja) * | 1997-04-09 | 2007-02-28 | ペンタックス株式会社 | 電子スチルカメラの画像補正情報記録装置および画像復元処理装置 |
JP4511066B2 (ja) * | 2001-03-12 | 2010-07-28 | オリンパス株式会社 | 撮像装置 |
JP4027253B2 (ja) * | 2003-03-27 | 2007-12-26 | 富士フイルム株式会社 | 撮像装置 |
EP3310037A1 (en) * | 2004-10-26 | 2018-04-18 | Nikon Corporation | Digital camera and image combination device |
JP4389766B2 (ja) * | 2004-11-22 | 2009-12-24 | セイコーエプソン株式会社 | 撮像装置 |
JP4788488B2 (ja) * | 2006-06-16 | 2011-10-05 | ソニー株式会社 | 画像処理装置、画像処理方法、画像処理方法のプログラム、画像処理方法のプログラムを記録した記録媒体 |
JP4940086B2 (ja) * | 2007-10-03 | 2012-05-30 | キヤノン株式会社 | 色処理装置およびその方法 |
JP5462560B2 (ja) * | 2009-09-08 | 2014-04-02 | キヤノン株式会社 | 画像処理装置 |
BR112012025145A2 (pt) * | 2010-04-02 | 2017-06-27 | Samsung Electronics Co Ltd | método de transmissão de conteúdos de transmissão digital para fornecimento de conteúdo em 2d ou de conteúdo em 3d, método de receber o conteúdo em 2d ou de transmissão digital para fornecimento de conteúdo em 2d ou deconteúdo 3d, e mídia de gravação legível por computador. |
KR101844228B1 (ko) * | 2010-09-19 | 2018-04-02 | 엘지전자 주식회사 | 삼차원 방송 서비스를 위한 방송 신호를 프로세싱하는 방법 및 장치 |
JP5656561B2 (ja) * | 2010-10-28 | 2015-01-21 | キヤノン株式会社 | 画像処理装置、その制御方法、および制御プログラム |
-
2013
- 2013-03-13 CN CN201810212426.1A patent/CN108259757A/zh active Pending
- 2013-03-13 EP EP13797232.9A patent/EP2860958B1/en active Active
- 2013-03-13 WO PCT/JP2013/057072 patent/WO2013179725A1/ja active Application Filing
- 2013-03-13 JP JP2013544923A patent/JP6184869B2/ja active Active
- 2013-03-13 CN CN201380027680.XA patent/CN104365082B/zh active Active
-
2014
- 2014-11-24 US US14/551,391 patent/US9426392B2/en active Active
-
2017
- 2017-07-24 JP JP2017143046A patent/JP2017195003A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8582623B2 (en) * | 2002-01-07 | 2013-11-12 | Qualcomm Incorporated | Multiplexed CDMA and GPS searching |
JP2008205530A (ja) * | 2007-02-16 | 2008-09-04 | Seiko Epson Corp | 撮像装置、撮像システム及び撮像方法 |
JP2009105681A (ja) * | 2007-10-23 | 2009-05-14 | Canon Inc | 画像処理装置及び画像処理プログラム |
CN102348066A (zh) * | 2010-07-30 | 2012-02-08 | 株式会社尼康 | 摄像装置及图像合成程序 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114143515A (zh) * | 2021-11-30 | 2022-03-04 | 维沃移动通信有限公司 | 图像传感器、摄像模组和电子设备 |
Also Published As
Publication number | Publication date |
---|---|
EP2860958B1 (en) | 2019-08-07 |
EP2860958A4 (en) | 2016-04-13 |
EP2860958A1 (en) | 2015-04-15 |
US20150077603A1 (en) | 2015-03-19 |
JP6184869B2 (ja) | 2017-08-23 |
CN104365082A (zh) | 2015-02-18 |
US9426392B2 (en) | 2016-08-23 |
CN104365082B (zh) | 2018-04-10 |
JP2017195003A (ja) | 2017-10-26 |
JPWO2013179725A1 (ja) | 2016-01-18 |
WO2013179725A1 (ja) | 2013-12-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104365082B (zh) | 摄像装置、图像处理装置、以及记录方法 | |
CN101115148B (zh) | 摄像装置和图像显示控制方法 | |
US8633998B2 (en) | Imaging apparatus and display apparatus | |
CN102447912B (zh) | 图像处理装置、白平衡校正方法以及摄像装置 | |
CN102811313B (zh) | 摄像装置和摄像方法 | |
JP4700164B2 (ja) | 画像記録装置及び方法 | |
JP4791331B2 (ja) | 撮像装置及び露出制御方法 | |
CN109155815A (zh) | 摄像装置及其设定画面 | |
JP2009225280A (ja) | 撮像装置及び撮影画像表示制御方法 | |
JP2017220892A (ja) | 画像処理装置及び画像処理方法 | |
CN105282429A (zh) | 摄像装置和摄像装置的控制方法 | |
EP2975835B1 (en) | Imaging device, image processing method, image processing program, and recording medium | |
CN101742336B (zh) | 图像处理装置以及图像处理方法 | |
CN101115139A (zh) | 拍摄装置和曝光控制方法 | |
KR20080030477A (ko) | 화상보정장치 및 화상보정방법과 컴퓨터 판독 가능한 매체 | |
KR101737086B1 (ko) | 디지털 촬영 장치 및 이의 제어 방법 | |
JP2009048136A (ja) | 焦点調節装置及び焦点調節方法 | |
JP2008109485A (ja) | 撮像装置及び撮像制御方法 | |
JP2004247983A (ja) | 撮影装置及び画像処理装置並びに画像処理プログラム | |
US7580066B2 (en) | Digital camera and template data structure | |
JP2010141609A (ja) | 撮像装置 | |
JP4647518B2 (ja) | 撮影装置 | |
KR100627049B1 (ko) | 디지털 카메라에서 촬영 영상에 객체를 합성하는 장치 및방법 | |
CN113615156A (zh) | 图像处理设备、图像处理方法、计算机程序和存储介质 | |
CN104584529A (zh) | 图像处理装置、拍摄装置以及程序 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180706 |