CN102244731A - 电子机器 - Google Patents

电子机器 Download PDF

Info

Publication number
CN102244731A
CN102244731A CN2011101293580A CN201110129358A CN102244731A CN 102244731 A CN102244731 A CN 102244731A CN 2011101293580 A CN2011101293580 A CN 2011101293580A CN 201110129358 A CN201110129358 A CN 201110129358A CN 102244731 A CN102244731 A CN 102244731A
Authority
CN
China
Prior art keywords
focal power
image
mapping graph
power mapping
close
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011101293580A
Other languages
English (en)
Inventor
小岛和浩
畑中晴雄
福本晋平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Publication of CN102244731A publication Critical patent/CN102244731A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal

Abstract

本发明提供一种电子机器，能够利用合焦度快速处理图像或确认合焦状态。该电子机器根据合焦度导出用信息(例如输入图像的图像信号)，生成反映输入图像各位置合焦度(表示对焦的程度)的合焦度映射图，根据合焦度映射图对输入图像实施图像处理，生成景深和焦距任意的输出图像。记录控制部(54)将输入图像或输出图像作为记录对象图像，将记录对象图像与合焦度映射图相互关联地记录到记录介质上，或者将合焦度映射图嵌入记录对象图像内，然后将记录对象图像记录到记录介质上。在后来对记录对象图像实施上述图像处理，或确认记录对象图像的合焦状态时，将合焦度映射图从记录介质读出。

Description

电子机器
技术领域
本发明涉及摄像装置等电子机器。
背景技术
如今，使用CCD(Charge Coupled Device)等固体摄像元件的数码相机和数码摄像机等摄影装置已广泛普及。
不过，很多时候，我们希望获得具有所谓“模糊感”的摄像图像，也就是拍摄对象中，对焦的被摄体被清晰拍摄，其余的被摄体被模糊拍摄，整体看上去，对焦的被摄体被强调并突现。为了获得这种摄影图像，需要使用例如固体摄像元件的尺寸和镜头口径较大的摄像装置。采用此类摄像装置，可以使景深变得足够浅来进行拍摄，因此可以得到上述的具有“模糊感”的摄影图像。但是，如果使用固体摄像元件的尺寸和镜头口径较小的小型摄像装置，就很难获得具有“模糊感”的摄像图像，因为无法使景深变得足够浅来拍摄。
鉴于此，提出了一种从大景深状态下拍摄的原图像经过图像处理生成具有“模糊感”的模糊图像的方法(例如，参照下述专利文献1)。图25(a)和(b)中作为原图像和模糊图像的例子示出了原图像900和模糊图像901。若使用上述图像处理，即便是不能使景深变得足够浅来进行拍摄的摄像装置，也能够获得具有“模糊感”的图像。
在图像上，将表示对焦的程度称为合焦度。在从原图像900这样的输入图像生成模糊图像901这样的输出图像时，例如将输入图像各位置的合焦度提供给输出图像生成部，可以获得与该合焦度相对应的输出图像。更为具体而言就是例如有意识地将合焦度较小的图像部分模糊化，这样就可以使输出图像的景深比输入图像的浅。
为了基于一些合焦度导出用信息来生成合焦度，需要相应的时间(运算时间)。使用者在拍摄输入图像后希望生成输出图像时，若不经过合焦度导出时间，则无法获得合焦度。合焦度获得后，若不经过输出图像生成时间，则无法获得输出图像。此外，即便使用者只想确认输入图像的合焦状态(即，输入图像各位置的合焦度)，也必需等待合焦度导出时间。所以，这样的待机时间一长，使用者感觉不快是当然的。
另外，下述的专利文献2公开了一种方法：针对原摄影图像也就是应成为数字水印嵌入目标的摄影图像嵌入隐藏图像，将其当作数字水印，该隐藏图像是不同于上述原摄影图像的其它摄像图像。该方法对减轻上述的不快感毫无用处。
专利文献1：JP特开2005-229198号公报
专利文献2：JP特开2010-11252号公报
发明内容
因此，本发明的目的在于提供一种电子机器，能够迅速地进行利用了合焦度的图像处理和合焦状态的确认。
本发明涉及的电子机器的特征在于，包括：合焦度映射图生成部，生成表现输入图像各位置合焦度的合焦度映射图；输出图像生成部，对所述输入图像实施与所述合焦度映射图相应的所述图像处理，生成输出图像；和记录控制部，将所述输入图像或所述输出图像作为记录对象图像，将所述记录对象图像与所述合焦度映射图相互关联地记录到记录介质，或者将所述合焦度映射图嵌入所述记录对象图像内，然后将所述记录对象图像记录到所述记录介质。
由此，就可以在必要时迅速进行生成输出图像所需的图像处理或确认合焦状态。
另外，例如该电子机器还包括合焦度映射图编辑部，该合焦度映射图编辑部按照编辑指示，编辑所述合焦度映射图。所述输出图像生成部使用编辑后的合焦度映射图，生成所述输出图像。所述记录控制部将所述记录对象图像与所述编辑后的合焦度映射图相互关联地记录到记录介质，或者将所述编辑后的合焦度映射图嵌入所述记录对象图像内，然后将所述记录对象图像记录到所述记录介质。
通过上述结构，使用者就可以根据需要编辑合焦度映射图，由此，能够生成所希望的合焦状态下的输出图像。此外，通过事先记录编辑后的合焦度映射图，从而在以后也能够容易且准确地对编辑内容进行再现。
此外，例如所述记录控制部也可以将处理有无信息与所述记录对象图像相关联地记录到所述记录介质，该处理有无信息表示所述记录对象图像是否是经过所述图像处理而得到的图像。
利用处理有无信息，可以准确判断记录对象图像是否是经过上述图像处理所得的图像。
此外，例如在所述记录对象图像是所述输出图像的情况下，所述记录控制部可以将保存所述输入图像的第1图像文件记录到所述记录介质，并且将保存所述输出图像、所述合焦度映射图和所述第1图像文件链接信息的第2图像文件记录到所述记录介质。
此外，例如在所述第1和第2图像文件记录到所述记录介质之后，发出应该对所述第2图像文件内的输出图像实施所述图像处理的指示时，所述输出图像生成部使用所述链接信息，从所述第1图像文件中读出所述输入图像，通过对读出的所述输入图像实施与所述合焦度映射图相应的图像处理，从而生成新的输出图像。
由此，容易生成使用者意愿的新的输出图像。
此外，例如所述记录控制部在保存了所述记录对象图像的图像文件内的记录区域中保存所述合焦度映射图。
根据本发明，就可以提供一种能迅速进行利用了合焦度的图像处理和合焦状态确认的电子机器。
通过以下所示的实施方式的说明，本发明的意义及效果会更加明了。但是，以下的实施方式终究是本发明的一个实施方式，本发明及各构成要件的用语意义并不限于以下实施方式所述的内容。
附图说明
图1是本发明的实施方式所涉及的摄像装置的整体概略框图。
图2是图1的摄像部的内部结构图。
图3是表示二维图像与XY坐标面之间关系的示图。
图4是本发明的实施方式所涉及的数字聚焦部的内部框图。
图5是表示提供给图4的数字聚焦部的输入图像以及数字聚焦部生成的输出图像和合焦度图像的图。
图6是原始输入图像与输出图像之间关系的说明图。
图7是图像文件构造的说明图。
图8是表示记录对象图像和合焦度映射图的实例。
图9是表示记录对象图像和合焦度映射图的另一实例。
图10是表示基础的合焦度映射图的图(a)、表示基础的合焦度映射图的合焦度直方图的图(b)、表示基于该合焦度直方图的LUT(查询表)的图(c)、表示使用该LUT得到的变形合焦度映射图的图(d)、和表示利用该LUT再现的合焦度映射图的图(e)。
图11是用来说明原始输入图像与输出图像之间关系的图(a)和用来说明再输入图像与输出图像之间关系的图(b)。
图12是应保存在图像文件中的处理有无信息的说明图。
图13是应保存在图像文件中的链接信息的说明图。
图14表示编辑前后的合焦度映射图。
图15是表示作为图4的输出图像生成部可采用的第1输出图像生成部的内部框图。
图16表示由图15的转换表指定的合焦度与模糊度的关系以及合焦度与边缘强调度的关系。
图17是表示作为图4的输出图像生成部可采用的第2输出图像生成部的内部框图。
图18表示由图18的转换表指定的合焦度与合成比的关系。
图19是输入图像上的合焦部的典型的亮度信号图形的示图，和输入图像上的非合焦部的典型的亮度信号图形的示图。
图20是导出可作为合焦度使用的扩张边缘差值比的相关部位的框图。
图21是表示根据输入图像的亮度信号求出极小区域的亮度差值、局部区域的亮度差值以及边缘差值比的情况。
图22是由图20的扩张处理部进行的扩张处理的概要的说明图。
图23是由图20的扩张处理部进行的扩张处理的具体例的说明图。
图24是导出可作为合焦度使用的扩张频率分量比的相关部位的框图。
图25是与现有技术有关的通过摄影得到的原图像和通过图像处理使一部分原图像模糊化的模糊化图像。
图中：
1…摄像装置
11…摄像部
12…AFE
13…主控制部
16…记录介质
50…数字聚焦部
51…合焦度映射图生成部
52…合焦度映射图编辑部
53…输出图像生成部
54…记录控制部
55…显示控制部
具体实施方式
下面，参照附图对本发明的若干实施方式进行具体说明。在参照的各图中，相同的部分会附加相同的符号，原则上不对同一部分进行重复说明。第1～第5实施方式在后面进行说明，首先对各实施方式的通用事项或各实施方式的参照事项进行说明。另外，为了简化记述，本说明书有时会通过参照符号来省略或简化与该符号对应的名称。例如，在通过符号210来参照输入图像的情况下，输入图像210有时也被记为图像210。
图1表示与本发明的实施方式有关的摄像装置1的整体概略框图。摄像装置1是可以进行静态图像摄影和记录的数码相机，或是可以进行静态图像和动态图像摄影和记录的数码摄像机。
摄像装置1包括：摄像部11、AFE(Analog Front End)12、主控制部13、内部存储器14、显示部15、记录介质16和操作部17。
图2表示摄像部11的内部构成图。摄像部11包括：光学系统35、光圈32、由CCD(Charge Coupled Device)或CMOS(Complementary MetalOxide Semiconductor)图像传感器等组成的摄像元件33、以及用来驱动光学系统35和光圈32的驱动器34。光学系统35由多枚透镜形成，包含变焦透镜30和聚焦透镜31。变焦透镜30和聚焦透镜31可以沿光轴方向移动。驱动器34根据来自主控制部13的控制信号，对变焦透镜30和聚焦透镜31的各位置以及光圈32的开度进行驱动控制，由此来控制摄像部11的焦距(视角)和焦点位置以及摄像元件33的入射光量。
摄像元件33对经由光学系统35和光圈32射入的表现被摄体的光学图像进行光电转换，将通过该光电转换得到的电信号输出到AFE12。更具体而言就是，摄像元件33具备以矩阵状二维排列的多个受光像素。各受光像素在每次摄影时蓄积电荷量与曝光时间相应的信号电荷。各受光像素按照摄像装置1内生成的驱动脉冲，依次将大小与所蓄积的信号电荷的电荷量成比例的模拟信号输出到AFE12。
AFE12对从摄像部11(摄像元件33)输出的模拟信号进行放大，将放大之后的模拟信号转换为数字信号。AFE12将该数字信号作为RAW数据输出到主控制部13。AFE12的信号放大的幅度由主控制部13控制。
主控制部13由CPU(Central Processing Unit)、ROM(Read OnlyMemory)和RAM(Random Access Memory)等组成。主控制部13根据来自AFE12的RAW数据，生成表示由摄像部11拍摄的图像(以下也称摄影图像)的图像信号。这里生成的图像信号例如包含亮度信号和色差信号。不过，RAW数据本身也是图像信号的一种。此外，主控制部13也具备显示控制机构的功能，对显示部15的显示内容进行控制，对显示部15进行显示所需的控制。
内部存储器14由SDRAM(Synchronous Dynamic Random AccessMemory)等形成，暂时保存摄像装置1内生成的各种数据。显示部15是由液晶显示面板等组成的显示装置，在主控制部13的控制下，显示拍摄的图像或记录介质16中所记录的图像等。记录介质16是卡式的半导体存储器或磁盘等非易失性存储器，在主控制部13的控制下，存储摄影图像等。操作部17受理来自外部操作。对操作部17的操作内容被传达到主控制部13。
图3表示一个XY坐标面，是任意二维图像应该配置的二维坐标面。在图3中，标有符号200的方框表示二维图像的外框。XY坐标面具有X轴和Y轴的两个坐标轴。其中，X轴在二维图像200的水平方向上延伸；Y轴在二维图像200的垂直方向上延伸。只要没有特别记述，本说明书所述的图像全部都是二维图像。(x，y)表示XY坐标面以及二维图像200上某个关注点的位置。x表示该关注点的X轴坐标值，同时也表示XY坐标面上以及二维图像200上的该关注点的水平位置；y表示该关注点的Y轴坐标值，同时也表示XY坐标面上以及二维图像200上的该关注点的垂直位置。在XY坐标面以及二维图像200上，与配置在位置(x，y)上的像素右侧、左侧、下侧和上侧相邻的像素位置分别是(x+1，y)、(x-1，y)、(x，y+1)、(x，y-1)。将配置像素的位置简称为像素位置。此外，在本说明书中，有时也用(x，y)参照像素位置(x，y)上配置的像素。此外，将与某个像素相关的图像信号也特称为像素信号，将像素信号对应的值称为像素值。
摄像装置1通过控制聚焦透镜31的位置，可以使主要被摄体的光学图像在摄像元件33的摄像面上成像。来自主要被摄体上的点光源的入射光经由光学系统35在成像点成像，当该成像点处在摄像元件33的摄像面上时，处于对该主要被摄体完全对焦。上述成像点不在摄像元件33的摄像面上时，来自上述点光源的像在摄像面上就会模糊(也就是说，形成具有超过容许弥散圆直径的像)。在这种状态中，对于上述主要被摄体而言没有对焦，或者是某种程度上对焦但没有完全对焦。本说明书将表示对焦程度的情况称为合焦度。一般认为针对关注区域或关注像素的合焦度越大，则与关注区域或关注像素处的被摄体对焦越成功(对焦越成功则上述直径越小)。此外，本说明书中还将对焦程度较高的部分称为合焦部或合焦部分，将对焦程度较低的部分称为非合焦部或非合焦部分。
不过，摄像装置1具备如下功能：从没在景深足够浅的状态下拍摄的输入图像，通过图像处理生成具有“模糊感”的输出图像。
该功能通过图1的主控制部13内置的数字聚焦部50来实现。图4表示数字聚焦部50的内部框图。数字聚焦部50包括：合焦度映射图生成部51、合焦度映射图编辑部52、输出图像生成部53、记录控制部54和显示控制部55。输入图像的图像信号被提供给数字聚焦部55。所谓输入图像例如是作为摄影部11拍摄的静止图像的摄影图像，或者也可以是摄像部11拍摄的动态图像中一个一个的帧(换言之就是帧图像)。
图5(a)中的输入图像210表示输入图像的一个实例。输入图像210是在被摄体包含花SUB1、人物SUB2和建筑物SUB3的状态下拍摄的图像。设定：当d1、d2和d3分别表示花SUB1、人物SUB2和建筑物SUB3的被摄体距离时，不等式“d1＜d2＜d3”成立。所谓花SUB1的被摄体距离d1是指实际空间中花SUB1与摄像装置1之间的距离(被摄体距离d2和d3也是同样)。
合焦度映射图生成部51根据合焦度导出用信息，导出输入图像的各像素位置的合焦度，在XY坐标面上排列出各像素位置的合焦度，生成合焦度映射图并输出。合焦度导出用信息可以采取各种各样的形式。例如可以使用输入图像的边缘状态或各像素位置的距离信息来作为合焦度导出用信息。对合焦度导出用信息的具体例的说明放在以后。
由合焦度映射图得到的图像称为合焦度图像。可以认为合焦度映射图与合焦度图像是等价的。因此，在以下的说明文中，二者相互替代是恰当的，合焦度映射图可以替换成合焦度图像，而合焦度图像也可以替换成合焦度映射图。合焦度图像是灰度值图像，其作为像素位置(x，y)上的像素值具有像素位置(x，y)上的合焦度。图5(c)表示与图5(a)的输入图像210相对应的合焦度图像212。在包含图5(c)的表示合焦度图像或合焦度映射图的图面上，合焦度越大的部分越白，合焦度越小的部分越黑。不过，为了明确表现不同被摄体间的边界(例如，花SUB1与人物SUB2间的边界)，在表示合焦度图像或合焦度映射图的图面上，该边界上示出了与合焦度无关的黑色边界线。
F1、F2和F3分别表示花SUB1、人物SUB2和建筑物SUB3的存在图像信号部分的合焦度。由于拍摄输入图像210时，是针对花SUB1进行对焦的，所以可认为不等式“F1＞F2＞F3”成立。此外，由于被摄体距离d1与d2的差异很小，所以假设合焦度F1与F2的差异很少。另一方面，被摄体距离d2与d3的差异很大，所以假设合焦度F2与F3的差异很大。这样，花SUB1和人物SUB2就成为合焦部，建筑物SUB3就成为非合焦部。
另外，在合焦度映射图中，对焦的主要被摄体部分数值大，没有对焦的背景部分数值小。所以，可以认为合焦度映射图表现了主要被摄体或背景存在的概率分布。此外，也可以认为合焦度映射图是距离映射图，在该距离映射图中，对于完全对焦的被摄体距离的被摄体部分被赋予最大数值，对于其余的被摄体部分，对焦程度越差则赋予越小的数值。
合焦度映射图编辑部52在使用者发出编辑指示时，会根据该编辑指示，对合焦度映射图生成部51所生成的合焦度映射图进行编辑，输出编辑后的合焦度映射图。使用者可以利用操作部17，对摄像装置1发出包含编辑指示的任意指示。或者，在显示部15设有触屏功能的情况下，通过触屏操作，对摄像装置1发出包含编辑指示的任意指示。以下有时将合焦度映射图生成部51所生成的合焦度映射图称为编辑前的合焦度映射图。
输出图像生成部53对输入图像实施基于合焦度映射图的图像处理，生成所谓具有“模糊感”的输出图像。通过该图像处理例如使输入图像上出现的多个被摄体中合焦度较大的图像部分的被摄体得到视觉强调，比合焦度较小的图像部分的被摄体更强(强调前的图像是输入图像，强调后的图像是输出图像)。具体而言，例如使用均值滤波器等，使合焦度较小的图像区域内的图像模糊化，由此实现上述强调。特别将输出图像生成部53实行的上述图像处理称为输出图像生成处理。通过输出图像生成处理，可以在输入图像与输出图像之间改变景深。此外，通过输出图像生成处理，还可以在输入图像与输出图像之间改变合焦距离。输入图像合焦距离是指输入图像上对焦的被摄体的被摄体距离；输出图像的合焦距离是指输出图像上对焦的被摄体的被摄体距离。
输出图像生成部53可以在没有上述编辑指示的情况下，使用从合焦度映射图生成部51输出的编辑前的合焦度映射图，生成输出图像；可以在存在上述编辑指示的情况下，使用从合焦度映射图编辑部52输出的编辑后的合焦度映射图，生成输出图像。
图5(b)示出了基于图5(a)的输入图像210的输出图像211。花SUB1和人物SUB2的合焦度F1和F2较大，而建筑物SUB3的合焦度F3较小，其结果输出图像211呈现出建筑物SUB3的图像被模糊化，花SUB1和人物SUB2被突现的情况。
记录控制部54在记录介质16内制作图像文件，写入记录介质16内图像文件所需要的信息，从而使该必要信息记录在记录介质16内。换言之，将存放必要信息的图像文件保存在记录介质16中，使该必要信息记录在记录介质16内。这里的必要信息包含输入图像的图像信号、输出图像的图像信号、编辑前的合焦度映射图、编辑后的合焦度映射图中的全部或一部分。另外，在以下的说明中，只要没有特别记述，图像文件就是在记录介质16内制作的图像文件。此外，在本说明书中，对于图像或任意信息(信号或数据)的记录、保存和存放的意义是相同的，只要没有特别记述，记录、保存和存放就是指对记录介质16或图像文件的记录、保存和存放。此外，有时将所关注图像的图像信号的记录、保存和存放简记为该关注图像的记录、保存和存放。记录控制部54的动作以后详细说明。
显示控制部55使显示部15显示输入图像、输出图像或合焦度图像。也可以使显示部15同时显示输入图像、输出图像和合焦度图像中的两个或三个。在使显示部15显示输入图像时，既可以将整个输入图像显示在显示部15，也可以将输入图像的一部分显示在显示部15(显示输出图像或合焦度图像的情况也同样)。
也可以将输出图像生成处理后得到的图像作为输入图像再次输入至输出图像生成部53。在以下的说明中，有时特别将没有经过一次输出图像生成处理的输入图像称为原始输入图像。在以下的说明中，如果只出现输入图像时，那么既可以解释为原始输入图像，也可以解释为经过一次以上的输出图像生成处理之后的图像(例如，后述的图11(b)中的再输入图像231)。
下面，在第1实施方式～第5实施方式中，对摄像装置1可采用的主要技术等进行说明。只要不发生矛盾，某一实施方式记述的事项可以与其它实施方式记述的事项自由组合并实施。
《第1实施方式》
对本发明的第1实施方式进行说明。第1实施方式对数字聚焦部50的整体的基本动作进行说明。
参照图6(a)。在通过摄影取得原始输入图像230后，原则上原始输入图像230被设定为记录对象图像。图4的记录控制部54将记录对象图像与合焦度映射图以相互关联的状态记录到记录介质16，或者，在记录对象图像内嵌入合焦度映射图的状态下，将记录对象图像记录到记录介质16。这里的合焦度映射图是编辑前或编辑后的合焦度映射图。
原始输入图像230记录后，使用者可以利用操作部17等，发出输出图像生成指示(参照图6(a))。在出现图像生成指示时，输出图像生成部53会从记录介质16读出记录在记录介质16中的合焦度映射图和原始输入图像230，根据读出的合焦度映射图，对读出的原始输入图像230实施输出图像生成处理，生成输出图像231。在生成输出图像231时，使用者可以通过编辑指示，自由变更从记录介质16读出的合焦度映射图，输出图像生成部53在该编辑指示出现时，会利用编辑后的合焦度摄像图生成输出图像231。
当输出图像231生成时，记录控制部54会将输出图像231设定为记录对象图像，再一次将记录对象图像和合焦度映射图以相互关联的状态记录到记录介质16，或者，在将合焦度映射图嵌入记录对象图像内的状态下，将记录对象图像记录到记录介质16(这里的合焦度映射图也是编辑前或编辑后的合焦度映射图)。在记录输出图像231时，既可以将记录在记录介质16中的原始输入图像230从记录介质16中删除，也可以保持原始输入图像230的记录。
此外，在取得原始输入图像230之前，使用者是可以预先将合焦度自动调整功能设为有效。使用者可以利用操作部17等，将合焦度自动调整功能设定为有效或无效。当合焦度自动调整功能为有效时，输出图像生成部53不管有无输出图像生成指示，都会在得到原始输入图像230后，对原始输入图像230实施输出图像生成处理，生成输出图像231(参照图6(b))。通常，合焦度自动调整功能有效时的输出图像生成处理是根据编辑前的合焦度映射图来实行的，在如果想要确认有无编辑指示之后再实行输出图像生成处理，则也可以根据编辑后的合焦度映射图来实行输出图像生成处理。
合焦度自动调整功能有效时，记录控制部54将输出图像231设定为记录对象图像，将记录对象图像与合焦度映射图以相互关联的状态，记录到记录介质16，或者，在将合焦度映射图嵌入记录对象图像内的状态下，将记录对象图像记录到记录介质16(这里的合焦度映射图也是编辑前或编辑后的合焦度映射图)。
为了调整从记录介质16读出的记录对象图像的画质(景深等)，使用者可以利用基于合焦度映射图的输出图像生成处理。通过将合焦度映射图显示到显示部15，也可以确认记录对象图像(输入图像)的合焦状态。另一方面，生成合焦度映射图需要相应的时间。如果不在记录介质16中保存合焦度映射图，那么每次进行输出图像生成处理或合焦状态确认，就都要生成合焦度映射图。也就是说，很难迅速实行输出图像生成处理或合焦状态确认。所以，考虑到这种情况，摄像装置1在对记录对象图像进行记录时，对应的合焦度映射图也会记录。这样，在必要时就可以立刻进行输出图像生成处理或合焦状态确认。
另外，在合焦度导出用信息是原始输入图像的图像信号的情况下，也可以在取得原始输入图像时，仅将原始输入图像的图像信号预先保存到记录介质16，然后，在必要时根据从记录介质16读出的原始输入图像的图像信号，来生成合焦度映射图。但是，因为图像信号的记录方式，所以在记录原始输入图像的图像信号时，有时会丢失一部分原始输入图像的信息。此类丢失如果发生，会很难再从记录信号生成忠实于本来的原始输入图像的合焦度映射图。出于这一原因，也会理解图像信号记录时，同时记录合焦度映射图的优越性。
此外，使用者也可以根据需要编辑合焦度映射图，借此生成具有期望的合焦状态的输出图像。
此外，原则上被记录的合焦度映射图是编辑前的合焦度映射图，但是，在出现编辑指示从而编辑后的合焦度映射图生成的情况下，编辑后的合焦度映射图会取代编辑前的合焦度映射图，或者会与编辑前的合焦度映射图一起被保存。这时，记录控制部54会将记录对象图像与编辑后的合焦度映射图以相互关联的状态记录到记录介质16，或者在将编辑后的合焦度映射图嵌入记录对象图像内的状态下，将记录对象图像记录到记录介质16。就合焦度映射图的编辑而言，例如将编辑前的合焦度映射图中的第1特定位置的合焦度从某一合焦度增大到另一合焦度，将编辑前的合焦度映射图中的第2特定位置的合焦度从某一合焦度减小到另一合焦度。在不保存这种编辑内容的情况下，使用者很难在以后再现相同的编辑内容，即使可以再现对于再现的使用者也会很麻烦。在摄像装置1中，在合焦度映射图被编辑之后，保存编辑后的合焦度映射图，以后可以自由读出。所以，可以容易且正确地再现编辑内容，并且减轻使用者的负担。
《第2实施方式》
对本发明的第2实施方式进行说明。例示的第1～第4合焦度映射记录方法是图4的记录控制部54可采用的合焦度映射图的具体的记录方法。
——第1合焦度映射图记录方法——
对第1合焦度映射图记录方法进行说明。图7(a)的FLA是第1合焦度映射图记录方法中设定的图像文件。在图像文件FLA的记录区域设置了本体区域和附加区域。它们由文件的规格决定，附加区域例如被称为头区或尾区。记录控制部54将记录对象图像保存在图像文件FLA的本体区域，将合焦度映射图保存在图像文件FLA的附加区域。
在同一图像文件FLA内，本体区域和附加区域是相互关联的记录区域，所以记录对象图像与合焦度映射图当然是相互关联的。也就是说，记录对象图像与合焦度映射图以相互关联的状态被记录在记录介质16中。
附加区域中不仅保存合焦度映射图，也保存记录对象图像的缩图图像等。所谓记录对象图像的缩图图像，就是将记录对象图像的图像尺寸缩小之后的图像。在图像文件FLA的附加区域设置了缩图记录区域，用来保存缩图图像的图像信号。根据文件规格，在图像文件FLA的附加区域有时设置两个以上的缩图记录区域。在这种情况下，可以将记录对象图像的缩图图像保存在附加区域内的一个缩图记录区域(例如第1缩图记录区域)，将合焦度映射图(换言之就是合焦度图像)保存在另一个缩图记录区域(例如第2缩图记录区域)。
——第2合焦度映射图记录方法——
对第2合焦度映射图记录方法进行说明。图7(b)的FLB是第2合焦度映射图记录方法中设定的图像文件。图像文件FLB的文件格式被称为多画面(MultiPicture)格式，图像文件FLB中设有多个用来记录多张图像的图像记录区域。多个图像记录区域中包含互不相同的第1和第2图像记录区域。记录控制部54将记录对象图像保存在图像文件FLB的第1图像记录区域，将合焦度映射图保存在图像文件FLB的第2图像记录区域。
在同一图像文件FLB内，多个图像记录区域是相互关联的记录区域，所以，记录对象图像与合焦度映射图当然是相互关联的。也就是说，记录对象图像与合焦度映射图以相互关联的状态被记录在记录介质16中。
——第3合焦度映射图记录方法——
对第3合焦度映射图记录方法进行说明。在第3合焦度映射图记录方法中，利用数字水印将合焦度映射图嵌入在记录对象图像内，将嵌入合焦度映射图的记录对象图像保存在图像文件中。也就是说，在利用数字水印将合焦度映射图嵌入记录对象图像内的状态下，将记录对象图像记录到记录介质16中。嵌入方法随合焦度映射图的分辨率和灰度的不同而不同。嵌入方法的具体例下面将会列举。另外，由于合焦度映射图也应称为合焦度图像，所以在以下的说明中，合焦度映射图上的位置有时也称为像素位置。
·第1嵌入方法
对第1嵌入方法进行说明。在第1嵌入方法中，假设记录对象图像的分辨率与合焦度映射图的分辨率相同。也就是说，假设记录对象图像的图像尺寸与作为合焦度映射图的合焦度图像的图像尺寸相同。另外，假定合焦度映射图的各像素位置的合焦度由一位来表现。也就是说合焦度映射图的灰度数是2。此时，作为合焦度映射图的合焦度图像是二值化图像，合焦度图像的各像素位置上的像素信号是一位的数字数据。图8(b)中的252是上述假设下合焦度映射图(合焦度图像)的实例，图8(a)中的251是与合焦度映射图252对应的记录对象图像的实例。
记录对象图像的各像素位置上的像素信号由BB位数字数据形成(BB是2以上的整数，例如为16)。对于记录对象图像的某个像素，设定：当该像素的图像变化较大时(例如亮度变化较大)，BB位数字数据的高位侧变化；当该像素的图像变化较小时(例如亮度变化较小)，只有BB位数字数据的低位侧变化。在这种情况下，在第1嵌入方法中，将作为合焦度映射图的合焦度图像的像素位置(x，y)上的像素信号嵌入记录对象图像的像素位置(x，y)上的像素信号的最低位。也就是说，将合焦度图像的像素位置(x，y)上的像素信号代入该最低位。
当合焦度映射图的灰度数大于2时，使用记录对象图像的各像素信号的低位侧的多个位即可。例如，当合焦度映射图的灰度数为4时(也就是合焦度图像的各像素位置上的像素信号是2位数字数据时)，可以将作为合焦度映射图的合焦度图像的像素位置(x，y)上的像素信号嵌入记录对象图像的各像素信号的低位侧的2位。
一般而言，第1嵌入方法中进行的是如下嵌入。当合焦度映射图的灰度数为2N时(也就是合焦度图像的各像素位置上的像素信号是N位数字数据时)，将作为合焦度映射图的合焦度图像的像素位置(x，y)上的像素信号嵌入记录对象图像的各像素信号的低位侧的N位(这里的N是自然数)。如果进行此类嵌入，记录对象图像的画质多少会有损失，但无需另外准备用来保存合焦度映射图的记录区域。在记录对象图像的图像文件保存后，数字聚焦部50在必要时从记录对象图像的图像文件中读出记录对象图像的各像素信号的低位侧的N位，就可以获得合焦度映射图。另外，虽然假定了记录对象图像的图像尺寸与合焦度图像的图像尺寸相同，但后者比前者小的情况下，第1嵌入方法也可以利用。
·第2嵌入方法
对第2嵌入方法进行说明。在第2嵌入方法中，假设合焦度映射图的分辨率比记录对象图像的分辨率小。也就是说，假设作为合焦度映射图的合焦度图像的图像尺寸小于记录对象图像的图像尺寸。为了具体说明，假设合焦度映射图的分辨率为记录对象图像的1/2。另外，假设合焦度映射图的灰度数小于16的情况。在这种情况下，合焦度图像中的一个像素信号是4位以下的数字数据。图9(b)中的262是上述假设下的合焦度映射图(合焦度图像)的实例，图9(a)中的261是与合焦度映射图262对应的记录对象图像的实例。
在这种情况下，第2嵌入方法中，将记录对象图像上的4个像素的像素信号的最低位组合起来，形成4位的数据区，将合焦度图像的一个像素位置上的像素信号嵌入该4位数据区。也就是说，将合焦度图像的一个像素位置上的像素信号代入该4位数据区。具体而言就是，例如将记录对象图像的像素位置(x，y)、(x+1，y)、(x，y+1)、(x+1，y+1)上的像素信号的最低位组合起来，形成4位数据区，将4位以下的数字数据即合焦度图像的像素位置(x，y)上的像素信号嵌入该4位数据区。
上述数值可以进行各种变形。一般而言，第2嵌入方法进行的是如下嵌入。当合焦度映射图的灰度数为2N时，将合焦度图像的一个像素的像素信号嵌入记录对象图像的M个像素的低位侧的O位(这里，N、M和O是自然数，满足N≤M×O)。在记录对象图像的图像文件保存之后，数字聚焦部50在必要时从记录对象图像的图像文件中读出记录对象图像的各像素信号的低位侧的O位，就可以获得合焦度映射图。
·第3嵌入方法
对第3嵌入方法进行说明。在第3嵌入方法中，假设记录对象图像的分辨率与合焦度映射图的分辨率相同。也就是说，假设作为合焦度映射图的合焦度图像的图像尺寸与记录对象图像的图像尺寸相同。另外，假设合焦度映射图的灰度数为128。在这种情况下，合焦度图像的各像素位置的像素信号是7位数字数据。如果将7位数字数据本身嵌入记录对象图像的图像信号中，则记录对象图像的画质会损失很多。为此，在第3嵌入方法中，从128阶的灰度中提取主要灰度(合焦度映射图中具有支配作用的灰度)，仅将该主要灰度相关的合焦度信息嵌入记录对象图像的图像信号。
对具体方法进行说明。现在，假设基础的合焦度映射图的灰度数是如上所述的128。所谓基础的合焦度映射图是指嵌入记录对象图像前的合焦度映射图。基础的合焦度映射图的各像素信号是0以上、127以下的整数值。图10(a)中的270表示基础的合焦度映射图。图10(a)例示出合焦度映射图270中各像素位置的像素值的数值。记录控制部54制作合焦度映射图270的像素值的直方图。图10(b)中的275就是制作出的直方图。记录控制部54在直方图275中提取度数最高的第1、2、3像素值。在本例中，度数最高的第1、2、3像素值分别是105、78、62。
记录控制部54将像素值105、78、62视为主要灰度，对像素值105、78、62各分配2位数字数据，分别是“00”、“01”、“10”，制成图10(c)所示的LUT(查询表)280。此外，在LUT280中，对像素值R分配2位数字数据“11”。像素值R既可以是一个预先设定的固定值(例如0或64)，也可以是从合焦度映射图270中提取的像素值105、78、62以外的像素值的平均值。
图10(d)中的270a是利用LUT280，将合焦度映射图270的灰度数减少到22的结果。记录控制部54采用第1嵌入方法，将合焦度映射图270a嵌入记录对象图像。也就是说，将合焦度映射图270a的各像素位置的像素信号嵌入记录对象图像的各像素信号的低位侧的2位。然后，将嵌入了合焦度映射图270a的记录对象图像记录到记录介质16。此时，LUT信息也就是LUT280的信息也会被记录到记录对象图像的图像文件的附加区域。
数字聚焦部50在必要时从记录对象图像的图像文件中读出记录对象图像的各像素信号的低位侧的2位，就可以获得合焦度映射图270a，利用记录对象图像的图像文件中的LUT信息，可以从合焦度映射图270a中生成图10(e)所示的合焦度映射图270b。合焦度映射图270b相当于将图10(a)中的合焦度映射图270的像素值为105、78、62以外的所有像素值置换为像素值R得到的合焦度映射图。输出图像生成部53可以利用合焦度映射图270b，执行输出图像生成处理。由于合焦度映射图270b中保留有合焦度映射图270的主要灰度信息，所以使用合焦度映射图270b，也可以得到较好的输出图像，并不比使用合焦度映射图270的情况逊色。
上述数值可以进行各种变形。一般而言，第3嵌入方法进行的是如下嵌入。当基础的合焦度映射图的灰度数大于2N时，将基础的合焦度映射图的灰度数减少至2N，生成灰度数为2N的合焦度映射图，同时，生成相应的LUT信息，将灰度数为2N的合焦度映射图的各像素位置的像素信号嵌入记录对象图像中的各像素信号的低位侧的O位(这里，N和O是自然数，满足N≤O)。在记录对象图像的图像文件保存之后，数字聚焦部50在必要时从记录对象图像的图像文件中读出记录对象图像的各像素信号的低位侧的O位和LUT信息，就可以获得灰度数为2N的合焦度映射图。另外，也可以将第2和第3嵌入方法组合起来。也就是说，在合焦度映射图的分辨率小于记录对象图像的情况下，可以将第2嵌入方法与第3嵌入方法组合起来加以利用。
——第4合焦度映射图记录方法——
对第4合焦度映射图记录方法进行说明。第4合焦度映射图记录方法可以将合焦度映射图嵌入记录对象图像的缩图图像中。第4合焦度映射图记录方法中，利用数字水印将合焦度映射图嵌入记录对象图像的缩图图像内，将嵌入了合焦度映射图的缩图图像保存在图像文件的附加区域中。也就是说，在利用数字水印将合焦度映射图嵌入记录对象图像的缩图图像的状态下，将该缩图图像与记录对象图像一起记录到记录介质16中。嵌入方法与第3合焦度映射图记录方法所述的方法相同。
由于记录对象图像的缩图图像是与记录对象图像关联起来记录的，所以在第4合焦度映射图记录方法中，记录对象图像与合焦度映射图是相互关联的。也就是说，记录对象图像与合焦度映射图是在相互关联的状态下，被记录到记录介质16。与从嵌入合焦度映射图之后的记录对象图像中读出合焦度映射图的方法同样，本方法可以从嵌入了合焦度映射图的缩图图像中读出合焦度映射图，从记录介质16获得合焦度映射图。
《第3实施方式》
对本发明的第3实施方式进行说明。第3实施方式说明的是可在摄像装置1中实现的应用技术。只要不发生矛盾，可以将以下第1～第5应用技术中的多个应用技术组合起来实施。
——第1应用技术——
对第1应用技术进行说明。参照图11(a)和(b)。图11(a)所示的原始输入图像230和输出图像231与图6(a)或(b)所示的图像相同。如上所述，输出图像生成部53可以利用从合焦度映射图生成部51或合焦度映射图编辑部52输出的合焦度映射图，或者利用从记录介质16读出的合焦度映射图，进行输出图像生成处理，由此从原始输入图像230生成输出图像231。然后再一次将输出图像231作为输入图像输入至输出图像生成部53。特别将针对输出图像生成部53的输入图像中经过一次以上输出图像生成处理的输入图像称为再输入图像。当输出图像231被作为输入图像输入至输出图像生成部53时，输出图像231就被称为再输入图像231(参照图11(b))。
使用者可以发出对再输入图像231进行输出图像生成处理的指示。在该指示出现时，输出图像生成部53利用从输出图像231的图像文件中读出合焦度映射图，对再输入图像231实行输出图像生成处理，可以生成新的输出图像232(参照图11(b))。如果在输出图像232生成时使用者发出编辑指示，那么，从输出图像231的图像文件中读出的合焦度映射图就会在合焦度映射图编辑部52按照该编辑指示被编辑，编辑后的合焦度映射图被用于输出图像生成处理，用来生成输出图像232。然后，也可以进一步将输出图像232作为再输入图像输入至输出图像生成部53。
不过，合焦度映射图生成部51生成的合焦度映射图本来是假设用于原始输入图像而生成的合焦度映射图。所以，对于进行过一次以上输出图像生成处理的图像，即使再一次执行输出图像生成处理，也不一定得到希望的输出图像。尤其是在输出图像生成处理中包含用来修复劣质图像的图像复原处理的情况下，即使对再输入图像实施输出图像生成处理，有时也无法成功复原，结果生成出乎意料的输出图像。
此外，使用者虽然可以指示显示部15显示原始输入图像230或输出图像231，并根据需要对显示图像实行输出图像生成处理，但如果不认真，显示图像即便是输出图像231，使用者有时也会误以为它是原始输入图像230，从而对显示图像实行上述指示。
考虑到上述情况，记录控制部54在将记录对象图像记录到记录介质16时，会将表示记录对象图像是否经过输出图像生成处理的处理有无信息与记录对象图像相关联，记录到记录介质16。具体而言就是，只要在例如将记录对象图像保存到图像文件内时，如图12(a)所示，将上述处理有无信息保存在记录对象图像的图像文件的附加区域即可。处理有无信息可以认为是表示记录对象图像是否是原始输入图像的信息。如图12(b)所示，当记录对象图像是原始输入图像时，处理有无信息被写入数字值“0”，表示“记录对象图像不是经过输出图像生成处理的图像”；当记录对象图像不是原始输入图像时(例如记录对象图像是输出图像231或232时)，处理有无信息被写入数字值“1”，表示“记录对象图像是经过输出图像生成处理的图像”。
数字聚焦部50在从记录介质16读出记录对象图像时，也读出相应的处理有无信息。另外，显示控制部55在将从记录介质16中读出的记录对象图像显示在显示部15时，也可以根据读出的处理有无信息，在显示部15显示处理有无指标。处理有无指标是用来让使用者辨认显示图像是否为原始输入图像的指标。例如，对于显示部15显示的记录对象图像，处理有无信息为“1”时，同时显示表示输出图像生成处理完成的图标和记录对象图像；处理有无信息为“0”时，不显示上述图标，或同时显示记录对象图像和与上述图标不同的其它图标。
此外，在使用者指示对保存在记录介质16中的记录对象图像实行输出图像生成处理的情况下，当该记录对象图像的处理有无信息为“1”时，数字聚焦部50可以向使用者发出警报，示意情况。警报方法是任意的。例如，可以通过在显示部15显示影像或利用未图示的扬声器输出声音来发出警报(后述的其它警报也是同样)。
——第2应用技术——
对第2应用技术进行说明。参照图11(a)和图13。从原始输入图像230生成输出图像231后，记录控制部54可以将存放原始输入图像230的图像文件FL230和存放输出图像231的图像文件FL231保存在记录介质16中。此时，记录控制部54会将图像文件FL230的链接信息保存在图像文件FL231的附加区域，再将用于从原始输入图像230生成输出图像231的合焦度映射图保存在图像文件FL231的附加区域，或者，以将该合焦度映射图嵌入输出图像231的状态，在图像文件FL231中保存。
各图像文件都会提供图像文件的固有信息(例如文件编号)，数字聚焦部50通过参照固有信息，就可以确定与固有信息对应的图像文件。所谓图像文件FL230的链接信息是指图像文件FL230的固有信息(例如图像文件FL230的文件编号)。数字聚焦部50只要参照图像文件FL230的链接信息，就可以识别图像文件FL230处于记录介质16上的哪个记录区域。
在第2应用技术中，当使用者指示针对图像文件FL231内的输出图像231进行输出图像生成处理时，会实行如下动作。
数字聚焦部50(例如输出图像生成部53)从图像文件FL231中读出合焦度映射图和图像文件FL230的链接信息，使用读出的链接信息识别记录介质16上的图像文件FL230，从图像文件FL230中读出原始输入图像230。使用者通过适当的编辑指示，对从图像文件FL231中读出的合焦度映射图MAP231进行编辑，生成合焦度映射图MAP231’，也就是编辑后的合焦度映射图。输出图像生成部53根据合焦度映射图MAP231’，对从图像文件FL230读出的原始输入图像230实行输出图像生成处理，由此生成不同于输出图像231的新的输出图像231’(未图示)。另外，如果在生成输出图像231’时，不是使用合焦度映射图MAP231’，而是使用合焦度映射图MAP231的话，输出图像231’就会与输出图像231相同。这样一来，只要对原始输入图像进行输出图像生成处理，就会避免发生上述的情况，即生成出乎意料的输出图像。
另外，有时即便用图像文件FL230的链接信息在记录介质16内搜索图像文件FL230，也找不到图像文件FL230。例如在链接信息生成后、图像文件FL230从记录介质16中被删除的情况下，就无法从记录介质16中找到图像文件FL230。在这种情况下，也可以向使用者发出警报，告知原始输入图像找不到。
此外，在图像文件FL230的链接信息是图像文件FL230的文件编号的情况下，在链接信息保存后，图像文件FL230的文件编号被使用者变更时，用链接信息就无法识别图像文件FL230。所以，可以预先赋予图像文件FL230使用者无法变更的固定的固有信息，将固定的固有信息作为图像文件FL230的链接信息保存在图像文件FL231中。
——第3应用技术——
对第3应用技术进行说明。如上所述，可以取代编辑前的合焦度映射图保存根据使用者的编辑指示生成的编辑后的合焦度映射图，或者与编辑前的合焦度映射图一起被保存在记录介质16中。编辑后的合焦度映射图如果被废弃，会很难再现完全相同的合焦度映射图，所以，优选保存编辑后的合焦度映射图。然而，保存编辑后的合焦度映射图会使图像文件增大。
为了尽可能抑制文件的增大，在保存编辑后的合焦度映射图时，可以仅保存编辑后的合焦度映射图中使用者通过编辑指示改变的部分。也就是说，对于图14(a)和(b)，300和301分别是编辑前和编辑后的合焦度映射图，如果使用者发出编辑指示，仅对合焦度映射图300整个区域中的部分区域310变更合焦度(像素值)，那么可以仅将合焦度映射图301中区域310的合焦度(变更后的合焦度)保存在对应的图像文件中。因为只要保存合焦度映射图301中区域310的合焦度，就可以利用合焦度映射图300，再现合焦度映射图301整体。
另外，如果对仅保存了区域310的合焦度的合焦度映射图301与合焦度映射图300求差值，则由于没有被编辑指示改变的那一部分的合焦度(像素值)为零，所以图像的压缩率会提高，文件会变小。此外，也可以将存放了区域310的合焦度的合焦度映射图301保存在上述的第2缩图记录区域。这时，只要将区域310设定为关注区域，并仅保存区域310内的合焦度(像素值)，就可以很大程度地抑制文件的增大。
——第4应用技术——
对第4应用技术进行说明。在各图像文件的附加信息中含有表示记录对象图像的生成时刻的时间戳(timestamp)。原始输入图像230的时间戳表示原始输入图像230的摄影时刻。输出图像231的时间戳可以是输出图像231的生成时刻。但这样一来，原始输入图像230与输出图像231的时间戳就会不一致(其中假定参照图6(b)说明的合焦度自动调整功能无效)，使用者在阅览输出图像231的图像文件FL231时，很难识别作为输出图像231的原始文件的图像文件FL230是哪一个图像文件。
考虑到以上情况，在生成图像文件FL231时，也可以使图像文件FL231的时间戳与图像文件FL230的时间戳一致，不管输出图像231的生成时刻。基于再输入图像的输出图像(例如图11(b)的输出图像232)的图像文件的时间戳也是同样。
——第5应用技术——
对第5应用技术进行说明。在各图像文件的附加信息中含有相机信息。相机信息包含记录对象图像的摄影条件，例如拍摄记录对象图像时的光圈值、焦距等。在输出图像231生成时，可以预先使输出图像231的图像文件FL231中的相机信息与原始输入图像230的图像文件FL230的相机信息一致。基于再输入图像的输出图像(例如图11(b)的输出图像232)的图像文件的相机信息也是同样。
另一方面，通过输出图像生成处理可以改变图像的景深等(详细内容后述)。例如，通过输出图像生成处理，输出图像231的景深有时会比原始输入图像230浅。在这种情况下，如果图像文件FL230与FL231之间相机信息相同，则图像文件的检索很难根据相机信息来实现。也就是说，例如如果图像文件FL231的相机信息与景深较大的原始输入图像230的相同，即使将检索条件设定为“景深较小的图像”，为从记录介质16内的多个图像文件中检索出存放景深较小的输出图像231的图像文件FL231而实行检索，也不会通过该检索找到图像文件FL231。
考虑到上述情况，可以按照输出图像生成处理的内容，根据图像文件FL230的相机信息，变更保存在图像文件FL231中的相机信息。基于再输入图像的输出图像(例如图11(b)的输出图像232)的图像文件的相机信息也是同样。
《第4实施方式》
对第4实施方式进行说明。在第4实施方式中，第1～第6图像处理方法是图4的输出图像生成部53中可采用的输出图像生成处理方法的例示。
——第1图像处理方法——
对第1图像处理方法进行说明。图15表示作为图4的输出图像生成部53可采用的输出图像生成部53a的内部框图。输出图像生成部53a包括由符号61～64参照的各部位。其中，YUV生成部61虽然设在图1的主控制部13中，但是可以设在输出图像生成部53a的外部。
YUV生成部61将输入图像的图像信号格式从RAW数据格式转换为YUV格式。也就是说，从输入图像的RAW数据，生成输入图像的亮度信号和色差信号。以下，将亮度信号称为Y信号，将形成色差信号的两个信号分量称为U信号和V信号。
转换表62根据自身所提供的合焦度映射图，求出并输出每个像素的模糊度和边缘强调度。FD(x，y)、BD(x，y)和ED(x，y)分别表示与像素(x，y)相对应的合焦度、模糊度和边缘强调度。
图16(a)表示形成合焦度映射图的合焦度与模糊度之间的关系。如图16(a)所示，当不等式“FD(x，y)＜THA”成立时，转换表62将模糊度BD(x，y)设定为模糊度的上限BDH；当不等式“THA≤FD(x，y)＜THB”成立时，随着合焦度FD(x，y)从阈值THA增大到阈值THB，转换表62将模糊度BD(x，y)从模糊度的上限BDH线性(或者非线性)减小到模糊度的下限BDL；当不等式“THB≤FD(x，y)”成立时，转换表62将模糊度BD(x，y)设定为模糊度的下限BDL。这里，可以预先对BDH、BDL、THA和THB进行设定，使得满足不等式“0＜BDL＜BDH”且“0＜THA＜THB”(例如设BDH＝7，BDL＝1)。
图16(b)表示形成合焦度映射图的合焦度与边缘强调度的关系。如图16(b)所示，当不等式“FD(x，y)＜THC”成立时，转换表62将边缘强调度ED(x，y)设定为强调度的下限EDL；当不等式“THC≤FD(x，y)＜THD”成立时，随着合焦度FD(x，y)从阈值THC增大到阈值THD，转换表62使边缘强调度ED(x，y)从强调度的下限EDL线性(或者非线性)增大到强调度的上限EDH；当不等式“THD≤FD(x，y)”成立时，转换表62将边缘强调度ED(x，y)设定为强调度的上限EDH。这里，可以预先对EDH、EDL、THC和THD进行设定，满足不等式“0＜EDL＜EDH”且“0＜THC＜THD”。
图15的背景模糊化部63按照从转换表62输出的每个像素的模糊度，对YUV生成部61输出的Y、U、V信号实施像素单位的模糊化处理。但是，对于模糊度BD(x，y)与模糊度下限BDL一致的图像部分，优选不实施模糊化处理。模糊化处理既可以分别对Y、U、V信号实行，也可以仅对Y信号实行。通过空间滤波，使用空间滤波器对Y信号在空间方向进行平滑处理，可以实现Y信号的模糊化处理(U和V信号也是同样)。作为空间滤波器，可以使用均值滤波器、加权均值滤波器、高斯滤波器等，模糊度也可以用于高斯滤波器上的高斯分布的分散。此外，也可以使用低通滤波器进行频率过滤，使Y信号所含的空间频率分量中的低频分量留下，高频分量除去，实现Y信号的模糊化处理(U和V信号也是同样)。
针对关注像素(x，y)的合焦度FD(x，y)越小，从而关注像素(x，y)的模糊度BD(x，y)就越大，由关注像素(x，y)和该关注像素的周边像素所组成的图像部分的模糊化程度也会越大。举一个简单的例子，假设模糊化处理使用的是均值滤波器，当模糊度BD(x，y)大于模糊度下限BDL、小于模糊度上限BDH时，使用3×3大小的均值滤波器，对关注像素(x，y)实行模糊化处理；当模糊度BD(x，y)等于模糊度上限BDH时，要使用5×5大小的均值滤波器，对关注像素(x，y)实行模糊化处理。所以，模糊度BD(x，y)越大，对应部分的模糊化程度就越大。
图15的边缘强调处理部64对从背景模糊化部63输出的模糊化处理后的Y、U、V信号以像素为单位实施边缘强调处理。边缘强调处理是使用拉普拉斯滤波器等锐化滤波器进行的图像边缘强调处理。该处理根据边缘强调度ED(x，y)可以改变锐化滤波器的滤波器系数的设定，使得由关注像素(x，y)和该关注像素的周边像素所组成的图像部分的边缘强调度随关注像素(x，y)的边缘强调度ED(x，y)的增大而增大。
经过边缘强调处理部64的边缘强调处理，Y、U、V信号会被生成为输出图像的Y、U、V信号。另外，也可以不使用边缘强调处理部64，在这种情况下，从背景模糊化部63输出的模糊化处理后的Y、U、V信号作为输出图像的Y、U、V信号发挥功能。
通过将上述模糊化处理包含在输出图像生成处理中，由此得到具有“模糊感”的输出图像211(参照图5(b))，其背景被摄体(建筑物SUB3)模糊，主要被摄体(花SUB1和人物SUB2)清晰。也就是说，得到了一种输出图像，合焦度较大的图像部分的被摄体在视觉上得到强化，比合焦度较小的图像部分的被摄体更清晰(同样的强调效果也可以通过后述的第2～第4图像处理方法实现)。
——第2图像处理方法——
对第2图像处理方法进行说明。在第2图像处理方法中，图15的背景模糊化部63所实行的上述模糊化处理被置换为亮度降低处理。除该置换外，第2图像处理方法与第1图像处理方法相同。
在第2图像处理方法中，图15的背景模糊化部63按照从转换表62输出的以像素为单位的模糊度，对YUV生成部61输出的Y信号按照像素单位实施亮度降低处理。但是，对于模糊度BD(x，y)等于模糊度下限BDL的图像部分，优选不实施亮度降低处理。
在亮度降低处理中，针对关注像素(x，y)的合焦度FD(x，y)越小，从而关注像素(x，y)的模糊度BD(x，y)越大，关注像素(x，y)的Y信号的信号电平会大为降低。关注像素(x，y)的亮度会随着关注像素(x，y)的Y信号的信号电平的降低而降低。将这种亮度降低处理包含在输出图像生成处理中，可以生成背景被摄体(建筑物SUB3)较暗、主要被摄体(花SUB1和人物SUB2)被强调突现的输出图像。
——第3图像处理方法——
对第3图像处理方法进行说明。在第3图像处理方法中，图15的背景模糊化部63所实行的上述模糊化处理被置换为饱和度降低处理。除该置换外，第3图像处理方法与第1图像处理方法相同。
在第3图像处理方法中，图15的背景模糊化部63按照从转换表62输出的以像素为单位的模糊度，对YUV生成部61输出的Y信号按照像素单位实施饱和度降低处理。但是，对于模糊度BD(x，y)等于模糊度下限BDL的图像部分，优选不实施饱和度降低处理。
在饱和度降低处理中，针对关注像素(x，y)的合焦度FD(x，y)越小，从而关注像素(x，y)的模糊度BD(x，y)越大，关注像素(x，y)的U信号和V信号的信号电平会大为降低。关注像素(x，y)的饱和度会随着关注像素(x，y)的U信号和V信号的信号电平的降低而降低。将这种饱和度降低处理包含在输出图像生成处理中，就可以生成背景被摄体(建筑物SUB3)饱和度较低、主要被摄体(花SUB1和人物SUB2)被强调突现的输出图像。
另外，也可以用图15的背景模糊化部63实行上述模糊化处理、亮度降低处理和饱和度降低处理中2个以上的处理。
——第4图像处理方法——
对第4图像处理方法进行说明。图17表示第4图像处理方法中作为图4的输出图像生成部53可采用的输出图像生成部53b的内部框图。输出图像生成部53b包括由符号61和符号72～74参照的各部位。其中，YUV生成部61虽然设在图1的主控制部13中，但是，也可以设在输出图像生成部53b的外部。图17的YUV生成部61与图15的相同。
全景模糊化部72对从YUV生成部61输出的图像信号一律实施模糊化处理。为了与第1图像处理方法的模糊化处理相区别，将全景模糊化部72的模糊化处理称为全景模糊化处理。在全景模糊化处理中，输入图像整体会以相同条件被模糊化，与合焦度映射图无关。全景模糊化处理既可以对形成图像信号的每个Y、U、V信号实行，也可以仅对Y信号实行。通过空间滤波，使用空间滤波器对Y信号在空间方向进行平滑处理，可以实现Y信号的全景模糊化处理(U和V信号也是同样)。作为空间滤波器，可以使用均值滤波器、加权均值滤波器、高斯滤波器等。此外，也可以使用低通滤波器进行频率过滤，使Y信号所含的空间频率分量中的低频分量留下，高频分量除去，实现Y信号的全景模糊化处理(U和V信号也是同样)。
全景模糊化部72将全景模糊化处理后的Y、U、V信号输出到加权相加合成部74。将作为图像信号具有全景模糊化处理后的Y、U、V信号的图像也就是全景模糊化处理后的输入图像称为全景模糊化图像。
转换表73根据自身所提供的合焦度映射图，求出并输出每个像素的输入图像与全景模糊化图像的合成比。FD(x，y)如上所述表示针对像素(x，y)的合焦度，K(x，y)表示针对像素(x，y)的合成比。
图18表示形成合焦度映射图的合焦度与合成比的关系。如图18所示，当不等式“FD(x，y)＜THE”成立时，转换表73将合成比K(x，y)设定为比率下限KL；当不等式“THE≤FD(x，y)＜THF”成立时，随着合焦度FD(x，y)从阈值THE增大到阈值THF，转换表73将合成比K(x，y)从比率下限KL线性(或者非线性)增大到比率上限KH；当不等式“THF≤FD(x，y)”成立时，转换表73将合成比K(x，y)设定为比率上限KH。这里，可以预先对KH、KL、THE和THF进行设定，满足不等式“0＜KL＜KH≤1”且“0＜THE＜THE”通常，设KL＝0，KH＝1。
加权相加合成部74按照输入图像的图像信号和全景模糊化图像的图像信号按照转换表73输出的合成比以像素为单位混合的方式，对输入图像和全景模糊化图像进行合成。这样得到的合成图像就是基于第4图像处理方法的输出图像。当然，图像信号的混合是分别对Y、U、V信号进行的。更为具体而言就是，设Y1(x，y)表示输入图像的像素(x，y)的Y信号，Y2(x，y)表示全景模糊化图像的像素(x，y)的Y信号，Y3(x，y)表示输出图像的像素(x，y)的Y信号，按照下式生成Y3(x，y)(输出图像的U信号和V信号也同样生成)。
Y3(x，y)
＝K(x，y)·Y1(x，y)+(1-K(x，y))·Y2(x，y)
对于合焦度较大的图像部分，输入图像对输出图像的贡献度较高；对于合焦度较小的图像部分，全景模糊化图像对输出图像的贡献度较高。所以，利用上述的全景模糊化处理和图像合成处理来形成输出图像生成处理，就会使合焦度较小的图像部分在从输入图像生成输出图像的过程中被模糊化，比合焦度较大的图像部分程度更强。结果就可以得到具有“模糊感”的输出图像211(参照图5(b))，其背景被摄体(建筑物SUB3)模糊，主要被摄体(花SUB1和人物SUB2)清晰可见。
另外，与将第1图像处理方法变更到第2图像处理方法的情况同样，在全景模糊化部72中，也可以对输入图像进行全景亮度降低处理，而不进行全景模糊化处理。在全景亮度降低处理中，输入图像的所有像素的Y信号的信号电平以相同条件降低，与合焦度映射图无关。如上所述，以像素为单位，按照合成比将该降低后的Y信号与输入图像本身的Y信号混合，可以得到输出图像的Y信号(此时，认为输出图像的U信号和V信号与输入图像的U信号和V信号相同)。在进行全景亮度降低处理的情况下，合焦度较小的图像部分的亮度会在从输入图像生成输出图像的过程中被降低，大大低于合焦度较大的图像部分的亮度。
此外，与将第1图像处理方法变更到第3图像处理方法的情况同样，在全景模糊化部72中，也可以对输入图像进行全景饱和度降低处理，而不进行全景模糊化处理。在全景饱和度降低处理中，输入图像的所有像素的U信号和V信号的信号电平以相同条件降低，与合焦度映射图无关。如上所述，以像素为单位，按照合成比将该降低后的U信号和V信号与输入图像本身的U信号和V信号混合，可以得到输出图像的U信号和V信号(此时，认为输出图像的Y信号与输入图像的Y信号相同)。在进行全景饱和度降低处理的情况下，合焦度较小的图像部分的饱和度会在从输入图像生成输出图像的过程中被降低，大大低于合焦度较大的图像部分的饱和度。也可以由图17的全景模糊化部72实行上述全景模糊化处理、全景亮度降低处理和全景饱和度降低处理中2个以上的处理。
——第5图像处理方法——
对第5图像处理方法进行说明。通过上述的第1～第4图像处理方法，可以获得使输出图像的景深比输入图像浅这种作用。但是，单独使用上述第1～第4图像处理方法中的任何一个，都很难使输出图像的景深比输入图像的深。
不过，只要输出图像生成处理中包含图像复原处理，通过对因图像的模糊引起的劣化进行修复，就可以使输出图像的景深在部分或整个图像中比输入图像的深。例如，通过将输入图像上的模糊化部分视为劣化图像，对输入图像实施图像复原处理(换言之就是除去该劣化图像的图像复原处理)，修复该劣化图像，就可以生成完全合焦图像。所谓完全合焦图像就是整个图像都已对焦的图像。只要输出图像生成处理中包含生成完全合焦图像的图像复原处理，再使用上述的第1～第4图像处理方法中的任何一个，就可以生成景深任意、焦距任意的输出图像。上述的图像复原处理的方法可以使用公知的方法。
——第6图像处理方法——
对第6图像处理方法进行说明。在第6图像处理方法中，使用被称为“Light Field Photography”的方法(下称“Light Field法”)，从基于摄像元件33的输出信号的输入图像生成景深任意、焦距任意的输出图像。作为根据摄像元件33输出信号生成景深任意、焦距任意的图像的方法，可以利用基于“Light Field法”的公知的方法(例如，国际公开第06/039486号小册子或JP特开2009-224982号公报所述的方法)。在Light Field法中，通过使用具有孔径光圈的摄像镜头和微镜阵列，从摄像元件得到的图像信号不但包含摄像元件受光面的光强度分布，还包含光行进方向的信息。对于采用Light Field法的摄像装置，根据来自摄像元件的图像信号进行图像处理，可以重新构建景深任意、焦距任意的图像。也就是说，若使用LightField法，在图像拍摄后，可以自由构建与任意被摄体对焦的输出图像。
因此，图2虽然没有表示，但在使用Light Field法时，摄像部11会设置实现Light Field法所需要的光学部件(后述的第5实施方式也是同样)。该光学部件包含微镜阵列等。来自被摄体的入射光经由微镜阵列等，入射到摄像元件33的受光面(换言之就是摄像面)。微镜阵列由多个微透镜组成，对摄像元件33上的1个或多个受光像素分配1个微透镜。这样，就会使摄像元件33的输出信号不但包含摄像元件33受光面的光强度分布，还包含向摄像元件33的入射光的行进方向的信息。
输出图像生成部53根据所提供的合焦度映射图，识别输出图像上各位置的对焦程度，利用合焦度映射图，针对输入图像实行作为输出图像生成处理的基于Light Field法的图像处理，来生成输出图像。举一个简单的例子，合焦度映射图的整个区域由第1区域和第2区域组成，在第1区域的合焦度足够高、第2区域的合焦度足够低的情况下，实行基于Light Field法的图像处理，以便仅使输出图像上的第1区域内的图像对焦，使输出图像上的第2区域内的图像模糊化。在使用Light Field法时，优选应提供给输出图像生成部53的输入图像是基于摄像元件33的输出信号本身的原始输入图像。这是因为：摄像元件33的输出信号中包含实现Light Field法所需要的入射光的行进方向的信息，该行进方向的信息有可能在再输入图像(参照图11(b))中被劣化。
《第5实施方式》
对第5实施方式进行说明。在第5实施方式中，第1～第6合焦度导出方法是图4的合焦度映射图生成部51中可采用的合焦度导出方法和合焦度映射图生成方法的例示。
——第1合焦度导出方法——
对第1合焦度导出方法进行说明。在第1合焦度导出方法和后述的第2合焦度导出方法中，输入图像(尤其是原始输入图像)的图像信号被当作合焦度导出用信息(参照图4)使用。首先，只关注一维对象，对第1合焦度导出方法的原理进行说明。图19(a)表示输入图像上的合焦部的典型的亮度信号图形，图19(b)表示输入图像上的非合焦部的典型的亮度信号图形。不过，可以认为在图19(a)和19(b)所对应的合焦部和非合焦部中都存在作为亮度变化边界部分的边缘。在图19(a)和19(b)各图线中，横轴表示X轴，纵轴表示亮度值。所谓亮度值是表示亮度信号的数值，与亮度信号(即Y信号)的信号电平同义。关注像素(x，y)的亮度值越大，关注像素(x，y)的亮度越强。
对于图19(a)的合焦部，设边缘的中心部的像素为关注像素，当求出以关注像素为中心的极小区域范围内(例如宽度为3个像素的区域)的亮度信号的最大值与最小值的差(下称为极小区域的亮度差值)、以及以关注像素为中心的局部区域(例如宽度为7个像素的区域)的亮度信号的最大值与最小值的差(下称为局部区域的亮度差值)时，由于合焦部中亮度急剧变化，所以(极小区域的亮度差值)/(局部区域的亮度差值)大致等于1。
与此相对，在图19(b)的非合焦部，设边缘的中心部的像素为关注像素，如上所述，当求出以关注像素为中心的极小区域的亮度差值以及、以关注像素为中心的局部区域的亮度差值时，由于在非合焦部亮度平缓变化，所以(极小区域的亮度差值)/(局部区域的亮度差值)远远小于1。
在第1合焦度导出方法中，利用合焦部与非合焦部之间“(极小区域的亮度差值)/(局部区域的亮度差值)”的比值不同的性质，来导出合焦度。
图20是与第1合焦度导出方法有关的合焦度导出部位的框图。图20的YUV生成部61与图15或图17所示的相同。图20中符号101～104参照的各部位可以预先设置在图4的合焦度映射图生成部51中。
从YUV生成部61输出的输入图像的Y信号被送至极小区域差值提取部101(以下有时简化为提取部101)和局部区域差值提取部102(以下有时简化为提取部102)。提取部101从输入图像的Y信号，以像素为单位提取极小区域的亮度差值并输出。提取部102从输入图像的Y信号，以像素为单位提取局部区域的亮度差值并输出。边缘差值比算出部103(以下有时简化为算出部103)以像素为单位，将极小区域的亮度差值与局部区域的亮度差值的比、或者以该比值为基准的值视为边缘差值比进行计算并输出。
图21是表示从输入图像的Y信号求出极小区域的亮度差值、局部区域的亮度差值以及边缘差值比的情况。为简化说明，以7×7像素的图像区域为对象，对上述计算处理进行说明。aij表示输入图像上的像素(i，j)的亮度值。所以，a12例如就表示输入图像上的像素(1，2)的亮度值。这里，i和j是整数，是表示像素的水平坐标值x和垂直坐标值y的任意变量。此外，bij、cij和dij分别表示针对像素(i，j)求出的极小区域的亮度差值、局部区域的亮度差值以及边缘差值比。所谓极小区域是指以关注像素为中心的较小的图像区域，局部区域是指以关注像素为中心的比极小区域大的图像区域。
在图21中作为例子，将由3×3像素组成的图像区域定义为极小区域，将由7×7像素组成的图像区域定义为局部区域。所以，当关注像素是像素(4，4)时，满足3≤i≤5且3≤j≤5的9个像素(i，j)所形成的图像区域就是关注像素(4，4)的极小区域，满足1≤i≤7且1≤j≤7的49个像素(i，j)所形成的图像区域就是关注像素(4，4)的局部区域。
极小区域差值提取部101对关注像素的极小区域中的亮度值的最大值与最小值的差进行运算，将其作为针对关注像素的极小区域的亮度差值。但是，该运算要使极小区域的亮度差值bij为0以上。举例来说，倘若在关注像素(4，4)的极小区域中，a55是最大值，a33是最小值，那么，关注像素(4，4)的极小区域的亮度差值b44就用“b44＝a55-a33”求出。
局部区域差值提取部102对关注像素的局部区域中的亮度值的最大值与最小值的差进行运算，将其作为针对关注像素的局部区域的亮度差值。但是，该运算要使局部区域的亮度差值cij为0以上。举例来说，倘若在关注像素(4，4)的局部区域中，a11是最大值，a17是最小值，那么，关注像素(4，4)的局部区域的亮度差值c44就用“c44＝a11-a17”求出。
对于关注像素而言，以1个像素为单位沿水平或垂直方向移动，每移动一次，就计算一次极小区域的亮度差值和局部区域的亮度差值。其结果，最终会求出针对所有像素的极小区域的亮度差值和局部区域的亮度差值。在图21的例子中，b11～b77和c11～c77会被全部求出。
边缘差值比算出部103针对各像素计算极小区域的亮度差值与局部区域亮度差值加上规定的微小值VOFFSET之后的值比，将其作为边缘差值比。
也就是说，按照如下的等式求出针对像素(i，j)的边缘差值比dij。如图21所示，根据b11～b77和c11～c77，就会求出d11～d77。另外，VOFFSET是为防止上述等式的分母为零而设定的正的偏移量。
等式“dij＝bij/(cij+VOFFSET)”
扩张处理部104根据算出的各像素的边缘差值比，对边缘差值比较大的区域进行扩张。将实行该扩张的处理简称为扩张处理，将经过该扩张处理之后的边缘差值比称为扩张边缘差值比。图22是扩张处理部104的扩张处理概念图。在图22中，折线411表示输入图像上的合焦部的典型的亮度信号图形，折线412表示从折线411所表示的亮度信号导出的边缘差值比的图形，折线413表示从折线412所表示的边缘差值比导出的扩张边缘差值比的图形。
由折线412可知，边缘差值比的最大取值是在作为边缘的中心部分的地点410处。扩张处理部104以地点410处为中心，将具有规定尺寸的图像区域设定为扩张对象区域，将属于扩张对象区域的各像素的边缘差值比置换为地点410处的边缘差值比。经过该置换的边缘差值比就是扩张处理部104应求出的扩张边缘差值比。也就是说，扩张处理部104将属于扩张对象区域的各像素的边缘差值比置换为扩张对象区域的最大的边缘差值比。
dij’表示与像素(i，j)相对应的扩张边缘差值比。图23(a)～(h)是用来说明图20的扩张处理部104进行的扩张处理的说明图。图23(a)～(d)示出了边缘差值比算出部103输出的边缘差值比中7×7像素部分的边缘差值比d11～d77。在图23(a)等所示的例子中，以关注像素为中心的3×3像素部分的图像区域被设为扩张对象区域。可以认为按照图23(a)、(b)、(c)和(d)的顺序进行扩张处理。从图23(a)的状态开始，关注像素和扩张对象区域向右侧、上侧和下侧仅移动1个像素，会分别到达图23(b)、(c)和(d)的状态。
在图23(a)的状态下，像素(4，4)被设定为关注像素。所以满足3≤i≤5且3≤j≤5的9个像素(i，j)所形成的图像区域就被设定为扩张对象区域421。设定：当前，在属于扩张对象区域421的9个像素的边缘差值比中，关注像素(4，4)的边缘差值比d44是最大的。在这种情况下，扩张处理部104不对关注像素(4，4)的边缘差值比进行上述置换，会维持原状。也就是说，认为针对关注像素(4，4)的扩张边缘差值比d44就是边缘差值比d44本身。图23(e)表示针对图23(a)的状态进行扩张处理后的结果，在图23(e)中，涂黑的部分表示经过扩张处理后被赋予d44的扩张边缘差值比的部分(后述的图23(f)、(g)和(h)也是同样)。
在图23(b)的状态下，像素(4，5)被设定为关注像素，针对关注像素(4，5)设定扩张对象区域422。当前，如果属于扩张对象区域422的9个像素的边缘差值比中d44是最大的，则扩张处理部104会将关注像素(4，5)的边缘差值比d45置换为d44。也就是说，设d45’＝d44。图23(f)表示针对图23(a)和(b)的状态进行扩张处理后的结果。
在图23(c)的状态下，像素(3，4)被设定为关注像素，针对关注像素(3，4)设定扩张对象区域423。当前，如果属于扩张对象区域423的9个像素的边缘差值比中d44是最大的，则扩张处理部104会将关注像素(3，4)的边缘差值比d34置换为d44。也就是说，设d34’＝d44。图23(g)表示针对图23(a)～(c)的状态进行扩张处理后的结果。
在图23(d)的状态下，像素(5，4)被设定为关注像素，针对关注像素(5，4)设定扩张对象区域424。当前，如果属于扩张对象区域424的9个像素的边缘差值比中d44是最大的，则扩张处理部104会将关注像素(5，4)的边缘差值比d54置换为d44。也就是说，设d54’＝d44。图23(h)表示针对图23(a)～(d)的状态进行扩张处理后的结果。
对所有像素实行上述这种扩张处理。使用该扩张处理时，由于边缘部分的区域会被扩张，因此对焦的被摄体与未对焦的被摄体间的边界会得到明确。
对于扩张边缘差值比dij’，如果像素(i，j)处的被摄体对焦，则其值较大，否则就会较小。因此，在第1合焦度导出方法中，将扩张边缘差值比dij’作为像素(i，j)的合焦度FD(i，j)使用。不过，也可以将扩张处理前的边缘差值比dij作为像素(i，j)的合焦度FD(i，j)使用。
——第2合焦度导出方法——
对第2合焦度导出方法进行说明。图24是与第2合焦度导出方法有关的进行合焦度导出的部位的框图。图24的YUV生成部61与图15等所示的相同。图24的符号111～114参照的各部位可以预先设置在图4的合焦度映射图生成部51中。
高频BPF111是从YUV生成部61所输出的亮度信号中提取包含通频带BANDH内的空间频率分量的亮度信号并进行输出的带通滤波器。低频BPF112是从YUV生成部61输出的亮度信号中提取包含通频带BANDL内的空间频率分量的亮度信号并进行输出的带通滤波器。高频BPF111将通频带BANDH以外的空间频率分量除去；低频BPF112将通频带BANDL以外的空间频率分量除去。不过，高频BPF111和低频BPF112中的除去是指全部或部分除去想要清除的对象。除去部分对象也可以说成是减少对象。
高频BPF111的通频带BANDH的中心频率比低频BPF112的通频带BANDL的中心频率高。此外，通频带BANDH的低频侧的截止频率比通频带BANDL的低频侧的截止频率高；通频带BANDH的高频侧的截止频率比通频带BANDL的高频侧的截止频率高。
高频BPF111按照通频带BANDH对仅由输入图像的亮度信号组成的灰阶图像实行频率过滤，就可以获得按照通频带BANDH进行频率过滤后的灰阶图像。低频BPF112也是同样，按照同样做法，可以从低频BPF112获得灰阶图像。
频率分量比算出部113根据高频BPF111的输出值和低频BPF112的输出值针对每个像素计算频率分量比。如果设eij表示从高频BPF111获得的灰阶图像上的像素(i，j)的亮度值；fij表示从低频BPF112获得的灰阶图像上的像素(i，j)的亮度值；gij表示与像素(i，j)对应的频率分量比。那么，频率分量比算出部113就按照等式“gij＝|eij/fij|”，来针对每个像素计算频率分量比。
扩张处理部114实行与图20的扩张处理部104同样的扩张处理。但是，相对于扩张处理部104对边缘差值比dij实行扩张处理从而导出扩张边缘差值比dij’，扩张处理部114是对频率分量比gij实行扩张处理，导出扩张频率分量比gij’。扩张处理部104从边缘差值比导出扩张边缘差值比的方法与扩张处理部114从频率分量比导出扩张频率分量比的方法相同。
对于扩张频率分量比gij’，如果像素(i，j)处的被摄体对焦，则其值较大，否则就会较小。因此，在第2合焦度导出方法中，将扩张频率分量比gij’作为像素(i，j)的合焦度FD(i，j)使用。不过，也可以将扩张处理前的频率分量比gij作为像素(i，j)的合焦度FD(i，j)使用。
——第3合焦度导出方法——
对第3合焦度导出方法进行说明。图4的合焦度映射图生成部51也可以根据使用者的指示生成合焦度映射图。例如，在输入图像拍摄后、将输入图像显示在显示部15的状态下，受理使用者对操作部17的合焦度指定操作。或者，在显示部15设有触屏功能的情况下，通过使用者的触屏操作受理合焦度指定操作。通过合焦度指定操作，输入图像上各像素相应的合焦度会被指定。因此，在第3合焦度导出方法中，合焦度指定操作的内容作为合焦度导出用信息发挥功能(参照图4)。
例如，可以让使用者指定输入图像的整个图像区域内的应具有第1合焦度的图像区域、应具有第2合焦度的图像区域、...、应具有第n合焦度的图像区域(n为2以上的整数)，按照该指定内容生成合焦度映射图。这里，第1～第n合焦度是互不相同的合焦度。
——第4合焦度导出方法——
对第4合焦度导出方法进行说明。在第4合焦度导出方法中，根据距离图像以及拍摄输入图像时摄像部11的焦距，来生成合焦度映射图，该距离图像作为像素值具有输入图像上各像素的被摄体的被摄体距离。因此，在第4合焦度导出方法中，上述距离图像和焦距作为合焦度导出用信息发挥功能(参照图4)。只要焦距已知，就能确定完全对焦的被摄体距离，所以可以对完全对焦的被摄体距离(下称为合焦距离)分配最大的合焦度(以下简称为合焦度上限)，并且按照随着关注像素的被摄体距离偏离合焦距离从而与关注像素对应的合焦度从合焦度上限开始减少的方式，生成合焦度映射图。
距离图像的生成方法是任意的。例如，摄像装置1可以使用测定输入图像上各像素的被摄体距离的测距传感器(未图示)，生成距离图像。作为测距传感器可以使用基于三角测量法的测距传感器等公知的任意测距传感器。
——第5合焦度导出方法——
对第5合焦度导出方法进行说明。在第5合焦度导出方法中，利用上述的Light Field法来生成合焦度映射图。所以，在第5合焦度导出方法中，输入图像(尤其是原始输入图像)的图像信号作为合焦度导出用信息发挥功能(参照图4)。
如上所述，在使用Light Field法的情况下，在以输入图像的图像信号为基础的摄像元件33的输出信号中包含向摄像元件33的入射光的行进方向的信息，所以根据输入图像的图像信号，就可以通过运算导出输入图像上各位置的图像的对焦程度。如上所述，所谓合焦度是指对焦成功的程度，所以，按照Light Field法，根据输入图像的图像信号，就可以通过运算导出输入图像上各像素位置的合焦度(也就是可以生成合焦度映射图)。
——第6合焦度导出方法——
对第6合焦度导出方法进行说明。在第6合焦度导出方法中，输入图像(尤其是原始输入图像)的图像信号也作为合焦度导出用信息发挥功能(参照图4)。众所周知的显著度映射图(Saliency Map)是表示引起人视觉注意程度的映射图。可以认为引起人视觉注意的图像部分是应该对焦的主要被摄体存在的图像部分，也可以将该图像部分考虑为合焦部分。第6合焦度导出方法考虑到这种情况，将针对输入图像导出的显著度映射图作为合焦度映射图来生成。作为根据输入图像的图像信号导出输入图像显著度映射图的方法，可以利用公知的方法。
《变形等》
上述说明书中所示的具体数值仅仅是例示，当然，可以将它们变更为各种数值。以下的注释1～注释4记述的是适用于上述实施方式的注解事项。只要不发生矛盾，各注释所述内容可以任意组合。
[注释1]
在上述的实施方式中，输出图像的生成处理和合焦度的导出处理是以输入图像的像素为单位实行的，也可以以多个像素组成的区块为单位实行这些处理。
例如，将输入图像的整个像素区域分割成具有3×3像素大小的像素区块，根据合焦度导出用信息按区块导出合焦度，从而生成合焦度映射图。另外，在采用例如图17的结构的情况下，也可以从所生成的合焦度映射图按每个区块导出合成比，按照每个区块的合成比，以区块为单位将输入图像与全景模糊化部72输出的全景模糊化图像合成，从而生成输出图像。
可以将以像素为单位的处理和以区块为单位的处理综合起来如下表现。输入图像等任意二维图像是由多个小区域组成，输出图像生成处理和合焦度的导出处理可以以小区域为单位按小区域实行。这里，小区域是仅由1个像素组成的像素区域(这时，小区域就是像素本身)、或由几个像素组成的上述区块。
[注释2]
如上所述，应提供给图4的输出图像生成部53等的输入图像也可以是由摄像部11拍摄得到的动态图像中的一个一个的帧(换言之就是帧图像)。现在，将摄像部11拍摄得到的且应记录到记录介质16的动态图像称作对象动态图像。在这种情况下，可以针对形成对象动态图像的所有帧，生成合焦度映射图，并且以帧为单位生成记录对象图像，该记录对象图像是帧或者是基于帧的输出图像。可以以帧为单位使记录对象图像与合焦度映射图相互关联的状态下，将其记录到记录介质16，或者可以在将合焦度映射图嵌入记录对象图像内的状态下，将记录对象图像记录到记录介质16。
不过，为了消减必要的记录容量等，也可以仅对一部分帧记录合焦度映射图。例如，可以以Q帧为单位，记录合焦度映射图(Q为2以上的整数)。也就是，例如将形成对象动态图像的第i、第(i+Q)、第(i+2×Q)、...个帧设定为对象帧，仅将对象帧作为输入图像进行处理，生成与各对象帧对应的合焦度映射图(i为整数)。另外，也可以针对每个对象帧，生成记录对象图像，该记录对象图像是对象帧或基于对象帧的输出图像，以对象帧为单位在使记录对象图像与合焦度映射图相互关联的状态下，将其记录到记录介质16，或者也可以在将合焦度映射图嵌入记录对象图像内的状态下，将记录对象图像记录到记录介质16。此时，对象帧以外的帧(下称非对象帧)作为对象动态图像的一部分会被记录到记录介质16，与非对象帧对应的合焦度映射图不会被记录到记录介质16。
在需要针对非对象帧的合焦度映射图的情况下，可以使用相对于非对象帧在时间上较为接近的对象帧的合焦度映射图，来生成针对非对象帧的合焦度映射图。例如，在第(i+1)个帧为非对象帧的情况下，也可以从记录介质16中读出作为对象帧的第i个帧和第(i+Q)个帧的合焦度映射图，将读出的2个合焦度映射图中的一个或读出的2个合焦度映射图的平均化后的合焦度映射图作为第(i+1)个帧的合焦度映射图生成。
[注释3]
在上述的实施方式中，数字聚焦部50和记录介质16是假定设置在摄像装置1内的(参照图1和图4)，但数字聚焦部50和记录介质16也可以搭载在摄像装置1以外的其它电子机器(未图示)上。电子机器包含：电视接收机那样的显示装置、个人电脑、手机等，摄像装置也是电子机器的一种。只要将摄像装置1拍摄到的输入图像的图像信号经由记录介质16或通信传达到上述电子机器，则该电子机器内的数字聚焦部50就可以从输入图像生成输出图像。此时，如果合焦度导出用信息与输入图像的图像信号不同，可以连同合焦度导出用信息一起传达到上述电子机器。
[注释4]
图1的摄像装置1可以由硬件或硬件和软件的组合构成。在使用软件构成摄像装置1的情况下，与由软件实现的部位相关的框图，是表示该部位的功能框图。也可以将软件实现的功能记述为程序，通过在程序执行装置(例如计算机)上执行该程序，从而实现该功能。

Claims (6)

1.一种电子机器，其特征在于，包括：
合焦度映射图生成部，生成表示输入图像的各位置的合焦度的合焦度映射图；
输出图像生成部，通过对所述输入图像实施与所述合焦度映射图相应的图像处理，从而生成输出图像；和
记录控制部，将所述输入图像或所述输出图像作为记录对象图像，将所述记录对象图像和所述合焦度映射图相互关联地记录到记录介质，或者在所述记录对象图像内嵌入所述合焦度映射图之后，将所述记录对象图像记录到所述记录介质。
2.根据权利要求1所述的电子机器，其特征在于，
还包括合焦度映射图编辑部，该合焦度映射图编辑部按照编辑指示，对所述合焦度映射图进行编辑，
所述输出图像生成部使用编辑后的合焦度映射图，来生成所述输出图像，
所述记录控制部将所述记录对象图像和所述编辑后的合焦度映射图相互关联地记录到记录介质，或者在所述记录对象图像内嵌入所述编辑后的合焦度映射图之后，将所述记录对象图像记录到所述记录介质。
3.根据权利要求1或2所述的电子机器，其特征在于，
所述记录控制部还将处理有无信息与所述记录对象图像相关联地记录到所述记录介质，该处理有无信息表示所述记录对象图像是否是经过所述图像处理而得到的图像。
4.根据权利要求1～3任意一项所述的电子机器，其特征在于，
在所述记录对象图像是所述输出图像的情况下，
所述记录控制部将保存所述输入图像的第1图像文件记录到所述记录介质，并且将保存所述输出图像、所述合焦度映射图和所述第1图像文件的链接信息的第2图像文件记录到所述记录介质。
5.根据权利要求4所述的电子机器，其特征在于，
在所述第1和第2图像文件记录到所述记录介质之后，发出应该对所述第2图像文件内的输出图像实施所述图像处理的指示时，
所述输出图像生成部使用所述链接信息，从所述第1图像文件中读出所述输入图像，通过对读出的所述输入图像实施与所述合焦度映射图相应的图像处理，从而生成新的输出图像。
6.根据权利要求1～5任意一项所述的电子机器，其特征在于，
所述记录控制部在保存了所述记录对象图像的图像文件内的记录区域中保存所述合焦度映射图。
CN2011101293580A 2010-05-11 2011-05-11 电子机器 Pending CN102244731A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010109141A JP2011239195A (ja) 2010-05-11 2010-05-11 電子機器
JP2010-109141 2011-05-11

Publications (1)

Publication Number Publication Date
CN102244731A true CN102244731A (zh) 2011-11-16

Family

ID=44962538

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011101293580A Pending CN102244731A (zh) 2010-05-11 2011-05-11 电子机器

Country Status (3)

Country Link
US (1) US20120287308A1 (zh)
JP (1) JP2011239195A (zh)
CN (1) CN102244731A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105191284A (zh) * 2013-04-22 2015-12-23 奥林巴斯株式会社 摄像装置及其控制方法
CN112119350A (zh) * 2018-05-14 2020-12-22 富士胶片株式会社 移动式设备及摄影系统

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5671842B2 (ja) 2010-06-03 2015-02-18 株式会社ニコン 画像処理装置および撮像装置
KR101692401B1 (ko) * 2011-01-21 2017-01-03 삼성전자주식회사 영상 처리 방법 및 장치
US20130050560A1 (en) * 2011-08-23 2013-02-28 Bae Systems Information And Electronic Systems Integration Inc. Electronic selection of a field of view from a larger field of regard
JP5993133B2 (ja) * 2011-11-24 2016-09-14 株式会社キーエンス 画像処理センサ、フォーカス調整方法及びコンピュータプログラム
DE102011121473A1 (de) * 2011-12-17 2013-06-20 Valeo Schalter Und Sensoren Gmbh Verfahren zum Anzeigen von Bildern auf einer Anzeigeeinrichtung eines Kraftfahrzeugs,Fahrerassistenzeinrichtung, Kraftfahrzeug und Computerprogramm
JP5937871B2 (ja) * 2012-04-02 2016-06-22 日本電信電話株式会社 立体的画像表示装置、立体的画像表示方法及び立体的画像表示プログラム
US20130308874A1 (en) * 2012-05-18 2013-11-21 Kasah Technology Systems and methods for providing improved data communication
JP5943785B2 (ja) 2012-09-12 2016-07-05 キヤノン株式会社 撮像装置、撮像システム、画像処理装置、および、撮像装置の制御方法
CN104662888B (zh) * 2012-09-18 2018-01-02 富士胶片株式会社 静态图像显示装置及系统以及摄像装置
JP6137800B2 (ja) * 2012-09-26 2017-05-31 オリンパス株式会社 画像処理装置、画像処理方法、及び、画像処理プログラム
KR101361524B1 (ko) * 2012-11-09 2014-02-25 주식회사 시공미디어 콘텐츠 자동 변환 처리를 통한 워터마크 삽입 장치 및 방법
WO2014088049A1 (en) * 2012-12-07 2014-06-12 Canon Kabushiki Kaisha Image generating apparatus and image generating method
US9712702B1 (en) * 2013-03-15 2017-07-18 ArcaSearch Corporation Apparatus and method for imaging physical documents
JP6094359B2 (ja) * 2013-04-23 2017-03-15 ソニー株式会社 画像処理装置、画像処理方法、プログラム
MX360725B (es) 2013-08-09 2018-11-14 Thermal Imaging Radar Llc Métodos para analizar datos de imágenes térmicas de dispositivos virtuales y métodos para correlacionar los valores de profundidad a píxeles de imágenes.
JP6406804B2 (ja) * 2013-08-27 2018-10-17 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム並びに撮像装置
CN104427240A (zh) * 2013-09-09 2015-03-18 深圳富泰宏精密工业有限公司 电子装置及其影像调整方法
JP6262984B2 (ja) * 2013-10-18 2018-01-17 キヤノン株式会社 画像処理装置、撮像装置、制御方法、及びプログラム
JP6520036B2 (ja) * 2014-09-30 2019-05-29 株式会社ニコン 電子機器
WO2016160794A1 (en) 2015-03-31 2016-10-06 Thermal Imaging Radar, LLC Setting different background model sensitivities by user defined regions and background filters
US10298853B2 (en) 2016-01-13 2019-05-21 Canon Kabushiki Kaisha Image processing apparatus, method of controlling image processing apparatus, and imaging apparatus
JP6494587B2 (ja) * 2016-01-13 2019-04-03 キヤノン株式会社 画像処理装置および画像処理装置の制御方法、撮像装置、プログラム
KR102462008B1 (ko) 2017-09-22 2022-11-03 삼성디스플레이 주식회사 유기 발광 표시 장치
US10574886B2 (en) 2017-11-02 2020-02-25 Thermal Imaging Radar, LLC Generating panoramic video for video management systems
US10972714B2 (en) 2018-02-15 2021-04-06 Canon Kabushiki Kaisha Image processing apparatus, image processing method and storage medium for storing program
JP7137313B2 (ja) * 2018-02-15 2022-09-14 キヤノン株式会社 出力装置、画像処理方法およびプログラム
JP7311142B2 (ja) * 2019-08-23 2023-07-19 ライトタッチテクノロジー株式会社 生体組織識別装置および生体組織識別プログラム
US11601605B2 (en) 2019-11-22 2023-03-07 Thermal Imaging Radar, LLC Thermal imaging camera device
CN115242968A (zh) * 2022-06-10 2022-10-25 浙江大华技术股份有限公司 一种摄像设备的聚焦方法、装置和计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080094498A1 (en) * 2006-10-24 2008-04-24 Sanyo Electric Co., Ltd. Imaging apparatus and imaging control method
US20080131019A1 (en) * 2006-12-01 2008-06-05 Yi-Ren Ng Interactive Refocusing of Electronic Images
US20100033617A1 (en) * 2008-08-05 2010-02-11 Qualcomm Incorporated System and method to generate depth data using edge detection
JP2010091856A (ja) * 2008-10-09 2010-04-22 Nikon Corp プログラム、カメラおよび画像の合焦度算出方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006279546A (ja) * 2005-03-29 2006-10-12 Nikon Corp 電子カメラ、画像処理プログラム、および画像処理方法
JP4725452B2 (ja) * 2006-08-04 2011-07-13 株式会社ニコン デジタルカメラ及び画像処理プログラム
KR101574068B1 (ko) * 2008-12-26 2015-12-03 삼성전자주식회사 영상 처리 방법 및 장치
JP5173954B2 (ja) * 2009-07-13 2013-04-03 キヤノン株式会社 画像処理装置及び画像処理方法
JP5760324B2 (ja) * 2010-03-19 2015-08-05 ソニー株式会社 画像処理装置、画像処理方法、画像処理プログラム並びにこの画像処理プログラムが記録された記録媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080094498A1 (en) * 2006-10-24 2008-04-24 Sanyo Electric Co., Ltd. Imaging apparatus and imaging control method
US20080131019A1 (en) * 2006-12-01 2008-06-05 Yi-Ren Ng Interactive Refocusing of Electronic Images
US20100033617A1 (en) * 2008-08-05 2010-02-11 Qualcomm Incorporated System and method to generate depth data using edge detection
JP2010091856A (ja) * 2008-10-09 2010-04-22 Nikon Corp プログラム、カメラおよび画像の合焦度算出方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105191284A (zh) * 2013-04-22 2015-12-23 奥林巴斯株式会社 摄像装置及其控制方法
CN105191284B (zh) * 2013-04-22 2018-08-03 奥林巴斯株式会社 摄像装置及其控制方法
US10051200B2 (en) 2013-04-22 2018-08-14 Olympus Corporation Imaging apparatus and control method thereof
CN112119350A (zh) * 2018-05-14 2020-12-22 富士胶片株式会社 移动式设备及摄影系统
CN112119350B (zh) * 2018-05-14 2022-03-04 富士胶片株式会社 移动式设备及摄影系统

Also Published As

Publication number Publication date
JP2011239195A (ja) 2011-11-24
US20120287308A1 (en) 2012-11-15

Similar Documents

Publication Publication Date Title
CN102244731A (zh) 电子机器
US8749620B1 (en) 3D light field cameras, images and files, and methods of using, operating, processing and viewing same
CN101512596B (zh) 图像处理方法和装置
CN100442816C (zh) 图像处理装置、图像处理方法及摄像装置
EP2173104B1 (en) Image data generating apparatus, method, and program
US20100265353A1 (en) Image Processing Device, Image Sensing Device And Image Reproduction Device
US20070223887A1 (en) Image processing method, image recording method, image processing device and image file format
WO2017045558A1 (zh) 景深调节方法、装置及终端
US9743015B2 (en) Image capturing apparatus and method of controlling the same
CN103563350A (zh) 图像处理装置、图像处理方法以及数码相机
CN101682788B (zh) 信号处理方法和信号处理系统
CN102972032A (zh) 三维图像显示装置、三维图像显示方法、三维图像显示程序及记录介质
CN105339954B (zh) 用于数码相机的基于单帧的超分辨率内插的系统和方法
CN105407271A (zh) 图像处理设备和方法、摄像设备以及图像生成设备
CN103139476A (zh) 图像摄取装置及图像摄取装置的控制方法
CN103563359A (zh) 图像处理装置及图像处理方法以及数码相机
KR20140047533A (ko) 화상 처리 장치, 화상 처리 방법 및 기억 매체
CN105432068A (zh) 摄像装置、摄像方法及图像处理装置
CN103996190A (zh) 区域特定方法、区域特定装置、服务器及系统
CN105191286B (zh) 使用元数据的用于数字电影照相机的光学处理的后期制作复制
CN102959942A (zh) 立体观看用图像拍摄装置及其控制方法
CN104125411A (zh) 拍摄装置、图像处理装置及图像处理方法
CN102685374A (zh) 电子设备
CN104584532A (zh) 图像处理装置、摄像装置、计算机、图像处理方法及程序
CN101155262A (zh) 图像校正装置、图像校正方法以及计算机可读取介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20111116