CN103731601B - 图像处理装置以及图像处理方法 - Google Patents
图像处理装置以及图像处理方法 Download PDFInfo
- Publication number
- CN103731601B CN103731601B CN201310466886.4A CN201310466886A CN103731601B CN 103731601 B CN103731601 B CN 103731601B CN 201310466886 A CN201310466886 A CN 201310466886A CN 103731601 B CN103731601 B CN 103731601B
- Authority
- CN
- China
- Prior art keywords
- image
- subject
- focus
- depth map
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims description 4
- 239000000203 mixture Substances 0.000 claims abstract description 13
- 230000015572 biosynthetic process Effects 0.000 claims description 56
- 238000003786 synthesis reaction Methods 0.000 claims description 56
- 238000000034 method Methods 0.000 claims description 55
- 230000008569 process Effects 0.000 claims description 54
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 102100029792 Dentin sialophosphoprotein Human genes 0.000 abstract 2
- 101000865404 Homo sapiens Dentin sialophosphoprotein Proteins 0.000 abstract 2
- 101100063523 Arabidopsis thaliana DMP2 gene Proteins 0.000 abstract 1
- 102100022375 Dentin matrix acidic phosphoprotein 1 Human genes 0.000 abstract 1
- 101000804518 Homo sapiens Cyclin-D-binding Myb-like transcription factor 1 Proteins 0.000 abstract 1
- 101000901629 Homo sapiens Dentin matrix acidic phosphoprotein 1 Proteins 0.000 abstract 1
- 101100520664 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) IRC25 gene Proteins 0.000 abstract 1
- 239000002131 composite material Substances 0.000 abstract 1
- 101100277914 Schizosaccharomyces pombe (strain 972 / ATCC 24843) dmc1 gene Proteins 0.000 description 18
- 238000003384 imaging method Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 8
- 210000000746 body region Anatomy 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 101150081193 DMP1 gene Proteins 0.000 description 1
- 101100388218 Mus musculus Dspp gene Proteins 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000007664 blowing Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 239000000178 monomer Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/571—Depth or shape recovery from multiple images from focus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10148—Varying focus
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Automatic Focus Adjustment (AREA)
Abstract
本发明的课题是提供即使在使用包含移动体的图像的情况下也能提供高画质的全焦点图像。摄像装置具备：摄像图像取得部（52），取得焦点不同的被摄体对焦图像以及非被摄体对焦图像的数据；图像景深图作成部（91），对取得的被摄体对焦图像以及非被摄体对焦图像的每个，作成按每个像素来表征图像内的被摄体的距离的关系的被摄体景深图以及非被摄体景深图；合成用景深图作成部（92），对生成的被摄体景深图以及非被摄体景深图施加规定的处理来作成合成用景深图；和图像合成部（55），基于生成的合成用景深图来合成被摄体对焦图像以及非被摄体对焦图像的数据，从而生成全焦点图像的数据。
Description
技术领域
本发明涉及图像处理装置以及图像处理方法。
背景技术
过去，摄像装置在拍摄使从后方到前方的各被摄体全部对焦的图像(下面称作“全焦点图像(all-focused image)”)的情况下，使用超深度镜头(通称“虫眼镜头”)这样特殊的镜头。
但是，虫眼镜头由于全长非常长，因而不便于携带。
为此，例如如日本特开2007-282152号公报那样公开如下技术：搭载了通常的镜头的摄像装置通过1次的快门操作，大致同时在多个聚焦位置拍摄同一构图的被摄体，将其结果得到的多个摄像图像的数据进行合成，由此来生成全焦点图像的数据。
但是，在上述的先行技术中，公开了生成全焦点图像的数据的技术，但例如在拍摄随风摇动的花等移动的被摄体(下面称作“移动体”)的情况下，存在会生成移动体成为余像的图像这样的问题。
发明内容
本发明鉴于这样的状況而提出，目的在于即使在使用包含移动体的图像的情况下也能提供高画质的全焦点图像。
本发明的第1观点所涉及的图像处理装置特征在于，具备：取得部，其取得焦点不同的多个图像的数据；第1图生成部，其针对由所述取得部取得的多个图像的每一个，生成按每规定数的像素来表征图像内的被摄体的距离的关系的景深图；第2图生成部，其对由所述第1图生成部生成的多个景深图施加规定的处理，来生成新的景深图；和图像合成部，其根据由所述第2图生成部生成的所述新的景深图中所指定的每个像素的合成的比例，按每个像素合成所述多个图像的数据，来生成全焦点图像的数据。
本发明的第2观点所涉及的摄影处理方法特征在于，包含：取得步骤，取得焦点不同的多个图像的数据；第1图生成步骤，按通过所述取得步骤取得的多个图像的每一个，生成按每规定数的像素来表征图像内的被摄体的距离的关系的景深图；第2图生成步骤，对通过所述第1图生成步骤生成的多个景深图施加规定的处理，来生成新的景深图；和图像合成步骤，根据通过所述第2图生成步骤生成的所述新的景深图中所指定的每个像素的合成的比例，按每个像素合成所述图像的数据，来生成全焦点图像的数据。
根据本发明，即使在使用包含移动体的图像的情况下也能提供高画质的全焦点图像。
与附图一起阅读时，本发明的上述、进一步和新的特征将在下面的详细描述中进一步体现。应当清楚地明白，附图目的仅在于例示，并不作为限定本发明的解释。
附图说明
图1是表示本发明的一个实施方式所涉及的摄像装置的硬件的构成的框图。
图2是表示图1的摄像装置的功能性构成中的用于执行全焦点图像生成处理的功能性构成的功能框图。
图3是用于说明全焦点图像的数据的生成的具体例的示意图。
图4是示意表征全焦点图像的数据的生成手法的图。
图5是说明具有图2的功能性构成的图1的摄像装置执行的全焦点图像生成处理的流程的流程图。
具体实施方式
下面，参照附图来说明本发明的一个实施方式所涉及的摄像装置。
图1是表示本发明的一个实施方式所涉及的摄像装置1的硬件的构成的框图。
摄像装置1例如构成为数码相机。
摄像装置1具备：CPU(Central Processing Unit，中央处理器)11、ROM(Read OnlyMemory，只读存储器)12、RAM(Random Access Memory，随机存取存储器)13、总线14、输入输出接口15、摄像部16、输入部17、输出部18、存储部19、通信部20和驱动器21。
CPU11根据记录于ROM12的程序或从存储部19载入到RAM13的程序来执行各种处理。
在RAM13还适当存储CPU11在执行各种处理时需要的数据等。
CPU11、ROM12以及RAM13经由总线14而相互连接。在总线14来连接有输入输出接口15。在输入输出接口15连接有摄像部16、输入部17、输出部18、存储部19、通信部20以及驱动器21。
摄像部16具备光学透镜部41、图像传感器42、和透镜驱动部43。
光学透镜部41为了拍摄被摄体而由聚焦透镜、变焦透镜等各种透镜构成。
聚焦透镜由后述的透镜驱动部43驱动，是使被摄体的像成像于后述的图像传感器42的受光面的透镜。变焦透镜是使焦距在一定范围内自由变化的透镜。
图像传感器42由光电变换元件、AFE(Analog Front End，模拟前端)等构成。
光电变换元件例如由CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)型的光电变换元件等构成。被摄体像从光学透镜部41入射到光电变换元件。然后，光电变换元件对被摄体像进行光电变换(摄像)并积蓄图像信号一定时间，将积蓄的图像信号作为模拟信号依次提供给AFE。
AFE对该模拟的图像信号执行A/D(Analog/Digital，模拟/数字)变换处理等各种信号处理。AFE通过各种信号处理来生成数字信号，并将其作为摄像部16的输出信号输出。这样的摄像部16的输出信号成为摄像图像的数据。摄像图像的数据被适宜地提供给CPU11等。另外，对摄像图像的数据添加摄像的顺序的信息、和摄像的时间点的聚焦位置的信息，作为元数据。另外，在下面只要没有特殊情况，将添加了元数据的摄像图像的数据称作“摄像图像的数据”。
透镜驱动部43基于CPU11进行的AF(Auto Focus，自动对焦)处理的结果，驱动光学透镜部41的聚焦透镜，通过使聚焦位置变化来聚焦到规定的被摄体。
在具有这样的聚焦的机构的摄像装置1中，能进行使焦点对准摄影最短距离侧方向即近前侧的被摄体的摄影、以无限远方向即不需要对焦调节程度远的距离的对象为被摄体的摄影。
另外，透镜驱动部43进行驱动，以使得一边使聚焦位置从通过AF处理决定的位置起进行变化，一边能进行“对焦包围(focus bracketing)摄影”，该“对焦包围摄影”依次进行聚焦位置不同的摄像。
输入部17由各种按钮等构成，按照用户的指示操作来输入各种信息。
输出部18由显示器、扬声器等构成，输出图像和声音。
存储部19由硬盘或者DRAM(Dynamic Random Access Memory，动态随机存取存储器)等构成，存储各种图像的数据。
通信部20控制经由包含因特网的网络在与其它装置(未图示)之间进行的通信。
在驱动器21适宜安装由磁盘、光盘、光磁盘或半导体存储器等构成的可移动介质31。由驱动器21从可移动介质31读出的程序可根据必要被安装在存储部19。另外，可移动介质31也能与存储部19同样地存储被存储于存储部19的图像的数据等各种数据。
接下来，说明摄像装置1的功能性构成中的用于执行全焦点图像生成处理的功能性构成。
所谓“全焦点图像生成处理”是指，合成焦点不同的多张摄像图像的数据来生成并输出全焦点图像的数据为止的一连串处理。
图2是表示摄像装置1的功能性构成中的用于执行全焦点图像生成处理的功能性构成的功能框图。
图3是用于说明全焦点图像的数据的生成的具体例的示意图。
在摄像装置1执行全焦点图像生成处理的情况下，如图2所示，在CPU11中发挥摄像控制部51、摄像图像取得部52、边缘比较图像作成部53、景深图(depth map)作成部54、图像合成部55、和输出控制部56的功能。
另外，作为存储部19的一个区域，设置摄像图像存储部71、和合成图像存储部72。
摄像图像存储部71存储从摄像部16输出的摄像图像的数据。
合成图像存储部72存储由图像合成部55合成的全焦点图像的数据。
具有这样的功能构成的摄像装置1在下面说明如下示例：以盛开于“公园”一角的“花”为被摄体，在背景上加上“公园”的风景，进行对焦包围摄影，生成全焦点图像的数据。
另外，在本示例中，关于在摄影时，风吹过，在摄影的时机作为被摄体的“花”随风摇动地作为移动体被摄影的情况，在下面进行说明。
摄像控制部51基于来自输入部17的摄像所涉及的指示来控制包含透镜驱动部43等的摄像部16的摄像。具体地，摄像控制部51控制包含透镜驱动部43等的摄像部16，来进行对焦包围摄影。
在此，所谓“对焦包围摄影”是如下手法：仅按压一次输入部17的解锁按钮，就在焦点对准任意被摄体的位置(规定的聚焦位置)、和驱动调整透镜驱动部43来使焦点在其前后偏移的位置(从规定的聚焦位置偏移的聚焦位置)的各位置连拍多张摄像图像。
另外，在本实施方式的对焦包围摄影中，由摄像控制部51控制摄像部16，首先在焦点对准被摄体的聚焦位置进行摄影(下面称作“被摄体对焦图像摄影”)，接下来，在焦点对准被摄体以外的被摄体的背景的聚焦位置进行摄影(下面称作“非被摄体对焦图像摄影”)，通过摄像处理取得在全焦点图像的数据的生成中使用的2张摄像图像的数据。
在本实施方式中，如图3的示例所示那样，通过被摄体对焦图像摄影所取得的摄像图像p1(下面称作“被摄体对焦图像p1”)成为焦点对准作为被摄体的“花”、背景的“公园”发生模糊的图像。
另外，在本实施方式中，通过非被摄体对焦图像摄影所取得的摄像图像p2(下面称作“非被摄体对焦图像p2”)成为焦点对准被摄体以外的作为被摄体的背景的“公园”、而作为被摄体的“花”模糊的图像。
本实施方式中的全焦点图像只要是基于被摄体对焦图像和非被摄体对焦图像这样的至少2张图像的多焦点的图像即可。
摄像图像取得部52取得从摄像部16输出的摄像图像的数据。
另外，摄像图像取得部52首先从摄像部16取得通过被摄体对焦图像摄影而焦点对准了被摄体的被摄体对焦图像p1的数据。
接下来，摄像图像取得部52从摄像部16取得通过非被摄体对焦图像摄影而焦点对准了被摄体的背景的、即被摄体的“花”模糊的摄像图像的非被摄体对焦图像p2的数据。如此，在本实施方式中，取得2张焦点不同的即多焦点的摄像图像(被摄体对焦图像p1以及非被摄体对焦图像p2)的数据来进行全焦点图像的数据的生成。
另外，在本实施方式中，如图3的示例所示那样，摄像图像取得部52由于包含随风摇动的“花”(移动体)进行摄影，因此，在被摄体对焦图像摄影时、和非被摄体对焦图像摄影时，取得视场角内的“花”的位置不同的摄像图像(被摄体对焦图像p1以及非被摄体对焦图像p2)的数据。
之后，摄像图像取得部52将取得的摄像图像(被摄体对焦图像p1以及非被摄体对焦图像p2)的数据输出到摄像图像存储部71。
边缘比较图像作成部53根据由摄像图像取得部52取得的被摄体对焦图像p1和非被摄体对焦图像p2，来作成由比较了边缘强度的边缘图(edge map)构成的边缘比较图像。该边缘比较图像用于根据边缘的变化来判别摄影对象的距离，基于判别出的摄影对象的距离，来作成与摄影对象的形状相符的景深图。
景深图作成部54根据由边缘比较图像作成部53作成的边缘比较图像来判别摄影对象的距离，例如作成以2值构成摄像装置1到对象的相对距离的景深图dmp1、dmp2、dmp3，作为图像内的被摄体、背景的位置关系。景深图作成部54为了判别是被摄体还是被摄体以外而使用边缘比较图像。另外，在本实施方式中，作成的景深图dmp1、dmp2、dmp3取2值，构成为：在值为“0”的情况下作为“背景”处置，在值为“1”的情况下作为“被摄体”处置。因此，在景深图dmp1、dmp2、dmp3中，如图3的示例所示那样，值为“0”的背景的部分是用黑色(暗的颜色)显示的部分，值为“1”的被摄体的部分是用白色(明亮的颜色)显示的部分。值在黑色(暗的颜色)的“0”的情况下表征摄影对象较远，在白色(明亮的颜色)的“1”的情况下表征摄影对象较近。具体地，由于相当于“花”和“花”旁边的“草”的区域为白色(明亮的颜色)，因此判别为“花”和“草”较近。
另外，景深图的作成既可以构成为以1个像素为单位进行处理，也可以构成为以将多个像素设为1个处理单位的规定的块单位进行处理。
景深图作成部54具备：根据取得的多个图像来生成图像的景深图(本实施方式为2个图像的景深图)的图像景深图作成部91；和根据多个图像的景深图来作成图像合成用的1个景深图的合成用景深图作成部92。
图像景深图作成部91使用由边缘比较图像作成部53作成的边缘比较图像、和由摄像图像取得部52取得的被摄体对焦图像p1，作成与包含于被摄体对焦图像p1的摄影对象的形状相符的图像的景深图dmp1(下面称作“被摄体景深图dmp1”)。
另外，图像景深图作成部91使用由边缘比较图像作成部53作成的边缘比较图像、和由摄像图像取得部52取得的非被摄体对焦图像p2，作成与包含于非被摄体对焦图像p2的摄影对象的形状相符的图像的景深图dmp2(下面称作“非被摄体景深图dmp2”)。
合成用景深图作成部92对由图像景深图作成部91作成的被摄体景深图dmp1以及非被摄体景深图dmp2这2个图像的景深图进行OR运算的处理，作成合成用景深图dmp3。
在此，所谓“OR运算”是作为针对像素值的选择性运算的运算，是仅在进行运算的像素的输入的两者均为“0”的情况下成为“0”的运算。即，在本实施方式中，仅在被摄体景深图dmpl和非被摄体景深图dmp2这两者的景深图取“0”的值的情况下，在合成用景深图dmp3中成为“0”的值。
即，在本实施方式中，由于使用2值的景深图，因此使用基于OR运算的作成手法。
图像合成部55基于由合成用景深图作成部92作成的合成用景深图dmp3，对被摄体对焦图像p1与非被摄体对焦图像p2进行图像合成，来生成全焦点图像p3的数据。在本实施方式中，图像合成部55使用合成用景深图dmp3作为α图(αmap)，根据求得的系数(阿尔法值)进行半透明合成被摄体对焦图像p1和非被摄体对焦图像p2的基于所谓的α混合的图像合成。即，图像合成部55提取与合成用景深图dmp3中的“0”的值的区域对应的被摄体对焦图像p1的区域，提取与合成用景深图dmp3中的“1”的值的区域对应的非被摄体对焦图像p2的区域来进行图像合成。
在本实施方式中，通过将用OR运算作成的合成用景深图dmp3用作α图，将被摄体景深图dmp1、和非被摄体景深图dmp2的两者的被摄体的区域设为提取的被摄体的区域，因此，优先采用与在被摄体未抖动的被摄体对焦图像中提取的被摄体的区域对应的区域。由此，能生成没有余像的全焦点图像p3的数据。
之后，图像合成部55将生成的全焦点图像p3的数据存储在合成图像存储部72中。
输出控制部56进行控制，从输出部18显示输出由图像合成部55生成的全焦点图像p3的数据。
图4是示意表征全焦点图像p3的数据的生成手法的图。
在以基于对焦包围摄影的方式来生成全焦点图像p3的数据的情况下，即在使用于合成的图像中包含有移动体的被摄体时，若使用根据1个图像作成的景深图(例如被摄体景深图dmp1)来进行图像合成，则会不考虑移动体的移动部分的区域地将该区域作为背景来采用，在生成的全焦点图像p3的被摄体中会产生余像。
但是，在本实施方式中的手法中，如图4所示那样，根据被摄体对焦图像p1、非被摄体对焦图像p2来作成合成用景深图dmp3，其中合成用景深图dmp3将区域R3(下面称作“合成被摄体区域R3”)设为移动体的被摄体的区域，该区域R3是将被摄体对焦图像p1内的被摄体区域R1、和非被摄体对焦图像p2内的被摄体区域R2的区域合起来的区域。
然后，与合成用景深图dmp3的合成被摄体区域R3对应地，切出与被摄体对焦图像p1中的合成被摄体区域R3相当的区域R4，切出非被摄体对焦图像p2中的合成被摄体区域R3以外的区域R5，对它们进行图像合成，从而生成全焦点图像p3。即，全焦点图像p3由与被摄体对焦图像p1的合成被摄体区域R3相当的区域R4、和非被摄体对焦图像p2的合成被摄体区域R3以外的区域R5构成。
由此，若以图3的示例进行说明，则为了将从被摄体对焦图像p1的视场角发生偏移而成为移动体的非被摄体对焦图像p2中的“花”的区域也设为从被摄体对焦图像p1切出的区域，能不采用发生抖动的非被摄体对焦图像p2的被摄体的区域，由此能抑制余像的产生。
另外，通过使用本手法，抑制了在对焦于背景的情况下模糊的前景对被摄体与背景完全分离而产生的遮蔽(occlusion)的影响，能期待合成画质的提升。
也就是说，通过使用本手法，提升了全焦点图像p3的数据的生成画质，即，能生成高品质的全焦点图像p3的数据。
接下来，说明具有这样的功能性构成的摄像装置1执行的全焦点图像生成处理的流程。
图5是说明具有图2的功能性构成的图1的摄像装置1执行的全焦点图像生成处理的流程的流程图。
所谓全焦点图像生成处理是直到根据聚焦位置不同的多张摄像图像的数据生成了全焦点图像的数据为止的一连串处理。
全焦点图像生成处理在用户使用输入部17进行了执行全焦点图像生成处理的规定的操作的情况下，以该操作为契机而开始。
在步骤S1，摄像控制部51控制摄像部16来进行摄像处理(对焦包围摄影)，拍摄被摄体对焦图像p1。即，摄像控制部51在图3的示例中，以盛开在“公园”一角的“花”为被摄体来拍摄使焦点对准了“花”的被摄体对焦图像p1。之后，摄像图像取得部52取得所拍摄的被摄体对焦图像p1的数据，并将其存储到摄像图像存储部71。
在步骤S2中，摄像控制部51控制摄像部16进行摄像处理(对焦包围摄影)，拍摄非被摄体对焦图像p2。即，摄像控制部51以盛开于“公园”一角的“花”为被摄体，拍摄将焦点对准了“花”的背景的“公园”的风景的非被摄体对焦图像p2。非被摄体对焦图像p2的摄影时，摄像控制部51变更聚焦位置以使焦点对准背景的“公园”的风景，由此来进行摄影。摄像图像取得部52取得所拍摄的非被摄体对焦图像p2的数据，并将其存储在摄像图像存储部71中。
在步骤S3中，边缘比较图像作成部53根据由摄像图像取得部52取得的被摄体对焦图像p1和非被摄体对焦图像p2，来作成由比较了各个图像的边缘强度得到的边缘图构成的边缘比较图像。
在步骤S4中，图像景深图作成部91使用由边缘比较图像作成部53作成的边缘比较图像、和由摄像图像取得部52取得的被摄体对焦图像p1，作成与被摄体对焦图像p1中的被摄体的形状相符的被摄体景深图dmp1。
在步骤S5中，图像景深图作成部91使用由边缘比较图像作成部53作成的边缘比较图像、和由摄像图像取得部52取得的非被摄体对焦图像p2，来作成与非被摄体对焦图像p2中的被摄体的形状相符的非被摄体景深图dmp2。
在步骤S6中，合成用景深图作成部92对由图像景深图作成部91作成的被摄体景深图dmp1以及非被摄体景深图dmp2进行OR运算，来作成合成用景深图dmp3。
在步骤S7，图像合成部55基于由合成用景深图作成部92作成的合成用景深图dmp3，对被摄体对焦图像p1和非被摄体对焦图像p2进行图像合成，从而生成全焦点图像p3的数据。然后，图像合成部55将生成的全焦点图像p3的数据存储在合成图像存储部72中。
在步骤S8，输出控制部56使全焦点图像p3的数据在输出部18显示输出。由此，全焦点图像生成处理结束。
根据以上那样的摄像装置1，具备：摄像图像取得部52、图像景深图作成部91、合成用景深图作成部9、和图像合成部55。
摄像图像取得部52取得焦点不同的被摄体对焦图像p1以及非被摄体对焦图像p2的数据。
图像景深图作成部91对每个取得的被摄体对焦图像p1以及非被摄体对焦图像p2，来作成按每个像素表征图像内的被摄体的距离关系的被摄体景深图dmp1以及非被摄体景深图dmp2。
合成用景深图作成部92对作成的被摄体景深图dmp1以及非被摄体景深图dmp2施加规定的处理，作成合成用景深图dmp3。
图像合成部55基于作成的合成用景深图dmp3来合成被摄体对焦图像p1以及非被摄体对焦图像p2的数据，从而生成全焦点图像p3的数据。
因此，在摄像装置1中，例如即使是随风摇动的花等的被摄体为移动体，也能生成余像少的全焦点图像p3的数据，能提升全焦点图像p3的数据的合成画质。另外，能抑制在对焦于背景的情况下模糊的前景对被摄体与背景完全分离而产生的遮蔽的影响，能期待全焦点图像p3的数据的合成画质的提升。
合成用景深图作成部92进行的规定的处理是由图像景深图作成部91作成的2值的被摄体景深图dmp1以及非被摄体景深图dmp2的OR运算处理。
因此，在摄像装置1中，由于是简单的处理，因此处理负担少，能以高速进行处理。
摄像图像取得部52取得以第1焦点拍摄的被摄体对焦图像p1、和以与被摄体对焦图像p1不同的第2焦点拍摄的非被摄体对焦图像p2的多个图像数据。
图像景深图作成部91按每个图像作成以2值表征图像内的被摄体的距离与第1焦点对应还是与第2焦点对应的被摄体景深图dmp1以及非被摄体景深图dmp2。
合成用景深图作成部92进行的规定的处理在被摄体景深图dmp1以及非被摄体景深图dmp2中的值不同的情况下，是优先决定第1焦点和第2焦点中的与移动的被摄体对应的焦点的OR运算处理。
因此，在摄像装置1中，由于能作成包含移动体的移动部分而成为被摄体的区域的合成用景深图dmp3，因此，即使被摄体为移动体也能生成余像少的全焦点图像p3的数据，能提升全焦点图像p3的数据的合成画质。
另外，本发明并不限定于上述实施方式，在能达成本发明的目的的范围内的变形、改良等也包含在本发明中。
在上述实施方式中，在合成用景深图dmp3的作成时，由于使用2值的图像的景深图dmp1、dmp2，因此通过OR运算来进行处理，但并不限于此。例如在使用多值的图像的景深图dmp1、dmp2的情况下，合成用景深图dmp3也可以通过选择任意的图像的景深图dmp1、dmp2的最大的值的处理来作成。
具体地，例如摄像图像取得部52取得第1焦点和第2焦点的多个图像数据，图像景深图作成部91对每个图像作成以多值表征图像内的被摄体的距离的被摄体景深图dmp1以及非被摄体景深图dmp2。
然后，在合成用景深图作成部92进行的规定的处理中，能构成为在使用按所述每个图像生成的多值的景深图的情况下，进行选择实施处理的值中最大的值这样的处理。
如此，通过选择最大的值，在摄像装置1中，由于是简单的处理，因此处理负担少，能以高速进行处理。
另外，在上述实施方式中，根据2张多焦点的摄像图像p1、p2的数据来生成全焦点图像p3的数据，但并不限于此。全焦点图像的数据也可以根据3张以上图像的数据来生成。这种情况下，可以进行取得的2张图像的图像合成，将后面反复处理的其它的图像的数据与生成的合成图像的数据依次合成，由此来生成全焦点图像的数据。通过如此生成全焦点图像的数据，与一次性将全部图像合成的情况相比，能生成在高画质上更高品质的全焦点图像的数据。具体地，例如能构成为：图像合成部55进行取得的图像中的规定的2张图像合成，同样反复合成后面反复处理的其它的图像，由此生成全焦点图像的数据。
另外，在上述实施方式中，非被摄体对焦图像使用了焦点对准被摄体后面的摄影对象(公园的风景)的图像，但并不限于此。非被摄体对焦图像只要是未将焦点对准了被摄体的图像即可，例如也可以使用在过焦点或无限远拍摄的图像、将焦点对准了近距离的摄影对象(例如与摄像装置有50cm距离的墙壁等)的图像、将焦点对准了被摄体的近前处的图像等的图像。
另外，在上述实施方式中，构成为以像素为单位进行各运算处理，但并不限于此。也可以以减轻处理负担等为目的，构成为不是以最小单位而是以规定的块为单位来进行各运算处理。
另外，在上述实施方式中，通过α混合来进行图像的合成，但并不限于此。例如，图像的合成只要能合成2个图像中的对焦区域即可，能使用加法合成等各种手法。
另外，在上述实施方式中，用自设备的摄像部16拍摄成为生成全焦点图像p3的数据的基础的图像来取得摄像图像的数据，用在处理中，但并不限于此。取得的图像也可以使用从外部装置等取得的摄像图像或使用单纯的图像的数据来构成。这种情况下，需要取得例如在与图像内的被摄体的位置关系(例如距摄像装置1的距离)相关的信息等的景深图的作成中所需要的信息。
另外，在上述实施方式中，应用本发明的摄像装置1以数码相机为例进行了说明，但并不特别限定于此。另外，本发明还能应用不具有摄像的功能而基于在外部拍摄的图像进行全焦点图像生成处理的图像处理装置。
例如，本发明一般能应用在具有全焦点图像生成处理功能的电子设备。具体地，例如本发明能应用在笔记本型的个人计算机、打印机、电视接收机、摄像机、便携型导航装置、便携式电话机、智能手机(smart phone)、可移动游戏机等中。
上述一连串处理既能通过硬件执行，也能通过软件执行。
换言之，图2的功能性构成仅为例示，并不进行特别限定。即，只要在摄像装置1具备能作为整体执行上述一连串处理的功能足矣，为了实现功能而使用怎样的功能块并不仅限于图2的示例。
另外，1个功能块既可以由硬件单体构成，也可以由软件单体构成，也可以由软硬件的组合构成。
在由软件执行一连串处理的情况下，将构成该软件的程序从网络或记录介质安装到计算机等中。
计算机也可以是嵌入到专用的硬件中的计算机。另外，计算机也可以是通过安装各种程序而能执行各种功能的计算机，例如泛用的个人计算机。
包含这样的程序的记录介质为了向用户提供程序不仅可以由与装置主体分开而分发的图1的可移动介质31构成，还可以由以预先嵌入到装置主体的状态向用户进行提供的记录介质等构成。可移动介质31例如由磁盘(包含软盘)、光盘、或光磁盘等构成。光盘例如由CD-ROM(Compact Disk-Read Only Memory，只读光盘)，DVD(Digital VersatileDisk，数字通用光盘)、BD(Blu-ray Disc，蓝光盘)等构成。光磁盘由MD(Mini-Disk，迷你光盘)等构成。另外，以预先嵌入装置主体的状态向用户进行提供的记录介质例如由记录程序的图1的ROM12、包含在图1的存储部19的硬盘等构成。
另外，在本说明书中，关于记述记录于记录介质的程序的步骤沿着其顺序而时间序列地进行的处理当然并不一定非要时间序列地进行处理，还包含并行或个别执行的处理。
上面说明了本发明的几个实施方式，这些实施方式只是例示，并不限定本发明的技术的范围。本发明能采取其它各种实施方式，进而能在不脱离本发明的要旨的范围内进行省略、置换等各种变更。这些实施方式、或其变形包含在本说明书等记载的发明的范围或要旨中，并包含在权利要求的范围所记载的发明和与其等同的范围内。
在上面使用优选实施方式说明了本发明，本发明包含但不限定于上面说明的细节，所有的实施方式都落在附加的权利要求的范围内。
Claims (8)
1.一种图像处理装置，其特征在于，具备：
取得部，其取得焦点不同的多个图像的数据；
第1图生成部，其针对由所述取得部取得的多个图像的每一个，生成按每规定数的像素来表征图像内的被摄体的距离的关系的景深图；
第2图生成部，其对由所述第1图生成部生成的多个景深图施加规定的处理，来生成新的景深图；和
图像合成部，其根据由所述第2图生成部生成的所述新的景深图中所指定的每个像素的合成的比例，按每个像素合成所述多个图像的数据，来生成全焦点图像的数据。
2.根据权利要求1所述的图像处理装置，其特征在于，
所述取得部改变焦点进行多次的摄影来取得多个图像的数据，
所述第2图生成部进行的规定的处理是如下的处理，即，进行所述第1图生成部所生成的具有至少2个值的多值的2个景深图的针对像素值的选择性运算，
所述图像合成部按照所述多值的值来选择合成的比例，进行合成。
3.根据权利要求2所述的图像处理装置，其特征在于，
所述合成的比例是0％以及100％。
4.根据权利要求2所述的图像处理装置，其特征在于，
所述取得部取得第1焦点和第2焦点的多个图像数据，
所述第1图生成部按所述多个图像的每一个来生成以2值表征图像内的被摄体的距离是与所述第1焦点对应还是与所述第2焦点对应的2个景深图，
所述第2图生成部进行的规定的处理是如下的处理：对于2个景深图中的值不同的像素，进行优先决定与所述第1焦点对应的值和与第2焦点对应的值中的与对应于移动的被摄体的焦点对应的值的针对像素值的选择性运算。
5.根据权利要求1所述的图像处理装置，其特征在于，
所述第2图生成部进行的规定的处理是选择由所述第1图生成部生成的具有至少3个值的多值的2个景深图的值中最大的值的处理。
6.根据权利要求2所述的图像处理装置，其特征在于，
所述取得部取得第1焦点和第2焦点的多个图像数据，
所述第1图生成部按所述多个图像的每一个来生成以多值表征图像内的被摄体的距离的2个景深图，
所述第2图生成部进行的规定的处理是如下处理：在使用按所述多个图像的每一个生成的多值的景深图的情况下，将进行处理的值当中的最大的值相加。
7.根据权利要求1所述的图像处理装置，其特征在于，
所述图像合成部进行所取得的所述图像中的规定的2张图像的合成，对后面反复处理的其它的图像同样地反复合成，来生成全焦点图像的数据。
8.一种图像处理方法，其特征在于，包含：
取得步骤，取得焦点不同的多个图像的数据；
第1图生成步骤，按通过所述取得步骤取得的多个图像的每一个，生成按每规定数的像素来表征图像内的被摄体的距离的关系的景深图；
第2图生成步骤，对通过所述第1图生成步骤生成的多个景深图施加规定的处理，来生成新的景深图；和
图像合成步骤，根据通过所述第2图生成步骤生成的所述新的景深图中所指定的每个像素的合成的比例，按每个像素合成所述图像的数据，来生成全焦点图像的数据。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012227052A JP5664626B2 (ja) | 2012-10-12 | 2012-10-12 | 画像処理装置、画像処理方法及びプログラム |
| JP2012-227052 | 2012-10-12 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103731601A CN103731601A (zh) | 2014-04-16 |
| CN103731601B true CN103731601B (zh) | 2017-01-18 |
Family
ID=50455515
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310466886.4A Active CN103731601B (zh) | 2012-10-12 | 2013-10-09 | 图像处理装置以及图像处理方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US9196070B2 (zh) |
| JP (1) | JP5664626B2 (zh) |
| KR (1) | KR101566081B1 (zh) |
| CN (1) | CN103731601B (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014082541A (ja) * | 2012-10-12 | 2014-05-08 | National Institute Of Information & Communication Technology | 互いに類似した情報を含む複数画像のデータサイズを低減する方法、プログラムおよび装置 |
| US20150086127A1 (en) * | 2013-09-20 | 2015-03-26 | Samsung Electronics Co., Ltd | Method and image capturing device for generating artificially defocused blurred image |
| JP2015207860A (ja) * | 2014-04-18 | 2015-11-19 | オリンパス株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
| CN103986867B (zh) * | 2014-04-24 | 2017-04-05 | 宇龙计算机通信科技(深圳)有限公司 | 一种图像拍摄终端和图像拍摄方法 |
| CN104270560B (zh) * | 2014-07-31 | 2018-01-12 | 三星电子（中国）研发中心 | 一种多点对焦方法和装置 |
| JP6370820B2 (ja) * | 2016-02-05 | 2018-08-08 | 株式会社バンダイナムコエンターテインメント | 画像生成システム、ゲーム装置及びプログラム。 |
| EP3478182A4 (en) * | 2016-05-25 | 2020-02-26 | Carson, Benjamin | METHOD, SYSTEM, SOFTWARE AND DEVICE FOR IMAGING AND MINIATURIZED THREE-DIMENSIONAL ANALYSIS REMOTELY OF HUMAN LESION CLINICAL APPLICATIONS AND RESEARCH THEREOF |
| CN107800947A (zh) * | 2016-09-02 | 2018-03-13 | 中兴通讯股份有限公司 | 一种拍摄方法和终端 |
| CN106308729B (zh) * | 2016-10-13 | 2017-11-24 | 成都英赛景泰光电技术有限公司 | 用于内窥镜的成像方法、装置及胶囊型医疗设备 |
| CN106454116B (zh) * | 2016-11-18 | 2019-06-28 | 成都微晶景泰科技有限公司 | 自动全焦成像方法及装置 |
| CN110139033B (zh) * | 2019-05-13 | 2020-09-22 | Oppo广东移动通信有限公司 | 拍照控制方法及相关产品 |
| US10984513B1 (en) * | 2019-09-30 | 2021-04-20 | Google Llc | Automatic generation of all-in-focus images with a mobile camera |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005311488A (ja) * | 2004-04-19 | 2005-11-04 | Fuji Photo Film Co Ltd | 撮像装置、撮像方法、及び撮像プログラム |
| CN101021945A (zh) * | 2007-03-23 | 2007-08-22 | 北京中星微电子有限公司 | 一种图像合成方法及装置 |
| CN101191719A (zh) * | 2006-12-01 | 2008-06-04 | 鸿富锦精密工业（深圳）有限公司 | 影像焦点合成系统及方法 |
| WO2009073950A1 (en) * | 2007-12-13 | 2009-06-18 | Keigo Izuka | Camera system and method for amalgamating images to create an omni-focused image |
| CN101605208A (zh) * | 2008-06-13 | 2009-12-16 | 富士胶片株式会社 | 图像处理设备、成像设备、图像处理方法及程序 |
| CN102696219A (zh) * | 2010-11-08 | 2012-09-26 | 松下电器产业株式会社 | 摄像装置、摄像方法、程序及集成电路 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08307756A (ja) * | 1995-05-10 | 1996-11-22 | Teiichi Okochi | 映像形成方法 |
| JPH10210341A (ja) * | 1997-01-23 | 1998-08-07 | Sharp Corp | 電子スチルカメラ |
| US6538249B1 (en) * | 1999-07-09 | 2003-03-25 | Hitachi, Ltd. | Image-formation apparatus using charged particle beams under various focus conditions |
| JP2005142953A (ja) * | 2003-11-07 | 2005-06-02 | Ricoh Co Ltd | デジタル画像撮像装置 |
| JP2007282152A (ja) | 2006-04-12 | 2007-10-25 | Eiji Shiraishi | 一回のシャッター操作で、同じ構図の被写体を複数のピントでほぼ同時に撮影する同時多重ピントデジカメ。 |
| TWI314832B (en) * | 2006-10-03 | 2009-09-11 | Univ Nat Taiwan | Single lens auto focus system for stereo image generation and method thereof |
| KR101468267B1 (ko) | 2008-10-02 | 2014-12-15 | 프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우 | 중간 뷰 합성 및 멀티-뷰 데이터 신호 추출 |
| US20110169985A1 (en) * | 2009-07-23 | 2011-07-14 | Four Chambers Studio, LLC | Method of Generating Seamless Mosaic Images from Multi-Axis and Multi-Focus Photographic Data |
| WO2011158515A1 (ja) * | 2010-06-17 | 2011-12-22 | パナソニック株式会社 | 距離推定装置、距離推定方法、集積回路、コンピュータプログラム |
| JP5146498B2 (ja) | 2010-07-23 | 2013-02-20 | カシオ計算機株式会社 | 画像合成装置、画像合成方法、及びプログラム |
| US20120019686A1 (en) | 2010-07-23 | 2012-01-26 | Casio Computer Co., Ltd. | Image synthesizing device, image synthesizing method and computer readable medium |
| JP5482589B2 (ja) * | 2010-09-10 | 2014-05-07 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理用プログラム |
| JP2012195797A (ja) * | 2011-03-17 | 2012-10-11 | Mitsubishi Electric Corp | パンフォーカス画像生成装置 |
| JP6074926B2 (ja) * | 2012-07-05 | 2017-02-08 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
-
2012
- 2012-10-12 JP JP2012227052A patent/JP5664626B2/ja active Active
-
2013
- 2013-10-02 KR KR1020130117949A patent/KR101566081B1/ko active IP Right Grant
- 2013-10-08 US US14/049,065 patent/US9196070B2/en active Active
- 2013-10-09 CN CN201310466886.4A patent/CN103731601B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005311488A (ja) * | 2004-04-19 | 2005-11-04 | Fuji Photo Film Co Ltd | 撮像装置、撮像方法、及び撮像プログラム |
| CN101191719A (zh) * | 2006-12-01 | 2008-06-04 | 鸿富锦精密工业（深圳）有限公司 | 影像焦点合成系统及方法 |
| CN101021945A (zh) * | 2007-03-23 | 2007-08-22 | 北京中星微电子有限公司 | 一种图像合成方法及装置 |
| WO2009073950A1 (en) * | 2007-12-13 | 2009-06-18 | Keigo Izuka | Camera system and method for amalgamating images to create an omni-focused image |
| CN101605208A (zh) * | 2008-06-13 | 2009-12-16 | 富士胶片株式会社 | 图像处理设备、成像设备、图像处理方法及程序 |
| CN102696219A (zh) * | 2010-11-08 | 2012-09-26 | 松下电器产业株式会社 | 摄像装置、摄像方法、程序及集成电路 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101566081B1 (ko) | 2015-11-04 |
| JP5664626B2 (ja) | 2015-02-04 |
| US9196070B2 (en) | 2015-11-24 |
| US20140105520A1 (en) | 2014-04-17 |
| KR20140047533A (ko) | 2014-04-22 |
| JP2014082533A (ja) | 2014-05-08 |
| CN103731601A (zh) | 2014-04-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103731601B (zh) | 图像处理装置以及图像处理方法 | |
| KR101342477B1 (ko) | 동영상을 촬영하는 촬상 장치, 및 촬상 처리 방법 | |
| JP4582423B2 (ja) | 撮像装置、画像処理装置、撮像方法、及び画像処理方法 | |
| JP4869270B2 (ja) | 撮像装置及び画像再生装置 | |
| KR101643613B1 (ko) | 디지털 영상 처리 장치, 영상 처리 방법 및 이를 기록한 기록 매체 | |
| JP2005318554A (ja) | 撮影装置及びその制御方法及びプログラム及び記憶媒体 | |
| JP5125734B2 (ja) | 撮像装置、画像選択方法及び画像選択プログラム | |
| JP2006246309A (ja) | 画像処理装置および画像処理方法 | |
| CN105744144A (zh) | 图像生成方法以及图像生成装置 | |
| JP6149854B2 (ja) | 撮像装置、撮像制御方法及びプログラム | |
| JP5144724B2 (ja) | 撮像装置、画像処理装置、撮像方法、及び画像処理方法 | |
| CN104811607A (zh) | 摄像装置以及摄像方法 | |
| TWI477887B (zh) | 影像處理裝置、影像處理方法及記錄媒體 | |
| JP6235944B2 (ja) | 撮像装置、撮像方法及びプログラム | |
| CN104065873A (zh) | 图像取得装置以及图像取得方法 | |
| US8243154B2 (en) | Image processing apparatus, digital camera, and recording medium | |
| JP2011066827A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP4760496B2 (ja) | 画像データ生成装置、画像データ生成方法 | |
| JP6242428B2 (ja) | 撮影装置および撮影方法 | |
| JP2015041865A (ja) | 画像処理装置及び画像処理方法 | |
| KR101905813B1 (ko) | 영상비교장치 | |
| JP2017098637A (ja) | 画像特定装置、画像特定方法及びプログラム | |
| JP4922066B2 (ja) | カメラ | |
| JP5948960B2 (ja) | カメラ、画像処理装置及びプログラム | |
| JP2011151577A (ja) | 撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |