CN103533232B - 图像处理装置以及图像处理方法 - Google Patents

图像处理装置以及图像处理方法 Download PDF

Info

Publication number
CN103533232B
CN103533232B CN201310276324.3A CN201310276324A CN103533232B CN 103533232 B CN103533232 B CN 103533232B CN 201310276324 A CN201310276324 A CN 201310276324A CN 103533232 B CN103533232 B CN 103533232B
Authority
CN
China
Prior art keywords
image
data
photographed images
order
synthesis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201310276324.3A
Other languages
English (en)
Other versions
CN103533232A (zh
Inventor
松本康佑
清水博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Publication of CN103533232A publication Critical patent/CN103533232A/zh
Application granted granted Critical
Publication of CN103533232B publication Critical patent/CN103533232B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明的课题在于提供整体上成为鲜明的图像的全焦点图像。摄像装置(1)具备：摄像图像获取部(52)、合成顺序决定部(53)、以及图像合成部(54)。摄像图像获取部(52)在多个对焦位置上拍摄而获取多个摄像图像的数据。合成顺序决定部(53)针对由摄像图像获取部(52)获取的多个摄像图像的数据，将与对焦距离的远近的顺序以及拍摄的顺序均不同的、由摄像部(16)拍摄的图像的顺序决定为合成的顺序。图像合成部(54)以由合成顺序决定部(53)决定的顺序来对由摄像部(16)拍摄到的多个摄像图像进行合成，从而生成全焦点图像的数据。

Description

图像处理装置以及图像处理方法
技术领域
本发明涉及能提供整体上鲜明的全焦点图像(an omnifocal image)的图像处理装置以及图像处理方法。
背景技术
从以往，摄像装置在对合焦于从后方起至前方为止的各被摄体的全体的图像(以下，称为“全焦点图像”。)进行摄像的情况下，使用了超深度镜头(通称“虫眼镜头”(the bug′s-eye lens))这样的特殊的镜头。
然而，虫眼镜头因全长非常长，因此携带不便。
故在日本特开2007-282152号公报中公开了如下技术：搭载了通常的镜头的摄像装置通过一次的快门操作，来在多个对焦位置上几乎同时拍摄同一构图的被摄体，并对作为结果所得到的多个摄像图像的数据进行合成，从而生成全焦点图像的数据。
然而，在上述先行技术中，因对焦位置而存在于未合焦的前景或背景中的物体的光学像成为模糊了的状态，从而光学像扩散，扩散了的光学像的轮廓部分中有时会产生本来不存在的假的边缘。故而，作为整体的边缘强度将因合成的顺序而不同，从而变得难以得到鲜明的全焦点图像。
发明内容
本发明鉴于这样的状况而提出，其目的在于，提供整体上鲜明的全焦点图像。
本发明的第1观点所涉及的图像处理装置是一种图像处理装置，其特征在于，具备：图像获取部，其获取在多个对焦位置上所拍摄的多个摄像图像的数据；顺序决定部，其针对多个摄像图像的数据，将与对焦距离的远近的顺序不同的顺序决定为合成的顺序；以及合成部，其以由所述顺序决定部决定的顺序来对所述多个摄像图像的数据进行合成，从而生成全焦点图像的数据。
本发明的第2观点所涉及的图像处理方法是一种摄像处理方法，其特征在于，包括：图像获取步骤，获取在多个对焦位置上所拍摄的多个摄像图像的数据；顺序决定步骤，针对多个摄像图像的数据，将与对焦距离的远近的顺序不同的顺序决定为合成的顺序；以及合成步骤，以由所述顺序决定步骤的处理所决定的顺序来对所述多个摄像图像的数据进行合成，从而生成全焦点图像的数据。
根据本发明，能提供整体上鲜明的全焦点图像。
上述以及进一步的本发明的对象和新特征将通过以下结合了附图的具体的描述而全面呈现。但应该明确的是，附图只是用来阐述，并不是为了对本发明进行限定。
附图说明
图1是用于说明全焦点图像的示意图。
图2是示意性地表示本发明的全焦点图像的数据的生成手法的概念的图。
图3是示意性地说明合成顺序变更手法的概要的图。
图4是表示本发明的一实施方式所涉及的摄像装置的硬件的构成的框图。
图5是表示图4的摄像装置的功能性的构成当中用于执行全焦点图像生成处理的功能性的构成的功能框图。
图6是表示图5的摄像装置的功能性的构成当中合成顺序决定部以及图像合成部的功能性的构成的细节的功能框图。
图7是表示合成顺序变更手法的一例的示意图。
图8是说明具有图5的功能性的构成的图1的摄像装置所执行的全焦点图像生成处理的流程的流程图。
图9是说明图8的全焦点图像生成处理当中步骤S2的合成顺序决定处理的详细的流程的流程图。
图10是针对图8的全焦点图像生成处理当中步骤S4的图像合成处理的详细的流程进行说明的流程图。
图11是针对图8的全焦点图像生成处理当中步骤S5的合成图像判别处理的详细的流程进行说明的流程图。
具体实施方式
首先，在说明本发明的实施方式前，针对由本发明提供的全焦点图像进行说明。
此外，全焦点图像不一定是指完全在全焦点区域中合焦的图像，还包含通过人类的眼睛进行观察而判断为在全焦点区域中充分合焦的图像。
图1是用于说明全焦点图像的示意图。
图像ga是从背后接近位于“石头”之上的“甲壳虫”，以该“甲壳虫”以及“石头”作为主要被摄体，还包含纵深的背景在内进行拍摄而得到的结果。即，图1示出了图像ga来作为包含接近了的主要被摄体以及背景在内的图像的例子。
图像ga是通常的微距拍摄而在近前的主要被摄体即“甲壳虫”和“石头”处合焦的图像。即，在图像ga中，近前的主要被摄体合焦而鲜明，但纵深背景例如“建筑物”未合焦从而成为模糊不鲜明的状态。
与此相对，图像gb是通过对以与图像ga相同的构图所拍摄到的多个摄像图像进行合成而得到的全焦点图像。即，图1中示出了图像gb来作为包含接近了的主要被摄体以及背景在内的全焦点图像的例子。图像gb是在主要被摄体即“甲壳虫”以及“石头”、以及它们的纵深的背景的两者合焦了的图像。图像gb成为被摄景深较深、在能使近前的主要被摄体非常鲜明地被拍摄的同时采用还在背景处合焦的“虫眼镜头”进行拍摄的情况那样的图像。
图像gc是从与地面上的主要被摄体即“花瓣”和“石头”为同一视点的地面附近拍摄而得到的。即，图1示出了图像gc，在近前有主要被摄体即“石头”、从近前起到纵深的宽范围中铺满了主要被摄体即“花瓣”，是作为这样的构图所拍摄到的图像的例子。
图像gc是进行了通常的拍摄，成为在远处的主要被摄体即“花瓣”或“建筑物”处合焦、而在近前的主要被摄体即“花瓣”和“石头”处未合焦的图像。
与此相对，图像gd是通过对按照与图像gc相同的构图所拍摄到的多个摄像图像进行合成而得到的全焦点图像。即，图1示出了图像gd，作为近前的主要被摄体即“石头”、以及从近前起到纵深的宽范围中铺满了主要被摄体即“花瓣”的构图的全焦点图像的例子。
图像gd是在从近前的主要被摄体即“石头”或“花瓣”起至纵深所铺满的主要被摄体即“花瓣”或“建筑物”处全部合焦了的图像。图像gd通过在拍摄中使被摄景深较深，从而成为即使是从近距离起至远距离为止合焦的、所谓的“泛焦”也不能得到的被摄景深以上的图像。
另外，作为其他的全焦点图像的例子，例如，在利用远近效应按照成为与远处的尺寸较大的主要被摄体大致相同的比例尺那样的构图来对近前侧的尺寸较小的主要被摄体进行了拍摄的情况下，创造出与通常的图像不同的效果。
具体而言，列举按照远处的主要被摄体即“建筑物”小于近前的主要被摄体即“模型”那样的构图来进行了拍摄的情况。
以这样的构图摄像的图像在通常的图像的情况下成为在近前的主要被摄体即“模型”处合焦、而在主要被摄体即“模型”的远处的主要被摄体即“建筑物”处未合焦的图像。这样的图像会成为由于仅近前的“模型”鲜明可见因此可知是近前的主要被摄体即“模型”的图像。
与此相对，相同的构图的全焦点图像是在近前的主要被摄体即“模型”以及远处的主要被摄体的“建筑物”处合焦的、幻视艺术(trick art)那样的与实际的尺寸不同的视觉效果的图像。即，这样的全合焦图像成为使近前的尺寸较小的主要被摄体即“模型”看起来比远处的尺寸较大的主要被摄体即“建筑物”要大那样的错觉产生的图像。
如以上说明那样的，对于例如能创造出以虫眼镜头所拍摄出的一类图像、成为作为超深度的泛焦以上的被摄景深的图像、以及幻视艺术那样的图像等的图像的效果的全焦点图像，通过应用后述的本发明的实施方式，不使用特殊的镜头等就能容易地提供。
接下来，参照图2以及图3来说明本发明的概要。
在此，为了与全焦点图像相区别，将由摄像装置1摄像的图像本身称为“摄像图像”。
图2是示意性地表示本发明的全焦点图像的数据的生成手法的概念的图。
如后所述，作为本发明的一实施方式，存在摄像装置1。该摄像装置1在按照相同的构图使焦点偏移的同时进行n次(n为2以上的整数值)摄像。由此，将得到多张摄像图像P1，···，Pn的各数据。于是，摄像装置1通过对这多张摄像图像P1，···，Pn的各数据进行合成，来生成全焦点图像Pg的数据。
在此，即使应用将多张摄像图像P1，···，Pn以摄像顺序进行合成来生成的现有的手法，也能得到全焦点图像Pg的数据。
然而，若应用这样的现有的手法，则存在会对有假边缘的图像的区域进行合成的可能性，从而存在如下风险：即，作为全焦点图像Pg，将得到整体上边缘未起效的不鲜明的图像，即，在整个被摄体未合焦的图像的数据。
为此，在应用了本发明的摄像装置1中合成多张摄像图像P1，···，Pn之际，应用了将其合成顺序不设为拍摄顺序而变更为在整个被摄体合焦那样的顺序的手法(以下，称为“合成顺序变更手法”。)。
图3是示意地说明合成顺序变更手法的概要的图。
在图3中，正方形示出了由摄像装置1摄像的1张图像。在此，图像内的字母不指被摄体，而指的是表示拍摄的顺序(摄像顺序)的符号。而且，设在图3中从上方朝着下方执行了处理。
即，图3的最上部示出了，摄像装置1将摄像图像A，B，C···以该顺序摄像完毕了的阶段的状态。
摄像装置1如图3所示，通过在将多张摄像图像A，B，C···的各数据重排成与摄像顺序不同的顺序的同时逐次合成，来生成全焦点图像(图3中最下部，描画为了“ACDB”的图像)的数据。
如此得到的全焦点图像与对存在假边缘的区域进行了合成后得到的边缘失效的现有的全焦点图像不同，成为在全部的被摄体处合焦了的全焦点图像。
多张摄像图像的数据重排的决定手法通过与各拍摄像素的对焦距离的远近的顺序以及摄像顺序的任一者均不同的条件来决定，以此为特征，在本实施方式中应用了如下手法。即，首先，从多个摄像图像的数据之中决定成为合成的基准的图像(以下，称为“基准图像”。)的数据。然后，基于除此以外的摄像图像的数据的各数据、与基准图像的对焦位置的差异，来决定合成顺序。
通过以这样的顺序进行合成，能防止在基准图像中合焦了的主要被摄体的边缘强度的下降。
本手法的进一步的细节，特别是合成顺序的决定与对焦位置的关系将后述。
具体地，例如以图3的例子而言，以摄像顺序所排列的、摄像图像A、B、C、D的图像组遵照本手法而重排成摄像图像A、C、D、B这样顺序的图像组。
然后，对重排后的摄像图像的数据进行逐次合成。在此，“逐次合成”不是指将图像组中全部的摄像图像的数据同时进行合成，而是指将图像组中的一部分的摄像图像的数据彼此进行了合成后，将合成图像的数据、与剩余的一部分的摄像图像的数据彼此进行合成，反复这样的处理，从而依次一个个地合成多个摄像图像的数据。
具体地，例如以图3的例子而言，执行如下一系列的处理来作为逐次合成。即，重排成摄像图像A、C、D、B的顺序的图像组当中，首先，对摄像图像A与摄像图像C的各数据进行合成，来生成合成图像AC的数据。接下来，对该合成图像AC与合成图像D的各数据进行合成，来生成图像ACD的数据。最后，对该合成图像ACD与摄像图像B进行合成，来生成作为全焦点图像的合成图像ACDB的数据。
通过应用以上说明那样的本手法，不需要将成为合成对象的摄像图像的全部的数据一下子展开在存储器中，从而能削减存储器的存储容量。另外，通过应用本手法，来进行摄像图像的各数据的逐次合成，其结果，边缘部分逐渐扩张地生成合成图像。由此，较之于现有那样同时合成了全图像的数据的情况，能提高合成图像的位置校准的精度和没有假边缘的区域的合成的频率。
以下，参照图4以后的附图来说明应用了这样的本手法的摄像装置1，即，本发明的一实施方式所涉及的摄像装置1。
图4是表示本发明的一实施方式所涉及的摄像装置1的硬件的构成的框图。
摄像装置1例如构成为数码相机。
摄像装置1具备：CPU(Central Processing Unit)11、ROM(Read OnlyMemory)12、RAM(Random Access Memory)13、总线14、输入输出接口15、摄像部16、输入部17、输出部18、存储部19、通信部20、以及驱动器21。
CPU11遵照ROM12中所记录的程序、或从存储部19加载至RAM13中的程序来执行各种处理。
RAM13之中适当存储有CPU11执行各种处理所需的数据等。
CPU11、ROM12以及RAM13经由总线14而相互连接。与该总线14另外还连接有输入输出接口15。对输入输出接口15连接有：摄像部16、输入部17、输出部18、存储部19、通信部20、以及驱动器21。
摄像部16具备：光学透镜部41、图像传感器42、以及透镜驱动部43。
光学透镜部41为了拍摄被摄体，由对焦透镜或变焦透镜等各种透镜构成。
对焦透镜由后述的透镜驱动部43进行驱动，是使被摄体的像成像于后述的图像传感器42的受光面的透镜。变焦透镜是使焦距在一定的范围内自由变化的透镜。
图像传感器42由光电变换元件、或AFE(Analog Front End)等构成。
光电变换元件例如由CMOS(Complementary Metal OxideSemiconductor)型的光电变换元件等构成。被摄体像从光学透镜部41入射至光电变换元件。于是，光电变换元件对被摄体像进行光电变换(摄像)并将图像信号蓄积一定时间，且将蓄积的图像信号作为模拟信号依次提供给AFE。
AFE对于该模拟的图像信号执行A/D(模拟/数字)变换处理等各种信号处理。AFE通过各种信号处理而生成数字信号，且作为摄像部16的输出信号进行输出。这样的摄像部16的输出信号成为摄像图像的数据。摄像图像的数据被适当提供给CPU11等。另外，对于摄像图像的数据，作为元数据，附加进行了摄像的顺序的信息、以及在进行了摄像的时间点上的对焦位置的信息。此外，以下，只要无特殊需要，将附加了元数据后的摄像图像的数据仅称为“摄像图像的数据”。
透镜驱动部43基于CPU11所执行的AF(Auto Focus)处理的结果，使光学透镜部41的对焦透镜进行驱动，且使对焦位置变化，从而使合焦于给定的被摄体。
在具有这样的对焦的机构的摄像装置1中，能实现拍摄最短距离侧方向即合焦于近前侧的被摄体的拍摄、以及无限远方向即将不需要焦距调节那么远的距离的对象作为被摄体的拍摄。
另外，透镜驱动部43进行驱动，能够在使得对焦位置从通过AF处理而决定的位置起变化的同时，依次进行对焦位置不同的摄像即后述的“对焦包围(focus bracketing)拍摄”。具体而言，透镜驱动部43例如能驱动对焦透镜，使得对焦位置在从通过AF处理而决定的位置起移动至了最短距离侧后，移动至无限远侧。另外，透镜驱动部43能驱动对焦透镜，使得对焦位置在从所决定的位置起移动至了无限远侧后，移动至最短距离侧。另外，透镜驱动部43能进行驱动，以便按照使从所决定的对焦位置起最短距离侧或无限远侧当中对焦透镜的移动量(透镜驱动部43的驱动量)较少的一者优先的顺序来进行摄像。另外，透镜驱动部43能够从所决定的对焦位置起按照无限远、其他的位置的顺序来进行拍摄。也就是，透镜驱动部43能依次进行驱动以便成为已设定的对焦位置。
输入部17由各种按钮等构成，并按照用户的指示操作来输入各种信息。
输出部18由显示器或扬声器等构成，对图像或声音进行输出。
存储部19由硬盘或DRAM(Dynamic Random Access Memory)等构成，存储各种图像的数据。
通信部20对经由包含互联网在内的网络与其他的装置(未图示)之间的通信进行控制。
在驱动器21中适当安装有由磁盘、光盘、光磁盘、或半导体存储器等构成的可移动介质31。由驱动器21从可移动介质31读出的程序根据需要被安装至存储部19。另外，可移动介质31能将存储部19中所存储的图像的数据等的各种数据也与存储部19同样地进行存储。
接下来，针对摄像装置1的功能性的构成当中用于执行全焦点图像生成处理的功能性的构成进行说明。
“全焦点图像生成处理”是指，至对焦点不同的多张摄像图像的数据进行合成来生成全焦点图像的数据并进行输出为止的一系列的处理。
图5是表示摄像装置1的功能性的构成当中用于执行全焦点图像生成处理的功能性的构成的功能框图。
在摄像装置1执行全焦点图像生成处理的情况下，在CPU11中，摄像控制部51、摄像图像获取部52、合成顺序决定部53、图像合成部54、以及输出控制部55发挥功能。
另外，作为存储部19的一区域，设有摄像图像存储部71、以及合成图像存储部72。
摄像图像存储部71对从摄像部16输出的摄像图像的数据进行存储。
合成图像存储部72对由图像合成部54合成后的全焦点图像的数据进行存储。
摄像控制部51基于来自输入部17的摄像所涉及的指示，对包含透镜驱动部43等在内的摄像部16中的摄像进行控制。具体而言，摄像控制部51对包含透镜驱动部43等在内的摄像部16进行控制，以便进行对焦包围拍摄。
“对焦包围拍摄”是指，仅按压一次输入部17的释放按钮，就在合焦于任意的被摄体处的位置(给定的对焦位置)、以及对透镜驱动部43进行驱动调整使焦点偏移至了其前后的位置(从给定的对焦位置偏移后的对焦位置)的各个位置上对多张摄像图像进行连拍的手法。
摄像图像获取部52获取从摄像部16输出的摄像图像的数据。
具体而言，摄像图像获取部52获取以下数据：即，通过对焦包围拍摄而从摄像部16依次输出的多个摄像图像的数据即在合焦于用户任意决定的主要被摄体处的位置上所摄像的摄像图像(以下，称为“主要被摄体合焦图像”。)的数据、以及将焦点从该位置偏移至了前后的位置所摄像的多张摄像图像的数据。
在本实施方式中，摄像图像获取部52获取1张主要被摄体合焦图像、以及将焦点位置从该位置分别偏移至了前后的4个位置所摄像的4张摄像图像的总共5张摄像图像的数据。
在此情况下，摄像图像获取部52将多个摄像图像的数据按照以摄像顺序进行存储的方式输出至摄像图像存储部71。
合成顺序决定部53基于由摄像图像获取部52获取到的多个摄像图像的数据，来执行合成顺序决定处理。
“合成顺序决定处理”是指，为了生成精度高的全焦点图像的数据，基于针对所获取的多个摄像图像的数据的摄像顺序以及对焦位置来决定合成的顺序的一系列的处理。
另外，合成顺序决定部53将合成的顺序中最早的顺序的摄像图像的数据决定为基准图像的数据。
图像合成部54遵照由合成顺序决定部53决定的合成的顺序，来逐次合成由摄像图像获取部52获取的多个摄像图像的数据。具体而言，图像合成部54对合成1张摄像图像的数据与1张摄像图像的数据、并对作为其结果而生成的合成图像的数据进一步合成另外1张摄像图像的数据的处理进行反复，从而生成全焦点图像的数据。图像合成部54使全焦点图像的数据存储至合成图像存储部72。
图像合成部54在逐次合成的过程中，判别摄像图像的数据是否为适于合成的数据，即，是否适合于生成全焦点图像的数据，并从逐次合成的对象之中排除不恰当的摄像图像的数据。
另外，图像合成部54在生成了全焦点图像的数据后，判别该全焦点图像是否恰当，若不恰当，则禁止作为全焦点图像的数据而存储至合成图像存储部72。
关于图像合成部54中的具体的数据的适合与否的判别将后述。
输出控制部55进行控制，使得从输出部18显示输出由图像合成部54生成的全焦点图像的数据。
具体而言，输出控制部55在由图像合成部54判别为作为全焦点图像的数据是适合的情况下，进行控制，使得读出合成图像存储部72中所存储的全焦点图像的数据，并使该全焦点图像显示于输出部18的显示部中。
此外，在因为由图像合成部54生成的全焦点图像的数据不恰当从而禁止了向合成图像存储部72的存储的情况下，输出控制部55进行控制，使得从输出部18显示输出摄像图像存储部71中所存储的多个摄像图像的数据当中的给定的1个，例如基准图像的数据。
进而，以下说明合成顺序决定部53以及图像合成部54的功能性的构成的细节。
图6是表示图5的摄像装置1的功能性的构成当中合成顺序决定部53以及图像合成部54的功能性的构成的细节的功能框图。
在执行合成顺序决定处理的情况下，在CPU11的合成顺序决定部53中，第1顺序决定部91、第2顺序决定部92、第3顺序决定部93、以及第4顺序决定部94发挥功能。
第1顺序决定部91在已获取的多个摄像图像的数据中决定第1顺序。
“第1顺序”是指，对于在用户任意决定的对焦位置上摄像的摄像图像的数据即主要被摄体合焦图像的数据来决定的顺序。在此，第K顺序(K是1以上的整数值，在此1至4当中的任一整数值)是指，对于第K个合成的摄像图像的组，包含该组内的多个图像的合成顺序在内的顺序。
在本实施方式中，摄像装置1为了以自动对焦的方式来进行摄像，第1顺序决定部91对于最初所摄像的摄像图像(主要被摄体合焦图像)的数据决定图像合成的第1顺序。此外，在用户操作输入部17(图4)来手动对焦的情况下，主要被摄体合焦图像的数据是用户任意决定的，该数据变为第1顺序。
第2顺序决定部92在已获取的多个摄像图像的数据中决定第2顺序。
“第2顺序”是指，对于在比以第1顺序所决定的主要被摄体合焦图像的数据更靠近前处合焦了的多个或单个摄像图像的数据所决定的顺序。即，“第2顺序”是对于对焦位置的值比以第1顺序所决定的主要被摄体合焦图像的数据更高(近)的摄像图像的数据来决定的顺序。
第2顺序决定部92对于被决定为第2顺序的图像的数据，按照距离第1顺序的主要被摄体合焦图像的焦点由近及远的顺序，来决定第2个以后的顺序。
第3顺序决定部93在已获取的多个摄像图像的数据中决定第3顺序。
“第3顺序”是指，对于在比以第1顺序所决定的主要被摄体合焦图像的数据更深处合焦了的多个或单个摄像图像的数据来决定的顺序。即，“第3顺序”是对焦位置的值比以第1顺序所决定的摄像图像的数据更低(远)的摄像图像的数据来决定的顺序。
第3顺序决定部93对于被决定为第3顺序的摄像图像的数据，按照距离第1顺序的图像的焦点由近及远的顺序，来决定以第2顺序所决定的顺序以后的顺序。第3顺序决定部93例如在以第2顺序所决定的顺序是第3个的情况下，决定第3个以后的顺序。
第4顺序决定部94在已获取的多个摄像图像的数据中决定第4顺序。
“第4顺序”是指，被决定为在已获取的多个摄像图像的数据当中以无限远所摄像的摄像图像的顺序。即，“第4顺序”是被决定为对焦位置的值最低的(最远的)摄像图像的数据的顺序。第4顺序决定部94例如在以第3顺序所决定的顺序是第6个的情况下，决定最后合成的第7个的顺序。
接下来，说明合成顺序变更手法的具体例。
图7是表示合成顺序变更手法的一例的示意图。
在图7的例子中，摄像装置1首先以自动对焦来对1张摄像图像进行摄像，其后，在不同对焦位置上进行6张摄像图像的摄像，由此对总共7张摄像图像进行摄像。
在此情况下，对于摄像图像的数据，与摄像顺序一致地，赋予摄像图像Img_capt[0]至Img_capt[6]的名称的各名称。
在此，各摄像图像的数据的对焦位置分别如下。即，在摄像图像Img_capt[0]的情况下对焦位置成为“40”。在摄像图像Img_capt[1]的情况下对焦位置成为“20”，在摄像图像Img_capt[2]的情况下对焦位置成为“30”，在摄像图像Img_capt[3]的情况下对焦位置成为“0”，在摄像图像Img_capt[4]的情况下对焦位置成为“50”，在摄像图像Img_capt[5]的情况下对焦位置成为“70”，在摄像图像Img_capt[6]的情况下对焦位置成为“90”。
关于对焦位置的值，在合焦于最近前的情况下，对焦位置为“100”，随着逐渐向深处合焦，值下降，最终在无限远处，对焦位置成为“0”。
对于这样的摄像图像Img_capt[0]至Img_capt[6]的数据，合成顺序决定部53进行合成顺序的决定。
第1顺序决定部91将摄像顺序最早的摄像图像Img_capt[0]的数据决定为第1顺序(第1个)。
第2顺序决定部92将对焦位置的值比第1顺序的摄像图像Img_capt[0]的对焦位置“40”更高(近)的摄像图像的数据决定为第2顺序。即，在图7的例子中，第2顺序决定部92将摄像图像Img_capt[4](对焦位置“50”)、摄像图像Img_capt[5](对焦位置“70”)、摄像图像Img_capt[6](对焦位置“90”)的各数据分别设为第2顺序。然后，第2顺序决定部92，作为第2顺序的多个摄像图像的数据的个别顺序，按照相对于第1顺序的摄像图像Img_capt[0]的对焦位置“40”，对焦位置的值由近及远的顺序，来决定顺序。即，第2顺序决定部92将摄像图像Img_capt[4](对焦位置“50”)的数据设为第2个，将摄像图像Img_capt[5](对焦位置“70”)的数据设为第3个，将摄像图像Img_capt[6](对焦位置“90”)的数据设为第4个，以此方式来分别决定顺序。
第3顺序决定部93将对焦位置的值比第1顺序的摄像图像Img_capt[0](对焦位置“40”)的数据更低(远)的摄像图像的数据决定为第3顺序。即，在图7的例子中，第3顺序决定部93将摄像图像Img_capt[1](对焦位置“20”)、摄像图像Img_capt[2](对焦位置“30”)的各数据分别设为第3顺序。然后，第3顺序决定部93，作为第3顺序的多个摄像图像的数据的个别顺序，按照相对于第1顺序的摄像图像Img_capt[0]的对焦位置“40”，对焦位置的值由近及远的顺序，来决定顺序。即，第3顺序决定部93将摄像图像Img_capt[2](对焦位置“30”)的数据设为第5个，将摄像图像Img_capt[1](对焦位置“20”)的数据设为第6个，以此方式来分别决定顺序。
第4顺序决定部94将成为最远的无限远的摄像图像Img_capt[1](对焦位置“0”)的数据决定为第4顺序。第4顺序决定部94将摄像图像Img_capt[1]的数据设为第7个。
返回至图6，在摄像装置1执行图像合成处理的情况下，在CPU11的图像合成部54中，位置校准部111、合成图(MAP)创建部112、α混合部113、合成图像判别部114、以及判别结果输出部115发挥功能。
位置校准部111与由合成顺序决定部53决定的合成顺序建立对应地，进行合成对象的摄像图像的各数据的位置校准。
具体而言，首先，位置校准部111进行由合成顺序决定部53决定为第1个的主要被摄体合焦图像即摄像图像、与第2个的摄像图像的各数据的位置校准。此时，位置校准部111通过判别合成时的位置偏移是否超过了预先设定的阈值来判别合成是否已成功。另外，位置校准部111在不能进行位置校准的情况下，使用以下顺序的摄像图像的数据来进行位置校准。
合成图创建部112根据进行了位置校准后的摄像图像或合成图像的各数据的边缘强度的分布来创建合成图。在本实施方式中，作为合成图，采用使摄像图像的被摄景深分布化了的所谓的深度图(depth map)。
具体而言，合成图创建部112根据由合成顺序决定部53决定为第1个的主要被摄体合焦图像即摄像图像、以及进行了位置校准后的摄像图像的各数据的边缘强度的分布，来创建合成图。此时，合成图创建部112根据合成图来判别对运动体的有无进行合成的面积等，从而判别合成的适合与否。具体而言，合成图创建部112在有运动体的情况下或合成的面积极少等情况下，不将成为了合成图的生成对象的摄像图像或合成图像采用为下一合成对象，并通知给位置校准部111。如此，位置校准部111再次进行下一顺序的摄像图像的位置校准，因此合成图创建部112再次制作合成图。
α混合部113进行所谓的α混合，即遵照基于这些合成图所求取的系数(阿尔法值)来对作为合成的基础的摄像图像或合成图像、以及经位置校准后的摄像图像的各数据进行半透明合成。
具体而言，α混合部113通过针对由合成顺序决定部53决定为第1个的主要被摄体合焦图像即摄像图像、以及进行了位置校准后的摄像图像的各数据进行α混合，来生成合成图像的数据。
其后，前次生成的合成图像的数据、以及下一顺序的摄像图像的数据成为合成对象，以该顺序执行位置校准部111、合成图创建部112、以及α混合部113各自的上述的处理，来生成新的合成图像的数据。
即，将位置校准部111、合成图创建部112、以及α混合部113各自的上述的处理作为一系列的处理，通过反复执行该一系列的处理来进行逐次合成。
合成图像判别部114判别作为逐次合成的结果而最终生成的全焦点图像的数据是否恰当。在本实施方式中，合成图像判别部114基于是否合成了无限远的摄像图像、以及是否以给定的张数以上的张数来构成了合成图像，来进行该判别。
判别结果输出部115对合成图像判别部114所执行的图像合成的适合与否的判别结果进行输出。
接下来，针对具有这样的功能性的构成的摄像装置1所执行的全焦点图像生成处理的流程进行说明。
图8是说明具有图5的功能性的构成的图4的摄像装置1所执行的全焦点图像生成处理的流程的流程图。
全焦点图像生成处理是指，至从对焦位置不同的多张摄像图像的数据生成全焦点图像的数据为止的一系列的处理。
全焦点图像生成处理，在用户使用输入部17进行了执行全焦点图像生成处理的给定的操作的情况下，以该操作为契机开始。
在步骤S1中，摄像控制部51控制摄像部16来进行摄像处理(对焦包围拍摄)。即，摄像控制部51进行控制，使得摄像部16分别在不同的对焦位置上对多张摄像图像进行摄像。摄像图像获取部52依次获取从摄像部16逐次输出的多张摄像图像的数据并存储至摄像图像存储部71。在本实施方式中，摄像图像获取部52将依次获取在用户任意决定的被摄体处合焦了的位置上所摄像的1张摄像图像、以及将焦点位置从合焦位置偏移至了前后的位置而摄像的多张摄像图像的6张总共7张摄像图像的数据。
在步骤S2中，合成顺序决定部53进行合成顺序决定处理。
“合成顺序决定处理”是指，对于步骤S1中所摄像的摄像图像的数据组来决定摄像图像进行合成的顺序的一系列的处理。
在步骤S3中，合成顺序决定部53作为基准图像而拷贝至输出图像保存存储器即Img_out。具体而言，合成顺序决定部53将在用户任意决定的被摄体处合焦了的位置上所摄像的摄像图像(主要被摄体合焦图像)决定为基准图像，而且将复制了该基准图像的数据后的图像保存至给定的输出图像保存存储器(在本实施方式中为Img_out)。
在步骤S4中，图像合成部54进行图像合成处理。
“图像合成处理”是指，基于步骤S2的合成顺序决定处理中所决定的合成顺序，进行摄像图像的各数据的逐次合成，直至生成合成图像的数据为止的一系列的处理。
在步骤S5中，合成图像判别部114进行合成图像判别处理。
“合成图像判别处理”是指，判别步骤S4的图像合成处理中所生成的全焦点图像的数据是否恰当的一系列的处理。
在步骤S6中，输出控制部55判断合成是否已成功。具体而言，输出控制部55判断在步骤S5的合成图像判别处理中摄像图像的各数据的合成是否已成功。
在判断为摄像图像的各数据的合成失败了的情况下，在步骤S6中判断为“否”，处理前进至步骤S7。
在步骤S7中，输出控制部55进行输出图像的设定。具体而言，由于判断为在步骤S5中摄像图像的各数据的合成失败了，因此全焦点图像的数据不恰当，因此输出控制部55取而代之地将基准图像设定为显示对象。由此，处理前进至步骤S8。
与此相对，在判断为摄像图像的合成已成功的情况下，在步骤S6中判断为“是”，处理前进至步骤S8。
在步骤S8中，输出控制部55使输出图像的数据从输出部18显示输出。
接下来，说明图8的全焦点图像生成处理当中步骤S2的合成顺序决定处理的详细的流程。
图9是说明图8的全焦点图像生成处理当中步骤S2的合成顺序决定处理的详细的流程的流程图。
在步骤S21中，第1顺序决定部91基于拍摄顺序以及对焦位置的信息来决定图像合成中的第1顺序。
如图7的例子所示，第1顺序决定部91将摄像顺序为第1个的Img_capt[0]决定为第1顺序的图像。
在步骤S22中，第2顺序决定部92基于拍摄顺序以及对焦位置的信息来决定图像合成中的第2顺序。
如图7的例子所示，第2顺序决定部92将Img_capt[4](对焦位置“50”)设为第2个，将Img_capt[5](对焦位置“70”)设为第3个，并将Img_capt[6](对焦位置“90”)设为第4个。
在步骤S23中，第3顺序决定部93基于拍摄顺序以及对焦位置的信息来决定图像合成中的第3顺序。
如图7的例子所示，第3顺序决定部93将Img_capt[2](对焦位置“30”)设为第5个，并将Img_capt[1](对焦位置“20”)设为第6个。
在步骤S24中，第4顺序决定部94基于拍摄顺序以及对焦位置的信息来决定图像合成中的第4顺序。
如图7的例子所示，第4顺序决定部94将Img_capt[3]设为第7个。
其后，合成顺序决定处理结束。
接下来，针对图8的全焦点图像生成处理当中步骤S4的图像合成处理的详细的流程进行说明。
图10是针对图8的全焦点图像生成处理当中步骤S4的图像合成处理的详细的流程进行说明的流程图。
在步骤S51中，图像合成部54使合成的顺序的图像(Img[i])在给定的存储器区域中显影。
在步骤S52中，位置校准部111在输出图像保存存储器(Img_out)中所展开的基准图像(或合成图像)、与合成的顺序的图像(Img[i])之间进行位置校准。
也就是，计算各图像的每个像素的特征点，利用该特征点来进行位置校准。此外，计算来自像素的特征点的具体的方法是周知的，故省略。
在步骤S53中，位置校准部111判别在基准图像(或合成后的图像)与合成的顺序的图像(Img[i])之间位置校准是否已成功。具体而言，位置校准部111通过判别合成时的位置偏移是否超过了预先设定的阈值来判别合成是否已成功。
在判别为位置校准失败了的情况下，在步骤S53中判断为“否”，处理返回至步骤S51，并反复从此起以后的处理。
在判别为位置校准已成功的情况下，在步骤S53中判断为“是”，处理前进至步骤S54。
在步骤S54中，位置校准部111将合成的顺序的图像的位置变更为步骤S53中位置校准后的位置，来生成图像(Img[i]’)。
在步骤S55中，合成图创建部112在进行了位置校准后，根据Img_out和Img[I]’的2个图像的边缘强度的分布来创建合成图(在本实施方式中为深度图)。
合成图是将被摄体区域设为了255、且将非被摄体区域设为了0的多值的MAP。通过在合焦于被摄体区域的图像和合焦于非被摄体区域的图像中，按每个像素来比较边缘强度，并根据该边缘比较结果的空间密度分布来计算似然度(在此为被摄体区域可能性)，从而能生成该合成图。
在步骤S56中，合成图创建部112判别合成图的创建是否已成功。即，合成图创建部112根据已创建的合成图来判别运动体的有无或合成的面积等，从而判别合成的适合与否。具体而言，合成图创建部112在有运动体的情况下或合成的面积极少等情况下不作为合成的图像进行采用，从下一顺序的图像的位置校准起执行。
在判别为合成图的创建失败了的情况下，在步骤S56中判断为“否”，处理返回至步骤S51，并反复从此起以后的处理。
在判别为合成图的创建已成功的情况下，在步骤S56中判断为“是”，处理前进至步骤S57。
在步骤S57中，合成图创建部112通过对焦位置来调整合成图。
调整方法是通过根据AF位置与拍摄对焦位置的关系求取要合成的图像的重要度并对合成图加权(例如，增益)来进行的。
合成图’＝合成图×[与重要度相应的增益]
在步骤S58中，α混合部113使用合成图，按每个像素通过α混合对输出图像保存存储器的Img_out中展开的图像、以及Img[i]’的图像进行合成。
也就是，在各图像合成中，尽量进行使主要被摄体的边缘强度不下降那样的合成，因此越是主要被摄体可能性高的像素，越进行使Img_out的合成比率变高那样的合成。
在步骤S59中，图像合成部54以混合后的值对输出图像保存存储器的Img_out进行更新。其结果，将对全焦点图像的数据进行合成。
在步骤S60中，图像合成部54判别处理是否在全部的图像中已结束。
在判别为处理在全部的图像中还未结束的情况下，在步骤S60中判断为“否”，处理返回至步骤S51，并反复从此起以后的处理。
在判别为处理在全部的图像中已结束的情况下，在步骤S60中判断为“是”，图像合成处理结束。
接下来，针对图8的全焦点图像生成处理当中步骤S5的合成图像判别处理的详细的流程进行说明。
图11是说明图8的全焦点图像生成处理当中步骤S5的合成图像判别处理的详细的流程的流程图。
在步骤S81中，合成图像判别部114判别是否能合成一定张数以上的图像。合成图像判别部114例如判别是否以已获取的图像的张数的半数以上的张数进行了合成。用于判别的张数是按照使用的透镜的被摄景深来设定的。在被摄景深较深的情况下，可以将张数设定得少，而在被摄景深较浅的情况下，将张数设定得多。
在判别为不能合成一定张数以上的图像的情况下，在步骤S81中判断为“否”，处理前进至步骤S83。关于步骤S83将后述。
在判别为能合成一定张数以上的图像的情况下，步骤S81中判断为“是”，处理前进至步骤S82。
在步骤S82中，合成图像判别部114判别为全焦点图像中的合成已成功。即，全焦点图像中的合成的成功表示生成了1张合成图像。
在步骤S83中，合成图像判别部114判别为全焦点图像中的合成失败了。
在步骤S84中，判别结果输出部115输出步骤S82或步骤S83的合成结果的判别。其后，合成图像判别处理结束。
根据以上那样的摄像装置1，具备：透镜驱动部43、摄像部16、摄像图像获取部52、合成顺序决定部53、以及图像合成部54。该摄像装置1对使对焦位置移动而拍摄的多张图像进行合成。
透镜驱动部43变更对焦位置。
摄像部16在多个对焦位置上进行拍摄。
摄像图像获取部52获取在多个对焦位置上拍摄而得到的多个摄像图像的数据。
合成顺序决定部53针对由摄像图像获取部52获取的多个摄像图像的数据，来决定与对焦距离的远近的顺序以及拍摄的顺序均不同的、由摄像部16拍摄的图像的合成的顺序。
图像合成部54以由合成顺序决定部53决定的顺序来对由摄像部16拍摄的多个摄像图像进行合成，从而生成全焦点图像的数据。
因此，在摄像装置1中，以由合成顺序决定部53决定的顺序来对由摄像部16拍摄的多个摄像图像进行合成，从而生成全焦点图像的数据。
由此，在摄像装置1中，能生成成为整体上鲜明的图像的全焦点图像。
合成顺序决定部53确定成为图像合成部54的合成的基准的基准图像。
因此，在摄像装置1中，例如，通过将反映了用户的意思的图像确定为基准图像，能实现以用户有意图摄像的被摄体为基准的合成，能生成以基准图像为中心而整体上更鲜明的全焦点图像。
合成顺序决定部53基于由摄像图像获取部52获取的各拍摄像素的对焦位置与基准图像的对焦位置的关系，使合成的顺序变化。
由此，在摄像装置1中，通过决定对假的边缘少的边缘强度不同的摄像图像进行合成的顺序，能生成整体上更鲜明的全焦点图像。
合成顺序决定部53决定为以下顺序，即，对离无限远最近的对焦位置上所拍摄的摄像图像最后进行合成。
由此，在摄像装置1中，通过将假的边缘少的边缘强度最强的离无限远最近的对焦位置上所拍摄的摄像图像最后合成，能生成整体上更鲜明的全焦点图像。
合成顺序决定部53以各拍摄像素的对焦位置为对象从基准图像的对焦位置起朝着摄像装置1所具备的透镜的拍摄最短距离侧方向，接着从基准图像的对焦位置起朝着无限远方向，依次地决定摄像图像的合成顺序。
由此，在摄像装置1中，通过从更后起合成假的边缘少的边缘强度强的摄像图像，能生成整体上更鲜明的全焦点图像。
图像合成部54在对多个摄像图像的数据进行位置校准的同时进行合成来生成全焦点图像的数据。
由此，即使在被摄体多少有些运动或抖动等，也能生成整体上更鲜明的全焦点图像。
另外，摄像装置1具备：合成图像判别部114、以及判别结果输出部115。
合成图像判别部114判别在离无限远最近的对焦位置上所拍摄的摄像图像以外的合成是否已成功。
判别结果输出部115按照由合成图像判别部114判别的合成成功次数，来输出合成是否已成功。
由此，在摄像装置1中，即使是在离无限远最近的对焦位置上所拍摄的摄像图像以外的合成，合成的次数也对合成结果影响大，因此能恰当地进行有关合成是否已成功的判别。
位置校准部111通过判别图像合成部54所执行的合成时的位置偏移是否超过了预先设定的阈值，来判别合成是否已成功。
由此，在摄像装置1中，能以简单的方法来判别合成是否已成功。
位置校准部111基于从进行合成的摄像图像所创建的深度图，来判别合成是否已成功。
由此，在摄像装置1中，能以简单的方法来判别合成是否已成功。
此外，本发明不限于上述的实施方式，能达成本发明的目的的范围内的变形、改良等也包含在本发明中。
在上述的实施方式中，基于对焦位置将摄像顺序变更为恰当的合成顺序来生成了全焦点图像，但不限于此。例如，在合成时可以不变更图像的顺序，而进行摄像的控制，按照在拍摄时考虑了合成的对焦位置上执行的方式来拍摄。
另外，在上述的实施方式中，在合成图像判别处理中，进行是否使用了无限远的图像的判别、以及是否由给定张数的图像构成的判别，从而来进行了合成图像的适合与否的判别，但不限于此。例如，还可以从合成图像的边缘的强度等根据图像中的被摄体的焦点的程度来判断假边缘的区域等，由此进行合成图像的适合与否的判别。
另外，在上述的实施方式中，通过α混合来进行了图像的合成，但不限于此。例如，关于图像的合成，能合成2个图像当中合焦区域即可，能使用加法合成等各种手法。
另外，在上述的实施方式中，在拍摄多个对焦位置不同的摄像图像后变更恰当的合成顺序来进行了合成，但也可以确定恰当的合成顺序后基于该合成顺序来进行拍摄。
关于在此情况下的拍摄顺序，首先基于CPU11所执行的AF处理的结果，在由透镜驱动部43对光学透镜部41的对焦透镜进行了驱动的、作为基准的主要被摄体的对焦位置上进行拍摄。接下来，从作为基准的主要被摄体的对焦位置由透镜驱动部43使光学透镜部41的对焦透镜进行驱动，在拍摄最短距离侧方向上使对焦位置移动来依次地拍摄。接着，从作为基准的对焦位置起朝着无限远方向依次地拍摄，最后在离无限远最近的对焦位置上进行拍摄。在拍摄了多张图像后的图像合成处理或图像合成判别处理这样的相当于图8的步骤S4起以后的处理方法不作特别限定，但可以以上述的实施方式为标准。
另外，在上述的实施方式中，关于应用本发明的摄像装置1，以数码相机为例进行了说明，但不对此作特别限定。另外，本发明还能应用于不具有摄像的功能而基于在外部摄像出的图像来进行全焦点图像生成处理的图像处理装置。
例如，本发明能广泛应用于具有全焦点图像生成处理功能的电子设备。具体而言，例如，本发明能应用于笔记本型的个人计算机、打印机、电视接收机、数码摄像机、便携式导航装置、便携式电话机、便携游戏机等。
上述的一系列的处理既能通过硬件来执行，也能通过软件来执行。
换言之，图5的功能性的构成只不过是例示，不作特别限定。即，在摄像装置1中具备能将上述的一系列的处理作为整体执行的功能即可，为了实现该功能而使用哪种功能块不特别限定于图5的例子。
另外，1个功能块既可以以硬件单体来构成，也可以以软件单体来构成，还可以以它们的组合来构成。
在使软件执行一系列的处理的情况下，构成该软件的程序从网络或记录介质安装至计算机等。
计算机可以是嵌入至专用的硬件的计算机。另外，计算机可以是通过安装各种程序而能执行各种功能的计算机，例如通用的个人计算机。
包含这样的程序的记录介质不仅可以由为了对用户提供程序而与装置本体单独发行的图4的可移动介质31构成，还可以由以预先嵌入至装置本体的状态而提供给用户的记录介质等构成。可移动介质31例如由磁盘(包含软盘)、光盘或光磁盘等构成。光盘例如由CD-ROM(CompactDisk-Read Only Memory)、DVD(Digital Versatile Disk)等构成。光磁盘由MD(Mini-Disk)等构成。另外，以预先嵌入至装置本体的状态提供给用户的记录介质例如由记录有程序的图4的ROM12、或图4的存储部19中所含的硬盘等构成。
此外，在本说明书中，关于对记录介质上所记录的程序进行表述的步骤，当然包含沿该顺序以时间序列所进行的处理，但也不必一定是以时间序列进行处理，还包含并行或单独执行的处理。
以上说明了本发明的几个实施方式，但这些实施方式只不过是例示，不是用来限定本发明的技术的范围。本发明还能采取其他各种实施方式，进而还能在不脱离本发明的主旨的范围内进行省略或置换等各种变更。这些实施方式或其变形包含在本说明书等中所记载的发明的范围或主旨中，而且包含在与权利要求书中记载的发明同等的范围内。
虽然参照优选的实施方式描述了本发明，但本发明不受这些描述的细节任何限定，本发明包含落在权利要求保护范围内的所有等价形式。

Claims (10)

1.一种图像处理装置，其特征在于，具备：
图像获取部，其获取在多个对焦位置上拍摄的多个摄像图像的数据，其中，该多个对焦位置包括合焦于主要被摄体的对焦位置；
顺序决定部，其针对多个摄像图像的数据，将在合焦于所述主要被摄体的对焦位置处拍摄到的摄像图像的数据决定为第1顺序，并且将其他摄像图像的数据决定为第2顺序以后；以及
合成部，其以由所述顺序决定部决定的顺序来对所述多个摄像图像的数据进行合成，从而生成全焦点图像的数据。
2.根据权利要求1所述的图像处理装置，其特征在于，
所述顺序决定部决定为以下顺序，即，相比在比合焦于所述主要被摄体的对焦位置更靠纵深处合焦的摄像图像的数据，使在比合焦于该主要被摄体的对焦位置更靠近前处合焦的摄像图像的数据更优先。
3.根据权利要求1所述的图像处理装置，其特征在于，
所述顺序决定部决定为以下顺序，即，对在离无限远最近的对焦位置上拍摄到的摄像图像的数据最后进行合成。
4.根据权利要求1所述的图像处理装置，其特征在于，
合焦于所述主要被摄体的对焦位置是用户任意决定的对焦位置。
5.根据权利要求1所述的图像处理装置，其特征在于，
所述合成部在对所述多个摄像图像的数据进行位置校准的同时进行合成来生成全焦点图像的数据。
6.根据权利要求1所述的图像处理装置，其特征在于，
还具备：
判别部，其还判别在离无限远最近的对焦位置上拍摄到的摄像图像的数据以外的合成是否已成功；以及
合成可否输出部，其按照由所述判别部判别出的合成的成功次数，还输出合成是否已成功。
7.根据权利要求6所述的图像处理装置，其特征在于，
所述判别部通过判别所述合成部所执行的合成时的位置偏移是否超过了预先设定的阈值，来判别合成是否已成功。
8.根据权利要求7所述的图像处理装置，其特征在于，
所述判别部基于根据进行合成的摄像图像所创建的深度图，来判别合成是否已成功。
9.根据权利要求1所述的图像处理装置，其特征在于，
还具备：
对焦部，其变更所述对焦位置；以及
拍摄部，其在多个对焦位置上进行拍摄。
10.一种图像处理方法，其特征在于，包括：
图像获取步骤，获取在多个对焦位置上拍摄的多个摄像图像的数据，其中，该多个对焦位置包括合焦于主要被摄体的对焦位置；
顺序决定步骤，针对多个摄像图像的数据，将在合焦于所述主要被摄体的对焦位置处拍摄到的摄像图像的数据决定为第1顺序，并且将其他摄像图像的数据决定为第2顺序以后；以及
合成步骤，以由所述顺序决定步骤的处理决定的顺序来对所述多个摄像图像的数据进行合成，从而生成全焦点图像的数据。
CN201310276324.3A 2012-07-05 2013-07-03 图像处理装置以及图像处理方法 Expired - Fee Related CN103533232B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012151595A JP6074926B2 (ja) 2012-07-05 2012-07-05 画像処理装置、画像処理方法及びプログラム
JP2012-151595 2012-07-05

Publications (2)

Publication Number Publication Date
CN103533232A CN103533232A (zh) 2014-01-22
CN103533232B true CN103533232B (zh) 2016-11-16

Family

ID=49878240

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310276324.3A Expired - Fee Related CN103533232B (zh) 2012-07-05 2013-07-03 图像处理装置以及图像处理方法

Country Status (4)

Country Link
US (1) US9386223B2 (zh)
JP (1) JP6074926B2 (zh)
KR (1) KR101495584B1 (zh)
CN (1) CN103533232B (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101838033B1 (ko) * 2011-11-25 2018-03-15 삼성전자 주식회사 사용자 디바이스의 영상 촬영 방법 및 장치
JP5664626B2 (ja) * 2012-10-12 2015-02-04 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP6242244B2 (ja) * 2014-02-28 2017-12-06 オリンパス株式会社 撮像装置、撮像方法、およびプログラム
US9307166B2 (en) * 2014-03-26 2016-04-05 Intel Corporation All-in-focus implementation
JP2015207860A (ja) * 2014-04-18 2015-11-19 オリンパス株式会社 画像処理装置、画像処理方法及び画像処理プログラム
CN103929591B (zh) * 2014-04-22 2017-06-20 苏州比特速浪电子科技有限公司 图像处理装置
JP6325885B2 (ja) * 2014-05-12 2018-05-16 オリンパス株式会社 撮像装置、撮像方法、及びプログラム
CN105334681B (zh) * 2014-06-25 2018-01-30 深圳市墨克瑞光电子研究院 液晶透镜成像装置及液晶透镜成像方法
JP6317635B2 (ja) 2014-06-30 2018-04-25 株式会社東芝 画像処理装置、画像処理方法及び画像処理プログラム
CN105301864B (zh) * 2014-07-29 2018-01-30 深圳市墨克瑞光电子研究院 液晶透镜成像装置及液晶透镜成像方法
CN105657240A (zh) * 2015-06-29 2016-06-08 宇龙计算机通信科技(深圳)有限公司 一种拍照方法及装置
JP6702796B2 (ja) 2016-05-16 2020-06-03 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
EP3478182A4 (en) * 2016-05-25 2020-02-26 Carson, Benjamin METHOD, SYSTEM, SOFTWARE AND DEVICE FOR IMAGING AND MINIATURIZED THREE-DIMENSIONAL ANALYSIS REMOTELY OF HUMAN LESION CLINICAL APPLICATIONS AND RESEARCH THEREOF
JP6706167B2 (ja) * 2016-07-15 2020-06-03 オリンパス株式会社 撮像装置、画像合成方法、およびプログラム
US10719408B2 (en) * 2016-08-03 2020-07-21 Microsoft Technology Licensing, Llc Retain locally deleted content at storage service
CN106454116B (zh) * 2016-11-18 2019-06-28 成都微晶景泰科技有限公司 自动全焦成像方法及装置
CN106937056B (zh) * 2017-03-31 2020-10-09 努比亚技术有限公司 双摄像头的对焦处理方法、对焦处理装置和移动终端
JP6891071B2 (ja) * 2017-08-07 2021-06-18 キヤノン株式会社 情報処理装置、撮像システム、撮像方法及びプログラム
CN109862252B (zh) * 2017-11-30 2021-01-29 北京小米移动软件有限公司 图像拍摄方法及装置
JP2019114919A (ja) * 2017-12-22 2019-07-11 オリンパス株式会社 撮像装置、撮像方法、およびプログラムを記録した記録媒体
CN108171743A (zh) * 2017-12-28 2018-06-15 努比亚技术有限公司 拍摄图像的方法、设备及计算机可存储介质
JP7169092B2 (ja) * 2018-05-21 2022-11-10 株式会社ミツトヨ 焦点距離可変レンズ装置および焦点距離可変レンズ制御方法
JP6790318B2 (ja) * 2018-06-19 2020-11-25 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 無人航空機、制御方法、及びプログラム
JP7098474B2 (ja) * 2018-08-07 2022-07-11 株式会社ミツトヨ 非接触式変位計
JP6833772B2 (ja) * 2018-08-22 2021-02-24 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
CN111061123B (zh) * 2019-12-25 2022-02-15 重庆特斯联智慧科技股份有限公司 一种旅游景观展示的旋转全景成像系统及使用方法
JP2021180366A (ja) * 2020-05-11 2021-11-18 キヤノン株式会社 撮像装置及びその制御方法、並びにプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5172236A (en) * 1989-08-23 1992-12-15 Ricoh Company, Ltd. Electronic pan-focusing apparatus for producing focused images independent of depth of field and type of lens
US7006111B1 (en) * 1999-11-09 2006-02-28 Intel Corporation Digital image stitching
CN101191719A (zh) * 2006-12-01 2008-06-04 鸿富锦精密工业（深圳）有限公司 影像焦点合成系统及方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3956584B2 (ja) 2000-06-02 2007-08-08 株式会社日立製作所 全焦点画像合成方法及び装置
US6538249B1 (en) 1999-07-09 2003-03-25 Hitachi, Ltd. Image-formation apparatus using charged particle beams under various focus conditions
JP2001268439A (ja) 2000-03-16 2001-09-28 Minolta Co Ltd 合成画像の作成方法
KR100432617B1 (ko) * 2001-05-16 2004-05-22 주식회사 메디슨 직교 성질을 갖는 골레이 코드 세트를 이용하는 초음파영상 형성 장치 및 방법
US6885764B2 (en) * 2001-11-21 2005-04-26 Ge Medical Systems Global Technology Company, Llc High Speed Z-smoothing method and apparatus for CT imaging system
WO2004107012A1 (ja) * 2003-05-30 2004-12-09 Vixen Co., Ltd. 天体の自動導入装置
US8098275B2 (en) * 2003-12-30 2012-01-17 The Trustees Of The Stevens Institute Of Technology Three-dimensional imaging system using optical pulses, non-linear optical mixers and holographic calibration
EP1653395A3 (fr) * 2004-10-01 2006-05-10 Axalto SA Procédé de sécurisation d'un objet portatif personnel
TWI279143B (en) * 2005-07-11 2007-04-11 Softfoundry Internat Ptd Ltd Integrated compensation method of video code flow
JP2007282152A (ja) 2006-04-12 2007-10-25 Eiji Shiraishi 一回のシャッター操作で、同じ構図の被写体を複数のピントでほぼ同時に撮影する同時多重ピントデジカメ。
JP4582423B2 (ja) * 2007-04-20 2010-11-17 富士フイルム株式会社 撮像装置、画像処理装置、撮像方法、及び画像処理方法
US8179432B2 (en) * 2007-04-30 2012-05-15 General Electric Company Predictive autofocusing
US8188412B2 (en) * 2007-12-27 2012-05-29 Olympus Corporation Confocal microscope which weights and combines signals output from a plurality of photodetectors and calculates omnifocal brightness information for the plurality of signals
JP4524717B2 (ja) * 2008-06-13 2010-08-18 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
JP5154392B2 (ja) 2008-12-12 2013-02-27 株式会社キーエンス 撮像装置
JP2010166247A (ja) 2009-01-14 2010-07-29 Olympus Corp 画像処理装置、画像処理プログラムおよび画像処理方法
US8629899B2 (en) * 2009-08-06 2014-01-14 Qualcomm Incorporated Transforming video data in accordance with human visual system feedback metrics
US8494301B2 (en) * 2010-09-16 2013-07-23 Eastman Kodak Company Refocusing images using scene captured images

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5172236A (en) * 1989-08-23 1992-12-15 Ricoh Company, Ltd. Electronic pan-focusing apparatus for producing focused images independent of depth of field and type of lens
US7006111B1 (en) * 1999-11-09 2006-02-28 Intel Corporation Digital image stitching
CN101191719A (zh) * 2006-12-01 2008-06-04 鸿富锦精密工业（深圳）有限公司 影像焦点合成系统及方法

Also Published As

Publication number Publication date
KR101495584B1 (ko) 2015-02-25
JP6074926B2 (ja) 2017-02-08
US20140009572A1 (en) 2014-01-09
US9386223B2 (en) 2016-07-05
CN103533232A (zh) 2014-01-22
KR20140005802A (ko) 2014-01-15
JP2014017539A (ja) 2014-01-30

Similar Documents

Publication Publication Date Title
CN103533232B (zh) 图像处理装置以及图像处理方法
CN103731601B (zh) 图像处理装置以及图像处理方法
US9386213B2 (en) Image capture apparatus that can determine appropriate focus position, image capture method, and storage medium
JP6288952B2 (ja) 撮像装置およびその制御方法
JP5526727B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP5515671B2 (ja) 画像処理装置、その制御方法およびプログラム
US20160198098A1 (en) Method and apparatus for creating or storing resultant image which changes in selected area
CN103327234B (zh) 图像处理装置、以及图像处理方法
CN103780862B (zh) 再生控制装置、再生控制方法以及记录介质
JP5754458B2 (ja) 動画像抽出装置、動画像抽出方法及びプログラム
CN102572258A (zh) 能再现全景图像的图像再现装置
CN102377945A (zh) 摄像装置
CN104469237B (zh) 运动图像甄选装置以及运动图像甄选方法
CN101909153B (zh) 摄影装置、摄影方法以及再现方法
JP2010068190A (ja) デジタルカメラ、画像処理装置およびデジタルカメラシステム
US10075631B2 (en) Imaging apparatus, imaging method and recording medium having program for performing self-timer shooting
JP6260652B2 (ja) 画像生成装置、画像生成方法及びプログラム
CN108810398A (zh) 图像处理装置、图像处理方法以及记录介质
JP5043151B2 (ja) 撮像装置
JP6617396B2 (ja) 撮像装置、及び撮像方法
JP4434926B2 (ja) 撮影装置及びそのプログラム
JP2015126812A (ja) 情報処理装置、情報処理方法及びプログラム
JP5948960B2 (ja) カメラ、画像処理装置及びプログラム
JP2018099296A (ja) ゲームプログラム、及び記憶媒体
JP6213619B2 (ja) カメラおよびプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20161116

Termination date: 20210703

CF01 Termination of patent right due to non-payment of annual fee