CN105339757A - 信息处理装置、信息处理系统、信息处理方法及其程序 - Google Patents

信息处理装置、信息处理系统、信息处理方法及其程序 Download PDF

Info

Publication number
CN105339757A
CN105339757A CN201480035494.5A CN201480035494A CN105339757A CN 105339757 A CN105339757 A CN 105339757A CN 201480035494 A CN201480035494 A CN 201480035494A CN 105339757 A CN105339757 A CN 105339757A
Authority
CN
China
Prior art keywords
information
view data
unit
range information
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480035494.5A
Other languages
English (en)
Other versions
CN105339757B (zh
Inventor
北乡正辉
福嶋徹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN105339757A publication Critical patent/CN105339757A/zh
Application granted granted Critical
Publication of CN105339757B publication Critical patent/CN105339757B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/236—Image signal generators using stereoscopic image cameras using a single 2D image sensor using varifocal lenses or mirrors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Studio Devices (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种从图像数据获取距离信息的信息处理装置，其包括输入单元(162)和过程选择单元(164)。输入单元(162)输入图像数据以及与图像数据相关联的、指定用于导出距离信息的过程的信息。过程选择单元(164)基于指定用于获取距离信息的过程的信息，从多个过程中选择至少一个过程，并且使用所选择的过程由图像数据导出距离信息。

Description

信息处理装置、信息处理系统、信息处理方法及其程序
技术领域
本发明涉及一种用于从图像数据获取距离信息的信息处理装置。
背景技术
在数字照相机领域中，在相关技术中的一项已知技术提供一种计算摄影术，其用于从图像传感器的输出提取关于被摄体的图像数据以及进一步的信息，并将信息应用于图像处理。一个示例是从由数字照相机获取的图像数据获取关于到被摄体的距离的信息的处理。
用于从图像数据获取距离信息的已知方法是基于具有视差的多个图像数据之间的关联的立体匹配方法(PTL1)。另一个已知方法是基于处于不同对焦状态的多个图像之间的对焦状态的差异，来获取距离信息的方法(PTL2)。
由于上述距离信息获取处理需要复杂的计算，因此可想到一种在获取图像数据期间使用外部设备而非照相机来执行处理的方法。
然而，由于获取距离信息的处理依据输入的图像数据的类型而不同，因而对于各图像数据需要专用的处理软件和硬件，因此该方法不方便。引文列表
专利文献
PTL1：日本特开第2012-253444号公报
PTL2：日本特开第2013-62803号公报
发明内容
本发明增加了由图像数据获得距离信息的处理的便利性。
本发明提供一种信息处理装置，所述信息处理装置包括：输入单元，其被构造为输入用于导出距离信息的图像数据以及与所述图像数据相关联的、指定用于导出距离信息的过程的信息；选择单元，其被构造为基于指定过程的所述信息，从用于导出距离信息的多个过程中选择至少一个过程；以及导出单元，其被构造为使用由所述选择单元选择的过程，由所述图像数据导出距离信息。
通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。
附图说明
图1是示出根据本发明的第一实施例的图像处理系统的构造的图。
图2A是示出本发明的第一实施例的照相机的外观的图。
图2B是示出第一实施例的照相机的摄像单元的示例构造的图。
图3是示出本发明的第一实施例的信息处理单元的硬件构造的图。
图4是示出本发明的第一实施例的照相机的摄像单元的示例构造的图。
图5A和图5B是例示使用全光相机来分辨光的方法的图。
图6是示出本发明的第一实施例的照相机的摄像单元的示例构造的图。
图7是在本发明的第一实施例的照相机中进行的处理的流程图。
图8是示出本发明的第一实施例的图像数据文件的结构的示例的图。
图9A是CPI数据中的管理数据的说明示例的图。
图9B是示出标签信息与参数之间的对应关系的图。
图10是示出在本发明的第一实施例的计算机中进行的处理的流程图。
图11是根据本发明的第一实施例的距离信息获取处理的流程图。
图12是例示使用立体方法来计算距离的过程的图。
图13A和图13B是示出全光图像的示例的图。
图14是根据本发明的第一实施例的距离信息获取处理的流程图。
图15是根据本发明的第一实施例的距离信息获取处理的流程图。
图16是示出在本发明的第二实施例的计算机中进行的处理的流程图。
图17是示出根据本发明的第三实施例的照相机的构造的图。
图18是示出第三实施例的照相机的摄像单元的示例构造的图。
图19是在第三实施例的照相机中进行的处理的流程图。
具体实施方式
第一实施例
第一实施例被应用于信息处理系统，该信息处理系统从由数字照相机获取的图像数据获得关于被摄体的距离的信息，并且基于该距离信息对获取的图像数据进行图像处理。
图1是示出第一实施例的构造的图。
通过将照相机100、120以及140连接到计算机160来构造本实施例的信息处理系统。
照相机100包括摄像单元101、信息处理单元113、操作单元104以及存储单元111。照相机100经由I/O接口112连接到计算机160。
图2A示出了照相机100的外观。如图2A所示，照相机100包括4个摄像单元101a至101d，并且能够从多个视点获取图像。
图2B示出了摄像单元101a的内部构造。摄像单元101b至101d具有与摄像单元101a相同的构造。
摄像单元101a包括成像透镜201至203、孔径光阑204(下文简称为光圈)、快门205、光学低通滤波器206、红外截止(IR，infraredcut-off)滤波器207、滤色器208、图像传感器209以及A-D转换单元210。成像透镜201至203分别是变焦透镜201及对焦透镜202至203。用户能够通过调整光圈204来调整进入到摄像单元101的光量。图像传感器209的示例包括诸如CMOS和CCD等的光接收元件。当图像传感器209检测被摄体的光量时，检测到的量被A-D转换单元210转换为数字值，并且被作为数字数据输出到信息处理单元113。
图3是示出信息处理单元113的内部构造的图。信息处理单元113包括通过系统总线304互相连接的CPU301、RAM302以及ROM303。
CPU301是整体控制照相机100中的组件的处理器。RAM302用作CPU301的主存储器或工作区域。ROM303存储图7的流程图中示出的程序。通过CPU301读取ROM303中存储的程序作为程序代码并执行它，信息处理单元113实现图1示出的组件的功能。除了上述部分之外，信息处理单元113还可以包括用作图1示出的组件的专用处理电路。
操作单元104的示例包括诸如按钮、转盘以及触摸屏等的、在照相机主体上配设的输入设备，通过该输入设备，用户能够输入开始或停止图像获取、设置图像获取的条件等的指令。在本实施例中，用户能够设置内部处理模式和外部处理模式，在内部处理模式中，在图像获取期间在照相机中进行距离信息的获取及图像处理，在外部处理模式中，在将图像数据输出到外部单元之后进行距离信息的获取及图像处理。
存储单元111是诸如存储卡等的非易失性存储介质，在其中能够存储由摄像单元101获取的图像数据。
I/O接口112能够使用通过通用串行总线(USB)实现的串行总线连接，并且具有对应的USB连接器(未示出)。当然，也可以使用采用光纤的LAN连接或无线连接。
接下来，将说明照相机120和140的构造。尽管照相机120和140的构造基本上与照相机100构造的相同，但是摄像单元的结构以及由距离获取单元进行的处理不同。照相机100、120以及140的距离获取单元分别进行图11、图14及图15中示出的处理。稍后将说明其详情。
照相机120是全光照相机。由全光照相机获取的图像包括关于多视点的信息。在该实施例中，由全光照相机获取的图像被称为全光图像。
图4是示出摄像单元121的内部构造的图。摄像单元121包括变焦透镜401、对焦透镜402和403、光圈404、快门405、光学低通滤波器406、红外截止滤波器407、滤色器408、图像传感器409以及A-D转换单元410。尽管在上述点方面，摄像单元121具有与摄像单元101a类似的构造，但是摄像单元121还包括排列有多个微小凸透镜的微透镜阵列411。假定成像透镜401至403是单个透镜，则微透镜阵列411被布置在虚拟透镜的像平面上。通过将微透镜阵列411布置在虚拟透镜的像平面上，使得能够分辨进入到图像传感器409的光的入射方向。
图5A和图5B是例示通过微透镜阵列411来分辨从虚拟透镜501射出的光的状态。从虚拟透镜501的上半部分射出的光与从虚拟透镜501的下半部分射出的光照射图像传感器409的不同像素区域。选择性地提取像素区域的信息使得能够从全光图像提取多视点的信息。
照相机140具有散焦测距(depth-from-defocus，DFD)功能，并且能够获取处于不同对焦状态的多个图像。在此，“不同对焦状态”意思是被摄体图像的模糊程度依据透镜位置、焦距以及景深而不同。稍后将说明DFD的详情。
图6是例示摄像单元141的内部构造的图。尽管基本构造与摄像单元101a的构造相同，但是摄像单元141还包括透镜驱动单元611，并且由此能够通过驱动成像透镜601至603来调整对焦位置。照相机140能够通过在驱动透镜601至603之前和之后获取图像，来获取在不同对焦位置的多个图像。
接下来，将描述计算机160的构造。计算机160包括I/O接口161、信息处理单元173以及存储单元172。类似于I/O接口112，I/O接口161具有USB连接器。计算机160经由I/O接口161连接到照相机100、120以及140。
信息处理单元173的内部构造与图3示出的信息处理单元113的内部构造相同。信息处理单元173中的ROM存储有图10的流程图中示出的程序。
存储单元172是诸如硬盘等的非易失性存储介质，其能够存储例如从照相机100、120及140输出的图像数据以及在计算机160新生成的图像数据。
下面将说明由本实施例的信息处理系统进行的处理。稍后将说明距离信息获取处理和图像处理的详情。
图7是在对获取的图像数据设置了进行基于距离信息的图像处理的模式的情况下，在照相机100中进行的处理的流程图。
首先，获取单元102获取从摄像单元101输出的图像数据，并且将该图像数据输出到模式确定单元103(步骤S701)。
接下来，模式确定单元103基于来自操作单元104的指令信号，确定通过操作单元104的操作设置的处理模式(步骤S702)。如果处理模式被确定为外部处理模式，则模式确定单元103将图像数据输出到现有元数据添加单元107，并且进行到步骤S703的处理。如果处理模式被确定为内部处理模式，则模式确定单元103将图像数据输出到距离获取单元105，并且进行到步骤S711的处理。
如果处理模式被确定为内部处理模式，则距离获取单元105使用输入的图像数据获取关于被摄体的距离的信息，并且将彼此关联的输入图像数据与获取的距离信息输出到图像处理单元106(步骤S711)。在该实施例中，距离获取单元105获取的距离信息是示出在被摄体的各个位置处的距离的距离图。距离图示出了二维的、从照相机到各个像素位置处的被摄体的距离，并且被作为位图数据而输出。在此，关联的示例包括将图像数据和距离信息作为连续的数据输出，并且在RAM302中临时存储指示图像数据与距离信息之间的关系的信息，以使得CPU301能够读取该信息并解释该信息。距离图不需要示出到被摄体的正确距离；例如，可以对被摄体的各个区域添加指示相对距离的粗略信息，例如“前景”、“中景(middleground)”、以及“背景”。
接下来，图像处理单元106基于与输入的图像数据相关联的距离图，对输入的图像数据进行图像处理(步骤S712)。图像处理单元106还将通过图像处理生成的图像数据与输入的图像数据相关联，并且将关联的图像数据输出到现有元数据添加单元107。
接下来，现有元数据添加单元107将在现有标准文件格式中定义的元数据添加到输入的图像数据，并将图像数据输出到距离获取元数据添加单元108(步骤S703)。这使得即使使用不支持本实施例的文件格式的软件，用户也能够打开输出文件来检查图像。要添加的现有元数据是以作为现有标准文件格式的标签图像文件格式(taggedimagefi1eformat，TIFF)或Exif定义的，并且包括针对多项输入图像数据中的一项的图像获取参数。在本实施例中，这包括由摄像单元101a获取的图像数据的图像获取参数。要添加的元数据的格式不限于TIFF和Exif，也可以是以其他标准文件格式定义的格式。要添加的现有元数据可以是由除摄像单元101a之外的摄像单元获取的图像数据的元数据。
接下来，距离获取元数据添加单元108将在由输入的图像数据获得距离信息时使用的元数据添加到图像数据中，并且将其作为图像数据文件801输出到编码单元109(步骤S704)。
下面将说明图像数据文件801的结构。图8是示出本实施例的图像数据文件801的数据结构的图。本实施例的文件格式使得能够存储从多个视点获取的图像数据以及在多个对焦状态下获取的图像数据两者。TIFFHeader、TIFF0thIFD以及ExifIFD是以作为现有标准文件格式的TIFF和Exif定义的元数据。在步骤S703中，这些元数据被现有元数据添加单元添加到图像数据中。计算成像(CPI)数据802包括用于管理图像数据文件801中包括的各个图像数据的参数。CPI数据802还包括在由图像数据文件801中包括的图像数据获得距离信息时使用的参数。在本实施例中在获得距离信息时使用的元数据是CPI数据802。距离获取元数据添加单元108将CPI数据802添加到图像数据中。
CPI数据802基本上包括管理信息803、视点信息804以及图像信息805。CPI数据802、管理信息803、视点信息804以及图像信息805预先配设有充足的数据区域，以能够自由地进行信息的添加和校正。
管理信息803包括用于管理图像数据文件801的信息。
ImageType是指示在图像数据文件801中的获取的图像数据的种类的参数。如果获取的图像数据是全光图像数据，则输入1，否则设置0。获取的图像数据是指通过使用照相机的图像获取而获得的图像数据。
DepthMethod是指示在获得距离信息时使用的过程的参数。如果基于多视点图像的视差而获得了距离信息，则输入1；如果基于全光图像数据中的多视点信息的视差而获得了距离信息，则输入2；并且如果使用DFD方法获得了距离信息，则输入3。如果已经存在距离信息，并且不需要进一步的距离信息，则输入0。
ImageUsed是在获得距离信息时使用的图像数据的编号，其是按照视点的编号以及视点中的图像数据的编号的顺序而输入的。以该格式，对各项图像数据给予获取了图像数据的视点的编号以及指示在该视点获取的图像数据的顺序位置的编号。例如，在第一视点处第三个获取的图像数据被给予了视点编号1以及在该视点的图像数据编号3。由此，如果使用具有视点编号1且图像数据编号1的图像数据和具有视点编号2且图像数据编号1的图像数据，则对ImageUsed输入1、1、2及1四个值。如果获取的图像数据是全光图像数据，并且DepthMethod是2，则将说明使用的全光图像数据的视点编号和视点中的图像数据编号。在这种情况下，添加全光图像数据中包括的多个视点中的、指示在获得距离信息时使用的视点的参数。
NumberofViewpointsX和NumberofViewpointsY分别是指示图像数据文件801中包括的、水平方向上和竖直方向上的视点的数量的参数。在本实施例中，两者都是2。
RepresentativeImage是指示图像数据文件801中包括的多项图像数据中的典型图像数据的编号的参数。类似于ImageUsed，也按照视点编号以及视点中的图像数据的编号的顺序来输入代表图像数据的编号。
ViewpointOffset是到各视点信息的指针。各视点信息的开始地址被作为值而输入。
视点信息804包括关于与图像文件格式中包括的各个图像数据相对应的视点的信息。
TranslationVector是视点的位置矢量，以毫米单位输入在基准视点(包括标准代表图像处的视点)的坐标是(0，0，0)的情况下的三维空间坐标。参数的使用使得能够获得视点之间的视差。换言之，该参数包括关于图像数据文件801中包括的多项图像数据的视差的信息。由于本实施例假定4个摄像单元101a至101d存在于同一平面上，因此垂直于该平面的所有分量都是0。
RotationMatrix是指示视点的方向的三维旋转矩阵。对RotationMatrix输入基于相对于三个正交旋转轴的旋转角的值。
SensorSizeX和SensorSizeY是以毫米单位输入的、水平方向和竖直方向上的图像传感器的大小。
NumberofImages是指示从视点获取的图像的数量的参数。例如，如果从视点获取了两个图像，则对NumberofImages输入2。
ImageOffset是到关于在视点处获取的各图像的信息的指针。针对各获取的图像信息的开始地址作为值而被输入。
NumberofDepthMaps是与图像数据文件801中包括的视点相对应的距离图的数量。在本实施例中，如果选择了外部处理模式，则由于此时尚未获得距离图，因此输入0。
DepthMapOffset是到与视点相对应的距离图信息的指针，其取针对距离图信息的开始地址的值。距离图信息包括关于图像数据文件801中包括的距离图的信息。尽管距离图信息的基本构造与后述的图像信息805的相同，但是添加了用于距离图的量化的参数。
图像信息805包括关于与各个视点相对应的图像数据的信息。
首先，图像信息805的开头描述了例如以TIFF定义的一般图像参数。例如，描述了大小、分辨率以及每图像像素的位数。
FocalLength是以毫米单位输入的当获取图像时的成像透镜的焦距。
ObjectDistance是由成像透镜的位置和焦距计算出的被摄体的焦平面的位置，其以毫米单位被输入。可以由上述FocalLength和ObjectDistance的差，获得图像数据文件801中包括的多项图像数据之间的对焦状态的差异。换言之，FocalLength和ObjectDistance包括关于图像数据文件中所包括的多项图像数据的对焦状态的差异的信息。
ImageDataOffset是到各图像的实际数据的指针，并且取针对图像数据的实际数据的开始地址的值。
除了上述信息之外，图像数据文件801还可以包括生成图像数据信息。生成图像数据信息包括关于例如通过处理获取的图像数据而生成的图像数据的信息。尽管生成图像数据信息的基本构造与图像信息805的构造相同，但是还添加了指示是生成图像数据的参数、指示原始图像数据的编号的参数等。
图9A示出CPI数据802中的管理数据的描述的示例。当然，CPI数据802的描述格式不限于本示例。在本描述示例中的管理数据包括2字节标签信息、2字节数据格式信息、4字节数据计数信息以及按十六进制的顺序的数据值。图9B是示出标签信息与参数之间的对应关系的图。基于标签信息来识别CPI数据802中的各个参数。数据格式信息对应于预先设置了各个数字的数据格式。在本实施例中，3对应于短类型(2字节短整数)，而4对应于长类型(4字节长整数)。距离获取元数据添加单元108将这样的数据添加到图像数据，并且将其作为图像数据文件801输出到编码单元109。
接下来，编码单元109对输入图像数据文件801编码(步骤S705)。可以对各图像数据，通过诸如JPEG或PNG等的单视点图像编码或诸如多视点视频编码(multiviewvideocoding，MVC)等的多视点图像编码来进行编码。编码单元109向输出单元110输出编码后的图像数据文件801。
输出单元110将编码后的图像数据文件801输出到存储单元111用于存储(步骤S706)。
以上是在照相机100中进行的处理。尽管在照相机120和140中进行的处理基本上与照相机100的处理相同，但是由距离获取单元125和145进行的处理不同(步骤S711)。对于照相机110，步骤S711对应于图11的流程图；对于照相机120，步骤S711对应于图14的流程图；而对于照相机140，步骤S711对应于图15的流程图，稍后将描述详情。
接下来，将描述在计算机160中进行的处理。图10是示出在计算机160中进行的处理的流程图。
首先，输入单元162经由I/O接口161接收存储单元111、131及151中存储的、用于外部处理的图像数据文件801，并且将其输入到解码单元163(步骤S1001)。
接下来，解码单元163对由输入单元162输入的图像数据文件801解码(步骤S1002)。
接下来，过程选择单元164读取解码后的图像数据文件801中包括的元数据(步骤S1003)。
接下来，基于读取的元数据中包括的、指定距离获取过程的信息，过程选择单元164确定信息处理单元173是否具有与输入图像数据相对应的距离获取单元(步骤S1004)。在本实施例中，基于CPI数据802中的DepthMethod的值来进行确定。如果DepthMethod不是1、2或3，则信息处理单元173不具有与图像数据相对应的距离获取单元，由此，处理进行到步骤S1010。在步骤S1010中，错误信号输出单元168向通知部(未示出)输出错误信号，通知部向用户通知错误，并且信息处理单元173退出处理。如果信息处理单元173具有对应的距离获取单元，则处理进行到步骤S1005。
接下来，过程选择单元164选择与图像数据文件801中包括的元数据中描述的信息相对应的距离获取过程，并且将图像数据文件801输出到与该过程对应的距离获取单元(步骤S1005)。在本实施例中，如果DepthMethod是1，则将图像数据输出到距离获取单元165，如果DepthMethod是2，则将图像数据输出到距离获取单元166，而如果DepthMethod是3，则将图像数据输出到距离获取单元167。基于示出DepthMethod与距离获取单元之间的对应关系的查找表来作出该确定，该查找表被存储在信息处理单元173中。在此，距离获取单元165至167被构造为同一软件中的多个处理模块。该构造使得单个软件应对各项图像数据，这提高了便利性。当然，距离获取单元165至167可以被构造为单个处理单元中的多个处理电路。
对应的距离获取单元从图像数据文件801中包括的图像数据获取距离信息，并且获取的距离信息被进一步与输入的图像数据文件801相关联，并被输出到图像处理单元169(步骤S1006)。获取的距离信息被添加到与用于获得距离信息的图像的视点相关联的图像数据文件801。换言之，获取的距离图的图像数据被新添加到图像数据文件801，并且关于被用于获得距离信息的视点的视点信息的NumberofDepthMaps和DepthMapOffset被更新。如果进行基于具有不同视点的图像数据的视差获得距离的处理，则获得的距离信息与用于获得距离信息的图像当中的标准图像的视点相关联。标准图像是由ImageUsed指示的多个图像当中的、首先描述了视点编号和图像编号的图像。可以通过例如添加指示标准图像的编号的元数据等的其他方法，来指定标准图像。还可以提取要被处理的目标图像数据，并且仅将提取出的图像数据和获得的距离信息作为单个文件输出到图像处理单元169，而不向图像数据文件801添加距离信息。
接下来，图像处理单元169使用获得的距离信息来处理图像数据文件801中包括的图像数据以生成处理后的图像数据，并且将该图像数据输出到与图像数据文件801相关联的编码单元170(步骤S1007)。由图像处理单元169进行该图像处理，而与利用各个距离获取单元165至167获得距离信息而使用的过程无关。图像处理单元169是在与距离获取单元165至167的软件相同的软件内的单个处理模块。这消除了依据输入的图像数据的种类而准备多个处理单元的需要，由此减少了软件的数据大小。当然，也可以准备用于单独图像处理的其他图像处理单元。在此，图像处理单元169参照ImageUsed，处理用于获得距离信息的标准图像。待处理的图像不限于标准图像；例如，可以使用RepresentativeImage指示的图像。可以针对各种图像处理添加指示待处理的目标图像的新元数据，并且可以使用由元数据指示的图像。如果在输入文件中仅包括一个图像，则该图像要经受图像处理。
接下来，编码单元170将从图像处理单元169输入的图像数据文件801编码，并将编码后的图像数据文件801输出到输出单元171(步骤S1008)。
最后，输出单元171将编码后的图像数据文件801输出到存储单元172(步骤S1009)。
以上是在计算机160中进行的处理的流程。将描述在照相机100、120以及140和计算机160中进行的距离信息获取处理(步骤S711)的详情。在各个距离获取单元之间，步骤S711中的处理不同。
首先，将描述由距离获取单元105进行的处理。
距离获取单元105基于由摄像单元101a至101d获取的多视点图像的视差，来获得距离信息。图11是示出由距离获取单元105进行的处理的详情的流程图。
首先，距离获取单元105获取从模式确定单元103输入的多视点图像数据(步骤S1101)。
接下来，距离获取单元105从输入的多视点图像数据中，选择用作用于获取距离信息的标准的标准图像，以及获得距离信息所要参照的参照图像(步骤S1102)。在本实施例中，在ImageUssed中首先描述的图像是标准图像，而随后描述的图像是参照图像。
接下来，距离获取单元105计算标准图像与参照图像之间的视差(步骤S1103)。这被称为标准视差。通过搜索标准图像与参照图像彼此对应的点，来计算标准视差。在参照图像中搜索与标准图像中的点A对应的点，并且获得被识别为对应点的点A’与点A之间的、图像中的x坐标的差，作为视差。针对所有像素进行用于对应点的搜索，以计算标准视差。
存在各种用于搜索对应点的方法。一个示例是如下方法，即，逐个区域搜索对应点，来寻找成本值(色差)最小的视差。另一示例是如下方法，即，逐个像素搜索对应点以计算成本值，并且使用边缘保持滤波器平滑计算的成本，来寻找成本值最小的视差。
接下来，距离获取单元105计算参照图像与标准图像之间的视差(步骤S1104)。这被称为参照视差。通过与用于标准视差的方法相同的方法，来计算参照视差。在此，通过参照参照图像来搜索对应点，因此，从标准图像中搜索与参照图像中的点B相对应的点B’。
接下来，距离获取单元105逐个像素地比较在步骤S1103中获得的标准视差与在步骤S1104中获得的参照视差，来确定针对视差的对应区域和非对应区域(步骤S1105)。在此，对应区域是标准视差与参照视差之间的差等于或小于阈值并且视差的可靠性高的区域，而非对应区域是标准视差与参照视差之间的差大于阈值并且视差的可靠性低的区域。例如，如果被摄体图像包括重复图案或遮挡区域，则区域的可靠性趋向于低。
接下来，距离获取单元105校正在步骤S1105中确定的非对应区域的标准视差(步骤S1106)。如上所述，由于非对应区域在视差上具有低可靠性，所以通过使用周围的高可靠性对应区域的标准视差来插值，从而校正非对应区域的标准视差。
接下来，距离获取单元105计算从标准视差到被摄体的距离(步骤S1107)。通过立体方法来计算距标准视差的距离。图12是例示使用立体方法来计算距离的过程的图。基于角度α和β以及基线长度1，使用公式1，来计算从具有视点A和视点B的平面到物体1201的距离d。
[数学式1]
d = l · s i n α · s i n β sin ( π - α - β ) 公式1
在本实施例中，基于在各个视点处获取图像的摄像单元的视角以及在步骤S1106中获得的标准视差，来确定角度α和β。由CPI数据802中包括的SensorSize和FocalLength的值，来计算各个摄像单元的视角。由CPI数据802中包括的各个视点的TranslationVector的值来计算基线长度1。
最后，距离获取单元105基于在步骤S1107中计算的距离，来生成距离图，并将其输出(步骤S1108)。计算出的距离被以8位线性量化，并且作为指示在被摄体的各个位置处的距离的位图数据而被输出。
以上是由距离获取单元105进行的处理。当然，由距离获取单元105进行的处理不限于在本实施例中描述的方法；也可以采用使用由多视点图像数据生成的多个视点处的参照图像的任何其他方法。
接下来，将描述由距离获取单元125进行的处理。图14是示出距离获取单元125的处理的流程图。
类似于距离获取单元105，距离获取单元125基于多视点图像的视差来获得距离信息，但是由于从照相机120输入的图像数据是单个全光图像数据项目，因此在处理上与距离获取单元105不同。例如，尽管距离获取单元105从标准图像和参照图像两个图像搜索对应点，但是距离获取单元125在单个全光图像中搜索对应点。
接下来，使用图13A和图13B来描述在全光图像中搜索对应点的方法。如图13A所示，全光图像包括关于通过了主透镜的多个虚拟分割区域的光的可提取信息。在本实施例中，主透镜是在假定成像透镜401至403为单个透镜的情况下的虚拟透镜501。
如图13B所示，通过了主透镜的区域a的光进入传感器上的像素组1301a，并且通过了主透镜的区域b的光进入像素组1301b。换言之，像素组1301a的输出包括关于与透镜区域a相对应的视点的信息，并且像素组1301b的输出包括关于与透镜区域b相对应的视点的信息。
由此，在通过对应点搜索来确定两个视点之间的视差的情况下，用标准图像替换像素组1301a的输出，并且用参照图像替换像素组1301b的输出，并且可以进行与距离获取单元105的处理相同的处理。
将描述由距离获取单元125进行的实际处理。图14是示出距离获取单元125的处理的流程图。
首先，距离获取单元125获取输入的全光图像数据(步骤S1401)。
接下来，距离获取单元125从输入的全光图像数据中，选择用作用于获取距离信息的标准的标准视点，以及为获取距离信息而被参照的参照视点(步骤S1402)。在该实施例中，在ImageUsed中首先描述的视点是标准视点，而随后描述的视点是参照视点。
接下来，距离获取单元125计算标准视差(步骤S1403)。与步骤S1103不同，通过在标准像素组与参照像素组中搜索对应点，来计算标准视差。
接下来，距离获取单元125计算参照视差(步骤S1404)。与步骤S1104不同，通过在参照像素组和标准像素组中搜索对应点，来计算参照视差。
之后，进行从步骤S1105至步骤S1108的处理，并且处理结束。以上是由距离获取单元125进行的处理。
接下来，将描述由距离获取单元145进行的处理。距离获取单元145使用用于基于两个图像之间的对焦状态的差来获取关于被摄体的距离信息的散焦测距(DFD)方法。下面将描述使用DFD来获得距离信息的方法。
假定在距离D1处的物体被投影到像平面位置d1。此时，图像i1模糊地扩展。此时，图像i1可以由点扩散函数PSF1与场景s的卷积来表示。
[数学式2]
i 1 = P S F 1 ⊗ s 公式2
其中，使用模糊圆作为参数来模型化PSF，并且从图像i1估计PSF，使得能够计算模糊圆。此外，能够从模糊圆获得成像位置，从而能够通过公式2来计算距离。
然而，由于在公式2中场景s未知，因此无法获得正确的模糊圆。由此，在不同的像平面位置d2处获取图像。该图像被称为i2。
图像i1和i2的傅里叶变换分别表示为OTF1×S和OTF2×S，而S是场景s的傅里叶变换，OTF1是第一获取图像的PSF1的傅里叶变换的光学传递函数(OTF)，OTF2是第二获取图像的OTF。然后，两个图像之间的比率被表示为：
[数学式3]
公式3
由此，计算不依赖于场景的比率OTFr。通过使用示出OTFr与距离信息之间的关系的表和函数，使得能够基于计算出的OTFr来获取关于被摄体的距离信息。
接下来，将描述本实施例中在距离获取单元145中进行的实际处理。图15是示出距离获取单元145的处理的流程图。
首先，距离获取单元145获取从模式确定单元143输入的两项图像数据I1和I2(步骤S1501)。距离获取单元145使用两项图像数据I1和I2，逐个像素地对所有像素进行距离获取处理。当然，不必需对所有像素进行距离获取处理；可以每隔数个像素进行距离获取处理，或者可选地，仅对预定像素进行距离获取处理。此外，距离获取处理的目标区域不必需是一个像素；由多个像素组成的区域也可以经受距离获取处理。在距离获取中使用的图像数据项的数量不限于2个，也可以使用3个或更多项的图像数据用于距离获取。
接下来，距离获取单元145通过扫描图像中的X-Y坐标来确定测量像素，并且剪裁距离获取所需的周边像素(步骤S1502)。此时，一般需要在获取的两项图像数据I1和I2中剪裁相同区域。剪裁图像(包括目标像素及其周围像素的图像区域)分别被称为选择区域图像C1和C2。待剪裁的区域大小可以是小的，以减少处理时间，并且可以大到一定程度以减少噪声的影响从而导出稳定的解。待剪裁的区域的大小也依赖于获取的图像中的模糊的大小。由于紧凑型数字照相机具有小的图像传感器并且具有少量的模糊，因此待剪裁的区域的大小可以是小的。具体而言，为了高速处理，针对紧凑型数字照相机的剪裁区域大小优选是大约10像素，而为了减少噪声的影响，优选是大约60像素，并且当平衡两者时，更优选是大约15至30像素。
接下来，距离获取单元145对选择区域图像C1和C2进行傅里叶变换，以将图像C1和C2变换为频域图像F1和F2(步骤S1503)。考虑到计算量，也可以使用诸如离散余弦变换或小波变换等的其他变换方法。
接下来，距离获取单元145比较两个频域图像F1和F2，以检测具有强光谱的特征频带(步骤S1504)。由于频域中的傅里叶变换后的图像F1和F2具有很多低频分量，因此可以去除直流分量，并且取对数。此外，由于一般已知各个频率分量的强度与频率f成反比，因此可以依据频率来校正计算出的频域图像F1和F2，例如，将结果与f相乘。由此，频域图像中的值之间的简单比较使得能够检测到更多存在的特征频带。
接下来，距离获取单元145创建使得在步骤S1504中检测到的特征频带通过的滤波器BF(步骤S1505)。
接下来，距离获取单元145使用滤波器BF滤波频域图像F1和F2，以获得滤波后的频域图像F1’和F2’(步骤S1506)。
接下来，距离获取单元145基于图像F1’和F2’，计算OTFr(步骤S1507)。
[数学式4]
OTF γ = F 1 ′ F 2 ′ = O T F 1 · S S · B F O T F 2 · S S · B F 公式4
其中，SS是选择的场景。
接下来，距离获取单元145确定像素的距离信息(步骤S1508)。在本实施例中，距离获取单元145预先具有变换表，并且通过参照变换表来将OTFr的值变换成距离。变换表存储图像获取参数、当给出频域时的OTFr值以及与OTFr值对应的距离。变换表可以是函数或者可以是预先计算出的查找表。
重复上述处理，直至针对所有像素确定了距离(步骤S1509)。在针对所有像素确定了距离之后，距离获取单元145将获取的距离信息与图像数据I1及I2相关联地输出到图像处理单元147(步骤S1510)。以这种方式，在照相机140中获取关于被摄体的距离信息。
在计算机160中进行的距离信息获取处理与上述三个获取处理相同。距离获取单元165进行与距离获取单元105的处理相同的处理。距离获取单元166进行与距离获取单元125的处理相同的处理。距离获取单元167进行与距离获取单元145的处理相同的处理。
最后，将描述基于距离信息由图像处理单元106、126、146及169进行的图像处理的详情。在本实施例中进行的图像处理是使被摄体的背景模糊。
通过将被摄体的区域分割为多个部分图像Pn(x，y)并且如公式5所示用正态分布函数N(i，j)对各个分割区域进行卷积运算(滤波运算)，来进行模糊处理。在公式5中，运算符“*”表示二维卷积运算，而On表示通过对各个Pn的卷积运算生成的处理后的部分图像。
[数学式5]
On(x，y)＝Pn(x，y)×N(i，j)公式5
正态分布函数N(i，j)表示为如下。
[数学式6]
N ( i , j ) = 1 2 πσ 2 exp ( - ( i 2 + j 2 ) 2 σ 2 ) 公式6
其中，变量σ是标准偏差。如果σ＝0，则正态分布函数N(i，j)是1。
标准偏差σ被定义如下。
[数学式7]
σ = | d n | f 公式7
其中，f是图像处理控制参数，指示被模糊的图像数据的景深。图像处理控制参数f采用使用所安装的透镜的F值的值Fδ，其中δ是许可模糊圆。值dn是部分图像Pn的代表散焦量(距焦平面的距离)。换言之，距焦平面的距离越大，则模糊的效果越大。
用于对部分图像Pn的卷积运算的函数不限于公式6中示出的正态分布函数；也可以使用其他分布函数来控制模糊量。对部分图像Pn进行的图像处理不限于模糊处理。例如，可以对部分图像Pn进行与散焦量dn相对应的清晰度调整。此外，例如，可以依据散焦量dn，针对各部分图像Pn改变对比度、亮度或色彩饱和度。
如上所述，本实施例能够由各种图像数据获取关于被摄体的距离信息，并且基于距离信息进行图像处理。
尽管本实施例的各个组件的功能如下，但是其他组件也可以具有类似的功能。
在本实施例中，距离获取元数据添加单元108、128和148以及输出单元110、130和150用作将用于获取距离信息的图像数据、与指定获取距离信息的过程的信息彼此关联地输出的输出单元。
输入单元162用作如下输入单元，其输入用于导出距离信息的图像数据以及与该图像数据相关联并指定用于导出距离信息的过程的信息。
过程选择单元164用作如下选择单元，该选择单元基于指定过程的信息从多个过程中选择至少一个。距离获取单元165至167用作导出单元，该导出单元使用选择的过程，由图像数据导出距离信息。图像处理单元169用作与获取单元用来导出距离信息的过程无关的共用图像处理单元。
输入单元162用作输入参数的输入单元，该参数与图像数据相关联，并且导出单元采用该参数来导出距离信息。
距离获取单元165至167用作输出单元，该输出单元将由输入图像数据导出的距离信息与输入图像数据相关联地输出。
过程选择单元164用作确定单元，该确定单元确定是否存在与指定过程的信息相对应的过程。
第二实施例
除了第一实施例的处理之外，第二实施例将图像数据(由该图像数据获取距离信息并且该距离信息已经在照相机中被处理过)输入到计算机，并使用获取的距离信息对图像数据进行图像处理。
将描述与第一实施例的不同。
第二实施例的信息处理系统的构造与图1中所示的第一实施例中的相同。然而，本实施例的信息处理单元173中的ROM存储了图16的流程图中示出的程序，并且信息处理单元173进行与第一实施例不同的处理。下面将描述处理的详情。由于与图10中给出的附图标记相同的步骤是与第一实施例相同的处理，因此将省略对其说明。
首先，输入单元162经由I/O接口161，接收存储单元111、131及151中存储的、用于内部及外部处理的图像数据文件801，并将文件801输入到解码单元163(步骤S1601)。
接下来，进行步骤S1002和步骤S1003中的处理。在第二实施例中，在步骤S1004之前，由输入的图像数据的元数据来确定图像数据文件801是否包括距离信息(步骤S1602)。如果输入的图像数据文件801包括距离信息，则处理进行到步骤S1007，并且使用距离信息进行图像处理。如果不包括距离信息，则处理进行到步骤S1004。在本实施例中，基于DepthMethod的值来进行该确定，但是也可以使用诸如NumberofDepthMaps等的其他确定准则。
进行与第一实施例中相同的处理，并且处理结束。
第二实施例使得能够有效地使用在照相机中获取的距离信息，由此进一步增加了图像数据的使用的灵活性。
第三实施例
上述实施例被构造为将多种图像数据输入到外部计算机，并且计算机进行图像处理。第三实施例被构造为对在能够通过多种图像获取方法获取图像数据的照相机内存储的图像数据进行图像处理。
图17是例示第三实施例的照相机1700的构造的图。
照相机1700包括摄像单元1701、操作单元1704、信息处理单元1716以及存储单元1709。
图18是示出摄像单元1701的构造的图。摄像单元1701具有添加有透镜驱动单元1801的摄像单元121的构造，并且能够获取全光图像数据以及处于不同对焦状态的多项图像数据。
操作单元1704是配设在照相机主体上的诸如按钮、转盘或触摸屏等的输入设备，通过该操作单元1704，用户能够输入开始或停止图像获取的指令、设置用于图像获取的条件等。在本实施例中，用户能够选择用于基于关于被摄体的距离信息的图像处理的模式，也即，在图像获取后直接在照相机中进行图像处理的原位处理模式，以及直到给出了用户指令为止存储图像数据而不进行图像处理的后处理模式。用户能够选择用于获取关于被摄体的距离信息的方法，即，从一项全光图像数据获取关于被摄体的距离信息的全光模式，以及从具有不同对焦位置的两项图像数据获取关于被摄体的距离信息的DFD模式。
尽管信息处理单元1716的硬件构造与信息处理单元113的相同，但是信息处理单元1716中的ROM存储图19的流程图中示出的程序。信息处理单元1716能够进行使用全光图像数据基于视差的距离获取处理，以及使用具有不同对焦位置的多项图像数据进行的DFD方法的距离获取。
存储单元1709是诸如存储卡等的非易失性存储介质。
将描述照相机1700中进行的处理。图19是在设置了对获取的图像数据进行基于距离信息的图像处理的模式的情况下，在照相机1700中进行的处理的流程图。
首先，获取单元1702获取从摄像单元1701输出的图像数据，并且将图像数据输出到模式确定单元1703(步骤S1901)。
接下来，模式确定单元1703确定通过操作单元1704的操作设置的处理模式(步骤S1902)。如果确定设置了后处理模式，则模式确定单元1703将图像数据输出到现有元数据添加单元1705，并且进行到步骤S1903中的处理。如果确定设置了原位处理模式，则模式确定单元1703将图像数据输出到过程选择单元1712，并且进行到步骤S1910中的处理。
如果确定设置了后处理模式，则现有元数据添加单元1705将现有元数据添加到输入图像数据，并将图像数据输出到距离获取元数据添加单元1706(步骤S1903)。待添加的现有元数据与在第一实施例中待添加的现有元数据相同。
接下来，距离获取元数据添加单元1706将距离获取元数据添加到输入图像数据，并且将其作为图像数据文件801输出到编码单元1707(步骤S1904)。待添加的距离获取元数据基本上与第一实施例中的相同。基于操作单元1704的图像获取模式设定指令来确定DepthMethod的值。对于全光模式，对DepthMethod输入2，而对于DFD模式，对DepthMethod输入3。
编码单元1707将输入的图像数据文件801编码，并将编码后的输入图像数据文件801输出到输出单元1708(步骤S1905)。
输出单元1708将编码后的图像数据文件801输出到存储单元1709，以进行存储(步骤S1906)。
接下来，读取单元1710确定是否通过操作单元1704的操作发出了针对作为后处理输出的图像数据文件801的处理开始指令(步骤S1907)。如果发出了处理开始指令，则处理进行到步骤S1908，由此开始处理。
接下来，读取单元1710从存储单元408读取用于后处理而输出的图像数据文件801，并将其输出到解码单元1711(步骤S1908)。
解码单元1711将从读取单元1710输入的图像数据文件801解码，并将其输出到过程选择单元1712(步骤S1909)。
过程选择单元1712由输入图像数据，选择在获取关于被摄体的距离信息时使用的过程(步骤S1910)。如果输入图像数据是在原位处理模式下获取的，则过程选择单元1712由从操作单元1704输出的指令信号确定最优过程。如果输入图像数据是包括在图像数据文件801中并且是在后处理模式下获取的图像数据，则过程选择单元1712由图像数据文件801中包括的DepthMethod的值来确定最优过程。如果DepthMethod的值是2，则过程选择单元1712将图像数据输出到距离获取单元1713。如果DepthMethod的值是3，则过程选择单元1712将图像数据输出到距离获取单元1714。
接下来，距离获取单元1713或1714使用输入的图像数据来获取关于被摄体的距离信息，并且将输入的图像数据与获取的距离信息彼此关联地输出到图像处理单元1715(步骤S1911)。该处理的详情与第一实施例中描述的相同。
接下来，图像处理单元1715基于与输入的图像数据相关联的距离图来处理输入的图像数据(步骤S1912)。该处理的详情与第一实施例中描述的相同。通过图像处理生成的图像数据还被与输入的图像数据相关联，并被输出到现有元数据添加单元1705。
接下来，现有元数据添加单元1705将以现有标准文件格式定义的元数据添加到输入的图像数据，并且将图像数据输出到距离获取元数据添加单元1706(步骤S1913)。如果输入的图像数据是用于后处理的、已添加了现有元数据的图像数据，则不对图像数据进行任何操作而是将其输出到距离获取元数据添加单元1706。
接下来，距离获取元数据添加单元1706将距离获取元数据添加到输入的图像数据(步骤S1914)。由于输入的图像数据已具有距离信息，因此距离获取元数据添加单元1706对DepthMethod输入0，并且将其作为图像数据文件801输出到编码单元1707。
编码单元1707对从距离获取元数据添加单元1706输入的图像数据文件801编码，并且将其输出到输出单元1708(步骤S1915)。
输出单元1708将输入的图像数据文件801输出到存储单元1709以进行存储，并且处理退出(步骤S1916)。
由此，本实施例能够减少具有用于从图像数据获取距离信息的多个过程的照相机中由于原位处理引起的负荷。
尽管本实施例的各个组件的功能如下，但是其他组件也可以具有类似的功能。
在本实施例中，距离获取元数据添加单元1706和输出单元1708用作如下的输出单元，其将用于获取距离信息的图像数据与指定用于获取距离信息的过程的信息彼此相关联地输出。
存储单元1709用作用于存储从输出单元1708输出的图像数据文件的存储单元，该图像数据文件包括图像数据和指定用于导出距离信息的过程的信息。
读取单元1710用作读取图像数据文件的读取单元。
操作单元1704用作用户通过操作来输入指令信号的操作单元。
摄像单元1701用作通过图像获取来获取图像数据的图像获取单元。
其他实施例
实施例不限于上述构造；可选地，本发明可以具有组合了上述多个实施例的构造，例如，向第三实施例添加通过外部处理单元来进行图像处理的模式。
本发明可以被构造为作为独立处理单元具有过程选择单元、距离获取单元以及图像处理单元的信息处理系统。
使用距离信息进行的处理不限于图像的模糊，还可以是通过测绘距离信息及图像的二维坐标而进行的被摄体的3D建模。获取的距离信息可以被用于在组合多视点图像时寻找对应点，或者用于测量被摄体中的物体的大小。
在上述实施例中，使用关于诸如在不同视点获取的图像或处于不同对焦状态的图像等的、同一被摄体的多个不同图像的信息来获取关于被摄体的距离信息；可选地，距离获取单元可以使用其他种类的图像数据来获取距离信息。例如，可以从由使用编码光圈的照相机获取的图像，来获取关于被摄体的距离信息。在这种情况下，当然可以使用在上述实施例中未示出的过程来获取距离信息。
过程选择单元可以使用其他参数而非专用参数(在上述实施例中为DepthMethod)作为用作用于选择距离获取过程的确定准则的、指定用于获取距离信息的过程的信息。示例包括照相机的型号名称、文件扩展名以及现有元数据中包括的其他参数、或者它们的组合。
此外，距离获取单元可以选择两个或更多过程，以从图像数据获取距离信息。例如，如果图像数据文件包括在两个对焦位置处获取的多项多视点图像数据，则距离获取单元可以进行基于视差的距离获取处理和使用DFD方法的距离获取处理两者。
图像数据文件的结构不限于上述实施例中所描述的。图像数据文件可以根据需要而包括新的参数或者不包括上述参数。例如，关于多个图像的视差的信息可以包括各个视点之间的基线长度。关于在多个图像之间的对焦状态的不同的信息可以包括透镜的f数。
包括多项图像数据以及与CIP数据802相对应的信息的管理文件可以被输出到同一文件夹，并且可以由管理文件来管理文件夹中的多项图像数据。文件夹可以被压缩并作为一个文件来输出。
本发明的实施例也可以通过读出并执行记录在存储介质(例如非暂时性计算机可读存储介质)上的用于执行本发明的上述一个或更多个实施例的功能的计算机可执行指令的系统或装置的计算机来实现，以及通过由系统或装置的计算机通过例如从存储介质读出并执行用以执行上述一个或更多个实施例的功能的计算机可执行指令来执行的方法来实现。计算机可以包括一个或多个中央处理器(CPU)、微处理单元(MPU)或其他电路，并且可以包括单独的计算机或单独的计算机处理器的网络。例如，可以从网络或者存储介质向计算机提供计算机可执行指令。存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如压缩盘(CD)、数字通用光盘(DVD)、或蓝光盘(BD)TM)、闪存设备、存储卡等中的一个或更多个。
虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明不限于这些公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构和功能。
本申请要求2013年6月21日提交的日本专利申请第2013-130856号的优先权，该申请的全部内容通过引用并入本文。

Claims (27)

1.一种信息处理装置，所述信息处理装置包括：
输入单元，其被构造为输入图像数据以及与所述图像数据相关联的信息，其中所述图像数据是用于导出距离信息的图像数据，并且与所述图像数据相关联的所述信息是指定用于导出距离信息的过程的信息；
选择单元，其被构造为基于指定过程的所述信息，从用于导出距离信息的多个过程中选择至少一个过程；以及
导出单元，其被构造为使用由所述选择单元选择的过程，由所述图像数据导出距离信息。
2.根据权利要求1所述的信息处理装置，其中，所述输入单元还输入与所述图像数据相关联的参数，所述参数在所述导出单元导出距离信息时被使用。
3.根据权利要求2所述的信息处理装置，其中，所述参数包括关于多个图像的视差的信息。
4.根据权利要求2所述的信息处理装置，其中，所述参数包括关于所述多个图像之间的对焦状态的差异的信息。
5.根据权利要求1所述的信息处理装置，所述信息处理装置还包括距离输出单元，所述距离输出单元被构造为将导出的距离信息与所述图像数据相关联地输出。
6.根据权利要求1所述的信息处理装置，所述信息处理装置还包括处理单元，所述处理单元被构造为基于由所述导出单元导出的距离信息，对所述图像数据进行图像处理。
7.根据权利要求6所述的信息处理装置，其中，与所述导出单元用来获取距离信息的过程无关，通过共用处理单元来进行所述图像处理。
8.根据权利要求1所述的信息处理装置，其中，所述导出单元基于示出指定过程的所述信息与过程之间的对应关系的表，选择在导出距离信息时使用的过程。
9.根据权利要求1所述的信息处理装置，所述信息处理装置还包括：
确定单元，其被构造为确定是否存在与指定过程的所述信息相对应的过程，
其中，在不存在与指定过程的所述信息相对应的过程的情况下，输出错误信号。
10.根据权利要求1所述的信息处理装置，其中，所述图像数据包括关于同一被摄体在不同视野下的多个图像的信息。
11.根据权利要求10所述的信息处理装置，其中，所述多个过程包括基于所述多个图像之间的对焦状态的差异来导出所述距离信息的过程。
12.根据权利要求10所述的信息处理装置，其中，所述多个过程包括基于所述多个图像的视差来导出所述距离信息的过程。
13.根据权利要求1所述的信息处理装置，其中，所述距离信息是示出到被摄体的多个位置的距离的距离图。
14.一种信息处理装置，所述信息处理装置包括：
获取单元，其被构造为获取用于导出距离信息的图像数据；以及
输出单元，其被构造为将用于导出距离信息的所述图像数据与指定用于导出距离信息的过程的信息彼此相关联地输出，
其中，在从多个过程中选择至少一个过程时以及在使用所选择的过程来由所述图像数据获取距离信息时，使用指定过程的所述信息。
15.根据权利要求14所述的信息处理装置，其中，
所述图像数据包括多项图像数据；并且
所述输出单元还将所述图像数据与指示所述多项图像数据当中的、在导出距离信息时使用的图像数据的信息相关联地输出。
16.根据权利要求14所述的信息处理装置，其中，
所述图像数据包括多项图像数据；并且
所述输出单元基于图像获取的视点将所述多项图像数据分组为多个视点组，将指示视点位置的信息与各个视点组相关联，对所述各个视点组中包括的所述图像数据分配图像编号，并且输出所述图像数据。
17.根据权利要求16所述的信息处理装置，其中，所述输出单元将视点组中包括的所述图像数据与指示所述图像数据的对焦状态的信息相关联地输出。
18.根据权利要求14所述的信息处理装置，所述信息处理装置还包括：
存储单元，其被构造为存储所述图像数据和指定过程的所述信息，所述图像数据和所述信息由所述输出单元输出；
读取单元，其被构造为读取所述图像数据和指定过程的所述信息，所述图像数据和所述信息被存储在所述存储单元中；以及
获取单元，其被构造为基于指定过程的所述信息来从多个过程中选择至少一个过程，并且使用所选择的过程由所述图像数据获取距离信息。
19.根据权利要求18所述的信息处理装置，所述信息处理装置还包括：
操作单元，其被构造为通过操作来输入指令信号，
其中，所述读取单元基于从所述操作单元输入的指令信号，读取所述图像数据和指定过程的所述信息。
20.根据权利要求14所述的信息处理装置，所述信息处理装置还包括图像获取单元，所述图像获取单元被构造为通过图像获取来获取图像数据。
21.一种信息处理系统，所述信息处理系统包括：
输出装置；以及
处理装置，
其中，所述输出装置包括：
获取单元，其被构造为输入用于导出距离信息的图像数据；以及
输出单元，其被构造为将用于获取距离信息的图像数据与指定在获取距离信息时使用的过程的信息彼此相关联地输出；并且
其中，所述处理装置包括：
输入单元，其被构造为输入用于获取距离信息的所述图像数据以及指定过程的所述信息，所述图像数据和所述信息被从所述输出单元输出；
选择单元，其被构造为基于指定过程的所述信息，从用于导出距离信息的多个过程中选择至少一个过程；以及
获取单元，其被构造为使用由所述选择单元选择的过程，由所述图像数据导出距离信息。
22.一种信息处理方法，所述信息处理方法包括以下步骤：
输入图像数据以及与所述图像数据相关联的信息，其中所述图像数据是用于导出距离信息的图像数据，并且与所述图像数据相关联的所述信息是指定用于导出距离信息的过程的信息；
基于指定过程的所述信息，从用于导出距离信息的多个过程中选择至少一个过程；以及
使用所选择的过程，由所述图像数据导出距离信息。
23.一种信息处理方法，所述信息处理方法包括：
获取用于导出距离信息的图像数据；以及
将用于导出距离信息的所述图像数据与指定用于导出距离信息的过程的信息彼此相关联地输出，
其中，在从多个过程中选择至少一个过程时以及在使用所选择的过程来由所述图像数据导出距离信息时，使用指定过程的所述信息。
24.一种由包括输出装置和处理装置的信息处理系统实现的信息处理方法，所述信息处理方法包括以下步骤：
通过输出单元，获取用于导出距离信息的图像数据；
通过所述输出单元，将用于导出距离信息的所述图像数据与指定在导出距离信息时使用的过程的信息彼此相关联地输出；
通过处理单元，输入由所述输出单元输出的所述图像数据和指定过程的所述信息；以及
通过所述处理单元，基于指定过程的所述信息，从用于导出距离信息的多个过程中选择至少一个过程；以及
通过所述处理单元，使用所选择的过程，由所述图像数据获取距离信息。
25.一种存储有使计算机执行根据权利要求22所述的方法的程序的非暂时性计算机可读介质。
26.一种存储有使计算机执行根据权利要求23所述的方法的程序的非暂时性计算机可读介质。
27.一种存储有使计算机执行根据权利要求24所述的方法的程序的非暂时性计算机可读介质。
CN201480035494.5A 2013-06-21 2014-06-17 信息处理装置、信息处理系统及信息处理方法 Active CN105339757B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013-130856 2013-06-21
JP2013130856A JP6214233B2 (ja) 2013-06-21 2013-06-21 情報処理装置、情報処理システム、情報処理方法およびプログラム。
PCT/JP2014/066495 WO2014204009A1 (en) 2013-06-21 2014-06-17 Apparatus, system, and method for processing information and program for the same

Publications (2)

Publication Number Publication Date
CN105339757A true CN105339757A (zh) 2016-02-17
CN105339757B CN105339757B (zh) 2018-07-06

Family

ID=52104730

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480035494.5A Active CN105339757B (zh) 2013-06-21 2014-06-17 信息处理装置、信息处理系统及信息处理方法

Country Status (8)

Country Link
US (1) US9905011B2 (zh)
EP (1) EP3011267A4 (zh)
JP (1) JP6214233B2 (zh)
KR (1) KR101783237B1 (zh)
CN (1) CN105339757B (zh)
BR (1) BR112015031939B1 (zh)
SG (1) SG11201510362TA (zh)
WO (1) WO2014204009A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107948629A (zh) * 2017-11-22 2018-04-20 海信集团有限公司 一种视差确定方法、装置及终端

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3065394A1 (en) * 2015-03-05 2016-09-07 Thomson Licensing Light field metadata
US10142533B2 (en) * 2015-03-27 2018-11-27 Intel Corporation Technologies for controlling user access to image sensors of a camera device
JP6648916B2 (ja) * 2015-07-27 2020-02-14 キヤノン株式会社 撮像装置
JP6611588B2 (ja) * 2015-12-17 2019-11-27 キヤノン株式会社 データ記録装置、撮像装置、データ記録方法およびプログラム
FR3046256B1 (fr) * 2015-12-23 2018-01-05 Thales Zoom plenoptique a portee optimisee
KR101829534B1 (ko) * 2016-05-25 2018-02-19 재단법인 다차원 스마트 아이티 융합시스템 연구단 멀티 초점 이미지를 이용하는 깊이 추출 카메라 시스템 및 그 동작 방법
JP2018156617A (ja) * 2017-03-15 2018-10-04 株式会社東芝 処理装置および処理システム
CN113676719B (zh) * 2021-07-21 2023-11-14 北京中科慧眼科技有限公司 双目立体相机的对焦参数计算方法、系统和智能终端

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090195640A1 (en) * 2008-01-31 2009-08-06 Samsung Electronics Co., Ltd. Method and apparatus for generating stereoscopic image data stream for temporally partial three-dimensional (3d) data, and method and apparatus for displaying temporally partial 3d data of stereoscopic image
CN102278946A (zh) * 2010-04-08 2011-12-14 卡西欧计算机株式会社 摄像装置以及长度测量方法
CN102572469A (zh) * 2010-12-09 2012-07-11 索尼公司 图像处理设备，图像处理方法和程序
CN102598682A (zh) * 2010-09-24 2012-07-18 松下电器产业株式会社 三维摄像装置
US20130063566A1 (en) * 2011-09-14 2013-03-14 Canon Kabushiki Kaisha Determining a depth map from images of a scene
WO2013038679A1 (ja) * 2011-09-13 2013-03-21 パナソニック株式会社 符号化装置、復号装置、再生装置、符号化方法、及び復号方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6262738B1 (en) 1998-12-04 2001-07-17 Sarah F. F. Gibson Method for estimating volumetric distance maps from 2D depth images
JP2001059934A (ja) * 1999-06-17 2001-03-06 Fuji Photo Film Co Ltd 距離測定装置およびカメラ
GB2378337B (en) * 2001-06-11 2005-04-13 Canon Kk 3D Computer modelling apparatus
JP4373038B2 (ja) * 2001-08-31 2009-11-25 オリンパス株式会社 計測用プログラム
WO2004093467A1 (ja) * 2003-04-17 2004-10-28 Sharp Kabushiki Kaisha ３次元画像作成装置、３次元画像再生装置、３次元画像処理装置、３次元画像処理プログラムおよびそのプログラムを記録した記録媒体
JP4452951B2 (ja) 2006-11-02 2010-04-21 富士フイルム株式会社 距離画像生成方法及びその装置
US20080267504A1 (en) 2007-04-24 2008-10-30 Nokia Corporation Method, device and computer program product for integrating code-based and optical character recognition technologies into a mobile visual search
US8457155B2 (en) * 2009-09-11 2013-06-04 Nokia Corporation Encoding and decoding a multi-view video signal
KR101086305B1 (ko) 2010-02-03 2011-11-23 한국과학기술연구원 3차원 영상 디스플레이 장치 및 방법
WO2011158515A1 (ja) 2010-06-17 2011-12-22 パナソニック株式会社 距離推定装置、距離推定方法、集積回路、コンピュータプログラム
WO2012056686A1 (ja) 2010-10-27 2012-05-03 パナソニック株式会社 ３次元画像補間装置、３次元撮像装置および３次元画像補間方法
WO2012137434A1 (ja) 2011-04-07 2012-10-11 パナソニック株式会社 立体撮像装置
JP5762142B2 (ja) 2011-05-31 2015-08-12 キヤノン株式会社 撮像装置、画像処理装置およびその方法
JP2013025649A (ja) * 2011-07-23 2013-02-04 Canon Inc 画像処理装置及び画像処理方法、プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090195640A1 (en) * 2008-01-31 2009-08-06 Samsung Electronics Co., Ltd. Method and apparatus for generating stereoscopic image data stream for temporally partial three-dimensional (3d) data, and method and apparatus for displaying temporally partial 3d data of stereoscopic image
CN102278946A (zh) * 2010-04-08 2011-12-14 卡西欧计算机株式会社 摄像装置以及长度测量方法
CN102598682A (zh) * 2010-09-24 2012-07-18 松下电器产业株式会社 三维摄像装置
CN102572469A (zh) * 2010-12-09 2012-07-11 索尼公司 图像处理设备，图像处理方法和程序
WO2013038679A1 (ja) * 2011-09-13 2013-03-21 パナソニック株式会社 符号化装置、復号装置、再生装置、符号化方法、及び復号方法
US20130063566A1 (en) * 2011-09-14 2013-03-14 Canon Kabushiki Kaisha Determining a depth map from images of a scene

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107948629A (zh) * 2017-11-22 2018-04-20 海信集团有限公司 一种视差确定方法、装置及终端
CN107948629B (zh) * 2017-11-22 2020-06-23 海信集团有限公司 一种视差确定方法、装置及终端

Also Published As

Publication number Publication date
WO2014204009A1 (en) 2014-12-24
CN105339757B (zh) 2018-07-06
EP3011267A1 (en) 2016-04-27
BR112015031939A2 (pt) 2017-07-25
EP3011267A4 (en) 2016-11-16
KR101783237B1 (ko) 2017-09-29
US9905011B2 (en) 2018-02-27
KR20160023790A (ko) 2016-03-03
US20160148387A1 (en) 2016-05-26
JP2015005201A (ja) 2015-01-08
SG11201510362TA (en) 2016-01-28
JP6214233B2 (ja) 2017-10-18
BR112015031939B1 (pt) 2022-04-05

Similar Documents

Publication Publication Date Title
CN105339757A (zh) 信息处理装置、信息处理系统、信息处理方法及其程序
US10116867B2 (en) Method and apparatus for displaying a light field based image on a user's device, and corresponding computer program product
KR101820349B1 (ko) 화상 표시 방법 및 장치
JP2011166264A (ja) 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
US10270957B2 (en) Method and apparatus for generating an adapted slice image from a focal stack
CN110602474B (zh) 一种图像视差的确定方法、装置及设备
JP2020014159A (ja) ファイルの生成装置およびファイルに基づく映像の生成装置
CN107360354B (zh) 拍照方法、装置、移动终端和计算机可读存储介质
CN104639927A (zh) 拍摄立体影像的方法以及电子装置
CN105554441A (zh) 用于配准图像的设备和方法
JP2009047497A (ja) 立体撮像装置および立体撮像装置の制御方法並びにプログラム
CN108074250B (zh) 匹配代价计算方法和装置
US11240477B2 (en) Method and device for image rectification
EP3488608A1 (en) A method for generating layered depth data of a scene
JP2009047498A (ja) 立体撮像装置および立体撮像装置の制御方法並びにプログラム
JP5769248B2 (ja) ステレオマッチング処理装置、ステレオマッチング処理方法、及び、プログラム
US20200267374A1 (en) Data recording apparatus, image capturing apparatus, data recording method, and storage medium
Lin et al. Real-time low-cost omni-directional stereo vision via bi-polar spherical cameras
KR20150070258A (ko) 서로 유사한 정보를 포함하는 복수 화상의 데이터 사이즈를 저감하는 방법, 프로그램 및 장치
KR20200057929A (ko) 캘리브레이트된 카메라들에 의해 캡쳐된 스테레오 영상들의 렉티피케이션 방법과 컴퓨터 프로그램
CN105323460A (zh) 图像处理设备及其控制方法
CN105282534A (zh) 用于嵌入立体图像的系统及方法
JP2015005200A (ja) 情報処理装置、情報処理システム、情報処理方法、プログラムおよび記憶媒体
JP2022178000A (ja) 撮像装置および方法
JP5535840B2 (ja) ３次元画像生成装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant