CN101715144A - 图像生成装置及程序 - Google Patents

图像生成装置及程序 Download PDF

Info

Publication number
CN101715144A
CN101715144A CN200910178638A CN200910178638A CN101715144A CN 101715144 A CN101715144 A CN 101715144A CN 200910178638 A CN200910178638 A CN 200910178638A CN 200910178638 A CN200910178638 A CN 200910178638A CN 101715144 A CN101715144 A CN 101715144A
Authority
CN
China
Prior art keywords
information
range
range information
point group
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200910178638A
Other languages
English (en)
Other versions
CN101715144B (zh
Inventor
菊地正哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Publication of CN101715144A publication Critical patent/CN101715144A/zh
Application granted granted Critical
Publication of CN101715144B publication Critical patent/CN101715144B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Generation (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种图像生成装置，包括：修正单元，其对表示多个点信息与该多个点信息的各距离信息之间的对应关系的点群信息，进行减小所述各距离信息中属于比特定的距离信息表示的距离大的距离范围内的各距离信息的修正，其中所述多个点信息表示图像内多个被摄体的特征点；图像信息生成单元，其基于由所述修正单元所修正的点群信息来生成用于表现三维图像的图像信息；和显示单元，其显示基于由所述图像信息生成单元所生成的图像信息的三维图像。

Description

图像生成装置及程序
本申请基于2008年9月29日申请的日本专利申请2008-250002主张优先权，并在此援引其内容。
技术领域
本发明涉及一种生成可视性高的三维图像的技术。
背景技术
以往，公知一种利用通过测量立体摄像机(stereo camera)所拍摄的2张摄影图像的视差来识别被摄体的距离信息的立体(stereo)法从而将被摄体像作为三维图像进行再现的技术。
但是，在该以往技术中，由于构成三维图像的三角形多边形的大小影响被摄体像上各点间的距离信息因而存在三维图像的可视性降低的情况。例如，在被摄体间距离大的情况下，如图22所示，位于靠近照相机的被摄体的像变得极端小等，导致三维图像的可视性降低。
在此，在专利文献1中记载了一种在显示三维图像时被摄体距离过近的情况或过远的情况即所拍摄的图像不适合三维显示的情况下将显示的图像从三维图像向二维图像变更的技术。根据专利文献1记载的技术，通常能够以最优的方式显示所拍摄的图像。
[专利文献1]日本特开2005-167310号公报
但是，在专利文献1记载的技术中，在由于拍摄的图像不适合三维显示而所显示的图像被完全变更为二维图像的情况下，存在用户不能三维确认被摄体像的样子的问题。
发明内容
根据本发明的观点，提供一种图像生成装置，该生成装置包括：
修正单元，其对表示多个点信息与该多个点信息的各距离信息之间的对应关系的点群信息，进行减小所述各距离信息中属于比特定的距离信息表示的距离大的距离范围内的各距离信息的修正，其中所述多个点信息表示图像内多个被摄体的特征点；
图像信息生成单元，其基于由所述修正单元所修正的点群信息来生成用于表现三维图像的图像信息；和
显示单元，其显示基于由所述图像信息生成单元所生成的图像信息的三维图像。
以下，参照附图说明本发明的实施方式，但是附图和本发明中的具体实施方式只是举例，并不限定本发明的范围。
附图说明
图1是本实施方式相关的数码照相机1的外观图。
图2是表示数码照相机1的电气构成的框图。
图3是表示摄影模式的处理内容的流程图。
图4(A)是从上方观察数码照相机1和各被摄体的图。图4(B)是表示数码照相机1能够捕捉到的被摄体像的样子的图。
图5(A)是表示由CCD6A所拍摄的摄影图像的图。图5(B)是表示由CCD6B所拍摄的摄影图像的图。
图6是表示用于说明立体法原理的概念图。
图7是表示本实施方式相关的距离信息计算处理的处理内容的图。
图8是表示将被摄体的特征点信息与其坐标信息建立对应的点群信息81的样子的图。
图9是表示第一实施方式相关的距离信息修正处理的内容的图。
图10(A)是表示特征点的分布图的图。图10(B)是表示修正后的特征点的分布图的图。图10(C)是表示修正后的特征点的分布图的图。图10(D)是表示变形例修正的特征点的分布图的图。
图11(A)是表示由步骤SC4的处理所修正的点群信息82的样子的图。图11(B)是表示由步骤SC7的处理所修正的点群信息83的样子的图。
图12是表示由步骤SC4的处理带来的摄影环境的虚拟变化的概念图。
图13是表示本实施方式相关的再生模式的处理内容的图。
图14是表示在第一实施方式中所生成的三维图像的例子的图。
图15是表示第二实施方式相关的距离信息修正处理的内容的图。
图16(A)是表示特征点的分布图的图。图16(B)是表示修正后的特征点的分布图的图。图16(C)是表示修正后的特征点的分布图的图。图16(D)是表示变形例的修正的特征点的分布图的图。
图17是表示第三实施方式相关的距离信息修正处理的内容的图。
图18(A)是表示特征点的分布图的图。图18(B)是表示修正后的特征点的分布图的图。图18(C)是表示修正后的特征点的分布图的图。图18(D)是表示变形例的修正的特征点的分布图的图。
图19是表示第四实施方式相关的距离信息修正处理的内容的图。
图20是表示背景总括距离的设置画面的图。
图21是表示由步骤SG3的处理所修正的点群信息84的样子的图。
图22是表示由以往技术所生成的三维图像的例子的图。
具体实施方式
参照附图说明本发明的实施方式，本发明的范围并不限定于附图举例及其描述。
<第一实施方式>
以下，参照附图对本发明的第一实施方式进行说明。
图1是本实施方式相关的数码照相机1的外观图。在数码照相机1的主体2的上表面设置有快门键4。在数码照相机1的主体2的正面设置有光学透镜装置5A和光学透镜装置5B。
快门键4具有所谓的半按功能，构成为能够用于对焦的半按操作和用于摄影指示(摄影图像数据的记录指示)的全按操作。
光学透镜装置5A和光学透镜装置5B配置为光学透镜装置5A的光轴与光学透镜装置5B的光轴相隔距离g(mm)。
图2是表示数码照相机1的各组件的功能的框图。参照图2对数码照相机1的电气构成进行说明。
数码照相机1构成为将控制装置整体的CPU8作为中心。CPU8连接了光学透镜装置5A和光学透镜装置5B。光学透镜装置5A连接了CCD6A。光学透镜装置5B连接了CCD6B。CCD6A和CCD6B连接了图像处理部7。CPU8连接了图像处理部7、存储卡11、DRAM10、闪存9、显示部12和键模块13。
光学透镜装置5A和光学透镜装置5B是分别对被摄体的光学像进行成像的装置。光学透镜装置5A和光学透镜装置5B分别由未图示的聚焦透镜(focus lens)及变焦透镜(zoom lens)构成的摄影透镜和驱动这些摄影透镜的未图示的驱动机构构成。光学透镜装置5A的光轴和光学透镜装置5B的光轴平行。光学透镜装置5A的构成和光学透镜装置5B的构成相同。由此，光学透镜装置5A和光学透镜装置5B的焦点距离分别为f(mm)。
CCD6A是对利用光学透镜装置5A所成像的被摄体的光学像进行光电变换而生成摄像信号的摄像元件。CCD6A配置为CCD6A的摄像面的中心位于光学透镜装置5A的光轴上。CCD6B是对利用光学透镜装置5B所成像的被摄体的光学像进行光电变换而生成摄像信号的摄像元件。CCD6B配置为CCD6B的摄像面的中心位于光学透镜装置5B的光轴上。CCD6A的构成与CCD6B的构成相同。
图像处理部7对分别由CCD6A和CCD6B生成的摄像信号进行采样之后去除噪声(noise)并变换为数字信号。图像处理部7对被变换为数字信号的摄像信号进行亮度信号处理等的数据处理。图像处理部7对进行了亮度信号处理等的数字信号进行颜色分离等的颜色处理，并生成Y(亮度信号)、Cb(蓝色差信号)、Cr(红色差信号)的摄影图像数据。另外，图像处理部7进行摄影图像数据的压缩及所压缩的摄影图像数据的扩展等的各种图像处理。
CPU(中央处理装置)8进行数码照相机1的整体控制。CPU8在被存储在闪存9中的程序的协作下，将DRAM10作为作业用存储器来动作。
在闪存9中存储有CPU8的数码照相机1的AF控制、AE控制等需要的程序和数据。在闪存9中存储有用于执行后述的流程图中所示的控制的程序和数据(上述的距离g、焦点距离f、容许弥散圆(acceptable circleof confusion)的直径c的信息等)。另外，闪存9中也能记录摄影图像数据。
DRAM10作为暂时存储所依次拍摄的摄影图像数据的缓冲存储器而使用。DRAM10在CPU8执行处理时也可以作为作业用存储器而使用。
存储卡11是每当进行摄影指示时就分别记录从由CCD6A和CCD6B所拍摄的被摄体像信号所生成的摄影图像数据的记录介质。存储卡11自由装卸连接在数码照相机1的主体2上。
显示部12由未图示的液晶显示器和其驱动电路构成。数码照相机1处于拍摄待机状态时，将由CCD6A所拍摄的被摄体像作为实时取景(liveview)图像在液晶显示器中显示。另外，显示部12在数码照相机1再生摄影图像数据时，在液晶显示器中显示基于从存储卡11中读取的摄影图像数据的图像。另外，显示部12也具备触摸屏(touch panel)的功能。
键模块13由快门键4以及未图示的模式键、SET键、十字键、摄影模式选择键等多个操作键构成。键模块13向CPU8发送与用户的键操作相应的操作信号。
参照图3对数码照相机1的本实施方式相关的动作进行说明。若通过用户对键模块13进行规定操作来设置摄影模式，则CPU8通过从闪存9中读取并在DRAM10中展开的程序的协作而执行图3的流程图中示出的摄影模式的处理。
参照图4对本实施方式中的摄影状况进行说明。图4(A)是从上方观察数码照相机1和各被摄体的图。由图4(A)所示，本实施方式中的拍摄场所存在数码照相机1和作为被摄体的人物41、人物42、车43和建筑物44。按照接近数码照相机1的顺序，排列了人物41、人物42、车43、建筑物44。图4(B)中示出了数码照相机1能够捕捉到的被摄体像的样子。
返回到图3继续说明。若设置为摄影模式，则CPU8对从CCD6A依次摄入并被依次蓄积在DRAM10中的摄影图像数据开始在显示部12上显示实时取景图像的处理(步骤SA1)。
并且，CPU8成为为了判断是否半按了快门键4的待机状态(步骤SA2)。在该状态中，CPU8在未检测出半按了快门键4的情况下(步骤SA2：“否”)，返回到步骤SA1的处理并使实时取景图像继续显示。另一方面，若由用户半按快门键4，则CPU8通过检测到与该半按操作相应的操作信号而判断为半按了快门键4(步骤SA2：“是”)。
于是，CPU8立即通过通常的AF控制进行聚焦调整。即，CPU8执行将CCD6A和CCD6B各自的拍摄范围内的中央区域的聚焦区域作为对象的对焦，并且通过通常的AE控制(所谓的程序AE控制)来调整ISO灵敏度和快门速度(步骤SA3)。
然后，CPU8成为为了判断是否全按了快门键4的待机状态(步骤SA4)。在该状态中，CPU8在未检测出全按了快门键4的状态下(步骤SA4：“否”)，一直为待机状态。另一方面，若由用户全按快门键4，则CPU8通过检测到与该全按操作相应的操作信号而判断为全按了快门键4(步骤SA4：“是”)。
于是，CPU8对分别蓄积在CCD6A和CCD6B中的被摄体像信号立即执行摄影处理而生成2张摄影图像数据50A、50B，并分别以JPEG方式使生成的2张摄影图像数据50A、50B压缩(步骤SA5)。
图5(A)中示出了由摄影图像数据50A所表现的摄影图像(由CCD6A所拍摄的摄影图像)。图5(B)中示出了由摄影图像数据50B所表现的摄影图像(由CCD6B所拍摄的摄影图像)。
由于这两个摄影图像是分别由光学透镜装置5A和光学透镜装置5B所分别摄入的被摄体像，因而产生视差。由此，图5(A)中示出的摄影图像中的各被摄体的位置关系与图5(B)中示出的摄影图像中的各被摄体的位置关系不同。
返回到图3，CPU8对2张摄影图像数据50A、50B的每一个生成头数据(header data)，并生成由头数据及所压缩的摄影图像数据构成的2个图像文件，使生成的2个图像文件暂时记录在存储卡11中(步骤SA6)。
接着，CPU8进行距离信息计算处理(步骤SA7)、距离信息修正处理(步骤SA8)，并使摄影模式的处理结束。对步骤SA7中的距离信息计算处理和步骤SA8中的距离信息修正处理以下进行详细叙述。
参照图6对步骤SA7中的距离信息计算处理时利用的立体法的原理进行说明。所谓立体法是用于用2台以上的照相机拍摄被摄体并利用三角测量的原理根据映现在各图像中的被摄体的位置不同得到三维信息的周知方法。图6是用于说明立体法的原理的概念图。
在图6中，OA是在实空间中CCD6A的摄像面(受光面)的中心存在的位置。OB是在实空间中CCD6B的摄像面(受光面)的中心存在的位置。ZA是光学透镜装置5A的光轴，ZB是光学透镜装置5B的光轴。如上述，光轴ZA与光轴ZB平行，他们相隔距离g(mm)。
坐标面CA规定CCD6A的摄像面上的坐标。坐标面CA与光轴ZA正交，坐标面CA的原点OA配置在光轴ZA上。坐标面CA通过表示水平方向的u轴和表示垂直方向的v轴进行规定。设坐标面CA上的任意坐标为(u，v)。
坐标面CB规定CCD6B的摄像面上的坐标。坐标面CB与光轴ZB正交，坐标面CB的原点OB配置在光轴ZB上。坐标面CB通过表示水平方向的u′轴和表示垂直方向的v′轴进行规定。将坐标面CB上的任意坐标作为(u′，v′)。
现在，如图6所示，考虑在远离CCD6A、CCD6B的地方存在被摄体60的情况。设实空间中的被摄体60的位置坐标为(X，Y，Z)。并且，设来自被摄体60的光学像61、61，在用坐标面CA上的坐标(u，v)表示的位置62A上由CCD6A受光，在用坐标面CB上的坐标(u′，v ′)表示的位置62B上由CCD6B受光。
于是，可知：实空间中的被摄体60的坐标(X，Y，Z)的各值分别由下式(1)表示。其中，在下式(1)中，g是上述的光轴ZA与光轴ZB之间的距离，f是光学透镜装置5A(光学透镜装置5B)的焦点距离。
X＝g·u/(u-u′)
Y＝g·v/(u-u′)    (1)
Z＝g·f/(u-u′)
因此，根据映现在由2个CCD6A、6B分别所拍摄的2个图像中的被摄体的位置不同得到被摄体的三维信息的方法是立体法。
接着，参照图7中示出的流程图对步骤SA7的距离信息计算处理的详细内容进行说明。在本实施方式中，在步骤SA7的处理中，利用上述的立体法的原理来计算拍摄时的被摄体和数码照相机1之间的距离。
在步骤SA6的处理之后，CPU8读取被记录在存储卡中的摄影图像数据50A和摄影图像数据50B，使读取的这些摄影图像数据保持在DRAM10中(步骤SB1)。
接着，CPU8检测由被保持在DRAM10中的摄影图像数据50A所表现的摄影图像(图5(A)中示出的摄影图像)中的全部特征点，并使表现检测出的特征点的图像数据保持在DRAM10中(步骤SB2)。在此，所谓特征点是与周围区域相比颜色和/或亮度能够与其他区域较大的识别的区域。例如，映现在摄影图像中的人物的眼睛或口的区域成为特征点。
接着，CPU8从由摄影图像数据50A所表现的摄影图像中所检测的全部的特征点中指定一个一次也未指定的特征点(步骤SB3)。
接着，CPU8对在步骤SB3的处理中所指定的特征点的图像数据50A上的坐标(u，v)进行特定，并使特定的特征点的坐标保持在DRAM10中(步骤SB4)。
接着，CPU8检测与在步骤SB4的处理中所特定的特征点的坐标(u，v)对应的摄影图像数据50B上的特征点(对应点)(步骤SB5)。具体地说，CPU8将表现在步骤SB3的处理中所指定的特征点的图像数据作为样板(template)图像进行提取。并且，CPU8在拍摄图像50B中扫描该样板图像。CPU8进行摄影图像数据50B和样板图像之间的相关运算，将相关性(一致度)最高的区域作为摄影图像数据50中的对应点即作为摄影图像数据50B中的与摄影图像数据50A的特征点对应的点进行检测。
接着，CPU8对在步骤SB5的处理中所检测出的对应点的坐标(u′，v′)进行特定，并使特定的特征点的坐标保持在DRAM10中(步骤SB6)。
接着，CPU8计算在步骤SB3的处理中所指定的特征点的实空间中的坐标(X，Y，Z)(步骤SB7)。具体地说，CPU8利用被保持在DRAM10中的特征点的坐标、对应点的坐标的各值u、v、u′、v′、预先记录在闪存9中的光学透镜装置5A与光学透镜装置5B之间的距离信息g、及焦点距离信息f，并按照上式(1)计算在步骤SB3的处理中所指定的特征点的实空间中的坐标(X，Y，Z)。
接着，CPU8在DRAM10上保持将在步骤SB3的处理中所指定的特征点信息和在步骤SB8的处理中所计算出的特征点的坐标信息建立对应的点群信息81(步骤SB8)。
接着，CPU8判断是否存在在步骤SB3的处理中一次也未指定的特征点(步骤SB9)。CPU8若判断为存在在步骤SB3的处理中一次也未指定的特征点，则返回到步骤SB3的处理(步骤SB9：“是”)。
若返回到步骤SB3的处理，则CPU8反复进行从步骤SB3到步骤SB8的各处理，计算未指定的特征点的实空间中的坐标并记录。由此，CPU8计算与在步骤SB2的处理中所检测的全部的特征点对应的实空间中的坐标。
图8中示出了将被摄体的特征点信息和其坐标信息建立对应的点群信息81的样子。如图8所示，例如与人物41的特征点1对应的X坐标值为0.05(m)、Y坐标值为0.10(m)、Z坐标值为2.00(m)。
若CPU8指定全部的特征点，则判断为没有一次也未指定的特征点(步骤SB9：“否”)，并使图7的流程图中示出的距离信息计算处理结束。
接着，参照图9中示出的流程图对步骤SA8的距离信息修正处理的详细内容进行说明。
步骤SA7的处理之后，CPU8利用被保持在DRAM10上的点群信息81而生成表示各距离信息与相同距离信息所对应的特征点的个数之间的对应关系的按照距离分类的特征点信息(步骤SC1)。
在本实施方式中，在生成其按照距离分类的特征点信息时，在步骤SA7的处理中计算出的特征点的实空间中的坐标(X，Y，Z)中，将Z坐标值作为距离信息加以利用。CPU8对与各特征点对应的全部距离信息(Z坐标值)进行特定，并计算与相同的距离信息对应的特征点的个数信息。并且，CPU8通过在坐标平面上绘制表示按照距离信息而计算的特征点的个数信息的点，从而生成作为按照距离分类的特征点信息的特征点的分布图。
图10(A)中示出了由CPU8所生成的特征点的分布图。在图10(A)中示出的特征点的分布图中，横轴表示从实空间中的数码照相机1到被摄体的各特征点的存在区域的距离，纵轴表示在各距离中存在的被摄体的特征点的个数。在图10(A)中，纵轴方向是上方向，横轴的方向是右方向。
图10(A)的特征点的分布图中示出了分布曲线90(用粗实线表示的曲线)。该分布曲线90是用曲线连接表示与所绘制的各距离信息对应的特征点的个数信息的点而成的曲线。
分布曲线90上存在3个山部分91、92、93。在图10(A)中，山部分91表示位于距图4(A)中示出的数码照相机1的距离最短地方的人物41和人物42的特征点的存在。山部分92表示位于距数码照相机1的距离在人物41、42后次短地方的车43的特征点的存在。山部分93表示位于距数码照相机1的距离最远地方的建筑物44的特征点的存在。
另外，如图4(A)所示，拍摄时在从数码照相机1到人物41之间不存在被摄体(特征点)。由此，如图10(A)所示，在从原点到山部分91(表示存在人物41的特征点的山)的距离范围内不存在分布曲线90。
同样，如图4(A)所示，拍摄时在从车43到建筑物44之间不存在被摄体(特征点)。由此，如图10(A)所示，在山部分92和山部分93之间的范围内，分布曲线90的值(特征点的个数)全为0。
返回到图9，CPU8检测分布曲线90的变化开始点(步骤SC2)。具体地说，首先CPU8根据分布曲线90，按照接近各特征点的个数信息中最小值的顺序，对成为最小值的个数信息及接近最小值的多个个数信息依次进行特定。接着，CPU8对与所特定的各个数信息对应的距离信息全部进行特定。
在本实施方式中，作为与各特征点的个数信息中最小值及接近最小值的多个个数信息对应的各距离信息，CPU8特定了与分布曲线90的起点94对应的距离信息、与山部分92的终点95对应的距离信息、与山部分93的起点对应的距离信息、及与山部分93的终点对应的距离信息的4个距离信息。
并且，CPU8检测与所特定的4个距离信息中的最小距离信息对应的点作为变化开始点。在本实施方式中，如图10(A)所示，检测出了分布曲线90的起点94作为变化开始点。
接着，CPU8检测分布曲线90的变化结束点(步骤SC3)。具体地说，CPU8根据分布曲线90首先检测与所检测的4个距离信息中第2小的距离信息对应的点。在本实施方式中，如图10(A)所示，作为变化结束点检测出了山部分92的终点95。在本实施方式中，变化结束点95对应的距离信息为4.20(m)。
接着，CPU8对包括在被保持在DRAM10上的点群信息81中的距离信息，进行将属于比与变化结束点95对应的距离信息大的距离范围的全部距离信息变更为与变化结束点95对应的距离信息(4.20(m))的修正(步骤SC4)。
如图10(B)所示，通过步骤SC4的处理，与变化结束点95以后存在的山部分93(表示存在建筑物44的特征点的山)对应的距离信息的全部被修正为与变化结束点95对应的距离信息(4.20(m))。由此，如图10(B)所示，山部分93的信息被修正为山部分931的信息。
图11(A)中示出了由步骤SC4的处理所修正的点群信息82的样子。与图8中示出的原始点群信息81相比，在图11(A)中示出的修正后的点群信息82中，与建筑物44的各特征点对应的全部距离信息(Z坐标值)被修正为变化结束点95的距离信息4.20(m)。
参照图12对步骤SC4的处理进行补充说明。图12是表示进行了步骤SC4处理后的摄影环境的虚拟变化的概念图。
根据步骤SC4的处理能够修正为：在点群信息中与建筑物44的各特征点对应的距离信息变小。由此，基于修正后的点群信息82的虚拟摄影环境如图12所示，犹如建筑物44的位置接近了数码照相机1的位置。
并且，在点群信息中，与建筑物44的全部特征点对应的各距离信息被均一化为与变化结束地点95对应的距离信息。由此，如图12所示，建筑物44的纵深消失，建筑物44犹如成为了平面51。
返回到图9，CPU8继续步骤SC4的处理，设置由变化开始点94的距离信息以上且变化结束点95的距离信息以下的距离信息构成的距离范围作为三维显示距离范围(步骤SC5)。所谓三维显示距离范围是在后述的再生模式中能三维显示所拍摄的被摄体像的距离范围。图10(B)中示出了本实施方式中的三维显示距离范围96。
接着，CPU8判断所设置的三维显示距离范围96是否在规定阈值以上(步骤SC6)。若所设置的三维显示距离范围96小于规定的阈值(步骤SC6：“否”)，则CPU8进行到步骤SC8的处理。在本实施方式中阈值为1(m)。阈值也可以不是1(m)。
另一方面，若所设置的三维显示距离范围96在规定的阈值以上(步骤SC6：“是”)，则CPU8为使三维显示距离范围96成为与阈值(1(m))相同值的距离范围而修正在修正后的点群信息82所包括的距离信息中属于三维显示距离范围96的距离信息(步骤SC7)。
具体地说，CPU8预先计算属于修正前的三维显示距离范围96的各距离信息的平均值。接着，CPU8对修正前的三维显示距离范围96所包括的各距离信息，预先计算出在数轴(number line)上邻近的各距离信息间的差分值的全部比率。
这些计算处理之后，CPU8为使属于修正前的三维显示距离范围96中的全部距离信息包括在与阈值(1(m))相同值的距离范围内而修正属于点群信息82中的三维显示距离范围96的各距离信息。
步骤SC7处理时，CPU8使属于修正前的三维显示距离范围96的距离信息的平均值和属于修正后的三维显示距离范围961的距离信息的平均值相同。
步骤SC7处理时，CPU8使在修正后的三维显示距离范围961中数轴上邻近的各距离信息的差分值的比率与在修正前的三维显示距离范围96中数轴上邻近的各距离信息的差分值的比率相同。
步骤SC7处理时，CPU8使属于修正前的三维显示距离范围96的各距离信息的大小关系与所修正的各距离信息(属于三维显示距离范围961的各距离信息)的大小关系不变。
图10(C)中示出了由步骤SC7的处理所修正的三维显示距离范围961。如图10(C)所示，所修正的三维显示距离范围961比所修正前的三维显示距离范围96小。
图11(B)中示出了由步骤SC7的处理所修正的点群信息83。如图11(B)所示，属于修正后的三维显示距离范围961的距离信息(Z坐标值)、即与人物41、人物42、车43的各特征点对应的各距离信息(Z坐标值)在数轴上的存在范围比修正前变小。
步骤SC6的处理或步骤SC7的处理之后，CPU8在摄影图像数据50A和摄影图像数据50B各自的头数据中记录所修正的点群信息82(或点群信息83)(步骤SC8)，并使图9的流程图中示出的距离信息修正处理结束。
接着，参照图13中示出的流程图对本实施方式相关的再生模式处理进行说明。若通过用户对键模块13进行规定操作来设置再生模式，则CPU8通过从闪存9读取且在DRAM10上展开的程序的协作，从而执行图13的流程图中示出的再生模式的处理。
若设置再生模式，则CPU8从附随在摄影图像数据的头数据中读取由步骤SA8的处理所修正的点群信息82(或点群信息83)，并使读取的点群信息保持在DRAM10上(步骤SD1)。
接着，CPU8按照周知的Delaunay法，利用在DRAM10上读取的点群信息而生成三角形多边形模型(步骤SD2)。在生成三角形多边形模型时，优先进行所生成的三角形接近正三角形的特征点的连接。接着，CPU8利用周知的纹理映射(texture mapping)法，通过贴上所生成的三角形多边形模型的纹理数据而生成三维图像(步骤SD3)。
接着，CPU8使所生成的三维图像显示在显示部12(步骤SD4)。接着，CPU8将所生成的三维图像上的各特征点的坐标信息记录在摄影图像数据50A和摄影图像数据50B各自的头数据中(步骤SD5)，并使图13的流程图中示出的再生模式结束。
图14中示出了由本实施方式所生成的三维图像的例子。由本实施方式所生成的三维图像与由图22中示出的以往技术所生成的三维图像比较，作为主要被摄体的马的铜像与作为背景的建筑物的距离变小。由此，由本实施方式所生成的三维图像为用户容易掌握各被摄体的样子的图像。其原因在于：在步骤SA8的距离信息修正处理中，通过以比点群信息中的变化结束点的距离信息大的距离信息变小的方式进行修正，从而成为背景的被摄体与主要被摄体之间的距离信息变小。
另外，在图14中示出的三维图像中，虽然作为主要被摄体的马的铜像是三维表现，但是作为背景的建筑物是平面表现。由此，用户能够三维地观察主要被摄体的形状，并且对于作为背景的被摄体而言容易掌握其内容。其原因在于：在步骤SA8的处理中，比点群信息中的变化结束点的距离信息大的全部距离信息都被修正为相同的距离信息(与变化结束点对应的距离信息)，所以与修正后的点群信息中的背景被摄体的特征点对应的距离信息全部相同。
(变形例)
在上述的第一实施方式中，在步骤SC4的处理中，CPU8以比变化结束点95的距离信息大的全部距离信息成为相同的距离信息(变化结束点95的距离信息)的方式来修正点群信息81。但是，CPU8也可以进行属于比变化结束点95的距离信息大的范围内的距离信息的每一个仅仅减小相同的距离信息量的修正。
在该变形例中，例如如图10(D)所示，为使变化结束点95和山部分93的起点一致，CPU8对点群信息81所包括的各距离信息进行将与山部分93对应的距离信息的每一个减小变化结束点95的距离信息和与山部分93的起点对应的距离信息的差分值的修正。
另外，在第一实施方式中，在步骤SC7的处理中，若所设置的三维显示距离范围96在规定阈值以上，则为使三维显示距离范围96成为与规定阈值相同值的距离范围，CPU8修正点群信息82所包括的距离信息中属于三维显示距离范围96中的距离信息。
但是，在步骤SC7的处理中，CPU8也可以将属于点群信息82所包括的三维显示距离范围96的各距离信息Z，例如按照下式(2)进行修正。
Z′＝Z-(A-Z)·α    (2)
其中，
Z：修正前的距离信息的值(属于修正前的三维显示距离范围96的各距离信息)
Z′：修正后的距离信息的值(属于修正后的三维显示距离范围961的各距离信息)
A：与变化结束点95对应的距离信息的值
α：小于1的任意自然数
根据以上的说明，在第一实施例及其变形例中，CPU8以在点群信息81所包含的距离信息中属于比变化结束点95的距离信息大的距离范围内的距离信息变小的方式进行修正。由此，在被摄体不适合三维显示的情况下，也就是说即使在主要被摄体与背景被摄体之间的距离大的情况下，点群信息中的主要被摄体与背景被摄体之间的距离信息变小。由此，在利用点群信息所生成的三维图像中，能够避免构成三维图像的三角形多边形成为不规则形状。其结果，在本实施方式中，即使在被摄体不适合三维显示的情况下，也能得到用户能容易掌握各被摄体的样子的三维图像即可视性高的三维图像。
在第一实施方式中，CPU8以在点群信息81所包括的距离信息中属于比变化结束点95的距离信息大的全部距离信息成为相同的距离信息(变化结束点95的距离信息)的方式进行修正。由此，在根据所修正的点群信息所生成的三维图像中，例如，能够三维表现主要被摄体，并且对于背景被摄体而言能够二维表现。据此，用户能够三维可视主要被摄体的形状，并且对于背景被摄体而言能够容易掌握其内容。其结果，根据本实施方式，能够得到用户能容易理解作为背景的被摄体的内容的三维图像即可视性高的三维图像。
在第一实施方式中，在三维显示距离范围96为规定阈值以上的情况下，为使三维显示距离范围96变小，CPU8修正点群信息82所包括的距离信息中属于三维显示距离范围96的距离信息。由此，即使在属于三维显示距离范围96的特征点间的距离信息过大的情况下，对于点群信息82以该特征点间的距离信息变小的方式进行修正。于是，能够避免在三维图像上构成能三维表现的主要被摄体的三角形多边形过大。其结果，根据本实施方式，即使在主要被摄体等的纵深大的情况下，也能将在三维图像上表现的主要被摄体修正为适当的形状，从而得到可视性高的三维图像。
接着，对本发明的其他实施方式进行说明。在以下说明的各实施方式中，只有步骤SA8的处理内容与上述的第一实施方式不同，数码照相机1的电气构成以及步骤SA8以外的处理内容与第一实施方式相同。
<第二实施方式>
参照图15中示出的流程图对第二实施方式相关的距离信息修正处理(步骤SA8的处理)进行说明。
在步骤SA7处理之后，作为按照距离分类的特征点信息，CPU8利用被保持在DRAM10上的点群信息81，在DRAM10上生成特征点的分布图(步骤SE1)。生成特征点的分布图的方法与该步骤SC1的处理相同。图16(A)中示出了由CPU8所生成的特征点的分布图。
CPU8与步骤SC2的处理同样，检测分布曲线90的变化开始点94(步骤SE2)。在第二实施方式中，如图16(A)所示，作为变化开始点也检测出了分布曲线90的起点94。
接着，CPU8计算从数码照相机1(摄影透镜)到对焦的被摄体区域(对焦区域)之间的距离a(步骤SE3)。具体地说，CPU8读取预先记录在闪存9中的焦点距离信息f，并根据现在的变焦透镜的位置对变焦倍率值m进行特定。并且，CPU8按照周知的下式(3)计算从摄影透镜到对焦区域的距离a。
1/a+1/b＝1/a+1/m·a＝1/f    (3)
其中，
a：从摄影透镜到对焦区域的距离
b：从摄影透镜到实像的距离
m：变焦倍率
f：焦点距离
接着，作为背景总括距离信息，CPU8设置2a(a是从摄影透镜到对焦区域的距离信息)的距离信息(步骤SE4)。所谓背景总括距离信息是在后述的步骤SE5的点群信息的修正处理中成为修正后的距离信息的信息。
接着，对于被保持在DRAM10上的点群信息81所包括的距离信息，CPU8进行将与属于比背景总括距离信息(2a)大的距离信息的范围的全部特征信息对应的距离信息变更为背景总括距离信息(2a)的修正(步骤SE5)。
根据步骤SE5的处理，如图16(B)所示，与在比背景总括距离信息(2a)大的距离范围内存在的山部分93(表示存在建筑物44的特征点的山)对应的距离信息被修正为背景总括距离信息(2a)。
接着，作为三维显示距离范围，CPU8设置由变化开始点94的距离信息以上且背景总括距离信息以下的距离信息构成的范围(步骤SE6)。图16(B)中示出了本实施方式中的三维显示距离范围97。
接着，CPU8判断所设置的三维显示距离范围97是否在规定阈值以上(步骤SE7)。若所设置的三维显示距离范围97小于规定阈值(步骤SE7：“否”)，则CPU8进入到步骤SE9的处理。在本实施方式中，阈值为1(m)。阈值也可以不是1(m)。
另一方面，若在步骤SE6的处理中所设置的三维显示距离范围97在规定的阈值以上(步骤SE7：“是”)，则CPU8为使三维显示距离范围97成为与阈值1(m)相同值的距离范围而修正在修正后的点群信息所包括的距离信息中属于三维显示距离范围97中的距离信息(步骤SE8)。步骤SE8处理中的各距离信息的修正方法与步骤SC7处理中的各距离信息的修正方法相同。
图16(C)中示出了由步骤SE8的处理所修正的三维显示距离范围971。如图16(C)所示，所修正的三维显示距离范围971比修正前的三维显示距离范围97小。
步骤SE7的处理或步骤SE8的处理之后，CPU8将所修正的点群信息记录在摄影图像数据50A和摄影图像数据50B的每一个头数据中(步骤SCE9)，并使图15的流程图中示出的距离信息修正处理结束。
(变形例)
在上述的第二实施方式中，在步骤SE5的处理中，CPU8以比背景总括距离信息大的全部距离信息成为相同距离信息(变化结束点95的距离信息)的方式来修正点群信息81。但是，CPU8也可以进行属于比背景总括距离信息大的距离范围内的距离信息分别仅仅减小相同的距离信息量的修正。
在该变形例中，例如，如图16(D)所示，为使与山部分93的起点对应的距离信息与背景总括距离信息(2a)一致，CPU8对点群信息81所包括的各距离信息进行将与山部分93对应的距离信息的每一个只减小背景距离信息和山部分93的起点对应的距离信息的差分值的修正。
另外，在第二实施方式中，作为背景总括距离信息，CPU8设置了直到对焦区域为止的距离信息的2倍的距离信息。但是，背景总括距离信息也可以设为直到对焦区域为止的距离信息的1.5倍的距离信息或3倍的距离信息。
另外，在第二实施方式中，在步骤SE8的处理中，若所设置的三维显示距离范围97在规定阈值以上，则为使三维显示距离范围97成为与规定阈值相同值的距离范围，CPU8修正点群信息82所包括的距离信息中属于三维显示距离范围97的距离信息。
但是，在步骤SE8的处理中，CPU8例如也可以按照下式(4)修正属于点群信息所包括的三维显示距离范围97的各距离信息Z。
Z′＝Z-(2a-Z)·α    (4)
其中，
Z：修正前的距离信息的值(属于修正前的三维显示距离范围97的各距离信息)
Z′：修正后的距离信息的值(属于修正后的三维显示距离范围971的各距离信息)
2a：背景总括距离信息的值
α：小于1的任意自然数
根据上述的说明，在第二实施方式及其变形例中，CPU8以点群信息81所包括的距离信息中属于比背景总括距离信息大的距离范围中的距离信息变小的方式进行修正。由此，例如，即使在主要被摄体和成为背景的被摄体之间的距离大的情况下，点群信息中的主要被摄体与背景被摄体之间的距离信息变小。由此，在利用点群信息生成三维图像中，能够避免构成三维图像的三角形多边形成为不规则形状。其结果，在本实施方式中，能够得到用户容易掌握各被摄体的样子的三维图像即可视性高的三维图像。
在第二实施方式中，如图16(B)所示，作为三维显示距离范围97自动设置了对焦区域附近的距离范围。并且，对焦的被摄体作为用户关注的主要被摄体的可能性高。由此，在第二实施方式中，能够容易地三维表现用户关注的主要被摄体。
在第二实施方式中，CPU8以点群信息81所包括的距离信息中属于比背景总括距离信息大的全部距离信息成为相同的距离信息(背景总括距离信息)的方式进行修正。由此，在由所修正的点群信息所生成的三维图像中，例如，能够三维表现主要被摄体，并且对于作为背景的被摄体而言能够二维表现。由此，用户能够三维可视主要被摄体的形状，并且对于背景被摄体而言能够容易掌握其内容。其结果，根据本实施方式，能够得到用户能够容易理解背景被摄体的内容的三维图像即可视性高的三维图像。
在第二实施方式中，在三维显示距离范围97在规定阈值以上的情况下，为使三维显示距离范围97变小，CPU8修正点群信息所包括的距离信息中属于三维显示距离范围97的距离信息。由此，即使在属于三维显示距离范围97的特征点间的距离信息过大的情况下，对于点群信息，也能以该特征点间的距离信息变小的方式进行修正。于是，能够避免构成在三维图像上三维表现的主要被摄体的三角形多边形过大。其结果，根据本实施方式，即使在主要被摄体等的纵深大的情况下，也能将在三维图像上所表现的主要被摄体修正为适当的形状，从而能够得到可视性高的三维图像。
<第三实施方式>
参照图17中示出的流程图对第三实施方式相关的距离信息修正处理(步骤SA8的处理)进行说明。
步骤SA7处理后，作为按照距离分类的特征点信息，CPU8利用被保持在DRAM10上的点群信息81而在DRAM10上生成特征点的分布图(步骤SF1)。生成特征点的分布图的方法与该步骤SC1处理相同。图18(A)中示出了由CPU8所生成的特征点的分布图。
接着，CPU8计算从数码照相机1到拍摄视场深度(景深)的前端的距离信息Dn(步骤SF2)。具体地说，CPU8与步骤SE3的处理同样，计算从摄影透镜到对焦区域的距离a，并读取预先记录在闪存9中的焦点距离信息f和容许弥散圆的直径信息c，对现在的光圈值N进行特定。并且，CPU8按照周知的下式(5)计算到拍摄视场深度的前端的距离信息Dn。
Dn＝c·N·a2/(f2+c·N/a)    (5)
其中，
a：从摄影透镜到对焦区域的距离
f：焦点距离
N：光圈值
c：容许弥散圆的直径
接着，CPU8计算从数码照相机1到拍摄视场深度后端的距离Df(步骤SF3)。具体地说，CPU8与步骤SE3的处理同样，计算从摄影透镜到对焦区域的距离a，并读取被记忆在闪存9中的焦点距离信息f和容许弥散圆的直径信息c，对现在的光圈值N进行特定。并且，CPU8按照周知的下式(6)计算到拍摄视场深度后端的距离信息Df。
Df＝c·N·a2/(f2-c·N/a)    (6)
其中，
a：从摄影透镜到对焦区域的距离
f：焦点距离
N：光圈值
c：容许弥散圆的直径
接着，对于被保持在DRAM10上的点群信息81所包括的距离信息，CPU8进行将属于比到拍摄视场深度后端的距离信息Df大的距离范围中的各距离信息变更为到拍摄视场深度后端的距离信息Df的修正(步骤SF4)。
即，如图18(B)所示，与属于比拍摄视场深度后端的距离信息Df大的距离范围内的山部分93(表示存在建筑物44的特征点的山)对应的距离信息被变更为拍摄视场深度后端的距离信息Df。
接着，作为三维显示距离范围，CPU8设置由拍摄视场深度前端的距离信息Dn以上且拍摄视场深度后端的距离信息Df以下的距离信息构成的范围(步骤SF5)。图18(B)中示出了本实施方式中的三维显示距离范围98。
接着，CPU8判断所设置的三维显示距离范围98是否在规定阈值以上(步骤SF6)。若所设置的三维显示距离范围98小于规定阈值(步骤SF6：“否”)，则CPU8进入到步骤SE8的处理。在本实施方式中阈值为1(m)。阈值也可以不是1(m)。
另一方面，若在步骤SF5的处理中所设置的三维显示距离范围98在规定阈值以上(步骤SF6：“是”)，则为使三维显示距离范围98成为与阈值(1(m))相同值的距离范围，CPU8修正在修正后的点群信息所包括的距离信息中属于三维显示距离范围98中的距离信息(步骤SF7)。步骤SF7的处理中的各距离信息的修正方法与步骤SC7的处理中的各距离信息的修正方法相同。
图18(C)中示出了由步骤SF7的处理所修正的三维显示距离范围981。如图18(C)所示，所修正的三维显示距离范围981比修正前的三维显示距离范围98小。
步骤SF6的处理或步骤SF7的处理后，CPU8将所修正的点群信息记录在摄影图像数据50A和摄影图像数据50B的每一个头数据中(步骤SF8)，并使图17的流程图中示出的距离信息修正处理结束。
(变形例)
在上述的第三实施方式中，在步骤SF4的处理中，CPU8以比拍摄视场深度后端的距离信息Df大的全部距离信息成为相同的距离信息(距离信息Df)的方式来修正点群信息81。只是，CPU8也可以进行属于比拍摄视场深度后端的距离信息Df大的距离范围的距离信息分别只减少相同距离信息量的修正。
在该变形例中，例如，如图18(D)所示，为使与山部分93的起点对应的距离信息与拍摄视场深度后端的距离信息Df一致，CPU8对于点群信息81所包括的各距离信息进行使山部分93对应的距离信息的每一个只减少距离信息Df与山部分93的起点对应的距离信息之间的差分值的修正。
另外，在第三实施方式中，在步骤SF7的处理中，若所设置的三维显示距离范围98在规定阈值以上，则为使三维显示距离范围98成为与规定阈值相同值的距离范围，CPU8修正点群信息82所包括的距离信息中属于三维显示距离范围98的距离信息。
但是，在步骤SF7的处理中，CPU8也可以按照下式(7)修正属于包括在点群信息中的三维显示距离范围98中的各距离信息Z。
Z′＝Z-(Df-Z)·α    (7)
其中，
Z：修正前的距离信息的值(属于修正前的三维显示距离范围98的各距离信息)
Z′：修正后的距离信息的值(属于修正后的三维显示距离范围981的各距离信息)
Df：拍摄视场深度的后端的距离信息的值
α：小于1的任意自然数
根据以上的说明，在第三实施方式及其变形例中，CPU8以点群信息81所包括的距离信息中属于比拍摄视场深度后端的距离信息Df大的距离范围的距离信息变小的方式进行修正。由此，例如，即使在主要被摄体和作为背景的被摄体之间的距离大的情况下，点群信息中的主要被摄体与背景被摄体之间的距离信息也变小。因此，能够避免构成三维图像的三角形多边形成为不规则形成。其结果，在本实施方式中，能够得到用户容易掌握各被摄体的样子的三维图像即可视性高的三维图像。
在第三实施方式中，如图18所示，作为三维显示距离范围98自动设置拍摄视场深度存在的位置相应的距离范围。并且，包括在拍摄视场深度中的被摄体即对焦的被摄体为用户关注的主要被摄体的可能性高。由此，在第三实施方式中，能够容易地三维表现用户关注的主要被摄体。
在第三实施方式中，CPU8以在点群信息81所包括的距离信息中属于比拍摄视场深度后端的距离信息Df大的全部距离信息成为相同的距离信息(距离信息Df)的方式进行修正。由此，在由所修正的点群信息生成的三维图像中，例如，通过三维表现主要被摄体并且对于作为背景的被摄体而言能够二维表现。因此，用户能够三维可视主要被摄体的形状并且对于背景被摄体而言能够容易掌握其内容。其结果，根据本实施方式，能够得到用于能够容易理解成为背景的被摄体的内容的三维图像即可视性高的三维图像。
在第三实施方式中，在三维显示距离范围98是规定阈值以上的情况下，为使三维显示距离范围98变小，CPU8修正属于包括在点群信息中的距离信息中的三维显示距离范围98中的距离信息。因此，即使在属于三维显示距离范围98的特征点间的距离信息过大的情况下，对于点群信息，为使该特征点间的距离信息变小而进行修正。于是，能够避免构成在三维图像上三维表现的主要被摄体的三角形多边形过大。其结果，根据本实施方式，在主要被摄体等的纵深大的情况下，也能将在三维图像上表现的主要被摄体修正为适当的形状，能够得到可视性高的三维图像。
<第四实施方式>
参照图19中示出的流程图，对第四实施方式相关的距离信息修正处理(步骤SA8的处理)进行说明。
步骤SA7处理后，CPU8使图20中示出的设置画面显示在显示部12，直到由用户对键模块13的操作而检测到背景总括距离信息的输入，呈待机状态(步骤SG1)。
在由用户的操作未检测到输入的情况下(步骤SG1：“否”)，CPU8呈待机状态。另一方面，在由用户的操作检测到了输入的情况下(步骤SG1：“是”)，CPU8设置由用户的操作所输入的背景总括距离信息(步骤SG2)。在本实施方式中，作为背景总括距离信息，由用户的操作设置为4.00(m)。
接着，为使被保持在DRAM10上的点群信息81所包括的各距离信息中属于比由步骤SG2的处理所设置的背景总括距离信息大的距离范围的全部距离信息成为此设置的背景总括距离信息(4.00(m))，CPU8修正点群信息81(步骤SG3)。
图21中示出了由步骤SG3的处理所修正的点群信息84的样子。如图21所示，在原始的点群信息81中，比背景总括距离信息(4.00(m))大的距离信息的建筑物44的各特征点对应的距离信息全部修正为背景总括距离信息(4.00(m))。
接着，CPU8将修正后的点群信息84记录在摄影图像数据50A和摄影图像数据50B的每一个头数据中(步骤SG4)，并使图19的流程图中示出的距离信息修正处理结束。
(变形例)
在上述的第四实施方式中，在步骤SG3的处理中，CPU8以比由用户的操作所设置的背景总括距离信息大的全部距离信息成为相同的距离信息(背景总括距离信息)的方式来修正点群信息81。但是，CPU8也可以进行属于比由用户的操作所设置的背景总括距离信息大的距离范围的距离信息分别减少相同距离信息量的修正。
根据以上的说明，在第四实施方式及其变形例中，CPU8以在点群信息81所包括的距离信息中属于比由用户的操作所设置的背景总括距离信息大的距离范围的距离信息变小的方式进行修正。由此，例如，即使在主要被摄体和作为背景的被摄体之间的距离大的情况下，点群信息中的主要被摄体和背景被摄体之间的距离信息也变小。因此，在利用点群信息生成的三维图像中，能够避免构成三维图像的三角形多边形成为不规则形状。其结果，在本实施方式中，能够得到用户容易掌握各被摄体的样子的三维图像即可视性高的三维图像。
在第四实施方式中，背景总括距离信息由用户的操作进行设置。因此，对于点群信息能够进行确实地减小用户希望的距离范围中的被摄体(背景被摄体等)的距离信息的修正。
在第四实施方式中，CPU8以在点群信息81所包括的距离信息中的背景总括距离信息大的全部距离信息成为相同的距离信息(背景总括距离信息)的方式进行修正。由此，在由所修正的点群信息生成的三维图像中，例如，能够三维表现主要被摄体并且对于作为背景的被摄体而言能够二维表现。因此，用户能够三维可视主要被摄体的形状并且对于背景被摄体而言能够容易掌握其内容。其结果，根据本实施方式，能够得到用户容易理解成为背景的被摄体的内容的三维图像即可视性高的三维图像。
在上述各实施方式及各变形例中，对本发明适用数码照相机的情况进行说明。但是，若具有生成图像信息的功能，则本发明也能应用于数码摄像机、带照相机的移动电话终端等其他的照相机装置或个人电脑等图像生成装置。
本发明可以理解为：并不限定于上述的具体实施方式，只要不脱离本发明的宗旨就可以作任意修改。本发明还可以对上述的不同实施方式进行适当组合，例如，可以从上述的具体实施方式所示的全部成分中删除某些成分，此外，属于不同实施方式的成分可以适当合并。

Claims (13)

1.一种图像生成装置，包括：
修正单元，其对表示多个点信息与该多个点信息的各距离信息之间的对应关系的点群信息，进行减小所述各距离信息中属于比特定的距离信息表示的距离大的距离范围内的各距离信息的修正，其中所述多个点信息表示图像内多个被摄体的特征点；
图像信息生成单元，其基于由所述修正单元所修正的点群信息来生成用于表现三维图像的图像信息；和
显示单元，其显示基于由所述图像信息生成单元所生成的图像信息的三维图像。
2.根据权利要求1所述的图像生成装置，其特征在于，
所述图像生成装置还包括对应信息生成单元，该对应信息生成单元生成表示个数信息与所述各距离信息之间的对应关系的对应信息，所述个数信息表示对应相同的距离信息的、属于所述多个被摄体所包括的对象被摄体中的点信息的个数，
所述修正单元，包括：
检测单元，在由所述对应信息生成单元所生成的对应信息所包括的各距离信息中，检测出与成为大致最小的多个所述个数信息对应的各距离信息中第二小的距离信息，作为所述特定的距离信息；和
第一距离信息修正单元，进行减小在所述点群信息所包括的各距离信息中属于比由所述检测单元所检测出的特定的距离信息大的距离范围内的各距离信息的修正。
3.根据权利要求2所述的图像生成装置，其特征在于，
所述第一距离信息修正单元以使属于比由所述检测单元所检测出的特定的距离信息大的距离范围内的全部距离信息成为与所述特定的距离信息相同的方式进行修正。
4.根据权利要求3所述的图像生成装置，其特征在于，
所述修正单元，包括：
设置单元，在由所述对应信息生成单元所生成的对应信息所包括的各距离信息中，设置与成为大致最小的多个所述个数信息对应的各距离信息中由最小的两个距离信息所规定的距离范围作为三维显示距离范围；和
第二距离信息修正单元，为了使由所述设置单元所设置的三维显示距离范围变小，修正所述点群信息中的属于所述三维显示距离范围内的各距离信息。
5.根据权利要求1所述的图像生成装置，其特征在于，
所述修正单元包括第一距离信息修正单元，该第一距离信息修正单元进行减小所述点群信息所包括的各距离信息中属于比所述特定的距离信息大的距离范围内的各距离信息的修正，所述特定的距离信息是表示直到对焦的被摄体区域的距离的距离信息。
6.根据权利要求5所述的图像生成装置，其特征在于，
所述第一距离信息修正单元将属于比所述特定的距离信息大的距离范围内的全部距离信息修正为所述特定的距离信息。
7.根据权利要求6所述的图像生成装置，其特征在于，
所述修正单元，包括：
设置单元，将与表示直到对焦的被摄体区域的距离的距离信息相应的距离范围设置为三维显示距离范围；和
第二距离信息修正单元，为了使由所述设置单元所设置的三维显示距离范围变小，修正所述点群信息中的属于所述三维显示距离范围内的各距离信息。
8.根据权利要求1所述的图像生成装置，其特征在于，
所述修正单元包括第一距离信息修正单元，该第一距离信息修正单元进行减小所述点群信息所包括的各距离信息中属于比所述特定的距离信息大的距离范围内的各距离信息的修正，所述特定的距离信息是与景深存在的位置相应的距离信息。
9.根据权利要求8所述的图像生成装置，其特征在于，
所述第一距离信息修正单元将所述点群信息所包括的各距离信息中属于比所述特定的距离信息大的距离范围内的全部距离信息修正为所述特定的距离信息。
10.根据权利要求9所述的图像生成装置，其特征在于，
所述修正单元，包括：
设置单元，将与景深的位置对应的距离范围设置为三维显示距离范围；和
第二距离信息修正单元，为了使由所述设置单元所设置的三维显示距离范围变小，修正所述点群信息中的属于所述三维显示距离范围内的各距离信息。
11.根据权利要求1所述的图像生成装置，其特征在于，
所述修正单元包括第一距离信息修正单元，该第一距离信息修正单元进行减小所述第一点群信息所包括的各距离信息中属于比所述特定的距离信息大的距离范围内的各距离信息的修正，所述特定的距离信息是基于用户操作而确定的距离信息。
12.根据权利要求11所述的图像生成装置，其特征在于，
所述第一距离信息修正单元将所述第一点群信息所包括的各距离信息中属于比所述特定的距离信息大的距离范围内的全部距离信息修正为所述特定的距离信息。
13.一种计算机可读取的介质，其记录使计算机执行用于生成图像的处理的程序，
所述处理，包括：
通过对表示被摄体的多个点信息与该多个点信息的各距离信息之间的对应关系的第一点群信息进行减小所述各距离信息中属于比特定的距离信息大的距离范围内的各距离信息的修正，从而由第一点群信息生成第二点群信息的步骤；
基于生成的所述第二点群信息生成三维图像信息的步骤；和
显示基于生成的所述图像信息的三维图像的步骤。
CN2009101786383A 2008-09-29 2009-09-24 图像生成装置 Expired - Fee Related CN101715144B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008-250002 2008-09-29
JP2008250002A JP5338228B2 (ja) 2008-09-29 2008-09-29 画像生成装置、及びプログラム

Publications (2)

Publication Number Publication Date
CN101715144A true CN101715144A (zh) 2010-05-26
CN101715144B CN101715144B (zh) 2012-06-20

Family

ID=42057005

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009101786383A Expired - Fee Related CN101715144B (zh) 2008-09-29 2009-09-24 图像生成装置

Country Status (5)

Country Link
US (1) US8269819B2 (zh)
JP (1) JP5338228B2 (zh)
KR (1) KR101095360B1 (zh)
CN (1) CN101715144B (zh)
TW (1) TWI399972B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102999898A (zh) * 2011-09-14 2013-03-27 财团法人工业技术研究院 图像特征描述处理装置及图像特征描述处理方法
CN107948499A (zh) * 2017-10-31 2018-04-20 维沃移动通信有限公司 一种图像拍摄方法及移动终端

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5338228B2 (ja) * 2008-09-29 2013-11-13 カシオ計算機株式会社 画像生成装置、及びプログラム
EP2656613A1 (en) 2010-12-22 2013-10-30 Thomson Licensing Apparatus and method for determining a disparity estimate
JP6178066B2 (ja) 2012-11-06 2017-08-09 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法、プログラム及び情報記憶媒体
JP5682656B2 (ja) * 2013-05-09 2015-03-11 カシオ計算機株式会社 距離情報補正装置、画像生成装置、距離情報補正方法、及び、プログラム
US9955120B2 (en) * 2016-02-12 2018-04-24 Sony Interactive Entertainment LLC Multiuser telepresence interaction
CN109729721B (zh) 2017-08-29 2021-04-16 深圳市汇顶科技股份有限公司 光学测距方法以及光学测距装置
DE102018103092A1 (de) * 2018-02-12 2019-08-14 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Fokuseinstellungs-Anzeigeeinheit

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5856179A (en) * 1994-03-10 1999-01-05 Genentech, Inc. Polypeptide production in animal cell culture
JPH11508780A (ja) * 1995-05-15 1999-08-03 ライカ ミクロスコピー ジステーメ アクチエンゲゼルシャフト 視覚情報を並行検出する方法及びそのための装置並びに前記方法の使用方法
WO1997006406A1 (fr) * 1995-08-07 1997-02-20 Komatsu Ltd. Appareils de mesure de la distance et de la forme
JPH09181913A (ja) * 1995-12-26 1997-07-11 Olympus Optical Co Ltd カメラシステム
NO304715B1 (no) * 1997-05-06 1999-02-01 Dimensions As FremgangsmÕte ved bildebehandling
DE69914473D1 (de) * 1998-04-15 2004-03-04 Vincent Lauer Mikroskop für die erzeugung einer dreidimensionalen darstellung von einem objekt und bilder, die mittels dieses mikroskops erzeugt sind
US7053937B1 (en) * 1999-05-21 2006-05-30 Pentax Corporation Three-dimensional image capturing device and recording medium
JP2001290820A (ja) * 2000-01-31 2001-10-19 Mitsubishi Electric Corp 映像収集装置、映像検索装置および映像収集検索システム
JP4873794B2 (ja) * 2001-05-30 2012-02-08 オリンパス株式会社 画像処理計測装置及び計測内視鏡装置
JP3637416B2 (ja) * 2002-11-20 2005-04-13 株式会社三次元メディア ３次元計測方法、３次元計測システム、画像処理装置、及びコンピュータプログラム
US7425951B2 (en) * 2002-12-27 2008-09-16 Kabushiki Kaisha Toshiba Three-dimensional image display apparatus, method of distributing elemental images to the display apparatus, and method of displaying three-dimensional image on the display apparatus
JP4272901B2 (ja) * 2003-02-17 2009-06-03 株式会社マーキュリーシステム 画像処理装置、撮像装置およびプログラム
JP2005167310A (ja) * 2003-11-28 2005-06-23 Sharp Corp 撮影装置
JP4125252B2 (ja) * 2004-03-02 2008-07-30 株式会社東芝 画像生成装置、画像生成方法、及び画像生成プログラム
GB0410551D0 (en) * 2004-05-12 2004-06-16 Ller Christian M 3d autostereoscopic display
JP3837710B2 (ja) 2005-02-07 2006-10-25 株式会社日立製作所 デジタルカメラ
DE102005040335B4 (de) * 2005-03-10 2009-07-30 Inaba, Minoru, Oyama Digitale Stereokamera und Digitale Stereovideokamera
US7679641B2 (en) * 2006-04-07 2010-03-16 Real D Vertical surround parallax correction
TWI384413B (zh) * 2006-04-24 2013-02-01 Sony Corp An image processing apparatus, an image processing method, an image processing program, and a program storage medium
TW200809764A (en) * 2006-04-24 2008-02-16 Sony Corp Image processing device, image processing method and program recording medium
TWI321297B (en) * 2006-09-29 2010-03-01 Ind Tech Res Inst A method for corresponding, evolving and tracking feature points in three-dimensional space
TWI403868B (zh) * 2006-10-26 2013-08-01 Seereal Technologies Sa 全像顯示裝置及方法
JP5338228B2 (ja) * 2008-09-29 2013-11-13 カシオ計算機株式会社 画像生成装置、及びプログラム
JP4752918B2 (ja) * 2009-01-16 2011-08-17 カシオ計算機株式会社 画像処理装置、画像照合方法、および、プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102999898A (zh) * 2011-09-14 2013-03-27 财团法人工业技术研究院 图像特征描述处理装置及图像特征描述处理方法
CN107948499A (zh) * 2017-10-31 2018-04-20 维沃移动通信有限公司 一种图像拍摄方法及移动终端

Also Published As

Publication number Publication date
JP5338228B2 (ja) 2013-11-13
JP2010079807A (ja) 2010-04-08
US20100079579A1 (en) 2010-04-01
TWI399972B (zh) 2013-06-21
CN101715144B (zh) 2012-06-20
US8269819B2 (en) 2012-09-18
KR101095360B1 (ko) 2011-12-16
KR20100036174A (ko) 2010-04-07
TW201019707A (en) 2010-05-16

Similar Documents

Publication Publication Date Title
CN101715144B (zh) 图像生成装置
CN104243951B (zh) 图像处理设备、图像处理系统以及图像处理方法
CN102282857B (zh) 拍摄装置以及方法
CN102918858B (zh) 立体全景图像创建设备和方法、立体全景图像再现设备和方法
EP2357838B1 (en) Method and apparatus for processing three-dimensional images
US8559703B2 (en) Method and apparatus for processing three-dimensional images
CN101867723A (zh) 图像处理装置、摄像装置及图像再生装置
CN101573971B (zh) 图像记录装置和图像记录方法
JP2011166264A (ja) 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
CN102959942B (zh) 立体观看用图像拍摄装置及其控制方法
JP4692849B2 (ja) 立体画像記録装置および立体画像記録方法
CN103069818B (zh) 立体图像控制设备以及控制其操作的方法和程序
CN103649807B (zh) 成像设备
CN102739958B (zh) 图像处理装置、图像处理方法
CN103369244A (zh) 图像合成设备、图像合成方法
US20080273082A1 (en) Picture processing apparatus, picture recording apparatus, method and program thereof
JP2013175805A (ja) 表示装置および撮像装置
JP2011091463A (ja) ３ｄ撮像装置およびその動作制御方法
JP2013149300A (ja) 距離情報補正装置、画像生成装置、距離情報補正方法、及び、プログラム
CN108270978A (zh) 一种图像处理方法和装置
JP2022084116A (ja) 画像処理装置およびその制御方法、撮像装置、プログラム
TW201034441A (en) Method of establishing the depth of filed data for three-dimensional (3D) image and a system thereof
JP2013078038A (ja) 撮像装置、画像処理方法、およびプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120620

Termination date: 20210924

CF01 Termination of patent right due to non-payment of annual fee