CN104247412B - 图像处理装置、摄像装置、图像处理方法、记录介质以及程序 - Google Patents

图像处理装置、摄像装置、图像处理方法、记录介质以及程序 Download PDF

Info

Publication number
CN104247412B
CN104247412B CN201380018550.XA CN201380018550A CN104247412B CN 104247412 B CN104247412 B CN 104247412B CN 201380018550 A CN201380018550 A CN 201380018550A CN 104247412 B CN104247412 B CN 104247412B
Authority
CN
China
Prior art keywords
parallax
topography
image
picture
acutance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201380018550.XA
Other languages
English (en)
Other versions
CN104247412A (zh
Inventor
岩崎洋
岩崎洋一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN104247412A publication Critical patent/CN104247412A/zh
Application granted granted Critical
Publication of CN104247412B publication Critical patent/CN104247412B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明的图像处理方法从各视点图像切出与对通过光瞳分割方式的拍摄得到的立体图像的多个视点图像所指示的裁修区域对应的局部图像，而生成由多个局部图像构成的立体局部图像，并生成表示局部图像之间的视差的视差信息，基于视差信息调整局部图像之间的视差，对于视差调整后的局部图像，调整后的视差量越小则越加强锐度，调整后的视差量越大则越减弱锐度。

Description

图像处理装置、摄像装置、图像处理方法、 记录介质以及程序
技术领域
本发明涉及在裁修(trimming)通过光瞳分割方式的拍摄而生成的立体图像的情况下能够避免损坏从立体图像的裁修区域切出的立体局部图像的立体感的图像处理装置、摄像装置、图像处理方法、记录介质以及程序。
背景技术
已知通过使观看者的左右眼分别同时看到具有视差的多个视点图像而使观看者立体观看多个视点图像的显示装置。
在专利文献1中公开了如下结构：在裁修多个视点图像而进行显示时，基于数码变焦倍率对由用户输入的视差调整量进行修正，从而能够在确保适当的立体感的状态下进行数码变焦。
在专利文献2中公开了如下结构：基于被摄体的距离信息或被摄体的视差量，以使左右图像的视差成为预定的范围的方式控制光圈的F值，从而取得对眼睛没有负担的自然的左右图像。
在专利文献3中公开了如下结构：基于视点图像的特征点的视差量，根据该视差量对在前景、背景产生的视差量进行加权调整(附加强弱)，从而能够显示特别是在立体显示打印方面优选的具有立体感的视差图像。
现有技术文献
专利文献
专利文献1：日本特开2011-29700号公报
专利文献2：日本特开2011-199502号公报
专利文献3：日本特开2011-211717号公报
但是，在用户所指示输入的任意的范围内裁修立体图像时存在当裁修范围较窄时立体感显著受损的问题，特别是在通过光瞳分割方式的拍摄而生成的立体图像的裁修中，有时成为在整体上变得模糊的图像，立体感进一步受损。
发明内容
本发明是鉴于这样的情况而作出的，其目的在于提供在裁修通过光瞳分割方式的拍摄而生成的立体图像的情况下能够避免损坏从立体图像的裁修区域切出的立体局部图像的立体感的图像处理装置、摄像装置、图像处理方法、记录介质以及程序。
为了实现上述目的，本发明提供图像处理装置，具备：图像取得单元，取得通过光瞳分割方式的拍摄而生成的由视点不同的多个视点图像构成的立体图像；指示输入单元，输入表示从立体图像的多个视点图像切出的裁修区域的指示；裁修单元，通过从立体图像的多个视点图像分别切出与裁修区域对应的局部图像，生成由视点不同的多个局部图像构成的立体局部图像；视差信息生成单元，生成表示多个局部图像的局部图像之间的视差的视差信息；视差调整单元，基于视差信息调整多个局部图像的局部图像之间的视差；及锐度变更处理单元，基于视差调整单元的调整结果，对视差的调整后的多个局部图像进行图像处理，所述图像处理中，调整后的视差量越小则越加强锐度，调整后的视差量越大则越减弱锐度。
根据本发明，在裁修通过光瞳分割方式的拍摄而生成的由视点不同的多个视点图像构成的立体图像时，生成多个视点图像之间的裁修区域(视点不同的多个局部图像)的视差信息。并且，基于该视差信息调整多个局部图像的局部图像之间的视差，并基于视差的调整结果来变更多个局部图像的锐度。因此，即使在切出因光瞳分割方式的拍摄而变得模糊的区域的情况下，也能够得到适当地变更了锐度的未损坏立体感的立体局部图像。
在一方案中，具备在立体局部图像内设定没有视差的交叉点的交叉点设定单元。由此，即使在切出与交叉点相比近距离的被摄体图像的区域的情况下、在切出与交叉点相比远距离的被摄体图像的区域的情况下，也能够得到适当的视差的立体局部图像。
在一方案中，交叉点设定单元将立体局部图像的平均视差与立体图像的平均视差一致的点设定为交叉点。由此，得到自动地设定适当的交叉点后的立体局部图像。另外，平均视差“一致”包含“大致一致的状态”。
在一方案中，锐度变更处理单元基于视差调整后的视差信息将立体局部图像划分为第一区域和视差量比第一区域大的第二区域，加强第一区域的锐度并减弱视差量比第一区域大的第二区域的锐度。由此，在立体显示立体局部图像时，视差量较小的区域的被摄体图像的锐度变强，视差量较大的区域的被摄体图像的锐度变弱。因此，能够确保视差量较小的区域的立体感，并且视差量较大的区域使重影不显眼。
在一方案中，锐度变更处理单元使用模糊函数来变更立体局部图像的锐度，所述模糊函数表示由光瞳分割方式的拍摄产生的多个视点图像的模糊的状态。由此，能够根据模糊的分布来适当地变更立体局部图像的锐度。
在一方案中，锐度变更处理单元变更立体局部图像的整体的锐度。
在一方案中，在进行放大局部图像之间的视差的处理的情况下，视差调整单元基于视差信息，检测立体局部图像内的与没有视差的交叉点相比近距离的区域和与交叉点相比远距离的区域，使近距离的区域的视差放大率比远距离的区域的视差放大率大。由此，通过使近距离的区域的被摄体图像的视差量比远距离的区域的被摄体图像的视差量大，使观看者更容易感到立体感。
在一方案中，具备放大立体局部图像的尺寸的图像放大单元，在进行放大局部图像之间的视差的处理的情况下，视差调整单元减去与由图像放大单元进行的立体局部图像的尺寸的放大相伴的视差量的增量，而确定立体局部图像的视差的放大率。
另外，本发明提供摄像装置，具备上述的图像处理装置和进行光瞳分割方式的拍摄的摄像单元。
另外，本发明提供图像处理方法，具备如下步骤：取得通过光瞳分割方式的拍摄而生成的由视点不同的多个视点图像构成的立体图像；输入表示从立体图像的多个视点图像切出的裁修区域的指示；通过从立体图像的多个视点图像分别切出与裁修区域对应的局部图像，生成由视点不同的多个局部图像构成的立体局部图像；生成表示多个局部图像的局部图像之间的视差的视差信息；基于视差信息调整多个局部图像的局部图像之间的视差；及基于视差的调整结果而对视差的调整后的多个局部图像进行图像处理，所述图像处理中，调整后的视差量越小则越加强锐度，调整后的视差量越大则越减弱锐度。
另外，本发明提供记录介质，是计算机能够读取的记录介质，在由处理器读取到存储于所述记录介质的指令的情况下，处理器执行如下步骤：取得通过光瞳分割方式的拍摄而生成的由视点不同的多个视点图像构成的立体图像；输入表示从所述立体图像的所述多个视点图像切出的裁修区域的指示；通过从所述立体图像的所述多个视点图像分别切出与所述裁修区域对应的局部图像，生成由视点不同的多个局部图像构成的立体局部图像；生成表示所述多个局部图像的局部图像之间的视差的视差信息；基于所述视差信息调整所述多个局部图像的局部图像之间的视差；及基于所述视差的调整结果而对所述视差的调整后的多个局部图像进行图像处理，所述图像处理中，调整后的视差量越小则越加强锐度，调整后的视差量越大则越减弱锐度。
另外，本发明提供程序，使计算机执行如下步骤：取得通过光瞳分割方式的拍摄而生成的由视点不同的多个视点图像构成的立体图像；输入表示从立体图像的多个视点图像切出的裁修区域的指示；通过从立体图像的多个视点图像分别切出与裁修区域对应的局部图像，生成由视点不同的多个局部图像构成的立体局部图像；生成表示多个局部图像的局部图像之间的视差的视差信息；基于视差信息调整多个局部图像的局部图像之间的视差；及基于视差的调整结果而对视差的调整后的多个局部图像进行图像处理，所述图像处理中，调整后的视差量越小则越加强锐度，调整后的视差量越大则越减弱锐度。
发明效果
根据本发明，在裁修通过光瞳分割方式的拍摄而生成的立体图像的情况下能够避免损坏从立体图像的裁修区域切出的立体局部图像的立体感。
附图说明
图1是表示适用了本发明的图像处理装置的3D数码照相机的实施方式的主视立体图。
图2是上述3D数码照相机的后视图。
图3A是表示上述3D数码照相机的摄像元件的结构例的图。
图3B是表示上述3D数码照相机的摄像元件的结构例的图(主像素)。
图3C是表示上述3D数码照相机的摄像元件的结构例的图(副像素)。
图4A是上述摄像元件的主要部分放大图。
图4B是上述摄像元件的主要部分放大图。
图5是表示上述3D数码照相机的内部结构的实施方式的框图。
图6是表示近景包含花图像、中景包含人物图像、远景包含山图像的立体图像的一例的说明图。
图7A是表示构成原立体图像的左眼用图像的一例的说明图。
图7B是表示构成原立体图像的右眼用图像的一例的说明图。
图8是表示从原立体图像中的包含中距离的图像的裁修区域切出的情况的说明图。
图9A是表示切出的左眼用局部图像的一例的说明图。
图9B是表示切出的右眼用局部图像的一例的说明图。
图10是表示从原立体图像中的包含近距离的图像的裁修区域切出的情况的说明图。
图11是表示从原立体图像中的包含远距离的图像的裁修区域切出的情况的说明图。
图12是表示从原立体图像中的包含中距离和近距离的图像的裁修区域切出的情况的说明图。
图13是表示本发明的图像处理方法的一例的处理的流程的流程图。
图14是表示原立体图像中的距离与视差的关系的说明图。
图15是从中景的裁修区域切出了局部图像的情况下的设定交叉点和放大视差的说明图。
图16是从近景的裁修区域切出了局部图像的情况下的设定交叉点和放大视差的说明图。
图17是从远景的裁修区域切出了局部图像的情况下的设定交叉点和放大视差的说明图。
图18是作为本发明的图像处理装置的其他实施方式的智能手机的外观图。
图19是表示上述智能手机的结构的框图。
具体实施方式
以下，根据附图，对本发明的实施方式，详细地进行说明。
以下，根据附图，对本发明的图像处理装置、图像处理方法、立体摄像装置以及便携式电子设备的实施方式进行说明。
<立体摄像装置的整体结构>
图1是表示适用了本发明的图像处理装置的3D数码照相机(立体摄像装置)的实施方式的主视立体图。图2是上述3D数码照相机的后视图。该3D数码照相机10是由摄像元件接收通过了镜头的光而转换为数字信号并记录于存储卡等记录介质的数码照相机。
如图1所示，3D数码照相机10在其正面配置有摄影镜头12、闪光灯1等，在上表面配置有快门按钮2、电源/模式开关3、模式拨盘4等。另一方面，如图2所示，在照相机背面配置有3D显示用的3D液晶显示器30、变焦按钮5、十字按钮6、MENU/OK(菜单/确定)按钮7、重放按钮8、BACK(返回)按钮9等。
摄影镜头12由伸缩式的变焦镜头构成，通过利用电源/模式开关3将照相机的模式设定为拍摄模式而从照相机主体伸出。闪光灯1朝向主要被摄体照射闪光。
快门按钮2利用由所谓的“半按压”和“全按压”构成的两级行程式开关构成。在以拍摄模式进行驱动时，3D数码照相机10通过该快门按钮2被“半按压”而使AE/AF(自动曝光调整/自动对焦)进行动作，通过该快门按钮2被“全按压”而执行拍摄。另外，在以拍摄模式进行驱动时，3D数码照相机10通过该快门按钮2被“全按压”而执行拍摄。
电源/模式开关3一并具有作为使3D数码照相机10的电源接通/断开的电源开关的功能和作为设定3D数码照相机10的模式的模式开关的功能。电源/模式开关3配置成在“断开位置”、“重放位置”和“拍摄位置”之间滑动自如。3D数码照相机10通过使电源/模式开关3滑动并与“重放位置”或“拍摄位置”对齐而使电源接通，通过使电源/模式开关3与“断开位置”对齐而使电源断开。并且，通过使电源/模式开关3滑动并与“重放位置”对齐而设定为“重放模式”，通过使电源/模式开关3与“拍摄位置”对齐而设定为“拍摄模式”。
模式拨盘4作为设定3D数码照相机10的拍摄模式的拍摄模式设定单元而发挥功能。通过该模式拨盘的设定位置，3D数码照相机10的拍摄模式被设定为各种模式。例如，进行平面图像的拍摄的“平面图像拍摄模式”、进行立体图像(3D图像)的拍摄的“立体图像拍摄模式”、进行动画拍摄的“动画拍摄模式”等。
3D液晶显示器30是能够通过视差栅栏将立体图像(左眼用图像和右眼用图像)分别显示作具有预定的指向性的指向性图像的立体显示单元。在立体图像输入到3D液晶显示器30的情况下，在3D液晶显示器30的视差栅栏显示层上产生由使透光部和遮光部交替地以预定间距排列的图案构成的视差栅栏，并且在其下层的图像显示面上交替地排列显示表示左右的图像的长条状的图像片段。在作为平面图像、用户界面显示面板进行利用的情况下，在视差栅栏显示层上什么也不显示，在其下层的图像显示面上直接显示一张图像。另外，3D液晶显示器30的方式不限定于此，只要使左眼用图像和右眼用图像以能够作为立体图像进行识别的方式显示即可。3D液晶显示器30的方式例如可以是使用柱面透镜的方式、用户佩戴偏光眼镜、液晶快门眼镜等专用眼镜而能够单独地观看左眼用图像和右眼用图像的方式。
变焦按钮5作为指示变焦的变焦指示单元而发挥功能，由指示向远摄侧变焦的长焦按钮5T和指示向广角侧变焦的广角按钮5W构成。3D数码照相机10在拍摄模式时通过操作该长焦按钮5T和广角按钮5W，使摄影镜头12的焦距变化。另外，在重放模式时，通过操作该长焦按钮5T和广角按钮5W，放大和缩小重放中的图像。
十字按钮6是输入上下左右这四个方向的指示的操作部，作为从菜单画面选择项目或从各菜单指示各种设定项目的选择的按钮(光标移动操作单元)而发挥功能。左/右键作为重放模式时的幅进给(正方向/反方向进给)按钮而发挥功能。
MENU/OK按钮7是兼备了作为用于进行在3D液晶显示器30的画面上显示菜单的指令的菜单按钮的功能和作为指示选择内容的确定和执行等的OK按钮的功能的操作键。
重放按钮8是用于切换为重放模式的按钮，该重放模式在3D液晶显示器30上显示所拍摄记录的立体图像(3D图像)、平面图像(2D图像)的静止画面或动画。
BACK按钮9作为指示输入操作的取消、返回前一个操作状态的按钮而发挥功能。
<摄影光学系统、摄像元件的结构例>
如图5所示，聚焦透镜12A、变焦透镜12B构成由多个透镜构成的摄影光学系统(摄影镜头12)。光圈14例如由五片光圈叶片构成，例如将光圈值(F值)连续或阶段性地光圈控制至F2～F8。机械快门15由快门驱动部35驱动，切换向摄像元件16入射的光的遮光和非遮光。在拍摄模式时，表示被摄体的图像光经由摄影镜头12、光圈14而成像于摄像元件16的受光面。
图3A至图3C是表示摄像元件16的结构例的图。
摄像元件16作为具有视差的图像(多个视点图像)检测用的CCD(Charge Coupled Device：电荷耦合元件)图像传感器而构成，具有分别呈矩阵状排列的奇数行的像素(也称作主像素、A面像素)和偶数行的像素(也称作副像素、B面像素)。由这些主、副像素分别进行光电转换而成的两画面量的图像信号能够独立读出。
如图3A至图3C所示，在摄像元件16的奇数行(1、3、5、……)上交替地设置具备R(红)、G(绿)、B(蓝)滤色器的像素中的GRGR……的像素排列的行和BGBG……的像素排列的行。另一方面，偶数行(2、4、6、……)的像素中，与奇数行同样地，交替地设置GRGR……的像素排列的行和BGBG……的像素排列的行，并且相对于偶数行的像素，像素彼此在行方向上偏移二分之一的间距而配置。
图4A和图4B是作为相位差图像传感器而发挥功能的摄像元件16的主要部分放大图。
如图4A所示，在摄像元件16的主像素的发光二极管PD的前表面侧(微透镜L侧)配置遮光部件16A。另一方面，如图4B所示，在副像素的发光二极管PD的前表面侧配置遮光部件16B。微透镜L以及遮光部件16A、16B具有作为光瞳分割单元的功能，如图4A所示，遮光部件16A对主像素(发光二极管PD)的受光面的左半部分进行遮光。因此，在主像素，仅通过摄影镜头12的出射光瞳的光束的光轴的左侧受光。另外，如图4B所示，遮光部件16B对副像素(发光二极管PD)的受光面的右半部分进行遮光。因此，在副像素，仅通过摄影镜头12的出射光瞳的光束的光轴的右侧受光。如此，通过作为光瞳分割单元的微透镜L和遮光部件16A、16B，通过出射光瞳的光束被沿左右分割，分别向主像素和副像素入射。
另外，在通过摄影镜头12的出射光瞳的光束中的与左半部分的光束对应的被摄体图像和与右半部分的光束对应的被摄体图像中，焦点对齐的部分成像于摄像元件16上的相同位置，但是向前跑焦或向后跑焦的部分分别向摄像元件16上的不同位置入射(相位偏移)。由此，能够取得与左半部分的光束对应的被摄体图像和与右半部分的光束对应的被摄体图像作为视差不同的视差图像(左眼用图像、右眼用图像)。另外，本实施方式的摄像元件16是CCD图像传感器，但是不限于此。摄像元件16例如也可以是CMOS(Complementary Metal OxideSemiconductor：互补金属氧化物半导体)型的图像传感器。
<立体摄像装置的内部结构>
图5是表示上述3D数码照相机10的内部结构的一实施方式的框图。该3D数码照相机10将拍摄的图像记录于外部记录介质54，装置整体的动作由中央处理装置(CPU)40统一控制。
在3D数码照相机10上设有包含快门按钮2、模式拨盘4、重放按钮8、MENU/OK按钮7、十字按钮6、变焦按钮5、BACK按钮9在内的操作部38。来自该操作部38的信号向CPU40输入，CPU40基于输入信号来控制3D数码照相机10的各电路，例如进行镜头驱动控制、光圈驱动控制、摄影动作控制、图像处理控制、图像数据的记录/重放控制、3D液晶显示器30的显示控制等。操作部38接收表示从构成立体图像的多个视点图像切出的裁修区域的指示的输入。
当由电源/模式开关3使3D数码照相机10的电源接通时，从未图示的电源部向各块供电，开始3D数码照相机10的驱动。
通过了聚焦透镜12A、变焦透镜12B、光圈14等的光束成像于摄像元件16，在摄像元件16中蓄积信号电荷。蓄积于摄像元件16的信号电荷根据由摄像元件控制部36基于从定时信号发生器37施加的读出信号进行的控制，作为对应于信号电荷的电压信号被读出。从摄像元件16读出的电压信号向摄像元件信号处理部18施加。
摄像元件信号处理部18对从摄像元件16输出的电压信号进行各种信号处理，并向图像输入控制器22输出。另外，在本例中，在摄像元件16内置有A/D转换器。
摄像元件信号处理部18对数字的图像信号进行偏移处理、包括白平衡校正、灵敏度校正的增益/控制处理、伽马校正处理、去马赛克处理(去马赛克算法处理)、YC处理、边缘增强处理等预定的信号处理。
在此，从摄像元件16的奇数行的主像素读出的主像素数据作为左眼用图像数据被处理，从偶数行的副像素读出的副像素数据作为右眼用图像数据被处理。
由摄像元件信号处理部18处理后的左眼用图像数据和右眼用图像数据(3D图像数据)经由图像输入控制器22而向存储器48输入。
从存储器48读出的3D图像数据在显示控制部28中被解码，向设于照相机背面的显示器30(3D液晶显示设备)输出。由此，3D的被摄体图像连续地显示在显示器30的显示画面上。
当存在操作部38的快门按钮2的第一阶段的按下(半按压)时，CPU40使AF动作和AE动作开始。并且，经由聚焦透镜驱动部32使聚焦透镜12A在光轴方向上移动，以聚焦透镜12A到达对焦位置的方式进行控制。
AF处理部42是进行对比度AF处理或相位差AF处理的部分。在进行对比度AF处理的情况下，提取左眼用图像和右眼用图像的至少一方的图像中的预定的聚焦区域内的图像的高频成分，对该高频成分进行积分，从而算出表示对焦状态的AF评价值。以该AF评价值变得极大的方式控制聚焦透镜12A，从而进行AF控制。另外，在进行相位差AF处理的情况下，检测与左眼用图像和右眼用图像中的预定的聚焦区域内的主像素、副像素对应的图像的相位差，基于表示该相位差的信息来求出散焦量。以该散焦量成为0的方式控制聚焦透镜12A，从而进行AF控制。
CPU40根据来自变焦按钮5的变焦指令而经由变焦透镜驱动部33使变焦透镜12B在光轴方向上进行进退动作，使焦距变更。
另外，在快门按钮2的半按压时从摄像元件信号处理部18输出的图像数据读入到AE处理部44。
在AE处理部44中，累积画面整体的G信号，或者累积在画面中央部和周边部进行了不同的加权后的G信号，向CPU40输出其累积值。CPU40根据从AE处理部44输入的累计值来算出被摄体的亮度(摄影Ev值)，基于该摄影Ev值，依据预定的程序线图来确定对光圈驱动部34设定的光圈14的F值以及对定时信号发生器37设定的摄像元件16的电子快门(快门速度)。
AWB处理部45分析图像，对图像进行白平衡处理。
另外，在图5中，被摄体检测部46是用于检测摄影视角内的特定的被摄体(例如脸部图像)并将包含该被摄体的区域作为AF区域、AE区域进行设定的公知的被摄体检测电路(例如日本特开平9-101579号公报)。
另外，存储器48包含除了存储照相机控制程序、摄像元件16的缺陷信息、用于图像处理等的各种参数、表格外还存储用于校正(视差校正)本发明的左眼用图像和右眼用图像的立体感的图像处理程序、滤光系数算出用的计算式或查找表、与视差、视差增强的程度对应的计算式的参数、或用于确定查找表的信息的ROM(Read-Only Memory：只读存储器)、(EEPROM(Electrically Erasable ProgrammableRead-Only Memory：带电可擦可编程只读存储器))。另外，本发明的图像处理程序等的详细情况在后面说明。
当通过快门按钮2的半按压而AE动作和AF动作终止并存在快门按钮2的第二阶段的按下(全按压)时，响应于该按下，从摄像元件16输出的与主像素和副像素对应的左视点图像(主图像)和右视点图像(副图像)的两张量的图像数据从图像输入控制器22向存储器48输入并临时存储。
临时存储于存储器48的两张量的图像数据由摄像元件信号处理部18适当读出，在此，进行包含去马赛克处理(去马赛克算法处理；对与原色滤光片的排列相伴的颜色信号的空间偏差进行插值而以去马赛克的方式转换颜色信号的处理)、本发明的视差校正和边缘增强的图像处理以及YC处理(图像数据的亮度数据以及色差数据的生成处理)在内的预定的信号处理。YC处理后的图像数据(YC数据)再次被存储于存储器48。
存储于存储器48的两张量的YC数据分别向压缩/扩展处理部26输出，执行JPEG(Joint Photographic Experts Group：联合图像专家组)等的预定的压缩处理后，再次被存储于存储器48。根据存储于存储器48的两张量的YC数据(压缩数据)生成多图像文件(MP文件：将多个图像连接的格式的文件)。该MP文件由介质控制部52读出，并记录于外部记录介质54。
闪光灯1的闪光灯泡56通过闪光控制部58的控制而发光。
图像处理部62由进行各种图像处理的电路等构成。
本例的图像处理部62构成裁修单元，该裁修单元从构成立体图像的多个视点图像分别切出与裁修区域对应的局部图像，从而生成由视点不同的多个局部图像构成的立体局部图像。另外，本例的图像处理部62构成放大立体局部图像的尺寸的图像放大单元。
视差映射图生成部64构成视差信息生成单元，该视差信息生成单元生成表示多个局部图像的局部图像之间的视差(视差分布)的视差映射图(视差信息)。
交叉点设定部66构成在立体局部图像内设定没有视差的交叉点的交叉点设定单元。本例的交叉点设定部66具有将立体局部图像的平均视差与立体图像的平均视差一致的点设定为交叉点的功能。
视差放大部68构成基于视差信息对多个局部图像的局部图像之间的视差进行调整的视差调整单元。
锐度变更处理部70构成锐度变更处理单元，该锐度变更处理单元基于视差放大部68的视差调整结果，进行变更视差调整后的多个局部图像的锐度的图像处理。本例的锐度变更处理部70形成为，调整后的视差量越小则越加强锐度，调整后的视差量越大则越减弱锐度。
另外，3D数码照相机10不仅能够取得立体图像(3D图像)，而且也能够取得平面图像(2D图像)。
<立体图像的裁修例>
接着，说明立体图像的裁修例。
图6的原立体图像80是通过光瞳分割方式拍摄到的图像，实际上由图7A和图7B所示的左眼用图像80L和右眼用图像80R构成。本例的原立体图像80包含远距离(远景)的山图像81、中距离(中景)的人物图像82、近距离(近景)的花图像83。
例如，在显示器30上显示左眼用图像80L和右眼用图像80R的至少一方，通过操作部38接收表示从原立体图像80(左眼用图像80L和右眼用图像80R)切出的裁修区域的指示的输入。在本例中，接收用户的指示输入。也可以从其他装置通过通信来接收指示的输入。
图8表示从原立体图像80中包含中距离的人物图像82的裁修区域92切出立体局部图像的情况。实际上，从图7A和图7B的左眼用图像80L和右眼用图像80R分别切出图9A和图9B所示的左眼用局部图像92L和右眼用局部图像92R。图10表示从原立体图像80中包含近距离的花图像83的裁修区域93切出立体局部图像的情况。图11表示从原立体图像80中包含远距离的山图像81的裁修区域91切出立体局部图像的情况。图12表示在原立体图像80中从包含中距离的人物图像82和近距离的花图像83的裁修区域94切出的情况。在任一情况下，都从图7A和图7B的左眼用图像80L和右眼用图像80R分别切出左眼用局部图像和右眼用局部图像。
<图像处理方法的一例>
图13是表示本发明的图像处理方法的一例的处理的流程的流程图。本处理由图5的CPU40根据程序而执行。
在图13中，以取得立体图像(步骤S1)、指定裁修范围(步骤S2)、放大裁修区域(步骤S3)、生成视差映射图(步骤S4)、设定交叉点(步骤S5)、放大视差(步骤S6)、锐度变更处理(步骤S7)的顺序执行。以除此之外的顺序进行的情况也包含于本发明。
首先，通过介质控制部52取得通过光瞳分割方式的拍摄而生成的由视点不同的多个视点图像(图7A和图7B的左眼用图像80L和右眼用图像80R)构成的原立体图像(图6的80)(步骤S1)。
接着，通过操作部38(指示输入单元)接收指定表示从原立体图像80切出的裁修区域的裁修范围的指示的输入(步骤S2)。例如，如图8所示，在从包含中景的人物图像的裁修区域92切出局部图像92L、92R的情况下，接收指定由虚线所示的裁修区域92的范围的指示输入。
接着，通过图像处理部62(图像放大单元)从原立体图像80的左眼用图像80L和右眼用图像80R分别切出裁修区域92内的局部图像92L、92R，放大该切出的裁修区域92内的局部图像92L、92R(步骤S3)。即，左眼用局部图像92L和右眼用局部图像92R分别通过图像处理而被放大。
接着，通过视差映射图生成部64(视差信息生成单元)生成被放大后的裁修区域的局部图像92L、92R中的视差映射图(步骤S4)。本例的视差映射图表示左眼用局部图像和右眼用局部图像的对应点之间的视差。
接着，通过交叉点设定部66在局部图像(裁修区域的图像)内设定没有视差的交叉点(步骤S5)，通过视差放大部68，基于局部图像中的视差映射图而对局部图像的视差进行放大(调整)(步骤S6)。视差放大量的设定以能够由显示系统显示的宽度为基准进行即可。
例如，如图8所示，在从原立体图像80以中距离的人物图像82为中心进行裁修的情况下，在人物图像82上设定有交叉点，这样保持不变的话，视差量较小，所以在局部图像92L、92R的整体上放大视差量。另外，例如，如图10所示，在从原立体图像80以近距离的花图像83为中心进行裁修的情况下，在花图像83上设定交叉点，并且这样保持不变的话，视差量较小，所以在局部图像93的整体上放大视差。另外，例如，如图11所示，从原立体图像80以远距离的山图像81为中心进行裁修的情况下，在山图像81上设定交叉点，并且这样保持不变的话，视差量较小，所以在局部图像91的整体上放大视差。
接着，通过锐度变更处理部70变更视差被放大后的立体局部图像的锐度(步骤S6)。本例的锐度变更处理部70基于步骤S6的视差放大(视差调整)后的视差映射图(视差信息)而对视差放大(视差调整)后的多个局部图像进行图像处理，该图像处理中，调整后的视差量越小则越加强锐度，调整后的视差量越大则越减弱锐度。
另外，将以设定交叉点(步骤S5)、放大视差(步骤S6)的顺序进行的情况作为例子进行了说明，但是也可以以放大视差(步骤S6)、设定交叉点(步骤S5)的顺序进行。以设定交叉点、放大视差的顺序进行时，视差的最大偏移量变小，节约存储器。
<设定交叉点和放大视差>
使用图14～图17，说明由交叉点设定部66进行的交叉点设定(步骤S5)和由视差放大部68进行的视差放大(步骤S6)。
图14表示原立体图像80中的距离(从3D数码照相机10到被摄体的距离)和视差的关系。标号101表示作为远景的山图像81的距离和视差的范围，标号102表示作为中景的人物图像82的距离和视差的范围，标号103表示作为近景的花图像83的距离和视差的范围。
在如图8所示地从包含中景的人物图像82的裁修区域92切出立体局部图像的情况下，如图15所示地进行交叉点设定和视差放大。在本例中，通过视差放大部68使视差与距离的对应关系从由标号102所示的直线变化至由标号122所示的直线。由此，视差范围从d20放大到d22(＞d20)。
在如图10所示地从包含近景的花图像83的裁修区域93切出立体局部图像的情况下，如图16所示地进行交叉点设定和视差放大。在本例中，首先，通过交叉点设定部66使视差与距离的对应关系从由标号103所示的直线变化至由标号113所示的直线(虚线)。在此，交叉点设定部66以立体局部图像的平均视差与原立体图像的平均视差一致的方式设定交叉点。接着，通过视差放大部68使视差与距离的对应关系从由标号113所示的直线变化至由标号123所示的直线。由此，视差范围从d30放大到d32(＞d30)。
在如图11所示地从包含远景的山图像81的裁修区域91切出局部图像的情况下，如图17所示地进行交叉点设定和视差放大。在本例中，首先，通过交叉点设定部66使视差与距离的对应关系从由标号101所示的直线变化至由标号111所示的直线(虚线)。在此，交叉点设定部66以立体局部图像的平均视差与原立体图像的平均视差一致的方式设定交叉点。接着，通过视差放大部68使视差与距离的对应关系从由标号111所示的直线变化至由标号121所示的直线。由此，视差范围从d10放大到d12(＞d10)。
作为由视差放大部68进行的视差放大处理，例如，也可以进行如下的图像处理：基于视点不同的局部图像之间的视差映射图(视差信息)，在立体局部图像内划分近距离区域和远距离区域，使近距离区域的视差放大率比远距离区域的视差放大率大。
另外，在通过图像处理部62(图像放大单元)放大立体局部图像的尺寸的情况下，视差放大部68减去与由图像处理部62进行的立体局部图像的尺寸的放大相伴的视差的增量，而放大立体局部图像的视差。
另外，本例的交叉点设定部66将立体局部图像的平均视差与立体图像的平均视差一致的点设定为交叉点。
<锐度变更处理>
锐度变更处理部70的锐度变更处理存在各种形式。
第一形式为，基于表示立体局部图像的左眼用局部图像和右眼用局部图像之间的视差(视差分布)的视差映射图(视差信息)即视差调整后(例如视差放大后)的视差映射图，加强立体局部图像中的调整后的视差量较小的部分的锐度，减弱调整后的视差量较大的部分的锐度。
例如，锐度变更处理部70基于视差映射图将立体局部图像划分为视差量(视差的大小)为阈值以下的小视差区域(第一区域)和视差量比阈值大的大视差区域(第二区域)，进行加强小视差区域(第一区域)的锐度的图像处理，并且进行使大视差区域(第二区域)模糊的图像处理。例如，交叉点及其附近区域变得锐利，从交叉点远离的视差量较大的区域变得模糊。
第二形式为，使用表示由光瞳分割方式的拍摄产生的多个视点图像的模糊的状态的模糊函数，基于视差调整后的视差映射图来变更立体局部图像的锐度。例如，将对应于视差调整前的视差映射图的模糊函数与视差调整后的视差映射图建立对应，基于视差调整后的视差映射图，进行复原处理作为锐度变更处理。
作为模糊函数例如利用镜头的模糊函数、点光源的模糊函数等而进行复原处理。
第三形式为，基于视差调整后的视差映射图，以相同的锐度变更处理对立体局部图像整体变更锐度。例如，调整后的立体局部图像的视差量的代表值(例如最大视差)越小则越加强立体局部图像的整体的锐度，调整后的立体局部图像的视差量的代表值(例如最大视差)越大则越减弱立体局部图像的整体的锐度。
锐度变更处理能够使用公知的技术。也可以适用维纳(Wiener)滤光片、一般逆滤光片、投影滤光片等。
<智能手机的结构>
图18表示作为本发明的便携式电子设备的其他实施方式的智能手机500的外观。图18所示的智能手机500具有平板状的壳体502，在壳体502的一侧面上具备显示输入部520，该显示输入部520是作为显示部的显示面板521和作为输入部的操作面板522成为一体而成的。另外，壳体502具备扬声器531、话筒532、操作部540和照相机部541。另外，壳体502的结构不限于此，例如也能够采用显示部和输入部独立而成的结构，或者采用具有折叠结构、滑动机构的结构
图19是表示图18所示的智能手机500的结构的框图。如图19所示，作为智能手机的主要结构要素，具备：无线通信部510、显示输入部520、通话部530、操作部540、照相机部541、存储部550、外部输入输出部560、GPS(Global Positioning System：全球定位系统)接收部570、运动传感器部580、电源部590和主控制部501。另外，作为智能手机500的主要功能，具备经由省略图示的基站装置BS和省略图示的移动通信网NW进行移动无线通信的无线通信功能。
无线通信部510根据主控制部501的指示对收容于移动通信网NW的基站装置BS进行无线通信。使用该无线通信，进行声音数据、图像数据等各种文件数据、电子邮件数据等的收发、Web数据和流数据等的接收。
显示输入部520是通过主控制部501的控制而显示图像(静止图像和动态图像)、文字信息等而在视觉上向用户传递信息并检测对于所显示的信息的用户操作的所谓操作面板，具备显示面板521和操作面板522。
显示面板521使用LCD(Liquid Crystal Display：液晶显示器)、OELD(Organic Electro-Luminescence Display：有机发光显示器)等作为显示设备。操作面板522是载置成能够目视确认显示在显示面板521的显示面上的图像并检测由用户手指、尖笔操作的一个或多个坐标的设备。当通过用户手指、尖笔来操作该设备时，因操作产生的检测信号向主控制部501输出。接着，主控制部501基于接收到的检测信号，检测显示面板521上的操作位置(坐标)。
如图18所示，智能手机500的显示面板521和操作面板522成为一体而构成显示输入部520，但是操作面板522成为完全覆盖显示面板521那样的配置。在采用该配置的情况下，操作面板522也可以具备对于显示面板521以外的区域也检测用户操作的功能。换言之，操作面板522也可以具备对于与显示面板521重叠的重叠部分的检测区域(以下称作显示区域)和对于除此之外的未与显示面板521重叠的外缘部分的检测区域(以下称作非显示区域)。
另外，也可以使显示区域的大小和显示面板521的大小完全一致，但是没必要一定使两者一致。另外，操作面板522也可以具备外缘部分和除此之外的内侧部分这两个感应区域。而且，外缘部分的宽度根据壳体502的大小等而适当设计。而且，作为在操作面板522中采用的位置检测方式，列举矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式、静电电容方式等，能够采用任一种方式。
通话部530具备扬声器531、话筒532，将通过话筒532输入的用户的声音转换为能够由主控制部501处理的声音数据并向主控制部501输出，或者对由无线通信部510或外部输入输出部560接收到的声音数据进行解码并从扬声器531输出。另外，如图18所示，例如能够将扬声器531搭载在与设有显示输入部520的面相同的面上，将话筒532搭载在壳体502的侧面。
操作部540是使用了键开关等的硬件键，接收来自用户的指示。例如，如图18所示，操作部540是搭载于智能手机500的壳体502的显示部的下部、下侧面且当由手指等按下时接通、当松开手指时通过弹簧等的回复力而成为断开状态的按钮的开关。
存储部550存储主控制部501的控制程序、控制数据、应用软件、对通信对象的名称、电话号码等建立对应而成的地址数据、收发的电子邮件的数据、通过Web浏览下载到的Web数据、下载的内容数据，另外临时存储流数据等。另外，存储部550由智能手机内置的内部存储部551和拆装自如的具有外部存储器插槽的外部存储部552构成。另外，构成存储部550的各个内部存储部551和外部存储部552使用闪存式(flash memory type)、硬盘式(hard disk type)、微型多媒体卡式(multimedia card memory type)、卡式的存储器(例如Micro SD(注册商标)存储器等)、RAM(Random Access Memory：随机存取存储器)、ROM(Read Only Memory：只读存储器)等存储介质而实现。
外部输入输出部560起到与连接于智能手机500的全部的外部设备的接口的作用，与其他外部设备通过通信等(例如，通用串行总线(USB)、IEEE1394等)或网络(例如，因特网、无线LAN、蓝牙(Bluetooth)(注册商标)、RFID(Radio Frequency Identification：无线射频识别)、红外线通信(Infrared Data Association(红外数据协会)：IrDA)(注册商标)、UWB(Ultra Wideband(超宽带))(注册商标)、紫蜂(ZigBee)(注册商标)等)而直接或间接地连接。
作为与智能手机500连接的外部设备，例如有有线/无线头戴式耳机、有线/无线外部充电器、有线/无线数据端口、经由卡槽(card socket)连接的存储卡(Memory card)、SIM(Subscriber Identity Module Card：客户识别模块卡)/UIM(User Identity Module Card：用户识别模块卡)卡、经由音频/视频I/O(Inpout/Output：输入/输出)端子连接的外部音频/视频设备、无线连接的外部音频/视频设备、有线/无线连接的智能手机、有线/无线连接的个人计算机、有线/无线连接的PDA(personaldigital assistant：个人数码助理)(移动信息通信终端)、有线/无线连接的个人计算机、耳机等。外部输入输出部560能够将这样的从外部设备接收传送的数据向智能手机500的内部的各结构要素传递、将智能手机500的内部的数据向外部设备传送。
GPS接收部570根据主控制部501的指示，接收从GPS卫星ST1～STn发送的GPS信号，执行基于接收的多个GPS信号的测位运算处理，检测该智能手机500的由纬度、经度、高度构成的位置。GPS接收部570在能够从无线通信部510、外部输入输出部560(例如无线LAN)取得位置信息时，也能够使用该位置信息来检测位置。
运动传感器部580例如具备三轴加速度传感器等，根据主控制部501的指示，检测智能手机500的物理性移动。通过检测智能手机500的物理性移动，检测智能手机500移动的方向、加速度。该检测结果向主控制部501输出。
电源部590根据主控制部501的指示向智能手机500的各部供给储存于电池(未图示)的电力。
主控制部501具备微处理器，根据存储部550所存储的控制程序、控制数据而进行动作，统一控制智能手机500的各部。另外，主控制部501为了通过无线通信部510进行声音通信、数据通信而具备控制通信系统的各部的移动通信控制功能和应用处理功能。
应用处理功能通过主控制部501根据存储部550所存储的应用软件来进行动作而实现。作为应用处理功能，例如有控制外部输入输出部560而与相对设备进行数据通信的红外线通信功能、进行电子邮件的收发的电子邮件功能、阅览网页的Web浏览功能等。
另外，主控制部501具备基于接收数据、下载的流数据等的图像数据(静止图像、动态图像的数据)将影像显示于显示输入部520等的图像处理功能。图像处理功能是指，主控制部501对上述图像数据进行解码，对该解码结果实施图像处理，将图像显示于显示输入部20的功能。
而且，主控制部501执行对显示面板521的显示控制和检测通过操作部540、操作面板522进行的用户操作的操作检测控制。
通过执行显示控制，主控制部501显示用于起动应用软件的图标、滚动条等软件键，或者显示用于生成电子邮件的窗口。另外，滚动条是指用于对于未能全部收纳在显示面板21的显示区域中的较大的图像等接收使图像的显示部分移动的指示的软件键。
另外，通过执行操作检测控制，主控制部501检测通过操作部540进行的用户操作，或通过操作面板522接收对上述图标的操作、对上述窗口的输入栏的文字列的输入，或者接收通过滚动条进行的显示图像的滚动要求。
而且，通过执行操作检测控制，主控制部501具备如下的操作面板控制功能：判定对操作面板522的操作位置是与显示面板521重叠的重叠部分(显示区域)还是除此之外的未与显示面板521重叠的外缘部分(非显示区域)，并控制操作面板522的感应区域、软件键的显示位置。
另外，主控制部501还能够检测对操作面板522的手势操作，根据所检测出的手势操作，执行预先设定的功能。手势操作非以往的单纯的接触操作，而是指，由手指等绘制轨迹，或同时指定多个位置，或者将这些进行组合，从多个位置对至少一个绘制轨迹的操作。
照相机部541是使用CMOS(Complementary Metal OxideSemiconductor：互补金属氧化物半导体)、CCD(Charge-Coupled Device：电荷耦合元件)等摄像元件进行电子摄影的数码照相机。另外，照相机部541能够通过主控制部501的控制而将通过拍摄得到的图像数据转换为例如JPEG(Joint Photographic coding Experts Group：联合图像专家组)等压缩后的图像数据，并记录在存储部550中或通过输入输出部560、无线通信部510输出。在图18所示的智能手机500中，照相机部541搭载在与显示输入部520相同的面上，但是照相机部541的搭载位置不限于此，也可以搭载在显示输入部520的背面，或者搭载多个照相机部541。另外，在搭载有多个照相机部541的情况下，也可以切换用于摄影的照相机部541而单独地进行摄影，或者同时使用多个照相机部541进行摄影。
另外，照相机部541能够利用于智能手机500的各种功能。例如，能够在显示面板521上显示由照相机部541取得到的图像、作为操作面板522的操作输入之一利用照相机部541的图像。另外，在GPS接收部570检测位置时，也能够参照来自照相机部541的图像来检测位置。而且，也能够参照来自照相机部541的图像，不使用三轴加速度传感器，或者与三轴加速度传感器并用，来判断智能手机500的照相机部541的光轴方向、判断当前的使用环境。当然，也能够在应用软件内利用来自照相机部541的图像。
主控制部501具备上述的图5的图像处理部62、视差映射图生成部64、交叉点设定部66、视差放大部68、锐度变更处理部70、CPU40等功能。
此外，也能够在静止画面或动画的图像数据上附加由GPS接收部570取得到的位置信息、由话筒532取得到的声音信息(也可以由主控制部等进行声音文本转换而成为文本信息)、由运动传感器部580取得到的姿势信息等等并记录在存储部550中，或通过输入输出部560、无线通信部510输出。
本发明能够作为用于使上述例示那样的设备进行上述的处理的计算机能够读取的程序代码、存储该程序代码的非临时性(non-transitory)且计算机能够读取的记录介质(例如，光盘(例如，CD(Compact Disc：压缩盘)、DVD(Digital Versatile Disc：数字多功能盘)、BD(Blu-rayDisc：蓝光光盘))、磁盘(例如硬盘、磁光盘))以及存储用于该方法的可执行代码的计算机程序产品进行提供。
另外，本发明不限于在本说明书中说明的例子、附图图示的例子，可以在不脱离本发明的要点的范围内进行各种设计变更、改良，这是不言而喻的。
标号说明
10 3D数码照相机(图像处理装置)
16 摄像元件
30 LCD
40 CPU
62 图像处理部
64 视差映射图生成部
66 交叉点设定部
68 视差放大部
70 锐度变更处理部
500 智能手机

Claims (10)

1.一种图像处理装置，具备：
图像取得单元，取得通过光瞳分割方式的拍摄而生成的由视点不同的多个视点图像构成的立体图像；
指示输入单元，输入表示从所述立体图像的所述多个视点图像切出的裁修区域的指示；
裁修单元，通过从所述立体图像的所述多个视点图像分别切出与所述裁修区域对应的局部图像，生成由视点不同的多个局部图像构成的立体局部图像；
视差信息生成单元，生成表示所述多个局部图像的局部图像之间的视差的视差信息；
视差调整单元，基于所述视差信息调整所述多个局部图像的局部图像之间的视差；
锐度变更处理单元，基于所述视差调整单元的调整结果，对所述视差的调整后的多个局部图像进行图像处理，所述图像处理中，调整后的视差量越小则越加强锐度，调整后的视差量越大则越减弱锐度；及
交叉点设定单元，将所述立体局部图像的平均视差与所述立体图像的平均视差一致的点设定为所述立体局部图像内的没有视差的交叉点。
2.一种图像处理装置，具备：
图像取得单元，取得通过光瞳分割方式的拍摄而生成的由视点不同的多个视点图像构成的立体图像；
指示输入单元，输入表示从所述立体图像的所述多个视点图像切出的裁修区域的指示；
裁修单元，通过从所述立体图像的所述多个视点图像分别切出与所述裁修区域对应的局部图像，生成由视点不同的多个局部图像构成的立体局部图像；
视差信息生成单元，生成表示所述多个局部图像的局部图像之间的视差的视差信息；
视差调整单元，基于所述视差信息调整所述多个局部图像的局部图像之间的视差；及
锐度变更处理单元，基于所述视差调整单元的调整结果，对所述视差的调整后的多个局部图像进行图像处理，所述图像处理中，调整后的视差量越小则越加强锐度，调整后的视差量越大则越减弱锐度，
在进行放大所述局部图像之间的视差的处理的情况下，所述视差调整单元基于所述视差信息，检测所述立体局部图像内的与没有视差的交叉点相比近距离的区域和与所述交叉点相比远距离的区域，使所述近距离的区域的视差放大率比所述远距离的区域的视差放大率大。
3.一种图像处理装置，具备：
图像取得单元，取得通过光瞳分割方式的拍摄而生成的由视点不同的多个视点图像构成的立体图像；
指示输入单元，输入表示从所述立体图像的所述多个视点图像切出的裁修区域的指示；
裁修单元，通过从所述立体图像的所述多个视点图像分别切出与所述裁修区域对应的局部图像，生成由视点不同的多个局部图像构成的立体局部图像；
视差信息生成单元，生成表示所述多个局部图像的局部图像之间的视差的视差信息；
视差调整单元，基于所述视差信息调整所述多个局部图像的局部图像之间的视差；
锐度变更处理单元，基于所述视差调整单元的调整结果，对所述视差的调整后的多个局部图像进行图像处理，所述图像处理中，调整后的视差量越小则越加强锐度，调整后的视差量越大则越减弱锐度；及
图像放大单元，放大所述立体局部图像的尺寸，
在进行放大所述局部图像之间的视差的处理的情况下，所述视差调整单元减去与由所述图像放大单元进行的所述立体局部图像的尺寸的放大相伴的视差量的增量，而确定所述立体局部图像的视差的放大率。
4.如权利要求1～3中任一项所述的图像处理装置，其中，
所述锐度变更处理单元基于所述视差信息将所述立体局部图像划分为第一区域和视差量比所述第一区域大的第二区域，加强所述第一区域内的图像的锐度并减弱视差量比所述第一区域大的所述第二区域内的图像的锐度。
5.如权利要求1～3中任一项所述的图像处理装置，其中，
所述锐度变更处理单元使用模糊函数来变更所述立体局部图像的锐度，所述模糊函数表示由所述光瞳分割方式的拍摄产生的所述多个视点图像的模糊的状态。
6.如权利要求1～3中任一项所述的图像处理装置，其中，
所述锐度变更处理单元变更所述立体局部图像的整体的锐度。
7.一种摄像装置，具备：
权利要求1～3中任一项所述的图像处理装置；及
进行所述光瞳分割方式的拍摄的摄像单元。
8.一种图像处理方法，具备如下步骤：
取得通过光瞳分割方式的拍摄而生成的由视点不同的多个视点图像构成的立体图像；
输入表示从所述立体图像的所述多个视点图像切出的裁修区域的指示；
通过从所述立体图像的所述多个视点图像分别切出与所述裁修区域对应的局部图像，生成由视点不同的多个局部图像构成的立体局部图像；
生成表示所述多个局部图像的局部图像之间的视差的视差信息；
将所述立体局部图像的平均视差与所述立体图像的平均视差一致的点设定为所述立体局部图像内的没有视差的交叉点；
基于所述视差信息调整所述多个局部图像的局部图像之间的视差；及
基于所述视差的调整结果而对所述视差的调整后的多个局部图像进行图像处理，所述图像处理中，调整后的视差量越小则越加强锐度，调整后的视差量越大则越减弱锐度。
9.一种图像处理方法，具备如下步骤：
取得通过光瞳分割方式的拍摄而生成的由视点不同的多个视点图像构成的立体图像；
输入表示从所述立体图像的所述多个视点图像切出的裁修区域的指示；
通过从所述立体图像的所述多个视点图像分别切出与所述裁修区域对应的局部图像，生成由视点不同的多个局部图像构成的立体局部图像；
生成表示所述多个局部图像的局部图像之间的视差的视差信息；
在进行放大所述局部图像之间的视差的处理的情况下，基于所述视差信息，检测所述立体局部图像内的与没有视差的交叉点相比近距离的区域和与所述交叉点相比远距离的区域，使所述近距离的区域的视差放大率比所述远距离的区域的视差放大率大；
基于所述视差信息调整所述多个局部图像的局部图像之间的视差；及
基于所述视差的调整结果而对所述视差的调整后的多个局部图像进行图像处理，所述图像处理中，调整后的视差量越小则越加强锐度，调整后的视差量越大则越减弱锐度。
10.一种图像处理方法，具备如下步骤：
取得通过光瞳分割方式的拍摄而生成的由视点不同的多个视点图像构成的立体图像；
输入表示从所述立体图像的所述多个视点图像切出的裁修区域的指示；
通过从所述立体图像的所述多个视点图像分别切出与所述裁修区域对应的局部图像，生成由视点不同的多个局部图像构成的立体局部图像；
生成表示所述多个局部图像的局部图像之间的视差的视差信息；
放大所述立体局部图像的尺寸；
在进行放大所述局部图像之间的视差的处理的情况下，减去与所述立体局部图像的尺寸的放大相伴的视差量的增量，而确定所述立体局部图像的视差的放大率；
基于所述视差信息调整所述多个局部图像的局部图像之间的视差；及
基于所述视差的调整结果而对所述视差的调整后的多个局部图像进行图像处理，所述图像处理中，调整后的视差量越小则越加强锐度，调整后的视差量越大则越减弱锐度。
CN201380018550.XA 2012-03-30 2013-02-28 图像处理装置、摄像装置、图像处理方法、记录介质以及程序 Expired - Fee Related CN104247412B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012082079 2012-03-30
JP2012-082079 2012-03-30
PCT/JP2013/055374 WO2013146067A1 (ja) 2012-03-30 2013-02-28 画像処理装置、撮像装置、画像処理方法、記録媒体及びプログラム

Publications (2)

Publication Number Publication Date
CN104247412A CN104247412A (zh) 2014-12-24
CN104247412B true CN104247412B (zh) 2016-08-24

Family

ID=49259342

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380018550.XA Expired - Fee Related CN104247412B (zh) 2012-03-30 2013-02-28 图像处理装置、摄像装置、图像处理方法、记录介质以及程序

Country Status (4)

Country Link
US (1) US9609302B2 (zh)
JP (2) JP5993937B2 (zh)
CN (1) CN104247412B (zh)
WO (1) WO2013146067A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5655174B2 (ja) * 2012-03-29 2015-01-14 富士フイルム株式会社 画像処理装置、撮像装置および画像処理方法
JP6248484B2 (ja) * 2013-09-11 2017-12-20 ソニー株式会社 立体視画像生成装置、立体視画像生成方法
US20150215530A1 (en) * 2014-01-27 2015-07-30 Microsoft Corporation Universal capture
JP7022544B2 (ja) * 2017-09-13 2022-02-18 キヤノン株式会社 画像処理装置及び方法、及び撮像装置
JP2019079193A (ja) * 2017-10-23 2019-05-23 キヤノン株式会社 情報処理装置、撮像装置、プログラム及び撮像システム
CN114269218A (zh) * 2019-08-29 2022-04-01 奥林巴斯株式会社 图像处理方法和图像处理装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2280554A2 (en) * 2009-07-21 2011-02-02 FUJIFILM Corporation Image reproducing apparatus and image reproducing method
CN102124749A (zh) * 2009-06-01 2011-07-13 松下电器产业株式会社 立体图像显示装置
CN102239697A (zh) * 2009-10-09 2011-11-09 索尼公司 图像处理装置和方法及程序
WO2011162063A1 (ja) * 2010-06-22 2011-12-29 富士フイルム株式会社 立体画像表示装置、立体画像表示方法、立体画像表示プログラムおよび記録媒体

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19720851A1 (de) * 1997-05-17 1998-11-19 Zeiss Carl Jena Gmbh Ophthalmologisches Untersuchungsgerät sowie Verfahren zu dessen Betrieb
JP4259913B2 (ja) * 2003-05-08 2009-04-30 シャープ株式会社 立体画像処理装置、立体画像処理プログラムおよびそのプログラムを記録した記録媒体
JP4442190B2 (ja) * 2003-10-24 2010-03-31 ソニー株式会社 立体視画像処理装置
JP2011211717A (ja) 2009-02-05 2011-10-20 Fujifilm Corp ３次元画像出力装置及び方法
JP4737573B2 (ja) 2009-02-05 2011-08-03 富士フイルム株式会社 ３次元画像出力装置及び方法
JP2011035712A (ja) * 2009-08-03 2011-02-17 Mitsubishi Electric Corp 画像処理装置、画像処理方法及び立体画像表示装置
JP5496185B2 (ja) 2009-08-25 2014-05-21 パナソニック株式会社 立体視画像編集装置および立体視画像編集方法
JP2011071605A (ja) * 2009-09-24 2011-04-07 Fujifilm Corp 立体撮像装置及び立体撮像方法
JP2011087234A (ja) * 2009-10-19 2011-04-28 Fujifilm Corp 撮像装置及び撮像方法
JP5565001B2 (ja) * 2010-03-04 2014-08-06 株式会社Ｊｖｃケンウッド 立体映像撮像装置、立体映像処理装置および立体映像撮像方法
JP5368350B2 (ja) 2010-03-18 2013-12-18 富士フイルム株式会社 立体撮像装置
CN102812714B (zh) * 2010-03-24 2014-04-30 富士胶片株式会社 立体图像获取装置
CN102860016A (zh) * 2010-04-19 2013-01-02 松下电器产业株式会社 立体图像拍摄装置以及立体图像拍摄方法
JP5484577B2 (ja) * 2010-06-30 2014-05-07 富士フイルム株式会社 画像処理装置、撮像装置及び画像処理方法
WO2012029298A1 (ja) * 2010-08-31 2012-03-08 パナソニック株式会社 撮影装置および画像処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102124749A (zh) * 2009-06-01 2011-07-13 松下电器产业株式会社 立体图像显示装置
EP2280554A2 (en) * 2009-07-21 2011-02-02 FUJIFILM Corporation Image reproducing apparatus and image reproducing method
CN102239697A (zh) * 2009-10-09 2011-11-09 索尼公司 图像处理装置和方法及程序
WO2011162063A1 (ja) * 2010-06-22 2011-12-29 富士フイルム株式会社 立体画像表示装置、立体画像表示方法、立体画像表示プログラムおよび記録媒体

Also Published As

Publication number Publication date
WO2013146067A1 (ja) 2013-10-03
JPWO2013146067A1 (ja) 2015-12-10
JP2017041887A (ja) 2017-02-23
JP5993937B2 (ja) 2016-09-14
US20150015672A1 (en) 2015-01-15
CN104247412A (zh) 2014-12-24
US9609302B2 (en) 2017-03-28

Similar Documents

Publication Publication Date Title
JP5931206B2 (ja) 画像処理装置、撮像装置、プログラム及び画像処理方法
CN104221370B (zh) 图像处理装置、摄像装置以及图像处理方法
CN104871058B (zh) 图像处理装置、摄像装置及图像处理方法
CN104247412B (zh) 图像处理装置、摄像装置、图像处理方法、记录介质以及程序
CN105580349A (zh) 图像处理装置、摄像装置、图像处理方法及图像处理程序
JP5901801B2 (ja) 画像処理装置、撮像装置、プログラム及び画像処理方法
US9277201B2 (en) Image processing device and method, and imaging device
JP5799178B2 (ja) 撮像装置及び合焦制御方法
US9288472B2 (en) Image processing device and method, and image capturing device
CN104885440A (zh) 图像处理装置、摄像装置、图像处理方法及图像处理程序
CN105075235A (zh) 图像处理装置、摄像装置、图像处理方法以及图像处理程序
WO2014155813A1 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
CN104737528A (zh) 摄像装置以及图像显示方法
CN104903769B (zh) 图像处理装置、摄像装置及图像处理方法
JP5901780B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160824

Termination date: 20180228

CF01 Termination of patent right due to non-payment of annual fee