CN108141530B - 图像处理装置、图像处理方法及介质 - Google Patents

图像处理装置、图像处理方法及介质 Download PDF

Info

Publication number
CN108141530B
CN108141530B CN201680056429.XA CN201680056429A CN108141530B CN 108141530 B CN108141530 B CN 108141530B CN 201680056429 A CN201680056429 A CN 201680056429A CN 108141530 B CN108141530 B CN 108141530B
Authority
CN
China
Prior art keywords
image
resolution enhancement
enhancement processing
unit
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680056429.XA
Other languages
English (en)
Other versions
CN108141530A (zh
Inventor
岸根庆延
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN108141530A publication Critical patent/CN108141530A/zh
Application granted granted Critical
Publication of CN108141530B publication Critical patent/CN108141530B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Geometry (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供一种能够抑制分别对镜头的弧矢方向及子午方向增强彼此不同的分辨率的处理的运算负荷的图像处理装置、图像处理方法及介质。本发明的方式中，图像处理装置(35)具备：图像获取部(40)，获取通过使用了光学系统的被摄体像的摄影而从成像元件获取的第1图像；第2图像生成部(41)，生成通过对利用图像获取部所获取的第1图像进行极坐标转换而全景展开的第2图像；及分辨率增强处理部(42)，对第2图像，进行在第2图像的水平方向和垂直方向上不对称的分辨率增强处理。

Description

图像处理装置、图像处理方法及介质
技术领域
本发明涉及一种图像处理装置、图像处理方法及程序，尤其涉及一种对全景展开的图像进行图像处理的图像处理装置、图像处理方法及程序。
背景技术
经由光学系统摄影的摄影图像有时因光学系统而引起分辨率下降。作为抑制这种分辨率下降的一个方法，有通过对摄影图像进行图像处理来增强分辨率的处理(分辨率增强处理)。
作为分辨率增强处理，已知有利用表示相对于光学系统的点光源的响应的函数即点扩散函数(PSF：Point Spread Function)来恢复已劣化的分辨率的处理(恢复处理)和增强被摄体像的轮廓的轮廓增强处理。
并且，已知有通过对摄影图像进行极坐标转换而进行全景展开的技术。例如，已知有通过对利用安全用途或医疗用途等中所使用的如视角超过 180°的鱼眼镜头或广角镜头来摄影的图像进行全景展开而转换图像的构图。
例如，专利文献1中提出有如下技术，即，对使用鱼眼镜头摄影的摄影图像，进行由基于镜头的特性的坐标轴的畸变及镜头的个体差而引起的偏离的校正，之后进行用于增强(复原)摄影图像的分辨率的处理。
并且，例如，专利文献2中公开有从全天球图像生成并显示平面图像的技术。
以往技术文献
专利文献
专利文献1：日本特开2012-204856号公报
专利文献2：日本特开2015-46171号公报
发明内容
发明要解决的技术课题
在此，通常镜头在弧矢方向和子午方向上具有不同的分辨率，因此优选在镜头的弧矢方向和子午方向上进行不同的分辨率增强处理。但是，镜头的弧矢方向及子午方向与摄影图像的水平方向及垂直方向之间的位置关系根据摄影图像的位置而发生变化，因此在镜头的弧矢方向和子午方向上进行不同的分辨率增强处理会导致对运算处理施加较大的负荷。
在上述的专利文献1中所记载的技术中，并未提及当进行分辨率增强处理时，关于镜头的弧矢方向及子午方向与摄影图像的水平方向及垂直方向之间的位置关系。
并且，专利文献2中并未提及关于分辨率增强处理。
本发明是鉴于这种情况而完成的，其目的在于提供一种能够抑制分别对镜头的弧矢方向及子午方向增强彼此不同的分辨率的处理的运算负荷的图像处理装置、图像处理方法及程序。
用于解决技术课题的手段
为了实现上述目的，本发明的一方式即图像处理装置具备：图像获取部，获取通过使用了光学系统的被摄体像的摄影而从成像元件获取的第1 图像；第2图像生成部，生成通过对利用图像获取部所获取的第1图像进行极坐标转换而全景展开的第2图像；及分辨率增强处理部，对第2图像，进行在第2图像的水平方向和垂直方向上不对称的分辨率增强处理。
根据本方式，对通过全景展开第1图像而获取的、光学系统的弧矢方向及子午方向与图像的水平方向及垂直方向对齐的第2图像，进行在第2 图像的水平方向和垂直方向上不对称的分辨率增强处理。由此，本方式能够抑制在第2图像的水平方向和垂直方向上不对称的分辨率增强处理的运算负荷。
优选，分辨率增强处理部进行的分辨率增强处理为基于光学系统的点扩散函数且使用了与第2图像相应的恢复滤波器的恢复处理。
根据本方式，对光学系统的弧矢方向及子午方向与图像的水平方向及垂直方向对齐的第2图像，进行基于光学系统的点扩散函数所设计的恢复滤波器且使用了根据第2图像的方向所设计的恢复滤波器的恢复处理。由此，本方式能够抑制恢复滤波器的设计变得复杂且能够进行恢复处理的运算负荷得到减轻的有效的恢复处理。
优选，分辨率增强处理部进行的分辨率增强处理为使用了轮廓增强滤波器的轮廓增强处理。
根据本方式，对光学系统的弧矢方向及子午方向与图像的水平方向及垂直方向对齐的第2图像，进行使用了轮廓增强滤波器的轮廓增强处理。由此，本方式能够抑制轮廓增强滤波器的设计变得复杂且能够进行恢复处理的运算负荷得到减轻的有效的恢复处理。
优选，构成光学系统的镜头为鱼眼镜头。
根据本方式，作为光学系统使用鱼眼镜头，因此能够对以广角方式摄影的图像进行分辨率增强处理。
优选，图像处理装置具备对第2图像进行畸变校正的畸变校正部，分辨率增强处理部对已进行畸变校正的第2图像进行在第2图像的水平方向和垂直方向上不对称的分辨率增强处理。
根据本方式，对使用鱼眼镜头摄影的图像进行全景展开，然后进行畸变校正及分辨率增强处理。通常，在使用鱼眼镜头摄影的图像中，关注被摄体一般映现于分辨率下降的镜头的周边部的情况较多。本方式中，在对多在镜头的周边部产生的畸变进行校正之后，进行分辨率增强处理，因此在分辨率下降的镜头的周边部也能够获得画质良好的图像。
优选，分辨率增强处理部仅对第2图像的一部分区域进行分辨率增强处理。
根据本方式，分辨率增强处理部仅对第2图像的一部分区域进行，因此例如仅对映现有关注被摄体的部分进行分辨率增强处理等，能够有效地进行分辨率增强处理。
优选，分辨率增强处理部根据第2图像的垂直方向的位置而改变分辨率增强处理的强度。
根据本方式，分辨率增强处理根据第2图像的垂直方向的位置而改变分辨率增强处理的强度，因此例如对映现有主要被摄体的部分进行较强的分辨率增强处理，而对其他部分进行较弱的分辨率增强处理等，从而能够有效地进行分辨率增强处理。
优选，分辨率增强处理部根据第2图像的垂直方向的位置而减弱分辨率增强处理的强度。
根据本方式，分辨率增强处理根据第2图像的垂直方向的位置而减弱分辨率增强处理的强度，因此例如在第2图像中的垂直方向的下侧较强地进行分辨率增强处理，在第2图像中的垂直方向的上侧较弱地进行分辨率增强处理等，从而能够进行有效的分辨率增强处理。
优选，图像处理装置具备第3图像生成部，该第3图像生成部对第2 图像进行第2图像生成部所进行的全景展开的逆处理即逆全景展开，并生成第3图像。
根据本方式，对已进行分辨率增强处理的第2图像进行逆全景展开，因此能够获得具有与第1图像相同的构图且已进行分辨率增强处理的第3 图像。
本发明的另一方式即图像处理方法包括：图像获取步骤，获取通过使用了光学系统的被摄体像的摄影而从成像元件获取的第1图像；第2图像生成步骤，生成通过对利用图像获取步骤所获取的第1图像进行极坐标转换而全景展开的第2图像；及分辨率增强处理步骤，对第2图像，进行在第2图像的水平方向和垂直方向上不对称的分辨率增强处理。
本发明的另一方式即程序使计算机执行如下步骤：图像获取步骤，获取通过使用了光学系统的被摄体像的摄影而从成像元件获取的第1图像；第2图像生成步骤，生成通过对利用图像获取步骤所获取的第1图像进行极坐标转换而全景展开的第2图像；及分辨率增强处理步骤，对第2图像，进行在第2图像的水平方向和垂直方向上不对称的分辨率增强处理。
发明效果
根据本发明，对通过全景展开第1摄影图像而获取的、光学系统的弧矢方向及子午方向与图像的水平方向及垂直方向对齐的第2图像，进行在第2图像的水平方向和垂直方向上不对称的分辨率增强处理，因此能够抑制在第2图像的水平方向和垂直方向上不对称的分辨率增强处理的运算负荷。
附图说明
图1是表示与计算机连接的数码相机的框图。
图2是表示相机主体控制器的功能结构例的框图。
图3是表示图像处理部的功能结构例的功能框图。
图4是示意地表示通过数码相机摄影被摄体像(被摄体)且通过图像获取部获取的摄影图像的图。
图5是示意地表示全景展开图像的图。
图6是表示从图像摄影到点像复原处理为止的概略的图。
图7是表示点像复原处理的一例的框图。
图8是表示恢复滤波器的例子的图。
图9是表示图像处理部的动作的流程图。
图10是表示图像处理部的功能结构例的框图。
图11是示意地表示全景展开图像及进行畸变校正的全景展开图像的图。
图12是示意地表示全景展开图像的图。
图13是关于增益的一例进行说明的图。
图14是示意地表示全景展开图像的图。
图15是表示具备EDoF光学系统的摄像模块的一方式的框图。
图16是表示EDoF光学系统的一例的图。
图17是表示基于图15所示的复原处理块的复原处理流程的一例的图。
图18是表示经由EDoF光学系统获取的图像的复原例的图。
图19表示本发明的摄影装置的一实施方式即智能手机的外观。
图20是表示图19所示的智能手机的结构的框图。
具体实施方式
参考附图对本发明的实施方式进行说明。以下的实施方式中，作为一例，对在能够与计算机(PC：个人电脑)连接的数码相机(摄像装置)中适用本发明的情况进行说明。
图1是表示与计算机连接的数码相机的框图。
数码相机10具备镜头单元12及具有成像元件26的相机主体14，镜头单元12与相机主体14经由镜头单元12的镜头单元输入输出部22及相机主体14的相机主体输入输出部30电连接。另外，数码相机10为使用于各种用途的相机，例如数码相机10不仅使用于一般摄影用途，而且还使用于安全用途(监视相机)或医疗用途(内窥镜)。
镜头单元12具备镜头16及光圈17等光学系统和控制该光学系统的光学系统操作部18。光学系统操作部18包含与镜头单元输入输出部22连接的镜头单元控制器20及操作光学系统的致动器(省略图示)。镜头单元控制器20基于经由镜头单元输入输出部22从相机主体14传送过来的控制信号，经由致动器控制光学系统，例如进行基于镜头移动的聚焦控制、变焦控制及光圈17的光圈量控制等。
相机主体14的成像元件26具有聚光用微透镜、R(红)G(绿)B(蓝) 等的滤色器及图像传感器(光电二极管；CMOS(互补型金属氧化物半导体 (Complementary Metal OxideSemiconductor))、CCD(电荷耦合器件 (Charge-Coupled Device))等)。该成像元件26将经由镜头单元12的光学系统(镜头16、光圈17等)照射的被摄体像的光转换为电信号，并将图像信号(原图像数据)传送至相机主体控制器28。另外，成像元件26能够输出彩色图像的图像信号及单色的图像信号。
本例的成像元件26通过使用了光学系统的被摄体像的摄影而输出原图像数据，该原图像数据发送至相机主体控制器28的图像处理部35。
如图2所示，相机主体控制器28具有设备控制部34及图像处理部(图像处理装置)35，集中控制相机主体14。设备控制部34例如控制来自成像元件26的图像信号(图像数据)的输出，生成用于控制镜头单元12的控制信号并经由相机主体输入输出部30发送至镜头单元12(镜头单元控制器 20)，向经由输入输出接口32连接的外部设备类(计算机60等)发送图像处理前后的图像数据(RAW数据、JPEG数据等)。并且，设备控制部34 适当地控制未图示的显示部(EVF：Electronic View Finder(电子取景器)、背面液晶显示部)等数码相机10所具备的各种设备类。
另一方面，图像处理部35能够根据需要对来自成像元件26的图像信号进行任意的图像处理。例如，在图像处理部35中适当进行传感器校正处理、去马赛克(同步化)处理、像素插值处理、色彩校正处理(偏移校正处理、白平衡校正处理、彩色矩阵处理、灰度校正处理等)、RGB图像处理 (色调校正处理、曝光校正处理等)、RGB/YCrCb转换处理及图像压缩处理等各种图像处理。
此外，图1所示的数码相机10具备摄影等中所需的其他设备类(快门等)，用户能够经由设置于相机主体14的用户界面29适当决定及变更用于摄影等的各种设定(EV值(曝光值(Exposure Value))等)。用户界面29 与相机主体控制器28(设备控制部34及图像处理部35)连接，由用户来决定及变更的各种设定反映于相机主体控制器28中的各种处理。
在相机主体控制器28中被图像处理的图像数据经由输入输出接口32 传送至计算机60等。关于从数码相机10(相机主体控制器28)传送至计算机60等的图像数据的格式并无特别限定，能够设为RAW、JPEG及TIFF 等任意格式。因此，如所谓的Exif(可交换图像文件格式(Exchangeable Image File Format))，相机主体控制器28可以使标题信息(摄影信息(摄影日期、机种、像素数、光圈值等)等)、主图像数据及缩略图图像数据等多个相关数据彼此对应而作为1个图像文件来构成，并将该图像文件发送至计算机 60。
计算机60经由相机主体14的输入输出接口32及计算机输入输出部62 与数码相机10连接，并接收从相机主体14传送过来的图像数据等数据类。计算机控制器64集中控制计算机60，对来自数码相机10的图像数据进行图像处理，并控制与经由互联网70等网络线路连接于计算机输入输出部62 的服务器80等之间的通信。计算机60具有显示器66，计算机控制器64中的处理内容等根据需要显示于显示器66中。用户通过一边确认显示器66 的显示一边操作键盘等输入构件(省略图示)，能够对计算机控制器64输入数据及命令。由此，用户能够控制计算机60及与计算机60连接的设备类(数码相机10、服务器80)。
服务器80具有服务器输入输出部82及服务器控制器84。服务器输入输出部82构成与计算机60等外部设备类之间的收发连接部，经由互联网 70等网络线路与计算机60的计算机输入输出部62连接。服务器控制器84 根据来自计算机60的控制命令信号，与计算机控制器64联动，根据需要在与计算机控制器64之间进行数据类的收发，将数据类下载到计算机60 中，进行运算处理而将其运算结果发送至计算机60。
各控制器(镜头单元控制器20、相机主体控制器28、计算机控制器64、服务器控制器84)具有控制处理所需的电路类，例如具备运算处理电路 (CPU等)及存储器等。并且，数码相机10、计算机60及服务器80之间的通信可以是有线也可以是无线。并且，可以将计算机60及服务器80构成为一体，并且，也可以省略计算机60和/或服务器80。并且，也可以使数码相机10具有与服务器80的通信功能，还可以在数码相机10与服务器 80之间直接进行数据类的收发。
[第1实施方式]
图3是表示图像处理部35的功能结构例的功能框图。
上述相机主体控制器28中所具备的图像处理部35除了上述功能以外，还具备图像获取部40、第2图像生成部41、分辨率增强处理部42及第3 图像生成部43。
图像获取部40获取通过使用了光学系统的被摄体像的摄影而从成像元件26获取的摄影图像(第1图像)。在此，摄影图像是指基于通过被摄体像的摄影而从成像元件26输出的图像数据的图像，只要是能够进行利用后述的第2图像生成部41所进行的全景展开，则并无特别限定。例如图像获取部40作为摄影图像获取已进行传感器校正处理、去马赛克处理、像素插值处理、色彩校正处理、RGB图像处理及RGB/YCrCb转换处理的图像数据。以下，关于对被YCrCb转换的图像的Y(亮度值)进行分辨率复原处理的情况进行说明。并且，图像获取部40能够获取彩色图像或单色(白黒) 图像，本发明对彩色图像及单色(白黒)图像发挥效果。
图4示意地表示通过数码相机10摄影被摄体像(被摄体)50且通过图像获取部40获取的摄影图像51。另外，关于数码相机10，图示镜头单元 12及镜头16而省略了其他部分。并且，作为镜头16示出了使用鱼眼镜头的情况。被摄体像50经由镜头16(鱼眼镜头)进行摄影，因此在摄影图像 51中产生由镜头16的特性(畸变像差)而引起的畸变。并且，在摄影图像51中，在镜头16的弧矢方向和子午方向上分辨率不同。图像获取部40将已获取的摄影图像51发送至第2图像生成部41。在此，分辨率为表示图像的模糊程度的指标，能够使用各种指标。表示图像的模糊程度的指标例如可以使用镜头16的调制传递函数(MTF：ModulationTransfer Function)。另外，图4中的“FUJIFILM Value from Innovation”为注册商标。
第2图像生成部41生成通过对利用图像获取部40所获取的摄影图像 51进行极坐标转换而全景展开的全景展开图像52(第2图像)。
图5示意地示出了从摄影图像51生成的全景展开图像52。在此，全景展开是指，通过极坐标转换而展开摄影图像51并生成全景展开图像52。具体而言，如图5所示，以摄影图像51的中心为基准的同心圆(摄影图像51 中以点线来记载)进行了大致呈直线的坐标转换的图像为全景展开图像52。另外，在此，设为大致呈直线是因为，有因制造误差等而产生不对称的畸变像差的情况，也有不能进行完全呈直线的全景展开的情况。以全景展开图像52的纵向(图中的y方向)与镜头16的子午方向对应，且全景展开图像52的横向(图中的x方向)与镜头16的弧矢方向对应的方式，在全景展开图像52中也载持有摄影图像51中的被摄体信息。另外，在图5中的摄影图像51及全景展开图像52中，将镜头16的子午方向以箭头T来表示，将镜头16的弧矢方向以箭头S来表示。
分辨率增强处理部42对全景展开图像52(第2图像)进行在全景展开图像52的水平方向和垂直方向上不对称的分辨率增强处理。具体而言，分辨率增强处理部42对全景展开图像52的图5中示出的x方向及y方向进行不同的分辨率增强处理。例如分辨率增强处理部42能够对y方向加强分辨率增强处理，而对x方向减弱分辨率增强处理。由此，能够有效地抑制全景展开图像52的y方向上的分辨率的下降。
分辨率增强处理部42对镜头16的子午方向及弧矢方向与全景展开图像52的垂直方向及水平方向对齐的图像进行分辨率增强处理，因此能够减轻分辨率增强处理的运算负荷。即，分辨率增强处理部42当对镜头16的弧矢方向及子午方向与摄影图像的水平方向及垂直方向之间的位置关系根据摄影图像51的位置而发生变化的图像(摄影图像51)进行分辨率增强处理时，需要根据摄影图像51的位置而改变分辨率增强滤波器的形状。因此，当对全景展开图像52进行分辨率增强处理时，能够抑制运算负荷。并且，这种运算负荷的减轻在动态图像中的图像处理中尤其有效。
另外，如图5所示，全景展开图像52的垂直方向(图5中的y方向) 与镜头16的子午方向对应，且全景展开图像52的水平方向(图5中的x 方向)与镜头16的弧矢方向对应的全景展开图像52为一例。例如，在全景展开图像52中，也可以使全景展开图像52的垂直方向(图5中的y方向)与镜头16的弧矢方向对应，使全景展开图像52的水平方向(图5中的x方向)与镜头16的子午方向对应。
接着，对利用分辨率增强处理部42进行的分辨率增强处理进行说明。利用分辨率增强处理部42进行的分辨率增强处理只要是增强全景展开图像 52的分辨率的(抑制模糊)处理，则并无特别限定。例如，分辨率增强处理部42使用基于光学系统的点扩散函数设计的恢复滤波器对全景展开图像 52的亮度值进行恢复处理。并且，例如，分辨率增强处理部42使用轮廓增强滤波器对全景展开图像52的亮度值进行轮廓增强处理。另外，分辨率增强处理部42也能够对去马赛克处理前的RGB图像进行分辨率增强处理。在该情况下，对全景展开的RGB图像进行分辨率增强处理。
关于分辨率增强处理部42进行的恢复处理进行说明。
图6是表示从图像摄影到点像复原处理(恢复处理)为止的概略的图。当将点像作为被摄体而进行摄影时，被摄体像经由光学系统(镜头16、光圈17等)被成像元件26(图像传感器)受光，并从成像元件26输出原图像数据Do。该原图像数据Do因源于光学系统的特性的点扩散现象而原来的被摄体像成为模糊状态的图像数据。
为了从模糊图像的原图像数据Do复原原来的被摄体像(点像)，通过对原图像数据Do进行使用了恢复滤波器F的点像复原处理P10，获得表示更接近原来的被摄体像(点像)的像(恢复图像)的恢复图像数据Dr。
由与获取原图像数据Do时的摄影条件相应的光学系统的点像信息(点扩散函数)通过规定的恢复滤波器算法P20获得点像复原处理P10中所使用的恢复滤波器F。光学系统的点像信息(点扩散函数)不仅通过镜头16 的种类，还通过光圈量、焦距、变焦量、像高、记录像素数及像素间距等各种摄影条件而发生变动，因此在计算恢复滤波器F时，获取这些摄影条件。
图7是表示点像复原处理的一例的框图。
点像复原处理P10为通过如上述使用了恢复滤波器F的滤波处理而从原图像数据Do制作恢复图像数据Dr的处理，例如由N×M(N及M为2 以上的整数)的抽头构成的实空间上的恢复滤波器F适用于处理对象的图像(图像数据)。由此，通过对分配于各抽头的滤波器系数及所对应的像素数据(原图像数据Do的处理对象像素数据及相邻像素数据)进行加权平均运算(反卷积运算)，能够计算出点像复原处理后的像素数据(恢复图像数据Dr)。通过将使用了该恢复滤波器F的加权平均处理一边依次改换对象像素，一边适用于构成图像(图像数据)的所有像素数据，能够进行点像复原处理。
通过对频率空间上的恢复滤波器进行傅里叶逆变换而能够导出由N×M 的抽头构成的实空间上的恢复滤波器。因此，通过确定成为基础的频率空间上的恢复滤波器，并指定实空间上的恢复滤波器的构成抽头数，能够适当地计算出实空间上的恢复滤波器。
图8是表示恢复滤波器的例子的图。图8(A)示出了公知的恢复滤波器E，图8(B)示出了本发明中所使用的在垂直方向和水平方向上进行不对称的处理的恢复滤波器F。
图8(A)是表示7×7的内核尺寸的恢复滤波器E的一例的图。恢复滤波器E以相对于内核中心成为旋转对称的方式设计。旋转对称的恢复滤波器E能够减少存储于存储器中的数据。例如，当为图4中所示的7×7的内核时，通过存储4×4的恢复滤波器E，能够利用其对称性而设为7×7的恢复滤波器E。
图8(B)是表示5×5的内核尺寸的恢复滤波器F的一例的图。恢复滤波器F为对全景展开图像52在水平方向和垂直方向上进行不对称的恢复处理的恢复滤波器。
并且，本方式的恢复滤波器F为与全景展开图像52相应的恢复滤波器。
即，全景展开图像52中进行反映全景展开图像52的垂直方向及水平方向与镜头16的弧矢方向和子午方向对齐的滤波器设计。
在进行分辨率增强处理的全景展开图像52中，全景展开图像52的垂直方向与镜头16的子午方向及全景展开图像52的水平方向与镜头16的弧矢方向对齐，因此通过使用如恢复滤波器F那样设计的滤波器，能够对镜头16的子午方向及弧矢方向实现运算负荷得到抑制的有效的恢复处理。
接着，关于分辨率增强处理部42进行的轮廓增强处理进行说明。
在分辨率增强处理部42进行的轮廓增强中，也与上述恢复处理相同地通过对分配于轮廓增强滤波器G的各抽头的滤波器系数及像素数据进行加权平均运算(反卷积运算)，能够计算出轮廓增强处理后的像素数据。
通过将使用了该轮廓增强滤波器的加权平均处理一边依次改换对象像素，一边适用于构成图像数据的所有像素数据，能够进行轮廓增强处理。
在此，轮廓增强处理为也包含被称为边缘增强处理或清晰度增强处理的处理的概念。另外，轮廓增强滤波器可根据公知的方法来制作。
返回到图3，第3图像生成部43对全景展开图像52进行逆全景展开，而生成逆全景展开图像(第3图像)。即，第3图像生成部43对全景展开图像52进行利用第2图像生成部41进行的全景展开的逆处理(逆全景展开)，而生成逆全景展开图像。逆全景展开图像具有与摄影图像51相同的构图且为已进行分辨率增强处理的图像。另外，第3图像生成部43能够任意地设置。例如，在只要输出全景展开图像52即可的用途中，可以不设置第3图像生成部43。
图9是表示图像处理部35的动作的流程图。
首先，图像处理部35的图像获取部40获取通过使用了光学系统的被摄体像50的摄影而从成像元件26获取的摄影图像51(第1图像)(图像获取步骤：步骤S10)。接着，第2图像生成部41通过对已获取的第1图像进行极坐标转换而进行全景展开，并生成全景展开图像52(第2图像)(第2 图像生成步骤：步骤S11)。然后，分辨率增强处理部42对全景展开图像52进行分辨率增强处理(分辨率增强步骤：步骤S12)。接着，第3图像生成部43对已进行分辨率增强处理的全景展开图像52进行逆全景展开并生成逆全景展开图像(第3图像)(步骤S13)。
上述的各结构及功能能够通过任意的硬件、软件或两者的组合来适当地实现。例如，对使计算机60执行上述处理步骤(处理进程)的程序、记录有这种程序的计算机60可读取的记录介质(非暂时性记录介质)或能够安装这种程序的计算机60也能够适用本发明。
如以上说明，本实施方式对通过全景展开摄影图像51而获取的、光学系统的弧矢方向及子午方向与图像的水平方向及垂直方向对齐的全景展开图像52，进行在全景展开图像52的水平方向和垂直方向上不对称的分辨率增强处理，因此能够抑制在全景展开图像52的水平方向和垂直方向上不对称的分辨率增强处理的运算处理的负荷。
[第2实施方式]
接着，关于本发明的第2实施方式进行说明。在本实施方式中，对已进行畸变校正的全景展开图像52进行分辨率增强处理。
图10是表示本实施方式中的图像处理部35的功能结构例的框图。本实施方式的图像处理部35由图像获取部40、第2图像生成部41、畸变校正部44、分辨率增强处理部42及第3图像生成部43构成。另外，对在图 3中已经说明的部位标注相同的符号并省略说明。
本实施方式的图像处理部35与图3所示的图像处理部35相比，在第2 图像生成部41与分辨率增强处理部42之间设置有畸变校正部44。
畸变校正部44对由第2图像生成部41生成的全景展开图像52进行畸变校正。图11示意地示出已进行全景展开图像52及畸变校正的全景展开图像53。
在此，畸变校正是指对因畸变像差而产生的变形进行校正的坐标转换处理。具体而言，如图11所示，全景展开图像52中的点线的间隔D并不均匀，但以通过畸变校正使点线的间隔D变得均匀的方式进行校正。另外，畸变像差是指被摄体的直线部分在摄影图像51中以弯曲的方式映现，当使用了鱼眼镜头或广角镜头等时，畸变像差有时会较大地产生。
如利用鱼眼镜头或广角镜头摄影的图像，在镜头的周边部映现出主要被摄体像时，通过进行这种畸变校正，能够拉伸全景展开图像52中变形的主要被摄体的图像。
分辨率增强处理部42对已进行畸变校正的全景展开图像53，进行在已进行畸变校正的全景展开图像53的水平方向和垂直方向上不对称的分辨率增强处理。分辨率增强处理部42进行的分辨率增强处理与上述的处理相同。
分辨率增强处理部42通过对已进行畸变校正的全景展开图像52进行分辨率增强处理，以映现有重要被摄体的情况较多的镜头周边部的图像被拉伸的状态进行分辨率增强处理，因此能够获取画质更好的图像。
[变形例]
接着，关于分辨率增强处理部42的变形例进行说明。本例的分辨率增强处理部42根据第2图像的垂直方向的位置而改变分辨率增强处理的强度，或仅对第2图像的一部分区域进行分辨率增强处理。
图12是示意地表示全景展开图像52的图。本例的分辨率增强处理部 42例如通过根据全景展开图像52的垂直方向的区域使用不同的滤波器来改变分辨率增强处理的增益，调节分辨率增强处理的强度。
例如，如图12所示，分辨率增强处理部42根据全景展开图像52的垂直方向的位置，通过滤波器A、滤波器B及滤波器C进行分辨率增强处理。滤波器A、滤波器B及滤波器C的增益的大小为滤波器C＞滤波器B＞滤波器A。在此，全景展开图像52的垂直方向是指与图12中的y轴平行的方向。如此，通过使用滤波器A、滤波器B及滤波器C而从全景展开图像 52的垂直方向上侧进行分辨率增强处理，根据全景展开图像52的垂直方向的位置而减弱分辨率增强处理的强度。
接着，关于分辨率增强处理的增益进行说明。当按每一频率实施相同的增益时，以下(式1)成立。
输出值＝a×输入值……(式1)
a：增益
如利用分辨率增强处理部42进行的恢复处理及轮廓增强处理等，当按每一频率实施不同的增益时，也能够以与(式1)相同的方式考虑，当按每一频率改变增益时，以下(式2)成立。
输出图像＝输入图像＊滤波器……(式2)
另外，＊是反卷积处理。
而且，也能够将对滤波器进行傅里叶变换的处理称为增益。
图13是关于滤波器的增益进行说明的图。在图13(A)中示出了图8 (A)所示的恢复滤波器E，在图13(B)中示出了对恢复滤波器E进行傅里叶变换的结果。如此，通过对实空间上的滤波器进行傅里叶变换，能够获取频率空间上的增益。
并且，除了如上述通过改变滤波器而改变分辨率增强处理的增益的方法以外，还能够使用以下方法进行增益控制。
首先，分辨率增强处理部42对全景展开图像52(输入图像)(称为全景展开图像ImgA)利用恢复滤波器F进行恢复处理，并生成已进行恢复处理的全景展开图像(称为全景展开图像ImgB)。然后，分辨率增强处理部42对全景展开图像ImgB乘以倍率(1-U)，生成全景展开图像ImgC。而且，分辨率增强处理部42通过对全景展开图像ImgA与全景展开图像ImgC进行加法，获得全景展开图像ImgD。该全景展开图像ImgD为已进行增益倍率U的分辨率增强处理的全景展开图像52。
图14是示意地表示全景展开图像52的图。本例的分辨率增强处理部 42也能够仅对第2图像的一部分区域进行分辨率增强处理。如利用鱼眼镜头或广角镜头摄影的图像，当在镜头的周边部映现有主要被摄体像(关注被摄体像)时，在全景展开图像52的垂直方向下侧(图14的y方向下侧) 存在主要被摄体的图像。在这种情况下，分辨率增强处理部42仅对主要被摄体进行分辨率增强处理，对其他部分不进行分辨率处理。由此，分辨率增强处理部42能够有效地进行分辨率处理。另外，作为在镜头的周边部映现有主要被摄体像时，可举出利用内窥镜摄影的摄影图像及用监视相机摄影的摄影图像。
＜EDoF系统中的适用例＞
上述实施方式中的复原处理为通过根据特定的摄影条件(例如，光圈值、F值、焦距、镜头种类等)对点扩散(点像模糊)进行恢复修正而复原原来的被摄体像的图像处理，但能够适用本发明的图像复原处理并不限定于上述实施方式中的复原处理。例如，对与通过具有扩展的场景(焦点) 深度(EDoF：Extended Depth of Field(扩展景深)(焦点(Focus)))的光学系统(摄影镜头等)摄影获取的图像数据相对应的复原处理，也能够适用本发明所涉及的复原处理。对以通过EDoF光学系统而景深(焦点深度) 扩展的状态摄影获取的模糊图像的图像数据进行复原处理，由此能够复原生成在广范围内对准焦点的状态的高分辨率的图像数据。在该情况下，进行基于EDoF光学系统的点扩散函数的复原滤波器(恢复滤波器)，即进行使用了具有以在扩展的景深(焦点深度)的范围内能够实现良好的图像复原的方式设定的滤波器系数的复原滤波器的复原处理(恢复处理)。
以下，对与经由EDoF光学系统摄影获取的图像数据的复原相关的系统 (EDoF系统)的一例进行说明。另外，在以下所示的例子中，关于对从去马赛克处理后的图像数据(RGB数据)所获得的亮度信号(Y数据)进行复原处理的例子进行说明，但关于进行复原处理的时刻，并无特别限定，例如也可以对“去马赛克处理前的图像数据(马赛克图像数据)”或“去马赛克处理后且亮度信号转换处理前的图像数据(去马赛克图像数据)”进行复原处理。
图15是表示具备EDoF光学系统的摄像模块101的一方式的框图。本例的摄像模块(数码相机等)101包含EDoF光学系统(镜头单元)110、成像元件112、AD(模拟数字(Analog-Digital))转换部114及复原处理块 (图像处理部)120。
图16是表示EDoF光学系统110的一例的图。本例的EDoF光学系统 110具有定焦的被固定的摄影镜头110A及配置于光瞳位置的滤光器111。滤光器111调制相位，以获得扩展的景深(焦点深度)(EDoF)的方式对 EDoF光学系统110(摄影镜头110A)进行EDoF化。如此，摄影镜头110A 及滤光器111构成调整相位而使景深扩展的镜头部。
另外，EDoF光学系统110根据需要包含其他构成要件，例如在滤光器 111的附近配设有光圈(省略图示)。并且，滤光器111可以是1片，也可以组合多片。并且，滤光器111只不过是光学相位调制构件的一例，EDoF 光学系统110(摄影镜头110A)的EDoF化可以通过其他构件来实现。例如，代替设置滤光器111，也可以通过以具有与本例的滤光器111相等的功能的方式进行镜头设计的摄影镜头110A来实现EDoF光学系统110的EDoF 化。
即，能够通过使向成像元件112的受光面的成像的波面发生变化的各种构件来实现EDoF光学系统110的EDoF化。例如，能够将“厚度发生变化的光学元件”、“折射率发生变化的光学元件(折射率分布型波面调制透镜等)”、“通过对透镜表面的编码等而厚度及折射率发生变化的光学元件(波面调制混合式透镜、在透镜面上作为相位面而形成的光学元件等)”及“能够调制光的相位分布的液晶元件(液晶空间相位调制元件等)”用作EDoF光学系统110的EDoF化构件。如此，不仅对通过光波面调制元件(滤光器 111(相位板))能够形成规则地分散的图像的情形，而且对不使用光波面调制元件而通过摄影镜头110A自身能够形成与使用了光波面调制元件的情况相同的分散图像的情形，也能够应用本发明。
图15及图16所示的EDoF光学系统110能够省略进行机械调焦的调焦机构，因此能够实现小型化，从而能够适当地搭载于带相机的移动电话及便携式信息终端。
被EDoF化的通过了EDoF光学系统110之后的光学像成像于图15所示的成像元件112，在此转换为电信号。
成像元件112由以规定的图案排列(拜耳排列、G条纹R/G完整方格 (格子旗)、蜂窝排列等)配置成矩阵状的多个像素构成，各像素包含微距透镜、滤色器(本例中为RGB滤色器)及光电二极管。经由EDoF光学系统110入射到成像元件112的受光面的光学像通过该受光面中所排列的各光电二极管而转换为与入射光量相应的量的信号电荷。而且，积蓄在各光电二极管中的R·G·B的信号电荷作为每一像素的电压信号(图像信号)而依次被输出。
AD转换部114将从成像元件112向每一像素输出的模拟R·G·B图像信号转换为数字RGB图像信号。通过AD转换部114转换为数字图像信号的数字图像信号施加于复原处理块120。
复原处理块120例如包含黑电平调整部122、白平衡增益部123、伽玛处理部124、去马赛克处理部125、RGB/YCrCb转换部126及Y信号复原处理部127。
黑电平调整部122对从AD转换部114输出的数字图像信号实施黑电平调整。黑电平调整中能够采用公知的方法。例如，当着眼于某一有效光电转换元件时，求出分别与包含该有效光电转换元件的光电转换元件行所包含的多个OB光电转换元件对应的暗电流量获取用信号的平均，并从与该有效光电转换元件对应的暗电流量获取用信号减去平均，由此进行黑电平调整。
白平衡增益部123进行与已调整黑电平数据的数字图像信号中所包含的RGB各颜色信号的白平衡增益相应的增益调整。
伽玛处理部124进行以使被白平衡调整的R、G、B图像信号成为所期望的伽玛特性的方式进行半色调等灰度校正的伽玛校正。
去马赛克处理部125对伽玛校正后的R、G、B图像信号实施去马赛克处理。具体而言，去马赛克处理部125通过对R、G、B图像信号实施颜色插值处理，而生成从成像元件112的各受光像素输出的一组图像信号(R 信号、G信号、B信号)。即，在颜色去马赛克处理之前，来自各受光像素的像素信号为R、G、B图像信号中的任一个，但在颜色去马赛克处理之后，输出与各受光像素对应的R、G、B信号这3个像素信号组。
RGB/YCrCb转换部126将被去马赛克处理的每一像素的R、G、B信号转换为亮度信号Y及色差信号Cr、Cb，并输出每一像素的亮度信号Y及色差信号Cr、Cb。
Y信号复原处理部127基于预先存储的复原滤波器，对来自 RGB/YCrCb转换部126的亮度信号Y进行复原处理。复原滤波器例如由具有7×7的内核尺寸的反卷积内核(与M＝7、N＝7的抽头数对应)及与该反卷积内核对应的运算系数(与复原增益数据、滤波器系数对应)构成，且使用于滤光器111的相位调制量的反卷积处理(反卷积运算处理)。另外，复原滤波器中，与滤光器111对应的复原滤波器存储于未图示的存储器(例如附带设置Y信号复原处理部127的存储器)中。并且，反卷积内核的内核尺寸并不限定于7×7。
接着，对基于复原处理块120的复原处理进行说明。图17是表示基于图15所示的复原处理块120的复原处理流程的一例的图。
黑电平调整部122的一输入中从AD转换部114附加有数字图像信号，另一输入中附加有黑电平数据，黑电平调整部122从数字图像信号减去黑电平数据，并将减去黑电平数据的数字图像信号输出至白平衡增益部123 (S31)。由此，数字图像信号中不包含黑电平成分，表示黑电平的数字图像信号成为0。
对黑电平调整后的图像数据依次实施基于白平衡增益部123及伽玛处理部124的处理(S32及S33)。
被伽玛校正的R、G、B信号利用去马赛克处理部125进行去马赛克处理之后，在RGB/YCrCb转换部126中转换为亮度信号Y及色差信号Cr、 Cb(S34)。
Y信号复原处理部127进行对亮度信号Y实施EDoF光学系统110的滤光器111的相位调制量的反卷积处理的复原处理(S35)。即，Y信号复原处理部127进行与以任意的处理对象的像素为中心的规定单位的像素组对应的亮度信号(在此为7×7像素的亮度信号)、及预先存储于存储器等的复原滤波器(7×7的反卷积内核及其运算系数)的反卷积处理(反卷积运算处理)。Y信号复原处理部127进行通过以覆盖成像面的整个区域的方式重复对该规定单位的每一像素组的反卷积处理而消除图像整体的像模糊的复原处理。复原滤波器根据实施反卷积处理的像素组的中心位置而设定。即，相近的像素组中适用通用的复原滤波器。而且，为了简化复原处理，优选对所有像素组适用通用的复原滤波器。
如图18的符号1311所示，通过EDoF光学系统110之后的亮度信号的点像(光学像)作为较大的点像(模糊的图像)而成像于成像元件112，但通过Y信号复原处理部127中的反卷积处理，如图18的符号1312所示，复原成较小的点像(高分辨率的图像)。
如上述，通过对去马赛克处理后的亮度信号实施复原处理，变得无需 RGB分别具有复原处理的参数，从而能够使复原处理高速化。并且，并不是分别将与位于零散位置的R·G·B像素对应的R·G·B图像信号归结为1个单位而进行反卷积处理，而是将相近的像素的亮度信号彼此归结为规定单位，并对该单位适用通用的复原滤波器而进行反卷积处理，因此复原处理的精度得到提高。另外，关于色差信号CrCb，基于肉眼的视觉特性上，即便在复原处理中没有提高分辨率，在画质上也被容许。并且，如JPEG，当以压缩形式记录图像时，色差信号以高于亮度信号的压缩率被压缩，因此缺乏通过复原处理提高分辨率的必要性。如此，能够兼顾复原精度的提高和处理的简化及高速化。
并且，能够适用本发明的方式并不限定于数码相机10、计算机60及服务器80，除了以拍摄为主要功能的相机类以外，还能够适用于除了拍摄功能以外还具备拍摄以外的其他功能(通话功能、通信功能及其他计算机功能)的移动设备类。作为能够适用本发明的另一方式，例如可举出具有相机功能的移动电话、智能手机、PDA(掌上电脑(Personal DigitalAssistants)) 及便携式游戏机。以下，关于能够适用本发明的智能手机的一例进行说明。
＜智能手机的结构＞
图19是表示本发明的摄影装置的一实施方式即智能手机201的外观的图。图19所示的智能手机201具有平板状的框体202，且在框体202的一侧表面具备作为显示部的显示面板221与作为输入部的操作面板222成为一体的显示输入部220。并且，该框体202具备扬声器231、话筒232、操作部240及相机部241。另外，框体202的结构并不限定于此，例如，能够采用显示部与输入部为独立的结构，并且还能够采用折叠结构或具有滑动机构的结构。
图20是表示图19所示的智能手机201的结构的框图。如图20所示，作为智能手机的主要构成要件，具备无线通信部210、显示输入部220、通话部230、操作部240、相机部241、存储部250、外部输入输出部260、 GPS(全球定位系统(Global Positioning System))接收部270、动作传感器部280、电源部290及主控制部200。并且，作为智能手机201的主要功能，具备经由基站装置BS及移动通信网NW进行移动无线通信的无线通信功能。
无线通信部210为按照主控制部200的命令对容纳于移动通信网NW 的基站装置BS进行无线通信的部分。使用该无线通信进行语音数据、图像数据等各种文件数据及电子邮件数据等的收发，以及Web数据及流数据等的接收。
显示输入部220为通过主控制部200的控制显示图像(静态图像及动态图像)及文字信息等而向用户传递可视的信息，并检测对显示的信息的用户操作即所谓的触摸面板，且具备显示面板221及操作面板222。
显示面板221是将LCD(液晶显示器(Liquid Crystal Display))、OELD (有机电致发光显示器(Organic Electro-Luminescence Display))等用作显示设备的部分。操作面板222为以能够视觉辨认的方式载置在显示面板221 的显示面上所显示的图像，并检测通过用户的手指或尖笔操作的一个或多个坐标的设备。若通过用户的手指或尖笔操作该设备，则将因操作而产生的检测信号输出至主控制部200。接着，主控制部200基于接收的检测信号，检测显示面板221上的操作位置(坐标)。
如图19所示，作为本发明的摄影装置的一实施方式来例示的智能手机 201的显示面板221与操作面板222成为一体而构成显示输入部220，且操作面板222以完全覆盖显示面板221的方式配置。当采用该配置时，操作面板222对显示面板221以外的区域也可以具备检测用户操作的功能。换言之，操作面板222可以具备对与显示面板221重合的重叠部分的检测区域(以下，称为显示区域)、及对与除此以外的显示面板221不重合的外缘部分的检测区域(以下，称为非显示区域)。
另外，可以使显示区域的大小与显示面板221的大小完全一致，但两者无需一定要一致。并且，操作面板222可以具备外缘部分及除此以外的内侧部分这2个感应区域。而且，外缘部分的宽度为根据框体202的大小等而适当设计的宽度。并且，作为操作面板222中所采用的位置检测方式可举出矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式及静电电容方式等，能够采用任一种方式。
通话部230具备扬声器231及话筒232，并且为将通过话筒232输入的用户的语音转换为能够通过主控制部200处理的语音数据而输出至主控制部200，或对通过无线通信部210或外部输入输出部260接收的语音数据进行解码而从扬声器231输出的部分。并且，如图19所示，例如，能够在与设置有显示输入部220的面相同的面上搭载扬声器231，并且在框体202的侧面搭载话筒232。
操作部240为使用了按键开关等的硬件键，且为接收来自用户的命令的部分。例如，如图19所示，操作部240搭载于智能手机201的框体202 的侧面，且为用手指等按下时成为开启，将手指放开时通过弹簧等的复元力成为关闭状态的按钮式开关。
存储部250为存储使主控制部200的控制程序、控制数据、应用软件、通信对象的名称及电话号码等建立对应关联的地址数据；所收发的电子邮件的数据；通过Web浏览下载的Web数据及下载的目录数据，且临时存储流数据等的部分。并且，存储部250由智能手机内置的内部存储部251及具有装卸自如的外部存储器插槽的外部存储部252构成。另外，构成存储部250的各自内部存储部251及外部存储部252使用闪存类型(flash memory type)、硬盘类型(hard disk type)、微型多媒体卡类型(multimedia card micro type)、卡类型的存储器(例如，Micro SD(注册商标)存储器等)、RAM (随机存取存储器(Random AccessMemory))及ROM(只读存储器(Read Only Memory))等存储介质来实现。
外部输入输出部260为发挥与连结于智能手机201的所有外部设备的接口的作用的部分，且为用于通过通信等(例如，(通用串行总线(Universal Serial Bus(USB)))、IEEE1394等)或网络(例如，因特网、无线LAN、蓝牙(Bluetooth)(注册商标)、RFID(射频识别(Radio Frequency Identification))、红外线通信(Infrared Data Association：IrDA)(注册商标)、 UWB(超宽带(Ultra Wideband))(注册商标)、紫蜂(ZigBee)(注册商标) 等)直接或间接地连接于其他外部设备的部分。
作为连接于智能手机201的外部设备，例如有/无线头戴式耳机、有/ 无线外部充电器、有/无线数据端口、通过卡插座连接的存储卡(Memory card)或SIM(用户识别卡(Subscriber Identity Module Card))/UIM(用户标识卡(User Identity Module Card))卡、经由音频/视频I/O(Input/Output) 端子连接的外部音频/视频设备、无线连接的外部音频/视频设备、有/无线连接的智能手机、有/无线连接的个人电脑、有/无线连接的PDA及耳机等。外部输入输出部能够使从这些外部设备传输而接收的数据传达到智能手机 201内部的各构成要件，或使智能手机201内部的数据传输到外部设备。
GPS接收部270按照主控制部200的命令接收从GPS卫星ST1～STn 发送的GPS信号，并基于接收的多个GPS信号执行定位运算处理，检测由该智能手机201的维度、经度、高度构成的位置。GPS接收部270当能够从无线通信部210或外部输入输出部260(例如，无线LAN)获取位置信息时，能够使用其位置信息检测位置。
动作传感器部280例如具备3轴加速度传感器等，并按照主控制部200 的命令检测智能手机201的物理动向。通过检测智能手机201的物理动向，检测智能手机201的移动方向及加速度。该检测结果输出至主控制部200。
电源部290为按照主控制部200的命令向智能手机201的各部供给储存在电池(未图示)中的电力的部分。
主控制部200具备微处理器，并按照存储部250存储的控制程序及控制数据进行动作，且为集中控制智能手机201的各部的部分。并且，主控制部200为了通过无线通信部210进行语音通信及数据通信而具备控制通信系统各部的移动通信控制功能及应用程序处理功能。
应用程序处理功能通过按照存储部250存储的应用软件使主控制部200 动作来实现。作为应用程序处理功能，例如有控制外部输入输出部260而与对向设备进行数据通信的红外线通信功能、进行收发电子邮件的电子邮件功能及浏览Web页面的Web浏览功能等。
并且，主控制部200具备基于接收数据及下载的流数据等图像数据(静态图像或动态图像数据)将影像显示在显示输入部220等的图像处理功能。图像处理功能是指由主控制部200解码上述图像数据并对该解码结果实施图像处理而将图像显示在显示输入部220的功能。
而且，主控制部200执行对显示面板221的显示控制、及检测通过操作部240、操作面板222的用户操作的操作检测控制。
通过显示控制的执行，主控制部200显示用于启动应用软件的图标或显示滚动条等软件键、或显示用于创建电子邮件的窗口。另外，滚动条是指用于接收对于显示面板221的显示区域中不能完整显示的大的图像等使图像显示部分移动的命令的软件键。
并且，通过操作检测控制的执行，主控制部200检测通过操作部240 的用户操作，或通过操作面板222对上述图标进行操作，或接收对上述软件键的输入，或接收通过滚动条的显示图像的滚动要求。
而且，通过操作检测控制的执行，主控制部200具备触摸面板控制功能，所述触摸面板控制功能判定相对于操作面板222的操作位置是与显示面板221重合的重叠部分(显示区域)还是除此以外的与显示面板221不重合的边缘部分(非显示区域)，并控制操作面板222的感应区域及软件键的显示位置。
并且，主控制部200检测对操作面板222的手势操作，并根据检测到的手势操作能够执行预先设定的功能。手势操作不是以往单纯的触摸操作，而是指通过手指等画出轨迹，或同时指定多个位置，或组合它们而从多个位置中的至少对其中一个画出轨迹的操作。
相机部241为使用CMOS(Complementary Metal Oxide Semiconductor) 及CCD(Charge-Coupled Device)等摄像元件进行电子摄影的数码相机。并且，相机部241通过主控制部200的控制能够将通过拍摄得到的图像数据转换为例如JPEG(联合图像专家组(Joint Photographic coding Experts Group))等压缩的图像数据而记录于存储部250，或通过外部输入输出部 260或无线通信部210进行输出。在图19所示的智能手机201中，相机部 241搭载于显示与输入部220相同的面上，但相机部241的搭载位置并不限定于此，也可以搭载于显示输入部220的背面，或可以搭载多个相机部241。另外，当搭载有多个相机部241时，能够切换到可供摄影的相机部241而进行单独摄影，或同时使用多个相机部241进行摄影。
并且，相机部241能够利用于智能手机201的各种功能。例如，能够在显示面板221上显示通过相机部241获取的图像，或作为操作面板222 的操作输入的一种而能够利用相机部241的图像。并且，当GPS接收部270 检测位置时，能够参考来自相机部241的图像来检测位置。而且，参考来自相机部241的图像，并且不使用3轴加速度传感器或并用3轴加速度传感器，能够判断智能手机201的相机部241的光轴方向或判断当前的使用环境。当然，也能够将来自相机部241的图像利用于应用软件内。
此外，能够在静态图像或动态图像的图像数据中附加通过GPS接收部 270获取的位置信息、通过话筒232获取的语音信息(通过主控制部等进行语音文本转换而可以成为文本信息)及通过动作传感器部280获取的姿势信息等而存储于存储部250，或也能够通过外部输入输出部260或无线通信部210进行输出。
另外，上述图3中进行说明的图像处理部35中的各功能例如通过主控制部200来实现。
以上，对本发明的例子进行了说明，但本发明并不限定于上述实施方式，在不脱离本发明的技术思想的范围内，能够进行各种变形是不言而喻的。
符号说明
10-数码相机，12-镜头单元，14-相机主体，16-镜头，17-光圈，26-成像元件，28-相机主体控制器，34-设备控制部，35-图像处理部，40-图像获取部， 41-第2图像生成部，42-分辨率增强处理部，43-第3图像生成部，44-畸变校正部。

Claims (12)

1.一种图像处理装置，其具备：
图像获取部，获取通过使用了光学系统的被摄体像的摄影而从成像元件获取的第1图像；
第2图像生成部，生成通过对利用所述图像获取部所获取的第1图像进行极坐标转换而全景展开的第2图像，所述第1图像中的弧矢方向及子午方向分别与所述第2图像的水平方向及垂直方向对应；及
分辨率增强处理部，对所述第2图像，进行在所述第2图像的水平方向和垂直方向上不对称的分辨率增强处理，
所述分辨率增强处理部仅对所述第2图像的垂直方向中的一部分区域进行所述分辨率增强处理，
所述第2图像的水平方向及垂直方向与所述光学系统的弧矢方向及子午方向对齐。
2.一种图像处理装置，其具备：
图像获取部，获取通过使用了光学系统的被摄体像的摄影而从成像元件获取的第1图像；
第2图像生成部，生成通过对利用所述图像获取部所获取的第1图像进行极坐标转换而全景展开的第2图像，所述第1图像中的弧矢方向及子午方向分别与所述第2图像的水平方向及垂直方向对应；及
分辨率增强处理部，对所述第2图像，进行在所述第2图像的水平方向和垂直方向上不对称的分辨率增强处理，
所述分辨率增强处理部根据所述第2图像的垂直方向的位置而改变所述分辨率增强处理的强度，
所述第2图像的水平方向及垂直方向与所述光学系统的弧矢方向及子午方向对齐。
3.根据权利要求2所述的图像处理装置，其中，
所述分辨率增强处理部根据所述第2图像的垂直方向的位置而减弱所述分辨率增强处理的强度。
4.根据权利要求1至3中任一项所述的图像处理装置，其中，
所述分辨率增强处理部进行的所述分辨率增强处理为基于所述光学系统的点扩散函数且使用了与所述第2图像相应的恢复滤波器的恢复处理。
5.根据权利要求1至3中任一项所述的图像处理装置，其中，
所述分辨率增强处理部进行的所述分辨率增强处理为使用了轮廓增强滤波器的轮廓增强处理。
6.根据权利要求1至3中任一项所述的图像处理装置，其中，
构成所述光学系统的镜头为鱼眼镜头。
7.根据权利要求6所述的图像处理装置，其具备对所述第2图像进行畸变校正的畸变校正部，
所述分辨率增强处理部对已进行所述畸变校正的所述第2图像，进行在所述第2图像的水平方向和垂直方向上不对称的分辨率增强处理。
8.根据权利要求1至3中任一项所述的图像处理装置，其具备第3图像生成部，所述第3图像生成部对所述第2图像进行所述第2图像生成部所进行的所述全景展开的逆处理即逆全景展开，并生成第3图像。
9.一种图像处理方法，其包括：
图像获取步骤，获取通过使用了光学系统的被摄体像的摄影而从成像元件获取的第1图像；
第2图像生成步骤，生成通过对利用所述图像获取步骤所获取的第1图像进行极坐标转换而全景展开的第2图像，所述第1图像中的弧矢方向及子午方向分别与所述第2图像的水平方向及垂直方向对应；及
分辨率增强处理步骤，对所述第2图像，进行在所述第2图像的水平方向和垂直方向上不对称的分辨率增强处理，
所述分辨率增强处理步骤中仅对所述第2图像的垂直方向中的一部分区域进行所述分辨率增强处理，
所述第2图像的水平方向及垂直方向与所述光学系统的弧矢方向及子午方向对齐。
10.一种计算机可读取的非暂时有形介质，记录有使计算机执行如权利要求9中所记载的图像处理方法的程序。
11.一种图像处理方法，其包括：
图像获取步骤，获取通过使用了光学系统的被摄体像的摄影而从成像元件获取的第1图像；
第2图像生成步骤，生成通过对利用所述图像获取步骤所获取的第1图像进行极坐标转换而全景展开的第2图像，所述第1图像中的弧矢方向及子午方向分别与所述第2图像的水平方向及垂直方向对应；及
分辨率增强处理步骤，对所述第2图像，进行在所述第2图像的水平方向和垂直方向上不对称的分辨率增强处理，
所述分辨率增强处理步骤中根据所述第2图像的垂直方向的位置而改变所述分辨率增强处理的强度，
所述第2图像的水平方向及垂直方向与所述光学系统的弧矢方向及子午方向对齐。
12.一种计算机可读取的非暂时有形介质，记录有使计算机执行如权利要求11中所记载的图像处理方法的程序。
CN201680056429.XA 2015-09-29 2016-08-23 图像处理装置、图像处理方法及介质 Active CN108141530B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-191075 2015-09-29
JP2015191075 2015-09-29
PCT/JP2016/074458 WO2017056787A1 (ja) 2015-09-29 2016-08-23 画像処理装置、画像処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
CN108141530A CN108141530A (zh) 2018-06-08
CN108141530B true CN108141530B (zh) 2020-06-30

Family

ID=58423174

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680056429.XA Active CN108141530B (zh) 2015-09-29 2016-08-23 图像处理装置、图像处理方法及介质

Country Status (4)

Country Link
US (1) US10559068B2 (zh)
JP (1) JP6342083B2 (zh)
CN (1) CN108141530B (zh)
WO (1) WO2017056787A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10198862B2 (en) * 2017-01-23 2019-02-05 Gopro, Inc. Methods and apparatus for providing rotated spherical viewpoints
TWI725836B (zh) * 2019-05-13 2021-04-21 香港商立景創新有限公司 影像擷取組件以及可攜式電子裝置
KR20220063575A (ko) * 2020-11-10 2022-05-17 삼성전자주식회사 색분리 렌즈 어레이를 적용한 영상 획득 장치 및 방법
CN116091307B (zh) * 2023-04-06 2023-06-20 湖北易康思科技有限公司 鱼眼图像的矫正模型的微调方法、装置及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004328506A (ja) * 2003-04-25 2004-11-18 Sony Corp 撮像装置および画像復元方法
CN102289048A (zh) * 2010-06-15 2011-12-21 夏普株式会社 透镜元件、摄像镜头以及摄像模块

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0991442A (ja) * 1995-09-27 1997-04-04 Sanyo Electric Co Ltd 部品コーナ位置検出方法および部品画像抽出方法
JP2003108998A (ja) * 2001-09-28 2003-04-11 Olympus Optical Co Ltd 画像処理方法
US7567274B2 (en) * 2002-12-09 2009-07-28 Frank Edughom Ekpar Method and apparatus for creating interactive virtual tours
US8666196B2 (en) * 2005-01-19 2014-03-04 The United States Of America As Represented By The Secretary Of The Army System and method for super-resolution imaging from a sequence of color filter array (CFA) low-resolution images
US8577184B2 (en) * 2005-01-19 2013-11-05 The United States Of America As Represented By The Secretary Of The Army System and method for super-resolution imaging from a sequence of color filter array (CFA) low-resolution images
JP2008209134A (ja) * 2007-02-23 2008-09-11 Sharp Corp 欠陥の検出装置、検出方法およびコンピュータを当該検出装置として機能させるためのプログラム
US9131128B2 (en) * 2011-09-28 2015-09-08 The United States Of America As Represented By The Secretary Of The Army System and processor implemented method for improved image quality and generating an image of a target illuminated by quantum particles
US8436909B2 (en) * 2008-10-21 2013-05-07 Stmicroelectronics S.R.L. Compound camera sensor and related method of processing digital images
JP5317891B2 (ja) 2009-08-19 2013-10-16 キヤノン株式会社 画像処理装置、画像処理方法、及びコンピュータプログラム
JP5424835B2 (ja) * 2009-11-30 2014-02-26 キヤノン株式会社 画像処理装置、画像処理方法
WO2011121763A1 (ja) * 2010-03-31 2011-10-06 キヤノン株式会社 画像処理装置、およびそれを用いた撮像装置
JP5188651B2 (ja) 2010-03-31 2013-04-24 キヤノン株式会社 画像処理装置、およびそれを用いた撮像装置
EP2584310A4 (en) * 2010-06-17 2014-07-09 Panasonic Corp IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD
JP5645556B2 (ja) * 2010-09-02 2014-12-24 三菱電機株式会社 画像処理方法および画像処理装置
US9007432B2 (en) * 2010-12-16 2015-04-14 The Massachusetts Institute Of Technology Imaging systems and methods for immersive surveillance
JP2012204856A (ja) 2011-03-23 2012-10-22 Toshiba Corp 画像処理方法及びカメラモジュール
US20130027757A1 (en) * 2011-07-29 2013-01-31 Qualcomm Incorporated Mobile fax machine with image stitching and degradation removal processing
JP5863374B2 (ja) 2011-10-11 2016-02-16 本田技研工業株式会社 画像処理方法
WO2013080552A1 (ja) * 2011-11-30 2013-06-06 パナソニック株式会社 撮像装置及び撮像システム
US9494785B2 (en) * 2012-12-07 2016-11-15 Purdue Research Foundation Single image super-resolution microscopy and telescope systems
JP2014138196A (ja) * 2013-01-15 2014-07-28 Canon Inc 画像処理装置、撮像装置および画像処理プログラム
US10674075B2 (en) * 2013-04-30 2020-06-02 Sony Corporation Image processing device, image processing method, and program
JP2015103971A (ja) * 2013-11-25 2015-06-04 株式会社東芝 固体撮像装置及びデジタルカメラ
JP5743016B2 (ja) 2014-09-29 2015-07-01 株式会社リコー 画像を生成する装置および方法
US10127463B2 (en) * 2014-11-21 2018-11-13 Magna Electronics Inc. Vehicle vision system with multiple cameras

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004328506A (ja) * 2003-04-25 2004-11-18 Sony Corp 撮像装置および画像復元方法
CN102289048A (zh) * 2010-06-15 2011-12-21 夏普株式会社 透镜元件、摄像镜头以及摄像模块

Also Published As

Publication number Publication date
US20180204311A1 (en) 2018-07-19
WO2017056787A1 (ja) 2017-04-06
JP6342083B2 (ja) 2018-06-20
CN108141530A (zh) 2018-06-08
JPWO2017056787A1 (ja) 2018-08-09
US10559068B2 (en) 2020-02-11

Similar Documents

Publication Publication Date Title
US9633417B2 (en) Image processing device and image capture device performing restoration processing using a restoration filter based on a point spread function
JP5779724B2 (ja) 画像処理装置、撮像装置、コンピュータ及びプログラム
JP5851650B2 (ja) 復元フィルタ生成装置及び方法、画像処理装置、撮像装置、復元フィルタ生成プログラム並びに記録媒体
US9906732B2 (en) Image processing device, image capture device, image processing method, and program
US9699427B2 (en) Imaging device, imaging method, and image processing device
JP5830186B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
US9619871B2 (en) Image processing device, imaging apparatus, image processing method, and program
WO2014148074A1 (ja) 復元フィルタ生成装置及び方法、画像処理装置及び方法、撮像装置、プログラム、並びに記録媒体
JP5933129B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP5870231B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
US10559068B2 (en) Image processing device, image processing method, and program processing image which is developed as a panorama
US9633418B2 (en) Image processing device, imaging apparatus, image processing method, and program
US10567647B2 (en) Image processing apparatus and image processing method
WO2014050191A1 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant