CN106993111B - 摄像装置、摄像方法及记录介质 - Google Patents

摄像装置、摄像方法及记录介质 Download PDF

Info

Publication number
CN106993111B
CN106993111B CN201611175006.8A CN201611175006A CN106993111B CN 106993111 B CN106993111 B CN 106993111B CN 201611175006 A CN201611175006 A CN 201611175006A CN 106993111 B CN106993111 B CN 106993111B
Authority
CN
China
Prior art keywords
image
restoration
processing unit
restored
restoration processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611175006.8A
Other languages
English (en)
Other versions
CN106993111A (zh
Inventor
王莹
松本慎也
庄沱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN106993111A publication Critical patent/CN106993111A/zh
Application granted granted Critical
Publication of CN106993111B publication Critical patent/CN106993111B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G06T5/73—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration by non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering

Abstract

本发明提供一种能够不推测被摄体的摄影距离，而利用最佳的点扩散函数来获得高精度的复原图像的摄像装置、摄像方法、摄像程序以及记录了所述摄像程序的记录介质。摄像装置包括光学系统、配置于其后方的摄像元件、对所获取的图像数据进行图像处理及复原处理的图像复原处理部、以及输出经复原的图像的复原图像输出部，并且图像复原处理部包括贮藏利用多个点扩散函数而预先制作的多个复原滤波器的复原滤波器贮藏存储器、获得多个中间候补图像的复原滤波器处理部、以及输出最好画质的中间候补图像的图像评价部。根据本发明的摄像装置，可以不伴随着为了推测被摄体的摄影距离而需要的零件的成本上升，而利用最佳的点扩散函数来获得高精度的复原图像。

Description

摄像装置、摄像方法及记录介质
技术领域
本发明涉及一种摄像装置、摄像方法、摄像程序及记录了所述摄像程序的记录介质，特别是涉及一种可以通过模糊图像的复原而扩大景深的摄像装置、摄像方法、摄像程序及记录了所述摄像程序的记录介质。
背景技术
目前，在利用波前编码(Wavefront Coding，WFC)等特殊的光学装置的景深扩大摄影装置中，需要在一定设计范围内进行图像复原。
但是，如果摄影距离与聚焦位置相离，则实际施加至原始图像的点扩散函数(PSF：Point spread function，每隔一定距离一点点地变化)与图像复原用PSF(使用固定、聚焦位置的PSF)产生偏差，所以无法实现保持与聚焦位置相同的复原精度。即，由于摄影距离而实际施加至原始图像的PSF并不固定，由此会产生复原图像的画质劣化。
在专利文献1或专利文献2中，利用距离检测传感器或多个摄像部来计算距离，并基于与各粗算出的距离相对应的PSF数据进行复原处理。
在专利文献3中，考虑到所有的与多个散焦位置相对应的PSF而设计出使频域的均方误差最小的复原滤波器。
而且，在非专利文献1中，记载有松下(Panasonic)股份有限公司从2014年4月开始销售的数码相机中所搭载的被称为“空间识别自动对焦(auto focus，AF)”的技术。在所述技术中，基于根据模糊量的分析而求出距离的散焦深度法(Depth from Defocus，DFD)，算出从两张图像到被摄体为止的距离之后，推断出模糊模型而制作对焦图像。
在非专利文献2中，有关于图像的锐度的计算的记载。
[现有技术文献]
[专利文献]
[专利文献1]日本专利特开2011-120309号公报
[专利文献2]日本专利特开2013-162369号公报
[专利文献3]日本专利特开2015-005933号公报
[非专利文献]
[非专利文献1]“松下(Panasonic)数码相机综合目录2015/秋冬”，松下股份有限公司，2015年9月，第21页
[非专利文献2]图像清晰度评价方法研究，王鸿南等，中国图象图形学报(Research of Measurement for Digital Image Definition,WANG HongNan,...,etc,Journal of Image and Graphics)，第9卷第7期，2004年
发明内容
发明所要解决的问题
但是，在专利文献1或专利文献2所揭示的现有技术中，针对所拍摄的各图像数据中所含的各被摄体，如果不正确地推断距离信息，则无法使用准确的PSF数据，所以不能进行最佳的复原处理。因此，存在为了计算摄影距离所需要的距离检测传感器或多个摄像部所引起的成本上升的问题。
另外，在专利文献3所揭示的现有技术中，由于成为平均处理，所以不需要距离信息，但是存在如下问题，即，由于多个位置上的PSF数据的差异，即使进行在均方误差的意义上的最佳的复原处理，与利用与摄影距离相对应的PSF而得出的复原结果相比，精度也差。
鉴于现有技术的这样的问题，本发明的目的在于提供一种能够不推测被摄体的摄影距离，而利用最佳的PSF来获得高精度的复原图像的摄像装置、摄像方法、摄像程序以及记录了所述程序的记录介质。
解决问题的手段
为了实现所述目的，本发明的摄像装置包括：光学系统，包含一块以上的透镜或者所述透镜及光学元件；摄像元件，配置于比所述光学系统更后方的位置；图像复原处理部，对由所述摄像元件获取的图像数据进行图像处理及复原处理；以及复原图像输出部，输出经所述图像复原处理部复原的图像；并且所述图像复原处理部包括：复原滤波器贮藏部，贮藏利用与多个不同的距离相对应的多个点扩散函数(PSF)而预先制作的多个复原滤波器；复原滤波器处理部，获得根据所述图像数据，使用所述多个复原滤波器而分别复原的多个中间候补图像；以及图像评价部，对所述多个中间候补图像的画质分别进行评价而输出最好的中间候补图像作为复原处理结果。
在这里，所述光学系统的目的在于扩大景深，只要是利用PSF来进行复原即可。所述透镜可以是球面透镜及非球面透镜中的任一个，在多块的情况下也可以适当组合。作为所述光学元件，例如可举出光扩散板、相位板或绕射光栅等，但是并不限定于这些。
所述图像复原处理部也可以还包括：图像区域指定部，指定所述复原滤波器处理部中作为对象的图像区域；以及排除区域指定部，指定所述图像评价部应从对象中排除的区域。而且，所述图像复原处理部也可以针对每个颜色信号合成经复原的按颜色信号分类的复原图像。而且，所述图像复原处理部也可以包括由经扩散而入射至所述摄像元件的点图像函数的图案制作的如维纳(Wiener)滤波器或者有限脉冲响应(Finite ImpulseResponse，FIR)滤波器等的频率空间、图像空间、时空的滤波器。
而且，本发明的摄像装置包括：光学系统，包含一块以上的透镜或者所述透镜及光学元件；摄像元件，配置于比所述光学系统更后方的位置；图像复原处理部，对由所述摄像元件获取的图像数据进行图像处理及复原处理；以及复原图像输出部，输出经所述图像复原处理部复原的图像；并且所述图像复原处理部包括：复原滤波器贮藏部，贮藏利用与多个不同的距离相对应的多个点扩散函数而预先制作的多个复原滤波器及标准登记图像以及与它们相对应的图像锐度；图像评价部，基于对所述图像数据的画质进行评价而获得的图像锐度，从所述复原滤波器贮藏部中选择与最接近的图像锐度相对应的复原滤波器；以及复原滤波器处理部，利用所选择的复原滤波器获得复原图像。
而且，本发明的摄像方法包括：摄像工序，拍摄被摄体；以及图像复原处理工序，对在所述摄像工序中获取的图像数据进行图像处理及复原处理；并且所述图像复原处理工序包括：复原滤波器贮藏工序，贮藏利用与多个不同的距离相对应的多个点扩散函数而预先制作的多个复原滤波器；复原滤波器处理工序，获得根据所述图像数据，使用所述多个复原滤波器而分别复原的多个中间候补图像；以及图像评价工序，对所述多个中间候补图像的画质分别进行评价而输出最好的中间候补图像作为复原处理结果。
而且，本发明的摄像方法包括：摄像工序，拍摄被摄体；以及图像复原处理工序，对在所述摄像工序中获取的图像数据进行图像处理及复原处理；并且，所述图像复原处理工序包括：复原滤波器贮藏工序，贮藏利用与多个不同的距离相对应的多个点扩散函数而预先制作的多个复原滤波器及标准登记图像以及与它们相对应的图像锐度；图像评价工序，基于对所述图像数据的画质进行评价而获得的图像锐度，选择与最接近的图像锐度相对应的复原滤波器；以及复原滤波器处理工序，利用所选择的复原滤波器获得复原图像。
或者，本发明的摄像程序使计算机执行所述摄像方法。
根据这种构成的摄像程序，可以通过可执行程序的计算机来实现本发明的摄像方法。
或者，记录了本发明的摄像程序的记录介质是计算机可读取的记录介质，记录了所述摄像程序。
根据记录了这种构成的摄像程序的记录介质，容易在各种场所或环境中实现本发明的摄像方法，并且可以廉价地予以提供，能够提高本发明的摄像方法的有用性。
发明的效果
根据本发明的摄像装置，可以不伴随着为了推测被摄体的摄影距离而需要的零件的成本上升，而利用最佳的点扩散函数来获得高精度的复原图像。
根据本发明的图像复原方法，能够不推测被摄体的摄影距离，而利用最佳的点扩散函数来获得高精度的复原图像。
根据本发明的摄像程序，可以通过可执行程序的计算机来实现本发明的摄像方法。
根据记录了本发明的摄像程序的记录介质，容易在各种场所或环境中实现本发明的摄像方法，并且可以廉价地予以提供，能够提高本发明的摄像方法的有用性。
附图说明
图1是表示本发明的实施方式1的摄像装置100的概略构成的框图；
图2是说明摄像装置100的图像生成过程及图像复原过程的概略图；
图3A、图3B、图3C是关于复原用PSF与复原图像的精度的关系的说明图，图3A是高精度复原图像，图3B是有人工痕迹(Artifact)的复原图像，图3C是存在模糊的复原图像；
图4是表示图像复原处理部150的概略构成的框图；
图5是图像复原处理部150A中的复原滤波器的制作相关原理的说明图；
图6A、图6B、图6C是中间候补图像的说明图；
图7是表示图4所示的图像复原处理部150A中所含的图像评价部155的概略构成的框图；
图8是表示图像评价部155内的处理的流程图；
图9是作为图像评价部155内的处理的变形例，表示例如将三张中间候补图像作为输入图像加以具体化的并列处理的流程图；
图10A、图10B是图像人工痕迹评价的原理的说明图，图10A是通常无人工痕迹的复原图像中的图像亮度值的直方图，图10B是有人工痕迹的复原图像中的图像亮度值的直方图；
图11是表示整个图像锐度运算的流程图；
图12是表示强边缘提取方法的流程图；
图13A、图13B、图13C、图13D、图13E、图13F是比较例显示在精确聚焦位置及与之相离的位置上分别拍摄的模糊图像、现有方法的复原图像、本发明的复原图像的图；
图14是表示本发明的实施方式2的摄像装置的图像复原处理部150B的概略构成的框图；
图15是表示本发明的实施方式3的摄像装置之中与实施方式1不同的主要部分的框图；
图16A、图16B是例示通常的RGB图像复原方法的框图；
图17是表示实施方式3的RGB图像复原方法的框图；
图18是表示本发明的实施方式4的摄像装置的图像复原处理部150C的概略构成的框图；
图19是图像复原处理部150C中的复原滤波器等的制作相关原理的说明图；
图20A是表示图18所示的图像复原处理部150C中所含的图像评价部155C的概略构成的框图，图20B是表示图20A的图像评价部155C中所含的综合判断155Cc的概略构成的框图。
[符号的说明]
100：摄像装置
110：光学系统
112a：第1透镜
112b：第2透镜
112c：第3透镜
113：光阑
115：光扩散板
115b：扩散面
120：摄像元件
130：A/D转换器
140：图像处理部
141：RAW图像存储器
142：卷积运算部
150、150A、150B、150C：图像复原处理部
151：反卷积运算部
152：图像缓冲存储器
153、153B、153C：复原滤波器处理部
154、154C：复原滤波器贮藏存储器
155、155B、155C：图像评价部
155a：图像锐度运算
155b：图像人工痕迹评价
155c、155Cc：综合判断
155Ca：图像锐度运算
155Cc1：锐度值比较
155Cc2：复原滤波器
156：中间候补图像缓冲存储器
157：图像区域指定
158：被摄体边缘指定
159：复原图像缓冲存储器
159C：复原滤波器缓冲器
160：复原图像输出部
171：RGB图像分解部
172：RGB图像合成部
S80、S81、S82、S83、S84、S85、S86、S87、S88、S89、S111、S112、S113、S121、S122、S123、S124：步骤
具体实施方式
以下，参照附图，对本发明的若干实施方式进行说明。
实施方式1
图1是表示本发明的实施方式1的摄像装置100的概略构成的框图。再者，在以下的说明中，将光线向光学系统110入射之侧称为“前面”(图中为左边)，将光线从光学系统110射出之侧称为“后面”(图中为右边)。
如图1所示，摄像装置100包括：光学系统110；摄像元件120，配置于比所述光学系统110更后方的位置；模拟到数字(analog to digital，A/D)转换器130，将从所述摄像元件120输出的模拟信号转换成数字信号；图像处理部140，包含原始(RAW)图像存储器141及卷积运算部142，并且对从A/D转换器130输出的数字信号的图像数据进行图像处理；图像复原处理部150，包含反卷积运算部151，并且对经图像处理部140进行图像处理后的图像数据进行复原处理；以及复原图像输出部160，输出经所述图像复原处理部150复原的图像。
光学系统110包括透镜112a、透镜112b、透镜112c、配置于第2透镜112b的正前方的光阑113、以及配置于比第1透镜112a更前方的位置的光扩散板115。
在这里，将第1透镜112a及第3透镜112c设为凸透镜，将第2透镜112b设为凹透镜，但是并不限于这种组合，只要整体的透镜块数也是两块以上即可，不一定限于三块。而且，也可以是球面透镜及非球面透镜中的任一个，在多块的情况下也可以适当组合。光扩散板115是一种光学元件，也可以是相位板或绕射元件等其它光学元件。其配置也不限于比第1透镜112a更前方的位置，例如也可以是第3透镜112c的后方。
光阑113是孔径光阑，但是其配置不一定限于图示的位置。
光扩散板115的前面为平面，其后面成为扩散面115b。其配置不一定限于图示的位置，也可以配置于第3透镜112c的后方。
作为摄像元件120，可举出电荷耦合器件(charge coupled device，CCD)传感器、互补金属氧化物半导体(complementary metal oxide semiconductor，CMOS)传感器、金属氧化物半导体(metal oxide semiconductor，MOS)传感器等，但是并不限定于这些。当摄像元件120能够直接输出数字信号而非模拟信号时，可以省略A/D转换器130。
图像处理部140及图像复原处理部150也不一定需要独立，也可以合并为一个。
在图像复原处理部150的反卷积运算部151中，例如，也可以利用维纳滤波器或FIR滤波器等进行运算，但是并不限于这些滤波器。
图2是说明摄像装置100的图像生成过程及图像复原过程的概略图。图3A、图3B、图3C是关于复原用PSF与复原图像的精度的关系的说明图，图3A是高精度复原图像，图3B是有人工痕迹的复原图像，图3C是存在模糊的复原图像。再者，所谓人工痕迹，是指在观测或分析的阶段中产生的数据的错误(error)或信号的变形。
如图2所示，在空间区域内，根据原始图像f(x,y)及PSF而获得观测图像g(x,y)。在频域中，利用经傅立叶变换(Fourier transformation)的观测图像的功率谱(powerspectrum)G(u,v)及维纳滤波器的功率谱W(u,v)的乘法而获得复原图像的功率谱Fr(u,v)，然后通过对其进行逆傅立叶变换而获得复原图像fr(x,y)。
维纳滤波器作为多个图像复原方法的一例被广泛利用(例如，参照专利文献2)。简而言之，维纳滤波器是使复原图像与原始图像的误差最小的逆滤波器(inverse filter)，可利用底下的式子表示：
在这里，H表示PSF的傅立叶变换。Sf及Sn是原始图像f及图像上噪声n的功率谱分布。
图像的复原结果取决于H的精度，即，取决于复原用PSF与实际施加至原始图像的PSF接近于何种程度。
图3A所示的高精度复原图像是在利用由适当的PSF生成的复原滤波器时，更具体而言，是在复原用PSF与实际施加至原始图像的PSF大致一致时所获得的复原图像。
图3B所示的有人工痕迹的复原图像是在利用由不适当的PSF生成的复原滤波器时，更具体而言，是在复原用PSF具有比实际施加至原始图像的PSF更高的功率谱时所获得的复原图像，产生了因为过度修正而导致的码周边的曝光过度状态。
图3C所示的存在模糊的复原图像是在利用由不适当的PSF生成的复原滤波器时，更具体而言，是在复原用PSF具有比实际施加至原始图像的PSF更低的功率谱时所获得的复原图像。
图4是表示图像复原处理部150A的概略构成的框图。图5是图像复原处理部150A中的复原滤波器的制作相关原理的说明图。图6A、图6B、图6C是中间候补图像的说明图。
如图4所示，图像复原处理部150A包括：图像缓冲存储器152，从摄像元件120接收图像数据；复原滤波器贮藏存储器154，贮藏预先求出的复原滤波器；复原滤波器处理部153，利用从图像缓冲存储器152接收到的图像数据及贮藏于复原滤波器贮藏存储器154中的复原滤波器进行复原滤波器的处理；以及图像评价部155，进行经所述复原滤波器处理部153处理的复原图像的评价，并且发送至复原图像缓冲存储器159。
图像复原处理部150A中的整体处理的概略如下(也参照图5)。
1.预先利用与多个不同的距离相对应的多个PSF分别制作复原滤波器，并预先贮藏这些复原滤波器。
2.拍摄图像，获取输入图像。
3.对输入图像，利用所贮藏的与多个PSF相对应的复原滤波器分别进行复原处理。由此，获得多个中间候补图像。
4.利用图像锐度及图像人工痕迹这两个指标，对多个中间候补图像的画质分别进行评价。
5.输出评价最高的中间候补图像作为复原处理结果。
如图5所示，当改变了摄影距离时，与之相对应的PSF的傅立叶变换，即，调制传递函数(modulation transfer funtion，MTF)的绝对值也发生变化。
通过离线处理使用与所述撮影距离相对应的PSF，利用所述维纳滤波器方法分别制作复原滤波器，并预先保存于复原滤波器贮藏存储器154中。
再者，这些处理也可以设为通过执行写入至计算机的程序用存储器中的摄像程序来进行。所述摄像程序也可以使用记录了所述摄像程序的只读光盘驱动器(Compact DiscRead-Only Memory，CD-ROM)或通用串行总线(Universal Serial Bus，USB)存储器等记录介质，或者经由网络等来提供。
如图6A、图6B、图6C所示，通过利用根据距离而预先准备的不同的复原滤波器对所拍摄的原始的模糊图像进行复原而获得中间候补图像。图6A是因为修正不充分而留下模糊的中间候补图像的例子。图6B是能够恰当地进行模糊的修正，不出现人工痕迹的级别(level)的中间候补图像的例子。图6C是虽然过度但是能够进行模糊的修正，而产生了曝光过度的人工痕迹的中间候补图像的例子。
图7是表示图4所示的图像复原处理部150A中所含的图像评价部155的概略构成的框图。
如图7所示，图像评价部155对从中间候补图像缓冲存储器156接收到的中间候补图像进行图像锐度运算155a及图像人工痕迹评价155b之后进行综合判断155c，将评价最高的中间候补图像作为复原处理结果发送至复原图像缓冲存储器159。
图8是表示图像评价部155内的处理的流程图。
如图8所示，将锐度最大值(MAX)及图像编号重置为0作为初始化(步骤S80)。
输入第N张中间候补图像(步骤S81)，执行人工痕迹评价值的计算(步骤S82)。
进行是否大于阈值的判定(步骤S83)，如果为否(NO)则进入至步骤S87。
如果步骤S83的判定为是(YES)，则接下来进行锐度计算之后(步骤S84)，进行是否大于当前的锐度MAX的值的判定(步骤S85)，如果为否(NO)，则进行是否留下了未处理的中间候补图像的判断(步骤S87)。
如果步骤S85的判定为是(YES)，则将锐度MAX更新为当前的锐度，并且将图像编号加上这时的计数器N的值。
进行计数器N是否与中间候补图像数相等的判定(步骤S87)，如果判定为是(YES)则所有的中间候补图像的处理完毕，所以输入这时的图像编号之后(步骤S88)，结束处理。
如果步骤S87的判定为否(NO)，则留下了未处理的中间候补图像，所以在计数器N中加上1之后(步骤S89)，返回到步骤S81而重复进行处理。
图9是作为图像评价部155内的处理的变形例，表示例如将三张中间候补图像作为输入图像加以具体化的并列处理的流程图。这些中间候补图像分别对应于图6A、图6B、图6C。再者，处理的各步骤的详细说明予以省略。
以下表示中间候补图像的锐度计算结果的一例。
距离a点锐度值为0.973596(pts sharpness value is 0.973596)
距离b点锐度值为1.161603(pts sharpness value is 1.161603)
距离c点锐度值为1.183418(pts sharpness value is 1.183418)
而且，以下表示人工痕迹的判明结果的一例。如果未达阈值T则为1(无人工痕迹)，如果为阈值T以上则为0(产生人工痕迹)。
距离a 1
距离b 1
距离c 0
这些的结果为，排除产生了人工痕迹的图像，选择锐度最高的图像。即，评价最高的图像如下。
距离b点锐度值为1.161603(pts sharpness value is 1.161603)
图10A、图10B是图像人工痕迹评价的原理的说明图，图10A是通常无人工痕迹的复原图像中的图像亮度值的直方图，图10B是有人工痕迹的复原图像中的图像亮度值的直方图。
如这些直方图所示，横轴为像素亮度值，八比特数据的亮度值的范围为0至255，纵轴为具有各亮度值的像素数(像元数(pixel number))。与通常无人工痕迹的复原图像相比，在有人工痕迹的复原图像中，在直方标绘图的最大值(MAX)(亮度值＝255)及最小值(MIN)(亮度值＝0)两处可以清楚看到峰值。如果亮度值的范围为250至255的像元数的总和高于固定阈值T，则判断为有人工痕迹。
图11是表示整个图像锐度运算的流程图。
如所述图11所示，当输入复原图像时，首先，将亮度值标准化至0至1的范围(步骤S111)。在图像亮度值的标准化中，使用下式。
变换后的亮度值＝(变换前的亮度值－变换前的亮度最小值)/(变换前的亮度最大值－变换前的亮度最小值)
其次，执行“强边缘提取”(在后文参照图12来描述)(步骤S112)。
最后计算锐度(步骤S113)，输出锐度值。
所述非专利文献2提出了测量点锐度(Point sharpness)这一图像锐度的画质(影像清晰度(Image Clarity))评价指标，但是由于对要评价的输入图像所有像素直接进行计算，所以在以下三种情况(case)中失去了鲁棒性(robustness)。
1)图像内容
当被摄体不同时，例如，无法进行风景与人物图像的比较。
2)图像亮度值
即使存在相同的图像内容，在亮度不同的情况下也无法进行比较。
3)噪声级(noise level)
即使图像内容相同，在噪声级不同的情况下也无法进行比较。
在图11所示的图像锐度运算中，通过对图像亮度值进行标准化，自动提取强边缘来改善所述问题。
图12是表示强边缘提取方法的流程图。
如图12所示，首先，计算通过索贝尔(Sobel)滤波而产生的亮度边缘(步骤S121)。
其次，根据倾斜度的强度对像素进行排序(步骤S122)。
然后，为了提取确切的强边缘，提取特定方向上的倾斜度强的像素(步骤S123)。例如，当被摄体在图像上水平或垂直地进入时，倾斜度的方向相当受限。关于倾斜度因为噪声而升高的像素，可以通过这种判断而排除。
而且，为了减少图像亮度值的非均匀性等的影响，想要尽可能均匀地提取在整个被摄体中无光斑的边缘像素，所以删除具有强边缘的像素的邻接像素(步骤S124)。如果某个像素判断为强边缘，则判断为附近八点(3×3区域)的像素不是强边缘来进行处理。
图13A、图13B、图13C、图13D、图13E、图13F是比较例示在精确聚焦位置及与精确聚焦相离的位置上分别拍摄到的模糊图像、现有方法的复原图像、本发明的复原图像的图。左列的图像对应于精确聚焦位置，右列的图像对应于与精确聚焦相离的位置。
图13A及图13B是所拍摄到的模糊图像。
在基于精确聚焦位置的PSF进行复原的现有方法中，与图13C所示的精确聚焦位置的复原图像相比，图13D所示的与精确聚焦相离的位置上的复原图像的画质明显下降。
与此相对，根据基于通过图像锐度而获得的最佳的PSF进行复原的本发明，与图13E所示的精确聚焦位置的复原图像相比，图13F所示的与精确聚焦相离的位置上的复原图像的画质也没有那么下降。
根据本发明，也不需要进行距离推断，来选择画质最好的图像，所以即使与精确聚焦位置相离，也获得与精确聚焦位置上的复原精度相近的结果。
再者，在存在运动模糊(motion blur)，即，存在被摄体抖动，或者在摄影范围内或视场范围内例如PSF因为像高而发生变化的光学系统等虽然PSF发生变化但是这些PSF为已知的情况下，也可以应用与以上所述同样的处理，从而可以获得同样的效果。
实施方式2
在所述实施方式1中，是对整个图像自动提取强边缘点而进行锐度的计算。在实施方式2中，是设为对如码图像或瞳孔检测图像等事先已知对象物的图像的部分图像进行评价。
图14是表示本发明的实施方式2的摄像装置的图像复原处理部150B的概略构成的框图。再者，所述图像复原处理部150B对应于实施方式1的图像复原处理部150A(参照图4)。
如图14所示，在图像复原处理部150B中，与实施方式1的图像复原处理部150A(参照图4)相比，在图像缓冲存储器152与复原滤波器处理部153B之间追加了图像区域指定157，并且追加了对图像评价部155B的被摄体边缘指定158。再者，伴随着图像区域指定157及被摄体边缘指定158的追加，对图像复原处理部150A的复原滤波器处理部153及图像评价部155的处理内容分别变更一部分，而形成为复原滤波器处理部153B及图像评价部155B。
通过加上图像的区域限定、倾斜度的方向的阈值调整、或者通过手动而进行的边缘点指定等方法，可以进一步加快处理速度。由于排除不需要的区域，所以也可以减少误检等。
而且，根据使用目的，只要按照实施方式1的构成及处理流程，也可以只对图像的一部分进行高精度的复原。例如，在只将摄影图像之中的中央部分或周边部分作为摄影对象的情况等有效。
实施方式3
在所述实施方式1或实施方式2中，是对黑白图像进行处理，而实施方式3是将彩色图像作为处理对象。例如，如果是红绿蓝(Red Green Blue，RGB)图像，则合成按RGB通道进行了处理的高精度复原图像，由此对RGB图像也可以获得同样的效果。
图15是表示本发明的实施方式3的摄像装置之中与实施方式1不同的主要部分的框图。
图16A、图16B是例示通常的RGB图像复原方法的框图。图17是表示实施方式3的RGB图像复原方法的框图。
如图15所示，在实施方式3中，在摄像元件120与图像复原处理部150A之间追加了RGB图像分解部171，在复原图像缓冲存储器159的前面追加了RGB图像合成部172。
在图16A或图16B所示的通常的RGB图像复原方法的情况下，变换成亮度图像/RGB通道而基于一个PSF进行复原。但是，本来R通道、G通道、B通道各通道的PSF就存在微妙的差异，所以如果只利用一个PSF进行复原，会产生R通道、G通道、B通道各通道间的PSF的差异的影响。
与此相对，在实施方式3中，如图17所示，在R通道、G通道、B通道各通道中，通过图像锐度而分别获得最佳的PSF，从而获得高精度复原图像，所以可以获得更高精度的合成RGB复原图像。
再者，不仅限于R通道、G通道、B通道，例如，也可以追加红外线(InfraredRadiation，IR)通道。
实施方式4
在上述各实施方式中，是进行利用多个复原滤波器而分别复原的多个中间候补图像的图像评价。在实施方式4中，是设为先基于复原前的模糊图像进行评价再选择复原滤波器。
图18是表示本发明的实施方式4的摄像装置的图像复原处理部150C的概略构成的框图。
图19是图像复原处理部150C中的复原滤波器等的制作相关原理的说明图。图20A是表示图18所示的图像复原处理部150C中所含的图像评价部155C的概略构成的框图。图20B是表示图20A的图像评价部155C中所含的综合判断155Cc的概略构成的框图。
如图18所示，在图像复原处理部150C中，与实施方式1的图像复原处理部150A(参照图4)相比，复原滤波器处理部153C与图像评价部155C的顺序调换。再者，伴随于此，将图像复原处理部150A的复原滤波器处理部153、复原滤波器贮藏存储器154、及图像评价部155的处理内容分别变更一部分，而形成为复原滤波器处理部153C、复原滤波器贮藏存储器154C及图像评价部155C。
图像复原处理部150C中的整体处理的概略如下(也参照图19)。
1.预先利用与多个不同的距离相对应的多个PSF，成对地制作复原滤波器及标准登记图像以及与它们相对应的图像锐度。再者，所谓标准登记图像，是指在各距离上拍摄到的代表性的模糊图像。
2.拍摄图像而获取输入图像。
3.针对输入图像，利用图像锐度这一指标评价模糊图像的画质。
4.选择与和标准登记图像所对应的图像锐度相比数值最接近的图像锐度成对的复原滤波器作为用于输入图像复原的复原滤波器。
5.利用所述复原滤波器进行复原处理，并作为复原处理结果而输出。
如图20A所示，在图像评价部155C中，进行从图像缓冲存储器152接收到的图像数据的图像锐度运算155Ca之后进行综合判断155Cc，并将复原处理结果发送至复原滤波器缓冲器159C。
综合判断155Cc如图20B所示，是基于图像锐度运算155Ca的结果及贮藏于复原滤波器贮藏存储器154C中的复原滤波器及标准登记图像以及与它们相对应的图像锐度而进行锐度值比较155Cc1，选择复原滤波器155Cc2。
标准登记图像(多个)是与摄影距离相对应的复原前的模糊图像。分别具有不同的模糊程度，所以算出的图像锐度也不同。
与实施方式1不同，事先应以离线方式准备的不仅仅是复原滤波器。与其相对应的图像锐度也预先成对地准备。
综合判断的方法是以在线方式计算摄影图像的锐度之后，与复原滤波器贮藏存储器中所保存的标准登记图像的锐度进行比较。由于成对地准备了图像锐度及复原滤波器，所以后来利用与最接近的图像锐度相对应的复原滤波器来进行复原。
再者，本发明在不脱离其主旨或者主要特征的条件下，可以通过其它各种形式来实施。因此，所述各实施方式或各实施例在所有方面只是示例，不可限定性地进行解释。本发明的范围是通过权利要求书来揭示，不受说明书正文的约束。此外，属于权利要求书的同等范围内的变形或变更全部是本发明的范围内的内容。

Claims (7)

1.一种摄像装置，其特征在于，包括：
光学系统，包含一块以上的透镜或者透镜及光学元件；
摄像元件，配置于比所述光学系统更后方的位置；
图像复原处理部，对由所述摄像元件获取的图像数据进行图像处理及复原处理；以及
复原图像输出部，输出经所述图像复原处理部复原的图像；并且
所述图像复原处理部包括：
复原滤波器贮藏部，贮藏利用与多个不同的距离相对应的多个点扩散函数而预先制作的多个复原滤波器；
复原滤波器处理部，获得根据所述图像数据，使用所述多个复原滤波器而分别复原的多个中间候补图像；以及
图像评价部，分别评价所述多个中间候补图像的画质而输出最好的中间候补图像作为复原处理结果，
所述图像复原处理部还包括：
图像区域指定部，指定所述复原滤波器处理部中作为对象的图像区域；以及
排除区域指定部，指定所述图像评价部应从对象中排除的区域。
2.根据权利要求1所述的摄像装置，其特征在于：
所述图像复原处理部针对每个颜色信号合成经复原的按颜色信号分类的复原图像。
3.一种摄像装置，其特征在于，包括：
光学系统，包含一块以上的透镜或者透镜及光学元件；
摄像元件，配置于比所述光学系统更后方的位置；
图像复原处理部，对由所述摄像元件获取的图像数据进行图像处理及复原处理；以及
复原图像输出部，输出经所述图像复原处理部复原的图像；并且
所述图像复原处理部包括：
复原滤波器贮藏部，贮藏利用与多个不同的距离相对应的多个点扩散函数而预先制作的多个复原滤波器及标准登记图像以及与它们相对应的图像锐度，其中所述标准登记图像是指在各距离上拍摄到的代表性的模糊图像；以及
图像评价部，基于具有与对所述图像数据的画质进行评价而获得的图像锐度最接近的图像锐度的标准登记图像，选择复原滤波器；以及
复原滤波器处理部，利用所选择的复原滤波器获得复原图像。
4.根据权利要求1至3中任一项所述的摄像装置，其特征在于：
所述图像复原处理部包括由经扩散而入射至所述摄像元件的点图像函数的图案制作的维纳滤波器或者有限脉冲响应滤波器。
5.一种摄像方法，其特征在于，包括：
摄像工序，拍摄被摄体；以及
图像复原处理工序，对在所述摄像工序中获取的图像数据进行图像处理及复原处理；并且
所述图像复原处理工序包括：
复原滤波器贮藏工序，贮藏利用与多个不同的距离相对应的多个点扩散函数而预先制作的多个复原滤波器；
复原滤波器处理工序，获得根据所述图像数据，使用所述多个复原滤波器而分别复原的多个中间候补图像；以及
图像评价工序，对所述多个中间候补图像的画质分别进行评价而输出最佳的中间候补图像作为复原处理结果，
所述图像复原处理工序还包括：
图像区域指定工序，指定所述复原滤波器处理工序中作为对象的图像区域；以及
排除区域指定工序，指定所述图像评价工序应从对象中排除的区域。
6.一种摄像方法，其特征在于，包括：
摄像工序，拍摄被摄体；以及
图像复原处理工序，对在所述摄像工序中获取的图像数据进行图像处理及复原处理；并且
所述图像复原处理工序包括：
复原滤波器贮藏工序，贮藏利用与多个不同的距离相对应的多个点扩散函数而预先制作的多个复原滤波器及标准登记图像以及与它们相对应的图像锐度，其中所述标准登记图像是指在各距离上拍摄到的代表性的模糊图像；
图像评价工序，基于具有与对所述图像数据的画质进行评价而获得的图像锐度最接近的图像锐度的标准登记图像，选择复原滤波器；以及
复原滤波器处理工序，利用所选择的复原滤波器获得复原图像。
7.一种记录介质，其特征在于：存储用于摄像装置的计算机程序，所述计算机程序可被处理器执行以实现根据权利要求5或6所述的摄像方法。
CN201611175006.8A 2016-01-21 2016-12-16 摄像装置、摄像方法及记录介质 Active CN106993111B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-010094 2016-01-21
JP2016010094A JP6578960B2 (ja) 2016-01-21 2016-01-21 撮像装置、撮像方法、撮像プログラム、およびその撮像プログラムを記録した記録媒体

Publications (2)

Publication Number Publication Date
CN106993111A CN106993111A (zh) 2017-07-28
CN106993111B true CN106993111B (zh) 2019-12-10

Family

ID=57914634

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611175006.8A Active CN106993111B (zh) 2016-01-21 2016-12-16 摄像装置、摄像方法及记录介质

Country Status (4)

Country Link
US (1) US10217194B2 (zh)
EP (1) EP3209014B1 (zh)
JP (1) JP6578960B2 (zh)
CN (1) CN106993111B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110191287B (zh) * 2019-06-28 2021-05-11 Oppo广东移动通信有限公司 对焦方法和装置、电子设备、计算机可读存储介质
CN110691180A (zh) * 2019-08-13 2020-01-14 中国人民解放军国防科技大学 一种可抑制激光后向反射的光电成像系统
JP2022051094A (ja) * 2020-09-18 2022-03-31 株式会社Ｓｃｒｅｅｎホールディングス 画像処理方法、画像処理装置および撮像装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104704807A (zh) * 2013-03-28 2015-06-10 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法、程序及记录介质
WO2015090611A1 (en) * 2013-12-20 2015-06-25 Sony Corporation Apparatus and optical system including an optical element
CN104995911A (zh) * 2013-02-15 2015-10-21 富士胶片株式会社 图像处理装置、摄影装置、滤波器生成装置、图像复原方法以及程序
CN105684417A (zh) * 2013-10-31 2016-06-15 富士胶片株式会社 图像处理装置、摄像装置、参数生成方法、图像处理方法及程序

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4749985B2 (ja) * 2006-09-28 2011-08-17 京セラ株式会社 撮像装置、並びにその製造装置および製造方法
TWI399524B (zh) * 2009-02-20 2013-06-21 Ind Tech Res Inst 景物深度資訊之取得方法與裝置
JP5409112B2 (ja) * 2009-05-21 2014-02-05 キヤノン株式会社 画像処理装置およびその方法
JP2011135563A (ja) * 2009-11-30 2011-07-07 Canon Inc 撮像装置および画像処理方法
JP2011215707A (ja) * 2010-03-31 2011-10-27 Canon Inc 画像処理装置、撮像装置、画像処理方法およびプログラム
JP5197784B2 (ja) 2011-03-22 2013-05-15 京セラ株式会社 撮像装置
JP5868076B2 (ja) * 2011-08-31 2016-02-24 キヤノン株式会社 画像処理装置及び画像処理方法
JP2013162369A (ja) * 2012-02-07 2013-08-19 Sharp Corp 撮像装置
JP6056160B2 (ja) * 2012-03-09 2017-01-11 カシオ計算機株式会社 自動合焦装置、自動合焦方法及びプログラム
US9332239B2 (en) * 2012-05-31 2016-05-03 Apple Inc. Systems and methods for RGB image processing
US9142012B2 (en) * 2012-05-31 2015-09-22 Apple Inc. Systems and methods for chroma noise reduction
US9014504B2 (en) * 2012-05-31 2015-04-21 Apple Inc. Systems and methods for highlight recovery in an image signal processor
CN105165003B (zh) * 2013-04-26 2018-06-22 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法及程序
JP6236908B2 (ja) * 2013-06-21 2017-11-29 株式会社リコー 撮像装置、撮像システムおよび撮像方法
WO2015015935A1 (ja) * 2013-07-29 2015-02-05 富士フイルム株式会社 撮像装置及び画像処理方法
CN106165390B (zh) * 2014-03-28 2019-06-28 富士胶片株式会社 图像处理装置、摄影装置、图像处理方法
JP6512893B2 (ja) * 2015-03-26 2019-05-15 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法及びコンピュータプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104995911A (zh) * 2013-02-15 2015-10-21 富士胶片株式会社 图像处理装置、摄影装置、滤波器生成装置、图像复原方法以及程序
CN104704807A (zh) * 2013-03-28 2015-06-10 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法、程序及记录介质
CN105684417A (zh) * 2013-10-31 2016-06-15 富士胶片株式会社 图像处理装置、摄像装置、参数生成方法、图像处理方法及程序
WO2015090611A1 (en) * 2013-12-20 2015-06-25 Sony Corporation Apparatus and optical system including an optical element

Also Published As

Publication number Publication date
CN106993111A (zh) 2017-07-28
EP3209014B1 (en) 2020-01-29
US10217194B2 (en) 2019-02-26
JP6578960B2 (ja) 2019-09-25
US20170213325A1 (en) 2017-07-27
EP3209014A1 (en) 2017-08-23
JP2017130848A (ja) 2017-07-27

Similar Documents

Publication Publication Date Title
US8159552B2 (en) Apparatus and method for restoring image based on distance-specific point spread function
JP6327922B2 (ja) 画像処理装置、画像処理方法、およびプログラム
EP3093818B1 (en) Image processing apparatus that performs image restoration processing, method of controlling the same, and storage medium
EP2858036B1 (en) Image processing device, image capturing apparatus, and image processing method for obtaining depth information
US9324153B2 (en) Depth measurement apparatus, image pickup apparatus, depth measurement method, and depth measurement program
JP5132401B2 (ja) 画像処理装置及び画像処理方法
US8774551B2 (en) Image processing apparatus and image processing method for reducing noise
KR101341101B1 (ko) 영상 복원 장치 및 복원 방법
US8248511B2 (en) Dual-mode extended depth-of-field imaging systems
JP2013065005A (ja) 合焦評価装置、撮像装置およびプログラム
CN106993111B (zh) 摄像装置、摄像方法及记录介质
JP2004222231A (ja) 画像処理装置および画像処理プログラム
JP5459768B2 (ja) 被写体距離推定装置
JP5159715B2 (ja) 画像処理装置
JP4668863B2 (ja) 撮像装置
JP6436840B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP2004222233A (ja) 画像処理装置および画像処理プログラム
KR101706218B1 (ko) 블러 및 고스트 제거 장치 및 방법
JP2019022002A (ja) 画像処理装置および画像処理プログラム
Konevsky Method of Correction of Longitudinal Chromatic Aberrations
JP2017224906A (ja) 画像処理方法およびそれを用いた撮像装置、画像処理装置、画像処理プログラム
JP2017118293A (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP2017116606A (ja) 焦点調節装置、撮像装置およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant