CN110858871B - 图像处理方法、图像处理装置、成像装置、镜头装置、存储介质、以及图像处理系统 - Google Patents
图像处理方法、图像处理装置、成像装置、镜头装置、存储介质、以及图像处理系统 Download PDFInfo
- Publication number
- CN110858871B CN110858871B CN201910768726.2A CN201910768726A CN110858871B CN 110858871 B CN110858871 B CN 110858871B CN 201910768726 A CN201910768726 A CN 201910768726A CN 110858871 B CN110858871 B CN 110858871B
- Authority
- CN
- China
- Prior art keywords
- image
- blur
- pupil
- shaped
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 95
- 238000003384 imaging method Methods 0.000 title claims abstract description 69
- 238000003672 processing method Methods 0.000 title claims abstract description 30
- 238000003860 storage Methods 0.000 title claims abstract description 15
- 210000001747 pupil Anatomy 0.000 claims abstract description 103
- 230000003287 optical effect Effects 0.000 claims abstract description 67
- 238000013528 artificial neural network Methods 0.000 claims abstract description 37
- 238000000034 method Methods 0.000 claims description 30
- 230000006870 function Effects 0.000 claims description 13
- 238000009826 distribution Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 9
- 238000002834 transmittance Methods 0.000 claims description 6
- 238000000926 separation method Methods 0.000 claims description 5
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 37
- 238000007493 shaping process Methods 0.000 description 30
- 238000013527 convolutional neural network Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- 230000008859 change Effects 0.000 description 6
- 238000005315 distribution function Methods 0.000 description 5
- 238000010606 normalization Methods 0.000 description 5
- 238000004088 simulation Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000004907 flux Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 229920006395 saturated elastomer Polymers 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 201000009310 astigmatism Diseases 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002086 nanomaterial Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本发明公开了图像处理方法、图像处理装置、成像装置、镜头装置、存储介质、以及图像处理系统。图像处理方法包括以下步骤：获取第一图像和第二图像，所述第一图像通过经由光学系统中的第一光瞳对被摄体空间成像而获得，所述第二图像通过经由所述光学系统中与所述第一光瞳不同的第二光瞳对所述被摄体空间成像而获得；以及使用神经网络基于所述第一图像和第二图像来生成其中由散焦造成的模糊被整形的模糊整形图像。
Description
技术领域
本发明涉及一种图像处理方法，其对通过分割光学系统中的光瞳而捕获的图像中的散焦模糊进行整形(reshape)，并获得具有良好的散焦模糊(散景)的图像。
背景技术
日本专利特开No.(“JP”)2016-220016公开了一种通过将光学系统中的光瞳分割成多个部分、通过捕获通过从每个分割的光瞳观察被摄体(object)空间而获得的多个视差图像、以及通过调整组合多个视差图像时的权重来控制由散焦造成的模糊(散焦模糊)的形状的方法。
然而，JP 2016-220016中公开的方法不能再现与比光学系统中的光瞳大的光瞳对应的散焦模糊，因为这种方法调整每个分割的光瞳的权重并组合多个视差图像。换句话说，这种方法不能补偿由渐晕造成的部分缺失(lost)的散焦模糊。用于多个视差图像的组合的不均一的权重可能造成噪声增大。由于由二线模糊或者光学系统中包括的非球面透镜造成的散焦模糊的环形图样(annular pattern)具有毫微结构，因此需要对光学系统中的光瞳进行细分以便减小其影响。在这种情况下，在每个视差图像中空间分辨率可能降低或者噪声可能增大。
发明内容
本发明提供了图像处理方法、图像处理装置、成像装置、镜头装置、程序以及存储介质，它们中的每一个可以对图像的由散焦造成的模糊进行整形并且获得具有良好的散焦模糊的图像。
根据本发明的一个方面的图像处理方法包括以下步骤：获取第一图像和第二图像，所述第一图像通过经由光学系统中的第一光瞳对被摄体空间成像而获得，所述第二图像通过经由所述光学系统中与所述第一光瞳不同的第二光瞳对所述被摄体空间成像而获得；以及使用神经网络基于所述第一图像和第二图像来生成其中由散焦造成的模糊被整形的模糊整形图像。
根据本发明的另一个方面的图像处理装置包括：获取器，所述获取器被配置为获取第一图像和第二图像，所述第一图像通过经由光学系统中的第一光瞳对被摄体空间成像而获得，所述第二图像通过经由所述光学系统中与所述第一光瞳不同的第二光瞳对所述被摄体空间成像而获得；以及生成器，所述生成器被配置为使用神经网络基于所述第一图像和第二图像来生成其中由散焦造成的模糊被整形的模糊整形图像。包括以上图像处理装置的成像装置也构成本发明的另一个方面。可附接到以上成像装置并且可从以上成像装置拆卸的镜头装置也构成本发明的另一个方面。存储使计算机执行以上图像处理方法的程序的非暂时性计算机可读存储介质也构成本发明的另一个方面。
根据本发明的另一个方面的图像处理系统包括第一处理单元和第二处理单元。所述第一处理装置包括传送器，所述传送器被配置为向所述第二处理装置传送使用第一图像和第二图像进行图像处理的请求，所述第一图像通过经由光学系统中的第一光瞳对被摄体空间成像而获得，所述第二图像通过经由所述光学系统中与所述第一光瞳不同的第二光瞳对所述被摄体空间成像而获得。所述第二处理装置包括：接收器，所述接收器被配置为接收从所述第一处理装置发送的所述请求；获取器，所述获取器被配置为获取所述第一图像和第二图像；以及生成器，所述生成器被配置为使用多层神经网络基于所述第一图像和第二图像来生成其中由散焦造成的模糊被整形的模糊整形图像。
从以下参考附图的示例性实施例的描述，本发明的进一步的特征将变得清楚。
附图说明
图1图示了根据第一实施例的生成模糊整形图像的网络结构。
图2是根据第一实施例的成像装置的框图。
图3是根据第一实施例的成像装置的概览。
图4A和4B是根据第一实施例的图像捕获器的解释图。
图5是示出根据第一实施例的模糊整形图像的生成处理的流程图。
图6是根据第一实施例的每个图像高度和方位角处的光瞳分割的解释图。
图7A至7D图示了根据每个实施例的散焦距离处模糊被整形之前和之后的点扩展函数。
图8是根据每个实施例的涉及权重学习的流程图。
图9是根据第二实施例的图像处理系统的框图。
图10是根据第二实施例的图像处理系统的概览。
图11是根据第二实施例的图像传感器的框图。
图12是图示根据第二实施例的模糊整形图像的生成处理的流程图。
图13A至13C图示了根据第二实施例的分割的光瞳、图像高度以及渐晕之间的关系。
图14图示了根据第二实施例的生成模糊整形图像的网络结构。
图15图示了根据第二实施例的生成模糊整形图像的另一个网络结构。
图16是根据每个实施例的提供有反射式镜头(mirror lens)的光学系统的解释图。
具体实施方式
现在参考附图，将给出根据本发明的实施例的描述。各图中的对应元素将由相同的附图标记指明，并且将省略其重复描述。
首先，在具体描述每个实施例之前，将描述本发明的要点。本发明使用深度学习来对图像中的散焦模糊进行整形并获得具有良好的散焦模糊的图像。对散焦模糊进行整形是要遏制由渐晕造成的部分缺失的散焦模糊、由散焦模糊的峰分离造成的多重模糊(诸如双线模糊)、由非球面透镜上的模具切削痕迹造成的散焦模糊的环形图样等。
散焦模糊的整形还包括抑制其中反射式镜头的散焦模糊为环形的现象。图16是提供有反射式镜头的光学系统10的结构图。如图16中所示，光学系统10包括反射式镜头，该反射式镜头被配置为包括主镜M1和副镜M2。环形的散焦模糊是由副镜M2遮蔽反射式镜头(光学系统10)的光瞳造成的。在图16中，L1至L4表示透镜，其中L4表示接合透镜。IP表示图像平面，其与部署图像传感器的位置对应。整形通过将散焦模糊改变为用户期望的形状(诸如平坦圆和高斯分布函数)提供了散焦模糊的良好的散焦模糊。
对于高度精确的散焦模糊整形，本发明将由光学系统的光瞳(第一光瞳)捕获的第一图像和由该光瞳的一部分(不同于第一光瞳的第二光瞳)捕获的第二图像输入到深度学习中。由于第一图像和第二图像具有不同的光瞳大小，因此散焦模糊在从对焦距离偏移的距离处具有不同的大小。因此，与仅输入第一图像和第二图像中的一个的情况相比，可以更有效地将图像中的散焦模糊与被摄体结构区别开。由此，可以以高的精度实现通过深度学习的散焦模糊成形。
第一实施例
现在参考图2和3，将给出根据本发明的第一实施例的成像装置的描述。图2是成像装置100的框图。图3是成像装置100的概览。虽然根据这个实施例的成像装置100包括照相机主体和与照相机主体一体的镜头装置，但是本发明不限于这个实施例。本发明可应用于包括照相机主体(成像装置主体)和可附接到照相机主体并且可从照相机主体拆卸的镜头装置(可更换镜头)的成像系统。现在将给出成像装置100中的每个组件的概要的描述，并且稍后将给出其详细描述。
如图2中所示，成像装置100包括图像捕获器101，其获取被摄体空间的图像(捕获的图像)。图像捕获器101包括：光学系统(成像光学系统)101a，其被配置为会聚来自被摄体空间的入射光；以及图像传感器101b，其具有多个像素。图像传感器101b是例如电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器。
图4A和4B是图像捕获器101的解释图。图4A是图像捕获器101的截面图，并且交替的长短虚线代表轴向光束。图4B是图像传感器101b的顶视图。图像传感器101b包括微透镜阵列122和多个像素121。微透镜阵列122部署在经由光学系统101a与被摄体平面120共轭的位置。如图4B中所示，构成微透镜阵列122的微透镜122(仅描述微透镜122a并且省略微透镜122b等)与多个像素121(仅示出像素121a并且省略像素121b等)对应。当多个组件被共同指明时，将仅给出附图标记，并且当它们中的一个被指明时，附图标记将被附加诸如“a”的符号。
多个像素121中的每一个包括第一光电转换器123和第二光电转换器124，第一光电转换器123和第二光电转换器124的每一个对通过光学系统101a形成的光学图像进行光电转换。由此，例如，入射在像素121a上的光取决于入射角而由第一光电转换器123a和第二光电转换器124a分离和接收(其中第一光电转换器123a和第二光电转换器124a接收以不同入射角入射的光)。光的入射角由光已通过的光学系统101a中的光瞳上的位置确定。因此，光学系统101a中的光瞳被两个光电转换器分割成两个部分光瞳，并且一个像素中的两个光电转换器通过从不同视点(光瞳位置)观察被摄体空间来获得信息。在这个实施例中，光瞳的分割方向是水平方向但不限于水平方向，并且分割方向可以是另一个方向，诸如垂直方向或倾斜方向。
图像传感器101b输出由第一光电转换器123获得的信号(第二图像，图像A)以及作为该信号(图像A)和由第二光电转换器124获取的信号(第三图像，B图像)的相加信号的信号(第一图像，A+B图像)。因此，这个实施例通过经由光学系统101a对被摄体空间同时成像来获得第一图像和第二图像。这个实施例通过同一图像传感器101b捕获第一图像和第二图像。
A图像和A+B图像临时存储在存储器103中。图像处理单元(图像处理装置)102包括信息获取器(获取器)102a和图像生成器(生成器)102b，并且执行根据这个实施例的图像处理方法(用于对散焦模糊进行整形的模糊整形处理)。此时，信息获取器102a从存储器103获取A图像和A+B图像，并且图像生成器102b基于A图像和A+B图像生成其中散焦模糊被整形的模糊整形图像。根据这个实施例的模糊整形图像对于散焦模糊减小了渐晕、由点扩展函数中的峰分离造成的多重模糊、环形图样以及光学系统中的光瞳的遮蔽中的至少一个的影响。稍后将给出这个处理的详细描述。
生成的模糊整形图像存储在记录介质105中。当用户发出显示捕获的图像的指令时，存储的模糊整形图像被读出并显示在显示单元104上。可以读出已经存储在记录介质105中的图像A和图像A+B，并且图像处理器102可以生成模糊整形图像。以上一系列的控制由系统控制器106执行。
现在参考图5，将给出由图像处理器102执行的模糊整形处理(模糊整形图像的生成)的描述，该模糊整形处理(模糊整形图像的生成)被配置为对散焦模糊进行整形。图5是示出模糊整形图像的生成处理的流程图。图5中的每个步骤由图像处理器102基于来自系统控制器106的指令执行。
首先，在步骤S101中，图像处理器102(信息获取器102a)获取临时存储在存储器103中的A+B图像(第一图像)201和A图像(第二图像)202。A图像202是通过基于穿过作为光学系统101a的光瞳的一部分的部分光瞳(第二光瞳)的光束对被摄体空间进行成像而获得的。A+B图像201是通过基于穿过光学系统101a的光瞳(第一光瞳)的光束对被摄体空间进行成像而获得的。这个实施例包括第一光瞳中的作为第一光瞳的一部分的第二光瞳。由于A+B图像和A图像具有不同的散焦模糊并且第二光瞳小于第一光瞳，因此A图像的散焦模糊小于A+B图像的散焦模糊。使用A+B图像和A图像两者，这个实施例可以将图像中的散焦模糊与被摄体结构区别开。换句话说，如果图像中不存在高频信息或者存在模糊区域，那么是否这个区域散焦并因此模糊，或者对焦被摄体不具有高频信息。另外，如图4A和4B中所示的那样配置的图像捕获器101可以同时捕获彼此不同的光瞳大小的A+B图像和A图像，并且避免由于被摄体的移动而引起的图像之间的偏移。
A+B图像包含由光学系统101a的渐晕造成的部分缺失的散焦模糊、由散焦模糊的峰分离造成的多重模糊、以及由包括在光学系统101a中的非球面透镜造成的散焦模糊的环形图样。接下来参考图6和7A-7D描述它们。
图6是在每个图像高度和方位角处的光瞳分割的解释图。图6图示了A+B图像，其中在十字的图像高度和方位角处的分割的光瞳靠近十字被绘制。由于散焦模糊除了反转之外具有与光瞳的形状基本上相同的形状，因此散焦模糊在发生渐晕的离轴图像高度处具有如部分缺失的圆那样的形状。图6中的断线是光瞳分割线(分割直线)并且与A图像对应的第二光瞳是该断线右侧的部分光瞳。因此，A图像的散焦模糊也具有部分缺失的圆的形状。
现在参考图7A，将给出多重模糊的描述。图7A图示了散焦距离处的整形模糊之前的点扩展函数(PSF)。在图7A中，横坐标轴代表空间坐标(位置)，纵坐标轴代表强度。这类似地应用于稍后描述的图7B至7D。如图7A中所示，作为说明性的多重模糊的双线模糊具有具有分离的峰的PSF。当散焦距离处的PSF具有图7A中所示的形状时，原始为单条线的被摄体在散焦时看起来被双重模糊。类似地，如果PSF峰在中心和两端被分离成三个，那么它看起来被三重模糊。由PSF的峰分离造成的对散焦模糊的影响将被称为多重模糊。
现在参考图7B，将描述环形图样。图7B图示了散焦距离处的整形模糊之前的PSF。如图7B中所示，当PSF具有振动成分时，实现环形图样。这个振动成分主要由用于制造包括在光学系统101a中的非球面透镜的模具的不均匀切削造成。散焦模糊的这些不期望的形状可以通过下面描述的模糊整形处理来整形。
接下来，在步骤S102中，图像生成器102b使用多层神经网络生成其中散焦模糊被整形的模糊整形图像。在这个实施例中，多层神经网络优选地包含多于两层。将A+B图像(第一图像)和A图像(第二图像)输入到多层神经网络中。通过相对于利用光学系统101a中的整个光瞳捕获的图像(A+B图像)改变散焦区域中的模糊形状来获得模糊整形图像。此时，对焦被摄体在模糊整形图像和A+B图像中不改变。这个实施例对于多层神经网络使用卷积神经网络(CNN)。然而，本发明不限于这个实施例，并且可以使用其它方法，诸如GAN(通用创造网络)。
现在参考图1，将给出由CNN生成模糊整形图像213的处理的详细描述。图1图示了用于生成模糊整形图像的网络结构。CNN具有多个卷积层。在这个实施例中，输入图像201是其中A+B图像(第一图像)和A图像(第二图像)在通道方向上连接(级联)的图像。当第一图像和第二图像中的每一个具有多个颜色通道时，该图像具有它们中的通道的数量的两倍那么多数量的通道。输入图像201在第一卷积层202中作为与多个滤波器的卷积和偏置之和被计算。在本文中，滤波器系数将被称为权重(权重信息)。在事先的学习中确定每个层中的滤波器和偏置值以将不想要的散焦模糊整形成良好的形状，这将在下面更详细地描述。
第一特征图203总结了对每个滤波器计算的结果。将第一特征图203输入到第二卷积层204中，并且类似地计算与多个新滤波器的卷积和偏置之和。模糊整形图像213是通过重复这个过程并且通过将第(N-1)特征图211输入到第N卷积层212中所获得的结果。在本文中，N是3或更大的自然数。一般地，具有三个或更多个卷积层的CNN与深度学习对应。在每个卷积层中，除卷积之外还执行使用激活函数的非线性变换。说明性的激活函数包括sigmoid函数、ReLU(修正线性单元)等。这个实施例使用由以下表达式(1)代表的ReLU。
f(x)＝max(x，0)...(1)
在表达式(1)中，x代表特征图，并且max代表输出自变量当中的最大值的MAX函数。然而，非线性变换可以不在最后的第N卷积层中执行。
这个实施例对A+B图像和A图像中的每一个进行预处理，并将预处理的A+B图像和A图像输入到CNN中。预处理包括A+B图像和A图像的分割以及分割的图像或滤波器的反转控制(反转处理)。换句话说，图像生成器102b利用与使第二光瞳关于光轴上的被摄体点线对称的轴平行、并且通过A+B图像和A图像的参考点(在光轴上或光轴附近)的直线对A+B图像和A图像中的每一个进行分割。图像生成器102b执行用于反转控制分割的A+B图像和A图像或权重信息的预处理(反转处理)。通过基于反转处理之后的A+B图像和A图像(或反转处理之后的权重信息)生成模糊整形图像，可以减小权重信息的容量。这将参考图6进行描述。
如图6中所示，在这个实施例中，当A+B图像(或A图像)的上侧和下侧中的一个关于作为轴的交替的长短虚线反转时，它与另一个光瞳分割重叠并且线对称关系被示出。因此，散焦模糊关于交替的长短虚线也是线对称的。因此，一旦对交替的长短虚线的上部区域和下部区域中的一个存储用于校正模糊的权重信息，就可以通过反转图像或权重信息来获得另一个，可以估计模糊整形图像。
反转处理包括反转计算图像和权重信息的乘积时的参考次序。通过仅对上部区域和下部区域中的一个学习权重信息，要通过CNN整形的散焦模糊的宽度被限制，并且可以利用较小的网络实现高度精确的模糊成形。这个实施例在垂直方向上将A+B图像和A图像中的每一个分割成两个，并且将A+B图像和A图像的上半部分或下半部分用于输入图像201。通过利用CNN单独地处理上部的分割图像和下部的分割图像并且通过组合输出的模糊整形图像，可以获得整个模糊整形图像。
由于这个实施例在水平方向上分割光瞳，因此对称轴是水平线。假设光瞳在垂直方向上被分割。那么，对称轴也变成垂直线。这将被一般化如下：分割的光瞳关系中对于整个图像的线对称轴平行于通过光轴并且使第二光瞳在光轴上线对称的轴。只要对沿着这个轴分割的A+B图像和A图像的分割区域中的一个存储权重信息，另一个就可以通过利用相同的权重信息通过反转控制获得并且用于散焦模糊整形处理。
生成的模糊整形图像具有比A+B图像的散焦扩展宽的散焦扩展。当由渐晕造成的部分缺失的散焦模糊被整形时，散焦模糊的扩展比A+B图像的扩展宽。当多重模糊或环形图样被整形时，散焦模糊的扩展与A+B图像的扩展一样宽。这个实施例可以对图像的散焦模糊进行整形并生成具有良好的散焦模糊的图像。
现在参考图8，将给出多层神经网络(这个实施例中为CNN)中使用的权重信息的学习的描述。图8是涉及权重信息的学习的流程图。这个实施例在除了成像装置100以外的图像处理装置中执行事先的学习，并且结果(多条权重信息)被存储在存储器103中。然而，本发明不限于这个实施例，并且成像装置100可以包括学习单元。
首先，在步骤S201中，图像处理装置获取多个学习对。学习对是作为到CNN中的输入图像的A+B图像和A图像、以及要作为来自CNN的输出图像(模糊整形图像)获得的图像(真值(ground truth)图像)。要由CNN校正的目标根据真值图像和输入图像的学习对之间的关系而改变。
将给出生成学习对的方法的描述。首先，准备从其生成真值图像的源数据和输入图像(A+B图像和A图像)。源数据是三维模型或二维图像，其中谱强度高达宽范围的空间频率。三维模型可以通过CG(计算机图形)等来生成。二维图像可以是或者CG或者捕获的图像。可以通过其中图像捕获器101对源数据进行成像的模拟(成像模拟)来生成A图像和B图像。在成像模拟中，添加在图像捕获器101中生成的散焦模糊。通过将生成的A图像和B图像彼此相加来获得A+B图像。通过应用与光学系统101a不同的良好的散焦模糊来生成真值图像。良好的散焦模糊的示例包括例如图7C中所示的平坦圆形模糊和图7D中所示的高斯分布模糊。替代地，可以使用通过具有不同方差的多个高斯分布函数的加权平均而获得的PSF。当源数据包括三维模型时，从对焦距离给出与每个被摄体的距离对应的散焦模糊。
当源图像包括二维图像时，以各种散焦距离布置二维图像，执行成像模拟，并且创建与它们对应的多个学习对。不过，在这种情况下，还创建其中二维图像落在对焦距离内的学习对。对于对焦距离处的被摄体，整形散焦模糊可能不改变。除非CNN学习到对于对焦距离处的学习对不存在改变，否则对于对焦被摄体从CNN输出的结果是不可预测的。因此有必要创建其中二维图像落在对焦距离内的学习对。这个实施例通过在垂直方向上将A+B图像和A图像分割成两个来对模糊进行整形。因此，给予学习对的散焦模糊可以限制到仅在图像中的上部区域和下部区域中的一个中发生的散焦模糊。此外，在图像传感器101b中生成的噪声可以被添加到输入图像，并且真值图像可以是不具有噪声的图像。通过利用这个学习对进行学习，CNN将与模糊成形同时地执行去噪。源数据可以具有超过图像传感器101b的动态范围的亮度。这是因为当在特定曝光条件下由成像装置101执行成像时，存在没有落在亮度饱和值内的实际被摄体。通过将良好的散焦模糊应用于源数据并且通过利用图像传感器101b的亮度饱和值剪切信号来生成真值图像。通过添加在图像捕获器101中生成的散焦模糊并且利用亮度饱和值剪切信号来生成训练图像。利用亮度饱和值剪切信号具有两个主要问题。第一个问题是散焦模糊的形状改变。例如，点光源的散焦模糊的形状应当与那个散焦位置处的PSF匹配，但是通过利用亮度饱和值剪切，可能是不同的形状。第二个问题是伪边缘的出现。由于伪边缘具有高频率，因此难以确定被摄体是否处于聚焦或者因饱和而散焦。然而，第一个问题是，通过使用从超过图像传感器101b的动态范围的源数据生成的学习对，多层神经网络也学习由剪切亮度饱和值造成的散焦模糊的改变。此外，通过将不同光瞳的两个图像输入到神经网络中，也容易确定伪边缘是对焦被摄体还是散焦模糊，并且也可以解决第二个问题。
接下来，在图8中的步骤S202中，图像处理装置从多个学习对学习，并生成权重信息。在学习时，它使用与在步骤S102中用于生成模糊整形图像的网络结构相同的网络结构。这个实施例将A+B图像和A图像输入到图1中所示的网络结构中，并计算输出结果(估计的模糊整形图像)与真值图像之间的误差。为了最小化这个误差，使用误差反向传播方法(反向传播)等来更新和最优化用于每个层的滤波器(权重信息)和偏置。滤波器的初始值和偏置是任意设置的，并且可以例如从随机数确定。替代地，可以执行诸如自动编码器的预训练以预先学习每个层的初始值。
用于将所有的学习对输入到网络结构中并且用于使用所有的信息更新学习信息的方法被称为批量学习。随着学习对的数量增大，这种学习方法遭受密集的计算负荷。相反地，仅使用一个学习对来更新学习信息和对于每个更新使用不同的学习对的学习方法被称为在线学习。这种方法的优点在于，即使学习对的数量增大，计算量也不增大，但相反它受一个学习对中存在的噪声很大地影响。因此，学习可以使用位于这两种方法之间的小批量方法。小批量方法提取所有学习对中的少数并使用它们更新学习信息。下一次更新提取并使用少量的不同学习对。通过重复这个过程，可以减少批量学习和在线学习的缺点。
用于学习权重信息和生成模糊整形图像的图像可以是或者原始图像或者显影图像。当A+B图像和A图像被编码时，它们被解码并然后用于学习和生成。如果伽马校正和伽马值根据用于学习的图像和用于生成模糊整形图像的输入图像而不同，那么可以处理输入图像以与学习图像一致。A+B图像和A图像(也是学习时的真值图像)的信号值可以在它们被输入神经网络之前被规范化。在没有规范化的情况下，如果在学习与模糊整形图像生成之间位数不同，那么模糊整形图像不能被正确估计。由于量级根据位数而改变，因此学习期间的最优化也可能影响收敛。规范化使用信号实际可以取的最大值(亮度饱和值)。例如，即使当A+B图像以16位存储时，亮度饱和值也可以是12位等。在这种情况下，没有利用12位的最大值(4095)的规范化，信号范围不能变为0到1。而且，可以在规范化中减去光学黑的值。由此，可以使图像的实际可用信号范围更接近0到1。更具体地，可以根据以下表达式(2)来执行规范化。
在表达式(2)中，S代表A+B图像(或A图像或真值图像)的信号，SOB代表光学黑的信号值(图像的最小信号值)，Ssatu代表信号的亮度饱和值，并且Snor代表规范化的信号。
这个实施例可以提供图像处理方法、图像处理装置、成像装置和镜头装置，它们中的每一个可以对图像的散焦模糊进行整形并生成具有良好的散焦模糊的图像。
第二实施例
接下来是根据本发明的第二实施例的图像处理系统的描述。这个实施例单独地提供估计模糊整形图像的图像处理装置、获取捕获的图像的成像装置以及学习服务器。
现在参考图9和10，将给出根据这个实施例的图像处理系统的描述。图9是图像处理系统300的框图。图10是图像处理系统300的概览。如图9和10中所示，图像处理系统300包括成像装置301、图像处理装置302、服务器308、显示装置311、记录介质312以及输出装置313。
除了生成模糊整形图像的图像处理器和图像捕获器之外，成像装置301的基本配置与图2中所示的成像装置100的基本配置相同。在根据这个实施例的成像装置301中，镜头装置(光学系统)是可更换的。图像传感器301的图像传感器如图11中所示的那样配置。图11是根据这个实施例的图像传感器的结构图。在图11中，断线指示微透镜。在像素320(省略了“b”和其它下标)的每一个中提供四个光电转换器321、322、323和324(省略了“b”和其它下标)，并且光学系统中的光瞳被分割成四个或者2×2。由光电转换器321至324获取的图像被顺序地称为A图像、B图像、C图像和D图像，并且它们之间的相加结果被设置为ABCD图像。从图像传感器输出ABCD图像(第一图像)和A图像(第二图像)的两个图像作为捕获的图像。
当成像装置301和图像处理装置302彼此连接时，ABCD图像和A图像存储在存储器303中。图像处理装置302使信息获取器304、图像生成器305以及深度估计器306从ABCD图像和A图像生成模糊整形图像。然后，图像处理装置302经由网络307访问服务器308并读取用于生成的权重信息。权重信息预先由学习器310学习并存储在存储器309中。根据镜头类型、F数、整形的散焦模糊形状等单独地学习权重信息，并且存在多条权重信息。
图像处理装置302通过用户的选择指令或从输入的ABCD图像确定的自动选择来获取存储器303中要被使用的权重信息，并生成模糊整形图像。模糊整形图像被输出到显示装置311、记录介质312以及输出装置313中的至少一个。显示装置311包括例如液晶显示器或投影仪。用户可以在经由显示装置311确认处理过程中的图像的同时工作。记录介质312包括例如半导体存储器、硬盘驱动器、网络上的服务器等。输出装置313包括打印机等。如果必要的话，图像处理装置302用于执行显影处理和其它图像处理。这个实施例可以将权重信息存储在连接到成像装置301的镜头装置中的存储器中，并且可以在散焦模糊整形时调用它。
现在参考图12，将给出由图像处理装置302执行的模糊整形图像的生成处理的描述。图12是示出模糊整形图像的生成处理的流程图。图12中的每个步骤主要由图像处理装置302(信息获取器304、图像生成器305、深度估计器306)执行。
首先，在步骤S301中，信息获取器304获取ABCD图像和A图像。在这个实施例中，第一图像是ABCD图像，第二图像是A图像。然而，第一图像不必是与光学系统中的整个光瞳对应的图像，并且可以是通过对A图像、B图像、C图像和D图像中的至少两个进行求和而获得的图像。
接下来，在步骤S302中，信息获取器304确定散焦模糊整形条件。在确定整形条件时，有必要在将散焦模糊改变为不期望的形状的多个因素(部分缺失的散焦模糊、多重模糊、环形图样等)当中选择抑制模糊整形的影响的因素。替代地，整形条件的确定包括指定要通过模糊整形改变的散焦模糊整形目标(具有平坦强度的PSF或高斯分布函数等)。整形条件可以由用户手动确定，或者可以从在步骤S301中获取的图像自动确定。
将描述说明性的整形条件的自动确定。在ABCD图像(或A图像)中，用于成像的镜头类型被存储为元数据。通过指定用于成像的镜头类型，可以识别渐晕的大小以及双线模糊或环形图样的存在或不存在。因此，基于用于捕获ABCD图像的镜头类型，可以确定抑制模糊整形的影响的因素(诸如部分缺失的散焦模糊)。当用于成像的焦距存储在元数据中时，整形条件也可以基于焦距的信息确定。在广角镜头中，渐晕倾向于大。因此，当焦距小于某个阈值时，确定整形条件以便通过模糊整形来抑制散焦模糊的部分缺失。可以如下基于例如ABCD图像的亮度值确定散焦模糊形状的目标。假设ABCD图像的亮度饱和区域是具有平坦强度的PSF，如图7C中所示，而另一个区域是高斯分布函数，如图7D中所示。替代地，可以从元数据中读出在成像时确定的成像场景的信息，并且如果成像场景是夜景，那么PSF可以是强度平坦的，并且在其它情况下，它可以是高斯分布函数。
接下来，在步骤S303中，信息获取器304获取多个权重信息当中与在步骤S302中确定的散焦模糊整形条件对应的权重信息。稍后将描述学习多个权重信息的方法。
接下来，在步骤S304中，深度估计器306从ABCD图像和A图像计算深度图。基于散焦模糊大小的差异的DFD(来自散焦的深度)或者图像之间的视差可以用于计算深度图。代替深度图，可以计算代表ABCD图像与A图像之间的视差偏移量的视差图。可以在步骤S301和S307之间的任何时间执行步骤S304。
接下来，在步骤S305中，图像生成器305使ABCD图像的明亮度(brightness)与A图像的明亮度一致。A图像是暗图像，因为其光瞳小于ABCD图像的光瞳。由于渐晕在除了光轴以外的图像高度处发生，因此ABCD图像与A图像的明亮度比(光量比)取决于图像高度和方位角而改变。这将参考图13A至13C进行描述。
图13A至13C图示了分割的光瞳、图像高度以及渐晕之间的关系。图13A图示了成像装置301的光学系统的光轴上的光瞳。图13A至13C中的断线代表被四个光电转换器分割的光瞳分割线。图13B图示了与图13A中的图像高度不同的图像高度处的光瞳。在图13A中，四个划分的光瞳的光量是均一的，但是在图13B中，它们的光量比由于渐晕而偏差。图13C图示了在与图13B中的图像高度相同的图像高度(在垂直于光轴的平面上且与光轴相同的距离的位置)与图13B中的方位角不同的方位角(垂直于光轴的平面上围绕作为旋转轴的光轴的方位角)。即使在这种情况下，部分光瞳的光量比也改变。因此，当ABCD图像和A图像被输入到多层神经网络(稍后将描述)时，两个图像之间的明亮度关系由于图像中的图像高度和方位角而变化，这可能使模糊生成精度降级。这个实施例可以预处理以使ABCD图像的明亮度与A图像的明亮度一致。这个实施例使A图像的明亮度与ABCD图像的明亮度一致，但是可以使ABCD图像的明亮度与A图像的明亮度一致。对于每个图像高度和方位角，通过对第一光瞳和第二光瞳的透射率分布进行积分而获得的第一积分值和第二积分值被获取并且用于明亮度调整。第一图像的每个图像高度和方位角的像素被乘以对应的第一积分值的倒数，并且对于第二图像的每个图像高度和方位角的像素，明亮度可以通过乘以对应的第二积分的值的倒数来一致。
将给出两种说明性的两个图像之间的明亮度一致方法的描述。第一种方法是基于第一光瞳(光学系统的整个光瞳)和第二光瞳(与A图像对应的部分光瞳)之间的光量比(第一光瞳与第二光瞳的透射率分布之比)来使明亮度一致。对于A图像的每个图像高度和方位角像素的第一光瞳与第二光瞳的光量比(第一光瞳的透射率分布与第二光瞳的透射率分布之比)被从存储器303中读出以计算乘积，并使明亮度与ABCD图像一致。光量比具有根据图像高度和方位角而不同的1或更高的值。
第二种方法使用ABCD图像与A图像之间的局部平均像素值。尽管ABCD图像和A图像具有不同的像差、噪声以及视差，但是部分区域中的平均像素值之比与上述光量比大致对应，因为它们对相同的被摄体成像。因此，例如，将平滑滤波器应用于ABCD图像和A图像以对每个像素获得平均像素值。然后，在这个位置处从同一位置处的像素处的平均像素值之比获得光量比，并且可以使明亮度一致。然而，当获得平均像素值并且包括亮度饱和像素时，该值可能从光量比偏移。因此，这个实施例可以获得除了亮度饱和像素之外的平均像素值。如果亮度饱和区域大并且不能获得那个位置处的平均像素值，那么可以从在周边计算的光量比执行插值，并且可以计算与那个位置对应的光量比。可以基于模糊大小以及第一光瞳和第二光瞳之间的基线长度(重心的位置之间的长度)来确定部分区域大小。可以在步骤S301和S307之间的任何时间执行步骤S305。
接下来，在图12中的步骤S306中，图像生成器305确定要被输入到多层神经网络中的ABCD图像和A图像的输入区域。尽管可以将整个图像输入到神经网络，但是非散焦区域(对焦区域)可以不被输入，因为在稍后描述的步骤S307中对散焦模糊进行整形。通过仅将图像中不包括对焦区域的区域设置为输入到神经网络中的区域，可以减轻计算负荷。ABCD图像(或A图像)的边缘分布用于确定对焦区域。例如，通过小波变换ABCD图像来获得边缘分布。边缘(边缘区域)与其中高频成分具有某个强度或更高的区域对应。由于边缘存在于对焦区域中，因此将不包括边缘的区域设置为输入区域。代替边缘分布，可以基于在步骤S304中计算的深度图(或视差图)来确定输入区域。然后，将除了其中深度与ABCD图像的元数据中的对焦距离匹配的区域以外的区域设置为输入区域。由于成像装置301被配置为使得在对焦距离处视差为零，因此在视差图中将其中视差大于阈值的区域设置为输入区域。可以在步骤S301和S307之间的任何时间执行步骤S306。
接下来，在步骤S307中，图像生成器305生成模糊整形图像。此时，图像生成器305从ABCD图像和A图像提取输入区域，并将提取的输入区域作为输入图像输入到多层神经网络。图像生成器305还将与输入区域对应的深度图(或视差图)添加为输入图像。
在这个实施例中，图像生成器305使用图14中所示的网络结构。图14图示了在这个实施例中用于生成模糊整形图像的网络结构。在图14中，输入图像401可以是整个输入区域或通过分割输入区域而获得的输入区域的一部分(分割的区域)。输入图像401是其中ABCD图像、A图像以及深度图(或视差图)在通道方向上连接(级联)的图像。在图14中，CN代表卷积层，DS代表用于对输入的特征图的采样率进行下采样的下采样层，DC代表解卷积层，并且US代表用于对特征图进行上采样的上采样层。下采样层的下采样率和上采样层的上采样率呈相反的关系。用于每个卷积层和解卷积层的滤波器基于权重信息确定。
跳过连接412和413组合从非连续层输出的特征图。特征图的每个元素可以被求和或者可以在通道方向上被连接。多个下采样层和跳过连接生成不同分辨率的多个特征图(其中以不同的采样率执行下采样的多个特征图)。这使得能够在不增大卷积层的滤波器大小的情况下计算局部特征和更广的特征两者。可以计算更广的特征，因为散焦模糊随着从对焦距离的偏移和F数而增大。跳过连接还用于在学习滤波器时改善收敛性。跳过连接411对输入图像401的ABCD图像401a和多层神经网络的输出求和。由此，获得模糊整形图像402。当输入区域被分割以获得输入图像401时，对于整个输入区域计算模糊整形图像402。通过将由神经网络计算的模糊整形图像与除了输入区域以外的ABCD图像组合，生成对于整个图像的模糊整形图像。
在这个实施例中，卷积层、解卷积层、下采样层、上采样层以及跳过连接的数量不限于图14中所示的那些。网络结构不限于图14中所示的结构。例如，可以使用如图15中所示的网络结构。图15图示了在这个实施例中用于生成模糊整形图像的另一个网络结构。
图15中的网络结构被分割成多个级500、510以及520，多个级500、510以及520中的每一个具有不同的分辨率。级520具有作为ABCD图像的分辨率的(1/m)2倍(m是正整数)那么高的分辨率。输入图像521包括ABCD图像、A图像以及深度图，其分辨率被下采样(1/m)2倍。跳过连接类似于图14中的跳过连接。具有级520处的分辨率的模糊整形图像522被上采样层592上采样m倍并输入到作为原始分辨率的1/m倍那么高的级510。
级510中的输入图像511是其中具有1/m倍分辨率的ABCD图像、A图像、深度图以及模糊整形图像522的上采样结果被连接的数据。类似地，级510的模糊整形图像512在上采样层591中被上采样m倍并输入到级500。
级500具有与原始ABCD图像相同量级的分辨率。输入图像501是其中ABCD图像、A图像、深度图以及模糊整形图像512的上采样结果被连接(级联)的数据。在级500上计算的模糊整形图像502作为最终的模糊整形图像被输出。这个实施例没有将级的数量限制为三个，或者将级中的网络结构限制为图15中所示的结构。可以使每个级中的滤波器的权重共用(不管级如何，都可以使用相同的滤波器)。由此，可以减小权重信息的数据容量。
由学习器310学习的权重信息根据根据第一实施例的图8中的流程图执行。由于在这个实施例中像差(其影响多重模糊)、渐晕以及非球面透镜的存在或不存在根据镜头类型而不同，因此对于每个镜头类型和要作为目标的整形的散焦模糊形状创建学习对，并且学习权重信息。这个实施例提供了单个第二图像的示例，但是可应用于多个第二图像(诸如A图像、C图像以及D图像的三个图像)。
这个实施例可以提供能够对图像的散焦模糊进行整形并且生成具有良好的散焦模糊的图像的图像处理系统。
其它实施例
本发明的实施例还可以通过读出并执行记录在存储介质(其也可以被更完整地称为‘非暂时性计算机可读存储介质’)上的计算机可执行指令(例如，一个或多个程序)以执行上述实施例中的一个或多个的功能和/或包括用于执行上述实施例中的一个或多个的功能的一个或多个电路(例如，专用集成电路(ASIC))的系统或装置的计算机、以及通过由系统或装置的计算机通过例如读出并执行来自存储介质的计算机可执行指令以执行上述实施例中的一个或多个的功能和/或控制一个或多个电路以执行上述实施例中的一个或多个的功能而执行的方法来实现。计算机可以包括一个或多个处理器(例如，中央处理单元(CPU)、微处理单元(MPU))，并且可以包括单独的计算机或单独的处理器的网络，以读出并执行计算机可执行指令。计算机可执行指令可以例如从网络或存储介质提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储设备、光盘(诸如紧凑盘(CD)、数字多功能盘(DVD)或蓝光盘(BD)TM)、闪速存储器设备、存储卡等中的一个或多个。
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
例如，本发明可以被实现为图像处理系统，该图像处理系统包括做出关于图像处理的请求的第一处理装置(诸如成像装置、智能电话以及PC的用户终端)、以及根据该请求实质地执行本发明的图像处理的第二处理装置(服务器)。例如，根据第二实施例的图像处理系统300中的信息获取器304、图像生成器305以及深度估计器306可以作为第二处理装置在服务器308侧提供，并且作为第一处理装置的图像处理装置302可以被配置为向服务器308请求使用第一图像和第二图像进行图像处理。在这种情况下，第一处理装置(用户终端)包括向第二处理装置(服务器)传送图像处理的请求的传送器，并且第二处理装置(服务器)包括接收从第一处理装置(用户终端)传送的请求的接收器。
然后，第一处理装置可以将第一图像和第二图像与图像处理请求一起传送到第二处理装置。然而，第二处理装置可以响应于第一处理装置的请求而获得存储在除了第一处理装置以外的位置(外部存储设备)的第一图像和第二图像。在第二图像处理装置对第一图像和第二图像执行模糊整形处理之后，第二处理装置可以将模糊整形图像传送到第一处理装置。以这种方式配置的图像处理系统使得图像处理器能够在第二处理装置侧以相对重的处理负荷进行处理，并且可以减少用户的负担。
每个实施例可以提供图像处理方法、图像处理装置、成像装置、镜头装置、程序以及存储介质，它们中的每一个可以对图像的散焦模糊进行整形并获得具有良好的散焦模糊的图像。
虽然已参考示例性实施例描述了本发明，但是要理解的是，本发明不限于所公开的示例性实施例。以下权利要求的范围要被赋予最广泛的解释，以便涵盖所有这样的修改以及等同的结构和功能。
Claims (23)
1.一种图像处理方法，包括以下步骤：
获取第一图像和第二图像，所述第一图像通过经由光学系统中的第一光瞳对被摄体空间成像而获得，所述第二图像通过经由所述光学系统中与所述第一光瞳不同的第二光瞳对所述被摄体空间成像而获得；以及
通过将所述第一图像和第二图像输入到神经网络来生成其中由散焦造成的模糊被整形的模糊整形图像，作为所述神经网络的输出。
2.根据权利要求1所述的图像处理方法，其特征在于，所述模糊整形图像是其中对于由散焦造成的模糊减小渐晕、由点扩展函数中的峰分离造成的多重模糊、环形图样、以及所述光学系统中的光瞳的遮蔽中的至少一个的影响的图像。
3.根据权利要求1所述的图像处理方法，其特征在于，所述模糊整形图像中由散焦造成的模糊的扩展比所述第一图像中的扩展宽。
4.根据权利要求1所述的图像处理方法，其特征在于，所述第一光瞳的透射率分布与所述第二光瞳的透射率分布不同。
5.根据权利要求1所述的图像处理方法，其特征在于，所述第二光瞳是所述第一光瞳的一部分。
6.根据权利要求1所述的图像处理方法，其特征在于，所述第一图像和第二图像是通过经由所述光学系统对所述被摄体空间同时成像而获得的。
7.根据权利要求1所述的图像处理方法，其特征在于，所述第一图像和第二图像由同一图像传感器捕获。
8.根据权利要求1所述的图像处理方法，还包括使所述第一图像和第二图像之间的明亮度一致的步骤，
其特征在于，生成所述模糊整形图像的步骤基于使所述明亮度一致的步骤之后的所述第一图像和第二图像来执行。
9.根据权利要求8所述的图像处理方法，其特征在于，使所述明亮度一致的步骤基于关于所述第一光瞳和第二光瞳的透射率分布的信息来执行。
10.根据权利要求8所述的图像处理方法，其特征在于，使所述明亮度一致的步骤基于对于所述第一图像和第二图像的每个部分区域计算的平均像素值来执行。
11.根据权利要求1所述的图像处理方法，其特征在于，所述神经网络被配置有关于权重的信息。
12.根据权利要求1所述的图像处理方法，还包括利用直线对所述第一图像和第二图像中的每一个进行分割以及对已被分割的所述第一图像和第二图像执行反转处理的步骤，所述直线与使所述第二光瞳线对称的轴平行并且通过所述第一图像和第二图像中的对应的一个的参考点，
其特征在于，生成所述模糊整形图像的步骤基于所述反转处理之后的所述第一图像和第二图像来执行。
13.根据权利要求1所述的图像处理方法，还包括基于所述第一图像和第二图像来计算所述被摄体空间的视差图和深度图中的一个的步骤，
其特征在于，生成所述模糊整形图像的步骤基于所述视差图或深度图中的所述一个来执行。
14.根据权利要求13所述的图像处理方法，其特征在于，生成所述模糊整形图像的步骤包括将所述视差图和深度图中的所述一个输入到所述神经网络中的步骤。
15.根据权利要求14所述的图像处理方法，其特征在于，生成所述模糊整形图像的步骤包括将输入图像输入到所述神经网络中的步骤，所述输入图像是通过将所述第一图像、第二图像、以及视差图和深度图中的所述一个在通道方向上级联而配置的。
16.根据权利要求13所述的图像处理方法，其特征在于，生成所述模糊整形图像的步骤包括基于所述第一图像或第二图像中的边缘分布或者基于所述第一图像和第二图像中的一个计算的所述视差图和深度图中的所述一个来确定要被输入到所述神经网络的所述第一图像和第二图像中的每一个的输入区域的步骤。
17.根据权利要求1至16中任一项所述的图像处理方法，其特征在于，生成所述模糊整形图像的步骤包括以下步骤：
利用所述神经网络计算多个特征图，对所述多个特征图执行不同采样率的下采样；以及
基于所述多个特征图来生成所述模糊整形图像。
18.一种图像处理装置，包括：
获取器，所述获取器被配置为获取第一图像和第二图像，所述第一图像通过经由光学系统中的第一光瞳对被摄体空间成像而获得，所述第二图像通过经由所述光学系统中与所述第一光瞳不同的第二光瞳对所述被摄体空间成像而获得；以及
生成器，所述生成器被配置为通过将所述第一图像和第二图像输入到神经网络来生成其中由散焦造成的模糊被整形的模糊整形图像，作为所述神经网络的输出。
19.一种成像装置，包括：
图像传感器，所述图像传感器被配置为对由光学系统形成的光学图像进行光电转换；以及
图像处理装置，
其特征在于，所述图像处理装置包括：
获取器，所述获取器被配置为获取第一图像和第二图像，所述第一图像通过经由光学系统中的第一光瞳对被摄体空间成像而获得，所述第二图像通过经由所述光学系统中与所述第一光瞳不同的第二光瞳对所述被摄体空间成像而获得；以及
生成器，所述生成器被配置为通过将所述第一图像和第二图像输入到神经网络来生成其中由散焦造成的模糊被整形的模糊整形图像，作为所述神经网络的输出。
20.根据权利要求19所述的成像装置，其特征在于，所述图像传感器包括多个像素，
其中，所述多个像素中的每一个具有多个光电转换器，
其中，所述像素接收在所述多个光电转换器处不同入射角的光并且生成多个信号，以及
其中，所述图像传感器输出所述第一图像和第二图像，所述第一图像与通过对所述多个信号进行相加而获得的相加信号对应，所述第二图像与所述多个信号中的一个或者通过对所述多个信号的一部分进行相加而获得的相加信号对应。
21.一种可从成像装置拆卸的镜头装置，包括：
光学系统；以及
存储器，所述存储器被配置为存储关于输入到神经网络的权重的信息，
其特征在于，所述成像装置包括：
获取器，所述获取器被配置为获取第一图像和第二图像，所述第一图像通过经由光学系统中的第一光瞳对被摄体空间成像而获得，所述第二图像通过经由所述光学系统中与所述第一光瞳不同的第二光瞳对所述被摄体空间成像而获得；以及
生成器，所述生成器被配置为通过将所述第一图像和第二图像输入到神经网络来生成其中由散焦造成的模糊被整形的模糊整形图像，作为所述神经网络的输出。
22.一种非暂时性计算机可读存储介质，所述非暂时性计算机可读存储介质存储用于使计算机执行图像处理方法的程序，
其特征在于，所述图像处理方法包括以下步骤：
获取第一图像和第二图像，所述第一图像通过经由光学系统中的第一光瞳对被摄体空间成像而获得，所述第二图像通过经由所述光学系统中与所述第一光瞳不同的第二光瞳对所述被摄体空间成像而获得；以及
通过将所述第一图像和第二图像输入到神经网络来生成其中由散焦造成的模糊被整形的模糊整形图像，作为所述神经网络的输出。
23.一种图像处理系统，所述图像处理系统包括第一处理单元和第二处理单元，
其特征在于，所述第一处理装置包括传送器，所述传送器被配置为向所述第二处理装置传送使用第一图像和第二图像进行图像处理的请求，所述第一图像通过经由光学系统中的第一光瞳对被摄体空间成像而获得，所述第二图像通过经由所述光学系统中与所述第一光瞳不同的第二光瞳对所述被摄体空间成像而获得，并且
其中，所述第二处理装置包括：
接收器，所述接收器被配置为接收从所述第一处理装置发送的所述请求；
获取器，所述获取器被配置为获取所述第一图像和第二图像；以及
生成器，所述生成器被配置为通过将所述第一图像和第二图像输入到神经网络来生成其中由散焦造成的模糊被整形的模糊整形图像，作为所述神经网络的输出。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018-156813 | 2018-08-24 | ||
| JP2018156813 | 2018-08-24 | ||
| JP2019-124790 | 2019-07-03 | ||
| JP2019124790A JP7234057B2 (ja) | 2018-08-24 | 2019-07-03 | 画像処理方法、画像処理装置、撮像装置、レンズ装置、プログラム、記憶媒体、および、画像処理システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110858871A CN110858871A (zh) | 2020-03-03 |
| CN110858871B true CN110858871B (zh) | 2021-12-31 |
Family
ID=67659448
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910768726.2A Active CN110858871B (zh) | 2018-08-24 | 2019-08-20 | 图像处理方法、图像处理装置、成像装置、镜头装置、存储介质、以及图像处理系统 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11195257B2 (zh) |
| EP (1) | EP3614336A1 (zh) |
| CN (1) | CN110858871B (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11568261B2 (en) * | 2018-10-26 | 2023-01-31 | Royal Bank Of Canada | System and method for max-margin adversarial training |
| JP7256368B2 (ja) * | 2019-02-06 | 2023-04-12 | ミツミ電機株式会社 | 測距カメラ |
| JP7123884B2 (ja) * | 2019-09-12 | 2022-08-23 | 株式会社東芝 | 撮像装置、方法及びプログラム |
| JP7455542B2 (ja) * | 2019-09-27 | 2024-03-26 | キヤノン株式会社 | 画像処理方法、プログラム、画像処理装置、学習済みモデルの製造方法、および、画像処理システム |
| US11328386B1 (en) | 2019-11-13 | 2022-05-10 | Gigajot Technology, Inc. | Luminance-guided image de-mosaicing and de-noising |
| EP3879483A1 (en) | 2020-03-09 | 2021-09-15 | Canon Kabushiki Kaisha | Learning data manufacturing method, learning method, learning data manufacturing apparatus, learning apparatus, program, and memory medium |
| CN111402175B (zh) * | 2020-04-07 | 2022-04-08 | 华中科技大学 | 一种高速扫描成像系统及方法 |
| CN111652813B (zh) * | 2020-05-22 | 2023-03-28 | 中国科学技术大学 | 一种横向束流截面处理方法及装置 |
| WO2022098488A1 (en) * | 2020-11-06 | 2022-05-12 | Innopeak Technology, Inc. | Real-time scene text area detection |
| JP7451443B2 (ja) * | 2021-02-09 | 2024-03-18 | キヤノン株式会社 | 画像処理方法および装置、機械学習モデルの訓練方法および装置、並びにプログラム |
| CN113132626B (zh) * | 2021-03-26 | 2022-05-31 | 联想(北京)有限公司 | 一种图像处理方法以及电子设备 |
| US11893668B2 (en) | 2021-03-31 | 2024-02-06 | Leica Camera Ag | Imaging system and method for generating a final digital image via applying a profile to image information |
| WO2022241732A1 (en) * | 2021-05-20 | 2022-11-24 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method of generating an image, electronic device, apparatus, and computer readable storage medium |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103826033A (zh) * | 2012-11-19 | 2014-05-28 | 佳能株式会社 | 图像处理方法、图像处理设备、图像拾取设备和存储介质 |
| CN107431755A (zh) * | 2015-03-03 | 2017-12-01 | 佳能株式会社 | 图像处理设备、摄像设备、图像处理方法、程序和存储介质 |
| CN107465866A (zh) * | 2016-06-03 | 2017-12-12 | 佳能株式会社 | 图像处理设备及方法、摄像设备和计算机可读存储介质 |
Family Cites Families (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW200840365A (en) * | 2007-03-23 | 2008-10-01 | Ind Tech Res Inst | Motion-blur degraded image restoration method |
| JP2011215395A (ja) * | 2010-03-31 | 2011-10-27 | Canon Inc | 収差補正機能を有する撮像装置及び撮像装置における収差補正方法 |
| JP2012003233A (ja) * | 2010-05-17 | 2012-01-05 | Sony Corp | 画像処理装置、画像処理方法およびプログラム |
| WO2012132797A1 (ja) * | 2011-03-31 | 2012-10-04 | 富士フイルム株式会社 | 撮像装置及び撮像方法 |
| JP5956782B2 (ja) * | 2011-05-26 | 2016-07-27 | キヤノン株式会社 | 撮像素子及び撮像装置 |
| US8705881B2 (en) * | 2011-09-02 | 2014-04-22 | Adobe Systems Incorporated | Motion deblurring for text images |
| JP5701785B2 (ja) * | 2012-02-03 | 2015-04-15 | 株式会社東芝 | カメラモジュール |
| TWI462054B (zh) * | 2012-05-15 | 2014-11-21 | Nat Univ Chung Cheng | Estimation Method of Image Vagueness and Evaluation Method of Image Quality |
| JP6271990B2 (ja) * | 2013-01-31 | 2018-01-31 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
| AU2013263760A1 (en) * | 2013-11-28 | 2015-06-11 | Canon Kabushiki Kaisha | Method, system and apparatus for determining a depth value of a pixel |
| JP6313685B2 (ja) * | 2014-05-01 | 2018-04-18 | キヤノン株式会社 | 撮像装置およびその制御方法 |
| US9501716B2 (en) * | 2014-12-11 | 2016-11-22 | Intel Corporation | Labeling component parts of objects and detecting component properties in imaging data |
| US10306132B2 (en) * | 2015-05-11 | 2019-05-28 | Canon Kabushiki Kaisha | Distance calculation apparatus, imaging apparatus and distance calculation method that include confidence calculation of distance information |
| JP2016220016A (ja) | 2015-05-20 | 2016-12-22 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、プログラム |
| US10659766B2 (en) * | 2015-10-30 | 2020-05-19 | Canon Kabushiki Kaisha | Confidence generation apparatus, confidence generation method, and imaging apparatus |
| WO2018037521A1 (ja) * | 2016-08-25 | 2018-03-01 | キヤノン株式会社 | 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、記憶媒体 |
| US10289951B2 (en) * | 2016-11-02 | 2019-05-14 | Adobe Inc. | Video deblurring using neural networks |
| JP7145943B2 (ja) * | 2017-10-04 | 2022-10-03 | グーグル エルエルシー | 単一のカメラを使用した深度の推定 |
| US11503201B2 (en) * | 2017-10-13 | 2022-11-15 | Sony Corporation | Focus detection device and method |
| EP3698269A4 (en) * | 2017-11-22 | 2020-12-09 | Zhejiang Dahua Technology Co., Ltd. | IMAGE PROCESSING METHOD AND SYSTEM |
| US10740876B1 (en) * | 2018-01-23 | 2020-08-11 | Facebook Technologies, Llc | Systems and methods for generating defocus blur effects |
| US10482583B1 (en) * | 2018-05-10 | 2019-11-19 | Google Llc | Generating and displaying blur in images |
| CN109345449B (zh) * | 2018-07-17 | 2020-11-10 | 西安交通大学 | 一种基于融合网络的图像超分辨率及去非均匀模糊方法 |
| US10835349B2 (en) * | 2018-07-20 | 2020-11-17 | Align Technology, Inc. | Parametric blurring of colors for teeth in generated images |
| KR102192899B1 (ko) * | 2018-08-16 | 2020-12-18 | 주식회사 날비컴퍼니 | 이미지에 보케 효과를 적용하는 방법 및 기록매체 |
| US11308592B2 (en) * | 2018-10-04 | 2022-04-19 | Canon Kabushiki Kaisha | Image processing method, image processing apparatus, imaging apparatus, and storage medium, that correct a captured image using a neutral network |
| JP7016835B2 (ja) * | 2019-06-06 | 2022-02-07 | キヤノン株式会社 | 画像処理方法、画像処理装置、画像処理システム、学習済みウエイトの製造方法、および、プログラム |
| JP7204586B2 (ja) * | 2019-06-17 | 2023-01-16 | 株式会社東芝 | 学習方法、プログラム及び画像処理装置 |
| US20210233210A1 (en) * | 2021-03-26 | 2021-07-29 | Intel Corporation | Method and system of real-time super-resolution image processing |
-
2019
- 2019-08-08 US US16/535,386 patent/US11195257B2/en active Active
- 2019-08-20 CN CN201910768726.2A patent/CN110858871B/zh active Active
- 2019-08-20 EP EP19192533.8A patent/EP3614336A1/en active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103826033A (zh) * | 2012-11-19 | 2014-05-28 | 佳能株式会社 | 图像处理方法、图像处理设备、图像拾取设备和存储介质 |
| CN107431755A (zh) * | 2015-03-03 | 2017-12-01 | 佳能株式会社 | 图像处理设备、摄像设备、图像处理方法、程序和存储介质 |
| CN107465866A (zh) * | 2016-06-03 | 2017-12-12 | 佳能株式会社 | 图像处理设备及方法、摄像设备和计算机可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| Synthetic Depth-of-Field with a Single-Camera Mobile Phone;NEAL WADHWA et al;《ACM Trans. Graph》;20180831;第37卷(第4期);第1-18页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| US11195257B2 (en) | 2021-12-07 |
| EP3614336A1 (en) | 2020-02-26 |
| CN110858871A (zh) | 2020-03-03 |
| US20200065942A1 (en) | 2020-02-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110858871B (zh) | 图像处理方法、图像处理装置、成像装置、镜头装置、存储介质、以及图像处理系统 | |
| US11188777B2 (en) | Image processing method, image processing apparatus, learnt model manufacturing method, and image processing system | |
| US11694310B2 (en) | Image processing method, image processing apparatus, image processing system, and manufacturing method of learnt weight | |
| JP7234057B2 (ja) | 画像処理方法、画像処理装置、撮像装置、レンズ装置、プログラム、記憶媒体、および、画像処理システム | |
| RU2523028C2 (ru) | Устройство обработки изображения, устройство захвата изображения и способ обработки изображения | |
| JP7362284B2 (ja) | 画像処理方法、画像処理装置、プログラム、画像処理システム、および、学習済みモデルの製造方法 | |
| US9992478B2 (en) | Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium for synthesizing images | |
| US11508038B2 (en) | Image processing method, storage medium, image processing apparatus, learned model manufacturing method, and image processing system | |
| JP4818957B2 (ja) | 撮像装置およびその方法 | |
| US10062153B2 (en) | Image processing apparatus, image pickup apparatus, image processing method, and storage medium | |
| JP2021168048A (ja) | 画像処理方法、画像処理装置、画像処理システム、およびプログラム | |
| US11830173B2 (en) | Manufacturing method of learning data, learning method, learning data manufacturing apparatus, learning apparatus, and memory medium | |
| JP2015004883A (ja) | 結像光学系および撮像システムおよび撮像方法 | |
| US20150161771A1 (en) | Image processing method, image processing apparatus, image capturing apparatus and non-transitory computer-readable storage medium | |
| JP7191588B2 (ja) | 画像処理方法、画像処理装置、撮像装置、レンズ装置、プログラム、および、記憶媒体 | |
| US10062150B2 (en) | Image processing apparatus, image capturing apparatus, and storage medium | |
| JP4818956B2 (ja) | 撮像装置およびその方法 | |
| CN115496673A (zh) | 图像处理方法、图像处理装置、图像处理系统、以及存储介质 | |
| US11080832B2 (en) | Image processing method, image processing apparatus, imaging apparatus, and storage medium | |
| JP7009219B2 (ja) | 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体 | |
| JP2021140758A (ja) | 学習データの製造方法、学習方法、学習データ製造装置、学習装置、およびプログラム | |
| JP7129229B2 (ja) | 画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体 | |
| US20240029321A1 (en) | Image processing method, image processing apparatus, storage medium, image processing system, method of generating machine learning model, and learning apparatus | |
| JP2013034068A (ja) | 画像処理方法、画像処理装置および画像処理プログラム | |
| JP2019106215A (ja) | データ処理装置、撮像装置、およびデータ処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |