CN110023810B - 光学系统像差的数字校正 - Google Patents
光学系统像差的数字校正 Download PDFInfo
- Publication number
- CN110023810B CN110023810B CN201780073488.2A CN201780073488A CN110023810B CN 110023810 B CN110023810 B CN 110023810B CN 201780073488 A CN201780073488 A CN 201780073488A CN 110023810 B CN110023810 B CN 110023810B
- Authority
- CN
- China
- Prior art keywords
- image
- optical system
- far
- optical
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 139
- 230000004075 alteration Effects 0.000 title claims abstract description 73
- 238000012937 correction Methods 0.000 title claims description 44
- 238000000034 method Methods 0.000 claims abstract description 133
- 230000008569 process Effects 0.000 claims description 69
- 238000013528 artificial neural network Methods 0.000 claims description 68
- 238000012549 training Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 15
- 238000012634 optical imaging Methods 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000005855 radiation Effects 0.000 claims description 4
- 230000008030 elimination Effects 0.000 claims description 2
- 238000003379 elimination reaction Methods 0.000 claims description 2
- 230000002776 aggregation Effects 0.000 claims 1
- 238000004220 aggregation Methods 0.000 claims 1
- 238000006243 chemical reaction Methods 0.000 claims 1
- 230000001143 conditioned effect Effects 0.000 claims 1
- 238000003384 imaging method Methods 0.000 description 15
- 238000012545 processing Methods 0.000 description 15
- 238000000926 separation method Methods 0.000 description 8
- 230000003750 conditioning effect Effects 0.000 description 7
- 238000000605 extraction Methods 0.000 description 7
- 238000003702 image correction Methods 0.000 description 5
- 238000012805 post-processing Methods 0.000 description 5
- 210000003128 head Anatomy 0.000 description 4
- 230000001419 dependent effect Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 206010010071 Coma Diseases 0.000 description 1
- 238000012897 Levenberg–Marquardt algorithm Methods 0.000 description 1
- 241000015864 Protobothrops flavoviridis Species 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005669 field effect Effects 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 230000010411 postconditioning Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000009291 secondary effect Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Geometry (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
公开了一种用于从图像中消除光学像差的数字方法。该方法包括光学系统的初始仿形，以及使用所获得的信息来校正由同一或相同光学系统对图像引入的光学像差。
Description
发明领域
本发明总体上涉及光学系统的领域，且特别涉及光学成像设备的改进。
更精确地，本发明使通过计算部件校正光学系统的像差成为可能。本发明通过在物理设计约束下提高光学系统的质量来扩展光学设计的边界和/或光学系统的适用性的范围。该技术可应用于各种电光成像系统。
发明背景
现代成像技术采用常常由几十个单独的光学元件组成的高度复杂的光学系统。在过去的几十年中，成像光学器件变得越来越复杂，以便为这种光学系统(例如单镜头反光(SLR)相机)提供光效率。这种复杂性通常是针对可用孔径比的有效使用以及针对简单镜头元件所固有的不希望有的伪像的补偿所需要的。
偏离理想“薄镜头”模型的非线性偏差(即像差)的消除或最小化是总成像系统效率的优化的重要部分。光学像差包括伪像，例如几何失真、色像差(波长相关的焦平面)、球面像差(光轴距离相关的焦距)、和彗差(角度与焦点的相关性(angular dependence onfocus))。
因为具有球面的每个单个光学元件都遭受前面提到的伪像，不同镜头元件的组合被使用，尤其是当高质量成像被需要(例如在摄影中)时。
然而，拥有好得多的几何成像特性的复杂像差补偿光学系统遭受其他缺点，包括急剧增加的制造成本、重量、镜头眩光、减小的可靠性等。
虽然可能在一些情况下使用数字后处理来校正色像差效应的出现，但是在大多数真实世界情况中色像差导致一些图像细节的永久丢失。
所提出的发明使用替代方法来实现高质量成像。也就是说，代替更复杂的光学系统，通过添加预处理或后处理计算部件以校正光学系统的像差来实现性能改善。这种光学部件在下文中将被称为光学系统的“数字镜头”元件。
已经开发和报道了计算像差校正的各种方法。因此，基于镜头轮廓(profile)的图像校正方法通常考虑光学镜头/系统的已知特性，以用于对各种类型的镜头失真(例如在高对比度边缘处的彩色条纹、渐晕等)的(自动)校正。
事实上，用于产生图像的光学系统的详细知识可以在对图像中的不期望有的伪像的校正中起重要作用。由于色像差(与焦距的关系等)的复杂性，相机制造商采用各种镜头特定技术来最小化色像差外观。
现今，几乎每一家主要的相机制造商都在相机中和经由他们的专有软件实现某种形式的色像差校正。第三方软件工具(例如PTLens、DxO Optics Pro、Adobe PhotoshopLightroom)也能够利用相机/镜头的相对应的数据库来执行复杂的色像差外观减少。
例如，在Enomoto的美国专利6,862,373中报道的一种方法，该方法描述了对来自由光学元件(镜头)拍摄的图像的输入数据和用于记录该图像的关于该镜头的信息的获取。该方法还描述了使用关于在记录的时间的焦距和孔径(即镜头光圈开口)的信息以及镜头特性来校正在图像中的像差和渐晕的图像处理。
如在Habu的第11-161773号日本专利中所公开的另一个示例也描述了在不使用任何光学部件的情况下校正放大色像差。预先存储每种颜色的镜头的放大色像差数据，并且图像处理基于所提到的预先存储的数据来执行对图像的放大和缩小，因而每当图像通过该镜头被获得时执行放大像差校正。然后，在放大校正之后，每种颜色的图像被组合成单个图像，完成放大色像差校正。
在Okada的美国专利7,425,988中(以及类似地在Suto的美国专利8,508,655中)公开了另一种方法，该方法描述了关于每种颜色的图片的放大或缩小；数据存储器单元存储关于每种颜色的成像镜头所特有的色像差数据(包括多个变焦、聚焦和孔径值)；以及处理单元使用色像差数据(存储在数据存储器单元中)和检测到的图像(连同当前变焦、聚焦和孔径值)来控制转换因子和坐标放大像差校正。
在理想情况下，去除或校正横向色像差的后处理将需要按比例缩放流苏边颜色通道或者减去流苏边通道的一些缩放版本，使得在最终图像中(例如，在全息显微术中)所有通道在空间上正确地相互重叠。
然而，在实际应用中，与校正良好的物理镜头相比，甚至在理论上完美的基于后处理的色像差减少系统也不增加图像细节。
从色像差角度来看，对此的原因是下列各项：1)计算尺度改变仅适用于横向(非纵向)色像差。ii)颜色通道的单独尺度改变导致一些分辨率损失。iii)色像差出现在整个光谱范围内，然而大多数相机传感器仅捕获几个离散(例如，RGB)颜色通道。
一些色像差跨通道颜色污染在相机传感器中是不可避免的。
因为上述问题与特定的所捕获的图像的内容密切相关，没有捕获装备的合理数量的编程和知识(例如，相机和镜头数据)能够完全克服这样的限制。
所公开的方法提出了一种用于电子光学像差校正的新的、改进的非盲去卷积方法。像其他前面提到的方法一样，所公开的方法也基于用于成像的光学系统的知识(即仿形(profiling))。此外，该方法因此使用对成像系统已经知道的轮廓以本公开的“数字镜头”元件来处理任意捕获的场景。
然而，基本上通过利用针对不同图像尺度(即图像细节)的点扩散函数(PSF)提取和随后的人工神经网络(NN)训练，与其他像差校正技术相比，所公开的仿形方法本质上是不同的。PSF是在光传播和成像系统性能的预测方面的重要特性。
所公开的方法和“数字镜头”元件将数字镜头的适用性从典型的图像捕获系统(数字相机)扩展到更广泛的成像应用，包括增强现实(AR)/虚拟现实(VR)显示系统、头显(headset)、取景器等。
参考附图，从优选和可选的实施方式的下面的描述中，本发明的另外的特征和方面将变得明显。
发明概述
公开了一种用于从图像中消除光学像差的光学成像方法和“数字镜头”元件。该方法基于两个独立的过程，其中第一过程在第二过程前面被执行。
第一过程包括收集光学系统信息，在计算机生成的图表及它们的图像之间执行几何和辐射对准，提取具有远场核的PSF分量，并将它与对准的图像卷积以产生远场校正的图像数据。第一过程还包括用于NN训练的图像数据的预调节、提取NN加权系数和创建光学系统轮廓，该光学系统轮廓是包含NN加权系数和远场核的数据。
第二过程包括通过光学系统捕获原始图像，提取具有低和高空间频率(LF和HF)的分量，也使用在第一过程中获得的光学系统轮廓来预调节NN的HF分量。再调节的NN输出进一步与原始LF分量相加，形成消除了光学像差的单个经校正的图像。
该方法可与各种光学系统(例如相机、取景器目镜和具有已知制造商参数的显示器)一起使用。该方法可以应用在图像的片段(区块)上。
可分别使用线性低通和高通滤波器来计算LF和HF分量，而预调节可包括动态范围减小和非线性的应用。NN输出可以包括多个像素值，而NN训练可以使用Levenberg-Marquardt算法来执行。
逆预调节可应用于减少NN训练误差。可以使用HF部分的算术逆来计算NN输出，而PSF分量提取可以使用二维快速傅立叶变换来执行。
附图简述
图1：光学像差校正方法的全视图。
图2：图表和图像的几何和辐射对准。
图3：光学系统仿形。
图4：远场图像校正和点扩散函数(PSF)提取。
图5：图像处理。
图6：对NN输出数据使用具有像素四元组(RG/GB)的Bayer滤波器的示例。
图7：显示系统的光学像差校正。
优选实施例的详细描述
所公开的发明通常服务于使用将进一步详细描述的非盲去卷积技术来校正光学像差的任务。术语“非盲”是在本发明通过使所关注的光学系统“仿形”来利用已知的(例如，提前预估计的)点扩散函数(PSF)的意义上而使用的。一般来说，PSF描述了成像系统对点状对象或点光源的(三维)响应。从功能方面来说，PSF是成像系统在空间域中的传递函数。
在图1中示出了所公开的发明的总体布局，其中场景(1)由光学系统(例如相机)(2)观察，该光学系统捕获场景(1)的数字图像(3)，并且在应用由计算部件(4)(即“数字镜头”)执行的数字像差校正后处理来校正光学系统(2)的像差之后提供场景(1)的经校正的图像(5)，假设计算部件(4)被提前提供有关于光学系统(2)的特定信息(6)(即光学轮廓(optical profile)”)。这种特定信息(6)是通过仿形光学系统(2)来获得的，并且，如将进一步详细解释的，在所公开的发明中起关键作用。
所公开的方法基于将光学系统像差的计算校正的整个过程如下分成两个单独(独立)的步骤：
过程I：选择的光学系统的仿形。在这一部分中，获得了如何最佳地校正由该光学系统引起的像差的信息。然后，该信息以该特定光学系统的“光学轮廓”的形式被存储。通常，光学系统的这种仿形是耗时的迭代过程。幸运的是，它对于选择的光学系统只需要被执行一次(例如，当其被设计和制造的时候)。
过程II：通过使用在过程I期间获得的“光学轮廓”来校正光学系统的像差。该步骤是非迭代的，相对快，能够例如以视频信号帧速率在现有图像处理器上和/或在功率受限的移动设备中执行图像的光学像差校正。
该过程这样分成两个步骤还允许将该方法的适用范围例如从图像捕获系统(数字相机)扩展到更一般的光学成像应用，包括各种现代AR/VR显示器/头显系统、取景器目镜等。
在本发明的优选实施例中，可通过用高质量图像捕获设备代替人眼的位置来在选择的光学系统中执行过程I。因此，由该光学系统产生的任何未来图像可以在过程II中例行地被校正，基本上抵消了(这种已知的、不完美的光学系统固有的)像差。
因此，本发明的优选实施例包括两个通常分开的过程：过程I——光学系统的仿形，具体地，获得包含关于光学系统的信息的“光学轮廓”，和过程II——将在过程I中获得的光学轮廓应用于由同一(或相同的)光学系统捕获的图像，以便减少在所捕获的图像中的光学像差。
在过程II期间，所谓的“数字镜头”校正被直接应用于在过程I中由光学系统(即相机)获得的数据(图像)。可以使校正的图像以与没有“数字镜头”校正的方式相同的方式通过图像信号处理。
如在这里参考图2详细描述的，本发明的优选实施例的过程I又分为两个主要步骤。
步骤1：仿形图像捕获和几何/辐射对准。
在图2在所述的这个步骤中，一组计算机生成的图表被创建。这些图表要么打印在纸上，要么显示在高质量/高分辨率显示器上，以通过光学系统/相机来进行捕获。
然后，计算机生成的图表被光学系统捕获以被仿形(在图1中也被显示为(3))，产生通常N个图像的序列(21)。
所捕获的图像序列(21)包括光学系统的参数(即在捕获期间使用的相机的元数据)(例如焦点距离、孔径大小(镜头光圈值)、焦距等)的知识。
然后，执行来自所捕获的图像序列的图表(21)的几何和辐射对准(23)。为了这个目的，来自序列(21)的仿形图像的子集及它们的所捕获的版本((22)的输出)用于便于几何对准(即场景/特征对准)和辐射对准(即，估计在每个图像中的颜色值的非线性函数并应用它来使图像辐射地对准，使得颜色值对于序列的所有图像都是一致的)。
注意，在这种对准过程期间，计算机生成的图表(21)与所捕获的图像(即正在被仿形的由系统捕获的图表图像的版本)对准。所有这样的所捕获的图像都是以相同的相机设置和在相同的照明条件下进行捕获，因此它们不需要彼此对准。
在现有技术中已经报道了可由所公开的方法利用的用于几何和辐射对准的各种公认的图像处理技术，目的是从图表的匹配颜色和几何特征方面提供准确(尽可能)的图像对准。
该对准过程(23)的输出是一对对准的图像(24)。在本发明的优选实施例中，计算机生成的图表的子集(几何地和辐射地与它们的所捕获的版本对准)被提供为对准过程的输出(24)的一部分。如图2所示，这种对包括所谓的“对准”和相对应的“所捕获的”图像。
这些图像(24)(即，对准的图表和它们的所捕获的版本一起)进一步在光学系统轮廓的创建中被使用，具体地用于提取关于特定光学系统的像差将被校正的方式的知识。
步骤2：光学系统的光学轮廓创建。
过程I的这个步骤2在下面被详细解释并使用来自前一步骤的“对准的”图像和“所捕获的”图像来执行实际系统仿形，见图2中的(24)。
图3描绘了光学系统的轮廓创建的完整过程(即过程I)。该过程以对准和捕获的一对输入图像(31)开始，该一对输入图像(可选地)被分成区块(32)(稍后参考下面的图4在步骤2a中进行详细描述)。该数据被传递到远场校正(34)，该远场校正包括远场图像校正和点扩散函数(PSF)提取(稍后参考下面的图4在步骤2b中进行详细描述)。
远场校正(34)又提供两个输出：存储到光学系统轮廓(33)中的远场核系数和只有剩余的近场像差的像素数据。
这些像素数据坚持完成LF/HF分离(36)。(36)的输出以NN(39)的输入形式进行提供。为了这个目的，包含LF空间频率的像素数据被直接传递，而包含HF空间频率的像素数据在被传送到NN(39)之前经历数据调节(38)。
直接从(32)(或者(31)，如果不使用平铺步骤)提供的像素数据的坐标(在图像平面内或者在区块内)形成NN(39)的另一个输入。
在过程I(仿形)期间，NN(39)需要目标像素数据被训练。这种像素数据通过HF滤波器(35)和数据调节(37)从对准的图像中被提供。通过训练获得的NN权重和偏差(391)也存储在光学系统轮廓(33)中。
远场图像校正和点扩散函数(PSF)提取的过程在图3中被显示为过程(34)，并且稍后结合图4进行更详细的描述。
步骤2c。参考图3，对准和捕获的图像(31)(或它们的对准的区块(32))的数据根据数据空间频率如下被分成两个部分：
一个部分(35)将仅包括具有高空间频率的内容(在下文中的从数据中提取的HF部分)，而另一个部分(36)将同时具有HF部分和LF部分(从数据中提取的具有低空间频率的内容)。这个分离可以通过应用分别基于低通和高通核的公知线性滤波器来实现。
重要地，LF部分(36)通常不受像差影响，且因此可以照原样通过而无需处理。然而，HF部分(35)需要被适当地校正，以便获得合乎需要的改善的图像。
如上面所提到的，如果将图像分割成区块的选项被选择，则LF部分(36)和HF部分(35)都单独地针对“对准的”和“所捕获的”图像或它们的相应区块进行提取。
步骤2d。参考图3，先前从HF部分获得的像素数据由调节过程(37)准备(即“调节”)，以起到用于NN训练(39)的输入数据(即参考数据)的作用。一般，NN(39)在机器学习过程中用于估计(或近似)依赖于大量通常未知的输入的函数系数(391)。在图像处理中，NN可以针对已知的自我预调节过程使用参考(输入)图像。
在NN训练开始之前，可以例行地使用各种已知的数据预调节技术。再调节(reconditioning)(37)(在NN训练后的数据操纵)也可用于提高NN训练效率，例如以减少NN训练误差。
再调节(37)类似于预调节步骤(38)的逆过程。例如，当NN数据的动态范围以某种方式减小时，应该用相对应的动态范围扩展来再调节NN的输出。
在本发明的优选实施例中，这种数据(由(38)预调节和由(37)后调节)包括下面的两个过程的任何组合：
a.数据的动态范围的缩小。通常，当NN被提供有具有有限动态范围的数据时，NN最佳地操作。存在缩小数据的动态范围的许多众所周知的方式。一种可能的方式是通过输入像素的值的总和或通过最大输入像素值来归一化输入数据。
b.像素的值的非线性的应用。这种非线性用来强调具有小值的像素的贡献，因此指示NN为小振幅输入产生更准确的结果。这又导致在输出图像中的更好的信噪比(SNR)。例如，引入的非线性可以具有A^(1-α)的形式，其中：A是像素值，以及α是小常数(通常在0.02-0.2的范围内)。
一旦被训练，NN算法(包括数据预调节和后调节)就将获得关于如何将畸变的(例如模糊的)图像转换成尽可能接近完美(无像差)的图像的信息(33)，即“光学系统轮廓”。
NN(39)以逐像素方式操作。因此，为了校正特定像素的像差，处理该像素的某个邻域(在输入所捕获的图像(32)内)。在本发明的优选实施例中，如参考图3详细描述的，为NN输入和输出准备数据。
NN(39)被提供有已处理像素的位置的知识，有效地允许NN(39)适应于在给定区块上的PSF的可变性。为此目的，像素坐标(31)从所捕获的图像(34)进行的平铺步骤(32)传递到NN(33)的输入。
来自所捕获的图像区块(32)的HF部分(36)在受到前面提到的“数据调节”(38)之后被传递到NN(39)的输入。使用在所捕获的图像的某个邻域内(例如，比离正在被处理的像素的9个像素距离更小)的像素来提取该HF部分(36)。
从对准的图像区块(32)处理的像素的HF部分(35)在受到前面提到的“数据调节”(37)之后也被传递到NN(39)的输出，并用作NN输出数据。
此外，来自所捕获的图像区块(32)的LF部分(36)被传递到NN(39)的输入。如上面所提到的，使用在所捕获的图像的较大邻域内(例如，比离正在被处理的像素的八个像素距离更远)的像素来提取该LF部分(36)。
应当注意，在本发明的一些实施例中，像素输入数据直接从马赛克过滤的传感器获得，而不需要由成像系统信号处理器(ISP)提供的任何预处理。例如，可以使用Bayer滤波器，其是应用于光传感器矩阵的滤色器马赛克阵列，以在正方形网格图案中布置RGB滤色器。滤色器的这种布置被用在数字彩色相机、摄像放像机、和扫描仪中的大多数单片数字图像传感器中。在这种情况下，可使用这种类型的NN，其同时在输出中产生多个像素值(在bayer模式的情况下是四个一组的像素)，如将稍后结合图6所述的。
一旦所有的输入和输出数据被准备好，NN训练就开始。
在本发明的优选实施例中，使用众所周知的训练算法(例如Levenberg-Marquardt)来执行训练。训练NN(在图4中被标记为(391))的权重被提取，并以“光学系统轮廓”的形式连同从远场校正步骤(34)获得的核一起被存储。每个区块的权重和核是唯一的，因此每个区块都有它自己的一组这样的参数。
如上所述，本发明的优选实施例包括两个通常分开的过程：产生“光学系统轮廓”的过程I和将在过程I中获得的轮廓应用于由同一(即相同的)光学系统捕获的图像的过程II，以便减少所捕获的图像的光学像差。
参考图3解释了光学系统的轮廓创建的完整过程(过程I)。在这里参考图4更详细地描述远场图像校正(34)和点扩散函数(PSF)提取(步骤2a-2b)。
在步骤2a中，图像(由相机的视场提供，最初在图2中被显示为(24))可以可选地使用区块分离过程(40)被分成更小的部分，其在下文中分别被称为所捕获的图像(42)和对准的图像(41)的“区块”。
前面提到的PSF由于它对在光学系统视场内的各种特征的大小、浓度和分布的依赖性按其性质是高度可变的。因此，(可选的)步骤(41)和(42)通常被执行以减少在给定光学系统的视场内的PSF形状的这种可变性。在每个单个区块中，与原始(所捕获和/或对准的)图像相比，PSF可变性(即像差)较低(尽管仍然存在)且因此可以更有效地被补偿。
在步骤2b中，执行所谓的远程校正，其将在下面结合图4进行解释。PSF近似被提取(43)且然后被分成两个部分：在已处理的像素的某个邻域内计算的近场部分(44)(例如具有小于六个像素的半径)；和远场部分(46)，其中PSF(和像差)在近场部分半径之外被提取。
从输入数据对PSF近似(43)的所提到的提取可以基于在现有技术中已知的许多方法之一，例如见Felix等人。虽然这个所报告的方法提供了非常准确的PSF估计，但是它是非常耗时的。为了减少计算量起见，更简单的方法将是相当优选的。
在所公开的发明的优选实施例中，针对(43)实现下面的方法：i)所捕获的图像的区块的二维(2D)傅立叶变换除以对准的图像的相对应的区块的2D傅立叶变换。ii)用2D逆傅立叶变换将结果转换回来。
这种方法是本领域中的技术人员公知的。值得提到的是，为了避免潜在的噪声过量放大(即，对准的图像的低振幅图像频率)，应该将保护偏置值添加到对准的图像的频率分量的值。
远场核计算(45)和卷积(47)导致具有由远场部分引起的像差和模糊的图像被校正。如下所述，记录所选择的远场校正的参数(即从远场校正(46)获得的核系数(45))连同光学系统轮廓，以用于以后使用。
在图像处理中，核是用于图像的修改(例如锐化、模糊、边缘检测等)的卷积矩阵(比图像本身小得多)。这通过在特定内核和选择的图像之间应用矩阵卷积运算来实现。
PSF(44)的近场部分被丢弃，因为在没有输出图像的显著噪声放大的情况下近场PSF的简单反转是不可能的。
前面提到的分离(44)和(46)成近场和远场的原因是双重的。首先，远场校正不放大噪声，消除了不希望有的伪像，且因此可以由需要较少的计算资源的相对更简单的方法来执行。其次，这种近场校正需要有限数量的输入数据被处理，因此进一步降低了处理要求。这种分离用算术方法执行。以最简单的方式，在某一半径内的所有PSF值都形成近部分，而在该半径外的所有PSF值都形成远部分。虽然实际上在这两个部分之间有某个平滑的过渡区域。
为了具有这样的平滑过渡，频域方法是优选的，并且PSF的二维快速傅立叶变换(2D FFT)被计算。
远场部分(46)通过将频率分量乘以具有在高频处的零振幅同时接近在低频处的单位值的窗口而获得。高斯2D分布将是这种窗口的一个方便的示例。
采用2D逆变换来获得在空间域中的远场部分(36)。
因为远场校正没有任何高频空间分量，它的应用不放大任何高频噪声分量。因此，远场内核构造过程(45)可以通过一些众所周知的方法直接实现。
在优选实施例中使用的方法利用输入图像与所获得的远部分PSF的卷积，接着从输入图像中减去结果。这种(相对简单的)方法将有效地校正由光学系统引起的第一级模糊和像差。
应当注意的是，由于所捕获的图像(用于处理)已经是畸变的事实，所谓的二次像差可能仍然被引起，然而因为在一般光学系统中远场效应在振幅上很低，这样的前面提到的校正的二次效应是可忽略的。
当构造远场核(45)时，它的系数被传递给光学系统轮廓。然后，核与所捕获的图像区块像素数据卷积(47)，导致远场校正的另一输出(在前面的图3中被显示为(34)-(36)连接)。该输出是仅包含近场剩余像差(48)的区块。
过程II是将所描述的“数字镜头”应用于所捕获的图像，如在这里针对本发明的优选实施例参考图5详细解释的。
原始的所捕获的图像(52)和光学系统轮廓(56)是程序II处理的输入。原始图像的像素数据(可选地)被分成区块(54)。它还使用来自光学系统轮廓(56)的核系数经历远场校正(55)。其后，像素数据经历LF/HF分离(57)，它的输出是NN(590)的输入。
因此，仅包含LF空间频率的像素数据被直接传递，而包含HF空间频率的像素数据在被传送到NN(590)之前经历数据调节(591)。
NN(590)的又一个输入是像素数据的坐标(在图像平面内或在区块内)，其由(54)(或者如果不使用平铺过程，则直接由(52))提供。
对给定区块从光学系统轮廓(56)获得NN(590)的权重和偏差。NN(590)的输出经历数据再调节(593)，并与从LF/HF分离滤波器(57)获得的LF输出相加(58)。求和的结果被进一步重新组合(53)，将单独区块合并成单个图像(如果使用平铺步骤，则开启)。这种合并形成校正后的输出图像(51)。
使用类似于过程I(光学系统仿形)的处理来执行任意的所捕获的场景的处理(虽然在过程I(图4，(43))中已经为该系统准备了轮廓(56))，只有在数据流中的一些变化。
输入(52)是要处理的所捕获的场景，以类似于在过程I的步骤2a中描述的方式通过平铺过程(54)被处理，见图3和图4。
然后，远场校正(55)以类似于在过程I的步骤2b中描述的方式被执行，见图4，不同之处在于远场校正核已经被已知在过程I的步骤2c中被获得。
然后，图像数据被分成LF部分和HF部分(57)，类似于在过程I的步骤2c中解释的LF/HF分离过程，见图3。
HF部分进一步通过像素数据的调节过程(591)被传递，类似于在过程I的步骤2d中解释的调节，见图4。
所描述的过程(52)、(54)和(55)连同在过程I中获得的光学系统轮廓(56)形成NN(590)的输入数据。从像素坐标方面来说，该数据类似于在系统仿形步骤期间在过程I中获得的数据。和之前一样，它也有在不同的邻域内处理的像素的LF和HF部分。
NN(590)的输出的下面的处理最终形成图像(51)(通过区块合并(53))，其在光学像差已经被消除的意义上是期望的图像。具体地，NN(590)输出值经历数据再调节过程(592)，其在本发明的优选实施例中通过数据调节过程(590)的算术逆来实现。该结果随后由(58)与经处理的像素的LF部分(57)相加。
最后，输入图像的所有经处理的区块(53)被重新组合以形成单个输出图像(51)。在本发明的优选实施例中，在(53)中组合的区块具有一些重叠区域。在这些区域中，处理(53)的结果从一个区块到另一个区块平滑地衰减，以在它们合并成最终图像(51)期间消除任何可见接缝。这种可见接缝是由于偏离校正输出的区块到区块偏差引起的。
在本发明的另一个实施例中，可以执行数字镜头处理的速度优化。因此，参考图6，为了输出单个像素，通过应用NN(62)来处理输入图像中的像素邻域(61)。该邻域的大小(例如，在仿形过程选择的“直径”(61))取决于光学系统特性。例如，如果Bayer滤波器用于输入和输出数据，那么四像素四元组(RG/GB)(63)可以同时被计算。
在本发明的又一个实施例中，监视器(显示器、虚拟现实头显或取景器目镜)可以用于光学系统的仿形过程。在这样的实施例中，监视器用于显示仿形图像；高质量/高分辨率相机精确地放置在正常操作期间观察者眼睛所在的位置处；以及用这个相机捕获仿形图像。然后，类似于上述方法，创建光学系统轮廓。
参考图7，为了在这样的实施例的正常操作期间获得经校正的图像，图像(71)最初通过数字镜头校正(72)被传递，且然后被传送到显示设备(73)。然后观察者观察(74)到校正后的图像。
为了最佳性能，虚拟现实头显的进一步改进包括眼睛瞳孔位置跟踪(通过眼球跟踪器)。在这种情况下，完整的光学系统包括通常具有任意(非最佳)位置的眼睛瞳孔。知道眼睛相对于光学系统的其余部分的位置允许在这种系统中出现的像差的准确校正。
尽管在本文示出和描述了几个示例性实施例，但是本领域的技术人员将认识到，在不偏离本发明的精神和范围的情况下许多修改和变化是可能的，并且意图是仅通过所附权利要求来衡量本发明。
Claims (23)
1.一种用于消除光学像差的光学成像方法，其中，所捕获的图像由光学系统捕获，所述光学成像方法包括：
第一过程和第二过程，其中所述第一过程在所述第二过程之前被执行，所述第一过程包括：
收集光学系统信息，
从单个焦点距离提取点扩散函数，
将所述点扩散函数分成多个部分，所述部分至少是近场部分和远场部分，
产生远场校正，
训练神经网络，
提取所述神经网络的加权系数，以及
创建光学系统轮廓；以及
所述第二过程包括：
在所述光学系统中创建原始图像，
应用所述远场校正，
计算神经网络输出，以及
形成经校正的图像，其中，所述经校正的图像是具有减少的光学像差的所述原始图像,
其中，所述原始图像是由所述光学系统捕获的唯一图像。
2.根据权利要求1所述的方法，所述第一过程还包括：
收集所述光学系统信息，其中，所述光学系统信息是焦点距离、孔径大小、和焦距，
创建一组计算机生成的图表，
由所述光学系统创建所述计算机生成的图表的所捕获的图像的序列，
在所捕获的图像的序列和所述计算机生成的图表之间执行几何对准和辐射对准，
从所述几何对准和所述辐射对准产生对准的图像，以及
在所述对准的图像内创建近邻域和远邻域。
3.根据权利要求2所述的方法，其中，使用所述近邻域来计算所述近场部分，并且使用所述远邻域来计算所述远场部分。
4.根据权利要求2所述的方法，其中，所述远场校正是远场核与所述对准的图像的卷积，所述远场校正图像仅包含近场像差。
5.根据权利要求2所述的方法，其中，所述光学系统信息包括镜头制造商参数。
6.根据权利要求2所述的方法，所述第一过程还包括：
将所述对准的图像分离成包含使用所述近邻域计算的低空间频率的对准的低空间频率部分以及仅包含使用所述远邻域计算的高空间频率的对准的高空间频率部分，
使用所述对准的高空间频率部分来计算预调节的对准的高空间频率部分，以及
为所述神经网络提供第一输入数据，其中，所述第一输入数据是所述预调节的对准的高空间频率部分和所捕获的低空间频率部分的组合。
7.根据权利要求6所述的方法，其中，使用线性低通滤波器来计算所述对准的低空间频率部分，并且使用线性高通滤波器来计算所述对准的高空间频率部分。
8.根据权利要求6所述的方法，其中，所述预调节的对准的高空间频率包括所述对准的低空间频率部分的动态范围减小和对所述对准的低空间频率部分的非线性的应用的组合。
9.根据权利要求2所述的方法，还包括从所捕获的图像中提取所捕获的区块以及从所述对准的图像中提取对准的区块。
10.根据权利要求9所述的方法，其中，单个经校正的图像的形成包括合并经校正的区块。
11.根据权利要求10所述的方法，其中，所述经校正的区块的所述合并包括在所述经校正的区块之间的接缝的消除。
12.根据权利要求1所述的方法，其中，从所述远场部分计算远场核系数。
13.根据权利要求1所述的方法，其中，所述光学系统轮廓是包含所述神经网络的加权系数和远场核系数的数据，其中，所述光学系统轮廓对于每个对准的图像是唯一的。
14.根据权利要求1所述的方法，其中，所述第二过程还包括：
在原始图像中创建近邻域和远邻域，
将所述原始图像分离成仅包含使用所述近邻域计算的低空间频率的原始低空间频率部分以及仅包含使用所述远邻域计算的高空间频率的原始高空间频率部分，
使用所述原始高空间频率部分来计算预调节的原始高空间频率部分，
为所述神经网络提供第二输入数据，其中，所述第二输入数据是所述光学系统轮廓、所述预调节的原始高空间频率部分和所述原始低空间频率部分的组合，
根据所述神经网络的输出值计算再调节的神经网络输出，以及
执行所述再调节的神经网络的输出值与所述原始低空间频率部分的合计。
15.根据权利要求14所述的方法，其中，使用预调节的所捕获的高空间频率部分的算术逆来计算所述再调节的神经网络输出。
16.根据权利要求1所述的方法，其中，所述光学系统是相机。
17.根据权利要求1所述的方法，其中，所述光学系统是取景器目镜。
18.根据权利要求1所述的方法，其中，所述光学系统是显示器。
19.根据权利要求1所述的方法，其中，所述神经网络的输出值具有多个像素值。
20.根据权利要求1所述的方法，其中，再调节被用于减少在所述神经网络的训练的步骤中的误差，其中，所述再调节与预调节相反。
21.根据权利要求1所述的方法，其中，使用2D快速傅立叶变换来执行所述点扩散函数的分离。
22.一种用于消除光学像差的光学系统，其中，所述光学系统具有光学轮廓，所述光学系统包括：
镜头，所述镜头形成具有光学像差的所捕获的图像，
光敏元件的阵列，所述光敏元件的阵列布置在所述光学系统内，
转换部件，所述转换部件将所捕获的图像转换成数字图像，以及
计算部件，所述计算部件被配置为通过基于所述光学轮廓通过校正从所述数字图像中消除所述光学像差来形成经校正的图像，其中，所述光学像差包括纵向像差，并且
其中，通过收集所述光学系统信息、从单个焦点距离提取点扩散函数、将所述点扩散函数分成部分、产生远场校正、训练神经网络、提取所述神经网络的加权系数、以及创建光学系统轮廓来形成所述光学轮廓，所述部分至少是近场部分和远场部分；并且其中，通过创建所述数字图像、应用所述远场校正、计算神经网络输出、以及形成所述经校正的图像来应用所述校正，其中，所述数字图像是由所述光学系统捕获的唯一图像。
23.一种具有显示器的头戴显示设备，其中，所述头戴显示设备包括：
光学系统，所述光学系统具有光学轮廓，其中，由所述光学系统产生的图像具有光学像差，以及
计算部件，所述计算部件被配置为通过基于所述光学轮廓通过校正消除所述光学像差来形成经校正的图像，其中，所述光学像差包括纵向像差，并且所述经校正的图像被显示在所述显示器上，
其中，通过收集所述光学系统信息、从单个焦点距离提取点扩散函数、将所述点扩散函数分成部分、产生远场校正、训练神经网络、提取所述神经网络的加权系数、以及创建光学系统轮廓来形成所述光学轮廓，所述部分至少是近场部分和远场部分；并且其中，通过创建数字图像、应用所述远场校正、计算神经网络输出、以及形成所述经校正的图像来应用所述校正，其中，所述数字图像是由所述光学系统捕获的唯一图像。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15/366,797 US10282822B2 (en) | 2016-12-01 | 2016-12-01 | Digital correction of optical system aberrations |
| US15/366,797 | 2016-12-01 | ||
| PCT/US2017/063461 WO2018102302A1 (en) | 2016-12-01 | 2017-11-28 | Digital correction of optical system aberrations |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110023810A CN110023810A (zh) | 2019-07-16 |
| CN110023810B true CN110023810B (zh) | 2022-02-22 |
Family
ID=62241948
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201780073488.2A Active CN110023810B (zh) | 2016-12-01 | 2017-11-28 | 光学系统像差的数字校正 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US10282822B2 (zh) |
| JP (1) | JP2020501262A (zh) |
| KR (1) | KR102363030B1 (zh) |
| CN (1) | CN110023810B (zh) |
| DE (1) | DE112017006107T5 (zh) |
| RU (1) | RU2716843C1 (zh) |
| WO (1) | WO2018102302A1 (zh) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7612805B2 (en) | 2006-07-11 | 2009-11-03 | Neal Solomon | Digital imaging system and methods for selective image filtration |
| WO2017138220A1 (ja) * | 2016-02-12 | 2017-08-17 | ソニー株式会社 | 情報処理方法および情報処理装置 |
| US11016268B2 (en) | 2016-02-19 | 2021-05-25 | Almalence Inc. | Collapsible imaging systems having lens arrays |
| US10713836B2 (en) * | 2018-06-25 | 2020-07-14 | Microsoft Technology Licensing, Llc | Simulating lenses |
| US11308592B2 (en) * | 2018-10-04 | 2022-04-19 | Canon Kabushiki Kaisha | Image processing method, image processing apparatus, imaging apparatus, and storage medium, that correct a captured image using a neutral network |
| DE102018222147A1 (de) * | 2018-12-18 | 2020-06-18 | Leica Microsystems Cms Gmbh | Optikkorrektur durch Maschinenlernen |
| JP7016835B2 (ja) * | 2019-06-06 | 2022-02-07 | キヤノン株式会社 | 画像処理方法、画像処理装置、画像処理システム、学習済みウエイトの製造方法、および、プログラム |
| US11442266B1 (en) * | 2019-09-09 | 2022-09-13 | Apple Inc. | Method and device for correcting chromatic aberration in multiple bands |
| KR102680384B1 (ko) * | 2019-10-18 | 2024-07-02 | 삼성전자주식회사 | 수차 보정 방법 및 장치 |
| WO2021216747A1 (en) * | 2020-04-21 | 2021-10-28 | Massachusetts Institute Of Technology | Real-Time Photorealistic 3D Holography with Deep Neural Networks |
| CN111507049B (zh) * | 2020-06-01 | 2024-01-30 | 中国计量大学 | 一种镜头像差仿真及优化方法 |
| US11798139B2 (en) * | 2020-11-17 | 2023-10-24 | GM Global Technology Operations LLC | Noise-adaptive non-blind image deblurring |
| KR20230036409A (ko) * | 2021-09-07 | 2023-03-14 | 삼성전자주식회사 | 이미지를 선명화하는 전자 장치 및 그 동작 방법 |
| GB202200966D0 (en) * | 2022-01-25 | 2022-03-09 | Univ Oxford Innovation Ltd | Determining optical aberration |
| WO2023230412A1 (en) * | 2022-05-24 | 2023-11-30 | The Regents Of The University Of California | Class-specific diffractive camera with all-optical erasure of undesired objects |
| CN115499566B (zh) * | 2022-08-26 | 2023-09-15 | 四川大学 | 基于深度计算光学元件的端到端高质量消色差成像系统 |
| WO2024080506A1 (ko) * | 2022-10-11 | 2024-04-18 | 삼성전자 주식회사 | Udc 이미지 복원을 수행하는 방법 및 전자 장치 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103118224A (zh) * | 2011-07-14 | 2013-05-22 | 索尼公司 | 图像处理设备、图像处理方法、程序和记录介质 |
| CN103460223A (zh) * | 2011-02-10 | 2013-12-18 | 前视红外系统公司 | 波长差异的闪烁减少 |
| EP2908266A1 (en) * | 2014-02-14 | 2015-08-19 | Intermec Technologies Corporation | Method and apparatus for scanning with controlled spherical aberration |
| CN105359010A (zh) * | 2013-05-22 | 2016-02-24 | 菲尼萨公司 | 光学系统中像差校正的系统的方法 |
| CN105373768A (zh) * | 2014-08-14 | 2016-03-02 | 三星电子株式会社 | 提供图像内容的方法和设备 |
Family Cites Families (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11161773A (ja) | 1997-11-28 | 1999-06-18 | Konica Corp | 画像処理方法及び画像入力装置 |
| US6603885B1 (en) | 1998-04-30 | 2003-08-05 | Fuji Photo Film Co., Ltd. | Image processing method and apparatus |
| CN1768346B (zh) | 2003-03-31 | 2010-11-17 | Cdm光学有限公司 | 用于最小化成像系统中的光程差效应的系统和方法 |
| JP4165361B2 (ja) | 2003-10-07 | 2008-10-15 | ソニー株式会社 | 画像撮影装置、画像処理装置及びレンズ色収差補正方法 |
| WO2005073689A1 (en) | 2004-02-02 | 2005-08-11 | Iatia Imaging Pty Ltd | Apparatus and method for correcting for aberrations in a lens system |
| US20070279618A1 (en) | 2004-10-15 | 2007-12-06 | Matsushita Electric Industrial Co., Ltd. | Imaging Apparatus And Image Improving Method |
| US8531396B2 (en) * | 2006-02-08 | 2013-09-10 | Oblong Industries, Inc. | Control system for navigating a principal dimension of a data space |
| JP4816725B2 (ja) | 2006-03-01 | 2011-11-16 | 株式会社ニコン | 倍率色収差を画像解析する画像処理装置、画像処理プログラム、電子カメラ、および画像処理方法 |
| JP5034429B2 (ja) | 2006-10-16 | 2012-09-26 | ソニー株式会社 | レンズ装置、撮像装置及び収差補正方法 |
| CN101589342A (zh) * | 2007-01-22 | 2009-11-25 | 卡尔蔡司Smt股份公司 | 改善光学系统成像特性的方法以及光学系统 |
| WO2008113605A2 (de) * | 2007-03-20 | 2008-09-25 | Carl Zeiss Smt Ag | Verfahren zum verbessern von abbildungseigenschaften eines optischen systems sowie derartiges optisches system |
| JP4825748B2 (ja) * | 2007-07-13 | 2011-11-30 | 株式会社モルフォ | 画像データ処理方法および撮像装置 |
| US8340453B1 (en) * | 2008-08-29 | 2012-12-25 | Adobe Systems Incorporated | Metadata-driven method and apparatus for constraining solution space in image processing techniques |
| JP4891301B2 (ja) * | 2008-09-30 | 2012-03-07 | キヤノン株式会社 | 画像処理方法、画像処理装置及び撮像装置 |
| JP5441652B2 (ja) * | 2009-12-09 | 2014-03-12 | キヤノン株式会社 | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム |
| JP2011205358A (ja) * | 2010-03-25 | 2011-10-13 | Fujifilm Corp | ヘッドマウントディスプレイ装置 |
| US11403739B2 (en) * | 2010-04-12 | 2022-08-02 | Adobe Inc. | Methods and apparatus for retargeting and prioritized interpolation of lens profiles |
| JP2012244395A (ja) * | 2011-05-19 | 2012-12-10 | Sony Corp | 学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体 |
| US8611692B2 (en) | 2011-09-26 | 2013-12-17 | Northrop Grumman Systems Corporation | Automated image registration with varied amounts of a priori information using a minimum entropy method |
| JP2013207752A (ja) * | 2012-03-29 | 2013-10-07 | Hitachi Automotive Systems Ltd | 画像処理装置 |
| JP2014126903A (ja) * | 2012-12-25 | 2014-07-07 | Toshiba Corp | 画像処理装置および画像処理方法、ならびに、プログラム |
| JP5844940B2 (ja) * | 2013-03-18 | 2016-01-20 | 富士フイルム株式会社 | 復元フィルタ生成装置及び方法、画像処理装置及び方法、撮像装置、プログラム、並びに記録媒体 |
| US9291825B2 (en) * | 2013-03-22 | 2016-03-22 | Applied Materials Israel, Ltd. | Calibratable beam shaping system and method |
| CN106104318B (zh) | 2014-04-09 | 2019-05-03 | 拉姆伯斯公司 | 低功率图像改变检测器 |
| US9599822B2 (en) * | 2014-09-08 | 2017-03-21 | Oculus Vr, Llc | Corrective optics for reducing fixed pattern noise in a virtual reality headset |
| WO2016171090A1 (ja) | 2015-04-23 | 2016-10-27 | 富士フイルム株式会社 | 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム |
| CN105511078B (zh) * | 2015-12-31 | 2018-02-16 | 北京小鸟看看科技有限公司 | 一种目镜镜头、头戴显示光学系统和头戴设备 |
-
2016
- 2016-12-01 US US15/366,797 patent/US10282822B2/en active Active
-
2017
- 2017-11-28 CN CN201780073488.2A patent/CN110023810B/zh active Active
- 2017-11-28 DE DE112017006107.5T patent/DE112017006107T5/de active Pending
- 2017-11-28 WO PCT/US2017/063461 patent/WO2018102302A1/en active Application Filing
- 2017-11-28 KR KR1020197017787A patent/KR102363030B1/ko active IP Right Grant
- 2017-11-28 JP JP2019529863A patent/JP2020501262A/ja active Pending
- 2017-11-28 RU RU2019120365A patent/RU2716843C1/ru active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103460223A (zh) * | 2011-02-10 | 2013-12-18 | 前视红外系统公司 | 波长差异的闪烁减少 |
| CN103118224A (zh) * | 2011-07-14 | 2013-05-22 | 索尼公司 | 图像处理设备、图像处理方法、程序和记录介质 |
| CN105359010A (zh) * | 2013-05-22 | 2016-02-24 | 菲尼萨公司 | 光学系统中像差校正的系统的方法 |
| EP2908266A1 (en) * | 2014-02-14 | 2015-08-19 | Intermec Technologies Corporation | Method and apparatus for scanning with controlled spherical aberration |
| CN105373768A (zh) * | 2014-08-14 | 2016-03-02 | 三星电子株式会社 | 提供图像内容的方法和设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| US10282822B2 (en) | 2019-05-07 |
| CN110023810A (zh) | 2019-07-16 |
| DE112017006107T5 (de) | 2019-08-22 |
| US20180158175A1 (en) | 2018-06-07 |
| KR20190089922A (ko) | 2019-07-31 |
| WO2018102302A1 (en) | 2018-06-07 |
| RU2716843C1 (ru) | 2020-03-17 |
| KR102363030B1 (ko) | 2022-02-16 |
| JP2020501262A (ja) | 2020-01-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110023810B (zh) | 光学系统像差的数字校正 | |
| Heide et al. | High-quality computational imaging through simple lenses | |
| RU2431889C1 (ru) | Способ суперразрешения изображений и нелинейный цифровой фильтр для его осуществления | |
| JP5489897B2 (ja) | ステレオ測距装置及びステレオ測距方法 | |
| JP5709911B2 (ja) | 画像処理方法、画像処理装置、画像処理プログラムおよび撮像装置 | |
| US9307208B2 (en) | System and method for solving inverse imaging problems | |
| US20110128422A1 (en) | Image capturing apparatus and image processing method | |
| JP5968073B2 (ja) | 画像処理装置、撮像装置、画像処理方法、および画像処理プログラム | |
| JP5237978B2 (ja) | 撮像装置および撮像方法、ならびに前記撮像装置のための画像処理方法 | |
| KR102582261B1 (ko) | 이미징 시스템의 점 확산 함수를 결정하는 방법 | |
| JP7234057B2 (ja) | 画像処理方法、画像処理装置、撮像装置、レンズ装置、プログラム、記憶媒体、および、画像処理システム | |
| Tang et al. | What does an aberrated photo tell us about the lens and the scene? | |
| JP2009135561A (ja) | ぶれ検出装置、ぶれ補正装置及び方法 | |
| JP6370348B2 (ja) | 画像処理装置および画像処理方法、撮像装置、プログラム、記憶媒体 | |
| CN115496673A (zh) | 图像处理方法、图像处理装置、图像处理系统、以及存储介质 | |
| JP2015115733A (ja) | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム | |
| Min et al. | Out-of-focus image deblurring for mobile display vision inspection | |
| JP2017130848A (ja) | 撮像装置、撮像方法、撮像プログラム、およびその撮像プログラムを記録した記録媒体 | |
| JP2017050662A (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
| Sadeghipoor et al. | Multiscale guided deblurring: Chromatic aberration correction in color and near-infrared imaging | |
| JP2018088587A (ja) | 画像処理方法および画像処理装置 | |
| JP2017130167A (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
| Soulez et al. | Joint deconvolution and demosaicing | |
| JP2015119428A (ja) | 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体 | |
| van Zwanenberg et al. | Camera system performance derived from natural scenes |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |