CN115239569A - 图像暗角移除方法、全景图像生成方法和相关设备 - Google Patents
图像暗角移除方法、全景图像生成方法和相关设备 Download PDFInfo
- Publication number
- CN115239569A CN115239569A CN202110439998.5A CN202110439998A CN115239569A CN 115239569 A CN115239569 A CN 115239569A CN 202110439998 A CN202110439998 A CN 202110439998A CN 115239569 A CN115239569 A CN 115239569A
- Authority
- CN
- China
- Prior art keywords
- image
- vignetting
- function
- parameter
- camera response
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 81
- 230000003287 optical effect Effects 0.000 claims abstract description 65
- 238000005316 response function Methods 0.000 claims abstract description 59
- 230000004044 response Effects 0.000 claims abstract description 28
- 230000006870 function Effects 0.000 claims description 142
- 239000011159 matrix material Substances 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 10
- 238000012897 Levenberg–Marquardt algorithm Methods 0.000 claims description 6
- 238000000513 principal component analysis Methods 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims description 2
- 238000010276 construction Methods 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 18
- 238000004422 calculation algorithm Methods 0.000 description 27
- 238000010586 diagram Methods 0.000 description 21
- 230000008569 process Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 238000001914 filtration Methods 0.000 description 7
- 230000003044 adaptive effect Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 206010034972 Photosensitivity reaction Diseases 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 229910052731 fluorine Inorganic materials 0.000 description 1
- 125000001153 fluoro group Chemical group F* 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000005375 photometry Methods 0.000 description 1
- 230000036211 photosensitivity Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种图像暗角移除方法、全景图像生成方法和相关设备，涉及图像处理技术领域。图像暗角移除方法包括：在针对同一场景拍摄的第一图像和第二图像中，确定匹配的特征点对，其中，每幅图像在拍摄时使用相同的第一光学参数、以及不同的第二光学参数；基于匹配的特征点对、相机响应函数的逆函数、暗角函数以及第二光学参数，构建共参方程；确定共参方程的损失函数，其中，损失函数根据第一图像和第二图像之间的度量均方误差的加权结果构建，并且度量均方误差的权重根据相机响应函数的逆函数确定；基于损失函数，通过以迭代的方式求解二次规划问题来确定相机响应参数和暗角参数的值，并且，在每次迭代的过程中，更新度量均方误差的权重。
Description
技术领域
本发明涉及图像处理领域，特别涉及一种图像暗角移除方法、全景图像生成方法和相关设备。
背景技术
暗角(Vignette)是一种常见的图像空间非均一性效应，通常由于摄影机的光学镜头或光圈对入射光线的遮挡造成，其主要表现为拍摄的图像边缘比图像中心更暗。通过移除暗角操作，摄影师可以恢复图像画面的整体均一性，从而提升图片的主观视觉效果。在基于光度测量(Radiometric)的计算机视觉应用下，暗角移除也非常重要。它可以协助进行图像拼接、或应用于全景图生成算法，减少由于空间不均一性所导致的拼接缝隙。对于如人脸识别、自动驾驶等场景下的模式识别算法，减小空间不均一性也意味着可以提升算法的检测、识别效果。
现有的去暗角算法一般依赖于是否对暗角函数进行参数标定而分为两类：1)无参考(盲标定)的暗角移除算法；2)有参考的暗角移除算法。
无参考的暗角移除算法仅凭借一幅图像本身进行暗角参数的标定和移除。
有参考的去暗角算法是采用特定标定物作为参考信息来求解暗角参考，一般可以细分为：1)基于的色卡的标定算法；2)基于拍摄多幅图像的标定算法。
发明内容
无参考的暗角移除算法与有参考的方法相比，其主要缺陷是对拍摄图像内容通常有要求，并且求解精度也相对较低。
基于的色卡的标定算法主要用于实验室环境，需要在均匀照明环境下对标准色卡拍照，对实验环境和实验设备的要求较高，因此不便于一般摄影师或者技术人员采用。
基于拍摄多幅图像的标定算法更为灵活，其只要求拍摄人员对同一场景采用不同角度拍摄两张以上的内容重叠的照片即可求解暗角参数，由于操作难度要低得多，因此使用范围也要广泛得多。然而，这种方法在求解过程中需要求解二次规划问题。在二次规划求解的相关算法中，一些算法对于噪声通常不鲁棒，并且由于采用非参数化模型，方程维数较高更容易由于噪声导致结果发散；另一些算法的计算速度非常慢；还有一些算法缺少普遍性。因此，相关技术的暗角移除效率较低。
本发明实施例所要解决的一个技术问题是：如何提高图像暗角移除的鲁棒性的同时保证其效率。
根据本发明一些实施例的第一个方面，提供一种图像暗角移除方法，包括：在针对同一场景拍摄的第一图像和第二图像中，确定匹配的特征点对，其中，每幅图像在拍摄时使用相同的第一光学参数、以及不同的第二光学参数；基于匹配的特征点对、相机响应函数的逆函数、暗角函数以及第二光学参数，构建共参方程，其中，使用相机响应参数表示相机响应函数的逆函数、使用暗角参数表示暗角函数；确定共参方程的损失函数，其中，损失函数根据第一图像和第二图像之间的度量均方误差的加权结果构建，并且度量均方误差的权重根据相机响应函数的逆函数确定；基于损失函数，通过以迭代的方式求解二次规划问题来确定相机响应参数和暗角参数的值，并且，在每次迭代的过程中，更新度量均方误差的权重，以便采用相机响应函数的逆函数和暗角函数去除第一图像或第二图像的暗角。
在一些实施例中，使用特征点到相应图像的光学中心的距离以及暗角参数表示暗角函数。
在一些实施例中，暗角函数为：
其中，V(r)表示图像中像素点亮度的衰减程度；r表示图像中的特征点(x0，y0)到相应图像的光学中心(xc，yc)的距离；xc和yc分别表示图像的光学中心的横坐标和纵坐标；N表示暗角参数的参数数量；j表示暗角参数的标识；βj表示第j个暗角参数。
在一些实施例中，共参方程为：
f-1[I1(xi，1，yi，1)]/V(ri，1)＝E·f-1[I2(xi，2，yi，2)]/V(ri，2)
其中，(xi，1，yi，1)和(xi，2，yi，2)分别表示第一图像和第二图像中匹配的第i对特征点的坐标，ri，1和ri，2分别表示第一图像和第二图像中匹配的第i对特征点到相应图像的光学中心的距离；V(·)表示暗角函数；I1(·)和I2(·)分别表示第一图像和第二图像中相应像素点的亮度值；E根据第一图像的第二光学参数和第二图像的第二光学参数之间的比值确定；f-1[·]表示相机响应函数的逆函数，并且
其中，I表示亮度；h0(·)表示对多条预设的相机响应函数的逆函数取对数后的均值曲线；h1(·)至hM(·)表示从多条预设的相机响应函数的逆函数取对数后的曲线中移除均值曲线后，通过进行PCA分解而得到的正交基函数。
在一些实施例中，损失函数包括第一损失项和第二损失项的和，第一损失项表示度量均方误差与权重的乘积，第二损失项表示相机响应参数的正则化约束。
在一些实施例中，损失函数为：
L(x)＝||W(Cx-d)||2+λ||α||2
其中，L(x)表示损失值；W为根据噪声权重和非线性矫正权重确定的矩阵；x为包括相机响应参数和暗角参数的参数向量；C为根据两幅图像中匹配的特征点到相应图像的光学中心的距离差、以及正交基函数确定的矩阵；d为根据第二光学参数、两幅图像中匹配的特征点的亮度确定的矩阵；λ表示预设的参数；α表示相机响应参数。
在一些实施例中：
W＝diag(w)
并且，
g(I)＝log[f-1(I)]
diag(·)表示根据特征向量得到的对角阵；f-1(·)表示相机响应函数的逆函数；l表示图像标识，并且当l＝0时表示第一图像，当l＝1时表示第二图像；i表示特征点的标识，并且特征点的数量为N；σl，i表示在图像l的第i个特征点进行局部噪声方差估计的信息；Il，i表示图像l的第i个特征点的亮度；Wmax表示预设的常数参数。
在一些实施例中：
并且，A表示每个特征点所属的图像的标识；H表示包括正交基函数的矩阵；B表示两幅图像中匹配的特征点到相应图像的光学中心的距离差。
在一些实施例中：
对于A中的每一个元素Ai，j，
H＝[h1，h2，…，hK]
其中，h1，h2，...，hK表示对经验响应模型取对数后的K个基函数；以及，
对于B中的每一个元素Bi，j，
其中，i表示特征点的标识，ri，2和ri，1分别表示第二图像和第一图像中第i对匹配的特征点分别到相应图像的光学中心的距离。
在一些实施例中，对于d中的每一个元素d[i]，
d[i]＝logE+h0(Ii，2)-h0(Ii，1)
并且，E根据第一图像的第二光学参数和第二图像的第二光学参数之间的比值确定；h0(·)表示对多条预设的相机响应函数的逆函数取对数后的均值曲线；Ii，2和Ii，1分别表示第二图像和第一图像中第i对匹配的特征点的亮度值。
在一些实施例中，基于损失函数，采用列文伯格-马夸尔特Levenberg-Marquardt算法或内点法确定相机响应参数和暗角参数的值。
在一些实施例中，图像暗角移除方法还包括：对待处理的图像应用相机响应函数的逆函数，获得线性曝光图像，其中，待处理的图像为第一图像或第二图像；对待处理的图像应用暗角函数，获得衰减图像；对线性曝光图像与衰减图像的比值应用相机响应函数，获得去除暗角后的图像。
根据本发明一些实施例的第二个方面，提供一种全景图像生成方法，包括：采用前述任意一种图像暗角移除方法，去除第一图像和第二图像的暗角；对去除暗角后的第一图像和第二图像进行拼接，生成全景图像。
在一些实施例中，对去除暗角后的待拼接图像进行拼接，生成全景图像包括：基于去除暗角后的第一图像和第二图像中匹配的特征点，配准第一图像和第二图像；确定配准的第一图像和第二图像的重叠部分；确定重叠部分中每个像素点在第一图像中的第一像素点亮度、以及在第二图像中的第二像素点亮度；对第一像素点亮度和第二像素点亮度进行加权平均，获得生成的全景图像中重叠部分的相应像素点的亮度；基于去除暗角后的第一图像和第二图像、以及重叠部分的相应像素点的亮度，生成全景图像。
在一些实施例中，对第一像素点亮度和第二像素点亮度进行加权平均时所使用的权重，根据重叠部分中每个像素点在第一图像和第二图像中距离图像中心的距离确定。
在一些实施例中，采用以下公式对第一像素点亮度和第二像素点亮度进行加权平均：
其中，Ipano(x，y)表示重叠部分的点(x，y)的加权后的亮度；(xp1，yp1)和(xp2，yp2)分别表示点(x，y)在第一图像中的坐标和在第二图像中的坐标；
和
分别表示像素点在第一图像中的亮度和在第二图像中的亮度；r1表示(xp1，yp1)到第一图像的图像中心的距离，r2表示(xp2，yp2)到第二图像的图像中心的距离。
根据本发明一些实施例的第三个方面，提供一种图像暗角移除装置，包括：特征点对确定模块，被配置为在针对同一场景拍摄的第一图像和第二图像中，确定匹配的特征点对，其中，每幅图像在拍摄时使用相同的第一光学参数、以及不同的第二光学参数；共参方程构建模块，被配置为基于匹配的特征点对、相机响应函数的逆函数、暗角函数以及第二光学参数，构建共参方程，其中，使用相机响应参数表示相机响应函数的逆函数、使用暗角参数表示暗角函数；损失函数确定模块，被配置为确定共参方程的损失函数，其中，损失函数根据第一图像和第二图像之间的度量均方误差的加权结果构建，并且度量均方误差的权重根据相机响应函数的逆函数确定；参数确定模块，被配置为基于损失函数，通过以迭代的方式求解二次规划问题来确定相机响应参数和暗角参数的值，并且，在每次迭代的过程中，更新度量均方误差的权重，以便采用相机响应函数的逆函数和暗角函数去除第一图像或第二图像的暗角。
在一些实施例中，图像暗角移除装置还包括：暗角移除模块，被配置为对待处理的图像应用相机响应函数的逆函数，获得线性曝光图像，其中，待处理的图像为第一图像或第二图像；对待处理的图像应用暗角函数，获得衰减图像；对线性曝光图像与衰减图像的比值应用相机响应函数，获得去除暗角后的图像。
根据本发明一些实施例的第四个方面，提供一种全景图像生成系统，包括：前述任意一种图像暗角移除装置，用于去除第一图像和第二图像的暗角；以及拼接装置，被配置为对去除暗角后的第一图像和第二图像进行拼接，生成全景图像。
根据本发明一些实施例的第五个方面，提供一种图像暗角移除装置，包括：存储器；以及耦接至存储器的处理器，处理器被配置为基于存储在存储器中的指令，执行前述任意一种图像暗角移除方法。
根据本发明一些实施例的第六个方面，提供一种全景图像生成装置，包括：存储器；以及耦接至存储器的处理器，处理器被配置为基于存储在存储器中的指令，执行前述任意一种全景图像生成方法。
根据本发明一些实施例的第七个方面，提供一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现前述任意一种图像暗角移除方法或者全景图像生成方法。
上述发明中的一些实施例具有如下优点或有益效果。本发明的实施例在构建共参方程的损失函数时添加了自适应权重，从而能够采用动态调整权重的迭代二次规划算法求解共参方程。通过自适应的权重调整可以不受噪声的影响。从而，本发明在提高图像暗角移除的鲁棒性的同时保证了处理效率，能够满足实时处理的要求。
通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1A示出了根据本发明一些实施例的图像暗角移除方法的流程示意图。
图1B示出了根据本发明另一些实施例的图像暗角移除方法的流程示意图。
图2示出了根据本发明又一些实施例的暗角移除方法的流程示意图。
图3示出了根据本发明一些实施例的全景图像生成方法的流程示意图。
图4示出了根据本发明一些实施例的图像暗角移除装置的结构示意图。
图5示出了根据本发明一些实施例的全景图像生成系统的结构示意图。
图6示出了根据本发明一些实施例的数据处理装置的结构示意图。
图7示出了根据本发明另一些实施例的数据处理装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。
在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
图1A示出了根据本发明一些实施例的图像暗角移除方法的流程示意图。如图1A所示，该实施例的图像暗角移除方法包括步骤S102～S108。
在步骤S102中，在针对同一场景拍摄的第一图像和第二图像中，确定匹配的特征点对，其中，每幅图像在拍摄时使用相同的第一光学参数、以及不同的第二光学参数。
通过在拍摄两幅图像时使用相同的第一光学参数、以及不同的第二光学参数，可以使得两幅图像间的变化是相对可控的。例如，保持两幅图像的焦长、对焦距离、光圈等镜头光学参数完全相同，但是控制两幅图像的曝光时间不同，从而可以基于第二光学参数的差异确定两幅图像的相对曝光度。
在一些实施例中，第一图像和第二图像是在预设时长内拍摄的。从而，通过减少二者的拍摄时间间隔，可以减少周围环境的变化对两幅图像的影响。
在一些实施例中，第一图像和第二图像的重叠部分超过预设值，例如超过70％，从而使得两幅图像中具有足够的匹配的特征点对。
在一些实施例中，首先对第一图像和第二图像进行直方图均衡化，然后提取特征点。
在一些实施例中，对第一图像和第二图像采用SIFT(Scale-Invariant FeatureTransform，尺度不变特征变换)或者SURF(Speeded Up Robust Features，加速稳健特征)等特征点检测算法。
在一些实施例中，对检测的特征点进行过滤，包括基于亮度条件的过滤、或者基于噪声的过滤等等。在基于亮度条件的过滤中，例如筛除亮度值小于1或者大于253的特征点，以去除亮度值相对极端的特征点来提高匹配效果。在基于噪声的过滤中，计算兴趣点处的局部噪声强度，并筛除噪声突变点或者噪声强度大的点，该过滤例如通过边缘检测器(Canny边缘检测)、角点检测(Harris角点检测)、噪声强度检测(图像与高斯滤波后的残差)等实现。
在一些实施例中，基于RANSAC(Random Sample Consensus，随机抽样一致)算法求解投影矩阵，以输出匹配的特征点对。
在步骤S104中，基于匹配的特征点对、相机响应函数的逆函数、暗角函数以及第二光学参数，构建共参方程，其中，使用相机响应参数表示相机响应函数的逆函数、暗角参数表示暗角函数。
在理想情况下，第一图像和第二图像中同一特征点在真实场景中的亮度、颜色等信息是相同的，而受到光学参数和成像过程的影响，同一特征点呈现在不同图像中的像素点存在差异。因此，本发明构建共参方程，并且在方程的等式两边分别表示对第一图像和第二图像中同一特征点、即匹配的特征点进行真实场景中的还原。
在一些实施例中，根据数字图像的一种简化生成模型构造共参方程。设数字图像的生成模型如公式(1)所示。
在公式(1)中，
表示生成的数字图像中像素点的亮度；f(·)表示相机响应函数；V(x，y)表示暗角函数；R(x，y)表示表示传感器接收到的光照强度；E表示曝光度，一般与曝光时间或者ISO感光率呈线性关系；ε(x，y)表示随机噪声的干扰。
在一些实施例中，使用特征点到相应图像的光学中心的距离以及暗角参数表示暗角函数。在相关技术中，通常使用图像中像素点的坐标值来表示暗角函数，例如使用V(x，y)表示。本发明考虑径向衰减的情况，并使用图像中的特征点到相应图像的光学中心的距离来构建暗角函数，例如使用V(r)表示，从而提高了计算效率。
在一些实施例中，暗角函数使用公式(2)和(3)表示。
公式(2)和(3)中，V(r)表示图像中像素点亮度的衰减程度；r表示图像中的特征点(x0，y0)到相应图像的光学中心(xc，yc)的距离；xc和yc分别表示图像的光学中心的横坐标和纵坐标；N表示暗角参数的参数数量；j表示暗角参数的标识；βj表示第j个暗角参数。
在一些实施例中，共参方程使用公式(4)表示。
f-1[I1(xi，1，yi，1)]/V(ri，1)＝E·f-1[I2(xi，2，yi，2)]/V(ri，2) (4)
在公式(4)中，(xi，1，yi，1)和(xi，2，yi，2)分别表示第一图像和第二图像中匹配的第i对特征点的坐标，ri，1和ri，2分别表示第一图像和第二图像中匹配的第i对特征点到相应图像的光学中心的距离；V(·)表示暗角函数；I1(·)和I2(·)分别表示第一图像和第二图像中相应像素点的亮度值；E根据第一图像的第二光学参数和第二图像的第二光学参数之间的比值确定；f-1[·]表示相机响应函数的逆函数，并且采用对数的经验响应模型(Empirical Model Of Response，简称：EMoR)模型(或称为logEMoR模型)对相机相应函数的逆函数进行参数化建模，如公式(5)所示。
在公式(5)中，I表示亮度；h0(·)表示对多条预设的相机响应函数的逆函数取对数后的均值曲线；h1(·)至hM(·)表示从多条预设的相机响应函数的逆函数取对数后的曲线中移除均值曲线后，通过进行PCA(Principal Component Analysis，主成分分析)分解而得到的正交基函数。
在一些实施例中，将相机响应函数的逆函数和暗角移除函数代入到共参方程中，得到公式(6)。
对上述公式进行进一步变换，得到
从而，基于该公式确定损失函数。
在步骤S106中，确定共参方程的损失函数，其中，损失函数根据第一图像和第二图像之间的度量均方误差的加权结果构建，并且度量均方误差的权重根据相机响应函数的逆函数确定。
在现有技术中，损失函数仅包括第一图像和第二图像之间的度量均方误差，该度量均方误差衡量的是噪声所带来的误差。本发明在此基础上，对均方误差添加了自适应权重。
在步骤S108中，基于损失函数，通过以迭代的方式求解二次规划问题来确定相机响应参数和暗角参数的值，并且，在每次迭代的过程中，更新度量均方误差的权重，以便采用相机响应函数的逆函数和暗角函数去除第一图像或第二图像的暗角。
本发明的实施例在构建共参方程的损失函数时添加了自适应权重，从而能够采用动态调整权重的迭代二次规划算法求解共参方程。由于一般二次规划方法对噪声敏感，在噪声略大的情况下就会发散，无法正确求解。而上述实施例通过自适应的权重调整可以不受这种影响。并且，经过实验，本发明在保证稳定性的同时，效率明显高于现有技术中的算法。以两幅图像存在2000对特征点的情况为例，现有技术中的算法的求解过程需要30s或0.01s，而本算法的求解过程仅需要0.05s。从而，本发明在提高图像暗角移除的鲁棒性的同时保证了处理效率，能够满足实时处理的要求。
在一些实施例中，损失函数包括第一损失项和第二损失项的和，第一损失项表示度量均方误差与权重的乘积，第二损失项表示相机响应参数的正则化约束。通过对损失函数施加正则化约束，能够避免在指数模糊的情况下出现无意义的平凡解。因此上述实施例具有更好的求解效果。
在一些实施例中，损失函数如公式(8)所示。
L(x)＝||W(Cx-d)||2+λ||α||2 (8)
在公式(8)中，L(x)表示损失值；W为根据噪声权重和非线性矫正权重确定的矩阵；x为包括相机响应参数和暗角参数的参数向量，例如x＝[α1，α1，...，αM，β1，β2，...，βN]T；C为根据两幅图像中匹配的特征点到相应图像的光学中心的距离差、以及正交基函数确定的矩阵；d为根据第二光学参数、两幅图像中匹配的特征点的亮度确定的矩阵；λ为拉格朗日乘子，为一非负实数，一般取值在1E-3(即0.001)到1E-5(即0.00001)之间；α＝[α1，α1，...，αM]T表示相机响应参数。
在一些实施例中，第一损失项中的权重为对角矩阵。从而，在求解的迭代更新过程中，更新的权重仅需要计算对角元素，提高了计算效率。
图1B示出了根据本发明一些实施例的图像暗角移除方法的流程示意图。如图1B所示，该实施例的图像暗角移除方法除了步骤S102～S108以外，还包括步骤S101。
在步骤S101中，估计第一图像和第二图像的局部噪声，该局部噪声用于确定均方误差的权重。下面示例性地描述根据局部噪声确定权重的实施例。
在一些实施例中，采用公式(9)表示度量均方误差的权重W。
W＝diag(w) (9)
在公式(9)中，diag(·)表示根据特征向量得到的对角阵。对于该对角阵中的每一个元素w[i]，可以使用如下公式确定。设g(I)＝log[f-1(I)]，f-1(·)表示相机响应函数的逆函数。对特征点进行局部噪声方差估计，以获得在图像l的第i个特征点进行局部噪声方差估计的信息σl，i。该噪声强度提供了一个初始的图像信噪比信息，从而可以避免选择噪声强度很大的区域来构造损失函数，例如图像的边缘或者纹理复杂的区域。在进行噪声估计时，可以采用各种常见的图像去噪算法去估计该方差，例如低通滤波、小波去噪、自适应滤波等等。然后，使用公式(10)计算
在公式(10)中，l表示图像标识，并且当l＝0时表示第一图像，当l＝1时表示第二图像；i表示特征点的标识；Il，i表示图像l的第i个特征点的亮度。
表示在损失函数中，噪声的影响会受到1/g′(Il，i)的调制。如果1/g′(Il，i)越小，则噪声的影响被放大的程度越大，因此可靠程度越低，从而该位置的权重就越小。由于W是迭代更新的，并且在每次迭代的过程中，相机响应函数的参数也进行迭代更新，因此
的值可以根据最新一次更新的g′(Il，i)确定。
基于
确定w[i]，参见公式(11-1)和(11-2)。
N表示特征点的数量；Wmax表示预设的常数参数，以通过限制w中元素的最大取值来避免出现数值不稳定的情况。
下面分别对损失函数中其他变量的一种实现方式进行介绍。
损失函数中的C可以使用公式(12)表示。
在公式(12)中，A表示每个特征点所属的图像的标识；H表示包括正交基函数的矩阵；B表示两幅图像中匹配的特征点到相应图像的光学中心的距离差。
在一些实施例中，A中的每一个元素Ai，j的含义如公式(13)所示。
在一些实施例中，H的定义如公式(14)所示。
H＝[h1，h2，…，hK] (14)
在公式(14)中，h1，h2，...，hK表示logEMoR模型的K个基函数。
在一些实施例中，B中的每一个元素Bi，j的含义如公式(15)所示。
在公式(15)中，i表示特征点的标识，ri，2和ri，1分别表示第二图像和第一图像中第i对匹配的特征点分别到相应图像的光学中心的距离。
在一些实施例中，d中的每一个元素d[i]的含义如公式(16)所示。
d[i]＝logE+h0(Ii，2)-h0(Ii，1) (16)
在公式(16)中，E根据第一图像的第二光学参数和第二图像的第二光学参数之间的比值确定；h0(·)表示对多条预设的相机响应函数的逆函数取对数后的均值曲线；Ii，2和Ii，1分别表示第二图像和第一图像中第i对匹配的特征点的亮度值。
在一些实施例中，基于损失函数，采用Levenberg-Marquardt算法或内点法确定相机响应参数和暗角参数的值。下面以Levenberg-Marquardt算法为例描述求解过程。
基于前述公式(8)中定义的损失函数，定义第n轮迭代的损失函数，如公式(17)所示。
Ln(x)＝||Wn(Cx-d)||2+λ||α||2 (17)
然后，将公式(17)中的损失函数进行如公式(18)-(19)的变换。
Ln(x)＝||UnCx-Wnd||2 (18)
在公式(19)中，Ieye为M×M的单位矩阵，0为M×N的全零矩阵。
初始化x0，例如取x0＝0。
然后，开始一轮迭代，计算固定的权重矩阵，包括C、d、w1的值；再计算本轮的权重矩阵Wn。
根据最新的相机响应函数的逆函数的参数计算第n轮迭代中W的元素wn[i]值，计算过程参见公式(10)、(11-1)、(11-2)。
计算损失函数矩阵F，如公式(20)所示。
Fn＝UnCx-Wnd (20)
计算雅克比(Jacobian)矩阵Jn，如公式(21)所示。
Jn＝UnC (21)
然后，根据Levenberg-Marquardt算法确定本轮迭代的参数xn。判定算法是否收敛，如果收敛则结束迭代并返回xn，否者继续进行下一轮迭代。
由于Wn是对角阵，因此在更新时仅需要计算对角元素。并且，由于C和d都可以预先计算好，因此总体的计算量相对于一般的Levenberg-Marquardt算法增加量不大。从而，保证了本实施例的方法具有较高的计算效率。
下面参考图2描述本发明暗角移除方法的实施例。
图2示出了根据本发明一些实施例的暗角移除方法的流程示意图。如图2所示，该实施例的暗角移除方法包括步骤S202～S208。
在步骤S202中，确定相机响应函数的逆函数的参数以及暗角函数的参数。具体的确定方法参考前述各个实施例，这里不再赘述。
在步骤S204中，对待处理的图像应用相机响应函数的逆函数，获得线性曝光图像，其中，待处理的图像为第一图像或第二图像。
例如，对于待处理图像I(x，y)，应用f-1(I)以得到线性曝光图像R(x，y)，如公式(22)所示。
R(x，y)＝f-1(I(x，y)) (22)
在步骤S206中，对待处理的图像应用暗角函数以移除暗角效应，获得衰减图像R*(x，y)，如公式(23)所示。
R*(x，y)＝R(x，y)/V(r) (23)
在步骤S208中，对线性曝光图像与衰减图像的比值应用相机响应函数，获得去除暗角后的图像I*(x，y)，如公式(24)所示。
I*(x，y)＝f(R*(x，y)) (24)
下面参考图3描述本发明全景图像生成方法的实施例。
图3示出了根据本发明一些实施例的全景图像生成方法的流程示意图。如图3所示，该实施例的全景图像生成方法包括步骤S302～S304。
在步骤S302中，去除第一图像和第二图像的暗角。去除暗角的方式可以参考前述任意一个实施例，这里不再赘述。
在步骤S304中，对去除暗角后的第一图像和第二图像进行拼接，生成全景图像。
通过基于去除暗角的图像生成全景图像，能够使得全景图像拼接处的过渡更加均匀，提高了拼接效果和拼接的准确率。
在一些实施例中，对拼接处的像素点的亮度做进一步调整：基于去除暗角后的第一图像和第二图像中匹配的特征点，配准第一图像和第二图像；确定配准的第一图像和第二图像的重叠部分；确定重叠部分中每个像素点在第一图像中的第一像素点亮度、以及在第二图像中的第二像素点亮度；对第一像素点亮度和第二像素点亮度进行加权平均，获得生成的全景图像中重叠部分的相应像素点的亮度；基于去除暗角后的第一图像和第二图像、以及重叠部分的相应像素点的亮度，生成全景图像。从而，能够使得拼接处的过渡更加均匀。
在一些实施例中，对第一像素点亮度和第二像素点亮度进行加权平均时所使用的权重，根据重叠部分中每个像素点在第一图像和第二图像中距离图像中心的距离确定。
例如，采用公式(25)-(26)对第一像素点亮度和第二像素点亮度进行加权平均：
其中，Ipano(x，y)表示重叠部分的点(x，y)的加权后的亮度；(xp1，yp1)和(xp2，yp2)分别表示点(x，y)在第一图像中的坐标和在第二图像中的坐标；
和
分别表示像素点在第一图像中的亮度和在第二图像中的亮度；r1表示(xp1，yp1)到第一图像的图像中心的距离，r2表示(xp2，yp2)到第二图像的图像中心的距离。
下面参考图4描述本发明图像暗角移除装置的实施例。
图4示出了根据本发明一些实施例的图像暗角移除装置的结构示意图。如图4所示，该实施例的图像暗角移除装置400包括：特征点对确定模块4100，被配置为在针对同一场景拍摄的第一图像和第二图像中，确定匹配的特征点对，其中，每幅图像在拍摄时使用相同的第一光学参数、以及不同的第二光学参数；共参方程构建模块4200，被配置为基于匹配的特征点对、相机响应函数的逆函数、暗角函数以及第二光学参数，构建共参方程，其中，使用相机响应参数表示相机响应函数的逆函数、使用暗角参数表示暗角函数；损失函数确定模块4300，被配置为确定共参方程的损失函数，其中，损失函数根据第一图像和第二图像之间的度量均方误差的加权结果构建，并且度量均方误差的权重根据相机响应函数的逆函数确定；参数确定模块4400，被配置为基于损失函数，通过以迭代的方式求解二次规划问题来确定相机响应参数和暗角参数的值，并且，在每次迭代的过程中，更新度量均方误差的权重，以便采用相机响应函数的逆函数和暗角函数去除第一图像或第二图像的暗角。
在一些实施例中，图像暗角移除装置400还包括：暗角移除模块4500，被配置为对待处理的图像应用相机响应函数的逆函数，获得线性曝光图像，其中，待处理的图像为第一图像或第二图像；对待处理的图像应用暗角函数，获得衰减图像；对线性曝光图像与衰减图像的比值应用相机响应函数，获得去除暗角后的图像。
下面参考图5描述本发明全景图像生成系统的实施例。
图5示出了根据本发明一些实施例的全景图像生成系统的结构示意图。如图5所示，该实施例的全景图像生成系统50包括：前述任意一种图像暗角移除装置400，用于去除第一图像和第二图像的暗角；以及拼接装置500，被配置为对去除暗角后的第一图像和第二图像进行拼接，生成全景图像。
图6示出了根据本发明一些实施例的数据处理装置的结构示意图，该数据处理装置为图像暗角移除装置或者全景图像生成装置。如图6所示，该实施例的数据处理装置60包括：存储器610以及耦接至该存储器610的处理器620，处理器620被配置为基于存储在存储器610中的指令，执行前述任意一个实施例中的图像暗角移除方法或者全景图像生成方法。
其中，存储器610例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)以及其他程序等。
图7示出了根据本发明另一些实施例的数据处理装置的结构示意图，该数据处理装置为图像暗角移除装置或者全景图像生成装置。如图7所示，该实施例的数据处理装置70包括：存储器710以及处理器720，还可以包括输入输出接口730、网络接口740、存储接口750等。这些接口730，740，750以及存储器710和处理器720之间例如可以通过总线760连接。其中，输入输出接口730为显示器、鼠标、键盘、触摸屏等输入输出设备提供连接接口。网络接口740为各种联网设备提供连接接口。存储接口750为SD卡、U盘等外置存储设备提供连接接口。
本发明的实施例还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现前述任意一种图像暗角移除方法或者全景图像生成方法。
本领域内的技术人员应当明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解为可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (22)
1.一种图像暗角移除方法，包括：
在针对同一场景拍摄的第一图像和第二图像中，确定匹配的特征点对，其中，每幅图像在拍摄时使用相同的第一光学参数、以及不同的第二光学参数；
基于所述匹配的特征点对、相机响应函数的逆函数、暗角函数以及所述第二光学参数，构建共参方程，其中，使用相机响应参数表示所述相机响应函数的逆函数、使用暗角参数表示所述暗角函数；
确定所述共参方程的损失函数，其中，所述损失函数根据所述第一图像和所述第二图像之间的度量均方误差的加权结果构建，并且所述度量均方误差的权重根据所述相机响应函数的逆函数确定；
基于所述损失函数，通过以迭代的方式求解二次规划问题来确定所述相机响应参数和所述暗角参数的值，并且，在每次迭代的过程中，更新所述度量均方误差的权重，以便采用所述相机响应函数的逆函数和所述暗角函数去除所述第一图像或所述第二图像的暗角。
2.根据权利要求1所述的图像暗角移除方法，其中，使用特征点到相应图像的光学中心的距离以及暗角参数表示所述暗角函数。
3.根据权利要求1所述的图像暗角移除方法，其中，所述暗角函数为：
其中，V(r)表示图像中像素点亮度的衰减程度；r表示图像中的特征点(x0，y0)到相应图像的光学中心(xc，yc)的距离；xc和yc分别表示图像的光学中心的横坐标和纵坐标；N表示暗角参数的参数数量；j表示暗角参数的标识；βj表示第j个暗角参数。
4.根据权利要求1所述的图像暗角移除方法，其中，所述共参方程为：
f-1[I1(xi，1，yi，1)]/V(ri，1)＝E·f-1[I2(xi，2，yi，2)]/V(ri，2)
其中，(xi，1，yi，1)和(xi，2，yi，2)分别表示所述第一图像和所述第二图像中匹配的第i对特征点的坐标，ri，1和ri，2分别表示所述第一图像和所述第二图像中匹配的第i对特征点到相应图像的光学中心的距离；V(·)表示暗角函数；I1(·)和I2(·)分别表示所述第一图像和所述第二图像中相应像素点的亮度值；E根据所述第一图像的第二光学参数和所述第二图像的第二光学参数之间的比值确定；f-1[·]表示相机响应函数的逆函数，并且
其中，I表示亮度；h0(·)表示对多条预设的相机响应函数的逆函数取对数后的均值曲线；h1(·)至hM(·)表示从多条预设的相机响应函数的逆函数取对数后的曲线中移除所述均值曲线后，通过进行主成分分析PCA分解而得到的正交基函数。
5.根据权利要求1或4所述的图像暗角移除方法，其中，所述损失函数包括第一损失项和第二损失项的和，所述第一损失项表示所述度量均方误差与权重的乘积，所述第二损失项表示所述相机响应参数的正则化约束。
6.根据权利要求5所述的图像暗角移除方法，其中，所述损失函数为：
L(x)＝||W(Cx-d)||2+λ||α||2
其中，L(x)表示损失值；W为根据噪声权重和非线性矫正权重确定的矩阵；x为包括所述相机响应参数和所述暗角参数的参数向量；C为根据所述两幅图像中匹配的特征点到相应图像的光学中心的距离差、以及正交基函数确定的矩阵；d为根据所述第二光学参数、所述两幅图像中匹配的特征点的亮度确定的矩阵；λ表示预设的参数；α表示所述相机响应参数。
7.根据权利要求6所述的图像暗角移除方法，其中：
W＝diag(w)
并且，
g(I)＝log[f-1(I)]
diag(·)表示根据特征向量得到的对角阵；f-1(·)表示相机响应函数的逆函数；l表示图像标识，并且当l＝0时表示所述第一图像，当l＝1时表示所述第二图像；i表示特征点的标识，并且特征点的数量为N；σl，i表示在图像l的第i个特征点进行局部噪声方差估计的信息；Il，i表示图像l的第i个特征点的亮度；Wmax表示预设的常数参数。
8.根据权利要求6所述的图像暗角移除方法，其中：
并且，A表示每个特征点所属的图像的标识；H表示包括正交基函数的矩阵；B表示所述两幅图像中匹配的特征点到相应图像的光学中心的距离差。
9.根据权利要求8所述的图像暗角移除方法，其中：
对于A中的每一个元素Ai，j，
H＝[h1，h2，…，hK]
其中，h1，h2，...，hK表示对经验响应模型取对数后的K个基函数；以及，
对于B中的每一个元素Bi，j，
其中，i表示特征点的标识，ri，2和ri，1分别表示所述第二图像和所述第一图像中第i对匹配的特征点分别到相应图像的光学中心的距离。
10.根据权利要求6所述的图像暗角移除方法，其中，对于d中的每一个元素d[i]，
d[i]＝logE+h0(Ii，2)-h0(Ii，1)
并且，E根据所述第一图像的第二光学参数和所述第二图像的第二光学参数之间的比值确定；h0(·)表示对多条预设的相机响应函数的逆函数取对数后的均值曲线；Ii,2和Ii,1分别表示所述第二图像和所述第一图像中第i对匹配的特征点的亮度值。
11.根据权利要求5-10中任一项所述的图像暗角移除方法，其中，基于所述损失函数，采用列文伯格-马夸尔特Levenberg-Marquardt算法或内点法确定所述相机响应参数和所述暗角参数的值。
12.根据权利要求1所述的图像暗角移除方法，还包括：
对待处理的图像应用所述相机响应函数的逆函数，获得线性曝光图像，其中，所述待处理的图像为所述第一图像或所述第二图像；
对所述待处理的图像应用所述暗角函数，获得衰减图像；
对所述线性曝光图像与所述衰减图像的比值应用所述相机响应函数，获得去除暗角后的图像。
13.一种全景图像生成方法，包括：
采用权利要求1-12中任一项所述的图像暗角移除方法，去除第一图像和第二图像的暗角；
对去除暗角后的所述第一图像和所述第二图像进行拼接，生成全景图像。
14.根据权利要求13所述的全景图像生成方法，其中，所述对去除暗角后的待拼接图像进行拼接，生成全景图像包括：
基于去除暗角后的所述第一图像和所述第二图像中匹配的特征点，配准所述第一图像和所述第二图像；
确定配准的所述第一图像和所述第二图像的重叠部分；
确定所述重叠部分中每个像素点在所述第一图像中的第一像素点亮度、以及在所述第二图像中的第二像素点亮度；
对所述第一像素点亮度和所述第二像素点亮度进行加权平均，获得生成的全景图像中所述重叠部分的相应像素点的亮度；
基于所述去除暗角后的所述第一图像和所述第二图像、以及所述重叠部分的相应像素点的亮度，生成全景图像。
15.根据权利要求14所述的全景图像生成方法，其中，对所述第一像素点亮度和所述第二像素点亮度进行加权平均时所使用的权重，根据所述重叠部分中每个像素点在所述第一图像和所述第二图像中距离图像中心的距离确定。
16.根据权利要求14所述的全景图像生成方法，其中，采用以下公式对所述第一像素点亮度和所述第二像素点亮度进行加权平均：
其中，Ipano(x，y)表示重叠部分的点(x，y)的加权后的亮度；(xp1，yp1)和(xp2，yp2)分别表示点(x，y)在所述第一图像中的坐标和在所述第二图像中的坐标；
和
分别表示像素点在所述第一图像中的亮度和在所述第二图像中的亮度；r1表示(xp1，yp1)到所述第一图像的图像中心的距离，r2表示(xp2，yp2)到所述第二图像的图像中心的距离。
17.一种图像暗角移除装置，包括：
特征点对确定模块，被配置为在针对同一场景拍摄的第一图像和第二图像中，确定匹配的特征点对，其中，每幅图像在拍摄时使用相同的第一光学参数、以及不同的第二光学参数；
共参方程构建模块，被配置为基于所述匹配的特征点对、相机响应函数的逆函数、暗角函数以及所述第二光学参数，构建共参方程，其中，使用相机响应参数表示所述相机响应函数的逆函数、使用暗角参数表示所述暗角函数；
损失函数确定模块，被配置为确定所述共参方程的损失函数，其中，所述损失函数根据所述第一图像和所述第二图像之间的度量均方误差的加权结果构建，并且所述度量均方误差的权重根据所述相机响应函数的逆函数确定；
参数确定模块，被配置为基于所述损失函数，通过以迭代的方式求解二次规划问题来确定所述相机响应参数和所述暗角参数的值，并且，在每次迭代的过程中，更新所述度量均方误差的权重，以便采用所述相机响应函数的逆函数和所述暗角函数去除所述第一图像或所述第二图像的暗角。
18.根据权利要求17所述的图像暗角移除装置，还包括：
暗角移除模块，被配置为对待处理的图像应用所述相机响应函数的逆函数，获得线性曝光图像，其中，所述待处理的图像为所述第一图像或所述第二图像；对所述待处理的图像应用所述暗角函数，获得衰减图像；对所述线性曝光图像与所述衰减图像的比值应用所述相机响应函数，获得去除暗角后的图像。
19.一种全景图像生成系统，包括：
权利要求17或18所述的图像暗角移除装置，用于去除第一图像和第二图像的暗角；以及
拼接装置，被配置为对去除暗角后的第一图像和第二图像进行拼接，生成全景图像。
20.一种图像暗角移除装置，包括：
存储器；以及
耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如权利要求1-12中任一项所述的图像暗角移除方法。
21.一种全景图像生成装置，包括：
存储器；以及
耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如权利要求13-16中任一项所述的全景图像生成方法。
22.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1-12中任一项所述的图像暗角移除方法、或者权利要求13-16中任一项所述的全景图像生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110439998.5A CN115239569A (zh) | 2021-04-23 | 2021-04-23 | 图像暗角移除方法、全景图像生成方法和相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110439998.5A CN115239569A (zh) | 2021-04-23 | 2021-04-23 | 图像暗角移除方法、全景图像生成方法和相关设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115239569A true CN115239569A (zh) | 2022-10-25 |
Family
ID=83666585
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110439998.5A Pending CN115239569A (zh) | 2021-04-23 | 2021-04-23 | 图像暗角移除方法、全景图像生成方法和相关设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115239569A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116523774A (zh) * | 2023-04-14 | 2023-08-01 | 北京天睿空间科技股份有限公司 | 一种适于视频图像的暗影修正方法 |
-
2021
- 2021-04-23 CN CN202110439998.5A patent/CN115239569A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116523774A (zh) * | 2023-04-14 | 2023-08-01 | 北京天睿空间科技股份有限公司 | 一种适于视频图像的暗影修正方法 |
| CN116523774B (zh) * | 2023-04-14 | 2024-02-02 | 北京天睿空间科技股份有限公司 | 一种适于视频图像的暗影修正方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhuo et al. | Defocus map estimation from a single image | |
| EP2526528B1 (en) | Blur function modeling for depth of field rendering | |
| US8606035B2 (en) | Image processing apparatus and image processing method | |
| US9508131B2 (en) | Removal of image artifacts from sensor dust | |
| US20040190787A1 (en) | Image noise reduction | |
| US8908989B2 (en) | Recursive conditional means image denoising | |
| US20070172141A1 (en) | Image conversion device, image conversion method, and recording medium | |
| KR20150107605A (ko) | 이미지 블러링 방법 및 장치, 그리고 전자 장치 | |
| AU2013263760A1 (en) | Method, system and apparatus for determining a depth value of a pixel | |
| JP2015184767A (ja) | 情報処理装置、情報処理方法、位置姿勢推定装置、ロボットシステム | |
| JP2006180268A (ja) | 画像処理装置、画像処理方法、プログラム、及び記録媒体 | |
| Kapuriya et al. | Detection and restoration of multi-directional motion blurred objects | |
| Colom et al. | Analysis and extension of the percentile method, estimating a noise curve from a single image | |
| CN115239569A (zh) | 图像暗角移除方法、全景图像生成方法和相关设备 | |
| CN111951295A (zh) | 基于多项式拟合高精度确定飞行轨迹的方法、装置和电子设备 | |
| KR20110048829A (ko) | 레인지 영상의 노이즈 제거장치 및 방법 | |
| Tung et al. | Multiple depth layers and all-in-focus image generations by blurring and deblurring operations | |
| US20190221026A1 (en) | Method and device for image processing | |
| CN114972084A (zh) | 一种图像对焦准确度评价方法及系统 | |
| CN115619652A (zh) | 图像盲去噪方法、装置、电子设备和存储介质 | |
| CN109146966B (zh) | 视觉slam前端处理方法、系统、存储介质及计算机设备 | |
| CN111886625A (zh) | 图像融合方法、图像采集设备、可移动平台 | |
| Wang et al. | A novel deghosting method for exposure fusion | |
| Zappa et al. | Estimation and compensation of motion blur for the reduction of uncertainty in DIC measurements of flexible bodies | |
| JP2020025224A (ja) | カメラ評価値測定装置およびカメラ評価値測定方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |