CN113160090A - 一种图像校正的方法及装置 - Google Patents
一种图像校正的方法及装置 Download PDFInfo
- Publication number
- CN113160090A CN113160090A CN202110528969.6A CN202110528969A CN113160090A CN 113160090 A CN113160090 A CN 113160090A CN 202110528969 A CN202110528969 A CN 202110528969A CN 113160090 A CN113160090 A CN 113160090A
- Authority
- CN
- China
- Prior art keywords
- target
- correction coefficient
- correction
- training
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000003702 image correction Methods 0.000 title claims description 21
- 238000012937 correction Methods 0.000 claims abstract description 326
- 238000012549 training Methods 0.000 claims abstract description 162
- 230000003287 optical effect Effects 0.000 claims abstract description 68
- 241001270131 Agaricus moelleri Species 0.000 claims abstract description 37
- 238000004364 calculation method Methods 0.000 claims description 81
- 238000005457 optimization Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 10
- 230000000694 effects Effects 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 7
- 230000001419 dependent effect Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 abstract description 9
- 238000012545 processing Methods 0.000 description 6
- 238000003860 storage Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000009897 systematic effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种图像校正的方法及装置,能够对目标显示屏在拍摄时由于观察视角不同造成图像中出现的不均匀进行校正,其中,方法包括:获取目标图像,所述目标图像由第一目标光学系统对第一目标LCD显示屏拍摄所得;确定所述目标图像所对应的第一灰阶;通过所述第一灰阶在目标校正系数模型中确定对应的目标校正参数,所述目标校正系数模型为根据获取若干个样本训练图像的灰阶与最优校正系数所训练得到的模型,通过所述目标校正系数模型,可以得到不同画面不同灰阶所对应的校正参数;将所述目标校正参数带入预设校正模型进行校正得到目标校正图像。
Description
技术领域
本申请涉及图像处理领域,具体涉及一种图像校正的方法及装置。
背景技术
对于设有液晶显示屏(Liquid Crystal Display,LCD)的智能设备,例如手机和ipad等,在不同视角上观察点亮状态下的LCD显示屏时,观察到的光学亮度和色度是不均匀的,并且显示屏本身给出的几乎都是0视场角下的光学参数,若通过光学系统对LCD显示屏进行拍摄,由于该视角不均的问题对拍摄图像带来误差,若自动光学检测(AutomatedOptical Inspection,AOI)系统对LCD显示屏的拍图中也存在该问题,则会给光学Mura检查以及Mura补偿带来了很大的系统性误差,进而导致检查效果或修补效果不佳。
为了解决这一问题,大多都是针对特定拍摄条件下进行手动尝试不同强度的补正系数,通过人眼观察的方式确认补正模型。而这种方法对人的主观判断依赖性太高,当主观判断给出的补正系数误差较大时,使得光学建模过程中模型受视角不均性影响较大,无法有效并准确的减少拍摄图像中的视角不均现象,得到的图像仍然存在较大误差。
发明内容
本申请提供了一种图像校正的方法及装置,用于校正由于目标显示屏在观察视角不同而造成拍摄图像中出现的不均匀现象。
本申请第一方面提供了一种图像校正的方法,包括:
获取目标图像,所述目标图像由第一目标光学系统对第一目标LCD显示屏拍摄所得;
确定所述目标图像所对应的第一灰阶;
通过所述第一灰阶在目标校正系数模型中确定对应的目标校正参数,所述目标校正系数模型为根据获取若干个样本训练图像的灰阶与最优校正系数所训练得到的模型,所述目标校正系数模型中包含有不同画面不同灰阶所对应的校正参数;
将所述目标校正参数带入预设校正模型进行校正得到目标校正图像。
可选的,在通过所述第一灰阶在目标校正系数模型中确定对应的目标校正参数之前,所述方法还包括:
创建训练数据库,所述训练数据库中包含第二目标光学系统分别对第二目标LCD显示屏在白画面、红画面、绿画面以及蓝画面的不同灰阶下所拍摄的图像,所述第二目标LCD显示屏的光学均匀性大于预设值;
对所述训练数据库中的图像进行训练得到所述目标校正系数模型。
可选的,所述通过对所述训练数据库中的图像进行训练得到所述目标校正系数模型,包括:
从所述训练数据库中获取训练图组,所述训练图组为未训练过的画面图组;
从所述训练图组中获取训练图像并标记所述训练图像的灰阶,所述训练图像为未训练过的图像;
确定所述训练图像的余弦矩阵;
确定校正系数计算区域,所述校正系数计算区域为所述标定用屏的显示区域与目标环形区域的重叠区域;
获取所述校正系数计算区域的平均校正系数,所述平均校正系数为所述校正系数计算区域中每个像素对应的视角余弦的均值;
根据所述平均校正系数确定所述灰阶对应的最优校正系数;
判断所述训练图组中是否存在未遍历的图像;
若是,则执行从所述训练图组中获取训练图像并标记所述训练图像的灰阶的步骤;
若否,则确定所述训练图组下各灰阶与对应的最优校正系数之间的最优校正计算参数,所述最优校正计算参数为通过最小二乘多项式拟合方法对各灰阶与对应的最优校正系数进行拟合并保存拟合得到的多项式系数;
将所述最优校正计算参数添加至预设校正系数模型中;
当所述训练数据库中所有训练图像对应的最优校正计算参数添加至所述预设校正系数模型,则确定所述预设校正系数模型为所述目标校正系数模型。
可选的,所述当所述训练数据库中所有训练图像对应的最优校正计算参数添加至所述预设校正系数模型,则确定所述预设校正系数模型为所述目标校正系数模型,包括:
判断所述训练数据库中是否存在未遍历的训练图组;
若是,则执行从所述训练数据库中获取训练图组的步骤;
若否,确定所述预设校正系数模型为目标校正系数模型。
可选的,所述确定校正系数计算区域,包括:
确定目标环形区域;
将所述目标环形区域与所述显示区域求与得到所述校正系数计算区域。
可选的,根据所述平均校正系数确定所述灰阶对应的最优校正系数,包括:
初始化寻优步长;
通过所述寻优步长和所述平均校正系数在预设寻优范围内获取初始校正系数值并计算所述初始校正系数值对所述校正模型作用的系统标准差;
确定所述灰阶对应的最优校正系数,所述最优校正系数为所述系统标准差最小时所对应的初始校正系数值。
可选的,在获取所述校正系数计算区域的平均校正系数之前,所述方法还包括:
获取所述校正系数计算区域中每个像素对应的视角余弦。
可选的,所述确定所述训练图组下各灰阶与对应的最优校正系数之间的最优校正计算参数,包括:
将所述训练图组中各样本图像的灰阶值作为自变量,各灰阶对应的最优校正系数作为因变量,使用最小二乘多项式拟合方法将所述自变量和所述因变量进行拟合得到一个n阶多项式表达式并保存在拟合过程中得到的多项式系数,所述多项式系数则为最优校正计算参数。
可选的,所述创建训练数据库,包括:
通过预设相机标定方法对所述第二目标光学系统进行相机参数标定;
获取相机参数,所述相机参数包括相机的光轴位置在拍摄图像上的坐标以及所述光轴在x方向上的第一焦距和y方向上第二焦距;
通过所述第二目标光学系统对所述第二目标LCD显示屏分别在白画面、红画面、绿画面以及蓝画面对应不同的灰阶进行拍摄,得到四组训练图像,所述拍摄在特定场景中进行,所述训练图像的曝光时间均为预设值;
对所述训练图像按画面分组并标记各训练图像的灰阶后保存至所述训练数据库。
本申请第二方面提供了一种图像校正的装置,包括:
第一获取单元,用于获取目标图像,所述目标图像由第一目标光学系统对第一目标LCD显示屏拍摄所得;
第一确定单元,用于确定所述目标图像所对应的第一灰阶;
第二确定单元,用于通过所述第一灰阶在目标校正系数模型中确定对应的目标校正参数,所述目标校正系数模型为根据获取若干个样本训练图像的灰阶与最优校正系数所训练得到的模型,通过所述目标校正系数模型,可以得到不同画面不同灰阶所对应的校正参数;
校正单元,用于将所述目标校正参数带入预设校正模型进行校正得到目标校正图像。
可选的,所述装置还包括:
创建单元,用于创建训练数据库,所述训练数据库中包含第二目标光学系统分别对第二目标LCD显示屏在白画面、红画面、绿画面以及蓝画面的不同灰阶下所拍摄的图像,所述第二目标LCD显示屏的光学均匀性大于预设值;
训练单元,用于对所述训练数据库中的图像进行训练得到所述目标校正系数模型。
可选的,所述训练单元包括:
第一获取模块,用于从所述训练数据库中获取训练图组,所述训练图组为未训练过的画面图组;
第二获取模块,用于从所述训练图组中获取训练图像并标记所述训练图像的灰阶,所述训练图像为未训练过的图像;
第一确定模块,用于确定所述训练图像的余弦矩阵;
第二确定模块,用于确定校正系数计算区域,所述校正系数计算区域为所述标定用屏的显示区域与目标环形区域的重叠区域;
第三获取模块,用于获取所述校正系数计算区域的平均校正系数,所述平均校正系数为所述校正系数计算区域中每个像素对应的视角余弦的均值;
第三确定模块,用于根据所述平均校正系数确定所述灰阶对应的最优校正系数;
第一判断模块,用于判断所述训练图组中是否存在未遍历的图像;
拟合模块,用于当第一判断确定所述训练图组中没有未遍历的图像时,确定所述训练图组下各灰阶与对应的最优校正系数之间的最优校正计算参数,所述最优校正计算参数为通过最小二乘多项式拟合方法对各灰阶与对应的最优校正系数进行拟合并保存拟合得到的多项式系数;
第一执行模块,用于将所述最优校正计算参数添加至预设校正系数模型中;
第四确定模块,用于当所述训练数据库中所有训练图像对应的最优校正计算参数添加至所述预设校正系数模型,则确定所述预设校正系数模型为所述目标校正系数模型。
可选的,所述第四确定模块包括:
第一判断子模块,用于判断所述训练数据库中是否存在未遍历的训练图组;
第三确定子模块,用于当第一判断子模块确定所述训练数据库中没有未遍历的训练图组时,则确定所述预设校正系数模型为目标校正系数模型。
可选的,所述训练单元,还包括:
第四获取模块,用于获取所述校正系数计算区域中每个像素对应的视角余弦。
可选的,所述第二确定模块,包括:
第一确定子模块,用于确定目标环形区域;
第一计算子模块,用于将所述目标环形区域与所述显示区域求与得到所述校正系数计算区域。
可选的,所述第三确定模块,包括:
初始化子模块,用于初始化寻优步长;
第一执行子模块,用于通过所述寻优步长和所述平均校正系数在预设寻优范围内获取初始校正系数值并计算所述初始校正系数值对所述校正模型作用的系统标准差;
第二确定子模块,用于确定所述灰阶对应的最优校正系数,所述最优校正系数为所述系统标准差最小时所对应的初始校正系数值。
可选的,所述创建单元,包括:
标定模块,用于通过预设相机标定方法对所述第二目标光学系统进行相机参数标定;
第五获取模块,用于获取相机参数,所述相机参数包括相机的光轴位置在拍摄图像上的坐标以及所述光轴在x方向上的第一焦距和y方向上第二焦距;
拍摄模块,用于通过所述第二目标光学系统对所述第二目标LCD显示屏分别在白画面、红画面、绿画面以及蓝画面对应不同的灰阶进行拍摄,得到四组训练图像,所述拍摄在特定场景中进行,所述训练图像的曝光时间均为预设值;
数据处理模块,用于对所述训练图像按画面分组并标记各训练图像的灰阶后保存至训练数据库。
本申请第三方面提供了一种图像校正的装置,包括:
处理器、存储器、输入输出单元、总线;
所述处理器与所述存储器、所述输入输出单元以及所述总线相连;
所述处理器具体执行如下操作:
获取目标图像,所述目标图像由第一目标光学系统对第一目标LCD显示屏拍摄所得;
确定所述目标图像所对应的第一灰阶;
通过所述第一灰阶在目标校正系数模型中确定对应的目标校正参数,所述目标校正系数模型为根据获取若干个样本训练图像的灰阶与最优校正系数所训练得到的模型,所述目标校正系数模型中包含有不同画面不同灰阶所对应的校正参数;
将所述目标校正参数带入预设校正模型进行校正得到目标校正图像。
本申请实施例第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质上保存有程序,所述程序在计算机上执行时执行前述图像校正的方法。
从以上技术方案可以看出,本申请通过获取目标图像中各像素点的第一灰阶并从目标校正系数模型中确定各像素点对应的目标校正参数,最后将该目标校正参数根据预设校正模型进行校正即得到目标校正图像,其中,经过训练后的目标校正系数模型中包含有不同画面不同灰阶所对应的校正参数,因此通过灰阶值即可快速确定校正参数并生成目标校正图像,且校正过程不需要人工参与,最终得到的校正图像误差小,大大提高了校正的准确性和稳定性。
附图说明
图1为本申请中图像校正的方法的一个实施例流程示意图;
图2a、图2b和图2c为本申请中图像校正的方法的另一实施例流程示意图;
图3为本申请中图像校正的装置的一个实施例结构示意图;
图4为本申请中图像校正的装置的另一实施例结构示意图;
图5为本申请中目标环形区域的示意图;
图6为本申请中目标显示屏的显示区域的示意图;
图7为本申请中校正系数计算区域的示意图。
具体实施方式
本申请实施例提供了一种图像校正的方法及装置,用于校正由于目标显示屏在观察视角不同而造成拍摄图像中出现的拍摄不均匀现象。
下面将结合本申请实施例中的附图,对本申请中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的方法可以应用于服务器、终端或者其它具备逻辑处理能力的设备,对此,本申请不作限定。为方便描述,下面以执行主体为终端为例进行描述。
请参阅图1,本申请中图像校正的方法的一个实施例包括:
101、终端获取目标图像,所述目标图像由第一目标光学系统对第一目标LCD显示屏拍摄所得;
由于LCD显示屏无法保证均匀性为100%,且拍摄时LCD显示屏在点亮状态下存在不同视角上观察到的光学亮度和色度存在不均匀的情况,则对该LCD显示屏拍摄得到的图像中存在视角不均的问题,而在这种情况下对Mura进行检查和补偿会存在很大的误差,为了减小第一目标光学系统拍图过程中因拍摄视角不均带来的影响,终端获取该第一目标光学系统所拍摄的图片,对该图片进行相应的校正处理。
102、终端确定所述目标图像所对应的第一灰阶;
LCD屏幕上每个像素,均由不同亮度层次的红、绿、蓝(RGB)组合起来,最终形成不同的色彩点,而屏幕上每一个点的色彩变化,其实都是由构成这个点的三个RGB子像素的灰阶变化所带来的。
在光学系统所拍摄的图像中,通常情况下,较低灰阶比较高灰阶有着更严重的视角不均匀性,不同像素排列或制造工艺的LCD显示屏的这种视角不均的现象也不近相同,例如平面转换(In-Plane Switching,IPS)液晶屏的这种现象就比垂直配向(VerticalAlignment,VA)液晶显示屏和扭曲向列(Twisted Nematic,TN)液晶显示器的弱,因此本申请实施例中,在开始对图像进行校正之前终端需确定该目标图像对应的灰阶,此处用第一灰阶代称。
103、终端通过所述第一灰阶在目标校正系数模型中确定对应的目标校正参数;
该目标校正系数模型为预先训练好的模型,所述目标校正系数模型为根据获取若干个样本训练图像的灰阶与最优校正系数所训练得到的模型,其中包含有不同画面(红、绿、蓝、白)在不同灰阶时所对应的校正参数,通过第一灰阶值与该目标校正系数模型中的相同画面下的相同灰阶进行对比,从而确定出对应的目标校正参数。
104、终端将所述目标校正参数带入预设校正模型进行校正得到目标校正图像。
该预设校正模型为预设的多项式计算函数,当终端确定目标校正参数后,将该目标校正参数带入预设校正模型中进行计算得到该像素校正后的灰阶,并根据校正后的灰阶对像素进行校正即可得到目标校正图像。
本申请实施例,提供了用于校正目标显示屏在观察视角不同而造成拍摄图像中出现的不均匀现象的计算方法和流程,终端通过获取目标图像的灰阶,通过该灰阶从目标校正系数模型中找到对应的目标校正参数,最后将该目标校正参数带入预设校正模型中计算并根据该计算值进行校正即可,该过程不需要人为参与,直接对目标图像中存在的视角不均现象进行校正,大大提高了校正的准确性和稳定性。
请参阅图2a、图2b和图2c,本申请中图像校正方法的另一个实施例包括:
201、终端通过预设相机标定方法对所述第二目标光学系统进行相机参数标定;
本申请实施例终端对拍摄用的目标光学系统进行内外参数标定,标定方法可以为张正友棋盘标定法,也可以为其它标定法,具体此处不做限定。
202、终端获取相机参数,所述相机参数包括相机的光轴位置在拍摄图像上的坐标以及所述光轴在x方向上的第一焦距和y方向上第二焦距;
终端获取该目标光学系统中相机的光轴位置在图像上的坐标(cx,cy),以及x方向和y方向上的焦距fx和fy。
203、终端通过所述第二目标光学系统对所述第二目标LCD显示屏分别在白画面、红画面、绿画面以及蓝画面对应不同的灰阶进行拍摄,得到四组训练图像,所述拍摄在特定场景中进行,所述训练图像的曝光时间均为预设值;
为了提高校正的准确性,本申请实施例中第二目标显示屏(LCD显示屏)的光学均匀性大于95%,也可以按照实际情况设定显示屏的均匀性范围,并分别在白画面、红画面、绿画面和蓝画面下,按照均匀设定的灰阶值进行拍图,例如灰阶g=[0,5,10,15,...,255],通过该目标光学系统对特定场景进行拍图,在每个画面对应的不同的灰阶得到多组图像,需要说明的是,在拍摄过程中,第二目标光学系统的空间位置、焦距、光圈等工作状态保持相同,第二目标显示屏的位置保持不变,并且所拍摄的图片的曝光时间相同,具体曝光时间此处不做限定。
204、终端对所述训练图像按画面分组并标记各训练图像的灰阶后保存至所述训练数据库;
终端将步骤203拍到的图片按照画面进行分类、排序并储存至预设存储位置中,可以存储至本地数据也可以上传至云端数据库,具体此处不做限定。
205、终端从所述训练数据库中获取训练图组,所述训练图组为未训练过的画面图组;
训练数据数据库中包含白画面、红画面、绿画面和蓝画面四组图像,每组图像中都包含有不同灰阶的图像,终端按组依次处理这些图像,具体顺序此处不做限定。
206、终端从所述训练图组中获取训练图像并标记所述训练图像的灰阶,所述训练图像为未训练过的图像;
207、终端确定所述训练图像的余弦矩阵;
光轴为光束的中心线,光束绕光轴转动且没有光学特性的变化,终端以目标图像的光轴位置(cx,cy)为中心计算图像像素对应的拍摄视角的余弦矩阵,具体计算入公式(1),定义如下:
其中,WD为相机的工作距离。
208、终端确定目标环形区域;
以该光轴位置(cx,cy)为圆心,获取半径r到R的环形区域,该目标环形区域参见图5,r与R的具体计算如公式(2)和公式(3):
其中,由于光轴部分本身的视角渐晕很小,而且光轴附近角度小,为了避免引入计算误差,本申请实施例中λ设为1°,Width为目标显示屏在图像中的宽度,α为区域内缩偏值。
209、终端将所述目标环形区域与显示区域求与得到所述校正系数计算区域;
终端将目标环形区域与目标显示屏所在的矩形显示区域Regionscreen求与之后的区域得到校正系数需要计算的区域(校正系数计算区域)Regioncal,由于求与计算为公知计算方法,此处不做赘述,显示区域Regionscreen和校正系数计算区域Regioncal参见图6和图7。
210、终端获取所述校正系数计算区域中每个像素对应的视角余弦;
由于不同图像的显示灰阶不同,因此终端先确定该图像在当前灰阶g下显示屏光轴中心视角小于1°部分的图像灰度均值Vg,在校正系数计算区域中每个像素对应的视角余弦的具体计算如公式(4),定义如下:
其中,由于图像由若干像素组成,Vg(i,j)为坐标位置在(i,j)处像素的图像灰度值。
211、终端获取所述校正系数计算区域的平均校正系数,所述平均校正系数为所述校正系数计算区域中每个像素对应的视角余弦的均值;
终端在获取完校正系数计算区域Regioncal中每个像素对应的视角余弦后,计算该校正系数计算区域Regioncal中所有像素对应的视角余弦的均值,具体计算如公式(5),定义如下:
212、终端初始化寻优步长;
由于LCD显示屏均匀性无法保证能达到100%,因此在图像灰度值的计算中仍然存在由于显示屏本身的不均匀性给视角不均匀性模型的计算引入的系统误差,为了进一步降低这种误差,需要对上述计算结果进行优化。终端将步骤211得到平均校正系数,作为优化计算中校正系数的初值,根据输入的变化步长Δγ进行寻优,默认Δγ=0.1,可以根据实际情况进行设置,具体此处不做限定。
213、终端通过所述寻优步长和所述平均校正系数在预设寻优范围内获取初始校正系数值并计算所述初始校正系数值对所述校正模型作用的系统标准差;
214、终端确定所述灰阶对应的最优校正系数,所述最优校正系数为所述系统标准差最小时所对应的初始校正系数值;
终端从步骤213得到的多个系统标准差中选取使得标准差std达到最小的γ值,将该γ值作为当前灰阶下的最优校正系数γ*g。
215、终端判断所述训练图组中是否存在未遍历的图像,若是,则执行步骤206,若否,则执行步骤216;
本申请实施例中终端先获取同一画面下不同灰阶对应的最优校正系数γ*g,获取当前灰阶对应的最优校正系数后,判断该画面中是否存在未处理的图像,若是则执行步骤206对未处理的图像进行处理。
216、终端确定所述训练图组下各灰阶与对应的最优校正系数γ*g之间的最优校正计算参数,所述最优校正计算参数为通过最小二乘多项式拟合方法对各灰阶与对应的最优校正系数进行拟合并保存拟合得到的多项式系数;
在得到当前画面下所有灰阶[g1,g2,...,gn]对应的最优校正系数[γ*g1,γ*g2,...γ*gn]后,终端通过最小二乘多项式拟合方法获取灰阶g与最优校正系数γ*g的对应关系,其中g为自变量,γ*g为因变量,得到一个n阶多项式函数表达关系式,如公式(7):
并保存其中的n+1个多项式系数[a1,a2,...,an+1]作为最优校正计算参数,最终得到:
由于最小二乘多项式拟合方法为公知计算方法,具体此处不做赘述。
217、终端将所述最优校正计算参数添加至预设校正系数模型中;
将当前画面下的最优校正计算参数γ*w进行标记,如标记对应的画面及灰阶后添加至预设校正系数模型中,该预设校正系数模型的初始状态为空。
218、终端判断所述训练数据库中是否存在未遍历的训练图组,若是,则执行步骤205,若否,则执行步骤219;
处理完当前画面组下的所有图片后,则对下一画面组的图片进行处理,当终端对训练数据库中所有画面组都处理完后则将由这些画面得到最优校正计算参数γ* w添加至预设校正系数模型中。
219、终端确定所述预设校正系数模型为目标校正系数模型;
最终得到的目标校正模型中包含4*(n+1)个视角不均匀性最优校正计算参数γ* w,白画面、红画面、绿画面和蓝画面下不同的灰阶对应不同的最优校正系数γ* w。
220、终端获取目标图像,所述目标图像由第一目标光学系统对第一目标LCD显示屏拍摄所得;
221、终端确定所述目标图像所对应的第一灰阶;
本申请实施例中,假设该目标图像为白色画面,第一灰阶为30灰阶。
222、终端通过所述第一灰阶在所述目标校正系数模型中确定对应的目标校正参数,所述目标校正系数模型中包含有不同画面不同灰阶所对应的校正参数;
终端通过目标校正系数模型找到白色画面下30灰阶对应的[a1,a2,...,an+1],按照公式(7)计算,
γ* w(g30)=a130n+a230n-1+a330n-2+...+an30+an+1
终端通过该灰阶g=30在所述目标校正系数模型中获取对应的最优校正计算参数γ*30。
223、将所述目标校正参数带入预设校正模型进行校正得到目标校正图像。
当需要对当前拍摄中存在的视角不均进行校正时,终端将要校正的像素的灰阶与目标校正模型中对应的最优校正系数计算得到目标校正系数Vg*(i,j),具体计算如公式(8),定义如下:
本申请实施例第一方面提供了校正由于目标显示屏在观察视角不同而造成拍摄图像中出现不均匀现象的计算方法和流程,第二方面还提供了目标校正模型的生成方法与流程,通过该模型能够快速得到各个像素的校正计算参数,通过该校正计算参数对各像素进行校正即可得到目标校正图像,该过程不需要人为参与,直接对目标图像中存在的视角不均现象进行校正,大大提高了校正的速度以及准确性。
上面对本申请实施例中图像校正的方法进行了描述,下面对本申请实施例中图像校正的装置进行描述:
请参阅图3,本申请中图像校正的装置的一个实施例包括:
第一获取单元301,用于获取目标图像,所述目标图像由设有LCD显示屏的光学系统进行拍摄得到;
第一确定单元302,用于确定所述目标图像所对应的第一灰阶;
第二确定单元303,用于通过所述第一灰阶在目标校正系数模型中确定对应的目标校正参数,所述目标校正系数模型中包含有不同画面不同灰阶所对应的校正参数;
校正单元304,用于将所述目标校正参数带入预设校正模型进行校正得到目标校正图像。
创建单元305,用于创建训练数据库,所述训练数据库中包含目标光学系统分别在白画面、红画面、绿画面以及蓝画面的不同灰阶下所拍摄的图像,所述目标光学系统的标定用屏的光学均匀性大于预设值,所述标定用屏为LCD显示屏;
训练单元306,用于对所述训练数据库中的图像进行训练得到所述目标校正系数模型。
具体的,本申请实施例中,创建单元305包含有:
标定模块3051,用于通过预设相机标定方法对所述目标光学系统进行相机参数标定;
第五获取模块3052,用于获取相机参数,所述相机参数包括相机的光轴位置在拍摄图像上的坐标以及所述光轴在x方向上的第一焦距和y方向上第二焦距;
拍摄模块3053,用于通过所述目标光学系统对目标场景在所述标定用屏分别为白画面、红画面、绿画面以及蓝画面下对应不同的灰阶进行拍摄,得到四组训练图像,所述训练图像的曝光时间均为预设值;
数据处理模块3054,用于对所述训练图像按画面分组并标记各训练图像的灰阶后保存至训练数据库。
具体的,本申请实施例中,训练单元306包含有:
第一获取模块30601,用于从所述训练数据库中获取训练图组,所述训练图组为未训练过的画面图组;
第二获取模块30602,用于从所述训练图组中获取训练图像并标记所述训练图像的灰阶,所述训练图像为未训练过的图像;
第一确定模块30603,用于确定所述训练图像的余弦矩阵;
第二确定模块30604,用于确定校正系数计算区域,所述校正系数计算区域为所述标定用屏的显示区域与目标环形区域的重叠区域;
第三获取模块30605,用于获取所述校正系数计算区域的平均校正系数,所述平均校正系数为所述校正系数计算区域中每个像素对应的视角余弦的均值;
第三确定模块30606,用于根据所述平均校正系数确定所述灰阶对应的最优校正系数;
第一判断模块30607,用于判断所述训练图组中是否存在未遍历的图像;
拟合模块30608,用于当第一判断确定所述训练图组中没有未遍历的图像时,确定所述训练图组下各灰阶与对应的最优校正系数之间的最优校正计算参数,所述最优校正计算参数为通过最小二乘多项式拟合方法对各灰阶与对应的最优校正系数进行拟合并保存拟合得到的多项式系数;
第一执行模块30609,用于将所述最优校正计算参数添加至预设校正系数模型中;
第二判断模块30610,用于判断所述训练数据库中是否存在未遍历的训练图组;
第四确定模块30611,用于当第二判断模块确定所述训练数据库中没有未遍历的训练图组时,则确定所述预设校正系数模型为目标校正系数模型。
第四获取模块30612,用于获取所述校正系数计算区域中每个像素对应的视角余弦。
具体的,所述第二确定模块30604,包括:
第一确定子模块306041,用于确定目标环形区域;
第一计算子模块306042,用于将所述目标环形区域与所述显示区域求与得到所述校正系数计算区域。
具体的,所述第三确定模块30606,包括:
初始化子模块306061,用于初始化寻优步长;
第一执行子模块306062,用于通过所述寻优步长和所述平均校正系数在预设寻优范围内获取初始校正系数值并计算所述初始校正系数值对所述校正模型作用的系统标准差;
第二确定子模块306063,用于确定所述灰阶对应的最优校正系数,所述最优校正系数为所述系统标准差最小时所对应的初始校正系数值。
具体的,所述第四确定模块30611,包括:
第一判断子模块306111,用于判断所述训练数据库中是否存在未遍历的训练图组;
第三确定子模块306112,用于当第一判断子模块确定所述训练数据库中没有未遍历的训练图组时,则确定所述预设校正系数模型为目标校正系数模型。
请参阅图4,本申请中图像校正的装置的另一个实施例包括:
处理器401、存储器402、输入输出单元403、总线404;
所述处理器401与所述存储器402、所述输入输出单元403以及所述总线404相连;
所述处理器401具体执行如下操作:
获取目标图像,所述目标图像由第一目标光学系统对第一目标LCD显示屏拍摄所得;
确定所述目标图像所对应的第一灰阶;
通过所述第一灰阶在目标校正系数模型中确定对应的目标校正参数,所述目标校正系数模型为根据获取若干个样本训练图像的灰阶与最优校正系数所训练得到的模型,所述目标校正系数模型中包含有不同画面不同灰阶所对应的校正参数;
将所述目标校正参数带入预设校正模型进行校正得到目标校正图像。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,read-onlymemory)、随机存取存储器(RAM,random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
Claims (10)
1.一种图像校正的方法,其特征在于,包括:
获取目标图像,所述目标图像由第一目标光学系统对第一目标LCD显示屏拍摄所得;
确定所述目标图像所对应的第一灰阶;
通过所述第一灰阶在目标校正系数模型中确定对应的目标校正参数,所述目标校正系数模型为根据获取若干个样本训练图像的灰阶与最优校正系数所训练得到的模型,通过所述目标校正系数模型,可以得到不同画面不同灰阶所对应的校正参数;
将所述目标校正参数带入预设校正模型进行校正得到目标校正图像。
2.根据权利要求1所述的方法,其特征在于,在所述通过所述第一灰阶在目标校正系数模型中确定对应的目标校正参数之前,所述方法还包括:
创建训练数据库,所述训练数据库中包含第二目标光学系统分别对第二目标LCD显示屏在白画面、红画面、绿画面以及蓝画面的不同灰阶下所拍摄的图像,所述第二目标LCD显示屏的光学均匀性大于预设值;
对所述训练数据库中的图像进行训练得到所述目标校正系数模型。
3.根据权利要求2所述的方法,其特征在于,所述通过对所述训练数据库中的图像进行训练得到所述目标校正系数模型,包括:
从所述训练数据库中获取训练图组,所述训练图组为未训练过的画面图组;
从所述训练图组中获取训练图像并标记所述训练图像的灰阶,所述训练图像为未训练过的图像;
确定所述训练图像的余弦矩阵;
确定校正系数计算区域,所述校正系数计算区域为所述标定用屏的显示区域与目标环形区域的重叠区域;
获取所述校正系数计算区域的平均校正系数,所述平均校正系数为所述校正系数计算区域中每个像素对应的视角余弦的均值;
根据所述平均校正系数确定所述灰阶对应的最优校正系数;
判断所述训练图组中是否存在未遍历的图像;
若是,则执行从所述训练图组中获取训练图像并标记所述训练图像的灰阶的步骤;
若否,则确定所述训练图组下各灰阶与对应的最优校正系数之间的最优校正计算参数,所述最优校正计算参数为通过最小二乘多项式拟合方法对各灰阶与对应的最优校正系数进行拟合并保存拟合得到的多项式系数;
将所述最优校正计算参数添加至预设校正系数模型中;
当所述训练数据库中所有训练图像对应的最优校正计算参数添加至所述预设校正系数模型,则确定所述预设校正系数模型为所述目标校正系数模型。
4.根据权利要求3所述的方法,其特征在于,所述当所述训练数据库中所有训练图像对应的最优校正计算参数添加至所述预设校正系数模型,则确定所述预设校正系数模型为所述目标校正系数模型,包括:
判断所述训练数据库中是否存在未遍历的训练图组;
若是,则执行从所述训练数据库中获取训练图组的步骤;
若否,确定所述预设校正系数模型为目标校正系数模型。
5.根据权利要求3所述的方法,其特征在于,所述确定校正系数计算区域,包括:
确定目标环形区域;
将所述目标环形区域与所述显示区域求与得到所述校正系数计算区域。
6.根据权利要求3所述的方法,其特征在于,根据所述平均校正系数确定所述灰阶对应的最优校正系数,包括:
初始化寻优步长;
通过所述寻优步长和所述平均校正系数在预设寻优范围内获取初始校正系数值并计算所述初始校正系数值对所述校正模型作用的系统标准差;
确定所述灰阶对应的最优校正系数,所述最优校正系数为所述系统标准差最小时所对应的初始校正系数值。
7.根据权利要求3所述的方法,其特征在于,在获取所述校正系数计算区域的平均校正系数之前,所述方法还包括:
获取所述校正系数计算区域中每个像素对应的视角余弦。
8.根据权利要求3至7中任一项所述的方法,其特征在于,所述确定所述训练图组下各灰阶与对应的最优校正系数之间的最优校正计算参数,包括:
将所述训练图组中各样本图像的灰阶值作为自变量,各灰阶对应的最优校正系数作为因变量,使用最小二乘多项式拟合方法将所述自变量和所述因变量进行拟合得到一个n阶多项式表达式并保存在拟合过程中得到的多项式系数,所述多项式系数则为最优校正计算参数。
9.根据权利要求2至7中任一项所述的方法,其特征在于,所述创建训练数据库,包括:
通过预设相机标定方法对所述第二目标光学系统进行相机参数标定;
获取相机参数,所述相机参数包括相机的光轴位置在拍摄图像上的坐标以及所述光轴在x方向上的第一焦距和y方向上第二焦距;
通过所述第二目标光学系统对所述第二目标LCD显示屏分别在白画面、红画面、绿画面以及蓝画面对应不同的灰阶进行拍摄,得到四组训练图像,所述拍摄在特定场景中进行,所述训练图像的曝光时间均为预设值;
对所述训练图像按画面分组并标记各训练图像的灰阶后保存至所述训练数据库。
10.一种图像校正的装置,其特征在于,包括:
第一获取单元,用于获取目标图像,所述目标图像由第一目标光学系统对第一目标LCD显示屏拍摄所得;
第一确定单元,用于确定所述目标图像所对应的第一灰阶;
第二确定单元,用于通过所述第一灰阶在目标校正系数模型中确定对应的目标校正参数,所述目标校正系数模型为根据获取若干个样本训练图像的灰阶与最优校正系数所训练得到的模型,通过所述目标校正系数模型,可以得到不同画面不同灰阶所对应的校正参数;
校正单元,用于将所述目标校正参数带入预设校正模型进行校正得到目标校正图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110528969.6A CN113160090B (zh) | 2021-05-14 | 2021-05-14 | 一种图像校正的方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110528969.6A CN113160090B (zh) | 2021-05-14 | 2021-05-14 | 一种图像校正的方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113160090A true CN113160090A (zh) | 2021-07-23 |
CN113160090B CN113160090B (zh) | 2024-01-09 |
Family
ID=76875197
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110528969.6A Active CN113160090B (zh) | 2021-05-14 | 2021-05-14 | 一种图像校正的方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113160090B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116433848A (zh) * | 2023-04-21 | 2023-07-14 | 北京优酷科技有限公司 | 屏幕模型生成方法、装置、电子设备和存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002366103A (ja) * | 2000-05-25 | 2002-12-20 | Seiko Epson Corp | 画像表示装置に供給される画像データの処理 |
CN107221290A (zh) * | 2017-08-01 | 2017-09-29 | 芯颖科技有限公司 | mura补偿显示方法及装置、计算机可读存储介质 |
CN108877652A (zh) * | 2018-06-27 | 2018-11-23 | 武汉华星光电半导体显示技术有限公司 | 光学补偿方法及oled显示装置 |
CN109036271A (zh) * | 2018-08-17 | 2018-12-18 | 武汉华星光电半导体显示技术有限公司 | 曲面屏弯折区色偏修正的方法、装置、存储介质及终端 |
CN109410834A (zh) * | 2018-10-22 | 2019-03-01 | 惠科股份有限公司 | 一种显示面板的亮度修正方法和亮度修正设备 |
CN110648627A (zh) * | 2019-09-26 | 2020-01-03 | 京东方科技集团股份有限公司 | 一种Mura现象补偿方法、补偿装置、显示装置及电子设备 |
CN111062876A (zh) * | 2018-10-17 | 2020-04-24 | 北京地平线机器人技术研发有限公司 | 用于校正模型训练和图像校正的方法和装置及电子设备 |
CN111402825A (zh) * | 2020-03-31 | 2020-07-10 | 浙江宇视科技有限公司 | 一种屏幕校正方法、装置、系统和逻辑板 |
-
2021
- 2021-05-14 CN CN202110528969.6A patent/CN113160090B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002366103A (ja) * | 2000-05-25 | 2002-12-20 | Seiko Epson Corp | 画像表示装置に供給される画像データの処理 |
CN107221290A (zh) * | 2017-08-01 | 2017-09-29 | 芯颖科技有限公司 | mura补偿显示方法及装置、计算机可读存储介质 |
CN108877652A (zh) * | 2018-06-27 | 2018-11-23 | 武汉华星光电半导体显示技术有限公司 | 光学补偿方法及oled显示装置 |
CN109036271A (zh) * | 2018-08-17 | 2018-12-18 | 武汉华星光电半导体显示技术有限公司 | 曲面屏弯折区色偏修正的方法、装置、存储介质及终端 |
CN111062876A (zh) * | 2018-10-17 | 2020-04-24 | 北京地平线机器人技术研发有限公司 | 用于校正模型训练和图像校正的方法和装置及电子设备 |
CN109410834A (zh) * | 2018-10-22 | 2019-03-01 | 惠科股份有限公司 | 一种显示面板的亮度修正方法和亮度修正设备 |
CN110648627A (zh) * | 2019-09-26 | 2020-01-03 | 京东方科技集团股份有限公司 | 一种Mura现象补偿方法、补偿装置、显示装置及电子设备 |
CN111402825A (zh) * | 2020-03-31 | 2020-07-10 | 浙江宇视科技有限公司 | 一种屏幕校正方法、装置、系统和逻辑板 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116433848A (zh) * | 2023-04-21 | 2023-07-14 | 北京优酷科技有限公司 | 屏幕模型生成方法、装置、电子设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113160090B (zh) | 2024-01-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109036271B (zh) | 曲面屏弯折区色偏修正的方法、装置、存储介质及终端 | |
CN110085166B (zh) | 曲面屏幕的亮斑补偿方法及装置 | |
CN105405413B (zh) | 一种自动调整lcd拼接的白平衡实现方法及系统 | |
WO2017152457A1 (zh) | Mura现象补偿方法 | |
KR101165026B1 (ko) | 화상 보정 데이터 생성 시스템, 화상 보정 데이터 생성 방법, 화상 보정 데이터 생성 프로그램 및 화상 보정 회로 | |
CN108039143B (zh) | 一种伽马电路调整的方法及装置 | |
CN105103541B (zh) | 图案位置检测方法、图案位置检测系统以及应用了这些的画质调整技术 | |
CN108364615B (zh) | Mura补偿方法及Mura补偿系统 | |
CN105185314A (zh) | Led显示屏均匀性补偿方法 | |
CN111402825A (zh) | 一种屏幕校正方法、装置、系统和逻辑板 | |
US11062636B1 (en) | Method of correcting screen brightness and color temperature | |
WO2022089082A1 (zh) | 显示图像调整方法、终端设备及计算机可读存储介质 | |
CN113724652B (zh) | OLED显示面板Mura的补偿方法、装置及可读介质 | |
US10819885B2 (en) | Gamma value tuning method and device of display panel | |
US20230096842A1 (en) | Method and Device for Eliminating Brightness Mura Defect of Liquid Crystal Display | |
CN111564131A (zh) | Gamma调试方法及设备 | |
WO2022022000A1 (zh) | 亮度补偿参数确定方法、装置及设备 | |
CN113920917B (zh) | 显示面板补偿方法及补偿装置 | |
JP2017538148A (ja) | 液晶パネル及びその画素単位の設定方法 | |
CN114359055B (zh) | 一种多相机拍摄屏体的图像拼接方法及相关装置 | |
CN113160090B (zh) | 一种图像校正的方法及装置 | |
CN108986765B (zh) | 一种涵盖视角色偏的显示屏白点校准方法 | |
CN117528046A (zh) | Demura补偿数据获取方法及显示装置 | |
CN115100078B (zh) | 一种曲面屏图像中点阵坐标修正与填补的方法及相关装置 | |
CN112991233B (zh) | 一种图像校正的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |