CN114792288B - 一种曲面屏图像的灰度校正方法及相关装置 - Google Patents
一种曲面屏图像的灰度校正方法及相关装置 Download PDFInfo
- Publication number
- CN114792288B CN114792288B CN202210709298.8A CN202210709298A CN114792288B CN 114792288 B CN114792288 B CN 114792288B CN 202210709298 A CN202210709298 A CN 202210709298A CN 114792288 B CN114792288 B CN 114792288B
- Authority
- CN
- China
- Prior art keywords
- image
- curved surface
- plane
- gray
- flattened
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012937 correction Methods 0.000 title claims abstract description 128
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000005070 sampling Methods 0.000 claims abstract description 171
- 230000009466 transformation Effects 0.000 claims abstract description 140
- 230000006870 function Effects 0.000 claims abstract description 89
- 238000005315 distribution function Methods 0.000 claims abstract description 42
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 31
- 239000011159 matrix material Substances 0.000 claims description 41
- 238000012545 processing Methods 0.000 claims description 31
- 238000004364 calculation method Methods 0.000 claims description 20
- 239000003086 colorant Substances 0.000 claims description 16
- 238000013507 mapping Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 12
- 238000013461 design Methods 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 5
- 230000008030 elimination Effects 0.000 claims description 3
- 238000003379 elimination reaction Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 6
- 230000004044 response Effects 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 230000007547 defect Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000000877 morphologic effect Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000001028 reflection method Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- DTTPWCNKTMQMTE-TYNNPWLESA-N [(1R,2S,3S,4S,5R,6S,8R,12S,13S,16R,19S,20R,21S)-14-ethyl-2-hydroxy-4,6,19-trimethoxy-16-methyl-9,11-dioxa-14-azaheptacyclo[10.7.2.12,5.01,13.03,8.08,12.016,20]docosan-21-yl] acetate Chemical compound CCN1C[C@]2(C)CC[C@H](OC)[C@]34[C@@H]2[C@H](OC(C)=O)[C@@]2(OCO[C@@]22C[C@H](OC)[C@H]5C[C@]3(O)[C@@H]2[C@H]5OC)[C@@H]14 DTTPWCNKTMQMTE-TYNNPWLESA-N 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- QVQLCTNNEUAWMS-UHFFFAOYSA-N barium oxide Chemical compound [Ba]=O QVQLCTNNEUAWMS-UHFFFAOYSA-N 0.000 description 1
- 229910001864 baryta Inorganic materials 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- DTTPWCNKTMQMTE-UHFFFAOYSA-N delphelatine Natural products O1COC2(C3C4OC)CC(OC)C4CC3(O)C34C(OC)CCC5(C)CN(CC)C4C21C(OC(C)=O)C53 DTTPWCNKTMQMTE-UHFFFAOYSA-N 0.000 description 1
- WNIGHBYIOLQQSJ-UHFFFAOYSA-N deltaline Natural products CCN1CC2(COC)CCC(O)C34C2C(OC(=O)C)C5(OCOC56CC(OC)C7CC3(O)C6C7O)C14 WNIGHBYIOLQQSJ-UHFFFAOYSA-N 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004020 luminiscence type Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Hardware Design (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种曲面屏图像的灰度校正方法及相关装置,用于减少灰度过度不均的问题出现。本申请方法包括:构造标定图像输入曲面屏,获取平面拍摄图像和棱镜反射图像;对平面拍摄图像和棱镜反射图像进行展平处理;在平面展平图像和反射展平图像分别标注出平面采样控制区域和曲面采样控制区域;生成平面灰度数据、平面灰度均值、曲面灰度数据和曲面灰度均值;对反射展平图像进行均值分解;设计反射展平图像的分段线性变换函数;生成曲面修正灰度概率分布函数;计算分段线性变换待定系数;生成N个分段线性变换函数和对应的分段线性变换待定系数;对反射展平图像进行灰度校正;将反射展平图像和平面展平图像进行拼接,生成曲面屏拼接图像。
Description
技术领域
本申请实施例涉及曲面屏检测领域,尤其涉及一种曲面屏图像的灰度校正方法及相关装置。
背景技术
随着信息显示技术的不断发展,显示屏(Organic ElectroluminescenceDisplay,OLED)凭借其自发光、可弯曲、视角广泛、响应速度快、制程简单等优势,正逐步取代传统的LCD,快速深入的应用到现代社会的各个领域。
但随着市场对显示屏的显示品质的要求越来越高,对外观设计要求也越来越多样化,手机屏幕、平板电脑屏幕、笔记本电脑屏幕和台式电脑屏幕等电子产品显示屏的出货量和外观设计要求也同样越来越高,例如:刘海屏、水滴屏、大曲率OLED显示屏(曲面屏)等。在曲面屏的AOI检测及De-Mura系统中,由于屏体的发光像素已经延展到了曲面部分,在拍摄的图像中,曲面部分的图像会叠加透镜畸变、透视形变、旋转、仿射等因素引起的畸变。在进行像素点缺陷检查时,会存在像素定位难度大,精度低的问题;同时,由于形变的原因,其对应区域的像素光学亮度的修正也存在对齐不准的问题,也因此产生了很多衍生问题。当曲面屏的曲率较小时,可以通过展平算法处理曲面屏图像,但是对于曲率较大的曲面屏,例如曲率大于70°的曲面屏,展平算法处理的效果就会受到影响。当前,针对曲率较大的曲面屏通常使用棱镜反射方式让拍摄相机对曲面屏前面部分进行拍摄,但是使用棱镜反射方式拍摄时,曲面屏曲面部分的拍摄图像与曲面屏平面部分的拍摄图像是分离的,曲面部分的拍摄图像(棱镜反射图像)通过棱镜反射,与平面部分的拍摄图像(平面拍摄图像)相反,故棱镜反射图像需要翻转之后与平面拍摄图像进行拼接。
但是拼接的过程中,需要对棱镜反射图像的曲面部分的灰度整体拉伸后再进行拼接,使得最终的曲面屏拼接图像可能会存在灰度过度不均的问题。
发明内容
本申请第一方面提供了一种曲面屏图像的灰度校正方法,包括:
构造标定图像,将标定图像输入曲面屏,并获取平面拍摄图像和棱镜反射图像,标定图像上设置有像素点阵;
对平面拍摄图像和棱镜反射图像进行展平处理,生成平面展平图像和反射展平图像;
在平面展平图像上标注出N个平面采样控制区域,并在反射展平图像上标注出N个曲面采样控制区域,N为大于1的整数;
生成目标平面采样控制区域的平面灰度数据和平面灰度均值,生成目标曲面采样控制区域的曲面灰度数据和曲面灰度均值,目标平面采样控制区域和目标曲面采样控制区域为一组位置对应的采样控制区域;
根据曲面灰度数据和曲面灰度均值对反射展平图像进行均值分解,生成曲面像素分解式;
根据平面灰度均值和曲面像素分解式设计反射展平图像的分段线性变换函数,分段线性变换函数包含未知的分段线性变换待定系数;
对平面灰度数据和曲面灰度数据进行灰度概率计算和灰度线性映射处理,生成曲面修正灰度概率分布函数;
根据曲面修正灰度概率分布函数计算分段线性变换待定系数;
根据上述方式生成N个分段线性变换函数和N个分段线性变换函数对应的分段线性变换待定系数;
根据N个分段线性变换函数和对应的分段线性变换待定系数对反射展平图像的像素点阵进行灰度校正;
将灰度校正后的反射展平图像和平面展平图像进行拼接,生成曲面屏拼接图像。
可选的,在平面展平图像上标注出N个平面采样控制区域,并在反射展平图像上标注出N个曲面采样控制区域,包括:
在标定图像选取一排点阵点作为拼缝线,拼缝线对应的点阵点在平面展平图像和反射展平图像上均存在;
在拼缝线两侧确定N个均匀分布的平面采样控制区域和N个均匀分布的曲面采样控制区域,N个平面采样控制区域和N个曲面采样控制区域以拼缝线对称分布,N为大于1的整数;
在平面展平图像对应的点阵点上标注出N个平面采样控制区域;
在反射展平图像对应的点阵点上标注出N个曲面采样控制区域。
可选的,根据N个分段线性变换函数和对应的分段线性变换待定系数对反射展平图像的像素点阵进行灰度校正,包括:
将N个分段线性变换函数和对应的分段线性变换待定系数结合对应的采样控制区域的中心横坐标进行拟合,生成目标分段线性变换函数;
根据目标分段线性变换函数对反射展平图像的像素点阵进行灰度校正。
可选的,对平面拍摄图像和棱镜反射图像进行展平处理,生成平面展平图像和反射展平图像,包括:
确定平面拍摄图像的中心点阵点坐标;
根据中心点阵点坐标在平面拍摄图像为每个点阵点确定对应的包络ROI区域;
根据包络ROI区域生成实际点阵点坐标阵列;
根据中心点阵点坐标生成对比点阵点坐标阵列,实际点阵点坐标阵列上每个点阵点在对比点阵点坐标阵列上都存在对应的点阵点;
根据实际点阵点坐标阵列和对比点阵点坐标阵列计算每个点阵点的畸变校正系数;
根据中心点阵点坐标生成展平空白图像;
根据畸变校正系数在展平空白图像上计算每个像素位置所对应的平面拍摄图像坐标位置;
将平面拍摄图像的灰度信息填充到展平空白图像,以生成平面展平图像;
将棱镜反射图像进行上述同平面拍摄图像相同的展平处理,生成反射展平图像。
可选的,展平处理后的反射展平图像包括上边缘曲面展平图像和下边缘曲面展平图像;
将灰度校正后的反射展平图像和平面展平图像进行拼接,生成曲面屏拼接图像,包括:
根据拼缝线位置确定平面展平图像的上边缘拼接锚点组和下边缘拼接锚点组,拼接锚点组为点阵点的集合;
根据拼缝线位置确定上边缘曲面展平图像上的第一曲面拼接锚点组和下边缘曲面展平图像上的第二曲面拼接锚点组;
根据第一曲面拼接锚点组和第二曲面拼接锚点组分别对上边缘曲面展平图像和下边缘曲面展平图像进行镜像翻转;
根据上边缘拼接锚点组和下边缘拼接锚点组对平面展平图像进行裁剪,以生成待拼接平面图像;
根据第一曲面拼接锚点组和第二曲面拼接锚点组对翻转后的上边缘曲面展平图像和下边缘曲面展平图像进行裁剪,以生成待对齐上曲面图像和待对齐下曲面图像;
根据待拼接平面图像为待对齐上曲面图像和待对齐下曲面图像进行对齐处理,以生成待拼接上曲面图像和待拼接下曲面图像;
将待拼接平面图像、待拼接上曲面图像和待拼接下曲面图像进行加权缝合,以生成曲面屏拼接图像。
可选的,在根据N个分段线性变换函数和对应的分段线性变换待定系数对反射展平图像的像素点阵进行灰度校正之后,将灰度校正后的反射展平图像和平面展平图像进行拼接,生成曲面屏拼接图像之前,灰度校正方法还包括:
对灰度校正后的反射展平图像进行消除灰度宏观差异操作。
可选的,构造标定图像,将标定图像输入曲面屏,并获取平面拍摄图像和棱镜反射图像,标定图像上设置有像素点阵,包括:
构造至少一张颜色不相同的标定图像,将至少一张颜色不相同的标定图像输入曲面屏,并获取平面拍摄图像和棱镜反射图像。
本申请第二方面提供了一种曲面屏图像的灰度校正装置,包括:
获取单元,用于构造标定图像,将标定图像输入曲面屏,并获取平面拍摄图像和棱镜反射图像,标定图像上设置有像素点阵;
展平单元,用于对平面拍摄图像和棱镜反射图像进行展平处理,生成平面展平图像和反射展平图像;
标注单元,用于在平面展平图像上标注出N个平面采样控制区域,并在反射展平图像上标注出N个曲面采样控制区域,N为大于1的整数;
第一生成单元,用于生成目标平面采样控制区域的平面灰度数据和平面灰度均值,生成目标曲面采样控制区域的曲面灰度数据和曲面灰度均值,目标平面采样控制区域和目标曲面采样控制区域为一组位置对应的采样控制区域;
第二生成单元,用于根据曲面灰度数据和曲面灰度均值对反射展平图像进行均值分解,生成曲面像素分解式;
设计单元,用于根据平面灰度均值和曲面像素分解式设计反射展平图像的分段线性变换函数,分段线性变换函数包含未知的分段线性变换待定系数;
第三生成单元,用于对平面灰度数据和曲面灰度数据进行灰度概率计算和灰度线性映射处理,生成曲面修正灰度概率分布函数;
计算单元,用于根据曲面修正灰度概率分布函数计算分段线性变换待定系数;
第四生成单元,用于根据上述方式生成N个分段线性变换函数和N个分段线性变换函数对应的分段线性变换待定系数;
第一校正单元,用于根据N个分段线性变换函数和对应的分段线性变换待定系数对反射展平图像的像素点阵进行灰度校正;
拼接单元,将灰度校正后的反射展平图像和平面展平图像进行拼接,生成曲面屏拼接图像。
可选的,标注单元,具体为:
在标定图像选取一排点阵点作为拼缝线,拼缝线对应的点阵点在平面展平图像和反射展平图像上均存在;
在拼缝线两侧确定N个均匀分布的平面采样控制区域和 N个均匀分布的曲面采样控制区域,N个平面采样控制区域和N个曲面采样控制区域以拼缝线对称分布,N为大于1的整数;
在平面展平图像对应的点阵点上标注出N个平面采样控制区域;
在反射展平图像对应的点阵点上标注出N个曲面采样控制区域。
可选的,第一校正单元,具体为:
将N个分段线性变换函数和对应的分段线性变换待定系数结合对应的采样控制区域的中心横坐标进行拟合,生成目标分段线性变换函数;
根据目标分段线性变换函数对反射展平图像的像素点阵进行灰度校正。
可选的,展平单元,具体为:
确定平面拍摄图像的中心点阵点坐标;
根据中心点阵点坐标在平面拍摄图像为每个点阵点确定对应的包络ROI区域;
根据包络ROI区域生成实际点阵点坐标阵列;
根据中心点阵点坐标生成对比点阵点坐标阵列,实际点阵点坐标阵列上每个点阵点在对比点阵点坐标阵列上都存在对应的点阵点;
根据实际点阵点坐标阵列和对比点阵点坐标阵列计算每个点阵点的畸变校正系数;
根据中心点阵点坐标生成展平空白图像;
根据畸变校正系数在展平空白图像上计算每个像素位置所对应的平面拍摄图像坐标位置;
将平面拍摄图像的灰度信息填充到展平空白图像,以生成平面展平图像;
将棱镜反射图像进行上述同平面拍摄图像相同的展平处理,生成反射展平图像。
可选的,展平处理后的反射展平图像包括上边缘曲面展平图像和下边缘曲面展平图像;
拼接单元,具体为:
根据拼缝线位置确定平面展平图像的上边缘拼接锚点组和下边缘拼接锚点组,拼接锚点组为点阵点的集合;
根据拼缝线位置确定上边缘曲面展平图像上的第一曲面拼接锚点组和下边缘曲面展平图像上的第二曲面拼接锚点组;
根据第一曲面拼接锚点组和第二曲面拼接锚点组分别对上边缘曲面展平图像和下边缘曲面展平图像进行镜像翻转;
根据上边缘拼接锚点组和下边缘拼接锚点组对平面展平图像进行裁剪,以生成待拼接平面图像;
根据第一曲面拼接锚点组和第二曲面拼接锚点组对翻转后的上边缘曲面展平图像和下边缘曲面展平图像进行裁剪,以生成待对齐上曲面图像和待对齐下曲面图像;
根据待拼接平面图像为待对齐上曲面图像和待对齐下曲面图像进行对齐处理,以生成待拼接上曲面图像和待拼接下曲面图像;
将待拼接平面图像、待拼接上曲面图像和待拼接下曲面图像进行加权缝合,以生成曲面屏拼接图像。
可选的,灰度校正装置还包括:
第二校正单元,用于对灰度校正后的反射展平图像进行消除灰度宏观差异操作。
可选的,获取单元,具体为:
构造至少一张颜色不相同的标定图像,将至少一张颜色不相同的标定图像输入曲面屏,并获取平面拍摄图像和棱镜反射图像。
本申请第三方面提供了一种电子设备,包括:
处理器、存储器、输入输出单元以及总线;
处理器与存储器、输入输出单元以及总线相连;
存储器保存有程序,处理器调用程序以执行如第一方面以及第一方面的任意可选的灰度校正方法。
本申请第四方面提供了一种计算机可读存储介质,计算机可读存储介质上保存有程序,程序在计算机上执行时执行如第一方面以及第一方面的任意可选的灰度校正方法。
从以上技术方案可以看出,本申请实施例具有以下优点:
本申请中,首先构造标定图像,将标定图像输入曲面屏,并获取平面拍摄图像和棱镜反射图像,标定图像上设置有像素点阵。接着对平面拍摄图像和棱镜反射图像进行展平处理,使得平面拍摄图像和棱镜反射图像上的像素点展平至平面位置,生成平面展平图像和反射展平图像。然后在平面展平图像上标注出N个平面采样控制区域,并在反射展平图像上标注出N个曲面采样控制区域,每一个平面采样控制区域都有与之对应的曲面采样控制区域,N为大于1的整数。生成目标平面采样控制区域的平面灰度数据和平面灰度均值,以及生成目标曲面采样控制区域的曲面灰度数据和曲面灰度均值,目标平面采样控制区域和目标曲面采样控制区域为一组位置对应的采样控制区域。再根据曲面灰度数据和曲面灰度均值对反射展平图像进行均值分解,生成反射展平图像在曲面采样控制区域的曲面像素分解式。接着根据平面灰度均值和曲面像素分解式设计反射展平图像的分段线性变换函数,分段线性变换函数包含未知的分段线性变换待定系数,接下来需要计算位置的未知的分段线性变换待定系数。对平面灰度数据和曲面灰度数据进行灰度概率计算和灰度线性映射处理,生成曲面修正灰度概率分布函数。根据曲面修正灰度概率分布函数计算分段线性变换待定系数。根据上述方式生成N个分段线性变换函数和N个分段线性变换函数对应的分段线性变换待定系数。根据N个分段线性变换函数和对应的分段线性变换待定系数对反射展平图像的像素点阵进行灰度校正。将灰度校正后的反射展平图像和平面展平图像进行拼接,生成曲面屏拼接图像。通过在曲面屏的平面展平图像和反射展平图像标注对称的采样控制区域,设计这两个采样控制区域对应的分段线性变换函数以及计算分段线性变换待定系数,使得反射展平图像和平面展平图像的像素点可以通过分段线性变换函数进行表示,再根据分段线性变换函数对反射展平图像上的像素点进行灰度校正,即可减少灰度过度不均的问题出现。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请曲面屏图像的灰度校正方法的一个实施例示意图;
图2为本申请标定图像的一个实施例示意图;
图3为本申请实施例中曲面屏拍摄的一个场景示意图;
图4为本申请实施例中曲面屏拍摄的另一个场景示意图;
图5为本申请实施例中曲面屏拍摄的另一个场景示意图;
图6-1为本申请曲面屏图像的灰度校正方法的点阵点展平阶段的一个实施例示意图;
图6-2为本申请曲面屏图像的灰度校正方法的点阵点灰度拟合阶段的一个实施例示意图;
图6-3为本申请曲面屏图像的灰度校正方法的图像拼接阶段一个实施例示意图;
图7为本申请实施例中曲面屏图像灰度调节的一个原理示意图;
图8为本申请实施例中曲面屏图像对齐过程的一个示意图;
图9为本申请实施例中曲面屏图像拼接过程的一个示意图;
图10为本申请实施例中曲面屏图像拼接原理的一个示意图;
图11为本申请曲面屏图像的灰度校正装置的一个实施例示意图;
图12为本申请电子设备的一个实施例示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
应当理解,当在本申请说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外,在本申请说明书和所附权利要求书的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
在现有的AOI检测及De-Mura系统中,当曲面屏的曲率较小时,可以通过展平算法处理曲面屏图像,但是对于曲率较大的曲面屏,例如曲率大于70°的曲面屏,展平算法处理的效果就会受到影响。当前,针对曲率较大的曲面屏通常使用棱镜反射方式让拍摄相机对曲面屏前面部分进行拍摄,但是使用棱镜反射方式拍摄时,曲面屏曲面部分的拍摄图像与曲面屏平面部分的拍摄图像是分离的,曲面部分的拍摄图像(棱镜反射图像)通过棱镜反射,与平面部分的拍摄图像(平面拍摄图像)相反,故棱镜反射图像需要翻转之后与平面拍摄图像进行拼接。但是拼接的过程中,需要对棱镜反射图像的曲面部分的灰度整体拉伸后再进行拼接,使得最终的曲面屏拼接图像可能会存在灰度过度不均的问题。
基于此,本申请公开了一种曲面屏图像的灰度校正方法及相关装置,用于减少灰度过度不均的问题出现。
下面将结合本申请实施例中的附图,对本申请中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的方法可以应用于服务器、设备、终端或者其它具备逻辑处理能力的设备,对此,本申请不作限定。为方便描述,下面以执行主体为终端为例进行描述。
请参阅图1,本申请提供了一种曲面屏图像的灰度校正方法的一个实施例,包括:
101、构造标定图像,将标定图像输入曲面屏,并获取平面拍摄图像和棱镜反射图像,标定图像上设置有像素点阵;
终端首先构造标定图像,标定图像上具有至少一个点阵点,点阵点组成了像素点阵,以使得在标定图像输入曲面屏时,使得曲面屏显示出预设的像素点阵。标定图像,是指根据曲面显示屏分辨率信息构造出来的BMP图像。标定图像:是指将标定图像显示在曲面屏上的显示屏画面,而拍摄曲面屏得到的图像,就是拍摄标定图像。下面对构造标定图像的方式进行举例说明:
若一块曲面屏的逻辑分辨率为Height(长边)×Width(短边),其中曲面部分的像素宽度为W,不考虑挖孔、刘海等异形因素对实际显示画面的影响,在要显示的标定图像上构造M行×N列的像素点阵(M和N通常都是奇数),点阵采用L×L的正方形像素方阵(其中L通常为奇数,本实施例中,L为3~15之间的奇数),图像的边缘部分必须均匀分布一行或一列点阵,边缘部分的点阵宽度或高度是其他区域点阵的一半。
请参考图2,标定图像上有上下两个曲面区域,故选取两排点阵点作为拼缝线,在标定图像上确定上下两条拼缝线,标定图像的平面区域上标注有两排均匀分布的平面采样控制区域,上下两个曲面区域上各设置有一排曲面采样控制区域,并且平面采样控制区域和曲面采样控制区域大小相同。
终端将标定图像输入曲面屏,并且通过拍摄相机获取平面拍摄图像和棱镜反射图像。平面拍摄图像是使用拍摄相机通过正面拍摄方式获取到的图像,棱镜反射图像是使用拍摄相机通过棱镜反射拍摄方式拍摄同一曲面屏得到的曲面屏拍摄图像。曲面屏需要在拍摄前输入标定图像,使得曲面屏上显示了具有像素点阵,在获取到平面拍摄图像和棱镜反射图像之后,在标定图像上确定的拼缝线以及采样控制区域,在平面拍摄图像和棱镜反射图像上均可以找到对应的点阵点进行标注。
在对焦良好的情况下,对显示了标定图像的曲面屏进行拍摄,以得到具有像素点阵的平面拍摄图像和棱镜反射图像。在对实际的目标曲面屏进行拍摄时,是将曲面屏从流水线上进行移动,移动到相机的拍摄区域中,对焦良好的情况下进行拍摄。
请参考图3至图5,正面拍摄方式为拍摄相机从目标曲面屏正面进行取像拍摄,当曲面屏的曲率较小时,可以通过拍摄相机拍摄目标曲面屏后,通过展平算法校正曲面屏图像,以此降低缺陷补偿难度。但是对于曲率较大的曲面屏,例如曲率大于70°的曲面屏,拍摄相机拍摄的曲面屏图像在曲面部分的点阵点会过度密集,使得难以确定点阵点坐标,进而增加了校正难度。所以,当需要缺陷补偿的曲面屏的曲率过大时,通常会使用棱镜反射方式进行拍摄。如图5中所示,本实施例中,同时使用正面拍摄方式和棱镜反射拍摄方式拍摄输入标定图像的曲面屏,拍摄相机通过平面反射、曲面反射和棱镜反射获取平面拍摄图像和棱镜反射图像。但是从图中可以看出,棱镜反射方式得到的棱镜反射图像与平面拍摄图像是分离的,并且由于曲面部分的拍摄图像通过棱镜反射,与平面部分的拍摄图像相反,这对曲面屏的检测工作或修复工作的过程中像素位置确定和对齐带来了较大的困难。所以本实施例中,需要对平面拍摄图像和棱镜反射图像进行裁剪拼接融合等操作。
102、对平面拍摄图像和棱镜反射图像进行展平处理,生成平面展平图像和反射展平图像;
终端对平面拍摄图像和棱镜反射图像进行展平处理,具体通过展平算法将平面拍摄图像和棱镜反射图像上的像素点阵进行展平处理,对点阵点进行位置校正,最终生成平面展平图像和反射展平图像。
103、在平面展平图像上标注出N个平面采样控制区域,并在反射展平图像上标注出N个曲面采样控制区域,N为大于1的整数;
104、生成目标平面采样控制区域的平面灰度数据和平面灰度均值,生成目标曲面采样控制区域的曲面灰度数据和曲面灰度均值,目标平面采样控制区域和目标曲面采样控制区域为一组位置对应的采样控制区域;
105、根据曲面灰度数据和曲面灰度均值对反射展平图像进行均值分解,生成曲面像素分解式;
106、根据平面灰度均值和曲面像素分解式设计反射展平图像的分段线性变换函数,分段线性变换函数包含未知的分段线性变换待定系数;
107、对平面灰度数据和曲面灰度数据进行灰度概率计算和灰度线性映射处理,生成曲面修正灰度概率分布函数;
108、根据曲面修正灰度概率分布函数计算分段线性变换待定系数;
109、根据上述方式生成N个分段线性变换函数和N个分段线性变换函数对应的分段线性变换待定系数;
110、根据N个分段线性变换函数和对应的分段线性变换待定系数对反射展平图像的像素点阵进行灰度校正;
首先,终端在平面展平图像上标注出N个平面采样控制区域,并在反射展平图像上标注出N个曲面采样控制区域,N为大于1的整数。具体是在平面展平图像的上边缘标注出N个平面采样控制区域,与平面展平图像的上边缘对应的反射展平图像标注出N个位置对应的曲面采样控制区域。平面展平图像的下边缘的标注方式相同,此处不做赘述,只取上边缘为例进行详细描述。
设计反射展平图像分段线性变换,表示如下:
该表达式即为本实施例中的一个分段线性变换函数,该分段线性变换函数对应目标平面采样控制区域和目标曲面采样控制区域,终端可以根据分段线性变换函数对棱镜反射图像中与目标平面采样控制区域和目标曲面采样控制区域位置对应的像素点阵进行灰度校正。具体的,生成一个空图像,将空图像与目标平面采样控制区域和目标曲面采样控制区域位置对应坐标输入分段线性变换函数中,计算该像素点位置的灰度值,填充该灰度值,即可完成灰度校正,即可减少灰度过度不均的问题出现。
终端根据平面灰度数据可以直接生成平面灰度概率分布函数,终端根据曲面灰度数据也可以生成曲面灰度概率分布函数。平面灰度概率分布函数是指一个灰度值g1,在平面采样控制区域上每一个灰度值中所占的百分比,曲面灰度概率分布函数是指一个灰度值g2,在曲面采样控制区域上每一个灰度值中所占的百分比。
接下来,终端对平面灰度概率分布函数和曲面灰度概率分布函数进行灰度线性映射处理,生成曲面修正灰度概率分布函数。具体步骤如下:首先根据均值平面灰度均值和曲面灰度均值将平面灰度概率分布函数和曲面灰度概率分布函数进行高灰阶段和低灰阶段的分解,生成高灰阶段和低灰阶段。对和进行灰度线性映射处理,构造曲面修正灰度概率分布函数:
将曲面修正灰度概率分布函数左右翻转,可以得到翻转后的曲面修正灰度概率分布函数,其中为该曲面采样控制区域中最大的灰度值,接下来,将左侧的0元移出,得到,0元为不是0的灰度数据,t为曲面修正灰度概率分布函数翻转后的第一个非零元的位置数据。
111、将灰度校正后的反射展平图像和平面展平图像进行拼接,生成曲面屏拼接图像。
终端将灰度校正后的反射展平图像和平面展平图像进行修剪,然后将灰度校正后的棱镜反射图像和平面拍摄图像进行拼接,生成曲面屏拼接图像,该曲面屏拼接图像的灰度过度相对于传统的拼接方法更均匀。
本申请中,首先构造标定图像,将标定图像输入曲面屏,并获取平面拍摄图像和棱镜反射图像,标定图像上设置有像素点阵。接着对平面拍摄图像和棱镜反射图像进行展平处理,使得平面拍摄图像和棱镜反射图像上的像素点展平至平面位置,生成平面展平图像和反射展平图像。然后在平面展平图像上标注出N个平面采样控制区域,并在反射展平图像上标注出N个曲面采样控制区域,每一个平面采样控制区域都有与之对应的曲面采样控制区域,N为大于1的整数。生成目标平面采样控制区域的平面灰度数据和平面灰度均值,以及生成目标曲面采样控制区域的曲面灰度数据和曲面灰度均值,目标平面采样控制区域和目标曲面采样控制区域为一组位置对应的采样控制区域。再根据曲面灰度数据和曲面灰度均值对反射展平图像进行均值分解,生成反射展平图像在曲面采样控制区域的曲面像素分解式。接着根据平面灰度均值和曲面像素分解式设计反射展平图像的分段线性变换函数,分段线性变换函数包含未知的分段线性变换待定系数,接下来需要计算位置的未知的分段线性变换待定系数。对平面灰度数据和曲面灰度数据进行灰度概率计算和灰度线性映射处理,生成曲面修正灰度概率分布函数。根据曲面修正灰度概率分布函数计算分段线性变换待定系数。根据上述方式生成N个分段线性变换函数和N个分段线性变换函数对应的分段线性变换待定系数。根据N个分段线性变换函数和对应的分段线性变换待定系数对反射展平图像的像素点阵进行灰度校正。将灰度校正后的反射展平图像和平面展平图像进行拼接,生成曲面屏拼接图像。通过在曲面屏的平面展平图像和反射展平图像标注对称的采样控制区域,设计这两个采样控制区域对应的分段线性变换函数以及计算分段线性变换待定系数,使得反射展平图像和平面展平图像的像素点可以通过分段线性变换函数进行表示,再根据分段线性变换函数对反射展平图像上的像素点进行灰度校正,即可减少灰度过度不均的问题出现。
请参阅图6-1、图6-2和图6-3,本申请提供了一种曲面屏图像的灰度校正方法的另一个实施例,包括:
601、构造至少一张颜色不相同的标定图像,将至少一张颜色不相同的标定图像输入曲面屏,并获取平面拍摄图像和棱镜反射图像;
终端构造至少一张颜色不相同的标定图像,例如:构造点阵为白色、绿色、红色和蓝色的四个不同颜色但拍摄位置相同的4张标定图像。生成不同颜色的标定图像,原则上,使用绿色画面下的标定图像进行绿色曲面屏图像拍图的展平和像素位置对齐;使用红色画面下的标定图像进行红色曲面屏图像拍图的展平和像素位置对齐;使用蓝色画面下的标定图像进行蓝色曲面屏图像拍图的展平和像素位置对齐;使用白色画面下的标定图像进行白色曲面屏图像拍图的展平和像素位置对齐。如果后续的曲面屏图像处理操作仅实现展平,而不需要精确的像素对齐的话,可以只使用一种颜色的标定图像计算出来的畸变校正系数对曲面屏图像进行后续的展平操作。每种颜色画面下的畸变校正系数计算,主要针对的是每种颜色下曲面屏子像素的排列可能不同。所以分颜色通道进行计算,可以得到更精确的曲面屏像素对齐效果。
构造完成后,即可将至少一张颜色不相同的标定图像输入曲面屏,并获取平面拍摄图像和棱镜反射图像。
602、确定平面拍摄图像的中心点阵点坐标;
603、根据中心点阵点坐标在平面拍摄图像为每个点阵点确定对应的包络ROI区域;
604、根据包络ROI区域生成实际点阵点坐标阵列;
605、根据中心点阵点坐标生成对比点阵点坐标阵列,实际点阵点坐标阵列上每个点阵点在对比点阵点坐标阵列上都存在对应的点阵点;
606、根据实际点阵点坐标阵列和对比点阵点坐标阵列计算每个点阵点的畸变校正系数;
607、根据中心点阵点坐标生成展平空白图像;
608、根据畸变校正系数在展平空白图像上计算每个像素位置所对应的平面拍摄图像坐标位置;
609、将平面拍摄图像的灰度信息填充到展平空白图像,以生成平面展平图像;
610、将棱镜反射图像进行上述同平面拍摄图像相同的展平处理,生成反射展平图像;
终端确定平面拍摄图像的中心点阵点坐标,中心点阵点坐标为平面拍摄图像中显示了标定图像的区域中的中心点阵点的位置。定位中心点阵点坐标的方法主要是通过确定中心点阵点探测区域,终端再根据中心点阵点探测区域确定中心点阵点坐标。
终端以中心点阵点坐标为参考点,在平面拍摄图像上,为每个点阵点确定对应的包络ROI区域。
以中心点阵点坐标为基准是为了以中心点阵点做对齐操作。因为曲面屏中心位置处的畸变几乎为0,畸变越小的地方矫正量也越小,所以以中心点阵点坐标为基准对齐,进而生成包络ROI区域,每一个包络ROI区域中都存在一个点阵点。
在平面拍摄图像上描绘包络ROI区域的目的是将平面拍摄图像的显示画面的区域分割成固定的若干个矩形区域,每个矩形区域中包含一个点阵点。具体的方法是根据标定图像中像素点阵的分布周期、拍摄的平面拍摄图像和标定图像上的像素比例均匀的将显示画面的区域分割成M*N个矩形区域,这M*N个矩形区域即为包络ROI区域。
终端根据包络ROI区域生成实际点阵点坐标阵列。
具体的,终端首先通过大津算法对包络ROI区域进行图像处理,以生成分割阈值g,再取子图像中灰度值大于分割阈值g的像素点进行计算,生成实际点阵点坐标阵列。
大津算法利用阈值将原图像分成前景与背景两个图像。前景:包含的参数有当前阈值下的前景的点数,质量矩,平均灰度。背景:包含的参数有当前阈值下的背景的点数,质量矩,平均灰度。当取最佳阈值时,背景应该与前景差别最大,关键在于如何选择衡量差别的标准,而在大津算法中这个衡量差别的标准就是最大类间方差。
假设包络ROI区域对应的子图像为Is,区域宽度和高度都为W,如下运算:
其中,Is(i,j)为平面拍摄图像在点阵点坐标为(i,j)位置上的灰度信息,而Js(i,j)为计算后的灰度信息,当这个点阵点的灰度信息大于预设的分割阈值g时,Js(i,j)等于Is(i,j),反之Js(i,j)取0。由于在子图像中计算的图像坐标,所以上述公式中的xtopleft、ytopleft是子图像中左上角的图像位置坐标,公式中i与j分别为点阵点的横位置标识与纵位置标识。
终端根据中心点阵点坐标生成对比点阵点坐标阵列,目的是用于和实际点阵点坐标阵列做对比,得到对比结果。根据中心点阵点坐标生成对比点阵点坐标阵列需要运用公式进行运算:
其中,i与j分别为点阵点的横位置标识与纵位置标识,假设中心点阵点坐标为(x00,y00),表示中心点阵点为基准点,点阵点(x01,y01)与中心点阵点处于同一横坐标位置,纵坐标位置相差1个单位。σ为曲面屏图像中像素和标定图像中的像素比,也称为Mapping比。一般在AOI检测系统及Demura系统中,σ值都为0.5的倍数,例如:3.5或4.0等。Width为曲面显示屏的显示宽度像素数,Height为显示屏显示高度像素,(xc,yc)为中心点阵点在曲面屏图像上的坐标。
终端根据实际点阵点坐标阵列和对比点阵点坐标阵列计算每个点阵点的畸变校正系数,畸变校正系数用于将平面拍摄图像中的显示区域进行展平操作。具体的畸变校正系数的计算方式,首先需要将实际点阵点坐标阵列和对比点阵点坐标阵列的点阵点组成点对,即两个坐标阵列中对应的两个点阵点组成点阵,四个点对为一组。实际点阵点坐标阵列选取4个相邻的点阵点,对比点阵点坐标阵列选取对应的4个点阵点,计算畸变校正系数。假设4个理想点阵点为(x,y)、(x’,y)、(x,y’)以及(x’,y’),4个对应的实际点阵点为(x0,y0)、(x1,y1)、(x2,y2)以及(x3,y3),公式如下:
上述公式为理想坐标(x,y)到展平坐标位置(u,v)之间的转换关系,使用上式来拟合计算公式来估计畸变程度,针对每4个点对,其中,公式中展平坐标位置(u,v)对应的实际点阵点(x0,y0)、(x1,y1)、(x2,y2)以及(x3,y3),公式中i与j分别为点阵点的横位置标识与纵位置标识。公式中,(x,y)对应的理想点阵点(x,y)、(x’,y)、(x,y’)以及(x’,y’),xi表示x的i次方,yj同理。由于上述公式中,i与j的取值都只有0和1,所以在方程组中,会含有系数a00、a01、a10以及a11,为了简化公式,将a00写成a3,将a01写成a1,将a10写成a0,将a11写成a2,则有下列方程组:
计算上述的方程组,得到系数a0,a1,a2,a3,b0,b1,b2,b3,这些系数即为这四个实际点阵点的畸变校正系数,本实施例中,将实际点阵点阵列中每四个相邻点阵点作为一个点阵点组,生成多组点阵点,在理想点阵点阵列划分出对应的点阵点组,对应的点阵点组进行上述计算,得到8个畸变校正系数。例如:实际点阵点阵列中存在规则排列的64(8*8)个点阵点,理想点阵点阵列中存在对应实际点阵点阵列的规则排列的64(8*8)个点阵点。四个相邻的点阵点为一组,实际点阵点阵列组成了16个点阵点组,理想点阵点阵列也对应的分为16个点阵点组。实际点阵点阵列与理想点阵点阵列中,对应的点阵点组进行上述计算,每两个对应的点阵点组计算得到了8个畸变校正系数,用于进行后续的展平操作。
终端根据中心点阵点坐标生成展平空白图像,即创建一张和原始拍图一样大小的空图像,以中心点阵点坐标的位置为参考点,创建理想的曲面屏展平后的图像区域,即展平空白图像。本实施例中,需要将平面拍摄图像像进行展平操作,使得平面拍摄图像中的曲面屏弧面展平。平面拍摄图像展平前,存在多个点阵点,展平后的图像上同样存在对应的点阵点。本实施例中,首先生成对比点阵点阵列,对比点阵点阵列与实际点阵点坐标阵列具有可对应的点阵点,展平空白图像是以对比点阵点为基础进行展平操作得到的图像,与实际点阵点坐标阵列也具有可对应的点阵点。
终端根据畸变校正系数在展平空白图像上计算每个像素位置所对应的平面拍摄图像坐标位置,具体通过点阵点失真坐标映射得到展平坐标位置,公式如下:
此处的(x,y)为展平空白图像上每一个像素点的理想坐标,公式中i与j分别为点阵点的横位置标识与纵位置标识,(u,v)为经过计算后的像素点的展平坐标位置。例如:实际点阵点坐标阵列存在4个相邻的点阵点,对比点阵点坐标阵列也存在对应的4个点阵点。假设4个理想点阵点为(x,y)、(x’,y)、(x,y’)以及(x’,y’),4个对应的实际点阵点为(x0,y0)、(x1,y1)、(x2,y2)以及(x3,y3),而理想展平空白图像根据中心点阵点坐标生成,同样存在理想展平点阵点坐标(X,Y)、(X’,Y)、(X,Y’)和(X’,Y’),这4个理想展平点阵点坐标与对比点阵点坐标阵列以及实际点阵点坐标阵列都存在对应关系。通过(x,y)、(x’,y)、(x,y’)以及(x’,y’)和(x0,y0)、(x1,y1)、(x2,y2)以及(x3,y3)计算出8个畸变校正系数之后,将(X,Y)、(X’,Y)、(X,Y’)和(X’,Y’)作为上述公式中的(x,y),计算出每一个点阵点对应的(u,v)。
终端将平面拍摄图像的灰度信息填充到展平空白图像上,以生成平面展平图像。当确定了展平空白图像上展平坐标位置之后,需要将平面拍摄图像中每一个像素点的灰度信息进行计算,并且将计算后的灰度信息填充到展平空白图像对应的坐标位置上,以最终生成平面展平图像,该平面展平图像的畸变和形变的现象减少了。使用的公式如下:
其中,I(q,p)为平面拍摄图像在点阵点坐标为(q,p)位置上的灰度信息,而L(q,p)为计算后的灰度信息,用于填充到展平空白图像对应的坐标位置上。其中,p=[u],q=[v],[u]和[v]的意思为取整,公式中i与j分别为点阵点的横位置标识与纵位置标识。
终端将棱镜反射图像进行上述同平面拍摄图像相同的展平操作,生成反射展平图像,反射展平图像分为上边缘曲面展平图像和下边缘曲面展平图像。
611、在标定图像选取一排点阵点作为拼缝线,拼缝线对应的点阵点在平面展平图像和反射展平图像上均存在;
612、在拼缝线两侧确定N个均匀分布的平面采样控制区域和N个均匀分布的曲面采样控制区域,N个平面采样控制区域和N个曲面采样控制区域以拼缝线对称分布,N为大于1的整数;
613、在平面展平图像对应的点阵点上标注出N个平面采样控制区域;
614、在反射展平图像对应的点阵点上标注出N个曲面采样控制区域;
终端在标定图像选取一排点阵点作为拼缝线,拼缝线对应的点阵点在平面展平图像和反射展平图像上均存在,并且平面展平图像和反射展平图像上对应拼缝线的点阵点均达到预设的清晰度,拼缝线对应的点阵点用于后续的拼接步骤。实际应用中,在标定图像的上下边缘均选取一排点阵点作为拼缝线,本实施例中,仅以平面展平图像的上边缘,以及上边缘对应的反射展平图像为例。
接下来,在拼缝线两侧确定N个均匀分布的平面采样控制区域和N个均匀分布的曲面采样控制区域,N个平面采样控制区域和N个曲面采样控制区域以拼缝线对称分布,N为大于1的整数。
接着,在平面展平图像对应的点阵点上标注出N个平面采样控制区域,以及在反射展平图像对应的点阵点上标注出N个曲面采样控制区域。即将标定图像上的拼缝线以及采样控制区域对应的点阵点标注在平面展平图像和反射展平图像上。
615、生成目标平面采样控制区域的平面灰度数据和平面灰度均值,生成目标曲面采样控制区域的曲面灰度数据和曲面灰度均值,目标平面采样控制区域和目标曲面采样控制区域为一组位置对应的采样控制区域;
616、根据曲面灰度数据和曲面灰度均值对反射展平图像进行均值分解,生成曲面像素分解式;
617、根据平面灰度均值和曲面像素分解式设计反射展平图像的分段线性变换函数,分段线性变换函数包含未知的分段线性变换待定系数;
618、对平面灰度数据和曲面灰度数据进行灰度概率计算和灰度线性映射处理,生成曲面修正灰度概率分布函数;
619、根据曲面修正灰度概率分布函数计算分段线性变换待定系数;
620、根据上述方式生成N个分段线性变换函数和N个分段线性变换函数对应的分段线性变换待定系数;
本实施例中的步骤615至620与前述实施例中步骤104至109类似,此处不再赘述。
621、将N个分段线性变换函数和对应的分段线性变换待定系数结合对应的采样控制区域的中心横坐标进行拟合,生成目标分段线性变换函数;
622、根据目标分段线性变换函数对反射展平图像的像素点阵进行灰度校正;
由于采样控制区域分为多组,故每一组采样控制区域都有属于自己的待定系数,处于采样控制区域x轴的点阵点可以通过分段线性变换函数进行灰度均值。但是,当N个采样控制区域无法包含全部的x轴,则不处于采样控制区域的点阵点的校正需要进行额外计算。
终端需要将每一组待定系数结合对应的采样控制区域的中心横坐标进行拟合,生成目标待定系数组,目标待定系数组包括两个待定系数。
具体的,使用多项式拟合上拼缝线的多个待定系数和对应的采样控制区域中心横坐标x的关系:
同理,使用多项式拟合下拼缝线的多个待定系数和对应的采样控制区域中心横坐标x的关系:
本实施例中,两处线性拟合均使用最小二乘拟合。
针对上拼缝以上的上边缘曲面展平图像,变换后的图像灰度为:
针对下拼缝以下的下边缘曲面展平图像,变换后的图像灰度为:
(x,y)为上边缘曲面展平图像或下边缘曲面展平图像上像素点的横纵坐标。
623、对灰度校正后的反射展平图像进行消除灰度宏观差异操作;
通过上述步骤的灰度校正过程,得到的反射展平图像会因为曲面棱镜反射的部分和平面拍摄的部分的光学系统损失不同而产生明显的图像灰度差异,因此,还需要进行消除灰度宏观差异,同时保留像素亮度的局部差异。
具体步骤如下:
首先,终端对反射展平图像进行截取,以生成曲面屏截取图像。具体的,本实施例中,在反射展平图像上,取列方向中间的一部分作为曲面屏截取图像,包含:棱镜部分(上边缘)、平面部分、棱镜部分(下边缘)。
终端对曲面屏截取图像进行灰度形态学膨胀处理,得到曲面屏中间图像。具体的,使用2Δ×4Δ(y×x)的矩形形态学结构元素,对曲面屏截取图像进行灰度形态学膨胀,得到曲面屏中间图像。
终端获取曲面屏中间图像在纵向的灰度分布函数。具体的,对曲面屏中间图像沿着列方向累加求平均,即每一行求平均,得到在y方向上的灰度分布函数g(y),g(y)为理论灰度值的预测值的集合。在灰度分布函数里有3个段:棱镜部分(上边缘)、平面部分、棱镜部分(下边缘)。
终端对纵向的灰度分布函数g(y)进行多项式拟合处理,以生成拟合多项式。具体的,假设灰度分布函数为g(y),以g(y)中的平面部分进行2阶多项式拟合,生成拟合多项式:
其中,f(y)为灰度实际值,a、b和c为拟合过程中得到的固定实数,拟合多项式用于计算灰度校正系数。
终端通过拟合多项式计算曲面屏拼接图像的灰度校正系数。请参考图7,具体的,本实施例中,使用拟合多项式对棱镜部分的理论灰度值进行预测,并计算灰度实际值f(y)和灰度预测值g(y)的比值:
终端根据灰度校正系数对曲面屏拼接图像进行灰度校正,得到二次校正后的反射展平图像。
具体的,校正的公式如下:
I(y)为纵坐标y的点阵点灰度计算值,Iout(y)为拼缝线所处的纵坐标y的灰度值。
624、根据拼缝线位置确定平面展平图像的上边缘拼接锚点组和下边缘拼接锚点组,拼接锚点组为点阵点的集合;
终端根据拼缝线位置确定平面展平图像的上边缘拼接锚点组和下边缘拼接锚点组,拼接锚点组为点阵点的集合。平面拍摄图像具有目标曲面屏的平面部分和曲面部分,而棱镜反射图像具有显示屏的曲面部分和少部分平面部分,要进行裁剪拼接融合,就需要在平面拍摄图像和棱镜反射图像上选取一个拼缝线(拼接锚点组),即需要取平面展平图像和反射展平图像的共有点阵点集合作为拼缝线。
本实施例中,选取平面展平图像上边缘曲面部分清晰可见的一行点阵点作为上拼缝线,也作为上边缘拼接锚点组,选取平面展平图像下边缘曲面部分清晰可见的一行点阵点作为下拼缝线,也作为下边缘拼接锚点组。
625、根据拼缝线位置确定上边缘曲面展平图像上的第一曲面拼接锚点组和下边缘曲面展平图像上的第二曲面拼接锚点组;
终端根据拼缝线位置确定确定上边缘曲面展平图像上的第一曲面拼接锚点组和下边缘曲面展平图像上的第二曲面拼接锚点组。选取上边缘曲面展平图像上与上边缘拼接锚点组对应的点阵点作为第一曲面拼接锚点组,下边缘曲面展平图像的第二曲面拼接锚点组的选取方法相同。
626、根据第一曲面拼接锚点组和第二曲面拼接锚点组分别对上边缘曲面展平图像和下边缘曲面展平图像进行镜像翻转;
终端根据第一曲面拼接锚点组和第二曲面拼接锚点组分别对上边缘曲面展平图像和下边缘曲面展平图像进行镜像翻转。本实施例中,由于棱镜反射图像是通过棱镜反射取像的,所以会与平面拍摄图像的方向相反,导致上边缘曲面展平图像和下边缘曲面展平图像也存在方向相反的情况,所以需要将上边缘曲面展平图像和下边缘曲面展平图像进行翻转。
由于通过展平算法处理后的平面展平图像、上边缘曲面展平图像和下边缘曲面展平图像上的拼接锚点组都是处于同一行且等距的,因此可以通过对上边缘曲面展平图像和下边缘曲面展平图像以拼接锚点所在行作为镜面进行镜像翻转,这样可以消除棱镜反射拍照带来的拓扑变化。
627、根据上边缘拼接锚点组和下边缘拼接锚点组对平面展平图像进行裁剪,以生成待拼接平面图像;
终端根据上边缘拼接锚点组和下边缘拼接锚点组对平面展平图像进行裁剪,以生成待拼接平面图像。具体的,需要预先设置一个拼接缝合余量,本实施例中的拼接缝合余量为取像相机像素和曲面屏像素的像素比:
拼接缝合余量的单位为像素,本实施例中2Δ=5。
在平面拍摄图像中,假设上边缘拼接锚点组所在的行为R2,下边缘拼接锚点组所在的行为R3,则取R2-Δ行R3+Δ行的部分图像作为待拼接平面图像。
628、根据第一曲面拼接锚点组和第二曲面拼接锚点组对翻转后的上边缘曲面展平图像和下边缘曲面展平图像进行裁剪,以生成待对齐上曲面图像和待对齐下曲面图像;
终端根据第一曲面拼接锚点组和第二曲面拼接锚点组对翻转后的上边缘曲面展平图像和下边缘曲面展平图像进行裁剪,以生成待对齐上曲面图像和待对齐下曲面图像。
在上边缘曲面展平图像中,假设第一曲面拼接锚点组所在的行为R1,则取1至R1+Δ行的图像作为待对齐上曲面图像。
在下边缘曲面展平图像中,假设第二曲面拼接锚点组所在的行为R4,则取R4-Δ行至最大行的图像作为待对齐下曲面图像。
629、根据待拼接平面图像为待对齐上曲面图像和待对齐下曲面图像进行对齐处理,以生成待拼接上曲面图像和待拼接下曲面图像;
终端根据待拼接平面图像为待对齐上曲面图像和待对齐下曲面图像进行对齐处理,以生成待拼接上曲面图像和待拼接下曲面图像。由于展平算法误差的原因,直接使用裁切后的图像进行拼接时,会发生局部子像素的列方向错位的现象(通常像素错位不会超过2个图像像素)。为了纠正此现象的发生,在对待拼接图像进行缝合以前需要对待对齐上曲面图像和待对齐下曲面图像列方向上的曲面屏列向子像素分布进行对齐。分别以待拼接平面图像的上下边缘作为对齐基准,对图像列方向上的曲面屏列向子像素(点阵点)分布进行对齐。
具体的:终端下划线确定上边缘拼接锚点组的上边缘锚点坐标组和下边缘拼接锚点组的下边缘锚点坐标组。请参考图8,终端确定上边缘拼接锚点组的上边缘锚点坐标组和下边缘拼接锚点组的下边缘锚点坐标组。由于待对齐上曲面图像和待对齐下曲面图像的对齐生成方法相同,这里以待对齐上曲面图像为例:记经过裁剪的平面部分的展平后图像(待拼接平面图像)的下边缘拼接锚点组点集为{A},包含元素A1、A2、A3、A4、A5、A6、A7、A8等,其x方向的坐标分别为xA1、xA2、xA3、xA4、xA5、xA6、xA7、xA8等。记经过裁剪的曲面部分的展平后图像(待对齐上曲面图像)的第二曲面锚点坐标组点集为{B},B1、B2、B3、B4、B5、B6、B7、B8,和集合{A}中的元素个数相同,且一一对应,其x方向的坐标分别为xB1、xB2、xB3、xB4、xB5、xB6、xB7、xB8等。对齐处理的结果是将曲面部分图像在x方向进行拉伸或挤压实现点集{A}和点集{B}的重合。
终端确定第一曲面拼接锚点组的第一曲面锚点坐标组和第二曲面拼接锚点组的第二曲面锚点坐标组,具体操作同上述描述。
终端根据上边缘锚点坐标组和第一曲面锚点坐标组计算上边缘对齐系数。终端根据上边缘锚点坐标组和第一曲面锚点坐标组计算上边缘对齐系数,对齐系数k0、k1..kn的计算公式如下:
终端根据下边缘锚点坐标组和第二曲面锚点坐标组计算下边缘对齐系数,同上述方式,此处不做赘述。
终端生成上曲面空白图像和下曲面空白图像,终端生成上曲面空白图像和下曲面空白图像,上曲面空白图像和下曲面空白图像用于将点阵点填充到上曲面空白图像和下曲面空白图像上,形成新的图像。
终端根据上边缘对齐系数对上曲面空白图像进行像素数据填充,以生成待拼接上曲面图像,终端根据上边缘对齐系数对上曲面空白图像进行像素数据填充,以生成待拼接上曲面图像。填充公式如下:
其中,选定曲面空白图像的坐标(x,y),当坐标(x,y)中,x大于1小于xA1时,将待对齐曲面图像上坐标为((x*xB1)/xA1,y)的灰度值(像素数据)确定为坐标为(x/k0,y)d的灰度值,最后填充到曲面空白图像Iem的(x,y)中,公式中的“Δ”表示任意的纵坐标y值,填充完成之后的图像即为结果对齐处理后的待拼接上曲面图像。
终端根据下边缘对齐系数对下曲面空白图像进行像素数据填充,以生成待拼接下曲面图像,详细方式与上述步骤相同,此处不做赘述。
630、将待拼接平面图像、待拼接上曲面图像和待拼接下曲面图像进行加权缝合,以生成曲面屏拼接图像。
终端将待拼接平面图像、待拼接上曲面图像和待拼接下曲面图像进行加权缝合,以生成曲面屏拼接图像。具体的,以拼接锚点所在行(Y方向)为对齐位置,将待拼接平面图像、待拼接上曲面图像和待拼接下曲面图像在2Δ内进行加权缝合,对齐和缝合过程根据曲面屏棱镜反射拍摄的曲边数量不同而不同,本实施例中包括待拼接上曲面图像和待拼接下曲面图像分别和待拼接平面图像的对齐和缝合。
请参考图9和图10,Im为待拼接平面图像,Iem为待拼接上曲面图像或待拼接下曲面图像。确定Y方向的对齐位置为ys,设计两个加权函数δm(y)和δem(y),满足条件:δm(y)+δem(y)=1,分别在Y方向上针对Im和Iem进行加权叠加,对于缝合处的像素亮度,其计算公式如下:
其中,Iout(y)为纵坐标y的灰度值,Im(y)为待拼接平面图像在纵坐标y处的灰度值,Iem(y)为待拼接上曲面图像或待拼接下曲面图像在纵坐标y处的灰度值,y∈[ys-Δ,ys+Δ]。
本申请中,首先构造至少一张颜色不相同的标定图像,将至少一张颜色不相同的标定图像输入曲面屏,并获取平面拍摄图像和棱镜反射图像,标定图像上设置有像素点阵。
接着对平面拍摄图像和棱镜反射图像进行展平处理,使得平面拍摄图像和棱镜反射图像上的像素点展平至平面位置,生成平面展平图像和反射展平图像。具体为:确定平面拍摄图像的中心点阵点坐标,根据中心点阵点坐标在平面拍摄图像为每个点阵点确定对应的包络ROI区域,根据包络ROI区域生成实际点阵点坐标阵列,根据中心点阵点坐标生成对比点阵点坐标阵列,实际点阵点坐标阵列上每个点阵点在对比点阵点坐标阵列上都存在对应的点阵点。根据实际点阵点坐标阵列和对比点阵点坐标阵列计算每个点阵点的畸变校正系数。根据中心点阵点坐标生成展平空白图像,根据畸变校正系数在展平空白图像上计算每个像素位置所对应的平面拍摄图像坐标位置,将平面拍摄图像的灰度信息填充到展平空白图像,以生成平面展平图像。将棱镜反射图像进行上述同平面拍摄图像相同的展平处理,生成反射展平图像。
然后在平面展平图像上标注出N个平面采样控制区域,并在反射展平图像上标注出N个曲面采样控制区域,每一个平面采样控制区域都有与之对应的曲面采样控制区域,N为大于1的整数。具体步骤如下:在标定图像选取一排点阵点作为拼缝线,拼缝线对应的点阵点在平面展平图像和反射展平图像上均存在。在拼缝线两侧确定N个均匀分布的平面采样控制区域和N个均匀分布的曲面采样控制区域,N个平面采样控制区域和N个曲面采样控制区域以拼缝线对称分布,N为大于1的整数,在平面展平图像对应的点阵点上标注出N个平面采样控制区域,在反射展平图像对应的点阵点上标注出N个曲面采样控制区域。
生成目标平面采样控制区域的平面灰度数据和平面灰度均值,以及生成目标曲面采样控制区域的曲面灰度数据和曲面灰度均值,目标平面采样控制区域和目标曲面采样控制区域为一组位置对应的采样控制区域。再根据曲面灰度数据和曲面灰度均值对反射展平图像进行均值分解,生成反射展平图像在曲面采样控制区域的曲面像素分解式。接着根据平面灰度均值和曲面像素分解式设计反射展平图像的分段线性变换函数,分段线性变换函数包含未知的分段线性变换待定系数,接下来需要计算位置的未知的分段线性变换待定系数。对平面灰度数据和曲面灰度数据进行灰度概率计算和灰度线性映射处理,生成曲面修正灰度概率分布函数。根据曲面修正灰度概率分布函数计算分段线性变换待定系数。根据上述方式生成N个分段线性变换函数和N个分段线性变换函数对应的分段线性变换待定系数。
根据N个分段线性变换函数和对应的分段线性变换待定系数对反射展平图像的像素点阵进行灰度校正。具体步骤如下:将N个分段线性变换函数和对应的分段线性变换待定系数结合对应的采样控制区域的中心横坐标进行拟合,生成目标分段线性变换函数,根据目标分段线性变换函数对反射展平图像的像素点阵进行灰度校正。
将灰度校正后的反射展平图像和平面展平图像进行拼接,生成曲面屏拼接图像。具体步骤如下:根据拼缝线位置确定平面展平图像的上边缘拼接锚点组和下边缘拼接锚点组,拼接锚点组为点阵点的集合,根据拼缝线位置确定上边缘曲面展平图像上的第一曲面拼接锚点组和下边缘曲面展平图像上的第二曲面拼接锚点组。根据第一曲面拼接锚点组和第二曲面拼接锚点组分别对上边缘曲面展平图像和下边缘曲面展平图像进行镜像翻转,根据上边缘拼接锚点组和下边缘拼接锚点组对平面展平图像进行裁剪,以生成待拼接平面图像。根据第一曲面拼接锚点组和第二曲面拼接锚点组对翻转后的上边缘曲面展平图像和下边缘曲面展平图像进行裁剪,以生成待对齐上曲面图像和待对齐下曲面图像,根据待拼接平面图像为待对齐上曲面图像和待对齐下曲面图像进行对齐处理,以生成待拼接上曲面图像和待拼接下曲面图像。将待拼接平面图像、待拼接上曲面图像和待拼接下曲面图像进行加权缝合,以生成曲面屏拼接图像。
通过在曲面屏的平面展平图像和反射展平图像标注对称的采样控制区域,设计这两个采样控制区域对应的分段线性变换函数以及计算分段线性变换待定系数,使得反射展平图像和平面展平图像的像素点可以通过分段线性变换函数进行表示,再根据分段线性变换函数对反射展平图像上的像素点进行灰度校正,即可减少灰度过度不均的问题出现。
其次,通过对曲面屏拼接图像进行消除灰度宏观差异操作,以生成曲面屏拼接图像,减少了曲面屏拼接图像的亮度差异,进一步降低了曲面屏缺陷检测或补偿难度。
请参阅图11,本申请提供了一种曲面屏图像的灰度校正装置的另一个实施例,包括:
获取单元1101,用于构造标定图像,将标定图像输入曲面屏,并获取平面拍摄图像和棱镜反射图像,标定图像上设置有像素点阵;
可选的,获取单元1101,具体为:
构造至少一张颜色不相同的标定图像,将至少一张颜色不相同的标定图像输入曲面屏,并获取平面拍摄图像和棱镜反射图像。
展平单元1102,用于对平面拍摄图像和棱镜反射图像进行展平处理,生成平面展平图像和反射展平图像;
可选的,展平单元1102,具体为:
确定平面拍摄图像的中心点阵点坐标;
根据中心点阵点坐标在平面拍摄图像为每个点阵点确定对应的包络ROI区域;
根据包络ROI区域生成实际点阵点坐标阵列;
根据中心点阵点坐标生成对比点阵点坐标阵列,实际点阵点坐标阵列上每个点阵点在对比点阵点坐标阵列上都存在对应的点阵点;
根据实际点阵点坐标阵列和对比点阵点坐标阵列计算每个点阵点的畸变校正系数;
根据中心点阵点坐标生成展平空白图像;
根据畸变校正系数在展平空白图像上计算每个像素位置所对应的平面拍摄图像坐标位置;
将平面拍摄图像的灰度信息填充到展平空白图像,以生成平面展平图像;
将棱镜反射图像进行上述同平面拍摄图像相同的展平处理,生成反射展平图像。
标注单元1103,用于在平面展平图像上标注出N个平面采样控制区域,并在反射展平图像上标注出N个曲面采样控制区域,N为大于1的整数;
可选的,标注单元1103,具体为:
在标定图像选取一排点阵点作为拼缝线,拼缝线对应的点阵点在平面展平图像和反射展平图像上均存在;
在拼缝线两侧确定N个均匀分布的平面采样控制区域和 N个均匀分布的曲面采样控制区域,N个平面采样控制区域和N个曲面采样控制区域以拼缝线对称分布,N为大于1的整数;
在平面展平图像对应的点阵点上标注出N个平面采样控制区域;
在反射展平图像对应的点阵点上标注出N个曲面采样控制区域。
第一生成单元1104,用于生成目标平面采样控制区域的平面灰度数据和平面灰度均值,生成目标曲面采样控制区域的曲面灰度数据和曲面灰度均值,目标平面采样控制区域和目标曲面采样控制区域为一组位置对应的采样控制区域;
第二生成单元1105,用于根据曲面灰度数据和曲面灰度均值对反射展平图像进行均值分解,生成曲面像素分解式;
设计单元1106,用于根据平面灰度均值和曲面像素分解式设计反射展平图像的分段线性变换函数,分段线性变换函数包含未知的分段线性变换待定系数;
第三生成单元1107,用于对平面灰度数据和曲面灰度数据进行灰度概率计算和灰度线性映射处理,生成曲面修正灰度概率分布函数;
计算单元1108,用于根据曲面修正灰度概率分布函数计算分段线性变换待定系数;
第四生成单元1109,用于根据上述方式生成N个分段线性变换函数和N个分段线性变换函数对应的分段线性变换待定系数;
第一校正单元1110,用于根据N个分段线性变换函数和对应的分段线性变换待定系数对反射展平图像的像素点阵进行灰度校正;
可选的,第一校正单元1110,具体为:
将N个分段线性变换函数和对应的分段线性变换待定系数结合对应的采样控制区域的中心横坐标进行拟合,生成目标分段线性变换函数;
根据目标分段线性变换函数对反射展平图像的像素点阵进行灰度校正。
第二校正单元1111,用于对灰度校正后的反射展平图像进行消除灰度宏观差异操作;
拼接单元1112,将灰度校正后的反射展平图像和平面展平图像进行拼接,生成曲面屏拼接图像。
可选的,展平处理后的反射展平图像包括上边缘曲面展平图像和下边缘曲面展平图像;
拼接单元1112,具体为:
根据拼缝线位置确定平面展平图像的上边缘拼接锚点组和下边缘拼接锚点组,拼接锚点组为点阵点的集合;
根据拼缝线位置确定上边缘曲面展平图像上的第一曲面拼接锚点组和下边缘曲面展平图像上的第二曲面拼接锚点组;
根据第一曲面拼接锚点组和第二曲面拼接锚点组分别对上边缘曲面展平图像和下边缘曲面展平图像进行镜像翻转;
根据上边缘拼接锚点组和下边缘拼接锚点组对平面展平图像进行裁剪,以生成待拼接平面图像;
根据第一曲面拼接锚点组和第二曲面拼接锚点组对翻转后的上边缘曲面展平图像和下边缘曲面展平图像进行裁剪,以生成待对齐上曲面图像和待对齐下曲面图像;
根据待拼接平面图像为待对齐上曲面图像和待对齐下曲面图像进行对齐处理,以生成待拼接上曲面图像和待拼接下曲面图像;
将待拼接平面图像、待拼接上曲面图像和待拼接下曲面图像进行加权缝合,以生成曲面屏拼接图像。
请参阅图12,本申请提供了一种电子设备,包括:
处理器1201、存储器1203、输入输出单元1202以及总线1204。
处理器1201与存储器1203、输入输出单元1202以及总线1204相连。
存储器1203保存有程序,处理器1201调用程序以执行如图1、图6-1、图6-2和图6-3中的灰度校正方法。
本申请提供了一种计算机可读存储介质,计算机可读存储介质上保存有程序,程序在计算机上执行时执行如图1、图6-1、图6-2和图6-3中的灰度校正方法。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,read-onlymemory)、随机存取存储器(RAM,random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
Claims (10)
1.一种曲面屏图像的灰度校正方法,其特征在于,包括:
构造标定图像,将所述标定图像输入曲面屏,并获取平面拍摄图像和棱镜反射图像,所述标定图像上设置有像素点阵;
对所述平面拍摄图像和所述棱镜反射图像进行展平处理,生成平面展平图像和反射展平图像;
在所述平面展平图像上标注出N个平面采样控制区域,并在所述反射展平图像上标注出N个曲面采样控制区域,N为大于1的整数;
生成目标平面采样控制区域的平面灰度数据和平面灰度均值,生成目标曲面采样控制区域的曲面灰度数据和曲面灰度均值,所述目标平面采样控制区域和所述目标曲面采样控制区域为一组位置对应的采样控制区域;
根据所述曲面灰度数据和所述曲面灰度均值对所述反射展平图像进行均值分解,生成曲面像素分解式;
根据所述平面灰度均值和所述曲面像素分解式设计所述反射展平图像的分段线性变换函数,所述分段线性变换函数包含未知的分段线性变换待定系数;
对所述平面灰度数据和所述曲面灰度数据进行灰度概率计算和灰度线性映射处理,生成曲面修正灰度概率分布函数;
根据所述曲面修正灰度概率分布函数计算所述分段线性变换待定系数;
根据上述方式生成N个分段线性变换函数和所述N个分段线性变换函数对应的分段线性变换待定系数;
根据所述N个分段线性变换函数和所述对应的分段线性变换待定系数对所述反射展平图像的所述像素点阵进行灰度校正;
将灰度校正后的所述反射展平图像和所述平面展平图像进行拼接,生成曲面屏拼接图像。
2.根据权利要求1所述的灰度校正方法,其特征在于,所述在所述平面展平图像上标注出N个平面采样控制区域,并在所述反射展平图像上标注出N个曲面采样控制区域,包括:
在所述标定图像选取一排点阵点作为拼缝线,所述拼缝线对应的点阵点在所述平面展平图像和所述反射展平图像上均存在;
在所述拼缝线两侧确定N个均匀分布的平面采样控制区域和N个均匀分布的曲面采样控制区域,所述N个平面采样控制区域和所述N个曲面采样控制区域以所述拼缝线对称分布,N为大于1的整数;
在所述平面展平图像对应的点阵点上标注出所述N个平面采样控制区域;
在所述反射展平图像对应的点阵点上标注出所述N个曲面采样控制区域。
3.根据权利要求1所述的灰度校正方法,其特征在于,所述根据所述N个分段线性变换函数和所述对应的分段线性变换待定系数对所述反射展平图像的所述像素点阵进行灰度校正,包括:
将所述N个分段线性变换函数和所述对应的分段线性变换待定系数结合对应的采样控制区域的中心横坐标进行拟合,生成目标分段线性变换函数;
根据所述目标分段线性变换函数对所述反射展平图像的所述像素点阵进行灰度校正。
4.根据权利要求2所述的灰度校正方法,其特征在于,所述对所述平面拍摄图像和所述棱镜反射图像进行展平处理,生成平面展平图像和反射展平图像,包括:
确定所述平面拍摄图像的中心点阵点坐标;
根据所述中心点阵点坐标在所述平面拍摄图像为每个点阵点确定对应的包络ROI区域;
根据所述包络ROI区域生成实际点阵点坐标阵列;
根据所述中心点阵点坐标生成对比点阵点坐标阵列,所述实际点阵点坐标阵列上每个点阵点在所述对比点阵点坐标阵列上都存在对应的点阵点;
根据所述实际点阵点坐标阵列和所述对比点阵点坐标阵列计算每个点阵点的畸变校正系数;
根据所述中心点阵点坐标生成展平空白图像;
根据所述畸变校正系数在所述展平空白图像上计算每个像素位置所对应的平面拍摄图像坐标位置;
将所述平面拍摄图像的灰度信息填充到所述展平空白图像,以生成平面展平图像;
将所述棱镜反射图像进行上述同所述平面拍摄图像相同的展平处理,生成反射展平图像。
5.根据权利要求4所述的灰度校正方法,其特征在于,展平处理后的所述反射展平图像包括上边缘曲面展平图像和下边缘曲面展平图像;
所述将灰度校正后的所述反射展平图像和所述平面展平图像进行拼接,生成曲面屏拼接图像,包括:
根据所述拼缝线位置确定所述平面展平图像的上边缘拼接锚点组和下边缘拼接锚点组,拼接锚点组为点阵点的集合;
根据所述拼缝线位置确定所述上边缘曲面展平图像上的第一曲面拼接锚点组和所述下边缘曲面展平图像上的第二曲面拼接锚点组;
根据所述第一曲面拼接锚点组和所述第二曲面拼接锚点组分别对所述上边缘曲面展平图像和所述下边缘曲面展平图像进行镜像翻转;
根据所述上边缘拼接锚点组和所述下边缘拼接锚点组对所述平面展平图像进行裁剪,以生成待拼接平面图像;
根据所述第一曲面拼接锚点组和所述第二曲面拼接锚点组对翻转后的所述上边缘曲面展平图像和所述下边缘曲面展平图像进行裁剪,以生成待对齐上曲面图像和待对齐下曲面图像;
根据所述待拼接平面图像为所述待对齐上曲面图像和所述待对齐下曲面图像进行对齐处理,以生成待拼接上曲面图像和待拼接下曲面图像;
将所述待拼接平面图像、所述待拼接上曲面图像和所述待拼接下曲面图像进行加权缝合,以生成曲面屏拼接图像。
6.根据权利要求1至5中任一项所述的灰度校正方法,其特征在于,在所述根据所述N个分段线性变换函数和所述对应的分段线性变换待定系数对所述反射展平图像的所述像素点阵进行灰度校正之后,所述将灰度校正后的所述反射展平图像和所述平面展平图像进行拼接,生成曲面屏拼接图像之前,所述灰度校正方法还包括:
对灰度校正后的所述反射展平图像进行消除灰度宏观差异操作。
7.根据权利要求1至5中任一项所述的灰度校正方法,其特征在于,所述构造标定图像,将所述标定图像输入曲面屏,并获取平面拍摄图像和棱镜反射图像,所述标定图像上设置有像素点阵,包括:
构造至少一张颜色不相同的标定图像,将所述至少一张颜色不相同的标定图像输入曲面屏,并获取平面拍摄图像和棱镜反射图像。
8.一种曲面屏图像的灰度校正装置,其特征在于,包括:
获取单元,用于构造标定图像,将所述标定图像输入曲面屏,并获取平面拍摄图像和棱镜反射图像,所述标定图像上设置有像素点阵;
展平单元,用于对所述平面拍摄图像和所述棱镜反射图像进行展平处理,生成平面展平图像和反射展平图像;
标注单元,用于在所述平面展平图像上标注出N个平面采样控制区域,并在所述反射展平图像上标注出N个曲面采样控制区域,N为大于1的整数;
第一生成单元,用于生成目标平面采样控制区域的平面灰度数据和平面灰度均值,生成目标曲面采样控制区域的曲面灰度数据和曲面灰度均值,所述目标平面采样控制区域和所述目标曲面采样控制区域为一组位置对应的采样控制区域;
第二生成单元,用于根据所述曲面灰度数据和所述曲面灰度均值对所述反射展平图像进行均值分解,生成曲面像素分解式;
设计单元,用于根据所述平面灰度均值和所述曲面像素分解式设计所述反射展平图像的分段线性变换函数,所述分段线性变换函数包含未知的分段线性变换待定系数;
第三生成单元,用于对所述平面灰度数据和所述曲面灰度数据进行灰度概率计算和灰度线性映射处理,生成曲面修正灰度概率分布函数;
计算单元,用于根据所述曲面修正灰度概率分布函数计算所述分段线性变换待定系数;
第四生成单元,用于根据上述方式生成N个分段线性变换函数和所述N个分段线性变换函数对应的分段线性变换待定系数;
第一校正单元,用于根据所述N个分段线性变换函数和所述对应的分段线性变换待定系数对所述反射展平图像的所述像素点阵进行灰度校正;
拼接单元,将灰度校正后的所述反射展平图像和所述平面展平图像进行拼接,生成曲面屏拼接图像。
9.一种电子设备,其特征在于,包括:
处理器、存储器、输入输出单元以及总线;
所述处理器与所述存储器、所述输入输出单元以及所述总线相连;
所述存储器保存有程序,所述处理器调用所述程序以执行如权利要求1至7任意一项所述的灰度校正方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上保存有程序,所述程序在计算机上执行时执行如权利要求1至7中任一项所述的灰度校正方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210709298.8A CN114792288B (zh) | 2022-06-22 | 2022-06-22 | 一种曲面屏图像的灰度校正方法及相关装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210709298.8A CN114792288B (zh) | 2022-06-22 | 2022-06-22 | 一种曲面屏图像的灰度校正方法及相关装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114792288A CN114792288A (zh) | 2022-07-26 |
CN114792288B true CN114792288B (zh) | 2022-09-16 |
Family
ID=82463277
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210709298.8A Active CN114792288B (zh) | 2022-06-22 | 2022-06-22 | 一种曲面屏图像的灰度校正方法及相关装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114792288B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005286441A (ja) * | 2004-03-29 | 2005-10-13 | ▲ぎょく▼瀚科技股▲ふん▼有限公司 | 色の補正方法 |
CN105244007A (zh) * | 2015-10-30 | 2016-01-13 | 青岛海信电器股份有限公司 | 一种曲面显示屏的灰阶修正表的生成方法及装置 |
CN113269697A (zh) * | 2021-07-19 | 2021-08-17 | 深圳精智达技术股份有限公司 | 一种曲面屏图像的生成方法及装置 |
CN113822820A (zh) * | 2021-10-22 | 2021-12-21 | 上海电气(集团)总公司智惠医疗装备分公司 | 一种图像校正方法、装置及电子设备 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104537616A (zh) * | 2014-12-20 | 2015-04-22 | 中国科学院西安光学精密机械研究所 | 鱼眼图像畸变的校正方法 |
US9792674B2 (en) * | 2016-03-10 | 2017-10-17 | Netflix, Inc. | Perspective correction for curved display screens |
US10949950B2 (en) * | 2017-06-14 | 2021-03-16 | Shanghai United Imaging Healthcare Co., Ltd. | System and method for image processing |
CN112634173B (zh) * | 2020-12-30 | 2023-12-08 | 凌云光技术股份有限公司 | 一种曲面屏图像校正方法及系统 |
-
2022
- 2022-06-22 CN CN202210709298.8A patent/CN114792288B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005286441A (ja) * | 2004-03-29 | 2005-10-13 | ▲ぎょく▼瀚科技股▲ふん▼有限公司 | 色の補正方法 |
CN105244007A (zh) * | 2015-10-30 | 2016-01-13 | 青岛海信电器股份有限公司 | 一种曲面显示屏的灰阶修正表的生成方法及装置 |
CN113269697A (zh) * | 2021-07-19 | 2021-08-17 | 深圳精智达技术股份有限公司 | 一种曲面屏图像的生成方法及装置 |
CN113822820A (zh) * | 2021-10-22 | 2021-12-21 | 上海电气(集团)总公司智惠医疗装备分公司 | 一种图像校正方法、装置及电子设备 |
Non-Patent Citations (2)
Title |
---|
Image Distortion and Image Correction of Curved OLED Displays;W.K. Lee等;《SID Symposium Digest of Technical Papers》;20200925;第1404-1407页 * |
OLED手机屏亮度非均匀性提取算法;沈光明;《中国优秀硕士学位论文全文数据库 信息科技辑》;20220515;第1-63页 * |
Also Published As
Publication number | Publication date |
---|---|
CN114792288A (zh) | 2022-07-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113269697B (zh) | 一种曲面屏图像的生成方法及装置 | |
US11037523B2 (en) | Display method of display panel that uses different display algorithms for different display areas, display panel and display device | |
CN112947885B (zh) | 一种曲面屏展平图像的生成方法及装置 | |
CN114495816B (zh) | 显示图像调整方法、终端设备及计算机可读存储介质 | |
US8334884B2 (en) | Method of calculating correction value and display device | |
US7102637B2 (en) | Method of seamless processing for merging 3D color images | |
CN109495729B (zh) | 投影画面校正方法和系统 | |
CN109949744B (zh) | 伽马电压校正方法及装置 | |
CN113241030A (zh) | 一种显示屏亮度补偿方法、装置及电子设备 | |
CN112233189B (zh) | 多深度相机外部参数标定方法、装置及存储介质 | |
CN111340721A (zh) | 一种像素的修正方法、装置、设备及可读存储介质 | |
CN112788322A (zh) | 自适应白平衡处理方法、装置、介质及电子设备 | |
US8472756B2 (en) | Method for producing high resolution image | |
CN115100078B (zh) | 一种曲面屏图像中点阵坐标修正与填补的方法及相关装置 | |
CN114792288B (zh) | 一种曲面屏图像的灰度校正方法及相关装置 | |
TWI387354B (zh) | 色彩飽和度調整方法以及使用該方法的影像顯示系統 | |
CN114359055B (zh) | 一种多相机拍摄屏体的图像拼接方法及相关装置 | |
US6097434A (en) | System and method for correcting pixel data in an electronic device | |
CN114596220A (zh) | 校正图像横向色差的方法、电子设备及计算机存储介质 | |
CN113034552B (zh) | 一种光流的修正方法和计算机设备 | |
CN113676659B (zh) | 图像处理方法及装置、终端及计算机可读存储介质 | |
US7403207B1 (en) | Intensity weighting for sub-pixel positioning | |
CN110807733B (zh) | 拼接补偿方法、装置及存储介质 | |
CN112289274B (zh) | 一种显示方法及装置 | |
CN109618142B (zh) | 一种拼接墙屏前亮度均匀度的校正方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |