CN114418912A - 多角度光照消除反光、多帧多角度光照图像融合算法 - Google Patents
多角度光照消除反光、多帧多角度光照图像融合算法 Download PDFInfo
- Publication number
- CN114418912A CN114418912A CN202111613667.5A CN202111613667A CN114418912A CN 114418912 A CN114418912 A CN 114418912A CN 202111613667 A CN202111613667 A CN 202111613667A CN 114418912 A CN114418912 A CN 114418912A
- Authority
- CN
- China
- Prior art keywords
- angle illumination
- image
- exposure
- fusion
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 40
- 238000005286 illumination Methods 0.000 title claims abstract description 39
- 230000008030 elimination Effects 0.000 title claims abstract description 11
- 238000003379 elimination reaction Methods 0.000 title claims abstract description 11
- 238000000034 method Methods 0.000 claims abstract description 10
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 14
- 230000007547 defect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了多角度光照消除反光、多帧多角度光照图像融合算法，包括如下步骤：S1、让4个条形灯均匀分布在手机的四个角落，单独打开某光源时各自产生的反光点不会重合；S2、拍照时分时切换条形光源分别拍摄单光源打光的多帧曝光图片；S3、每个光源都拍摄高曝光、中曝光、低曝光三帧图片，用低曝光图片寻找反光点，具体方法如下：A、转灰度图；B、基于阈值的二值化；C、腐蚀；D、高斯模糊；E、得到轮廓mask；S4、面板灯拍照图片3张。该多角度光照消除反光、多帧多角度光照图像融合算法，对各组高、中、低曝光3张图片进行基于亮度的权重融合，实现手机表面质量检测自动化，提高检测效率和准确率。
Description
技术领域
本发明涉及外观缺陷检测技术领域，具体为多角度光照消除反光、多帧多角度光照图像融合算法。
背景技术
二手手机交易中外观缺陷检测技术对于手机商品估价和质量评估具有重要的意义，在工业检测领域，待检测的物品一般都是具有平坦面、尺寸小的特点，而一台手机，具有正反两面，四个侧面以及四个转角，不同类型手机形状、尺寸长短、厚度不一，手机外壳和侧面机身材料和色彩的差异也会造成表面反光特性不同。
传统工业检测的方法在对手机表面拍摄的过程中容易出现照片反光的情况，反光的照片容易影响检测结果，从而降低拍照装置的工作效率。为此，我们提出多角度光照消除反光、多帧多角度光照图像融合算法。
发明内容
本发明的目的在于提供多角度光照消除反光、多帧多角度光照图像融合算法，以解决上述背景技术中提出传统工业检测的方法在对手机表面拍摄的过程中容易出现照片反光的情况，反光的照片容易影响检测结果，从而降低拍照装置的工作效率的问题。
为实现上述目的，本发明提供如下技术方案：多角度光照消除反光、多帧多角度光照图像融合算法，包括如下步骤：
S1、让4个条形灯均匀分布在手机的四个角落，单独打开某光源时各自产生的反光点不会重合；
S2、拍照时分时切换条形光源分别拍摄单光源打光的多帧曝光图片；
S3、每个光源都拍摄高曝光、中曝光、低曝光三帧图片，用低曝光图片寻找反光点，具体方法如下：
A、转灰度图；
B、基于阈值的二值化；
C、腐蚀；
D、高斯模糊；
E、得到轮廓mask；
S4、面板灯拍照图片3张；
S5、对3张不同曝光输入图像进行配准对齐；
S6、将对齐后图片从RGB转到YUV域；
S7、分离出Y通道，对各组高、中、低曝光3张图片进行基于亮度的权重融合，方法如下：
F、分别对3种曝光图像以24X24的滑动窗口进行遍历，求以某像素为中心的平均亮度分布矩阵；
G、分别对3各亮度矩阵元素求和，以median值所在的图像为base；
H、遍历base图像，用3个亮度矩阵分别计算另外2个图像与base图片的距离值；
I、计算base图像直方图的中值mediam_histogram_value；
J、根据距离关系计算融合权重，权重比例求出后，进行亮度融合；
K、将图像合并得到多曝光融合图像；
L、多角度光照图像融合。
优选的，所述步骤S4中拍照，4个条形灯，分别为0#、1#、2#和3#，其中0#和2#一组拍摄3张，顺序依次为高中低曝光，1#和3#一组拍摄3张，2个绿光灯一组拍摄3张。
优选的，所述步骤S5中对齐算法来源于opencv库，基本原理是分别获取各图像的特征，然后进行特征匹配，求解对齐矩阵。
优选的，所述步骤S7中，多角度光照图像融合中输入2个角度打光生成多曝光融合得到图像A，B，采用opencv已有的Mertens算法进行融合生成具有宽动态范围的HDR图像。
优选的，所述Mertens算法的权重计算原理大致如下:
101、首先分别每幅图像的contrast,saturation,well-exposure权重，然后对3者权重值做加权融合成一个权重；
102、计算全部图像的权重和，对各幅图像权重做归一化；
103、金字塔操作：计算RGB拉普拉斯和高斯金字塔，相乘得到金字塔图像权重；
104、对应层次金字塔图像权重融合；
105、金字塔图像重构融合；
106、最后线性缩放至[0，1]范围，得到HDR结果图像。
与现有技术相比，本发明的有益效果是：该多角度光照消除反光、多帧多角度光照图像融合算法，对各组高、中、低曝光3张图片进行基于亮度的权重融合，实现手机表面质量检测自动化，提高检测效率和准确率。
附图说明
图1是本发明低曝光反光点一示意图；
图2是本发明反光点一mask示意图；
图3是本发明低曝光反光点二示意图；
图4是本发明反光点二mask示意图；
图5是本发明待融合图片一；
图6是本发明待融合图片二。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-6，本发明提供一种技术方案：多角度光照融合消除反光算法：
S1、让4个条形灯均匀分布在手机的四个角落，单独打开某光源时各自产生的反光点不会重合；
S2、拍照时分时切换条形光源分别拍摄单光源打光的多帧曝光图片；
S3、每个光源都拍摄高曝光、中曝光、低曝光三帧图片，用低曝光图片寻找反光点，具体方法如下：
A.转灰度图；
B.基于阈值的二值化；
C.腐蚀；
D.高斯模糊；
E.得到轮廓mask；
图1-图4是一个实例反光点检测图片以及对应的反光点mask图片：
多帧曝光多角度光照图像融合算法：
S4、面板灯拍照图片3张(高中低3种曝光)，4个条形灯，0#和2#一组拍摄3张(高中低曝光)，1#和3#一组拍摄3张，2个绿光灯一组拍摄3张；
S5、对3张不同曝光输入图像进行配准对齐；
{frame_aligned_0,frame_aligned_1,frame_algned}＝AlignMTB(frame_0,frame_1,frame_2)；
对齐算法来源于opencv库，基本原理是分别获取各图像的特征，然后进行特征匹配，求解对齐矩阵。
S6、将对齐后图片从RGB转到YUV域；
S7、分离出Y通道，对各组高、中、低曝光3张图片进行基于亮度的权重融合，方法如下：
H.分别对3种曝光图像以24X24的滑动窗口进行遍历，求以某像素为中心的平均亮度分布矩阵；
I.分别对3各亮度矩阵元素求和，以median值所在的图像为base；
K.遍历base图像，用3个亮度矩阵分别计算另外2个图像与base图片的距离值：
low_exposure_distance(x,y)＝(base_luma_pixel(x,y)-low_luma_pixel(x,y))；
high_exposure_distance(x,y)＝(high_luma_pixel(x,y)-base_luma_pixel(x,y))；
K.计算base图像直方图的中值mediam_histogram_value；
L.根据距离关系计算融合权重：
W_m(x,y)＝0.25*(255-abs(base_luma_pixel(x,y)-mediam_histogram_value))/255+0.25；
W_l(x,y)＝(1.0-W_m(x,y))*low_exposure_distance(x,y)/(low_exposure_distance(x,y)+high_exposure_distance(x,y))；
W_h(x,y)＝1.0-W_m(x,y)-W_l(x,y)；
权重比例求出后，进行亮度融合：
Y`(x,y)＝W_l(x,y)*low_luma_pixel(x,y)+W_m(x,y)*base_luma_pixel(x,y)+W_h(x,y)*high_luma_pixel(x,y)；
M.将Y`分量与base图像的UV分量合并得到多曝光融合图像；
Exposure_fusion_image＝merge(Y`,base_image_u,base_image_v)；
N.多角度光照图像融合：
输入2个角度打光生成多曝光融合得到图像A，B；
采用opencv已有的Mertens算法进行融合生成具有宽动态范围的HDR图像；
Mertens算法的权重计算原理大致如下:
首先分别每幅图像的contrast,saturation,well-exposure权重，然后对3者权重值做加权融合成一个权重；
计算全部图像的权重和，对各幅图像权重做归一化；
金字塔操作：计算RGB拉普拉斯和高斯金字塔，相乘得到金字塔图像权重；
对应层次金字塔图像权重融合；
金字塔图像重构融合；
最后线性缩放至[0,1]范围，得到HDR结果图像；
如图5-图6所示。
综上所述：该多角度光照消除反光、多帧多角度光照图像融合算法，对各组高、中、低曝光3张图片进行基于亮度的权重融合，实现手机表面质量检测自动化，提高检测效率和准确率。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (5)
1.多角度光照消除反光、多帧多角度光照图像融合算法，其特征在于：包括如下步骤：
S1、让4个条形灯均匀分布在手机的四个角落，单独打开某光源时各自产生的反光点不会重合；
S2、拍照时分时切换条形光源分别拍摄单光源打光的多帧曝光图片；
S3、每个光源都拍摄高曝光、中曝光、低曝光三帧图片，用低曝光图片寻找反光点，具体方法如下：
A、转灰度图；
B、基于阈值的二值化；
C、腐蚀；
D、高斯模糊；
E、得到轮廓mask；
S4、面板灯拍照图片3张；
S5、对3张不同曝光输入图像进行配准对齐；
S6、将对齐后图片从RGB转到YUV域；
S7、分离出Y通道，对各组高、中、低曝光3张图片进行基于亮度的权重融合，方法如下：
F、分别对3种曝光图像以24X24的滑动窗口进行遍历，求以某像素为中心的平均亮度分布矩阵；
G、分别对3各亮度矩阵元素求和，以median值所在的图像为base；
H、遍历base图像，用3个亮度矩阵分别计算另外2个图像与base图片的距离值；
I、计算base图像直方图的中值mediam_histogram_value；
J、根据距离关系计算融合权重，权重比例求出后，进行亮度融合；
K、将图像合并得到多曝光融合图像；
L、多角度光照图像融合。
2.根据权利要求1所述的多角度光照消除反光、多帧多角度光照图像融合算法，其特征在于：所述步骤S4中拍照，4个条形灯，分别为0#、1#、2#和3#，其中0#和2#一组拍摄3张，顺序依次为高中低曝光，1#和3#一组拍摄3张，2个绿光灯一组拍摄3张。
3.根据权利要求1所述的多角度光照消除反光、多帧多角度光照图像融合算法，其特征在于：所述步骤S5中对齐算法来源于opencv库，基本原理是分别获取各图像的特征，然后进行特征匹配，求解对齐矩阵。
4.根据权利要求1所述的多角度光照消除反光、多帧多角度光照图像融合算法，其特征在于：所述步骤S7中，多角度光照图像融合中输入2个角度打光生成多曝光融合得到图像A，B，采用opencv已有的Mertens算法进行融合生成具有宽动态范围的HDR图像。
5.根据权利要求4所述的多角度光照消除反光、多帧多角度光照图像融合算法，其特征在于：所述Mertens算法的权重计算原理大致如下：
101、首先分别每幅图像的contrast,saturation,well-exposure权重，然后对3者权重值做加权融合成一个权重；
102、计算全部图像的权重和，对各幅图像权重做归一化；
103、金字塔操作：计算RGB拉普拉斯和高斯金字塔，相乘得到金字塔图像权重；
104、对应层次金字塔图像权重融合；
105、金字塔图像重构融合；
106、最后线性缩放至[0，1]范围，得到HDR结果图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111613667.5A CN114418912B (zh) | 2021-12-27 | 2021-12-27 | 多角度光照消除反光、多帧多角度光照图像融合算法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111613667.5A CN114418912B (zh) | 2021-12-27 | 2021-12-27 | 多角度光照消除反光、多帧多角度光照图像融合算法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114418912A true CN114418912A (zh) | 2022-04-29 |
| CN114418912B CN114418912B (zh) | 2024-05-14 |
Family
ID=81268891
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111613667.5A Active CN114418912B (zh) | 2021-12-27 | 2021-12-27 | 多角度光照消除反光、多帧多角度光照图像融合算法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114418912B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130028509A1 (en) * | 2011-07-28 | 2013-01-31 | Samsung Electronics Co., Ltd. | Apparatus and method for generating high dynamic range image from which ghost blur is removed using multi-exposure fusion |
| WO2019071981A1 (zh) * | 2017-10-12 | 2019-04-18 | 北京大学深圳研究生院 | 一种基于多曝光生成再融合框架的图像增强方法 |
| CN111311509A (zh) * | 2020-01-20 | 2020-06-19 | 上海理工大学 | 一种非正常曝光图像自适应校正方法 |
| CN111986129A (zh) * | 2020-06-30 | 2020-11-24 | 普联技术有限公司 | 基于多摄图像融合的hdr图像生成方法、设备及存储介质 |
| CN112634187A (zh) * | 2021-01-05 | 2021-04-09 | 安徽大学 | 基于多重权重映射的宽动态融合算法 |
| CN113222954A (zh) * | 2021-05-21 | 2021-08-06 | 大连海事大学 | 基于补丁对齐的全局梯度下的多曝光图像无鬼影融合方法 |
| CN113674181A (zh) * | 2020-05-13 | 2021-11-19 | 武汉Tcl集团工业研究院有限公司 | 一种多曝光图像的对齐融合方法及设备 |
-
2021
- 2021-12-27 CN CN202111613667.5A patent/CN114418912B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130028509A1 (en) * | 2011-07-28 | 2013-01-31 | Samsung Electronics Co., Ltd. | Apparatus and method for generating high dynamic range image from which ghost blur is removed using multi-exposure fusion |
| WO2019071981A1 (zh) * | 2017-10-12 | 2019-04-18 | 北京大学深圳研究生院 | 一种基于多曝光生成再融合框架的图像增强方法 |
| CN111311509A (zh) * | 2020-01-20 | 2020-06-19 | 上海理工大学 | 一种非正常曝光图像自适应校正方法 |
| CN113674181A (zh) * | 2020-05-13 | 2021-11-19 | 武汉Tcl集团工业研究院有限公司 | 一种多曝光图像的对齐融合方法及设备 |
| CN111986129A (zh) * | 2020-06-30 | 2020-11-24 | 普联技术有限公司 | 基于多摄图像融合的hdr图像生成方法、设备及存储介质 |
| CN112634187A (zh) * | 2021-01-05 | 2021-04-09 | 安徽大学 | 基于多重权重映射的宽动态融合算法 |
| CN113222954A (zh) * | 2021-05-21 | 2021-08-06 | 大连海事大学 | 基于补丁对齐的全局梯度下的多曝光图像无鬼影融合方法 |
Non-Patent Citations (1)
| Title |
|---|
| 沙鸣之;: "基于金字塔的多曝光图像融合系统", 电子制作, no. 17, 12 September 2018 (2018-09-12) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114418912B (zh) | 2024-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | Nighttime haze removal based on a new imaging model | |
| JP6724045B2 (ja) | 畳み込み色補正 | |
| AU2020100175A4 (en) | Retinex-based progressive image enhancement method | |
| WO2022100242A1 (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
| Kong et al. | A physically-based approach to reflection separation: from physical modeling to constrained optimization | |
| CN112734650B (zh) | 一种基于虚拟多曝光融合的不均匀光照图像增强方法 | |
| WO2022021999A1 (zh) | 一种图像处理方法及图像处理装置 | |
| WO2022000397A1 (zh) | 低照度图像增强方法、装置及计算机设备 | |
| CN104639920B (zh) | 基于单帧双次曝光模式的宽动态融合方法 | |
| CN107071234A (zh) | 一种镜头阴影校正方法及装置 | |
| Feng et al. | Low-light image enhancement based on multi-illumination estimation | |
| CN102509093A (zh) | 近距离数字化证件信息采集系统 | |
| JP2003101876A5 (zh) | ||
| WO2022206156A1 (zh) | 一种图像生成方法、装置、设备及存储介质 | |
| CN104613888B (zh) | 一种火焰烟雾环境下透过烟雾物体变形测量方法 | |
| Huang et al. | Deprocams: Simultaneous relighting, compensation and shape reconstruction for projector-camera systems | |
| Honda et al. | Make my day-high-fidelity color denoising with near-infrared | |
| CN117876562A (zh) | 一种基于消费级rgb-d传感器对非朗伯表面进行纹理映射的优化方法 | |
| CN114418912A (zh) | 多角度光照消除反光、多帧多角度光照图像融合算法 | |
| Liu et al. | Single-image night haze removal based on color channel transfer and estimation of spatial variation in atmospheric light | |
| CN115655151B (zh) | 基于彩色相位测量偏折术的手机后盖板检测装置及方法 | |
| CN110021067B (zh) | 一种基于镜面反射梯度偏振光构建三维人脸法线的方法 | |
| Zhang et al. | Nighttime haze removal with illumination correction | |
| CN108898566B (zh) | 一种利用时空照度图的低照度彩色视频增强方法 | |
| CN116597252A (zh) | 图片生成方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |