CN114418912B - 多角度光照消除反光、多帧多角度光照图像融合算法 - Google Patents

多角度光照消除反光、多帧多角度光照图像融合算法 Download PDF

Info

Publication number
CN114418912B
CN114418912B CN202111613667.5A CN202111613667A CN114418912B CN 114418912 B CN114418912 B CN 114418912B CN 202111613667 A CN202111613667 A CN 202111613667A CN 114418912 B CN114418912 B CN 114418912B
Authority
CN
China
Prior art keywords
exposure
image
pictures
angle illumination
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111613667.5A
Other languages
English (en)
Other versions
CN114418912A (zh
Inventor
熊林云
蔡勤科
孟祥武
干宝明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Image Technology Co ltd
Original Assignee
Hangzhou Image Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Image Technology Co ltd filed Critical Hangzhou Image Technology Co ltd
Priority to CN202111613667.5A priority Critical patent/CN114418912B/zh
Publication of CN114418912A publication Critical patent/CN114418912A/zh
Application granted granted Critical
Publication of CN114418912B publication Critical patent/CN114418912B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了多角度光照消除反光、多帧多角度光照图像融合算法，包括如下步骤：S1、让4个条形灯均匀分布在手机的四个角落，单独打开某光源时各自产生的反光点不会重合；S2、拍照时分时切换条形光源分别拍摄单光源打光的多帧曝光图片；S3、每个光源都拍摄高曝光、中曝光、低曝光三帧图片，用低曝光图片寻找反光点，具体方法如下：A、转灰度图；B、基于阈值的二值化；C、腐蚀；D、高斯模糊；E、得到轮廓mask；S4、面板灯拍照图片3张。该多角度光照消除反光、多帧多角度光照图像融合算法，对各组高、中、低曝光3张图片进行基于亮度的权重融合，实现手机表面质量检测自动化，提高检测效率和准确率。

Description

多角度光照消除反光、多帧多角度光照图像融合算法
技术领域
本发明涉及外观缺陷检测技术领域，具体为多角度光照消除反光、多帧多角度光照图像融合算法。
背景技术
二手手机交易中外观缺陷检测技术对于手机商品估价和质量评估具有重要的意义，在工业检测领域，待检测的物品一般都是具有平坦面、尺寸小的特点，而一台手机，具有正反两面，四个侧面以及四个转角，不同类型手机形状、尺寸长短、厚度不一，手机外壳和侧面机身材料和色彩的差异也会造成表面反光特性不同。
传统工业检测的方法在对手机表面拍摄的过程中容易出现照片反光的情况，反光的照片容易影响检测结果，从而降低拍照装置的工作效率。为此，我们提出多角度光照消除反光、多帧多角度光照图像融合算法。
发明内容
本发明的目的在于提供多角度光照消除反光、多帧多角度光照图像融合算法，以解决上述背景技术中提出传统工业检测的方法在对手机表面拍摄的过程中容易出现照片反光的情况，反光的照片容易影响检测结果，从而降低拍照装置的工作效率的问题。
为实现上述目的，本发明提供如下技术方案：多角度光照消除反光、多帧多角度光照图像融合算法，包括如下步骤：
S1、让4个条形灯均匀分布在手机的四个角落，单独打开某光源时各自产生的反光点不会重合；
S2、拍照时分时切换条形光源分别拍摄单光源打光的多帧曝光图片；
S3、每个光源都拍摄高曝光、中曝光、低曝光三帧图片，用低曝光图片寻找反光点，具体方法如下：
A、转灰度图；
B、基于阈值的二值化；
C、腐蚀；
D、高斯模糊；
E、得到轮廓mask；
S4、面板灯拍照图片3张；
S5、对3张不同曝光输入图像进行配准对齐；
S6、将对齐后图片从RGB转到YUV域；
S7、分离出Y通道，对各组高、中、低曝光3张图片进行基于亮度的权重融合，方法如下：
F、分别对3种曝光图像以24X24的滑动窗口进行遍历，求以某像素为中心的平均亮度分布矩阵；
G、分别对3各亮度矩阵元素求和，以median值所在的图像为base；
H、遍历base图像，用3个亮度矩阵分别计算另外2个图像与base图片的距离值；
I、计算base图像直方图的中值mediam_histogram_value；
J、根据距离关系计算融合权重，权重比例求出后，进行亮度融合；
K、将图像合并得到多曝光融合图像；
L、多角度光照图像融合。
优选的，所述步骤S4中拍照，4个条形灯，分别为0#、1#、2#和3#，其中0#和2#一组拍摄3张，顺序依次为高中低曝光，1#和3#一组拍摄3张，2个绿光灯一组拍摄3张。
优选的，所述步骤S5中对齐算法来源于opencv库，基本原理是分别获取各图像的特征，然后进行特征匹配，求解对齐矩阵。
优选的，所述步骤S7中，多角度光照图像融合中输入2个角度打光生成多曝光融合得到图像A，B，采用opencv已有的Mertens算法进行融合生成具有宽动态范围的HDR图像。
优选的，所述Mertens算法的权重计算原理大致如下:
101、首先分别每幅图像的contrast,saturation,well-exposure权重，然后对3者权重值做加权融合成一个权重；
102、计算全部图像的权重和，对各幅图像权重做归一化；
103、金字塔操作：计算RGB拉普拉斯和高斯金字塔，相乘得到金字塔图像权重；
104、对应层次金字塔图像权重融合；
105、金字塔图像重构融合；
106、最后线性缩放至[0，1]范围，得到HDR结果图像。
与现有技术相比，本发明的有益效果是：该多角度光照消除反光、多帧多角度光照图像融合算法，对各组高、中、低曝光3张图片进行基于亮度的权重融合，实现手机表面质量检测自动化，提高检测效率和准确率。
附图说明
图1是本发明低曝光反光点一示意图；
图2是本发明反光点一mask示意图；
图3是本发明低曝光反光点二示意图；
图4是本发明反光点二mask示意图；
图5是本发明待融合图片一；
图6是本发明待融合图片二。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-6，本发明提供一种技术方案：多角度光照融合消除反光算法：
S1、让4个条形灯均匀分布在手机的四个角落，单独打开某光源时各自产生的反光点不会重合；
S2、拍照时分时切换条形光源分别拍摄单光源打光的多帧曝光图片；
S3、每个光源都拍摄高曝光、中曝光、低曝光三帧图片，用低曝光图片寻找反光点，具体方法如下：
A.转灰度图；
B.基于阈值的二值化；
C.腐蚀；
D.高斯模糊；
E.得到轮廓mask；
图1-图4是一个实例反光点检测图片以及对应的反光点mask图片：
多帧曝光多角度光照图像融合算法：
S4、面板灯拍照图片3张(高中低3种曝光)，4个条形灯，0#和2#一组拍摄3张(高中低曝光)，1#和3#一组拍摄3张，2个绿光灯一组拍摄3张；
S5、对3张不同曝光输入图像进行配准对齐；
{frame_aligned_0,frame_aligned_1,frame_algned}＝AlignMTB(frame_0,frame_1,frame_2)；
对齐算法来源于opencv库，基本原理是分别获取各图像的特征，然后进行特征匹配，求解对齐矩阵。
S6、将对齐后图片从RGB转到YUV域；
S7、分离出Y通道，对各组高、中、低曝光3张图片进行基于亮度的权重融合，方法如下：
H.分别对3种曝光图像以24X24的滑动窗口进行遍历，求以某像素为中心的平均亮度分布矩阵；
I.分别对3各亮度矩阵元素求和，以median值所在的图像为base；
K.遍历base图像，用3个亮度矩阵分别计算另外2个图像与base图片的距离值：
low_exposure_distance(x,y)＝(base_luma_pixel(x,y)-low_luma_pixel(x,y))；
high_exposure_distance(x,y)＝(high_luma_pixel(x,y)-base_luma_pixel(x,y))；
K.计算base图像直方图的中值mediam_histogram_value；
L.根据距离关系计算融合权重：
W_m(x,y)＝0.25*(255-abs(base_luma_pixel(x,y)-mediam_histogram_value))/255+0.25；
W_l(x,y)＝(1.0-W_m(x,y))*low_exposure_distance(x,y)/(low_exposure_distance(x,y)+high_exposure_distance(x,y))；
W_h(x,y)＝1.0-W_m(x,y)-W_l(x,y)；
权重比例求出后，进行亮度融合：
Y`(x,y)＝W_l(x,y)*low_luma_pixel(x,y)+W_m(x,y)*base_luma_pixel(x,y)+W_h(x,y)*high_luma_pixel(x,y)；
M.将Y`分量与base图像的UV分量合并得到多曝光融合图像；
Exposure_fusion_image＝merge(Y`,base_image_u,base_image_v)；
N.多角度光照图像融合：
输入2个角度打光生成多曝光融合得到图像A，B；
采用opencv已有的Mertens算法进行融合生成具有宽动态范围的HDR图像；
Mertens算法的权重计算原理大致如下:
首先分别每幅图像的contrast,saturation,well-exposure权重，然后对3者权重值做加权融合成一个权重；
计算全部图像的权重和，对各幅图像权重做归一化；
金字塔操作：计算RGB拉普拉斯和高斯金字塔，相乘得到金字塔图像权重；
对应层次金字塔图像权重融合；
金字塔图像重构融合；
最后线性缩放至[0,1]范围，得到HDR结果图像；
如图5-图6所示。
综上所述：该多角度光照消除反光、多帧多角度光照图像融合算法，对各组高、中、低曝光3张图片进行基于亮度的权重融合，实现手机表面质量检测自动化，提高检测效率和准确率。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (5)

1.消除反光的多帧多角度光照图像融合方法，其特征在于：包括如下步骤：
S1、让4个条形灯均匀分布在手机的四个角落，单独打开某光源时各自产生的反光点不会重合；
S2、拍照时分时切换条形光源分别拍摄单光源打光的多帧曝光图片；
S3、每个光源都拍摄高曝光、中曝光、低曝光三帧图片，用低曝光图片寻找反光点，具体方法如下：
A、转灰度图；
B、基于阈值的二值化；
C、腐蚀；
D、高斯模糊；
E、得到轮廓mask；
S4、面板灯拍照图片3张；
S5、对3张不同曝光输入图像进行配准对齐；
S6、将对齐后图片从RGB转到YUV域；
S7、分离出Y通道，对各组高、中、低曝光3张图片进行基于亮度的权重融合，方法如下：
F、分别对3种曝光图像以24×24的滑动窗口进行遍历，求以某像素为中心的平均亮度分布矩阵；
G、分别对3个亮度矩阵元素求和，以median值所在的图像为base；
H、遍历base图像，用3个亮度矩阵分别计算另外2个图像与base图片的距离值；
I、计算base图像直方图的中值mediam_histogram_value；
J、根据距离关系计算融合权重，权重比例求出后，进行亮度融合；
K、将图像合并得到多曝光融合图像；
L、多角度光照图像融合。
2.根据权利要求1所述的消除反光的多帧多角度光照图像融合方法，其特征在于：所述步骤S4中拍照，4个条形灯，分别为0#、1#、2#和3#，其中0#和2#一组拍摄3张，顺序依次为高中低曝光，1#和3#一组拍摄3张，2个绿光灯一组拍摄3张。
3.根据权利要求1所述的消除反光的多帧多角度光照图像融合方法，其特征在于：所述步骤S5中对齐算法来源于opencv库，基本原理是分别获取各图像的特征，然后进行特征匹配，求解对齐矩阵。
4.根据权利要求1所述的消除反光的多帧多角度光照图像融合方法，其特征在于：所述步骤S7中，多角度光照图像融合中输入2个角度打光生成多曝光融合得到图像A，B，采用opencv已有的Mertens算法进行融合生成具有宽动态范围的HDR图像。
5.根据权利要求4所述的消除反光的多帧多角度光照图像融合方法，其特征在于：所述Mertens算法的权重计算原理如下：
101、首先分别获取每幅图像的contrast,saturation,well-exposure权重，然后对3者权重值做加权融合成一个权重；
102、计算全部图像的权重和，对各幅图像权重做归一化；
103、金字塔操作：计算RGB拉普拉斯和高斯金字塔，相乘得到金字塔图像权重；
104、对应层次金字塔图像权重融合；
105、金字塔图像重构融合；
106、最后线性缩放至[0，1]范围，得到HDR结果图像。
CN202111613667.5A 2021-12-27 2021-12-27 多角度光照消除反光、多帧多角度光照图像融合算法 Active CN114418912B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111613667.5A CN114418912B (zh) 2021-12-27 2021-12-27 多角度光照消除反光、多帧多角度光照图像融合算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111613667.5A CN114418912B (zh) 2021-12-27 2021-12-27 多角度光照消除反光、多帧多角度光照图像融合算法

Publications (2)

Publication Number Publication Date
CN114418912A CN114418912A (zh) 2022-04-29
CN114418912B true CN114418912B (zh) 2024-05-14

Family

ID=81268891

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111613667.5A Active CN114418912B (zh) 2021-12-27 2021-12-27 多角度光照消除反光、多帧多角度光照图像融合算法

Country Status (1)

Country Link
CN (1) CN114418912B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019071981A1 (zh) * 2017-10-12 2019-04-18 北京大学深圳研究生院 一种基于多曝光生成再融合框架的图像增强方法
CN111311509A (zh) * 2020-01-20 2020-06-19 上海理工大学 一种非正常曝光图像自适应校正方法
CN111986129A (zh) * 2020-06-30 2020-11-24 普联技术有限公司 基于多摄图像融合的hdr图像生成方法、设备及存储介质
CN112634187A (zh) * 2021-01-05 2021-04-09 安徽大学 基于多重权重映射的宽动态融合算法
CN113222954A (zh) * 2021-05-21 2021-08-06 大连海事大学 基于补丁对齐的全局梯度下的多曝光图像无鬼影融合方法
CN113674181A (zh) * 2020-05-13 2021-11-19 武汉Tcl集团工业研究院有限公司 一种多曝光图像的对齐融合方法及设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101699919B1 (ko) * 2011-07-28 2017-01-26 삼성전자주식회사 다중 노출 퓨전 기반에서 고스트 흐림을 제거한 ｈｄｒ 영상 생성 장치 및 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019071981A1 (zh) * 2017-10-12 2019-04-18 北京大学深圳研究生院 一种基于多曝光生成再融合框架的图像增强方法
CN111311509A (zh) * 2020-01-20 2020-06-19 上海理工大学 一种非正常曝光图像自适应校正方法
CN113674181A (zh) * 2020-05-13 2021-11-19 武汉Tcl集团工业研究院有限公司 一种多曝光图像的对齐融合方法及设备
CN111986129A (zh) * 2020-06-30 2020-11-24 普联技术有限公司 基于多摄图像融合的hdr图像生成方法、设备及存储介质
CN112634187A (zh) * 2021-01-05 2021-04-09 安徽大学 基于多重权重映射的宽动态融合算法
CN113222954A (zh) * 2021-05-21 2021-08-06 大连海事大学 基于补丁对齐的全局梯度下的多曝光图像无鬼影融合方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于金字塔的多曝光图像融合系统;沙鸣之;;电子制作;20180912(第17期);全文 *

Also Published As

Publication number Publication date
CN114418912A (zh) 2022-04-29

Similar Documents

Publication Publication Date Title
Wang et al. An experiment-based review of low-light image enhancement methods
Zhang et al. Fast haze removal for nighttime image using maximum reflectance prior
Zhang et al. Nighttime haze removal based on a new imaging model
CN112734650B (zh) 一种基于虚拟多曝光融合的不均匀光照图像增强方法
US7218792B2 (en) Stylized imaging using variable controlled illumination
CN104639920B (zh) 基于单帧双次曝光模式的宽动态融合方法
CN113358063B (zh) 一种基于相位加权融合的面结构光三维测量方法及系统
CN103646392B (zh) 逆光检测方法及设备
US6721461B1 (en) Method and apparatus using image subtraction and dynamic thresholding
CN106981053A (zh) 一种基于加权融合的水下图像增强方法
CN113241030B (zh) 一种显示屏亮度补偿方法、装置及电子设备
US9769430B1 (en) Imager system with median filter and method thereof
CN110163807B (zh) 一种基于期望亮通道的低照度图像增强方法
CN109729253B (zh) 一种基于彩色和独立红绿蓝光学图像叠合增强的方法
CN110087051B (zh) 基于hsv色彩空间的彩色图眩光去除方法及系统
CN110033509B (zh) 一种基于漫反射梯度偏振光构建三维人脸法线的方法
WO2022206156A1 (zh) 一种图像生成方法、装置、设备及存储介质
CN111968065A (zh) 一种亮度不均匀图像的自适应增强方法
CN117611501A (zh) 一种低照度图像增强方法、装置、设备及可读存储介质
CN110619652A (zh) 一种基于光流映射重复区域检测的图像配准鬼影消除方法
CN118333914B (zh) 一种高动态范围的光场数据白图像校正方法、系统及介质
CN113822826A (zh) 一种低照度图像亮度增强方法
CN114418912B (zh) 多角度光照消除反光、多帧多角度光照图像融合算法
CN103413305A (zh) 一种单幅图像的快速去雾方法、装置和图像处理系统
CN107339953A (zh) 一种适用于多反射场景的自适应照明优化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant