CN112734667A - 一种用于机器人焊接视觉的图像快速降噪模型建立方法 - Google Patents

一种用于机器人焊接视觉的图像快速降噪模型建立方法 Download PDF

Info

Publication number
CN112734667A
CN112734667A CN202110012679.6A CN202110012679A CN112734667A CN 112734667 A CN112734667 A CN 112734667A CN 202110012679 A CN202110012679 A CN 202110012679A CN 112734667 A CN112734667 A CN 112734667A
Authority
CN
China
Prior art keywords
irradiance
value
function
pixel
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110012679.6A
Other languages
English (en)
Inventor
李瑞峰
王珂
秦中昊
赵立军
葛连正
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN202110012679.6A priority Critical patent/CN112734667A/zh
Publication of CN112734667A publication Critical patent/CN112734667A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30152—Solder

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

一种用于机器人焊接视觉的图像快速降噪模型建立方法，属于成像技术领域。解决了机器人焊缝跟踪过程中需要快速降低飞溅噪音以及成像的问题。本发明先获取多帧曝光时长不同的标定图像；计算所有标定图像每个像素点的辐照度表达值；计算所有图像对应像素点辐照度表达值的加权平均值，作为对应像素点的最终的辐照度表达值；将所述辐照度表达值压缩成目标灰度值；任意选取两帧曝光时长不同的标定图像，构造带有映射关系的查找表，利用图形学操作方法，消除表格中的数据离群点与区域边缘的毛刺；将数据集中分布区域设定为脊线区域，通过像素邻域灰度平均的方法与卷积平均法对脊线区域数据进行修正；完成模型建立。本发明适用于图像快速降噪。

Description

一种用于机器人焊接视觉的图像快速降噪模型建立方法
技术领域
本发明属于成像技术领域。
背景技术
在制造业中，机器人焊接发挥着重要的作用，其中成像系统在焊缝识别跟踪中又至 关重要。在很多机器人焊缝跟踪中焊接飞溅噪音不可避免，这就在一定程度上使成像画面产生过曝光的情况，同时飞溅噪音可能干扰比如焊缝、导引激光等视觉信息。
申请公布号为CN111299763A的发明专利，提出了一种抗噪声干扰的激光视觉焊缝自动跟踪方法及系统，通过对抗神经网络解决焊接过程强噪声干扰问题，又如申请公布 号为CN111028159A的发明专利通过神经网络矫正带有噪声的图像，但是将此类方法应 用在焊接中，需要上位机具备强大的运算能力，对图像进行复杂的计算，耗时较长。申 请公布号为CN110072051A的明专利通过获取多帧图像并对它们进行合成，所得图像在 亮光和暗光区域均获得良好的可视效果，而应用此类方法同样需要进行大量计算，并且 方法重点针对静态目标，而焊接飞溅为运动目标，使得多帧图像信息不同，并不适用。PhotonFocus公司提出的LinLog技术(线性对数成像技术)，在图像传感器层面， 抑制了光电转化进程，使得接受少量光子的像素正常线性曝光，而接受大量光子的像素 以相对缓慢的速度接近灰度饱和，以达到高动态范围成像的目的，但获取的结果图像可 能存在强光‘晕开’的效果，使得部分画面清晰度变低。
发明内容
本发明目的是为了解决机器人焊缝跟踪过程中需要快速降低飞溅噪音以及成像的问题， 提供了一种用于机器人焊接视觉的图像快速降噪模型建立方法。
本发明所述一种用于机器人焊接视觉的图像快速降噪模型建立方法，具体包括：
步骤一、获取多帧曝光时长不同的标定图像；
步骤二、计算所有标定图像，每个像素点的辐照度表达值；
步骤三、计算所有图像对应像素点辐照度表达值的加权平均值，作为对应像素点的最 终的辐照度表达值；
步骤四、利用色调映射函数，将所述最终的辐照度表达值压缩成目标灰度值；
步骤五、任意选取两帧曝光时长不同的标定图像，利用两帧图像中每个对应像素点的 目标灰度值，构造带有映射关系的查找表，所述查找表的横纵坐标分别是曝光时间不同图 像的像素灰度值；
步骤六、利用图形学操作方法，消除表格中的数据离群点与区域边缘的毛刺；
步骤七、将数据集中分布区域设定为脊线区域，通过像素邻域灰度平均的方法与卷积 平均法对脊线区域数据进行修正；完成模型建立。
进一步地，本发明中，步骤一中多帧曝光时长不同的标定图像：至少包括一帧最短曝 光时间图像与一帧最长曝光时间图像，且曝光时间均不同，在采集过程中保持工业相机与 采集场景相对静止。
进一步地，本发明中，步骤二中计算所有标定图像，每个像素点的辐照度表达值的具 体方法为：
步骤二一、根据像素灰度与辐照度以及曝光时间的固有关系，建立关系函数；
步骤二二、设定关系函数的损失函数，利用最小二乘法，获得辐照度表达值函数；
步骤二三、将每个标定图像每个像素点的灰度和曝光时长代入辐照度表达值函数，获 得每个标定图像像素点的辐照度表达值。
进一步地，本发明中,步骤二二中设定关系函数g的损失函数，利用最小二乘法，获得 辐照度表达值函数的具体方法为：
设定关系函数的损失函数：
Figure BDA0002885575170000021
其中，g(Zij)＝lnEi+lnΔtj g(Zij)为关系函数，g(Zij)＝lnEi+lnΔtj，Δtj为第j帧标 定图像的曝光时长，Ei为第i个像素对应正是位置的辐照度表达值，Zij为第j帧标定图像的 第i个像素的灰度，w(Zij)为像素灰度等于Zij时所对应的权重，λ为函数Omap中第一项与第 二项的平衡参数，Zmax为像素灰度极大值，Zmin为像素灰度极小值，N为一帧图像的像素总数，P为标定图像的总帧数,g″(Zij)为函数g曲线的平滑控制参数，在像素灰度值Zij处的表达式为：
g″(Zij)＝g(Zij-1)-2g(Zij)+g(Zij+1)
当像素灰度靠近极值max，min时，权重采用类Sigmoid函数：
Figure BDA0002885575170000031
其中，γtrs为需要拟定的阈值；
利用最小二乘法，求解关系函数g(Zij)，获得辐照度表达值函数：
Ei＝exp(g(Zij)-lnΔtj)。
进一步地，步骤三中计算所有图像对应像素点辐照度表达值的加权平均值的具体方法 为：
将所有标定图像按照曝光时长由短到长升序排列，构建三维矩阵，所述三维矩阵的第 一层为最短曝光时长帧，最后一层为最长曝光时长帧；
从第1层到第n层依次搜索所有饱和像素点，并且记录该像素点的位置，并将具有饱 和像素点的层之后的m个层在对应所述饱和像素点位置的像素点剔除；获得有效像素点； 其中，m为大于1且小于n的整数；
计算三维矩阵第一、二维度中多个平面中的每个像素位置的有效像素点的辐照度表达 值，并计算所述辐照度表达值的加权平均值，其中，加权平均值计算采用的权重参数为灰 度权重因子。
进一步地，步骤四中利用的色调映射函数由非线性函数组成，含有输入输出两个维度， 输入维度的极小或极大值附近所形成的函数曲线斜率小于非极小或极大值附近的范围所形 成的函数曲线斜率。
进一步地，步骤五中任意选取两帧曝光时长不同的标定图像，利用两帧图像中每个对 应像素点的目标灰度值，构造带有映射关系的查找表的具体方法为：
建立空的二维矩阵，矩阵每个维度尺寸等于标定图像的灰度级数；
将两帧曝光时长不同的标定图像中相同像素位置的两个灰度值与二维矩阵的横坐标和 纵坐标对应，将像素点的目标灰度填到二维矩阵的对应位置。
进一步地，还包括步骤八,所述步骤八包括判断带有映射关系的查找表是否有空缺位， 若有空缺，空缺位在脊线区域左下方的，填充为对应空缺位上方的脊线区域边缘的数据， 若空缺位在脊线区域右上方的，填充为应空缺位左方的脊线区域边缘的数据。
本发明通过获取多帧标定图像，筛选有效像素，还原辐照度表达值，保证了还原结果 的准确性，通过第二次筛选有效未饱和像素，剔除了在反映辐照度表达值时失效的像素， 保证了色调映射输出的分辨率，通过构造查找表，形成输入和输出的映射关系，通过对查 找表修正和对其空缺位置补齐标定，形成有策略地响应的高动态相机成像模型，使标定好 的模型对于任意输入组合产生有效响应。用所述标定方法获得的模型，在机器人焊缝跟踪 应用中能够实现对飞溅噪音的降噪，使图像清晰度保持较高水平，由于整体模型基于查找 表，在应用中无需再进行图像处理或神经网络等耗时的复杂操作，能够快速地将成像与降 噪同时完成。
附图说明
图1是本发明所述方法的流程图；
图2为本发明所述模型建立示意图；
图3为本发明实施例提供的用于机器人焊接视觉的图像快速降噪模型建立方法在应用 阶段的示例图；
图4为采用LinLog技术对机器人焊接视觉的图像处理的效果图像。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地 描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本 发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他 实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组 合。
具体实施方式一：下面结合图1说明本实施方式，本实施方式所述用于机器人焊接视 觉的图像快速降噪模型建立方法，具体包括：
步骤一、获取多帧曝光时长不同的标定图像；
步骤二、计算所有标定图像，每个像素点的辐照度表达值；
步骤三、计算所有图像对应像素点辐照度表达值的加权平均值，作为对应像素点的最 终的辐照度表达值；
步骤四、利用色调映射函数，将所述最终的辐照度表达值压缩成目标灰度值；
步骤五、任意选取两帧曝光时长不同的标定图像，利用两帧图像中每个对应像素点的 目标灰度值，构造带有映射关系的查找表，所述查找表的横纵坐标分别是曝光时间不同图 像的像素灰度值；
步骤六、利用图形学操作方法，消除表格中的数据离群点与区域边缘的毛刺；
步骤七、将数据集中分布区域设定为脊线区域，通过像素邻域灰度平均的方法与卷积 平均法对脊线区域数据进行修正；完成模型建立。
本实施方式中，步骤七中数据集中分布区域为邻域能够互相连通的所有非空位置组成 的区域，所述邻域，即该坐标位置紧邻的8个坐标位置，所述相互连通就是中间没有空位。
进一步地，本实施方式中，步骤一中多帧曝光时长不同的标定图像：至少包括一帧最 短曝光时间图像与一帧最长曝光时间图像，且曝光时间均不同，在采集过程中保持工业相 机与采集场景相对静止。
本实施方式中，最短曝光时间不短于相机的单位曝光时间，最长曝光时间应该不使该 帧图像所有像素过曝。
进一步地，本实施方式中，步骤二种计算所有标定图像，每个像素点的辐照度表达值 的具体方法为：
步骤二一、根据像素灰度与辐照度以及曝光时间的固有关系，建立关系函数g；
步骤二二、设定关系函数g的损失函数，利用最小二乘法，获得辐照度表达值函数；
步骤二三、将每个标定图像每个像素点的灰度和曝光时长代入辐照度表达值函数，获 得每个标定图像像素点的辐照度表达值。
进一步地，步骤二二中设定关系函数的损失函数，利用最小二乘法，获得辐照度表达 值函数的具体方法为：
设定关系函数的损失函数：
Figure BDA0002885575170000051
其中，g(Zij)＝lnEi+lnΔtj g(Zij)为关系函数，g(Zij)＝lnEi+lnΔtj，Δtj为第j帧标 定图像的曝光时长，Ei为第i个像素对应正是位置的辐照度表达值，Zij为第j帧标定图像的 第i个像素的灰度，w(Zij)为像素灰度等于Zij时所对应的权重，λ为函数Omap中第一项与第 二项的平衡参数，Zmax为像素灰度极大值，Zmin为像素灰度极小值，N为一帧图像的像素总数，为标定图像的总帧数,g″(Zij)为函数g曲线的平滑控制参数，在像素灰度值Zij处的表达式为：
g″(Zij)＝g(Zij-1)-2g(Zij)+g(Zij+1)
当像素灰度靠近极值Zmax，Zmin时，权重采用类Sigmoid函数：
Figure BDA0002885575170000052
其中，γtrs为需要拟定的阈值，其值越大抑制效果越强，此处取70；
利用最小二乘法，求解关系函数g(Zij)，获得辐照度表达值函数：
Ei＝exp(g(Zij)-lnΔtj)。
进一步地，步骤三中计算所有图像对应像素点辐照度表达值的加权平均值的具体方法 为：
将所有标定图像按照曝光时长由短到长升序排列，构建三维矩阵，所述三维矩阵的第 一层为最短曝光时长帧，最后一层为最长曝光时长帧；
从第1层到第n层依次搜索所有饱和像素点，并且记录该像素点的位置，并将具有饱 和像素点的层之后的m个层在对应所述饱和像素点位置的像素点剔除；获得有效像素点； 其中，m为大于1且小于n的整数；
计算三维矩阵第一、二维度中多个平面中的每个像素位置的有效像素点的辐照度表达 值，并计算所述辐照度表达值的加权平均值，其中，加权平均值计算采用的权重参数为灰 度权重因子。
进一步地，步骤四中利用的色调映射函数由非线性函数组成，含有输入输出两个维度， 输入维度的极小或极大值附近所形成的函数曲线斜率小于非极小或极大值附近的范围所形 成的函数曲线斜率。
进一步地，步骤五中任意选取两帧曝光时长不同的标定图像，利用两帧图像中每个对 应像素点的目标灰度值，构造带有映射关系的查找表的具体方法为：
建立空的二维矩阵，矩阵每个维度尺寸等于标定图像的灰度级数；
将两帧曝光时长不同的标定图像中相同像素位置的两个灰度值与二维矩阵的横坐标和 纵坐标对应，将像素点的目标灰度填到二维矩阵的对应位置。
进一步地，还包括步骤八,所述步骤八包括判断带有映射关系的查找表是否有空缺位， 若有空缺，空缺位在脊线区域左下方的，填充为对应空缺位上方的脊线区域边缘的数据， 若空缺位在脊线区域右上方的，填充为应空缺位左方的脊线区域边缘的数据。
在本实施方式中，还包括对所述查找表进行修正并对其空缺位置进行补齐，包括：对 查找表中存在数据的非空位置所形成的区域进行图形学操作，消除离群点，与区域边缘的 毛刺，规定所剩余区域为脊线区域；按照该先验条件，对所述脊线区域的像素灰度进行平 滑，令脊线区域的灰度变化符合曝光规律。
在本发明的一个实施例中，所述对所述查找表进行修正并对其空缺位置进行补齐，还 包括：
找到查找表除了脊线区域意外的空缺区域；
当某空缺位置的短曝光坐标值大于其长曝光坐标值所对应的脊线上的最大短曝光坐标 值，则将所述最大短曝光坐标值，与所述空缺位置的长曝光坐标值的组合位置的灰度赋值 给所述空缺位置；
当某空缺位置的长曝光坐标值大于其短曝光坐标值所对应的脊线上的最大长曝光坐标 值，则将所述空缺位置的短曝光坐标值，与所述最大长曝光坐标值的组合位置的灰度赋值 给所述空缺位置；
短曝光坐标和长曝光坐标分别为最小值时的所有坐标位置设为期望最小灰度级，对剩 余空缺位置进行平滑插值，完成成像模型的标定。
具体实施例：结合图2至图4说明本实施例：
用于机器人焊缝跟踪快速降噪的高动态相机成像模型标定，应用于带有飞溅噪音的成 像过程。请参见图2，图2为本发明所述模型建立示意图,并用于机器人焊缝跟踪快速降噪 的高动态相机成像模型中，包括：
步骤101，获取多帧标定图像。
在本实施例中，所述获取多帧标定图像，包括两帧或两帧以上数量的图像，曝光时间 均不同，其中至少包括一帧最短曝光时长图像与一帧最长曝光时长图像，在采集过程中保 持工业相机与采集场景相对静止。对于工业相机参数而言，除曝光时长有区别，其他参数 的设定均与实际应用时的参数保持一致。
步骤102，对标定图像合成，得到辐照度表达值。
步骤103，提取任意两帧标定图像，对辐照度表达值压缩，将压缩结果与所述两帧标 定图像构造出带有映射关系的查找表。
步骤104，对查找表进行修正并对其空缺位置进行补齐，形成成像模型。
为了使标定更为准确，并且适用于焊缝跟踪中存在强光的实际应用情况，可以对采集 环境做进一步要求，对采集的标定图像的数据进行合理利用，并通过多帧标定图像计算目 标物体真实光强的反映情况，图2为本发明实施例所提供的第二种用于机器人焊缝跟踪快 速降噪的高动态相机成像模型标定方法的流程示意图，包括：
步骤201，选取采集场景，使相机视野包括接近焊缝跟踪场景的强光与弱光。
在本实施例中，所述采集过程，利用工业相机自身功能或外接设备触发工业相机电子 快门并控制曝光时长，并快速完成多帧标定图像的采集，随着采集过程开始到结束，所述 标定图像曝光时间不须呈现升序排列，但考虑后续数据整理的方便性，推荐按照曝光时长 升序排列进行采集。
所述采集场景，包括强光区域与弱光区域，工业相机视野内的目标物体的光辐射照度 的极值符合最终应用场景的光辐射照度的极值，所述强光区域所对应的目标物体处于辐照 度稳定不变的状态，利用自然光源或人为光源进行所述采集场景布置，即使工业相机视野 内部分区域包含太阳光或对准工业相机的强光手电。
所述工业相机应包括可二次开发的程序接口或能够被外接设备控制曝光开始与终止的 IO端，需要注意的是，通常相机默认功能中不具备步骤101中变时长曝光的功能，一种有 效的方法是可以通过FPGA开发板连接相机IO，通过VerilogHDL语言设计曝光时刻与时 长(高电平信号)与图像数据读出时刻与时长(低电平信号)，将比特流文件烧写到FPGA中，再将相机设置为脉冲宽度触发曝光的模式，准备开始采集。需要注意的一点是，图像 读出时间根据相机型号的不同有所差异，低电平信号应保留足够短(保证整体采集过程迅 速完成)但又不应过短，否则在上一帧未完全读出时便开始下一帧的读出，可能造成丢帧， 低电平信号的时长设计应通过多次实验得出。需要注意的另一点是，工业相机IO触发电压 可能为12伏或其他大于3.3伏的数值，FPGA或其他开发板IO一般提供3.3伏的输出，此 处可通过高频光耦合器进行电压转换。
步骤202，设置不同曝光时长，采集标定图像。
在本实施例中，曝光时间均不同，如标定图像数量超过两帧，将所有图像按照曝光时 间升序排列后，所有相邻两帧图像的曝光时间所呈现的比例关系应当相同。例如，以第一 帧曝光10微秒为最短曝光时长图像，并以下一帧曝光时长是前一帧2倍的比例进行曝光， 第二帧为20微秒，第三帧40微秒，直至第十二帧曝光20.48毫秒，一组标定图像获取完成。当然，为使获取的标定图像中的像素灰度不具有偶然性，可连续进行两组标定图像的获取，通过均值法减小误差。
步骤203，筛选出在较短曝光时长的标定图像中未发生饱和的有效像素。
在本实施例中，为防止存在像素点在最短曝光时长帧出现灰度饱和，而导致其他帧在 该像素点位置的灰度参考意义变小，需要对标定图像的像素进行有效筛选。对于曝光规律 来说，辐照度E不变，曝光时长Δt越大，曝光量X越大，所获图像的灰度越大，较短曝光时 长帧出现灰度饱和时，通常曝光大于该时长的帧也会处于饱和状态，除了恰好出现饱和的 一帧以及曝光时长小于该帧的帧，其他帧均不能反映X的真实状态。需要注意的一点是，由 于焊接电弧光强极强，即便是最短曝光时长的那一帧，灰度仍有可能出现饱和，用来模拟 焊接电弧光强的采集场景有相同情况，若利用同一像素的十二帧计算辐照度E，可能大部分 帧会对结果产生误导。
这里，将所有标定图像按照曝光时长由短到长升序排列，赋值到新的三维矩阵中，所 述矩阵第三维度为时序维度，第一层为最短曝光时长帧，最后一层为最长曝光时长帧，从 第一层到第n层搜索是否有饱和像素点，若有则记录第n层该像素点位置，并删除n加2层之后的所有层在该位置的像素点，所有帧余下像素为有效像素。当总层数为十二时，此处设定n最大为3。
步骤204，通过多帧标定图像中的有效像素计算辐照度表达值。
在本实施例中，根据像素灰度与辐照度以及曝光时间的固有关系，建立函数g，并写为： g(Zij)＝lnEi+lnΔtj，其中，Δtj为第j帧标定图像的曝光时长，Ei为第i个像素对应正是 位置的辐照度表达值，Zij为第j帧标定图像的第i个像素的灰度，根据普通成像设备2进 制8位深度的性能特点，函数Zij的取值范围从最小值Zmin到最大值Zmax设为从0到255，g为函数lnf-1的等价表达方式。所述函数f-1为函数f的逆函数，所述函数f为曝光量X到Zij的 映射关系，所述曝光量X为Ei与Δtj的乘积。
所述g函数中，Zij，Δtj为已知量，未知量包括Ei以及g(Zij)。所述函数f按照认知规律， 曝光量X越强导致相机所呈现的灰度越大，规定f为单调递增函数，同时规定逆函数f-1单 调递增，进而规定lnf-1即g函数单调递增。通过设定g函数的损失函数，并将所述损失函数最小化的方法，求g(Zij)。
设定损失函数表达式为：
Figure BDA0002885575170000091
其中，w(Zij)为 像素灰度等于Zij时所对应的权重，当像素灰度在靠近极值Zmax，Zmin时，认为其映射结果相较非极值附近的Zij更为不稳定，在计算过程中，对此类数据进行抑制，给予极值附近灰度较小权重，非极值附近灰度较大权重。
其中，g″(z)为函数g曲线的平滑控制参数，其在z处的表达式为g″(z)＝g(z-1)-2g(z)+g(z+1)，λ为函数Omap中第一项与第二项的平衡参数，增大λ令所述平滑控制参数 在损失函数最小化过程中起到更大作用。所述权重采用类Sigmoid函数
Figure BDA0002885575170000101
其中，γtrs为阈值，其值越大抑制效果越强，此处取70。对所述损失函数使用最小二乘法，求得函数g。需要注意的一点是，由于真实辐 照度并没有参考数值，在使用最小二乘法的过程中，标定Zij的中点值，使得
Figure BDA0002885575170000102
得到的结果称为辐照度表达值，Ei＝exp(g(Zij)-lnΔtj)。
对于采集场景所对应的每帧标定图像中每一个像素位置，利用求取的所述g函数曲线以 及已知的曝光时间先验条件和像素灰度，计算其辐照度表达值Ei。通过加权平均的方式综 合所有筛选出来的有效像素的辐照度表达值，得到最终辐照度表达值，其中，权重仍为所 述w(Zij)。
步骤301，选取任意两帧标定图像，保留未饱和像素。
在本实施例中，从所有标定图像中选择两帧标定图像，记为短曝光图与长曝光图。选 取两帧的目的是为了标定该两帧作为输入值时的输出值。在应用场景中计划交替进行两种 时长的曝光，例如，40微秒与320微秒的帧交替曝光，第一个曝光时长为40微秒的帧作为第一对输入的短曝光时长帧，320微秒的帧作为第一对输入的长曝光时长帧，在第二次曝光40微秒时长时，该帧将与第一对输入中的320微秒的帧共同组成第二对输入。
每对输入的两种时长，应结合实际应用进行设计，一种可行的方法是，将十二帧标定 图像全部两两配对，与第一帧配对的组合有11种，与第二帧配对的其他组合有10种，以此类推，共有66种组合。所述选取任意两帧标定图像均在所述66种组合中。需要注意的 一点是，可以对所有组合进行接下来的操作，随后对每种组合得到的结果储存到记忆单元中，但通常一部分组合由于对应的输入并没有显示出明显差异性，故不对该部分组合进行选取，实际应用中也不选择该组合方式作为一对输入的两种曝光时长，例如20.48毫秒与10.24毫秒曝光时长的结果可能差异不大，并且图像大部分区域灰度饱和，没有参考价值。
将短曝光图、长曝光图、采集场景的辐照度表达值分别降维形成q行一列的数组，像 素位置相对应并合并整理成q行三列的数组，搜索第一列是否有像素是饱和灰度，若有则 删除该像素所对应的辐照度表达值。一帧中的饱和区域通常为多个像素，短曝光帧中的所 有饱和灰度位置可能为恰好饱和，或过饱和(但由于达到了最大灰度值，只能全部显示最 大灰度)，其所对应的辐照度表达值并非相同数值。故该区域的辐照度表达值在所选的两帧 标定图像中并不具有理论上的单一映射关系，这里使该类短、长曝光输入、辐照度表达值 失效，并将其替换为短曝光图中比饱和灰度小一个灰度级的像素位置所对应的所有辐照度 表达值的平均值。此时保留的像素较之前少了一个灰度级别，但有利于将所有未饱和像素 映射到理想的输出域中，保证了色调映射输出的分辨率。
步骤302，参考两帧标定图像，设计色调映射函数。
将调整后的辐照度表达值通过色调映射函数进行压缩，转化为普通成像设备可显示的 灰度值。所述色调映射函数，由幂函数，对数函数组成，分别为：y＝a*x2,0<x≤x1； y＝a1*ln(x)+b1,x1<x≤x2；y＝a2*ln(x)+b2,x2<x≤xmax。其中，x为辐照度表 达值，为保证将图像强光区域和弱光区域压缩到较小的范围，将中等光强度区域压缩到较 大可视范围，这里，x1设为所述数组第三列的最小值的2倍，x2设为所述数组第一列的平 均值的3倍的值元整后所对应的所述数组第三列的值，xmax为所述数组第三列的最大值， y|(x＝x1)设为10，y|(x＝x2)设为200,其中a、a1和a2分别为上述幂函数，对数函数的系 数，b1和b2为常数。
步骤303，将保留的像素所对应的辐照度表达值压缩到目标灰度。
将所有辐照度表达值带入所述色调映射函数，进行数值的压缩。
步骤304，将选取的图像与之像素位置对应的压缩结果分别作为输入与输出，建立查 找表。
在本实施例中，建立空的二维方阵，矩阵每个维度尺寸等于曝光图的灰度级数，当级 数为256时，矩阵尺寸为256*256。将所述m行三列的数组的第一、二列唯一化，将所有 第一列元素相同且第二列元素相同的行提取出来记为
Figure BDA0002885575170000111
与
Figure BDA0002885575170000112
其中，
Figure BDA0002885575170000113
为短曝光时长输入灰度，
Figure BDA0002885575170000114
为长曝光时长输入灰度，计算它们所对应的第三列元素的平均值，取值范围应为0到255，将所述平均值填入所述空的二维方阵中，填入位置的横纵坐标分别为
Figure BDA0002885575170000115
与
Figure BDA0002885575170000116
形成查找表，其中当矩阵尺寸为256*256时，
Figure BDA0002885575170000117
与
Figure BDA0002885575170000118
取值均为1到256；
将所述查找表记为
Figure BDA0002885575170000119
其中，
Figure BDA00028855751700001110
表示输入到 输出的查找操作，f(2)表示输出灰度。
对查找表非空区域进行处理的过程。
步骤401，图形学操作对查找表非空区域进行处理。
在本实施例中，对查找表中存在数据的非空位置所形成的区域进行图形学操作，消除 明显的离群点，与区域边缘的毛刺，使得区域边缘平滑，规定多数数据分布所在区域为脊 线区域。其中，由于查找表中的输入组合不可避免的存在偶然项，即
Figure RE-GDA00029929127800001111
与
Figure RE-GDA00029929127800001112
的对应关 系由于相机暗噪音、采集场景的微小变化等因素，使得一些组合坐标点的分布离开了脊线 区域，采用腐蚀膨胀等操作剔除该类数据。
步骤402，利用先验条件对查找表非空区域进行修正。
在本实施例中，对非空区域修正，使得脊线在数值上更合理。以8位深像素为例，从
Figure BDA0002885575170000121
到
Figure BDA0002885575170000122
查找表输出值呈现增大趋势，按照该先验条件，删除那些像素位置的灰度的导数不符合增大趋势的灰度，再将脊线区域内无数据的位置通过像素邻域灰度平均的方法进行填充，对所述脊线区域的像素灰度进行卷积平均， 令脊线区域内灰度值符合所述增大趋势。
需要注意的一点是，原始查找表中
Figure BDA0002885575170000123
的数据不应因为图形学操作而造成数据 范围缩小，尤其是最大值不应减小，
Figure BDA0002885575170000124
的数据理论上不应与
Figure BDA0002885575170000125
的数据近 似，即脊线区域宽度在
Figure BDA0002885575170000126
时为1。其他脊线区域宽度应大于或等于1。
短、长曝光灰度越大，所映射出的合成图灰度也应该越大，故为了保证在查找表的每 个坐标轴上每个位置对应的脊线区域上另一坐标轴最大值位置的灰度，随着该坐标轴坐标 数值变大而变大，采用逐行与逐列搜索的方式，删除脊线区域边缘不符合先验条件的点。
步骤403，综合焊缝跟踪场景下的噪音特点对查找表空区域，进行有策略地补齐填充， 完成对期望输出结果的标定。
在本实施例中，对于查找表的空缺位置进行补齐，考虑焊缝跟踪场景的飞溅通常亮度 高，速度快的特点，同一飞溅物一般在连续两帧图像中不会出现在同一位置，故如果在焊 接图像获取中出现某一帧某个位置的灰度与另一帧该位置的灰度，组合后的坐标值并未落 所述脊线区域，将人为剔除灰度较大的像素输入，凭借另一帧图像的灰度输入获取输出值， 根据本先验条件填充所述查找表，对空缺位置
Figure BDA0002885575170000127
执行以下赋值操作：
Figure BDA0002885575170000128
当在
Figure BDA0002885575170000129
的情况下
Figure BDA00028855751700001210
当在
Figure BDA00028855751700001211
的情况下
Figure BDA00028855751700001212
当
Figure BDA00028855751700001213
位于脊线区域的情况下
其中
Figure BDA00028855751700001214
为已知长曝光时长输入灰度的情况下脊线区域中所有可能的短 曝光时长的灰度中最大的灰度值，
Figure BDA00028855751700001215
为已知短曝光时长输入灰度的情况下脊 线区域中所有可能的长曝光时长的灰度中最大的灰度值。
当某空缺位置的短曝光坐标值大于其长曝光坐标值所对应的脊线上的最大短曝光坐标 值，则将所述最大短曝光坐标值，与所述空缺位置的长曝光坐标值的组合位置的灰度赋值 给所述空缺位置；当某空缺位置的长曝光坐标值大于其短曝光坐标值所对应的脊线上的最 大长曝光坐标值，则将所述空缺位置的短曝光坐标值，与所述最大长曝光坐标值的组合位 置的灰度赋值给所述空缺位置。
输入组合的坐标位于脊线区域时，输出结果无需与其他值对齐。
短曝光坐标和长曝光坐标分别为最小值时的所有坐标位置设为期望最小灰度级，这里 将所有
Figure BDA0002885575170000131
与
Figure BDA0002885575170000132
的坐标位置灰度置零，对剩余空缺位置进行平滑插值。经过以 上处理，完成快速降噪的高动态相机成像模型的标定。
需要注意的一点是，由于存在电弧、飞溅、烟尘等因素的真实场景的不可重复性，即 任何一帧图像均不可能存在另一幅相同的图像，所展示的对比图像也无法完全和被对比图 像呈现相同的场景画面，但展示的所有图像均反映了实验中的普遍情况，具有一定代表性。
在真实焊接条件下，采用LinLog技术对机器人焊接视觉的图像处理的效果图像作为对 比图像,如图4所示，,LinLog技术在图像传感器层面抑制了光电转化进程，使得接受少量 光子的像素正常线性曝光，而接受大量光子的像素以相对缓慢的速度接近灰度饱和，以达 到高动态范围成像的目的，Laplacian梯度函数、Brenner梯度函数、SMD，等是图像清晰 度的评价指标，对比效果见下表：
长曝光图 短曝光图 成像结果 对比图像
Laplacian 1.1789*10<sup>7</sup> 1.0837*10<sup>7</sup> 1.0921*10<sup>7</sup> 7.1274*10<sup>6</sup>
Brenner 8.3963*10<sup>5</sup> 2.7137*10<sup>5</sup> 1.158712*10<sup>6</sup> 4.11514*10<sup>5</sup>
SMD 2.44895*10<sup>5</sup> 1.90821*10<sup>5</sup> 2.87741*10<sup>5</sup> 8.7982*10<sup>4</sup>
SMD2 2.28262*10<sup>5</sup> 8.4698*10<sup>4</sup> 2.6452*10<sup>5</sup> 8.2786*10<sup>4</sup>
方差函数 2.8543*10<sup>4</sup> 2.6576*10<sup>5</sup> 3.0164*10<sup>4</sup> 1.7937*10<sup>4</sup>
熵函数 1.34715*10<sup>-1</sup> 7.289267*10<sup>-2</sup> 6.964143*10<sup>-2</sup> 5.864803*10<sup>-2</sup>
由上表可见，采用本发明所述模型后的成像结果的清晰度均优于对比图像，并且在前 五种评价指标下，其清晰度均优于所有或其中一个输入的曝光图。基于所述标定方法所得 到的模型在测试中给出输入数据，输出成像结果，运行速度在i5-7300移动版CPU上为95 帧/秒，在GTX1050移动版GPU上为990帧/秒。针对普通成像设备60帧/秒的工作性能， 该成像速度基本满足实时性要求。
虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例 仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多 修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范 围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要 求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其他 所述实施例中。

Claims (8)

1.一种用于机器人焊接视觉的图像快速降噪模型建立方法，其特征在于，具体包括：
步骤一、获取多帧曝光时长不同的标定图像；
步骤二、计算所有标定图像，每个像素点的辐照度表达值；
步骤三、计算所有图像对应像素点辐照度表达值的加权平均值，作为对应像素点的最终的辐照度表达值；
步骤四、利用色调映射函数，将所述最终的辐照度表达值压缩成目标灰度值；
步骤五、任意选取两帧曝光时长不同的标定图像，利用两帧图像中每个对应像素点的目标灰度值，构造带有映射关系的查找表，所述查找表的横纵坐标分别是曝光时间不同图像的像素灰度值；
步骤六、利用图形学操作方法，消除表格中的数据离群点与区域边缘的毛刺；
步骤七、将数据集中分布区域设定为脊线区域，通过像素邻域灰度平均的方法与卷积平均法对脊线区域数据进行修正；完成模型建立。
2.根据权利要求1所述的一种用于机器人焊接视觉的图像快速降噪模型建立方法，其特征在于，步骤一中多帧曝光时长不同的标定图像：至少包括一帧最短曝光时间图像与一帧最长曝光时间图像，且曝光时间均不同，在采集过程中保持工业相机与采集场景相对静止。
3.根据权利要求1或2所述的一种用于机器人焊接视觉的图像快速降噪模型建立方法，其特征在于，步骤二中计算所有标定图像，每个像素点的辐照度表达值的具体方法为：
步骤二一、根据像素灰度与辐照度以及曝光时间的固有关系，建立关系函数；
步骤二二、设定关系函数的损失函数，利用最小二乘法，获得辐照度表达值函数；
步骤二三、将每个标定图像每个像素点的灰度和曝光时长代入辐照度表达值函数，获得每个标定图像像素点的辐照度表达值。
4.根据权利要求3所述的一种用于机器人焊接视觉的图像快速降噪模型建立方法，其特征在于，步骤二二中设定关系函数的损失函数，利用最小二乘法，获得辐照度表达值函数的具体方法为：
设定关系函数的损失函数：
Figure FDA0002885575160000011
其中，g(Zij)＝lnEi+lnΔtj g(Zij)为关系函数，g(Zij)＝lnEi+lnΔtj，Δtj为第j帧标定图像的曝光时长，Ei为第i个像素对应正是位置的辐照度表达值，Zij为第j帧标定图像的第i个像素的灰度，w(Zij)为像素灰度等于Zij时所对应的权重，λ为函数Omap中第一项与第二项的平衡参数，Zmax为像素灰度极大值，Zmin为像素灰度极小值，N为一帧图像的像素总数，P为标定图像的总帧数，g″(Zij)为函数g曲线的平滑控制参数，在像素灰度值Zij处的表达式为：
g″(Zij)＝g(Zij-1)-2g(Zij)+g(Zij+1)
当像素灰度靠近极值Zmax，Zmin时，权重采用类Sigmoid函数：
Figure FDA0002885575160000021
其中，γtrs为需要拟定的阈值；
利用最小二乘法，求解关系函数g(Zij)，获得辐照度表达值函数：
Ei＝exp(g(Zij)-lnΔtj)。
5.根据权利要求1、2或4所述的一种用于机器人焊接视觉的图像快速降噪模型建立方法，其特征在于，步骤三中计算所有图像对应像素点辐照度表达值的加权平均值的具体方法为：
将所有标定图像按照曝光时长由短到长升序排列，构建三维矩阵，所述三维矩阵的第一层为最短曝光时长帧，最后一层为最长曝光时长帧；
从第1层到第n层依次搜索所有饱和像素点，将具有饱和像素点层之后的m个层在对应所述饱和像素点位置的像素点剔除；获得有效像素点；其中，m为大于1且小于n的整数；
计算三维矩阵第一、二维度中多个平面中的每个像素位置的有效像素点的辐照度表达值，并计算所述辐照度表达值的加权平均值，其中，加权平均值计算采用的权重参数为灰度权重因子。
6.根据权利要求3所述的一种用于机器人焊接视觉的图像快速降噪模型建立方法，其特征在于，步骤四中利用的色调映射函数由非线性函数组成，含有输入输出两个维度，输入维度的极小或极大值附近所形成的函数曲线斜率小于非极小或极大值附近的范围所形成的函数曲线斜率。
7.根据权利要求3所述的一种用于机器人焊接视觉的图像快速降噪模型建立方法，其特征在于，步骤五中任意选取两帧曝光时长不同的标定图像，利用两帧图像中每个对应像素点的目标灰度值，构造带有映射关系的查找表的具体方法为：
建立空的二维矩阵，矩阵每个维度尺寸等于标定图像的灰度级数；
将两帧曝光时长不同的标定图像中相同像素位置的两个灰度值与二维矩阵的横坐标和纵坐标对应，将像素点的目标灰度填到二维矩阵的对应位置。
8.根据权利要求3所述的一种用于机器人焊接视觉的图像快速降噪模型建立方法，其特征在于，还包括步骤八,所述步骤八包括判断带有映射关系的查找表是否有空缺位，若有空缺，空缺位在脊线区域左下方的，填充为对应空缺位上方的脊线区域边缘的数据，若空缺位在脊线区域右上方的，填充为应空缺位左方的脊线区域边缘的数据。
CN202110012679.6A 2021-01-06 2021-01-06 一种用于机器人焊接视觉的图像快速降噪模型建立方法 Pending CN112734667A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110012679.6A CN112734667A (zh) 2021-01-06 2021-01-06 一种用于机器人焊接视觉的图像快速降噪模型建立方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110012679.6A CN112734667A (zh) 2021-01-06 2021-01-06 一种用于机器人焊接视觉的图像快速降噪模型建立方法

Publications (1)

Publication Number Publication Date
CN112734667A true CN112734667A (zh) 2021-04-30

Family

ID=75589863

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110012679.6A Pending CN112734667A (zh) 2021-01-06 2021-01-06 一种用于机器人焊接视觉的图像快速降噪模型建立方法

Country Status (1)

Country Link
CN (1) CN112734667A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113301264A (zh) * 2021-07-26 2021-08-24 北京博清科技有限公司 一种图像亮度调整方法、装置、电子设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113301264A (zh) * 2021-07-26 2021-08-24 北京博清科技有限公司 一种图像亮度调整方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
Ancuti et al. Single-scale fusion: An effective approach to merging images
CN107408296B (zh) 用于高动态范围图像的实时噪声消除和图像增强的方法以及系统
JP2021526248A (ja) シングルショットｈｄｒカラーイメージセンサからのｈｄｒ画像生成
CN111669514B (zh) 高动态范围成像方法和装置
US9098534B2 (en) Image display system, image display method, social network service system, and computer-readable medium
CN113689578B (zh) 一种人体数据集生成方法及装置
CN104809710A (zh) 图像去噪方法以及使用该方法的装置
CN112686802A (zh) 图像拼接方法、装置、设备和存储介质
CN112712485A (zh) 一种图像融合方法及装置
DE102020133963A1 (de) Systeme und Verfahren zur Abbildrauschunterdrückung unter Verwendung von tiefen gefalteten Netzwerken
CN114257738A (zh) 自动曝光方法、装置、设备及存储介质
CN112734667A (zh) 一种用于机器人焊接视觉的图像快速降噪模型建立方法
Oskarsson Temporally consistent tone mapping of images and video using optimal k-means clustering
CN112581392A (zh) 基于双向光照估计与融合修复的图像曝光校正方法、系统及存储介质
Khan et al. A deep hybrid few shot divide and glow method for ill-light image enhancement
Mukherjee et al. Backward compatible object detection using hdr image content
CN115225820A (zh) 拍摄参数自动调整方法、装置、存储介质及工业相机
CN105139432B (zh) 基于高斯模型的红外弱小目标图像仿真方法
CN111062924B (zh) 图像处理方法、装置、终端和存储介质
CN116977190A (zh) 图像处理方法、装置、设备、存储介质及程序产品
CN112243119A (zh) 一种白平衡处理方法、装置、电子设备及存储介质
US10176628B2 (en) Method for creating a 3D representation and corresponding image recording apparatus
CN113658068A (zh) 基于深度学习的cmos相机的去噪增强系统及方法
CN114339028A (zh) 拍照方法、电子设备以及计算机可读存储介质
CN109949332B (zh) 用于处理图像的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination