CN104002020B - 基于焊接熔池的数字相机自动对焦系统及其自动聚焦方法 - Google Patents

基于焊接熔池的数字相机自动对焦系统及其自动聚焦方法 Download PDF

Info

Publication number
CN104002020B
CN104002020B CN201410183889.1A CN201410183889A CN104002020B CN 104002020 B CN104002020 B CN 104002020B CN 201410183889 A CN201410183889 A CN 201410183889A CN 104002020 B CN104002020 B CN 104002020B
Authority
CN
China
Prior art keywords
image
welding
photographic head
value
flush bonding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201410183889.1A
Other languages
English (en)
Other versions
CN104002020A (zh
Inventor
李水明
邵长春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Liuzhou Railway Vocational Technical College
Original Assignee
Liuzhou Railway Vocational Technical College
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Liuzhou Railway Vocational Technical College filed Critical Liuzhou Railway Vocational Technical College
Priority to CN201410183889.1A priority Critical patent/CN104002020B/zh
Publication of CN104002020A publication Critical patent/CN104002020A/zh
Application granted granted Critical
Publication of CN104002020B publication Critical patent/CN104002020B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23KSOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00Arc welding or cutting
    • B23K9/12Automatic feeding or moving of electrodes or work for spot or seam welding or cutting
    • B23K9/127Means for tracking lines during arc welding or cutting
    • B23K9/1272Geometry oriented, e.g. beam optical trading
    • B23K9/1274Using non-contact, optical means, e.g. laser means

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Geometry (AREA)
  • Plasma & Fusion (AREA)
  • Mechanical Engineering (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)

Abstract

一种基于焊接熔池的数字相机自动对焦系统及其自动聚焦方法,涉及一种自动对焦系统及其自动聚焦方法,系统包括滤光模块、摄像头、嵌入式处理器,滤光模块包括隔热玻璃、滤光片,隔热玻璃、滤光片依次设置在焊接工件与摄像头之间,摄像头与嵌入式处理器连接,嵌入式处理器与焊接设备的控制系统连接;方法是采用图像清晰度评价函数实时对相邻的图像帧进行判断,对评价函数构成的图像清晰度曲线采用爬坡法,实时调整摄像头镜头的焦距倍率,使评价函数曲线点处于峰值位置,达到图像清晰效果。本发明能够在焊接过程中,不用借助外面光源就能够准确快速完成自动焊接视频对焦,其性能比较可靠,可适用于各种焊接。

Description

基于焊接熔池的数字相机自动对焦系统及其自动聚焦方法
技术领域
本发明涉及一种自动对焦系统及其自动聚焦方法,特别是一种基于焊接熔池的数字相机自动对焦系统及其自动聚焦方法。
背景技术
生产加工企业大量需要使用焊接技术。目前,许多焊接过程中由于工件本身构造不同,使得焊接定位不精确影响焊接质量。焊接跟踪约束条件较大,自动化跟踪焊接相对水平不高。由于焊接过程中出现弧光辐射、高温气体、灰尘飞溅;表面结构、工件热变形等因素造成焊矩偏离焊缝。工作环境恶劣,要求弧焊机器人能够实时检测焊缝的偏差,并调整焊接路线和焊接参数。
而目前市场上普遍的自动焊接机自动跟踪系统一般采用双向接触式焊缝跟踪传感器技术、光电传感器技术、非接触式超声跟踪技术等,这几种技术都存在相对的优缺点,如双向接触式跟踪技术能够直接探测到焊缝的位置,方法简单,但当出头运行到焊点时,会发生堵塞;光电传感器技术在焊缝高低不平时,直接影响焊接质量。
发明内容
本发明要解决的技术问题是:提供一种基于焊接熔池的数字相机自动对焦系统及其自动聚焦方法,使其能够在焊接过程中能够快速对焦,获取清晰的焊接熔池图像信息。
解决上述技术问题的技术方案是:一种基于焊接熔池的数字相机自动对焦系统,包括滤光模块、摄像头、嵌入式处理器,所述的滤光模块包括隔热玻璃、滤光片,该隔热玻璃、滤光片依次设置在焊接工件与摄像头之间,摄像头与嵌入式处理器连接,嵌入式处理器还与焊接设备的控制系统连接。
本发明的进一步技术方案是:所述的隔热玻璃设置在焊接工件与滤光片之间,用于隔离焊接熔池时产生的热量;
所述的滤光片接收到焊接工件产生的弧光,滤除掉部分光线,只让波长与该滤光片峰值波长相同的光线进入摄像头;
所述的摄像头作为视觉感光传感器,采集经滤光片过滤后的光源数据信号,并将该光源数据信号转化为图像视频数据信号,经过A/D转化后输入至嵌入式处理器,同时还根据嵌入式处理器输出的调整焦距信号进行自动调焦;
所述的嵌入式处理器接收摄像头传输来的图像视频数据信号并将该信号进行处理,根据处理结果或输出调整焦距信号至摄像头,或输出清晰焊接熔池图像信号至焊接设备的控制系统。
所述滤光片的峰值波长为6328Å。
所述摄像头的采集速度为50~70帧/秒。
本发明的另一种技术方案是:一种基于焊接熔池的数字相机自动对焦系统的自动聚焦方法,该方法是采用图像清晰度评价函数实时对相邻的图像帧进行判断,对图像清晰度评价函数构成的图像清晰度曲线采用爬坡法,实时调整摄像头镜头的焦距倍率,使图像清晰度评价函数曲线点处于曲线的峰值位置,达到图像清晰效果;当焊接熔池场景变化和图像信息出现模糊使图像清晰度评价函数曲线点不处于曲线的峰值时,系统调整摄像头镜头反向运动,自动搜索调整聚焦使图像稳定在最清晰处。
本发明的进一步技术方案是:该方法包括以下步骤:
A.图像预处理:
嵌入式处理器接收到摄像头传输来的图像视频数据信号后,采用中值滤波法把选择小区域的像素点的灰度值从小到大排列去其中间的灰度作为噪声点的灰度值;
B.对相邻的两个图像帧进行判断:
采用图像清晰度评价函数,对相邻的两个图像帧进行判断,得出相邻两个图像帧的评价函数值;
C. 连续对多个图像帧进行判断:
采用图像清晰度评价函数,连续对多个图像帧进行判断,得出多个图像帧的评价函数值;
D. 判断镜头运动方向:
根据评价函数值进行分析,判断摄像头镜头的运动方向;
E. 镜头调焦:
驱动摄像头镜头转动调整焦距倍数;
F. 再次判断聚焦峰值处:
再次使用图像清晰度评价函数判断聚焦峰值处,调整摄像头镜头的移动步进值;
G.判断函数曲线点是否在函数曲线的峰值处:
对比图像清晰度评价函数曲线点是否在清晰度评价函数曲线的峰值处,若图像不处于清晰度评价函数曲线的峰值,重复步骤B;若摄像头镜头已经超越走过清晰度评价函数曲线的峰值,则驱动电动镜头反向运动,重复步骤C;若3次来回跨过该清晰度评价函数曲线的峰值,则获取到清晰焊接熔池图像,嵌入式处理器将该清晰焊接熔池图像信号传输至焊接设备的控制系统,调焦结束。
所述的图像清晰度评价函数采用灰度差分梯度函数,该灰度差分梯度函数为:
其中:Q为灰度差分梯度评价函数值,为a,b像素点的灰度值,m,n为图像的长、宽的最大像素值。
由于采用上述结构,本发明之基于焊接熔池的数字相机自动对焦系统及其自动聚焦方法与现有技术相比,具有以下有益效果:
1.可快速对焦,获取清晰的焊接熔池图像信息:
由于本发明的系统包括隔热玻璃、滤光片、摄像头、嵌入式处理器,其中, 摄像头采集到经滤光片过滤后的光源数据信号,并将该光源数据信号转化为图像视频数据信号,经过A/D转化后输入至嵌入式处理器;嵌入式处理器对摄像头传输来的图像视频数据信号进行数字中值滤波处理,根据图像清晰度评价函数实时输出调整摄像头焦距信号至摄像头,摄像头根据该调焦信号进行快速自动调焦;嵌入式处理器还将调焦后摄像头输入的图像视频数据信号进行中值滤波处理,从而可获取清晰焊接熔池图像。因此,本发明能够在熔池焊接过程中,不用借助外面光源就能够准确快速完成自动焊接视频对焦,准确捕捉清晰视频数据,为后面的视频数据处理提供清晰图像信息数据。
2.性能可靠:
由于本发明采用摄像头作为视觉传感器,其性能可靠、清晰度高;还在焊接工件与滤光片之间设置有隔热玻璃,以隔离焊接时产生的热量;采用嵌入式处理器技术,快速完成视频采集中值滤波图像清晰度评价判定、以获得清晰的图像,完成对焦任务。因此,本系统的性能比较可靠。
3.方法简便:
由于本发明的方法是通过能够快速适应现场变化的图像清晰评价函数自动调整电动镜头变倍倍率选择合适的倍率,因此,本发明能够自动根据现场焊接熔池现场图像变化自动跟踪聚焦,以提供清晰图像,其方法比较简便。
4.适用范围广:
本发明适用于各种焊接,其适用范围较广。
下面,结合附图和实施例对本发明之基于焊接熔池的数字相机自动对焦系统及其自动聚焦方法的技术特征作进一步的说明。
附图说明
图1:实施例一所述本发明之基于焊接熔池的数字相机自动对焦系统的结构示意图,
图2:实施例一所述本发明之基于焊接熔池的数字相机自动对焦系统的原理框图,
图3:实施例二所述本发明之基于焊接熔池的数字相机自动对焦系统的自动聚焦方法的流程框图,
图4:图像清晰度评价函数的曲线图,
图4中的纵坐标y为图像清晰度,横坐标x为步进电机调整的焦距。
图中,各标号如下:
1-滤光模块,101-隔热玻璃,102-滤光片,2-摄像头,
3-嵌入式处理器,4-焊接设备,5-焊接工件。
具体实施方式
实施例一:
图1至图2中公开的是一种基于焊接熔池的数字相机自动对焦系统,包括滤光模块1、摄像头2、嵌入式处理器3,所述的滤光模块1包括隔热玻璃101、滤光片102,该隔热玻璃101、滤光片102依次设置在焊接工件5与摄像头2之间,摄像头2与嵌入式处理器3连接,嵌入式处理器3还与焊接设备4的控制系统连接。
所述的隔热玻璃101设置在焊接工件5与滤光片102之间,用于隔离焊接熔池时产生的热量;隔热玻璃101主要负责隔离红外辐射,排除红外热辐射的干扰。
所述的滤光片102峰值波长为6328Å,滤光片的峰值透光率为63%;所述的滤光片102接收到焊接工件产生的弧光,滤除掉部分光线,只让波长与该滤光片峰值波长相同的光线进入摄像头;
所述的摄像头2的采集速度为50~70帧/秒,所述的摄像头2作为视觉感光传感器,采集经滤光片过滤后的光源数据信号,并将该光源数据信号转化为图像视频数据信号,经过A/D转化后输入至嵌入式处理器,同时还根据嵌入式处理器输出的调整焦距信号进行自动调焦;
所述的嵌入式处理器3接收摄像头传输来的图像视频数据信号并将该信号进行处理,根据处理结果或输出调整焦距信号至摄像头2,或输出清晰焊接熔池图像信号至焊接设备4的控制系统。
实施例二:
一种基于焊接熔池的数字相机自动对焦系统的自动聚焦方法,该方法是采用图像清晰度评价函数实时对相邻的图像帧进行判断,对图像清晰度评价函数构成的图像清晰度曲线采用爬坡法,实时调整摄像头镜头的焦距倍率,使图像清晰度评价函数曲线点处于曲线的峰值位置,达到图像清晰效果;当焊接熔池场景变化和图像信息出现模糊使图像清晰度评价函数曲线点不处于曲线的峰值时,系统调整摄像头镜头反向运动,自动搜索调整聚焦使图像稳定在最清晰处。
上述基于焊接熔池的数字相机自动对焦系统的自动聚焦方法包括以下步骤(流程框图参见图3):
A.图像预处理:
嵌入式处理器接收到摄像头传输来的图像视频数据信号后,采用中值滤波法把选择小区域的像素点的灰度值从小到大排列去其中间的灰度作为噪声点的灰度值;本步骤选取3*3个像素点作为噪声点的区域,采用中值滤波法在较好地保护边缘信息的同时能够快速处理孤立的点和线的噪声。
B.对相邻的两个图像帧进行判断:
采用图像清晰度评价函数(曲线图参见图4),对相邻的两个图像帧进行判断,得出相邻两个图像帧的评价函数值;
C. 连续对多个图像帧进行判断:
采用图像清晰度评价函数,连续对多个图像帧进行判断,得出多个图像帧的评价函数值;
D. 判断镜头运动方向:
根据评价函数值进行分析,判断摄像头镜头的运动方向;
E. 镜头调焦:
驱动摄像头镜头转动调整焦距倍数;
F. 再次判断聚焦峰值处:
再次使用图像清晰度评价函数判断聚焦峰值处,调整摄像头镜头的移动步进值;
G.判断函数曲线点是否在函数曲线的峰值处:
对比图像清晰度评价函数曲线点是否在清晰度评价函数曲线的峰值处,若图像不处于清晰度评价函数曲线的峰值,重复步骤B;若摄像头镜头已经超越走过清晰度评价函数曲线的峰值,则驱动电动镜头反向运动,重复步骤C;若3次来回跨过该清晰度评价函数曲线的峰值,则获取到清晰焊接熔池图像,嵌入式处理器将该清晰焊接熔池位置图像信号传输至焊接设备的控制系统,调焦结束。
所述的图像清晰度评价函数采用灰度差分梯度函数,灰度差分法作为图像清晰度评价函数具有能够见底图像噪声的目的和计算量小,能够便于硬件快速实现使图像能够快速聚焦,该灰度差分梯度函数为:
其中:Q为灰度差分梯度评价函数值,为a,b像素点的灰度值。m,n为图像规模的最大行的m行、n列。
附表一:图像像素位置

Claims (5)

1.一种基于焊接熔池的数字相机自动对焦系统的自动聚焦方法,其特征在于:该方法是采用图像清晰度评价函数实时对相邻的图像帧进行判断,对图像清晰度评价函数构成的图像清晰度曲线采用爬坡法,实时调整摄像头镜头的焦距倍率,使图像清晰度评价函数曲线点处于曲线的峰值位置,达到图像清晰效果;当焊接熔池场景变化和图像信息出现模糊使图像清晰度评价函数曲线点不处于曲线的峰值时,系统调整摄像头镜头反向运动,自动搜索调整聚焦使图像稳定在最清晰处;所述的图像清晰度评价函数采用灰度差分梯度函数,该灰度差分梯度函数为:
其中:Q为灰度差分梯度评价函数值,为a,b像素点的灰度值,m,n为图像的长、宽的最大像素值;
所述的基于焊接熔池的数字相机自动对焦系统,包括滤光模块(1)、摄像头(2)、嵌入式处理器(3),所述的滤光模块(1)包括隔热玻璃(101)、滤光片(102),该隔热玻璃(101)、滤光片(102)依次设置在焊接工件(5)与摄像头(2)之间,摄像头(2)与嵌入式处理器(3)连接,嵌入式处理器(3)还与焊接设备(4)的控制系统连接。
2.根据权利要求1所述的基于焊接熔池的数字相机自动对焦系统的自动聚焦方法,其特征在于:该方法包括以下步骤:
A.图像预处理:
嵌入式处理器接收到摄像头传输来的图像视频数据信号后,采用中值滤波法把选择小区域的像素点的灰度值从小到大排列取其中间的灰度作为噪声点的灰度值;
B.对相邻的两个图像帧进行判断:
采用图像清晰度评价函数,对相邻的两个图像帧进行判断,得出相邻两个图像帧的评价函数值;
C. 连续对多个图像帧进行判断:
采用图像清晰度评价函数,连续对多个图像帧进行判断,得出多个图像帧的评价函数值;
D. 判断镜头运动方向:
根据评价函数值进行分析,判断摄像头镜头的运动方向;
E. 镜头调焦:
驱动摄像头镜头转动调整焦距倍数;
F. 再次判断聚焦峰值处:
再次使用图像清晰度评价函数判断聚焦峰值处,调整摄像头镜头的移动步进值;
G.判断函数曲线点是否在函数曲线的峰值处:
对比图像清晰度评价函数曲线点是否在清晰度评价函数曲线的峰值处,若图像不处于清晰度评价函数曲线的峰值,重复步骤B;若摄像头镜头已经超越走过清晰度评价函数曲线的峰值,则驱动电动镜头反向运动,重复步骤C;若3次来回跨过该清晰度评价函数曲线的峰值,则获取到清晰焊接熔池图像,嵌入式处理器将该清晰焊接熔池图像信号传输至焊接设备的控制系统,调焦结束。
3.根据权利要求1所述的基于焊接熔池的数字相机自动对焦系统的自动聚焦方法,其特征在于:所述的隔热玻璃(101)设置在焊接工件(5)与滤光片(102)之间,用于隔离焊接熔池时产生的热量;
所述的滤光片(102)接收到焊接工件产生的弧光,滤除掉部分光线,只让波长与该滤光片峰值波长相同的光线进入摄像头;
所述的摄像头(2)作为视觉感光传感器,采集经滤光片过滤后的光源数据信号,并将该光源数据信号转化为图像视频数据信号,经过A/D转化后输入至嵌入式处理器,同时还根据嵌入式处理器输出的调整焦距信号进行自动调焦;
所述的嵌入式处理器(3)接收摄像头传输来的图像视频数据信号并将该信号进行处理,根据处理结果或输出调整焦距信号至摄像头(2),或输出清晰焊接熔池图像信号至焊接设备(4)的控制系统。
4.根据权利要求1所述的基于焊接熔池的数字相机自动对焦系统的自动聚焦方法,其特征在于:所述滤光片(102)的峰值波长为6328Å。
5.根据权利要求1所述的基于焊接熔池的数字相机自动对焦系统的自动聚焦方法,其特征在于:所述摄像头(2)的采集速度为50~70帧/秒。
CN201410183889.1A 2014-05-04 2014-05-04 基于焊接熔池的数字相机自动对焦系统及其自动聚焦方法 Expired - Fee Related CN104002020B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410183889.1A CN104002020B (zh) 2014-05-04 2014-05-04 基于焊接熔池的数字相机自动对焦系统及其自动聚焦方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410183889.1A CN104002020B (zh) 2014-05-04 2014-05-04 基于焊接熔池的数字相机自动对焦系统及其自动聚焦方法

Publications (2)

Publication Number Publication Date
CN104002020A CN104002020A (zh) 2014-08-27
CN104002020B true CN104002020B (zh) 2017-01-04

Family

ID=51363084

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410183889.1A Expired - Fee Related CN104002020B (zh) 2014-05-04 2014-05-04 基于焊接熔池的数字相机自动对焦系统及其自动聚焦方法

Country Status (1)

Country Link
CN (1) CN104002020B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104588837A (zh) * 2015-01-20 2015-05-06 柳州铁道职业技术学院 弧焊机器人智能耦合系统
CN110646933A (zh) * 2019-09-17 2020-01-03 苏州睿仟科技有限公司 基于多深度平面显微镜的自动聚焦系统和方法
CN114523236A (zh) * 2022-02-28 2022-05-24 柳州铁道职业技术学院 一种基于机器视觉的智能化自动检测平台

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100460166C (zh) * 2007-03-08 2009-02-11 上海交通大学 焊接机器人多功能双目视觉传感器及其标定方法
CN201467363U (zh) * 2009-06-27 2010-05-12 山西平阳重工机械有限责任公司 焊接监控装置
CN203918185U (zh) * 2014-05-04 2014-11-05 柳州铁道职业技术学院 基于焊接熔池的数字相机自动对焦系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63256063A (ja) * 1987-04-14 1988-10-24 Nkk Corp 自動合焦装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100460166C (zh) * 2007-03-08 2009-02-11 上海交通大学 焊接机器人多功能双目视觉传感器及其标定方法
CN201467363U (zh) * 2009-06-27 2010-05-12 山西平阳重工机械有限责任公司 焊接监控装置
CN203918185U (zh) * 2014-05-04 2014-11-05 柳州铁道职业技术学院 基于焊接熔池的数字相机自动对焦系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种用于数字成像的自动对焦系统;冯华君,毛邦福,李奇,徐之海;《光电工程》;20041031;第31卷(第10期);69-72 *

Also Published As

Publication number Publication date
CN104002020A (zh) 2014-08-27

Similar Documents

Publication Publication Date Title
CN105744163B (zh) 一种基于深度信息跟踪对焦的摄像机及摄像方法
CN103747179B (zh) 一种基于聚焦评价值反馈调节的变倍跟踪方法及系统
CN105391945B (zh) 摄像头自动聚焦控制方法及装置
CN107529011A (zh) 一种电动变焦镜头控制系统及方法
US20080314878A1 (en) Apparatus and method for controlling a machining system
CN105527778A (zh) 电动可调焦液体镜头的自动对焦方法
CN103592754B (zh) 一种数字切片实时扫描自动聚焦跟踪方法
CN108156371B (zh) 一种红外自动对焦快速搜索方法
CN107258077A (zh) 用于连续自动聚焦(caf)的系统和方法
CN103929588A (zh) 摄像机变倍快速自动聚焦方法及系统
CN101276415A (zh) 用多定焦摄像机实现多分辨率图像采集的装置和方法
WO2007024709A3 (en) Cellular phone camera with three-dimensional imaging function
CN106825914A (zh) 一种具有焊缝跟踪功能的一体化激光焊枪
CN104002020B (zh) 基于焊接熔池的数字相机自动对焦系统及其自动聚焦方法
CN101718912A (zh) 放大倍率可变的工业x射线底片数字化细节观察仪
CN110793572A (zh) 基于多传感器融合的选择性激光熔融过程监控系统
CN105430277B (zh) 自动聚焦控制方法和装置
CN102122055A (zh) 一种激光式自动对焦装置及其对焦方法
CN201681056U (zh) 工业x射线底片的高分辨观测装置
CN106506939A (zh) 一种图像采集装置及采集方法
CN107241545A (zh) 对焦方法及对焦装置
CN111390168A (zh) 激光熔化沉积粉末流离焦量在线监测与负反馈状态识别方法
CN102752511A (zh) 线阵扫描系统焦点的获取方法、装置和线阵扫描系统
CN201667683U (zh) 一种大变焦比自动聚焦一体化摄像机
CN107806830A (zh) 一种基于变焦摄像头的测距装置及使用方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170104