CN106657827A - 一种自动调节积分时间的近红外系统和方法 - Google Patents

一种自动调节积分时间的近红外系统和方法 Download PDF

Info

Publication number
CN106657827A
CN106657827A CN201611240454.1A CN201611240454A CN106657827A CN 106657827 A CN106657827 A CN 106657827A CN 201611240454 A CN201611240454 A CN 201611240454A CN 106657827 A CN106657827 A CN 106657827A
Authority
CN
China
Prior art keywords
time
integration
module
adjustment module
frame frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611240454.1A
Other languages
English (en)
Inventor
牛慧卓
陈大明
姜小宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Sheenrun Optics Electronics Co Ltd
Original Assignee
Shandong Sheenrun Optics Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Sheenrun Optics Electronics Co Ltd filed Critical Shandong Sheenrun Optics Electronics Co Ltd
Priority to CN201611240454.1A priority Critical patent/CN106657827A/zh
Publication of CN106657827A publication Critical patent/CN106657827A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本本发明描述了一种可以自动调节积分时间的近红外系统和方法，本发明根据InGaAs探测器对于太阳光照以及夜间大气辉光的响应特点，提出一种更高效更灵活的积分时间调整方法。在自适应调整时同时考虑到帧频的调整，以适应InGaAs探测器适用于不同光照条件下大范围的响应特性。对于调整速度，通过对响应值直方图信息的判断，采用两种速度来同时满足效率以及用户体验的要求。

Description

一种自动调节积分时间的近红外系统和方法
技术领域
本发明涉及一种基于InGaAs探测器的近红外成像系统，在不同光照条件下实时调整积分时间，使输出视频始终稳定在合适的亮度范围内，不至于过曝或者图像灰暗。
背景技术
InGaAs探测器成像波段在0.9-1.7um，得益于夜气辉在短波红外波段的自然辐射数十倍强于夜天空在可见光和近红外波段的辐射，短波红外成像设备利用近红外大气窗口波段可以很好的实现对雾霾天气中目标的观测，有效的提高在恶劣天气条件下的目标观测距离和效果。
介于近红外波段成像特点，光照特别是太阳光照对于探测器成像影响很大，在白天以及夜间探测器成像需要的积分时间有很大的差别。而且在白天成像也因为气候原因对于晴天、阴天、雾霾天、雨雪天气有不同的积分时间要求。
发明内容
本发明要解决的技术问题是提供一种自动调节积分时间的近红外系统和方法，不仅可以自适应调节积分时间，还可以自适应调节帧频，使近红外系统无论在白天、夜间还是在晴天、雾霾天均可呈现清晰图像。
为了解决所述技术问题，本发明采用的技术方案是：一种自动调节积分时间的近红外系统，包括InGaAs探测器、探测器输出信号分析模块、积分时间调节模块和帧频调节模块，探测器输出信号分析模块的输入端与InGaAs探测器的输出端相连，探测器输出信号分析模块的输出端分别与积分时间调节模块和帧频调节模块相连，探测器输出信号分析模块对InGaAs探测器的输出信号进行分析处理并输出信号至积分时间调节模块和帧频调节模块，积分时间调节模块和帧频调节模块根据接收的信号对积分时间和帧频进行调节。
本发明所述自动调节积分时间的近红外系统，还包括补光的1550nm激光器，1550nm激光器与探测器相连。
本发明所述自动调节积分时间的近红外系统，所述积分时间调节模块包括粗调模块、细调模块，粗调模块以ms为单位调节积分时间，细调模块以100ns为单位调节积分时间。
本发明所述自动调节积分时间的近红外系统，所述输出信号分析模块包括依次连接的帧间平滑滤波模块、直方图统计模块、时域滤波模块和探测器响应值判断模块，帧间平滑滤波模块输入端与InGaAs探测器相连，探测器响应值判断模块的输出端与积分时间调节模块相连。
本发明还公开了一种基于上述近红外系统的自动调节积分时间的方法，InGaAs探测器采集周围环境图像, 探测器输出信号分析模块对采集到的图像进行分析处理并向积分时间调节模块和帧频调节模块输出分析结果，然后积分时间调节模块根据接收信号对积分时间进行调整，同时帧频调节模块对帧频进行调整；帧频调整的过程为：帧频调节模块判断在50hz帧频下的最长积分时间内有无信号输出和信号输出的强度，若没有信号输出或者信号读出强度不能满足成像要求，则降低帧频，并在该帧频下的最长积分时间内持续判断信号读出强度是否满足成像要求，若不能满足成像要求则继续降低帧频，直至信号读出强度可以满足成像要求或者积分时间达到最长。
本发明所述自动调节积分时间的方法，探测器输出信号分析模块对采集图像进行分析处理的过程为:首先对接收到的探测器输出信号进行帧间滤波；然后分析每帧图像的直方图并统计，直方图与响应值成正比关系，根据统计情况判断探测器在一定积分时间内的整体响应；最后取出响应最高的20%来判断当前响应值的灰度范围。
本发明所述自动调节积分时间的方法，在探测器响应值判断的时候进行时域滤波，对采集到的图像进行预处理判断。
本发明所述自动调节积分时间的方法，积分时间调整模块调节积分时间的过程为：S01、设定灰度值的阈值范围，将当前响应值的灰度范围与设定的阈值范围做比较，判断图像为正常状态、饱和状态或非饱和状态；S02、若图像为正常状态，积分时间不调整，若图像为饱和状态则对积分时间递减，直到图像为正常状态，如图像为非饱和状态，则对积分时间递增，直到图像为正常状态。
本发明所述自动调节积分时间的方法，在探测器响应值完全没有差异和变化范围过快的区间，积分时间调节模块进行快速调节，积分时间以ms为单位进行调节；在探测器响应值缓慢变化的区间，积分时间调节模块进行细微调节，积分时间以100ns为单位进行调节。
本发明所述自动调节积分时间的方法，在全黑条件下，增加无红曝的1550nm激光器补光。
本发明的有益效果：本发明能够根据探测器响应值的灰度范围自动调节积分时间，同时为了适应InGaAs探测器适用于不同光照条件下大范围的响应特性，在自适应调节积分时间的同时调节帧频，使近红外系统无论在白天、夜间还是在晴天、雾霾天均可呈现清晰图像。本发明更高效更灵活，同时考虑到调节效率和图像闪烁现象，增加时域滤波功能，并对调节速率进行控制，避免图像闪烁现象，并提高调节效率。为了保证全黑条件下的成像效果，增加激光器补光或者帧频调节调节模块，使其在全黑条件下仍能满足成像要求。
附图说明
图1为现有近红外成像系统的原理框图；
图2为自动调节积分时间的近红外系统的原理框图；
图3为探测器输出信号分析模块的原理框图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步的限定。
实施例1
如图1所示，为现有近红外成像系统的原理框图，所述近红外成像系统包括依次连接的探测器、AD转换芯片、主控芯片和视频编码芯片，探测器采集模拟视频信号并输出值AD转换芯片，AD转换芯片对模拟视频信号进行模数转换，输出数字视频信号，主控芯片采用FPGA，主要完成近红外探测器驱动信号输出、视频信号的组帧、非均匀校正等一系列视频处理过程，最终输出编码后的视频信号，视频信号镜视频编码芯片编码后输出标准PAL制视频。现有近红外成像系统在主控芯片中对采集到的信号进行调理、标准PAL制式输出，主控芯片需要50Hz的视频采集速率，每帧有20ms时间。20ms内需要完成探测器的积分、读出、数据的组帧以及后续处理。其积分时间被固定在20ms以内，无法根据不同光照条件进行积分时间的调整，影响成像效果。
本实施例中公开一种可以自动调节积分时间的近红外系统，包括InGaAs探测器、探测器输出信号分析模块、积分时间调节模块和帧频调节模块，探测器输出信号分析模块的输入端与InGaAs探测器的输出端相连，探测器输出信号分析模块的输出端分别与积分时间调节模块和帧频调节模块相连，探测器输出信号分析模块对InGaAs探测器的输出信号进行分析处理并输出信号至积分时间调节模块和帧频调节模块，积分时间调节模块和帧频调节模块根据接收的信号对积分时间和帧频进行调节。
对于夜间成像效果，在全黑条件下，即使将积分时间加到最长，也无法探测到有效信息。此时可以加无红曝的1550nm激光器补光，补光后成像在激光照亮的区域很亮，在激光照射之外的区域会较暗，但此时即使积分时间达到最长仍然无法在暗区得到有效信息，因此仅考虑激光补光区域即可。
本实施例中，所述积分时间调节模块包括粗调模块、细调模块，粗调模块以ms为单位调节积分时间，细调模块以100ns为单位调节积分时间。通过控制调节速率，可以提高调节效率，同时避免图像闪烁现象。
本实施例中，所述输出信号分析模块包括依次连接的帧间平滑滤波模块、直方图统计模块、时域滤波模块和探测器响应值判断模块，帧间平滑滤波模块输入端与InGaAs探测器相连，探测器响应值判断模块的输出端与积分时间调节模块相连。
实施例2
本实施例中公开了一种自动调节积分时间的方法，该方法通过InGaAs探测器采集周围环境图像, 探测器输出信号分析模块对采集到的图像进行预处理，然后根据统计直方图信息对积分时间进行调整。在自适应调整时同时考虑到帧频的调整，以适应InGaAs探测器适用于不同光照条件下大范围的响应特性。对于调整速度，通过对响应值直方图信息的判断，采用两种速度来同时满足效率以及用户体验的要求。
具体为：S01、首先InGaAs探测器采集周围环境图像,探测器输出信号分析模块对接收到的探测器输出信号进行帧间滤波；S02、然后直方图统计模块分析每帧图像的直方图并统计，直方图与响应值成正比关系，根据统计情况判断探测器在一定积分时间内的整体响应；S03、考虑到芯片本身可能会有坏点等响应不正常的点，单纯取最高响应值可能会有误判，因此取出响应最高的20%来判断当前响应值的灰度范围；S04、设定灰度值的阈值范围，本实施例中，设定高范围阈值为3.5V对应的灰度值，低范围阈值为1.5V对应的灰度值，将当前响应值的灰度范围与设定的阈值范围做比较，判断图像为正常状态、饱和状态或非饱和状态；S05、若图像为正常状态，积分时间不调整，若图像为饱和状态则对积分时间递减，直到图像为正常状态，如图像为非饱和状态，则对积分时间递增，直到图像为正常状态。
考虑到实时调整积分时间的要求，如果每帧图像都进行判断或处理，则调节速度过快，调节过于敏感，在场景监控时可能会使视频出现闪烁现象。如果调节速度过慢则不利于实时观测，失去实时调节的意义；因此在探测器响应值判断的时候添加时域滤波功能，对采集到的图像进行预处理判断。
在进行调节的时候，根据调节后的直方图反馈信息对调节速率进行控制。为提高调节效率，同时考虑到图像闪烁现象，在探测器响应值输出完全没有差异和变化范围过快的区间进行快速调节，积分时间以ms为单位变化；在缓慢的变化中进行细微调节，此时的调节速度可以慢一些，积分时间以100ns为单位进行调节。
对于夜间成像效果，在全黑条件下，即使将积分时间加到最长，也无法探测到有效信息。此时可以加无红曝的1550nm激光器补光，补光后成像在激光照亮的区域很亮，在激光照射之外的区域会较暗，但此时即使积分时间达到最长仍然无法在暗区得到有效信息，因此仅考虑激光补光区域即可。这也是为什么前面考虑直方图累计效果时只参考响应值高的20%进行判断。
针对夜间监控，不考虑加激光补光时的情况，针对全黑场景添加同时调节帧频模块。研究InGaAs探测器的成像特性，积分时间需要在0-40ms甚至更长范围内调节。在白天光照充足的情况下，积分时间仅需要1ms甚至更短；在夜间无光照条件下，积分时间需要调节到40ms。显然，40ms的积分时间无法输出帧频为50Hz的视频信号，因此采用自适应改变帧频的方法来满足积分时间的要求，以下是本系统的帧频和对应积分时间关系。
表1 帧频与积分时间对应关系
帧频 50Hz 25Hz 12.5Hz
积分时间调节范围 0-2.6ms 0-20ms 0-40ms
在直方图判断过程中，如果50Hz帧频下的最长积分时间无法检测到信号输出，则将帧频自动降为25Hz并从最长积分时间开始判断信号读出强度，继续判断信号的强度看是否能满足成像要求，如果不能满足则需要继续降低帧频以达到积分时间的要求。以上判断直到积分时间可以满足成像要求，或者积分时间达到最长。
本发明能够根据探测器响应值的灰度范围自动调节积分时间，同时为了适应InGaAs探测器适用于不同光照条件下大范围的响应特性，在自适应调节积分时间的同时调节帧频，使近红外系统无论在白天、夜间还是在晴天、雾霾天均可呈现清晰图像。本发明更高效更灵活，同时考虑到调节效率和图像闪烁现象，增加时域滤波功能，并对调节速率进行控制，避免图像闪烁现象，并提高调节效率。为了保证全黑条件下的成像效果，增加激光器补光或者帧频调节调节模块，使其在全黑条件下仍能满足成像要求。
以上描述的仅是本发明的基本原理和优选实施例，本领域技术人员根据本发明做出的改进和替换，属于本发明的保护范围。

Claims (10)

1.一种自动调节积分时间的近红外系统，其特征在于：包括InGaAs探测器、探测器输出信号分析模块、积分时间调节模块和帧频调节模块，探测器输出信号分析模块的输入端与InGaAs探测器的输出端相连，探测器输出信号分析模块的输出端分别与积分时间调节模块和帧频调节模块相连，探测器输出信号分析模块对InGaAs探测器的输出信号进行分析处理并输出信号至积分时间调节模块和帧频调节模块，积分时间调节模块和帧频调节模块根据接收的信号分别对积分时间和帧频进行调节。
2.根据权利要求1所述的自动调节积分时间的近红外系统，其特征在于：还包括补光的1550nm激光器,1550nm激光器与探测器相连。
3.根据权利要求1所述的自动调节积分时间的近红外系统，其特征在于：所述积分时间调节模块包括粗调模块、细调模块，粗调模块以ms为单位调节积分时间，细调模块以100ns为单位调节积分时间。
4.根据权利要求1所述的自动调节积分时间的近红外系统，其特征在于：所述输出信号分析模块包括依次连接的帧间平滑滤波模块、直方图统计模块、时域滤波模块和探测器响应值判断模块，帧间平滑滤波模块输入端与InGaAs探测器相连，探测器响应值判断模块的输出端与积分时间调节模块相连。
5.一种基于权利要求1所述近红外系统的自动调节积分时间的方法，其特征在于：InGaAs探测器采集周围环境图像, 探测器输出信号分析模块对采集到的图像进行分析处理并向积分时间调节模块和帧频调节模块输出分析结果，然后积分时间调节模块根据接收信号对积分时间进行调整，同时帧频调节模块对帧频进行调整；帧频调整的过程为：帧频调节模块判断在50hz帧频下的最长积分时间内有无信号输出和信号输出的强度，若没有信号输出或者信号读出强度不能满足成像要求，则降低帧频，并在该帧频下的最长积分时间内持续判断信号读出强度是否满足成像要求，若不能满足成像要求则继续降低帧频，直至信号读出强度可以满足成像要求或者积分时间达到最长。
6.根据权利要求5所述的自动调节积分时间的方法，其特征在于：探测器输出信号分析模块对采集图像进行分析处理的过程为:首先对接收到的探测器输出信号进行帧间滤波；然后分析每帧图像的直方图并统计，直方图与响应值成正比关系，根据统计情况判断探测器在一定积分时间内的整体响应；最后取出响应最高的20%来判断当前响应值的灰度范围。
7.根据权利要求6所述的自动调节积分时间的方法，其特征在于：在探测器响应值判断的时候进行时域滤波，对采集到的图像进行预处理判断。
8.根据权利要求6所述的自动调节积分时间的方法，其特征在于：积分时间调整模块调节积分时间的过程为：S01、设定灰度值的阈值范围，将当前响应值的灰度范围与设定的阈值范围做比较，判断图像为正常状态、饱和状态或非饱和状态；S02、若图像为正常状态，积分时间不调整，若图像为饱和状态则对积分时间递减，直到图像为正常状态，如图像为非饱和状态，则对积分时间递增，直到图像为正常状态。
9.根据权利要求6或8所述的自动调节积分时间的方法，其特征在于：在探测器响应值完全没有差异和变化范围过快的区间，积分时间调节模块进行快速调节，积分时间以ms为单位进行调节；在探测器响应值缓慢变化的区间，积分时间调节模块进行细微调节，积分时间以100ns为单位进行调节。
10.根据权利要求5所述的自动调节积分时间的方法，其特征在于：在全黑条件下，增加无红曝的1550nm激光器补光。
CN201611240454.1A 2016-12-29 2016-12-29 一种自动调节积分时间的近红外系统和方法 Pending CN106657827A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611240454.1A CN106657827A (zh) 2016-12-29 2016-12-29 一种自动调节积分时间的近红外系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611240454.1A CN106657827A (zh) 2016-12-29 2016-12-29 一种自动调节积分时间的近红外系统和方法

Publications (1)

Publication Number Publication Date
CN106657827A true CN106657827A (zh) 2017-05-10

Family

ID=58837223

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611240454.1A Pending CN106657827A (zh) 2016-12-29 2016-12-29 一种自动调节积分时间的近红外系统和方法

Country Status (1)

Country Link
CN (1) CN106657827A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108061602A (zh) * 2017-10-25 2018-05-22 中国航空工业集团公司洛阳电光设备研究所 一种基于红外成像系统的高亮抑制方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7634157B1 (en) * 2006-03-23 2009-12-15 Flir Systems, Inc. Infrared and near-infrared camera hyperframing
CN102223486A (zh) * 2011-04-13 2011-10-19 北京瑞澜联合通信技术有限公司 低照度摄像机成像控制方法、装置及摄像系统
CN102967376A (zh) * 2012-11-20 2013-03-13 中国科学院西安光学精密机械研究所 一种高频图像序列的获取方法及其采用的分时分光装置
CN103604503A (zh) * 2013-06-17 2014-02-26 中国航天科工集团第三研究院第八三五八研究所 一种积分时间动态调整的高精度非均匀性校正方法
CN103680372A (zh) * 2013-11-21 2014-03-26 中国科学院上海技术物理研究所 匹配可见光波段高速探测器的dmd显示调制方法
CN104359559A (zh) * 2014-11-24 2015-02-18 中国航空工业集团公司洛阳电光设备研究所 一种扩展制冷型测温系统测温范围的方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7634157B1 (en) * 2006-03-23 2009-12-15 Flir Systems, Inc. Infrared and near-infrared camera hyperframing
CN102223486A (zh) * 2011-04-13 2011-10-19 北京瑞澜联合通信技术有限公司 低照度摄像机成像控制方法、装置及摄像系统
CN102967376A (zh) * 2012-11-20 2013-03-13 中国科学院西安光学精密机械研究所 一种高频图像序列的获取方法及其采用的分时分光装置
CN103604503A (zh) * 2013-06-17 2014-02-26 中国航天科工集团第三研究院第八三五八研究所 一种积分时间动态调整的高精度非均匀性校正方法
CN103680372A (zh) * 2013-11-21 2014-03-26 中国科学院上海技术物理研究所 匹配可见光波段高速探测器的dmd显示调制方法
CN104359559A (zh) * 2014-11-24 2015-02-18 中国航空工业集团公司洛阳电光设备研究所 一种扩展制冷型测温系统测温范围的方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108061602A (zh) * 2017-10-25 2018-05-22 中国航空工业集团公司洛阳电光设备研究所 一种基于红外成像系统的高亮抑制方法
CN108061602B (zh) * 2017-10-25 2020-05-19 中国航空工业集团公司洛阳电光设备研究所 一种基于红外成像系统的高亮抑制方法

Similar Documents

Publication Publication Date Title
CN106296612B (zh) 一种图像质量评价和天气状况引导的分级式监控视频清晰化系统及方法
CN102724405B (zh) 视频成像系统中背光式场景的自动曝光补偿方法及装置
CN102297867B (zh) 线束装配质量检测系统
CN106488201A (zh) 一种图像信号的处理方法和系统
CN103888681A (zh) 一种自动曝光方法及装置
CN102340673B (zh) 一种针对交通场景的摄像机白平衡方法
CN107438170A (zh) 一种图像透雾方法及实现图像透雾的图像采集设备
US20060210124A1 (en) Image processing system, image processing apparatus and method, recording medium, and program
CN103699877A (zh) 提高人脸识别效果的方法和系统
CN106791470A (zh) 基于高动态范围摄像装置的曝光控制方法和装置
CN103714520A (zh) 基于fpga实现数字视频图像增强系统及其方法
WO2018219293A1 (zh) 一种信息终端
CN107038680A (zh) 自适应光照的美颜方法及系统
WO2018219294A1 (zh) 一种信息终端
CN103475821B (zh) 基于近红外相机自动积分时间的调整方法
CN103780957A (zh) 一种电视终端智能控制系统及其控制方法
CN108198155B (zh) 一种自适用色调映射方法及系统
US11017511B2 (en) Method and system of haze reduction for image processing
CN104064162A (zh) 自动体外除颤器及其显示屏亮度调节方法和装置
CN104092987A (zh) 一种双模双反馈自适应目标跟踪系统、控制电路及方法
CN105078407A (zh) 用以取得主体的生命体征的装置与方法
CN114286014A (zh) 一种图像数据库采集方法
CN106657827A (zh) 一种自动调节积分时间的近红外系统和方法
CN108875625B (zh) 一种识别方法和电子设备
CN100481903C (zh) 一种lcd电视显示质量的自适应调节装置及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170510