CN106774325A - 基于超声波、蓝牙和视觉的跟随机器人 - Google Patents

基于超声波、蓝牙和视觉的跟随机器人 Download PDF

Info

Publication number
CN106774325A
CN106774325A CN201611205282.4A CN201611205282A CN106774325A CN 106774325 A CN106774325 A CN 106774325A CN 201611205282 A CN201611205282 A CN 201611205282A CN 106774325 A CN106774325 A CN 106774325A
Authority
CN
China
Prior art keywords
robot
bluetooth
vision
sensor
ultrasonic wave
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611205282.4A
Other languages
English (en)
Inventor
李景龙
李朝晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Hui Long Ltd By Share Ltd
Original Assignee
Hunan Hui Long Ltd By Share Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Hui Long Ltd By Share Ltd filed Critical Hunan Hui Long Ltd By Share Ltd
Priority to CN201611205282.4A priority Critical patent/CN106774325A/zh
Publication of CN106774325A publication Critical patent/CN106774325A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0242Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Manipulator (AREA)

Abstract

本发明提供一种基于超声波、蓝牙和视觉的跟随机器人,包括机器人本体和底盘,所述机器人本体包括深度视觉摄像头、红外传感器、蓝牙接收器、第一超声波传感器、中央控制器和语音交互模块,所述机器人底盘上设置运动控制模块;所述深度视觉摄像头、红外传感器、蓝牙接收器、第一超声波传感器、运动控制模块、语音交互模块均和中央控制器相连。本发明通过摄像头采集人体图像和红外传感器检测人体温度双重来实现人体的识别,减少误识别的情况,实现人体跟随的准确性;通过采用蓝牙信号的唯一ID,实现机器人的摄像头内出现多个人体或部分人体的距离较近的情况下,也能识别待跟随的目标人体,减少干扰的出现,实现跟随唯一化、准确及时。

Description

基于超声波、蓝牙和视觉的跟随机器人
技术领域
本发明涉及机器人领域,具体涉及一种基于超声波、蓝牙和视觉的跟随机器人。
背景技术
信息技术的发展,信息技术被广泛的应用到人们的生活方式与工作方式中。如有更有效的利用现有的信息技术,人们一直没有停止探索。机器人领域是集计算机、机械、传感技术、信息处理技术、图像处理与识别技术、语言识别与处理技术、控制技术和通信技术等于一体的系统。现有的Player、MOOS、CARMEN、YARP、Orocos、微软RoboticsStudio等操作系统无法满足实际应用的需求。ROS(RobotOperatingSystem)是一种开源机器人操作系统,能够提供类似于操作系统的功能,为机器人应用系统提供硬件抽象、底层驱动、消息传递和包管理,以及一些辅助开发工具,例如建立、编写和运行多机通信系统整合的程序。
人跟随研究的相关技术主要包括三个方面:被跟随人的检测,被跟随人的的跟踪和机器人在跟随过程中的避障。国际上有许多组织在研究机器人人体识别及跟随方法。有些基于RGBD传感器(如Kinect、Xtion和奥比中光)作人体跟随移动机器人控制系统;此外,特殊装备房也广泛地用于识别目标人物。一个智能环境探测器被用于探测机器人的周围环境、实现人体识别和稳定地跟随人体。东京大学在试验中把多个镭射距离传感器设置成一个系统,该系统能够识别人体腿部并跟踪行人;或是设定3个镭射距离传感器分别检测人体的腿部、上身和头部,从而实现对人体的跟踪,但是这些装置是被固定的。机器人跟随人体时人机交互研究中的一个热点,在机器人领域,机器人跟随人体执行和携带物品等应用广泛。跟随的环境往往复杂,人群也多变,物体也较多,目前机器人容易出现的误识别人的轮廓的情况,且容易走丢。
CN201510068427.X公开一种基于超声波和蓝牙的跟随机器人定位系统,系统的蓝牙模块与手持设备的蓝牙模块通信,定位模块根据分析模块的数据定位手持设备的位置;局部网格地图模块根据检测模块分析超声波第一超声波传感器扫描的信息构建局部网格地图;跟随区域规划模块根据所述手持设备的位置及局部网格地图规划出可行进的区域,跟随模块根据跟随区域规划模块规划的可行进的区域驱动行走装置。通过蓝牙模块之间的通信,并分析蓝牙模块之间的通信数据,结合利用超声第一超声波传感器所扫描的所述机器人前方信息,构建局部网格地图,实现机器人跟随的目的。该系统存在容易出现误识别人体的情况。
发明内容
针对现有技术的不足,本发明提供一种基于超声波、蓝牙和视觉的跟随机器人,该机器人在人体跟随过程中的自由度、精确度,在时间和空间上及数据上进行融合以提高系统的适应性和人体轮廓的识别能力,从而实现机器人自主人体跟随,工作效率高,成本低,定位准确,实用性和可靠性高,运算量少等优势。
本发明为实现上述目的,采用以下技术方案:本发明提供一种基于超声波、蓝牙和视觉的跟随机器人,所述机器人包括机器人本体和底盘,所述机器人本体包括深度视觉摄像头、红外传感器、蓝牙接收器、第一超声波传感器、中央控制器和语音交互模块,所述机器人底盘上设置运动控制模块;
所述深度视觉摄像头、红外传感器、蓝牙接收器、第一超声波传感器、运动控制模块、语音交互模块均和中央控制器相连;
所述运动控制模块,包括微控制器、主动轮、万向轮和电机;所述万向轮与主动轮连接;所述主动轮和电机均与微控制器相连;
所述语音交互模块包括喇叭、语音输入装置和音量调节装置。
进一步地,所述运动控制模块还包括第二超声波传感器,所述第二超声波传感器与微控制器相连。
进一步地,所述底盘还包括碰撞传感器,所述碰撞传感器与微控制器相连。
进一步地,所述底盘还包括悬崖传感器,所述悬崖传感器与微控制器相连。
进一步地,所述中央控制器包括信号采集模块和信号判断模块。
进一步地,所述机器人本体包括报警装置,所述报警装置与中央控制器相连。
进一步地,所述报警装置为报警灯或扩音装置。
进一步地,所述红外传感器设置在机器人头部。
所述深度视觉摄像头,用于拍摄目标人体的图像;
所述红外传感器用于辅助检测人体位置;
所述第一超声波传感器,用于检测目标人体与机器人的实时距离;所述第二超声波传感器用于检测机器人与地面的距离情况,当机器人与地面的距离超出设定范围时,判断机器人是否处于悬空状态;
所述微控制器接收中央控制器的具体信号,并将信号转换为电机的运动信号,从而控制主动轮或万向轮的运动方向和速度等;
所述语音交互模块包括喇叭和音量调节装置等,用于与目标人体的交流;
所述中央控制器,接收各配件的信号,并将其转换为对应的信号,发送相关的命令等;
所述蓝牙接收器接收蓝牙发射器发射的信号,实现机器人跟随的人体的唯一性,避免干扰,识别的唯一性;
所述报警装置在机器人出现故障时给予报警提示。
本发明的有益效果:
本发明提供的一种基于超声波、蓝牙和视觉的跟随机器人,该机器人在人体跟随过程中的自由度、精确度,在时间和空间上及数据上进行融合以提高系统的适应性和人体轮廓的识别能力,从而实现机器人自主人体跟随,工作效率高,成本低,定位准确,实用性和可靠性高,运算量少;通过摄像头采集人体图像和红外传感器检测人体温度双重来实现人体的识别,减少误识别的情况,实现人体跟随的准确性;通过采用蓝牙信号的唯一ID,实现机器人的摄像头内出现多个人体或部分人体的距离较近的情况下,也能识别待跟随的目标人体,减少干扰的出现,实现跟随唯一化、准确及时。
该机器人在人体跟随过程中的自由度、精确度,在时间和空间上及数据上进行融合以提高系统的适应性和人体轮廓的识别能力,从而实现机器人自主人体跟随,工作效率高,成本低,定位准确,实用性和可靠性高,运算量少。
附图说明
图1:本发明跟随机器人结构示意图。
下面结合附图和实施例对本发明进一步说明。
具体实施方式
下面以具体实施例对本发明作进一步的说明,但本发明不受下述实施例的限定。
实施例1
如图1所示,本发明提供一种基于超声波、蓝牙和视觉的跟随机器人,所述机器人包括机器人本体和底盘,所述机器人本体包括深度视觉摄像头1、红外传感器2、蓝牙接收器3、第一超声波传感器4、中央控制器5和语音交互模块6,所述机器人底盘上设置运动控制模块7;所述深度视觉摄像头1、红外传感器2、蓝牙接收器3、第一超声波传感器4、运动控制模块7、语音交互模块6均和中央控制器5相连;所述运动控制模块7,包括微控制器8、主动轮、万向轮和电机;所述万向轮与主动轮连接;所述主动轮和电机均与微控制器8相连;所述语音交互模块6包括喇叭、语音输入装置和音量调节装置;所述运动控制模块7还包括第二超声波传感器,所述第二超声波传感器与微控制器8相连;所述底盘还包括碰撞传感器9,所述碰撞传感器9与微控制器8相连;所述底盘还包括悬崖传感器11,所述悬崖传感器11与微控制器8相连;所述中央控制器5包括信号采集模块和信号判断模块;所述机器人本体包括报警装置10,所述报警装置10与中央控制器5相连;所述报警装置10为报警灯或扩音装置;所述红外传感器2设置在机器人头部。
所述深度视觉摄像头1,用于拍摄目标人体的图像;所述红外传感器2用于辅助检测人体位置;所述第一超声波传感器4,用于检测目标人体与机器人的实时距离;所述第二超声波传感器用于检测机器人与地面的距离情况,当机器人与地面的距离超出设定范围时,判断机器人是否处于悬空状态;所述微控制器8接收中央控制器5的具体信号,并将信号转换为电机的运动信号,从而控制主动轮或万向轮的运动方向和速度等;所述语音交互模块6包括喇叭和音量调节装置等,用于与目标人体的交流;所述中央控制器5,接收各配件的信号,并将其转换为对应的信号,发送相关的命令等;所述蓝牙接收器3接收蓝牙发射器发射的信号,实现机器人跟随的人体的唯一性,避免干扰,识别的唯一性;所述报警装置10在机器人出现故障时给予报警提示。
本发明提供的跟随机器人,通过蓝牙接收器3接收相应的信号后,红外传感器2对信号位置的物体进行人体扫描,确认信号发送的位置存在人体后,深度视觉摄像头1采集对应的人体轮廓图像,中央处理器对人体轮廓图像进行处理和识别,识别唯一的目标人体后,开始执行跟随任务,实现蓝牙、红外双重寻找目标,深度视觉摄像头1视觉进行人体目标确认;确认后,语音交互模块6给予目标人体提示,机器人跟随任务开始,是否执行跟随;执行跟随任务过程中,采用第一超声波传感器4检测人体与机器人之间的距离,使得跟随过程处于安全距离内,保障跟随过程的安全有效。在人体跟随过程中,底盘设置的悬崖传感器11、碰撞传感器9和第二超声波传感器对机器人行走过程中的障碍物和底面深坑的情况进行检测,如果出现机器人悬空或遇到障碍,微控制器8接收信号后,将信号传递给中央控制器5,中央控制器进行信号处理后给予相应的指示。语音交互模块6给出对应的语音提示,提示被跟随的人体机器人出现障碍,需要进行处理。
通过采用蓝牙信号的唯一ID,实现机器人的深度视觉摄像头1内出现多个人体或部分人体的距离较近的情况下,也能识别待跟随的目标人体,减少干扰的出现,实现跟随唯一化、准确及时。
进一步地,该机器人在人体跟随过程中的自由度、精确度,在时间和空间上及数据上进行融合以提高系统的适应性和人体轮廓的识别能力,从而实现机器人自主人体跟随,工作效率高,成本低,定位准确,实用性和可靠性高,运算量少。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (8)

1.基于超声波、蓝牙和视觉的跟随机器人,其特征在于,所述机器人包括机器人本体和底盘,所述机器人本体包括深度视觉摄像头、红外传感器、蓝牙接收器、第一超声波传感器、中央控制器和语音交互模块,所述机器人底盘上设置运动控制模块;
所述深度视觉摄像头、红外传感器、蓝牙接收器、第一超声波传感器、运动控制模块、语音交互模块均和中央控制器相连;
所述运动控制模块,包括微控制器、主动轮、万向轮和电机;所述万向轮与主动轮连接;所述主动轮和电机均与微控制器相连;
所述语音交互模块包括喇叭、语音输入装置和音量调节装置。
2.根据权利要求1所述的基于超声波、蓝牙和视觉的跟随机器人,其特征在于,所述运动控制模块还包括第二超声波传感器,所述第二超声波传感器与微控制器相连。
3.根据权利要求1所述的基于超声波、蓝牙和视觉的跟随机器人,其特征在于,所述底盘还包括碰撞传感器,所述碰撞传感器与微控制器相连。
4.根据权利要求1所述的基于超声波、蓝牙和视觉的跟随机器人,其特征在于,所述底盘还包括悬崖传感器,所述悬崖传感器与微控制器相连。
5.根据权利要求1所述的基于超声波、蓝牙和视觉的跟随机器人,其特征在于,所述中央控制器包括信号采集模块和信号判断模块。
6.根据权利要求1所述的基于超声波、蓝牙和视觉的跟随机器人,其特征在于,所述机器人本体包括报警装置,所述报警装置与中央控制器相连。
7.根据权利要求6所述的基于超声波、蓝牙和视觉的跟随机器人,其特征在于,所述报警装置为报警灯或扩音装置。
8.根据权利要求1所述的基于超声波、蓝牙和视觉的跟随机器人,其特征在于,所述红外传感器设置在机器人头部。
CN201611205282.4A 2016-12-23 2016-12-23 基于超声波、蓝牙和视觉的跟随机器人 Pending CN106774325A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611205282.4A CN106774325A (zh) 2016-12-23 2016-12-23 基于超声波、蓝牙和视觉的跟随机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611205282.4A CN106774325A (zh) 2016-12-23 2016-12-23 基于超声波、蓝牙和视觉的跟随机器人

Publications (1)

Publication Number Publication Date
CN106774325A true CN106774325A (zh) 2017-05-31

Family

ID=58919110

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611205282.4A Pending CN106774325A (zh) 2016-12-23 2016-12-23 基于超声波、蓝牙和视觉的跟随机器人

Country Status (1)

Country Link
CN (1) CN106774325A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108196548A (zh) * 2018-01-08 2018-06-22 四川文理学院 一种基于Arduino语言及路径跟随算法的机器人控制器
CN108490947A (zh) * 2018-04-17 2018-09-04 西安交通大学 一种自动跟随避障方法及其装置
CN108608440A (zh) * 2018-07-19 2018-10-02 深圳市寒武纪智能科技有限公司 服务机器人和服务机器人系统
CN108931979A (zh) * 2018-06-22 2018-12-04 中国矿业大学 基于超声波辅助定位的视觉跟踪移动机器人及控制方法
CN109094442A (zh) * 2018-07-18 2018-12-28 河海大学 一种用于混凝土坝施工的无人运输车
CN110216689A (zh) * 2019-05-24 2019-09-10 嘉兴市木星机器人科技有限公司 一种教育用可编程的人工智能机器人
CN113414753A (zh) * 2021-06-03 2021-09-21 南京机器人研究院有限公司 一种室内机器人自主跟随系统及方法
CN118404587A (zh) * 2024-06-19 2024-07-30 中国海洋大学 基于光学识别与电磁感应相结合的双机跟随系统及方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102913275A (zh) * 2012-11-01 2013-02-06 金纯� 一种基于爬虫机器人的搜救系统
US20130199145A1 (en) * 2011-08-03 2013-08-08 Lg Electronics Inc. Lawn mower robot and method of controlling the same
CN105058389A (zh) * 2015-07-15 2015-11-18 深圳乐行天下科技有限公司 一种机器人系统、机器人控制方法及机器人
CN205247085U (zh) * 2015-11-30 2016-05-18 云南农业大学 一种智能家居安防机器人
CN205396187U (zh) * 2016-03-07 2016-07-27 山东科技大学 一种基于超声波和红外感应的跟随购物车
CN105807775A (zh) * 2016-05-17 2016-07-27 上海酷哇机器人有限公司 具有自主跟随避障功能的移动机器人
CN106054897A (zh) * 2016-07-18 2016-10-26 旗瀚科技有限公司 一种可以进行人体跟随的机器人
CN106155093A (zh) * 2016-07-22 2016-11-23 王威 一种基于计算机视觉的机器人跟随人体的系统和方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130199145A1 (en) * 2011-08-03 2013-08-08 Lg Electronics Inc. Lawn mower robot and method of controlling the same
CN102913275A (zh) * 2012-11-01 2013-02-06 金纯� 一种基于爬虫机器人的搜救系统
CN105058389A (zh) * 2015-07-15 2015-11-18 深圳乐行天下科技有限公司 一种机器人系统、机器人控制方法及机器人
CN205247085U (zh) * 2015-11-30 2016-05-18 云南农业大学 一种智能家居安防机器人
CN205396187U (zh) * 2016-03-07 2016-07-27 山东科技大学 一种基于超声波和红外感应的跟随购物车
CN105807775A (zh) * 2016-05-17 2016-07-27 上海酷哇机器人有限公司 具有自主跟随避障功能的移动机器人
CN106054897A (zh) * 2016-07-18 2016-10-26 旗瀚科技有限公司 一种可以进行人体跟随的机器人
CN106155093A (zh) * 2016-07-22 2016-11-23 王威 一种基于计算机视觉的机器人跟随人体的系统和方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108196548A (zh) * 2018-01-08 2018-06-22 四川文理学院 一种基于Arduino语言及路径跟随算法的机器人控制器
CN108490947A (zh) * 2018-04-17 2018-09-04 西安交通大学 一种自动跟随避障方法及其装置
CN108931979A (zh) * 2018-06-22 2018-12-04 中国矿业大学 基于超声波辅助定位的视觉跟踪移动机器人及控制方法
CN109094442A (zh) * 2018-07-18 2018-12-28 河海大学 一种用于混凝土坝施工的无人运输车
CN108608440A (zh) * 2018-07-19 2018-10-02 深圳市寒武纪智能科技有限公司 服务机器人和服务机器人系统
CN110216689A (zh) * 2019-05-24 2019-09-10 嘉兴市木星机器人科技有限公司 一种教育用可编程的人工智能机器人
CN113414753A (zh) * 2021-06-03 2021-09-21 南京机器人研究院有限公司 一种室内机器人自主跟随系统及方法
CN118404587A (zh) * 2024-06-19 2024-07-30 中国海洋大学 基于光学识别与电磁感应相结合的双机跟随系统及方法
CN118404587B (zh) * 2024-06-19 2024-09-03 中国海洋大学 基于光学识别与电磁感应相结合的双机跟随系统及方法

Similar Documents

Publication Publication Date Title
CN106774325A (zh) 基于超声波、蓝牙和视觉的跟随机器人
CN207370256U (zh) 自动行走的行李箱、智能设备及系统
WO2021103987A1 (zh) 扫地机器人控制方法、扫地机器人及存储介质
WO2018227987A1 (zh) 自动行走的行李箱、智能设备及系统
CN106092091B (zh) 电子机器设备
CN107357292A (zh) 一种儿童室内智能看护系统及其看护方法
CN109933061A (zh) 基于人工智能的机器人及控制方法
Xing et al. People-following system design for mobile robots using kinect sensor
CN107160409A (zh) 一种基于人脸识别和语音控制的智能迎宾机器人
CN208629445U (zh) 自主移动讲解系统平台机器人
JP2010231359A (ja) 遠隔操作装置
CN107214700A (zh) 一种机器人自主巡逻方法
KR20150097043A (ko) 스마트 안경 및 지팡이를 이용한 시각 장애인 보조 시스템 및 방법
WO2023024499A1 (zh) 机器人的控制方法、控制装置、机器人和可读存储介质
CN108733059A (zh) 一种导览方法及机器人
CN104898675A (zh) 一种机器人智能导航控制方法
KR20190104934A (ko) 인공지능 학습방법 및 이를 이용하는 로봇의 동작방법
Ilag et al. Design review of smart stick for the blind equipped with obstacle detection and identification using artificial intelligence
CN107065892A (zh) 无线控制的灾后生命探测及环境数据采集搜救车
CN113084776B (zh) 基于视觉的多传感器融合的智能防疫机器人及系统
CN109968366A (zh) 一种多功能家用机器人
JP2012203646A (ja) 流れ状態判別装置、流れ状態判別方法、流れ状態判別プログラムおよびそれらを用いたロボット制御システム
CN107643753A (zh) 一种机器人智能定位寻址方法
CN203885510U (zh) 一种基于红外检测技术的驾驶员疲劳检测系统
CN204932185U (zh) 多功能智能导盲手杖

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170531