CN109753071A - 一种机器人贴边行走方法及系统 - Google Patents

一种机器人贴边行走方法及系统 Download PDF

Info

Publication number
CN109753071A
CN109753071A CN201910047628.XA CN201910047628A CN109753071A CN 109753071 A CN109753071 A CN 109753071A CN 201910047628 A CN201910047628 A CN 201910047628A CN 109753071 A CN109753071 A CN 109753071A
Authority
CN
China
Prior art keywords
data
robot
model
welt
feature samples
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910047628.XA
Other languages
English (en)
Other versions
CN109753071B (zh
Inventor
张小*
张小�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Cheguan Environmental Sanitation Co.,Ltd.
Original Assignee
Shanghai View Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai View Technologies Co Ltd filed Critical Shanghai View Technologies Co Ltd
Priority to CN201910047628.XA priority Critical patent/CN109753071B/zh
Publication of CN109753071A publication Critical patent/CN109753071A/zh
Application granted granted Critical
Publication of CN109753071B publication Critical patent/CN109753071B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明提供了一种机器人贴边行走方法及系统,包括:获取至少一种环境下的机器人贴边行走数据,作为样本数据;对所述样本数据进行数据清洗,得到特征样本数据;将所述特征样本数据输入生成式对抗网络进行训练;控制机器人按照训练好的生成式对抗网络输出的预测速度进行行走,以完成安全的贴边行走。本发明可以控制机器人进行良好的贴边作业,在贴边作业时较好跟随既定路线,若遇到障碍物时,能安全的绕障并能迅速返回贴边作业状态,并对不同程度的坑洼地面有较强的鲁棒性,同时可以推广到非贴边作业状态。

Description

一种机器人贴边行走方法及系统
技术领域
本发明涉及智能机器人技术领域,尤指一种清洁机器人的贴边作业控制方法及系统。
背景技术
目前,国内的清洁车大部分还是人工驾驶模式,即通过保洁员工驾驶清洁车进行清洁作业。为节省人力成本和作业质量,无人驾驶型的清洁车更受客户欢迎。考虑到安全因素,大部分的无人驾驶清洁车清扫时都会与墙面保持较远的距离,造成了需要人工作业清理墙边区域的尴尬局面。
对于无人驾驶的清扫机器人,在实际作业过程中,其参考路线大都为人工推图构建而成。尽管肉眼看上去,人工推图形成的参考路线为直线,但受机器自身,地面坑洼不平,行走姿态不同,传感器测量误差等客观因素限制,初步采集所得的人工推图所得参考路线在本质上是由一系列不在直线上的角点组成。机器人在参考这条路线作业时,就会有角速度的存在,受处理器的运算能力、上下位机的执行延迟、惯性作用等因素的限制,机器人常会出现转角过大的情况。再加上机器人本身是贴边作业状态,离墙壁很近,容易发生撞上墙体和周边障碍物的安全事故。尤其是对于不规则形状的机器人,尚没有比较高效、快速、低成本的贴边控制方案与算法。
发明内容
本发明的目的是提供一种机器人贴边行走方法及系统,将生成式对抗网络技术引入贴边行走控制中,可以控制机器人进行良好的贴边作业,在贴边作业时较好地跟随既定路线,若遇到障碍物时,能安全的绕障并能迅速返回贴边作业状态。
本发明提供的技术方案如下:
一种机器人贴边行走方法,包括:荻取至少一种环境下的机器人贴边行走数据,作为样本数据;对所述样本数据进行数据清洗,得到特征样本数据;将所述特征样本数据输入生成式对抗网络进行训练;控制机器人按照训练好的生成式对抗网络输出的预测速度进行行走,以完成安全的贴边行走。
进一步优选的,所述至少一种环境下的机器人贴边行走数据包括:工作环境数据和/或仿真环境数据;所述工作环境数据包括人工作业模式数据和/或自动作业模式数据;所述样本数据包括距离传感器数据、编码器数据、参考路线信息。
进一步优选的,所述对所述样本数据进行数据清洗,得到特征样本数据具体包括:根据机器人的运动趋势舍弃所述样本数据中无关方位的距离传感器数据,并对剩下的距离传感器数据进行滤波降噪处理;对所述样本数据中参考路线信息进行滤波平滑处理;根据处理后的距离传感器数据和参考路线信息,得到环境特征数据;根据所述样本数据中编码器数据得到机器人的实测速度;根据所述环境特征数据和对应的所述实测速度,得到所述特征样本数据。
进一步优选的,所述的将所述特征样本数据输入生成式对抗网络进行训练具体包括:生成式对抗网络包括生成模型和判别模型;将所述特征样本数据分别输入所述生成模型和所述判别模型进行训练,对应得到第一生成模型和第一判别模型;将所述第一生成模型的输出连接到所述第一判别模型,所述第一判别模型的输出反馈至所述第一生成模型,形成一个闭环反馈系统;将所述特征样本数据输入所述闭环反馈系统进行训练;当所述闭环反馈系统对输入的所有特征样本数据对应输出的评估都为优时,则训练结束,得到训练好的生成式对抗网络。
进一步优选的,将所述特征样本数据分别输入所述生成模型和所述判别模型进行训练,对应得到第一生成模型和第一判别模型包括:将所述特征样本数据输入所述生成模型进行训练,使所述生成模型输出的预测速度逼近所述特征样本数据中的实测速度;当所述生成模型对所有特征样本数据都预测准确时,则训练结束,得到第一生成模型;将所述特征样本数据输入所述判别模型进行训练,使所述判别模型对所述特征样本数据中好的实测速度评估优,不好的实测速度评估差;所述好的实测速度是能使所述机器人安全绕障或安全贴边的速度;当所述判别模型对所有特征样本数据都评估准确时,则训练结束,得到第一判别模型。
进一步优选的,所述机器人为非圆形。
本发明还提供一种机器人贴边行走系统,包括:样本采集模块,用于获取至少一种环境下的机器人贴边行走数据,作为样本数据;数据清洗模块,用于对所述样本数据进行数据清洗,得到特征样本数据;网络训练模块,用于将所述特征样本数据输入生成式对抗网络进行训练;贴边行走模块,用于控制机器人按照训练好的生成式对抗网络输出的预测速度进行行走,以完成安全的贴边行走。
进一步优选的,所述数据清洗模块,进一步用于根据机器人的运动趋势舍弃所述样本数据中无关方位的距离传感器数据,并对剩下的距离传感器数据进行滤波降噪处理;对所述样本数据中参考路线信息进行滤波平滑处理;根据处理后的距离传感器数据和参考路线信息,得到环境特征数据;根据所述样本数据中编码器数据得到机器人的实测速度;根据所述环境特征数据和对应的所述实测速度,得到所述特征样本数据。
进一步优选的,所述网络训练模块,进一步用于,生成式对抗网络包括生成模型和判别模型,将所述特征样本数据分别输入所述生成模型和所述判别模型进行训练,对应得到第一生成模型和第一判别模型;以及,将所述第一生成模型的输出连接到所述第一判别模型,所述第一判别模型的输出反馈至所述第一生成模型,形成一个闭环反馈系统;将所述特征样本数据输入所述闭环反馈系统进行训练;以及,当所述闭环反馈系统对输入的所有特征样本数据对应输出的评估都为优时,则训练结束,得到训练好的生成式对抗网络。
进一步优选的,所述网络训练模块,进一步用于将所述特征样本数据输入所述生成模型进行训练,使所述生成模型输出的预测速度逼近所述特征样本数据中的实测速度;生成式对抗网络包括生成模型和判别模型;以及,当所述生成模型对所有特征样本数据都预测准确时,则训练结束,得到第一生成模型;以及,将所述特征样本数据输入所述判别模型进行训练,使所述判别模型对所述特征样本数据中好的实测速度评估优,不好的实测速度评估差;所述好的实测速度是能使所述机器人安全绕障或安全贴边的速度;以及,当所述判别模型对所有特征样本数据都评估准确时,则训练结束,得到第一判别模型。
通过本发明提供的一种机器人贴边行走方法及系统,能够带来以下有益效果:
1、本发明将生成式对抗网络技术引入贴边行走控制中,采用半监督学习方式对机器人的最优行走线速度和角速度进行学习,可以控制机器人进行安全的贴边行走。
2、本发明可应用于各种需要贴边行走的机器人设备,能使机器人在贴边作业时较好跟随既定路线,若遇到障碍物时,能安全的绕障并能迅速返回贴边作业状态,并对不同程度的坑洼地面有较强的鲁棒性,同时可以推广到非贴边作业状态。
3、本发明获取多种环境下的机器人贴边行走数据,用于GAN网络的训练,有利于提升GAN网络的泛化性能。
4、本发明通过对样本数据进行清洗,可以避免无效、不可靠数据的干扰,同时减少数据量,降低对处理器的处理能力要求。
5、本发明也适用于非圆形的、具有不规则形状的机器人的贴边行走,可以避免不规则形状对避障带来的影响。
附图说明
下面将以明确易懂的方式,结合附图说明优选实施方式,对一种机器人贴边行走方法及系统的上述特性、技术特征、优点及其实现方式予以进一步说明。
图1是本发明的一种机器人贴边行走方法的一个实施例的流程图;
图2是本发明的一种机器人贴边行走方法的另一个实施例的流程图;
图3是本发明的一种机器人贴边行走系统的一个实施例的结构示意图;
附图标号说明:
100.样本采集模块,200.数据清洗模块,300.网络训练模块,400.贴边行走模块。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对照附图说明本发明的具体实施方式。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图,并获得其他的实施方式。
为使图面简洁,各图中只示意性地表示出了与本发明相关的部分,它们并不代表其作为产品的实际结构。另外,以使图面简洁便于理解,在有些图中具有相同结构或功能的部件,仅示意性地绘示了其中的一个,或仅标出了其中的一个。在本文中,“一个”不仅表示“仅此一个”,也可以表示“多于一个”的情形。
在本发明的一个实施例中,如图1所示,一种机器人贴边行走方法,包括:
步骤S100获取至少一种环境下的机器人贴边行走数据,作为样本数据。
具体的,本实施例所指机器人已具备基本的自主作业能力,但尚不具备贴边作业能力。机器人贴边行走数据,比如采集机器人在工作环境中人工作业模式下贴边行走的数据,当人工驾驶或引导清洁机器人贴边行走时,记录行走路线,并通过机器人配置的距离传感器获取周边环境信息,比如通过激光雷达、和/或超声传感器获取前方障碍物距离信息、侧方障碍物距离信息;通过速度传感器获取机器人在对应环境中的实测速度,比如通过编码器获取机器人的线速度和角速度;获取参考路线信息等。将采集到的贴边行走数据作为样本数据。
步骤S200对所述样本数据进行数据清洗,得到特征样本数据。
具体的,样本数据中包含大量的无用信息和噪音,所以需要对样本数据进行数据清洗,丢弃无用的、不可靠的数据,剩下的数据中,对距离传感器数据进行滤波降噪处理,对人工训练的参考路线数据进行滤波平滑处理,从而得到特征样本数据。
步骤S300将所述特征样本数据输入生成式对抗网络进行训练。
具体的,生成式对抗网络(GAN,Generative Adversarial Networks)是一种深度学习模型,是近年来复杂分布上半监督学习最具前景的方法之一。特征样本数据包括好数据和不好数据,好数据的定义为:机器人在无障碍物存在情况下能够比较稳定贴边行走的实测数据,以及,在有障碍物存在时,机器人能够安全、稳定绕障的实测数据。不好数据为,比如机器人姿态不好、行走不稳定、行走不安全的实测数据。好数据中包含的实测速度认为是好的实测速度,是与当时环境相适宜的稳定贴边行走或稳定绕障的速度。用好数据中好的实测速度训练GAN网络,让GAN网络学习到好的贴边行走速度的评判准则;当输入不好数据时,根据上述评判准则训练GAN网络输出一个符合该评判准则的预测速度。当输入所有不好数据时,GAN网络都能输出一个符合好的贴边行走速度的评判准则的预测速度时,GAN网络收敛,训练结束。
将所有特征样本数据输入训练好的GAN网络,GAN网络都能对应输出符合好的贴边行走速度的评判准则的预测速度。
步骤S400控制机器人按照训练好的生成式对抗网络输出的预测速度进行行走,以完成安全的贴边行走。
具体的,训练好的GAN网络根据机器人所处的作业环境实时输出预测速度,预测速度包括预测线速度和/或预测角速度,机器人按照预测线速度和/或预测角速度进行行走,可以实现安全的贴边行走。
墙体是障碍物,贴边行走实际是机器人的避障问题,不规则形状的机器人相对圆形机器人,在旋转过程中更容易碰到障碍物。本实施例基于深度学习方案,不仅适用于圆形机器人,也适用于非圆形的、具有不规则形状的机器人,可以避免不规则形状对避障带来的影响。
考虑到线速度和角速度的取值范围,本发明的网络输出为速度系数,可以在一定程度上降低网络的深度,进而提高预测速度。
将GAN网络技术引入贴边行走控制中,相比于传统的基于各种规则的控制方案,能够由网络自动去学习各种规则,弥补了传统技术中需要刻画实现各种规则的难点,大幅降低了开发周期与开发复杂度。
在本发明的另一个实施例中,如图2所示,一种机器人贴边行走方法,包括:
步骤S100获取至少一种环境下的机器人贴边行走数据,作为样本数据;
所述至少一种环境下的机器人贴边行走数据包括:工作环境数据和/或仿真环境数据;所述工作环境数据包括人工作业模式数据和/或自动作业模式数据;所述样本数据包括距离传感器数据、编码器数据、参考路线信息。
具体的,机器人贴边行走数据可以采集仿真环境下的贴边行走数据,也可以采集机器人在实际工作环境中的自动作业模式下的贴边行走数据、人工作业模式下的贴边行走数据,并在贴边作业过程中进行人工干预,制造不同的作业场景,除了正常作业数据,还包括非正常作业数据,以复现不同的故障模式,提取各种特征数据,特征数据包括距离传感器数据、编码器数据、参考路线信息等,用于后续GAN网络的训练。获取多种环境下的机器人贴边行走数据,作为样本数据,用于GAN网络的训练,有利于提升GAN网络的泛化性能。
步骤S210根据机器人的运动趋势舍弃所述样本数据中无关方位的距离传感器数据,并对剩下的距离传感器数据进行滤波降噪处理;
步骤S220对所述样本数据中参考路线信息进行滤波平滑处理;
步骤S230根据处理后的距离传感器数据和参考路线信息,得到环境特征数据;
步骤S240根据所述样本数据中编码器数据得到机器人的实测速度;
步骤S250根据所述环境特征数据和对应的所述实测速度,得到所述特征样本数据。
具体的,样本数据包括距离传感器数据、编码器数据、参考路线信息。样本数据中包含大量的无用信息和噪音,所以需要对样本数据进行数据清洗。数据清洗包括:
1、对多个距离传感器数据根据机器人的运动趋势进行有效取舍。距离传感器包括激光雷达传感器和/或超声传感器。由于激光雷达比较昂贵,所以一般在机器人本体的前方搭载一个激光雷达,在机器人本体两侧面和后面各搭载有数个超声传感器,考虑到激光雷达一般有盲区且测不出玻璃的特点,在车体前方可能还会同时搭载一个超声传感器做避障使用。根据机器人的运动趋势对距离传感器数据进行有效的取舍,比如机器人向前行走时,则只考虑前方和两侧的超声传感器数据,后方是无关方位,所以对安装在机器人后方的超声传感器数据进行舍弃。
2、对距离传感器数据进行滤波降噪处理。距离传感器数据,尤其是激光雷达数据,受硬件成本和作业环境影响,可能有一部分不太可靠,基于改进的卡尔曼滤波算法,对距离传感器数据进行降噪处理,再对降噪处理后的距离传感器数据进行解析,只保留可靠的距离传感器数据。比如在某些大型商场里,很多商家会有橱窗,即外边是一层透明的玻璃,玻璃后面,比如50cm左右,有一堵墙,墙上挂满商家的海报或商品等,因为激光对玻璃的穿透力强,激光数据遇到玻璃后面的墙壁会反射回来,因为玻璃的折射和反射作用,激光得到的数据不能准确反映实际墙壁和玻璃的距离和角度信息,进而造成机器人对环境信息的误判而影响到正常的作业,因此需要对这样的噪音数据做降噪处理。
3、对参考路线信息进行滤波平滑处理。考虑到各个传感器数据,比如激光雷达、编码器的数据,在采集过程中会不可避免的受到噪音污染,并且机器人的作业环境也不是理想状态,比如是坑洼不平的道路,编码器计算出来的距离与机器人的实际行走距离并不完全相等,因此各种数据融合时会有一定的误差,融合形成的参考路线会是锯齿形并有很多拐点,因此根据一种滤波算法,比如均值滤波算法,对参考路线信息进行平滑处理。
根据处理后的距离传感器数据,得到前方障碍物距离信息、侧方障碍物距离信息,再加上参考路线信息,得到环境特征数据;根据编码器数据分别对机器人的左、右轮移动的距离进行解析,从而得到机器人的实测速度,该实测速度包括实际行走线速度和角速度。环境特征数据和对应的实测速度构成特征样本数据。
步骤S310将所述特征样本数据输入生成模型进行训练,使所述生成模型输出的预测速度逼近所述特征样本数据中的实测速度;
步骤S320当所述生成模型对所有特征样本数据都预测准确时,则训练结束,得到第一生成模型;
步骤S330将所述特征样本数据输入判别模型进行训练,使所述判别模型对所述特征样本数据中好的实测速度评估优,不好的实测速度评估差;所述好的实测速度是能使所述机器人安全绕障或安全贴边的速度;
步骤S340当所述判别模型对所有特征样本数据都评估准确时,则训练结束,得到第一判别模型;
步骤S350将所述第一生成模型的输出连接到所述第一判别模型,所述第一判别模型的输出反馈至所述第一生成模型,形成一个闭环反馈系统;将所述特征样本数据输入所述闭环反馈系统进行训练;
将所述特征样本数据输入所述闭环反馈系统,按如下方式训练:
所述特征样本数据输入所述第一生成模型,所述第一生成模型将输出的预测速度输入所述第一判别模型,所述第一判别模型对所述预测速度进行评估,所述第一生成模型根据所述第一判别模型的评估结果进行参数调整,所述第一生成模型输出新的预测速度,如此循环,直至所述第一判别模型对所述第一生成模型输出的预测速度的评估为优。
步骤S360当所述闭环反馈系统对输入的所有特征样本数据对应输出的评估都为优时,则训练结束,得到训练好的生成式对抗网络。
步骤S400控制机器人按照训练好的生成式对抗网络输出的预测速度进行行走,以完成安全的贴边行走。
具体的,将特征样本数据输入GAN网络进行训练,期待训练好的GAN网络能针对各种环境输出合理的预测速度,控制机器人按照该预测速度行走,以完成安全的贴边行走。GAN网络包括生成模型和判别模型,先对生成模型和判别模型分别进行训练,得到训练好的生成模型(即第一生成模型)和判别模型(即第一判别模型),再将第一生成模型和第一判别模型联合在一起进行训练,具体过程如下:
对特征样本数据,是否属于好数据进行分析和标注。好数据的定义为:机器人在无障碍物存在情况下能够比较稳定贴边行走的实测数据,以及,在障碍物存在时,机器人能够安全、稳定绕障的实测数据。不好数据,比如机器人姿态不好、行走不稳定、行走不安全的实测数据。好数据包含的实测速度认为是好的实测速度,不好数据包含的实测速度认为是不好的实测速度。这些标注信息用于后面模型的训练。
将每一个特征样本数据输入生成模型进行训练,通过多轮迭代,使生成模型能够有效学习输入数据间的联系,使输出的预测速度逼近实测速度。预测速度包括预测线速度和/或预测角速度,实测速度包括实测线速度和实测角速度。该生成模型基于m个lstm单元(Long Short-Term Memory,长短期记忆网络,是一种时间递归神经网络),具有n层的网络深度。
当预测线速度与实测线速度的偏差、预测角速度与实测角速度的偏差都在预设范围时,则认为生成模型的预测数据准确。当生成模型对输入的所有特征样本数据对应输出的预测数据都准确时,则训练结束,将得到的生成模型及其参数作为第一生成模型。
将每一个特征样本数据输入判别模型进行训练,由判别模型根据环境特征数据和对应的实测速度识别好的实测速度(好的实测速度是能使机器人安全绕障或安全贴边的速度),并对好的实测速度打高分,不好的实测速度打低分;当输入的特征样本数据属于好数据时,如果判别模型识别出是好的实测速度,打高分,则认为判别模型打分准确;当输入的特征样本数据属于不好数据时,如果判别模型识别出是不好的实测速度,打低分,则认为判别模型打分准确;其他情况,认为是打分不准确。当判别模型对输入的所有特征样本数据对应输出的打分都准确时,则训练结束,将得到的判别模型及其参数作为第一判别模型。
当模型分别训练结束后,将所述第一生成模型的输出连接到所述第一判别模型,所述第一判别模型的输出反馈至所述第一生成模型,形成一个闭环反馈系统,对该闭环反馈系统进行训练。
输入特征样本数据,第一生成模型将输出的预测速度输入第一判别模型,第一判别模型对该预测速度进行打分,并将打分结果反馈至第一生成模型,比如打分属于低分时,第一生成模型进行参数调整,根据调整后的参数,第一生成模型输出新的预测速度,第一判别模型对新的预测速度进行打分,如此循环,直至第一判别模型对第一生成模型输出的预测速度的打高分。如果打分属于高分时,则第一生成模型不进行参数调整。
当闭环反馈系统对输入的所有特征样本数据对应输出的评估都打分高时,则训练结束,得到的闭环反馈系统即训练好的生成式对抗网络。
因为前面对生成模型和判别模型分别进行了训练,所以判别模型对比较好的样本已有较高的辨识能力,当输入是一个不好的样本时,判别模型能引导生成模型预测出好的速度,所以训练好的GAN网络能够根据机器人与墙壁,机器人与障碍物,机器人自身的形状等信息,预测出合适的线速度和角速度以完成安全的贴边行走。
考虑到室内无人驾驶清洁车的低速特性和处理器的运算能力,所发明的GAN网络具有适当的复杂度和深度。经过在仿真机和实际环境中测试,验证了所设计的GAN网络的预测速度能够满足实际贴边作业需求。
在本发明的另一个实施例中,如图3所示,一种机器人贴边行走系统,包括:
样本采集模块100,用于获取至少一种环境下的机器人贴边行走数据,作为样本数据。
具体的,本实施例所指机器人已具备基本的自主作业能力,但尚不具备贴边作业能力。机器人贴边行走数据,比如采集机器人在工作环境中人工作业模式下贴边行走的数据,当人工驾驶或引导清洁机器人贴边行走时,记录行走路线,并通过机器人配置的距离传感器获取周边环境信息,比如通过激光雷达、和/或超声传感器获取前方障碍物距离信息、侧方障碍物距离信息;通过速度传感器荻取机器人在对应环境中的实测速度,比如通过编码器获取机器人的线速度和角速度;获取参考路线信息等。将采集到的贴边行走数据作为样本数据。
数据清洗模块200,用于对所述样本数据进行数据清洗,得到特征样本数据。
具体的,样本数据中包含大量的无用信息和噪音,所以需要对样本数据进行数据清洗,丢弃无用的、不可靠的数据,剩下的数据中,对距离传感器数据进行滤波降噪处理,对人工训练的参考路线数据进行滤波平滑处理,从而得到特征样本数据。
网络训练模块300,用于将所述特征样本数据输入生成式对抗网络进行训练。
具体的,生成式对抗网络(GAN,Generative Adversarial Networks)是一种深度学习模型,是近年来复杂分布上半监督学习最具前景的方法之一。特征样本数据包括好数据和不好数据,好数据的定义为:机器人在无障碍物存在情况下能够比较稳定贴边行走的实测数据,以及,在有障碍物存在时,机器人能够安全、稳定绕障的实测数据。不好数据为,比如机器人姿态不好、行走不稳定、行走不安全的实测数据。好数据中包含的实测速度认为是好的实测速度,是与当时环境相适宜的稳定贴边行走或稳定绕障的速度。用好数据中好的实测速度训练GAN网络,让GAN网络学习到好的贴边行走速度的评判准则;当输入不好数据时,根据上述评判准则训练GAN网络输出一个符合该评判准则的预测速度。当输入所有不好数据时,GAN网络都能输出一个符合好的贴边行走速度的评判准则的预测速度时,GAN网络收敛,训练结束。
将所有特征样本数据输入训练好的GAN网络,GAN网络都能对应输出符合好的贴边行走速度的评判准则的预测速度。
贴边行走模块400,用于控制机器人按照训练好的生成式对抗网络输出的预测速度进行行走,以完成安全的贴边行走。
具体的,训练好的GAN网络根据机器人所处的作业环境实时输出预测速度,预测速度包括预测线速度和/或预测角速度,机器人按照预测线速度和/或预测角速度进行行走,可以实现安全的贴边行走。
墙体是障碍物,贴边行走实际是机器人的避障问题,不规则形状的机器人相对圆形机器人,在旋转过程中更容易碰到障碍物。本实施例基于深度学习方案,不仅适用于圆形机器人,也适用于非圆形的、具有不规则形状的机器人,可以避免不规则形状对避障带来的影响。
考虑到线速度和角速度的取值范围,本发明的网络输出为速度系数,可以在一定程度上降低网络的深度,进而提高预测速度。
将GAN网络技术引入贴边行走控制中,相比于传统的基于各种规则的控制方案,能够由网络自动去学习各种规则,弥补了传统技术中需要刻画实现各种规则的难点,大幅降低了开发周期与开发复杂度。
在本发明的另一个实施例中,如图3所示,一种机器人贴边行走系统,包括:
样本采集模块100,用于获取至少一种环境下的机器人贴边行走数据,作为样本数据。
所述至少一种环境下的机器人贴边行走数据包括:工作环境数据和/或仿真环境数据;所述工作环境数据包括人工作业模式数据和/或自动作业模式数据;所述样本数据包括距离传感器数据、编码器数据、参考路线信息。
具体的,机器人贴边行走数据可以采集仿真环境下的贴边行走数据,也可以采集机器人在实际工作环境中的自动作业模式下的贴边行走数据、人工作业模式下的贴边行走数据,并在贴边作业过程中进行人工干预,制造不同的作业场景,除了正常作业数据,还包括非正常作业数据,以复现不同的故障模式,提取各种特征数据,特征数据包括距离传感器数据、编码器数据、参考路线信息等,用于后续GAN网络的训练。获取多种环境下的机器人贴边行走数据,用于GAN网络的训练,有利于提升GAN网络的泛化性能。
数据清洗模块200,用于根据机器人的运动趋势舍弃所述样本数据中无关方位的距离传感器数据,并对剩下的距离传感器数据进行滤波降噪处理;对所述样本数据中参考路线信息进行滤波平滑处理;根据处理后的距离传感器数据和参考路线信息,得到环境特征数据;根据所述样本数据中编码器数据得到机器人的实测速度;根据所述环境特征数据和对应的所述实测速度,得到所述特征样本数据。
具体的,样本数据包括距离传感器数据、编码器数据、参考路线信息。样本数据中包含大量的无用信息和噪音,所以需要对样本数据进行数据清洗。数据清洗包括:
1、对多个距离传感器数据根据机器人的运动趋势进行有效取舍。距离传感器包括激光雷达传感器和/或超声传感器。由于激光雷达比较昂贵,所以一般在机器人本体的前方搭载一个激光雷达,在机器人本体两侧面和后面各搭载有数个超声传感器,考虑到激光雷达一般有盲区且测不出玻璃的特点,在车体前方可能还会同时搭载一个超声传感器做避障使用。根据机器人的运动趋势对距离传感器数据进行有效的取舍,比如机器人向前行走时,则只考虑前方和两侧的超声传感器数据,后方是无关方位,所以对安装在机器人后方的超声传感器数据进行舍弃。
2、对距离传感器数据进行滤波降噪处理。距离传感器数据,尤其是激光雷达数据,受硬件成本和作业环境影响,可能有一部分不太可靠,基于改进的卡尔曼滤波算法,对距离传感器数据进行降噪处理,再对降噪处理后的距离传感器数据进行解析,只保留可靠的距离传感器数据。比如在某些大型商场里,很多商家会有橱窗,即外边是一层透明的玻璃,玻璃后面,比如50cm左右,有一堵墙,墙上挂满商家的海报或商品等,因为激光对玻璃的穿透力强,激光数据遇到玻璃后面的墙壁会反射回来,因为玻璃的折射和反射作用,激光得到的数据不能准确反映实际墙壁和玻璃的距离和角度信息,进而造成机器人对环境信息的误判而影响到正常的作业,因此需要对这样的噪音数据做降噪处理。
3、对参考路线信息进行滤波平滑处理。考虑到各个传感器数据,比如激光雷达、编码器的数据,在采集过程中会不可避免的受到噪音污染,并且机器人的作业环境也不是理想状态,比如是坑洼不平的道路,编码器计算出来的距离与机器人的实际行走距离并不完全相等,因此各种数据融合时会有一定的误差,融合形成的参考路线会是锯齿形并有很多拐点,因此根据一种滤波算法,比如均值滤波算法,对参考路线信息进行平滑处理。
根据处理后的距离传感器数据,得到前方障碍物距离信息、侧方障碍物距离信息,再加上参考路线信息,得到环境特征数据;根据编码器数据分别对机器人的左、右轮移动的距离进行解析,从而得到机器人的实测速度,该实测速度包括实际行走线速度和角速度。环境特征数据和对应的实测速度构成特征样本数据。
网络训练模块300,用于将所述特征样本数据输入生成模型进行训练,使所述生成模型输出的预测速度逼近所述特征样本数据中的实测速度;当所述生成模型对所有特征样本数据都预测准确时,则训练结束,得到第一生成模型;将所述特征样本数据输入判别模型进行训练,使所述判别模型对所述特征样本数据中好的实测速度评估优,不好的实测速度评估差;所述好的实测速度是能使所述机器人安全绕障或安全贴边的速度;当所述判别模型对所有特征样本数据都评估准确时,则训练结束,得到第一判别模型;将所述第一生成模型的输出连接到所述第一判别模型,所述第一判别模型的输出反馈至所述第一生成模型,形成一个闭环反馈系统;将所述特征样本数据输入所述闭环反馈系统进行训练;将所述特征样本数据输入所述闭环反馈系统,按如下方式训练:
所述特征样本数据输入所述第一生成模型,所述第一生成模型将输出的预测速度输入所述第一判别模型,所述第一判别模型对所述预测速度进行评估,所述第一生成模型根据所述第一判别模型的评估结果进行参数调整,所述第一生成模型输出新的预测速度,如此循环,直至所述第一判别模型对所述第一生成模型输出的预测速度的评估为优。
当所述闭环反馈系统对输入的所有特征样本数据对应输出的评估都为优时,则训练结束,得到训练好的生成式对抗网络。
贴边行走模块400,用于控制机器人按照训练好的生成式对抗网络输出的预测速度进行行走,以完成安全的贴边行走。
具体的,将特征样本数据输入GAN网络进行训练,期待训练好的GAN网络能针对各种环境输出合理的预测速度,控制机器人按照该预测速度行走,以完成安全的贴边行走。GAN网络包括生成模型和判别模型,先对生成模型和判别模型分别进行训练,得到训练好的生成模型(即第一生成模型)和判别模型(即第一判别模型),再将第一生成模型和第一判别模型联合在一起进行训练,具体过程如下:
对特征样本数据,是否属于好数据进行分析和标注。好数据的定义为:机器人在无障碍物存在情况下能够比较稳定贴边行走的实测数据,以及,在障碍物存在时,机器人能够安全、稳定绕障的实测数据。不好数据,比如机器人姿态不好、行走不稳定、行走不安全的实测数据。好数据包含的实测速度认为是好的实测速度,不好数据包含的实测速度认为是不好的实测速度。这些标注信息用于后面模型的训练。
将每一个特征样本数据输入生成模型进行训练,通过多轮迭代,使生成模型能够有效学习输入数据间的联系,使输出的预测速度逼近实测速度。预测速度包括预测线速度和/或预测角速度,实测速度包括实测线速度和实测角速度。该生成模型基于m个lstm单元(Long Short-Term Memory,长短期记忆网络,是一种时间递归神经网络),具有n层的网络深度。
当预测线速度与实测线速度的偏差、预测角速度与实测角速度的偏差都在预设范围时,则认为生成模型的预测数据准确。当生成模型对输入的所有特征样本数据对应输出的预测数据都准确时,则训练结束,将得到的生成模型及其参数作为第一生成模型。
将每一个特征样本数据输入判别模型进行训练,由判别模型根据环境特征数据和对应的实测速度识别好的实测速度(好的实测速度是能使机器人安全绕障或安全贴边的速度),并对好的实测速度打高分,不好的实测速度打低分;当输入的特征样本数据属于好数据时,如果判别模型识别出是好的实测速度,打高分,则认为判别模型打分准确;当输入的特征样本数据属于不好数据时,如果判别模型识别出是不好的实测速度,打低分,则认为判别模型打分准确;其他情况,认为是打分不准确。当判别模型对输入的所有特征样本数据对应输出的打分都准确时,则训练结束,将得到的判别模型及其参数作为第一判别模型。
当模型分别训练结束后,将所述第一生成模型的输出连接到所述第一判别模型,所述第一判别模型的输出反馈至所述第一生成模型,形成一个闭环反馈系统,对该闭环反馈系统进行训练。
输入特征样本数据,第一生成模型将输出的预测速度输入第一判别模型,第一判别模型对该预测速度进行打分,并将打分结果反馈至第一生成模型,比如打分属于低分时,第一生成模型进行参数调整,根据调整后的参数,第一生成模型输出新的预测速度,第一判别模型对新的预测速度进行打分,如此循环,直至第一判别模型对第一生成模型输出的预测速度的打高分。如果打分属于高分时,则第一生成模型不进行参数调整。
当闭环反馈系统对输入的所有特征样本数据对应输出的评估都打分高时,则训练结束,得到的闭环反馈系统即训练好的生成式对抗网络。
因为前面对生成模型和判别模型分别进行了训练,所以判别模型对比较好的样本已有较高的辨识能力,当输入是一个不好的样本时,判别模型能引导生成模型预测出好的速度,所以训练好的GAN网络能够根据机器人与墙壁,机器人与障碍物,机器人自身的形状等信息,预测出合适的线速度和角速度以完成安全的贴边行走。
考虑到室内无人驾驶清洁车的低速特性和处理器的运算能力,所发明的GAN网络具有适当的复杂度和深度。经过在仿真机和实际环境中测试,验证了所设计的GAN网络的预测速度能够满足实际贴边作业需求。
应当说明的是,上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种机器人贴边行走方法,其特征在于,包括:
获取至少一种环境下的机器人贴边行走数据,作为样本数据;
对所述样本数据进行数据清洗,得到特征样本数据;
将所述特征样本数据输入生成式对抗网络进行训练;
控制机器人按照训练好的生成式对抗网络输出的预测速度进行行走,以完成安全的贴边行走。
2.根据权利要求1所述的机器人贴边行走方法,其特征在于:
所述至少一种环境下的机器人贴边行走数据包括:工作环境数据和/或仿真环境数据;所述工作环境数据包括人工作业模式数据和/或自动作业模式数据;
所述样本数据包括距离传感器数据、编码器数据、参考路线信息。
3.根据权利要求2所述的机器人贴边行走方法,其特征在于,所述对所述样本数据进行数据清洗,得到特征样本数据具体包括:
根据机器人的运动趋势舍弃所述样本数据中无关方位的距离传感器数据,并对剩下的距离传感器数据进行滤波降噪处理;
对所述样本数据中参考路线信息进行滤波平滑处理;
根据处理后的距离传感器数据和参考路线信息,得到环境特征数据;
根据所述样本数据中编码器数据得到机器人的实测速度;
根据所述环境特征数据和对应的所述实测速度,得到所述特征样本数据。
4.根据权利要求3所述的机器人贴边行走方法,其特征在于,所述的将所述特征样本数据输入生成式对抗网络进行训练包括:
生成式对抗网络包括生成模型和判别模型;
将所述特征样本数据分别输入所述生成模型和所述判别模型进行训练,对应得到第一生成模型和第一判别模型;
将所述第一生成模型的输出连接到所述第一判别模型,所述第一判别模型的输出反馈至所述第一生成模型,形成一个闭环反馈系统;
将所述特征样本数据输入所述闭环反馈系统进行训练;
当所述闭环反馈系统对输入的所有特征样本数据对应输出的评估都为优时,则训练结束,得到训练好的生成式对抗网络。
5.根据权利要求4所述的机器人贴边行走方法,其特征在于,将所述特征样本数据分别输入所述生成模型和所述判别模型进行训练,对应得到第一生成模型和第一判别模型包括:
将所述特征样本数据输入所述生成模型进行训练,使所述生成模型输出的预测速度逼近所述特征样本数据中的实测速度;
当所述生成模型对所有特征样本数据都预测准确时,则训练结束,得到第一生成模型;
将所述特征样本数据输入所述判别模型进行训练,使所述判别模型对所述特征样本数据中好的实测速度评估优,不好的实测速度评估差;所述好的实测速度是能使所述机器人安全绕障或安全贴边的速度;
当所述判别模型对所有特征样本数据都评估准确时,则训练结束,得到第一判别模型。
6.根据权利要求1所述的电机的控制方法,其特征在于:
所述机器人为非圆形。
7.一种机器人贴边行走装置,其特征在于,包括:
样本采集模块,用于获取至少一种环境下的机器人贴边行走数据,作为样本数据;
数据清洗模块,用于对所述样本数据进行数据清洗,得到特征样本数据;
网络训练模块,用于将所述特征样本数据输入生成式对抗网络进行训练;
贴边行走模块,用于控制机器人按照训练好的生成式对抗网络输出的预测速度进行行走,以完成安全的贴边行走。
8.根据权利要求7所述的机器人贴边行走装置,其特征在于:
所述数据清洗模块,进一步用于根据机器人的运动趋势舍弃所述样本数据中无关方位的距离传感器数据,并对剩下的距离传感器数据进行滤波降噪处理;对所述样本数据中参考路线信息进行滤波平滑处理;根据处理后的距离传感器数据和参考路线信息,得到环境特征数据;根据所述样本数据中编码器数据得到机器人的实测速度;根据所述环境特征数据和对应的所述实测速度,得到所述特征样本数据。
9.根据权利要求8所述的机器人贴边行走装置,其特征在于:
所述网络训练模块,进一步用于,生成式对抗网络包括生成模型和判别模型,将所述特征样本数据分别输入所述生成模型和所述判别模型进行训练,对应得到第一生成模型和第一判别模型;以及,将所述第一生成模型的输出连接到所述第一判别模型,所述第一判别模型的输出反馈至所述第一生成模型,形成一个闭环反馈系统;将所述特征样本数据输入所述闭环反馈系统进行训练;以及,当所述闭环反馈系统对输入的所有特征样本数据对应输出的评估都为优时,则训练结束,得到训练好的生成式对抗网络。
10.根据权利要求9所述的机器人贴边行走装置,其特征在于:
所述网络训练模块,进一步用于将所述特征样本数据输入所述生成模型进行训练,使所述生成模型输出的预测速度逼近所述特征样本数据中的实测速度;生成式对抗网络包括生成模型和判别模型;以及,当所述生成模型对所有特征样本数据都预测准确时,则训练结束,得到第一生成模型;以及,将所述特征样本数据输入所述判别模型进行训练,使所述判别模型对所述特征样本数据中好的实测速度评估优,不好的实测速度评估差;所述好的实测速度是能使所述机器人安全绕障或安全贴边的速度;以及,当所述判别模型对所有特征样本数据都评估准确时,则训练结束,得到第一判别模型。
CN201910047628.XA 2019-01-10 2019-01-10 一种机器人贴边行走方法及系统 Active CN109753071B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910047628.XA CN109753071B (zh) 2019-01-10 2019-01-10 一种机器人贴边行走方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910047628.XA CN109753071B (zh) 2019-01-10 2019-01-10 一种机器人贴边行走方法及系统

Publications (2)

Publication Number Publication Date
CN109753071A true CN109753071A (zh) 2019-05-14
CN109753071B CN109753071B (zh) 2022-04-22

Family

ID=66405959

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910047628.XA Active CN109753071B (zh) 2019-01-10 2019-01-10 一种机器人贴边行走方法及系统

Country Status (1)

Country Link
CN (1) CN109753071B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111538338A (zh) * 2020-05-28 2020-08-14 长沙中联重科环境产业有限公司 一种机器人贴边运动控制系统及方法
CN113156925A (zh) * 2020-01-07 2021-07-23 四川省桑瑞光辉标识系统股份有限公司 一种基于对抗网络的双足机器人行走控制方法及电子设备
CN113848893A (zh) * 2021-09-14 2021-12-28 武汉联一合立技术有限公司 机器人导航方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1977673A2 (en) * 2007-04-06 2008-10-08 Samsung Electronics Co., Ltd. Wall-following robot cleaner and method to control the same
CN103984342A (zh) * 2013-12-23 2014-08-13 王秀青 移动机器人的多脉冲神经网络控制器导航控制方法
CN104571113A (zh) * 2015-01-20 2015-04-29 博康智能网络科技股份有限公司 移动机器人的路径规划方法
CN106444768A (zh) * 2016-10-20 2017-02-22 上海物景智能科技有限公司 一种机器人的贴边行走方法及系统
CN108021131A (zh) * 2017-11-28 2018-05-11 王智华 一种机器人视觉识别方法、装置及计算机可读存储介质
CN108828944A (zh) * 2018-06-21 2018-11-16 山东大学 基于改进pso及svm的编码器故障诊断系统及方法
CN109003297A (zh) * 2018-07-18 2018-12-14 亮风台(上海)信息科技有限公司 一种单目深度估计方法、装置、终端和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1977673A2 (en) * 2007-04-06 2008-10-08 Samsung Electronics Co., Ltd. Wall-following robot cleaner and method to control the same
CN103984342A (zh) * 2013-12-23 2014-08-13 王秀青 移动机器人的多脉冲神经网络控制器导航控制方法
CN104571113A (zh) * 2015-01-20 2015-04-29 博康智能网络科技股份有限公司 移动机器人的路径规划方法
CN106444768A (zh) * 2016-10-20 2017-02-22 上海物景智能科技有限公司 一种机器人的贴边行走方法及系统
CN108021131A (zh) * 2017-11-28 2018-05-11 王智华 一种机器人视觉识别方法、装置及计算机可读存储介质
CN108828944A (zh) * 2018-06-21 2018-11-16 山东大学 基于改进pso及svm的编码器故障诊断系统及方法
CN109003297A (zh) * 2018-07-18 2018-12-14 亮风台(上海)信息科技有限公司 一种单目深度估计方法、装置、终端和存储介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
A. BUDIANTO 等: "Analysis of Artificial Intelligence Application Using Back Propagation Neural Network and Fuzzy Logic Controller on Wall-Following Autonomous Mobile Robot", 《2017 INTERNATIONAL SYMPOSIUM ON ELECTRONICS AND SMART DEVICES (ISESD)》 *
LIU YANQI 等: "Robust Object Estimation using Generative-Discriminative Inference for Secure Robotics Applications", 《2018 IEEE/ACM INTERNATIONAL CONFERENCE ON COMPUTER-AIDED DESIGN (ICCAD)》 *
WANG XIUQING 等: "The wall-following controller for the mobile robot using spiking neurons", 《2009 INTERNATIONAL CONFERENCE ON ARTIFICIAL INTELLIGENCE AND COMPUTATIONAL INTELLIGENCE》 *
袁宇龙: "室内自主移动机器人沿墙导航研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
高志强 等: "《深度学习:从入门到实战》", 30 June 2018 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113156925A (zh) * 2020-01-07 2021-07-23 四川省桑瑞光辉标识系统股份有限公司 一种基于对抗网络的双足机器人行走控制方法及电子设备
CN113156925B (zh) * 2020-01-07 2022-11-29 四川省桑瑞光辉标识系统股份有限公司 一种基于对抗网络的双足机器人行走控制方法及电子设备
CN111538338A (zh) * 2020-05-28 2020-08-14 长沙中联重科环境产业有限公司 一种机器人贴边运动控制系统及方法
CN111538338B (zh) * 2020-05-28 2023-05-26 长沙中联重科环境产业有限公司 一种机器人贴边运动控制系统及方法
CN113848893A (zh) * 2021-09-14 2021-12-28 武汉联一合立技术有限公司 机器人导航方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN109753071B (zh) 2022-04-22

Similar Documents

Publication Publication Date Title
CN109753071A (zh) 一种机器人贴边行走方法及系统
CN107278282B (zh) 路径规划的方法、装置、飞行控制系统、全方位避障系统与无人机
CN101916071B (zh) 仿生机器鱼运动的cpg反馈控制方法
Borenstein et al. Real-time obstacle avoidance for fast mobile robots
WO2019076044A1 (zh) 移动机器人局部运动规划方法、装置及计算机存储介质
CN112631296B (zh) 基于深度强化学习的机器人导航方法及系统、设备、介质
CN103984342B (zh) 移动机器人的多脉冲神经网络控制器导航控制方法
CN105759836A (zh) 一种基于3d摄像头的无人机避障方法及装置
CN105094124A (zh) 基于操作条件反射进行自主路径探索的方法及模型
CN107562053A (zh) 一种基于模糊q学习的六足机器人避障方法
CN107798870A (zh) 一种多车辆目标跟踪的航迹管理方法及系统、车辆
CN105425828A (zh) 基于传感器融合技术的机器人防碰撞冲击双臂协调控制系统
CN104914867B (zh) 一种模糊神经网络的六足机器人自主导航闭环控制器
CN111746728B (zh) 一种基于强化学习的新型水上清洁机器人及控制方法
CN115826581A (zh) 一种模糊控制与强化学习结合的移动机器人路径规划算法
CN112327821A (zh) 一种基于深度强化学习的智能清洁机器人路径规划方法
Yan et al. Real-world learning control for autonomous exploration of a biomimetic robotic shark
Das et al. A machine learning approach for collision avoidance and path planning of mobile robot under dense and cluttered environments
US11911902B2 (en) Method for obstacle avoidance in degraded environments of robots based on intrinsic plasticity of SNN
CN111026121A (zh) 智能清扫车多层次立体避障控制方法及装置
Carreno et al. Situation-Aware Task Planning for Robust AUV Exploration in Extreme Environments
CN109916400A (zh) 一种基于梯度下降算法与vo法相结合的无人艇避障方法
Haq et al. Room mapping using ultrasonic range sensor on the atracbot (autonomous trash can robot): A simulation approach
Yang et al. The research on intelligent mobile robot's avoiding obstacle by ultrasound
Kong et al. Path Planning of a Multifunctional Elderly Intelligent Wheelchair Based on the Sensor and Fuzzy Bayesian Network Algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231116

Address after: Room 2401, Building 4, No. 209 Zhuyuan Road, Suzhou High tech Zone, Suzhou City, Jiangsu Province, 215000

Patentee after: Jiangsu Cheguan Environmental Sanitation Co.,Ltd.

Address before: Room 212, 2 / F, building 1, No. 599, Gaojing Road, Qingpu District, Shanghai, 201702

Patentee before: SHANGHAI VIEW TECHNOLOGIES Co.,Ltd.