CN107659918A - 一种智能跟随的方法及系统 - Google Patents
一种智能跟随的方法及系统 Download PDFInfo
- Publication number
- CN107659918A CN107659918A CN201710686077.2A CN201710686077A CN107659918A CN 107659918 A CN107659918 A CN 107659918A CN 201710686077 A CN201710686077 A CN 201710686077A CN 107659918 A CN107659918 A CN 107659918A
- Authority
- CN
- China
- Prior art keywords
- equipment
- user
- followed
- follow
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000005516 engineering process Methods 0.000 claims abstract description 76
- 230000007613 environmental effect Effects 0.000 claims abstract description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 29
- 238000010801 machine learning Methods 0.000 claims description 12
- 230000004927 fusion Effects 0.000 claims description 11
- 230000005611 electricity Effects 0.000 claims description 10
- 238000002156 mixing Methods 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 claims description 4
- 241001269238 Data Species 0.000 claims description 3
- 238000013459 approach Methods 0.000 claims description 3
- 230000003993 interaction Effects 0.000 abstract description 5
- 230000015572 biosynthetic process Effects 0.000 abstract description 3
- 238000003786 synthesis reaction Methods 0.000 abstract description 3
- 230000004083 survival effect Effects 0.000 abstract description 2
- 230000007246 mechanism Effects 0.000 description 29
- 238000004891 communication Methods 0.000 description 8
- 230000004438 eyesight Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000004888 barrier function Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 241000209094 Oryza Species 0.000 description 2
- 235000007164 Oryza sativa Nutrition 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 235000009566 rice Nutrition 0.000 description 2
- 230000011664 signaling Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000005352 clarification Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 241000894007 species Species 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W64/00—Locating users or terminals or network equipment for network management purposes, e.g. mobility management
- H04W64/006—Locating users or terminals or network equipment for network management purposes, e.g. mobility management with additional information processing, e.g. for direction or speed determination
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Aviation & Aerospace Engineering (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Electromagnetism (AREA)
- Navigation (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本发明公开一种智能跟随的方法及系统。该方法包括：利用RSSI技术、UWB技术或无线载波技术确定用户的位置信息；根据所述用户的位置信息给所述用户分配跟随设备；建立所述用户与所述跟随设备的连接；利用机器视觉技术获取所述用户的特征信息；根据所述特征信息控制所述跟随设备在设定阈值范围内跟随所述用户。采用本发明的方法或系统，使用简便、灵活，人机交互性强，可根据实际需要设置在机场、大型综合体和超市，释放人们的双手，具有很强的环境适应性和生存能力，同时本发明在技术上完美平衡了成本和跟随精度，灵活性好，稳定性高，在拥有高精度的同时实现了低成本，具有良好的可推广性。
Description
技术领域
本发明涉及人工智能领域，特别是涉及一种智能跟随的方法及系统。
背景技术
机场航站楼内的旅客手推车很大程度上为旅客提供了方便，但是同时对于手推车的收集、整理、定点归位等工作多采用传统的人工统计管理模式，占用人力资源，而且管理效率不高，至今没有良好的解决方案。同时，在大型综合商场或其他大型场所，各种服务设施日趋完善，但在解放顾客双手问题上，除了固定储物柜外再无其他设施，而且定点的储物柜也无法从根本上满足顾客的便利需求。因此，对于大型综合场所来说，现有的设施在为用户提供方便的基础上，存在管理效率低且便利性低的问题。
发明内容
本发明的目的是提供一种智能跟随的方法及系统，以解决现有技术中设施管理效率低且便利性低的问题。
为实现上述目的，本发明提供了如下方案：
一种智能跟随的方法，所述方法包括：
利用RSSI技术、UWB技术或无线载波技术确定用户的位置信息；
根据所述用户的位置信息给所述用户分配跟随设备；
建立所述用户与所述跟随设备的连接；
利用机器视觉技术获取所述用户的特征信息；
根据所述特征信息控制所述跟随设备在设定阈值范围内跟随所述用户。
可选的，所述利用RSSI技术、UWB技术或无线载波技术确定用户的位置信息，具体包括：
利用RSSI技术、UWB技术或无线载波技术获取位置基站信号；
获取用户移动终端与所述位置基站的距离信号；
对所述距离信号进行滤波，确定所述用户移动终端在虚拟地图中的位置信息；
将所述用户移动终端的位置信息确定为所述用户的位置信息。
可选的，所述根据所述用户的位置信息给所述用户分配跟随设备，具体包括：
获取所有未连接的跟随设备的位置信息；所述未连接的跟随设备为未与用户建立连接的跟随设备；
获取所有未连接的跟随设备到达所述用户位置的路线距离；
将所述路线距离中距离最短的路线对应的跟随设备分配给所述用户。
可选的，所述建立所述用户与所述跟随设备的连接，具体包括：
获取用户移动终端的扫码信息；
根据所述用户移动终端的扫码信息通过将所述用户的移动终端与所述跟随设备建立连接的方式建立所述用户与所述跟随设备的连接，所述用户的移动终端与所述跟随设备通过蓝牙方式建立连接。
可选的，所述根据所述特征信息控制所述跟随设备在设定阈值范围内跟随所述用户，具体包括：
实时获取所述用户的位置信息和所述跟随设备的位置信息；
利用RSSI技术、UWB技术或无线载波技术获取所述用户与所述跟随设备之间的相对位置矢量信息；
实时获取所述跟随设备的环境数据，通过机器视觉技术和机器学习算法控制所述跟随设备对所述用户的目标锁定和障碍路径的规划；
根据所述用户的位置信息和所述跟随设备的位置信息、所述用户与所述跟随设备之间的相对位置矢量信息、所述跟随设备对所述用户的目标锁定和障碍路径的规划，利用信息融合算法控制所述跟随设备在设定阈值范围内跟随所述用户。
可选的，所述根据所述特征信息控制所述跟随设备在设定阈值范围内跟随所述用户之后，还包括：
所述用户使用结束后，将所述用户与所述跟随设备断开连接；
获取所述跟随设备的位置信息，获得所述跟随设备回库的路径；
控制所述跟随设备按照所述回库的路径回库。
可选的，所述控制所述跟随设备按照所述回库的路径回库之后，还包括：
实时监测分析库中所有跟随设备的状态数据，所述状态数据包括跟随设备的电量；
根据所述状态数据确定跟随设备的状态等级；所述状态等级包括第一状态等级和第二状态等级；所述第一状态等级的电量高于所述第二状态等级的电量；
将第一状态等级的跟随设备确定为待分配跟随设备，所述待分配跟随设备用于分配至跟随下一个用户。
一种智能跟随的系统，所述系统包括：
位置信息确定模块，用于利用RSSI技术、UWB技术或无线载波技术确定用户的位置信息；
跟随设备分配模块，用于根据所述用户的位置信息给所述用户分配跟随设备；
连接建立模块，用于建立所述用户与所述跟随设备的连接；
特征信息获取模块，用于利用机器视觉技术获取所述用户的特征信息；
跟随控制模块，用于根据所述特征信息控制所述跟随设备在设定阈值范围内跟随所述用户。
可选的，所述跟随设备分配模块，具体包括：
跟随设备位置信息获取单元，用于获取所有未连接的跟随设备的位置信息；所述未连接的跟随设备为未与用户建立连接的跟随设备；
路线距离获取单元，用于获取所有未连接的跟随设备到达所述用户位置的路线距离；
跟随设备分配单元，用于将所述路线距离中距离最短的路线对应的跟随设备分配给所述用户。
可选的，所述跟随控制模块，具体包括：
位置信息获取单元，用于实时获取所述用户的位置信息和所述跟随设备的位置信息；
相对位置矢量信息获取单元，用于利用RSSI技术、UWB技术或无线载波技术获取所述用户与所述跟随设备之间的相对位置矢量信息；
目标锁定单元，用于实时获取所述跟随设备的环境数据，通过机器视觉技术和机器学习算法控制所述跟随设备对所述用户的目标锁定和障碍路径的规划；
跟随控制单元，用于根据所述用户的位置信息和所述跟随设备的位置信息、所述用户与所述跟随设备之间的相对位置矢量信息、所述跟随设备对所述用户的目标锁定和障碍路径的规划，利用信息融合算法控制所述跟随设备在设定阈值范围内跟随所述用户。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明使用简便、灵活，人机交互性强，可根据实际需要设置在机场、大型综合体和超市，释放人们的双手，具有很强的环境适应性和生存能力，同时本发明在技术上完美平衡了成本和跟随精度，灵活性好，稳定性高，在拥有高精度的同时实现了低成本，具有良好的可推广性；使用了RSSI或者UWB及其衍生技术，亦或以RSSI为基础类化出的相似协议和机器视觉及其衍生技术的融合，为高精度要求提供了技术基础；多级定位跟随明显优于跟随设备与用户手持终端的简单唯一配对。同时基于机器视觉和多传感器数据的移动障碍轨迹预测，可以及时分辨出用户和障碍物，从而对跟随路线进行智能调整，避免碰撞事故的发生，保证了跟随的持续性和稳定性；统一调度全局把握，个体间可以多机交互自行组网，云端支持大数据分析计算，保证了系统的灵活性和扩展性，支持大量跟随设备同时运行。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明智能跟随的方法流程图；
图2为本发明智能跟随的方法中控制跟随设备跟随用户的流程图；
图3为本发明智能跟随的系统实施例1的结构图；
图4为本发明智能跟随的系统实施例2的结构图；
图5为本发明智能跟随的系统实施例2的工作流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明智能跟随的方法流程图。如图1所示，所述方法包括：
步骤101：确定用户的位置信息。利用RSSI技术、UWB技术或无线载波技术确定用户的位置信息。RSSI(Received Signal Strength Indication)是指接收的信号强度指示，UWB(UltraWideband)是指无载波通信技术。具体确定过程为：
利用RSSI技术、UWB技术或无线载波技术获取位置基站信号；
获取用户移动终端与所述位置基站的距离信号。以RSSI技术为例，用户移动终端接收位置基站信号的强度随着用户位置的改变而改变，因此，利用RSSI技术便可确定用户移动终端距离位置基站的距离，进一步确定用户移动终端的位置信号。RSSI(ReceivedSignal Strength Indication)是指接收的信号强度指示。RSSI技术为通过接收到的信号强弱测定信号点与接收点的距离，进而根据相应数据进行定位计算的一种定位技术；
对所述距离信号进行滤波，确定所述用户移动终端在虚拟地图中的位置信息；
将所述用户移动终端的位置信息确定为所述用户的位置信息。
步骤102：给用户分配跟随设备。根据所述用户的位置信息给所述用户分配跟随设备。具体分配过程为：
获取所有未连接的跟随设备的位置信息；所述未连接的跟随设备为未与用户建立连接的跟随设备；
获取所有未连接的跟随设备到达所述用户位置的路线距离；通过计算每一个未连接的跟随设备到达用户位置的无障碍距离，作为分配的规则；
将所述路线距离中距离最短的路线对应的跟随设备分配给所述用户。将对应的跟随设备分配给所述用户之后，跟随设备按照距离最短的路线到达用户位置，准备跟随用户。此分配原则保证未连接的跟随设备以最快的时间到达用户位置，节约用户的等待时间，给用户提供更好的使用感。
步骤103：建立用户与跟随设备的连接。建立连接的过程为：
获取用户移动终端的扫码信息；
根据所述用户移动终端的扫码信息通过将所述用户的移动终端与所述跟随设备建立连接的方式建立所述用户与所述跟随设备的连接，所述用户的移动终端与所述跟随设备通过蓝牙方式建立连接。
具体实施时，用户通过移动终端扫描跟随设备上的二维码，扫描完成后，两者通过蓝牙模块建立连接。
步骤104：获取用户的特征信息。利用机器视觉技术获取用户的特征信息。具体实施时，可以采用跟随设备上的摄像头设备采集用户的特征图像，利用机器视觉技术采集用户的特征信息。此处的机器视觉技术包括视觉库技术和在机器视觉技术层面上的机器学习算法，例如TensorFlow(一种机器学习算法)，就是在机器视觉技术层面上的机器学习算法。
步骤105：控制跟随设备跟随用户。根据特征信息控制跟随设备在设定阈值范围内跟随用户，具体过程为：
实时获取所述用户的位置信息和所述跟随设备的位置信息，此为第一级跟随，初步获取用户和跟随设备在虚拟地图中的位置信息，建立两点位置之间的跟随；
利用RSSI技术、UWB技术或无线载波技术获取所述用户与所述跟随设备之间的相对位置矢量信息，此为第二级跟随，第二级跟随为用户与跟随设备的相对坐标信息，其利用RSSI技术、UWB技术或无线载波技术实时获得用户的移动终端与跟随设备间的多点实时距离计算得到二者间的相对位置矢量，进而得到相对位置的跟随；
实时获取所述跟随设备的环境数据，通过机器视觉技术和机器学习算法控制所述跟随设备对所述用户的目标锁定和障碍路径的规划，此为第三级跟随，第三级跟随信息为跟随设备对跟随目标的特征锁定和障碍预测，其通过安装在跟随设备上的摄像头获得实时环境数据，通过机器视觉技术和机器学习算法进行跟随目标的分析锁定和障碍路径的预测，进而得到第三级跟随信息,例如，机器视觉技术可以采用OpenCV视觉库。此处的机器学习算法为除视觉技术层面之外其他层面的机器学习算法，比如智慧避障，比如路径规划，比如环境学习等。
根据所述用户的位置信息和所述跟随设备的位置信息、所述用户与所述跟随设备之间的相对位置矢量信息、所述跟随设备对所述用户的目标锁定和障碍路径的规划，利用信息融合算法控制所述跟随设备在设定阈值范围内跟随所述用户。结合三级跟随，利用信息融合算法控制跟随设备实时跟随用户，通常会设定跟随的阈值范围，控制跟随设备在设定的阈值范围内跟随用户。例如，设定阈值可以为1米，此时跟随设备需要与用户保持在1米的范围内；设置阈值可以为1-2米，此时跟随设备需要与用户保持在1-2米的范围内。
当用户使用跟随设备结束后，将所述用户与所述跟随设备断开连接；然后获取所述跟随设备的位置信息，获得所述跟随设备回库的路径；控制所述跟随设备按照所述回库的路径回库，回库之后跟随设备自动充电至状态良好。回库的过程中也采用上述的三级跟随算法。
当跟随设备回库后，实时监测分析库中所有跟随设备的状态数据，状态数据包括跟随设备的电量，电量是状态数据的其中一个参数；也可以设置其他参数作为评价跟随设备状态的标准；
根据所述状态数据确定跟随设备的状态等级；所述状态等级包括第一状态等级和第二状态等级；所述第一状态等级的电量高于所述第二状态等级的电量；第一状态等级通常指状态良好的状态，跟随设备可以进行正常的跟随工作，例如可以设置跟随机器满电量的80％以上为第一状态等级，满电量80％以下为第二状态等级，还可以设置多个等级状态，根据实际需求进行相应设计即可；
将第一状态等级的跟随设备确定为待分配跟随设备，所述待分配跟随设备用于分配至跟随下一个用户。
本发明中涉及RSSI技术、UWB技术与无线载波技术的部分，可以选择其中一种技术实现本发明的方案，也可能是两种技术混合或者三种技术的混合或它们的衍生技术，都可以实现本发明的方案，并不局限于某一种技术。
图2为本发明智能跟随的方法中控制跟随设备跟随用户的流程图。以RSSI或UWB技术为例，但不局限于此。如图2所示，第一级跟随信息为获得虚拟地图中的坐标信息，其通过对移动终端和跟随设备的实时RSSI或UWB虚拟地图位置信息进行滤波，得到二者在虚拟地图中的位置信息后进行交叉计算得到一级跟随信息；第二级跟随信息为移动终端与跟随设备的相对坐标信息，其利用移动终端与跟随设备间多点的RSSI/UWB实时距离计算得到二者间的相对位置矢量，进而得到二级跟随信息；第三级跟随信息为跟随设备对跟随目标的特征锁定和障碍预测，其通过安装在跟随设备上的摄像头获得实时环境数据，通过机器视觉技术和机器学习算法进行跟随目标的分析锁定和障碍路径的预测，进而得到三级跟随信息。
图3为本发明智能跟随的系统实施例1的结构图。如图3所示，所述系统包括：
位置信息确定模块301，用于利用RSSI技术、UWB技术或无线载波技术确定用户的位置信息；
跟随设备分配模块302，用于根据所述用户的位置信息给所述用户分配跟随设备；跟随设备分配模块302，具体包括：
跟随设备位置信息获取单元，用于获取所有未连接的跟随设备的位置信息；所述未连接的跟随设备为未与用户建立连接的跟随设备；
路线距离获取单元，用于获取所有未连接的跟随设备到达所述用户位置的路线距离；
跟随设备分配单元，用于将所述路线距离中距离最短的路线对应的跟随设备分配给所述用户。
连接建立模块303，用于建立所述用户与所述跟随设备的连接；
特征信息获取模块304，用于利用机器视觉技术获取所述用户的特征信息；
跟随控制模块305，用于根据所述特征信息控制所述跟随设备在设定阈值范围内跟随所述用户。跟随控制模块305，具体包括：
位置信息获取单元，用于实时获取所述用户的位置信息和所述跟随设备的位置信息；
相对位置矢量信息获取单元，用于利用RSSI技术、UWB技术或无线载波技术获取所述用户与所述跟随设备之间的相对位置矢量信息；
目标锁定单元，用于实时获取所述跟随设备的环境数据，通过机器视觉技术和机器学习算法控制所述跟随设备对所述用户的目标锁定和障碍路径的规划；
跟随控制单元，用于根据所述用户的位置信息和所述跟随设备的位置信息、所述用户与所述跟随设备之间的相对位置矢量信息、所述跟随设备对所述用户的目标锁定和障碍路径的规划，利用信息融合算法控制所述跟随设备在设定阈值范围内跟随所述用户。
现有技术中的跟随方法或系统，通常存在以下问题：
跟随精度不足：现有跟随方法中涉及到的技术有GPS技术、RSSI技术、利用超声波定位技术等。其中GPS误差在4米至100米之间，穿透性差，因此无法在室内使用；RSSI位置精度提高到了2m以内，但只RSSI技术确定位置，采用精度无法满足稳定跟随的要求而且信号易受干扰；超声波受多径效应和非视距传播影响很大，存在无法识别人和物体的缺点。综合来看，现有方法技术单一，缺乏融合的思路；精度普遍偏低。
系统稳定性差可靠性低：仅通过跟随机构和手持终端唯一配对的方法降低了整个跟随系统的稳定性，不能检测固定的障碍更无法预测移动障碍的轨迹导致了较高的碰撞发生率。
系统扩展性差不能并行运行：现有跟随系统均是独立运行个体，没有相互通讯交互机制，也没有中央控制系统的概念，缺乏不同个体之间数据信息协调统一处理机制，失去了大量重要的信息，扩展性差且没有多个体同时并行运行的能力。
对于本发明，采用高精度多信息融合跟随算法，利用多传感器数据融合技术，可获得高精度的位置修正值。RSSI和机器视觉融合保证了室内测距的准确性，机器视觉和传感器(超声波、激光雷达等)信息融合来预测移动障碍轨迹，可以及时分辨出用户和障碍物，从而对跟随路线进行智能调整，避免了碰撞的发生，保证了跟随的持续性和稳定性。同时，系统由中控系统统一调度，个体间也可以多机交互自行组网，当跟随设备以数量较多的方式运行时，可以通过相互之间的通讯来形成无线自组网，也可在一定程度上的实现位置数据信息的获取，扩展性好，灵活性高，支持大量个体同时并行运行。
图4为本发明智能跟随的系统实施例2的结构图。如图4所示，由5部分构成：分别是手机终端、跟随设备、位置基站、云端以及中控系统，相互关系及数据流向如图中所示。
其中，手机终端由信息采集模块、信号接收模块、处理控制模块和通信模块构成，通常可以是智能手机。信息采集模块进行扫码等信息的输入，信号接收模块接收位置基站信号，处理控制模块处理相应的信息并通过通信模块与云端进行通讯，云端分析数据后与相应的本地中控系统进行数据交互，最终获取手机终端的本地位置信息，并建立手机终端与中控系统的本地连接。本地中控系统调度在线运行的跟随设备(通过其通信模块一直与本地中控系统保持连接状态)，通过处理控制模块控制RSSI信号发射模块与手机终端的信号接收模块建立人机连接。
同时，跟随设备通过图像采集模块采集用户特征信息并辅以信号接收模块接收位置基站信号，再通过处理控制模块融合人机相对位置信息进而控制动力驱动模块实现跟随。
此外，当不同个体的跟随设备运行在一定范围内或当跟随设备以数量较多的方式运行时，可以通过跟随设备搭载的多机通讯模块进行多机协调，通过相互之间的通讯搭建局部或全局自组网，提升系统性能。
图5为本发明智能跟随的系统实施例2的工作流程示意图。如图5所示，整体工作由三部分组成，分别是用户、跟随机构和中控/云端。其中，用户行为均为主动行为，负责启停整体系统的工作流程；跟随机构负责完成采集用户特征信息，锁定并跟随用户，以及服务完成后自动回库充电等系列动作；中控/云端负责获取用户的位置信息，分析用户的使用数据，分配合适的跟随机构，利用三级融合跟随算法，完成跟随目的，并在跟随服务结束后安排跟随机构回库进入待机状态。
系统整体工作分为三步，分别是建立连接、跟随和服务完成待机，在每个步骤中，三个对象互相联系，共同完成整个系统流程，其具体流程如下：
(1)在建立连接的过程中，用户打开手机应用，获取RSSI或UWB位置基站信号，并判断出手机相对基站的距离，将数据传至中控/云端，中控/云端结合基站的虚拟地图位置，得到用户位置。
(2)中控系统为用户分配合适的跟随机构，将人机设备信息绑定并计算跟随机构需要靠近的位置，随后将路径分析数据传至跟随机构，使跟随机构自主靠近用户并与用户设备建立直连。
(3)用户利用手机对跟随机构进行扫码，扫码完成后跟随系统利用机身携带的摄像头设备，通过机器视觉技术采集用户的特征信息。
(4)跟随机构融合人机位置信息与用户特征信息，锁定跟随对象，完成建立连接过程。
(5)用户和跟随机构建立连接后，跟随机构将跟随用户行走。
(6)手机终端与跟随机构实时将被锁定用户与跟随机构的位置数据传至中控/云端，中控/云端对数据进行分析，获取用户和跟随机构的虚拟地图位置，完成第一级跟随。此处利用RSSI或UWB技术获取用户和跟随设备的位置，由于用户手机终端与跟随机构接收位置基站信号强度随着用户位置的改变而改变，因此利用RSSI技术可以准确地获得用户手机终端的位置。
(7)用户手机终端与跟随机构通过RSSI/UWB技术实现直连，实时获得手机终端与跟随机构间的多点距离并发送至中控/云端，计算相对位置矢量，进而得到二者相对坐标，完成第二级跟随。
(8)跟随机构利用其上安装的摄像头获取实时环境数据并与中控/云端进行数据交互，通过机器视觉技术和机器学习算法进行目标锁定跟踪和障碍轨迹预测，调整跟随机构的行进路线进行避障，完成三级跟随。
(9)上述三级融合跟随算法贯穿整个跟随过程，得到跟随机构的行进方向和行进角度，实现跟随。
(10)用户结束使用后，中控系统将人机设备解绑，并分析跟随机构的状态数据，计算得到跟随机构的回库路径。
(11)中控系统将规划好的路径信息传至跟随机构，跟随机构利用上述三级融合跟随算法自动回库，自动充电直至状态良好。
(12)最后中控系统会实时监测分析跟随机构的状态数据，将状态良好的跟随机构加入待机序列。
本方案中使用的室内定位技术RSSI也可由UWB等其他室内定位技术替换。需要注意的是，虽然RSSI的精度已达到要求值，但在成本允许的情况下，也可以用UWB替换RSSI以增加精度。机器视觉技术可以采用OpenCV视觉库，也可由其他视觉系统进行替换，机器学习算法也可以有多种算法名称，比如TensorFlow，或者更高层次的具备更好的灵活性和扩展性的机器学习计算算法，其在替换后同样可以满足发明要求。本地中控系统与云端在本发明中为两个分立部分，并不表示缺少其中一个就不可运行，也不表示二者的功能不完全重复。甚至可以由机器本身通过一些协议搭建自组网络来实现本地中控系统与云端的功能。在基本结构不变的情况下，可以设计多个安装摄像头的位置点以保证拍摄精度；在保证拍摄质量的情况下，也可以根据不同需求改变摄像头的位置、种类等。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种智能跟随的方法，其特征在于，所述方法包括：
利用RSSI技术、UWB技术或无线载波技术确定用户的位置信息；
根据所述用户的位置信息给所述用户分配跟随设备；
建立所述用户与所述跟随设备的连接；
利用机器视觉技术获取所述用户的特征信息；
根据所述特征信息控制所述跟随设备在设定阈值范围内跟随所述用户。
2.根据权利要求1所述的方法，其特征在于，所述利用RSSI技术、UWB技术或无线载波技术确定用户的位置信息，具体包括：
利用RSSI技术、UWB技术或无线载波技术获取位置基站信号；
获取用户移动终端与所述位置基站的距离信号；
对所述距离信号进行滤波，确定所述用户移动终端在虚拟地图中的位置信息；
将所述用户移动终端的位置信息确定为所述用户的位置信息。
3.根据权利要求1所述的方法，其特征在于，所述根据所述用户的位置信息给所述用户分配跟随设备，具体包括：
获取所有未连接的跟随设备的位置信息；所述未连接的跟随设备为未与用户建立连接的跟随设备；
获取所有未连接的跟随设备到达所述用户位置的路线距离；
将所述路线距离中距离最短的路线对应的跟随设备分配给所述用户。
4.根据权利要求1所述的方法，其特征在于，所述建立所述用户与所述跟随设备的连接，具体包括：
获取用户移动终端的扫码信息；
根据所述用户移动终端的扫码信息通过将所述用户的移动终端与所述跟随设备建立连接的方式建立所述用户与所述跟随设备的连接，所述用户的移动终端与所述跟随设备通过蓝牙方式建立连接。
5.根据权利要求1所述的方法，其特征在于，所述根据所述特征信息控制所述跟随设备在设定阈值范围内跟随所述用户，具体包括：
实时获取所述用户的位置信息和所述跟随设备的位置信息；
利用RSSI技术、UWB技术或无线载波技术获取所述用户与所述跟随设备之间的相对位置矢量信息；
实时获取所述跟随设备的环境数据，通过机器视觉技术和机器学习算法控制所述跟随设备对所述用户的目标锁定和障碍路径的规划；
根据所述用户的位置信息和所述跟随设备的位置信息、所述用户与所述跟随设备之间的相对位置矢量信息、所述跟随设备对所述用户的目标锁定和障碍路径的规划，利用信息融合算法控制所述跟随设备在设定阈值范围内跟随所述用户。
6.根据权利要求1所述的方法，其特征在于，所述根据所述特征信息控制所述跟随设备在设定阈值范围内跟随所述用户之后，还包括：
所述用户使用结束后，将所述用户与所述跟随设备断开连接；
获取所述跟随设备的位置信息，获得所述跟随设备回库的路径；
控制所述跟随设备按照所述回库的路径回库。
7.根据权利要求6所述的方法，其特征在于，所述控制所述跟随设备按照所述回库的路径回库之后，还包括：
实时监测分析库中所有跟随设备的状态数据，所述状态数据包括跟随设备的电量；
根据所述状态数据确定跟随设备的状态等级；所述状态等级包括第一状态等级和第二状态等级；所述第一状态等级的电量高于所述第二状态等级的电量；
将第一状态等级的跟随设备确定为待分配跟随设备，所述待分配跟随设备用于分配至跟随下一个用户。
8.一种智能跟随的系统，其特征在于，所述系统包括：
位置信息确定模块，用于利用RSSI技术、UWB技术或无线载波技术确定用户的位置信息；
跟随设备分配模块，用于根据所述用户的位置信息给所述用户分配跟随设备；
连接建立模块，用于建立所述用户与所述跟随设备的连接；
特征信息获取模块，用于利用机器视觉技术获取所述用户的特征信息；
跟随控制模块，用于根据所述特征信息控制所述跟随设备在设定阈值范围内跟随所述用户。
9.根据权利要求8所述的系统，其特征在于，所述跟随设备分配模块，具体包括：
跟随设备位置信息获取单元，用于获取所有未连接的跟随设备的位置信息；所述未连接的跟随设备为未与用户建立连接的跟随设备；
路线距离获取单元，用于获取所有未连接的跟随设备到达所述用户位置的路线距离；
跟随设备分配单元，用于将所述路线距离中距离最短的路线对应的跟随设备分配给所述用户。
10.根据权利要求8所述的系统，其特征在于，所述跟随控制模块，具体包括：
位置信息获取单元，用于实时获取所述用户的位置信息和所述跟随设备的位置信息；
相对位置矢量信息获取单元，用于利用RSSI技术、UWB技术或无线载波技术获取所述用户与所述跟随设备之间的相对位置矢量信息；
目标锁定单元，用于实时获取所述跟随设备的环境数据，通过机器视觉技术和机器学习算法控制所述跟随设备对所述用户的目标锁定和障碍路径的规划；
跟随控制单元，用于根据所述用户的位置信息和所述跟随设备的位置信息、所述用户与所述跟随设备之间的相对位置矢量信息、所述跟随设备对所述用户的目标锁定和障碍路径的规划，利用信息融合算法控制所述跟随设备在设定阈值范围内跟随所述用户。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710686077.2A CN107659918B (zh) | 2017-08-11 | 2017-08-11 | 一种智能跟随的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710686077.2A CN107659918B (zh) | 2017-08-11 | 2017-08-11 | 一种智能跟随的方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107659918A true CN107659918A (zh) | 2018-02-02 |
| CN107659918B CN107659918B (zh) | 2020-08-04 |
Family
ID=61127975
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710686077.2A Active CN107659918B (zh) | 2017-08-11 | 2017-08-11 | 一种智能跟随的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107659918B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108536145A (zh) * | 2018-04-10 | 2018-09-14 | 深圳市开心橙子科技有限公司 | 一种使用机器视觉进行智能跟随的机器人系统及运行方法 |
| CN108628341A (zh) * | 2018-04-25 | 2018-10-09 | 北京市电话工程有限公司 | 一种小区智能照明系统 |
| CN112137810A (zh) * | 2020-10-20 | 2020-12-29 | 杭州存览科技有限公司 | 一种智能跟随座椅 |
| WO2021246963A1 (en) * | 2020-06-04 | 2021-12-09 | Ngee Ann Polytechnic | Apparatus and method for indoor guiding |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104808663A (zh) * | 2015-03-18 | 2015-07-29 | 广东工业大学 | 一种可自动跟随移动终端行走的小车 |
| CN104950890A (zh) * | 2015-06-25 | 2015-09-30 | 成都易禧科技管理发展有限公司 | 一种红外线牵引式智能跟随和原路返回无人驾驶型智能控制系统装置 |
| CN106094875A (zh) * | 2016-06-27 | 2016-11-09 | 南京邮电大学 | 一种移动机器人的目标跟随控制方法 |
| CN106155065A (zh) * | 2016-09-28 | 2016-11-23 | 上海仙知机器人科技有限公司 | 一种机器人跟随方法及用于机器人跟随的设备 |
| CN106200682A (zh) * | 2016-07-04 | 2016-12-07 | 北京小米移动软件有限公司 | 行李箱的自动跟随方法及装置、电子设备 |
| CN106444780A (zh) * | 2016-11-10 | 2017-02-22 | 速感科技（北京）有限公司 | 一种基于视觉定位算法的机器人的自主导航方法及系统 |
| CN106774317A (zh) * | 2016-12-13 | 2017-05-31 | 安徽乐年健康养老产业有限公司 | 一种辅助式机器人的操控方法 |
| CN106990775A (zh) * | 2016-01-21 | 2017-07-28 | 丰唐物联技术（深圳）有限公司 | 载物平台的自动跟随方法及载物平台 |
-
2017
- 2017-08-11 CN CN201710686077.2A patent/CN107659918B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104808663A (zh) * | 2015-03-18 | 2015-07-29 | 广东工业大学 | 一种可自动跟随移动终端行走的小车 |
| CN104950890A (zh) * | 2015-06-25 | 2015-09-30 | 成都易禧科技管理发展有限公司 | 一种红外线牵引式智能跟随和原路返回无人驾驶型智能控制系统装置 |
| CN106990775A (zh) * | 2016-01-21 | 2017-07-28 | 丰唐物联技术（深圳）有限公司 | 载物平台的自动跟随方法及载物平台 |
| CN106094875A (zh) * | 2016-06-27 | 2016-11-09 | 南京邮电大学 | 一种移动机器人的目标跟随控制方法 |
| CN106200682A (zh) * | 2016-07-04 | 2016-12-07 | 北京小米移动软件有限公司 | 行李箱的自动跟随方法及装置、电子设备 |
| CN106155065A (zh) * | 2016-09-28 | 2016-11-23 | 上海仙知机器人科技有限公司 | 一种机器人跟随方法及用于机器人跟随的设备 |
| CN106444780A (zh) * | 2016-11-10 | 2017-02-22 | 速感科技（北京）有限公司 | 一种基于视觉定位算法的机器人的自主导航方法及系统 |
| CN106774317A (zh) * | 2016-12-13 | 2017-05-31 | 安徽乐年健康养老产业有限公司 | 一种辅助式机器人的操控方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108536145A (zh) * | 2018-04-10 | 2018-09-14 | 深圳市开心橙子科技有限公司 | 一种使用机器视觉进行智能跟随的机器人系统及运行方法 |
| CN108628341A (zh) * | 2018-04-25 | 2018-10-09 | 北京市电话工程有限公司 | 一种小区智能照明系统 |
| CN108628341B (zh) * | 2018-04-25 | 2020-12-11 | 北京市电话工程有限公司 | 一种小区智能照明系统 |
| WO2021246963A1 (en) * | 2020-06-04 | 2021-12-09 | Ngee Ann Polytechnic | Apparatus and method for indoor guiding |
| CN112137810A (zh) * | 2020-10-20 | 2020-12-29 | 杭州存览科技有限公司 | 一种智能跟随座椅 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107659918B (zh) | 2020-08-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105526934B (zh) | 一种室内外一体化高精度定位导航系统及其定位方法 | |
| CN106646353B (zh) | 混合wifi-uwb定位技术的地下作业人员精确定位系统和工作方法 | |
| US10984652B2 (en) | Method and system for modeling and processing vehicular traffic data and information and applying thereof | |
| CN107659918A (zh) | 一种智能跟随的方法及系统 | |
| CN104270814B (zh) | 一种基于TDOA和ToF混合的定位方法及系统 | |
| CN105657668A (zh) | 一种基于uwb的室内移动机器人定位与导航控制方法 | |
| CN103428275B (zh) | 基于wsn的室内移动目标行动路线追踪方法 | |
| CN107515384A (zh) | 基于uwb与多传感器的室内机器人的定位与环境建模方法 | |
| CN104703118A (zh) | 一种室内机器人基于蓝牙技术定位移动终端的系统 | |
| CN106851606B (zh) | 一种蜂窝网络rtk定位计费方法及系统 | |
| CN103384358A (zh) | 一种基于虚拟现实和wifi空间场强的室内定位方法 | |
| CN107094319A (zh) | 一种高精度室内外融合定位系统和方法 | |
| CN107071899A (zh) | 一种快速高精度室内实时定位系统 | |
| CN106170712A (zh) | 以网络为中心的定位 | |
| CN104729499A (zh) | 一种室内机器人基于蓝牙技术定位移动终端的方法 | |
| CN106412826A (zh) | 基于多源信息融合的室内定位方法及定位装置 | |
| CN108322891A (zh) | 基于用户手机信令数据的区域拥堵识别方法 | |
| CN103997717A (zh) | 一种实时室内定位系统及方法 | |
| CN103476109A (zh) | 一种室内ap定位方法 | |
| CN109029463A (zh) | 面向车辆安全行驶的室内多平衡车自主导航与调度系统 | |
| CN106646366A (zh) | 基于粒子滤波算法和智能设备的可见光定位方法和系统 | |
| CN101800927B (zh) | 基于手机用户到发量的交通起讫点信息获取方法 | |
| CN104507161A (zh) | 一种基于zigbee网络的室内楼道定位方法 | |
| CN112819228B (zh) | 任务处理方法、装置、存储介质和电子设备 | |
| CN111698774A (zh) | 基于多源信息融合的室内定位方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |