CN113267179B - 提示信息生成方法和装置、存储介质、电子设备 - Google Patents
提示信息生成方法和装置、存储介质、电子设备 Download PDFInfo
- Publication number
- CN113267179B CN113267179B CN202110535000.1A CN202110535000A CN113267179B CN 113267179 B CN113267179 B CN 113267179B CN 202110535000 A CN202110535000 A CN 202110535000A CN 113267179 B CN113267179 B CN 113267179B
- Authority
- CN
- China
- Prior art keywords
- mobile
- information
- mobile robot
- position information
- operation instruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Manipulator (AREA)
Abstract
本公开是关于一种提示信息生成方法、提示信息生成装置、存储介质以及电子设备,涉及计算机技术领域。该方法包括:接收移动人员的第一位置信息以及移动机器人的第二位置信息和状态信息,根据所述第一位置信息预测所述移动人员的移动方向;利用所述第一位置信息以及所述第二位置信息,确定所述移动人员与所述移动机器人之间的距离;基于所述距离、所述移动人员的移动方向以及所述移动机器人的状态信息生成运行指令以及提示信息,并将所述运行指令发送至所述运行机器人,以使得所述移动机器人根据所述提示信息提示所述移动人员。本公开实现了运行机器人对移动人员的有效感知。
Description
技术领域
本公开实施例涉及计算机技术领域,具体而言,涉及一种提示信息生成方法、提示信息生成装置、存储介质以及电子设备。
背景技术
随着计算机技术、传感器技术以及人工智能等技术的快速发展,机器人技术也变得日趋成熟,而其中的移动机器人应用最为广泛。
在仓储环境中,大多为移动人员与移动机器人混合的场景,移动机器人通过自身携带的激光传感器、超声波传感器等感知设备,感知周围的环境,并检测环境中的障碍物,当预判风险情况要发生时,机器人停止移动,并发出声光警报,来防止事故的发生。
但是,现有的方案中,一方面,移动机器人对周围环境的感知能力有限,只能识别障碍物,不能准确判断出障碍物是否为移动人员,进而不能针对移动人员输出有效提示信息;另一方面,提示信息固定存储在空间有限的控制器中,只能在控制器中获取单一的提示信息提示移动人员,当长期听见或者看见固定的提示信息时,移动人员容易放松警惕,增大了事故发生的可能性。
因此,需要提供一种新的提示信息生成方法。
需要说明的是,在上述背景技术部分发明的信息仅用于加强对本发明的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本发明的目的在于提供一种提示信息生成方法、提示信息生成装置、存储介质以及电子设备,进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的不能准确识别移动人员以及为移动人员提供有效提示的问题。
根据本公开的一个方面,提供一种提示信息生成方法,包括:
接收移动人员的第一位置信息以及移动机器人的第二位置信息和状态信息,根据所述第一位置信息预测所述移动人员的移动方向;
利用所述第一位置信息以及所述第二位置信息,确定所述移动人员与所述移动机器人之间的距离;
基于所述距离、所述移动人员的移动方向以及所述移动机器人的状态信息生成运行指令以及提示信息,并将所述运行指令发送至所述运行机器人,以使得所述移动机器人根据所述提示信息提示所述移动人员。
在本公开的一种示例性实施例中,接收移动人员的第一位置信息以及移动机器人的第二位置信息和状态信息包括:
接收基于通信网络获取到的所述移动人员的实时位置信息;
接收根据所述移动机器人的导航信息确定的所述移动机器人的位置信息以及根据所述移动机器人的角度信息得到的所述移动机器人的状态信息。
在本公开的一种示例性实施例中,所述通信网络为移动通信网络或无线通信网络,其中,所述移动通信网络为4G网络或5G网络,无线通信网络为WiFi无线网络。
在本公开的一种示例性实施例中,根据所述第一位置信息预测所述移动人员的移动方向,包括:
对接收到的第一位置信息进行预处理,得到第一轨迹点,并将所述第一轨迹点转换成轨迹特征向量;
将所述轨迹特征向量输入轨迹预测模型中,得到所述移动人员的下一个第一位置信息以及与所述下一个位置信息对应的移动方向。
在本公开的一种示例性实施例中,基于所述距离、所述移动人员的移动方向以及所述移动机器人的状态信息生成运行指令以及提示信息,包括:
判断所述移动人员与所述移动机器人之间的距离是否小于预设安全距离;
在确定所述距离小于所述预设安全距离时,根据所述移动人员的移动方向以及所述移动机器人的状态信息生成运行指令以及提示信息。
在本公开的一种示例性实施例中,在确定所述距离小于所述预设安全距离时,根据所述移动人员的移动方向以及所述移动机器人的状态信息生成运行指令以及提示信息,包括:
根据所述移动机器人的导航信息,获取所述移动机器人的运送路径;
根据所述移动机器人的导航信息、状态信息以及所述移动人员的移动方向,判断移动人员的移动路径与移动机器人的运送路径是否存在交点;
在确定与所述移动人员的移动方向对应的移动路径与所述移动机器人的运送路径存在交点时,生成停止运行指令以及与所述停止运行指令对应的提示信息,并将所述停止运行指令以及与所述停止运行指令对应的提示信息发送至移动机器人;
在确定与所述移动人员的移动方向对应的移动路径与所述移动机器人的运送路径不存在交点时,生成减速运行指令以及与所述减速运行指令对应的提示信息并将所述减速运行指令以及与所述减速运行指令对应的提示信息发送至移动机器人。
在本公开的一种示例性实施例中,在生成停止运行指令之后,所述提示信息生成方法还包括:
预设时间内,当所述移动人员的第一位置信息没有发生改变时,基于所述移动机器人的第二位置信息,生成第二运送路径,以使得所述移动机器人根据所述第二运送路径进行运送。
根据本公开的一个方面,提供一种提示信息生成装置,包括:
位置信息接收模块,用于接收移动人员的第一位置信息以及移动机器人的第二位置信息和状态信息,根据所述第一位置信息预测所述移动人员的移动方向;
距离计算模块,用于利用所述第一位置信息以及所述第二位置信息,确定所述移动人员与所述移动机器人之间的距离;
提示信息生成模块,用于基于所述距离、所述移动人员的移动方向以及所述移动机器人的状态信息生成运行指令以及提示信息,并将所述运行指令发送至所述运行机器人,以使得所述移动机器人根据所述提示信息提示所述移动人员。
根据本公开的一个方面,提供一种存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任意一项所述的提示信息生成方法。
根据本公开的一个方面,提供一种电子设备,包括:
处理器;以及
存储器,用于存储所述处理器的可执行指令;
其中,所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的提示信息生成方法。
本公开实施例提供的一种提示信息生成方法,一方面,接收移动人员的第一位置信息以及移动机器人的第二位置信息和状态信息,根据所述第一位置信息预测所述移动人员的移动方向;利用所述第一位置信息以及所述第二位置信息,确定所述移动人员与所述移动机器人之间的距离;基于所述距离、所述移动人员的移动方向以及所述移动机器人的状态信息生成运行指令以及提示信息,并将所述运行指令发送至所述运行机器人,以使得所述移动机器人根据所述提示信息提示所述移动人员,由于接收移动人员的位置信息,并根据移动人员与移动机器人之间的距离,生成运行指令,并通过该运行指令控制运行机器人,提高了运行机器人对移动人员的有效感知,防止事故发生;另一方面,根据移动人员与移动机器人之间的距离、移动人员的移动方向以及移动机器人的状态信息生成提示信息,实现了动态加载提示信息,减少了提示信息对信息存储空间的依赖,同时实现了提示信息的多样性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示意性示出根据本公开示例实施例的一种提示信息生成方法的流程图。
图2示意性示出根据本公开示例实施例的一种提示信息生成系统的框图。
图3示意性示出根据本公开示例实施例的一种接收第一位置信息以及第二位置信息的方法流程图。
图4示意性示出根据本公开示例实施例的一种根据第一位置信息预测移动人员的移动方向的方法流程图。
图5示意性示出根据本公开示例实施例的一种生成运行指令以及提示信息的方法流程图。
图6示意性示出根据本公开示例实施例的一种当移动人员与移动机器人之间的距离小于安全距离时生成运行指令以及提示信息的方法流程图。
图7示意性示出根据本公开示例实施例的又一种提示信息生成方法的流程图。
图8示意性示出根据本公开示例实施例的一种提示信息生成装置的框图。
图9示意性示出根据本公开示例实施例的一种用于实现上述提示信息生成方法的电子设备。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本发明将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中,提供许多具体细节从而给出对本发明的实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本发明的技术方案而省略所述特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知技术方案以避免喧宾夺主而使得本发明的各方面变得模糊。
此外,附图仅为本发明的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
在仓储环境中,通常为移动人员与移动机器人混合工作的场景,移动机器人通过自身携带的激光传感器、超声波传感器等感知设备对周围的环境进行感知,检测周围环境中包括的障碍物,但是由于技术、成本等因素,移动机器人对周围场景中包括的移动人员的感知能力有限,在移动过程中常常出现误伤移动人员的情况,当移动机器人预判要发生风险时,停止移动,并发出提示信息,但是提示信息通常存储在控制器中,内容单一,不能修改和更新,当移动人员长时间听见或者看见固定的提示信息时,容易产生疲态,放松警惕,增大事故发生的可能性。
基于上述一个或者多个问题,本示例实施方式首先提供了一种提示信息生成方法,该方法可以运行于服务器、服务器集群或云服务器等;当然,本领域技术人员也可以根据需求在其他平台运行本发明的方法,本示例性实施例中对此不做特殊限定。参考图1所示,该提示信息生成方法可以包括以下步骤:
步骤S110.接收移动人员的第一位置信息以及移动机器人的第二位置信息和状态信息,根据所述第一位置信息预测所述移动人员的移动方向;
步骤S120.利用所述第一位置信息以及所述第二位置信息,确定所述移动人员与所述移动机器人之间的距离;
步骤S130.基于所述距离、所述移动人员的移动方向以及所述移动机器人的状态信息生成运行指令以及提示信息,并将所述运行指令发送至所述运行机器人,以使得所述移动机器人根据所述提示信息提示所述移动人员。
上述提示信息生成方法,一方面,接收移动人员的第一位置信息以及移动机器人的第二位置信息和状态信息,根据所述第一位置信息预测所述移动人员的移动方向;利用所述第一位置信息以及所述第二位置信息,确定所述移动人员与所述移动机器人之间的距离;基于所述距离、所述移动人员的移动方向以及所述移动机器人的状态信息生成运行指令以及提示信息,并将所述运行指令发送至所述运行机器人,以使得所述移动机器人根据所述提示信息提示所述移动人员,由于接收移动人员的位置信息,并根据移动人员与移动机器人之间的距离,生成运行指令,并通过该运行指令控制运行机器人,提高了运行机器人对移动人员的有效感知,防止事故发生;另一方面,根据移动人员与移动机器人之间的距离、移动人员的移动方向以及移动机器人的状态信息生成提示信息,实现了动态加载提示信息,减少了提示信息对信息存储空间的依赖,同时实现了提示信息的多样性。
以下,对本公开示例实施例的提示信息生成方法中涉及的各步骤进行详细的解释以及说明。
首先,对本公开示例实施例的应用场景以及发明目的进行解释以及说明。
具体的,本公开示例实施例可以用于移动人员与移动机器人混合工作的场景中,主要用于增强移动机器人对移动人员的位置感知,根据移动人员与移动机器人的运动方向以及之间的距离生成不同的提示信息,降低提示信息的内存占用率,丰富提示信息的种类,以降低事故发生的概率。
本公开示例实施例以接收到的移动人员的实时位置信息为基础,根据移动人员的位置信息以及移动机器人的位置信息,生成不同的运行指令以及提示信息,提高了运行机器人对移动人员的有效感知,降低了事故发生的可能性。具体理由如下:一方面,在实时性要求较高的场景中,通过移动人员携带的5G(第五代移动通信技术)定位程序实时获取移动人员的位置信息,并通过5G网络将获取到的移动人员的位置信息上传至服务器,通过5G网络米级定位的内里,实现了移动机器人对移动人员位置的有效感知;在实时性要求不高的场景中,可以通过4G(第四代移动通信技术)网络或者WiFi(Wi-Fi,无线通信技术)网络将获取到的移动人员的位置信息上传至服务器,实现了移动机器人对移动人员位置的有效感知;另一方面,服务器根据移动人员与移动机器人的位置信息,计算移动人员与移动机器人之间的距离,并根据距离、移动人员的移动方向以及移动机器人的状态信息生成运行指令以及提示信息,降低了提示信息的内存占用率,实现了提示信息的多样性,并通过5G网络将提示信息发送至移动机器人,使得移动机器人对提示信息进行提示,降低了事故发生的概率,提高了提示信息传输的速率;再一方面,当移动机器人执行运行指令后的预设时间内,移动人员的位置信息不发生改变时,服务器基于移动机器人的当前位置信息生成第二运送路径,提高了运送机器人的运送效率。
其次,对本公开示例实施例中涉及的提示信息生成系统进行解释以及说明。参考图2所示,该提示信息生成系统可以包括:位置获取模块210、数据传输基站220、服务器230以及信息提示模块240。其中,位置获取模块210,用于根据移动人员携带的定位程序获取移动人员的实时位置信息以及根据移动机器人的导航信息获取移动机器人的实时位置信息,在实时性要求高的场景中,移动人员携带的定位程序为5G定位程序,提供移动人员米级定位的实时位置信息;数据传输基站220,与位置获取模块210网络连接,用于将位置获取模块210中获取到的移动人员的实时位置信息以及移动机器人的位置信息以及状态信息上传至服务器230,在实时性要求高的场景中,该数据传输基站可以为5G基站,可以为移动人员位置信息以及移动机器人位置信息提供高可靠、高带宽、低时延的传输通路;还用于接收服务器230发送的运行指令以及提示信息,并将运行指令以及提示信息发送至信息提示模块240;服务器230可以为云端服务器或边缘服务器,与数据传输基站220网络连接,用于接收移动人员的位置信息以及移动机器人的位置信息和状态信息,根据接收到的移动人员的实时位置信息预测移动人员的移动方向,根据移动人员的位置信息以及移动机器人的位置信息计算移动人员与移动机器人之间的距离,根据移动机器人与移动人员之间的距离、移动人员的移动方向以及移动机器人的状态信息生成运行指令以及提示信息,并将运行指令以及提示信息发送至数据传输基站220;还可以用于根据移动机器人的当前位置信息生成新的运送路径;信息提示模块240,与数据传输基站220网络连接,用于接收数据传输基站发送的运行指令以及提示信息,以使得移动机器人根据运行指令执行相应的动作,并根据提示信息对移动人员进行提示,其中,移动机器人包括有提示能力的灯组、显示屏以及扬声器等。
以下,将结合图2对步骤S110-步骤S130进行解释以及说明。
在步骤S110中,接收移动人员的第一位置信息以及移动机器人的第二位置信息和状态信息,根据所述第一位置信息预测所述移动人员的移动方向。
其中,移动人员的第一位置信息由移动人员携带的定位程序获取,该定位程序可以为基于5G的定位程序,也可以为基于4G的定位程序,还可以为基于WiFi的定位程序,在本示例实施例中对定位程序不做具体限定。移动机器人的第二位置信息由移动机器人的导航信息确定,移动机器人的状态信息包括移动机器人的设备信息以及移动机器人的三维角度信息,其中移动机器人的三维角度为移动机器人在三维空间中的位置坐标。
在本示例实施例中,参考图3所示,接收移动人员的第一位置信息以及移动机器人的第二位置信息和状态信息,可以包括步骤S310以及步骤S320:
步骤S310.接收基于通信网络获取到的所述移动人员的实时位置信息;
步骤S320.接收根据所述移动机器人的导航信息确定的所述移动机器人的位置信息以及根据所述移动机器人的角度信息得到的所述移动机器人的状态信息。
以下,将对步骤S310以及步骤S320进行解释以及说明。具体的,通信网络为移动通信网络或无线通信网络,其中,所述移动通信网络为4G网络或5G网络,无线通信网络为WiFi无线网络;首先,移动人员携带的定位程序将移动人员的实时位置信息上传至云端服务器,移动机器人根据自身的导航信息将自身的位置信息以及移动机器人在三维坐标中的角度信息上传至云端服务器。
优选的,移动人员携带的定位程序为基于5G的定位程序,移动人员携带的定位程序通过5G网络将移动人员的第一位置信息上传至云端服务器;以及,移动机器人通过5G网络将导航信息中包括的第二位置信息以及状态信息上传至云端服务器。移动人员携带的基于5G的定位程序可以实现移动人员的米级定位,提高了移动人员定位信息的精确度;通过5G网络进行传输提升了数据传输的速率。
可选的,移动人员携带的定位程序为基于4G的定位程序或者基于WiFi的定位程序,移动人员携带的定位程序通过4G网络或者WiFi无线通信网络将移动人员的第一位置信息上传至云端服务器;以及,移动机器人通过4G网络或者WiFi无线通信网络将导航信息中包括的第二位置信息以及状态信息上传至云端服务器。4G网络或者WiFi无线通信也可以实现对第一位置信息以及第二位置信息的上传,但由于4G网络或者WiFi无线通信的低可靠性、带宽有限以及网络延时的问题,在实时性要求不高的场景中可以使用4G网络或者WiFi无线通信。
在本示例实施例中,可以通过研究移动人员周边环境来预测移动人员的移动方向,也可以通过研究移动人员的社会属性来预测移动人员的移动方向,还可以通过机器学习来预测移动人员的移动轨迹,其中,通过研究移动人员周边环境来预测移动人员的移动方向,主要涉及到统计学中包括的贝叶斯定理,在预测移动人员的移动方向时,贝叶斯推断根据实时的路况信息来生成移动人员的周边环境条件,在这些环境条件下利用贝叶斯定理给出移动人员的各个移动方向可能发生的概率,通过概率预测移动人员的最终移动方向和轨迹;通过研究移动人员的社会属性来预测移动人员的移动方向,主要通过社会力模型,通过研究移动人员的社会属性来判断移动人员会产生的动作,社会力模型对影响移动人员移动方向的因素进行量化并建模,以实现对移动人员的移动方向的预测,但是通过研究移动人员周边环境以及通过研究移动人员的社会属性来预测移动人员的移动方向,对理论的依赖性较强,都是基于特定的场景,通过机器学习来预测移动人员的移动方向,主要通过各类神经网络算法学习已知的运动轨迹来对移动人员之后的移动轨迹进行预测,在本示例实施例中对预测方法不做具体限定。
优选的,参考图4所示,当预测方法为通过机器学习来预测移动人员的移动轨迹时,根据所述第一位置信息预测所述移动人员的移动方向,可以包括步骤S410以及步骤S420:
步骤S410.对接收到的第一位置信息进行预处理,得到轨迹点,并将所述轨迹点转换成轨迹特征向量;
步骤S420.将所述轨迹特征向量输入轨迹预测模型中,得到所述移动人员的下一个第一位置信息以及与所述下一个位置信息对应的移动方向。
以下,将对步骤S410以及步骤S420进行解释以及说明。具体的,当云端服务器接收到移动人员的第一位置信息后,首先将移动人员的第一位置信息进行预处理,其中预处理可以包括:从原始的第一位置信息中提取移动人员移动轨迹的空间信息,并对提取到的空间信息进行语义化,得到轨迹点,并通过编码模型将轨迹点转换为轨迹特征向量,其中,编码模型可以为Word2Vec编码模型,也可以为神经网络语言模型,还可以为Log双线性语言模型,在本示例实施例中对编码模型不做具体限定;当得到轨迹特征向量后,可以基于轨迹预测模型得到移动人员的移动轨迹以及移动方向,其中,轨迹预测模型可以为LSTM(LongShort-Term Memory,长短期记忆网络)模型,也可以为Seq2Seq(Sequence to Sequence,序列到序列模型)模型,还可以为基于双向的LSTM模型,在本示例实施例中对轨迹预测模型不做具体限定。
在步骤S120中,利用所述第一位置信息以及所述第二位置信息,确定所述移动人员与所述移动机器人之间的距离。
云端服务器根据接收到的移动人员的第一位置信息以及移动机器人的第二位置信息,计算移动人员与移动机器人之间的距离,其中,根据第一位置信息中包括的移动人员在X、Y方向上的位置坐标以及移动机器人在X、Y方向上的位置坐标计算移动人员与移动机器人之间的距离。
在步骤S130中,基于所述距离、所述移动人员的移动方向以及所述移动机器人的状态信息生成运行指令以及提示信息,并将所述运行指令发送至所述运行机器人,以使得所述移动机器人根据所述提示信息提示所述移动人员。
在本示例实施例中,参考图5所示,基于所述距离、所述移动人员的移动方向以及所述移动机器人的状态信息生成运行指令以及提示信息,可以包括步骤S510以及步骤S520:
步骤S510.判断所述移动人员与所述移动机器人之间的距离是否小于预设安全距离;
步骤S520.在确定所述距离小于所述预设安全距离时,根据所述移动人员的移动方向以及所述移动机器人的状态信息生成运行指令以及提示信息。
以下,将对步骤S510以及步骤S520进行解释以及说明。具体的,当云端服务器计算得到移动人员与移动机器人之间的距离后,首先,判断移动人员与移动机器人之间的距离是否大于安全距离,当移动人员与移动机器人之间的距离大于安全距离时,不用生成运行指令以及提示信息,移动机器人依据之前的移动速度以及移动方向进行移动,当移动机器人与移动人员之间的移动距离小于安全距离时,云端服务器根据移动人员的移动方向以及移动机器人的状态信息生成运行指令以及提示信息。
进一步的,参考图6所示,在确定所述距离小于所述预设安全距离时,根据所述移动人员的移动方向以及所述移动机器人的状态信息生成运行指令以及提示信息,可以包括步骤S610-步骤S640:
步骤S610.根据所述移动机器人的导航信息,获取所述移动机器人的运送路径;
步骤S620.根据所述移动机器人的导航信息、状态信息以及所述移动人员的移动方向,判断移动人员的移动路径与移动机器人的运送路径是否存在交点;
步骤S630.在确定与所述移动人员的移动方向对应的移动路径与所述移动机器人的运送路径存在交点时,生成停止运行指令以及与所述停止运行指令对应的提示信息,并将所述停止运行指令以及与所述停止运行指令对应的提示信息发送至移动机器人;
步骤S640.在确定与所述移动人员的移动方向对应的移动路径与所述移动机器人的运送路径不存在交点时,生成减速运行指令以及与所述减速运行指令对应的提示信息并将所述减速运行指令以及与所述减速运行指令对应的提示信息发送至移动机器人。
以下,将对步骤S610-步骤S640进行解释以及说明。具体的,当移动人员与移动机器人之间的距离小于安全距离时,云端服务器首先根据移动机器人的导航信息确定移动机器人的运送路径、根据预测得到的移动人员的移动方向得到移动人员的移动路径,其次,根据移动机器人的运送路径、在三维坐标中的角度信息以及移动人员的移动路径是否存在交点,在确定移动人员的移动路径和移动机器人的运送路径没有交点时,即,移动机器人与移动人员不会相撞,此时云端服务器生成减速运行指令以及与减速运行指令对应的提示信息,并将减速运行指令以及与减速指令对应的提示信息发送至移动机器人,以使得移动机器人根据减速指令执行减速以及通过自身携带的有提示能力的灯组、显示屏以及扬声器等对提示信息进行播放;当移动人员的移动路径与移动机器人的运送路径存在交点时,即,移动人员和移动机器人分别按照之前移动路径和运送路径进行运行时会相撞,此时,云端服务器生成停止运行指令以及与停止运行指令对应的提示信息,并将停止运行指令以及与停止运行指令对应的提示信息发送至移动机器人,以使得移动机器人根据停止运行指令停止运行,以及通过自身携带的有提示能力的灯组、显示屏以及扬声器等对提示信息进行提示。
当移动机器人根据运行指令运行以及根据提示信息进行提示之后,提示信息生成方法还包括:
预设时间内,当所述移动人员的第一位置信息没有发生改变时,基于所述移动机器人的第二位置信息,生成第二运送路径,以使得所述移动机器人根据所述第二运送路径进行运送。
具体的,当移动机器人对提示信息进行提示之后,当预设时间内,云端服务器接收到的移动人员的第一位置信息没有发生改变时,云端服务器则可以基于移动机器人的第二位置信息以及移动机器人的导航信息中包括的运送终点,生成移动机器人的第二运送路径,以使得移动机器人根据第二运送路径进行运送,其中,预设时间可以为1分钟,也可以为2分钟,在本示例实施例中对预设时间的时长不做具体限定。
本公开示例实施例提供的提示信息生成方法以及提示信息生成系统至少具有以下优点:一方面,没有通过移动机器人的传感设备其识别移动人员,而是基于移动人员的定位程序获取移动人员的位置信息,根据移动人员的位置信息以及移动机器人的位置信息计算移动人员与移动机器人之间的距离,根据移动人员与移动机器人之间的距离生成运行指令以及提示信息,实现了移动机器人对移动人员的有效感知;另一方面,云端服务器根据移动人员与移动机器人之间的距离、移动人员的移动方向以及移动机器人的状态信息生成提示信息,实现了动态加载提示信息,减少了提示信息对信息存储空间的依赖,同时实现了提示信息的多样性。
以下,结合图7对本公开示例实施例的提示信息生成方法进行进一步的解释以及说明。其中,提示信息生成方法可以包括以下步骤:
步骤S710.接收移动人员的5G定位程序发送的移动人员的第一位置信息以及根据移动机器人的导航信息获取到的移动机器人的第二位置信息;
步骤S720.根据接收到的移动人员的第一位置信息对移动人员的移动方向进行预测,得到移动人员的移动方向;
步骤S730.根据移动人员的第一位置信息以及移动机器人的第二位置信息计算移动人员与移动机器人之间的距离;
步骤S740.判断移动人员与移动机器人之间的距离是否小于安全距离;
步骤S750.当移动人员与移动机器人之间的距离小于安全距离时,根据移动人员的移动方向以及移动机器人的导航信息生成运行指令以及提示信息;
步骤S760.将运行指令以及提示信息发送至移动机器人;
步骤S770.移动机器人根据运行指令执行相应的动作并对提示信息进行提示;
步骤S780.在移动机器人播放提示信息的预设时间内,移动人员的第一位置不变时,根据第二位置信息以及导航信息中包括的运送终点生成第二运送路径;
步骤S790.当移动人员与移动机器人之间的距离大于安全距离时,移动机器人按照其导航信息继续进行移动。
本公开示例实施例还提供了一种提示信息生成装置,参考图8所示,该提示信息生成装置可以包括:位置信息接收模块810、距离计算模块820以及提示信息生成模块830。其中:
位置信息接收模块810,用于接收移动人员的第一位置信息以及移动机器人的第二位置信息和状态信息,根据所述第一位置信息预测所述移动人员的移动方向;
距离计算模块820,用于利用所述第一位置信息以及所述第二位置信息,确定所述移动人员与所述移动机器人之间的距离;
提示信息生成模块830,用于基于所述距离、所述移动人员的移动方向以及所述移动机器人的状态信息生成运行指令以及提示信息,并将所述运行指令发送至所述运行机器人,以使得所述移动机器人根据所述提示信息提示所述移动人员。
在本公开的一种示例性实施例中,接收移动人员的第一位置信息以及移动机器人的第二位置信息和状态信息包括:
接收基于通信网络获取到的所述移动人员的实时位置信息;
接收根据所述移动机器人的导航信息确定的所述移动机器人的位置信息以及根据所述移动机器人的角度信息得到的所述移动机器人的状态信息。
在本公开的一种示例性实施例中,所述通信网络为移动通信网络或无线通信网络,其中,所述移动通信网络为4G网络或5G网络,无线通信网络为WiFi无线网络。
在本公开的一种示例性实施例中,根据所述第一位置信息预测所述移动人员的移动方向,包括:
对接收到的第一位置信息进行预处理,得到第一轨迹点,并将所述第一轨迹点转换成轨迹特征向量;
将所述轨迹特征向量输入轨迹预测模型中,得到所述移动人员的下一个第一位置信息以及与所述下一个位置信息对应的移动方向。
在本公开的一种示例性实施例中,基于所述距离、所述移动人员的移动方向以及所述移动机器人的状态信息生成运行指令以及提示信息,包括:
判断所述移动人员与所述移动机器人之间的距离是否小于预设安全距离;
在确定所述距离小于所述预设安全距离时,根据所述移动人员的移动方向以及所述移动机器人的状态信息生成运行指令以及提示信息。
在本公开的一种示例性实施例中,在确定所述距离小于所述预设安全距离时,根据所述移动人员的移动方向以及所述移动机器人的状态信息生成运行指令以及提示信息,包括:
根据所述移动机器人的导航信息,获取所述移动机器人的运送路径;
根据所述移动机器人的导航信息、状态信息以及所述移动人员的移动方向,判断移动人员的移动路径与移动机器人的运送路径是否存在交点;
在确定与所述移动人员的移动方向对应的移动路径与所述移动机器人的运送路径存在交点时,生成停止运行指令以及与所述停止运行指令对应的提示信息,并将所述停止运行指令以及与所述停止运行指令对应的提示信息发送至移动机器人;
在确定与所述移动人员的移动方向对应的移动路径与所述移动机器人的运送路径不存在交点时,生成减速运行指令以及与所述减速运行指令对应的提示信息并将所述减速运行指令以及与所述减速运行指令对应的提示信息发送至移动机器人。
在本公开的一种示例性实施例中,在生成停止运行指令之后,所述提示信息生成方法还包括:
预设时间内,当所述移动人员的第一位置信息没有发生改变时,基于所述移动机器人的第二位置信息,生成第二运送路径,以使得所述移动机器人根据所述第二运送路径进行运送。
上述提示信息生成装置中各模块的具体细节已经在对应的提示信息生成方法中进行了详细的描述,因此此处不再赘述。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本发明的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外,尽管在附图中以特定顺序描述了本发明中方法的各个步骤,但是,这并非要求或者暗示必须按照该特定顺序来执行这些步骤,或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的,可以省略某些步骤,将多个步骤合并为一个步骤执行,以及/或者将一个步骤分解为多个步骤执行等。
在本发明的示例性实施例中,还提供了一种能够实现上述数据转换方法的电子设备。
所属技术领域的技术人员能够理解,本发明的各个方面可以实现为系统、方法或程序产品。因此,本发明的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。
下面参考图9来描述根据本发明的这种实施方式的电子设备900。图9显示的电子设备900仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图9所示,电子设备以通用计算设备的形式表现。电子设备的组件可以包括但不限于:上述至少一个处理单元910、上述至少一个存储单元920、连接不同系统组件(包括存储单元920和处理单元910)的总线930以及显示单元940。
其中,所述存储单元存储有程序代码,所述程序代码可以被所述处理单元910执行,使得所述处理单元910执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如,所述处理单元910可以执行如图1中所示的步骤S110:接收移动人员的第一位置信息以及移动机器人的第二位置信息和状态信息,根据所述第一位置信息预测所述移动人员的移动方向;步骤S120:利用所述第一位置信息以及所述第二位置信息,确定所述移动人员与所述移动机器人之间的距离;步骤S130:基于所述距离、所述移动人员的移动方向以及所述移动机器人的状态信息生成运行指令以及提示信息,并将所述运行指令发送至所述运行机器人,以使得所述移动机器人根据所述提示信息提示所述移动人员。
存储单元920可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)9201和/或高速缓存存储单元9202,还可以进一步包括只读存储单元(ROM)9203。
存储单元920还可以包括具有一组(至少一个)程序模块9205的程序/实用工具9204,这样的程序模块9205包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线930可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备900也可以与一个或多个外部设备1000(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该电子设备900交互的设备通信,和/或与使得该电子设备900能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口950进行。并且,电子设备900还可以通过网络适配器960与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器960通过总线930与电子设备900的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备900使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本发明实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本发明实施方式的方法。
在本发明的示例性实施例中,还提供了一种计算机可读存储介质,其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中,本发明的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当所述程序产品在终端设备上运行时,所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。
根据本发明的实施方式的用于实现上述方法的程序产品,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本发明的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
此外,上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行的。
本领域技术人员在考虑说明书及实践这里发明的发明后,将容易想到本发明的其他实施例。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未发明的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由权利要求指出。
Claims (7)
1.一种提示信息生成方法,其特征在于,包括:
接收移动人员的第一位置信息以及移动机器人的第二位置信息和状态信息,对接收到的第一位置信息进行预处理,得到轨迹点,并将所述轨迹点转换成轨迹特征向量;
将所述轨迹特征向量输入轨迹预测模型中,得到所述移动人员的下一个第一位置信息以及与所述下一个第一位置信息对应的移动方向;
利用所述第一位置信息以及所述第二位置信息,确定所述移动人员与所述移动机器人之间的距离;
判断所述移动人员与所述移动机器人之间的距离是否小于预设安全距离;
在确定所述距离小于所述预设安全距离时,根据移动机器人的导航信息,获取所述移动机器人的运送路径,判断移动人员的移动路径与所述移动机器人的运送路径是否存在交点;
在确定存在交点时,生成停止运行指令以及与所述停止运行指令对应的提示信息,并将所述停止运行指令以及与所述停止运行指令对应的提示信息发送至移动机器人;
在确定不存在交点时,生成减速运行指令以及与所述减速运行指令对应的提示信息并将所述减速运行指令以及与所述减速运行指令对应的提示信息发送至移动机器人,以使得所述移动机器人根据所述提示信息提示所述移动人员。
2.根据权利要求1所述的提示信息生成方法,其特征在于,接收移动人员的第一位置信息以及移动机器人的第二位置信息和状态信息包括:
接收基于通信网络获取到的所述移动人员的实时位置信息;
接收根据所述移动机器人的导航信息确定的所述移动机器人的位置信息以及根据所述移动机器人的角度信息得到的所述移动机器人的状态信息。
3.根据权利要求2所述的提示信息生成方法,其特征在于,所述通信网络为移动通信网络或无线通信网络,其中,所述移动通信网络为4G网络或5G网络,无线通信网络为WiFi无线网络。
4.根据权利要求1所述的提示信息生成方法,其特征在于,在生成停止运行指令之后,所述提示信息生成方法还包括:
预设时间内,当所述移动人员的第一位置信息没有发生改变时,基于所述移动机器人的第二位置信息,生成第二运送路径,以使得所述移动机器人根据所述第二运送路径进行运送。
5.一种提示信息生成装置,其特征在于,包括:
位置信息接收模块,用于接收移动人员的第一位置信息以及移动机器人的第二位置信息和状态信息,对接收到的第一位置信息进行预处理,得到轨迹点,并将所述轨迹点转换成轨迹特征向量;
将所述轨迹特征向量输入轨迹预测模型中,得到所述移动人员的下一个第一位置信息以及与所述下一个第一位置信息对应的移动方向;
距离计算模块,用于利用所述第一位置信息以及所述第二位置信息,确定所述移动人员与所述移动机器人之间的距离;
提示信息生成模块,用于判断所述移动人员与所述移动机器人之间的距离是否小于预设安全距离;
在确定所述距离小于所述预设安全距离时,根据移动机器人的导航信息,获取所述移动机器人的运送路径,判断移动人员的移动路径与所述移动机器人的运送路径是否存在交点;
在确定存在交点时,生成停止运行指令以及与所述停止运行指令对应的提示信息,并将所述停止运行指令以及与所述停止运行指令对应的提示信息发送至移动机器人;
在确定不存在交点时,生成减速运行指令以及与所述减速运行指令对应的提示信息并将所述减速运行指令以及与所述减速运行指令对应的提示信息发送至移动机器人,以使得所述移动机器人根据所述提示信息提示所述移动人员。
6.一种存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-4任一项所述的提示信息生成方法。
7.一种电子设备,其特征在于,包括:
处理器;以及
存储器,用于存储所述处理器的可执行指令;
其中,所述处理器配置为经由执行所述可执行指令来执行权利要求1-4任一项所述的提示信息生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110535000.1A CN113267179B (zh) | 2021-05-17 | 2021-05-17 | 提示信息生成方法和装置、存储介质、电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110535000.1A CN113267179B (zh) | 2021-05-17 | 2021-05-17 | 提示信息生成方法和装置、存储介质、电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113267179A CN113267179A (zh) | 2021-08-17 |
CN113267179B true CN113267179B (zh) | 2023-05-30 |
Family
ID=77231304
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110535000.1A Active CN113267179B (zh) | 2021-05-17 | 2021-05-17 | 提示信息生成方法和装置、存储介质、电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113267179B (zh) |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108303972B (zh) * | 2017-10-31 | 2020-01-17 | 腾讯科技(深圳)有限公司 | 移动机器人的交互方法及装置 |
CN107894773A (zh) * | 2017-12-15 | 2018-04-10 | 广东工业大学 | 一种移动机器人的导航方法、系统及相关装置 |
US10768631B2 (en) * | 2018-03-27 | 2020-09-08 | Beijing Jingdong Shangke Information Technology Co., Ltd. | Method and apparatus for controlling a mobile robot |
KR102519064B1 (ko) * | 2018-04-25 | 2023-04-06 | 삼성전자주식회사 | 사용자에게 서비스를 제공하는 이동형 로봇 장치 및 방법 |
US10824155B2 (en) * | 2018-08-22 | 2020-11-03 | Ford Global Technologies, Llc | Predicting movement intent of objects |
CN110220524A (zh) * | 2019-04-23 | 2019-09-10 | 炬星科技(深圳)有限公司 | 路径规划方法、电子设备、机器人及计算机可读存储介质 |
CN112445204B (zh) * | 2019-08-15 | 2023-09-26 | 长沙智能驾驶研究院有限公司 | 工地中的物体移动导航方法、装置和计算机设备 |
CN112327848A (zh) * | 2020-11-05 | 2021-02-05 | 北京京东乾石科技有限公司 | 机器人避障方法及装置、存储介质和电子设备 |
CN112711255B (zh) * | 2020-12-24 | 2024-01-19 | 南方科技大学 | 移动机器人避障方法、控制设备及存储介质 |
-
2021
- 2021-05-17 CN CN202110535000.1A patent/CN113267179B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN113267179A (zh) | 2021-08-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20190146062A1 (en) | Laser point cloud positioning method and system | |
US11718306B2 (en) | Method and apparatus for acquiring sample deviation data, and electronic device | |
CN110253595B (zh) | 一种智能设备控制方法和装置 | |
US20200402376A1 (en) | Intelligent emergency evacuation system | |
EP4024273A1 (en) | Image description generation method, apparatus and system, and medium and electronic device | |
US20230395074A1 (en) | Motorized computing device that autonomously adjusts device location and/or orientation of interfaces according to automated assistant requests | |
CN114049587A (zh) | 事件检测方法、服务器及系统 | |
CN113267179B (zh) | 提示信息生成方法和装置、存储介质、电子设备 | |
CN109823341A (zh) | 一种自动驾驶汽车的应急方法和装置 | |
CN112327848A (zh) | 机器人避障方法及装置、存储介质和电子设备 | |
CN116109792A (zh) | 模型穿插面确定方法、装置、存储介质及电子设备 | |
CN113662525A (zh) | 智能头盔的控制方法、装置、智能头盔及存储介质 | |
KR20230044532A (ko) | 차량 제어 방법 및 장치, 미디어, 설비, 프로그램 | |
CN113815605A (zh) | 车辆泊车的控制方法、装置、介质、电子设备 | |
WO2023142613A1 (zh) | 车辆的控制方法、装置、存储介质、电子设备及程序产品 | |
CN112631313B (zh) | 无人驾驶设备的控制方法、装置及无人驾驶系统 | |
CN113858190B (zh) | 换装平台的控制方法及相关装置 | |
CN113721618B (zh) | 一种平面确定方法、装置、设备和存储介质 | |
US20220343400A1 (en) | Method and apparatus for providing state information of taxi service order, and storage medium | |
CN117221372A (zh) | 多模态远程交互方法、装置、电子设备和可读介质 | |
WO2023092939A1 (zh) | 车辆控制方法、装置、电子设备及介质 | |
WO2022162885A1 (ja) | 領域決定装置、制御方法、コンピュータ可読媒体、監視システム、監視方法 | |
CN114706396A (zh) | 可移动设备的控制方法、装置、存储介质与可移动设备 | |
CN116450121A (zh) | 一种人员轨迹疫情防控模型分析方法及其系统 | |
CN117284316A (zh) | 速度规划方法、终端设备、介质及自动驾驶设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |