CN113140098B - 移动危险预警方法及装置、终端设备、计算机程序 - Google Patents

移动危险预警方法及装置、终端设备、计算机程序 Download PDF

Info

Publication number
CN113140098B
CN113140098B CN202110536806.2A CN202110536806A CN113140098B CN 113140098 B CN113140098 B CN 113140098B CN 202110536806 A CN202110536806 A CN 202110536806A CN 113140098 B CN113140098 B CN 113140098B
Authority
CN
China
Prior art keywords
user
early warning
foot
distance
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110536806.2A
Other languages
English (en)
Other versions
CN113140098A (zh
Inventor
李立锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
MIGU Culture Technology Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
MIGU Culture Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, MIGU Culture Technology Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202110536806.2A priority Critical patent/CN113140098B/zh
Publication of CN113140098A publication Critical patent/CN113140098A/zh
Application granted granted Critical
Publication of CN113140098B publication Critical patent/CN113140098B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B31/00Predictive alarm systems characterised by extrapolation or other computation using updated historic data
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B7/00Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00
    • G08B7/06Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00 using electric transmission, e.g. involving audible and visible signalling through the use of sound and light sources
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Emergency Management (AREA)
  • Telephone Function (AREA)

Abstract

本发明涉及通信技术领域,公开了一种移动危险预警方法及装置、设备、计算机程序。本发明通过获取用户的移动步长和当前落脚点,并根据获取到的移动步长和当前落脚点,预测前进预设距离的道路中的目标落脚点,其中,若目标落脚点满足预设危险条件,则执行预警操作以对用户进行提醒;解决了现有技术中用户移动过程中的危险预警效率低的问题。也即,本发明通过预测前方道路中的目标落脚点,只需要判断目标落脚点是否满足预设危险条件即可,而无需再对障碍物进行识别,不依赖于大量的数据训练,且也没有后期数据维护更新等,由此,在极大程度上提升了用户移动过程中的危险预警效率。

Description

移动危险预警方法及装置、终端设备、计算机程序
技术领域
本发明涉及通信技术领域,尤其涉及一种移动危险预警方法、移动危险预警装置、终端设备以及计算机程序。
背景技术
目前,在用户移动过程中,例如行走、跑步、蹦跳等过程中,是通过识别障碍物来进行预警,但是该方式依赖于对障碍物的识别,需要大量的数据进行训练,且后期维护工作也较为繁琐;由此可见,通过识别障碍物来进行移动危险预警的效率低。
因此,如何提升用户移动过程中的危险预警效率是亟待解决的问题。
发明内容
本发明的主要目的在于提供移动危险预警方法及装置、终端设备、计算机程序,旨在提升用户移动过程中的危险预警效率。
为实现上述目的,本发明提供一种移动危险预警方法,所述移动危险预警方法包括以下步骤:
获取用户的移动步长和当前落脚点;
根据所述移动步长和所述当前落脚点,预测前进预设距离的道路中的目标落脚点;
若所述目标落脚点满足预设危险条件,执行预警操作以对所述用户进行提醒。
可选的,所述获取用户的移动步长的步骤,包括:
获取所述用户手持终端设备当前相对于水平面的倾斜角度;
根据所述倾斜角度,确定所述终端设备的摄像头到地面的垂直距离;
根据所述垂直距离和所述终端设备的摄像头采集到的前方道路图像,确定所述用户的移动步长。
可选的,所述根据所述垂直距离和所述终端设备的摄像头采集到的前方道路图像,确定用户的移动步长的步骤,包括:
根据所述垂直距离,确定所述终端设备屏幕到地面的高度距离和地面距离;
在所述前方道路图像中确定前后两次落脚点的参考点;
根据所述高度距离、所述地面距离以及所述前后两次落脚点的参考点,确定所述用户的移动步长。
可选的,所述获取用户的移动步长的步骤,包括:
获取所述用户的当前位置信息;
根据所述当前位置信息,获得所述用户在一段时间内的移动距离和移动步数;
根据所述移动距离和所述移动步数,确定所述用户的移动步长。
可选的,所述若所述目标落脚点满足预设危险条件,执行预警操作以对所述用户进行提醒的步骤,包括:
若所述目标落脚点与物体重合,则将所述目标落脚点所处的道路区域确定为危险道路区域,执行预警操作以对所述用户进行提醒;
或,
若所述目标落脚点所处的道路区域平整度低于预设平整度,则将所述目标落脚点所处的道路区域确定为危险道路区域,执行预警操作以对所述用户进行提醒。
可选的,所述将所述目标落脚点所处的道路区域确定为危险道路区域的步骤之后,执行预警操作以对所述用户进行提醒的步骤之前,所述移动危险预警方法还包括:
获取所述当前落脚点到所述危险道路区域的距离和移动速度;
根据所述距离和所述移动速度,确定用户实际反应时长;
若所述实际反应时长小于预设反应时长,则执行预警操作以对所述用户进行提醒。
可选的,所述若所述目标落脚点满足预设危险条件,执行预警操作以对所述用户进行提醒的步骤,包括:
若所述目标落脚点满足预设危险条件,向所述终端设备的麦克风发送第一控制信号,以使所述麦克风发出语音预警信息对用户进行提醒;
或,若所述目标落脚点满足预设危险条件,向所述终端设备的屏幕控制单元发送第二控制信号,以使所述屏幕控制单元对所述终端设备的屏幕进行息屏对用户进行提醒;
或,若所述目标落脚点满足预设危险条件,向所述终端设备的摄像头发送第三控制信号,以使所述摄像头将采集到的前方道路图像进行显示对用户进行提醒。
此外,为实现上述目的,本发明还提供一种移动危险预警装置,应用于用户的终端设备,所述移动危险预警装置包括:
获取模块,用于获取所述用户的移动步长和当前落脚点;
预测模块,用于根据所述移动步长和所述当前落脚点,预测前进预设距离的道路中的目标落脚点;
预警模块,用于若所述目标落脚点满足预设危险条件,执行预警操作以对所述用户进行提醒。
此外,为实现上述目的,本发明还提供一种终端设备,所述终端设备包括:存储器、处理器及存储在所述存储器上并在所述处理器上运行移动危险预警程序,所述移动危险预警程序被所述处理器执行时实现如上文的移动危险预警方法的步骤。
此外,为实现上述目的,本发明还提供一种计算机程序,所述计算机程序上存储有移动危险预警程序,所述移动危险预警程序被处理器执行时实现如上文的移动危险预警方法的步骤。
本发明提供的技术方案,通过获取用户的移动步长和当前落脚点,并根据获取到的移动步长和当前落脚点,预测前进预设距离的道路中的目标落脚点,其中,若目标落脚点满足预设危险条件,则执行预警操作以对用户进行提醒;解决了现有技术中用户移动过程中的危险预警效率低的问题。
也即,本发明提供的技术方案,通过预测前方道路中的目标落脚点,只需要判断目标落脚点是否满足预设危险条件即可,而无需再对障碍物进行识别,不依赖于大量的数据训练,且也没有后期数据维护更新等,由此,在极大程度上提升了用户移动过程中的危险预警效率;同时,也不依赖于任何深度学习,由此,在一定程度上还提升了用户移动过程中的危险预警准确率,进而使得用户的使用体验满意度高。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图示出的结构获得其他的附图。
图1是本发明实施例方案涉及的硬件运行环境的终端设备结构示意图;
图2为本发明移动危险预警方法第一实施例的流程示意图;
图3为本发明移动危险预警方法第一实施例终端设备的摄像头采集的前方道路图像的示意图;
图4为本发明移动危险预警方法第一实施例确定用户的移动步长的示意图一;
图5为本发明移动危险预警方法第一实施例确定用户的移动步长的示意图二;
图6为本发明移动危险预警方法第一实施例预测前进预设距离的道路中的目标落脚点的示意图;
图7为本发明移动危险预警方法第二实施例的流程示意图;
图8为本发明移动危险预警装置第一实施例的结构框图;
图9为本发明移动危险预警装置第二实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
请参见图1所示,图1为本发明实施例方案涉及的硬件运行环境的终端设备结构示意图。
终端设备包括:至少一个处理器101、存储器102以及存储在存储器上并可在处理器上运行的移动危险预警程序,移动危险预警程序配置为实现如下任一实施例的移动危险预警方法的步骤。
处理器101可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器101可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器101也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(CentralProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器101可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。处理器101还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关移动危险预警模型训练方法操作,使得移动危险预警模型训练方法模型可以自主训练学习,提高效率和准确度。
存储器102可以包括一个或多个计算机程序,该计算机程序可以是非暂态的。存储器102还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器102中的非暂态的计算机程序用于存储至少一个指令,该至少一个指令用于被处理器101所执行以实现本申请中方法实施例提供的移动危险预警模型训练方法。
在一些示例中,终端设备还可选包括有:通信接口103和至少一个外围设备。处理器101、存储器102和通信接口103之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与通信接口103相连。具体地,外围设备包括:射频电路104、显示屏105和电源106中的至少一种。
通信接口103可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器101和存储器102。在一些实施例中,处理器101、存储器102和通信接口103被集成在同一芯片或电路板上;在一些其他实施例中,处理器101、存储器102和通信接口103中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路104用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路104通过电磁信号与通信网络以及其他通信设备进行通信。射频电路104将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路104包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路104可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路104还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏105用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏105是触摸显示屏时,显示屏105还具有采集在显示屏105的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器101进行处理。此时,显示屏105还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏105可以为一个,终端设备的前面板;在另一些实施例中,显示屏105可以为至少两个,分别设置在终端设备的不同表面或呈折叠设计;在一些实施例中,显示屏105可以是柔性显示屏,设置在终端设备的弯曲表面上或折叠面上。甚至,显示屏105还可以设置成非矩形的不规则图形,也即异形屏。显示屏105可以采用LCD(LiquidCrystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
电源106用于为终端设备中的各个组件进行供电。电源106可以是交流电、直流电、一次性电池或可充电电池。当电源106包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
本领域技术人员可以理解,图1中示出的结构并不构成对终端设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
基于上述硬件结构,提出本发明的各实施例。
请参见图2所示,图2为本发明移动危险预警方法第一实施例的流程示意图,移动危险预警方法包括以下步骤:
步骤S201:获取用户的移动步长和当前落脚点。
需要说明的是,本实施例中的移动危险预警方法可以应用于服务器和/或终端设备,即移动危险预警方法的执行主体为服务器和/或终端设备。在一些示例中,可以是终端设备先获取到用户的移动步长和当前落脚点进而发送给服务器,即此时服务器获取到用户的移动步长和当前落脚点,进而服务器根据移动步长和当前落脚点,预测前进预设距离的道路中的目标落脚点,并当目标落脚点满足预设危险条件,确定预警操作并发送至终端设备,由终端设备执行预警操作以对用户进行提醒。在一些示例中,可以是终端设备获取用户的移动步长和当前落脚点,并根据移动步长和当前落脚点,预测前进预设距离的道路中的目标落脚点,并在目标落脚点满足预设危险条件,执行预警操作以对用户进行提醒。在实际应用中,步骤S201-步骤203的执行主体可以根据具体应用场景进行灵活调整。
其中,本实施例中的服务器包括但不限于应用程序服务器、代理服务器等;终端设备包括但不限于诸如手机、个人数字助理(Personal Digital Assistant,PDA)、便捷式媒体播放器(Portable Media Player,PMP)、可穿戴设备、智能手环等移动终端设备。
本实施例中的移动指的是改换原来的位置,包括但不限于行走、跑步、蹦跳等。
本实施例中的移动步长指的是用户在移动过程中每一步的步长(Step length)。可以理解的是,移动时左右脚跟或脚尖先后着地时两点间的纵向直线距离称为步长,以cm为单位表示。左脚向前迈一步称为左步长,右脚向前迈一步称为右步长。其中,步长与身高显著相关,身高愈矮,步长愈短,正常人步长约为50~80cm,男性的步长约为55~77.5cm,女性步长约为50~70.0cm。
本实施例中的当前落脚点指的是用户在移动过程中当前时刻脚所处的道路位置;例如地点A到地点B的道路路径总长为1000米,用户在08:50:00从地点A出发,设当前时刻为08:59:00,此时用户在距离地点B 500米处,其中,用户在距离地点B 500米处的落脚点即为当前落脚点。
在本实施例中,步骤S201获取用户的移动步长,可以包括以下步骤:
首先,获取用户手持终端设备当前相对于水平面的倾斜角度;
然后,根据倾斜角度,确定终端设备的摄像头到地面的垂直距离;
进而,根据垂直距离和终端设备的摄像头采集到的前方道路图像,确定用户的移动步长。
应当明确的是,本实施例中获取用户的移动步长,具体可以是通过先获取用户手持终端设备当前相对于水平面的倾斜角度,然后根据倾斜角度确定终端设备的摄像头到地面的垂直距离,再根据垂直距离和终端设备的摄像头采集到的前方道路图像确定用户的移动步长来实现。需要说明的是,在此方式中确定用户的移动步长,需要借助于终端设备的摄像头采集到的前方道路图像,例如请参见图3所示,为终端设备的摄像头采集到的前方道路图像;其中,摄像头通常为后置摄像头,也可以为旋转摄像头,只要其能采集到前方道路图像即可。
可以理解的是,本实施例中可以通过终端设备的各种传感器来获取用户手持终端设备当前相对于水平面的倾斜角度;例如可以利用速度计采集到的速度和磁力测量器采集到的磁力来计算终端设备当前的倾斜角度,从而获取到终端设备当前的倾斜角度;或者可以利用陀螺仪(也称角速度传感器)采集到的转动和偏转等数据来计算终端设备当前的倾斜角度,从而获取到用户手持终端设备当前相对于水平面的倾斜角度。在实际应用中,获取用户手持终端设备当前相对于水平面的倾斜角度可以根据具体应用场景进行灵活调整。
进一步地,本实施例中在获取到用户手持终端设备当前相对于水平面的倾斜角度之后,便可以根据倾斜角度,确定出终端设备的摄像头到地面的垂直距离;例如请参见图4所示,a`b`表示手机,o表示摄像头,其中,手机的倾斜角度为∠b`ob,手机的摄像头到地面的垂直距离为ao,根据摄像头测距算法,可以计算获得ao的长度。
进一步地,本实施例中在确定出终端设备的摄像头到地面的垂直距离之后,便可以根据垂直距离和终端设备的摄像头采集到的前方道路图像,确定出用户的移动步长。其中,根据垂直距离和终端设备的摄像头采集到的前方道路图像,确定用户的移动步长的步骤,可以包括以下步骤:
首先,根据垂直距离,确定终端屏幕到地面的高度距离和地面距离;
然后,在前方道路图像中确定前后两次落脚点的参考点;
进而,根据高度距离、地面距离以及前后两次落脚点的参考点,确定用户的移动步长。
应当明确的是,本实施例中根据垂直距离和终端设备的摄像头采集到的前方道路图像,确定用户的移动步长,具体可以是通过先根据垂直距离,确定终端屏幕到地面的高度距离和地面距离,然后在前方道路图像中确定前后两次落脚点的参考点,再根据高度距离、地面距离以及前后两次落脚点的参考点确定用户的移动步长来实现。
可以理解的是,本实施例中可以根据垂直距离,确定出终端屏幕到地面的高度距离和地面距离;例如请再参见图4所示,终端屏幕到地面的高度距离为ob,终端屏幕到地面的地面距离为ab,在已知ao的长度,∠aob(∠aob=90-∠b`ob)的角度的情况下,可以计算获得ob、ab的长度。
进一步地,本实施例中可以在前方道路图像中确定前后两次落脚点的参考点;其中,本实施例中将屏幕正中间的位置确定为前后两次落脚点的参考点,即每次落脚点的参考点相同,这样确定出的用户的移动步长更为准确。例如请参见图5所示,a为前一次的落脚点,c为后一次的落脚点,并请再参见图3所示,根据计步器原理,获得用户的3轴加速度传感器波峰,当第一次波峰到来时,把终端设备屏幕正中间的图像点作为a点,当第二次波峰到来时,在图像中查找上次波峰的标记,并把原有的a点作为新的c点(因为不在屏幕中心了),而把当前的终端设备屏幕中间的图像点作为新的a点。需要说明的是,参考点可以选取屏幕的其他位置,在实际应用中,参考点可以根据具体应用场景进行灵活调整。
进一步地,本实施例中可以根据高度距离、地面距离以及前后两次落脚点的参考点,确定用户的移动步长;例如在已知ob、ab的长度,根据直角三角形的边长公式计算,bc2+ob2=oc2,bc=√oc2-ob2,ac=|bc-ab|,由此可以计算获得ac的长度。
值得注意的是,本实施例中的根据垂直距离,确定终端屏幕到地面的高度距离和地面距离的步骤,和在前方道路图像中确定前后两次落脚点的参考点的步骤,可以并行执行,也可以任意交换顺序执行,在实际应用中,两者的执行顺序可以根据具体应用场景进行灵活调整。
需要说明的是,本实施例中提出一种新的确定出用户的移动步长的方式,即通过终端设备摄像头采集前方道路图像,确定出用户的移动步长的方式,此方式确定出的用户的移动步长更为准确,在一定程度上提升了用户移动过程中的危险预警准确率。
在本实施例中,步骤S201获取用户的移动步长,可以包括以下步骤:
首先,获取用户的当前位置信息;
然后,根据当前位置信息,获得用户在一段时间内的移动距离和移动步数;
进而,根据移动距离和移动步数,确定用户的移动步长。
应当明确的是,本实施例中获取用户的移动步长,具体可以是通过获取用户的当前位置信息,然后根据获取到的用户当前位置信息获得用户在一段时间内的移动距离和移动步数,再根据移动距离和移动步数确定用户的移动步长来实现。需要说明的是,在此方式中确定用户的移动步长,需要借助于GPS定位及计步器,流程简单、易于实现。
可以理解的是,本实施例中可以通过终端设备的GPS获取用户的当前位置信息;其中,当前位置信息可以为经纬度信息、坐标信息等。
进一步地,本实施例中获取用户的当前位置信息之后,便可以根据计步器原理和位置信息,获得用户在一段时间内的移动距离和移动步数;其中,可以调用重力传感器或3轴加速传感器,获得用户的移动步数,具体地,3轴加速度传感器采集数据->滤波->二次波峰监测,波峰数即为移动步数。
进一步地,本实施例中获得用户在一段时间内的移动距离和移动步数之后,便可以根据移动距离和移动步数,确定用户的移动步长;例如设移动距离为D,移动步数为s,则可以计算获得移动步长k=D/s。
需要说明的是,本实施例中通过GPS定位及计步器,确定出用户的移动步长的方式,流程简单、易于实现。
在本实施例中,步骤201获取用户的当前落脚点,可以包括以下两种方式:
方式一,可以通过利用广角镜头和终端设备的物体识别能力,识别终端设备屏幕下方的鞋子,当通过计步器获得用户脚落地后,记录用户的落脚点为当前落脚点;同时,还可以获得是左脚落地还是右脚落地。需要说明的是,通过该方式可以准确地获取到用户的当前落脚点,但是如果用户的终端设备屏幕倾斜度较为垂直的话,可能出现无法捕捉到脚的落地点的情况。
可以理解的是,方式一中除了通过广角镜头和终端设备的物体识别能力识别左右脚外,还可以使用飞行时间(Time-of-Flight,TOF)或红外摄像头,在晚上无灯光的时候使用,规避使用图像处理时的问题。其中,TOF指的是由一组人眼看不到的红外光(激光脉冲)向外发射,遇到物体后反射,反射到摄像头结束,计算从发射到反射回摄像头的时间差或相位差,并将数据收集起来,形成一组距离深度数据,从而得到一个立体的3D模型的成像技术。
方式二,可以通过计步器原理和终端设备的摄像头采集到的前方道路图像,在用户的脚与地面接触时,使用屏幕中间的图像点做标记,计算出用户每一步的距离(即移动步长)以及落脚点,将最近的落脚点作为当前落脚点。需要说明的是,通过该方式能够在用户的终端设备屏幕倾斜度较为垂直无法捕捉到脚的落地点时,获取到用户的当前落脚点。
值得注意的是,获取用户的当前落脚点包括但不限于上述两种方式,在实际应用中,可以根据具体应用场景进行灵活调整。
步骤S202:根据移动步长和当前落脚点,预测前进预设距离的道路中的目标落脚点。
本实施例中获取到用户的移动步长和当前落脚点之后,便可以将当前落脚点所处的道路位置作为起始点,根据移动步长预测起始点之后预设距离的道路中用户可能的落脚点;其中,本实施例中将用户可能的落脚点称之为目标落脚点。
本实施例中预测的是前进预设距离的道路中的目标落脚点;例如用户当前处于地点A,即用户当前落脚点为地点A,其前进1000米即可到达地点B,此时可以预测用户前进100、200、300米等道路中的目标落脚点;其中,在实际应用中,预设距离可以根据具体应用场景进行灵活调整,且预设距离不同,移动步数也就不同,相应地,目标落脚点的数量也就不同。可以理解的是,本实施例中目标落脚点数量通常为多个,这里的多个指的是两个及两个以上。
本实施例中可以分别收集重力传感器或3轴加速传感器的左脚波峰和右脚波峰,使用深度学习或者机器学习进行分类训练,获得分类模型,并使用该分类模型,确定出当前一步是左脚还是右脚,进而以当前落脚点所处的道路位置作为起始点,根据移动步长和左/右脚预测前进预设距离的道路中的目标落脚点。
举例说明,例如请参见图6所示,b点为当前落脚点,根据移动步长和左/右脚,预测前进预设距离的道路中的目标落脚点,其中,目标落脚点为透明所示。
步骤S203:若目标落脚点满足预设危险条件,执行预警操作以对用户进行提醒。
本实施例中预测前进预设距离的道路中的目标落脚点之后,需要判断目标落脚点是否满足预设危险条件,如果目标落脚点满足预设危险条件,则执行预警操作,如果目标落脚点不满足预设危险条件,则不执行预警操作。
可以理解的是,本实施例中预测前进预设距离的道路中的目标落脚点数量通常为多个;因此,本实施例中判断目标落脚点是否满足预设危险条件,是判断每个目标落脚点是否满足预设危险条件,其中,只要存在一个目标落脚点满足预设危险条件则需要执行预警操作,如果所有的目标落脚点均不满足预设危险条件则无需执行预警操作。
本实施例中,步骤S203若目标落脚点满足预设危险条件,执行预警操作以对用户进行提醒,包括至少以下两种情况:
情况一,若目标落脚点与物体重合,则将目标落脚点所处的道路区域确定为危险道路区域,执行预警操作以对用户进行提醒。
也即,本实施例中情况一对应的预设危险条件为目标落脚点与物体重合;即在判定目标落脚点与物体重合时,需要执行预警操作。可以理解的是,目标落脚点与物体重合,意味着目标落脚点所处的道路区域是有物体存在的,如果在物体存在的情况下,仍要从该处区域移动,则对用户而言很大可能性是危险的;因此,在判定目标落脚点与物体重合时,将目标落脚点所处的道路区域确定为危险道路区域,此时需要执行预警操作。
举例说明,例如当物体是桌子时,如果用户继续前进则会碰撞上桌子,造成用户腿部受伤,从而给用户带来危险;当物体是玻璃时,如果用户继续前进则会踩在玻璃上,造成用户脚受伤,从而给用户带来危险;当物体是石头时,如果用户继续前进则会踩在石头上,造成用户摔倒,从而给用户带来危险等。
情况二,若目标落脚点所处的道路区域平整度低于预设平整度,则将目标落脚点所处的道路区域确定为危险道路区域,执行预警操作以对用户进行提醒。
也即,本实施例中情况二对应的预设条件为目标落脚点所处的道路区域平整度低于预设平整度;即在判定目标落脚点所处的道路区域平整度低于预设平整度时,需要执行预警操作。可以理解的是,目标落脚点所处的道路区域的平整度低于预设平整度,意味着目标落脚点所处的道路区域是不平整的,如果在目标落脚点所处的道路区域不平整的情况下,仍要从该处区域移动,则对用户而言很大可能性是危险的;因此,在判定目标落脚点所处的道路区域平整度低于预设平整度时,将目标落脚点所处的道路区域确定为危险道路区域,此时需要执行预警操作。在实际应用中,预设平整度可以根据具体应用场景进行灵活调整。
举例说明,例如目标落脚点所处的道路区域的平整度低于预设平整度,其中该目标落脚点所处的道路区域为一个水坑,如果用户继续前进则会踩在水坑里,给用户带来不必要的麻烦,且也容易造成用户摔倒,从而给用户带来危险等。
需要说明的是,本实施例中提出了两种预设危险条件,切近实际场景,满足用户的日常移动危险预警需求;在实际应用中,预设危险条件可以根据具体应用场景进行灵活调整。
在本实施例中,步骤S203若目标落脚点满足预设危险条件,执行预警操作以对用户进行提醒,包括至少以下三种方式:
方式一,若目标落脚点满足预设危险条件,向终端设备的麦克风发送第一控制信号,以使麦克风发出语音预警信息对用户进行提醒。
也即,本实施例中方式一是在目标落脚点满足预设危险条件时,执行麦克风发出语音预警信息这一预警操作,这样用户可以听到语音预警信息,以知晓前方道路中存在危险。
方式二,若目标落脚点满足预设危险条件,向终端设备的屏幕控制单元发送第二控制信号,以使屏幕控制单元对终端设备的屏幕进行息屏对用户进行提醒。
也即,本实施例中方式二是在目标落脚点满足预设危险条件时,执行对终端设备的屏幕进行息屏这一预警操作,这样用户无法再继续观看终端设备屏幕,从而观看前方道路,以避免未观看前方道路从而带来危险的现象。
方式三,若目标落脚点满足预设危险条件,向终端设备的摄像头发送第三控制信号,以使摄像头将采集到的前方道路图像进行显示对用户进行提醒。
也即,本实施例中方式三是在目标落脚点满足预设危险条件时,执行显示前方道路图像这一预警操作,这样用户可以看到前方道路情况,以知晓前方道路中存在危险。
需要说明的是,本实施例中提出了三种预警操作,切近实际场景,满足用户的日常移动危险预警需求;在实际应用中,预警操作可以根据具体应用场景进行灵活调整,例如发送文字预警消息等。
本实施例中通过获取用户的移动步长和当前落脚点,并根据获取到的移动步长和当前落脚点,预测前进预设距离的道路中的目标落脚点,其中,若目标落脚点满足预设危险条件,则执行预警操作以对用户进行提醒;解决了现有技术中用户移动过程中的危险预警效率低的问题。
也即,本实施例中通过预测前方道路中的目标落脚点,只需要判断目标落脚点是否满足预设危险条件即可,而无需再对道路中的障碍物进行识别,不依赖于大量的数据训练,且也没有后期数据维护更新等,由此,在极大程度上提升了用户移动过程中的危险预警效率;同时,通过预测前方道路中的目标落脚点,可以自动调整监控间隔,节省终端设备电量。
请参见图7所示,图7为本发明移动危险预警方法第二实施例的流程示意图;在本实施例中,将目标落脚点所处的道路区域确定为危险道路区域的步骤之后,执行预警操作以对用户进行提醒的步骤之前,移动危险预警方法还可以包括以下步骤:
步骤S701:获取当前落脚点到危险道路区域的距离和移动速度;
步骤S702:根据距离和移动速度,确定用户实际反应时长;
步骤S703:若实际反应时长小于预设反应时长,则执行预警操作以对用户进行提醒。
本实施例中,将目标落脚点所处的道路区域确定为危险道路区域之后,可以先获取当前落脚点到危险道路区域的距离和移动速度,并根据获取到的距离和移动速度确定用户实际反应时长,进而判断实际反应时长是否小于预设反应时长,如果实际反应时长小于预设反应时长,则需要执行预警操作,如果实际反应时长大于或等于预设反应时长,则无需执行预警操作;在实际应用中,预设反应时长可以根据具体应用场景进行灵活调整。
举例说明,例如设获取到当前落脚点到危险道路区域的距离为D,移动速度为v,此时计算出用户实际反应时长为t1=D/v,同时设预设反应时长为t2,如果t2>t1,则执行预警操作,如果t2≤t1,则不执行预警操作。
需要说明的是,通过实际反应时长和预设反应时长的比较,能够表征用户在前方道路中存在危险时是否来得及反应,如果来不及反应,则需要执行预警操作,如果来得及反应,则无需执行预警操作,更加符合应用场景和用户的使用习惯,在一定程度上节省了终端设备的电量。
在一些示例中,也可以仅获取当前落脚点到危险道路区域的距离,进而判断该距离是否小于预设距离,如果该距离小于预设距离,则需要执行预警操作,如果该距离大于或等于预设距离,则无需执行预警操作;在实际应用中,预设距离可以根据具体应用场景进行灵活调整。
本实施例中通过预测前方道路中的目标落脚点,并根据当前落脚点到危险道路区域的距离和移动速度确定用户实际反应时长,进而在判定实际反应时长小于预设反应时长时,执行预警操作,更加符合应用场景和用户的使用习惯;并且,由于预测了前方道路中的目标落脚点,因此无需再对道路中的障碍物进行识别,不依赖于大量的数据训练,且也没有后期数据维护更新等,由此提升了用户移动过程中的危险预警效率。
此外,请参见图8所示,本发明实施例在上述移动危险预警方法的基础上,还提出一种移动危险预警装置,移动危险预警装置包括:
获取模块801,用于获取用户的移动步长和当前落脚点;
预测模块802,用于根据移动步长和当前落脚点,预测前进预设距离的道路中的目标落脚点;
执行模块803,用于若目标落脚点满足预设危险条件,执行预警操作以对用户进行提醒。
具体实现中,获取模块801还用于获取终端设备当前的倾斜角度;根据倾斜角度,确定终端设备的摄像头到地面的垂直距离;根据垂直距离和终端设备的摄像头采集到的前方道路图像,确定用户的移动步长。其中,根据垂直距离和终端设备的摄像头采集到的前方道路图像,确定用户的移动步长包括:根据垂直距离,确定终端屏幕到地面的高度距离和地面距离;在前方道路图像中确定前后两次落脚点的参考点;根据高度距离、地面距离以及前后两次落脚点的参考点,确定用户的移动步长。
具体实现中,获取模块801还用于获取用户的当前位置信息;根据当前位置信息,获得用户在一段时间内的移动距离和移动步数;根据移动距离和移动步数,确定用户的移动步长。
具体实现中,执行模块803还用于若目标落脚点与物体重合,则将目标落脚点所处的道路区域确定为危险道路区域,执行预警操作以对用户进行提醒;
具体实现中,执行模块803还用于若目标落脚点所处的道路区域平整度低于预设平整度,则将目标落脚点所处的道路区域确定为危险道路区域,执行预警操作以对用户进行提醒。
具体实现中,执行模块803还用于若目标落脚点满足预设危险条件,向终端设备的麦克风发送第一控制信号,以使麦克风发出语音预警信息对用户进行提醒;
具体实现中,执行模块803还用于若目标落脚点满足预设危险条件,向终端设备的屏幕控制单元发送第二控制信号,以使屏幕控制单元对终端设备的屏幕进行息屏对用户进行提醒;
具体实现中,执行模块803还用于若目标落脚点满足预设危险条件,向终端设备的摄像头发送第三控制信号,以使摄像头将采集到的前方道路图像进行显示对用户进行提醒。
本发明的移动危险预警装置采用了上述移动危险预警方法所有实施例的全部技术方案,因此至少具有上述移动危险预警方法所有实施例的技术方案所带来的所有有益效果,在此不再一一赘述。
请参见图9所示,图9为本发明移动危险预警装置第二实施例的结构示意图;移动危险预警装置在上述移动危险预警装置的基础上,还包括:
确定模块804,用于获取当前落脚点到危险道路区域的距离和移动速度;根据距离和移动速度,确定用户实际反应时长;
另外,在本实施例中,执行模块803,还用于若实际反应时长小于预设反应时长,则执行预警操作以对用户进行提醒。
本发明的移动危险预警装置采用了上述移动危险预警方法所有实施例的全部技术方案,因此至少具有上述移动危险预警方法所有实施例的技术方案所带来的所有有益效果,在此不再一一赘述。
此外,本实施例还提出一种计算机程序,计算机程序上存储有移动危险预警程序,移动危险预警程序被处理器执行时实现如上述的移动危险预警方法的步骤。
该计算机程序包括在用于存储信息(诸如计算机可读指令、数据结构、计算机程序模块或其他数据)的任何方法或技术中实施的易失性或非易失性、可移除或不可移除的介质。计算机程序包括但不限于RAM(Random Access Memory,随机存取存储器),ROM(Read-Only Memory,只读存储器),EEPROM(Electrically Eraable Programmable read onlymemory,带电可擦可编程只读存储器)、闪存或其他存储器技术、CD-ROM(Compact DiscRead-Only Memory,光盘只读存储器),数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。
可见,本领域的技术人员应该明白,上文中所公开方法中全部或某些步骤、系统、集成灶中功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中,在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分;例如,一个物理组件可以具有多个功能,或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器,如中央处理器、数字信号处理器或微处理器执行的软件,或者被实施为硬件,或者被实施为集成电路,如专用集成电路。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种移动危险预警方法,其特征在于,所述移动危险预警方法包括以下步骤:
获取用户的移动步长和当前落脚点;
根据所述移动步长和所述当前落脚点,预测前进预设距离的道路中的目标落脚点;
若所述目标落脚点满足预设危险条件,执行预警操作以对所述用户进行提醒;
所述获取用户的移动步长的步骤,包括:
获取所述用户手持终端设备当前相对于水平面的倾斜角度;
根据所述倾斜角度,确定所述终端设备的摄像头到地面的垂直距离;
根据所述垂直距离和所述终端设备的摄像头采集到的前方道路图像,确定所述用户的移动步长;
其中,所述根据所述垂直距离和所述终端设备的摄像头采集到的前方道路图像,确定用户的移动步长的步骤,包括:
根据所述垂直距离,确定所述终端设备屏幕到地面的高度距离和地面距离;
在所述前方道路图像中确定前后两次落脚点的参考点;
根据所述高度距离、所述地面距离以及所述前后两次落脚点的参考点,确定所述用户的移动步长。
2.如权利要求1所述的移动危险预警方法,其特征在于,所述获取用户的移动步长的步骤,包括:
获取所述用户的当前位置信息;
根据所述当前位置信息,获得所述用户在一段时间内的移动距离和移动步数;
根据所述移动距离和所述移动步数,确定所述用户的移动步长。
3.如权利要求1或2所述的移动危险预警方法,其特征在于,所述若所述目标落脚点满足预设危险条件,执行预警操作以对所述用户进行提醒的步骤,包括:
若所述目标落脚点与物体重合,则将所述目标落脚点所处的道路区域确定为危险道路区域,执行预警操作以对所述用户进行提醒;
或,
若所述目标落脚点所处的道路区域平整度低于预设平整度,则将所述目标落脚点所处的道路区域确定为危险道路区域,执行预警操作以对所述用户进行提醒。
4.如权利要求3所述的移动危险预警方法,其特征在于,所述将所述目标落脚点所处的道路区域确定为危险道路区域的步骤之后,执行预警操作以对所述用户进行提醒的步骤之前,所述移动危险预警方法还包括:
获取所述当前落脚点到所述危险道路区域的距离和移动速度;
根据所述距离和所述移动速度,确定用户实际反应时长;
若所述实际反应时长小于预设反应时长,则执行预警操作以对所述用户进行提醒。
5.如权利要求1或2所述的移动危险预警方法,其特征在于,所述若所述目标落脚点满足预设危险条件,执行预警操作以对所述用户进行提醒的步骤,包括:
若所述目标落脚点满足预设危险条件,向所述终端设备的麦克风发送第一控制信号,以使所述麦克风发出语音预警信息对用户进行提醒;
或,若所述目标落脚点满足预设危险条件,向所述终端设备的屏幕控制单元发送第二控制信号,以使所述屏幕控制单元对所述终端设备的屏幕进行息屏对用户进行提醒;
或,若所述目标落脚点满足预设危险条件,向所述终端设备的摄像头发送第三控制信号,以使所述摄像头将采集到的前方道路图像进行显示对用户进行提醒。
6.一种移动危险预警装置,其特征在于,所述移动危险预警装置包括:
获取模块,用于获取用户的移动步长和当前落脚点;
预测模块,用于根据所述移动步长和所述当前落脚点,预测前进预设距离的道路中的目标落脚点;
预警模块,用于若所述目标落脚点满足预设危险条件,执行预警操作以对所述用户进行提醒;
所述获取模块,还用于获取终端设备当前的倾斜角度;根据倾斜角度,确定终端设备的摄像头到地面的垂直距离;根据垂直距离和终端设备的摄像头采集到的前方道路图像,确定用户的移动步长;
所述获取模块,还用于根据垂直距离,确定终端屏幕到地面的高度距离和地面距离;在前方道路图像中确定前后两次落脚点的参考点;根据高度距离、地面距离以及前后两次落脚点的参考点,确定用户的移动步长。
7.一种终端设备,其特征在于,所述终端设备包括:存储器、处理器及存储在所述存储器上并在所述处理器上运行移动危险预警程序,所述移动危险预警程序被所述处理器执行时实现如权利要求1-5中任一项所述的移动危险预警方法的步骤。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有移动危险预警程序,所述移动危险预警程序被处理器执行时实现如权利要求1-5中任一项所述的移动危险预警方法的步骤。
CN202110536806.2A 2021-05-17 2021-05-17 移动危险预警方法及装置、终端设备、计算机程序 Active CN113140098B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110536806.2A CN113140098B (zh) 2021-05-17 2021-05-17 移动危险预警方法及装置、终端设备、计算机程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110536806.2A CN113140098B (zh) 2021-05-17 2021-05-17 移动危险预警方法及装置、终端设备、计算机程序

Publications (2)

Publication Number Publication Date
CN113140098A CN113140098A (zh) 2021-07-20
CN113140098B true CN113140098B (zh) 2022-08-12

Family

ID=76817568

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110536806.2A Active CN113140098B (zh) 2021-05-17 2021-05-17 移动危险预警方法及装置、终端设备、计算机程序

Country Status (1)

Country Link
CN (1) CN113140098B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101773442A (zh) * 2010-01-15 2010-07-14 北京航空航天大学 可穿戴式的超声导盲装置
CN104931055A (zh) * 2015-06-09 2015-09-23 西安交通大学 一种基于微环境感知的蓝牙防丢检测导航方法及其系统
CN105975753A (zh) * 2016-04-28 2016-09-28 努比亚技术有限公司 计算用户移动速度的方法及移动终端
CN106352885A (zh) * 2016-09-09 2017-01-25 常州大学 一种基于智能手机的盲人引领式导航路线规划的方法
CN111124133A (zh) * 2019-12-30 2020-05-08 腾讯科技(深圳)有限公司 虚拟场景中的危险提示信息方法、装置、设备及存储介质
CN111696387A (zh) * 2020-05-21 2020-09-22 东南大学 一种基于前向障碍物识别的自适应防撞分级预警方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6614352B2 (en) * 2001-10-31 2003-09-02 Nokia Corporation Accurate stepmeter for location-based services

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101773442A (zh) * 2010-01-15 2010-07-14 北京航空航天大学 可穿戴式的超声导盲装置
CN104931055A (zh) * 2015-06-09 2015-09-23 西安交通大学 一种基于微环境感知的蓝牙防丢检测导航方法及其系统
CN105975753A (zh) * 2016-04-28 2016-09-28 努比亚技术有限公司 计算用户移动速度的方法及移动终端
CN106352885A (zh) * 2016-09-09 2017-01-25 常州大学 一种基于智能手机的盲人引领式导航路线规划的方法
CN111124133A (zh) * 2019-12-30 2020-05-08 腾讯科技(深圳)有限公司 虚拟场景中的危险提示信息方法、装置、设备及存储介质
CN111696387A (zh) * 2020-05-21 2020-09-22 东南大学 一种基于前向障碍物识别的自适应防撞分级预警方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于三维线性倒立摆的仿人机器人步态规划;于国晨 等;《计算机应用》;20120901;第2643-2647,2651页 *

Also Published As

Publication number Publication date
CN113140098A (zh) 2021-07-20

Similar Documents

Publication Publication Date Title
CN110147705B (zh) 一种基于视觉感知的车辆定位方法及电子设备
EP3502956B1 (en) Road shoulder extraction method and device, and storage medium
WO2021128777A1 (en) Method, apparatus, device, and storage medium for detecting travelable region
CN111126182B (zh) 车道线检测方法、装置、电子设备及存储介质
CN110967011B (zh) 一种定位方法、装置、设备及存储介质
CN110979318B (zh) 车道信息获取方法、装置、自动驾驶车辆及存储介质
CN110095128B (zh) 获取缺失道路情报的方法、装置、设备及存储介质
EP3783471A1 (en) Display control method and terminal
CN111104893B (zh) 目标检测方法、装置、计算机设备及存储介质
CN107803030B (zh) 用于虚拟地图上资源据点的刷新方法及装置
CN111126276B (zh) 车道线检测方法、装置、计算机设备及存储介质
CN111854780B (zh) 车辆导航方法、装置、车辆、电子设备及存储介质
CN109173258B (zh) 虚拟对象显示、定位信息发送方法、设备及存储介质
KR20190038034A (ko) 전자 장치 및 그의 지오펜스 관리 방법
CN112802369B (zh) 获取飞行航线的方法、装置、计算机设备及可读存储介质
CN113393580B (zh) 一种地图道路绘制方法、装置及相关产品
JP2023504945A (ja) 制御車両
CN112444829B (zh) Gnss选星方法、装置、芯片、设备及存储介质
CN111127541B (zh) 车辆尺寸的确定方法、装置及存储介质
CN114299468A (zh) 车道的汇入口的检测方法、装置、终端、存储介质及产品
CN113140098B (zh) 移动危险预警方法及装置、终端设备、计算机程序
CN117109623A (zh) 一种智能穿戴式导航交互方法、系统及介质
CN107730030B (zh) 一种路径规划方法及移动终端
CN114623836A (zh) 车辆位姿确定方法、装置及车辆
CN111538009A (zh) 雷达点的标记方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant