CN115158606B - 一种水面救生方法、系统和介质 - Google Patents

一种水面救生方法、系统和介质 Download PDF

Info

Publication number
CN115158606B
CN115158606B CN202210764196.6A CN202210764196A CN115158606B CN 115158606 B CN115158606 B CN 115158606B CN 202210764196 A CN202210764196 A CN 202210764196A CN 115158606 B CN115158606 B CN 115158606B
Authority
CN
China
Prior art keywords
rescue
water
falling
real
water surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210764196.6A
Other languages
English (en)
Other versions
CN115158606A (zh
Inventor
程亮
江云华
张云飞
李翰超
杨士远
吴锦涛
杨嘉铭
陈嘉林
王磊刚
苏雄
张平
祁思达
谢志文
杨春利
黄坚
潘伟灿
黄永胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yunzhou Yancheng Innovation Technology Co ltd
Zhuhai Yunzhou Intelligence Technology Ltd
Original Assignee
Yunzhou Yancheng Innovation Technology Co ltd
Zhuhai Yunzhou Intelligence Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yunzhou Yancheng Innovation Technology Co ltd, Zhuhai Yunzhou Intelligence Technology Ltd filed Critical Yunzhou Yancheng Innovation Technology Co ltd
Priority to CN202210764196.6A priority Critical patent/CN115158606B/zh
Publication of CN115158606A publication Critical patent/CN115158606A/zh
Application granted granted Critical
Publication of CN115158606B publication Critical patent/CN115158606B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63C—LAUNCHING, HAULING-OUT, OR DRY-DOCKING OF VESSELS; LIFE-SAVING IN WATER; EQUIPMENT FOR DWELLING OR WORKING UNDER WATER; MEANS FOR SALVAGING OR SEARCHING FOR UNDERWATER OBJECTS
    • B63C9/00—Life-saving in water
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63C—LAUNCHING, HAULING-OUT, OR DRY-DOCKING OF VESSELS; LIFE-SAVING IN WATER; EQUIPMENT FOR DWELLING OR WORKING UNDER WATER; MEANS FOR SALVAGING OR SEARCHING FOR UNDERWATER OBJECTS
    • B63C9/00—Life-saving in water
    • B63C2009/0017—Life-saving in water characterised by making use of satellite radio beacon positioning systems, e.g. the Global Positioning System [GPS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Ocean & Marine Engineering (AREA)
  • Alarm Systems (AREA)

Abstract

本申请公开了一种水面救生方法、系统和介质，其中，水面救生方法包括根据环境监控数据，获取落水人员的落水位置；根据所述落水位置和救援装置位置，规划救援路线；以及根据所述救援路线和实时救援情况，执行水面救生任务；其中，所述实时救援情况包括所述落水人员的实时位置和/或所述救援装置的实时位置。本申请可以解决开放水域救援效率低的问题。

Description

一种水面救生方法、系统和介质
技术领域
本申请涉及水上救援技术领域，具体涉及一种水面救生方法、系统和介质。
背景技术
开放水域往往占地面积较广，因此，开放水域的管控压力较大。目前，对于开放水域的监管多停留在监控层面，需要人工通过监控视频画面判断是否存在险情。对于人员溺水抢救往往都是争分夺秒，但是仅停留在监控层面的水域监管无法及时进行救援，因而导致了救援难度高、救援速度慢、救援效率低。在开放水域搜救时也需要进行人工搜索和定位，不够灵活、耗时耗力且最终救援成功率低，无法及时对落水人员进行定位展开快速救援。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种水面救生方法、系统和介质，可以解决开放水域救援效率低的问题。
根据本申请的一个方面，提供了一种水面救生方法，包括：根据环境监控数据，获取落水人员的落水位置；根据所述落水位置和救援装置位置，规划救援路线；以及根据所述救援路线和实时救援情况，执行水面救生任务；其中，所述实时救援情况包括所述落水人员的实时位置和/或所述救援装置的实时位置。
在一实施例中，所述水面救生方法还包括：根据所述落水位置和所述救援装置位置，计算所述落水人员和所述救援装置之间的救援距离；选取所述救援距离小于预设距离的所述救援装置为待命救援装置；其中，所述根据所述救援路线和实时救援情况，执行水面救生任务包括：根据所述救援路线和实时救援情况，指派所述待命救援装置执行水面救生任务。
在一实施例中，所述根据环境监控数据，获取落水人员的落水位置包括：获取所述落水人员的落水位置的定位信息；在所述根据所述落水位置和救援装置位置，规划救援路线之前，所述水面救生方法还包括：获取所述救援装置位置的定位信息；其中，所述根据所述落水位置和救援装置位置，规划救援路线包括：根据所述落水位置的定位信息和所述救援装置位置的定位信息，通过导航规划救援路线；其中，所述救援路线包括根据导航系统控制所述救援装置按照所述救援路线前往所述落水位置。
在一实施例中，所述实时救援情况包括多个水面实时图像，所述执行水面救生任务包括控制所述救援装置前往所述落水位置；其中，所述根据所述救援路线和实时救援情况，执行水面救生任务包括：当所述救援装置与所述落水人员在同一时间位于同一所述水面实时图像中时，采用视觉导航救援路线执行所述水面救生任务；其中，所述视觉导航救援路线包括根据所述救援装置的实时位置图像和所述落水人员的实时位置图像，规划视觉救援路线，控制所述救援装置按照所述规划视觉救援路线前往所述落水位置。
在一实施例中，所述当所述救援装置与所述落水人员在同一时间段内位于同一所述水面实时图像中时，采用视觉导航救援路线执行所述水面救生任务包括：获取所述救援装置、所述落水人员在所述水面实时图像中的位置；根据实时俯仰角、水平角、变倍倍数和竖直高度，将所述救援装置、所述落水人员在所述水面实时图像中的位置换算至通用平面坐标系中的坐标；根据前后帧所述水面实时图像中所述救援装置的位置，确定所述救援装置在所述水面实时图像和所述平面坐标系中的艏向方向；根据所述艏向方向，计算所述落水人员相对于所述救援装置的相对位置；以及根据所述相对位置规划所述视觉导航救援路线并控制所述救援装置前往所述落水位置。
在一实施例中，所述根据环境监控数据，获取落水人员的落水位置包括：根据动态环境监控数据和静态环境监控数据，执行范围环境监控；根据所述范围环境监控数据，识别人员存在情况；以及当所述人员存在情况表示存在落水人员时，确定所述落水人员的落水位置。
在一实施例中，所述水面救生方法还包括：根据环扫技术，获取所述动态环境监控数据。
在一实施例中，所述环扫技术包括机械环扫技术，所述动态环境监控数据包括监控图像；其中，根据机械环扫技术，获取所述动态环境监控数据包括：根据预设频率，调整监控设备的俯仰角和变倍倍数；根据所述监控设备的不同俯仰角和不同变倍倍数，获取多个监控图像。
在一实施例中，所述环扫技术包括软件环扫技术，所述动态环境监控数据包括区域图片；其中，根据软件环扫技术，获取所述动态环境监控数据包括：获取监控设备在不同俯仰角、不同水平角和不同变倍倍数时的区域图像；拼接多个所述区域图像，生成全景监控图像；裁剪所述全景监控图像，生成多个区域图片；其中，相邻的所述区域图片具有重叠区域。
在一实施例中，在所述根据环境监控数据，获取落水人员的落水位置之前，所述水面救生方法还包括：当所述环境监控数据中存在人员时，提取所述人员的图像数据；根据所述人员的图像数据，识别所述人员的行为类型和/或实时位置；所述根据环境监控数据，获取落水人员的落水位置包括：当所述人员的行为类型表示存在落水人员或所述人员的实时行为表示所述人员处于危险状态时，获取所述人员落水位置。
在一实施例中，通过多个传感器采集所述环境监控数据，其中，所述根据所述人员的图像数据，识别所述人员的行为类型和/或实时位置包括：获取多个所述传感器采集的多源环境监控数据；根据所述多源环境监控数据的置信度，进行结果筛选；计算筛选后的结果，获得所述人员的行为类型和/或实时位置；其中，筛选后的结果的所述置信度高于预设阈值。
在一实施例中，所述水面救生方法还包括：识别所述落水人员与所述救援装置的交互状态；当所述落水人员与所述救援装置的交互状态表示所述落水人员已获救时，向所述救援装置发出返航至安全区域的指令。
根据本申请的另一个方面，提供了一种水面救生系统，包括：监控终端，所述监控终端设置在地面和/或固定设置在水面和/或设置在船只上，所述监控终端构造为实时获取环境监控数据；救生终端，所述救生终端设置在地面和/或固定设置在水面和/或设置在船只上，所述救援终端构造为救助落水人员；所述救生终端和所述监控终端用于执行上述任一实施例所述的水面救生方法；决策中心，所述决策中心与所述监控终端、所述救生终端通讯连接，所述决策中心构造为根据所述监控终端的所述环境监控数据以及所述救生终端的位置，调控所述救生终端前往所述落水人员位置。
在一实施例中，所述监控终端包括：监控设备，所述监控设备构造为实时获取环境监控数据；人工智能处理模块，所述人工智能处理模块与所述监控设备连接，所述人工智能处理模块构造为控制所述监控设备以及识别所述落水人员；网络通信模块，所述网络通信模块与所述人工智能处理模块连接，所述网络通信模块构造为与救生终端、决策中心进行信息交互；以及声光报警装置，所述声光报警装置与所述人工智能处理模块连接，所述声光报警装置构造为识别到所述落水人员时进行声光提示。
在一实施例中，所述救生终端包括：救援装置，所述救援装置构造为救助所述落水人员；智能投放装置，所述智能投放装置与监控终端、救援装置连接，所述智能投放装置构造为根据所述监控终端的所述环境监控数据，释放所述救援装置。
在一实施例中，所述救生终端还包括：充电设备，所述充电设备与所述救援装置连接，所述充电设备构造为为所述救援装置提供电能；状态监测单元，所述状态监测单元与所述救援装置、所述智能投放装置、所述充电设备连接，所述状态监控单元用于监控所述救援装置、所述智能投放装置、所述充电设备的工作状态；网络通讯模块，所述网络通讯模块与所述决策中心、所述监控终端连接。
在一实施例中，所述决策中心包括：控制系统，所述控制系统构造为调控所述救生终端和所述监控终端；多路视频处理单元，所述多路视频处理单元与所述控制系统连接，所述多路视频处理单元构造为对所述环境监控数据的识别和确认；数据存储备份模块，所述数据存储备份模块与所述救生终端、所述监控终端连接，所述数据存储备份模块构造为存储数据。
在一实施例中，所述决策中心还包括：网络设备，所述网络设备与应急部门通信连接；其中，所述应急部门包括安全管理平台、综合管理平台、医院和急救中心。
根据本申请的另一个方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述任一实施例所述的水面救生方法。
本申请提供的水面救生方法、系统和介质，可对水面进行实时监控，当出现落水人员时，及时指派救援装置前往救援，针对不同场景和实际情况，自主生成和调整救援路线，实现救援装置对落水人员的自主救援和返航。由距离较近的救援装置收到指令后第一时间前往救援，响应更加及时，可以提高救援效率和救援成功率。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1是本申请一示例性实施例提供的水面救生系统的结构示意图。
图2是本申请另一示例性实施例提供的水面救生系统的结构示意图。
图3是本申请一示例性实施例提供的水面救生系统的工作流程示意图。
图4是本申请一示例性实施例提供的水面救生方法的流程示意图。
图5是本申请一示例性实施例提供的机械环扫的结构示意图。
图6是本申请一示例性实施例提供的软件环扫的流程示意图。
图7是本申请一示例性实施例提供的单点视觉定位的结构示意图。
图8是本申请一示例性实施例提供的多点位协同视觉定位的结构示意图。
图9是本申请一示例性实施例提供的多点位协同视觉定位的计算原理示意图。
图10是本申请一示例性实施例提供的水面救生装置的结构示意图。
图11是本申请一示例性实施例提供的电子设备的结构图。
附图标记说明：2、监控终端；21、监控设备；22、网络通信模块；23、声光报警装置；24、人工智能处理模块；3、救生终端；31、充电设备；32、状态监测单元；33、救援装置；34、智能投放装置；35、网络通讯模块；36、声光报警器；4、决策中心；41、显示系统；42、控制系统；43、多路视频处理单元；44、数据存储备份模块；45、网络设备；46、综合管理软件；47、声光报警装备；5、应急部门；51、安全管理平台；52、综合管理平台；53、医院；54、急救中心。
具体实施方式
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
示例性系统
图1是本申请一示例性实施例提供的水面救生系统的结构示意图，如图1所示，该水面救生系统包括：监控终端2，监控终端2设置在地面和/或固定设置在水面和/或设置例如有/无人机、有/无人船、有/无人车上，监控终端2构造为实时获取环境监控数据；救生终端3，救生终端设置在地面和/或固定设置在水面和/或设置在船只上，救援终端3构造为救助落水人员；救生终端3和监控终端2用于执行本申请提供的水面救生方法；决策中心4，决策中心4与监控终端2、救生终端3通讯连接，决策中心4构造为根据监控终端2的环境监控数据以及救生终端3的位置，调控救生终端3前往落水人员位置。
救生终端3可以与监控终端2设置在相同位置，也可以独立设置在开放水域的陆地上或者水面上，例如建造岸基监控终端，也可以安装在可移动物体上，例如船只上。
图2是本申请另一示例性实施例提供的水面救生系统的结构示意图，如图2所示，救生终端3可以包括：救援装置33，救援装置33构造为救助落水人员；智能投放装置34，智能投放装置34与监控终端2、救援装置33连接，智能投放装置34构造为根据监控终端2的环境监控数据，释放救援装置33。
救生终端3中可以内置救援装置33，救援装置33在没有人员溺水时存放于救生终端3中，当监控终端2识别到存在落水人员时，救生终端3中的智能投放装置34可以释放救援装置33。救援装置33可以包括智能救生机器人、智能救生无人机与可自动充气救生圈。智能救生机器人为可供人扒附或平躺于装备之上并可在水中载人航行的无人装备，具备GNSS定位、可由无线(4G/5G/Wifi局域网/数传)遥控、无线通信、自主/手动导航、前置摄像头与图像回传等功能。智能救生无人机具备GNSS定位、可由无线(4G/5G/Wifi局域网/数传)遥控、无线通信、自主/手动导航、前置摄像头与图像回传等功能，且可运载、充气和投放自动充气救生圈。因此，救援装置33可以实时反馈自身的位置用于路线规划。救生终端3还可以包括智能释放装置34，智能释放装置34与决策中心4通信连接，智能释放装置34用于自动或手动释放救援装置33，例如接收到救援指令后通过滑动投放智能救生机器人入水，或者接收到救援指令后通过弹射装置投射智能救生机器人入水，或者打开停机舱盖供智能救生无人机起降等。
在一实施例中，救生终端3还可以包括：充电设备31，充电设备31与救援装置33连接，充电设备31构造为为救援装置33提供电能；状态监测单元32，状态监测单元32与救援装置33、智能投放装置34、充电设备31连接，状态监控单元用于监控救援装置33、智能投放装置34、充电设备31的工作状态；网络通讯模块35，网络通讯模块35与决策中心4、监控终端2连接。
救生终端3中还可以内置充电设备31，可以手动或自动为救援装置33进行有线或无线充电，例如通过监测救援装置33的剩余电量，自动为救援装置33充电。因此，救生终端3中还可以包括状态监测单元32，用于监测救援装置33的温度、湿度、开启状态、充电状态、剩余电流、工作状态等信息，并将这些信息及时上报至决策中心4。救生终端3中可以设置声光报警器36，用于提示工作人员和救生终端3附近人员提高警惕或开展针对性救援动作。
救生终端3中还可以内置网络通讯模块35，用于与决策中心4、其他救生终端、监控终端2交互信息。交互数据通过光纤与无线冗余通信网络，与其他决策中心和终端通信，以保证数据的稳定性。
监控终端2可以固定安装在开放水域的陆地上或者水面上，例如建造岸基监控终端，也可以安装在可移动物体上，例如有/无人机、有/无人船、有/无人车。
在一实施例中，如图2所示，监控终端2包括：监控设备21，监控设备21构造为实时获取环境监控数据；人工智能处理模块24，人工智能处理模块24与监控设备21连接，人工智能处理模块24构造为控制监控设备21以及识别落水人员；网络通信模块22，网络通信模块22与人工智能处理模块24连接，网络通信模块22构造为与救生终端3、决策中心4进行信息交互；以及声光报警装置23，声光报警装置23与人工智能处理模块24连接，声光报警装置23构造为识别到落水人员时进行声光提示。
监控终端2包括监控设备21，监控终端2的监控设备21可以采用多源异构传感器组合，多源异构传感器组合可以包括可见光摄像头、红外摄像头、雷达、激光雷达等，多类型传感器可以实现全天候监控，适应不同天气和光照条件，提高监控稳定性。多源异构传感器组合311用于监控和识别，可见光摄像头可用于生成可见光图像或视频，红外摄像头可用于生成红外图像或视频，雷达可用于生成二维点云，激光雷达可生成三维点云。实时采集图像(可见光和/或红外)和点云(二维和/或三维)数据，图像(可见光和/或红外)和点云(二维和/或三维)数据可以用于监控终端2自身的数据处理，也可以上传至决策中心4进行统筹管理。
监控终端2还可以包括人工智能处理模块25，人工智能处理模块25可以用于进行环境监控和目标识别。例如，人工智能处理模块25可以控制各传感器实施动态监控，对水面一定范围进行监控。人工智能处理模块24还可以基于图像(可见光、红外或双光融合)或点云时序序列的动态行为识别软件，针对具有落水危险的动作，如跳桥、船边活动、岸边危险区域活动等动作进行识别并预警，或者针对溺水动作进行识别并报警。或者，人工智能处理模块24还可以基于图像(可见光、红外或双光融合)或点云的机器视觉软件，识别并区分不同人员状态，如溺水、游泳、戏水、获救、船上、岸上人员等，并针对溺水人员进行报警，针对具有落水危险的动作进行预警。人工智能处理模块24可以融合多源传感器感知结果，提升识别准确率，降低误报概率。
监控终端2上可以设置声光报警装置23，用于提示在该监控终端2附近的工作人员提高警惕或者及时开展针对性救援动作，对于从其他地方赶到的工作人员也具有提示功能，方便及时定位溺水区域。
监控终端2还可以包括网络通信模块22，为监控终端2提供与决策中心4、救生终端3、其他监控终端2交互通信的功能，交互数据通过光纤与无线冗余通信网络，与其他决策中心4和终端通信，以保证数据的稳定性。
在一实施例中，如图2所示，决策中心4包括：控制系统42，控制系统42构造为调控救生终端3和所述监控终端2；多路视频处理单元43，多路视频处理单元43与控制系统42连接，多路视频处理单元43构造为对环境监控数据的识别和确认；数据存储备份模块44，数据存储备份模块44与救生终端3、监控终端2连接，数据存储备份模块44构造为存储数据。
决策中心4是水面救生系统的核心，决策中心4负责多个监控终端2和救生终端3的整体控制和调配。决策中心4通过软件实现落水人员识别跟踪，并把定位控制信息发送至救生终端3的救援装置33，同时支持人工随时接管，决策中心4包括控制系统42，控制系统42支持人工介入，手动控制监控终端2的监控设备21和救生终端3的救援装置33，还可以控制人工对讲机、报警装置等。
决策中心4可以配备显示系统41，显示系统41用于显示综合管理软件46界面，包括各监控终端2的实时识别视频、各救生终端3的状态、监控设备21监控到的救援过程及策略显示。显示系统41可供救生指挥大厅的人员直观查看救生信息，显示系统41可外接第三方平台，同步显示救生定位数据、监控设备21的监控画面以及救生装置33的救援画面。决策中心4还可以包括数据存储备份模块44，数据存储备份模块44与监控设备21连接，用于对环境监控数据等进行存储，以及环境监控数据的调用、回放、处理等功能，以备查看和为算法、网络训练提供数据。
决策中心4还可以包括多路视频处理单元43，多路视频处理单元43与监控设备21连接，多路视频处理单元43可以用于对感知数据(包括图像、视频、点云等)的二次识别与确认，还可以定期对识别算法与深度学习网络进行自动或半自动训练。
决策中心还可以包括声光报警装备47，在监控终端2发现落水人员或危险动作人员时，及时进行报警提示，以使救生指挥大厅的人员能够及时了解危险情况，及时进行救援。
决策中心4还可以内置综合管理软件46，综合管理软件46可以包括显控端综管软件、云端综管软件和移动端综管软件。综合管理软件46用于接收各监控终端2上报的状态信息和落水事件，统筹救援策略，控制各救生终端3实施救援动作。综合管理软件46还可以日常收集实时数据和日志、报警时间信息等，提供工作人员操作介入、浏览监控区域状态的界面，进行第三方数据共享等。综合管理软件46可通过本地服务器、云端服务器或者移动端APP进行登录、浏览和操作，实现用户和管理人员可通过指控中心、手机移动端和云端等多种渠道，在任何时间、任何地点实现监控、操作。
决策中心4还可以内置网络设备45，用于支持决策中心4与各监控终端2、救生终端3之间的网络通信，决策中心4与监控终端2、救生终端3之间的无线通信可以采用Lora、ZigBee、局域网、4G/5G、Wifi、专网等通信方式。网络设备45还可以支持决策中心4与管理中心、第三方救助单位之间的网络通信，决策中心4可以与管理中心、第三方救助单位实现数据传输、指令下达、状态信息反馈等功能。在不同网络之间，可以建立网关进行相应的访问控制和数据加密，防止救援信息泄露。
在一实施例中，如图2所示，除此之外，决策中心4还可以与应急部门5(例如安全管理平台51、综合管理平台52、医院53、急救中心54等)合作，将监控终端2、救生终端3反馈的多项数据与第三方机构(如应急部门5)共享，联动各部门合作进行救援，提高救援效率。共享视频及落水警报至相应的应急管理中心和救护系统，形成水陆一体应急救生体系，在发现溺水事件时，更快捷的通知应急救援和医疗等部门，加快各部门响应速度。例如，监控的原始视频(可见光和/或红外)通过网络推流的方式与第三方单位共享；实时点云数据格式转换为视频，通过网络推流的方式与第三方单位共享；预警或报警信息，以及识别后的图像通过消息的方式，发送至第三方单位。亦可根据第三方系统的要求和接口，将需共享的信息进行格式转化后共享。
决策中心4与多个监控终端2可以形成分布式处理、集中式管理模式，即在各监控终端2处进行实时处理、独立运作，可大大减轻远程决策中心的运算负荷；在各监控终端2反馈结果基础上，由远程决策中心4统一规划和调度，更宏观、高效地实现救援。该模式可不限制各监控终端2、救生终端3的数量和决策中心4的物理位置，提高系统的拓展性和灵活性。集中式管理采用协同式饱和救援技术，同时自动释放落水人员区域附近的若干救援装置33，在多监控设备21视觉协同定位的帮助下，为救援装置33设计动态的路线，高效接近落水人员，实施救援，提升救援效率和成功率。
图3是本申请一示例性实施例提供的水面救生系统的工作流程示意图，如图3所示，上述水面救生系统的工作流程为：监控终端和决策中心共同实现全区域实时湖面监控(步骤61)，实时判断当前时刻是否有人员落水(步骤62)，如果没有人员落水则持续全区域实时湖面监控状态(步骤61)。如果当前时刻疑似有人员落水，则监控终端开始识别落水人员(步骤63)。识别到落水人员后开始采取一系列救援措施，通过监控终端和决策中心，使用视觉识别对落水人员进行跟踪和定位(步骤64)，监控终端、救生终端和决策中心同时开始报警(步骤65)，救生终端自动释放救援装置(步骤66)。其中，对落水人员进行跟踪和定位用于引导救援装置前往救援落水人员(步骤67)。监控终端和决策中心实时观测救援情况，监控终端识别落水人员是否获救(步骤68)，如果没有获救则继续进行跟踪和定位(步骤64)，重新引导救援装置前往正确的落水人员位置。如果识别到落水人员已经获救，则决策中心指派救援装置带着落水人员返回安全点(步骤69)。结束一次救援任务后，救援装置返回救生终端，并且重置数据，等待下一次救援任务分配。
示例性方法
图4是本申请一示例性实施例提供的水面救生方法的流程示意图，如图4所示，该水面救生方法包括：
步骤100：根据环境监控数据，获取落水人员的落水位置。
对开放水域进行环境监控，例如在落水情况高发的区域设置固定监控，用于获取该区域的环境监控数据，环境监控数据可用于分析是否存在落水人员，以及对落水人员进行实时定位，方便后续救援工作的展开。
步骤200：根据落水位置和救援装置位置，规划救援路线。
获取落水人员的落水位置后，匹配距离较近的救生终端，分别获得落水位置和救援装置位置后，救生终端释放救援装置，规划救援装置前往救助的救援路线，由救援装置自主前往落水人员位置，相对于救援人员收到救援信息后出动进行援助，由距离较近的救援装置智能前往为落水人员提供救助更加高效及时，救援人员配合救援装置可以为落水人员提供更高的生存率。
步骤300：根据救援路线和实时救援情况，执行水面救生任务。
其中，实时救援情况包括落水人员的实时位置和/或救援装置的实时位置。
根据落水位置和救援装置位置，规划的救援路线为初始救援路线，初始救援路线具有一定的误差，因为落水人员可能随着水流不断发生移动。并且救援装置在向落水位置靠近的过程中，在开放水域可能遇到移动或固定的障碍物，导致救援装置的行进路线出现偏差。因此，救援装置按照救援路线前往，最终与落水人员的位置存在一定误差，此时可以根据实时救援情况实时调整救援装置的行进方向，例如，当救援装置行进到距离落水人员较近的位置，救援装置和落水人员出现在同一监控设备的同一画面中时，可以针对该监控画面实施视觉导航，通过救援装置与落水人员或救援装置与障碍物的相对位置，闭环控制救援装置接近落水人员或远离障碍物。也就是说，通过初步定位生成救援路线，但在实际救援过程中，还可以及时根据落水人员的实时位置和救援装置的实时位置切换实时导航，确保救援装置能够准确到达落水人员位置处。
例如，规划救援路线时，基于卫星定位系统，取落水人员的卫星定位信息，再获取救援装置的卫星定位信息，根据两者的卫星定位信息规划救援路线，待救援装置与落水人员运动至同一监控设备的同一画面中时，及时切换为视觉导航系统，实时控制救援装置接近落水人员，减小最终误差，提高救援成功率。
本申请提供的水面救生方法，可对水面进行实时监控，当出现落水人员时，及时指派救援装置前往救援，针对不同场景和实际情况，自主生成和调整救援路线，实现救援装置对落水人员的自主救援和返航。由距离较近的救援装置收到指令后第一时间前往救援，响应更加及时，可以提高救援效率和救援成功率。
在一实施例中，上述水面救生方法还可以包括：根据落水位置和救援装置位置，计算落水人员和救援装置之间的救援距离；选取救援距离小于预设距离的救援装置为待命救援装置；其中，上述步骤300可以对应调整为：根据救援路线和实时救援情况，指派待命救援装置执行水面救生任务。
开放水域可以选取多个位置布置监控终端和/或救生终端。当识别到落水人员并且确定落水人员位置后，及时在全救生终端中匹配距离较近的救生终端，可以确定一个或者多个作为待命救生终端，救生终端中配置的救援装置则成为待命救援装置，分别规划待命救援装置至落水人员处的救援路线，及时进行救援。如果没有救援距离小于预设距离的救援装置，则可以扩大范围进行搜索匹配，选取距离落水人员最近的救援装置前往救助。例如，选取相对落水人员距离两公里内的救生终端，由符合条件的救生终端释放救援装置前往救援。
在一实施例中，上述水面救生方法还可以包括：获取救援装置位置的定位信息；上述步骤100可以包括：获取落水人员的落水位置的定位信息；其中，上述步骤200可以对应调整为：根据落水位置的定位信息和救援装置位置的定位信息，通过导航规划救援路线；其中，救援路线包括根据导航系统控制救援装置按照救援路线前往落水位置。
例如，导航系统采用GNSS系统，定位信息包括卫星定位信息，当救援装置未出现在任一监控相机视野中时，或者救援装置自身摄像头中未捕获落水人员图像时，由决策中心基于GNSS(Global Navigation Satellite System，全球导航卫星系统)控制救援装置进行救援。以落水人员和救援装置为例，此处的落水人员也可以替换为静态障碍物，GNSS(Global Navigation Satellite System，全球导航卫星系统)导航可以采取如下步骤：(1)获取当前时刻救援装置GNSS位置与艏向信息和落水人员的GNSS位置信息；(2)计算落水人员相对于救援装置的位置；(3)采用控制算法分别控制救援装置相对于落水人员的角度和位置，确定智能救生装备运动方向及速度，对于落水人员，救援装置的运动方向为接近落水人员(如果落水人员替换为障碍物，则救援装置的运动方向为避让障碍物)，并向目标地点行驶；(4)使用通信接口，下达救援装置运动控制指令；(5)采集下一时刻救援装置的位置和艏向、落水人员的位置，对上一时刻的运动控制做补偿，并确定当前时刻运动的控制指令；(6)重复步骤(1)-步骤(5)，直至救援装置抵达落水人员位置(或者成功避让障碍物)。通过GNSS(Global Navigation Satellite System，全球导航卫星系统)规划卫星救援路线，实现救援装置的智能导航和自主前往，具备救援高效性和主动性，可以提高救援效率。
在一实施例中，实时救援情况包括多个水面实时图像，执行水面救生任务包括控制救援装置前往落水位置；其中，上述步骤300可以包括：当救援装置与落水人员在同一时间位于同一水面实时图像中时，采用视觉导航救援路线执行水面救生任务；其中，视觉导航救援路线包括根据救援装置的实时位置图像和落水人员的实时位置图像，规划视觉救援路线，控制救援装置按照规划视觉救援路线前往落水位置。
当落水人员与救援装置同时出现在某一监控相机视野中时，即救援装置接近落水人员时，或救援装置自身摄像头中捕获落水人员图像后，由对应的监控终端的人工智能处理模块接管，自动切换上一步骤的GNSS导航至视觉导航。视觉导航即通过相机中的图像，确定救援装置与落水人员、障碍物的相对位置，规划视觉救援路线，闭环控制救生装备接近落水人员或远离障碍物。
在一实施例中，当救援装置与落水人员在同一时间段内位于同一水面实时图像中时，采用视觉导航救援路线执行水面救生任务包括：获取救援装置、落水人员在水面实时图像中的位置；根据实时俯仰角、水平角、变倍倍数和竖直高度，将救援装置、落水人员在水面实时图像中的位置换算至通用平面坐标系中的坐标；根据前后帧水面实时图像中救援装置的位置，确定救援装置在水面实时图像和平面坐标系中的艏向方向；根据艏向方向，计算落水人员相对于救援装置的相对位置；以及根据相对位置规划视觉导航救援路线并控制救援装置前往落水位置。
同一时间段可以包括同一时刻或同一预设的时间范围，时间范围可以自主设定。例如，以救生机器人为救援装置为例，也可用于救生无人机等装备；以落水人员为例，也可用于水中移动船只，静态障碍如码头等，视觉导航可以采取如下步骤：(1)定位救援装置与落水人员(或障碍物)在相机图像中的位置，根据当前的俯仰角、水平角、变倍倍数和竖直高度，换算至通用平面坐标系(可为GPS坐标系或其他坐标系)；(2)通过前后帧中救援装置的位置，判断救援装置在相机图像和平面坐标系中的艏向方向；计算落水人员(或障碍物)相对于救援装置的位置；(3)采用PID控制算法和滤波器，确定救援装置运动方向，对于落水人员，救援装置的运动方向为接近目标物；对于障碍物，救援装置的运动方向为避让障碍物，并向目标地点行驶；(4)使用通信接口，下达救援装置运动控制指令；(5)采集下一帧相机图像，更新救援装置与落水人员(或障碍物)的位置和方向，对上一时刻的运动控制做以补偿，并确定当前时刻运动控制指令；(6)重复步骤(1)-步骤(5)，直至救援装置抵达落水人员位置(或者成功避让障碍物)。
视觉导航具有更高的条件要求，例如要求落水人员与救援装置必须同时处于同一相机的监控画面中，因此，视觉导航具有使用条件限制，无法每次从救援开始即采用视觉导航。采用GNSS导航与视觉导航结合，当救援装置到达一定位置时从GNSS导航切换为视觉导航，可以进一步提升位置精度，减小救援装置与落水人员最终位置之间的误差，自主切换更有效的导航方式，实现救援装置对落水人员的全自主救援和返航，提高救援的高效性和准确性，进一步提升落水人员的存活概率。
在一实施例中，上述步骤100可以包括：根据动态环境监控数据和静态环境监控数据，执行范围环境监控；根据范围环境监控数据，识别人员存在情况；以及当人员存在情况表示存在落水人员时，确定落水人员的落水位置。
对于水面的监控可以采用移动监控和固定监控结合的监控形式，移动监控包括但不限于有/无人机、有/无人船、有/无人车巡逻车，配备监控设备，固定端包括但不限于岸基监控终端。每个监控设备采用环扫与重点区域监控结合的监控方式，环扫可以包括机械环扫和/或软件环扫，通过环扫覆盖较大范围的区域，生成动态环境监控数据。重点区域监控可以在岸线、桥下、水榭等落水高发地区进行固定监控，生成静态环境监控数据，在重点区域监控时监控设备可以不进行移动环扫，采用一个或多个监控设备，定焦、定变倍、俯仰角和水平角的方式，覆盖每个重点区域或重点区域的子区域，且满足所有子区域的交集等于或包含重点监控区域。同时对各监控设备图像或视频进行实时监控和识别。
在一实施例中，上述水面救生方法还包括：根据环扫技术，获取动态环境监控数据。
监控设备可以采用环扫的监控方式，环扫可以包括机械环扫和/或软件环扫，通过环扫覆盖较大范围的区域，生成动态环境监控数据。
在一实施例中，环扫技术包括机械环扫技术，动态环境监控数据包括监控图像；其中，根据机械环扫技术，获取动态环境监控数据包括：根据预设频率，调整监控设备的俯仰角和变倍倍数；根据监控设备的不同俯仰角和不同变倍倍数，获取多个监控图像。
机械环扫的原理在于不断调整俯仰角和变倍倍数，从而调整监控设备的扫描范围，将不同范围的实时场景生成不同的监控图像，从多个监控图像中识别落水人员，可以更全面的实现对水面的监控，为后续识别落水人员提供基础数据支持。
例如，图5是本申请一示例性实施例提供的机械环扫的结构示意图，如图5所示，机械环扫可以仅使用一台带有云台的相机。机械环扫可以采用如下步骤：(1)以预期覆盖范围角度为-90°至90°为例，调整相机的俯仰角T1和变倍倍数X1，使得距离相机距离0-R1以内的区域均在相机的可视范围内，且R1尽量大。记录<T1,X1>为第一环扫路线组合；(2)调整相机的俯仰角T2和变倍倍数X2，使得距离相机距离R1-R2以内的区域均在相机的可视范围内，且R2尽量大，<T2,X2>组合与<T1,X1>组合在距离R1附近有一定区域重合，记录<T2,X2>为第二环扫路线组合；(3)重复第(2)步，即调整相机的俯仰角Tn和变倍倍数Xn，使得距离相机距离Rn-1-Rn以内的区域均在相机的可视范围内，且Rn尽量大，<Tn,Xn>组合与<Tn-1,Xn-1>组合在距离R1附近有一定区域重合。重复此步骤n-1次，直至Rn不小于预期覆盖半径，记录<Tn,Xn>第n环扫路线组合；(4)设置相机环扫路线，依次为第一、二、……n环扫路线组合，奇数号组合与偶数号组合环扫方向相反。
在一实施例中，环扫技术包括软件环扫技术，动态环境监控数据包括区域图片；其中，根据软件环扫技术，获取动态环境监控数据包括：获取监控设备在不同俯仰角、不同水平角和不同变倍倍数时的区域图像；拼接多个区域图像，生成全景监控图像；裁剪全景监控图像，生成多个区域图片；其中，相邻的区域图片具有重叠区域。
除通过机械环扫实现大范围监控外，还可以通过软件环扫技术形成全景监控图像，同样可以实现全面的对水面的实时监控，为后续识别落水人员提供基础数据支持。
再例如，图6是本申请一示例性实施例提供的软件环扫的流程示意图，如图6所示，软件环扫可以采用多部固定相机，采集多张照片拼接全景照片后，按顺序进行区域识别，软件环扫可以采用如下步骤：a)采集，布置多个相机，分别调整每个相机的俯仰角、水平角和变倍倍数并固定数值，保证任意需要监控的区域图像可被至少一个相机捕捉，例如，布置相机1、2…n，分别采集图像1、2…n。b)拼接，拼接所有相机采集的实时图像，生成该时刻全景环扫照片。c)分割，将全景环扫照片以预设的尺寸或多个尺寸进行裁剪，生成多个区域图片(例如区域图片1、区域图片2、…区域图片n)，相邻的区域图片需保持一定的重叠区域(如宽度或高度的1/10-1/5)。d)识别，视人工智能处理模块的算力而定，依次或并行采用基于视觉的目标识别技术(可见光、红外)和动作识别、基于点云的目标识别、基于视觉、点云的融合感知、基于边界的传统监控技术等技术，处理各区域图片，识别落水人员或有危险动作的人员，并记录关注目标所在的区域号码及区域图片中的位置，获得识别结果。e)目标映射、除重，所有区域图片处理完成后，将所有识别到的目标映射至全景环扫照片中，去掉重复的目标(如不同区域照片中，识别到全景环扫照片中同一位置的目标)。f)目标信息将所剩目标映射至对应的相机或多个相机，记录对应的相机俯仰角、水平角、变倍倍数及相机高度等信息，以供后续对落水人员进行定位。
通过动态和静态结合的方式对水域进行全面监控，能够更及时的获知是否有落水人员需要救助，监控方式更加全面和灵活，有利于及时发现并定位落水人员，并且可以对具有落水危险的人员进行预警和提示，提前阻止落水情况的发生。采用高效的环扫监控技术，适用于大范围的开放水域，为在开放区域落水的人员的生存提升更多的可能性。
在一实施例中，在上述步骤100之前，上述水面救生方法还可以包括：当环境监控数据中存在人员时，提取人员的图像数据；根据人员的图像数据，识别人员的行为类型和/或实时位置；对应的，上述步骤100可以对应调整为：当人员的行为类型表示存在落水人员或人员的实时行为表示人员处于危险状态时，获取人员落水位置。
环境监控数据可以包括由监控设备监控的实时图像、历史图像，从实时图像、历史图像中识别出人员，并且分析人员的行为类型和实时位置，需要结合相应的识别技术手段，通过对图像进行识别分析，获得人员的行为类型和/或实时位置，有助于后续及时启动救援程序。例如，监控过程中采用一种或多种技术持续识别，发现危险动作及落水人员后，暂停自主水面监控模式，进入目标定位和救援阶段。
例如，识别技术可以采用：(1)基于视觉的目标识别技术(可见光、红外)和动作识别，可以基于但不局限于Yolo系列、Fast-RCNN系列或其他深度学习网络，针对不同类别人员，如溺水、游泳、岸上人员等类别的识别网络，输入为可见光或红外图像；动作识别可以基于但不局限于Yolo系列、Slowfast、C3D等行为识别网络，针对不同类别人员，如溺水、游泳、翻越栏杆等动作类别的识别网络，输入为可见光或红外视频，还可以采用双光(可见光和红外光)图像融合技术；(2)基于点云的目标识别技术，进行三维点云识别，基于但不局限于PointNet、PointNet++或其他深度学习网络，针对不同类别人员，如溺水、游泳、岸上人员等类别的识别网络，输入为三维点云数据；基于但不局限于PA3D、C3D等三维图像行为识别网络，针对不同类别人员，如溺水、游泳、翻越栏杆等动作类别的识别网络，输入为三维点云时间序列数据；(3)多源异构传感器融合；(4)基于边界的传统监控技术，可以将固定相机图像中，增加危险区域，其余区域为安全区域，当识别到移动物体从安全区域移动至危险区域，均视为危险情况，进行报警；(5)危险等级分级：根据危险等级区分为三个或者更多危险等级，发现溺水人员为“落水报警”；发现包括但不局限于爬桥、水边探头、玩耍、打闹等危险动作，或人员进入禁入区域均视为“危险预警”；其他目标类别或动作视为“安全”。
采用一种或多种识别技术结合，可以更有效快速的识别出人员的状态，及时判断是否有落水人员，减少误报的情况，以达到高效快率救援的目的。并且对于具有落水风险的人员可以起到预警的作用，减少落水情况的发生。
在一实施例中，通过多个传感器采集环境监控数据，其中，根据人员的图像数据，识别人员的行为类型和/或实时位置可以包括：获取多个传感器采集的多源环境监控数据；根据多源环境监控数据的置信度，进行结果筛选；计算筛选后的结果，获得人员的行为类型和/或实时位置；其中，筛选后的结果的置信度高于预设阈值。
对于人员的行为类型和/或实时位置的识别，可以采用多源异构传感器的融合算法，提升不同环境下的识别准确率，且具备在线自动学习能力，识别准确率不断提升。传感器的类型包括但不局限于可见光摄像机、红外摄像机、激光雷达、雷达等。多源异构传感器的融合算法可以采用：(1)根据各传感器的识别结果的置信度进行筛选，去除置信度低于预设阈值的传感结果；(2)剩余传感器识别结果，就类别、位置、外形等特征进行匹配，可使用传统的匹配算法，如贝叶斯融合算法等，也可使用深度学习匹配网络，得到目标的融合结果，包括目标类型、位置等。从而确定人员的行为类型和/或实时位置，及时判断是否有落水人员，减少误报的情况，以达到高效快率救援的目的。
在一实施例中，上述水面救生方法还可以包括：识别落水人员与救援装置的交互状态；当落水人员与救援装置的交互状态表示落水人员已获救时，向救援装置发出返航至安全区域的指令。
通过图像识别或动作识别算法，判断落水人员与救援装置的交互状态(例如判断落水人员是否抱住救援装置)，假如落水人员与救援装置的交互状态表示落水人员已获救时(例如落水人员已抱住救援装置)，则救援装置可自动巡航返回预设的登陆点(即安全区域)。可为落水人员提供救援保障，实现自动救援完整过程。
在本申请中，对于落水人员的精确定位也有助于高效的救援，上述实施例中提到的GNSS定位是基于监控设备捕捉到的图像，转换为GNSS信息，以确定落水人员位置。因此，对于落水人员的定位可以采用以下一种方法或多种方法的结合：(1)基于单点位视觉定位；(2)基于单点位融合感知定位；(3)基于多点位协同定位。该功能由一个或多个监控终端和决策中心联合实现，在系统运行中根据所采用的传感器种类和数量，由决策中心自动切换某一定位方法或方法的组合。定位结果应用于救援过程中导引救援装置抵达落水人员。
其中，图7是本申请一示例性实施例提供的单点视觉定位的结构示意图，如图7所示，基于单点位视觉定位，采用的相机为监控设备中的可见光摄像机或红外摄像机，可固定于岸基的监控终端或装载至有/无人机、有/无人船或有/无人车上。由相机运行的识别软件发现目标(例如落水人员)，并计算目标的位置坐标，由监控终端的人工智能处理模块进行计算。其计算原理与步骤如下：(1)使用RTK或GNSS等仪器测量相机水平面投影位置的GPS定位(x0，y0)；(2)测量摄像头镜头距离水平面的垂直高度H；(3)标定相机内参与外参，确定相机水平角0°方向在GPS坐标系下的方向(可为GPS正北或者其他任意指定方向)；(4)根据相机视野内识别到的目标位置及变倍倍数X，测量对应的俯仰角T和水平角P。(5)通过H、T计算相机水平面投影位置与目标的距离D，其中D＝H*tan(T)；(6)根据(x0，y0)、P及D计算目标在GPS坐标下的坐标(x，y)。
其中，基于单点位融合感知定位可以考察各传感器识别同一目标的置信度，基于单点位融合感知定位可以采用如下步骤：(1)如使用激光雷达，且激光雷达的识别置信度大于阈值，则使用激光雷达的定位；(2)若未使用激光雷达或激光雷达定位置信度小于阈值，且使用雷达，雷达识别目标的方向与可见光和/或红外相机识别目标的方向差小于阈值，则使用雷达的定位；(3)若(1)与(2)均未满足，则使用可见光与红外相机识别目标置信度较大的目标进行定位，定位方式同上述的基于单点位视觉定位。
最后，图8是本申请一示例性实施例提供的多点位协同视觉定位的结构示意图，如图8所示，基于多点位协同定位中参与定位的监控终端可固定安装在岸端，如图中(x0，y0)处所示，或可装载至不同移动端，如图中无人机智能监控终端的相机坐标(x1，y1)、无人船智能监控终端的相机坐标(x2，y2)、无人车智能监控终端的相机坐标(x3，y3)，也可装载至有人机、船或车上。参与多点位视觉协同定位的监控终端个数不小于2。相机为监控终端中的可见光摄像机或红外摄像机。由相机运行的识别软件发现依次目标(例如落水人员)，并实时根据当前发现目标的相机数量计算目标的位置坐标。各点位的水平角(及俯仰角)由各点位监控终端的人工智能处理模块进行计算，并与该点位坐标一同上报至决策中心，决策中心根据多点位上报信息，计算目标坐标定位。例如：(1)使用RTK或GNSS等仪器测量相机实时的水平面投影位置的GPS定位(x0，y0)-(xn-1，yn-1)，n为参与定位监控终端的数量。(2)测量各摄像头镜头距离水平面的垂直高度H0-Hn-1。(3)标定各相机内参与外参，确定相机水平角0°方向在GPS坐标系下的方向(可为GPS正北或者其他任意指定方向)。(4)第一个相机发现目标，根据相机视野内识别到的目标位置及变倍倍数X c1，测量对应的俯仰角Tc1和水平角Pc1(由于发现目标的相机顺序不定，用c1代表第一个发现目标的相机)。(5)使用图7及步骤计算目标位置(x，y)。(6)出现多个监控点位发现同一目标后，测量各相机视野内识别到的目标位置对应水平角，图8是本申请一示例性实施例提供的多点位协同视觉定位的计算原理示意图，如图8所示，四个点位均发现同一目标，测量各水平角P0-P3。(7)如图8所示，以各相机位置(xk，yk)为顶点，水平角Pk为方向，构造射线，k＝0,1，…,n-1。各射线相互相交成多个交点Ci,j，i和j表示相交的两条射线，i≠j且i,j＝0,1，…,n-1。(8)根据各交点的位置，采用但不局限于KNN聚类等算法，去除交点中的奇异点；将剩余的各交点，计算质心或者型心，代表目标的定位位置并更新(x，y)。(9)重复步骤(1)-(8)，以适应新增或丢失识别到目标的相机的情况，实时更新目标定位位置(x，y)。
本申请可以解决开放水域人员安全的问题，针对落水人员的预警和实时识别与定位，并及时进行高效救援，利用多源传感器的监控设备实现全天候对水面区域监控，可对具有落水危险或落水人员实时预警、识别、定位。利用多种形式的救援装置实现发现落水人员后快速、高效救援，与监控设备配合，高效导引救援装置抵达落水人员。采用决策中心与各终端的分布式处理-集中式管理模式，由决策中心统一调度各监控终端中的监控设备和各救生终端的救援装置，形成各终端相互配合的协同式饱和救援策略，提高救援效率，减少救援时间。利用单机、云端和移动端相兼容的综合管理软件，提高工作人员操作效率。
示例性装置
图10是本申请一示例性实施例提供的水面救生装置的结构示意图，如图10所示，该水面救生装置8，包括：获取模块81，根据环境监控数据，获取落水人员的落水位置；规划模块82，根据落水位置和救援装置位置，规划救援路线；以及执行模块83，根据救援路线和实时救援情况，执行水面救生任务；其中，实时救援情况包括落水人员的实时位置和/或救援装置的实时位置。
本申请提供的水面救生装置，可对水面进行实时监控，当出现落水人员时，及时指派救援装置前往救援，针对不同场景和实际情况，自主生成和调整救援路线，实现救援装置对落水人员的自主救援和返航。由距离较近的救援装置收到指令后第一时间前往救援，响应更加及时，可以提高救援效率和救援成功率。
在一实施例中，上述水面救生装置8还可以包括：根据落水位置和救援装置位置，计算落水人员和救援装置之间的救援距离；选取救援距离小于预设距离的救援装置为待命救援装置；其中，上述执行模块83可以对应配置为：根据救援路线和实时救援情况，指派待命救援装置执行水面救生任务。
在一实施例中，上述获取模块81可以配置为：获取落水人员的落水位置的定位信息；上述水面救生装置8可以配置为：获取救援装置位置的定位信息；其中，上述规划模块82可以对应配置为：根据落水位置的定位信息和救援装置位置的定位信息，通过导航规划救援路线；其中，救援路线包括根据导航系统控制救援装置按照救援路线前往落水位置。
在一实施例中，上述执行模块83可以配置为：当救援装置与落水人员在同一时间位于同一水面实时图像中时，采用视觉导航救援路线执行水面救生任务；其中，视觉导航救援路线包括根据救援装置的实时位置图像和落水人员的实时位置图像，规划视觉救援路线，控制救援装置按照规划视觉救援路线前往落水位置。
在一实施例中，上述执行模块83还可以配置为：获取救援装置、落水人员在水面实时图像中的位置；根据实时俯仰角、水平角、变倍倍数和竖直高度，将救援装置、落水人员在水面实时图像中的位置换算至通用平面坐标系中的坐标；根据前后帧水面实时图像中救援装置的位置，确定救援装置在水面实时图像和平面坐标系中的艏向方向；根据艏向方向，计算落水人员相对于救援装置的相对位置；以及根据相对位置规划视觉导航救援路线并控制救援装置前往落水位置。
在一实施例中，上述获取模块81可以配置为：根据动态环境监控数据和静态环境监控数据，执行范围环境监控；根据范围环境监控数据，识别人员存在情况；以及当人员存在情况表示存在落水人员时，确定落水人员的落水位置。
在一实施例中，上述获取模块81可以配置为：根据环扫技术，获取动态环境监控数据。
在一实施例中，上述获取模块81可以配置为：根据预设频率，调整监控设备的俯仰角和变倍倍数；根据监控设备的不同俯仰角和不同变倍倍数，获取多个监控图像。
在一实施例中，上述获取模块81可以配置为：获取监控设备在不同俯仰角、不同水平角和不同变倍倍数时的区域图像；拼接多个区域图像，生成全景监控图像；裁剪全景监控图像，生成多个区域图片；其中，相邻的区域图片具有重叠区域。
在一实施例中，上述水面救生装置8还可以包括：当环境监控数据中存在人员时，提取人员的图像数据；根据人员的图像数据，识别人员的行为类型和/或实时位置；对应的，上述获取模块81可以配置为：当人员的行为类型表示存在落水人员或人员的实时行为表示人员处于危险状态时，获取人员落水位置。
在一实施例中，上述水面救生装置8还可以配置为：获取多个传感器采集的多源环境监控数据；根据多源环境监控数据的置信度，进行结果筛选；计算筛选后的结果，获得人员的行为类型和/或实时位置；其中，筛选后的结果的置信度高于预设阈值。
在一实施例中，上述水面救生装置8还可以配置为：识别落水人员与救援装置的交互状态；当落水人员与救援装置的交互状态表示落水人员已获救时，向救援装置发出返航至安全区域的指令。
示例性电子设备
下面，参考图11来描述根据本申请实施例的电子设备。该电子设备可以是第一设备和第二设备中的任一个或两者、或与它们独立的单机设备，该单机设备可以与第一设备和第二设备进行通信，以从它们接收所采集到的输入信号。
图11图示了根据本申请实施例的电子设备的框图。
如图11所示，电子设备10包括一个或多个处理器11和存储器12。
处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。
存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的水面救生方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
在该电子设备是单机设备时，该输入装置13可以是通信网络连接器，用于从第一设备和第二设备接收所采集的输入信号。
此外，该输入装置13还可以包括例如键盘、鼠标等等。
该输出装置14可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图11中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (17)

1.一种水面救生方法，其特征在于，包括：
根据环境监控数据，获取落水人员的落水位置；
根据所述落水位置和救援装置位置，规划救援路线；所述救援路线包括根据全球导航卫星系统控制所述救援装置按照所述救援路线前往所述落水位置；其中，所述救援装置包括智能救生机器人、智能救生无人机与可自动充气救生圈；以及
根据所述救援路线和实时救援情况，执行水面救生任务；其中，所述实时救援情况包括所述落水人员的实时位置和/或所述救援装置的实时位置；
所述实时救援情况包括多个水面实时图像，所述执行水面救生任务包括控制所述救援装置前往所述落水位置；其中，所述根据所述救援路线和实时救援情况，执行水面救生任务包括：
当所述救援装置与所述落水人员在同一时间段内位于同一所述水面实时图像中时，将全球导航卫星系统切换为视觉导航系统，采用视觉导航救援路线执行所述水面救生任务；其中，所述视觉导航救援路线包括根据所述救援装置的实时位置图像和所述落水人员的实时位置图像，规划视觉救援路线，控制所述救援装置按照所述规划视觉救援路线前往所述落水位置；
识别所述落水人员与所述救援装置的交互状态；
当所述落水人员与所述救援装置的交互状态表示所述落水人员已获救时，向所述救援装置发出返航至安全区域的指令。
2.根据权利要求1所述的水面救生方法，其特征在于，还包括：
根据所述落水位置和所述救援装置位置，计算所述落水人员和所述救援装置之间的救援距离；
选取所述救援距离小于预设距离的所述救援装置为待命救援装置；
其中，所述根据所述救援路线和实时救援情况，执行水面救生任务包括：
根据所述救援路线和实时救援情况，指派所述待命救援装置执行水面救生任务。
3.根据权利要求1所述的水面救生方法，其特征在于，所述根据环境监控数据，获取落水人员的落水位置包括：
获取所述落水人员的落水位置的定位信息；
在所述根据所述落水位置和救援装置位置，规划救援路线之前，所述水面救生方法还包括：
获取所述救援装置位置的定位信息；
其中，所述根据所述落水位置和救援装置位置，规划救援路线包括：
根据所述落水位置的定位信息和所述救援装置位置的定位信息，通过导航规划救援路线；其中，所述救援路线包括根据导航系统控制所述救援装置按照所述救援路线前往所述落水位置。
4.根据权利要求1所述的水面救生方法，其特征在于，所述当所述救援装置与所述落水人员在同一时间位于同一所述水面实时图像中时，采用视觉导航救援路线执行所述水面救生任务包括：
获取所述救援装置、所述落水人员在所述水面实时图像中的位置；
根据实时俯仰角、水平角、变倍倍数和竖直高度，将所述救援装置、所述落水人员在所述水面实时图像中的位置换算至通用平面坐标系中的坐标；
根据前后帧所述水面实时图像中所述救援装置的位置，确定所述救援装置在所述水面实时图像和所述平面坐标系中的艏向方向；
根据所述艏向方向，计算所述落水人员相对于所述救援装置的相对位置；以及
根据所述相对位置规划所述视觉导航救援路线并控制所述救援装置前往所述落水位置。
5.根据权利要求1所述的水面救生方法，其特征在于，所述根据环境监控数据，获取落水人员的落水位置包括：
根据动态环境监控数据和静态环境监控数据，执行范围环境监控；
根据所述范围环境监控数据，识别人员存在情况；以及
当所述人员存在情况表示存在落水人员时，确定所述落水人员的落水位置。
6.根据权利要求5所述的水面救生方法，其特征在于，还包括：
根据环扫技术，获取所述动态环境监控数据。
7.根据权利要求6所述的水面救生方法，其特征在于，所述环扫技术包括机械环扫技术，所述动态环境监控数据包括监控图像；其中，根据机械环扫技术，获取所述动态环境监控数据包括：
根据预设频率，调整监控设备的俯仰角和变倍倍数；
根据所述监控设备的不同俯仰角和不同变倍倍数，获取多个监控图像。
8.根据权利要求6所述的水面救生方法，其特征在于，所述环扫技术包括软件环扫技术，所述动态环境监控数据包括区域图片；其中，根据软件环扫技术，获取所述动态环境监控数据包括：
获取监控设备在不同俯仰角、不同水平角和不同变倍倍数时的区域图像；
拼接多个所述区域图像，生成全景监控图像；
裁剪所述全景监控图像，生成多个区域图片；其中，相邻的所述区域图片具有重叠区域。
9.根据权利要求1所述的水面救生方法，其特征在于，在所述根据环境监控数据，获取落水人员的落水位置之前，还包括：
当所述环境监控数据中存在人员时，提取所述人员的图像数据；
根据所述人员的图像数据，识别所述人员的行为类型和/或实时位置；
所述根据环境监控数据，获取落水人员的落水位置包括：
当所述人员的行为类型表示存在落水人员或所述人员的实时行为表示所述人员处于危险状态时，获取所述人员落水位置。
10.根据权利要求9所述的水面救生方法，其特征在于，通过多个传感器采集所述环境监控数据，其中，所述根据所述人员的图像数据，识别所述人员的行为类型和/或实时位置包括：
获取多个所述传感器采集的多源环境监控数据；
根据所述多源环境监控数据的置信度，进行结果筛选；
计算筛选后的结果，获得所述人员的行为类型和/或实时位置；其中，筛选后的结果的所述置信度高于预设阈值。
11.一种水面救生系统，其特征在于，包括：
监控终端，所述监控终端设置在地面和/或固定设置在水面和/或设置在船只上，所述监控终端构造为实时获取环境监控数据；
救生终端，所述救生终端设置在地面和/或固定设置在水面和/或设置在船只上，所述救援终端构造为救助落水人员；
所述救生终端和所述监控终端用于执行上述权利要求1-10任一所述的水面救生方法；
决策中心，所述决策中心与所述监控终端、所述救生终端通讯连接，所述决策中心构造为根据所述监控终端的所述环境监控数据以及所述救生终端的位置，调控所述救生终端前往所述落水人员位置。
12.根据权利要求11所述的水面救生系统，其特征在于，所述监控终端包括：
监控设备，所述监控设备构造为实时获取环境监控数据；
人工智能处理模块，所述人工智能处理模块与所述监控设备连接，所述人工智能处理模块构造为控制所述监控设备以及识别所述落水人员；
网络通信模块，所述网络通信模块与所述人工智能处理模块连接，所述网络通信模块构造为与救生终端、决策中心进行信息交互；以及
声光报警装置，所述声光报警装置与所述人工智能处理模块连接，所述声光报警装置构造为识别到所述落水人员时进行声光提示。
13.根据权利要求11所述的水面救生系统，其特征在于，所述救生终端包括：
救援装置，所述救援装置构造为救助所述落水人员；
智能投放装置，所述智能投放装置与监控终端、救援装置连接，所述智能投放装置构造为根据所述监控终端的所述环境监控数据，释放所述救援装置。
14.根据权利要求13所述的水面救生系统，其特征在于，所述救生终端还包括：
充电设备，所述充电设备与所述救援装置连接，所述充电设备构造为为所述救援装置提供电能；
状态监测单元，所述状态监测单元与所述救援装置、所述智能投放装置、所述充电设备连接，所述状态监控单元用于监控所述救援装置、所述智能投放装置、所述充电设备的工作状态；
网络通讯模块，所述网络通讯模块与所述决策中心、所述监控终端连接。
15.根据权利要求11所述的水面救生系统，其特征在于，所述决策中心包括：
控制系统，所述控制系统构造为调控所述救生终端和所述监控终端；
多路视频处理单元，所述多路视频处理单元与所述控制系统连接，所述多路视频处理单元构造为对所述环境监控数据的识别和确认；
数据存储备份模块，所述数据存储备份模块与所述救生终端、所述监控终端连接，所述数据存储备份模块构造为存储数据。
16.根据权利要求15所述的水面救生系统，其特征在于，所述决策中心还包括：
网络设备，所述网络设备与应急部门通信连接；其中，所述应急部门包括安全管理平台、综合管理平台、医院和急救中心。
17.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-10任一所述的水面救生方法。
CN202210764196.6A 2022-06-30 2022-06-30 一种水面救生方法、系统和介质 Active CN115158606B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210764196.6A CN115158606B (zh) 2022-06-30 2022-06-30 一种水面救生方法、系统和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210764196.6A CN115158606B (zh) 2022-06-30 2022-06-30 一种水面救生方法、系统和介质

Publications (2)

Publication Number Publication Date
CN115158606A CN115158606A (zh) 2022-10-11
CN115158606B true CN115158606B (zh) 2024-05-03

Family

ID=83490081

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210764196.6A Active CN115158606B (zh) 2022-06-30 2022-06-30 一种水面救生方法、系统和介质

Country Status (1)

Country Link
CN (1) CN115158606B (zh)

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8998666B1 (en) * 2013-08-02 2015-04-07 Steven Albright Rescue method and system for an overboard passenger
KR101812487B1 (ko) * 2016-07-20 2017-12-27 주식회사 숨비 드론을 이용한 해상 인명구조시스템
WO2018000748A1 (zh) * 2016-06-28 2018-01-04 深圳大学 一种基于北斗卫星的海上导航救援系统
CN107571977A (zh) * 2017-09-27 2018-01-12 陕西科技大学 一种基于fpga的中小型水域自主救生系统及救生方法
CN208707768U (zh) * 2018-10-09 2019-04-05 长春长光奥立红外技术有限公司 大变倍长焦距智能监控成像系统
CN110576951A (zh) * 2019-07-31 2019-12-17 安徽科微智能科技有限公司 一种水上救援系统及其方法
CN110626474A (zh) * 2019-09-27 2019-12-31 武汉理工大学 一种人机协同智能救生圈及其使用方法
CN111252212A (zh) * 2020-01-15 2020-06-09 大连海事大学 一种可航行救生器配合无人机对多落水人员的自动救助方法及系统
CN111275924A (zh) * 2020-03-18 2020-06-12 手拉手信息技术有限公司 一种基于无人机的儿童防溺水监控方法、系统及无人机
CN111366136A (zh) * 2020-03-09 2020-07-03 哈尔滨工业大学 光学环扫超宽幅成像模式设计方法
CN111498058A (zh) * 2020-05-06 2020-08-07 上海船越机电设备有限公司 一种水面救援方法、云平台、系统、设备及存储介质
CN111731453A (zh) * 2020-07-08 2020-10-02 海南大学 一种基于搭载无人机的救生无人船的海上救援方法和系统
CN111879292A (zh) * 2020-07-27 2020-11-03 深圳大学 一种海岸线动态监控方法、监控设备及存储介质
CN111953937A (zh) * 2020-07-31 2020-11-17 云洲(盐城)创新科技有限公司 落水人员救生系统及落水人员救生方法
CN113460270A (zh) * 2021-06-29 2021-10-01 珠海云洲智能科技股份有限公司 一种水上救援方法、电子设备及存储介质
CN114313265A (zh) * 2022-01-04 2022-04-12 中国科学技术大学 水下救生机器人系统
CN114493931A (zh) * 2022-01-06 2022-05-13 珠海云洲智能科技股份有限公司 救援方法、救援装置、电子设备以及存储介质

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8998666B1 (en) * 2013-08-02 2015-04-07 Steven Albright Rescue method and system for an overboard passenger
WO2018000748A1 (zh) * 2016-06-28 2018-01-04 深圳大学 一种基于北斗卫星的海上导航救援系统
KR101812487B1 (ko) * 2016-07-20 2017-12-27 주식회사 숨비 드론을 이용한 해상 인명구조시스템
CN107571977A (zh) * 2017-09-27 2018-01-12 陕西科技大学 一种基于fpga的中小型水域自主救生系统及救生方法
CN208707768U (zh) * 2018-10-09 2019-04-05 长春长光奥立红外技术有限公司 大变倍长焦距智能监控成像系统
CN110576951A (zh) * 2019-07-31 2019-12-17 安徽科微智能科技有限公司 一种水上救援系统及其方法
CN110626474A (zh) * 2019-09-27 2019-12-31 武汉理工大学 一种人机协同智能救生圈及其使用方法
CN111252212A (zh) * 2020-01-15 2020-06-09 大连海事大学 一种可航行救生器配合无人机对多落水人员的自动救助方法及系统
CN111366136A (zh) * 2020-03-09 2020-07-03 哈尔滨工业大学 光学环扫超宽幅成像模式设计方法
CN111275924A (zh) * 2020-03-18 2020-06-12 手拉手信息技术有限公司 一种基于无人机的儿童防溺水监控方法、系统及无人机
CN111498058A (zh) * 2020-05-06 2020-08-07 上海船越机电设备有限公司 一种水面救援方法、云平台、系统、设备及存储介质
CN111731453A (zh) * 2020-07-08 2020-10-02 海南大学 一种基于搭载无人机的救生无人船的海上救援方法和系统
CN111879292A (zh) * 2020-07-27 2020-11-03 深圳大学 一种海岸线动态监控方法、监控设备及存储介质
CN111953937A (zh) * 2020-07-31 2020-11-17 云洲(盐城)创新科技有限公司 落水人员救生系统及落水人员救生方法
CN113460270A (zh) * 2021-06-29 2021-10-01 珠海云洲智能科技股份有限公司 一种水上救援方法、电子设备及存储介质
CN114313265A (zh) * 2022-01-04 2022-04-12 中国科学技术大学 水下救生机器人系统
CN114493931A (zh) * 2022-01-06 2022-05-13 珠海云洲智能科技股份有限公司 救援方法、救援装置、电子设备以及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
黄智刚等.《无人机通信与导航》.北京航空航天大学出版社,2020,第164-165页. *

Also Published As

Publication number Publication date
CN115158606A (zh) 2022-10-11

Similar Documents

Publication Publication Date Title
KR102623124B1 (ko) 접안 모니터링 장치 및 방법
WO2018195955A1 (zh) 一种基于飞行器的设施检测方法及控制设备
KR20200039589A (ko) 선박 및 항만 모니터링 장치 및 방법
US10440282B2 (en) Imaging apparatus and imaging method
CN109333504A (zh) 一种巡逻机器人和巡逻机器人管理系统
CN111679695B (zh) 一种基于深度学习技术的无人机巡航及追踪系统和方法
CN111953937B (zh) 落水人员救生系统及落水人员救生方法
US20200125856A1 (en) Coverage device, moving body, control device, and moving body distributed control program
KR102265980B1 (ko) 선박 및 항만 모니터링 장치 및 방법
JP6482857B2 (ja) 監視システム
CN111753780B (zh) 变电站违章检测系统及违章检测方法
CN113671994A (zh) 基于强化学习的多无人机与多无人船巡检控制系统
KR102166432B1 (ko) 스마트 드론을 사용한 재난 상황 대응 방법
Domozi et al. Real time object detection for aerial search and rescue missions for missing persons
CN114115289A (zh) 一种自主无人集群侦察系统
CN115158606B (zh) 一种水面救生方法、系统和介质
CN113625773A (zh) 一种无人机应急消防森林巡防指挥系统
KR20210057694A (ko) 실외 경비를 위한 이동형 경비 로봇 및 그 제어 방법
Baudoin et al. View-finder: robotics assistance to fire-fighting services and crisis management
KR102351057B1 (ko) 재난 상황 복잡도를 기초로 무인항공기를 제어하기 위한 장치 및 이를 위한 방법
Legovich et al. Integration of modern technologies for solving territory patroling problems with the use of heterogeneous autonomous robotic systems
CN113903163A (zh) 一种水域安全系统及水域救生方法
KR102612615B1 (ko) 무인 항공기 기반 자동 점검/순찰 시스템 및 방법
KR102635899B1 (ko) 드론 관제용 ugv에 의한 응급 대처용 uav 원격 제어 시스템 및 방법
CN115454138B (zh) 一种基于无人机图像识别技术的施工违章判定方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant