CN115185285B - 吸尘机器人的自动避障方法、装置、设备及存储介质 - Google Patents

吸尘机器人的自动避障方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115185285B
CN115185285B CN202211084080.4A CN202211084080A CN115185285B CN 115185285 B CN115185285 B CN 115185285B CN 202211084080 A CN202211084080 A CN 202211084080A CN 115185285 B CN115185285 B CN 115185285B
Authority
CN
China
Prior art keywords
obstacle
dust collection
target
information
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211084080.4A
Other languages
English (en)
Other versions
CN115185285A (zh
Inventor
王志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Xincheng Innovation Technology Co ltd
Original Assignee
Shenzhen Xincheng Innovation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Xincheng Innovation Technology Co ltd filed Critical Shenzhen Xincheng Innovation Technology Co ltd
Priority to CN202211084080.4A priority Critical patent/CN115185285B/zh
Publication of CN115185285A publication Critical patent/CN115185285A/zh
Application granted granted Critical
Publication of CN115185285B publication Critical patent/CN115185285B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/24—Floor-sweeping machines, motor-driven
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4061—Steering means; Means for avoiding obstacles; Details related to the place where the driver is accommodated
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4094—Accessories to be used in combination with conventional vacuum-cleaning devices
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/04—Automatic control of the travelling movement; Automatic obstacle detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Electromagnetism (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明涉及物联网领域，公开了一种吸尘机器人的自动避障方法、装置、设备及存储介质，用于提高吸尘机器人的避障灵敏度。所述方法包括：将区域街景视频输入地图信息识别模型进行环境信息识别，得到全局地图信息；基于全局地图信息构建初始清洁路径；按照初始清洁路径从起始清洁点沿预设方向进行移动清洁并采集移动清洁过程中的实时路况视频；将实时路况视频输入障碍物检测模型集进行移动障碍物识别，得到移动障碍物信息；根据障碍物类型对目标移动障碍物进行超声波测距，得到障碍物距离；根据障碍物距离和障碍物类型选取与障碍物距离对应的避障模式，并根据避障模式对目标移动障碍物进行自动避障。

Description

吸尘机器人的自动避障方法、装置、设备及存储介质
技术领域
本发明涉及物联网领域，尤其涉及一种吸尘机器人的自动避障方法、装置、设备及存储介质。
背景技术
吸尘机器人是当今服务机器人领域一个热门的研究方向，目前，通过吸尘机器人对街区街道进行清洁可以减少人力的投入，能够自动完成街道地面的清扫除尘任务，将大大减低人们扫地的劳动强度。
对吸尘机器人进行路径规划是吸尘机器人研究的核心内容之一，机器人定位与环境地图构建就是为路径规划服务的。在路径规划过程中，面对清洁路径中出现的移动的目标障碍物不能有效且及时的避开，即现有方案的避障准确率低。
发明内容
本发明提供了一种吸尘机器人的自动避障方法、装置、设备及存储介质，用于提高吸尘机器人的避障灵敏度。
本发明第一方面提供了一种吸尘机器人的自动避障方法，所述吸尘机器人的自动避障方法包括：从预置的地图应用程序中获取待清洁的区域街景视频，并将所述区域街景视频输入预置的地图信息识别模型进行环境信息识别，得到所述区域街景视频对应的全局地图信息；基于所述全局地图信息构建初始清洁路径，并将吸尘机器人放置于所述初始清洁路径的起始清洁点；所述吸尘机器人按照所述初始清洁路径从所述起始清洁点沿预设方向进行移动清洁，并通过所述吸尘机器人中预置的图像采集终端实时采集移动清洁过程中的实时路况视频；将所述实时路况视频输入预置的障碍物检测模型集进行移动障碍物识别，得到所述实时路况视频中的移动障碍物信息，其中，所述移动障碍物信息包括：目标移动障碍物和障碍物类型；根据所述障碍物类型对所述目标移动障碍物进行超声波测距，得到障碍物距离；根据所述障碍物距离和所述障碍物类型选取与所述障碍物距离对应的避障模式，并根据所述避障模式对所述目标移动障碍物进行自动避障。
可选的，在本发明第一方面的第一种实现方式中，所述从预置的地图应用程序中获取待清洁的区域街景视频，并将所述区域街景视频输入预置的地图信息识别模型进行环境信息识别，得到所述区域街景视频对应的全局地图信息，包括：从预置的地图应用程序中获取待清洁的区域街景视频；将所述区域街景视频输入预置的地图信息识别模型，通过所述地图信息识别模型对所述区域街景视频进行逐帧提取，得到多个视频帧；将所述多个视频帧依次输入所述地图信息识别模型中的目标检测网络进行环境信息识别，得到多个建筑物信息；将所述多个建筑物信息输入SLAM算法构建所述区域街景视频对应的全局地图信息。
可选的，在本发明第一方面的第二种实现方式中，所述基于所述全局地图信息构建初始清洁路径，并将吸尘机器人放置于所述初始清洁路径的起始清洁点，包括：提取所述全局地图信息中的多个建筑物坐标；通过预设清洁终点和所述多个建筑物坐标为节点生成坐标联通图，并根据所述坐标联通图和预置的最小生成树算法对所述全局地图信息进行路径规划，得到初始清洁路径；将吸尘机器人放置于所述初始清洁路径的起始清洁点。
可选的，在本发明第一方面的第三种实现方式中，所述将所述实时路况视频输入预置的障碍物检测模型集进行移动障碍物识别，得到所述实时路况视频中的移动障碍物信息，其中，所述移动障碍物信息包括：目标移动障碍物和障碍物类型，包括：对所述实时路况视频进行分帧，得到多个路况图像；对所述多个路况图像进行去噪和对比度增强，得到多个标准图像；分别将所述多个标准图像输入预置的障碍物检测模型集中的人物识别模型进行人物检测，得到目标人物，其中，所述障碍物检测模型为语义分割模型；分别将所述多个标准图像输入预置的障碍物检测模型集中的车辆识别模型进行车辆检测，得到目标车辆；根据所述目标人物和所述目标车辆对所述多个标准图像进行障碍物类型和障碍物位置信息标注，生成移动障碍物信息并输出。
可选的，在本发明第一方面的第四种实现方式中，所述根据所述障碍物类型对所述目标移动障碍物进行超声波测距，得到障碍物距离，包括：基于所述吸尘机器人中的超声波测距仪对所述目标移动障碍物发送超声波，并接收所述目标移动障碍物返回的反射波；计算所述反射波的反射时长，并根据所述反射时长分别计算所述障碍物类型的目标移动障碍物与所述吸尘机器人的距离，得到人物距离和车辆距离；将所述人物距离和所述车辆距离作为障碍物距离并输出。
可选的，在本发明第一方面的第五种实现方式中，所述根据所述障碍物距离和所述障碍物类型选取与所述障碍物距离对应的避障模式，并根据所述避障模式对所述目标移动障碍物进行自动避障，包括：将所述障碍物距离和所述障碍物类型输入预置的避障等级计算模型进行避障等级计算，得到目标避障等级；所述吸尘机器人根据所述目标避障等级选取避障模式，其中，所述避障模式包括：紧急、适中和普通；根据所述避障模式对所述目标移动障碍物进行自动避障。
可选的，在本发明第一方面的第六种实现方式中，所述根据所述避障模式对所述目标移动障碍物进行自动避障，包括：根据所述避障模式对所述初始清洁路径进行路径更新，得到目标清洁路径；所述吸尘机器人沿所述目标清洁路径进行移动清洁，以对所述目标移动障碍物进行自动避障。
本发明第二方面提供了一种吸尘机器人的自动避障装置，所述吸尘机器人的自动避障装置包括：获取模块，用于从预置的地图应用程序中获取待清洁的区域街景视频，并将所述区域街景视频输入预置的地图信息识别模型进行环境信息识别，得到所述区域街景视频对应的全局地图信息；构建模块，用于基于所述全局地图信息构建初始清洁路径，并将吸尘机器人放置于所述初始清洁路径的起始清洁点；采集模块，用于所述吸尘机器人按照所述初始清洁路径从所述起始清洁点沿预设方向进行移动清洁，并通过所述吸尘机器人中预置的图像采集终端实时采集移动清洁过程中的实时路况视频；识别模块，用于将所述实时路况视频输入预置的障碍物检测模型集进行移动障碍物识别，得到所述实时路况视频中的移动障碍物信息，其中，所述移动障碍物信息包括：目标移动障碍物和障碍物类型；测距模块，用于根据所述障碍物类型对所述目标移动障碍物进行超声波测距，得到障碍物距离；避障模块，用于根据所述障碍物距离和所述障碍物类型选取与所述障碍物距离对应的避障模式，并根据所述避障模式对所述目标移动障碍物进行自动避障。
可选的，在本发明第二方面的第一种实现方式中，所述获取模块具体用于：从预置的地图应用程序中获取待清洁的区域街景视频；将所述区域街景视频输入预置的地图信息识别模型，通过所述地图信息识别模型对所述区域街景视频进行逐帧提取，得到多个视频帧；将所述多个视频帧依次输入所述地图信息识别模型中的目标检测网络进行环境信息识别，得到多个建筑物信息；将所述多个建筑物信息输入SLAM算法构建所述区域街景视频对应的全局地图信息。
可选的，在本发明第二方面的第二种实现方式中，所述构建模块具体用于：提取所述全局地图信息中的多个建筑物坐标；通过预设清洁终点和所述多个建筑物坐标为节点生成坐标联通图，并根据所述坐标联通图和预置的最小生成树算法对所述全局地图信息进行路径规划，得到初始清洁路径；将吸尘机器人放置于所述初始清洁路径的起始清洁点。
可选的，在本发明第二方面的第三种实现方式中，所述识别模块具体用于：对所述实时路况视频进行分帧，得到多个路况图像；对所述多个路况图像进行去噪和对比度增强，得到多个标准图像；分别将所述多个标准图像输入预置的障碍物检测模型集中的人物识别模型进行人物检测，得到目标人物，其中，所述障碍物检测模型为语义分割模型；分别将所述多个标准图像输入预置的障碍物检测模型集中的车辆识别模型进行车辆检测，得到目标车辆；根据所述目标人物和所述目标车辆对所述多个标准图像进行障碍物类型和障碍物位置信息标注，生成移动障碍物信息并输出。
可选的，在本发明第二方面的第四种实现方式中，所述测距模块具体用于：基于所述吸尘机器人中的超声波测距仪对所述目标移动障碍物发送超声波，并接收所述目标移动障碍物返回的反射波；计算所述反射波的反射时长，并根据所述反射时长分别计算所述障碍物类型的目标移动障碍物与所述吸尘机器人的距离，得到人物距离和车辆距离；将所述人物距离和所述车辆距离作为障碍物距离并输出。
可选的，在本发明第二方面的第五种实现方式中，所述避障模块还包括：计算单元，用于将所述障碍物距离和所述障碍物类型输入预置的避障等级计算模型进行避障等级计算，得到目标避障等级；选取单元，用于所述吸尘机器人根据所述目标避障等级选取避障模式，其中，所述避障模式包括：紧急、适中和普通；避障单元，用于根据所述避障模式对所述目标移动障碍物进行自动避障。
可选的，在本发明第二方面的第六种实现方式中，所述避障单元具体用于：根据所述避障模式对所述初始清洁路径进行路径更新，得到目标清洁路径；所述吸尘机器人沿所述目标清洁路径进行移动清洁，以对所述目标移动障碍物进行自动避障。
本发明第三方面提供了一种吸尘机器人的自动避障设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述吸尘机器人的自动避障设备执行上述的吸尘机器人的自动避障方法。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的吸尘机器人的自动避障方法。
本发明提供的技术方案中，从预置的地图应用程序中获取待清洁的区域街景视频，并将所述区域街景视频输入预置的地图信息识别模型进行环境信息识别，得到所述区域街景视频对应的全局地图信息；基于所述全局地图信息构建初始清洁路径，并将吸尘机器人放置于所述初始清洁路径的起始清洁点；所述吸尘机器人按照所述初始清洁路径从所述起始清洁点沿预设方向进行移动清洁，并通过所述吸尘机器人中预置的图像采集终端实时采集移动清洁过程中的实时路况视频；将所述实时路况视频输入预置的障碍物检测模型集进行移动障碍物识别，得到所述实时路况视频中的移动障碍物信息，其中，所述移动障碍物信息包括：目标移动障碍物和障碍物类型；根据所述障碍物类型对所述目标移动障碍物进行超声波测距，得到障碍物距离；根据所述障碍物距离和所述障碍物类型选取与所述障碍物距离对应的避障模式，并根据所述避障模式对所述目标移动障碍物进行自动避障。本发明通过对清洁时的实时路况进行视频采集和分析，可以及时应对清洁途中出现的移动障碍物，提高了吸尘机器人的自动避障灵敏度。
附图说明
图1为本发明实施例中吸尘机器人的自动避障方法的一个实施例示意图；
图2为本发明实施例中吸尘机器人的自动避障方法的另一个实施例示意图；
图3为本发明实施例中吸尘机器人的自动避障装置的一个实施例示意图；
图4为本发明实施例中吸尘机器人的自动避障装置的另一个实施例示意图；
图5为本发明实施例中吸尘机器人的自动避障设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种吸尘机器人的自动避障方法、装置、设备及存储介质，用于提高吸尘机器人的避障灵敏度。本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中吸尘机器人的自动避障方法的一个实施例包括：
101、从预置的地图应用程序中获取待清洁的区域街景视频，并将区域街景视频输入预置的地图信息识别模型进行环境信息识别，得到区域街景视频对应的全局地图信息；
可以理解的是，本发明的执行主体可以为吸尘机器人的自动避障装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。
需要说明的是，分帧操作通过Ffmpeg命令行工具实现，Ffmpeg命令行工具为常规的计算机程序，本发明实施例中，通过分帧操作截取连续的视频帧可以更快速更有效的判断视频是否连贯有效，其中，连续视频帧可以为N帧，N为大于10的正整数，进而服务器将区域街景视频输入预置的地图信息识别模型进行环境信息识别，得到区域街景视频对应的全局地图信息。
102、基于全局地图信息构建初始清洁路径，并将吸尘机器人放置于初始清洁路径的起始清洁点；
具体的，当服务器获取全局地图信息后，对该全局地图信息进行分析，确定对应的建筑物坐标，同时获取预置的清洁终点位置坐标，通过预置的最小生成树算法对该清洁终点坐标进行清洁路径生成，得到对应的初始清洁路径，并将吸尘机器人放置于初始清洁路径的起始清洁点。
103、吸尘机器人按照初始清洁路径从起始清洁点沿预设方向进行移动清洁，并通过吸尘机器人中预置的图像采集终端实时采集移动清洁过程中的实时路况视频；
具体的，当服务器确定对应的初始清洁路径后，获取对应的信息传输接口标识，进而服务器通过该信息传输接口标识确定相应的信息传输接口，进而服务器通过该信息传输接口将上述初始清洁路径传输至上述吸尘机器人，以使得服务器可以控制该机器人按照上述初始清洁路径从起始清洁点沿预设方向进行移动清洁，同时服务器调用上述吸尘机器人中的预置图像采集装置在吸尘机器人移动清洁过程中的实时路况视频。
104、将实时路况视频输入预置的障碍物检测模型集进行移动障碍物识别，得到实时路况视频中的移动障碍物信息，其中，移动障碍物信息包括：目标移动障碍物和障碍物类型；
在本申请实施例中，该目标检测模型可采用SSD(Single Shot multiboxDetector)目标检测算法、YOLO(You OnlyLook Once)目标检测算法或其它低算力的目标检测算法，此处不作限定。通过该目标检测模型，终端可实时对道路视频中是否存在障碍物信息进行检测，需要注意的是，该目标检测模型的检测速率应维持在较高水平，至少与摄像头的输出速率持平，以提升终端的识别效率，保障其识别的实时性。举例来说，摄像头每秒输出20帧视频帧，以形成播放流畅的道路视频；则终端也应将其检测速率控制在每秒20帧以上，具体的，服务器将实时路况视频输入预置的障碍物检测模型集进行移动障碍物识别，得到实时路况视频中的移动障碍物信息，其中，移动障碍物信息包括：目标移动障碍物和障碍物类型。
105、根据障碍物类型对目标移动障碍物进行超声波测距，得到障碍物距离；
具体的，在机器人上安装有第一超声波雷达和第二超声波雷达，根据第一超声波雷达和第二超声波雷达的安装位置、探测范围以及机器人的车身尺寸，将障碍物探测区域划分成多个子区域，分别控制第一超声波雷达和第二超声波雷达对障碍物进行探测，得到第一探测距离以及第二探测距离，根据第一探测距离和第二探测距离，确定障碍物所在的子区域，进而服务器根据障碍物类型对目标移动障碍物进行超声波测距，得到障碍物距离。
106、根据障碍物距离和障碍物类型选取与障碍物距离对应的避障模式，并根据避障模式对目标移动障碍物进行自动避障。
根据与障碍物之间的距离，确定所进入的避障区域的类型，根据机器人当前的运动速度，确定机器人的运动方式，根据机器人的运动方式以及避障区域的类型，确定机器人的避障方式，根据确定的避障方式进行避障。通过避障区域的类型和机器人的运动方式，确定机器人在不同的避障区域中能够采用不同的避障方式，使用不同的避障方式进行避障。
本发明实施例中，从预置的地图应用程序中获取待清洁的区域街景视频，并将区域街景视频输入预置的地图信息识别模型进行环境信息识别，得到区域街景视频对应的全局地图信息；基于全局地图信息构建初始清洁路径，并将吸尘机器人放置于初始清洁路径的起始清洁点；吸尘机器人按照初始清洁路径从起始清洁点沿预设方向进行移动清洁，并通过吸尘机器人中预置的图像采集终端实时采集移动清洁过程中的实时路况视频；将实时路况视频输入预置的障碍物检测模型集进行移动障碍物识别，得到实时路况视频中的移动障碍物信息，其中，移动障碍物信息包括：目标移动障碍物和障碍物类型；根据障碍物类型对目标移动障碍物进行超声波测距，得到障碍物距离；根据障碍物距离和障碍物类型选取与障碍物距离对应的避障模式，并根据避障模式对目标移动障碍物进行自动避障。本发明通过对清洁时的实时路况进行视频采集和分析，可以及时应对清洁途中出现的移动障碍物，提高了吸尘机器人的自动避障灵敏度。
请参阅图2，本发明实施例中吸尘机器人的自动避障方法的另一个实施例包括：
201、从预置的地图应用程序中获取待清洁的区域街景视频，并将区域街景视频输入预置的地图信息识别模型进行环境信息识别，得到区域街景视频对应的全局地图信息；
具体的，从预置的地图应用程序中获取待清洁的区域街景视频；将区域街景视频输入预置的地图信息识别模型，通过地图信息识别模型对区域街景视频进行逐帧提取，得到多个视频帧；将多个视频帧依次输入地图信息识别模型中的目标检测网络进行环境信息识别，得到多个建筑物信息；将多个建筑物信息输入SLAM算法构建区域街景视频对应的全局地图信息。
需要说明的是，服务器从上述预置的地图应用程序中获取对应的区域街景视频，分帧操作通过Ffmpeg命令行工具实现，Ffmpeg命令行工具为常规的计算机程序，本发明实施例中，通过分帧操作截取连续的视频帧可以更快速更有效的判断视频是否连贯有效，当服务器得到多个视频帧后，将该多个视频帧依次输入该目标检测网络进行环境信息识别，需要说明的是，在进行环境信息识别前，服务器对该多个视频帧图片进行灰度处理，并根据灰度处理后的视频帧图片的像素值及临济像素值获取当前前景图像和背景图像，进而进行信息环境识别，得到多个建筑物信息，最终服务器将多个建筑物信息输入SLAM算法构建区域街景视频对应的全局地图信息。
202、基于全局地图信息构建初始清洁路径，并将吸尘机器人放置于初始清洁路径的起始清洁点；
具体的，提取全局地图信息中的多个建筑物坐标；通过预设清洁终点和多个建筑物坐标为节点生成坐标联通图，并根据坐标联通图和预置的最小生成树算法对全局地图信息进行路径规划，得到初始清洁路径；将吸尘机器人放置于初始清洁路径的起始清洁点。
其中，上述全局地图中预先设置有对应的坐标系，由于服务器通过环境信息识别获取到多个建筑物后，服务器对该多个建筑物进行坐标分析，提取得到全局地图信息中的多个建筑物坐标，进而服务器根据该多个建筑物坐标生成连通图，进而服务器将连通图中的所有边按代价大小从小到大排序，将连通图中的n个顶点看成独立的n棵树，连通图为n棵树组成的森林，按权值大小从小到大选择边，所选边连接的两个顶点应属于两颗不同的树，则该边成为最小生成树的一条边，并将这两颗树合并作为一颗树，直到所有的顶点都在一棵树内，或者获得n-1条边为止，得到初始清洁路径，最终服务器将吸尘机器人放置于初始清洁路径的起始清洁点。
203、吸尘机器人按照初始清洁路径从起始清洁点沿预设方向进行移动清洁，并通过吸尘机器人中预置的图像采集终端实时采集移动清洁过程中的实时路况视频；
具体的，吸尘机器人按照初始清洁路径从起始清洁点沿预设方向进行移动清洁；当吸尘机器人开始移动清洁时，启动吸尘机器人中预置的图像采集终端；通过图像采集终端实时采集吸尘机器人移动清洁过程中全方位的实时路况视频。
其中，当服务器控制该吸尘机器人按照初始清洁路径从起始清洁点沿预设方向进行移动清洁时，通过触发方式采集当前拍摄的路况视频，同时通过GPS或北斗定位吸尘机器人的位置信息和获取路况视频的拍摄时间，之后将路况视频、位置信息及拍摄时间通过2G/3G/4G无线网络上传到云平台，需要说明的是，所述触发方式可以是用户主动触发，包括触发硬件设备开关、语音指令、行为指令等，也可以通过条件触发，例如根据用户设定的速度、用户预定的地点等进行触发，最终服务器通过图像采集终端实时采集吸尘机器人移动清洁过程中全方位的实时路况视频。
204、将实时路况视频输入预置的障碍物检测模型集进行移动障碍物识别，得到实时路况视频中的移动障碍物信息，其中，移动障碍物信息包括：目标移动障碍物和障碍物类型；
具体的，对实时路况视频进行分帧，得到多个路况图像；对多个路况图像进行去噪和对比度增强，得到多个标准图像；分别将多个标准图像输入预置的障碍物检测模型集中的人物识别模型进行人物检测，得到目标人物，其中，障碍物检测模型为语义分割模型；分别将多个标准图像输入预置的障碍物检测模型集中的车辆识别模型进行车辆检测，得到目标车辆；根据目标人物和目标车辆对多个标准图像进行障碍物类型和障碍物位置信息标注，生成移动障碍物信息并输出。
其中，需要说明的是，对该多个路况图像进行去噪包括将路况图片输入转换为灰度图，对灰度图片进行二维信号的2层小波分解，将图像从空域转换为频域，提取图像低频分量，并采用同态滤波提高低频分量中的高频响应，将滤波后的低频图像变换到空域进行灰度变换增强图像对比度和亮度，根据增强后的低频分量与高频分量系数重构图像，对重构后的图像进行基于小波变换的阈值去噪，最后获得增强后的图像，进而服务器采用第一人像识别算法对增强后的图像进行第一次识别，并与目标人物图像进行比对，得到满足相似度阈值的匹配目标图像，将上次识别得到的前N位匹配目标图像作为下次识别的增强后的图像，直至采用第m人像识别算法完成对增强后的图像进行第m次识别，并与所述目标人物图像进行比对，将满足所述相似度阈值的匹配目标图像作为最终的匹配目标图像，进而服务器分别将多个标准图像输入预置的障碍物检测模型集中的车辆识别模型进行车辆检测，得到目标车辆；根据目标人物和目标车辆对多个标准图像进行障碍物类型和障碍物位置信息标注，生成移动障碍物信息并输出。
205、根据障碍物类型对目标移动障碍物进行超声波测距，得到障碍物距离；
具体的，基于吸尘机器人中的超声波测距仪对目标移动障碍物发送超声波，并接收目标移动障碍物返回的反射波；计算反射波的反射时长，并根据反射时长分别计算障碍物类型的目标移动障碍物与吸尘机器人的距离，得到人物距离和车辆距离；将人物距离和车辆距离作为障碍物距离并输出。
其中，服务器测距指令生成超声波信息，并获取第一计时信息，对超声波信息进行编码得到超声波编码信息，根据超声波编码信息发送测距超声波，获取测距超声波对应的测距回波，并对测距回波进行解码，得到解码信息，根据解码信息获取第二计时信息，并根据第一计时信息和第二计时信息计算待测距离，本发明实施例中，服务器通过计算反射波的反射时长，并根据反射时长分别计算障碍物类型的目标移动障碍物与吸尘机器人的距离，得到人物距离和车辆距离；将人物距离和车辆距离作为障碍物距离并输出。
206、将障碍物距离和障碍物类型输入预置的避障等级计算模型进行避障等级计算，得到目标避障等级；
207、吸尘机器人根据目标避障等级选取避障模式，其中，避障模式包括：紧急、适中和普通；
具体的，所述障碍物的类型包括可跨越型障碍物和不可跨越型障碍物，其中可跨越型障碍物是指所述机器人容易从所述障碍物的上方越过所述障碍物，通常为高度较低和/或倾斜角度较小的障碍物，如线材、门槛和地毯等；不可跨越型障碍物是指所述机器人难以从所述障碍物的上方越过所述障碍物，通常为高度较高和/或倾斜角度较大的障碍物，如桌子、椅子、墙壁、台阶和陡坡等，本发明实施例中，服务器根据障碍物距离及障碍物类型进行避障等级计算，其中，避障等级分为三级，当确定避障登记后，服务器根据上述目标避障等级进行避障处理。
208、根据避障模式对目标移动障碍物进行自动避障。
具体的，根据避障模式对初始清洁路径进行路径更新，得到目标清洁路径；吸尘机器人沿目标清洁路径进行移动清洁，以对目标移动障碍物进行自动避障。
其中，吸尘机器人在识别到障碍物类型为移动障碍物，且识别出的结果为人时，为了更好的实现避障效果，利用自身的警报器发出避让警告，从而起到提示工作人员的作用，进一步实现双向避让。通过发出警告的方式，一方面可以提醒工作人员进行避让，起到提示警示作用；另一方面，通过提醒工作员使其做出避让的行为，可以减轻吸尘机器人重新规划自身运输路径的运算，本发明实施例中，服务器根据避障模式对清洁路径进行更新，确定更新后的目标清洁路径，并在沿着目标清洁路径进行移动清洁时，利用自身的警报器发出避让警告。
本发明实施例中，从预置的地图应用程序中获取待清洁的区域街景视频，并将区域街景视频输入预置的地图信息识别模型进行环境信息识别，得到区域街景视频对应的全局地图信息；基于全局地图信息构建初始清洁路径，并将吸尘机器人放置于初始清洁路径的起始清洁点；吸尘机器人按照初始清洁路径从起始清洁点沿预设方向进行移动清洁，并通过吸尘机器人中预置的图像采集终端实时采集移动清洁过程中的实时路况视频；将实时路况视频输入预置的障碍物检测模型集进行移动障碍物识别，得到实时路况视频中的移动障碍物信息，其中，移动障碍物信息包括：目标移动障碍物和障碍物类型；根据障碍物类型对目标移动障碍物进行超声波测距，得到障碍物距离；根据障碍物距离和障碍物类型选取与障碍物距离对应的避障模式，并根据避障模式对目标移动障碍物进行自动避障。本发明通过对清洁时的实时路况进行视频采集和分析，可以及时应对清洁途中出现的移动障碍物，提高了吸尘机器人的自动避障灵敏度。
上面对本发明实施例中吸尘机器人的自动避障方法进行了描述，下面对本发明实施例中吸尘机器人的自动避障装置进行描述，请参阅图3，本发明实施例中吸尘机器人的自动避障装置一个实施例包括：
获取模块301，用于从预置的地图应用程序中获取待清洁的区域街景视频，并将所述区域街景视频输入预置的地图信息识别模型进行环境信息识别，得到所述区域街景视频对应的全局地图信息；
构建模块302，用于基于所述全局地图信息构建初始清洁路径，并将吸尘机器人放置于所述初始清洁路径的起始清洁点；
采集模块303，用于所述吸尘机器人按照所述初始清洁路径从所述起始清洁点沿预设方向进行移动清洁，并通过所述吸尘机器人中预置的图像采集终端实时采集移动清洁过程中的实时路况视频；
识别模块304，用于将所述实时路况视频输入预置的障碍物检测模型集进行移动障碍物识别，得到所述实时路况视频中的移动障碍物信息，其中，所述移动障碍物信息包括：目标移动障碍物和障碍物类型；
测距模块305，用于根据所述障碍物类型对所述目标移动障碍物进行超声波测距，得到障碍物距离；
避障模块306，用于根据所述障碍物距离和所述障碍物类型选取与所述障碍物距离对应的避障模式，并根据所述避障模式对所述目标移动障碍物进行自动避障。
本发明实施例中，从预置的地图应用程序中获取待清洁的区域街景视频，并将所述区域街景视频输入预置的地图信息识别模型进行环境信息识别，得到所述区域街景视频对应的全局地图信息；基于所述全局地图信息构建初始清洁路径，并将吸尘机器人放置于所述初始清洁路径的起始清洁点；所述吸尘机器人按照所述初始清洁路径从所述起始清洁点沿预设方向进行移动清洁，并通过所述吸尘机器人中预置的图像采集终端实时采集移动清洁过程中的实时路况视频；将所述实时路况视频输入预置的障碍物检测模型集进行移动障碍物识别，得到所述实时路况视频中的移动障碍物信息，其中，所述移动障碍物信息包括：目标移动障碍物和障碍物类型；根据所述障碍物类型对所述目标移动障碍物进行超声波测距，得到障碍物距离；根据所述障碍物距离和所述障碍物类型选取与所述障碍物距离对应的避障模式，并根据所述避障模式对所述目标移动障碍物进行自动避障。本发明通过对清洁时的实时路况进行视频采集和分析，可以及时应对清洁途中出现的移动障碍物，提高了吸尘机器人的自动避障灵敏度。
请参阅图4，本发明实施例中吸尘机器人的自动避障装置另一个实施例包括：
获取模块301，用于从预置的地图应用程序中获取待清洁的区域街景视频，并将所述区域街景视频输入预置的地图信息识别模型进行环境信息识别，得到所述区域街景视频对应的全局地图信息；
构建模块302，用于基于所述全局地图信息构建初始清洁路径，并将吸尘机器人放置于所述初始清洁路径的起始清洁点；
采集模块303，用于所述吸尘机器人按照所述初始清洁路径从所述起始清洁点沿预设方向进行移动清洁，并通过所述吸尘机器人中预置的图像采集终端实时采集移动清洁过程中的实时路况视频；
识别模块304，用于将所述实时路况视频输入预置的障碍物检测模型集进行移动障碍物识别，得到所述实时路况视频中的移动障碍物信息，其中，所述移动障碍物信息包括：目标移动障碍物和障碍物类型；
测距模块305，用于根据所述障碍物类型对所述目标移动障碍物进行超声波测距，得到障碍物距离；
避障模块306，用于根据所述障碍物距离和所述障碍物类型选取与所述障碍物距离对应的避障模式，并根据所述避障模式对所述目标移动障碍物进行自动避障。
可选的，所述获取模块301具体用于：从预置的地图应用程序中获取待清洁的区域街景视频；将所述区域街景视频输入预置的地图信息识别模型，通过所述地图信息识别模型对所述区域街景视频进行逐帧提取，得到多个视频帧；将所述多个视频帧依次输入所述地图信息识别模型中的目标检测网络进行环境信息识别，得到多个建筑物信息；将所述多个建筑物信息输入SLAM算法构建所述区域街景视频对应的全局地图信息。
可选的，所述构建模块302具体用于：提取所述全局地图信息中的多个建筑物坐标；通过预设清洁终点和所述多个建筑物坐标为节点生成坐标联通图，并根据所述坐标联通图和预置的最小生成树算法对所述全局地图信息进行路径规划，得到初始清洁路径；将吸尘机器人放置于所述初始清洁路径的起始清洁点。
可选的，所述识别模块304具体用于：对所述实时路况视频进行分帧，得到多个路况图像；对所述多个路况图像进行去噪和对比度增强，得到多个标准图像；分别将所述多个标准图像输入预置的障碍物检测模型集中的人物识别模型进行人物检测，得到目标人物，其中，所述障碍物检测模型为语义分割模型；分别将所述多个标准图像输入预置的障碍物检测模型集中的车辆识别模型进行车辆检测，得到目标车辆；根据所述目标人物和所述目标车辆对所述多个标准图像进行障碍物类型和障碍物位置信息标注，生成移动障碍物信息并输出。
可选的，所述测距模块305具体用于：基于所述吸尘机器人中的超声波测距仪对所述目标移动障碍物发送超声波，并接收所述目标移动障碍物返回的反射波；计算所述反射波的反射时长，并根据所述反射时长分别计算所述障碍物类型的目标移动障碍物与所述吸尘机器人的距离，得到人物距离和车辆距离；将所述人物距离和所述车辆距离作为障碍物距离并输出。
可选的，所述避障模块306还包括：
计算单元3061，用于将所述障碍物距离和所述障碍物类型输入预置的避障等级计算模型进行避障等级计算，得到目标避障等级；
选取单元3062，用于所述吸尘机器人根据所述目标避障等级选取避障模式，其中，所述避障模式包括：紧急、适中和普通；
避障单元3063，用于根据所述避障模式对所述目标移动障碍物进行自动避障。
可选的，所述避障单元3063具体用于：根据所述避障模式对所述初始清洁路径进行路径更新，得到目标清洁路径；所述吸尘机器人沿所述目标清洁路径进行移动清洁，以对所述目标移动障碍物进行自动避障。
本发明实施例中，从预置的地图应用程序中获取待清洁的区域街景视频，并将所述区域街景视频输入预置的地图信息识别模型进行环境信息识别，得到所述区域街景视频对应的全局地图信息；基于所述全局地图信息构建初始清洁路径，并将吸尘机器人放置于所述初始清洁路径的起始清洁点；所述吸尘机器人按照所述初始清洁路径从所述起始清洁点沿预设方向进行移动清洁，并通过所述吸尘机器人中预置的图像采集终端实时采集移动清洁过程中的实时路况视频；将所述实时路况视频输入预置的障碍物检测模型集进行移动障碍物识别，得到所述实时路况视频中的移动障碍物信息，其中，所述移动障碍物信息包括：目标移动障碍物和障碍物类型；根据所述障碍物类型对所述目标移动障碍物进行超声波测距，得到障碍物距离；根据所述障碍物距离和所述障碍物类型选取与所述障碍物距离对应的避障模式，并根据所述避障模式对所述目标移动障碍物进行自动避障。本发明通过对清洁时的实时路况进行视频采集和分析，可以及时应对清洁途中出现的移动障碍物，提高了吸尘机器人的自动避障灵敏度。
上面图3和图4从模块化功能实体的角度对本发明实施例中的吸尘机器人的自动避障装置进行详细描述，下面从硬件处理的角度对本发明实施例中吸尘机器人的自动避障设备进行详细描述。
图5是本发明实施例提供的一种吸尘机器人的自动避障设备的结构示意图，该吸尘机器人的自动避障设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器（central processing units，CPU）510（例如，一个或一个以上处理器）和存储器520，一个或一个以上存储应用程序533或数据532的存储介质530（例如一个或一个以上海量存储设备）。其中，存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块（图示没标出），每个模块可以包括对吸尘机器人的自动避障设备500中的一系列指令操作。更进一步地，处理器510可以设置为与存储介质530通信，在吸尘机器人的自动避障设备500上执行存储介质530中的一系列指令操作。
吸尘机器人的自动避障设备500还可以包括一个或一个以上电源540，一个或一个以上有线或无线网络接口550，一个或一个以上输入输出接口560，和/或，一个或一个以上操作系统531，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图5示出的吸尘机器人的自动避障设备结构并不构成对吸尘机器人的自动避障设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种吸尘机器人的自动避障设备，所述吸尘机器人的自动避障设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中的所述吸尘机器人的自动避障方法的步骤。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述吸尘机器人的自动避障方法的步骤。
进一步地，计算机可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（read-only memory，ROM）、随机存取存储器（random access memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (4)

1.一种吸尘机器人的自动避障方法，其特征在于，所述吸尘机器人的自动避障方法包括：
从预置的地图应用程序中获取待清洁的区域街景视频，并将所述区域街景视频输入预置的地图信息识别模型进行环境信息识别，得到所述区域街景视频对应的全局地图信息；其中，从预置的地图应用程序中获取待清洁的区域街景视频；将所述区域街景视频输入预置的地图信息识别模型，通过所述地图信息识别模型对所述区域街景视频进行逐帧提取，得到多个视频帧；将所述多个视频帧依次输入所述地图信息识别模型中的目标检测网络进行环境信息识别，得到多个建筑物信息；将所述多个建筑物信息输入SLAM算法构建所述区域街景视频对应的全局地图信息；具体的，通过分帧操作截取连续的视频帧，其中，连续视频帧为N帧，N为大于10的正整数，进而服务器将区域街景视频输入预置的地图信息识别模型进行环境信息识别，得到区域街景视频对应的全局地图信息；当服务器得到多个视频帧后，将该多个视频帧依次输入目标检测网络进行环境信息识别，在进行环境信息识别前，服务器对该多个视频帧进行灰度处理，并根据灰度处理后的视频帧图像的像素值及临界像素值获取当前前景图像和背景图像，进而进行信息环境识别，得到多个建筑物信息，最终服务器将多个建筑物信息输入SLAM算法构建区域街景视频对应的全局地图信息；
基于所述全局地图信息构建初始清洁路径，并将吸尘机器人放置于所述初始清洁路径的起始清洁点；其中，提取所述全局地图信息中的多个建筑物坐标；通过预设清洁终点和所述多个建筑物坐标为节点生成坐标联通图，并根据所述坐标联通图和预置的最小生成树算法对所述全局地图信息进行路径规划，得到初始清洁路径；将吸尘机器人放置于所述初始清洁路径的起始清洁点；其中，全局地图信息中预先设置有对应的坐标系，通过环境信息识别获取到多个建筑物后，对多个建筑物进行坐标分析，提取得到全局地图信息中的多个建筑物坐标，根据多个建筑物坐标生成连通图，将连通图中的所有边按代价大小从小到大排序，将连通图中的n个顶点看成独立的n棵树，连通图为n棵树组成的森林，按权值大小从小到大选择边，所选边连接的两个顶点应属于两颗不同的树，则该边成为最小生成树的一条边，并将这两颗树合并作为一颗树，直到所有的顶点都在一棵树内，或者获得n-1条边为止，得到初始清洁路径，将吸尘机器人放置于初始清洁路径的起始清洁点；
所述吸尘机器人按照所述初始清洁路径从所述起始清洁点沿预设方向进行移动清洁，并通过所述吸尘机器人中预置的图像采集终端实时采集移动清洁过程中的实时路况视频；具体的，当服务器确定对应的初始清洁路径后，获取对应的信息传输接口标识，进而服务器通过该信息传输接口标识确定相应的信息传输接口，进而服务器通过该信息传输接口将上述初始清洁路径传输至上述吸尘机器人，以使得服务器控制该吸尘机器人按照上述初始清洁路径从起始清洁点沿预设方向进行移动清洁，同时服务器调用上述吸尘机器人中的预置图像采集装置在吸尘机器人移动清洁过程中的实时路况视频；具体的，吸尘机器人按照初始清洁路径从起始清洁点沿预设方向进行移动清洁；当吸尘机器人开始移动清洁时，启动吸尘机器人中预置的图像采集终端；通过图像采集终端实时采集吸尘机器人移动清洁过程中全方位的实时路况视频；其中，当服务器控制该吸尘机器人按照初始清洁路径从起始清洁点沿预设方向进行移动清洁时，通过触发方式采集当前拍摄的路况视频，同时定位吸尘机器人的位置信息和获取路况视频的拍摄时间，之后将路况视频、位置信息及拍摄时间通过无线网络上传到云平台，其中，所述触发方式是用户主动触发，包括触发硬件设备开关、语音指令以及行为指令，或者通过条件触发，根据用户设定的速度、用户预定的地点进行触发，最终服务器通过图像采集终端实时采集吸尘机器人移动清洁过程中全方位的实时路况视频；
将所述实时路况视频输入预置的障碍物检测模型集进行移动障碍物识别，得到所述实时路况视频中的移动障碍物信息，其中，所述移动障碍物信息包括：目标移动障碍物和障碍物类型；其中，目标移动障碍物和障碍物类型，包括：对所述实时路况视频进行分帧，得到多个路况图像；对所述多个路况图像进行去噪和对比度增强，得到多个标准图像；分别将所述多个标准图像输入预置的障碍物检测模型集中的人物识别模型进行人物检测，得到目标人物，其中，所述障碍物检测模型为语义分割模型；分别将所述多个标准图像输入预置的障碍物检测模型集中的车辆识别模型进行车辆检测，得到目标车辆；根据所述目标人物和所述目标车辆对所述多个标准图像进行障碍物类型和障碍物位置信息标注，生成移动障碍物信息并输出；其中，对多个路况图像进行去噪，包括将路况图像输入转换为灰度图，对灰度图像进行二维信号的二层小波分解，将图像从空域转换为频域，提取图像低频分量，并采用同态滤波提高低频分量中的高频响应，将滤波后的低频图像变换到空域进行灰度变换增强图像对比度和亮度，根据增强后的低频分量与高频分量系数重构图像，对重构后的图像进行基于小波变换的阈值去噪，最后获得增强后的图像，进而服务器采用人物识别模型对增强后的图像进行识别，并与目标人物图像进行比对，得到满足相似度阈值的匹配目标图像，将上次识别得到的前N位匹配目标图像作为下次识别的增强后的图像，直至采用第m人像识别算法完成对增强后的图像进行第m次识别，并与所述目标人物图像进行比对，将满足所述相似度阈值的匹配目标图像作为最终的匹配目标图像，进而服务器分别将多个标准图像输入预置的障碍物检测模型集中的车辆识别模型进行车辆检测，得到目标车辆；根据目标人物和目标车辆对多个标准图像进行障碍物类型和障碍物位置信息标注，生成移动障碍物信息并输出；
根据所述障碍物类型对所述目标移动障碍物进行超声波测距，得到障碍物距离；其中，基于所述吸尘机器人中的超声波测距仪对所述目标移动障碍物发送超声波，并接收所述目标移动障碍物返回的反射波；计算所述反射波的反射时长，并根据所述反射时长分别计算所述障碍物类型的目标移动障碍物与所述吸尘机器人的距离，得到人物距离和车辆距离；将所述人物距离和所述车辆距离作为障碍物距离并输出；具体的，在吸尘机器人上安装有第一超声波雷达和第二超声波雷达，根据第一超声波雷达和第二超声波雷达的安装位置、探测范围以及吸尘机器人的车身尺寸，将障碍物探测区域划分成多个子区域，分别控制第一超声波雷达和第二超声波雷达对障碍物进行探测，得到第一探测距离以及第二探测距离，根据第一探测距离和第二探测距离，确定障碍物所在的子区域，进而服务器根据障碍物类型对目标移动障碍物进行超声波测距，得到障碍物距离；其中，服务器测距指令生成超声波信息，并获取第一计时信息，对超声波信息进行编码得到超声波编码信息，根据超声波编码信息发送测距超声波，获取测距超声波对应的测距回波，并对测距回波进行解码，得到解码信息，根据解码信息获取第二计时信息，并根据第一计时信息和第二计时信息计算待测距离，服务器通过计算反射波的反射时长，并根据反射时长分别计算障碍物类型的目标移动障碍物与吸尘机器人的距离，得到人物距离和车辆距离；将人物距离和车辆距离作为障碍物距离并输出；
根据所述障碍物距离和所述障碍物类型选取与所述障碍物距离对应的避障模式，并根据所述避障模式对所述目标移动障碍物进行自动避障；其中，将所述障碍物距离和所述障碍物类型输入预置的避障等级计算模型进行避障等级计算，得到目标避障等级；所述吸尘机器人根据所述目标避障等级选取避障模式，其中，所述避障模式包括：紧急、适中和普通；根据所述避障模式对所述目标移动障碍物进行自动避障；具体的，所述障碍物的类型包括可跨越型障碍物和不可跨越型障碍物，其中可跨越型障碍物是指所述机器人容易从所述障碍物的上方越过所述障碍物，为高度较低和/或倾斜角度较小的障碍物，包括线材、门槛和地毯；不可跨越型障碍物是指所述机器人难以从所述障碍物的上方越过所述障碍物，为高度较高和/或倾斜角度较大的障碍物，包括桌子、椅子、墙壁、台阶和陡坡；根据障碍物距离及障碍物类型进行避障等级计算，其中，避障等级分为三级，当确定目标避障等级后，根据目标避障等级进行避障处理；其中，所述根据所述避障模式对所述目标移动障碍物进行自动避障，包括：根据所述避障模式对所述初始清洁路径进行路径更新，得到目标清洁路径；所述吸尘机器人沿所述目标清洁路径进行移动清洁，以对所述目标移动障碍物进行自动避障；其中，吸尘机器人在识别到障碍物类型为移动障碍物，且识别出的结果为人时，利用自身的警报器发出避让警告，提示工作人员以实现双向避让；根据避障模式对清洁路径进行更新，确定更新后的目标清洁路径，并在沿着目标清洁路径进行移动清洁时，利用自身的警报器发出避让警告。
2.一种吸尘机器人的自动避障装置，其特征在于，所述吸尘机器人的自动避障装置包括：
获取模块，用于从预置的地图应用程序中获取待清洁的区域街景视频，并将所述区域街景视频输入预置的地图信息识别模型进行环境信息识别，得到所述区域街景视频对应的全局地图信息；其中，从预置的地图应用程序中获取待清洁的区域街景视频；将所述区域街景视频输入预置的地图信息识别模型，通过所述地图信息识别模型对所述区域街景视频进行逐帧提取，得到多个视频帧；将所述多个视频帧依次输入所述地图信息识别模型中的目标检测网络进行环境信息识别，得到多个建筑物信息；将所述多个建筑物信息输入SLAM算法构建所述区域街景视频对应的全局地图信息；具体的，通过分帧操作截取连续的视频帧，其中，连续视频帧为N帧，N为大于10的正整数，进而服务器将区域街景视频输入预置的地图信息识别模型进行环境信息识别，得到区域街景视频对应的全局地图信息；当服务器得到多个视频帧后，将该多个视频帧依次输入目标检测网络进行环境信息识别，在进行环境信息识别前，服务器对该多个视频帧进行灰度处理，并根据灰度处理后的视频帧图像的像素值及临界像素值获取当前前景图像和背景图像，进而进行信息环境识别，得到多个建筑物信息，最终服务器将多个建筑物信息输入SLAM算法构建区域街景视频对应的全局地图信息；
构建模块，用于基于所述全局地图信息构建初始清洁路径，并将吸尘机器人放置于所述初始清洁路径的起始清洁点；其中，提取所述全局地图信息中的多个建筑物坐标；通过预设清洁终点和所述多个建筑物坐标为节点生成坐标联通图，并根据所述坐标联通图和预置的最小生成树算法对所述全局地图信息进行路径规划，得到初始清洁路径；将吸尘机器人放置于所述初始清洁路径的起始清洁点；其中，全局地图信息中预先设置有对应的坐标系，通过环境信息识别获取到多个建筑物后，对多个建筑物进行坐标分析，提取得到全局地图信息中的多个建筑物坐标，根据多个建筑物坐标生成连通图，将连通图中的所有边按代价大小从小到大排序，将连通图中的n个顶点看成独立的n棵树，连通图为n棵树组成的森林，按权值大小从小到大选择边，所选边连接的两个顶点应属于两颗不同的树，则该边成为最小生成树的一条边，并将这两颗树合并作为一颗树，直到所有的顶点都在一棵树内，或者获得n-1条边为止，得到初始清洁路径，将吸尘机器人放置于初始清洁路径的起始清洁点；
采集模块，用于所述吸尘机器人按照所述初始清洁路径从所述起始清洁点沿预设方向进行移动清洁，并通过所述吸尘机器人中预置的图像采集终端实时采集移动清洁过程中的实时路况视频；具体的，当服务器确定对应的初始清洁路径后，获取对应的信息传输接口标识，进而服务器通过该信息传输接口标识确定相应的信息传输接口，进而服务器通过该信息传输接口将上述初始清洁路径传输至上述吸尘机器人，以使得服务器控制该吸尘机器人按照上述初始清洁路径从起始清洁点沿预设方向进行移动清洁，同时服务器调用上述吸尘机器人中的预置图像采集装置在吸尘机器人移动清洁过程中的实时路况视频；具体的，吸尘机器人按照初始清洁路径从起始清洁点沿预设方向进行移动清洁；当吸尘机器人开始移动清洁时，启动吸尘机器人中预置的图像采集终端；通过图像采集终端实时采集吸尘机器人移动清洁过程中全方位的实时路况视频；其中，当服务器控制该吸尘机器人按照初始清洁路径从起始清洁点沿预设方向进行移动清洁时，通过触发方式采集当前拍摄的路况视频，同时定位吸尘机器人的位置信息和获取路况视频的拍摄时间，之后将路况视频、位置信息及拍摄时间通过无线网络上传到云平台，其中，所述触发方式是用户主动触发，包括触发硬件设备开关、语音指令以及行为指令，或者通过条件触发，根据用户设定的速度、用户预定的地点进行触发，最终服务器通过图像采集终端实时采集吸尘机器人移动清洁过程中全方位的实时路况视频；
识别模块，用于将所述实时路况视频输入预置的障碍物检测模型集进行移动障碍物识别，得到所述实时路况视频中的移动障碍物信息，其中，所述移动障碍物信息包括：目标移动障碍物和障碍物类型；其中，目标移动障碍物和障碍物类型，包括：对所述实时路况视频进行分帧，得到多个路况图像；对所述多个路况图像进行去噪和对比度增强，得到多个标准图像；分别将所述多个标准图像输入预置的障碍物检测模型集中的人物识别模型进行人物检测，得到目标人物，其中，所述障碍物检测模型为语义分割模型；分别将所述多个标准图像输入预置的障碍物检测模型集中的车辆识别模型进行车辆检测，得到目标车辆；根据所述目标人物和所述目标车辆对所述多个标准图像进行障碍物类型和障碍物位置信息标注，生成移动障碍物信息并输出；其中，对多个路况图像进行去噪，包括将路况图像输入转换为灰度图，对灰度图像进行二维信号的二层小波分解，将图像从空域转换为频域，提取图像低频分量，并采用同态滤波提高低频分量中的高频响应，将滤波后的低频图像变换到空域进行灰度变换增强图像对比度和亮度，根据增强后的低频分量与高频分量系数重构图像，对重构后的图像进行基于小波变换的阈值去噪，最后获得增强后的图像，进而服务器采用人物识别模型对增强后的图像进行识别，并与目标人物图像进行比对，得到满足相似度阈值的匹配目标图像，将上次识别得到的前N位匹配目标图像作为下次识别的增强后的图像，直至采用第m人像识别算法完成对增强后的图像进行第m次识别，并与所述目标人物图像进行比对，将满足所述相似度阈值的匹配目标图像作为最终的匹配目标图像，进而服务器分别将多个标准图像输入预置的障碍物检测模型集中的车辆识别模型进行车辆检测，得到目标车辆；根据目标人物和目标车辆对多个标准图像进行障碍物类型和障碍物位置信息标注，生成移动障碍物信息并输出；
测距模块，用于根据所述障碍物类型对所述目标移动障碍物进行超声波测距，得到障碍物距离；其中，基于所述吸尘机器人中的超声波测距仪对所述目标移动障碍物发送超声波，并接收所述目标移动障碍物返回的反射波；计算所述反射波的反射时长，并根据所述反射时长分别计算所述障碍物类型的目标移动障碍物与所述吸尘机器人的距离，得到人物距离和车辆距离；将所述人物距离和所述车辆距离作为障碍物距离并输出；具体的，在吸尘机器人上安装有第一超声波雷达和第二超声波雷达，根据第一超声波雷达和第二超声波雷达的安装位置、探测范围以及吸尘机器人的车身尺寸，将障碍物探测区域划分成多个子区域，分别控制第一超声波雷达和第二超声波雷达对障碍物进行探测，得到第一探测距离以及第二探测距离，根据第一探测距离和第二探测距离，确定障碍物所在的子区域，进而服务器根据障碍物类型对目标移动障碍物进行超声波测距，得到障碍物距离；其中，服务器测距指令生成超声波信息，并获取第一计时信息，对超声波信息进行编码得到超声波编码信息，根据超声波编码信息发送测距超声波，获取测距超声波对应的测距回波，并对测距回波进行解码，得到解码信息，根据解码信息获取第二计时信息，并根据第一计时信息和第二计时信息计算待测距离，服务器通过计算反射波的反射时长，并根据反射时长分别计算障碍物类型的目标移动障碍物与吸尘机器人的距离，得到人物距离和车辆距离；将人物距离和车辆距离作为障碍物距离并输出；
避障模块，用于根据所述障碍物距离和所述障碍物类型选取与所述障碍物距离对应的避障模式，并根据所述避障模式对所述目标移动障碍物进行自动避障；其中，将所述障碍物距离和所述障碍物类型输入预置的避障等级计算模型进行避障等级计算，得到目标避障等级；所述吸尘机器人根据所述目标避障等级选取避障模式，其中，所述避障模式包括：紧急、适中和普通；根据所述避障模式对所述目标移动障碍物进行自动避障；具体的，所述障碍物的类型包括可跨越型障碍物和不可跨越型障碍物，其中可跨越型障碍物是指所述机器人容易从所述障碍物的上方越过所述障碍物，为高度较低和/或倾斜角度较小的障碍物，包括线材、门槛和地毯；不可跨越型障碍物是指所述机器人难以从所述障碍物的上方越过所述障碍物，为高度较高和/或倾斜角度较大的障碍物，包括桌子、椅子、墙壁、台阶和陡坡；根据障碍物距离及障碍物类型进行避障等级计算，其中，避障等级分为三级，当确定目标避障等级后，根据目标避障等级进行避障处理；其中，所述根据所述避障模式对所述目标移动障碍物进行自动避障，包括：根据所述避障模式对所述初始清洁路径进行路径更新，得到目标清洁路径；所述吸尘机器人沿所述目标清洁路径进行移动清洁，以对所述目标移动障碍物进行自动避障；其中，吸尘机器人在识别到障碍物类型为移动障碍物，且识别出的结果为人时，利用自身的警报器发出避让警告，提示工作人员以实现双向避让；根据避障模式对清洁路径进行更新，确定更新后的目标清洁路径，并在沿着目标清洁路径进行移动清洁时，利用自身的警报器发出避让警告。
3.一种吸尘机器人的自动避障设备，其特征在于，所述吸尘机器人的自动避障设备包括：存储器和至少一个处理器，所述存储器中存储有指令；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述吸尘机器人的自动避障设备执行如权利要求1所述的吸尘机器人的自动避障方法。
4.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1所述的吸尘机器人的自动避障方法。
CN202211084080.4A 2022-09-06 2022-09-06 吸尘机器人的自动避障方法、装置、设备及存储介质 Active CN115185285B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211084080.4A CN115185285B (zh) 2022-09-06 2022-09-06 吸尘机器人的自动避障方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211084080.4A CN115185285B (zh) 2022-09-06 2022-09-06 吸尘机器人的自动避障方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN115185285A CN115185285A (zh) 2022-10-14
CN115185285B true CN115185285B (zh) 2022-12-27

Family

ID=83522381

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211084080.4A Active CN115185285B (zh) 2022-09-06 2022-09-06 吸尘机器人的自动避障方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115185285B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115755890B (zh) * 2022-11-01 2023-04-07 南京傲翼飞控智能科技有限公司 基于数据处理的除草任务路径规划方法及装置
CN115880673B (zh) * 2023-02-22 2023-05-26 西南石油大学 一种基于计算机视觉的避障方法及系统
CN117193333B (zh) * 2023-10-27 2024-06-21 高捷体育股份有限公司 一种地坪除尘机器人路径规划方法、清洁系统和处理器

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105759820A (zh) * 2016-04-08 2016-07-13 济宁中科先进技术研究院有限公司 基于激光和视觉的道路自主清扫控制系统及控制方法
KR20180075176A (ko) * 2016-12-26 2018-07-04 엘지전자 주식회사 이동 로봇 및 그 제어방법
CN107992969A (zh) * 2017-12-06 2018-05-04 广东机场白云信息科技有限公司 机场资源巡检方法和系统
CN108594825A (zh) * 2018-05-31 2018-09-28 四川斐讯信息技术有限公司 基于深度相机的扫地机器人控制方法及系统
CN108958263A (zh) * 2018-08-03 2018-12-07 江苏木盟智能科技有限公司 一种机器人避障方法及机器人
CN112519765A (zh) * 2019-09-03 2021-03-19 北京百度网讯科技有限公司 车辆控制方法、装置、设备和介质
CN110703769A (zh) * 2019-11-12 2020-01-17 山东交通学院 一种基于云平台的自动驾驶清扫车系统及控制方法
CN111608124A (zh) * 2020-05-12 2020-09-01 张梅 一种高速服务区清扫机器人自主导航方法
CN113848871A (zh) * 2020-06-28 2021-12-28 北京极智嘉科技股份有限公司 一种控制机器人避障的方法、装置及系统
CN111930127B (zh) * 2020-09-02 2021-05-18 广州赛特智能科技有限公司 一种机器人障碍物识别及避障方法
CN112859873B (zh) * 2021-01-25 2022-11-25 山东亚历山大智能科技有限公司 一种基于语义激光的移动机器人多级避障系统及方法
CN113156936A (zh) * 2021-01-27 2021-07-23 宁波工程学院 爬壁清洁机器人的路径规划算法
CN113703444A (zh) * 2021-08-13 2021-11-26 南京付联微网络科技有限公司 一种智能化机器人的巡检避障方法及系统
CN114391777B (zh) * 2022-01-07 2023-08-04 美智纵横科技有限责任公司 清洁机器人的障碍躲避方法、装置、电子设备及介质
CN114545950A (zh) * 2022-03-03 2022-05-27 全爱科技(上海)有限公司 一种无人驾驶智能小车的控制方法
CN114661051A (zh) * 2022-03-31 2022-06-24 浙江科钛机器人股份有限公司 一种基于rgb-d的前置避障系统
CN114935341B (zh) * 2022-07-25 2022-11-29 深圳市景创科技电子股份有限公司 一种新型slam导航计算视频识别方法及装置

Also Published As

Publication number Publication date
CN115185285A (zh) 2022-10-14

Similar Documents

Publication Publication Date Title
CN115185285B (zh) 吸尘机器人的自动避障方法、装置、设备及存储介质
KR102198724B1 (ko) 포인트 클라우드 데이터를 처리하기 위한 방법 및 장치
Balado et al. Automatic classification of urban ground elements from mobile laser scanning data
JP7136422B2 (ja) 対象物を分析するためのデバイス及び方法
US20200401617A1 (en) Visual positioning system
Balado et al. Automatic building accessibility diagnosis from point clouds
CN108733061B (zh) 一种清扫作业的路径修正方法
CN112075879A (zh) 一种信息处理方法、装置及存储介质
Liu et al. Ground surface filtering of 3D point clouds based on hybrid regression technique
CN111784171A (zh) 基于人工智能及图像处理的市政cim环卫工作分配方法
CN115240094A (zh) 一种垃圾检测方法和装置
Józsa et al. Towards 4D virtual city reconstruction from Lidar point cloud sequences
Conley et al. Using a deep learning model to quantify trash accumulation for cleaner urban stormwater
Guo et al. Extraction of dense urban buildings from photogrammetric and LiDAR point clouds
AU2012229873A1 (en) Extraction processes
CN108968825A (zh) 一种扫地机器人和机器人扫地方法
Piltz et al. Volume based DTM generation from very high resolution photogrammetric DSMs
Ismail et al. Automated collection of pedestrian data using computer vision techniques
Kurdi et al. Full series algorithm of automatic building extraction and modelling from LiDAR data
AU2010200147A1 (en) Extraction processes
CN114587220B (zh) 动态避障方法、装置和计算机设备、计算机可读存储介质
Johnston et al. Estimating building floor plans from exterior using laser scanners
Jafri et al. Parametric Classification of Furniture From Point Cloud Developed Using Low Cost Trolley Based Laser Scanning System
CN111199306A (zh) 预测装置、预测方法及存储介质
McQuat Feature extraction workflows for urban mobile-terrestrial LIDAR data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant