CN110837829A - 扫地机器人的控制方法和系统 - Google Patents

扫地机器人的控制方法和系统 Download PDF

Info

Publication number
CN110837829A
CN110837829A CN201810942531.0A CN201810942531A CN110837829A CN 110837829 A CN110837829 A CN 110837829A CN 201810942531 A CN201810942531 A CN 201810942531A CN 110837829 A CN110837829 A CN 110837829A
Authority
CN
China
Prior art keywords
room
information
doorplate
identification
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810942531.0A
Other languages
English (en)
Other versions
CN110837829B (zh
Inventor
连园园
秦萍
陈浩广
赵慧子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gree Electric Appliances Inc of Zhuhai
Original Assignee
Gree Electric Appliances Inc of Zhuhai
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gree Electric Appliances Inc of Zhuhai filed Critical Gree Electric Appliances Inc of Zhuhai
Priority to CN201810942531.0A priority Critical patent/CN110837829B/zh
Publication of CN110837829A publication Critical patent/CN110837829A/zh
Application granted granted Critical
Publication of CN110837829B publication Critical patent/CN110837829B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/24—Floor-sweeping machines, motor-driven
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4011—Regulation of the cleaning machine by electric means; Control systems and remote control systems therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/09—Recognition of logos
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种扫地机器人的控制方法和系统。其中，该方法包括：获取房间的门牌标识图片；利用识别模型对门牌标识图片进行分析，得到房间的标识信息，其中，房间的标识信息包括：门牌字符串信息和清洁信息，识别模型是使用多组数据通过机器学习训练出的，多组数据中的每组数据均包括：房间的门牌标识图片和门牌标识图片中每个像素点的字符类别的标签矩阵；将房间的标识信息与住宿管理数据库中存储的信息进行匹配，确定房间是否需要清洁；在确定房间需要清洁的情况下，控制扫地机器人对房间进行打扫。本发明解决了现有技术中扫地机器人的控制方法适用性差的技术问题。

Description

扫地机器人的控制方法和系统
技术领域
本发明涉及电器设备领域，具体而言，涉及一种扫地机器人的控制方法和系统。
背景技术
对于中大型酒店中房间众多，每天需要多个服务员花费大量的时间用于打扫各个房间，耗费的人力和物力巨大，现应用于家庭的小型扫地机器人已在市场获得广泛认可，通过自动行驶、路径规划、及障碍避让，实现房屋内各房间自动清扫。
但是，鉴于酒店住宿的特殊性质，有的房间有房客，有的房间无房客，而且房客是否需要清扫房间(一般通过在门外挂牌的方式告知工作人员)，仅仅通过现有的扫地机器人对房间进行清扫，无法实现准确的自动清洁服务。
针对现有技术中扫地机器人的控制方法适用性差的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种扫地机器人的控制方法和系统，以至少解决现有技术中扫地机器人的控制方法适用性差的技术问题。
根据本发明实施例的一个方面，提供了一种扫地机器人的控制方法，包括：获取房间的门牌标识图片；利用识别模型对门牌标识图片进行分析，得到房间的标识信息，其中，房间的标识信息包括：门牌字符串信息和清洁信息，识别模型是使用多组数据通过机器学习训练出的，多组数据中的每组数据均包括：房间的门牌标识图片和门牌标识图片中每个像素点的字符类别的标签矩阵；将房间的标识信息与住宿管理数据库中存储的信息进行匹配，确定房间是否需要清洁；在确定房间需要清洁的情况下，控制扫地机器人对房间进行打扫。
进一步地，利用识别模型对门牌标识图片进行分析，得到房间的标识信息，包括：对门牌标识图片进行紧致化处理，得到处理后的门牌标识图片；利用识别模型对处理后的门牌标识图片进行分析，得到处理后的门牌标识图片的标签得分矩阵；对处理后的门牌标识图片的标签得分矩阵进行分析，得到房间的标识信息。
进一步地，处理后的门牌标识图片包括：门牌图片和清洁标志图片，其中，对处理后的门牌标识图片的标签得分矩阵进行分析，得到房间的标识信息，包括：对门牌图片的标签得分矩阵进行分析，得到门牌字符串信息；对清洁标志图片的标签得分矩阵进行分析，得到清洁信息。
进一步地，上述方法还包括：获取多组数据；使用深度学习框架，建立初始模型；利用多组数据对初始模型进行训练，得到识别模型。
进一步地，获取多组数据，包括：获取不同场景下的门牌标识图片；对不同场景下的门牌标识图片进行紧致化处理，得到多个样本图片；设置多个样本图像对应的标签矩阵，得到多组数据。
进一步地，利用多组数据对初始模型进行训练，得到识别模型，包括：利用多组数据，通过反向传播算法和梯度下降算法对初始模型进行训练；获取训练好的模型的损失函数值；判断损失函数值是否满足预设条件；如果损失函数不满足预设条件，则继续对初始模型进行训练，直至损失函数满足预设条件；如果损失函数满足预设条件，则确定训练好的模型为识别模型。
进一步地，对处理后的门牌标识图片的标签得分矩阵进行分析，得到房间的标识信息，包括：获取处理后的门牌标识图片中的字符图像块；基于标签得分矩阵，判断字符图像块中包含的字符串是否完整；如果字符图像块中包含的字符串完整，则获取字符图像块中包含的字符，得到房间的标识信息。
进一步地，如果字符图像块中包含的字符串不完整，上述方法还包括：对字符图像块进行精细化分析；利用联合投票方法对分析后的字符图像块进行处理，确定字符图像块中包含的字符串；获取字符图像块中包含的字符串，得到房间的标识信息。
进一步地，将房间的标识信息与住宿管理数据库中存储的信息进行匹配，确定房间是否需要清洁，包括：获取住宿管理数据库中门牌字符串信息对应的住宿信息；判断住宿信息是否为已住宿，且清洁信息是否为需要清洁；如果住宿信息是已住宿，且清洁信息是需要清洁，则确定房间需要清洁。
进一步地，控制扫地机器人对房间进行打扫，包括：获取住宿管理数据库中存储的房间的开锁密码；通过开锁密码控制房间的门锁打开；控制扫地机器人对房间进行打扫。
进一步地，控制扫地机器人对房间进行打扫，包括：通过预设清洁策略控制扫地机器人对房间进行打扫，其中，预设清洁策略包括如下一种或多种：自动行驶策略、路径规划策略和障碍避让策略。
根据本发明实施例的另一方面，还提供了一种扫地机器人的控制系统，包括：图像采集模块，用于获取房间的门牌标识图片；图像识别模块，与图像采集模块连接，用于利用识别模型对门牌标识图片进行分析，得到房间的标识信息，将房间的标识信息与住宿管理数据库中存储的信息进行匹配，确定房间是否需要清洁，其中，房间的标识信息包括：门牌字符串信息和清洁信息，识别模型是使用多组数据通过机器学习训练出的，多组数据中的每组数据均包括：房间的门牌标识图片和门牌标识图片中每个像素点的字符类别的标签矩阵；控制模块，与图像识别模块连接，用于在确定房间需要清洁的情况下，控制扫地机器人对房间进行打扫。
根据本发明实施例的另一方面，还提供了一种存储介质，存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述的扫地机器人的控制方法。
根据本发明实施例的另一方面，还提供了一种处理器，处理器用于运行程序，其中，程序运行时执行上述的扫地机器人的控制方法。
在本发明实施例中，在获取到房间的门牌标识图片之后，可以利用识别模型对门牌标识图片进行分析，得到房间的标识信息，进一步将房间的标识信息与住宿管理数据库中存储的信息进行匹配，确定房间是否需要清洁，在确定房间需要清洁的情况下，控制扫地机器人对房间进行打扫。与现有技术相比，通过优异的图像辨识能力，使得扫地机器人根据数据库中需要清洁的房间，并结合用户挂出的是否清洁标识，对酒店内房间进行自动清洁，达到了提高扫地机器人对不同酒店的适应性，节省酒店运营成本的技术效果，进而解决了现有技术中扫地机器人的控制方法适用性差的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种扫地机器人的控制方法的流程图；
图2是根据本发明实施例的一种可选的扫地机器人的控制方法的流程图；以及
图3是根据本发明实施例的一种扫地机器人的控制系统的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本发明实施例，提供了一种扫地机器人的控制方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的一种扫地机器人的控制方法的流程图，如图1所示，该方法包括如下步骤：
步骤S102，获取房间的门牌标识图片。
具体地，上述的房间可以是酒店中的房间，无论房间中是否已经住宿房客，房间房门处于上锁状态，为了确定酒店各个房间是否需要进行清洁，可以在扫地机器人上安装摄像头，通过摄像头拍摄到房间房门的门牌标识图片，由于房客需要清扫房间时，会在门外挂牌，摄像头不仅要拍摄到门牌号，还需要拍摄到门外挂牌。
步骤S104，利用识别模型对门牌标识图片进行分析，得到房间的标识信息，其中，房间的标识信息包括：门牌字符串信息和清洁信息，识别模型是使用多组数据通过机器学习训练出的，多组数据中的每组数据均包括：房间的门牌标识图片和门牌标识图片中每个像素点的字符类别的标签矩阵。
具体地，上述的识别模型可以是预先建立好的全卷积神经网络模型，通过全卷积神经网络模型对拍摄到的门牌标识图片进行分析，可以识别出门牌号(即上述的门牌字符串信息)和是否清洁信息，如果识别出门外挂牌上的文字信息，则确定识别出需要进行清洁的清洁信息；如果识别出门外未挂牌，则确定识别出不需要进行清洁的清洁信息。上述标签矩阵中的每个元素可以表示门牌标识图片中对应像素点的字符类别。
步骤S106，将房间的标识信息与住宿管理数据库中存储的信息进行匹配，确定房间是否需要清洁。
具体地，扫地机器人中可以设置中央集中控制系统，该系统与酒店住宿管理系统相连，可以访问酒店住宿管理系统中的数据库，该数据库中存储有每个房间的住宿信息，也即，存储有每个房间是否有房客，以及房客的相关信息。
对于酒店中的房间，在房客退房时一般会对房间进行清扫，如果房间中一直未住宿房客，则可以不对房间进行打扫。因此，在获取到房间的标识信息之后，需要从酒店住宿管理系统中的数据库中读取到相应房间是否有房客住宿的住宿信息，如果该房间有房客住宿，则确定该房间需要进行清洁；如果该房间无房客住宿，则确定该房间不需要进行清洁。
步骤S108，在确定房间需要清洁的情况下，控制扫地机器人对房间进行打扫。
具体地，为了方便对酒店各个房间进行清扫，上述的扫地机器人可以是大型自动扫地机器人。在确定房间需要清洁之后，可以控制扫地机器人对该房间进行打扫，实现准确的自动清洁服务。
本发明上述实施例中，在获取到房间的门牌标识图片之后，可以利用识别模型对门牌标识图片进行分析，得到房间的标识信息，进一步将房间的标识信息与住宿管理数据库中存储的信息进行匹配，确定房间是否需要清洁，在确定房间需要清洁的情况下，控制扫地机器人对房间进行打扫。与现有技术相比，通过优异的图像辨识能力，使得扫地机器人根据数据库中需要清洁的房间，并结合用户挂出的是否清洁标识，对酒店内房间进行自动清洁，达到了提高扫地机器人对不同酒店的适应性，节省酒店运营成本的技术效果，进而解决了现有技术中扫地机器人的控制方法适用性差的技术问题。
可选地，本发明上述实施例中，利用识别模型对门牌标识图片进行分析，得到房间的标识信息，包括：对门牌标识图片进行紧致化处理，得到处理后的门牌标识图片；利用识别模型对处理后的门牌标识图片进行分析，得到处理后的门牌标识图片的标签得分矩阵；对处理后的门牌标识图片的标签得分矩阵进行分析，得到房间的标识信息。
具体地，在获取到门牌标识图片之后，可以首先对输入的门牌标识图片进行紧致化处理，获得紧致的门牌标识图片；使用预先巡礼那好的全卷积神经网络模型进行分析，获取禁止的门牌标识图片中每一个像素点字符类别的预测结果，形成标签得分矩阵；对标签得分矩阵进行分析，获得最终的门牌字符串信息和是否清洁信息，也即得到房间的标识信息。
可选地，本发明上述实施例中，处理后的门牌标识图片包括：门牌图片和清洁标志图片，其中，对处理后的门牌标识图片的标签得分矩阵进行分析，得到房间的标识信息，包括：对门牌图片的标签得分矩阵进行分析，得到门牌字符串信息；对清洁标志图片的标签得分矩阵进行分析，得到清洁信息。
具体地，在对门牌标识图片进行紧致化处理之后，可以得到门牌图片和清洁标志图片，使用预先训练好的全卷积神经网络模型分别对门牌图片和清洁标志图片进行识别，得到门牌图片的标签得分矩阵和清洁标志图片的标签得分矩阵；对门牌图片的标签得分矩阵进行分析，可以获得最终的门牌字符串信息；对清洁标志图片的标签得分矩阵进行分析，可以获得最终的是否清洁信息。
可选地，本发明上述实施例中，该方法还包括：获取多组数据；使用深度学习框架，建立初始模型；利用多组数据对初始模型进行训练，得到识别模型。
具体地，可以收集各种门牌图片，作为样本，然后为每个样本制作相应的标签矩阵，以样本和相应的标签矩阵组成数据对，得到多组数据；再使用深度学习框架，建立全卷积神经网络模型；使用多组数据对全卷积神经网络模型进行训练，得到训练好的全卷积神经网络模型。
可选地，本发明上述实施例中，获取多组数据，包括：获取不同场景下的门牌标识图片；对不同场景下的门牌标识图片进行紧致化处理，得到多个样本图片；设置多个样本图像对应的标签矩阵，得到多组数据。
具体地，上述的不同场景可以是指不同字体、不同字符、不同光线环境下的场景，可以预先收集各种门牌图片并进行紧致化处理后作为样本，然后为每个样本制作相应的标签矩阵，以样本和相应的标签矩阵组成数据对，得到多组数据。
可选地，本发明上述实施例中，利用多组数据对初始模型进行训练，得到识别模型，包括：利用多组数据，通过反向传播算法和梯度下降算法对初始模型进行训练；获取训练好的模型的损失函数值；判断损失函数值是否满足预设条件；如果损失函数不满足预设条件，则继续对初始模型进行训练，直至损失函数满足预设条件；如果损失函数满足预设条件，则确定训练好的模型为识别模型。
具体地，上述的预设条件可以是使得损失函数最小化的条件。
在一种可选的方案中，可以利用多组数据，通过反向传播算法以及梯度下降策略，并使得损失函数最小化，从而最终得到训练好的全卷积神经网络模型。
可选地，本发明上述实施例中，对处理后的门牌标识图片的标签得分矩阵进行分析，得到房间的标识信息，包括：获取处理后的门牌标识图片中的字符图像块；基于标签得分矩阵，判断字符图像块中包含的字符串是否完整；如果字符图像块中包含的字符串完整，则获取字符图像块中包含的字符，得到房间的标识信息。
具体地，为了对门牌标识图片的标签得分矩阵进行标签得分矩阵分析，可以获取门牌识别图片中的字符图像块，对字符图像块进行分析，判断字符图像块中包含的字符串是否完整，如果完整，则可以直接输出字符串，得到房间的标识信息。
可选地，本发明上述实施例中，如果字符图像块中包含的字符串不完整，该方法还包括：对字符图像块进行精细化分析；利用联合投票方法对分析后的字符图像块进行处理，确定字符图像块中包含的字符串；获取字符图像块中包含的字符串，得到房间的标识信息。
具体地，在对字符图像块进行分析之后，判断字符图像块中包含的字符串是否完整，如果不完整，则可以对字符图像块进行精细化分析，然后利用联合投票策略对字符图像块中包含的字符串进行确定，并将字符串输出，得到房间的标识信息。
可选地，本发明上述实施例中，将房间的标识信息与住宿管理数据库中存储的信息进行匹配，确定房间是否需要清洁，包括：获取住宿管理数据库中门牌字符串信息对应的住宿信息；判断住宿信息是否为已住宿，且清洁信息是否为需要清洁；如果住宿信息是已住宿，且清洁信息是需要清洁，则确定房间需要清洁。
具体地，在利用全卷积神经网络模型得到门牌字符串信息和是否清洁信息，将获得的信息与酒店住宿管理系统中的数据库进行比对，若该房间住宿有房客，且辨识出的信息为“需要清洁时”，则确定该房间需要清洁。
可选地，本发明上述实施例中，控制扫地机器人对房间进行打扫，包括：获取住宿管理数据库中存储的房间的开锁密码；通过开锁密码控制房间的门锁打开；控制扫地机器人对房间进行打扫。
具体地，由于房间的房门处于锁闭状态，则确定该房间需要清洁时，扫地机器人开调用房间开锁密码，使得扫地机器人能够进入房间，并按照现有的方式进行自动清洁。
可选地，本发明上述实施例中，控制扫地机器人对房间进行打扫，包括：通过预设清洁策略控制扫地机器人对房间进行打扫，其中，预设清洁策略包括如下一种或多种：自动行驶策略、路径规划策略和障碍避让策略。
具体地，大型自动扫地机器人可以使用现有普通使用的家庭用扫地机器人实现的功能，也即，可以通过自动行驶、路径规划和障碍避让，实现房间内各个屋子的自动清扫。
图2是根据本发明实施例的一种可选的扫地机器人的控制方法的流程图，该扫地机器人中设置有中央集中控制系统，该系统同酒店住宿管理系统相连，同时中央集中控制系统设置有图像采集模块和图像辨识模块，如图2所示，该方法可以包括如下步骤：
步骤S21，通过图像采集模块获取酒店中各房间门的照片，得到门牌标识图片。
步骤S22，通过图像辨识模块对输入的门牌标识信息进行紧致化处理，获得紧致的门牌图片和清洁标志图片。
步骤S23，利用标定好的门牌标识图片提前训练全卷积神经网络模型。
可选地，可以包括：收集各种门牌图片并进行紧致化处理，处理后作为样本，然后为每个样本制作相应的标签矩阵，标签矩阵中的每个元素表示了对应像素点的字符类别；再使用深度学习框架，建立全卷积神经网络模型；以样本和相应的标签矩阵组成数据对，通过反向传播算法以及梯度下降策略，使得损失函数最小化，最终得到训练好的全卷积神经网络模型。
步骤S24，图像辨识模块使用预先训练好的全卷积神经网络模型进行门牌整体识别和是否清洁识别，获得紧致的门牌图片中每一个像素点字符类别的预测结果，形成标签得分矩阵。
步骤S25，对标签得分矩阵进行分析，获得最终的门牌字符串信息和是否清洁信息。
可选地，可以进行字符图像块分析，如果字符串完整，则直接输出，如果字符串不完整，则进行精细化分析，然后进行联合投票策略，得到门牌字符串。将获得的信息与酒店住宿管理系统中的数据库进行比对，若该房间有房客且辨识出的信息为“需要清洁时”，则调用房间开锁密码，使扫地机器人进入房间进行自动清洁。
通过上述方案，提供了一种大型自动扫地机器人，可以实现如同现普遍使用的家庭用扫地机器人实现的功能，通过自动行驶、路径规划、及障碍避让，实现房屋内各房间自动清扫。同时，鉴于酒店住宿的特殊性质，有的房间有房客，有的房间无房客，及房客是否需要清扫房间，该机器人可以通过连接酒店住宿管理系统，及基于卷积神经网络的门牌标识识别模块，对酒店各个房间门牌号和是否需进行清洁进行精准辨识，进而实现准确的自动清洁服务。因对上述门牌标识识别模块进行训练时，充分利用各种门牌图片，故可以极大的提高该大型自动扫地机器人对不同酒店的适应性。
实施例2
根据本发明实施例，提供了一种扫地机器人的控制系统的实施例。
图3是根据本发明实施例的一种扫地机器人的控制系统的示意图，如图3所示，该系统包括：图像采集模块32、图像识别模块34和控制模块36。
其中，图像采集模块32，用于获取房间的门牌标识图片；图像识别模块34，与图像采集模块连接，用于利用识别模型对门牌标识图片进行分析，得到房间的标识信息，将房间的标识信息与住宿管理数据库中存储的信息进行匹配，确定房间是否需要清洁，其中，房间的标识信息包括：门牌字符串信息和清洁信息，识别模型是使用多组数据通过机器学习训练出的，多组数据中的每组数据均包括：房间的门牌标识图片和门牌标识图片中每个像素点的字符类别的标签矩阵；控制模块36，与图像识别模块连接，用于在确定房间需要清洁的情况下，控制扫地机器人对房间进行打扫。
具体地，上述的控制系统可以是设置扫地机器人中的中央集中控制系统，该系统与酒店住宿管理系统相连，酒店住宿管理系统中的数据库，该数据库中存储有每个房间的住宿信息，也即，存储有每个房间是否有房客，以及房客的相关信息。中央集中控制系统设置有图像采集模块和图像辨识模块(即上述的图像辨识模块)，图像采集模块可以是在安装在图像采集模块可以是安装在扫地机器人上的摄像头，图像识别模块可以是安装在扫地机器人中的软件程序，可以对图像采集模块采集到的图片进行处理，确定房间是否需要清洁。上述的控制模块可以是中央集中控制系统中驱动扫地机器人运动的模块。
上述的房间可以是酒店中的房间，无论房间中是否已经住宿房客，房间房门处于上锁状态，为了确定酒店各个房间是否需要进行清洁，可以在扫地机器人上安装摄像头，通过摄像头拍摄到房间房门的门牌标识图片，由于房客需要清扫房间时，会在门外挂牌，摄像头不仅要拍摄到门牌号，还需要拍摄到门外挂牌。
上述的识别模型可以是预先建立好的全卷积神经网络模型，通过全卷积神经网络模型对拍摄到的门牌标识图片进行分析，可以识别出门牌号(即上述的门牌字符串信息)和是否清洁信息，如果识别出门外挂牌上的文字信息，则确定识别出需要进行清洁的清洁信息；如果识别出门外未挂牌，则确定识别出不需要进行清洁的清洁信息。上述标签矩阵中的每个元素可以表示门牌标识图片中对应像素点的字符类别。
为了方便对酒店各个房间进行清扫，上述的扫地机器人可以是大型自动扫地机器人。在确定房间需要清洁之后，可以控制扫地机器人对该房间进行打扫，实现准确的自动清洁服务。
本发明上述实施例中，在通过图像采集模块获取到房间的门牌标识图片之后，可以通过图像识别模块利用识别模型对门牌标识图片进行分析，得到房间的标识信息，进一步将房间的标识信息与住宿管理数据库中存储的信息进行匹配，确定房间是否需要清洁，在确定房间需要清洁的情况下，通过控制模块控制扫地机器人对房间进行打扫。与现有技术相比，通过优异的图像辨识能力，使得扫地机器人根据数据库中需要清洁的房间，并结合用户挂出的是否清洁标识，对酒店内房间进行自动清洁，达到了提高扫地机器人对不同酒店的适应性，节省酒店运营成本的技术效果，进而解决了现有技术中扫地机器人的控制方法适用性差的技术问题。
可选地，本发明上述实施例中，图像识别模块还用于对门牌标识图片进行紧致化处理，得到处理后的门牌标识图片；利用识别模型对处理后的门牌标识图片进行分析，得到处理后的门牌标识图片的标签得分矩阵；对处理后的门牌标识图片的标签得分矩阵进行分析，得到房间的标识信息。
可选地，本发明上述实施例中，图像识别模块还用于门牌图片和清洁标志图片，其中，对处理后的门牌标识图片的标签得分矩阵进行分析，得到房间的标识信息，包括：对门牌图片的标签得分矩阵进行分析，得到门牌字符串信息；对清洁标志图片的标签得分矩阵进行分析，得到清洁信息。
可选地，本发明上述实施例中，图像识别模块还用于获取多组数据；使用深度学习框架，建立初始模型；利用多组数据对初始模型进行训练，得到识别模型。
可选地，本发明上述实施例中，图像采集模块还用于获取不同场景下的门牌标识图片；图像识别模块还用于对不同场景下的门牌标识图片进行紧致化处理，得到多个样本图片；设置多个样本图像对应的标签矩阵，得到多组数据。
可选地，本发明上述实施例中，图像识别模块还用于利用多组数据，通过反向传播算法和梯度下降算法对初始模型进行训练；获取训练好的模型的损失函数值；判断损失函数值是否满足预设条件；如果损失函数不满足预设条件，则继续对初始模型进行训练，直至损失函数满足预设条件；如果损失函数满足预设条件，则确定训练好的模型为识别模型。
可选地，本发明上述实施例中，图像识别模块还用于获取处理后的门牌标识图片中的字符图像块；基于标签得分矩阵，判断字符图像块中包含的字符串是否完整；如果字符图像块中包含的字符串完整，则获取字符图像块中包含的字符，得到房间的标识信息。
可选地，本发明上述实施例中，图像识别模块还用于如果字符图像块中包含的字符串不完整，对字符图像块进行精细化分析；利用联合投票方法对分析后的字符图像块进行处理，确定字符图像块中包含的字符串；获取字符图像块中包含的字符串，得到房间的标识信息。
可选地，本发明上述实施例中，图像识别模块还用于获取住宿管理数据库中门牌字符串信息对应的住宿信息；判断住宿信息是否为已住宿，且清洁信息是否为需要清洁；如果住宿信息是已住宿，且清洁信息是需要清洁，则确定房间需要清洁。
可选地，本发明上述实施例中，控制模块还用于获取住宿管理数据库中存储的房间的开锁密码；通过开锁密码控制房间的门锁打开；控制扫地机器人对房间进行打扫。
可选地，本发明上述实施例中，控制模块还用于通过预设清洁策略控制扫地机器人对房间进行打扫，其中，预设清洁策略包括如下一种或多种：自动行驶策略、路径规划策略和障碍避让策略。
实施例3
根据本发明实施例，提供了一种存储介质的实施例，存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述实施例1中的扫地机器人的控制方法。
实施例4
根据本发明实施例，提供了一种处理器的实施例，处理器用于运行程序，其中，程序运行时执行上述实施例1中的扫地机器人的控制方法。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (14)

1.一种扫地机器人的控制方法，其特征在于，包括：
获取房间的门牌标识图片；
利用识别模型对所述门牌标识图片进行分析，得到所述房间的标识信息，其中，所述房间的标识信息包括：门牌字符串信息和清洁信息，所述识别模型是使用多组数据通过机器学习训练出的，所述多组数据中的每组数据均包括：房间的门牌标识图片和所述门牌标识图片中每个像素点的字符类别的标签矩阵；
将所述房间的标识信息与住宿管理数据库中存储的信息进行匹配，确定所述房间是否需要清洁；
在确定所述房间需要清洁的情况下，控制扫地机器人对所述房间进行打扫。
2.根据权利要求1所述的方法，其特征在于，利用识别模型对所述门牌标识图片进行分析，得到所述房间的标识信息，包括：
对所述门牌标识图片进行紧致化处理，得到处理后的门牌标识图片；
利用所述识别模型对所述处理后的门牌标识图片进行分析，得到所述处理后的门牌标识图片的标签得分矩阵；
对所述处理后的门牌标识图片的标签得分矩阵进行分析，得到所述房间的标识信息。
3.根据权利要求2所述的方法，其特征在于，所述处理后的门牌标识图片包括：门牌图片和清洁标志图片，其中，对所述处理后的门牌标识图片的标签得分矩阵进行分析，得到所述房间的标识信息，包括：
对所述门牌图片的标签得分矩阵进行分析，得到所述门牌字符串信息；
对所述清洁标志图片的标签得分矩阵进行分析，得到所述清洁信息。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
获取所述多组数据；
使用深度学习框架，建立初始模型；
利用所述多组数据对所述初始模型进行训练，得到所述识别模型。
5.根据权利要求4所述的方法，其特征在于，获取所述多组数据，包括：
获取不同场景下的门牌标识图片；
对所述不同场景下的门牌标识图片进行紧致化处理，得到多个样本图片；
设置所述多个样本图像对应的标签矩阵，得到所述多组数据。
6.根据权利要求4所述的方法，其特征在于，利用所述多组数据对所述初始模型进行训练，得到所述识别模型，包括：
利用所述多组数据，通过反向传播算法和梯度下降算法对所述初始模型进行训练；
获取训练好的模型的损失函数值；
判断所述损失函数值是否满足预设条件；
如果所述损失函数不满足所述预设条件，则继续对所述初始模型进行训练，直至所述损失函数满足所述预设条件；
如果所述损失函数满足所述预设条件，则确定所述训练好的模型为所述识别模型。
7.根据权利要求2所述的方法，其特征在于，对所述处理后的门牌标识图片的标签得分矩阵进行分析，得到所述房间的标识信息，包括：
获取所述处理后的门牌标识图片中的字符图像块；
基于所述标签得分矩阵，判断所述字符图像块中包含的字符串是否完整；
如果所述字符图像块中包含的字符串完整，则获取所述字符图像块中包含的字符，得到所述房间的标识信息。
8.根据权利要求7所述的方法，其特征在于，如果所述字符图像块中包含的字符串不完整，所述方法还包括：
对所述字符图像块进行精细化分析；
利用联合投票方法对分析后的字符图像块进行处理，确定所述字符图像块中包含的字符串；
获取所述字符图像块中包含的字符串，得到所述房间的标识信息。
9.根据权利要求1所述的方法，其特征在于，将所述房间的标识信息与住宿管理数据库中存储的信息进行匹配，确定所述房间是否需要清洁，包括：
获取所述住宿管理数据库中所述门牌字符串信息对应的住宿信息；
判断所述住宿信息是否为已住宿，且所述清洁信息是否为需要清洁；
如果所述住宿信息是已住宿，且所述清洁信息是需要清洁，则确定所述房间需要清洁。
10.根据权利要求1所述的方法，其特征在于，控制扫地机器人对所述房间进行打扫，包括：
获取所述住宿管理数据库中存储的所述房间的开锁密码；
通过所述开锁密码控制所述房间的门锁打开；
控制所述扫地机器人对所述房间进行打扫。
11.根据权利要求10所述的方法，其特征在于，控制所述扫地机器人对所述房间进行打扫，包括：
通过预设清洁策略控制所述扫地机器人对所述房间进行打扫，其中，所述预设清洁策略包括如下一种或多种：自动行驶策略、路径规划策略和障碍避让策略。
12.一种扫地机器人的控制系统，其特征在于，包括：
图像采集模块，用于获取房间的门牌标识图片；
图像识别模块，与所述图像采集模块连接，用于利用识别模型对所述门牌标识图片进行分析，得到所述房间的标识信息，将所述房间的标识信息与住宿管理数据库中存储的信息进行匹配，确定所述房间是否需要清洁，其中，所述房间的标识信息包括：门牌字符串信息和清洁信息，所述识别模型是使用多组数据通过机器学习训练出的，所述多组数据中的每组数据均包括：房间的门牌标识图片和所述门牌标识图片中每个像素点的字符类别的标签矩阵；
控制模块，与所述图像识别模块连接，用于在确定所述房间需要清洁的情况下，控制扫地机器人对所述房间进行打扫。
13.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至11中任意一项所述的扫地机器人的控制方法。
14.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至11中任意一项所述的扫地机器人的控制方法。
CN201810942531.0A 2018-08-17 2018-08-17 扫地机器人的控制方法和系统 Active CN110837829B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810942531.0A CN110837829B (zh) 2018-08-17 2018-08-17 扫地机器人的控制方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810942531.0A CN110837829B (zh) 2018-08-17 2018-08-17 扫地机器人的控制方法和系统

Publications (2)

Publication Number Publication Date
CN110837829A true CN110837829A (zh) 2020-02-25
CN110837829B CN110837829B (zh) 2022-09-23

Family

ID=69573670

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810942531.0A Active CN110837829B (zh) 2018-08-17 2018-08-17 扫地机器人的控制方法和系统

Country Status (1)

Country Link
CN (1) CN110837829B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112462780A (zh) * 2020-11-30 2021-03-09 深圳市杉川致行科技有限公司 扫地控制方法、装置、扫地机器人及计算机可读存储介质
US20210195286A1 (en) * 2019-12-19 2021-06-24 Sling Media Pvt Ltd Method and system for analyzing live broadcast video content with a machine learning model implementing deep neural networks to quantify screen time of displayed brands to the viewer
CN114246512A (zh) * 2020-09-25 2022-03-29 苏州三六零机器人科技有限公司 扫地机清扫方法、装置、扫地机和计算机存储介质

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020150449A1 (en) * 1996-03-26 2002-10-17 Semitool, Inc. Automated semiconductor processing system
US20040215410A1 (en) * 2003-04-25 2004-10-28 Johan Siegers System and method for fingerprinting of semiconductor processing tools
TW200919210A (en) * 2007-07-18 2009-05-01 Steven Kays Adaptive electronic design
CN101767702A (zh) * 2010-01-07 2010-07-07 北京理工大学 一种垃圾智能分类收取装置及方法
CN103211557A (zh) * 2012-01-19 2013-07-24 德国福维克控股公司 可自动行驶的设备及其运行方法
CN103824222A (zh) * 2013-12-17 2014-05-28 武汉瑞普思信息技术有限公司 一种基于多媒体采集终端的骗保行为鉴别方法及系统
CN104469551A (zh) * 2014-10-23 2015-03-25 杨坚龙 楼宇对讲系统以及该系统的通信方法以及通信装置
US20150242427A1 (en) * 2014-02-21 2015-08-27 Samsung Electronics Co., Ltd. Device and method for recommending content based on interest information
CN105551125A (zh) * 2016-01-11 2016-05-04 吴新建 城市安全系统的控制方法及该城市安全系统
CN106294823A (zh) * 2016-08-17 2017-01-04 上海云信留客信息科技有限公司 用于大数据清洗的异常检测和消除的方法
CN106327408A (zh) * 2016-11-02 2017-01-11 浙江天地人科技有限公司 一种电子门牌及房屋人员管理系统
CN106774302A (zh) * 2016-11-23 2017-05-31 河池学院 一种扫地机器人规避障碍物的方法
CN107193247A (zh) * 2017-06-05 2017-09-22 深圳市丰巨泰科电子有限公司 一种智慧酒店系统
CN107239778A (zh) * 2017-06-09 2017-10-10 中国科学技术大学 高效准确的车牌识别方法
CN107510416A (zh) * 2017-08-31 2017-12-26 辽宁石油化工大学 扫地机器人的节能方法及扫地机器人
CN108107886A (zh) * 2017-11-29 2018-06-01 珠海格力电器股份有限公司 扫地机器人的行驶控制方法及装置、扫地机器人
CN108171147A (zh) * 2017-12-26 2018-06-15 新智数字科技有限公司 一种目标识别的方法、装置及设备
CN108287508A (zh) * 2018-02-06 2018-07-17 青岛酒店管理职业技术学院 基于物联网的酒店客房控制系统
CN108345854A (zh) * 2018-02-08 2018-07-31 腾讯科技（深圳）有限公司 基于图像分析的信息处理方法、装置、系统及存储介质

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020150449A1 (en) * 1996-03-26 2002-10-17 Semitool, Inc. Automated semiconductor processing system
US20040215410A1 (en) * 2003-04-25 2004-10-28 Johan Siegers System and method for fingerprinting of semiconductor processing tools
TW200919210A (en) * 2007-07-18 2009-05-01 Steven Kays Adaptive electronic design
CN101767702A (zh) * 2010-01-07 2010-07-07 北京理工大学 一种垃圾智能分类收取装置及方法
CN103211557A (zh) * 2012-01-19 2013-07-24 德国福维克控股公司 可自动行驶的设备及其运行方法
CN103824222A (zh) * 2013-12-17 2014-05-28 武汉瑞普思信息技术有限公司 一种基于多媒体采集终端的骗保行为鉴别方法及系统
US20150242427A1 (en) * 2014-02-21 2015-08-27 Samsung Electronics Co., Ltd. Device and method for recommending content based on interest information
CN104469551A (zh) * 2014-10-23 2015-03-25 杨坚龙 楼宇对讲系统以及该系统的通信方法以及通信装置
CN105551125A (zh) * 2016-01-11 2016-05-04 吴新建 城市安全系统的控制方法及该城市安全系统
CN106294823A (zh) * 2016-08-17 2017-01-04 上海云信留客信息科技有限公司 用于大数据清洗的异常检测和消除的方法
CN106327408A (zh) * 2016-11-02 2017-01-11 浙江天地人科技有限公司 一种电子门牌及房屋人员管理系统
CN106774302A (zh) * 2016-11-23 2017-05-31 河池学院 一种扫地机器人规避障碍物的方法
CN107193247A (zh) * 2017-06-05 2017-09-22 深圳市丰巨泰科电子有限公司 一种智慧酒店系统
CN107239778A (zh) * 2017-06-09 2017-10-10 中国科学技术大学 高效准确的车牌识别方法
CN107510416A (zh) * 2017-08-31 2017-12-26 辽宁石油化工大学 扫地机器人的节能方法及扫地机器人
CN108107886A (zh) * 2017-11-29 2018-06-01 珠海格力电器股份有限公司 扫地机器人的行驶控制方法及装置、扫地机器人
CN108171147A (zh) * 2017-12-26 2018-06-15 新智数字科技有限公司 一种目标识别的方法、装置及设备
CN108287508A (zh) * 2018-02-06 2018-07-17 青岛酒店管理职业技术学院 基于物联网的酒店客房控制系统
CN108345854A (zh) * 2018-02-08 2018-07-31 腾讯科技（深圳）有限公司 基于图像分析的信息处理方法、装置、系统及存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210195286A1 (en) * 2019-12-19 2021-06-24 Sling Media Pvt Ltd Method and system for analyzing live broadcast video content with a machine learning model implementing deep neural networks to quantify screen time of displayed brands to the viewer
US11748785B2 (en) * 2019-12-19 2023-09-05 Dish Network Technologies India Private Limited Method and system for analyzing live broadcast video content with a machine learning model implementing deep neural networks to quantify screen time of displayed brands to the viewer
CN114246512A (zh) * 2020-09-25 2022-03-29 苏州三六零机器人科技有限公司 扫地机清扫方法、装置、扫地机和计算机存储介质
CN112462780A (zh) * 2020-11-30 2021-03-09 深圳市杉川致行科技有限公司 扫地控制方法、装置、扫地机器人及计算机可读存储介质
CN112462780B (zh) * 2020-11-30 2024-05-21 深圳市杉川致行科技有限公司 扫地控制方法、装置、扫地机器人及计算机可读存储介质

Also Published As

Publication number Publication date
CN110837829B (zh) 2022-09-23

Similar Documents

Publication Publication Date Title
CN109766872B (zh) 图像识别方法和装置
CN110837829B (zh) 扫地机器人的控制方法和系统
CN109190586B (zh) 顾客到访分析方法、装置及存储介质
CN106844614A (zh) 一种户型图功能区域快速识别系统
CN112562161A (zh) 一种基于5g物联网及ai智能门禁综合管理系统
CN105953520B (zh) 智能冰箱控制方法及其控制系统
CN108647671B (zh) 一种光学标识视觉识别方法及基于该方法的无人售货柜
DE112019001151T5 (de) Artikelaktualisierungsverfahren und -vorrichtung und aufbewahrungsgerät
DE112019001145T5 (de) Artikelaktualisierungsverfahren und aufbewahrungsvorrichtung
CN109829072A (zh) 构建图谱方法及相关装置
CN108921038A (zh) 一种基于深度学习人脸识别技术的课堂快速点名签到方法
CN107885637B (zh) 一种服务器异常检测方法及装置
CN109409377A (zh) 图像中文字的检测方法及装置
CN113256450A (zh) 基于数据分析和视频识别的智能酒店管理系统
CN109145801A (zh) 一种人脸识别方法及人脸识别系统
CN111046213B (zh) 一种基于图像识别的知识库构建方法
EP3885987A1 (en) Systems and methods for creating a story board with forensic video analysis on a video repository
CN101415028A (zh) 一种医学媒介生物远程鉴定与预警分析系统
CN106714099A (zh) 照片信息处理及景点识别方法、客户端、服务器
CN115983873B (zh) 一种基于大数据的用户数据分析管理系统及方法
CN114969135B (zh) 一种个性化旅游路线推荐方法、设备及介质
CN115171153A (zh) 对象类型的确定方法、装置、存储介质及电子装置
CN109064530A (zh) 人物动画合成方法、装置及终端
CN112905874B (zh) 房源检索方法、装置、存储介质及设备
CN114092724A (zh) 一种基于图像识别技术的工程监理方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant