CN111839360A - 扫地机数据处理方法、装置、设备及计算机可读介质 - Google Patents

扫地机数据处理方法、装置、设备及计算机可读介质 Download PDF

Info

Publication number
CN111839360A
CN111839360A CN202010576664.8A CN202010576664A CN111839360A CN 111839360 A CN111839360 A CN 111839360A CN 202010576664 A CN202010576664 A CN 202010576664A CN 111839360 A CN111839360 A CN 111839360A
Authority
CN
China
Prior art keywords
material type
support vector
vector machine
signal
sweeper
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010576664.8A
Other languages
English (en)
Other versions
CN111839360B (zh
Inventor
谭泽汉
朱莹莹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gree Electric Appliances Inc of Zhuhai
Zhuhai Lianyun Technology Co Ltd
Original Assignee
Gree Electric Appliances Inc of Zhuhai
Zhuhai Lianyun Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gree Electric Appliances Inc of Zhuhai, Zhuhai Lianyun Technology Co Ltd filed Critical Gree Electric Appliances Inc of Zhuhai
Priority to CN202010576664.8A priority Critical patent/CN111839360B/zh
Publication of CN111839360A publication Critical patent/CN111839360A/zh
Priority to PCT/CN2020/140491 priority patent/WO2021258698A1/zh
Application granted granted Critical
Publication of CN111839360B publication Critical patent/CN111839360B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/24Floor-sweeping machines, motor-driven
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4011Regulation of the cleaning machine by electric means; Control systems and remote control systems therefor
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本申请涉及一种扫地机数据处理方法、装置、设备及计算机可读介质。该方法包括:获取安装在扫地机上的毫米波雷达传感器接收到的反射信号;提取反射信号中的信号特征,信号特征用于表征反射信号的波动信息;利用第一支持向量机对信号特征进行识别;根据第一支持向量机对信号特征的识别结果确定物体的材质类型。本申请可以通过毫米波雷达检测不同材质的物体,识别水面、塑料袋、抹布、宠物粪便等软体材质物,及时避障。同时无需搭载视觉传感器,可以加快处理速度,减少扫地机占用面积,同时解决用户的隐私问题。

Description

扫地机数据处理方法、装置、设备及计算机可读介质
技术领域
本申请涉及扫地机器人技术领域,尤其涉及一种扫地机数据处理方法、装置、设备及计算机可读介质。
背景技术
随着社会的不断发展,人们日渐趋向于生活品质的追求,这促使了扫地机器人进入千家万户。扫地机器人在清扫过程中,软体障碍物(没有固定形状,质量较轻的障碍物,例如拖鞋、袜子、电线、抹布等)会给扫地机器人造成清扫障碍,因为轻体障碍物由于质地轻柔,无法触发机身侧面的碰撞传感器,这种情况下普通扫地机无法处理复杂的家庭环境,造成缠绕袜子、电线、塑料袋等轻体障碍物,容易被困,造成扫地机损伤,甚至遇到宠物粪便会造成室内的二次污染。
目前,相关技术中,常常利用视觉传感器(摄像头)辅助机器人实现针对此类障碍物的避障功能,但软件和处理要求复杂,需要很强的处理器支撑,且增大了扫地机的体积、重量和占用面积,同时会给用户的隐私带来威胁,近年来有关摄像头的隐私泄露事件时有发生,不少人患上了“摄像头焦虑症”,在不使用视觉传感器辅助时又无法很好地识别软体障碍物。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本申请提供了一种扫地机数据处理方法、装置、设备及计算机可读介质,以解决上述“不能识别软体障碍物”的技术问题。
第一方面,本申请提供了一种扫地机数据处理方法,包括:获取安装在扫地机上的毫米波雷达传感器接收到的反射信号,反射信号为毫米波雷达传感器发送发射信号后在物体上反射形成的信号;提取反射信号中的信号特征,信号特征用于表征反射信号的波动信息;利用第一支持向量机对信号特征进行识别;根据第一支持向量机对信号特征的识别结果确定物体的材质类型,第一支持向量机是采用具有标记信息的训练数据对第二支持向量机进行训练后得到的,标记信息用于标记训练数据的材质类型,识别结果用于指示物体与各个材质类型的关联关系。
可选地,提取反射信号中的信号特征包括:提取反射信号中的信噪比;将信噪比进行时域转换和/或频域转换,得到信号特征。
可选地,根据第一支持向量机对信号特征的识别结果确定物体的材质类型包括:获取第一支持向量机输出的识别结果,识别结果包括物体属于各个材质类型的预测值;将预测值中的最大值作为最终的识别结果,并将最大值指示的材质类型作为物体最终的材质类型。
可选地,根据第一支持向量机对信号特征的识别结果确定物体的材质类型之前,该方法还包括:通过训练数据对第二支持向量机内各参数进行初始化,得到第三支持向量机;在第三支持向量机对测试数据的识别准确度达到目标阈值的情况下,将第三支持向量机作为第一支持向量机;在第三支持向量机对测试数据的识别准确度未达到目标阈值的情况下,继续使用训练数据对第三支持向量机进行训练,以调整第三支持向量机内各参数的数值,直至第三支持向量机对测试数据的识别准确度达到目标阈值。
可选地,根据第一支持向量机对信号特征的识别结果确定物体的材质类型之后,该方法还包括:在物体的材质类型为预设材质类型的情况下,控制扫地机按照与预设材质类型匹配的目标方式动作。
可选地,预设材质类型为软体材质类型时,在物体的材质类型为预设材质类型的情况下,控制扫地机按照与预设材质类型匹配的目标方式动作包括:提取反射信号中的距离信息、角度信息及径向速度分辨率,信号特征包括距离信息、角度信息及径向速度分辨率;根据距离信息、角度信息及径向速度分辨率确定物体的位置,并识别得到物体的第一形状;在物体的位置处建立虚拟墙,虚拟墙沿第一形状的外接矩形边分布;按照扫地机的行进速度,控制扫地机沿虚拟墙进行清扫。
可选地,在物体的位置处建立虚拟墙还包括:获取第一形状的第一尺寸;获取第一尺寸与膨胀系数的乘积,得到第二尺寸;按照第二尺寸在物体的位置处建立虚拟墙。
可选地,预设材质类型为硬质材质类型时,物体的材质类型为预设材质类型的情况下,控制扫地机按照与预设材质类型匹配的目标方式动作还包括:控制扫地机对物体进行碰撞,以使扫地机沿物体的边缘进行清扫。
第二方面,本申请提供了一种扫地机数据处理装置,包括:信号获取模块,用于获取安装在扫地机上的毫米波雷达传感器接收到的反射信号,反射信号为毫米波雷达传感器发送发射信号后在物体上反射形成的信号;特征提取模块,用于提取反射信号中的信号特征,信号特征用于表征反射信号的波动信息;识别模块,用于利用第一支持向量机对信号特征进行识别;材质判别模块,用于根据第一支持向量机对信号特征的识别结果确定物体的材质类型,第一支持向量机是采用具有标记信息的训练数据对第二支持向量机进行训练后得到的,标记信息用于标记训练数据的材质类型,识别结果用于指示物体与各个材质类型的关联关系。
第三方面,本申请提供了一种计算机设备,包括存储器、处理器,存储器中存储有可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述第一方面任一项方法的步骤。
第四方面,本申请还提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质,程序代码使处理器执行上述第一方面任一方法。
本申请实施例提供的上述技术方案与相关技术相比具有如下优点:
本申请通过获取安装在扫地机上的毫米波雷达传感器接收到的反射信号,提取反射信号中的信号特征,利用第一支持向量机对信号特征进行识别,根据第一支持向量机对信号特征的识别结果确定物体的材质类型的技术方案,可以通过毫米波雷达检测不同材质的物体,识别水面、塑料袋、抹布、宠物粪便等软体材质物,及时避障。同时无需搭载视觉传感器,可以加快处理速度,减少扫地机占用面积,同时解决用户的隐私问题。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或相关技术中的技术方案,下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为根据本申请实施例提供的一种可选的扫地机数据处理方法硬件环境示意图;
图2为根据本申请实施例提供的一种可选的扫地机数据处理方法流程图;
图3为根据本申请实施例提供的一种可选的扫地机数据处理装置框图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
在后续的描述中,使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本申请的说明,其本身并没有特定的意义。因此,“模块”与“部件”可以混合地使用。
相关技术中,虽然可以利用视觉传感器(摄像头)辅助机器人实现针对软体障碍物进行识别以进一步避障的功能,但软件和处理要求复杂,需要很强的处理器支撑,且增大了扫地机的体积、重量和占用面积,同时会给用户的隐私带来威胁,近年来有关摄像头的隐私泄露事件时有发生,不少人患上了“摄像头焦虑症”,在不使用视觉传感器辅助时又无法很好地识别软体障碍物。
根据本申请实施例的一方面,提供了一种扫地机数据处理方法的实施例。
可选地,在本申请实施例中,上述扫地机数据处理方法可以应用于如图1所示的由终端101和服务器103所构成的硬件环境中。如图1所示,服务器103通过网络与终端101进行连接,可用于为终端或终端上安装的客户端提供服务,可在服务器上或独立于服务器设置数据库105,用于为服务器103提供数据存储服务,上述网络包括但不限于:广域网、城域网或局域网,终端101包括但不限于智能扫地机等。
本申请实施例中的一种扫地机数据处理方法可以由服务器103来执行,还可以是由服务器103和终端101共同执行,如图2所示,该方法可以包括以下步骤:
步骤S202,获取安装在扫地机上的毫米波雷达传感器接收到的反射信号,反射信号为毫米波雷达传感器发送发射信号后在物体上反射形成的信号。
本申请实施例中,毫米波雷达,是工作在毫米波波段(millimeter wave)探测的雷达。通常毫米波是指30~300GHz频域(波长为1~10mm)的。毫米波的波长介于微波和厘米波之间,因此毫米波雷达兼有微波雷达和光电雷达的一些优点,毫米波导引头体积小、质量轻、空间分辨率高,能分辨识别很小的目标,而且能同时识别多个目标,具有成像能力。
本申请实施例中的提及到的毫米波雷达是指毫米波雷达模块,主要包括:天线、收发模块、信号处理模块等,安装在扫地机上,可以在各种环境下检测障碍物体的距离、角度及雷达发射电磁波与障碍物的距离变化率(即径向速度分辨率),同时能够减少错误检测、提供高精度的位置和行进路线数据,保持数据采集的隐私性。同时,集成模块将所有特性集中在单个芯片上,可以实现本地处理。毫米波雷达模块可以同时提供距离、角度、速度、信噪比,可以准确地确认物体位置、扫地机行走方向、前方障碍物材质等信息。本申请实施例中,还可以在毫米波雷达传感器中嵌入处理内核,以实时处理数据,实现实时基于物体大小和运动状态对物体材质进行分类等功能。
步骤S204,提取反射信号中的信号特征,信号特征用于表征反射信号的波动信息。
本申请实施例中,不同材质类型的物体所反射的信号具有不同的波动范围,提取表征反射信号的波动信息的信号特征,能够利用该特征识别得到物体的材质。
本申请实施例中,信号特征可以包括信噪比、角度信息、距离信息及径向速度分辨率。
步骤S206,利用第一支持向量机对信号特征进行识别。
本申请实施例中,支持向量机是一种基于统计学习理论的机器学习方法,针对小样本情况表现出了优良的性能,其建立在严格的理论基础之上,较好地解决了非线性高维数,局部极小点等问题。本申请实施例中利用支持向量机对于分类问题的良好性能,采用支持向量机对信号特征进行识别,还可以采用神经网络模型及其他分类算法,在此不再赘述。
本申请实施例中,利用第一支持向量机对信号特征进行识别,可以对信噪比进行识别,还可以对信噪比、角度信息、距离信息及径向速度分辨率的组合进行识别,其中,信噪比为必不可少的识别项,在信号特征组合识别时,可以对每种特征分配不同的权重,信噪比拥有最高的权重,各个特征参数的权重可以根据实际情况进行调整。
步骤S208,根据第一支持向量机对信号特征的识别结果确定物体的材质类型,第一支持向量机是采用具有标记信息的训练数据对第二支持向量机进行训练后得到的,标记信息用于标记训练数据的材质类型,识别结果用于指示物体与各个材质类型的关联关系。
本申请实施例中,标记信息至少标识出各个训练数据的材质类型。类似地,识别结果至少为训练数据属于各个材质类型的概率值,用来指示其所属的材质类型。
本申请技术方案中,考虑到考虑到雷达信号灵敏度高、无需直接接触、可穿透性强等特点,特别是芯片级的毫米波雷达的出现,使得消费级雷达信号的可用性大大增强;因此,本申请使用毫米波雷达信号进行障碍物检测,结合支持向量机分类技术,识别并确定障碍物的材质类型,由于毫米波雷达不生成图像感光数据,因此不仅可以在识别得到障碍物材质类型,甚至还可以保护用户隐私,解决相关技术中隐私安全性较低的问题,进而达到无需采用视觉传感器识别障碍物材质类型,且保护用户隐私的技术效果。
本申请提出了一种提取反射信号中的信噪比以供支持向量机进行识别的方法。下面结合图2所示的步骤进一步详述本申请的技术方案。
可选地,步骤S204提供的技术方案中,提取反射信号中的信号特征可以包括:
步骤1,提取反射信号中的信噪比;
步骤2,将信噪比进行时域转换和/或频域转换,得到信号特征。
本申请实施例中,毫米波雷达的发射信号在不同材质的物体上会反射出不同信噪比值的信号,不同材质的信噪比值的波动范围不一样,这是区分各个材质的重要依据,可以对各个材质的信噪比值进行时域与频域的转换,作为该信号特征。信噪比的提取方式为:
Figure BDA0002551299230000081
其中,pt为发射输出功率,GRx、GTx为RX和TX天线增益,c为光速,σ为RCS of theobject即雷达照射物体的横截面,RCS是对象反射回来的能量的量度,这决定了雷达传感器对物体的可检测性,N为脉冲调频的数量,Tr为脉冲调频的时间,k为玻尔兹曼常数,T为环境温度,NF为接收器噪声系数,SNRdet为算法检测物体所需的最小信噪比的值。
本申请还提出了一种利用支持向量机对信号特征的识别结果确定障碍物材质类型的方法,下面结合图2所示的步骤,进一步详述本申请的技术方案。
可选地,步骤S208提供的技术方案中,根据第一支持向量机对信号特征的识别结果确定物体的材质类型可以包括以下步骤:
步骤1,获取第一支持向量机输出的识别结果,识别结果包括物体属于各个材质类型的预测值;
步骤2,将预测值中的最大值作为最终的识别结果,并将最大值指示的材质类型作为物体最终的材质类型。
本申请实施例中,预先训练好的第一支持向量机根据信号特征中波动信息预测障碍物属于各个材质类型的概率,并将概率最大的一种材质类型作为障碍物最终的材质类型。
本申请还提出了一种训练本申请实施例中所用的第一支持向量机的方法。
可选地,根据第一支持向量机对信号特征的识别结果确定物体的材质类型之前,该方法还包括:通过训练数据对第二支持向量机内各参数进行初始化,得到第三支持向量机;在第三支持向量机对测试数据的识别准确度达到目标阈值的情况下,将第三支持向量机作为第一支持向量机;在第三支持向量机对测试数据的识别准确度未达到目标阈值的情况下,继续使用训练数据对第三支持向量机进行训练,以调整第三支持向量机内各参数的数值,直至第三支持向量机对测试数据的识别准确度达到目标阈值。
本申请实施例中,可以获取多个毫米波雷达发射信号在多个障碍物上进行反射后的反射信号作为训练样本,每个训练样本中包括该训练样本的信噪比、角度信息、距离信息以及径向速度分辨率等,并标注该训练样本对应的障碍物的材质类型。训练数据可以来自于实际家庭场景下,采集多组数据,按照材质类型,即按照硬质物体(地板、水面、木板、金属)与软体物质(电线、塑料袋、抹布、宠物粪便)划分,并按照类别进行标注,还可以按照实际需要进行适应性调整。利用上述训练数据初始化第二支持向量机,得到第三支持向量机,并训练该第三支持向量机,直至该第三支持向量机收敛,得到第一神支持向量机。
可选地,对于障碍物材质类型的识别,上述训练该第三支持向量机,直至该第三支持向量机收敛可以包括:
分别将每一个训练样本输入第三支持向量机,得到障碍物材质类型的训练预测值;
根据多个训练预测值和对应的训练样本中的实际材质类型之间的差异确定损失值;
利用多个损失值修正第三支持向量机,直至第三支持向量机输出结果的精度达到目标阈值。
可选地,本申请实施例还可以使用遗传优化算法对支持向量机的参数进行优化,将优化后参数进行存储。优化支持向量机参数的算法还可以是蚁群等优化算法。
本申请还提出了一种根据第一支持向量机对信号特征的识别结果确定障碍物的材质类型之后,控制扫地机进一步清扫的方法。
可选地,根据第一支持向量机对信号特征的识别结果确定物体的材质类型之后,该方法还包括:
在物体的材质类型为预设材质类型的情况下,控制扫地机按照与预设材质类型匹配的目标方式动作。
可选地,预设材质类型为软体材质类型时,在物体的材质类型为预设材质类型的情况下,控制扫地机按照与预设材质类型匹配的目标方式动作可以包括以下步骤:
步骤1,提取反射信号中的距离信息、角度信息及径向速度分辨率,信号特征包括距离信息、角度信息及径向速度分辨率;
步骤2,根据距离信息、角度信息及径向速度分辨率确定物体的位置,并识别得到物体的第一形状;
步骤3,在物体的位置处建立虚拟墙,虚拟墙沿第一形状的外接矩形边分布;
步骤4,按照扫地机的行进速度,控制扫地机沿虚拟墙进行清扫。
本申请实施例中,对于软体材质的障碍物,需要绕开,避免接触后损伤扫地机甚至造成二次污染,但是软体材质的障碍物无法触发扫地机机身周围的传感器,于是可以通过建立虚拟墙,来模拟扫地机碰撞虚拟墙从而改变行进方向。反射信号中的距离信息、角度信息及径向速度分辨率可以大致识别到障碍物所在的位置和大致的形状,根据障碍物大致的形状确定该形状的外接矩形,利用外接矩形生成虚拟墙,确保包围整个障碍物,或者还可以根据实际需要进一步扩大虚拟墙的范围。最后控制扫地机“碰撞”虚拟墙,并沿虚拟墙进行清扫。
可选地,在物体的位置处建立虚拟墙还可以包括以下步骤:
步骤1,获取第一形状的第一尺寸;
步骤2,获取第一尺寸与膨胀系数的乘积,得到第二尺寸;
步骤3,按照第二尺寸在物体的位置处建立虚拟墙。
本申请实施例中,不同的软体材质的障碍物产生的虚拟墙不同,虚拟墙根据障碍物的大致形状生成,但虚拟墙的范围可以大于识别到的障碍物的大致形状,因此可以将障碍物的第一形状(大致形状)乘以膨胀系数,对第一形状进行膨胀、扩大,在完全包围障碍物的情况下生成虚拟墙,优选的,膨胀系数可以预设为1.0至1.5。
可选地,预设材质类型为硬质材质类型时,物体的材质类型为预设材质类型的情况下,控制扫地机按照与预设材质类型匹配的目标方式动作还包括:控制扫地机对物体进行碰撞,以使扫地机沿物体的边缘进行清扫。
本申请实施例中,对于硬质材质的障碍物,直接控制扫地机碰撞障碍物,触发扫地机机身周围的传感器,以使扫地机沿障碍物的边缘进行清扫。
下面以本申请技术方案在实际扫地机清扫时的应用作为简要说明,本申请技术方案的实施过程如下:
步骤1,扫地机开始行走;
步骤2,扫地机行走过程中毫米波雷达采集障碍物信息;
步骤3,扫地机控制器提取信号特征,分析数据;
步骤4,为各个信号特征分配权重,进行数据融合;
步骤5,利用分类器(第一支持向量机)得出障碍物材质类型;
步骤6,反馈给扫地机;
步骤7,控制扫地机按照目标方式进行清扫。
本申请通过获取安装在扫地机上的毫米波雷达传感器接收到的反射信号,提取反射信号中的信号特征,利用第一支持向量机对信号特征进行识别,根据第一支持向量机对信号特征的识别结果确定物体的材质类型的技术方案,可以通过毫米波雷达检测不同材质的物体,识别水面、塑料袋、抹布、宠物粪便等软体材质物,及时避障。同时无需搭载视觉传感器,可以加快处理速度,减少扫地机占用面积,同时解决用户的隐私问题。
根据本申请实施例的又一方面,如图3所示,提供了一种扫地机数据处理装置,包括:信号获取模块301,用于获取安装在扫地机上的毫米波雷达传感器接收到的反射信号,反射信号为毫米波雷达传感器发送发射信号后在物体上反射形成的信号;特征提取模块303,用于提取反射信号中的信号特征,信号特征用于表征反射信号的波动信息;识别模块305,用于利用第一支持向量机对信号特征进行识别;材质判别模块307,用于根据第一支持向量机对信号特征的识别结果确定物体的材质类型,第一支持向量机是采用具有标记信息的训练数据对第二支持向量机进行训练后得到的,标记信息用于标记训练数据的材质类型,识别结果用于指示物体与各个材质类型的关联关系。
需要说明的是,该实施例中的信号获取模块301可以用于执行本申请实施例中的步骤S202,该实施例中的特征提取模块303可以用于执行本申请实施例中的步骤S204,该实施例中的识别模块305可以用于执行本申请实施例中的步骤S206,该实施例中的材质判别模块307可以用于执行本申请实施例中的步骤S208。
此处需要说明的是,上述模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例所公开的内容。需要说明的是,上述模块作为装置的一部分可以运行在如图1所示的硬件环境中,可以通过软件实现,也可以通过硬件实现。
可选地,该扫地机数据处理装置,还包括:信噪比提取模块,用于提取反射信号中的信噪比;转换模块,用于将信噪比进行时域转换和/或频域转换,得到信号特征。
可选地,该扫地机数据处理装置,还包括:识别结果获取模块,用于获取第一支持向量机输出的识别结果,识别结果包括物体属于各个材质类型的预测值;结果确定模块,用于将预测值中的最大值作为最终的识别结果,并将最大值指示的材质类型作为物体最终的材质类型。
可选地,该扫地机数据处理装置,还包括:第一训练模块,用于通过训练数据对第二支持向量机内各参数进行初始化,得到第三支持向量机;第二训练模块,用于在第三支持向量机对测试数据的识别准确度达到目标阈值的情况下,将第三支持向量机作为第一支持向量机;第三训练模块,用于在第三支持向量机对测试数据的识别准确度未达到目标阈值的情况下,继续使用训练数据对第三支持向量机进行训练,以调整第三支持向量机内各参数的数值,直至第三支持向量机对测试数据的识别准确度达到目标阈值。
可选地,该扫地机数据处理装置,还包括:控制模块,用于在物体的材质类型为预设材质类型的情况下,控制扫地机按照与预设材质类型匹配的目标方式动作。
可选地,该扫地机数据处理装置,还包括:信号特征提取模块,用于提取反射信号中的距离信息、角度信息及径向速度分辨率,信号特征包括距离信息、角度信息及径向速度分辨率;位置和形状确定模块,用于根据距离信息、角度信息及径向速度分辨率确定物体的位置,并识别得到物体的第一形状;虚拟墙建立模块,用于在物体的位置处建立虚拟墙,虚拟墙沿第一形状的外接矩形边分布;第一动作模块,用于按照扫地机的行进速度,控制扫地机沿虚拟墙进行清扫。
可选地,该扫地机数据处理装置,还包括:第一尺寸获取模块,用于获取第一形状的第一尺寸;第二尺寸获取模块,用于获取第一尺寸与膨胀系数的乘积,得到第二尺寸;虚拟墙确定模块,用于按照第二尺寸在物体的位置处建立虚拟墙。
可选地,该扫地机数据处理装置,还包括:第二动作模块,用于控制扫地机对物体进行碰撞,以使扫地机沿物体的边缘进行清扫。
根据本申请实施例的又一方面还提供了一种计算机设备,包括存储器、处理器,所述存储器中存储有可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述步骤。
上述计算机设备中的存储器、处理器通过通信总线和通信接口进行通信。所述通信总线可以是外设部件互连标准(Peripheral Component Interconnect,简称PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture,简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。
存储器可以包括随机存取存储器(Random Access Memory,简称RAM),也可以包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central ProcessingUnit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(DigitalSignal Processing,简称DSP)、专用集成电路(Application SpecificIntegratedCircuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
根据本申请实施例的又一方面还提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质。
可选地,在本申请实施例中,计算机可读介质被设置为存储用于所述处理器执行以下步骤的程序代码:
步骤S202,获取安装在扫地机上的毫米波雷达传感器接收到的反射信号,反射信号为毫米波雷达传感器发送发射信号后在物体上反射形成的信号;
步骤S204,提取反射信号中的信号特征,信号特征用于表征反射信号的波动信息;
步骤S206,利用第一支持向量机对信号特征进行识别;
步骤S208,根据第一支持向量机对信号特征的识别结果确定物体的材质类型,第一支持向量机是采用具有标记信息的训练数据对第二支持向量机进行训练后得到的,标记信息用于标记训练数据的材质类型,识别结果用于指示物体与各个材质类型的关联关系。
可选地,本实施例中的具体示例可以参考上述实施例中所描述的示例,本实施例在此不再赘述。
本申请实施例在具体实现时,可以参阅上述各个实施例,具有相应的技术效果。
可以理解的是,本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现,处理单元可以实现在一个或多个专用集成电路(ApplicationSpecific Integrated Circuits,ASIC)、数字信号处理器(Digital Signal Processing,DSP)、数字信号处理设备(DSP Device,DSPD)、可编程逻辑设备(Programmable LogicDevice,PLD)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。
对于软件实现,可通过执行本文所述功能的单元来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本申请的具体实施方式,使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (11)

1.一种扫地机数据处理方法,其特征在于,包括:
获取安装在扫地机上的毫米波雷达传感器接收到的反射信号,所述反射信号为所述毫米波雷达传感器发送发射信号后在物体上反射形成的信号;
提取所述反射信号中的信号特征,所述信号特征用于表征所述反射信号的波动信息;
利用第一支持向量机对所述信号特征进行识别;
根据所述第一支持向量机对所述信号特征的识别结果确定所述物体的材质类型,其中,所述第一支持向量机是采用具有标记信息的训练数据对第二支持向量机进行训练后得到的,所述标记信息用于标记所述训练数据的材质类型,所述识别结果用于指示所述物体与各个材质类型的关联关系。
2.根据权利要求1所述的方法,其特征在于,提取所述反射信号中的信号特征包括:
提取所述反射信号中的信噪比;
将所述信噪比进行时域转换和/或频域转换,得到所述信号特征。
3.根据权利要求2所述的方法,其特征在于,根据所述第一支持向量机对所述信号特征的识别结果确定所述物体的材质类型包括:
获取所述第一支持向量机输出的识别结果,其中,所述识别结果包括所述物体属于各个材质类型的预测值;
将所述预测值中的最大值作为最终的识别结果,并将所述最大值指示的材质类型作为所述物体最终的材质类型。
4.根据权利要求1至3中任意一项所述的方法,其特征在于,根据所述第一支持向量机对所述信号特征的识别结果确定所述物体的材质类型之前,所述方法还包括:
通过所述训练数据对所述第二支持向量机内各参数进行初始化,得到第三支持向量机;
在所述第三支持向量机对测试数据的识别准确度达到目标阈值的情况下,将所述第三支持向量机作为所述第一支持向量机;
在所述第三支持向量机对所述测试数据的识别准确度未达到所述目标阈值的情况下,继续使用所述训练数据对所述第三支持向量机进行训练,以调整所述第三支持向量机内各参数的数值,直至所述第三支持向量机对所述测试数据的识别准确度达到所述目标阈值。
5.根据权利要求1至3中任意一项所述的方法,其特征在于,根据所述第一支持向量机对所述信号特征的识别结果确定所述物体的材质类型之后,所述方法还包括:
在所述物体的所述材质类型为预设材质类型的情况下,控制所述扫地机按照与所述预设材质类型匹配的目标方式动作。
6.根据权利要求5所述的方法,其特征在于,所述预设材质类型为软体材质类型时,在所述物体的所述材质类型为预设材质类型的情况下,控制所述扫地机按照与所述预设材质类型匹配的目标方式动作包括:
提取所述反射信号中的距离信息、角度信息及径向速度分辨率,其中,所述信号特征包括所述距离信息、所述角度信息及所述径向速度分辨率;
根据所述距离信息、所述角度信息及所述径向速度分辨率确定所述物体的位置,并识别得到所述物体的第一形状;
在所述物体的位置处建立虚拟墙,其中,所述虚拟墙沿所述第一形状的外接矩形边分布;
按照所述扫地机的行进速度,控制所述扫地机沿所述虚拟墙进行清扫。
7.根据权利要求6所述的方法,其特征在于,在所述物体的位置处建立虚拟墙还包括:
获取所述第一形状的第一尺寸;
获取所述第一尺寸与膨胀系数的乘积,得到第二尺寸;
按照所述第二尺寸在所述物体的位置处建立虚拟墙。
8.根据权利要求5所述的方法,其特征在于,所述预设材质类型为硬质材质类型时,所述物体的所述材质类型为预设材质类型的情况下,控制所述扫地机按照与所述预设材质类型匹配的目标方式动作还包括:
控制所述扫地机对所述物体进行碰撞,以使扫地机沿所述物体的边缘进行清扫。
9.一种扫地机数据处理装置,其特征在于,包括:
信号获取模块,用于获取安装在扫地机上的毫米波雷达传感器接收到的反射信号,所述反射信号为所述毫米波雷达传感器发送发射信号后在物体上反射形成的信号;
特征提取模块,用于提取所述反射信号中的信号特征,所述信号特征用于表征所述反射信号的波动信息;
识别模块,用于利用第一支持向量机对所述信号特征进行识别;
材质判别模块,用于根据所述第一支持向量机对所述信号特征的识别结果确定所述物体的材质类型,其中,所述第一支持向量机是采用具有标记信息的训练数据对第二支持向量机进行训练后得到的,所述标记信息用于标记所述训练数据的材质类型,所述识别结果用于指示所述物体与各个材质类型的关联关系。
10.一种计算机设备,包括存储器、处理器,所述存储器中存储有可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现上述权利要求1至8任一项所述的方法的步骤。
11.一种具有处理器可执行的非易失的程序代码的计算机可读介质,其特征在于,所述程序代码使所述处理器执行所述权利要求1至8任一所述方法。
CN202010576664.8A 2020-06-22 2020-06-22 扫地机数据处理方法、装置、设备及计算机可读介质 Active CN111839360B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010576664.8A CN111839360B (zh) 2020-06-22 2020-06-22 扫地机数据处理方法、装置、设备及计算机可读介质
PCT/CN2020/140491 WO2021258698A1 (zh) 2020-06-22 2020-12-29 扫地机数据处理方法、装置、设备及计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010576664.8A CN111839360B (zh) 2020-06-22 2020-06-22 扫地机数据处理方法、装置、设备及计算机可读介质

Publications (2)

Publication Number Publication Date
CN111839360A true CN111839360A (zh) 2020-10-30
CN111839360B CN111839360B (zh) 2021-09-14

Family

ID=72988404

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010576664.8A Active CN111839360B (zh) 2020-06-22 2020-06-22 扫地机数据处理方法、装置、设备及计算机可读介质

Country Status (2)

Country Link
CN (1) CN111839360B (zh)
WO (1) WO2021258698A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113469000A (zh) * 2021-06-23 2021-10-01 追觅创新科技(苏州)有限公司 区域地图的处理方法及装置、存储介质及电子装置
CN113693522A (zh) * 2021-02-10 2021-11-26 北京石头世纪科技股份有限公司 清洁机器人脱困方法及装置、介质及电子设备
CN113759377A (zh) * 2021-08-26 2021-12-07 追觅创新科技(苏州)有限公司 自移动设备定位方法、装置、存储介质、设备及系统
WO2021258698A1 (zh) * 2020-06-22 2021-12-30 珠海格力电器股份有限公司 扫地机数据处理方法、装置、设备及计算机可读介质
CN114223554A (zh) * 2022-01-21 2022-03-25 深圳巴诺机器人有限公司 一种宠物粪便扫地机及其控制方法
CN114972229A (zh) * 2022-05-17 2022-08-30 平安科技(深圳)有限公司 基于材质类型的定损检测方法、装置、电子设备、介质
CN115639820A (zh) * 2022-10-18 2023-01-24 未岚大陆(北京)科技有限公司 虚拟墙的设置方法、自主移动设备和计算机可读存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114831540A (zh) * 2022-04-19 2022-08-02 珠海格力电器股份有限公司 一种机器人及使用其的方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1788111A2 (en) * 2005-10-31 2007-05-23 Toyoda Gosei Co., Ltd. Resin product, production method for the same, and deposition method for a metallic coating
CN107450569A (zh) * 2017-09-27 2017-12-08 上海思岚科技有限公司 一种扫地机器人的控制方法及设备
CN108334080A (zh) * 2018-01-18 2018-07-27 大连理工大学 一种针对机器人导航的虚拟墙自动生成方法
CN110561459A (zh) * 2018-09-28 2019-12-13 成都家有为力机器人技术有限公司 一种具有双目摄像头的清洁机器人及其工作方法
CN110766067A (zh) * 2019-10-21 2020-02-07 浙江工业大学之江学院 基于机器学习的毫米波雷达材质识别方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10353053B2 (en) * 2016-04-22 2019-07-16 Huawei Technologies Co., Ltd. Object detection using radar and machine learning
JP6802756B2 (ja) * 2017-05-18 2020-12-16 株式会社デンソーアイティーラボラトリ 認識システム、共通特徴量抽出ユニット、及び認識システム構成方法
CN111839360B (zh) * 2020-06-22 2021-09-14 珠海格力电器股份有限公司 扫地机数据处理方法、装置、设备及计算机可读介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1788111A2 (en) * 2005-10-31 2007-05-23 Toyoda Gosei Co., Ltd. Resin product, production method for the same, and deposition method for a metallic coating
CN107450569A (zh) * 2017-09-27 2017-12-08 上海思岚科技有限公司 一种扫地机器人的控制方法及设备
CN108334080A (zh) * 2018-01-18 2018-07-27 大连理工大学 一种针对机器人导航的虚拟墙自动生成方法
CN110561459A (zh) * 2018-09-28 2019-12-13 成都家有为力机器人技术有限公司 一种具有双目摄像头的清洁机器人及其工作方法
CN110766067A (zh) * 2019-10-21 2020-02-07 浙江工业大学之江学院 基于机器学习的毫米波雷达材质识别方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021258698A1 (zh) * 2020-06-22 2021-12-30 珠海格力电器股份有限公司 扫地机数据处理方法、装置、设备及计算机可读介质
CN113693522A (zh) * 2021-02-10 2021-11-26 北京石头世纪科技股份有限公司 清洁机器人脱困方法及装置、介质及电子设备
CN113469000A (zh) * 2021-06-23 2021-10-01 追觅创新科技(苏州)有限公司 区域地图的处理方法及装置、存储介质及电子装置
CN113469000B (zh) * 2021-06-23 2024-06-14 追觅创新科技(苏州)有限公司 区域地图的处理方法及装置、存储介质及电子装置
CN113759377A (zh) * 2021-08-26 2021-12-07 追觅创新科技(苏州)有限公司 自移动设备定位方法、装置、存储介质、设备及系统
CN113759377B (zh) * 2021-08-26 2023-09-01 追觅创新科技(苏州)有限公司 自移动设备定位方法、装置、存储介质、设备及系统
CN114223554A (zh) * 2022-01-21 2022-03-25 深圳巴诺机器人有限公司 一种宠物粪便扫地机及其控制方法
CN114223554B (zh) * 2022-01-21 2022-11-25 深圳巴诺机器人有限公司 一种宠物粪便扫地机及其控制方法
CN114972229A (zh) * 2022-05-17 2022-08-30 平安科技(深圳)有限公司 基于材质类型的定损检测方法、装置、电子设备、介质
CN115639820A (zh) * 2022-10-18 2023-01-24 未岚大陆(北京)科技有限公司 虚拟墙的设置方法、自主移动设备和计算机可读存储介质

Also Published As

Publication number Publication date
WO2021258698A1 (zh) 2021-12-30
CN111839360B (zh) 2021-09-14

Similar Documents

Publication Publication Date Title
CN111839360B (zh) 扫地机数据处理方法、装置、设备及计算机可读介质
WO2020103410A1 (zh) 一种检测方法、检测装置、终端以及检测系统
Viani et al. Electromagnetic passive localization and tracking of moving targets in a WSN-infrastructured environment
JP4968960B2 (ja) Toa(到達時刻)とrss(受信信号強度)の融合による適応型対象測位方法、装置、システム、および当該システムを利用した対象追跡方法
CN110632849B (zh) 智能家电及其控制方法和装置、存储介质
JP2009501313A (ja) 現場で目標物を検出するための方法及び装置
GB2513205A (en) Method for short-range proximity derivation and tracking
US20230045798A1 (en) Method for predicting structure of indoor space using radio propagation channel analysis through deep learning
CN112184626A (zh) 姿态识别方法、装置、设备及计算机可读介质
CN109766851A (zh) 障碍物的确定方法及装置、倒车成像设备
CN110888121B (zh) 目标体探测方法与装置及目标体温度探测方法与装置
US10955518B2 (en) Method for generating an indoor environment model and a method for determining position data for a location in an indoor environment
US20220179062A1 (en) Detection apparatus and method
CN112204903A (zh) 用于确定房间占用的系统和方法
CN108958284B (zh) 一种无人机避障系统及方法
CN114966714A (zh) 视窗遮挡检测方法及装置
Khan et al. An IR-UWB multi-sensor approach for collision avoidance in indoor environments
WO2018094312A1 (en) System and method for detecting humans by an unmanned autonomous vehicle
KR101379211B1 (ko) 이동체의 위치 판단 장치 및 위치 판단 방법
EP4109123A1 (en) System and method for facilitating localizing an external object
CN114690115A (zh) 一种测向定位方法及装置
Kao et al. Feature extraction from a broadband sonar sensor for mapping structured environments efficiently
KR101925489B1 (ko) 응답전력 기반의 피아 식별 방법 및 이를 지원하는 장치
EP4150598A1 (en) Detecting an object in an environment
Dogru et al. Through-wall mapping using radar: Approaches to handle multipath reflections

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant