CN106295705B - 一种运动背景下的多颜色物料筛选计数系统 - Google Patents

一种运动背景下的多颜色物料筛选计数系统 Download PDF

Info

Publication number
CN106295705B
CN106295705B CN201610678360.6A CN201610678360A CN106295705B CN 106295705 B CN106295705 B CN 106295705B CN 201610678360 A CN201610678360 A CN 201610678360A CN 106295705 B CN106295705 B CN 106295705B
Authority
CN
China
Prior art keywords
target
image
miscellaneous
normal
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610678360.6A
Other languages
English (en)
Other versions
CN106295705A (zh
Inventor
陈力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong 33 Intelligent Technology Co Ltd
Original Assignee
Guangdong 33 Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong 33 Intelligent Technology Co Ltd filed Critical Guangdong 33 Intelligent Technology Co Ltd
Priority to CN201610678360.6A priority Critical patent/CN106295705B/zh
Publication of CN106295705A publication Critical patent/CN106295705A/zh
Application granted granted Critical
Publication of CN106295705B publication Critical patent/CN106295705B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns

Abstract

本发明提供一种运动背景下的多颜色物料筛选计数系统，属于机器视觉技术，生产流水线技术，主要通过拍摄图像训练物料模型，获得目标检测物料的特征参数；采用基于HSV颜色空间的改进自适应背景建模算法提取前景对象，并判断连通域特征是否与目标物料匹配；判断目标对象和训练对象模型的相似度，以判定物料为正常物料或杂料。本发明可有效识别物料在运动状态下、亮度不均匀的状态下、重叠或粘结的状态下的具体形状及颜色，与所建立的目标特征进行高效匹配，从而筛分出正常物料或杂料，克服传统识别方法中存在的不足，其适用于各种物料筛选计数场合。

Description

一种运动背景下的多颜色物料筛选计数系统
技术领域
本发明涉及机器人智能视觉识别技术领域，特指一种运动背景下的多颜色物料筛选计数系统。
背景技术
工业生产中涉及物料计数、下料环节是整个制造链的重要环节，生产企业大都采用人工点数、称重的方式对物件进行计数，这种方法劳动强度高、生产效率低，不仅影响了企业的生产效率和自动化程度，而且很容易因为人的疲劳等因素造成计数误差，物料的多下和少下对生产出的产品质量有直接不良影响。而随着现代自动化技术的提高，目前出现一些视觉机器人可初步代替人工进行上述工作，但仍存在着部分缺陷。
传统的基于机器视觉的检测和计数方法无法解决以下问题：
1.通常工业生产使用的同步传送带上存在规律的条纹纹理，且处于运动状态，传统静止背景下背景差分算法无法准确地实现运动传送带上的目标检测；
2.对于目标特征信息有限的情况，一般需要两帧以上的图像才能检测出单个运动目标。而实际生产中，根据条件限制，前景目标在传送带上以较快的速度通过视野，可能只来得及拍摄到少数几帧图片，较难实现准确的跟踪和计数；
3.无法筛选正常料，排除杂料的干扰。
中国发明专利，申请号：201210399296.X，专利名为：基于机器视觉的流水式高精度、高速的颗粒物自动计数装置，其公开了一种在托盘上采集图像进行识别计数的自动装置，该装置通过将颗粒物倾倒在托盘上并进行微震动分散处理后，采用摄像机采集图像进行识别处理计数，完成后将托盘倾斜45°后进行卸料。所述装置是在静态背景下完成物料的识别和计数，对于动态背景下的识别技术仍存在应用限制；并且该系统要求托盘无明显纹理，与待检目标颗粒物存在颜色或者灰度特征上的显著区别；该系统无法完成对缺陷料和杂料的筛选工作，并且存在对自然光线的抗干扰能力不足等问题。
发明内容
本发明的目的在于针对已有的技术现状，提供一种运动背景下的多颜色物料筛选计数系统，以克服传统人工计数或机器视觉检测所存在的不足，其适用于多种物料筛选计数场合，可明显提高产品品质和生产效率。
为达到上述目的，本发明采用如下技术方案：
本发明为一种运动背景下的多颜色物料筛选计数系统，通过拍摄图像训练物料模型，获得目标检测物料的特征参数；采用基于HSV颜色空间的改进自适应背景建模算法提取前景对象，并判断连通域特征是否与目标物料匹配；判断目标对象和训练对象模型的相似度，以判定物料为正常物料或杂料。
本发明的一种运动背景下的多颜色物料筛选计数系统，主要包括以下步骤：
（1）针对不同颜色的物料进行识别，预先设定合适的阈值作为HSV三通道的自适应背景分割参数；
（2）对待检测的图像进行中值滤波处理，分解图像至HSV颜色空间，针对色调、饱和度、亮度三个通道图像分别进行背景分割处理；
（3）经开运算去噪后，获得的前景连通区域进行特征选取，获得目标物料的位置参数；未被选取的前景区域则进行判断，在区域动态分割算法下分割识别是否为物料重叠或粘结的情况；
（4）采用汉明距离判断目标检测对象和训练对象的模型相似度即可进行筛选。
进一步的，步骤（1）中目标检测物料的特征参数包括在XYZ三个投影面，及其他投影面的长、宽、面积及轮廓形状。
进一步的，上述检测识别算法所获得的目标对象位置，经过卡尔曼滤波算法获得下一帧图像中目标的预测位置，并在下一帧图像中的该位置搜索距离最近、相似度最高的物料，与其建立相关联的目标运动轨迹，针对每条运动轨迹上的目标对象位置进行监视，判断目标对象物料是否经过传送带边界线，根据目标物料经过边界线且轨迹长度大于设定阈值则认为有物料掉落入分料机构内，根据图像识别检测标记判断物料是否为正常物料，是正常物料则计数增加，是杂料则计数不增加。
进一步的，在系统获得目标检测物料的特征参数后，通过振动料盘给料进入传送带，由相机获取于传送带上运动中的物料图像进行识别比对，区分物料为正常物料或杂料，在物料脱离传送带边界时，由系统判别后发出信号通知分料机构，分料机构正反转筛分正常物料、杂料，使两者落于不同的通道进行收集，并对正常物料进行计数。
本发明的有益效果为：基于HSV颜色空间的改进自适应背景建模法，由于HSV颜色空间由色调H、饱和度S、亮度V三个分量组成，不仅可以有效地反映目标与背景之间的灰度信息和色彩信息差异，特别对于运动背景中目标物体表面因反光造成亮斑和因阴影造成的暗斑也能很好地屏蔽处理，其能够很好的适应光照的变化，对运动变化的背景也有很好的自适应性。该系统能够准确识别正常物料并进行计数，筛除干扰杂料，其准确率高达99.99%，克服传统人工计数方法及机器视觉检测存在的不足，可适用于多种物料筛选计数场合，明显提高产品品质和生产效率。
附图说明
附图1为本发明的设备结构示意图，图中标示为：1工控机，2相机，3振动盘，4传送带，5传送带电机，6分料电机，7分料机构，8杂料通道，9物料暂存机构，10已计数物料存储机构，11杂料存储机构；
附图2为本发明在运动背景下检测识别目标物料的算法流程图；
附图3为本发明的计数逻辑流程示意图。
具体实施方式
为了使审查委员能对本发明之目的、特征及功能有更进一步了解，兹举较佳实施例并配合图式详细说明如下：
本发明为一种运动背景下的多颜色物料筛选计数系统，通过拍摄图像训练物料模型，获得目标检测物料的特征参数；采用基于HSV颜色空间的改进自适应背景建模算法提取前景对象，并判断连通域特征是否与目标物料匹配；判断目标对象和训练对象模型的相似度，以判定物料为正常物料或杂料。
图1所示，本实施例可体现为，在系统获得目标检测物料的特征参数后，通过振动盘3给料进入传送带4，传送带4由传送带电机5进行驱动，由相机2获取于传送带4上运动中的物料图像，经工控机1进行识别比对，区分物料为正常物料或杂料，在物料脱离传送带4边界时，由系统判别后发出信号通知分料机构7，分料机构7由分料电机6驱动使其正反转进行下料，其中，分料机构7正反转筛分正常物料、杂料，正常物料则进入物料暂存机构9，并对正常物料进行计数，最后落入已计数物料存储机构10中，而杂料则进过杂料通道8进入杂料存储机构11。
本发明的一种运动背景下的多颜色物料筛选计数系统，主要包括以下步骤：
（1）针对不同颜色的物料进行检测识别训练，预先设定合适的阈值作为HSV三通道的自适应背景分割参数，将物料在传送带上以多个姿态摆放，获得目标检测物料在多个投影面上的特征参数，包括面积、长、宽以及轮廓形状；
（2）对待检测的图像进行中值滤波处理，分解图像至HSV颜色空间，针对色调、饱和度、亮度三个通道图像分别进行背景分割处理，取各个通道提取区域的并集作为前景区域；
（3）经开运算去噪后，获得更准确的前景连通区域；对前景连通区域进行特征选取，获得选中目标物料的位置参数；未被选取的前景区域则进行判断，在区域动态分割算法下分割识别是否为物料重叠或粘结的情况，若为重叠或粘结的情况，可以在区域动态分割算法下分割成若干个正常物料，若无法分割，则为杂料；
（4）采用汉明距离判断目标检测对象和训练对象的模型相似度即可进行筛选。
如图2所示，上述检测识别算法的逻辑为：首先，针对不同颜色的物料进行检测识别训练，预先设定合适的阈值作为HSV三通道的自适应背景分割参数。将物料在传送带上以多个姿态摆放，获得目标检测物料在多个投影面上的特征参数，主要为XYZ三个投影面，包括其他投影面的长、宽、面积以及轮廓形状。
系统开始时，采集一副图像作为初始背景，并将背景图像分解到HSV颜色空间，针对H，S，V三个图像通道分别建立背景模型；
系统运行时，会连续采集图像，并对每帧待检测图像进行处理和判断。首先，对待检测图像进行中值滤波处理，分解图像至HSV颜色空间，针对H，S，V三个通道图像分别进行前景分割处理，并将获得前景区域进行合并。经过开运算去噪后，将获得的前景连通区域与训练模型进行特征匹配，匹配合适的则选取为目标对象。未被选取的的前景区域则进行动态分割处理，如果是为料重叠和粘结的情况，可以在区域动态分割算法下分割成若干个正常物料，如果是小杂料则维持原有状态。将动态分割算法处理后获得的区域在此进行特征匹配，匹配合适的同样选为目标对象，未匹配成功则直接标记为杂料。再通过汉明距离法将目标对象与训练模型时获得的对象区域进行相似度判断，相似度超过设定阈值的则标记为正常料，否则标记杂料。
如图3所示，上述计数算法逻辑为：根据上述检测识别算法所获得的目标对象位置，经过卡尔曼滤波算法获得下一帧图像中目标的预测位置，并在下一帧图像中的该位置搜索距离最近、相似度最高的物料，与其建立相关联的目标运动轨迹，针对每条运动轨迹上的目标对象位置进行监视，判断目标对象物料是否经过传送带边界线，根据目标物料经过边界线且轨迹长度大于设定阈值则判定为正常物料。若有目标物料经过边界线且轨迹长度大于设定阈值时（通过判断轨迹长度预防周围环境干扰造成的误判），则认为有物料掉落入分料机构内。此时根据之前图像识别检测标记判断物料是否为正常物料，是正常物料则计数增加，发出信号通知分料机构翻斗正转下料，若是杂料则计数不增加，发出信号通知分料机构翻斗反转倒料。
实施例一
采用玩具公仔零部件作为计数对象，未被识别会造成多下料的情况，错误识别会造成少下料的情况。计数结果统计如下：
实施例二
采用玩具公仔零部件作为计数对象，未被识别会造成多下料的情况，错误识别会造成少下料的情况。计数结果统计如下：
实施例三
采用玩具公仔零部件作为计数对象，未被识别会造成多下料的情况，错误识别会造成少下料的情况。计数结果统计如下：
实施例四
采用玩具公仔零部件作为计数对象，未被识别会造成多下料的情况，错误识别会造成少下料的情况。计数结果统计如下：
当然，以上图示仅为本发明较佳实施方式，并非以此限定本发明的使用范围，故，凡是在本发明原理上做等效改变均应包含在本发明的保护范围内。

Claims (4)

1.一种运动背景下的多颜色物料筛选计数系统，其特征在于：通过拍摄图像训练物料模型，获得目标检测物料的特征参数；采用基于HSV颜色空间的改进自适应背景建模算法提取前景对象，并判断连通域特征是否与目标物料匹配；判断目标对象和训练对象模型的相似度，以判定物料为正常物料或杂料，检测识别算法主要包括以下步骤：
（1）针对不同颜色的物料进行识别，预先设定合适的阈值作为HSV三通道的自适应背景分割参数；
（2）对待检测的图像进行中值滤波处理，分解图像至HSV颜色空间，针对色调、饱和度、亮度三个通道图像分别进行背景分割处理；
（3）经开运算去噪后，获得的前景连通区域进行特征选取，获得目标物料的位置参数；未被选取的前景区域则进行判断，在区域动态分割算法下分割识别是否为物料重叠或粘结的情况；
（4）采用汉明距离判断目标检测对象和训练对象的模型相似度即可进行筛选。
2.根据权利要求1所述的一种运动背景下的多颜色物料筛选计数系统，其特征在于：所述步骤（1）中目标检测物料的特征参数包括在XYZ三个投影面，及其他投影面的长、宽、面积及轮廓形状。
3.根据权利要求1或2所述的一种运动背景下的多颜色物料筛选计数系统，其特征在于：上述检测识别算法所获得的目标对象位置，经过卡尔曼滤波算法获得下一帧图像中目标的预测位置，并在下一帧图像中的该位置搜索距离最近、相似度最高的物料，与其建立相关联的目标运动轨迹，针对每条运动轨迹上的目标对象位置进行监视，判断目标对象物料是否经过传送带边界线，根据目标物料经过边界线且轨迹长度大于设定阈值则认为有物料掉落入分料机构内，根据图像检测标记结果判断物料是否为正常物料，是正常物料则计数增加，是杂料则计数不增加。
4.根据权利要求3所述的一种运动背景下的多颜色物料筛选计数系统，其特征在于：在系统获得目标检测物料的特征参数后，通过振动盘（3）给料进入传送带（4），由相机（2）获取于传送带（4）上运动中的物料图像进行识别比对，区分物料为正常物料或杂料，在物料脱离传送带（4）边界时，由系统判别后发出信号通知分料机构（7），分料机构（7）正反转筛分正常物料、杂料，使两者落于不同的通道进行收集，并对正常物料进行计数。
CN201610678360.6A 2016-08-17 2016-08-17 一种运动背景下的多颜色物料筛选计数系统 Active CN106295705B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610678360.6A CN106295705B (zh) 2016-08-17 2016-08-17 一种运动背景下的多颜色物料筛选计数系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610678360.6A CN106295705B (zh) 2016-08-17 2016-08-17 一种运动背景下的多颜色物料筛选计数系统

Publications (2)

Publication Number Publication Date
CN106295705A CN106295705A (zh) 2017-01-04
CN106295705B true CN106295705B (zh) 2019-04-05

Family

ID=57678817

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610678360.6A Active CN106295705B (zh) 2016-08-17 2016-08-17 一种运动背景下的多颜色物料筛选计数系统

Country Status (1)

Country Link
CN (1) CN106295705B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107945223B (zh) * 2017-11-20 2020-09-08 成都霍比特科技有限公司 一种旋转倾斜式自动青蛙饲料投放器及视频分析方法
CN108198168A (zh) * 2017-12-26 2018-06-22 合肥泰禾光电科技股份有限公司 物料分析方法及装置
CN110539934A (zh) * 2018-05-28 2019-12-06 东莞市华鸣自动化科技有限公司 物料计数装置
CN110807354B (zh) * 2019-09-09 2024-02-20 杭州朗阳科技有限公司 一种工业流水线产品计数方法
CN110647851B (zh) * 2019-09-27 2022-12-09 普联技术有限公司 生产线产能监控方法、装置及系统
CN111028262A (zh) * 2019-12-06 2020-04-17 衢州学院 一种多通道复合的高清高速视频背景建模方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101234381A (zh) * 2008-03-07 2008-08-06 天津市华核科技有限公司 基于视觉识别的颗粒物料分选分级方法
DE102007050434A1 (de) * 2007-10-22 2009-04-23 Henkel Ag & Co. Kgaa Verfahren und Anordnung zum computergestützten Ermitteln mindestens einer Eigenschaft einer Haarcoloration basierend auf einer Formulierung aus chemisch reaktiven und/oder unreaktiven Rohstoffen, Verfahren und Anordnung zum computergestützten Ermitteln einer Formulierung einer Haarcoloration basierend auf chemisch reaktiven und/oder unreaktiven Rohstoffen, und Verfahren und Anordnung zum computergestützten Trainieren eines vorbestimmten Modells zum computergestützten Ermitteln mindestens einer Eigenschaft einer Haarcoloration basierend auf einer Formulierung aus chemisch reaktiven und/oder unreaktiven Rohstoffen
CN103170462A (zh) * 2013-03-08 2013-06-26 合肥美亚光电技术股份有限公司 一种吸收特征差异增强的物料分选装置
CN103226088A (zh) * 2013-04-08 2013-07-31 贵州茅台酒股份有限公司 一种颗粒物计数方法及其装置
CN103272783A (zh) * 2013-06-21 2013-09-04 核工业理化工程研究院华核新技术开发公司 彩色ccd色选机颜色判定和分离方法
CN104438135A (zh) * 2014-12-25 2015-03-25 天津市光学精密机械研究所 一种彩色双ccd脱绒棉种色选系统及实现方法
CN104834933A (zh) * 2014-02-10 2015-08-12 华为技术有限公司 一种图像显著性区域的检测方法和装置
CN204935640U (zh) * 2015-08-24 2016-01-06 汕头市三三智能科技有限公司 一种基于视觉振动送料吸取的机器人

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007050434A1 (de) * 2007-10-22 2009-04-23 Henkel Ag & Co. Kgaa Verfahren und Anordnung zum computergestützten Ermitteln mindestens einer Eigenschaft einer Haarcoloration basierend auf einer Formulierung aus chemisch reaktiven und/oder unreaktiven Rohstoffen, Verfahren und Anordnung zum computergestützten Ermitteln einer Formulierung einer Haarcoloration basierend auf chemisch reaktiven und/oder unreaktiven Rohstoffen, und Verfahren und Anordnung zum computergestützten Trainieren eines vorbestimmten Modells zum computergestützten Ermitteln mindestens einer Eigenschaft einer Haarcoloration basierend auf einer Formulierung aus chemisch reaktiven und/oder unreaktiven Rohstoffen
CN101234381A (zh) * 2008-03-07 2008-08-06 天津市华核科技有限公司 基于视觉识别的颗粒物料分选分级方法
CN103170462A (zh) * 2013-03-08 2013-06-26 合肥美亚光电技术股份有限公司 一种吸收特征差异增强的物料分选装置
CN103226088A (zh) * 2013-04-08 2013-07-31 贵州茅台酒股份有限公司 一种颗粒物计数方法及其装置
CN103272783A (zh) * 2013-06-21 2013-09-04 核工业理化工程研究院华核新技术开发公司 彩色ccd色选机颜色判定和分离方法
CN104834933A (zh) * 2014-02-10 2015-08-12 华为技术有限公司 一种图像显著性区域的检测方法和装置
CN104438135A (zh) * 2014-12-25 2015-03-25 天津市光学精密机械研究所 一种彩色双ccd脱绒棉种色选系统及实现方法
CN204935640U (zh) * 2015-08-24 2016-01-06 汕头市三三智能科技有限公司 一种基于视觉振动送料吸取的机器人

Also Published As

Publication number Publication date
CN106295705A (zh) 2017-01-04

Similar Documents

Publication Publication Date Title
CN106295705B (zh) 一种运动背景下的多颜色物料筛选计数系统
CN102495069B (zh) 一种基于数字图像处理的拉链链带缺陷检测方法
CN104624505B (zh) 一种基于图像识别的废塑料分离方法与系统
CN103056111B (zh) 基于机器视觉技术的对虾品质检测分级装置
CN102226739B (zh) 圆锥滚子轴承滚动体倒装漏装检测装置及检测方法
CN103090804A (zh) 成品磁环图像自动检测系统及检测方法
CN108760747A (zh) 一种3d打印模型表面缺陷视觉检测方法
CN104574389A (zh) 基于彩色机器视觉的电池片色差分选控制方法
CN203018326U (zh) 一种基于机器视觉技术的对虾品质检测分级装置
CN108107054A (zh) 一种在线烟支缺陷视觉检测系统及方法
CN205538710U (zh) 一种基于机器视觉的电感质量自动检测系统
CN104841646A (zh) 一种分时曝光和多光谱成像的除杂机及除杂方法
CN104368540A (zh) 一种基于近红外技术的双波长粮食自动分选机
CN105866136A (zh) 摄像头模组滤光片涂胶检测装置和方法
CN209935300U (zh) 基于计算机视觉的智能分拣系统
CN109187567A (zh) 一种聚晶金刚石复合片表面白点缺陷检测系统
CN201150919Y (zh) 基于视觉识别的颗粒物料分选分级装置
CN111054655A (zh) 一种螃蟹分拣装置及其运用方法
CN112950602B (zh) 基于深度相机与机器学习的糖果缺陷检测装置及分类方法
CN203069148U (zh) 一种成品磁环图像自动检测系统
CN112676195B (zh) 基于线阵cmos相机的实木地板的颜色分选装置及方法
CN107671007B (zh) 基于机器视觉批量检测珍珠形状的智能分拣系统
JP2016161381A (ja) 選別装置
CN209550027U (zh) 基于计算机视觉的一次性纸尿裤智能分拣系统
CN208513101U (zh) 一种双面视觉检测芒果分级装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 515000 Shantou City, Guangdong Province, No. 243 University Road, Jinping District, Shantou University, 789 Service Network, No. 7 Building, First Floor, Room 701, "Student Entrepreneurship Park" No. 14

Applicant after: Guangdong 33 Intelligent Technology Co., Ltd.

Address before: 515000 Shantou City, Guangdong Province, No. 243 University Road, Jinping District, Shantou University, 789 Service Network, No. 7 Building, First Floor, Room 701, "Student Entrepreneurship Park" No. 14

Applicant before: SHANTOU SANSAN INTELLIGENT TECHNOLOGY CO., LTD.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant