CN111553914B - 基于视觉的货物检测方法、装置、终端及可读存储介质 - Google Patents

基于视觉的货物检测方法、装置、终端及可读存储介质 Download PDF

Info

Publication number
CN111553914B
CN111553914B CN202010383756.4A CN202010383756A CN111553914B CN 111553914 B CN111553914 B CN 111553914B CN 202010383756 A CN202010383756 A CN 202010383756A CN 111553914 B CN111553914 B CN 111553914B
Authority
CN
China
Prior art keywords
cargo
detected
goods
detection
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010383756.4A
Other languages
English (en)
Other versions
CN111553914A (zh
Inventor
何元钦
张潮宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WeBank Co Ltd
Original Assignee
WeBank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WeBank Co Ltd filed Critical WeBank Co Ltd
Priority to CN202010383756.4A priority Critical patent/CN111553914B/zh
Publication of CN111553914A publication Critical patent/CN111553914A/zh
Application granted granted Critical
Publication of CN111553914B publication Critical patent/CN111553914B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30242Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于视觉的货物检测方法、装置、终端及可读存储介质,所述方法包括:获取待检测视频帧以及待检测视频帧中待检测货物区域的关键轮廓数据,而后将待检测视频帧输入已训练好的货物检测模型,得到所述待检测货物区域中可见的各个单箱货物对应的货物参数,接下来基于所述关键轮廓数据确定所述待检测货物区域的检测参数,然后基于所述检测参数,和/或,各个单箱货物对应的货物参数确定所述待检测货物区域的货物目标类型和/或所述待检测货物区域的单箱货物总数量。无需对其他作业流程进行改变及额外安装专业设备,与现有技术相比,避免了对原有作业流程侵入,且降低了货物检测成本。

Description

基于视觉的货物检测方法、装置、终端及可读存储介质
技术领域
本发明涉及金融科技领域,尤其涉及一种基于视觉的货物检测方法、装置、终端及可读存储介质。
背景技术
目前在金融领域,货品抵押贷款为银行业务的一个重点,为了提高业务效率并且降低风险,仓管系统自动盘存是非常必要的。货品的类别和数量是质押品的重要特征,如何在各种复杂的条件和环境中,精准的识别出货品的类别和数量是一个现实存在的问题。
现有的仓管系统,在智能化改造过程中,为了能够识别货物的数量和品类,往往会需要用户大幅改变原有的作业流程,对原有作业流程侵入程度高,例:在仓库设立一个固定测量位置,货物入库或出库时需要在该位置停留,完成测试;除了改变作业流程,还往往需要额外安装硬件,用具有深度检测功能的传感器和高清相机,导致改造成本高,这对货品抵押贷款来说是无法接受的。例:在货物检测位置安装深度摄像头来测量货物体积,用高清摄像头来获取货物图片,识别货物的类别。
上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种基于视觉的货物检测方法、装置、终端及可读存储介质,旨在解决现有仓管系统因货物出入库需检测货物的类别和数量信息时,要对原有的作业流程大幅改变,并需要额外安装专业的检测设备,从而导致对原有作业流程侵入程度高,且货物检测成本高昂的技术问题。
为实现上述目的,本发明提供一种基于视觉的货物检测方法,所述的基于视觉的货物检测方法包括以下步骤:
获取待检测视频帧以及待检测视频帧中待检测货物区域的关键轮廓数据;
将待检测视频帧输入已训练好的货物检测模型,得到所述待检测货物区域中可见的各个单箱货物对应的货物参数;
基于所述关键轮廓数据确定所述待检测货物区域的检测参数;
基于所述检测参数,和/或,各个单箱货物对应的货物参数确定所述待检测货物区域的货物目标类型和/或所述待检测货物区域的单箱货物总数量。
进一步地,所述将待检测视频帧输入已训练好的货物检测模型,得到所述待检测货物区域中可见的各个单箱货物对应的货物参数的步骤包括:
将待检测视频帧输入已训练好的货物检测模型,得到多个单箱货物对应的货物参数;
基于所述关键轮廓数据确定所述待检测货物区域的可见面;
将位于各个可见面中的单箱货物对应的货物参数,确定为所述待检测货物区域中可见的各个单箱货物对应的货物参数。
进一步地,所述基于所述关键轮廓数据确定所述待检测货物区域的检测参数的步骤包括:
基于所述关键轮廓数据确定所述待检测货物区域的检测面;
确定各个检测面的覆盖范围、检测面相对于坐标轴的视觉角度以及检测面的视觉高度,并将各个检测面的所述覆盖范围、所述视觉角度以及所述视觉高度作为所述检测参数。
进一步地,所述货物参数包括单箱货物对应的置信度和货物类型,所述基于各个单箱货物对应的货物参数确定所述待检测货物区域的货物目标类型的步骤包括:
基于各个单箱货物对应的置信度确定不同货物类型各自对应的整体置信度,并基于各个整体置信度确定所述待检测货物区域的货物目标类型。
进一步地,所述基于各个单箱货物对应的置信度确定不同货物类型各自对应的整体置信度,并基于各个整体置信度确定所述待检测货物区域的货物目标类型的步骤包括:
将货物类型相同的不同单箱货物对应的置信度进行求和,得到各个货物类型各自对应的整体置信度;
确定各个整体置信度中的最大整体置信度,并将所述最大整体置信度对应的货物类型确定为所述货物目标类型。
进一步地,所述货物参数包括单箱货物对应的坐标,所述基于所述检测参数以及各个单箱货物对应的货物参数确定所述待检测货物区域的单箱货物总数量的步骤包括:
基于所述覆盖范围确定各个检测面各自对应的可见的单箱货物集合,其中,所述检测面是基于所述关键轮廓数据确定的;
基于所述货物目标类型以及各个单箱货物集合中单箱货物对应的货物参数,计算得到各个检测面对应的检测面置信度,并将最大的检测面置信度对应的检测面作为目标检测面;
基于所述目标检测面对应的视觉角度以及目标检测面对应的单箱货物集合中各个单箱货物对应的坐标,计算得到所述目标检测面对应的单箱货物的平均高度;
基于所述目标检测面的单箱货物的平均高度确定所述待检测货物区域的单箱货物总数量。
进一步地,所述基于所述目标检测面的单箱货物的平均高度确定所述待检测货物区域的单箱货物总数量的步骤包括:
将所述目标检测面对应的视觉高度与所述平均高度进行相除运算,将商取整后作为货物层数;
将所述货物层数与预设的每层货物数量相乘,得到所述待检测货物区域的单箱货物总数量。
进一步地,所述获取待检测视频帧以及待检测视频帧中待检测货物区域的关键轮廓数据的步骤之前,所述方法还包括:
利用预设的轮廓检测模型对采集视频中各个视频帧进行轮廓检测,得到各个视频帧中货物区域对应的关键轮廓数据和位置坐标;
将各个视频帧中货物区域的位置坐标输入预设追踪算法,确定各个视频帧中待检测货物区域;
基于各个视频帧中待检测货物区域的关键轮廓数据对各个视频帧进行评估;
基于各个视频帧的评估结果确定所述待检测视频帧。
进一步地,所述基于视觉的货物检测装置包括:
获取模块,用于获取待检测视频帧以及待检测视频帧中待检测货物区域的关键轮廓数据;
检测模块,用于将待检测视频帧输入已训练好的货物检测模型,得到所述待检测货物区域中可见的各个单箱货物对应的货物参数;
确定模块,用于基于所述关键轮廓数据确定所述待检测货物区域的检测参数;
处理模块,用于基于所述检测参数,和/或,各个单箱货物对应的货物参数确定所述待检测货物区域的货物目标类型和/或所述待检测货物区域的单箱货物总数量。
此外,为实现上述目的,本发明还提供一种终端,所述终端包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于视觉的货物检测程序,所述基于视觉的货物检测程序被所述处理器执行时实现上述任一项所述的基于视觉的货物检测方法的步骤。
此外,为实现上述目的,本发明还提供一种可读存储介质,所述可读存储介质上存储有基于视觉的货物检测程序,所述基于视觉的货物检测程序被处理器执行时实现上述任一项所述的基于视觉的货物检测方法的步骤。
本发明获取基于视觉的货物检测策略,获取待检测视频帧以及待检测视频帧中待检测货物区域的关键轮廓数据,而后将待检测视频帧输入已训练好的货物检测模型,得到所述待检测货物区域中可见的各个单箱货物对应的货物参数,接下来基于所述关键轮廓数据确定所述待检测货物区域的检测参数,然后基于所述检测参数,和/或,各个单箱货物对应的货物参数确定所述待检测货物区域的货物目标类型和/或所述待检测货物区域的单箱货物总数量。通过对待检测视频帧进行检测,利用检测结果以及待检测视频帧中待检测货物区域的关键轮廓数据,计算得到货物的类型和数量,无需对其他作业流程进行改变及额外安装专业设备,与现有技术相比,避免了对原有作业流程侵入,且降低了货物检测成本。
附图说明
图1是本发明实施例方案涉及的硬件运行环境中终端的结构示意图;
图2为本发明基于视觉的货物检测方法第一实施例的流程示意图;
图3为本发明基于视觉的货物检测方法一实施例中待检测视频帧的示意图;
图4为本发明基于视觉的货物检测装置实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
如图1所示,图1是本发明实施例方案涉及的硬件运行环境中终端的结构示意图。
如图1所示,该终端可以包括:处理器1001,例如CPU,网络接口1004,用户接口1003,存储器1005,通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的目标检测系统结构并不构成对终端的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及基于视觉的货物检测程序。
在图1所示的终端中,网络接口1004主要用于连接后台服务器,与后台服务器进行数据通信;用户接口1003主要用于连接用户端,与用户端进行数据通信;而处理器1001可以用于调用存储器1005中存储的基于视觉的货物检测程序。
在本实施例中,终端包括:存储器1005、处理器1001及存储在所述存储器1005上并可在所述处理器1001上运行的基于视觉的货物检测程序,其中,处理器1001调用存储器1005中存储的基于视觉的货物检测程序时,执行本申请各个实施例提供的基于视觉的货物检测方法的步骤。
本发明还提供一种基于视觉的货物检测方法,参照图2,图2为本发明基于视觉的货物检测方法第一实施例的流程示意图。
本发明实施例提供了基于视觉的货物检测方法的实施例,需要说明的是,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
在本实施例中,该基于视觉的货物检测方法包括:
步骤S10,获取待检测视频帧以及待检测视频帧中待检测货物区域的关键轮廓数据;
在本实施例中,现有仓管系统因货物出入库需检测货物的类别和数量信息时,在智能化改造过程中,往往会需要用户大幅改变原有的作业流程,导致效率降低,还需额外安装昂贵的检测设备,例如,利用深度摄像头的方案获取货物的体积然后计算数量,需要货物在固定位置停留,并且需要增加安装深度摄像头。由于以上条件的限制,现有的仓管系统难以大规模的部署推广。本申请提出的视觉的货物检测方法,通过对待检测视频帧进行检测,利用检测结果以及待检测视频帧中待检测货物区域的关键轮廓数据,计算得到货物的类型和数量,无需对其他作业流程进行改变及额外安装专业设备,与现有技术相比,避免了对原有作业流程侵入,且降低了货物检测成本。
需要说明的是,本申请提出的视觉的货物检测方法适用于:一个货物区域只有一种货物,货物区域由多个单箱货物堆叠,且货物的摆放方式固定,每一层包括的单箱货物数量一致。
具体地,对待检测货物进行数量与类型检测时,首先通过采集设备采集待检测货物的视频数据,基于预设算法在视频数据中确定待检测视频帧,以及视频帧中待检测货物区域的关键轮廓数据,关键轮廓数据为位置和属性数据,其中,关键轮廓是可以还原待检测货物区域图形的关键点或关键线等,例如,如果待检测货物区域图形为长方体,则关键轮廓为长方体的8个角点,因为是立体图形,并且受拍摄角度影响,所以会存在部分关键轮廓不可见,如长方体的8个角点,最多可见7个角点。
步骤S20,将待检测视频帧输入已训练好的货物检测模型,得到所述待检测货物区域中可见的各个单箱货物对应的货物参数;
具体地,步骤S20包括:
步骤S21,将待检测视频帧输入已训练好的货物检测模型,得到多个单箱货物对应的货物参数;
步骤S22,基于所述关键轮廓数据确定所述待检测货物区域的可见面;
步骤S23,将位于各个可见面中的单箱货物对应的货物参数,确定为所述待检测货物区域中可见的各个单箱货物对应的货物参数。
在本实施例中,已训练好的货物检测模型是基于深度学习的目标检测模型训练的,如Yolov3网络,训练数据为图片集合,且已标注好检测框及其坐标、置信度以及检测框类别,其中,检测框为货物图像上的有标签的单箱货物区域。将训练数据输入初始目标检测模型进行迭代训练,当模型收敛时,停止迭代训练,得到已训练好的货物检测模型。
进一步地,将待检测视频帧输入已训练好的货物检测模型,可以得到多个检测框,每个检测框为提取视频帧上的有标签的单箱货物区域,并输出单箱货物的坐标、置信度以及货物类型,置信度为0~1之间的数,置信度越高,说明模型对输出的结果越肯定。这些检测框可能并不是全部都在待检测货物区域内,会存在错误检测或其他货物存在的情况,需要进一步对检测框进行筛选,也就是确定哪些单箱货物对应的货物参数可以用于计算货物的类别和数量。
接下来,利用视频帧中待检测货物区域的关键轮廓数据可以还原出待检测货物区域的各个可见面,根据各个可见面与各个单箱货物区域的位置关系,可以确定位于待检测货物区域中可见的各个单箱货物。
步骤S30,基于所述关键轮廓数据确定所述待检测货物区域的检测参数;
具体地,步骤S30包括:
步骤S31,基于所述关键轮廓数据确定所述待检测货物区域的检测面;
步骤S32,确定各个检测面的覆盖范围、检测面相对于坐标轴的视觉角度以及检测面的视觉高度,并将各个检测面的所述覆盖范围、所述视觉角度以及所述视觉高度作为所述检测参数。
在本实施例中,首先确定待检测货物区域的检测面以及检测参数。利用视频帧中待检测货物区域的关键轮廓数据可以还原出待检测货物区域的各个可见面,并不所有的可见面都作为检测面,需要进一步对可见面进行筛选。为了计算单箱货物总数量,本实施例中是利用待检测货物区域的高度和单箱货物的平均高度进行计算得到,所以需要选择那些包括待检测货物区域高度的可见面作为检测面。例如,待检测货物区域放置在地面或栈板上,将地面或栈板作为坐标轴参考面,假设待检测货物区域图形为长方体,如图3所示,图3为待检测视频帧,O1~O6为将待检测视频帧输入已训练好的货物检测模型得到的6个检测框,从图3中还可以看到长方体的关键轮廓数据:7个角点,可见面S1,可见面S2和可见面S3,从图3中可以看出可见面S1包括待检测货物区域高度H1,可见面S2包括待检测货物区域高度H2,故将可见面S1和可见面S2作为检测面。
进一步地,确定各个检测面的覆盖范围、检测面相对于坐标轴的视觉角度以及检测面的视觉高度,其中,检测面的覆盖范围是指该检测面覆盖了哪些检测框,即确定单箱货物检测框与各检测面的对应关系,确定哪些单箱货物属于该检测面。如图3所示,检测面S1包括4个单箱货物检测框:O1~O4,检测面S1相对于坐标轴的视觉角度为θ1,检测面S1相对于坐标轴的视觉高度为H1;检测面S2包括2个单箱货物检测框:O5和O6,检测面S2相对于坐标轴的视觉角度为θ2,检测面S2相对于坐标轴的视觉高度为H2,其中,θ1、θ2、H1和H2可以直接从待检测视频帧中通过测量获取到。
步骤S40,基于所述检测参数,和/或,各个单箱货物对应的货物参数确定所述待检测货物区域的货物目标类型和/或所述待检测货物区域的单箱货物总数量。
具体地,步骤S40包括:
步骤S41,基于各个单箱货物对应的置信度确定不同货物类型各自对应的整体置信度,并基于各个整体置信度确定所述待检测货物区域的货物目标类型。
具体地,步骤S41包括:
步骤a,将货物类型相同的不同单箱货物对应的置信度进行求和,得到各个货物类型各自对应的整体置信度;
步骤b,确定各个整体置信度中的最大整体置信度,并将所述最大整体置信度对应的货物类型确定为所述货物目标类型。
在本实施例中,将待检测视频帧输入已训练好的货物检测模型,可以得到多个检测框,每个检测框为提取视频帧上的有标签的单箱货物区域,并输出单箱货物的坐标、置信度以及货物类型,置信度为0~1之间的数,置信度越高,说明模型对输出的结果越肯定。多个检测框的货物类型会存在不同值,这与货物检测模型的训练数据集以及货物检测模型本身的准确度有关。假设仓库中需关注的货物有n类,分别为mi(i=1,…,n),则需要提供包括n类货物类型的训练数据,对货物检测模型进行训练;进一步地,由于货物检测模型存在一定的差错率,所以会存在错误检测的情况,从而导致多个检测框的货物类型会存在不同值。因为一个货物区域只有一种货物类型,所以进一步根据单箱货物对应的置信度来确定待检测货物区域的货物类型。
具体地,将货物类型相同的不同单箱货物对应的置信度进行求和,得到各个货物类型各自对应的整体置信度,然后再确定各个整体置信度中的最大整体置信度,并将该最大整体置信度对应的货物类型确定为待检测货物区域的货物类型。
举例说明,某仓库储存两种货物,货物类型分别为a和b,一个堆垛上只有一种货物,且货物的摆放方式固定,货物类型为a时,一层货物数量为ta;货物类型为b时,一层货物数量为tb。用Oi表示第i个检测框,bi是坐标,ci为置信度,mi是货物类型,将待检测视频帧输入已训练好的货物检测模型,可以得到6个检测框,分别如下:
O1=(b1,c1,m1=a);
O2=(b2,c2,m2=a);
O3=(b3,c3,m3=a);
O4=(b4,c4,m4=b);
O5=(b5,c5,m5=a);
O6=(b6,c6,m6=a)
可以看出只有第四个检测框的货物类型是b,其他均为a,进一步将货物类型相同的置信度进行相加,得到不同类型的整体置信度Gi,即Ga=c1+c2+c3+c5+c6,Gb=c4,如果Ga>Gb,则该堆垛也就是待检测货物区域的货物类别为a;如果Ga<Gb,则该堆垛也就是待检测货物区域的货物类别为b。
进一步地,在一实施例中,所述步骤S40还包括:
步骤S42,基于所述覆盖范围确定各个检测面各自对应的可见的单箱货物集合,其中,所述检测面是基于所述关键轮廓数据确定的;
步骤S43,基于所述货物目标类型以及各个单箱货物集合中单箱货物对应的货物参数,计算得到各个检测面对应的检测面置信度,并将最大的检测面置信度对应的检测面作为目标检测面;
在本实施例中,如前所述,检测面的覆盖范围是指该检测面覆盖了哪些检测框,即确定单箱货物检测框与各检测面的对应关系,确定哪些单箱货物属于该检测面,将属于该检测面所有单箱货物作为检测面对应的可见的单箱货物集合。
接下来,根据检测面各自包括的单箱货物集合,进一步计算检测面对应的检测面置信度。根据待检测货物区域的货物目标类型,在单箱货物集合中筛选出参与计算检测面置信度的单箱货物,参与计算的单箱货物的货物类型与待检测货物区域的货物目标类型要一致。将各个检测面中参与计算的单箱货物的置信度相加,得到检测面对应的检测面置信度。
举例说明,如图3所示,货物类型分别为a和b,用Oi表示第i个检测框,bi是坐标,ci为置信度,mi是货物类型,将待检测视频帧输入已训练好的货物检测模型,可以得到6个检测框,分别如下:
O1=(b1,c1,m1=a);
O2=(b2,c2,m2=a);
O3=(b3,c3,m3=a);
O4=(b4,c4,m4=b);
O5=(b5,c5,m5=a);
O6=(b6,c6,m6=a)
检测面S1包括4个单箱货物检测框:O1~O4,检测面S2包括2个单箱货物检测框:O5和O6。假设已经确定待检测货物区域的货物目标类型为a,因为检测面S1中O1~O3的货物类型也为a,而O4的货物类型为b,则参与计算检测面S1的检测面置信度GH1的单箱货物检测框为O1~O3,GH1=c1+c2+c3;同理,因为检测面S2中O5和O6的货物类型都为a,则参与计算检测面S2的检测面置信度GH2的单箱货物检测框为O5和O6,GH2=c5+c6。如果GH1>GH2,则检测面S1作为目标检测面;如果GH1<GH2,则检测面S2作为目标检测面。
步骤S44,基于所述目标检测面对应的视觉角度以及目标检测面对应的单箱货物集合中各个单箱货物对应的坐标,计算得到所述目标检测面对应的单箱货物的平均高度;
步骤S45,基于所述目标检测面的单箱货物的平均高度确定所述待检测货物区域的单箱货物总数量。
具体地,步骤S45包括:
步骤c,将所述目标检测面对应的视觉高度与所述平均高度进行相除运算,将商取整后作为货物层数;
步骤d,将所述货物层数与预设的每层货物数量相乘,得到所述待检测货物区域的单箱货物总数量。
在本实施例中,根据目标检测面中各个单箱货物对应的坐标计算得到单箱货物的平均高度。需要说明的是,参与计算单箱货物的平均高度的箱货物检测框与参与计算检测面置信度的单箱货物检测框是一样的。举例说明,如前所述,参照图3,检测面S1参与计算单箱货物的平均高度的单箱货物检测框为O1~O3,检测面S2参与计算单箱货物的平均高度的单箱货物检测框为O5和O6
具体地,根据单箱货物对应的坐标可以得到检测框的高度和宽度,将检测框的高度向检测面的视觉高度投影,得到检测框的视觉高度。将检测面中所有参与计算平均高度的单箱货物检测框的视觉高度相加并取平均值,从而得到单箱货物的平均高度。用hi和wi分别表示单箱货物检测框的高度和宽度,检测框的视觉高度di=hi-wi×tan(θ),θ是目标检测面的视觉角度,将参与计算平均高度的单箱货物检测框的视觉高度相加并取平均值
Figure BDA0002483160760000124
Figure BDA0002483160760000121
进一步地,用目标检测面对应的视觉高度除以平均高度,并将商取整,取整后的值即为货物层数。将货物层数与预设的每层货物数量相乘,即得到待检测货物区域的单箱货物总数量。
举例说明,参照图3,设货物类型分别为a和b,一个堆垛上只有一种货物,且货物的摆放方式固定,货物类型为a时,一层货物数量为ta;货物类型为b时,一层货物数量为tb。假设检测面S1作为目标检测面,则参与计算平均高度的单箱货物检测框为O1~O3,检测面S1的视觉角度为θ1=0°,则tan(θ1)=0°,视觉高度di=hi-wi×tan(θ1)=hi,即di=hi-wi×tan(θ1)=hi
单箱货物检测框为O1:d1=h1
单箱货物检测框为O2:d2=h2
单箱货物检测框为O3:d3=h3
则检测面S1的单箱货物的平均高度
Figure BDA0002483160760000125
用检测面S1的视觉高度H1除以平均高度
Figure BDA0002483160760000126
得到货物层数D,将货物层数D与ta相乘,即得到待检测货物区域的单箱货物总数量N=D×ta
同理,假设检测面S2作为目标检测面,则参与计算平均高度的单箱货物检测框为O5和O6,检测面S2的视觉角度为θ2,视觉高度di=hi-wi×tan(θ2),则单箱货物检测框为O5:d5=h5-w5×tan(θ2)
单箱货物检测框为O6:d6=h6-w6×tan(θ2)
则检测面S2的单箱货物的平均高度
Figure BDA0002483160760000122
用检测面S2的视觉高度H2除以平均高度
Figure BDA0002483160760000123
得到货物层数D,将货物层数D与tb相乘,即得到待检测货物区域的单箱货物总数量N=D×tb
本实施例提出的基于视觉的货物检测方法,获取待检测视频帧以及待检测视频帧中待检测货物区域的关键轮廓数据,而后将待检测视频帧输入已训练好的货物检测模型,得到所述待检测货物区域中可见的各个单箱货物对应的货物参数,接下来基于所述关键轮廓数据确定所述待检测货物区域的检测参数,然后基于所述检测参数,和/或,各个单箱货物对应的货物参数确定所述待检测货物区域的货物目标类型和/或所述待检测货物区域的单箱货物总数量。通过对待检测视频帧进行检测,利用检测结果以及待检测视频帧中待检测货物区域的关键轮廓数据,计算得到货物的类型和数量,无需对其他作业流程进行改变及额外安装专业设备,与现有技术相比,避免了对原有作业流程侵入,且降低了货物检测成本。
基于第一实施例,提出本发明基于视觉的货物检测方法的第二实施例,在本实施例中,步骤S10之前,还包括:
步骤S50,利用预设的轮廓检测模型对采集视频中各个视频帧进行轮廓检测,得到各个视频帧中货物区域对应的关键轮廓数据和位置坐标;
在本实施例中,通过采集设备采集待检测货物的视频数据,利用训练好的轮廓检测模型对视频中各个视频帧进行轮廓检测,得到各个视频帧中货物区域对应的关键轮廓数据和位置坐标。其中,已训练好的轮廓检测模型是基于深度学习的目标检测模型训练的,如Yolov3网络,训练数据为图片集合,且已标注好检测框、其坐标和关键轮廓数据,其中,检测框为视频帧上的货物区域。将训练数据输入初始轮廓检测模型进行迭代训练,当模型收敛时,停止迭代训练,得到已训练好的轮廓检测模型。
步骤S60,将各个视频帧中货物区域的位置坐标输入预设追踪算法,确定各个视频帧中待检测货物区域。
在本实施例中,各个视频帧中货物区域可能不止一个,因此需要进一步确定各个视频帧之间待检测货物区域的对应关系,即在每个视频帧中识别出待检测货物区域对应的检测框。
将各个视频帧中货物区域对应的位置坐标输入到预设训练好的跟踪算法中,如sort算法,从而得到连续视频帧中待检测货物区域的对应关系,例如帧1中的货物a对应帧2中的货物a。
步骤S70,基于各个视频帧中待检测货物区域的关键轮廓数据对各个视频帧进行评估;
步骤S80,基于各个视频帧的评估结果确定所述待检测视频帧。
在本实施例中,利用待检测货物区域的关键轮廓数据和位置坐标,可以得到视频帧的评估指标,根据评估指标对视频帧进行评估。视频帧评估主要计算四个指标,根据现有图像处理的算法可以得到,具体为:1)货物的位置,根据采集设备的架设位置,可以预先设定一个最优拍摄点,计算货物距该点的距离D;2)货物的视觉角度,根据货物的关键轮廓数据,计算货物相对摄像机的旋转角度θ,及货物各表面的区域S;3)货物图像的清晰度,根据货物的关键轮廓,计算货物每个面的区域,计算每个区域S的清晰度C;4)货物的可视范围,根据关键轮廓是否可见,计算每个区域S的可见度V。
进一步地,根据距离D、清晰度C以及可见度V确定最优的待检测视频帧,距离D越小,说明货物的位置越接近最优拍摄点,清晰度C和可见度V越大,说明视频帧的效果越好,因此,基于以上原则在各个视频帧的评估结果确定待检测视频帧。
本实施例提出的基于视觉的货物检测方法,利用预设的轮廓检测模型对采集视频中各个视频帧进行轮廓检测,得到各个视频帧中货物区域对应的关键轮廓数据和位置坐标,而后将各个视频帧中货物区域的位置坐标输入预设追踪算法,确定各个视频帧中待检测货物区域,接下来基于各个视频帧中待检测货物区域的关键轮廓数据对各个视频帧进行评估,最后基于各个视频帧的评估结果确定所述待检测视频帧。通过对视频帧中的货物持续跟踪和预测货物的关键轮廓数据,实现货物在采集设备视野内的全程覆盖,保证覆盖最优的货物图像,同时通过货物的关键轮廓数据,结合图像处理的算法对视频帧进行评估,大幅度提高获取的待检测视频帧的质量,为后续基于待检测视频帧进行货物类型和数量检测,提供了高质量视频帧准备。
本发明进一步提供一种基于视觉的货物检测装置,参照图4,图4为本发明基于视觉的货物检测装置实施例的功能模块示意图。
获取模块10,用于获取待检测视频帧以及待检测视频帧中待检测货物区域的关键轮廓数据;
检测模块20,用于将待检测视频帧输入已训练好的货物检测模型,得到所述待检测货物区域中可见的各个单箱货物对应的货物参数,其中所述货物参数包括单箱货物对应的坐标、置信度以及货物类型;
确定模块30,用于基于所述关键轮廓数据确定所述待检测货物区域的检测参数;
处理模块40,用于基于所述检测参数,和/或,各个单箱货物对应的货物参数确定所述待检测货物区域的货物目标类型和/或所述待检测货物区域的单箱货物总数量。
进一步地,所述检测模块20还用于:
将待检测视频帧输入已训练好的货物检测模型,得到多个单箱货物对应的货物参数;
基于所述关键轮廓数据确定所述待检测货物区域的可见面;
将位于各个可见面中的单箱货物对应的货物参数,确定为所述待检测货物区域中可见的各个单箱货物对应的货物参数。
进一步地,所述确定模块30还用于:
基于所述关键轮廓数据确定所述待检测货物区域的检测面;
确定各个检测面的覆盖范围、检测面相对于坐标轴的视觉角度以及检测面的视觉高度,并将各个检测面的所述覆盖范围、所述视觉角度以及所述视觉高度作为所述检测参数。
进一步地,所述处理模块40还用于:
基于各个单箱货物对应的置信度确定不同货物类型各自对应的整体置信度,并基于各个整体置信度确定所述待检测货物区域的货物目标类型。
进一步地,所述处理模块40还用于:
将货物类型相同的不同单箱货物对应的置信度进行求和,得到各个货物类型各自对应的整体置信度;
确定各个整体置信度中的最大整体置信度,并将所述最大整体置信度对应的货物类型确定为所述货物目标类型。
进一步地,所述处理模块40还用于:
基于所述覆盖范围确定各个检测面各自对应的可见的单箱货物集合,其中,所述检测面是基于所述关键轮廓数据确定的;
基于所述货物目标类型以及各个单箱货物集合中单箱货物对应的货物参数,计算得到各个检测面对应的检测面置信度,并将最大的检测面置信度对应的检测面作为目标检测面;
基于所述目标检测面对应的视觉角度以及目标检测面对应的单箱货物集合中各个单箱货物对应的坐标,计算得到所述目标检测面对应的单箱货物的平均高度;
基于所述目标检测面的单箱货物的平均高度确定所述待检测货物区域的单箱货物总数量。
进一步地,所述处理模块40还用于:
将所述目标检测面对应的视觉高度与所述平均高度进行相除运算,将商取整后作为货物层数;
将所述货物层数与预设的每层货物数量相乘,得到所述待检测货物区域的单箱货物总数量。
进一步地,所述基于视觉的货物检测装置还包括:
运行模块,用于利用预设的轮廓检测模型对采集视频中各个视频帧进行轮廓检测,得到各个视频帧中货物区域对应的关键轮廓数据和位置坐标;
追踪模块,用于将各个视频帧中货物区域的位置坐标输入预设追踪算法,确定各个视频帧中待检测货物区域
评估模块,用于基于各个视频帧中待检测货物区域的关键轮廓数据对各个视频帧进行评估;
筛选模块,用于基于各个视频帧的评估结果确定所述待检测视频帧。
此外,本发明实施例还提出一种可读存储介质,所述可读存储介质上存储有基于视觉的货物检测程序,所述基于视觉的货物检测程序被处理器执行时实现上述各个实施例中基于视觉的货物检测方法的步骤。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个可读存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台系统设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于视觉的货物检测方法,其特征在于,所述基于视觉的货物检测方法包括:
获取待检测视频帧以及所述待检测视频帧中待检测货物区域的关键轮廓数据,其中,所述关键轮廓数据包括所述待检测货物区域中的图形的关键点和关键线;
将所述待检测视频帧输入已训练好的货物检测模型,得到所述待检测货物区域中可见的各个单箱货物对应的货物参数,其中,所述货物参数包括单箱货物对应的置信度和货物类型;
基于所述关键轮廓数据确定所述待检测货物区域的检测面;
确定各个检测面的覆盖范围、相对于坐标轴的视觉角度以及视觉高度,并将所述各个检测面的所述覆盖范围、所述视觉角度以及所述视觉高度作为检测参数;
基于各个单箱货物对应的货物参数确定所述待检测货物区域的货物目标类型,基于所述检测参数和所述货物目标类型确定所述待检测货物区域的单箱货物总数量。
2.如权利要求1所述的基于视觉的货物检测方法,其特征在于,所述将待检测视频帧输入已训练好的货物检测模型,得到所述待检测货物区域中可见的各个单箱货物对应的货物参数的步骤包括:
将待检测视频帧输入已训练好的货物检测模型,得到多个单箱货物对应的货物参数;
基于所述关键轮廓数据确定所述待检测货物区域的可见面;
将位于各个可见面中的单箱货物对应的货物参数,确定为所述待检测货物区域中可见的各个单箱货物对应的货物参数。
3.如权利要求1所述的基于视觉的货物检测方法,其特征在于,所述基于各个单箱货物对应的货物参数确定所述待检测货物区域的货物目标类型的步骤包括:
基于各个单箱货物对应的置信度确定不同货物类型各自对应的整体置信度,并基于各个整体置信度确定所述待检测货物区域的货物目标类型。
4.如权利要求3所述的基于视觉的货物检测方法,其特征在于,所述基于各个单箱货物对应的置信度确定不同货物类型各自对应的整体置信度,并基于各个整体置信度确定所述待检测货物区域的货物目标类型的步骤包括:
将货物类型相同的不同单箱货物对应的置信度进行求和,得到各个货物类型各自对应的整体置信度;
确定各个整体置信度中的最大整体置信度,并将所述最大整体置信度对应的货物类型确定为所述货物目标类型。
5.如权利要求1所述的基于视觉的货物检测方法,其特征在于,所述货物参数包括单箱货物对应的坐标,所述基于所述检测参数和所述货物目标类型确定所述待检测货物区域的单箱货物总数量的步骤包括:
基于所述覆盖范围确定各个检测面各自对应的可见的单箱货物集合,其中,所述检测面是基于所述关键轮廓数据确定的;
基于所述货物目标类型以及各个单箱货物集合中单箱货物对应的货物参数,计算得到各个检测面对应的检测面置信度,并将最大的检测面置信度对应的检测面作为目标检测面;
基于所述目标检测面对应的视觉角度以及目标检测面对应的单箱货物集合中各个单箱货物对应的坐标,计算得到所述目标检测面对应的单箱货物的平均高度;
基于所述目标检测面的单箱货物的平均高度确定所述待检测货物区域的单箱货物总数量。
6.如权利要求5所述的基于视觉的货物检测方法,其特征在于,所述基于所述目标检测面的单箱货物的平均高度确定所述待检测货物区域的单箱货物总数量的步骤包括:
将所述目标检测面对应的视觉高度与所述平均高度进行相除运算,将商取整后作为货物层数;
将所述货物层数与预设的每层货物数量相乘,得到所述待检测货物区域的单箱货物总数量。
7.如权利要求1至6中任一项所述的基于视觉的货物检测方法,其特征在于,所述获取待检测视频帧以及待检测视频帧中待检测货物区域的关键轮廓数据的步骤之前,所述方法还包括:
利用预设的轮廓检测模型对采集视频中各个视频帧进行轮廓检测,得到各个视频帧中货物区域对应的关键轮廓数据和位置坐标;
将各个视频帧中货物区域的位置坐标输入预设追踪算法,确定各个视频帧中待检测货物区域;
基于各个视频帧中待检测货物区域的关键轮廓数据对各个视频帧进行评估;
基于各个视频帧的评估结果确定所述待检测视频帧。
8.一种基于视觉的货物检测装置,其特征在于,所述基于视觉的货物检测装置包括:
获取模块,用于获取待检测视频帧以及所述待检测视频帧中待检测货物区域的关键轮廓数据,其中,所述关键轮廓数据包括所述待检测货物区域中的图形的关键点和关键线;
检测模块,用于将所述待检测视频帧输入已训练好的货物检测模型,得到所述待检测货物区域中可见的各个单箱货物对应的货物参数,其中,所述货物参数包括单箱货物对应的置信度和货物类型;
第一确定模块,用于基于所述关键轮廓数据确定所述待检测货物区域的检测面;
第二确定模块,用于确定各个检测面的覆盖范围、相对于坐标轴的视觉角度以及视觉高度,并将所述各个检测面的所述覆盖范围、所述视觉角度以及所述视觉高度作为检测参数;
处理模块,用于基于各个单箱货物对应的货物参数确定所述待检测货物区域的货物目标类型,基于所述检测参数和所述货物目标类型确定所述待检测货物区域的单箱货物总数量。
9.一种终端,其特征在于,所述终端包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于视觉的货物检测程序,所述基于视觉的货物检测程序被所述处理器执行时实现如权利要求1至7中任一项所述的基于视觉的货物检测方法的步骤。
10.一种可读存储介质,其特征在于,所述可读存储介质上存储有所述基于视觉的货物检测程序,所述基于视觉的货物检测程序被处理器执行时实现如权利要求1至7中任一项所述的基于视觉的货物检测方法的步骤。
CN202010383756.4A 2020-05-08 2020-05-08 基于视觉的货物检测方法、装置、终端及可读存储介质 Active CN111553914B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010383756.4A CN111553914B (zh) 2020-05-08 2020-05-08 基于视觉的货物检测方法、装置、终端及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010383756.4A CN111553914B (zh) 2020-05-08 2020-05-08 基于视觉的货物检测方法、装置、终端及可读存储介质

Publications (2)

Publication Number Publication Date
CN111553914A CN111553914A (zh) 2020-08-18
CN111553914B true CN111553914B (zh) 2021-11-12

Family

ID=72001900

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010383756.4A Active CN111553914B (zh) 2020-05-08 2020-05-08 基于视觉的货物检测方法、装置、终端及可读存储介质

Country Status (1)

Country Link
CN (1) CN111553914B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112132523B (zh) * 2020-11-26 2021-07-13 支付宝(杭州)信息技术有限公司 一种货物数量确定方法、系统和装置
CN113657317A (zh) * 2021-08-23 2021-11-16 上海明略人工智能(集团)有限公司 一种货物位置识别方法、系统、电子设备及存储介质
CN117268474A (zh) * 2023-11-21 2023-12-22 江西中汇云链供应链管理有限公司 一种用于场景内物体体积、数量及重量估算的装置及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7746379B2 (en) * 2002-12-31 2010-06-29 Asset Intelligence, Llc Sensing cargo using an imaging device
CN104751163A (zh) * 2013-12-27 2015-07-01 同方威视技术股份有限公司 对货物进行自动分类识别的透视检查系统和方法
CN107430719A (zh) * 2015-03-18 2017-12-01 美国联合包裹服务公司 用于验证货物内容的系统和方法
CN108520194A (zh) * 2017-12-18 2018-09-11 上海云拿智能科技有限公司 基于影像监测的货品感知系统及货品感知方法
CN109583535A (zh) * 2018-11-29 2019-04-05 湖南视比特机器人有限公司 一种基于视觉的物流条形码检测方法、计算机程序
CN109592433A (zh) * 2018-11-29 2019-04-09 合肥泰禾光电科技股份有限公司 一种货物拆垛方法、装置及拆垛系统
CN110705666A (zh) * 2019-10-22 2020-01-17 顺忠宝智能科技(深圳)有限公司 人工智能云计算展示架货架货物和标签监控与存储货物方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7746379B2 (en) * 2002-12-31 2010-06-29 Asset Intelligence, Llc Sensing cargo using an imaging device
CN104751163A (zh) * 2013-12-27 2015-07-01 同方威视技术股份有限公司 对货物进行自动分类识别的透视检查系统和方法
CN107430719A (zh) * 2015-03-18 2017-12-01 美国联合包裹服务公司 用于验证货物内容的系统和方法
CN108520194A (zh) * 2017-12-18 2018-09-11 上海云拿智能科技有限公司 基于影像监测的货品感知系统及货品感知方法
CN109583535A (zh) * 2018-11-29 2019-04-05 湖南视比特机器人有限公司 一种基于视觉的物流条形码检测方法、计算机程序
CN109592433A (zh) * 2018-11-29 2019-04-09 合肥泰禾光电科技股份有限公司 一种货物拆垛方法、装置及拆垛系统
CN110705666A (zh) * 2019-10-22 2020-01-17 顺忠宝智能科技(深圳)有限公司 人工智能云计算展示架货架货物和标签监控与存储货物方法

Also Published As

Publication number Publication date
CN111553914A (zh) 2020-08-18

Similar Documents

Publication Publication Date Title
CN111553914B (zh) 基于视觉的货物检测方法、装置、终端及可读存储介质
CN108229307B (zh) 用于物体检测的方法、装置和设备
CN109635685B (zh) 目标对象3d检测方法、装置、介质及设备
CN109087510B (zh) 交通监测方法及装置
EP1329850B1 (en) Apparatus, program and method for detecting both stationary objects and moving objects in an image
US9361702B2 (en) Image detection method and device
US9576367B2 (en) Object detection method and device
JPWO2007105359A1 (ja) 倍率色収差を画像解析する画像処理装置、画像処理プログラム、電子カメラ、および画像処理方法
CN112378333B (zh) 仓储货物测量方法和装置
CN114022508A (zh) 一种目标跟踪方法、终端及计算机可读存储介质
US7403636B2 (en) Method and apparatus for processing an image
CN111553302A (zh) 关键帧选取方法、装置、设备及计算机可读存储介质
US8126275B2 (en) Interest point detection
CN117115415A (zh) 基于大数据分析的图像标记处理方法和系统
CN111814739A (zh) 快递包裹体积的检测方法、装置、设备及存储介质
CN111797993A (zh) 深度学习模型的评价方法、装置、电子设备及存储介质
US20210216829A1 (en) Object likelihood estimation device, method, and program
CN113793364B (zh) 目标跟踪方法、装置、计算机设备和存储介质
CN116228644A (zh) 图像检测方法、电子设备及存储介质
CN115656991A (zh) 车辆外参标定方法、装置、设备以及存储介质
CN114219070A (zh) 图像处理模型的训练方法、目标检测方法和属性识别方法
CN114332602A (zh) 一种智能货柜的商品识别方法
CN115035129A (zh) 货物的识别方法、装置、电子设备和存储介质
CN117523428B (zh) 基于飞行器平台的地面目标检测方法和装置
CN111586299B (zh) 一种图像处理方法和相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant