CN109711296B - 自动驾驶中物体分类方法及其装置、可读存储介质 - Google Patents
自动驾驶中物体分类方法及其装置、可读存储介质 Download PDFInfo
- Publication number
- CN109711296B CN109711296B CN201811534884.3A CN201811534884A CN109711296B CN 109711296 B CN109711296 B CN 109711296B CN 201811534884 A CN201811534884 A CN 201811534884A CN 109711296 B CN109711296 B CN 109711296B
- Authority
- CN
- China
- Prior art keywords
- frame
- classification result
- classified
- frame image
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种物体分类方法及其装置、计算机程序产品、可读存储介质。其中,方法包括:获取待分类物体的第一单帧图像,将待分类物体的第一单帧图像分别输入多个分类器,以生成多个单帧分类结果,其中,多个分类器具有不同的分类特性。根据多个分类器所生成的多个单帧分类结果,生成待分类物体的类别。由此,实现了根据不同分类特性的多个分类器所生成的多个单帧分类结果,生成待分类物体的类别,充分考虑了不同分类器的分类特性,提高了物体分类的准确率,解决了现有技术中物体分类准确率低的问题。
Description
技术领域
本发明涉及智能识别技术领域,尤其涉及一种自动驾驶中物体分类方法及其装置、可读存储介质。
背景技术
随着自动驾驶技术的不断发展,自动驾驶车辆对周围环境中的物体的分类精度要求不断提高,以使车辆能够根据物体的类别作出相应的驾驶操作调整。比如,将物体分类为路障则需要停车或者绕路。
相关技术中,通过对多个相同类型的分类器对物体图像进行分类,并对多个相同类型的分类器的分类结果进行加权平均来获取融合分类结果,物体分类的过程过于粗糙,导致物体分类的结果不准确。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此,本发明的第一个目的在于提出一种自动驾驶中物体分类方法,以实现根据不同分类特性的多个分类器所生成的多个单帧分类结果,生成待分类物体的类别,充分考虑了不同分类器的分类特性,提高了自动驾驶中物体分类的准确率。
本发明的第二个目的在于提出一种自动驾驶中物体分类装置。
本发明的第三个目的在于提出一种计算机程序产品。
本发明的第四个目的在于提出一种非临时性计算机可读存储介质。
为达上述目的,本发明第一方面实施例提出了一种自动驾驶中物体分类方法,包括:获取待分类物体的第一单帧图像;将所述待分类物体的第一单帧图像分别输入多个分类器,以生成多个单帧分类结果,其中,所述多个分类器具有不同的分类特性;以及根据所述多个分类器所生成的多个单帧分类结果,生成所述待分类物体的类别。
和现有技术相比,本发明实施例根据不同分类特性的多个分类器所生成的多个单帧分类结果,生成待分类物体的类别,充分考虑了不同分类器的分类特性,提高了自动驾驶中物体分类的准确率。
另外,本发明实施例的物体分类方法,还具有如下附加的技术特征:
可选地,所述根据所述多个分类器所生成的多个单帧分类结果,生成所述待分类物体的类别,包括:分别获取所述多个分类器所对应的多个混淆矩阵;使用所述多个分类器所对应的多个混淆矩阵分别对所述多个分类器所生成的多个单帧分类结果进行修正;以及根据修正后的所述多个单帧分类结果,生成所述待分类物体的类别。
可选地,在所述获取待分类物体的第一单帧图像之前,还包括:采集可能包含所述待分类物体的样本区域所对应的样本区域的传感器数据;根据所述样本区域的传感器数据,计算所述样本区域中存在所述待分类物体的概率,以获取所述待分类物体在所述样本区域中的存在概率。
可选地,所述根据修正后的所述多个单帧分类结果,生成所述待分类物体的类别,包括:对所述修正后的多个单帧分类结果进行融合,以获取所述第一单帧图像对应的融合后的第一单帧分类结果;根据所述样本区域中的存在概率和所述融合后的第一单帧分类结果,生成融合后的第一单帧后验分类结果;根据所述融合后的第一单帧后验分类结果,从多个预设类别中选择所述待分类物体的类别。
可选地,所述融合后的第一单帧后验分类结果是根据所述第一单帧图像确定的所述待分类物体分别属于所述多个预设类别对应的多个第一单帧融合后验概率形成的集合,所述根据所述融合后的第一单帧后验分类结果,从多个预设类别中选择所述待分类物体的类别,包括:获取所述第一单帧图像对应的历史分类结果;根据所述融合后的第一单帧后验分类结果和所述第一单帧图像对应的历史分类结果,生成所述待分类物体分别属于所述多个预设类别所对应的多个融合概率;以及选择数值最大的所述融合概率对应的所述预设类别作为所述待分类物体的类别。
可选地,所述根据所述融合后的第一单帧后验分类结果和所述第一单帧图像对应的历史分类结果,生成所述待分类物体分别属于所述多个预设类别所对应的多个融合概率,包括:获取所述融合后的第一单帧分类结果和所述第一单帧图像对应的历史分类结果所对应的状态转移概率矩阵;使用所述状态转移概率矩阵对所述融合后的第一单帧分类结果和所述第一单帧图像对应的历史分类结果进行融合,生成所述多个融合概率。
可选地,所述第一单帧图像对应的历史分类结果是根据以下步骤生成的:设置每帧图像的获取时间对应于时间轴上的时间点,其中,所述时间轴的零时刻为所述待分类物体首次出现在所述图像中的时间点;判断所述第一单帧图像对应的时间点是否为所述时间轴的零时刻;若所述第一单帧图像对应的时间点是零时刻,则设置所述第一单帧图像对应的历史分类结果为预设的分类结果;若所述第一单帧图像对应的时间点不是零时刻,则获取第二单帧图像,其中,所述第二单帧图像对应的时间点与所述第一单帧图像对应的时间点相邻;获取所述第二单帧图像对应的融合后的第二单帧后验分类结果和所述第二单帧图像对应的历史分类结果;根据所述融合后的第二单帧后验分类结果和所述第二单帧图像对应的历史分类结果,生成所述第二单帧图像对应的最终分类结果;将所述第二单帧图像对应的最终分类结果作为所述第一单帧图像对应的历史分类结果。
本发明第二方面实施例提出了一种自动驾驶中物体分类装置,包括:获取模块,用于获取待分类物体的第一单帧图像;输入模块,用于将所述待分类物体的第一单帧图像分别输入多个分类器,以生成多个单帧分类结果,其中,所述多个分类器具有不同的分类特性;以及生成模块,用于根据所述多个分类器所生成的多个单帧分类结果,生成所述待分类物体的类别。
另外,本发明实施例的物体分类装置,还具有如下附加的技术特征:
可选地,所述生成模块,包括:获取子模块,用于分别获取所述多个分类器所对应的多个混淆矩阵;修正子模块,用于使用所述多个分类器所对应的多个混淆矩阵分别对所述多个分类器所生成的多个单帧分类结果进行修正;以及生成子模块,用于根据修正后的所述多个单帧分类结果,生成所述待分类物体的类别。
可选地,所述装置还包括:采集模块,用于采集可能包含所述待分类物体的样本区域所对应的样本区域的传感器数据;计算模块,用于根据所述样本区域的传感器数据,计算所述样本区域中存在所述待分类物体的概率,以获取所述待分类物体在所述样本区域中的存在概率。
可选地,所述生成子模块,包括:融合单元,用于对所述修正后的多个单帧分类结果进行融合,以获取所述第一单帧图像对应的融合后的第一单帧分类结果;生成单元,用于根据所述样本区域中的存在概率和所述融合后的第一单帧分类结果,生成融合后的第一单帧后验分类结果;选择单元,用于根据所述融合后的第一单帧后验分类结果,从多个预设类别中选择所述待分类物体的类别。
可选地,所述融合后的第一单帧后验分类结果是根据所述第一单帧图像确定的所述待分类物体分别属于所述多个预设类别对应的多个第一单帧融合后验概率形成的集合,所述选择单元,包括:第一获取子单元,用于获取所述第一单帧对应的历史分类结果;第一生成子单元,用于根据所述融合后的第一单帧后验分类结果和所述第一单帧图像对应的历史分类结果,生成所述待分类物体分别属于所述多个预设类别所对应的多个融合概率;以及选择子单元,用于选择数值最大的所述融合概率对应的所述预设类别作为所述待分类物体的类别。
可选地,所述第一生成子单元,包括:获取二级子单元,用于获取所述融合后的第一单帧分类结果和所述第一单帧图像对应的历史分类结果所对应的状态转移概率矩阵;生成二级子单元,用于使用所述状态转移概率矩阵对所述融合后的第一单帧分类结果和所述第一单帧图像对应的历史分类结果进行融合,生成所述多个融合概率。
可选地,所述选择单元,还包括:第一设置子单元,设置每帧图像的获取时间对应于时间轴上的时间点,其中,所述时间轴的零时刻为所述待分类物体首次出现在所述图像中的时间点;判断子单元,用于判断所述第一单帧图像对应的时间点是否为所述时间轴的零时刻;第二设置子单元,用于当所述判断子单元确定所述第一单帧图像对应的时间点是零时刻时,设置所述第一单帧图像对应的历史分类结果为预设的分类结果;第二获取子单元,用于当所述判断子单元确定所述第一单帧图像对应的时间点不是零时刻时,获取第二单帧图像,其中,所述第二单帧图像对应的时间点与所述第一单帧图像对应的时间点相邻;第三获取子单元,用于获取所述第二单帧图像对应的融合后的第二单帧后验分类结果和所述第二单帧图像对应的历史分类结果;第二生成子单元,用于根据所述融合后的第二单帧后验分类结果和所述第二单帧图像对应的历史分类结果,生成所述第二单帧图像对应的最终分类结果;第三设置子单元,用于将所述第二单帧图像对应的最终分类结果作为所述第一单帧图像对应的历史分类结果。
本发明第三方面实施例提出了一种计算机程序产品,当所述计算机程序产品中的指令处理器执行时实现如前述方法实施例所述的物体分类方法。
本发明第四方面实施例提出了一种非临时性计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如前述方法实施例所述的物体分类方法。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
图1为本发明实施例所提供的一种物体分类方法的流程示意图;
图2为本发明实施例所提供的分类器的分类特性的示意图;
图3为本发明实施例所提供的另一种物体分类方法的流程示意图;
图4为本发明实施例所提供的另一种物体分类方法的具体步骤的流程示意图;
图5为本发明实施例所提供的又一种物体分类方法的流程示意图;
图6为本发明实施例所提供的生成第一单帧图像对应的融合概率的示意图;
图7为本发明实施例所提供的一种物体分类装置的结构示意图;
图8为本发明实施例所提供的另一种物体分类装置的结构示意图;
图9为本发明实施例所提供的另一种物体分类装置的内部子模块的结构示意图;以及
图10为本发明实施例所提供的又一种物体分类装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的物体分类方法及其装置、计算机程序产品、可读存储介质。
基于上述现有技术的描述可以知道,相关技术中,通过对多个相同类型的分类器对物体图像进行分类,并对多个相同类型的分类器的分类结果进行加权平均来获取融合分类结果,物体分类的过程过于粗糙,导致物体分类的结果不准确。
针对这一问题,本发明实施例提供了一种物体分类方法。获取待分类物体的第一单帧图像,将待分类物体的第一单帧图像分别输入多个分类器,以生成多个单帧分类结果,其中,多个分类器具有不同的分类特性。根据多个分类器所生成的多个单帧分类结果,生成待分类物体的类别。由此,实现了根据不同分类特性的多个分类器所生成的多个单帧分类结果,生成待分类物体的类别,充分考虑了不同分类器的分类特性,提高了物体分类的准确率。
图1为本发明实施例所提供的一种物体分类方法的流程示意图。如图1所示,该方法包括以下步骤:
S101,获取待分类物体的第一单帧图像。
其中,待分类物体的第一单帧图像可以是通过摄像设备采集的二维图像,还可以是通过传感器数据生成的三维图像。
S102,将待分类物体的第一单帧图像分别输入多个分类器,以生成多个单帧分类结果。
其中,多个分类器具有不同的分类特性。
需要说明的是,分类特性是指将待分类物体的图像输入分类器后,分类器根据图像生成待分类物体属于不同类别对应的多个概率。
如图2所示,将分属于四个类别的四件物体的图像分别输入分类特性不同的两个分类器。其中,物体1的正确类别为类别1,物体2的正确类别为类别2,物体3的正确类别为类别3,物体4的正确类别为类别4。
单个分类器将四件物体分为四个类别可能出现情况就是图2中所画的方块,方块的颜色代表出现的情况对应的概率。比如:分类器1对应的16个方块中,第三行第二列的方块代表将原属于类别3的物品3分为类别2的概率为0.1。
因此每个分类器的分类特性都可以用如图2所示方形来直观表示,而方形中方块颜色的不同表示分类器之间的分类特性不同。
或者,还可以以矩阵的形式表示分类器的分类特性,矩阵的行表示物体的正确类别,矩阵的列表示分类器对该物体进行分类的类别,矩阵行列对应的数值表示分类器将某件物体的正确类别分为某个类别对应的概率。矩阵行列对应的数值不同表示分类器之间的分类特性不同。
可以理解,每个物体都只有一个正确的类别,因此每一行中只有一个方块代表该物体被分类正确的情况。特殊的,在图2所示的方形中,只有从左上角到右下角对角线上的方块代表分类正确的情况。
需要特别说明的是,单帧分类结果指的是将待分类物体分为多个预设类别所对应的多个概率所形成的概率集合。每个分类器都生成了一个单帧分类结果,即对应着一个概率集合。
S103,根据多个分类器所生成的多个单帧分类结果,生成待分类物体的类别。
可以理解,虽然不同分类特性的分类器所生成的单帧分类结果不同,但是不同分类特性的分类器可以根据待分类物体的第一单帧图像中的不同特征对待分类物体进行分类,比如形状特征、上下文特征等。结合多个单帧分类结果,可以充分考虑不同特征对分类结果的影响,提高物体分类的准确率。
需要特别强调的是,每个分类器生成的单帧分类结果都存在一定的误差,为了提高每个分类器的单帧分类结果,一种可能的实现方式是,使用以下步骤对每个分类器的单帧分类结果进行修正:
S11,分别获取多个分类器所对应的多个混淆矩阵,使用多个分类器所对应的多个混淆矩阵分别对多个分类器所生成的多个单帧分类结果进行修正。
S12,根据修正后的多个单帧分类结果,生成待分类物体的类别。
具体来说,混淆矩阵是和分类器的分类特性相对应的矩阵,混淆矩阵中行列对应的数值表示分类器将属于第一类别的物体分类为第二类别的概率,使用混淆矩阵对分类器生成的单帧分类结果进行修正,可以减少单帧分类结果存在的误差。
使用混淆矩阵对单个分类器生成的单帧分类结果进行修正,可以用公式进行表示,其中,k表示分类器的序号,Mk表示序号为k的分类器对应的混淆矩阵,Xi表示待分类物体在i时刻的类别,是多个预设类别中的一个,obj表示待分类物体,Si与Ci表示图像中的形状特征与上下文特征。由于Xi可以是全部预设类别中的任何一个,Pk(Xi|obj,Si,Ci)表示单个分类器根据待分类物体的第一单帧图像获得的待分类物体属于Xi对应的概率集合,即修正后的单帧分类结果。
对每个分类器生成的单帧分类结果都进行修正,可以得到修正后的多个单帧分类结果。
结合多个修正后的单帧分类结果,可以进一步提高物体分类的准确率。
综上所述,本发明实施例的一种物体分类方法,获取待分类物体的第一单帧图像,将待分类物体的第一单帧图像分别输入多个分类器,以生成多个单帧分类结果,其中,多个分类器具有不同的分类特性。根据多个分类器所生成的多个单帧分类结果,生成待分类物体的类别。由此,实现了根据不同分类特性的多个分类器所生成的多个单帧分类结果,生成待分类物体的类别,充分考虑了不同分类器的分类特性,提高了物体分类的准确率。
为了让本发明实施例所提出的物体分类方法更加符合实际要求,本发明实施例还提出了另一种物体分类方法,图3为本发明实施例所提供的另一种物体分类方法的流程示意图。基于图1所示的方法流程,如图3所示,在S101获取待分类物体的第一单帧图像之前,还包括:
S201,采集可能包含待分类物体的样本区域所对应的样本区域的传感器数据。
S202,根据样本区域的传感器数据,计算样本区域中存在待分类物体的概率,以获取待分类物体在样本区域中的存在概率。
其中,传感器数据包括图像数据、激光雷达检测数据、点云成像数据等。
可以理解,在实际应用中,可能存在误检的情况,即检测出存在物体,并对物体进行了分类,而实际上并没有物体存在。
存在概率表示检测正确的概率,即在检测出存在物体的条件下,真的存在物体的概率,以P(obj|Si,Ci)表示,其中,obj表示待分类物体,Si与Ci表示图像中的形状特征与上下文特征。
因此在实际应用中对物体进行分类的前提是物体真实存在,而分类器生成的单帧分类结果也是在物体存在的条件下的后验概率集合。
相应地,在获取待分类物体在样本区域中的存在概率之后,如图4所示,S12,根据修正后的多个单帧分类结果,生成待分类物体的类别,包括:
S301,对修正后的多个单帧分类结果进行融合,以获取第一单帧图像对应的融合后的第一单帧分类结果。
其中,单个分类器对应的修正后的单帧分类结果是对修正后的多个单帧分类结果进行融合可以通过公式实现,P(Xi|obj,Si,Ci)表示根据第一单帧图像获得的,待分类物体属于Xi对应的第一单帧融合分类概率,而待分类物体分别属于全部预设类别对应的多个第一单帧融合分类概率形成的集合,就是第一单帧图像对应的融合后的第一单帧分类结果。
S302,根据样本区域中的存在概率和融合后的第一单帧分类结果,生成融合后的第一单帧后验分类结果。
具体地,可以通过后验概率公式P(Xi|Si,Ci)=∑obj={0,1}P(obj|Si,Ci)P(Xi|obj,Si,Ci)和融合模型Eunary(Xi,Si,Ci)=-logp(Xi|Si,Ci)计算生成待分类物体属于Xi对应的第一单帧融合后验分类概率,其中,obj只能为0或者1,obj=0代表物体不存在,obj=1代表物体存在。待分类物体分别属于全部预设类别对应的多个第一单帧融合后验概率形成的集合,就是第一单帧图像对应的融合后的第一单帧后验分类结果。
S303,根据融合后的第一单帧后验分类结果,从多个预设类别中选择待分类物体的类别。
其中,融合后的第一单帧后验分类结果是待分类物体分别属于全部预设类别对应的多个第一单帧融合后验概率形成的集合。
一种可能的实现方式是,选择数值最大的第一单帧融合后验概率对应的预设类别作为待分类物体的类别。
从而,考虑了待分类物体是否真实存在的概率,使得本发明实施例所提出的物体分类方法更加符合实际要求。
为了让本发明实施例所提出的物体分类方法结合时序信息生成待分类物体的分类结果,本发明实施例还提出了又一种物体分类方法,图5为本发明实施例所提供的又一种物体分类方法的流程示意图。其中,融合后的第一单帧后验分类结果是根据第一单帧图像确定的待分类物体分别属于多个预设类别对应的多个第一单帧融合后验概率形成的集合,基于图4所示的方法流程,如图5所示,S303,根据融合后的第一单帧后验分类结果,从多个预设类别中选择待分类物体的类别,包括:
S401,获取第一单帧图像对应的历史分类结果。
需要说明的是,结合时序信息生成待分类物体的分类结果时,需要从零时刻开始,每隔一个时间戳获取一帧图像,并且生成每一帧图像对应的分类结果。
第一单帧图像对应的历史分类结果是根据第一单帧图像之前获取的每一帧图像的分类结果生成的分类结果。
具体地,第一单帧图像对应的历史分类结果是根据以下步骤生成的:
S21,设置每帧图像的获取时间对应于时间轴上的时间点,其中,时间轴的零时刻为待分类物体首次出现在图像中的时间点。
S22,判断第一单帧图像对应的时间点是否为时间轴的零时刻。
S23,若第一单帧图像对应的时间点是零时刻,则设置第一单帧图像对应的历史分类结果为预设的分类结果。
S24,若第一单帧图像对应的时间点不是零时刻,则获取第二单帧图像,其中,第二单帧图像对应的时间点与第一单帧图像对应的时间点相邻。
S25,获取第二单帧图像对应的融合后的第二单帧后验分类结果和第二单帧图像对应的历史分类结果。
S26,根据融合后的第二单帧后验分类结果和第二单帧图像对应的历史分类结果,生成第二单帧图像对应的最终分类结果。
S27,将第二单帧图像对应的最终分类结果作为第一单帧图像对应的历史分类结果。
举例来说,第二单帧图像为获取的第N帧图像,第一单帧图像为获取的第N+1帧图像,第N帧图像和第N+1帧图像在时间轴上对应的时间点相隔一个时间窗。
当N等于0时,说明不存在第二单帧图像,第一单帧图像为获取的第1帧图像,那么第一单帧图像对应的时间点为时间轴的零时刻。此时,将预设的分类结果作为第一单帧图像对应的历史分类结果。
当N不等于0时,说明第一单帧图像不是获取的第1帧图像,则根据第N帧图像对应的历史分类结果和第N帧图像的融合后的后验分类结果,生成第N帧图像的最终分类结果,并将其作为第N+1帧图像对应的历史分类结果。
应当理解,伴随着N的数值由0不断增大,每一帧图像对应的分类结果不断传递给下一帧图像,影响着之后图像的分类结果。而且伴随着时间间隔的增加,越早获取的图像对之后图像的分类结果的影响力不断降低。
S402,根据融合后的第一单帧后验分类结果和第一单帧图像对应的历史分类结果,生成待分类物体分别属于多个预设类别所对应的多个融合概率。
为了生成融合概率,一种可能的实现方式是,获取融合后的第一单帧分类结果和第一单帧图像对应的历史分类结果所对应的状态转移概率矩阵。使用状态转移概率矩阵对融合后的第一单帧分类结果和第一单帧图像对应的历史分拳结果进行融合,生成多个融合概率。
首先使用公式Epairwise(Xi,Xj)=-log(Tran(Xi,Xj))得到使用状态转移概率矩阵对第一单帧图像对应的历史分类结果进行处理的结果,其中,Xi表示待分类物体在i时刻的类别,Xj表示待分类物体在j时刻的类别,Tran(Xi,Xj)表示从j时刻到i时刻,待分类物体的类别由Xj向Xi转移的概率。
再使用公式E({Xi,Si,Ci})=∑iEunary(Xi,Si,Ci)+α∑i~jEpairwise(Xi,Xj)与融合后的第一单帧分类结果进行融合,生成融合概率,其中,α表示状态转移概率矩阵对应的权重。
将Xi是全部预设类别中每一个类别的情况按照上述方法进行处理,生成待分类物体分别属于全部预设类别对应的多个融合概率。
如图6所示,第二单帧图像对应的最终分类结果即为根据融合后的第二单帧后验分类结果和第二单帧图像对应的历史分类结果,生成的多个融合概率。同时,第二图像对应的最终分类结果也是第一单帧图像对应的历史分类结果。
S403,选择数值最大的融合概率对应的预设类别作为待分类物体的类别。
从而,实现了结合历史分类结果,以提高物体分类的准确率。
为了更加清楚地说明本发明实施例所提供的物体分类方法,下面进行举例说明。
获取第N帧图像对应的多个融合概率作为第N帧图像的最终分类结果,同时也是第N+1帧图像的历史分类结果。
获取第N+1帧图像,将第N+1帧图像分别输入多个分类器,生成第N+1帧图像对应的多个单帧分类结果。
使用混淆矩阵对单帧分类结果进行修正,并对第N帧图像对应的修正后的单帧分类结果进行融合,得到第N+1帧图像对应的融合后的单帧分类结果。
根据存在概率,计算得到第N+1帧图像对应的融合后的单帧后验分类结果。
获取第N+1帧图像的历史分类结果和第N+1帧图像对应的融合后的单帧后验分类结果所对应的状态转移概率矩阵,使用状态转移概率矩阵对第N+1帧图像的历史分类结果进行处理,根据权重将处理后的结果与第N+1帧图像对应的融合后的单帧后验分类结果相结合,得到第N+1帧图像对应的多个融合概率,也即第N+1帧图像对应的最终分类结果。
为了实现上述实施例,本发明实施例还提出一种物体分类装置,图7为本发明实施例所提供的一种物体分类装置的结构示意图。如图7所示,该装置包括:获取模块510,输入模块520,生成模块530。
获取模块510,用于获取待分类物体的第一单帧图像。
输入模块520,用于将待分类物体的第一单帧图像分别输入多个分类器,以生成多个单帧分类结果,其中,多个分类器具有不同的分类特性。
生成模块530,用于根据多个分类器所生成的多个单帧分类结果,生成待分类物体的类别。
进一步地,为了提高每个分类器的单帧分类结果,一种可能的实现方式是,生成模块530,包括:获取子模块531,用于分别获取多个分类器所对应的多个混淆矩阵。修正子模块532,用于使用多个分类器所对应的多个混淆矩阵分别对多个分类器所生成的多个单帧分类结果进行修正。生成子模块533,用于根据修正后的多个单帧分类结果,生成待分类物体的类别。
需要说明的是,前述对物体分类方法实施例的解释说明也适用于该实施例的物体分类装置,此处不再赘述。
综上所述,本发明实施例的一种物体分类装置,获取待分类物体的第一单帧图像,将待分类物体的第一单帧图像分别输入多个分类器,以生成多个单帧分类结果,其中,多个分类器具有不同的分类特性。根据多个分类器所生成的多个单帧分类结果,生成待分类物体的类别。由此,实现了根据不同分类特性的多个分类器所生成的多个单帧分类结果,生成待分类物体的类别,充分考虑了不同分类器的分类特性,提高了物体分类的准确率。
为了实现上述实施例,本发明实施例还提出另一种物体分类装置,图8为本发明实施例所提供的另一种物体分类装置的结构示意图。基于图7所示的装置结构,如图8所示,该装置还包括:采集模块540,计算模块550。
采集模块540,用于采集可能包含待分类物体的样本区域所对应的样本区域的传感器数据。
计算模块550,用于根据样本区域的传感器数据,计算样本区域中存在待分类物体的概率,以获取待分类物体在样本区域中的存在概率。
相应的,基于图7所示的装置结构,如图9所示,生成子模块533,包括:融合单元5331,生成单元5332,选择单元5333。
融合单元5331,用于对修正后的多个单帧分类结果进行融合,以获取第一单帧图像对应的融合后的第一单帧分类结果。
生成单元5332,用于根据样本区域中的存在概率和融合后的第一单帧分类结果,生成融合后的第一单帧后验分类结果。
选择单元5333,用于根据融合后的第一单帧后验分类结果,从多个预设类别中选择待分类物体的类别。
需要说明的是,前述对物体分类方法实施例的解释说明也适用于该实施例的物体分类装置,此处不再赘述。
从而,考虑了待分类物体是否真实存在的概率,使得本发明实施例所提出的物体分类方法更加符合实际要求。
为了实现上述实施例,本发明实施例还提出又一种物体分类装置,图10为本发明实施例所提供的又一种物体分类装置的结构示意图。其中,融合后的第一单帧后验分类结果是根据第一单帧图像确定的待分类物体分别属于多个预设类别对应的多个第一单帧融合后验概率形成的集合。基于图9所示的装置结构,如图10所示,选择单元5333,包括:第一获取子单元53331,第一生成子单元53332,选择子单元53333。
第一获取子单元53331,用于获取所述第一单帧对应的历史分类结果。
第一生成子单元53332,用于根据所述融合后的第一单帧后验分类结果和所述第一单帧图像对应的历史分类结果,生成所述待分类物体分别属于所述多个预设类别所对应的多个融合概率。
选择子单元53333,用于选择数值最大的融合概率对应的预设类别作为待分类物体的类别。
进一步地,为了生成融合概率,一种可能的实现方式是,第一生成子单元53332,包括:获取二级子单元533321,用于获取融合后的第一单帧分类结果和第一单帧图像对应的历史分类结果所对应的状态转移概率矩阵。生成二级子单元533322,用于使用状态转移概率矩阵对融合后的第一单帧分类结果和第一单帧图像对应的历史分类结果进行融合,生成多个融合概率。
进一步地,为了生成第一单帧图像对应的历史分类结果,选择单元5333,还包括:第一设置子单元53334,设置每帧图像的获取时间对应于时间轴上的时间点,其中,时间轴的零时刻为待分类物体首次出现在图像中的时间点。判断子单元53335,用于判断第一单帧图像对应的时间点是否为时间轴的零时刻。第二设置子单元53336,用于当判断子单元53335确定第一单帧图像对应的时间点是零时刻时,设置第一单帧图像对应的历史分类结果为预设的分类结果。第二获取子单元53337,用于当判断子单元53335确定第一单帧图像对应的时间点不是零时刻时,获取第二单帧图像,其中,第二单帧图像对应的时间点与第一单帧图像对应的时间点相邻。第三获取子单元53338,用于获取第二单帧图像对应的融合后的第二单帧后验分类结果和第二单帧图像对应的历史分类结果。第二生成子单元53339,用于根据融合后的第二单帧后验分类结果和第二单帧图像对应的历史分类结果,生成第二单帧图像对应的最终分类结果。第三设置子单元533310,用于将第二单帧图像对应的最终分类结果作为生成第一单帧图像对应的历史分类结果。
需要说明的是,前述对物体分类方法实施例的解释说明也适用于该实施例的物体分类装置,此处不再赘述。
从而,实现了结合历史分类结果,以提高物体分类的准确率。
为了实现上述实施例,本发明实施例还提出一种计算机程序产品,当所述计算机程序产品中的指令处理器执行时实现如前述方法实施例所述的物体分类方法。
为了实现上述实施例,实施例还提出一种非临时性计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如前述方法实施例所述的物体分类方法。
在本发明的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系,除非另有明确的限定。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中,除非另有明确的规定和限定,第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触,或第一和第二特征通过中间媒介间接接触。而且,第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方,或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (15)
1.一种自动驾驶中物体分类方法,其特征在于,包括:
获取待分类物体的第一单帧图像;
将所述待分类物体的第一单帧图像分别输入多个分类器,以生成多个单帧分类结果,其中,所述多个分类器具有不同的分类特性,所述分类特性是指将所述待分类物体的图像输入分类器后,分类器根据所述图像生成待分类物体属于不同类别对应的多个概率,所述单帧分类结果包括将所述待分类物体分为多个预设类别所对应的多个概率所形成的概率集合;以及
根据所述多个分类器所生成的多个单帧分类结果,生成所述待分类物体的类别,其中,根据融合后的第一单帧后验分类结果和第一单帧图像对应的历史分类结果,生成所述待分类物体分别属于多个预设类别所对应的多个融合概率,选择数值最大的融合概率对应的预设类别作为所述待分类物体的类别,所述融合后的第一单帧后验分类结果包括所述待分类物体分别属于全部预设类别对应的多个第一单帧融合后验概率形成的集合,所述第一单帧图像对应的历史分类结果包括根据第一单帧图像之前获取的每一帧图像的分类结果生成的分类结果。
2.如权利要求1所述的自动驾驶中物体分类方法,其特征在于,所述根据所述多个分类器所生成的多个单帧分类结果,生成所述待分类物体的类别,包括:
分别获取所述多个分类器所对应的多个混淆矩阵;
使用所述多个分类器所对应的多个混淆矩阵分别对所述多个分类器所生成的多个单帧分类结果进行修正;以及
根据修正后的所述多个单帧分类结果,生成所述待分类物体的类别。
3.如权利要求2所述的自动驾驶中物体分类方法,其特征在于,在所述获取待分类物体的第一单帧图像之前,还包括:
采集包含所述待分类物体的样本区域所对应的样本区域的传感器数据;
根据所述样本区域的传感器数据,计算所述样本区域中存在所述待分类物体的概率,以获取所述待分类物体在所述样本区域中的存在概率。
4.如权利要求3所述的自动驾驶中物体分类方法,其特征在于,所述根据修正后的所述多个单帧分类结果,生成所述待分类物体的类别,包括:
对所述修正后的多个单帧分类结果进行融合,以获取所述第一单帧图像对应的融合后的第一单帧分类结果;
根据所述样本区域中的存在概率和所述融合后的第一单帧分类结果,生成融合后的第一单帧后验分类结果;
根据所述融合后的第一单帧后验分类结果,从多个预设类别中选择所述待分类物体的类别。
5.如权利要求4所述的自动驾驶中物体分类方法,其特征在于,所述融合后的第一单帧后验分类结果是根据所述第一单帧图像确定的所述待分类物体分别属于所述多个预设类别对应的多个第一单帧融合后验概率形成的集合,所述根据所述融合后的第一单帧后验分类结果,从多个预设类别中选择所述待分类物体的类别,包括:
获取所述第一单帧图像对应的历史分类结果;
根据所述融合后的第一单帧后验分类结果和所述第一单帧图像对应的历史分类结果,生成所述待分类物体分别属于所述多个预设类别所对应的多个融合概率;以及
选择数值最大的所述融合概率对应的所述预设类别作为所述待分类物体的类别。
6.如权利要求5所述的自动驾驶中物体分类方法,其特征在于,所述根据所述融合后的第一单帧后验分类结果和所述第一单帧图像对应的历史分类结果,生成所述待分类物体分别属于所述多个预设类别所对应的多个融合概率,包括:
获取所述融合后的第一单帧分类结果和所述第一单帧图像对应的历史分类结果所对应的状态转移概率矩阵;
使用所述状态转移概率矩阵对所述融合后的第一单帧分类结果和所述第一单帧图像对应的历史分类结果进行融合,生成所述多个融合概率。
7.如权利要求5或6所述的自动驾驶中物体分类方法,其特征在于,所述第一单帧图像对应的历史分类结果是根据以下步骤生成的:
设置每帧图像的获取时间对应于时间轴上的时间点,其中,所述时间轴的零时刻为所述待分类物体首次出现在所述图像中的时间点;
判断所述第一单帧图像对应的时间点是否为所述时间轴的零时刻;
若所述第一单帧图像对应的时间点是零时刻,则设置所述第一单帧图像对应的历史分类结果为预设的分类结果;
若所述第一单帧图像对应的时间点不是零时刻,则获取第二单帧图像,其中,所述第二单帧图像对应的时间点与所述第一单帧图像对应的时间点相邻;
获取所述第二单帧图像对应的融合后的第二单帧后验分类结果和所述第二单帧图像对应的历史分类结果;
根据所述融合后的第二单帧后验分类结果和所述第二单帧图像对应的历史分类结果,生成所述第二单帧图像对应的最终分类结果;
将所述第二单帧图像对应的最终分类结果作为所述第一单帧图像对应的历史分类结果。
8.一种自动驾驶中物体分类装置,其特征在于,包括:
获取模块,用于获取待分类物体的第一单帧图像;
输入模块,用于将所述待分类物体的第一单帧图像分别输入多个分类器,以生成多个单帧分类结果,其中,所述多个分类器具有不同的分类特性,所述分类特性是指将所述待分类物体的图像输入分类器后,分类器根据所述图像生成待分类物体属于不同类别对应的多个概率,所述单帧分类结果包括将所述待分类物体分为多个预设类别所对应的多个概率所形成的概率集合;以及
生成模块,用于根据所述多个分类器所生成的多个单帧分类结果,生成所述待分类物体的类别,其中,根据融合后的第一单帧后验分类结果和第一单帧图像对应的历史分类结果,生成所述待分类物体分别属于多个预设类别所对应的多个融合概率,选择数值最大的融合概率对应的预设类别作为所述待分类物体的类别,所述融合后的第一单帧后验分类结果包括所述待分类物体分别属于全部预设类别对应的多个第一单帧融合后验概率形成的集合,所述第一单帧图像对应的历史分类结果包括根据第一单帧图像之前获取的每一帧图像的分类结果生成的分类结果。
9.如权利要求8所述的自动驾驶中物体分类装置,其特征在于,所述生成模块,包括:
获取子模块,用于分别获取所述多个分类器所对应的多个混淆矩阵;
修正子模块,用于使用所述多个分类器所对应的多个混淆矩阵分别对所述多个分类器所生成的多个单帧分类结果进行修正;以及
生成子模块,用于根据修正后的所述多个单帧分类结果,生成所述待分类物体的类别。
10.如权利要求9所述的自动驾驶中物体分类装置,其特征在于,所述装置还包括:
采集模块,用于采集包含所述待分类物体的样本区域所对应的样本区域的传感器数据;
计算模块,用于根据所述样本区域的传感器数据,计算所述样本区域中存在所述待分类物体的概率,以获取所述待分类物体在所述样本区域中的存在概率。
11.如权利要求10所述的自动驾驶中物体分类装置,其特征在于,所述生成子模块,包括:
融合单元,用于对所述修正后的多个单帧分类结果进行融合,以获取所述第一单帧图像对应的融合后的第一单帧分类结果;
生成单元,用于根据所述样本区域中的存在概率和所述融合后的第一单帧分类结果,生成融合后的第一单帧后验分类结果;
选择单元,用于根据所述融合后的第一单帧后验分类结果,从多个预设类别中选择所述待分类物体的类别。
12.如权利要求11所述的自动驾驶中物体分类装置,其特征在于,所述融合后的第一单帧后验分类结果是根据所述第一单帧图像确定的所述待分类物体分别属于所述多个预设类别对应的多个第一单帧融合后验概率形成的集合,所述选择单元,包括:
第一获取子单元,用于获取所述第一单帧对应的历史分类结果;
第一生成子单元,用于根据所述融合后的第一单帧后验分类结果和所述第一单帧图像对应的历史分类结果,生成所述待分类物体分别属于所述多个预设类别所对应的多个融合概率;以及
选择子单元,用于选择数值最大的所述融合概率对应的所述预设类别作为所述待分类物体的类别。
13.如权利要求12所述的自动驾驶中物体分类装置,其特征在于,所述第一生成子单元,包括:
获取二级子单元,用于获取所述融合后的第一单帧分类结果和所述第一单帧图像对应的历史分类结果所对应的状态转移概率矩阵;
生成二级子单元,用于使用所述状态转移概率矩阵对所述融合后的第一单帧分类结果和所述第一单帧图像对应的历史分类结果进行融合,生成所述多个融合概率。
14.如权利要求12或13所述的自动驾驶中物体分类装置,其特征在于,所述选择单元,还包括:
第一设置子单元,设置每帧图像的获取时间对应于时间轴上的时间点,其中,所述时间轴的零时刻为所述待分类物体首次出现在所述图像中的时间点;
判断子单元,用于判断所述第一单帧图像对应的时间点是否为所述时间轴的零时刻;
第二设置子单元,用于当所述判断子单元确定所述第一单帧图像对应的时间点是零时刻时,设置所述第一单帧图像对应的历史分类结果为预设的分类结果;
第二获取子单元,用于当所述判断子单元确定所述第一单帧图像对应的时间点不是零时刻时,获取第二单帧图像,其中,所述第二单帧图像对应的时间点与所述第一单帧图像对应的时间点相邻;
第三获取子单元,用于获取所述第二单帧图像对应的融合后的第二单帧后验分类结果和所述第二单帧图像对应的历史分类结果;
第二生成子单元,用于根据所述融合后的第二单帧后验分类结果和所述第二单帧图像对应的历史分类结果,生成所述第二单帧图像对应的最终分类结果;
第三设置子单元,用于将所述第二单帧图像对应的最终分类结果作为所述第一单帧图像对应的历史分类结果。
15.一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-7中任一所述的自动驾驶中物体分类方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811534884.3A CN109711296B (zh) | 2018-12-14 | 2018-12-14 | 自动驾驶中物体分类方法及其装置、可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811534884.3A CN109711296B (zh) | 2018-12-14 | 2018-12-14 | 自动驾驶中物体分类方法及其装置、可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109711296A CN109711296A (zh) | 2019-05-03 |
CN109711296B true CN109711296B (zh) | 2022-01-25 |
Family
ID=66256518
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811534884.3A Active CN109711296B (zh) | 2018-12-14 | 2018-12-14 | 自动驾驶中物体分类方法及其装置、可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109711296B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101251896A (zh) * | 2008-03-21 | 2008-08-27 | 腾讯科技(深圳)有限公司 | 一种基于多分类器的物体检测系统及方法 |
CN108256506A (zh) * | 2018-02-14 | 2018-07-06 | 北京市商汤科技开发有限公司 | 一种视频中物体检测方法及装置、计算机存储介质 |
CN108614262A (zh) * | 2018-06-22 | 2018-10-02 | 安徽江淮汽车集团股份有限公司 | 一种车辆前方目标物检测方法及系统 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140241618A1 (en) * | 2013-02-28 | 2014-08-28 | Hewlett-Packard Development Company, L.P. | Combining Region Based Image Classifiers |
US10096122B1 (en) * | 2017-03-28 | 2018-10-09 | Amazon Technologies, Inc. | Segmentation of object image data from background image data |
CN107194419A (zh) * | 2017-05-10 | 2017-09-22 | 百度在线网络技术(北京)有限公司 | 视频分类方法及装置、计算机设备与可读介质 |
CN108205685A (zh) * | 2017-11-22 | 2018-06-26 | 深圳市商汤科技有限公司 | 视频分类方法、视频分类装置及电子设备 |
CN108038515A (zh) * | 2017-12-27 | 2018-05-15 | 中国地质大学(武汉) | 无监督多目标检测跟踪方法及其存储装置与摄像装置 |
CN108921206B (zh) * | 2018-06-15 | 2021-11-26 | 北京金山云网络技术有限公司 | 一种图像分类方法、装置、电子设备及存储介质 |
-
2018
- 2018-12-14 CN CN201811534884.3A patent/CN109711296B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101251896A (zh) * | 2008-03-21 | 2008-08-27 | 腾讯科技(深圳)有限公司 | 一种基于多分类器的物体检测系统及方法 |
CN108256506A (zh) * | 2018-02-14 | 2018-07-06 | 北京市商汤科技开发有限公司 | 一种视频中物体检测方法及装置、计算机存储介质 |
CN108614262A (zh) * | 2018-06-22 | 2018-10-02 | 安徽江淮汽车集团股份有限公司 | 一种车辆前方目标物检测方法及系统 |
Non-Patent Citations (1)
Title |
---|
Multi-class SVM classifiers fusion based on evidence combination;Deqiang Han et al.;《Proceedings of the 2007 International Conference on Wavelet Analysis and Pattern Recognition》;20071231;第579-584页 * |
Also Published As
Publication number | Publication date |
---|---|
CN109711296A (zh) | 2019-05-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107230218B (zh) | 用于生成对从安装在运载工具上的摄像机捕捉的图像导出的估计的置信度测量的方法和设备 | |
CN111079602B (zh) | 基于多尺度区域特征约束的车辆细粒度识别方法及装置 | |
CN110363158B (zh) | 一种基于神经网络的毫米波雷达与视觉协同目标检测与识别方法 | |
JP2016029564A (ja) | 対象検出方法及び対象検出装置 | |
JP5073548B2 (ja) | 車両用環境認識装置および先行車追従制御システム | |
JP2009176090A (ja) | 環境認識装置 | |
CN111753623B (zh) | 一种运动物体的检测方法、装置、设备及存储介质 | |
CN113763350B (zh) | 一种胶线检测方法、装置、胶线检测设备及存储介质 | |
CN112927279A (zh) | 一种图像深度信息生成方法、设备及存储介质 | |
CN112507862A (zh) | 基于多任务卷积神经网络的车辆朝向检测方法及系统 | |
CN111062318B (zh) | 一种基于熵权法的传感器共享最优节点选择方法 | |
CN113408324A (zh) | 目标检测方法、装置及系统、高级驾驶辅助系统 | |
JP5073700B2 (ja) | 物体検出装置 | |
CN109711296B (zh) | 自动驾驶中物体分类方法及其装置、可读存储介质 | |
CN112784494B (zh) | 假阳性识别模型的训练方法、目标识别方法及装置 | |
CN115965961B (zh) | 局部到全局的多模态融合方法、系统、设备及存储介质 | |
CN115984646B (zh) | 面向遥感跨卫星观测的分布式目标检测方法、装置和卫星 | |
CN112529011A (zh) | 目标检测方法及相关装置 | |
JP7165353B2 (ja) | 画像特徴量出力装置、画像認識装置、画像特徴量出力プログラム、及び画像認識プログラム | |
TWI796952B (zh) | 物件偵測裝置以及物件偵測方法 | |
JP2018092603A (ja) | 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及び、情報処理プログラム | |
JP5472137B2 (ja) | 境界検出装置、および境界検出プログラム | |
CN112613462A (zh) | 一种加权交并比方法 | |
CN116778262B (zh) | 一种基于虚拟点云的三维目标检测方法和系统 | |
CN115661499B (zh) | 智能驾驶预设锚框的确定装置、方法及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |