CN108764321A - 图像识别方法和装置、电子设备、存储介质 - Google Patents

图像识别方法和装置、电子设备、存储介质 Download PDF

Info

Publication number
CN108764321A
CN108764321A CN201810488963.9A CN201810488963A CN108764321A CN 108764321 A CN108764321 A CN 108764321A CN 201810488963 A CN201810488963 A CN 201810488963A CN 108764321 A CN108764321 A CN 108764321A
Authority
CN
China
Prior art keywords
image
decision tree
pending
class label
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810488963.9A
Other languages
English (en)
Other versions
CN108764321B (zh
Inventor
陈岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201810488963.9A priority Critical patent/CN108764321B/zh
Publication of CN108764321A publication Critical patent/CN108764321A/zh
Priority to PCT/CN2019/085499 priority patent/WO2019223513A1/zh
Application granted granted Critical
Publication of CN108764321B publication Critical patent/CN108764321B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种图像识别方法和装置、电子设备、计算机可读存储介质。所述方法包括:获取待处理图像,将待处理图像输入至决策树中,得到待处理图像的类别标签,类别标签为待处理图像的场景类别,决策树是根据带有场景类别的图像训练得到的,输出类别标签。使用决策树来对图像的场景类别进行识别,只需要将图像输入至决策树中就可以得到图像的类别标签,提高了图像识别的准确性。

Description

图像识别方法和装置、电子设备、存储介质
技术领域
本申请涉及图像处理技术领域,特别是涉及一种图像识别方法和装置、电子设备、计算机可读存储介质。
背景技术
随着图像处理技术的发展,大多数电子设备都有调节拍照模式的功能,根据不同的拍照模式可以采集到不同风格的图像。电子设备在对图像进行处理时,往往需要识别出图像的场景类别,从而根据场景类别有针对性的对图像进行处理。传统的场景类别的识别方式主要是利用图像的特征信息对场景进行建模,从而识别出场景类别。
然而,传统的场景类别识别方法,存在场景识别不准确的问题。
发明内容
本申请实施例提供一种图像识别方法、装置、电子设备、计算机可读存储介质,可以提高图像识别的准确性。
一种图像识别方法,包括:
获取待处理图像;
将所述待处理图像输入至决策树中,得到所述待处理图像的类别标签,所述类别标签为所述待处理图像的场景类别,所述决策树是根据带有场景类别的图像训练得到的;
输出所述类别标签。
一种图像识别装置,其特征在于,包括:
图像获取模块,用于获取待处理图像;
标签获取模块,用于将所述待处理图像输入至决策树中,得到所述待处理图像的类别标签,所述类别标签为所述待处理图像的场景类别,所述决策树是根据带有场景类别的图像训练得到的;
标签输出模块,用于输出所述类别标签。
一种电子设备,包括存储器及处理器,所述存储器中储存有计算机可读指令,所述指令被所述处理器执行时,使得所述处理器执行如下步骤:
获取待处理图像;
将所述待处理图像输入至决策树中,得到所述待处理图像的类别标签,所述类别标签为所述待处理图像的场景类别,所述决策树是根据带有场景类别的图像训练得到的;
输出所述类别标签。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如下步骤:
获取待处理图像;
将所述待处理图像输入至决策树中,得到所述待处理图像的类别标签,所述类别标签为所述待处理图像的场景类别,所述决策树是根据带有场景类别的图像训练得到的;
输出所述类别标签。
上述图像识别方法和装置、电子设备、计算机可读存储介质,通过获取待处理图像,将待处理图像输入至决策树中,得到待处理图像的类别标签,输出类别标签,类别标签为待处理图像的场景类别,决策树是根据带有场景类别的图像训练得到的。使用决策树来对图像的场景类别进行识别,只需要将图像输入至决策树中就可以得到图像的类别标签,提高了图像识别的准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一个实施例中电子设备的架构示意图;
图2为一个实施例中图像识别方法的流程图;
图3为一个实施例中生成决策树的方法流程图;
图4为一个实施例中从决策树得到类别标签的方法流程图;
图5为一个实施例中从前景决策树中得到第一类别标签的方法流程图;
图6为一个实施例中从后景决策树中得到第二类别标签的方法流程图;
图7A为一个实施例中前景决策树的处理示意图;
图7B为一个实施例中后景决策树的处理示意图;
图8为一个实施例中输出预览图像的类别标签的方法流程图;
图9为一个实施例中图像识别装置的结构框图;
图10为另一个实施例中图像识别装置的结构框图;
图11为一个实施例中图像处理电路的示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件,但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说,在不脱离本申请的范围的情况下,可以将第一客户端称为第二客户端,且类似地,可将第二客户端称为第一客户端。第一客户端和第二客户端两者都是客户端,但其不是同一客户端。
在一个实施例中,如图1所示,提供了一种电子设备的内部结构示意图。该电子设备包括通过系统总线连接的处理器、存储器、摄像头和网络接口。其中,该处理器用于提供计算和控制能力,支撑整个电子设备的运行。存储器用于存储数据、程序、和/或指令代码等,存储器上存储至少一个计算机程序,该计算机程序可被处理器执行,以实现本申请实施例中提供的适用于电子设备的图像识别方法。存储器可包括磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)等非易失性存储介质,或随机存储记忆体(Random-Access-Memory,RAM)等。例如,在一个实施例中,存储器包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行,以用于实现本申请各个实施例所提供的一种图像识别方法。内存储器为非易失性存储介质中的操作系统和计算机程序提供高速缓存的运行环境。摄像头可以用于采集图像。网络接口可以是以太网卡或无线网卡等,用于与外部的电子设备进行通信,比如可用于同服务器进行通信。
本领域技术人员可以理解,图1中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的电子设备的限定,具体的电子设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种图像识别方法,以应用于上述电子设备来举例说明,如图2所示,该方法包括如下步骤:
步骤202,获取待处理图像。
待处理图像是指需要对图像中的内容进行场景识别的图像。待处理图像可以是电子设备通过摄像头实时采集的图像,也可以是预先存储在电子设备本地的图像。电子设备可以通过摄像头实时获取采集的待处理图像,电子设备还可以通过选择本地存储的图像对待处理图像进行获取。
步骤204,将待处理图像输入至决策树中,得到待处理图像的类别标签,类别标签为待处理图像的场景类别,决策树是根据带有场景类别的图像训练得到的。
决策树是基于树形结构进行决策的一种机器学习方法。在机器学习中,决策树是一个预测模型,代表对象属性与对象值之间的一种映射关系。一颗决策树可以包含一个根结点、多个内部结点以及多个叶子节点。叶子节点是与决策结果对应的,其他每个节点对应于一个属性测试。每个结点包含的样本集合根据属性测试结果被划分到子节点中,根结点包含全部样本集。从根结点到每个叶结点的路径对应一个判定测试序列。
电子设备可以将待处理图像输入到决策树中,该决策树可以是预先建立好的决策树。其中,图像的场景类别可以包括人像、猫、狗、婴儿、美食、蓝天、绿草、沙滩、雪景等。决策树可以通过带有场景类别的图像训练得到,训练得到的决策树可以对图像的类别进行预测。当电子设备将待处理图像输入至训练好的决策树中时,电子设备可以得到决策树的输出预测结果,电子设备得到的预测结果就是待处理图像的类别标签。其中,电子设备得到的类别标签可以是人像、猫、狗、婴儿、美食、蓝天、绿草、沙滩、雪景等图像的场景类别。
步骤206,输出类别标签。
电子设备在得到决策树的预测结果后还可以对得到的预测结果进行输出,即输出待处理图像的类别标签。
通过获取待处理图像,将待处理图像输入至决策树中,得到待处理图像的类别标签,输出类别标签,其中,类别标签为待处理图像的场景类别,决策树是根据带有场景类别的图像训练得到的。使用决策树来对图像的场景类别进行识别,只需要将图像输入至决策树中就可以得到图像的类别标签,提高了图像识别的准确性。
如图3所示,在一个实施例中,提供的一种图像识别方法还可以包括生成决策树的过程,具体步骤包括:
步骤302,提取样本图像中的至少两个图像特征。
样本图像是在需要考察的所有图像中随机抽取的一部分图像。图像特征是指能够区分图像中不同场景类别的特征。例如,图像特征可以是颜色特征,还可以是形状特征等。
其中,图像特征可以是预先设置好的,一个特征代表图像的一个类别,例如,形状特征中的圆形代表图像中的类别是人像,颜色特征中的绿色代表图像中的类别是绿草,颜色特征中的蓝色代表图像中的类别是蓝天。电子设备可以对样本图像中的图像特征进行提取,且电子设备提取的样本图像中的图像特征至少两个。例如,样本图像为摄像头采集的一群人在草原上的照片,照片中包括了人像、蓝天和绿草,电子设备可以提取摄像头采集的样本图像中的形状特征和颜色特征,其中,电子设备提取到的形状特征是圆形,电子特征提取到的颜色特征是绿色和蓝色,表示摄像头采集的样本图像中包含有人像、绿草和蓝天这几个类别。
步骤304,分别计算至少两个图像特征作为节点时的信息参数值。
信息参数值包括信息增益、信息增益比以及基尼系数中的一种。其中,节点是指决策树中对属性进行分类的条件点,节点可以包括根节点、内部节点以及叶子节点。根节点又叫做决策节点,根节点是几种方案中选择的最佳方案;内部节点还可以叫做状态节点,决策树的内部节点表示的是判断条件;而叶子节点也可以叫做结果节点,叶子节点表示决策树的预测结果。
电子设备可以分别计算出提取的每个图像特征作为根节点时的信息参数值,电子设备还可以分别计算出提取的每个图像特征作为内部节点时的信息参数值。可以理解的,叶子节点表示的是决策树的预测结果,电子设备不需要对图像特征作为叶子节点时的信息参数值进行计算。
步骤306,将信息参数值最大的图像特征作为节点。
电子设备计算图像特征作为节点时的信息参数值时,可以计算该图像特征作为节点时的信息增益、信息增益比或者基尼系数。
其中,信息增益是针对一个一个的图像特征而言的,信息增益是指待分类的集合的熵和选定某个特征的条件熵之差,用于选取图像特征时,信息增益就是待分类的图像特征的集合的熵和选定的图像特征的条件熵之间的差值,信息增益还可以理解为前后信息的差值,在使用决策树分类时,信息增益就是决策树在进行属性选择划分前和划分后的信息差值。熵指的是信息的期望值,而条件熵指的是选定的某个特征的熵。ID3决策树学习算法就是使用信息增益为准则来划分属性或者特征的。
信息增益比是指信息增益与训练数据集中选定的某个特征的熵之比。信息增益往往偏向选择分支多的属性,会导致过拟合的问题,而信息增益比可以作为一种补偿措施来解决信息增益所存在的问题。C4.5决策树学习算法就是使用信息增益比为准则来划分属性或者特征的。
基尼系数表示一个随机选中的样本在子集中被分错的可能性。电子设备在选取图像特征时,图像特征越杂乱,基尼系数也就越大。使用CART决策树学习算法训练决策树时需要使用基尼系数。
电子设备可以将信息参数值最大的图像特征作为节点。例如,电子设备在选取根节点的时候,以信息增益为例,电子设备可以分别将样本图像中提取的多个图像特征作为根节点,并分别计算该多个图像特征作为根节点时的信息增益,再将信息增益最大的图像特征作为根节点。可以理解的,在选取决策树内部节点时,也可以使用同样的方法选取。
通过提取样本图像中的至少两个图像特征,分别计算至少两个图像特征作为节点时的信息参数值,将信息参数值最大的图像特征作为节点。通过计算图像特征作为节点时的信息参数值,并将信息参数值最大的图像特征作为节点,可以使建立的决策树更加精确,从而大大提高了图像识别的准确性。
在一个实施例中,如图4所示,提供的一种图像识别方法还可以包括从决策树得到类别标签的过程,具体步骤包括:
步骤402,将待处理图像输入至决策树,决策树提取待处理图像中的图像特征。
电子设备在获取到待处理图像后,可以将待处理图像输入到决策树中进行处理。由于决策树是根据带有场景类别的图像训练得到的,电子设备可以得到从决策树输出的对图像场景类别的预测结果。电子设备将待处理图像输入至决策树后,决策树可以对待处理图像中的图像特征进行提取,例如,决策树可以提取待处理图像中的形状特征、颜色特征等。决策树可以提取待处理图像中的至少两个图像特征。
步骤404,决策树分别计算待处理图像中图像特征作为节点时的信息参数值。
决策树提取了图像特征后,可以分别将提取的图像特征作为根节点,再分别计算出图像特征作为根节点的信息参数值,例如,决策树计算的信息参数值可以是信息增益。决策树还可以分别将提取的图像特征作为内部节点,再分别计算图像特征作为内部节点的信息参数值。
步骤406,得到将信息参数值最大的图像特征作为节点的决策树输出的类别标签。
决策树在对图像特征作为节点的信息参数值进行计算后,可以对计算出的信息参数值进行比较,从而得到信息参数值最大的图像特征。例如,决策树可以提取待处理图像中的图像特征后,分别计算当图像特征作为根节点时的信息参数值,并对计算出的信息参数值进行比较,从得到信息参数值最大的图像特征,此时,决策树可以将信息参数值最大的图像特征作为根节点;接着,决策树的根节点选定后,决策树可以分别计算没有作为根节点的图像特征作为内部节点时的信息参数值,决策树的内部节点可以有多个。决策树计算出图像特征作为内部节点的信息参数值后,可以将信息参数值最大的图像特征作为第一内部节点,以此类推,决策树可以选定多个内部节点。
决策树在选定好根节点和内部节点后,决策树就已经完全建立好了。电子设备在讲待处理图像输入至决策树后,决策树就可以预测出待处理图像的场景类别,并将类别标签输出。
通过将待处理图像输入至决策树,决策树提取待处理图像中的图像特征,决策树分别计算待处理图像中图像特征作为节点时的信息参数值,得到将信息参数值最大的图像特征作为节点的决策树输出的类别标签。决策树通过计算将图像特征作为节点时的信息参数值,并以此选定各个节点,再输出待处理图像的类别标签,提高了决策树预测的准确性,进而提高了图像识别的准确性。
如图5所示,在一个实施例中,提供的一种图像识别方法还可以包括从前景决策树中得到第一类别标签的过程,具体步骤包括:
步骤502,将待处理图像输入至前景决策树,前景决策树提取待处理图像中前景图像特征。
训练好的决策树可以包括前景决策树。前景图像特征可以是区别图像前景场景类别的图像特征。前景场景可以包括人像、猫、狗、婴儿、美食、以及文本等场景。电子设备可以将待处理图像输入至训练好的前景决策树中,前景决策树可以提取待处理图像中的前景图像特征。其中,前景图像特征可以是形状特征,还可以是颜色特征。
步骤504,前景决策树分别计算待处理图像中前景图像特征作为节点时的信息参数值。
前景决策树可以分别计算出待处理图像中前景图像特征作为根节点时的信息参数值,同样的,前景决策树还可以分别计算出待处理图像中前景图像特征作为内部节点时的信息参数值。
步骤506,得到将信息参数值最大的前景图像特征作为节点的前景决策树输出的第一类别标签。
其中,第一类别标签是待处理图像中的前景类别标签,例如,人像、猫、狗、婴儿、美食以及文本等前景类别标签。前景决策树可以通过比较计算出的信息参数值的大小的方式来选定根节点和内部节点。前景决策树的根节点和内部节点选定好之后,前景决策树可以对电子设备输入的待处理图像进行处理,从而得到从前景决策树中输出的第一类别标签。
通过将待处理图像输入至前景决策树,前景决策树提取待处理图像中前景图像特征,前景决策树分别计算待处理图像中前景图像特征作为节点时的信息参数值,得到将信息参数值最大的前景图像特征作为节点的前景决策树输出的第一类别标签。前景决策树输出的第一类别标签是待处理图像中前景的场景,前景决策树将待处理图像的前景场景与后景场景分开,提高了图像识别的准确性。
在一个实施例中,如图6所示,提供的一种图像识别方法还可以包括从后景决策树中得到第二类别标签的过程,具体步骤包括:
步骤602,将待处理图像输入至后景决策树,后景决策树提取待处理图像中后景图像特征。
训练好的决策树还可以包括后景决策树。后景图像特征可以是区别图像后景场景类别的图像特征。后景场景可以包括蓝天、绿草、风景、室内、沙滩、雪景、烟火、聚光灯、日落以及夜景等场景标签。电子设备可以将待处理图像输入至训练好的后景决策树中,后景决策树可以提取待处理图像中的后景图像特征。其中,后景图像特征可以是形状特征,还可以是颜色特征。
步骤604,后景决策树分别计算待处理图像中后景图像特征作为节点时的信息参数值。
后景决策树可以分别计算出待处理图像中后景图像特征作为根节点时的信息参数值,同样的,后景决策树还可以分别计算出待处理图像中后景图像特征作为内部节点时的信息参数值。
步骤606,得到将信息参数值最大的后景图像特征作为节点的后景决策树输出的第二类别标签。
其中,第二类别标签是待处理图像中的后景类别标签,例如,蓝天、绿草、风景、室内、沙滩、雪景、烟火、聚光灯、日落以及夜景等后景类别标签。后景决策树可以通过比较计算出的信息参数值的大小的方式来选定根节点和内部节点。后景决策树的根节点和内部节点选定好之后,后景决策树可以对电子设备输入的待处理图像进行处理,从而得到从后景决策树中输出的第二类别标签。
通过将待处理图像输入至后景决策树,后景决策树提取待处理图像中后景图像特征,后景决策树分别计算待处理图像中后景图像特征作为节点时的信息参数值,得到将信息参数值最大的后景图像特征作为节点的后景决策树输出的第二类别标签。后景决策树输出的第二类别标签是待处理图像中后景的场景,后景决策树将待处理图像的前景场景与后景场景分开,提高了图像识别的准确性。
如图7A所示,在一个实施例中,提供了前景决策树的处理过程。其中,决策树可以包括前景决策树710。在图7A中,用矩形框来表示根节点,用圆圈来表示内部节点,用三角形来表示叶子节点。电子设备获取到待处理图像后,可以将待处理图像输入到前景决策树710中,前景决策树710通过计算待处理图像的信息参数值可以选定根节点712以及内部节点714,电子设备通过将待处理图像输入至前景决策树710可以得到前景类别标签716。
在一个实施例中,如图7B所示,提供了后景决策树的处理过程。其中,决策树可以包括后景决策树720。在图7B中,用矩形框来表示根节点,用圆圈来表示内部节点,用三角形来表示叶子节点。电子设备获取到待处理图像后,可以将待处理图像输入到后景决策树720中,后景决策树720通过计算待处理图像的信息参数值可以选定根节点722以及内部节点724,电子设备通过将待处理图像输入至后景决策树720可以得到后景类别标签726。
电子设备在将待处理图像输入到前景决策树710和后景决策树720后,可以得到前景决策树710和后景决策树720同时输出的前景类别标签716和后景类别标签726。
在一个实施例中,如图8所示,提供的一种图像识别方法还可以包括输出预览图像的类别标签的过程,具体步骤包括:
步骤802,获取通过摄像头采集的预览图像。
电子设备可以控制摄像头采集图像,当摄像头处于开启状态时,可以采集到实时的预览图像。电子设备可以获取到通过摄像头采集的预览图象,预览图像中也可以包括有不同的图像场景,图像场景可以分为前景和后景,同样的,前景可以包括人像、猫、狗、婴儿、美食以及文本等场景,后景可以包括蓝天、绿草、风景、室内、沙滩、雪景、烟火、聚光灯、日落以及夜景等场景。
步骤804,将预览图像输入至决策树中,得到预览图像的类别标签。
电子设备可以将预览图像输入至训练好的决策树中,训练好的决策树可以包括前景决策树和后景决策树。电子设备将预览图像输入至前景决策树中之后,可以得到从前景决策树中输出的前景类别标签;电子设备将预览图像输入至后景决策树中之后,可以得到从后景决策树中输出的后景类别标签。
步骤806,输出预览图像的类别标签。
电子设备可以将从前景决策树中输出的前景类别标签与从后景决策树中输出的后景类别标签同时进行输出。
通过获取通过摄像头采集的预览图像,将预览图像输入至决策树中,得到预览图像的类别标签,输出预览图像的类别标签。电子设备可以通过决策树对预览图像的图像场景类别进行识别,从而提高了图像识别的准确性。
在一个实施例中,提供的一种图像识别方法还可以包括根据类别标签调节拍照模式的过程,具体包括:获取预览图像的类别标签,并根据预览图像的类别标签调节拍照模式。
电子设备在获取到预览图像的类别标签后,可以对拍照模式进行调节。其中,拍照模式可以包括人像模式、风景模式、专业模式等。电子设备可以根据预览图像的类别标签对拍照模式进行调节。例如,电子设备获取到预览图像的类别标签为人像和蓝天的场景类别时,可以将拍照模式调节为人像模式。
通过获取预览图像的类别标签,并根据预览图像的类别标签调节拍照模式。根据预览图像的类别标签对拍照模式进行调整,可以增强图像的拍摄效果。
在一个实施例中,提供了一种图像识别方法,实现该方法的具体步骤如下所述:
首先,电子设备可以提取样本图像中的至少两个图像特征。样本图像是在需要考察的所有图像中随机抽取的一部分图像。图像特征是指能够区分图像中不同场景类别的特征。例如,图像特征可以是颜色特征,还可以是形状特征等。其中,图像特征可以是预先设置好的,一个特征代表图像的一个类别,例如,形状特征中的圆形代表图像中的类别是人像,颜色特征中的绿色代表图像中的类别是绿草,颜色特征中的蓝色代表图像中的类别是蓝天。电子设备可以对样本图像中的图像特征进行提取,且电子设备提取的样本图像中的图像特征至少两个。
接着,电子设备可以分别计算至少两个图像特征作为节点时的信息参数值。电子设备可以分别计算出提取的每个图像特征作为根节点时的信息参数值,电子设备还可以分别计算出提取的每个图像特征作为内部节点时的信息参数值。可以理解的,叶子节点表示的是决策树的预测结果,电子设备不需要对图像特征作为叶子节点时的信息参数值进行计算。电子设备还可以将信息参数值最大的图像特征作为节点。电子设备计算图像特征作为节点时的信息参数值时,可以计算该图像特征作为节点时的信息增益、信息增益比或者基尼系数。
接着,电子设备可以获取待处理图像。待处理图像是指需要对图像中的内容进行场景识别的图像。待处理图像可以是电子设备通过摄像头实时采集的图像,也可以是预先存储在电子设备本地的图像。电子设备可以通过摄像头实时获取采集的待处理图像,电子设备还可以通过选择本地存储的图像对待处理图像进行获取。
电子设备还可以将待处理图像输入至决策树中,得到待处理图像的类别标签,类别标签为待处理图像的场景类别,决策树是根据带有场景类别的图像训练得到的。电子设备可以将待处理图像输入到决策树中,该决策树可以是预先建立好的决策树。决策树可以根据带有场景类别的图像训练得到,其中,图像的场景类别可以包括人像、猫、狗、婴儿、美食、蓝天、绿草、沙滩、雪景等。决策树可以通过带有场景类别的图像训练得到,训练得到的决策树可以对图像的类别进行预测。当电子设备将待处理图像输入至训练好的决策树中时,电子设备可以得到决策树的输出预测结果,电子设备得到的预测结果就是待处理图像的类别标签。其中,电子设备得到的类别标签可以是人像、猫、狗、婴儿、美食、蓝天、绿草、沙滩、雪景等图像的场景类别。
电子设备还可以将待处理图像输入至决策树,决策树提取待处理图像中的图像特征。电子设备在获取到待处理图像后,可以将待处理图像输入到决策树中进行处理。由于决策树是根据带有场景类别的图像训练得到的,电子设备可以得到从决策树输出的对图像场景类别的预测结果。电子设备将待处理图像输入至决策树后,决策树可以对待处理图像中的图像特征进行提取,例如,决策树可以提取待处理图像中的形状特征、颜色特征等。决策树可以提取待处理图像中的至少两个图像特征。决策树可以分别计算待处理图像中图像特征作为节点时的信息参数值。决策树可以得到将信息参数值最大的图像特征作为节点的决策树输出的类别标签。
接着,电子设备可以将待处理图像输入至前景决策树,前景决策树提取待处理图像中前景图像特征,前景决策树可以分别计算待处理图像中前景图像特征作为节点时的信息参数值。电子设备可以得到将信息参数值最大的前景图像特征作为节点的前景决策树输出的第一类别标签。
同时,电子设备可以将待处理图像输入至后景决策树,后景决策树提取待处理图像中后景图像特征,后景决策树可以分别计算待处理图像中后景图像特征作为节点时的信息参数值。电子设备可以得到将信息参数值最大的后景图像特征作为节点的后景决策树输出的第二类别标签。
接着,电子设备可以输出类别标签。电子设备在得到决策树的预测结果后还可以对得到的预测结果进行输出,即输出待处理图像的类别标签。
电子设备还可以获取通过摄像头采集的预览图像。电子设备可以将预览图像输入至决策树中,电子设备可以得到预览图像的类别标签,并输出预览图像的类别标签。电子设备可以将从前景决策树中输出的前景类别标签与从后景决策树中输出的后景类别标签同时进行输出。电子设备在获取到预览图像的类别标签后,可以对拍照模式进行调节。其中,拍照模式可以包括人像模式、风景模式、专业模式等。电子设备可以根据预览图像的类别标签对拍照模式进行调节。
应该理解的是,虽然上述流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,上述流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图9为一个实施例中图像识别装置的结构框图,如图9所示,该装置包括:图像获取模块910、标签获取模块920以及标签输出模块930,其中:
图像获取模块910,用于获取待处理图像。
标签获取模块920,用于将待处理图像输入至决策树中,得到待处理图像的类别标签,类别标签为待处理图像的场景类别,决策树是根据带有场景类别的图像训练得到的。
标签输出模块930,用于输出类别标签。
在一个实施例中,如图10所示,提供的图像识别装置还可以包括特征提取模块940、参数值计算模块950以及节点选定模块960,其中:
特征提取模块940,用于提取样本图像中的至少两个图像特征。
参数值计算模块950,用于分别计算至少两个图像特征作为节点时的信息参数值。
节点选定模块960,将信息参数值最大的图像特征作为节点。
在一个实施例中,标签获取模块920还可以用于将待处理图像输入至决策树,决策树提取待处理图像中的图像特征,决策树分别计算待处理图像中图像特征作为节点时的信息参数值,得到将信息参数值最大的图像特征作为节点的决策树输出的类别标签。
在一个实施例中,标签获取模块920还可以用于将待处理图像输入至前景决策树,前景决策树提取待处理图像中前景图像特征,前景决策树分别计算待处理图像中前景图像特征作为节点时的信息参数值,得到将信息参数值最大的前景图像特征作为节点的前景决策树输出的第一类别标签。
在一个实施例中,标签获取模块920还可以用于将待处理图像输入至后景决策树,后景决策树提取待处理图像中后景图像特征,后景决策树分别计算待处理图像中后景图像特征作为节点时的信息参数值,得到将信息参数值最大的后景图像特征作为节点的后景决策树输出的第二类别标签。
在一个实施例中,图像获取模块910还可以用于获取通过摄像头采集的预览图像,标签获取模块920还可以用于将预览图像输入至决策树中,得到预览图像的类别标签,标签输出模块930还可以用于输出预览图像的类别标签。
在一个实施例中,标签获取模块920还可以用于获取预览图像的类别标签,并根据预览图像的类别标签调节拍照模式。
上述图像识别装置中各个模块的划分仅用于举例说明,在其他实施例中,可将图像识别装置按照需要划分为不同的模块,以完成上述图像识别装置的全部或部分功能。
关于图像识别装置的具体限定可以参见上文中对于图像识别方法的限定,在此不再赘述。上述图像识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
本申请实施例中提供的图像识别装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时,实现本申请实施例中所描述方法的步骤。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行图像识别方法的步骤。
一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行图像识别方法。
本申请实施例还提供一种电子设备。上述电子设备中包括图像处理电路,图像处理电路可以利用硬件和/或软件组件实现,可包括定义ISP(Image Signal Processing,图像信号处理)管线的各种处理单元。图11为一个实施例中图像处理电路的示意图。如图11所示,为便于说明,仅示出与本申请实施例相关的图像处理技术的各个方面。
如图11所示,图像处理电路包括ISP处理器1140和控制逻辑器1150。成像设备1110捕捉的图像数据首先由ISP处理器1140处理,ISP处理器1140对图像数据进行分析以捕捉可用于确定和/或成像设备1110的一个或多个控制参数的图像统计信息。成像设备1110可包括具有一个或多个透镜1112和图像传感器1114的照相机。图像传感器1114可包括色彩滤镜阵列(如Bayer滤镜),图像传感器1114可获取用图像传感器1114的每个成像像素捕捉的光强度和波长信息,并提供可由ISP处理器1140处理的一组原始图像数据。传感器1120(如陀螺仪)可基于传感器1120接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器1140。传感器1120接口可以利用SMIA(Standard Mobile Imaging Architecture,标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。
此外,图像传感器1114也可将原始图像数据发送给传感器1120,传感器1120可基于传感器1120接口类型把原始图像数据提供给ISP处理器1140,或者传感器1120将原始图像数据存储到图像存储器1130中。
ISP处理器1140按多种格式逐个像素地处理原始图像数据。例如,每个图像像素可具有8、10、12或14比特的位深度,ISP处理器1140可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中,图像处理操作可按相同或不同的位深度精度进行。
ISP处理器1140还可从图像存储器1130接收图像数据。例如,传感器1120接口将原始图像数据发送给图像存储器1130,图像存储器1130中的原始图像数据再提供给ISP处理器1140以供处理。图像存储器1130可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括DMA(Direct Memory Access,直接直接存储器存取)特征。
当接收到来自图像传感器1114接口或来自传感器1120接口或来自图像存储器1130的原始图像数据时,ISP处理器1140可进行一个或多个图像处理操作,如时域滤波。处理后的图像数据可发送给图像存储器1130,以便在被显示之前进行另外的处理。ISP处理器1140从图像存储器1130接收处理数据,并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器1140处理后的图像数据可输出给显示器1170,以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit,图形处理器)进一步处理。此外,ISP处理器1140的输出还可发送给图像存储器1130,且显示器1170可从图像存储器1130读取图像数据。在一个实施例中,图像存储器1130可被配置为实现一个或多个帧缓冲器。此外,ISP处理器1140的输出可发送给编码器/解码器1160,以便编码/解码图像数据。编码的图像数据可被保存,并在显示于显示器1170设备上之前解压缩。编码器/解码器1160可由CPU或GPU或协处理器实现。
ISP处理器1140确定的统计数据可发送给控制逻辑器1150单元。例如,统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜1112阴影校正等图像传感器1114统计信息。控制逻辑器1150可包括执行一个或多个例程(如固件)的处理器和/或微控制器,一个或多个例程可根据接收的统计数据,确定成像设备1110的控制参数及ISP处理器1140的控制参数。例如,成像设备1110的控制参数可包括传感器1120控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜1112控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如,在RGB处理期间)的增益水平和色彩校正矩阵,以及透镜1112阴影校正参数。
本实施例中运用图11中图像处理技术可实现上述图像处理方法。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM),它用作外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像识别方法,其特征在于,包括:
获取待处理图像;
将所述待处理图像输入至决策树中,得到所述待处理图像的类别标签,所述类别标签为所述待处理图像的场景类别,所述决策树是根据带有场景类别的图像训练得到的;
输出所述类别标签。
2.根据权利要求1所述的方法,其特征在于,所述决策树的生成方式,包括:
提取样本图像中的至少两个图像特征;
分别计算所述至少两个图像特征作为节点时的信息参数值;
将所述信息参数值最大的图像特征作为节点;
其中,所述节点包括根节点和内部节点。
3.根据权利要求1所述的方法,其特征在于,所述将所述待处理图像输入至决策树中,得到所述待处理图像的类别标签,包括:
将所述待处理图像输入至所述决策树,所述决策树提取所述待处理图像中的图像特征;
所述决策树分别计算所述待处理图像中图像特征作为节点时的信息参数值;
得到将所述信息参数值最大的图像特征作为节点的所述决策树输出的类别标签。
4.根据权利要求3所述的方法,其特征在于,所述决策树包括前景决策树;
所述将所述待处理图像输入至决策树中,得到所述待处理图像的类别标签,包括:
将所述待处理图像输入至所述前景决策树,所述前景决策树提取所述待处理图像中前景图像特征;
所述前景决策树分别计算所述待处理图像中前景图像特征作为节点时的信息参数值;
得到将所述信息参数值最大的前景图像特征作为节点的所述前景决策树输出的第一类别标签。
5.根据权利要求3所述的方法,其特征在于,所述决策树还包括后景决策树,所述将所述待处理图像输入至决策树中,得到所述待处理图像的类别标签,还包括:
将所述待处理图像输入至所述后景决策树,所述后景决策树提取所述待处理图像中后景图像特征;
所述后景决策树分别计算所述待处理图像中后景图像特征作为节点时的信息参数值;
得到将所述信息参数值最大的后景图像特征作为节点的所述后景决策树输出的第二类别标签。
6.根据权利要求1至5任一项所述的方法,其特征在于,所述方法还包括:
获取通过摄像头采集的预览图像;
将所述预览图像输入至所述决策树中,得到所述预览图像的类别标签;
输出所述预览图像的类别标签。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
获取所述预览图像的类别标签,并根据所述预览图像的类别标签调节拍照模式。
8.一种图像识别装置,其特征在于,包括:
图像获取模块,用于获取待处理图像;
标签获取模块,用于将所述待处理图像输入至决策树中,得到所述待处理图像的类别标签,所述类别标签为所述待处理图像的场景类别,所述决策树是根据带有场景类别的图像训练得到的;
标签输出模块,用于输出所述类别标签。
9.一种电子设备,包括存储器及处理器,所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至7中任一项所述的图像识别方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法的步骤。
CN201810488963.9A 2018-05-21 2018-05-21 图像识别方法和装置、电子设备、存储介质 Active CN108764321B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810488963.9A CN108764321B (zh) 2018-05-21 2018-05-21 图像识别方法和装置、电子设备、存储介质
PCT/CN2019/085499 WO2019223513A1 (zh) 2018-05-21 2019-05-05 图像识别方法、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810488963.9A CN108764321B (zh) 2018-05-21 2018-05-21 图像识别方法和装置、电子设备、存储介质

Publications (2)

Publication Number Publication Date
CN108764321A true CN108764321A (zh) 2018-11-06
CN108764321B CN108764321B (zh) 2019-08-30

Family

ID=64008487

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810488963.9A Active CN108764321B (zh) 2018-05-21 2018-05-21 图像识别方法和装置、电子设备、存储介质

Country Status (2)

Country Link
CN (1) CN108764321B (zh)
WO (1) WO2019223513A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110111310A (zh) * 2019-04-17 2019-08-09 广州思德医疗科技有限公司 一种评估标签图片的方法及装置
WO2019223513A1 (zh) * 2018-05-21 2019-11-28 Oppo广东移动通信有限公司 图像识别方法、电子设备和存储介质
CN112085386A (zh) * 2020-09-09 2020-12-15 浙江连信科技有限公司 用于风险行为预测的模型训练方法和装置
CN112948608A (zh) * 2021-02-01 2021-06-11 北京百度网讯科技有限公司 图片查找方法、装置、电子设备及计算机可读存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11443147B2 (en) * 2020-12-11 2022-09-13 Argo AI, LLC Systems and methods for object detection using stereovision information
CN114565815B (zh) * 2022-02-25 2023-11-03 包头市迪迦科技有限公司 一种基于三维模型的视频智能融合方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101193206A (zh) * 2006-11-30 2008-06-04 华晶科技股份有限公司 依据使用者的拍照操作习性进行拍照参数自动调整的方法
CN101620615A (zh) * 2009-08-04 2010-01-06 西南交通大学 一种基于决策树学习的自动图像标注与翻译的方法
CN103617427A (zh) * 2013-12-13 2014-03-05 首都师范大学 极化sar图像分类方法
CN107622281A (zh) * 2017-09-20 2018-01-23 广东欧珀移动通信有限公司 图像分类方法、装置、存储介质及移动终端

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102831447B (zh) * 2012-08-30 2015-01-21 北京理工大学 多类别面部表情高精度识别方法
CN106096542B (zh) * 2016-06-08 2020-02-11 中国科学院上海高等研究院 基于距离预测信息的图像视频场景识别方法
CN107690660B (zh) * 2016-12-21 2021-03-23 达闼机器人有限公司 图像识别方法及装置
CN108764321B (zh) * 2018-05-21 2019-08-30 Oppo广东移动通信有限公司 图像识别方法和装置、电子设备、存储介质
CN108734214A (zh) * 2018-05-21 2018-11-02 Oppo广东移动通信有限公司 图像识别方法和装置、电子设备、存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101193206A (zh) * 2006-11-30 2008-06-04 华晶科技股份有限公司 依据使用者的拍照操作习性进行拍照参数自动调整的方法
CN101620615A (zh) * 2009-08-04 2010-01-06 西南交通大学 一种基于决策树学习的自动图像标注与翻译的方法
CN103617427A (zh) * 2013-12-13 2014-03-05 首都师范大学 极化sar图像分类方法
CN107622281A (zh) * 2017-09-20 2018-01-23 广东欧珀移动通信有限公司 图像分类方法、装置、存储介质及移动终端

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
小象: "决策树告诉你HelloKitty到底是人是猫", 《HTTP://WAP.PIG66.COM/E-677145-1-1.HTML》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019223513A1 (zh) * 2018-05-21 2019-11-28 Oppo广东移动通信有限公司 图像识别方法、电子设备和存储介质
CN110111310A (zh) * 2019-04-17 2019-08-09 广州思德医疗科技有限公司 一种评估标签图片的方法及装置
CN110111310B (zh) * 2019-04-17 2021-03-05 广州思德医疗科技有限公司 一种评估标签图片的方法及装置
CN112085386A (zh) * 2020-09-09 2020-12-15 浙江连信科技有限公司 用于风险行为预测的模型训练方法和装置
CN112948608A (zh) * 2021-02-01 2021-06-11 北京百度网讯科技有限公司 图片查找方法、装置、电子设备及计算机可读存储介质
CN112948608B (zh) * 2021-02-01 2023-08-22 北京百度网讯科技有限公司 图片查找方法、装置、电子设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN108764321B (zh) 2019-08-30
WO2019223513A1 (zh) 2019-11-28

Similar Documents

Publication Publication Date Title
CN108764321B (zh) 图像识别方法和装置、电子设备、存储介质
CN108764208B (zh) 图像处理方法和装置、存储介质、电子设备
CN108764372B (zh) 数据集的构建方法和装置、移动终端、可读存储介质
WO2019233393A1 (zh) 图像处理方法和装置、存储介质、电子设备
CN108777815B (zh) 视频处理方法和装置、电子设备、计算机可读存储介质
CN110276767B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN108810418B (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
CN108734214A (zh) 图像识别方法和装置、电子设备、存储介质
CN108960290A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN108024107B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
EP3579145A1 (en) Method and device for image processing, computer readable storage medium, and electronic device
CN109063737A (zh) 图像处理方法、装置、存储介质及移动终端
CN108875821A (zh) 分类模型的训练方法和装置、移动终端、可读存储介质
CN110428366A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN108805103A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN108376404A (zh) 图像处理方法和装置、电子设备、存储介质
CN110473185A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN110334635A (zh) 主体追踪方法、装置、电子设备和计算机可读存储介质
CN108897786A (zh) 应用程序的推荐方法、装置、存储介质及移动终端
CN109002843A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN108961302A (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
CN108764371A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN108805198A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN108875820A (zh) 信息处理方法和装置、电子设备、计算机可读存储介质
CN108804658A (zh) 图像处理方法和装置、存储介质、电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant