CN108734214A - 图像识别方法和装置、电子设备、存储介质 - Google Patents

图像识别方法和装置、电子设备、存储介质 Download PDF

Info

Publication number
CN108734214A
CN108734214A CN201810488527.1A CN201810488527A CN108734214A CN 108734214 A CN108734214 A CN 108734214A CN 201810488527 A CN201810488527 A CN 201810488527A CN 108734214 A CN108734214 A CN 108734214A
Authority
CN
China
Prior art keywords
image
random forest
forest model
class label
pending
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810488527.1A
Other languages
English (en)
Inventor
陈岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201810488527.1A priority Critical patent/CN108734214A/zh
Publication of CN108734214A publication Critical patent/CN108734214A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/24323Tree-organised classifiers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种图像识别方法和装置、电子设备、计算机可读存储介质。所述方法包括:获取待处理图像,将待处理图像输入至随机森林模型中,得到待处理图像的类别标签,类别标签为待处理图像的场景类别,随机森林模型是根据带有场景类别的图像训练得到的,输出类别标签。使用随机森林模型来对图像的场景类别进行识别,只需要将图像输入至随机森林模型中就可以得到图像的类别标签,提高了图像识别的准确性。

Description

图像识别方法和装置、电子设备、存储介质
技术领域
本申请涉及图像处理技术领域,特别是涉及一种图像识别方法和装置、电子设备、计算机可读存储介质。
背景技术
随着图像处理技术的发展,大多数电子设备都有调节拍照模式的功能,根据不同的拍照模式可以采集到不同风格的图像。电子设备在对图像进行处理时,往往需要识别出图像的场景类别,从而根据场景类别有针对性的对图像进行处理。传统的场景类别的识别方式主要是利用图像的特征信息对场景进行建模,从而识别出场景类别。
然而,传统的场景类别识别方法,存在场景识别不准确的问题。
发明内容
本申请实施例提供一种图像识别方法、装置、电子设备、计算机可读存储介质,可以提高图像识别的准确性。
一种图像识别方法,包括:
获取待处理图像;
将所述待处理图像输入至随机森林模型中,得到所述待处理图像的类别标签,所述类别标签为所述待处理图像的场景类别,所述随机森林模型是根据带有场景类别的图像训练得到的;
输出所述类别标签。
一种图像识别装置,包括:
图像获取模块,用于获取待处理图像;
标签获取模块,用于将所述待处理图像输入至随机森林模型中,得到所述待处理图像的类别标签,所述类别标签为所述待处理图像的场景类别,所述随机森林模型是根据带有场景类别的图像训练得到的;
标签输出模块,用于输出所述类别标签。
一种电子设备,包括存储器及处理器,所述存储器中储存有计算机可读指令,所述指令被所述处理器执行时,使得所述处理器执行如下步骤:
获取待处理图像;
将所述待处理图像输入至随机森林模型中,得到所述待处理图像的类别标签,所述类别标签为所述待处理图像的场景类别,所述随机森林模型是根据带有场景类别的图像训练得到的;
输出所述类别标签。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如下步骤:
获取待处理图像;
将所述待处理图像输入至随机森林模型中,得到所述待处理图像的类别标签,所述类别标签为所述待处理图像的场景类别,所述随机森林模型是根据带有场景类别的图像训练得到的;
输出所述类别标签。
上述图像识别方法和装置、电子设备、计算机可读存储介质,通过获取待处理图像,将待处理图像输入至随机森林模型中,得到待处理图像的类别标签,输出类别标签,类别标签为待处理图像的场景类别,随机森林模型是根据带有场景类别的图像训练得到的。使用随机森林模型来对图像的场景类别进行识别,只需要将图像输入至随机森林模型中就可以得到图像的类别标签,提高了图像识别的准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一个实施例中电子设备的架构示意图;
图2为一个实施例中图像识别方法的流程图;
图3为一个实施例中建立随机森林模型的方法流程图;
图4为一个实施例中从随机森林模型中得到类别标签的方法流程图;
图5为一个实施例中从前景随机森林模型中得到第一类别标签的方法流程图;
图6为一个实施例中从后景随机森林模型中得到第二类别标签的方法流程图;
图7A为一个实施例中前景随机森林模型的处理示意图;
图7B为一个实施例中后景随机森林模型的处理示意图;
图8为一个实施例中输出预览图像的类别标签的方法流程图;
图9为一个实施例中图像识别装置的结构框图;
图10为另一个实施例中图像识别装置的结构框图;
图11为一个实施例中图像处理电路的示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件,但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说,在不脱离本申请的范围的情况下,可以将第一客户端称为第二客户端,且类似地,可将第二客户端称为第一客户端。第一客户端和第二客户端两者都是客户端,但其不是同一客户端。
在一个实施例中,如图1所示,提供了一种电子设备的内部结构示意图。该电子设备包括通过系统总线连接的处理器、存储器、摄像头和网络接口。其中,该处理器用于提供计算和控制能力,支撑整个电子设备的运行。存储器用于存储数据、程序、和/或指令代码等,存储器上存储至少一个计算机程序,该计算机程序可被处理器执行,以实现本申请实施例中提供的适用于电子设备的图像识别方法。存储器可包括磁碟、光盘、只读存储记忆体(Read-Only Memory, ROM)等非易失性存储介质,或随机存储记忆体(Random-Access-Memory,RAM) 等。例如,在一个实施例中,存储器包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行,以用于实现本申请各个实施例所提供的一种图像识别方法。内存储器为非易失性存储介质中的操作系统和计算机程序提供高速缓存的运行环境。摄像头可以用于采集图像。网络接口可以是以太网卡或无线网卡等,用于与外部的电子设备进行通信,比如可用于同服务器进行通信。
本领域技术人员可以理解,图1中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的电子设备的限定,具体的电子设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种图像识别方法,以应用于上述电子设备来举例说明,如图2所示,该方法包括如下步骤:
步骤202,获取待处理图像。
待处理图像是指需要对图像中的内容进行场景识别的图像。待处理图像可以是电子设备通过摄像头实时采集的图像,也可以是预先存储在电子设备本地的图像。电子设备可以通过摄像头实时获取采集的待处理图像,电子设备还可以通过选择本地存储的图像对待处理图像进行获取。
步骤204,将待处理图像输入至随机森林模型中,得到待处理图像的类别标签,类别标签为待处理图像的场景类别,随机森林模型是根据带有场景类别的图像训练得到的。
随机森林模型是机器学习中利用多棵树对样本进行训练并预测的一种分类器。也就是说,在机器学习中,随机森林模型是一个包含多个决策树的分类器。随机森林模型中可以包含有多个决策树,决策树可以包含一个根结点、多个内部结点以及多个叶子节点。随机森林模型可以是预先训练好的,具体的,随机森林模型可以是根据带有场景类别的图像训练得到的。
电子设备可以将待处理图像输入至随机森林模型中,该随机森林模型可以是预先建立好的随机森林模型。其中,图像的场景类别可以包括人像、猫、狗、婴儿、美食、蓝天、绿草、沙滩、雪景等。随机森林模型可以通过带有场景类别的图像训练得到,训练得到的随机森林模型可以对图像的类别进行预测。当电子设备将待处理图像输入至训练好的随机森林模型中时,电子设备可以得到随机森林模型的输出预测结果,电子设备得到的预测结果就是待处理图像的类别标签。其中,电子设备得到的类别标签可以是人像、猫、狗、婴儿、美食、蓝天、绿草、沙滩、雪景等图像的场景类别。
步骤206,输出类别标签。
电子设备在得到随机森林模型的预测结果后还可以对得到的预测结果进行输出,即输出待处理图像的类别标签。
通过获取待处理图像,将待处理图像输入至随机森林模型中,得到待处理图像的类别标签,输出类别标签,类别标签为待处理图像的场景类别,随机森林模型是根据带有场景类别的图像训练得到的。使用随机森林模型来对图像的场景类别进行识别,只需要将图像输入至随机森林模型中就可以得到图像的类别标签,提高了图像识别的准确性。
如图3所示,在一个实施例中,提供的一种图像识别方法还可以包括建立随机森林模型的过程,具体步骤包括:
步骤302,提取样本图像中的图像特征作为样本集。
样本图像是在需要考察的所有图像中随机抽取的一部分图像。图像特征是指能够区分图像中不同场景类别的特征。例如,图像特征可以是颜色特征,还可以是形状特征等。样本集是指包含多张样本图像的集合。
其中,图像特征可以是预先设置好的,一个特征代表图像的一个类别,例如,形状特征中的圆形代表图像中的类别是人像,颜色特征中的绿色代表图像中的类别是绿草,颜色特征中的蓝色代表图像中的类别是蓝天。在建立随机森林模型的时候,电子设备可以从提取的样本图像的图像特征中选择一部分图像特征作为样本集。
步骤304,对样本集中的图像特征进行有放回的重复采样。
有放回的重复采样是指每次随机选择样本集中的一个图像特征,选择之后再将选择的图像特征放回到样本集中,然后继续在样本集中选择图像特征。例如,样本集中有N个图像特征,则电子设备可以有放回的随机选择样本集中的N 个图像特征。电子设备在提取样本图像中的图像特征作为样本集后,可以对样本集中的图像特征进行有放回的重复采样。
步骤306,分别计算采样后的图像特征作为节点时的信息参数值。
节点可以包括根节点、内部节点以及叶子节点。根节点又叫做决策节点,根节点是几种方案中选择的最佳方案;内部节点还可以叫做状态节点,决策树的内部节点表示的是判断条件;而叶子节点也可以叫做结果节点,叶子节点表示决策树的预测结果。
信息参数值可以包括信息增益、信息增益比或者基尼系数。其中,信息增益是针对一个一个的图像特征而言的,信息增益是指待分类的集合的熵和选定某个特征的条件熵之差,用于选取图像特征时,信息增益就是待分类的图像特征的集合的熵和选定的图像特征的条件熵之间的差值;信息增益比是指信息增益与训练数据集中选定的某个特征的熵之比;基尼系数表示一个随机选中的样本在子集中被分错的可能性。
电子设备在对图像特征进行采样后,可以分别计算采样后的图像特征作为根节点时的信息参数值。电子设备还可以分别计算采样后的图像特征作为内部节点时的信息参数值。
步骤308,根据信息参数值分别建立与图像特征对应的决策树。
电子设备在计算出信息参数值后,可以根据计算出的信息参数值建立多个不同的决策树。决策树可以是根据采样后的图像特征建立的。以采样后的图像特征为三个不同的形状特征(圆形特征、矩形特征以及三角形特征)为例,电子设备可以建立两个不同的决策树,每一个决策树的根节点的选定方式可以是:电子设备分别计算该采样后的一个形状特征中的圆形特征作为根节点时的信息参数值,并将信息参数值最大的圆形特征作为根节点。可以理解的,每一个决策树的内部节点的选定方式与根节点的选定方式相同。建立好一个决策树之后,电子设备还可以建立第二个决策树,第二个决策树与第一个决策树是不同的,第一个决策树根据圆形特征计算信息参数值建立,第二个决策树可以根据矩形特征计算信息参数值建立。
通过提取样本图像中的图像特征作为样本集,对样本集中的图像特征进行有放回的重复采样,分别计算采样后的图像特征作为节点时的信息参数值,根据信息参数值分别建立与图像特征对应的决策树。根据样本集中的图像特征建立多个决策树,从而形成随机森林模型,可以提高图像识别的准确性。
在一个实施例中,如图4所示,提供的一种图像识别方法还可以包括从随机森林模型中得到类别标签的过程,具体步骤包括:
步骤402,将待处理图像输入至随机森林模型,随机森林模型提取待处理图像中图像特征。
在建立好随机森林模型后,电子设备可以将待处理图像输入至随机森林模型中。由于随机森林模型是根据带有场景类别的图像训练得到的,电子设备可以得到从随机森林模型输出的对图像场景类别的预测结果。电子设备将待处理图像输入至随机森林模型后,随机森林模型可以对待处理图像中的图像特征进行提取,例如,随机森林模型可以提取待处理图像中的形状特征、颜色特征等。随机森林模型可以提取待处理图像中的至少两个图像特征。
步骤404,分别计算图像特征作为节点的信息参数值。
随机森林模型提取了待处理图像中的图像特征后,可以分别将提取的图像特征作为根节点,再分别计算出图像特征作为根节点时的信息参数值,例如,随机森林模型计算的信息参数值可以是信息增益。随机森林模型还可以分别将提取的图像特征作为内部节点,再分别计算图像特征作为内部节点时的信息参数值。
步骤406,根据计算出的信息参数值分别建立不同的决策树,并得到不同决策树的输出结果。
电子设备可以根据计算出的信息参数值建立决策树。电子设备在分别计算出图像特征作为根节点的信息参数值后,可以将信息参数值最大的图像特征选定作为根节点的图像特征,同样的,电子设备可以选定作为内部节点的图像特征,从而建立决策树。电子设备还可以根据同样的选定根节点和内部节点的方法建立多个不同的决策树。每个决策树都可以输出预测结果,该预测结果为待处理图像的类别标签。电子设备可以得到不同决策树的输出结果。
步骤408,根据输出结果得到待处理图像的类别标签。
电子设备在得到不同决策树的输出结果后,可以根据输出结果得到待处理图像的类别标签。
通过将待处理图像输入至随机森林模型,随机森林模型提取待处理图像中图像特征,分别计算图像特征作为节点的信息参数值,根据计算出的信息参数值分别建立不同的决策树,并得到不同决策树的输出结果,根据输出结果得到待处理图像的类别标签。电子设备在将待处理图像输入至随机森林模型后,可以得到不同决策树的输出结果,并根据输出结果得到待处理图像的类别标签,可以提高图像识别的准确性。
在一个实施例中,提供的一种图像识别方法还可以包括将多个决策树输出的结果中,出现次数最多的作为类别标签的过程,具体包括:统计输出结果中出现的类别标签的次数,将次数最多的类别标签作为待处理图像的类别标签。
电子设备在得到不同决策树的输出结果后,可以对输出结果中出现类别标签的次数进行统计。例如,电子设备得到的输出结果为四个不同决策树的输出结果,电子设备得到的四个输出结果中,出现人像的类别标签的次数为两次,出现婴儿的类别标签的次数为一次,出现猫的类别标签的次数为一次,电子设备可以对这些次数进行统计。统计完成后,电子设备可以将统计的出现次数最多的类别标签作为待处理图像的类别标签。
通过统计输出结果中出现的类别标签的次数,将次数最多的类别标签作为待处理图像的类别标签。随机森林模型通过对多个决策树的输出结果中出现的类别标签次数进行统计,并将次数最多的类别标签作为输出结果,从而提高了图像识别的准确性。
如图5所示,在一个实施例中,提供的一种图像识别方法还可以包括从前景随机森林模型中得到第一类别标签的过程,具体步骤包括:
步骤502,将待处理图像输入至前景随机森林模型,前景随机森林模型提取待处理图像中前景图像特征。
训练好的随机森林模型可以包括前景随机森林模型。电子设备可以将待处理图像输入至前景随机森林模型中。前景图像特征可以是区别图像前景场景类别的图像特征。前景场景可以包括人像、猫、狗、婴儿、美食、以及文本等场景。电子设备可以将待处理图像输入至训练好的前景随机森林模型中,前景随机森林模型可以提取待处理图像中的前景图像特征。其中,前景图像特征可以是形状特征,还可以是颜色特征。
步骤504,分别计算前景图像特征作为节点的第一信息参数值。
前景随机森林模型可以分别计算出待处理图像中前景图像特征作为决策树根节点时的第一信息参数值,同样的,前景随机森林模型还可以分别计算出待处理图像中前景图像特征作为决策树内部节点时的第一信息参数值。
步骤506,根据计算出的第一信息参数值分别建立不同的决策树,并得到不同决策树的第一输出结果。
前景随机森林模型在计算出第一信息参数值后,可以将计算出的值最大的第一信息参数值作为决策树的根节点和内部节点,并根据这种方式建立多个不同的决策树。每个决策树都会有输出结果,前景随机森林模型中由于有多个不同的决策树,前景随机森林模型可以得到多个第一输出结果。
步骤508,根据第一输出结果得到待处理图像的第一类别标签。
前景随机森林模型得到多个决策树输出的多个第一输出结果后,前景随机森林模型可以对第一输出结果的类别标签的次数进行统计,并将统计的次数最多的类别标签作为第一类别标签。第一类别标签可以是人像、猫、狗、婴儿、美食、以及文本等场景类别标签。
通过将待处理图像输入至前景随机森林模型,前景随机森林模型提取待处理图像中前景图像特征,分别计算前景图像特征作为节点的第一信息参数值,根据计算出的第一信息参数值分别建立不同的决策树,并得到不同决策树的第一输出结果,根据第一输出结果得到待处理图像的第一类别标签。电子设备通过将待处理图像输入至前景随机森林模型,前景随机森林模型通过建立不同的决策树,得到第一输出结果,并根据第一输出结果得到第一类别标签,可以提高图像识别的准确性。
在一个实施例中,如图6所示,提供的一种图像识别方法还可以包括从后景随机森林模型中得到第二类别标签的过程,具体步骤包括:
步骤602,将待处理图像输入至后景随机森林模型,后景随机森林模型提取待处理图像中后景图像特征。
训练好的随机森林模型可以包括后景随机森林模型。电子设备可以将待处理图像输入至后景随机森林模型中。后景图像特征可以是区别图像后景场景类别的图像特征。后景场景可以包括蓝天、绿草、风景、室内、沙滩、雪景、烟火、聚光灯、日落以及夜景等场景。电子设备可以将待处理图像输入至训练好的后景随机森林模型中,后景随机森林模型可以提取待处理图像中的后景图像特征。其中,后景图像特征可以是形状特征,还可以是颜色特征。
步骤604,分别计算后景图像特征作为节点的第二信息参数值。
后景随机森林模型可以分别计算出待处理图像中后景图像特征作为决策树根节点时的第二信息参数值,同样的,后景随机森林模型还可以分别计算出待处理图像中后景图像特征作为决策树内部节点时的第二信息参数值。
步骤606,根据计算出的第二信息参数值分别建立不同的决策树,并得到不同决策树的第二输出结果。
后景随机森林模型在计算出第二信息参数值后,可以将计算出的值最大的第二信息参数值作为决策树的根节点和内部节点,并根据这种方式建立多个不同的决策树。每个决策树都会有输出结果,后景随机森林模型中由于有多个不同的决策树,后景随机森林模型可以得到多个第二输出结果。
步骤608,根据第二输出结果得到待处理图像的第二类别标签。
后景随机森林模型得到多个决策树输出的多个第二输出结果后,后景随机森林模型可以对第二输出结果的类别标签的次数进行统计,并将统计的次数最多的类别标签作为第二类别标签。第二类别标签可以是蓝天、绿草、风景、室内、沙滩、雪景、烟火、聚光灯、日落以及夜景等场景类别标签。
通过将待处理图像输入至后景随机森林模型,后景随机森林模型提取待处理图像中后景图像特征,分别计算后景图像特征作为节点的第二信息参数值,根据计算出的第二信息参数值分别建立不同的决策树,并得到不同决策树的第二输出结果,根据第二输出结果得到待处理图像的第二类别标签。电子设备通过将待处理图像输入至后景随机森林模型,后景随机森林模型通过建立不同的决策树,得到第二输出结果,并根据第二输出结果得到第二类别标签,可以提高图像识别的准确性。
如图7A所示,在一个实施例中,提供了前景随机森林模型的处理过程。其中,随机森林模型可以包括前景随机森林模型710。在图7A中,用矩形框来表示决策树的根节点,用圆圈来表示决策树的内部节点,用三角形来表示决策树的叶子节点。电子设备获取到待处理图像后,可以将待处理图像输入到前景随机森林模型710中,前景随机森林模型710通过计算待处理图像的信息参数值可以选定决策树的根节点712以及内部节点714,电子设备通过将待处理图像输入至前景随机森林模型710可以得到多个前景场景类别标签,例如,电子设备可以得到一个决策树输出的前景场景类别标签716以及另一个决策树输出的前景场景类别标签718。如图7A所示,在前景随机森林模型710的三个决策树中,有两个决策树输出了前景场景类别标签716,前景随机森林模型710可以将得到的前景场景类别标签716作为输出的第一类别标签。
在一个实施例中,如图7B所示,提供了后景随机森林模型的处理过程。在图7B中,用矩形框来表示决策树的根节点,用圆圈来表示决策树的内部节点,用三角形来表示决策树的叶子节点。电子设备获取到待处理图像后,可以将待处理图像输入到后景随机森林模型720中,后景随机森林模型720通过计算待处理图像的信息参数值可以选定决策树的根节点722以及内部节点724,电子设备通过将待处理图像输入至后景随机森林模型720可以得到多个后景场景类别标签,例如,电子设备可以得到一个决策树输出的后景场景类别标签726以及另一个决策树输出的后景场景类别标签728。如图7B所示,在后景随机森林模型720的三个决策树中,有两个决策树输出了后景场景类别标签726,后景随机森林720可以将得到的后景场景类别标签726作为输出的第二类别标签。
电子设备在将待处理图像输入到前景随机森林模型710和后景随机森林模型720后,可以得到前景随机森林模型710和后景随机森林模型720同时输出的前景类别标签716和后景类别标签726。
在一个实施例中,如图8所示,提供的一种图像识别方法还可以包括输出预览图像的类别标签的过程,具体步骤包括:
步骤802,获取通过摄像头采集的预览图像。
电子设备可以控制摄像头采集图像,当摄像头处于开启状态时,可以采集到实时的预览图像。电子设备可以获取到通过摄像头采集的预览图象,预览图像中也可以包括有不同的图像场景,图像场景可以分为前景和后景,同样的,前景可以包括人像、猫、狗、婴儿、美食以及文本等场景,后景可以包括蓝天、绿草、风景、室内、沙滩、雪景、烟火、聚光灯、日落以及夜景等场景。
步骤804,将预览图像输入至随机森林模型中,得到预览图像的类别标签。
电子设备可以将预览图像输入至训练好的随机森林模型中,训练好的随机森林模型可以包括前景随机森林模型和后景随机森林模型。电子设备将预览图像输入至前景随机森林模型中之后,可以得到从前景随机森林模型中输出的前景类别标签;电子设备将预览图像输入至后景随机森林模型中之后,可以得到从后景随机森林模型中输出的后景类别标签。
步骤806,输出预览图像的类别标签。
电子设备可以将从前景随机森林模型中输出的前景类别标签与从后景随机森林模型中输出的后景类别标签同时进行输出。
通过获取通过摄像头采集的预览图像,将预览图像输入至随机森林模型中,得到预览图像的类别标签,输出预览图像的类别标签。电子设备可以通过决随机森林模型对预览图像的图像场景类别进行识别,从而提高了图像识别的准确性。
在一个实施例中,提供了一种图像识别方法,实现该方法的具体步骤如下所述:
首先,电子设备可以提取样本图像中的图像特征作为样本集,再对样本集中的图像特征进行有放回的重复采样。电子设备可以分别计算采样后的图像特征作为节点时的信息参数值。信息参数值可以包括信息增益、信息增益比或者基尼系数。电子设备在计算出信息参数值后,可以根据计算出的信息参数值建立多个不同的决策树。决策树可以是根据采样后的图像特征建立的。
接着,电子设备可以获取待处理图像。待处理图像是指需要对图像中的内容进行场景识别的图像。待处理图像可以是电子设备通过摄像头实时采集的图像,也可以是预先存储在电子设备本地的图像。电子设备可以通过摄像头实时获取采集的待处理图像,电子设备还可以通过选择本地存储的图像对待处理图像进行获取。
接着,电子设备还可以将待处理图像输入至随机森林模型中,并得到待处理图像的类别标签,类别标签为待处理图像的场景类别,随机森林模型是根据带有场景类别的图像训练得到的。随机森林模型可以通过带有场景类别的图像训练得到,训练得到的随机森林模型可以对图像的类别进行预测。当电子设备将待处理图像输入至训练好的随机森林模型中时,电子设备可以得到随机森林模型的输出预测结果,电子设备得到的预测结果就是待处理图像的类别标签。
电子设备可以将待处理图像输入至随机森林模型,随机森林模型提取待处理图像中图像特征。随机森林模型提取了待处理图像中的图像特征后,可以分别将提取的图像特征作为节点,再分别计算出图像特征作为节点时的信息参数值,例如,随机森林模型计算的信息参数值可以是信息增益。电子设备还可以根据计算出的信息参数值分别建立不同的决策树,并得到不同决策树的输出结果。电子设备在得到不同决策树的输出结果后,可以根据输出结果得到待处理图像的类别标签。电子设备可以统计输出结果中出现的类别标签的次数,将次数最多的类别标签作为待处理图像的类别标签。
电子设备还可以将待处理图像输入至前景随机森林模型,前景随机森林模型提取待处理图像中前景图像特征。前景随机森林模型还可以分别计算出待处理图像中前景图像特征作为决策树节点时的第一信息参数值。前景随机森林模型在计算出第一信息参数值后,可以将计算出的值最大的第一信息参数值作为决策树的根节点和内部节点,并根据这种方式建立多个不同的决策树。每个决策树都会有输出结果,前景随机森林模型中由于有多个不同的决策树,前景随机森林模型可以得到多个第一输出结果。前景随机森林模型得到多个决策树输出的多个第一输出结果后,前景随机森林模型可以对第一输出结果的类别标签的次数进行统计,并将统计的次数最多的类别标签作为第一类别标签。
电子设备还可以将待处理图像输入至后景随机森林模型,后景随机森林模型提取待处理图像中后景图像特征。后景随机森林模型可以分别计算后景图像特征作为节点的第二信息参数值,并根据计算出的第二信息参数值分别建立不同的决策树,可以得到不同决策树的第二输出结果。后景随机森林模型得到多个决策树输出的多个第二输出结果后,后景随机森林模型可以对第二输出结果的类别标签的次数进行统计,并将统计的次数最多的类别标签作为第二类别标签。
接着,电子设备可以输出类别标签。电子设备在得到随机森林模型的预测结果后还可以对得到的预测结果进行输出,即输出待处理图像的类别标签。
接着,电子设备可以获取通过摄像头采集的预览图像。电子设备可以将预览图像输入至随机森林模型中,得到预览图像的类别标签,并输出预览图像的类别标签。
应该理解的是,虽然上述流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,上述流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图9为一个实施例中图像识别装置的结构框图,如图9所示,该装置包括:图像获取模块910、标签获取模块920以及标签输出模块930,其中:
图像获取模块910,用于获取待处理图像。
标签获取模块920,用于将待处理图像输入至随机森林模型中,得到待处理图像的类别标签,类别标签为待处理图像的场景类别,随机森林模型是根据带有场景类别的图像训练得到的。
标签输出模块930,用于输出类别标签。
在一个实施例中,如图10所示,提供的图像识别装置还可以包括样本集提取模块940、特征采样模块950、参数值计算模块960以及决策树建立模块970,其中:
样本集提取模块940,用于提取样本图像中的图像特征作为样本集。
特征采样模块950,用于对样本集中的图像特征进行有放回的重复采样。
参数值计算模块960,用于分别计算采样后的图像特征作为节点时的信息参数值。
决策树建立模块970,用于根据信息参数值分别建立与图像特征对应的决策树。
在一个实施例中,标签获取模块920还可以用于将待处理图像输入至随机森林模型,随机森林模型提取待处理图像中图像特征,分别计算图像特征作为节点的信息参数值,根据计算出的信息参数值分别建立不同的决策树,并得到不同决策树的输出结果,根据输出结果得到待处理图像的类别标签。
在一个实施例中,标签输出模块930还可以用于统计输出结果中出现的类别标签的次数,将次数最多的类别标签作为待处理图像的类别标签。
在一个实施例中,标签获取模块920还可以用于将待处理图像输入至前景随机森林模型,前景随机森林模型提取待处理图像中前景图像特征,分别计算前景图像特征作为节点的第一信息参数值,根据计算出的第一信息参数值分别建立不同的决策树,并得到不同决策树的第一输出结果,根据第一输出结果得到待处理图像的第一类别标签。
在一个实施例中,标签获取模块920还可以用于将待处理图像输入至后景随机森林模型,后景随机森林模型提取待处理图像中后景图像特征,分别计算后景图像特征作为节点的第二信息参数值,根据计算出的第二信息参数值分别建立不同的决策树,并得到不同决策树的第二输出结果,根据第二输出结果得到待处理图像的第二类别标签。
在一个实施例中,图像获取模块910还可以用于获取通过摄像头采集的预览图像,标签获取模块920还可以用于将预览图像输入至随机森林模型中,得到预览图像的类别标签,标签输出模块930还可以用于输出预览图像的类别标签。
上述图像识别装置中各个模块的划分仅用于举例说明,在其他实施例中,可将图像识别装置按照需要划分为不同的模块,以完成上述图像识别装置的全部或部分功能。
关于图像识别装置的具体限定可以参见上文中对于图像识别方法的限定,在此不再赘述。上述图像识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
本申请实施例中提供的图像识别装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时,实现本申请实施例中所描述方法的步骤。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行图像识别方法的步骤。
一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行图像识别方法。
本申请实施例还提供一种电子设备。上述电子设备中包括图像处理电路,图像处理电路可以利用硬件和/或软件组件实现,可包括定义ISP(Image Signal Processing,图像信号处理)管线的各种处理单元。图11为一个实施例中图像处理电路的示意图。如图11所示,为便于说明,仅示出与本申请实施例相关的图像处理技术的各个方面。
如图11所示,图像处理电路包括ISP处理器1140和控制逻辑器1150。成像设备1110捕捉的图像数据首先由ISP处理器1140处理,ISP处理器1140对图像数据进行分析以捕捉可用于确定和/或成像设备1110的一个或多个控制参数的图像统计信息。成像设备1110可包括具有一个或多个透镜1112和图像传感器1114的照相机。图像传感器1114可包括色彩滤镜阵列(如Bayer滤镜),图像传感器1114可获取用图像传感器1114的每个成像像素捕捉的光强度和波长信息,并提供可由ISP处理器1140处理的一组原始图像数据。传感器1120 (如陀螺仪)可基于传感器1120接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器1140。传感器1120接口可以利用SMIA(Standard Mobile Imaging Architecture,标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。
此外,图像传感器1114也可将原始图像数据发送给传感器1120,传感器 1120可基于传感器1120接口类型把原始图像数据提供给ISP处理器1140,或者传感器1120将原始图像数据存储到图像存储器1130中。
ISP处理器1140按多种格式逐个像素地处理原始图像数据。例如,每个图像像素可具有8、10、12或14比特的位深度,ISP处理器1140可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中,图像处理操作可按相同或不同的位深度精度进行。
ISP处理器1140还可从图像存储器1130接收图像数据。例如,传感器1120 接口将原始图像数据发送给图像存储器1130,图像存储器1130中的原始图像数据再提供给ISP处理器1140以供处理。图像存储器1130可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括DMA(Direct Memory Access,直接直接存储器存取)特征。
当接收到来自图像传感器1114接口或来自传感器1120接口或来自图像存储器1130的原始图像数据时,ISP处理器1140可进行一个或多个图像处理操作,如时域滤波。处理后的图像数据可发送给图像存储器1130,以便在被显示之前进行另外的处理。ISP处理器1140从图像存储器1130接收处理数据,并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器1140处理后的图像数据可输出给显示器1170,以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit,图形处理器)进一步处理。此外,ISP 处理器1140的输出还可发送给图像存储器1130,且显示器1170可从图像存储器1130读取图像数据。在一个实施例中,图像存储器1130可被配置为实现一个或多个帧缓冲器。此外,ISP处理器1140的输出可发送给编码器/解码器1160,以便编码/解码图像数据。编码的图像数据可被保存,并在显示于显示器1170 设备上之前解压缩。编码器/解码器1160可由CPU或GPU或协处理器实现。
ISP处理器1140确定的统计数据可发送给控制逻辑器1150单元。例如,统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜1112阴影校正等图像传感器1114统计信息。控制逻辑器1150可包括执行一个或多个例程(如固件)的处理器和/或微控制器,一个或多个例程可根据接收的统计数据,确定成像设备1110的控制参数及ISP处理器1140的控制参数。例如,成像设备1110的控制参数可包括传感器1120控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜1112控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如,在RGB处理期间)的增益水平和色彩校正矩阵,以及透镜1112 阴影校正参数。
本实施例中运用图11中图像处理技术可实现上述图像处理方法。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程 ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM),它用作外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像识别方法,其特征在于,包括:
获取待处理图像;
将所述待处理图像输入至随机森林模型中,得到所述待处理图像的类别标签,所述类别标签为所述待处理图像的场景类别,所述随机森林模型是根据带有场景类别的图像训练得到的;
输出所述类别标签。
2.根据权利要求1所述的方法,其特征在于,所述随机森林模型的建立过程如下:
提取样本图像中的图像特征作为样本集;
对所述样本集中的图像特征进行有放回的重复采样;
分别计算采样后的所述图像特征作为节点时的信息参数值;
根据所述信息参数值分别建立与所述图像特征对应的决策树。
3.根据权利要求1所述的方法,其特征在于,所述将所述待处理图像输入至随机森林模型中,得到所述待处理图像的类别标签,包括:
将所述待处理图像输入至所述随机森林模型,所述随机森林模型提取所述待处理图像中图像特征;
分别计算所述图像特征作为节点的信息参数值;
根据计算出的所述信息参数值分别建立不同的决策树,并得到所述不同决策树的输出结果;
根据所述输出结果得到所述待处理图像的类别标签。
4.根据权利要求3所述的方法,其特征在于,所述根据所述输出结果得到所述待处理图像的类别标签,包括:
统计所述输出结果中出现的类别标签的次数;
将所述次数最多的类别标签作为所述待处理图像的类别标签。
5.根据权利要求4所述的方法,其特征在于,所述随机森林模型包括前景随机森林模型,所述将所述待处理图像输入至随机森林模型中,得到所述待处理图像的类别标签,包括:
将所述待处理图像输入至所述前景随机森林模型,所述前景随机森林模型提取所述待处理图像中前景图像特征;
分别计算所述前景图像特征作为节点的第一信息参数值;
根据计算出的所述第一信息参数值分别建立不同的决策树,并得到所述不同决策树的第一输出结果;
根据所述第一输出结果得到所述待处理图像的第一类别标签。
6.根据权利要求4所述的方法,其特征在于,所述随机森林模型包括后景随机森林模型,所述将所述待处理图像输入至随机森林模型中,得到所述待处理图像的类别标签,还包括:
将所述待处理图像输入至所述后景随机森林模型,所述后景随机森林模型提取所述待处理图像中后景图像特征;
分别计算所述后景图像特征作为节点的第二信息参数值;
根据计算出的所述第二信息参数值分别建立不同的决策树,并得到所述不同决策树的第二输出结果;
根据所述第二输出结果得到所述待处理图像的第二类别标签。
7.根据权利要求1至6任一项所述的方法,其特征在于,所述方法还包括:
获取通过摄像头采集的预览图像;
将所述预览图像输入至所述随机森林模型中,得到所述预览图像的类别标签;
输出所述预览图像的类别标签。
8.一种图像识别装置,其特征在于,包括:
图像获取模块,用于获取待处理图像;
标签获取模块,用于将所述待处理图像输入至随机森林模型中,得到所述待处理图像的类别标签,所述类别标签为所述待处理图像的场景类别,所述随机森林模型是根据带有场景类别的图像训练得到的;
标签输出模块,用于输出所述类别标签。
9.一种电子设备,包括存储器及处理器,所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至7中任一项所述的图像识别方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法的步骤。
CN201810488527.1A 2018-05-21 2018-05-21 图像识别方法和装置、电子设备、存储介质 Pending CN108734214A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810488527.1A CN108734214A (zh) 2018-05-21 2018-05-21 图像识别方法和装置、电子设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810488527.1A CN108734214A (zh) 2018-05-21 2018-05-21 图像识别方法和装置、电子设备、存储介质

Publications (1)

Publication Number Publication Date
CN108734214A true CN108734214A (zh) 2018-11-02

Family

ID=63937897

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810488527.1A Pending CN108734214A (zh) 2018-05-21 2018-05-21 图像识别方法和装置、电子设备、存储介质

Country Status (1)

Country Link
CN (1) CN108734214A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110149551A (zh) * 2018-11-06 2019-08-20 腾讯科技(深圳)有限公司 媒体文件播放方法和装置、存储介质及电子装置
CN110222569A (zh) * 2019-05-05 2019-09-10 北京三快在线科技有限公司 对象检测方法、装置、电子设备及可读存储介质
WO2019223513A1 (zh) * 2018-05-21 2019-11-28 Oppo广东移动通信有限公司 图像识别方法、电子设备和存储介质
CN110929663A (zh) * 2019-11-28 2020-03-27 Oppo广东移动通信有限公司 一种场景预测方法及终端、存储介质
CN112257869A (zh) * 2020-09-29 2021-01-22 北京北大千方科技有限公司 基于随机森林的套牌车分析方法、系统及计算机介质
CN112651439A (zh) * 2020-12-25 2021-04-13 平安科技(深圳)有限公司 素材分类方法、装置、计算机设备及存储介质
CN112949695A (zh) * 2021-02-05 2021-06-11 华南师范大学 液晶相态识别方法、系统、电子设备及存储介质
WO2021143008A1 (zh) * 2020-01-19 2021-07-22 深圳市商汤科技有限公司 类别标注方法及装置、电子设备、存储介质和计算机程序

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102831447A (zh) * 2012-08-30 2012-12-19 北京理工大学 多类别面部表情高精度识别方法
CN104392250A (zh) * 2014-11-21 2015-03-04 浪潮电子信息产业股份有限公司 一种基于MapReduce的图像分类方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102831447A (zh) * 2012-08-30 2012-12-19 北京理工大学 多类别面部表情高精度识别方法
CN104392250A (zh) * 2014-11-21 2015-03-04 浪潮电子信息产业股份有限公司 一种基于MapReduce的图像分类方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019223513A1 (zh) * 2018-05-21 2019-11-28 Oppo广东移动通信有限公司 图像识别方法、电子设备和存储介质
CN110149551A (zh) * 2018-11-06 2019-08-20 腾讯科技(深圳)有限公司 媒体文件播放方法和装置、存储介质及电子装置
CN110149551B (zh) * 2018-11-06 2022-02-22 腾讯科技(深圳)有限公司 媒体文件播放方法和装置、存储介质及电子装置
CN110222569A (zh) * 2019-05-05 2019-09-10 北京三快在线科技有限公司 对象检测方法、装置、电子设备及可读存储介质
CN110929663A (zh) * 2019-11-28 2020-03-27 Oppo广东移动通信有限公司 一种场景预测方法及终端、存储介质
CN110929663B (zh) * 2019-11-28 2023-12-29 Oppo广东移动通信有限公司 一种场景预测方法及终端、存储介质
WO2021143008A1 (zh) * 2020-01-19 2021-07-22 深圳市商汤科技有限公司 类别标注方法及装置、电子设备、存储介质和计算机程序
CN112257869A (zh) * 2020-09-29 2021-01-22 北京北大千方科技有限公司 基于随机森林的套牌车分析方法、系统及计算机介质
CN112651439A (zh) * 2020-12-25 2021-04-13 平安科技(深圳)有限公司 素材分类方法、装置、计算机设备及存储介质
CN112651439B (zh) * 2020-12-25 2023-12-22 平安科技(深圳)有限公司 素材分类方法、装置、计算机设备及存储介质
CN112949695A (zh) * 2021-02-05 2021-06-11 华南师范大学 液晶相态识别方法、系统、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN108734214A (zh) 图像识别方法和装置、电子设备、存储介质
CN108764321B (zh) 图像识别方法和装置、电子设备、存储介质
CN108764372B (zh) 数据集的构建方法和装置、移动终端、可读存储介质
WO2019233393A1 (zh) 图像处理方法和装置、存储介质、电子设备
US10666873B2 (en) Exposure-related intensity transformation
CN108764208B (zh) 图像处理方法和装置、存储介质、电子设备
CN110428366A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN108777815A (zh) 视频处理方法和装置、电子设备、计算机可读存储介质
CN108830208A (zh) 视频处理方法和装置、电子设备、计算机可读存储介质
CN108875619B (zh) 视频处理方法和装置、电子设备、计算机可读存储介质
CN108805103A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN110276767A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN108960290A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN108376404A (zh) 图像处理方法和装置、电子设备、存储介质
CN109063737A (zh) 图像处理方法、装置、存储介质及移动终端
CN108810418A (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
CN108875820A (zh) 信息处理方法和装置、电子设备、计算机可读存储介质
CN108961302A (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
CN108846351A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN108804658B (zh) 图像处理方法和装置、存储介质、电子设备
CN108897786A (zh) 应用程序的推荐方法、装置、存储介质及移动终端
CN108805198A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN110263621A (zh) 图像识别方法、装置及可读存储介质
CN108959462A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN108764371A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181102

RJ01 Rejection of invention patent application after publication