CN107909088A - 获取训练样本的方法、装置、设备和计算机存储介质 - Google Patents

获取训练样本的方法、装置、设备和计算机存储介质 Download PDF

Info

Publication number
CN107909088A
CN107909088A CN201710892379.5A CN201710892379A CN107909088A CN 107909088 A CN107909088 A CN 107909088A CN 201710892379 A CN201710892379 A CN 201710892379A CN 107909088 A CN107909088 A CN 107909088A
Authority
CN
China
Prior art keywords
picture
pictures
search result
collection
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710892379.5A
Other languages
English (en)
Other versions
CN107909088B (zh
Inventor
刘国翌
李广
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201710892379.5A priority Critical patent/CN107909088B/zh
Publication of CN107909088A publication Critical patent/CN107909088A/zh
Application granted granted Critical
Publication of CN107909088B publication Critical patent/CN107909088B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9535Search customisation based on user profiles and personalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种获取训练样本的方法、装置、设备和计算机存储介质,所述获取训练样本的方法包括:获取已标注对象的第一图片集;利用网络搜索引擎对所述第一图片集进行搜索,获取第二图片集;整合所述第一图片集和所述第二图片集,将所述对象作为整合后得到的图片集对应的标注结果;将所述整合后得到的图片集以及所述标注结果作为图像识别模型的训练样本。利用本发明所提供的技术方案,通过网络搜索引擎获取大量的图片作为训练样本,不依靠人力进行拍摄以及标注,从而减少了人力成本,简化了训练样本的获取过程。

Description

获取训练样本的方法、装置、设备和计算机存储介质
【技术领域】
本发明涉及互联网技术应用,尤其涉及一种获取训练样本的方法、装置、设备和计算机存储介质。
【背景技术】
在计算机视觉领域,图片数据的收集与标定是所有图像识别算法中最前期的一步。因此,图片训练数据的数量直接影响着整个图像识别算法的好坏。在通常情况下,研究人员在图像识别算法研发的前期,需要收集大量的图像数据。现有技术一般通过人工收集的方式,主要通过用户拍摄物体足够多的图片后,再进行手工标定来获取正负样本。但是,由于图片数据需要覆盖物体所有可能出现的角度和姿态,并且还需要人工对每张图片数据进行标定,导致算法的研发周期长、人力成本高。此外,如果无法获取足够多的训练数据,还会进一步导致图像识别算法的性能较差。
【发明内容】
有鉴于此,本发明提供了一种获取训练样本的方法、装置、设备和计算机存储介质,用于实现减少人力成本,简化训练样本的获取过程。
本发明为解决技术问题所采用的技术方案是提供一种获取训练样本的方法,所述方法包括:获取已标注对象的第一图片集;利用网络搜索引擎对所述第一图片集进行搜索,获取第二图片集;整合所述第一图片集和所述第二图片集,将所述对象作为整合后得到的图片集对应的标注结果;将所述整合后得到的图片集以及所述标注结果作为图像识别模型的训练样本。
根据本发明一优选实施例,所述利用网络搜索引擎对所述第一图片集进行搜索,获取第二图片集包括:利用网络搜索引擎,获取对应第一图片集的图片搜索结果;从所述图片搜索结果中获取预设数量或满足预设要求的图片,作为第二图片集。
根据本发明一优选实施例,所述利用网络搜索引擎获取对应第一图片集的图片搜索结果包括以下至少一种获取方式:方式1、利用网络搜索引擎,使用以图搜图方法获取对应第一图片集的图片搜索结果;方式2、利用网络搜索引擎,根据所述第一图片集所标注对象的名称获取对应第一图片集的图片搜索结果;方式3、使用光学字符识别方法获取所述第一图片集中的文字,利用网络搜索引擎,根据所述文字获取对应第一图片集的图片搜索结果;方式4、使用图文关系分析方法获取所述第一图片集的分析结果,利用所述网络搜索引擎,根据所述分析结果获取对应第一图片集的图片搜索结果;方式5、使用人脸识别方法获取所述第一图片集中所包含人脸的识别结果,利用所述网络搜索引擎,根据所述人脸识别结果获取对应第一图片集的图片搜索结果。
根据本发明一优选实施例,所述从所述图片搜索结果中获取预设数量的图片,作为第二图片集包括:获取所述图片搜索结果中排在前N位的图片作为第二图片集,其中N为正整数;或者根据各获取方式的预设权重值,分别获取预设数量的图片搜索结果作为第二图片集;或者将所述获取的图片搜索结果中包含的图片作为第二图片集。
根据本发明一优选实施例,所述方法还包括:将所述图片搜索结果显示给标注用户进行筛选,将筛选后的结果作为第二图片集。
本发明为解决技术问题所采用的技术方案是提供一种获取训练样本的装置,所述装置包括:第一获取单元,用于获取已标注对象的第一图片集;第二获取单元,用于利用网络搜索引擎对所述第一图片集进行搜索,获取第二图片集;整合单元,用于整合所述第一图片集和所述第二图片集,将所述对象作为整合后得到的图片集对应的标注结果;应用单元,用于将所述整合后得到的图片集以及所述标注结果作为图像识别模型的训练样本。
根据本发明一优选实施例,所述第二获取单元在利用网络搜索引擎对所述第一图片集进行搜索,获取第二图片集时,具体执行:利用网络搜索引擎,获取对应第一图片集的图片搜索结果;从所述图片搜索结果中获取预设数量或满足预设要求的图片,作为第二图片集。
根据本发明一优选实施例,所述第二获取单元在利用网络搜索引擎获取对应第一图片集的图片搜索结果时,采用以下至少一种获取方式:方式1、利用网络搜索引擎,使用以图搜图方法获取对应第一图片集的图片搜索结果;方式2、利用网络搜索引擎,根据所述第一图片集所标注对象的名称获取对应第一图片集的图片搜索结果;方式3、使用光学字符识别方法获取所述第一图片集中的文字,利用网络搜索引擎,根据所述文字获取对应第一图片集的图片搜索结果;方式4、使用图文关系分析方法获取所述第一图片集的分析结果,利用所述网络搜索引擎,根据所述分析结果获取对应第一图片集的图片搜索结果;方式5、使用人脸识别方法获取所述第一图片集中所包含人脸的识别结果,利用所述网络搜索引擎,根据所述人脸识别结果获取对应第一图片集的图片搜索结果。
根据本发明一优选实施例,所述第二获取单元在从所述图片搜索结果中获取预设数量或者满足预设要求的图片,作为第二图片集时,具体执行:获取所述图片搜索结果中排在前N位的图片作为第二图片集,其中N为正整数;或者根据各获取方式的预设权重值,分别获取预设数量的图片搜索结果作为第二图片集;或者将所述获取的图片搜索结果中包含的图片作为第二图片集。
根据本发明一优选实施例,所述第二获取单元还用于执行:将所述图片搜索结果显示给标注用户进行筛选,将筛选后的结果作为第二图片集。
由以上技术方案可以看出,本发明通过利用网络搜索引擎获取大量的图片作为训练样本,不需要依靠人力进行拍摄以及标注,从而实现减少人力成本,简化训练样本的获取过程。
【附图说明】
图1为本发明一实施例提供的获取训练样本的方法流程图。
图2为本发明一实施例提供的获取训练样本的示意图。
图3为本发明一实施例提供的获取训练样本的装置结构图。
图4为本发明一实施例提供的计算机系统/服务器的框图。
【具体实施方式】
为了使本发明的目的、技术方案和优点更加清楚,下面结合附图和具体实施例对本发明进行详细描述。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。
应当理解,本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
本发明的核心思想在于:通过用户所提供的少量图片,利用网络搜索引擎获取与该图片相同或者类似的大量图片,从而获取足够数量的训练样本,实现减少人力成本,简化训练样本的获取过程,并能够进一步提升图像识别算法的准确性。
图1为本发明一实施例提供的获取训练样本的方法流程图,如图1中所示,所述方法包括:
在101中,获取已标注对象的第一图片集。
在本步骤中,所获取的第一图片集为用户提供的已标注对象的图片集合。可选地,可以将用户实时拍摄的图片作为第一图片集,也可以将预先存储或者通过网络下载的图片作为第一图片集。第一图片集中图片的数量可以为一张、两张或者多张,本发明对此不进行限定。
在本步骤中,还可以对用户所提供的图片进行标注,即对图片中所包含的对象的名称进行标注,以作为第一图片集的标注结果。可选地,在对图片进行标注时,可以通过人工的方式进行标注,例如人工输入该图片中对象的名称;也可以采用图像识别的方式进行标注,例如根据图像识别算法的识别结果对图片中对象的名称进行标注。
在102中,利用网络搜索引擎对所述第一图片集进行搜索,获取第二图片集。
在本步骤中,根据步骤101中所获取的已标注对象的第一图片集,利用网络搜索引擎获取对应第一图片集的图片搜索结果,然后从所述图片搜索结果中获取预设数量的图片或满足预设要求的图片,作为第二图片集。其中,对应第一图片集的图片搜索结果为与第一图片集中的图片相同或者相似的图片。
具体地,在利用网络搜索引擎获取对应第一图片集的图片搜索结果时,可以采用以下至少一种获取方式:
方式1、利用网络搜索引擎,使用以图搜图方法获取对应第一图片集的图片搜索结果。
该获取方式使用以图搜图方法,直接将第一图片集中所包含的图片作为搜索输入,获取与第一图片集对应的图片搜索结果。现有技术中存在多种以图搜图工具,例如百度识图、google图片等,可以使用这类图片搜索工具获取对应第一图片集的图片的搜索结果。
方式2、利用网络搜索引擎,根据第一图片集所标注对象的名称,获取对应第一图片集的图片搜索结果。
该获取方式使用关键词的图片搜索方法,即将第一图片集中对象所标注的名称作为关键词进行图片搜索,获取与该标注名称所对应的图片搜索结果。
方式3、使用光学字符识别方法获取所述第一图片集中的文字,利用网络搜索引擎,根据所述文字获取对应第一图片集的图片搜索结果。
由于所获取的第一图片集中的图片可能包含文字、图表等,因此该获取方式使用光学字符识别方法对第一图片集中的图片进行识别,在获取图片中所包含的文字后,将该文字作为网络搜索引擎的输入,获取对应该文字的图片搜索结果。
方式4、使用图文关系分析方法获取所述第一图片集的分析结果,利用所述网络搜索引擎,根据所述分析结果获取对应第一图片集的图片搜索结果。
该获取方式通过图文关系分析方法,例如图像识别算法,对第一图片集中的图片进行分析,以获取第一图片集中所包含图片的分析结果,例如图片中的对象是什么、图片中对象的状态、动作等,将所输出的分析结果作为网络搜索引擎的输入,获取对应该分析结果的图片搜索结果。
例如,若利用图文关系分析方法对一张图片进行分析,得到的分析结果为“苹果”,表明该图片中的对象为苹果,则将该分析结果“苹果”作为网络搜索引擎的输入,以获取更多“苹果”的图片。
方式5、使用人脸识别算法获取第一图片集中所包含人脸的名称,利用所述网络搜索引擎,根据所述人脸名称获取对应第一图片集的图片搜索结果。
若第一图片集中存在包含人脸的图片,则该获取方式通过人脸识别方法对人脸进行识别,获取人脸的识别结果,例如人脸是男是女、小孩或者老人、哪个明星等,然后将该人脸识别结果作为网络搜索引擎的输入,获取对应该人脸识别结果的图片搜索结果。
在利用网络搜索引擎获取对应第一图片集的图片搜索结果之后,从中获取预设数量或满足预设要求的图片作为第二图片集。
可选地,在本实施例的一个具体实现过程中,可以根据图片搜索结果中各图片的排序结果,获取预设数量的图片作为第二图片集。举例来说,若预设数量为1000张图片,则将图片搜索结果中排序在1000之前的图片作为第二图集。还可以为根据各获取方式的预设权重值,分别获取预设数量的图片搜索结果作为第二图片集。举例来说,若预设数量为1000张,若第一种获取方式的权重值为0.5,则通过第一种获取方式获取500张图片;若第二种获取方式的权重值为0.3,则通过第二种获取方式获取300张图片;若第三种获取方式的权重值为0,则通过第三种获取方式获取0张图片;若第四种获取方式的权重值为0.2,则通过第四种获取方式获取200张图片;若第五种获取方式的权重值为0,则通过第五种获取方式获取0张图片。还可以为从图片搜索结果中获取满足预设要求的图片作为第二图片集,预设要求可以为图片搜索结果中包含的全部图片,例如若所得到的图片搜索结果较少,则可以将图片搜索结果中包含的全部图片作为第二图片集;预设要求还可以为从图片搜索结果中仅获取来自预设网络站点的图片,例如将图片搜索结果中来自腾讯、新浪等站点的图片作为第二图片集。可以理解的是,在利用网络搜索引擎获取图片搜索结果时,所采用的获取方式还可以有其他种,在此不进行举例;各获取方式的权重值也可以根据实际情况进行设置,本发明对此不进行限定。
在本步骤中,可以将所获取的预设数量或满足预设要求的图片搜索结果直接作为第二图片集。还可以为在将图片搜索结果显示给用户后,将由用户筛选后的图片作为第二图片集。即通过用户对所显示的图片搜索结果进行筛选,将筛选出的与第一图片集所标注的对象一致的图片作为第二图片集。
在103中,整合所述第一图片集和所述第二图片集,将所述对象作为整合后得到的图片集对应的标注结果。
在本步骤中,根据步骤102中所获取的第二图片集和步骤101中所获取的第一图片集进行整合,得到整合的图片集;然后将步骤101中第一图片集的标注对象作为该整合的图片集的标注结果。
在104中,将所述整合后得到的图片集以及所述标注结果作为图像识别模型的训练样本。
在本步骤中,将通过步骤103所得到的整合的图片集以及其所对应的标注结果,作为图像识别模型的训练样本,对图像识别模型进行训练。
以下通过举例对上述内容进行说明:
如图2中所示,若用户所提供的第一图片集为一张“苹果”的图片,并将其名称标注为“苹果”,如2a中所示;利用网络搜索引擎,例如将2a中的“苹果”图片作为输入进行图片搜索,得到如2b中所示的各种“苹果”的图片,将2b中各种“苹果”的图片作为第二图片集;然后将2b中的图片与2a中的图片进行整合,并使用“苹果”作为该整合的图片集的标注结果;将该整合后的图片集和标注结果“苹果”作为训练样本。
图3为本发明一实施例提供的获取训练样本的装置结构图,如图3中所示,所述装置包括:第一获取单元31、第二获取单元32、整合单元33以及应用单元34。
第一获取单元31,用于获取已标注对象的第一图片集。
第一获取单元31所获取的第一图片集为用户提供的已标注对象的图片的集合。可选地,第一获取单元31可以获取由用户实时拍摄的图片作为第一图片集,也可以获取预先存储或者通过网络下载的图片作为第一图片集。第一图片集中图片的数量可以为一张、两张或者多张,本发明对此不进行限定。
第一获取单元31还可以对用户所提供的图片进行标注,即对图片中所包含的对象的名称进行标注,以作为第一图片集的标注结果。可选地,第一获取单元31在进行图片的标注时,可以通过人工的方式进行标注,也可以采用图像识别的方式进行标注。
第二获取单元32,用于利用网络搜索引擎对所述第一图片集进行搜索,获取第二图片集。
第二获取单元32根据由第一获取单元31所获取的已标注对象的第一图片集,利用网络搜索引擎获取对应第一图片集的图片搜索结果,然后从所述图片搜索结果中获取预设数量或满足预设要求的图片作为第二图片集。其中,对应第一图片集的图片搜索结果为与第一图片集中的图片相同或者相似的图片的集合。
具体地,第二获取单元32在利用网络搜索引擎获取对应第一图片集的图片搜索结果时,可以采用以下至少一种获取方式:
方式1、利用网络搜索引擎,使用以图搜图方法获取对应第一图片集的图片搜索结果。
第二获取单元32使用以图搜图方法,直接将第一图片集中所包含的图片作为搜索的输入,从而获取与第一图片集对应的图片搜索结果。现有技术中存在多种以图搜图工具,例如百度识图、google图片等,第二获取单元32可以使用这类图片搜索工具获取对应第一图片集的图片搜索结果。
方式2、利用网络搜索引擎,根据第一图片集所标注对象的名称,获取对应第一图片集的图片搜索结果。
第二获取单元32使用关键词的图片搜索方法,将第一图片集中的对象所标注的名称作为关键词,利用网络搜索引擎进行图片搜索,获取与该标注名称所对应的图片搜索结果。
方式3、使用光学字符识别方法获取所述第一图片集中的文字,利用网络搜索引擎,根据所述文字获取对应第一图片集的图片搜索结果。
由于所获取的第一图片集中的图片可能包含文字、图表等,因此第二获取单元32在使用光学字符识别方法对第一图片集中的图片进行识别后,将所获取的图片中所包含的文字作为网络搜索引擎的输入,获取对应该文字的图片搜索结果。
方式4、使用图文关系分析方法获取所述第一图片集的分析结果,利用所述网络搜索引擎,根据所述分析结果获取对应第一图片集的图片搜索结果。
第二获取单元32通过图文关系分析方法,例如图像识别算法,对第一图片集中的图片进行分析,以获取第一图片集中图片的分析结果,例如图片中的对象是什么、图片中对象的状态、动作等;然后将所输出的分析结果作为网络搜索引擎的输入,获取对应该分析结果的图片搜索结果。
例如,第二获取单元32利用图文关系分析方法对一张图片进行分析,得到的分析结果为“苹果”,表明该图片中的内容为苹果,则第二获取单元32再将该分析结果“苹果”作为网络搜索引擎的输入,以获取更多“苹果”的图片。
方式5、使用人脸识别算法获取第一图片集中所包含人脸的名称,利用所述网络搜索引擎,根据所述人脸名称获取对应第一图片集的图片搜索结果。
若第一图片集中存在包含人脸的图片,第二获取单元32则通过人脸识别方法,获取人脸的识别结果,例如图像中的人脸是男是女、小孩或者老人、哪个明星等;然后第二获取单元32将该人脸识别结果作为网络搜索引擎的输入,获取对应该人脸识别结果的图片搜索结果。
第二获取单元32在利用网络搜索引擎获取对应第一图片集的图片搜索结果之后,从中获取预设数量或满足预设要求的图片作为第二图片集。
可选地,在本实施例的一个具体实现过程中,第二获取单元32可以根据图片搜索结果中各图片的排序结果,获取排在前N位的图片作为第二图片集,其中N为正整数。举例来说,若N为1000,则表述需要获取1000张图片,则将图片搜索结果中排序在1000之前的图片作为第二图集。第二获取单元32还可以根据各获取方式的预设权重值,分别获取预设数量的图片搜索结果作为第二图片集。举例来说,若预设数量为1000张,若第一种获取方式的权重值为0.5,则第二获取单元32通过第一种获取方式获取500张图片;若第二种获取方式的权重值为0.3,则第二获取单元32通过第二种获取方式获取300张图片;若第三种获取方式的权重值为0,则第二获取单元32通过第三种获取方式获取0张图片;若第四种获取方式的权重值为0.2,则第二获取单元32通过第四种获取方式获取200张图片;若第五种获取方式的权重值为0,则第二获取单元32通过第五种获取方式获取0张图片。第二获取单元32还可以从图片搜索结果中获取满足预设要求的图片作为第二图片集,预设要求可以为图片搜索结果中包含的全部图片,例如若所得到的图片搜索结果较少,则可以将图片搜索结果中包含的全部图片作为第二图片集;预设要求还可以为从图片搜索结果中仅获取来自预设站点的图片,例如将图片搜索结果中来自腾讯、新浪等站点的图片作为第二图片集。可以理解的是,第二获取单元32在利用网络搜索引擎获取图片搜索结果的获取方式还可以有其他种,在此不进行举例;各获取方式的权重值也可以根据实际情况进行设置,本发明对此不进行限定。
第二获取单元32可以将所获取的预设数量或满足预设要求的图片搜索结果直接作为第二图片集。还可以为在将图片搜索结果显示给用户后,将由用户筛选后的图片作为第二图片集。即通过用户对所显示的图片搜索结果进行筛选后,第二获取单元32将筛选出的与第一图片集所标注的对象一致的图片作为第二图片集。
整合单元33,用于整合所述第一图片集和所述第二图片集,将所述对象作为整合后得到的图片集对应的标注结果。
整合单元33根据由第二获取单元32所获取的第二图片集和第一获取单元31所获取的第一图片集进行整合,得到整合的图片集;然后将第一图片集的标注对象作为该整合的图片集的标注结果。
应用单元34,用于将所述整合后得到的图片集以及所述标注结果作为图像识别模型的训练样本。
应用单元34将由整合单元33所得到的整合的图片集以及其所对应的标注结果,作为图像识别模型的训练样本,对图像识别模型进行训练。
图4示出了适于用来实现本发明实施方式的示例性计算机系统/服务器012的框图。图4显示的计算机系统/服务器012仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示,计算机系统/服务器012以通用计算设备的形式表现。计算机系统/服务器012的组件可以包括但不限于:一个或者多个处理器或者处理单元016,系统存储器028,连接不同系统组件(包括系统存储器028和处理单元016)的总线018。
总线018表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机系统/服务器012典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机系统/服务器012访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
系统存储器028可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(RAM)030和/或高速缓存存储器032。计算机系统/服务器012可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统034可以用于读写不可移动的、非易失性磁介质(图4未显示,通常称为“硬盘驱动器”)。尽管图4中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线018相连。存储器028可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块042的程序/实用工具040,可以存储在例如存储器028中,这样的程序模块042包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块042通常执行本发明所描述的实施例中的功能和/或方法。
计算机系统/服务器012也可以与一个或多个外部设备014(例如键盘、指向设备、显示器024等)通信,在本发明中,计算机系统/服务器012与外部雷达设备进行通信,还可与一个或者多个使得用户能与该计算机系统/服务器012交互的设备通信,和/或与使得该计算机系统/服务器012能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口022进行。并且,计算机系统/服务器012还可以通过网络适配器020与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器020通过总线018与计算机系统/服务器012的其它模块通信。应当明白,尽管图中未示出,可以结合计算机系统/服务器012使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元016通过运行存储在系统存储器028中的程序,从而执行各种功能应用以及数据处理,例如实现一种获取训练样本的方法,可以包括:
获取已标注对象的第一图片集;
利用网络搜索引擎对所述第一图片集进行搜索,获取第二图片集;
整合所述第一图片集和所述第二图片集,将所述对象作为整合后得到的图片集对应的标注结果;
将所述整合后得到的图片集以及所述标注结果作为图像识别模型的训练样本。
上述的计算机程序可以设置于计算机存储介质中,即该计算机存储介质被编码有计算机程序,该程序在被一个或多个计算机执行时,使得一个或多个计算机执行本发明上述实施例中所示的方法流程和/或装置操作。例如,被上述一个或多个处理器执行的方法流程,可以包括:
获取已标注对象的第一图片集;
利用网络搜索引擎对所述第一图片集进行搜索,获取第二图片集;
整合所述第一图片集和所述第二图片集,将所述对象作为整合后得到的图片集对应的标注结果;
将所述整合后得到的图片集以及所述标注结果作为图像识别模型的训练样本。
随着时间、技术的发展,介质含义越来越广泛,计算机程序的传播途径不再受限于有形介质,还可以直接从网络下载等。可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于——无线、电线、光缆、RF等等,或者上述的任意合适的组合。可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
利用本发明所提供的技术方案,通过利用互联网搜索引擎大量的图片,不需要依靠人力进行图片的拍摄以及标注,从而减少人力成本,简化训练样本的获取过程。
在本发明所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。

Claims (12)

1.一种获取训练样本的方法,其特征在于,所述方法包括:
获取已标注对象的第一图片集;
利用网络搜索引擎对所述第一图片集进行搜索,获取第二图片集;
整合所述第一图片集和所述第二图片集,将所述对象作为整合后得到的图片集对应的标注结果;
将所述整合后得到的图片集以及所述标注结果作为图像识别模型的训练样本。
2.根据权利要求1所述的方法,其特征在于,所述利用网络搜索引擎对所述第一图片集进行搜索,获取第二图片集包括:
利用网络搜索引擎,获取对应第一图片集的图片搜索结果;
从所述图片搜索结果中获取预设数量或满足预设要求的图片,作为第二图片集。
3.根据权利要求2所述的方法,其特征在于,所述利用网络搜索引擎获取对应第一图片集的图片搜索结果包括以下至少一种获取方式:
方式1、利用网络搜索引擎,使用以图搜图方法获取对应第一图片集的图片搜索结果;
方式2、利用网络搜索引擎,根据所述第一图片集所标注对象的名称获取对应第一图片集的图片搜索结果;
方式3、使用光学字符识别方法获取所述第一图片集中的文字,利用网络搜索引擎,根据所述文字获取对应第一图片集的图片搜索结果;
方式4、使用图文关系分析方法获取所述第一图片集的分析结果,利用所述网络搜索引擎,根据所述分析结果获取对应第一图片集的图片搜索结果;
方式5、使用人脸识别方法获取所述第一图片集中所包含人脸的识别结果,利用所述网络搜索引擎,根据所述人脸识别结果获取对应第一图片集的图片搜索结果。
4.根据权利要求3所述的方法,其特征在于,所述从所述图片搜索结果中获取预设数量或满足预设要求的图片,作为第二图片集包括:
获取所述图片搜索结果中排在前N位的图片作为第二图片集,其中N为正整数;或者
根据各获取方式的预设权重值,分别获取预设数量的图片搜索结果作为第二图片集;或者
将所述获取的图片搜索结果中包含的图片作为第二图片集。
5.根据权利要求2所述的方法,其特征在于,所述方法还包括:
将所述图片搜索结果显示给标注用户进行筛选,将筛选后的结果作为第二图片集。
6.一种获取训练样本的装置,其特征在于,所述装置包括:
第一获取单元,用于获取已标注对象的第一图片集;
第二获取单元,用于利用网络搜索引擎对所述第一图片集进行搜索,获取第二图片集;
整合单元,用于整合所述第一图片集和所述第二图片集,将所述对象作为整合后得到的图片集对应的标注结果;
应用单元,用于将所述整合后得到的图片集以及所述标注结果作为图像识别模型的训练样本。
7.根据权利要求6所述的装置,其特征在于,所述第二获取单元在利用网络搜索引擎对所述第一图片集进行搜索,获取第二图片集时,具体执行:
利用网络搜索引擎,获取对应第一图片集的图片搜索结果;
从所述图片搜索结果中获取预设数量或满足预设要求的图片,作为第二图片集。
8.根据权利要求7所述的装置,其特征在于,所述第二获取单元在利用网络搜索引擎获取对应第一图片集的图片搜索结果时,采用以下至少一种获取方式:
方式1、利用网络搜索引擎,使用以图搜图方法获取对应第一图片集的图片搜索结果;
方式2、利用网络搜索引擎,根据所述第一图片集所标注对象的名称获取对应第一图片集的图片搜索结果;
方式3、使用光学字符识别方法获取所述第一图片集中的文字,利用网络搜索引擎,根据所述文字获取对应第一图片集的图片搜索结果;
方式4、使用图文关系分析方法获取所述第一图片集的分析结果,利用所述网络搜索引擎,根据所述分析结果获取对应第一图片集的图片搜索结果;
方式5、使用人脸识别方法获取所述第一图片集中所包含人脸的识别结果,利用所述网络搜索引擎,根据所述人脸识别结果获取对应第一图片集的图片搜索结果。
9.根据权利要求8所述的装置,其特征在于,所述第二获取单元在从所述图片搜索结果中获取预设数量或满足预设要求的图片,作为第二图片集时,具体执行:
获取所述图片搜索结果中排在前N位的图片作为第二图片集,其中N为正整数;或者
根据各获取方式的预设权重值,分别获取预设数量的图片搜索结果作为第二图片集;或者
将所述获取的图片搜索结果中包含的图片作为第二图片集。
10.根据权利要求7所述的装置,其特征在于,所述第二获取单元还用于执行:
将所述图片搜索结果显示给标注用户进行筛选,将筛选后的结果作为第二图片集。
11.一种设备,其特征在于,所述设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-5中任一所述的方法。
12.一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-5中任一所述的方法。
CN201710892379.5A 2017-09-27 2017-09-27 获取训练样本的方法、装置、设备和计算机存储介质 Active CN107909088B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710892379.5A CN107909088B (zh) 2017-09-27 2017-09-27 获取训练样本的方法、装置、设备和计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710892379.5A CN107909088B (zh) 2017-09-27 2017-09-27 获取训练样本的方法、装置、设备和计算机存储介质

Publications (2)

Publication Number Publication Date
CN107909088A true CN107909088A (zh) 2018-04-13
CN107909088B CN107909088B (zh) 2022-06-28

Family

ID=61841119

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710892379.5A Active CN107909088B (zh) 2017-09-27 2017-09-27 获取训练样本的方法、装置、设备和计算机存储介质

Country Status (1)

Country Link
CN (1) CN107909088B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109325485A (zh) * 2018-08-14 2019-02-12 深圳市云智融科技有限公司 设备识别码信息处理的方法和装置
CN110110327A (zh) * 2019-04-26 2019-08-09 网宿科技股份有限公司 一种基于对抗学习的文本标注方法和设备
CN110210290A (zh) * 2019-04-22 2019-09-06 平安科技(深圳)有限公司 人脸图片采集方法、装置和计算机设备
CN110955603A (zh) * 2019-12-03 2020-04-03 望海康信(北京)科技股份公司 自动化测试方法、装置、电子设备及计算机可读存储介质
CN111061933A (zh) * 2019-11-21 2020-04-24 深圳壹账通智能科技有限公司 图片样本库构建方法、装置、可读存储介质及终端设备
CN111557648A (zh) * 2020-03-23 2020-08-21 广东艾诗凯奇智能科技有限公司 一种健康检测系统、方法及设备
WO2021103835A1 (zh) * 2019-11-28 2021-06-03 初速度(苏州)科技有限公司 一种训练样本的获取方法及装置

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1378159A (zh) * 2001-03-26 2002-11-06 Lg电子株式会社 图像搜索方法和装置
US20050010553A1 (en) * 2000-10-30 2005-01-13 Microsoft Corporation Semi-automatic annotation of multimedia objects
US20070271226A1 (en) * 2006-05-19 2007-11-22 Microsoft Corporation Annotation by Search
CN101794311A (zh) * 2010-03-05 2010-08-04 南京邮电大学 基于模糊数据挖掘的中文网页自动分类方法
US20120089552A1 (en) * 2008-12-22 2012-04-12 Shih-Fu Chang Rapid image annotation via brain state decoding and visual pattern mining
CN102609458A (zh) * 2012-01-12 2012-07-25 北京搜狗信息服务有限公司 一种图片推荐方法和装置
CN102902737A (zh) * 2012-09-12 2013-01-30 西安交通大学 一种网络图像自主收集与筛选方法
US20140029801A1 (en) * 2011-04-12 2014-01-30 National University Of Singapore In-Video Product Annotation with Web Information Mining
US20140176752A1 (en) * 2012-12-18 2014-06-26 Canon Kabushiki Kaisha Object detection method, object detection apparatus and image pickup apparatus
US20140222781A1 (en) * 2013-02-05 2014-08-07 International Business Machines Corporation Generating and displaying an image tour in response to a user search query
CN103984738A (zh) * 2014-05-22 2014-08-13 中国科学院自动化研究所 一种基于搜索匹配的角色标注方法
CN104346406A (zh) * 2013-08-08 2015-02-11 北大方正集团有限公司 训练语料扩充装置和训练语料扩充方法
CN105335449A (zh) * 2014-08-15 2016-02-17 北京奇虎科技有限公司 基于搜索引擎数据库的样本自动挖掘方法及装置
US20160063395A1 (en) * 2014-08-28 2016-03-03 Baidu Online Network Technology (Beijing) Co., Ltd Method and apparatus for labeling training samples
CN105654055A (zh) * 2015-12-29 2016-06-08 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种利用视频数据进行人脸识别训练的方法
CN105844283A (zh) * 2015-01-16 2016-08-10 阿里巴巴集团控股有限公司 用于识别图像类目归属的方法、图像搜索方法及装置
CN106250396A (zh) * 2016-07-19 2016-12-21 厦门雅迅网络股份有限公司 一种图像标签自动生成系统及方法
WO2017063538A1 (zh) * 2015-10-12 2017-04-20 广州神马移动信息科技有限公司 挖掘相关词的方法、搜索方法、搜索系统
CN107122450A (zh) * 2017-04-26 2017-09-01 广州图匠数据科技有限公司 一种网络图片舆情监测方法

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050010553A1 (en) * 2000-10-30 2005-01-13 Microsoft Corporation Semi-automatic annotation of multimedia objects
CN1378159A (zh) * 2001-03-26 2002-11-06 Lg电子株式会社 图像搜索方法和装置
US20070271226A1 (en) * 2006-05-19 2007-11-22 Microsoft Corporation Annotation by Search
US20120089552A1 (en) * 2008-12-22 2012-04-12 Shih-Fu Chang Rapid image annotation via brain state decoding and visual pattern mining
CN101794311A (zh) * 2010-03-05 2010-08-04 南京邮电大学 基于模糊数据挖掘的中文网页自动分类方法
US20140029801A1 (en) * 2011-04-12 2014-01-30 National University Of Singapore In-Video Product Annotation with Web Information Mining
CN102609458A (zh) * 2012-01-12 2012-07-25 北京搜狗信息服务有限公司 一种图片推荐方法和装置
CN102902737A (zh) * 2012-09-12 2013-01-30 西安交通大学 一种网络图像自主收集与筛选方法
US20140176752A1 (en) * 2012-12-18 2014-06-26 Canon Kabushiki Kaisha Object detection method, object detection apparatus and image pickup apparatus
US20140222781A1 (en) * 2013-02-05 2014-08-07 International Business Machines Corporation Generating and displaying an image tour in response to a user search query
CN104346406A (zh) * 2013-08-08 2015-02-11 北大方正集团有限公司 训练语料扩充装置和训练语料扩充方法
CN103984738A (zh) * 2014-05-22 2014-08-13 中国科学院自动化研究所 一种基于搜索匹配的角色标注方法
CN105335449A (zh) * 2014-08-15 2016-02-17 北京奇虎科技有限公司 基于搜索引擎数据库的样本自动挖掘方法及装置
US20160063395A1 (en) * 2014-08-28 2016-03-03 Baidu Online Network Technology (Beijing) Co., Ltd Method and apparatus for labeling training samples
CN105447031A (zh) * 2014-08-28 2016-03-30 百度在线网络技术(北京)有限公司 训练样本的标注方法及装置
CN105844283A (zh) * 2015-01-16 2016-08-10 阿里巴巴集团控股有限公司 用于识别图像类目归属的方法、图像搜索方法及装置
WO2017063538A1 (zh) * 2015-10-12 2017-04-20 广州神马移动信息科技有限公司 挖掘相关词的方法、搜索方法、搜索系统
CN105654055A (zh) * 2015-12-29 2016-06-08 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种利用视频数据进行人脸识别训练的方法
CN106250396A (zh) * 2016-07-19 2016-12-21 厦门雅迅网络股份有限公司 一种图像标签自动生成系统及方法
CN107122450A (zh) * 2017-04-26 2017-09-01 广州图匠数据科技有限公司 一种网络图片舆情监测方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
YAZHOU YAO 等: "A new web-supervised method for image dataset constructions", 《PREPRINT SUBMITTED TO NEUROCOMPUTING》 *
俞建松等: "基于互联网搜索与反馈验证的图像自动标注", 《计算机工程》 *
查正军: "基于机器学习方法的视觉信息标注研究", 《中国博士学位论文全文数据库 信息科技辑》 *
王雪莲: "自动图像标注与图像检索算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
王黎等: "文本搜索排序中构造训练集的一种方法", 《计算机系统应用》 *
许红涛等: "一种自适应的Web图像语义自动标注方法", 《软件学报》 *
陈烨等: "基于社群隐含主题挖掘和多社群信息融合的自动图像标注", 《中国图象图形学报》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109325485A (zh) * 2018-08-14 2019-02-12 深圳市云智融科技有限公司 设备识别码信息处理的方法和装置
CN110210290A (zh) * 2019-04-22 2019-09-06 平安科技(深圳)有限公司 人脸图片采集方法、装置和计算机设备
CN110110327A (zh) * 2019-04-26 2019-08-09 网宿科技股份有限公司 一种基于对抗学习的文本标注方法和设备
CN111061933A (zh) * 2019-11-21 2020-04-24 深圳壹账通智能科技有限公司 图片样本库构建方法、装置、可读存储介质及终端设备
WO2021103835A1 (zh) * 2019-11-28 2021-06-03 初速度(苏州)科技有限公司 一种训练样本的获取方法及装置
CN110955603A (zh) * 2019-12-03 2020-04-03 望海康信(北京)科技股份公司 自动化测试方法、装置、电子设备及计算机可读存储介质
CN110955603B (zh) * 2019-12-03 2023-06-06 望海康信(北京)科技股份公司 自动化测试方法、装置、电子设备及计算机可读存储介质
CN111557648A (zh) * 2020-03-23 2020-08-21 广东艾诗凯奇智能科技有限公司 一种健康检测系统、方法及设备

Also Published As

Publication number Publication date
CN107909088B (zh) 2022-06-28

Similar Documents

Publication Publication Date Title
CN107909088A (zh) 获取训练样本的方法、装置、设备和计算机存储介质
CN109145680A (zh) 一种获取障碍物信息的方法、装置、设备和计算机存储介质
CN111652087B (zh) 验车方法、装置、电子设备和存储介质
CN113724848A (zh) 基于人工智能的医疗资源推荐方法、装置、服务器及介质
CN111241883B (zh) 防止远程被测人员作弊的方法和装置
CN110378346A (zh) 建立文字识别模型的方法、装置、设备和计算机存储介质
CN109599095A (zh) 一种语音数据的标注方法、装置、设备和计算机存储介质
CN111522987A (zh) 一种图像审核方法、设备及计算机可读存储介质
CN109446907A (zh) 一种视频聊天的方法、装置、设备和计算机存储介质
CN113408570A (zh) 一种基于模型蒸馏的图像类别识别方法、装置、存储介质及终端
CN112580720A (zh) 一种模型训练方法及装置
CN107992484A (zh) 一种评测ocr系统的性能的方法、设备及存储介质
CN108171208A (zh) 信息获取方法和装置
CN110232277A (zh) 网页后门的检测方法、装置和计算机设备
Wang Fault diagnosis of rolling element bearing compound faults based on sparse no-negative matrix factorization-support vector data description
CN108268602A (zh) 分析文本话题点的方法、装置、设备和计算机存储介质
Park et al. Achieving real-time sign language translation using a smartphone's true depth images
Chen et al. Underwater bolted flange looseness detection using percussion-induced sound and Feature-reduced Multi-ROCKET model
US9836669B2 (en) Generating a reference digital image based on an indicated time frame and searching for other images using the reference digital image
Chen et al. A rolling bearing fault diagnosis method via 2D feature map of CSCoh after denoising and MSCNN under different conditions
Kim et al. Effect of data preprocessing methods and hyperparameters on accuracy of ball bearing fault detection based on deep learning
CN111475722B (zh) 用于发送信息的方法和装置
CN114911910A (zh) 问答系统、方法、电子设备及存储介质
CN107688623A (zh) 一种实物检索方法、装置、设备及存储介质
CN112287790A (zh) 影像处理方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant