CN117591690A - 图像中的实体识别方法、装置、介质及电子设备 - Google Patents

图像中的实体识别方法、装置、介质及电子设备 Download PDF

Info

Publication number
CN117591690A
CN117591690A CN202311370103.2A CN202311370103A CN117591690A CN 117591690 A CN117591690 A CN 117591690A CN 202311370103 A CN202311370103 A CN 202311370103A CN 117591690 A CN117591690 A CN 117591690A
Authority
CN
China
Prior art keywords
image
text
semantic space
space coding
coding vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311370103.2A
Other languages
English (en)
Inventor
游京翰
施之望
周依梦
郭明宇
冉蛟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zitiao Network Technology Co Ltd
Original Assignee
Beijing Zitiao Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zitiao Network Technology Co Ltd filed Critical Beijing Zitiao Network Technology Co Ltd
Priority to CN202311370103.2A priority Critical patent/CN117591690A/zh
Publication of CN117591690A publication Critical patent/CN117591690A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开实施例涉及一种图像中的实体识别方法、装置、介质及电子设备，方法包括：通过获取待识别图像对应的第一语义空间编码向量，以及获取目标提示文本对应的第二语义空间编码向量，获取所述第一语义空间编码向量与所述第二语义空间编码向量之间的相似度，在所述相似度满足预设相似度阈值的情况下，利用视觉语义模型对所述待识别图像进行处理，得到所述待识别图像对应的图像说明文本，基于所述图像说明文本，确定所述待识别图像中是否包含所述目标实体。采用该方法可以在保障实体识别效果的同时减少利用视觉语义模型进行处理的待识别数量，降低计算资源。

Description

图像中的实体识别方法、装置、介质及电子设备
技术领域
本公开涉及计算机技术领域，具体地，涉及一种图像中的实体识别方法、装置、介质及电子设备。
背景技术
目前，对图像中的特定实体进行识别是一项具有重要意义的任务。相关技术中，针对人工智能生成内容(Artificial Intelligence Generated Content，AIGC)图像，即AIGC图像，如果文本表述不清晰或生成模型不完美，生成的AIGC图像中的实体比真实世界更加抽象，针对真实场景中实体进行识别的模型，难以判别AIGC图像中包含的抽象实体，针对该问题，相关技术中可以利用视觉语义模型将AIGC图像反向转化为图像说明文本(imagecaption)，然后使用自然语言处理(Natural Language Processing，NLP)技术分析文本内容，实现对AIGC图像中的特定实体进行识别。
然而，利用视觉语义模型将AIGC图像反向转化为图像说明文本，再使用自然语言处理技术分析文本内容，实现对AIGC图像中的特定实体进行识别虽然是可行的，但是视觉语义模型的计算成本高，难以支撑高并发的场景。
发明内容
提供该发明内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
根据本公开实施例的第一方面，提供一种图像中的实体识别方法，所述方法包括：
获取待识别图像对应的第一语义空间编码向量；
获取目标提示文本对应的第二语义空间编码向量，所述目标提示文本为包含目标实体的图像关联的提示文本；
获取所述第一语义空间编码向量与所述第二语义空间编码向量之间的相似度；
在所述相似度满足预设相似度阈值的情况下，利用视觉语义模型对所述待识别图像进行处理，得到所述待识别图像对应的图像说明文本；
基于所述图像说明文本，确定所述待识别图像中是否包含所述目标实体。
根据本公开实施例的第二方面，提供一种图像中的实体识别装置，所述装置包括：
第一获取模块，用于获取待识别图像对应的第一语义空间编码向量；
第二获取模块，用于获取目标提示文本对应的第二语义空间编码向量，所述目标提示文本为包含目标实体的图像关联的提示文本；
第三获取模块，用于获取所述第一语义空间编码向量与所述第二语义空间编码向量之间的相似度；
第一确定模块，用于在所述相似度满足预设相似度阈值的情况下，利用视觉语义模型对所述待识别图像进行处理，得到所述待识别图像对应的图像说明文本；
第二确定模块，用于基于所述图像说明文本，确定所述待识别图像中是否包含所述目标实体。
根据本公开实施例的第三方面，提供一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理装置执行时实现本公开第一方面所述方法的步骤。
根据本公开实施例的第四方面，提供一种电子设备，包括：
存储装置，其上存储有计算机程序；
处理装置，用于执行所述存储装置中的所述计算机程序，以实现本公开第一方面所述方法的步骤。
采用上述技术方案，通过获取待识别图像对应的第一语义空间编码向量，以及获取目标提示文本对应的第二语义空间编码向量，接着，获取所述第一语义空间编码向量与所述第二语义空间编码向量之间的相似度，接着，在所述相似度满足预设相似度阈值的情况下，利用视觉语义模型对所述待识别图像进行处理，得到所述待识别图像对应的图像说明文本，接着便可以基于所述图像说明文本，确定所述待识别图像中是否包含所述目标实体。这样，将待识别图像以及目标提示文本在语义空间进行相似度计算，由于目标提示文本为包含目标实体的图像关联的提示文本，因此，通过相似度计算结果可以确定在语义上潜在包含目标实体的待识别图像，后续进一步对确定的待识别图像利用视觉语义模型对所述待识别图像进行处理，可以减少利用视觉语义模型进行处理的待识别数量，降低计算资源消耗，可以兼容高并发的图像实体识别场景，并且，由于是通过语义对待识别图像进行的筛选，也在一定程度上保障了确定潜在包含目标实体的待识别图像的准确性，保障实体识别效果。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。在附图中：
图1是根据本公开实施例示出的一种图像中的实体识别方法的流程图。
图2是根据本公开实施例示出的一种候选文本对应的效果评估指标的柱状图。
图3是根据本公开实施例示出的一种图像中的实体识别装置的框图。
图4是根据本公开实施例示出的一种电子设备的框图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本公开使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。在本公开的描述中，除非另有说明，“多个”是指两个或多于两个，其它量词与之类似；“至少一项(个)”、“一项(个)或多项(个)”或其类似表达，是指的这些项(个)中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，至少一项(个)a，可以表示任意数目个a；再例如，a，b和c中的一项(个)或多项(个)，可以表示：a，b，c，a-b，a-c，b-c，或a-b-c，其中a，b，c可以是单个，也可以是多个。
在本公开实施例中尽管在附图中以特定的顺序描述操作或步骤，但是不应将其理解为要求按照所示的特定顺序或是串行顺序来执行这些操作或步骤，或是要求执行全部所示的操作或步骤以得到期望的结果。在本公开的实施例中，可以串行执行这些操作或步骤；也可以并行执行这些操作或步骤；也可以执行这些操作或步骤中的一部分。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
可以理解的是，在使用本公开各实施例公开的技术方案之前，均应当依据相关法律法规通过恰当的方式对本公开所涉及个人信息的类型、使用范围、使用场景等告知用户并获得用户的授权。
同时，可以理解的是，本技术方案所涉及的数据(包括但不限于数据本身、数据的获取或使用)应当遵循相应法律法规及相关规定的要求。
下面结合具体实施例对本公开进行说明。
图1是根据本公开实施例示出的一种图像中的实体识别方法的流程图。该方法可以应用于电子设备，该电子设备可以包括终端设备，例如智能手机、智能可穿戴设备、智能音箱、智能平板、PDA(Personal Digital Assistant，个人数字助理)、CPE(CustomerPremise Equipment，客户终端设备)、个人计算机、车载终端等；该电子设备也可以包括服务器，例如本地服务器、云服务器等。如图1所示，该方法可以包括：
S101、获取待识别图像对应的第一语义空间编码向量。
其中，待识别图像可以理解为需要进行特定实体识别的图像。待识别图像对应的语义空间编码向量可以理解为第一语义空间编码向量。
例如，在一些示例性的场景中，用户上传的图像在向公众发布前可以先经过实体内容审核，在这种场景中，用户上传的图像可以理解为待识别图像。
又例如，在另一些示例性的场景中，可以将用户上传的图像按照图像中包括的实体类别进行图像分类，在这种场景中，用户上传的图像同样可以理解为待识别图像。
需要说明的是，本公开实施例中的图像，可以是真实世界中的图像，也可以是人工智能生成图像，即AIGC图像。
在一些实施方式中，可以利用图像编码模型对待识别图像进行视觉语义空间编码，得到第一语义空间编码向量。
可以理解的是，图像编码模型用于对图像数据进行编码映射，相较于视觉语义模型，计算量小。
S102、获取目标提示文本对应的第二语义空间编码向量，目标提示文本为包含目标实体的图像关联的提示文本。
其中，目标实体可以理解为图像实体识别任务中关注的实体，也即前述提到的特定实体。
在一些实施方式中，包含目标实体的图像可以是根据目标实体生成的AIGC图像。
示例性地，在需要对图像中的猫进行识别时，猫即为目标实体，在需要对图像中的汽车进行识别时，汽车即为目标实体。
在一些实施方式中，可以利用文本编码模型对目标提示文本进行文本语义空间编码，得到第二语义空间编码向量。
可以理解的是，文本编码模型用于对文本数据进行编码映射，相较于视觉语义模型，计算量小。
此外，考虑到在目标提示文本确定之后，目标提示文本对应的第二语义空间编码向量可以保持不变，因此，在一些实施方式中，利用文本编码模型对目标提示文本进行文本语义空间编码，得到第二语义空间编码向量的过程可以是离线过程，从而可以降低线上计算资源消耗，节约实体识别时间。
在一些实施方式中，为了提高第一语义空间编码向量以及第二语义空间编码向量的准确性，视觉编码模型以及文本编码模型可以是语义空间对齐的模型。
可选地，可以采用CLIP(Contrastive Language-Image Pre-Training)模型中的视觉编码模型以及文本编码模型，ConVIRT(contrastive learning of medical visualrepresentations from paired images and text)模型中的视觉编码模型以及文本编码模型，TOnICS(Training with Ontology-Informed Contrastive Sampling)模型中的视觉编码模型以及文本编码模型等。
S103、获取第一语义空间编码向量与第二语义空间编码向量之间的相似度。
在一些实施方式中，相似度可以根据欧氏距离、曼哈顿距离、余弦距离等相似度计算公式的计算结果确定。
S104、在相似度满足预设相似度阈值的情况下，利用视觉语义模型对待识别图像进行处理，得到待识别图像对应的图像说明文本。
在一些实施方式中，相似度满足预设相似度阈值可以是相似度大于预设相似度阈值，也可以是相似度大于等于预设相似度阈值。
本公开实施例中，相似度满足预设相似度阈值可以理解为待识别图像与目标提示文本在语义空间中较为接近，待识别图像中潜在包括目标实体可能性较大，因此，针对相似度满足预设相似度阈值的情况，再进一步利用视觉语义模型对待识别图像进行处理，得到待识别图像对应的图像说明文本。
在一些实施方式中，若相似度不满足预设相似度阈值，则可以确定待识别图像中不包含目标实体，无需再利用视觉语义模型对待识别图像进行处理。
可选地，视觉语义模型可以是ClipCap模型，其中，ClipCap模型是一种基于Mapping Network(映射网络)的编码器-解码器模型。可选地，视觉语义模型可以是视觉问答(Visual Question Answering，VQA)模型等。
S105、基于图像说明文本，确定待识别图像中是否包含目标实体。
本公开实施例中，在获取图像说明文本之后，可以使用自然语言处理技术分析文本内容，确定待识别图像中是否包含目标实体。
在一些实施方式中，在获取图像说明文本之后，可以使用命名实体识别模型判别图像说明文本中是否包含目标实体，从而实现对待识别图像中特定实体识别的功能。
采用上述方法，通过获取待识别图像对应的第一语义空间编码向量，以及获取目标提示文本对应的第二语义空间编码向量，接着，获取第一语义空间编码向量与第二语义空间编码向量之间的相似度，接着，在相似度满足预设相似度阈值的情况下，利用视觉语义模型对待识别图像进行处理，得到待识别图像对应的图像说明文本，接着便可以基于图像说明文本，确定待识别图像中是否包含目标实体。这样，将待识别图像以及目标提示文本在语义空间进行相似度计算，由于目标提示文本为包含目标实体的图像关联的提示文本，因此，通过相似度计算结果可以确定在语义上潜在包含目标实体的待识别图像，后续进一步对确定的待识别图像利用视觉语义模型对待识别图像进行处理，可以减少利用视觉语义模型进行处理的待识别数量，降低计算资源消耗，可以兼容高并发的图像实体识别场景，并且，由于是通过语义对待识别图像进行的筛选，也在一定程度上保障了确定潜在包含目标实体的待识别图像的准确性，保障实体识别效果。
其中，确定目标提示文本可以有多种方式。
在一些实施方式中，可以根据包括目标实体的图像，通过经验分析确定目标提示文本。
在另一些实施方式中，目标提示文本可以是通过以下步骤得到的：
获取第一预设数量的样本图像，样本图像为包括目标实体的图像；利用视觉语义模型对样本图像进行处理，得到样本图像对应的图像说明文本；基于样本图像对应的图像说明文本，得到目标提示文本。
本公开实施例中，可以获取第一预设数量的样本图像，例如，获取50张同时包括目标实体“猫”、“火”以及“车”的AIGC图像，然后可以利用前述实施例中的视觉语义模型对每张样本图像分别进行处理，得到每张样本图像对应的图像说明文本，接着，便可以基于每张样本图像分别对应的图像说明文本，得到目标提示文本。
其中，基于每张样本图像分别对应的图像说明文本，得到目标提示文本，也可以有多种方式。
在一些实施方式中，可以统计得到第一预设数量的样本图像分别对应的图像说明文本中的各个实体的总量，然后选择实体的总量靠前的预设数量个实体作为目标提示文本。
在另一些实施方式中，基于样本图像对应的图像说明文本，得到目标提示文本，可以包括以下步骤：
获取测试图像集，测试图像集包括第二预设数量的正例图像以及第三预设数量的负例图像，正例图像为包括目标实体的图像，负例图像为不包括目标实体的图像；获取图像说明文本包括的各个候选文本分别对应在测试图像集上的效果评估指标，一个候选文本对应的效果评估指标表征该候选文本属于正例图像包括的提示文本的概率大于该候选文本属于负例图像包括的提示文本的概率的可能性；基于各个候选文本分别对应的效果评估指标，得到目标提示文本。
在一些实施方式中，可以以词粒度确定候选文本，此时各个候选文本可以是样本图像对应的图像说明文本中的各个词。例如，“绿色”、“衣服”等词。
在另一些实施方式中，可以以短语粒度确定候选文本，此时各个候选文本可以是样本图像对应的图像说明文本中的各个短语片段。例如，“棕色小狗”、“绿色衣服”等短语。
在另一些实施方式中，各个候选文本可以是样本图像对应的图像说明文本中的各个短语片段和/或词。
本公开实施例中，可以将第二预设数量的包括目标实体的正例图像以及第三预设数量的不包括目标实体的负例图像组成测试图像集，然后获取图像说明文本包括的各个候选文本分别对应在测试图像集上的效果评估指标，也即，获取各个候选文本属于正例图像包括的提示文本的概率大于该候选文本属于负例图像包括的提示文本的概率的可能性，一个候选文本属于正例图像包括的提示文本的概率大于该候选文本属于负例图像包括的提示文本的概率的可能性越大，说明该候选文本越能够表达正例图像中的特征，从而，可以进一步基于各个候选文本分别对应的效果评估指标，得到目标提示文本。
使用上述方法，相较于通过经验确定目标提示文本，通过prompt to image(提示词到文本)的逆向方案image caption的思路，因为训练数据、算法原理有一定互通性，从而可以从视觉语义角度很好的解析出图像中的目标实体，提高目标提示文本确定的准确性。
在一些实施方式中，获取图像说明文本包括的各个候选文本分别对应在测试图像集上的效果评估指标，可以包括以下步骤：
获取各张正例图像对应的第三语义空间编码向量、各张负例图像对应的第四语义空间编码向量，以及各个候选文本分别对应的第五语义空间编码向量；获取各个第五语义空间编码向量与各个第三语义空间编码向量之间的相似度，以及各个第五语义空间编码向量与各个第四语义空间编码向量之间的相似度；针对任一个第五语义空间编码向量，基于该第五语义空间编码向量分别与各个第三语义空间编码向量之间的相似度，以及该第五语义空间编码向量分别与各个第四语义空间编码向量之间的相似度，确定与该第五语义空间编码向量对应的候选文本的效果评估指标。
本公开实施例中，可以先通过前述实施例中的图像编码模型对各张正例图像分别进行视觉语义空间编码，得到各张正例图像对应的第三语义空间编码向量，通过前述实施例中的图像编码模型对各张负例图像分别进行视觉语义空间编码，得到各张负例图像对应的第四语义空间编码向量，通过前述实施例中的文本编码模型对各个候选文本分别进行文本语义空间编码，得到各个候选文本分别对应的第五语义空间编码向量。
然后，可以获取各个第五语义空间编码向量与各个第三语义空间编码向量之间的相似度，以及获取各个第五语义空间编码向量与各个第四语义空间编码向量之间的相似度。
接着，针对任一个第五语义空间编码向量，可以基于该第五语义空间编码向量分别与各个第三语义空间编码向量之间的相似度，以及该第五语义空间编码向量分别与各个第四语义空间编码向量之间的相似度，也即，基于该第五语义空间编码向量在正例图像中的相似度以及在负例图像中的相似度，利用与效果评估指标对应的计算公式，确定与该第五语义空间编码向量对应的候选文本的效果评估指标。从而，得到各个候选文本分别对应在测试图像集上的效果评估指标。
可选地，效果评估指标可以是AUC(Area UnderCurve，ROC曲线下与坐标轴围成的面积)指标，其中，ROC为受试者操作曲线(Receiver Operating Characteristic)。当使用AUC指标时，该第五语义空间编码向量与各张正例图像的相似度，可以当做是该第五语义空间编码向量被分类到各张正例图像中的概率，该第五语义空间编码向量与各张负例图像的相似度，可以当做是该第五语义空间编码向量被分类到各张负例图像中的概率，从而便可以进一步基于AUC指标计算公式，该第五语义空间编码向量被分类到各张正例图像中的概率，以及该第五语义空间编码向量被分类到各张负例图像中的概率计算得到AUC指标。
可选地，效果评估指标还可以是ROC指标等。
其中，基于各个候选文本分别对应的效果评估指标，得到目标提示文本，可以有多种方式。
在一些实施方式中，可以将对应的效果评估指标排名靠前的预设数量个候选文本确定为目标提示文本。
示例性地，请参考图2，图2是本公开实施例示出的一种候选文本对应的效果评估指标的柱状图。假设预设数量为3，则根据图2所示的示例，可以将“cat”、“fire”、“car”三个词确定为目标提示文本。
在另一些实施方式中，可以遍历由各个候选文本构成的提示文本的所有组合形式，然后将对应的效果评估指标最大的组合形式确定为目标提示文本。
示例性地，假设候选文本包括“cat”、“fire”、“car”、“dark”、“jump”，则可以将其中任一个候选文本作为不同的组合形式，以及将其中任意至少两个候选文本分别组合成不同的组合形式，得到由各个候选文本构成的提示文本的所有组合形式。
在另一些实施方式中，基于各个候选文本分别对应的效果评估指标，得到目标提示文本，可以包括以下步骤：
将对应的效果评估指标最大的候选文本确定为初始提示文本；按照对应的效果评估指标从大到小的排序，依次将一个候选文本累加到初始提示文本之后，形成待测试提示文本；获取待测试提示文本在测试图像集上的效果评估指标，以及初始提示文本在测试图像集上的效果评估指标；在待测试提示文本对应的效果评估指标大于初始提示文本对应的效果评估指标的情况下，将待测试提示文本确定为初始提示文本，在待测试提示文本对应的效果评估指标小于或者等于初始提示文本对应的效果评估指标的情况下，保持初始提示文本不变；返回执行步骤：按照对应的效果评估指标从大到小的排序，依次将一个候选文本累加到初始提示文本之后，形成待测试提示文本，直到满足预设终止条件，将当前的初始提示文本确定为目标提示文本。
继续沿用图2所示的示例，可以先将“cat”确定为初始提示文本，接着，将“fire”累加到“cat”之后，形成待测试提示文本“cat、fire”，然后获取待测试提示文本“cat、fire”在测试图像集上的效果评估指标，以及获取初始提示文本“cat”在测试图像集上的效果评估指标。
接着，判断待测试提示文本“cat、fire”对应的效果评估指标与初始提示文本“cat”对应的效果评估指标的大小。若待测试提示文本“cat、fire”对应的效果评估指标大于初始提示文本“cat”对应的效果评估指标，则说明“fire”对表达正例图像中的特征有正向帮助，可以保留“fire”，从而，将待测试提示文本“cat、fire”作为新的初始提示文本。若待测试提示文本“cat、fire”对应的效果评估指标小于或者等于初始提示文本“cat”对应的效果评估指标，则说明“fire”对表达正例图像中的特征没有正向帮助，可以剔除“fire”，继续保持初始提示文本为“cat”。至此，完成了对一个候选文本的筛选。
接上述示例，如果得到的初始提示文本为“cat、fire”，则进一步将“car”累加到“cat、fire”之后，形成待测试提示文本“cat、fire、car”，然后获取待测试提示文本“cat、fire、car”在测试图像集上的效果评估指标，以及获取初始提示文本“cat、fire”在测试图像集上的效果评估指标。并继续通过判断待测试提示文本“cat、fire、car”对应的效果评估指标与初始提示文本“cat、fire”对应的效果评估指标的大小，来确定是否对初始提示文本进行更新。
接上述示例，如果得到的初始提示文本为“cat”，则进一步将“car”累加到“cat”之后，形成待测试提示文本“cat、car”，然后获取待测试提示文本“cat、car”在测试图像集上的效果评估指标，以及获取初始提示文本“cat”在测试图像集上的效果评估指标。并继续通过判断待测试提示文本“cat、car”对应的效果评估指标与初始提示文本“cat”对应的效果评估指标的大小，来确定是否对初始提示文本进行更新。
通过上述过程，可以不断根据对应的效果评估指标的大小依次对各个候选文本进行筛选，直到满足预设终止条件，则可以将当前的初始提示文本确定为目标提示文本。
在一些实施方式中，预设终止条件可以是初始提示文本包括的候选文本的数量达到指定数量。
在另一些实施方式中，预设终止条件还可以是对所有的候选文本完成筛选。
采用上述方法，通过依次将一个候选文本累加到初始提示文本之后，形成待测试提示文本，并在待测试提示文本对应的效果评估指标大于初始提示文本对应的效果评估指标的情况下，才在目标提示文本中保留该候选文本，可以在将候选文本进行组合的情况下验证对应的效果评价指标的好坏，进一步提高目标提示文本的准确性。
图3是根据本公开实施例示出的一种图像中的实体识别装置的框图。如图3所示，该图像中的实体识别装置300可以包括：
第一获取模块310，用于获取待识别图像对应的第一语义空间编码向量；
第二获取模块320，用于获取目标提示文本对应的第二语义空间编码向量，所述目标提示文本为包含目标实体的图像关联的提示文本；
第三获取模块330，用于获取所述第一语义空间编码向量与所述第二语义空间编码向量之间的相似度；
第一确定模块340，用于在所述相似度满足预设相似度阈值的情况下，利用视觉语义模型对所述待识别图像进行处理，得到所述待识别图像对应的图像说明文本；
第二确定模块350，用于基于所述图像说明文本，确定所述待识别图像中是否包含所述目标实体。
在一些实施方式中，装置300还包括：
目标提示文本确定模块，用于获取第一预设数量的样本图像，所述样本图像为包括所述目标实体的图像；利用所述视觉语义模型对所述样本图像进行处理，得到所述样本图像对应的图像说明文本；基于所述样本图像对应的图像说明文本，得到所述目标提示文本。
在一些实施方式中，目标提示文本确定模块，还用于获取测试图像集，所述测试图像集包括第二预设数量的正例图像以及第三预设数量的负例图像，所述正例图像为包括所述目标实体的图像，所述负例图像为不包括所述目标实体的图像；获取所述图像说明文本包括的各个候选文本分别对应在所述测试图像集上的效果评估指标，一个候选文本对应的所述效果评估指标表征该候选文本属于所述正例图像包括的提示文本的概率大于该候选文本属于负例图像包括的提示文本的概率的可能性；基于所述各个候选文本分别对应的效果评估指标，得到所述目标提示文本。
在一些实施方式中，目标提示文本确定模块，还用于获取各张所述正例图像对应的第三语义空间编码向量、各张所述负例图像对应的第四语义空间编码向量，以及所述各个候选文本分别对应的第五语义空间编码向量；获取各个所述第五语义空间编码向量与各个所述第三语义空间编码向量之间的相似度，以及各个所述第五语义空间编码向量与各个所述第四语义空间编码向量之间的相似度；针对任一个第五语义空间编码向量，基于该第五语义空间编码向量分别与各个所述第三语义空间编码向量之间的相似度，以及该第五语义空间编码向量分别与各个所述第四语义空间编码向量之间的相似度，确定与该第五语义空间编码向量对应的候选文本的所述效果评估指标。
在一些实施方式中，目标提示文本确定模块，还用于将对应的所述效果评估指标最大的候选文本确定为初始提示文本；
按照对应的所述效果评估指标从大到小的排序，依次将一个候选文本累加到所述初始提示文本之后，形成待测试提示文本；获取所述待测试提示文本在所述测试图像集上的效果评估指标，以及所述初始提示文本在所述测试图像集上的效果评估指标；在所述待测试提示文本对应的效果评估指标大于所述初始提示文本对应的效果评估指标的情况下，将所述待测试提示文本确定为所述初始提示文本，在所述待测试提示文本对应的效果评估指标小于或者等于所述初始提示文本对应的效果评估指标的情况下，保持所述初始提示文本不变；返回执行步骤：按照对应的所述效果评估指标从大到小的排序，依次将一个候选文本累加到所述初始提示文本之后，形成待测试提示文本，直到满足预设终止条件，将当前的所述初始提示文本确定为所述目标提示文本。
在一些实施方式中，第一获取模块310，还用于利用图像编码模型对所述待识别图像进行视觉语义空间编码，得到所述第一语义空间编码向量；第二获取模块320，还用于利用文本编码模型对所述目标提示文本进行文本语义空间编码，得到第二语义空间编码向量。
在一些实施方式中，所述图像为人工智能生成图像。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
下面参考图4，其示出了适于用来实现本公开实施例的电子设备400(例如终端设备或服务器)的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。本公开实施例中的服务器可以包括但不限于诸如本地服务器、云服务器、单个服务器、分布式服务器等。图4示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图4所示，电子设备400可以包括处理装置(例如中央处理器、图形处理器等)401，其可以根据存储在只读存储器(ROM)402中的程序或者从存储装置408加载到随机访问存储器(RAM)403中的程序而执行各种适当的动作和处理。在RAM403中，还存储有电子设备400操作所需的各种程序和数据。处理装置401、ROM402以及RAM403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。
通常，以下装置可以连接至输入/输出接口405：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置406；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置407；包括例如磁带、硬盘等的存储装置408；以及通信装置409。通信装置409可以允许电子设备400与其他设备进行无线或有线通信以交换数据。虽然图4示出了具有各种装置的电子设备400，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置409从网络上被下载和安装，或者从存储装置408被安装，或者从ROM402被安装。在该计算机程序被处理装置401执行时，执行本公开实施例的方法中限定的上述功能。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取待识别图像对应的第一语义空间编码向量；获取目标提示文本对应的第二语义空间编码向量，所述目标提示文本为包含目标实体的图像关联的提示文本；获取所述第一语义空间编码向量与所述第二语义空间编码向量之间的相似度；在所述相似度满足预设相似度阈值的情况下，利用视觉语义模型对所述待识别图像进行处理，得到所述待识别图像对应的图像说明文本；基于所述图像说明文本，确定所述待识别图像中是否包含所述目标实体。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

Claims (10)

1.一种图像中的实体识别方法，其特征在于，所述方法包括：
获取待识别图像对应的第一语义空间编码向量；
获取目标提示文本对应的第二语义空间编码向量，所述目标提示文本为包含目标实体的图像关联的提示文本；
获取所述第一语义空间编码向量与所述第二语义空间编码向量之间的相似度；
在所述相似度满足预设相似度阈值的情况下，利用视觉语义模型对所述待识别图像进行处理，得到所述待识别图像对应的图像说明文本；
基于所述图像说明文本，确定所述待识别图像中是否包含所述目标实体。
2.根据权利要求1所述的方法，其特征在于，所述目标提示文本是通过以下步骤得到的：
获取第一预设数量的样本图像，所述样本图像为包括所述目标实体的图像；
利用所述视觉语义模型对所述样本图像进行处理，得到所述样本图像对应的图像说明文本；
基于所述样本图像对应的图像说明文本，得到所述目标提示文本。
3.根据权利要求2所述的方法，其特征在于，所述基于所述样本图像对应的图像说明文本，得到所述目标提示文本，包括：
获取测试图像集，所述测试图像集包括第二预设数量的正例图像以及第三预设数量的负例图像，所述正例图像为包括所述目标实体的图像，所述负例图像为不包括所述目标实体的图像；
获取所述图像说明文本包括的各个候选文本分别对应在所述测试图像集上的效果评估指标，一个候选文本对应的所述效果评估指标表征该候选文本属于所述正例图像包括的提示文本的概率大于该候选文本属于负例图像包括的提示文本的概率的可能性；
基于所述各个候选文本分别对应的效果评估指标，得到所述目标提示文本。
4.根据权利要求3所述的方法，其特征在于，所述获取所述图像说明文本包括的各个候选文本分别对应在所述测试图像集上的效果评估指标，包括：
获取各张所述正例图像对应的第三语义空间编码向量、各张所述负例图像对应的第四语义空间编码向量，以及所述各个候选文本分别对应的第五语义空间编码向量；
获取各个所述第五语义空间编码向量与各个所述第三语义空间编码向量之间的相似度，以及各个所述第五语义空间编码向量与各个所述第四语义空间编码向量之间的相似度；
针对任一个第五语义空间编码向量，基于该第五语义空间编码向量分别与各个所述第三语义空间编码向量之间的相似度，以及该第五语义空间编码向量分别与各个所述第四语义空间编码向量之间的相似度，确定与该第五语义空间编码向量对应的候选文本的所述效果评估指标。
5.根据权利要求3所述的方法，其特征在于，所述基于所述各个候选文本分别对应的效果评估指标，得到所述目标提示文本，包括：
将对应的所述效果评估指标最大的候选文本确定为初始提示文本；
按照对应的所述效果评估指标从大到小的排序，依次将一个候选文本累加到所述初始提示文本之后，形成待测试提示文本；
获取所述待测试提示文本在所述测试图像集上的效果评估指标，以及所述初始提示文本在所述测试图像集上的效果评估指标；
在所述待测试提示文本对应的效果评估指标大于所述初始提示文本对应的效果评估指标的情况下，将所述待测试提示文本确定为所述初始提示文本，在所述待测试提示文本对应的效果评估指标小于或者等于所述初始提示文本对应的效果评估指标的情况下，保持所述初始提示文本不变；
返回执行步骤：按照对应的所述效果评估指标从大到小的排序，依次将一个候选文本累加到所述初始提示文本之后，形成待测试提示文本，直到满足预设终止条件，将当前的所述初始提示文本确定为所述目标提示文本。
6.根据权利要求1所述的方法，其特征在于，所述方法包括：
利用图像编码模型对所述待识别图像进行视觉语义空间编码，得到所述第一语义空间编码向量；
利用文本编码模型对所述目标提示文本进行文本语义空间编码，得到第二语义空间编码向量。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述图像为人工智能生成图像。
8.一种图像中的实体识别装置，其特征在于，所述装置包括：
第一获取模块，用于获取待识别图像对应的第一语义空间编码向量；
第二获取模块，用于获取目标提示文本对应的第二语义空间编码向量，所述目标提示文本为包含目标实体的图像关联的提示文本；
第三获取模块，用于获取所述第一语义空间编码向量与所述第二语义空间编码向量之间的相似度；
第一确定模块，用于在所述相似度满足预设相似度阈值的情况下，利用视觉语义模型对所述待识别图像进行处理，得到所述待识别图像对应的图像说明文本；
第二确定模块，用于基于所述图像说明文本，确定所述待识别图像中是否包含所述目标实体。
9.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理装置执行时实现权利要求1至7中任一项所述方法的步骤。
10.一种电子设备，其特征在于，包括：
存储装置，其上存储有计算机程序；
处理装置，用于执行所述存储装置中的所述计算机程序，以实现权利要求1至7中任一项所述方法的步骤。
CN202311370103.2A 2023-10-20 2023-10-20 图像中的实体识别方法、装置、介质及电子设备 Pending CN117591690A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311370103.2A CN117591690A (zh) 2023-10-20 2023-10-20 图像中的实体识别方法、装置、介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311370103.2A CN117591690A (zh) 2023-10-20 2023-10-20 图像中的实体识别方法、装置、介质及电子设备

Publications (1)

Publication Number Publication Date
CN117591690A true CN117591690A (zh) 2024-02-23

Family

ID=89919100

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311370103.2A Pending CN117591690A (zh) 2023-10-20 2023-10-20 图像中的实体识别方法、装置、介质及电子设备

Country Status (1)

Country Link
CN (1) CN117591690A (zh)

Similar Documents

Publication Publication Date Title
CN111860573B (zh) 模型训练方法、图像类别检测方法、装置和电子设备
CN111767371B (zh) 一种智能问答方法、装置、设备及介质
CN110413812B (zh) 神经网络模型的训练方法、装置、电子设备及存储介质
CN113723341B (zh) 视频的识别方法、装置、可读介质和电子设备
CN113449070A (zh) 多模态数据检索方法、装置、介质及电子设备
CN113140012B (zh) 图像处理方法、装置、介质及电子设备
CN113033707B (zh) 视频分类方法、装置、可读介质及电子设备
CN111915689B (zh) 用于生成目标函数的方法、装置、电子设备和计算机可读介质
CN116483891A (zh) 一种信息预测方法、装置、设备和存储介质
CN116258911A (zh) 图像分类模型的训练方法、装置、设备及存储介质
CN114625876B (zh) 作者特征模型的生成方法、作者信息处理方法和装置
CN116244431A (zh) 文本分类方法、装置、介质及电子设备
CN116092092A (zh) 匹配方法、装置、介质及电子设备
CN113610228B (zh) 神经网络模型的构建方法及装置
CN113033680B (zh) 视频分类方法、装置、可读介质及电子设备
CN113222050B (zh) 图像分类方法、装置、可读介质及电子设备
CN115270981A (zh) 对象处理方法、装置、可读介质及电子设备
CN117591690A (zh) 图像中的实体识别方法、装置、介质及电子设备
CN116343905B (zh) 蛋白质特征的预处理方法、装置、介质及设备
CN112270170B (zh) 一种隐式表述语句的分析方法、装置、介质和电子设备
CN117743555B (zh) 答复决策信息发送方法、装置、设备和计算机可读介质
CN118071428A (zh) 用于多模态监测数据的智能处理系统及方法
CN116824592A (zh) 地址信息识别方法、装置、电子设备与计算机可读介质
CN118247589A (zh) 可解释性图像特征提取方法、图像识别方法、装置与设备
CN116432650A (zh) 文本处理方法、装置、可读介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination