CN112101076A - 识别猪只的方法和装置 - Google Patents

识别猪只的方法和装置 Download PDF

Info

Publication number
CN112101076A
CN112101076A CN201910528333.4A CN201910528333A CN112101076A CN 112101076 A CN112101076 A CN 112101076A CN 201910528333 A CN201910528333 A CN 201910528333A CN 112101076 A CN112101076 A CN 112101076A
Authority
CN
China
Prior art keywords
identified
image
pigs
features
pig
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910528333.4A
Other languages
English (en)
Inventor
林建华
徐法明
朱敏
王进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rainbow Software Co ltd
ArcSoft Corp Ltd
Original Assignee
Rainbow Software Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rainbow Software Co ltd filed Critical Rainbow Software Co ltd
Priority to CN201910528333.4A priority Critical patent/CN112101076A/zh
Publication of CN112101076A publication Critical patent/CN112101076A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/08—Insurance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Accounting & Taxation (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Finance (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Business, Economics & Management (AREA)
  • Technology Law (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种识别猪只的方法和装置。其中，该方法包括：获取待识别猪只的待识别图像；通过第一模型对待识别图像中的目标进行检测定位，获取包含目标的检测区域；通过第二模型从检测区域中提取待识别猪只的识别特征，其中，第二模型为对多个猪只的特征进行训练所得到的神经网络模型；比对待识别猪只的识别特征与预设特征，得到特征距离，其中，特征距离表征识别特征的特征向量与预设特征的特征向量之间的相似度；根据特征距离确定待识别猪只的识别结果。本发明解决了现有技术通过标记对猪只进行识别所导致识别成本高的技术问题。

Description

识别猪只的方法和装置
技术领域
本发明涉及图像识别领域，具体而言，涉及一种识别猪只的方法和装置。
背景技术
在畜牧险理赔方面，为避免重复理赔需要对死亡的动物进行查重，例如对死猪进行查重。目前，可采用耳标识别的方式对猪只进行识别，即每只猪耳朵上都被打上一个带有猪身份信息的耳标，以此来确定其身份。但耳标易脱落，尤其是猪之间互相撕咬时。另外，耳标成本较高，在对耳标识别时需要采用专用的设备进行耳标识别。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种识别猪只的方法和装置，以至少解决现有技术通过标记对猪只进行识别所导致识别成本高的技术问题。
根据本发明实施例的一个方面，提供了一种识别猪只的方法，包括：获取待识别猪只的待识别图像；通过第一模型对待识别图像中的目标进行检测定位，获取包含目标的检测区域；通过第二模型从检测区域中提取待识别猪只的识别特征，其中，第二模型为对多个猪只的特征进行训练所得到的神经网络模型；比对待识别猪只的识别特征与预设特征，得到特征距离，其中，特征距离表征识别特征的特征向量与预设特征的特征向量之间的相似度；根据特征距离确定待识别猪只的识别结果。
进一步地，识别特征包括面部特征和/或外形特征，其中，面部特征至少包括如下之一：两眼间的距离、嘴巴的位置、头骨的宽度以及眼睛、嘴巴、头骨宽度在面部中的比例，外形特征至少包括如下之一：待识别猪只的颜色、待识别猪只的花纹、待识别猪只的身体各个部位之间的相对位置以及比例关系。
进一步地，识别猪只的方法还包括：在通过第二模型从检测区域中提取待识别猪只的识别特征之前，获取图像样本，其中，图像样本包含多个猪只的多个图像；使用图像样本对第二模型进行训练。
进一步地，第一模型采用基于卷积神经网络的端到端的单级检测定位算法。
进一步地，识别猪只的方法还包括：在通过第一模型对待识别图像中的目标进行检测定位，获取包含目标的检测区域之后，以检测区域为中心，对待识别图像进行预处理，得到第一目标区域图像；对第一目标区域图像进行缩放处理，得到第二目标区域图像；对第二目标区域图像进行裁剪，得到第三目标区域图像作为新的检测区域。
进一步地，以检测区域为中心，对待识别图像进行预处理，获得第一目标区域图像包括：以检测区域为中心，在检测区域的邻域的第一预设范围内对待识别图像进行随机抠取，得到第一目标区域图像。
进一步地，识别猪只的方法还包括：获取第一目标区域图像的长宽比例；将第一目标区域图像的宽边长度设置在预设范围内；基于长宽比例和宽边长度调节第一目标区域图像的长边长度，以对第一目标区域图像进行缩放，得到第二目标区域图像。
进一步地，对第二目标区域图像进行裁剪，得到第三目标区域图像作为新的检测区域包括：将第二目标区域图像裁剪为长宽比例为1的图像，作为第三目标区域图像。
进一步地，第二模型的损失函数为Additive Margin Softmax函数。
进一步地，第二模型包括：卷积层，用于获取多个尺度下的特征图，并将对应于每个尺度的最后一个卷积层的输出结果作为检测区域在该尺度下的特征图；池化层，用于对特征图进行全局平均池化操作，得到每个尺度对应的第一特征向量；第一全连接层，用于对每个尺度对应的特征向量进行连接操作，得到第二特征向量；第二全连接层，用于对第二特征向量进行降维处理，得到第三特征向量；全连接分类器，用于根据第三特征向量得到待识别猪只的识别特征。
进一步地，第二模型还包括辅助分类器，对应于每个尺度的第一特征向量，辅助分类器用于在卷积神经网络的不同位置提供监督信息。
进一步地，识别结果包括以下至少一项：猪只信息已注册、猪只信息未注册；猪只信息已注册包括以下至少一项：已理赔、未理赔。
进一步地，在比对待识别猪只的识别特征与预设特征，得到特征距离之前，识别猪只的方法还包括：获取多个识别猪只的多张图像；从每个识别猪只的多张图像中提取该识别猪只对应的识别特征；检测预设特征数据库中是否存在与识别特征相匹配的预设特征；在预设特征数据库中不存在与识别特征相匹配的预设特征的情况下，存储识别特征、识别特征对应的识别猪只的标识信息至预设特征数据库中。
根据本发明实施例的另一方面，还提供了一种识别猪只的装置，包括：第一获取模块，用于获取待识别猪只的待识别图像；第二获取模块，用于通过第一模型对待识别图像中的目标进行检测定位，获取包含目标的检测区域；提取模块，用于通过第二模型从检测区域中提取待识别猪只的识别特征，其中，第二模型为对多个猪只的特征进行训练所得到的神经网络模型；比对模块，用于比对待识别猪只的识别特征与预设特征，得到特征距离，其中，特征距离表征识别特征的特征向量与预设特征的特征向量之间的相似度；识别模块，用于根据特征距离确定待识别猪只的识别结果。
根据本发明实施例的另一方面，还提供了一种存储介质，该存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述的识别猪只的方法。
根据本发明实施例的另一方面，还提供了一种处理器，该处理器用于运行程序，其中，程序运行时执行上述的识别猪只的方法。
在本发明实施例中，采用图像识别来识别猪只的方式，在获取待识别猪只的待识别图像之后，通过第一模型对待识别图像中的目标进行检测定位，获取包含目标的检测区域，然后通过第二模型从检测区域中提取待识别猪只的识别特征，并比对待识别猪只的识别特征与预设特征，从而得到特征距离，最后根据特征距离来对待识别猪只进行识别。在上述过程中，采用图像识别的方式对猪只的身份进行识别，无需耳标，节省了猪只识别的成本。另外，采用图像识别的方式还可避免耳标脱落无法识别猪只的问题。
由此可见，本申请所提供的方案达到了识别猪只身份的目的，从而实现了降低猪只识别成本的技术效果，进而解决了现有技术通过标记对猪只进行识别所导致识别成本高的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种可选的识别猪只的方法流程图；
图2是根据本发明实施例的另一种可选的注册猪只的方法流程图；以及
图3是根据本发明实施例的一种识别猪只的装置示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本发明实施例，提供了一种识别猪只的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的识别猪只的方法流程图，如图1所示，该方法包括如下步骤：
步骤S102，获取待识别猪只的待识别图像。
在本申请中，猪只的识别系统能够对待识别猪只进行身份识别。可选的，识别系统具有图像采集单元，其中，图像采集单元可采集待识别猪只的图像。可选的，识别系统还可以包括输入单元，例如，外设接口，该外设接口能够与具有图像采集功能的设备连接，从具有图像采集功能的设备上获取到待识别猪只的待识别图像，在该场景下，具有图像采集功能的终端设备可以采集待识别图像，其中，终端设备可以为但不限于照相机、摄像机、手机、平板电脑等。另外，上述待识别猪只的待识别图像可以为但不限于JPG格式的图像。
步骤S104，通过第一模型对待识别图像中的目标进行检测定位，获取包含目标的检测区域。
在步骤S104中，第一模型可以为神经网络模型，其中，第一模型采用基于卷积神经网络的端到端的单级检测定位算法对待识别图像中的目标进行检测定位，得到包含目标的检测区域。可选的，待识别图像中的目标可以为待识别猪只。
需要说明的是，采用基于卷积神经网络的端到端的单级检测定位算法可以提高卷积神经网络处理图像的处理能力。
步骤S106，通过第二模型从检测区域中提取待识别猪只的识别特征，其中，第二模型为对多个猪只的特征进行训练所得到的神经网络模型。
在步骤S106中，识别特征包括面部特征和/或外形特征，其中，识别特征通过第二模型自动学习得到，而非人工设计的特征，通过对每层特征的逐渐抽象，识别特征可以包含颜色、纹理等底层特征，形状、空间关系等中间特征，以及语义等高级特征。在一种可选的实施例中，高级特征可以是面部特征和/或外形特征，其中，面部特征至少包括如下之一：两眼间的距离、嘴巴的位置、头骨的宽度以及眼睛、嘴巴、头骨宽度在面部中的比例，外形特征至少包括如下之一：待识别猪只的颜色、待识别猪只的花纹、待识别猪只的身体各个部位之间的相对位置以及比例关系。
可选的，识别系统在得到待识别猪只的待识别图像之后，将待识别图像中的检测区域输入至第二模型，第二模型通过对待识别图像中的检测区域进行处理，输出待识别猪只的面部特征和/或外形特征。
需要说明的是，在对猪只进行识别时，当猪脸被障碍物遮挡或者是猪死亡之后只能看到一侧脸等情况下，通过识别猪脸可能无法准确确定猪只的身份，导致识别失效，此时，可通过对猪身体进行识别来确定猪只的身份。另外，猪脸易被遮挡，如果仅采集猪脸图像可能会使得图像信息不完整，影响识别结果，而且猪脸旋转角度范围较大，也会导致识别结果不准确。因此，在对猪只的身份进行识别时，可以采用猪只的外形特征或者面部特征和外形特征相结合的方式来对猪只进行身份识别。
步骤S108，比对待识别猪只的识别特征与预设特征，得到特征距离，其中，特征距离表征识别特征的特征向量与预设特征的特征向量之间的相似度。
在步骤S108中，预设特征存储在预设特征数据库中，预设特征数据库中存储的预设特征为已经注册的猪只的特征，在畜牧险理赔场景中，保险公司为每只猪进行注册，即将每只猪的特征存储在预设特征数据库中。在对待识别猪只进行识别时，仅需要检测待识别猪只的识别特征与预设特征数据库中的预设特征是否相匹配，即可确定是否对该待识别猪只进行理赔，或者，是否需要对该待识别猪只进行注册，从而避免了对猪只重复理赔，造成保险公司损失的问题。
步骤S110，根据特征距离确定待识别猪只的识别结果。
可选的，识别系统在得到特征距离之后，将所有特征对应的特征距离组合在一起，进行比对，得到待识别猪只的识别结果。在该过程中，识别系统仅需进行一次比对，即可得到识别结果，达到了简化识别流程的目的。其中，上述待识别猪只的识别结果包括以下至少一项：猪只信息已注册、猪只信息未注册；猪只信息已注册包括以下至少一项：已理赔、未理赔。例如，在畜牧险理赔场景中，比对待识别猪只的识别特征与预设特征可以确定是否对待识别猪只进行理赔，或者，保险公司在对待识别猪只上保险时，通过上述方法可以检测待识别猪只是否已经上保险，从而可以防止对同一个猪只多次上保险，造成养殖户的损失。
可选的，预设特征数据库中不仅存储有猪只的预设特征，还存储有预设特征与猪只的对应关系，以及猪只与理赔信息的对应关系。例如，通过上述方法确定预设特征数据库中存储有待识别猪只的预设特征，则识别系统可进一步根据预设特征获取到该猪只对应的理赔信息，并将理赔信息推送给用户。
基于上述步骤S102至步骤S110所限定的方案，可以获知，采用图像识别来识别猪只的方式，在获取待识别猪只的待识别图像之后，通过第一模型对待识别图像中的目标进行检测定位，获取包含目标的检测区域，然后通过第二模型从检测区域中提取待识别猪只的识别特征，并比对待识别猪只的识别特征与预设特征，从而得到特征距离，最后根据特征距离来对待识别猪只进行识别。容易注意到的是，采用图像识别的方式对猪只的身份进行识别，无需耳标，节省了猪只识别的成本。另外，采用图像识别的方式还可避免耳标脱落无法识别猪只的问题。
由此可见，本申请所提供的方案达到了识别猪只身份的目的，从而实现了降低猪只识别成本的技术效果，进而解决了现有技术通过标记对猪只进行识别所导致识别成本高的技术问题。
在一种可选的实施例中，在通过第二模型从检测区域中提取待识别猪只的识别特征之前，识别系统需要对第二模型进行训练。具体的，识别系统首先获取图像样本，然后以优化特征距离为目标，使用图像样本对第二模型进行训练，得到第二模型。
在上述过程中，特征距离用于表征不同猪只之间的差异，例如，不同猪只之间的两眼间距离不同，不同猪只之间的嘴巴的位置不同，不同猪只之间的头骨宽度不同，不同猪只之间的身体花纹不同，不同猪只之间的身体各部位之间的比例也不相同，因此，通过特征距离可以对猪只进行识别。另外，图像样本包含多个猪只的多个图像，图像样本可以包括多种图像，例如，猪只身体的图像、猪脸图像等。其中，图像样本包含的图像数量越多，得到的第二模型越精确，可选的，图像样本中包含5万只猪的图像，每只猪对应有至少5张身体图像以及5张正脸或侧脸的图像。
在一种可选的实施例中，在通过第一模型对待识别图像中的目标进行检测定位，获取包含目标的检测区域之后，识别系统以检测区域为中心，对待识别图像进行预处理，得到第一目标区域图像，然后对第一目标区域图像进行缩放处理，得到第二目标区域图像，并对第二目标区域图像进行裁剪，得到第三目标区域图像作为新的检测区域。
需要说明的是，在对图像进行识别之前，识别系统需要对图像进行检测，在图像中对目标进行定位，得到检测区域，例如，对于包含猪只的图像，需要在图像中确定猪只所在的区域(即上述检测区域)。可选的，可以基于卷积神经网络的、端到端的、单阶段目标检测算法来对图像样本进行检测，得到检测结果，其中，基于卷积神经网络的、端到端的、单阶段目标检测算法具有检测快速、高效、准确的特点，得到的检测结果更加准确，从而增加了图像识别的准确度。
在得到检测区域之后，识别系统可以以检测区域为中心，在检测区域的邻域的第一预设范围内对待识别图像进行随机抠取，得到第一目标区域图像。
通常卷积神经网络处理的图像的尺寸大小是固定的，但目标区域对应的图像的大小可能与卷积神经网络处理的图像的尺寸大小不同，因此，在对图像进行识别之前，还需要对图像进行处理。具体的，识别系统可以对第一目标区域图像进行缩放处理，得到第二目标区域图像。例如，获取第一目标区域图像的长宽比例，并将第一目标图像的宽边长度设置在预设范围内，然后基于长宽比例和宽边长度调节第一目标区域图像的长边长度，以对第一目标区域图像进行缩放，得到第二目标区域图像。
可选的，识别系统在从图像中抠取检测区域时，并非完全使用检测结果，而是以检测结果对应的检测区域为中心，在检测区域的邻域的第一预设范围内(例如，邻域的20％范围内)对待识别图像进行随机抠取，得到第一目标区域图像。抠取完毕后，得到的第一目标区域图像尺寸大小不一，识别系统采用保持原图片长宽比的方式，获取第一目标区域图像的长宽比例，并将第一目标区域图像的宽边设在第一范围(即上述预设范围)内，例如，A～B之间(其中，A和B分别为宽边的最小值和最大值，A,B>N，N为第三目标区域图像的宽边长度)，而第一目标区域图像的长边则是根据长宽比例和宽边长度计算得出，这样缩放不会造成图像内容发生变形，对识别结果有一定帮助。在完成第一目标区域图像的缩放之后，识别系统再从缩放后的第一目标区域图像(即第二目标区域图像)中随机抠取(即裁剪)固定尺寸(MxN)的区域，得到第三目标区域图像，最后再对第三目标区域图像进行识别。可选的，识别系统可将第二目标区域图像裁剪为长宽比例为1(即M＝N)的图像，作为第三目标区域图像。
需要说明的是，除了上述随机抠取扰动之外，识别系统还对目标区域对应的图像进行水平镜像、颜色、对比度、亮度的偏移扰动以及随机模糊扰动等处理，这些扰动处理大大增强了样本的多样性，提高了识别算法的鲁棒性。
进一步地，在得到图像样本，并对图像样本进行预处理之后，识别系统基于卷积神经网络对图像样本进行训练，得到识别特征。具体的，识别系统基于卷积神经网络从图像样本中提取每个猪只对应的待识别特征，然后基于自适应分类器对不同猪只的待识别特征进行分类，得到识别特征。
需要说明的是，softmax分类器适用于类内紧凑、类间分离要求较低的图像识别，softmax损失函数为：
Figure BDA0002098925280000081
对于类别数较多、类内差异较大、类间差异较小的图像识别而言，上述分类器并不适用。
对此，本申请采用了Additive Margin Softmax(AM-Softmax)分类器对图像进行分类训练，即第二模型的损失函数为Additive Margin Softmax函数，该函数衡量的是角度距离，而非余弦距离，对于在对猪只进行识别时，需要找到更好的决策边界，而决策边界和余弦相关，根据cos的性质，因为余弦距离相对更加密集，优化角度距离比优化余弦距离更加有效。因此，Additive Margin Softmax函数可以实现特征向量的类内距离尽量小、类间距离尽量大的优化目标。
AM-softmax分类器对应的损失函数为：
Figure BDA0002098925280000082
由上式可知，AM-softmax分类器对应的损失函数与softmax损失函数相比，引入了参数因子m，其中，m将权重W与全连接层的输出f的余弦距离变为
Figure BDA0002098925280000083
通过m来调节特征之间的距离。另外，在上式中s为缩放因子，优选的，s的取值为30，m为大于1的整数。
需要说明的是，除了损失函数部分，在训练过程中，识别系统还增加了辅助分类器，即除了主干网络最终的特征向量后面跟的全连接分类器之外，识别系统还在每个不同尺度的特征向量后面增加一个辅助分类器，这些辅助分类器的主要作用是在网络的不同位置提供监督信息，使监督信息充盈整个网络，可以得到更好地训练效果。
在一种可选的实施例中，第二模型包括卷积层、池化层、第一全连接层、第二全连接层以及全连接分类器。具体的，卷积层，用于获取多个尺度下的特征图，并将对应于每个尺度的最后一个卷积层的输出结果作为检测区域在该尺度下的特征图；池化层，用于对特征图进行全局平均池化操作，得到每个尺度对应的第一特征向量；第一全连接层，用于对每个尺度对应的特征向量进行连接操作，得到第二特征向量；第二全连接层，用于对第二特征向量进行降维处理，得到第三特征向量；全连接分类器，用于根据第三特征向量得到待识别猪只的识别特征。
与现有的人工设计特征(例如，Gabor特征等)不同，本申请采用卷积神经网络算法自由搭建不同的神经网络结构，自由设置卷积算子的尺寸、数量以及层数，通过和池化层的结合，卷积神经网络可以逐层进行抽象表达，得到从具体到抽象、从底层到高层的多尺度的特征信息，而且整个过程是自动学习得到的，比人工设计特征更加快捷高效。可选的，在本申请中卷积神经网络具有5个不同尺度，即N/2,N/4,N/8,N/16,N/32(其中，N表示输入图像的尺寸，例如，N为上述第三目标区域图像的宽边长度)。由于同一个尺度下都有多个卷积层操作，因此，识别系统可选取每个尺度下最后一个卷积层的结果作为该尺度的特征图，通过池化层对这些特征图分别进行全局平均池化操作，得到Cx1的特征向量(即第一特征向量)，其中C是该尺度特征图的个数，然后使用第一全连接层将5个不同尺度下得到的特征向量进行连接，得到一个更大的特征向量(即第二特征向量)。由于该特征向量维度较高，因此，识别系统需要对其进行降维处理，即后面再接一个新的全连接层(即第二全连接层)，得到最终的特征向量(即第三特征向量)。容易注意到的是，由于第三特征向量综合了不同尺度、不同层级的特征，因而第三特征向量具有更强的表达能力，提高了图像的识别效果。
在一种可选的实施例中，由步骤S108可知，识别系统是通过比对待识别特征与预设特征来得到特征距离的，因此，在比对待识别猪只的识别特征之前，预设特征数据库需要存储预设特征，即需要对猪只进行注册。识别系统获取多个识别猪只的多张图像，从每个识别猪只的多张图像中提取该识别猪只对应的识别特征，然后检测预设特征数据库中是否存在与待识别特征相匹配的预设特征。在预设特征数据库中不存在与识别特征相匹配的预设特征的情况下，存储识别特征、识别特征对应的识别猪只的标识信息至预设特征数据库中。
可选的，在对猪只进行注册的过程中，例如，对猪只上畜牧险时需要对猪只进行注册，识别系统首先获取需要进行注册的猪只的多张图像，其中，猪只的多张图像为从不同角度对猪只进行拍摄所得到的图像，识别系统对每只猪的多张图像进行识别，提取出猪的特征，并检测预设特征数据库中是否存在特征与注册猪的特征相同的猪，如果存在，则确定该猪已经进行了注册，识别系统不再对其进行注册，从而避免了对同一只猪进行多次注册。如果不存在，则对该猪进行注册，例如，获取该猪对应的编号，并将编号与猪对应的特征进行关联，此外，还可对猪的理赔信息进行关联，例如，不同的猪只或者不同厂家的猪只对应的不同的理赔项目。
可选的，在比对待识别猪只的识别特征与预设特征，得到特征距离的过程中，识别系统将待识别猪只的特征与预设特征数据库中的每个识别猪只对应的预设特征进行比对，得到特征距离，然后根据特征距离确定相似度，并根据相似度的大小对多个识别猪只进行排序，获取最大相似度对应的识别猪只的标识信息，并将标识信息作为识别结果。例如，不同猪之间的两眼间距离、嘴巴位置、头骨跨度、身体花纹、身体各部位之间的比例等是不相同的，则识别系统通过比对上述特征可以得到待识别猪只与预设特征数据库中每个猪只的相似度，然后按照相似度从大到小的顺序进行排序，从中选出相似度最大的猪只对应的标识信息(例如，编号)作为待识别猪只的识别结果。或者，在得到待识别猪只与预设特征数据库中每个猪只的相似度之后，识别系统选出相似度大于预设相似度的候选识别猪只，并从候选识别猪只中选出相似度最大的识别猪只，该识别猪只对应的标识信息即为识别结果。其中，如果预设特征数据库中的每个猪只与待识别猪只的相似度均小于预设相似度，则确定待识别猪只未进行注册，保险公司也不会对该待识别猪只进行理赔。
在一种可选的实施例中，图2示出了本申请所提供的注册猪只的方法的示意图，如图2所示，在不同视角下对猪只进行拍摄，得到待识别图像，然后通过基于卷积神经网络的检测算法来对待识别图像进行检测定位，然后将待识别图像中的目标区域抠取出来，再次送入另一个卷积神经网络进行自动地特征提取和特征组合，得到待识别猪只的特征向量，再根据特征向量之间的相似度，来判断待识别猪只是否和已注册入库的注册猪只相匹配，其中，在相似度大于预设相似度的情况下，确定待识别猪只为注册猪只；在相似度小于预设相似度的情况下，对猪只进行注册。
由上可知，本申请所提供的方案通过卷积神经网络算法对猪只的身份信息进行识别，无需耳标，节省了猪只识别的成本，避免了耳标脱落无法识别猪只的问题。
实施例2
根据本发明实施例，还提供了一种识别猪只的装置实施例，其中，图3是根据本发明实施例的识别猪只的装置示意图，如图3所示，该装置包括：第一获取模块301、第二获取模块303、提取模块305、比对模块307以及识别模块309。
其中，第一获取模块301，用于获取待识别猪只的待识别图像；第二获取模块303，用于通过第一模型对待识别图像中的目标进行检测定位，获取包含目标的检测区域；提取模块305，用于通过第二模型从检测区域中提取待识别猪只的识别特征，其中，第二模型为对多个猪只的特征进行训练所得到的神经网络模型；比对模块307，用于比对待识别猪只的识别特征与预设特征，得到特征距离，其中，特征距离表征识别特征的特征向量与预设特征的特征向量之间的相似度；识别模块309，用于根据特征距离确定待识别猪只的识别结果。
此处需要说明的是，上述第一获取模块301、第二获取模块303、提取模块305、比对模块307以及识别模块309对应于上述实施例的步骤S102至步骤S110，五个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例所公开的内容。
可选的，识别特征包括面部特征和/或外形特征，其中，面部特征至少包括如下之一：两眼间的距离、嘴巴的位置、头骨的宽度以及眼睛、嘴巴、头骨宽度在面部中的比例，外形特征至少包括如下之一：待识别猪只的颜色、待识别猪只的花纹、待识别猪只的身体各个部位之间的相对位置以及比例关系。
在一种可选的实施例中，第一获取模块还用于在通过第二模型从检测区域中提取待识别猪只的识别特征之前，获取图像样本，其中，图像样本包含多个猪只的多个图像。可选的，识别猪只的装置还包括：训练模块，用于使用图像样本对第二模型进行训练。
可选的，第一模型采用基于卷积神经网络的端到端的单级检测定位算法。
在一种可选的实施例中，识别猪只的装置还包括：预处理模块、缩放模块以及裁剪模块。其中，预处理模块，用于在通过第一模型对待识别图像中的目标进行检测定位，获取包含目标的检测区域之后，以检测区域为中心，对待识别图像进行预处理，得到第一目标区域图像；缩放模块，用于对第一目标区域图像进行缩放处理，得到第二目标区域图像；裁剪模块，用于对第二目标区域图像进行裁剪，得到第三目标区域图像作为新的检测区域。
在一种可选的实施例中，预处理模块包括：抠取模块。其中，抠取模块，用于以检测区域为中心，在检测区域的邻域的第一预设范围内对待识别图像进行随机抠取，得到第一目标区域图像。
在一种可选的实施例中，缩放模块包括：第三获取模块、设置模块以及调节模块。其中，第三获取模块，用于获取第一目标区域图像的长宽比例；设置模块，用于将第一目标区域图像的宽边长度设置在预设范围内；调节模块，用于基于长宽比例和宽边长度调节第一目标区域图像的长边长度，以对第一目标区域图像进行缩放，得到第二目标区域图像。
在一种可选的实施例中，裁剪模块用于将第二目标区域图像裁剪为长宽比例为1的图像，作为第三目标区域图像。
可选的，第二模型的损失函数为Additive Margin Softmax函数。
在一种可选的实施例中，第二模型包括：卷积层、池化层、第一全连接层、第二全连接层以及全连接分类器。其中，卷积层，用于获取多个尺度下的特征图，并将对应于每个尺度的最后一个卷积层的输出结果作为检测区域在该尺度下的特征图；池化层，用于对特征图进行全局平均池化操作，得到每个尺度对应的第一特征向量；第一全连接层，用于对每个尺度对应的特征向量进行连接操作，得到第二特征向量；第二全连接层，用于对第二特征向量进行降维处理，得到第三特征向量；全连接分类器，用于根据第三特征向量得到待识别猪只的识别特征。
可选的，第二模型还包括辅助分类器，对应于每个尺度的第一特征向量，辅助分类器用于在卷积神经网络的不同位置提供监督信息。
可选的，识别结果包括以下至少一项：猪只信息已注册、猪只信息未注册；猪只信息已注册包括以下至少一项：已理赔、未理赔。
在一种可选的实施例中，第一获取模块还用于在比对待识别猪只的识别特征与预设特征，得到特征距离之前，获取多个识别猪只的多张图像；提取模块还用于从每个识别猪只的多张图像中提取该识别猪只对应的识别特征；比对模块还用于检测预设特征数据库中是否存在与识别特征相匹配的预设特征。可选的，识别猪只的装置还包括存储模块，用于在预设特征数据库中不存在与识别特征相匹配的预设特征的情况下，存储识别特征、识别特征对应的识别猪只的标识信息至预设特征数据库中。
实施例3
根据本发明实施例的另一方面，还提供了一种存储介质，该存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述实施例1中的识别猪只的方法。
实施例4
根据本发明实施例的另一方面，还提供了一种处理器，该处理器用于运行程序，其中，程序运行时执行上述实施例1中的识别猪只的方法。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (16)

1.一种识别猪只的方法，其特征在于，包括：
获取待识别猪只的待识别图像；
通过第一模型对所述待识别图像中的目标进行检测定位，获取包含目标的检测区域；
通过第二模型从所述检测区域中提取所述待识别猪只的识别特征，其中，所述第二模型为对多个猪只的特征进行训练所得到的神经网络模型；
比对所述待识别猪只的识别特征与预设特征，得到特征距离，其中，所述特征距离表征所述识别特征的特征向量与预设特征的特征向量之间的相似度；
根据所述特征距离确定所述待识别猪只的识别结果。
2.根据权利要求1所述的方法，其特征在于，所述识别特征包括面部特征和/或外形特征，其中，所述面部特征至少包括如下之一：两眼间的距离、嘴巴的位置、头骨的宽度以及眼睛、嘴巴、头骨宽度在面部中的比例，外形特征至少包括如下之一：待识别猪只的颜色、待识别猪只的花纹、待识别猪只的身体各个部位之间的相对位置以及比例关系。
3.根据权利要求1所述的方法，其特征在于，通过第二模型从所述检测区域中提取所述待识别猪只的识别特征之前，所述方法还包括：
获取图像样本，其中，所述图像样本包含多个猪只的多个图像；
使用所述图像样本对所述第二模型进行训练。
4.根据权利要求1所述的方法，其特征在于，第一模型采用基于卷积神经网络的端到端的单级检测定位算法。
5.根据权利要求1所述的方法，其特征在于，在通过第一模型对所述待识别图像中的目标进行检测定位，获取包含目标的检测区域之后，所述方法还包括：
以所述检测区域为中心，对所述待识别图像进行预处理，得到第一目标区域图像；
对所述第一目标区域图像进行缩放处理，得到第二目标区域图像；
对所述第二目标区域图像进行裁剪，得到第三目标区域图像作为新的检测区域。
6.根据权利要求5所述的方法，其特征在于，以所述检测区域为中心，对所述待识别图像进行预处理，获得第一目标区域图像包括：以所述检测区域为中心，在所述检测区域的邻域的第一预设范围内对所述待识别图像进行随机抠取，得到所述第一目标区域图像。
7.根据权利要求5所述的方法，其特征在于，对所述第一目标区域图像进行缩放处理，得到第二目标区域图像，包括：
获取所述第一目标区域图像的长宽比例；
将所述第一目标区域图像的宽边长度设置在预设范围内；
基于所述长宽比例和宽边长度调节所述第一目标区域图像的长边长度，以对所述第一目标区域图像进行缩放，得到所述第二目标区域图像。
8.根据权利要求5所述的方法，其特征在于，对所述第二目标区域图像进行裁剪，得到第三目标区域图像作为新的检测区域包括：将所述第二目标区域图像裁剪为长宽比例为1的图像，作为所述第三目标区域图像。
9.根据权利要求1所述的方法，其特征在于，所述第二模型的损失函数为AdditiveMargin Softmax函数。
10.根据权利要求1所述的方法，其特征在于，所述第二模型包括：
卷积层，用于获取多个尺度下的特征图，并将对应于每个尺度的最后一个卷积层的输出结果作为所述检测区域在该尺度下的特征图；
池化层，用于对所述特征图进行全局平均池化操作，得到所述每个尺度对应的第一特征向量；
第一全连接层，用于对所述每个尺度对应的特征向量进行连接操作，得到第二特征向量；
第二全连接层，用于对所述第二特征向量进行降维处理，得到第三特征向量；
全连接分类器，用于根据所述第三特征向量得到所述待识别猪只的识别特征。
11.根据权利要求10所述的方法，其特征在于，所述第二模型还包括辅助分类器，对应于所述每个尺度的第一特征向量，所述辅助分类器用于在卷积神经网络的不同位置提供监督信息。
12.根据权利要求1所述的方法，其特征在于，所述识别结果包括以下至少一项：猪只信息已注册、猪只信息未注册；猪只信息已注册包括以下至少一项：已理赔、未理赔。
13.根据权利要求1所述的方法，其特征在于，在比对所述待识别猪只的识别特征与预设特征，得到特征距离之前，所述方法还包括：
获取多个识别猪只的多张图像；
从每个识别猪只的多张图像中提取该识别猪只对应的识别特征；
检测预设特征数据库中是否存在与所述识别特征相匹配的预设特征；
在所述预设特征数据库中不存在与所述识别特征相匹配的预设特征的情况下，存储所述识别特征、所述识别特征对应的识别猪只的标识信息至所述预设特征数据库中。
14.一种识别猪只的装置，其特征在于，包括：
第一获取模块，用于获取待识别猪只的待识别图像；
第二获取模块，用于通过第一模型对所述待识别图像中的目标进行检测定位，获取包含目标的检测区域；
提取模块，用于通过第二模型从所述检测区域中提取所述待识别猪只的识别特征，其中，所述第二模型为对多个猪只的特征进行训练所得到的神经网络模型；
比对模块，用于比对所述待识别猪只的识别特征与预设特征，得到特征距离，其中，所述特征距离表征所述识别特征的特征向量与预设特征的特征向量之间的相似度；
识别模块，用于根据所述特征距离确定所述待识别猪只的识别结果。
15.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至13中任意一项所述的识别猪只的方法。
16.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至13中任意一项所述的识别猪只的方法。
CN201910528333.4A 2019-06-18 2019-06-18 识别猪只的方法和装置 Pending CN112101076A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910528333.4A CN112101076A (zh) 2019-06-18 2019-06-18 识别猪只的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910528333.4A CN112101076A (zh) 2019-06-18 2019-06-18 识别猪只的方法和装置

Publications (1)

Publication Number Publication Date
CN112101076A true CN112101076A (zh) 2020-12-18

Family

ID=73748470

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910528333.4A Pending CN112101076A (zh) 2019-06-18 2019-06-18 识别猪只的方法和装置

Country Status (1)

Country Link
CN (1) CN112101076A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112884961A (zh) * 2021-01-21 2021-06-01 吉林省吉科软信息技术有限公司 一种用于疫情防控的人脸识别闸机系统
CN112907553A (zh) * 2021-03-09 2021-06-04 苏州鸿鹄骐骥电子科技有限公司 一种基于Yolov3的高清图像目标检测方法
CN113191220A (zh) * 2021-04-15 2021-07-30 广州紫为云科技有限公司 一种基于深度学习的双层车牌识别方法
CN113743402A (zh) * 2021-08-31 2021-12-03 华动泰越科技有限责任公司 狗脸检测方法及装置
CN115862060A (zh) * 2022-11-25 2023-03-28 天津大学四川创新研究院 基于猪脸识别与猪只重识别的猪只唯一化识别方法及系统
CN118089899A (zh) * 2024-04-19 2024-05-28 中农吉牧(吉林)农业发展有限公司 一种智能化牛场的智能称重系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107844797A (zh) * 2017-09-27 2018-03-27 华南农业大学 一种基于深度图像的哺乳母猪姿态自动识别的方法
CN108664878A (zh) * 2018-03-14 2018-10-16 广州影子控股股份有限公司 基于卷积神经网络的猪只身份识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107844797A (zh) * 2017-09-27 2018-03-27 华南农业大学 一种基于深度图像的哺乳母猪姿态自动识别的方法
CN108664878A (zh) * 2018-03-14 2018-10-16 广州影子控股股份有限公司 基于卷积神经网络的猪只身份识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BRANDON AMOS: ""OpenFace: A general-purpose face recognition library with mobile applications"", 《CMU SCHOOL OF COMPUTER SCIENCE, TECHNICAL REPORT CMU-CS-16-118》, pages 1 - 20 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112884961A (zh) * 2021-01-21 2021-06-01 吉林省吉科软信息技术有限公司 一种用于疫情防控的人脸识别闸机系统
CN112907553A (zh) * 2021-03-09 2021-06-04 苏州鸿鹄骐骥电子科技有限公司 一种基于Yolov3的高清图像目标检测方法
CN113191220A (zh) * 2021-04-15 2021-07-30 广州紫为云科技有限公司 一种基于深度学习的双层车牌识别方法
CN113743402A (zh) * 2021-08-31 2021-12-03 华动泰越科技有限责任公司 狗脸检测方法及装置
CN115862060A (zh) * 2022-11-25 2023-03-28 天津大学四川创新研究院 基于猪脸识别与猪只重识别的猪只唯一化识别方法及系统
CN115862060B (zh) * 2022-11-25 2023-09-26 天津大学四川创新研究院 基于猪脸识别与猪只重识别的猪只唯一化识别方法及系统
CN118089899A (zh) * 2024-04-19 2024-05-28 中农吉牧(吉林)农业发展有限公司 一种智能化牛场的智能称重系统
CN118089899B (zh) * 2024-04-19 2024-07-09 中农吉牧(吉林)农业发展有限公司 一种智能化牛场的智能称重系统

Similar Documents

Publication Publication Date Title
CN112101076A (zh) 识别猪只的方法和装置
Shahab et al. ICDAR 2011 robust reading competition challenge 2: Reading text in scene images
CN108520226B (zh) 一种基于躯体分解和显著性检测的行人重识别方法
US7218759B1 (en) Face detection in digital images
KR101964397B1 (ko) 정보처리장치 및 정보처리방법
CN110363047B (zh) 人脸识别的方法、装置、电子设备和存储介质
AU2012219026B2 (en) Image quality assessment
JP5639478B2 (ja) デジタル画像における顔の表情の検出
JP5866360B2 (ja) 画像評価装置、画像評価方法、プログラム、および集積回路
KR20160143494A (ko) 현저성 정보 취득 장치 및 현저성 정보 취득 방법
US20120148118A1 (en) Method for classifying images and apparatus for the same
KR101781358B1 (ko) 디지털 영상 내의 얼굴 인식을 통한 개인 식별 시스템 및 방법
CN108764096B (zh) 一种行人重识别系统和方法
CN110796100A (zh) 步态识别方法、装置、终端及存储装置
CN111259756A (zh) 基于局部高频次特征和混合度量学习的行人重识别方法
CN113781421B (zh) 基于水下的目标识别方法、装置及系统
Almaadeed et al. Partial shoeprint retrieval using multiple point-of-interest detectors and SIFT descriptors
CN111126102A (zh) 人员搜索方法、装置及图像处理设备
JP3962517B2 (ja) 顔面検出方法及びその装置、コンピュータ可読媒体
CN111104857A (zh) 一种基于步态能量图的身份识别方法及系统
Groeneweg et al. A fast offline building recognition application on a mobile telephone
CN114373203A (zh) 图片归档方法、装置、终端设备及计算机可读存储介质
CN114758356A (zh) 一种基于局部不变特征的牛唇纹识别方法及系统
Creusen et al. A semi-automatic traffic sign detection, classification, and positioning system
Pham-Ngoc et al. Multi-face detection system in video sequence

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination