CN115565000A - 一种基于目标检测的图像标注方法、系统、设备和介质 - Google Patents
一种基于目标检测的图像标注方法、系统、设备和介质 Download PDFInfo
- Publication number
- CN115565000A CN115565000A CN202211203836.2A CN202211203836A CN115565000A CN 115565000 A CN115565000 A CN 115565000A CN 202211203836 A CN202211203836 A CN 202211203836A CN 115565000 A CN115565000 A CN 115565000A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- target object
- bounding box
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种基于目标检测的图像标注方法系统、设备和介质,包括:获取待标注图像,对所述待标注图像进行第一目标检测,得到第一识别结果;根据所述第一识别结果中的边界框信息提取所述待标注图像中对应目标对象的子图,得到子图序列;对所述子图序列中的子图进行第二目标检测,得到第二识别结果;将所述第一识别结果和所述第二识别结果中同类别的目标对象的边界框信息进行比对,根据比对结果确定所述待标注图像中对应目标对象的目标边界框以标注所述待标注图像中的对应目标对象。本申请可有效提高自动标注的效率和精度。
Description
技术领域
本申请涉及图像处理领域,尤其涉及一种基于目标检测的图像标注方法、系统、设备和介质。
背景技术
算法、人工智能等技术的兴起,极大的提高了社会生产力,单算法的开发,需要大量的数据作为支撑,例如自动驾驶算法研发需要大量已标注、高质量的数据集来训练算法,才能得到识别能力、泛化能力好的算法模型。数据标注严重依赖人工,大规模的数据标注,成本十分高昂;标注员的熟练程度、高强度工作情况下的工作稳定性,影响着最终的数据质量。
发明内容
鉴于以上现有技术存在的问题,本申请提出一种基于目标检测的图像标注方法、系统、设备和介质,主要解决现有方法中图像标注依赖人工,工作量大且处理效率低的问题。
为了实现上述目的及其他目的,本申请采用的技术方案如下。
本申请提供一种基于目标检测的图像标注方法,包括:
获取待标注图像,对所述待标注图像进行第一目标检测,得到第一识别结果,其中所述第一识别结果包括所述待标注图像中目标对象的边界框信息以及类别信息;
根据所述第一识别结果中的边界框信息提取所述待标注图像中对应目标对象的子图,得到子图序列;
对所述子图序列中的子图进行第二目标检测,得到第二识别结果,其中所述第二识别结果包括所述子图中目标对象的边界框信息以及类别信息;
将所述第一识别结果和所述第二识别结果中同类别的目标对象的边界框信息进行比对,根据比对结果确定所述待标注图像中对应目标对象的目标边界框以标注所述待标注图像中的对应目标对象。
于本申请一实施例中,对所述待标注图像进行第一目标检测,得到第一识别结果,包括:
将所述待标注图像输入预训练的第一目标检测模型,得到所述待标注图像中各目标对象的边界框信息以及所述目标对象归属类别的第一置信度;
基于所述第一置信度确定满足预设置信度阈值的目标对象用以生成第一候选目标队列作为所述第一识别结果。
于本申请一实施例中,根据所述第一识别结果中的边界框信息提取所述待标注图像中对应目标对象的子图,得到子图序列,包括:
对所述第一候选目标队列中目标对象的边界框信息进行预设比例的扩大,得到扩大区域坐标及尺寸;
根据所述扩大区域坐标及尺寸对所述待标注图像进行裁剪,得到对应目标对象的子图;
根据所述第一候选目标队列中目标对象的子图生成所述子图序列。
于本申请一实施例中,对所述子图序列中的子图进行第二目标检测,得到第二识别结果,包括:
将所述子图序列中的子图输入预训练的第二目标检测模型,得到各所述子图中目标对象的边界框信息以及所述目标对象的类别信息;
将所述第一识别结果中目标对象的边界框信息确定所述子图中目标对象的边界框在所述待标注图像中的坐标信息,以将所述子图中目标对象的边界框映射到所述待标注图像相同的坐标系下,得到的子图中目标对象的边界框信息以及类别信息作为所述第二识别结果。
于本申请一实施例中,将所述第一识别结果和所述第二识别结果中同类别的目标对象的边界框信息进行比对,包括:
基于所述第一识别结果对所述第二识别结果中同类别目标对象的边界框信息进行筛选,得到第一候选匹配边界框队列;
计算所述第一候选匹配边界框队列中的边界框信息与所述第一识别结果中对应类别的边界框信息的交并比,得到交并比大于预设阈值的第二识别结果中的边界框信息以组成第二候选匹配边界框队列;
根据所述第二候选匹配边界框队列确定对应目标对象的目标边界框。
于本申请一实施例中,根据所述第二候选匹配边界框队列确定对应目标对象的目标边界框,包括:
根据第二置信度对所述第二候选匹配边界框队列中的边界框进行排序,得到排序结果,其中,所述第二置信度包含于所述第二识别结果中用以表示对应目标对象归属的类别信息的概率值;
将所述排序结果中所述第二置信度最高的目标对象的边界框信息作为所述目标边界框。
于本申请一实施例中,计算所述第一候选匹配边界框队列中的边界框信息与所述第一识别结果中对应类别的边界框信息的交并比之后,还包括:
若所述交并比小于所述预设阈值,则获取所述第二识别结果中对应类别目标对象的第二置信度,将所述第二置信度与所述第一识别结果中同类别的目标对象的第一置信度进行比较,将置信度较大的目标对象的边界框信息作为所述目标边界框。
于本申请一实施例中,根据所述第二候选匹配边界框队列确定对应目标对象的目标边界框,包括:
对所述第二候选匹配边界框队列中各边界框信息进行加权处理,得到所述目标边界框。
于本申请一实施例中,将所述子图序列中的子图输入预训练的第二目标检测模型之前,包括:
构建第二目标检测数据集用于训练所述第二目标检测模型,所述第二目标检测数据集中包含原始样本图像中目标对象的子图;
提取所述原始样本图像中目标对象的子图时,根据预设的扩大比例以及随机偏移量对目标对象的边界框进行扩增,得到对应的子图。
本申请还提供一种基于目标检测的图像标注系统,包括:
第一检测模块,用于获取待标注图像,对所述待标注图像进行第一目标检测,得到第一识别结果,其中所述第一识别结果包括所述待标注图像中目标对象的边界框信息以及类别信息;
子图获取模块,用于根据所述第一识别结果中的边界框信息提取所述待标注图像中对应目标对象的子图,得到子图序列;
第二检测模块,用于对所述子图序列中的子图进行第二目标检测,得到第二识别结果,其中所述第二识别结果包括所述子图中目标对象的边界框信息以及类别信息;
标注信息获取模块,用于将所述第一识别结果和所述第二识别结果中同类别的目标对象的边界框信息进行比对,根据比对结果确定所述待标注图像中对应目标对象的目标边界框以标注所述待标注图像中的对应目标对象。
本申请还提供一种计算机设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现所述的基于目标检测的图像标注方法的步骤。
本申请还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现所述的基于目标检测的图像标注方法的步骤。
如上所述,本申请一种基于目标检测的图像标注方法、系统、设备和介质,具有以下有益效果。
本申请通过获取待标注图像,对所述待标注图像进行第一目标检测,得到第一识别结果,其中所述第一识别结果包括所述待标注图像中目标对象的边界框信息以及类别信息;根据所述第一识别结果中的边界框信息提取所述待标注图像中对应目标对象的子图,得到子图序列;对所述子图序列中的子图进行第二目标检测,得到第二识别结果,其中所述第二识别结果包括所述子图中目标对象的边界框信息以及类别;将所述第一识别结果和所述第二识别结果中同类别的目标对象的边界框信息进行比对,根据比对结果确定所述待标注图像中对应目标对象的目标边界框以标注所述待标注图像中的对应目标对象。本申请分别对待标注图像和子图进行目标检测,基于两次检测的结果确定目标对象的边界框以及类别等标注信息,可提高检测精度,减少对人工的依赖,可实现自动完成目标对象标注,提高整体标注效率。
附图说明
图1是本申请实施例提供的基于目标检测的图像标注系统的一个可选的架构示意图。
图2是本申请一实施例中终端的结构示意图。
图3为本申请一实施例中基于目标检测的图像标注方法的流程示意图。
图4为本申请一实施例中目标检测模型训练的流程示意图
图5为本申请一实施例中子图裁剪的示意图。
图6为本申请一实施例中交并比计算示意图。
图7为本申请另一实施例中基于目标检测的图像标注的流程示意图。
图8为本申请一实施例中基于目标检测的图像标注系统的模块图。
具体实施方式
以下通过特定的具体实例说明本申请的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本申请的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
需要说明的是,以下实施例中所提供的图示仅以示意方式说明本申请的基本构想,遂图式中仅显示与本申请中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
现有图像的标注通常采用半自动标注的方式,利用已有数据集训练得到算法模型;利用模型对待标注数据进行推理,得到标注结果;人工对自动标注结果进行检查,修正或者去除较差的结果;记录上述被调整、删除的结果,迭代优化模型。这类标注方法,目标检测算法对大小不同的目标的检测能力存在较大差异,使用单一的算法难以同时兼顾不同大小的目标。对大小不同的目标识别不准确同样也会增加后续标注信息调整的工作量。
当然也有将大图均匀拆件为若干小图,对小图进行自动标注的方式,而这类方法由于采用均匀的裁剪方式,对于自动驾驶场景中大小不一的目标对象进行标注时,容易造成过度裁剪或裁剪不足,进而导致部分目标不能被识别。
基于以上现有技术存在的问题,本申请提供一种基于目标检测的图像标注方法、系统、设备和介质,下面结合具体实施方式对本申请技术方案进行详细阐述。
参见图1,图1是本申请实施例提供的基于目标检测的图像标注系统的一个可选的架构示意图,终端400(示例性示出了终端400-1与终端400-2)通过网络300连接服务器200,网络300可以是广域网或者局域网,又或者是二者的组合。
终端400-1归属于图像处理的操作人员,终端400-1可以为车载终端,如车机系统等。车载终端通过车辆上的图像传感器采集行车过程中的场景图像。车载终端上可运行用于对采集图像进行预处理以及显示的客户端410-1,在客户端410-1上可预先设置需要进行预处理的操作,如将清晰度低于一定值的图像滤除,或删除没有目标对象的图像,对采集的视频图像进行分帧处理等,将经过相应处理的图像通过网络300上传至服务器200。终端400-1不限于车载终端,也可根据实际图像或场景需求进行选择,这里不作限制。
服务器200,用于对接收的图像进行目标检测得到图像中目标对象的位置、尺寸以及归属类别等信息作为标注信息对图像进行标注。终端400-2通过网络300从服务器200处调用经过标注的图像,核查标注信息是否准确,并将结果反馈给服务器200。服务器200接收到终端400-2反馈的标注确认信息后生成标注图像的数据集以用于作为后续相关算法模型的训练样本集。
终端400-2,可用于接收服务器200下发核查任务,基于核查任务获取任务对应的标注图像,通过显示界面查看标注图像,若标注准确,则反馈确认信息。
终端400-2,也可用于将另一场景采集的图像输出至服务器200,由服务器200将对采集的图像进行目标检测自动完成目标对象的标注,并将标注后的图像存入数据库500中,和/或转发至终端400-1,在终端400-1的客户端410中显示。
在一些实施例中,服务器200可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端400可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、智能语音交互设备、智能家电和车载终端等,但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请实施例中不做限制。
在一些实施例中,终端400-1也可以直接与终端400-2连接,终端400-1采集视频图像进行分帧和预处理得到满足需求的帧图像后,将帧图像输出至终端400-2,由终端400-2对帧图像进行目标检测,获取帧图像中目标对象的边界框以及类别信息,基于边界框对帧图像进行裁剪,得到子图序列,对子图序列再次进行目标检测,结合两次目标检测的结果确定帧图像中目标对象的边界框以及类别等信息作为该目标对象的标注信息。完成图像标注后,可将标注图像返回值终端400-1进行标注信息确认、终端400-2收到标注确认信息后对标注图像进行存储,生成已标注的图像数据集,以便于后续构建训练样本集用于算法模型训练。
在一些实施例中,也可以直接在终端400-2上基于终端400-2采集的场景图像进行目标检测得到目标对象的边界框以及类别等标注信息,完成场景图像的自动标注,并通过显示界面显著已完成标注的图像,管理人员可查看显示的标注图像中标注信息是否正确。完成标注以及信息确认后,可造终端400-2进行标注图像存储,生成已标注图像的图像集。以使终端400-2根据采集的场景图像执行本申请实施例中的基于目标检测的图像标注方法。或者,在一些实施例中,图1中的终端400-1与终端400-2也可以实施为服务器形式,即基于服务器类型的设备进行目标检测以及结合两次检测确定目标对象边界框等标注信息。以上几种实施方式可根据实际情况进行选择,本申请实施例不作限定。
参见图2,图2是本申请实施例提供的终端400-2的结构示意图,图2所示的终端400-2包括:至少一个处理器410、存储器450、至少一个网络接口420和用户接口430。终端400-2中的各个组件通过总线系统440耦合在一起。可理解,总线系统440用于实现这些组件之间的连接通信。总线系统440除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图2中将各种总线都标为总线系统440。
处理器410可以是一种集成电路芯片,具有信号的处理能力,例如通用处理器、数字信号处理器(DSP,Digital Signal Processor),或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等,其中,通用处理器可以是微处理器或者任何常规的处理器等。
用户接口430包括使得能够呈现媒体内容的一个或多个输出装置431,包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口430还包括一个或多个输入装置432,包括有助于用户输入的用户接口部件,比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。
存储器450可以是可移除的,不可移除的或其组合。示例性的硬件设备包括固态存储器,硬盘驱动器,光盘驱动器等。存储器250可选地包括在物理位置上远离处理器410的一个或多个存储设备。
存储器450包括易失性存储器或非易失性存储器,也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM,Read Only Memory),易失性存储器可以是随机存取存储器(RAM,Random Access Memory)。本申请实施例描述的存储器450旨在包括任意适合类型的存储器。
在一些实施例中,存储器450能够存储数据以支持各种操作,这些数据的示例包括程序、模块和数据结构或者其子集或超集,下面示例性说明。
操作系统451,包括用于处理各种基本系统服务和执行硬件相关任务的系统程序,例如框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务;
网络通信模块452,用于经由一个或多个(有线或无线)网络接口420到达其他计算设备,示例性的网络接口420包括:蓝牙、无线相容性认证(WiFi)、和通用串行总线(USB,Universal Serial Bus)等;
呈现模块453,用于经由一个或多个与用户接口430相关联的输出装置431(例如,显示屏、扬声器等)使得能够呈现信息(例如,用于操作外围设备和显示内容和信息的用户接口);
输入处理模块454,用于对一个或多个来自一个或多个输入装置432之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。
在一些实施例中,本申请实施例提供的装置可以采用软件方式实现,图2示出了存储在存储器450中的基于目标检测的图像标注系统455,其可以是程序和插件等形式的软件,包括以下软件模块:第一检测模块4551、子图获取模块4552、第二检测模块4553和标注信息获取模块4554,这些模块是逻辑上的,因此根据所实现的功能可以进行任意的组合或进一步拆分。
将在下文中说明各个模块的功能。
在另一些实施例中,本申请实施例提供的系统可以采用硬件方式实现,作为示例,本申请实施例提供的系统可以是采用硬件译码处理器形式的处理器,其被编程以执行本申请实施例提供的基于目标检测的图像标注方法,例如,硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC,Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD,Programmable Logic Device)、复杂可编程逻辑器件(CPLD,ComplexProgrammable Logic Device)、现场可编程门阵列(FPGA,Field-ProgrammableGateArray)或其他电子元件。
在一些实施例中,终端或服务器可以通过运行计算机程序来实现本申请实施例提供的基于目标检测的图像标注方法。举例来说,计算机程序可以是操作系统中的原生程序或软件模块;可以是本地(Native)应用程序(APP,Application),即需要在操作系统中安装才能运行的程序,如社交应用APP或者消息分享APP;也可以是小程序,即只需要下载到浏览器环境中就可以运行的程序;还可以是能够嵌入至任意APP中的小程序或者网页客户端程序。总而言之,上述计算机程序可以是任意形式的应用程序、模块或插件。
请参阅图3,图3为本申请一实施例中基于目标法检测的图像标注方法的流程示意图。本申请提供的基于目标检测的图像标注方法包括以下步骤。
步骤S300,获取待标注图像,对所述待标注图像进行第一目标检测,得到第一识别结果,其中所述第一识别结果包括所述待标注图像中目标对象的边界框信息以及类别信息。
在一实施例中,可通过摄像机设备等图像采集设备采集目标场景下的图像或视频。针对采集的视频信息进行分帧或抽帧等处理得到单张图像作为待标注图像。
在一实施例中,对所述待标注图像进行第一目标检测,得到第一识别结果,包括以下步骤:
步骤S301,将所述待标注图像输入预训练的第一目标检测模型,得到所述待标注图像中各目标对象的边界框信息以及所述目标对象归属类别的第一置信度。
请参阅图4,图4为本申请一实施例中目标检测模型训练的流程示意图。可通过摄像机设备采集图片或者视频,视频抽帧之后得到图片,将图片整理作为必要的数据集;根据所需要的标注要求,进行该数据集进行的数据标注,得到一批具有标注结果可以训练的目标检测数据集,同时得到第一目标检测数据集;构建第一目标检测算法,具体地,可采用的yolov5L作为第一目标识别算法;使用第一目标检测数据集训练第一目标检测算法,得到第一目标检测模型。使用yolov5L作为目标检测算法。将需要目标标注的原始图片用第一目标检测算法yolov5L算法识别,得到第一识别结果,其形式为[x,y,w,h,p_cls],其中[x,y,w,h]为目标边界框bbox(bounding box)左上角点像素坐标、像素宽度、像素长度,p_cls为该目标属于某个类的置信度或概率值。其中,目标检测算法可根据实际应用需求进行选择,这里不应视为对本申请实施例的限制。
步骤S302,基于所述第一置信度确定满足预设置信度阈值的目标对象用以生成第一候选目标队列作为所述第一识别结果。
在一实施例中,可预先设置一个置信度阈值thr1,将pcls>thr1的目标对象留下,筛选得到第一候选目标队列。将筛选后的得到的结果记录到标注结果的json文件中。
步骤S310,根据所述第一识别结果中的边界框信息提取所述待标注图像中对应目标对象的子图,得到子图序列。
在一实施例中,根据前述步骤得到的标注结果的json文件,将第一候选目标队列,从原图中依次裁剪出目标对象,得到子图序列,称为待标注子图序列。
在一实施例中,根据所述第一识别结果中的边界框信息提取所述待标注图像中对应目标对象的子图,得到子图序列,包括:
对所述第一候选目标队列中目标对象的边界框信息进行预设比例的扩大,得到扩大区域坐标及尺寸;
根据所述扩大区域坐标及尺寸对所述待标注图像进行裁剪,得到对应目标对象的子图;
根据所述第一候选目标队列中目标对象的子图生成所述子图序列。
具体地,请参阅图5,图5为本申请一实施例中子图裁剪的示意图。遍历json文件中记录的每个目标的[x,y,w,h],将每个目标的[x,y,w,h]按比例扩大,裁剪得到扩大的子图。构建方式如下:
xs_img0=max(0,x-w*ratio/2)
ys_img0=max(0,y-h*ratio/2)
xs_img1=min(wimg,x+w*ratio/2)
ys_img1=min(himg,y+h*ratio/2)
其中(xs_img0,ys_img0)为扩大之后的子图在原图中左上角像素坐标,(=xs_img1,ys_img1)为右下角像素坐标,(wimg,himg)为待标注图像的原始尺寸,单位为像素。其中ratio为图像扩大比例,根据实际需求设置,但是建议扩大比例不易过大,避免将其他目标框图计算到该子图中。一个大图可能会得到多个子图。
在一实施例中,可记录上述子图在原始图像中的像素左上坐标(x2,y2),称为待标注子图序列原始坐标,以便后续能够将子图的标注结果能够还原到原图中对应的目标位置。
步骤S320,对所述子图序列中的子图进行第二目标检测,得到第二识别结果,其中所述第二识别结果包括所述子图中目标对象的边界框信息以及类别信息。
在一实施例中,在进行第二目标检测之前,可通过预先构建子图的样本数据集进行第二目标检测模型的训练。
具体地,请参阅图4,可以通过摄像机设备采集图片或者视频,视频抽帧之后得到图片,将图片整理作为必要的数据集;根据所需要的标注要求,进行该数据集进行的数据标注,得到一批具有标注结果可以训练的目标检测数据集;以标注的结果中的每一个bbox为基准,裁剪得到子图,得到第二目标检测数据集;示例性地,可使用yolov5x作为第二识别算法;使用第二目标检测数据集训练第二目标检测算法,得到第二目标检测模型。
在一实施例中,构建第二目标检测数据集的步骤如下:
3-1,假设某bbox坐标信息记为[x,y,w,h]图像尺寸为(wimg,himg),单位均为像素。
3-2,以bbox为基准,按照一定比例ratio扩大,裁剪得到子图,扩大的计算方法如下:
xs_img0=max(0,x-w*ratio/2)
ys_img0=max(0,y-h*ratio/2)
xs_img1=min(wimg,x+w*ratio/2)
ys_img1=min(himg,y+h*ratio/2)
其中[xs_img0,ys_img0,xs_img1,ys_img1]为子图在原始图像中的左上角、右下角坐标。
3-3,子图中,该bbox的类别信息不变,坐标计算公式为:
xs_box=x-xs_img0
ys_box=y-ys_img0
ws_box=w
hs_box=h
3-4,若子图也截取了其他bbox,则根据如下公式计算得到截取之后的bbox坐标;
xs_box=max(0,x-xs_img0)
ys_box=max(0,y-ys_img0)
ws_box=min(ws_img,x-xs_img0+w)
hs_box=min(hs_img,y-ys_img0+h)
式中(ws_img hs_img)为子图的尺寸,单位为像素。
3-5根据3-4求得的坐标,可计算据截取的部分和整个bbox的面积比例sseg进行取舍,sseg≥thrs的bbox保留,sseg<thrs的bbox舍去。
3-6,由此到子图与其对应的标注信息。
在一实施例中,步骤3-2中所述ratio,可以阶梯式的设置多个,对应的3-3至3-6同步做修改。
在一实施例中,步骤3-2中所述的计算方法,可以加上随机偏移量,有助于提高模型的泛化能力,计算公式如下:
xs_img0=max(0,x-w*ratio/2+Δx)
ys_img0=max(0,y-h*ratio/2+Δy)
xs_img1=min(wimg,x+w*ratio/2+Δx)
ys_img1=min(himg,y+h*ratio/2+Δy)
式中(Δx,Δy)为随机值,且可以有多组,对应的3-3至3-6同步做修改。在一实施例中,也可以适当调高bbox定位误差的权重,提高定位精度。
本实施例中采用了多组ratio,示例性地可取值为0.2、0.6、1.0、2.0,这里仅示例性地给出其中几种取值,具体取值可根据实际需求进行调整,这里不做限制。(Δx,Δy)采用3组随机值,第二目标检测模型训练时,定位损失loss可设置为分类loss的2倍。
经过以上步骤完成第二目标检测模型训练后,将从待标注图像中裁剪得到的子图序列输入该第二目标检测模型,得到第二识别结果。
在一实施例中,对所述子图序列中的子图进行第二目标检测,得到第二识别结果,包括:
将所述子图序列中的子图输入预训练的第二目标检测模型,得到各所述子图中目标对象的边界框信息以及所述目标对象的类别信息;
将所述第一识别结果中目标对象的边界框信息确定所述子图中目标对象的边界框在所述待标注图像中的坐标信息,以将所述子图中目标对象的边界框映射到所述待标注图像相同的坐标系下,得到的子图中目标对象的边界框信息以及类别信息作为所述第二识别结果。
具体地,将第一识别结果对应到子图的目标框上,需要将对应的第一识别结果进行处理,通过第一识别结果,找到对应的目标在待标注子图中的bbox坐标和类别信息。第一识别bbox在子图中的坐标,相比原图,因坐标原点不同,造成一定平移,可根据公式进行换算。换算的结果,代表着第一识别结果在子图上对应目标的反应情况。其中子图的bbox坐标和类别信息
[xs_box,ys_box,ws_box,hs_box,p_ciss_box],如下公式换算:
xs_box=x-xs_img0
ys_box=y-ys_img0
ws_box=w
hs_box=h
p_clss_box=p_cls
将上诉得到的子图进行第二目标检测,可使用yolov5x作为第二目标检测算法,该算法经训练,针对子图进行识别,得到第二识别结果。
步骤S330,将所述第一识别结果和所述第二识别结果中同类别的目标对象的边界框信息进行比对,根据比对结果确定所述待标注图像中对应目标对象的目标边界框以标注所述待标注图像中的对应目标对象。
在一实施例中,结合第一识别结果、第二识别结果进行数据处理,得到待标注子图序列的类别和bouding box信息,也即自动标注结果。
在一实施例中,将所述第一识别结果和所述第二识别结果中同类别的目标对象的边界框信息进行比对,包括以下步骤:
步骤S331,基于所述第一识别结果对所述第二识别结果中同类别目标对象的边界框信息进行筛选,得到第一候选匹配边界框队列。
首先需要根据根据每个第一识别结果bbox所述的类别,筛选同类别第二识别结果bbox,称为第一候选匹配bbox队列。
步骤S332,计算所述第一候选匹配边界框队列中的边界框信息与所述第一识别结果中对应类别的边界框信息的交并比,得到交并比大于预设阈值的第二识别结果中的边界框信息以组成第二候选匹配边界框队列。
请参阅图6,图6为本申请一实施例中交并比计算示意图。根据下列公式,计算两次识别结果的IOU,计算示意图如图5所示。
其中lap(box1,box2)为边界框box1和box2的交集;union(box1,box2)为边界框box1和box2的并集。
根据实际需求,设置一个阈值thr2,将iou>thr2的第一候选匹配bbox保留,作为第二选匹配bbox队列。
步骤S333,根据所述第二候选匹配边界框队列确定对应目标对象的目标边界框。
在一实施例中,根据所述第二候选匹配边界框队列确定对应目标对象的目标边界框,包括:
根据第二置信度对所述第二候选匹配边界框队列中的边界框进行排序,得到排序结果,其中,所述第二置信度包含于所述第二识别结果中用以表示对应目标对象归属的类别信息的概率值;
将所述排序结果中所述第二置信度最高的目标对象的边界框信息作为所述目标边界框。
以非极大抑制法进行示例介绍,使用非极大抑制法,获得与第一识别bbox匹配的第二识别bbox,获取方法为,将第二候选bbox队列,按照p_cls值降序排列,取值最大的作为最佳匹配第二识别bbox,该bbox坐标及类别信息记为[x2,y2,w2,h2,p_cls2]。
在一实施例中,计算所述第一候选匹配边界框队列中的边界框信息与所述第一识别结果中对应类别的边界框信息的交并比之后,还包括:
若所述交并比小于所述预设阈值,则获取所述第二识别结果中对应类别目标对象的第二置信度,将所述第二置信度与所述第一识别结果中同类别的目标对象的第一置信度进行比较,将置信度较大的目标对象的边界框信息作为所述目标边界框。
在一实施例中,若未获得匹配bbox,则跳过该第一识别bbox,根据匹配的第一识别bbox、第二识别bbox对应的p_clss_box与p_cls2,获得预标注bbox,方法为,若p_clss_box>p_cls2,则选择第一识别bbox,若p_clss_box≤p_cls2,则选择第二识别bbox,被选择bbox为自动标注框,其在子图中的坐标记为[xauto_lb_s,yauto_lb_s,wauto_lb_s,hauto_lb_s]。
在一实施例中,根据所述第二候选匹配边界框队列确定对应目标对象的目标边界框,包括:
对所述第二候选匹配边界框队列中各边界框信息进行加权处理,得到所述目标边界框。
在一实施例中,获取第二识别匹配bbox,还可以采用带权非极大抑制方法,计算公式如下:
其中[x2,y2,w2,h2,p_cls2]为计算出的第二识别匹配bbox坐标及类别置信度;[xi,yi,wi,hi,p_clsi]为第二候选匹配bbox队列中第i个bbox坐标及类别置信度。ωi为所述第i个bbox的权重,计算方式公式如下:
在一实施例中,上述ωi可以按如下公式计算:
待标注子图序列原始坐标(x2,y2),恢复待标注子图序列bbox坐标为原始图像坐标系。自动标注bbox坐标恢复方法为,所述的被裁减图像坐标作为偏移量,加上自动标注框的坐标,计算公式如下:
xauto_lb=xauto_lb_s+x2
yauto_lb=yauto_lb_s+y2
wauto_lb=w2
hauto_lb=h2
其中[xauto_lb,yauto_lb,wauto_lb,hauto_lb]为自动标注结果。、
请参阅图7,图7为本申请另一实施例中基于目标检测的图像标注的流程示意图。将待标注数据输入第一目标检测模型,得到第一识别结果,根据第一识别结果进行图像裁剪,获取子图。将子图输入第二目标检测模型,得到第二识别结果。进一步将第一识别结果和第二识别结果中的边界框bbox进行类型匹配,经过数据处理获得自动标注的bbox,结合子图在原始图像中的坐标,将自动标注的bbox坐标还原到待标注图像中以生成待标注图像的标注信息。
根据上述车辆能量共享方法的描述,本申请实施例提供一种基于目标检测的图像标注系统,如图8所示。其中设备上运行基于目标检测的图像标注系统,该系统包括:第一检测模块4551,用于获取待标注图像,对所述待标注图像进行第一目标检测,得到第一识别结果,其中所述第一识别结果包括所述待标注图像中目标对象的边界框信息以及类别信息;子图获取模块4552,用于根据所述第一识别结果中的边界框信息提取所述待标注图像中对应目标对象的子图,得到子图序列;第二检测模块4553,用于对所述子图序列中的子图进行第二目标检测,得到第二识别结果,其中所述第二识别结果包括所述子图中目标对象的边界框信息以及类别信息;标注信息获取模块4554,用于将所述第一识别结果和所述第二识别结果中同类别的目标对象的边界框信息进行比对,根据比对结果确定所述待标注图像中对应目标对象的目标边界框以标注所述待标注图像中的对应目标对象。
在一实施例中,第一检测模块4551,还用于对所述待标注图像进行第一目标检测,得到第一识别结果,包括:将所述待标注图像输入预训练的第一目标检测模型,得到所述待标注图像中各目标对象的边界框信息以及所述目标对象归属类别的第一置信度;基于所述第一置信度确定满足预设置信度阈值的目标对象用以生成第一候选目标队列作为所述第一识别结果。
在一实施例中,子图获取模块4552,还用于根据所述第一识别结果中的边界框信息提取所述待标注图像中对应目标对象的子图,得到子图序列,包括:对所述第一候选目标队列中目标对象的边界框信息进行预设比例的扩大,得到扩大区域坐标及尺寸;根据所述扩大区域坐标及尺寸对所述待标注图像进行裁剪,得到对应目标对象的子图;根据所述第一候选目标队列中目标对象的子图生成所述子图序列。
在一实施例中,第二检测模块4553,还用于对所述子图序列中的子图进行第二目标检测,得到第二识别结果,包括:将所述子图序列中的子图输入预训练的第二目标检测模型,得到各所述子图中目标对象的边界框信息以及所述目标对象的类别信息;将所述第一识别结果中目标对象的边界框信息确定所述子图中目标对象的边界框在所述待标注图像中的坐标信息,以将所述子图中目标对象的边界框映射到所述待标注图像相同的坐标系下,得到的子图中目标对象的边界框信息以及类别信息作为所述第二识别结果。
在一实施例中,标注信息获取模块4554,还用于将所述第一识别结果和所述第二识别结果中同类别的目标对象的边界框信息进行比对,包括:基于所述第一识别结果对所述第二识别结果中同类别目标对象的边界框信息进行筛选,得到第一候选匹配边界框队列;计算所述第一候选匹配边界框队列中的边界框信息与所述第一识别结果中对应类别的边界框信息的交并比,得到交并比大于预设阈值的第二识别结果中的边界框信息以组成第二候选匹配边界框队列;根据所述第二候选匹配边界框队列确定对应目标对象的目标边界框。
在一实施例中,标注信息获取模块4554,还用于根据所述第二候选匹配边界框队列确定对应目标对象的目标边界框,包括:根据第二置信度对所述第二候选匹配边界框队列中的边界框进行排序,得到排序结果,其中,所述第二置信度包含于所述第二识别结果中用以表示对应目标对象归属的类别信息的概率值;将所述排序结果中所述第二置信度最高的目标对象的边界框信息作为所述目标边界框。
在一实施例中,标注信息获取模块4554,还用于计算所述第一候选匹配边界框队列中的边界框信息与所述第一识别结果中对应类别的边界框信息的交并比之后,还包括:若所述交并比小于所述预设阈值,则获取所述第二识别结果中对应类别目标对象的第二置信度,将所述第二置信度与所述第一识别结果中同类别的目标对象的第一置信度进行比较,将置信度较大的目标对象的边界框信息作为所述目标边界框。
在一实施例中,标注信息获取模块4554,还用于根据所述第二候选匹配边界框队列确定对应目标对象的目标边界框,包括:对所述第二候选匹配边界框队列中各边界框信息进行加权处理,得到所述目标边界框。
在一实施例中,第二检测模块4553,还用于将所述子图序列中的子图输入预训练的第二目标检测模型之前,包括:构建第二目标检测数据集用于训练所述第二目标检测模型,所述第二目标检测数据集中包含原始样本图像中目标对象的子图;提取所述原始样本图像中目标对象的子图时,根据预设的扩大比例以及随机偏移量对目标对象的边界框进行扩增,得到对应的子图。
本申请实施例提供一种存储有可执行指令的计算机可读存储介质,其中存储有可执行指令,当可执行指令被处理器执行时,将引起处理器执行本申请实施例提供的基于目标检测的图像标注方法。
在一些实施例中,计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器;也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中,可执行指令可以采用程序、软件、软件模块、脚本或代码的形式,按任意形式的编程语言(包括编译或解释语言,或者声明性或过程性语言)来编写,并且其可按任意形式部署,包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例,可执行指令可以但不一定对应于文件系统中的文件,可以被存储在保存其它程序或数据的文件的一部分,例如,存储在超文本标记语言(HTML,HyperTextMarkup Language)文档中的一个或多个脚本中,存储在专用于所讨论的程序的单个文件中,或者,存储在多个协同文件(例如,存储一个或多个模块、子程序或代码部分的文件)中。
作为示例,可执行指令可被部署为在一个计算设备上执行,或者在位于一个地点的多个计算设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个计算设备上执行。
上述实施例仅例示性说明本申请的原理及其功效,而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本申请的权利要求所涵盖。
Claims (12)
1.一种基于目标检测的图像标注方法,其特征在于,包括:
获取待标注图像,对所述待标注图像进行第一目标检测,得到第一识别结果,其中所述第一识别结果包括所述待标注图像中目标对象的边界框信息以及类别信息;
根据所述第一识别结果中的边界框信息提取所述待标注图像中对应目标对象的子图,得到子图序列;
对所述子图序列中的子图进行第二目标检测,得到第二识别结果,其中所述第二识别结果包括所述子图中目标对象的边界框信息以及类别信息;
将所述第一识别结果和所述第二识别结果中同类别的目标对象的边界框信息进行比对,根据比对结果确定所述待标注图像中对应目标对象的目标边界框以标注所述待标注图像中的对应目标对象。
2.根据权利要求1所述的基于目标检测的图像标注方法,其特征在于,对所述待标注图像进行第一目标检测,得到第一识别结果,包括:
将所述待标注图像输入预训练的第一目标检测模型,得到所述待标注图像中各目标对象的边界框信息以及所述目标对象归属类别的第一置信度;
基于所述第一置信度确定满足预设置信度阈值的目标对象用以生成第一候选目标队列作为所述第一识别结果。
3.根据权利要求1或2所述的基于目标检测的图像标注方法,其特征在于,根据所述第一识别结果中的边界框信息提取所述待标注图像中对应目标对象的子图,得到子图序列,包括:
对所述第一候选目标队列中目标对象的边界框信息进行预设比例的扩大,得到扩大区域坐标及尺寸;
根据所述扩大区域坐标及尺寸对所述待标注图像进行裁剪,得到对应目标对象的子图;
根据所述第一候选目标队列中目标对象的子图生成所述子图序列。
4.根据权利要求1所述的基于目标检测的图像标注方法,其特征在于,对所述子图序列中的子图进行第二目标检测,得到第二识别结果,包括:
将所述子图序列中的子图输入预训练的第二目标检测模型,得到各所述子图中目标对象的边界框信息以及所述目标对象的类别信息;
将所述第一识别结果中目标对象的边界框信息确定所述子图中目标对象的边界框在所述待标注图像中的坐标信息,以将所述子图中目标对象的边界框映射到所述待标注图像相同的坐标系下,得到的子图中目标对象的边界框信息以及类别信息作为所述第二识别结果。
5.根据权利要求1所述的基于目标检测的图像标注方法,其特征在于,将所述第一识别结果和所述第二识别结果中同类别的目标对象的边界框信息进行比对,包括:
基于所述第一识别结果对所述第二识别结果中同类别目标对象的边界框信息进行筛选,得到第一候选匹配边界框队列;
计算所述第一候选匹配边界框队列中的边界框信息与所述第一识别结果中对应类别的边界框信息的交并比,得到交并比大于预设阈值的第二识别结果中的边界框信息以组成第二候选匹配边界框队列;
根据所述第二候选匹配边界框队列确定对应目标对象的目标边界框。
6.根据权利要求5所述的基于目标检测的图像标注方法,其特征在于,根据所述第二候选匹配边界框队列确定对应目标对象的目标边界框,包括:
根据第二置信度对所述第二候选匹配边界框队列中的边界框进行排序,得到排序结果,其中,所述第二置信度包含于所述第二识别结果中用以表示对应目标对象归属的类别信息的概率值;
将所述排序结果中所述第二置信度最高的目标对象的边界框信息作为所述目标边界框。
7.根据权利要求6所述的基于目标检测的图像标注方法,其特征在于,计算所述第一候选匹配边界框队列中的边界框信息与所述第一识别结果中对应类别的边界框信息的交并比之后,还包括:
若所述交并比小于所述预设阈值,则获取所述第二识别结果中对应类别目标对象的第二置信度,将所述第二置信度与所述第一识别结果中同类别的目标对象的第一置信度进行比较,将置信度较大的目标对象的边界框信息作为所述目标边界框。
8.根据权利要求5所述的基于目标检测的图像标注方法,其特征在于,根据所述第二候选匹配边界框队列确定对应目标对象的目标边界框,包括:
对所述第二候选匹配边界框队列中各边界框信息进行加权处理,得到所述目标边界框。
9.根据权利要求4所述的基于目标检测的图像标注方法,其特征在于,将所述子图序列中的子图输入预训练的第二目标检测模型之前,包括:
构建第二目标检测数据集用于训练所述第二目标检测模型,所述第二目标检测数据集中包含原始样本图像中目标对象的子图;
提取所述原始样本图像中目标对象的子图时,根据预设的扩大比例以及随机偏移量对目标对象的边界框进行扩增,得到对应的子图。
10.一种基于目标检测的图像标注系统,其特征在于,包括:
第一检测模块,用于获取待标注图像,对所述待标注图像进行第一目标检测,得到第一识别结果,其中所述第一识别结果包括所述待标注图像中目标对象的边界框信息以及类别信息;
子图获取模块,用于根据所述第一识别结果中的边界框信息提取所述待标注图像中对应目标对象的子图,得到子图序列;
第二检测模块,用于对所述子图序列中的子图进行第二目标检测,得到第二识别结果,其中所述第二识别结果包括所述子图中目标对象的边界框信息以及类别信息;
标注信息获取模块,用于将所述第一识别结果和所述第二识别结果中同类别的目标对象的边界框信息进行比对,根据比对结果确定所述待标注图像中对应目标对象的目标边界框以标注所述待标注图像中的对应目标对象。
11.一种计算机设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述的基于目标检测的图像标注方法的步骤。
12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的基于目标检测的图像标注方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211203836.2A CN115565000A (zh) | 2022-09-29 | 2022-09-29 | 一种基于目标检测的图像标注方法、系统、设备和介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211203836.2A CN115565000A (zh) | 2022-09-29 | 2022-09-29 | 一种基于目标检测的图像标注方法、系统、设备和介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115565000A true CN115565000A (zh) | 2023-01-03 |
Family
ID=84743033
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211203836.2A Pending CN115565000A (zh) | 2022-09-29 | 2022-09-29 | 一种基于目标检测的图像标注方法、系统、设备和介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115565000A (zh) |
-
2022
- 2022-09-29 CN CN202211203836.2A patent/CN115565000A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109146892B (zh) | 一种基于美学的图像裁剪方法及装置 | |
CN110163198B (zh) | 一种表格识别重建方法、装置和存储介质 | |
CN110705405B (zh) | 目标标注的方法及装置 | |
CN109815843B (zh) | 图像处理方法及相关产品 | |
WO2019047789A1 (zh) | 关于增强现实场景的处理方法、终端设备、系统及计算机存储介质 | |
CN110446063B (zh) | 视频封面的生成方法、装置及电子设备 | |
CN110648397B (zh) | 场景地图生成方法、装置、存储介质及电子设备 | |
CN112954450B (zh) | 视频处理方法、装置、电子设备和存储介质 | |
CN111240669B (zh) | 界面生成方法、装置、电子设备及计算机存储介质 | |
WO2022194102A1 (zh) | 图像处理方法、装置、计算机设备、存储介质及程序产品 | |
CN111709414A (zh) | Ar设备及其文字识别方法、装置和计算机可读存储介质 | |
CN111597953A (zh) | 多路图像处理方法、装置及电子设备 | |
CN111986214B (zh) | 一种地图中人行横道的构建方法和电子设备 | |
CN113496208B (zh) | 视频的场景分类方法及装置、存储介质、终端 | |
WO2022002262A1 (zh) | 基于计算机视觉的字符序列识别方法、装置、设备和介质 | |
KR102388777B1 (ko) | 360도 vr 카메라를 이용한 연도변 조사 서비스 제공 시스템 | |
CN114283416A (zh) | 车险理赔图片的处理方法和装置 | |
CN113255501B (zh) | 生成表格识别模型的方法、设备、介质及程序产品 | |
CN108805799B (zh) | 全景图像合成装置、方法及计算机可读存储介质 | |
CN115565000A (zh) | 一种基于目标检测的图像标注方法、系统、设备和介质 | |
CN112015936B (zh) | 用于生成物品展示图的方法、装置、电子设备和介质 | |
CN113468066A (zh) | 用户界面测试方法及装置 | |
CN113657311B (zh) | 识别区域排序方法、系统、电子设备及存储介质 | |
CN112634460B (zh) | 基于Haar-like特征的户外全景图生成方法及装置 | |
CN112115941B (zh) | 火灾检测方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |