CN112396117A - 图像的检测方法、装置及电子设备 - Google Patents

图像的检测方法、装置及电子设备 Download PDF

Info

Publication number
CN112396117A
CN112396117A CN202011332249.4A CN202011332249A CN112396117A CN 112396117 A CN112396117 A CN 112396117A CN 202011332249 A CN202011332249 A CN 202011332249A CN 112396117 A CN112396117 A CN 112396117A
Authority
CN
China
Prior art keywords
point cloud
dimensional model
target object
image set
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011332249.4A
Other languages
English (en)
Inventor
李阳勤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Priority to CN202011332249.4A priority Critical patent/CN112396117A/zh
Publication of CN112396117A publication Critical patent/CN112396117A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种图像的检测方法、装置及电子设备，属于终端视觉技术领域。包括：获取均包含多张目标对象不同角度的图像的第一图像集合和第二图像集合；根据第一图像集合中的多张图像，构建目标对象的第一点云三维模型，根据第二图像集合中的多张图像，构建目标对象的第二点云三维模型；计算第一点云三维模型和第二点云三维模型的差异度，并根据差异度确定目标对象的检测结果，本申请中，构建得到的第一点云三维模型和第二点云三维模型可以表征目标对象不同时期的外观特征，从而可以根据计算得到的差异度，确定用以判断目标对象在不同时期的外观特征是否发生改变的检测结果，使得判断过程的准确性较高，得到的检测结果具有较高的权威。

Description

图像的检测方法、装置及电子设备
技术领域
本申请属于终端视觉技术领域，具体涉及一种图像的检测方法、装置及电子设备。
背景技术
随着整容技术的发展，以及美颜相机等各种美颜应用程序的广泛应用，人们得到的包含有目标人物的照片中，目标人物的面貌与该目标人物原本面貌的差距也越来越大。
现有技术中，分辨照片中的目标人物的面貌与其原本面貌是否存在差距的方法，是获取该目标人物较早时期的旧照片，从而与获取到的该目标人物现阶段的新照片进行对比，肉眼识别两张照片之间是否存在差别，从而判断目标人物是否进行了整容；或者分别获取包含目标人物的待确定照片，以及在未开启美颜功能的情况下获取的标准照片，对比两张照片，肉眼识别待确定照片是否与标准照片存在差别，从而判断目标人物在拍摄待确定照片时是否开启了美颜功能。
但是，在目前的方案中，用户只能通过肉眼判断两张照片是否存在差别，使得判断过程的准确性较差，判断结果不具有权威性。
发明内容
本申请实施例的目的是提供一种图像的检测方法、装置及电子设备，能够解决现有技术中在判断不同照片中的目标人物是否存在差别的过程中，判断结果准确性较差的问题。
为了解决上述技术问题，本申请是这样实现的：
第一方面，本申请实施例提供了一种图像的检测方法，该方法包括：
获取第一图像集合和第二图像集合，所述第一图像集合和所述第二图像集合中均包含多张目标对象不同角度的图像，所述第一图像集合和所述第二图像集合中图像的摄制时间范围不同；
根据所述第一图像集合中的多张图像，构建所述目标对象的第一点云三维模型，根据所述第二图像集合中的多张图像，构建所述目标对象的第二点云三维模型；
计算所述目标对象的第一点云三维模型和第二点云三维模型的差异度，并根据所述差异度确定所述目标对象的检测结果。
第二方面，本申请实施例提供了一种图像的检测装置，该装置包括：
获取模块，用于获取第一图像集合和第二图像集合，所述第一图像集合和所述第二图像集合中均包含多张目标对象不同角度的图像，所述第一图像集合和所述第二图像集合中图像的摄制时间范围不同；
构建模块，用于根据所述第一图像集合中的多张图像，构建所述目标对象的第一点云三维模型，根据所述第二图像集合中的多张图像，构建所述目标对象的第二点云三维模型；
第一计算模块，用于计算所述目标对象的第一点云三维模型和第二点云三维模型的差异度，并根据所述差异度确定所述目标对象的检测结果。
第三方面，本申请实施例还提供了一种电子设备，该电子设备包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第四方面，本申请实施例还提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。
在本申请实施例中，获取第一图像集合和第二图像集合，第一图像集合和第二图像集合中均包含多张目标对象不同角度的图像，第一图像集合和第二图像集合中图像的摄制时间范围不同；根据第一图像集合中的多张图像，构建目标对象的第一点云三维模型，根据第二图像集合中的多张图像，构建目标对象的第二点云三维模型；计算目标对象的第一点云三维模型和第二点云三维模型的差异度，并根据差异度确定目标对象的检测结果，本申请中，可以分别根据摄制时间范围不同的第一图像集合和第二图像集合中包含的多张图像，构建表征目标对象不同时期外观特征的第一点云三维模型和第二点云三维模型，进一步通过计算第一点云三维模型和第二点云三维模型的差异度，从而可以根据计算得到的差异度，确定用以判断目标对象在不同时期的外观特征是否发生改变的检测结果，使得判断过程的准确性较高，得到的检测结果具有较高的权威。
附图说明
图1是本申请实施例提供的一种图像的检测方法的步骤流程图；
图2是本申请实施例提供的另一种图像的检测方法的步骤流程图；
图3是本申请实施例提供的一种图像的检测装置的框图；
图4是本申请实施例提供的一种电子设备的硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的图像的检测进行详细地说明。
图1是本申请实施例提供的一种图像的检测方法的步骤流程图，如图1所示，该方法可以包括：
步骤101、获取第一图像集合和第二图像集合，所述第一图像集合和所述第二图像集合中均包含多张目标对象不同角度的图像，所述第一图像集合和所述第二图像集合中图像的摄制时间范围不同。
在该步骤中，首先获取第一图像集合和第二图像集合，所述第一图像集合中包含多张摄制时间范围为第一时间段的图像，且第一图像集合中的多张图像为包含目标对象不同角度的图像；所述第二图像集合中包含多张摄制时间范围为第二时间段的图像，且第二图像集合中的多张图像为包含目标对象不同角度的图像。
可选地，在应用场景为判断目标人物是否整容的情况下，所述目标对象可以为该目标人物，相应的，第一图像集合包含的多张图像可以为目标对象在较早时期摄制的多张不同角度的图像，例如在目标对象的左侧拍摄的包含目标对象左侧脸的图像、在目标对象的右侧拍摄的包含目标对象右侧脸的图像，以及在目标对象的正前方拍摄的包含目标对象正面的图像；第二图像集合包含的多张图像可以为目标对象近期摄制的多张不同角度的图像，例如在目标对象的左侧拍摄的包含目标对象左侧脸的图像、在目标对象的右侧拍摄的包含目标对象右侧脸的图像，以及在目标对象的正前方拍摄的包含目标对象正面的图像。
步骤102、根据所述第一图像集合中的多张图像，构建所述目标对象的第一点云三维模型，根据所述第二图像集合中的多张图像，构建所述目标对象的第二点云三维模型。
在该步骤中，可以根据获取到的第一图像集合中的多张图像，构建目标对象的第一点云三维模型，同时，根据获取到的第二图像集合中的多张图像，构建目标对象的第二点云三维模型。
可选的，在应用场景为判断目标人物是否整容的情况下，若第一图像集合中的多张图像为目标对象在较早时期摄制的多张不同角度的图像，则根据第一图像集合中的多张图像，构建得到的目标对象的第一点云三维模型，是表征目标对象在较早时期的三维模型；若第二图像集合包含的多张图像可以为目标对象近期摄制的多张不同角度的图像，则根据第二图像集合中的多张图像，构建得到的目标对象的第二点云三维模型，是表征目标对象在近期的三维模型，从而可以根据目标对象在不同时期的三维模型，判断目标对象的三维模型是否存在差异，以及差异值是否大于一定的阈值，进而判断目标对象在该时间段内是否进行了整容，使得目标对象的面貌发生了较大的改变。
在本申请实施例中，根据多张不同角度的图像，构建图像中包含的目标对象的点云三维模型的过程，可以利用多视角立体重构(Multi-View Stereo，MVS)技术。
具体的，在获取到包含目标对象的多张不同角度的图像之后，可以首先提取每幅图像的尺度不变特征转换(Scale-invariant feature transform，SIFT)特征点，基于提取的特征点，多张图像中的两两图像之间进行特征点匹配，根据特征点匹配情况，从所有图像中选择两幅图像作为基准图像对，由于基准图像对中的两幅图像是在不同视点拍摄的图像，因此，可以利用特征匹配来计算出三维场景点及照相机位置，通过对极几何一幅图像上的点可以确定另一幅图像上的一条直线，具体的，可以利用基础矩阵F来表示，其中，可以利用随机抽样一致算法(random sample consensus，RANSAC)计算基准图像对的基础矩阵F，其中基础矩阵F满足方程x′Fx＝0，x′和x是基准图像对中两幅图中相互匹配的点。以从图像的可交换图像文件(Exchangeable Image File，EXIF)头中获取的焦距信息为初值，估计基准图像对的内参矩阵初值K′和K，已知了相机的内参矩阵和两幅图像之间的基础矩阵F，可计算基准图像对之间的本质矩阵，通过分解本质矩阵即可提取相机运动分量，即旋转和平移分量。已知基准图像对的相机内参、相机运动、以及对应特征点集，利用三角测量方法可求出与特征点对应的空间点坐标，即得到目标对象的点云三维模型。
步骤103、计算所述目标对象的第一点云三维模型和第二点云三维模型的差异度，并根据所述差异度确定所述目标对象的检测结果。
在该步骤中，在构建得到目标对象的第一点云三维模型和第二点云三维模型之后，可以计算第一点云三维模型和第二点云三维模型之间的差异度，从而根据第一点云三维模型和第二点云三维模型之间的差异度确定目标对象的检测结果。
在本申请实施例中，由于第一点云三维模型和第二点云三维模型分别表征目标对象在在不同时期的三维模型，因此，若计算得到第一点云三维模型和第二点云三维模型之间的差异度较大，则说明目标对象在该时间段内的面貌发生了较大的改变，即目标对象确定整容；若计算得到第一点云三维模型和第二点云三维模型之间的差异度较小，则说明目标对象在该时间段内的面貌并未发生了较大的改变，即目标对象未进行整容。
其中，由于第一点云三维模型和第二点云三维模型是通过MVS技术进行三维重建得到的点云三维模型，所述点云三维模型中包含目标对象的表面的点云数据，这些点云数据可用来插补成目标对象的表面形状，越密集的点云数据可以创建更精确的点云三维模型，所述点云数据在点云三维模型中的表现即为所述点云三维模型中包含的特征点。
因此，可以计算所述第一点云三维模型中包含的第一特征点，与第二点云三维模型中包含的第二特征点之间的三维距离，并将所有一一对应的特征点之间的三维距离的平均值，确定为第一点云三维模型和第二点云三维模型之间的差异度，从而利用所述差异度，表征第一点云三维模型和第二点云三维模型存在的差别的大小，即目标对象在不同时期对应的三维模型是否存在较大的差异，从而判断目标对象的在该时间段内的是否进行了整容。
综上所述，本申请实施例提供的一种图像的检测方法，包括：获取第一图像集合和第二图像集合，第一图像集合和第二图像集合中均包含多张目标对象不同角度的图像，第一图像集合和第二图像集合中图像的摄制时间范围不同；根据第一图像集合中的多张图像，构建目标对象的第一点云三维模型，根据第二图像集合中的多张图像，构建目标对象的第二点云三维模型；计算目标对象的第一点云三维模型和第二点云三维模型的差异度，并根据差异度确定目标对象的检测结果，本申请中，可以分别根据摄制时间范围不同的第一图像集合和第二图像集合中包含的多张图像，构建表征目标对象不同时期外观特征的第一点云三维模型和第二点云三维模型，进一步通过计算第一点云三维模型和第二点云三维模型的差异度，从而可以根据计算得到的差异度，确定用以判断目标对象在不同时期的外观特征是否发生改变的检测结果，使得判断过程的准确性较高，得到的检测结果具有较高的权威。
图2是本申请实施例提供的另一种图像的检测方法的步骤流程图，如图2所示，该方法可以包括：
步骤201、获取第一图像集合和第二图像集合，所述第一图像集合和所述第二图像集合中均包含多张目标对象不同角度的图像，所述第一图像集合和所述第二图像集合中图像的摄制时间范围不同。
本步骤的实现方式与上述步骤101的实现过程类似，此处不再赘述。
步骤202、根据所述第一图像集合中的多张图像，构建所述目标对象的第一点云三维模型，根据所述第二图像集合中的多张图像，构建所述目标对象的第二点云三维模型。
本步骤的实现方式与上述步骤102的实现过程类似。
需要说明的是，在步骤202之后，可以执行步骤203，先对第一点云三维模型和第二点云三维模型利用变换矩阵进行配准后，再计算第一点云三维模型和第二点云三维模型之间的差异度，也可以在步骤202之后，执行步骤205，直接计算第一点云三维模型和第二点云三维模型之间的差异度。
步骤203、根据所述第一点云三维模型和第二点云三维模型中包含的特征点，确定变换矩阵。
在该步骤中，在构建得到目标对象的第一点云三维模型和第二点云三维模型之后，由于构建第一点云三维模型时利用的第一图像集合中的多张图像，和构建第二点云三维模型时利用的第二图像集合中的多张图像的设置时间范围不同，因此，图像中目标对象的位置及姿态存在差异，使得构建得到的第一点云三维模型和第二点云三维模型中目标对象的三维模型的位置及姿态也存在一定的差异，因而，可以通过配准过程，调整第一点云三维模型或第二点云三维模型中目标对象的三维模型的位置及姿态，使其趋近于另一个点云三维模型中目标对象的三维模型的位置及姿态，从而避免目标对象的位置及姿态存在差异，对后续计算第一点云三维模型和第二点云三维模型的差异度的过程的影响。
在本申请实施例中，可以采用点云配准的方式进行配准，根据第一点云三维模型中包含的第一特征点，确定第一点云三维模型的点云数据集；根据第二点云三维模型中包含的第二特征点，确定第二点云三维模型的点云数据集。进而可以通过第一点云三维模型的点云数据集，修正第二点云三维模型的点云数据集，或通过第二点云三维模型的点云数据集修正第一点云三维模型的点云数据集。整个修正过程具体可以称作点云配准，所述点云配准就是求两个点云三维模型的点云数据集之间的旋转平移矩阵R0和平移向量T0，所述旋转平移矩阵R0和平移向量T0构成变换矩阵，从而将源点云(source cloud)数据集利用变换矩阵变换到目标点云(target cloud)数据集相同的坐标系下的一种方法。
具体的，分别对源点云P(理论)和目标点云Q(实体)计算中心，即分别计算第一点云三维模型的点云数据集中的第一关键点Q中心，以及第二点云三维模型的点云数据集中的第二关键点P中心，进一步分别对源点云P和目标点云Q进行主成分分析，得到相应的特征向量第二特征向量UP和第一特征向量UQ，结合得到的第一关键点Q中心和第二关键点P中心，即可以得到两点云三维模型进行粗略配准需要的第一旋转矩阵R0和第一平移向量T0。
其中，第一旋转矩阵R0和第一平移向量T0具体可以为按照公式
Figure BDA0002796156150000091
Figure BDA0002796156150000092
T0＝P中心-R0×Q中心进行实现。
步骤204、根据所述变换矩阵，配准所述第一点云三维模型或所述第二点云三维模型。
在该步骤中，可以利用计算得到的变换矩阵，将源点云数据集利用变换矩阵变换到目标点云数据集相同的坐标系，从而完成第一点云三维模型或第二点云三维模型的配准，调整一个点云三维模型中目标对象的三维模型的位置及姿态，使其趋近于另一个点云三维模型中目标对象的三维模型的位置及姿态，从而避免目标对象的位置及姿态存在差异。所述源点云数据集可以为第一点云三维模型或所述第二点云三维模型中任意一个点云三维模型对应的点云数据集，所述目标点云数据集则为另一个点云三维模型对应的点云数据集。
在本申请实施例中，上述配准过程实现了第一点云三维模型和所述第二点云三维模型之间的粗配准，进一步的，还可以采用改进的迭代最近点(Iterative Closest Point，ICP)算法对两个点云进行精配准，从而进一步减小第一点云三维模型和所述第二点云三维模型中目标对象的位置及姿态的差异。
步骤205、计算所述目标对象的第一点云三维模型和第二点云三维模型的差异度。
在该步骤中，在构建并配准目标对象的第一点云三维模型和第二点云三维模型之后，可以计算第一点云三维模型和第二点云三维模型之间的差异度，从而根据第一点云三维模型和第二点云三维模型之间的差异度确定目标对象的检测结果。
可选的，在第一点云三维模型和第二点云三维模型中均包含多个特征点，且第一点云三维模型中包含有预设数量的第一特征点与第二点云三维模型中包含的预设数量的第二特征点一一对应的情况下，所述差异度根据以下公式确定：
Figure BDA0002796156150000101
其中，NME为所述差异度；N为所述预设数量；d为所述第一点云三维模型中眼睛对应的特征点之间的三维距离，或所述第二点云三维模型中眼睛对应的特征点之间的三维距离；Xi为所述第一点云三维模型中第i个第一特征点的三维坐标，
Figure BDA0002796156150000102
为所述第二点云三维模型中第i个第二特征点的三维坐标。
具体的，可以将第一点云三维模型中的第一特征点与第二点云三维模型中的第二特征点进行比较，若两个点云三维模型中的两个特征点Xi和
Figure BDA0002796156150000103
之间的距离小于一定阈值，则可以认为这两个特征点Xi和
Figure BDA0002796156150000104
为邻近点，也就是一一对应的特征点，进而可以确定第一点云三维模型与所述第二点云三维模型中包含的一一对应的特征点的个数N。
进一步的，可以计算第一点云三维模型与所述第二点云三维模型中的邻近点Xi和
Figure BDA0002796156150000105
之间的二范数
Figure BDA0002796156150000106
用以表征Xi和
Figure BDA0002796156150000107
在空间中的三维直线距离，将每一对邻近点Xi和
Figure BDA0002796156150000108
之间的二范数
Figure BDA0002796156150000109
除以d进行归一化处理，最终求得第一点云三维模型与所述第二点云三维模型中所有邻近点Xi和
Figure BDA00027961561500001010
之间的三维直线距离的总和，再除以N求得平均值之后，将计算结果作为第一点云三维模型和第二点云三维模型的差异度NME，用以衡量第一点云三维模型和第二点云三维模型之间的差异。
其中，用于进行归一化处理的d，可以为第一点云三维模型中眼睛对应的特征点之间的三维距离，也可以为第二点云三维模型中眼睛对应的特征点之间的三维距离，从而消除不同点云三维模型中目标对象的尺寸对计算差异度的影响。
步骤206、根据所述差异度确定所述目标对象的检测结果。
在该步骤中，可以根据计算得到的第一点云三维模型和第二点云三维模型的差异度，确定目标对象的检测结果。
可选的，在一种实现方式中，步骤206具体可以包括：
子步骤2061、在所述差异度大于或等于预设值的情况下，确定所述目标对象的检测结果为容貌发生改变。
在该步骤中，若所述差异度大于或等于预设值，则说明用于表征目标对象在在不同时期的三维模型：第一点云三维模型和第二点云三维模型之间的差异较大，相似度较小，即目标对象在该时间段内的面貌发生了较大的改变，因此，可以确定所述目标对象的检测结果为确定整容；若所述差异度小于预设值，则说明用于表征目标对象在在不同时期的三维模型：第一点云三维模型和第二点云三维模型之间的差异较小，相似度较大，即目标对象在该时间段内的面貌发生了较小的改变，因此，可以确定所述目标对象的检测结果为未进行整容。
步骤207、根据差异度与检测结果的置信度之间的对应关系，确定与所述差异度对应的检测结果的置信度。
可选的，在步骤206中根据计算得到的差异度确定目标对象的检测结果之后，还可以进一步根据差异度与检测结果的置信度之间的对应关系，确定与所述差异度对应的检测结果的置信度，所述置信度用于表征所述检测结果的可靠性和权威性。
可选的，所述置信度与所述差异度可以呈正相关，例如，若所述差异度处于20％-40％的范围内，则对应的置信度可以为1；若所述差异度处于40％-60％的范围内，则对应的置信度可以为2；若所述差异度处于60％-80％的范围内，则对应的置信度可以为3；若所述差异度处于80％-100％的范围内，则对应的置信度可以为4。由此可见，置信度越高，第一点云三维模型和第二点云三维模型之间的差异度越高，用于构建第一点云三维模型的第一图像集合中的多张图像中目标对象的面貌，与用于构建第二点云三维模型的第二图像集合中的多张图像中目标对象的面貌之间的差别较大。
步骤208、根据所述置信度和所述目标对象的检测结果，生成所述目标对象的检测报告。
在该步骤中，可以根据确定的置信度和所述目标对象的检测结果，生成所述目标对象的检测报告，以供用户通过检测报告，获知所述目标对象的检测结果，以及该检测结果的可靠性和权威性。
步骤209、在所述第一点云三维模型中确定所述目标对象的目标区域对应的第一子模型。
可选的，在步骤202之后，即在构建得到第一点云三维模型和第二点云三维模型之后，在第一点云三维模型中确定目标对象的目标区域对应的第一子模型，所述目标区域可以是用户关注的目标对象上的局部区域，例如眼睛、鼻子或下巴等区域，以供与第二点云三维模型中确定的第二子模型进行对比，确定目标对象中目标区域的检测结果。
具体的，可以在第一点云三维模型中选取目标区域对应的部分模型，得到所述目标区域对应的第一子模型。
步骤210、在所述第二点云三维模型中确定与所述目标区域对应的第二子模型。
在该步骤中，可以在第二点云三维模型中确定目标对象的目标区域对应的第二子模型，所述目标区域可以是用户关注的目标对象上的局部区域，例如眼睛、鼻子或下巴等区域。
具体的，可以在第二点云三维模型中选取目标区域对应的部分模型，得到所述目标区域对应的第二子模型。
步骤211、计算所述目标区域对应的第一子模型和第二子模型的目标区域差异度，并根据所述目标区域差异度确定所述目标区域的检测结果。
在该步骤中，可以在确定了目标区域对应的第一子模型和第二子模型之后，计算第一子模型和第二子模型之间的差异度，从而将第一子模型和第二子模型之间的差异度确定为目标区域差异度，并进一步根据所述目标区域差异度确定针对目标区域的检测结果。
在本申请实施例中，由于第一子模型和第二子模型分别表征目标对象中的目标区域在不同时期的三维模型，因此，若计算得到第一子模型和第二子模型之间的目标区域差异度较大，则说明目标对象的目标区域在该时间段内的特征发生了较大的改变，即目标对象的目标区域确定进行了整容；若计算得到第一子模型和第二子模型之间的目标区域差异度较小，则说明目标对象的目标区域在该时间段内的特征并未发生了较大的改变，即目标对象的目标区域未进行整容，从而可以针对目标对象上的特定目标区域，生成单独针对该目标区域的检测结果。
例如，可以单独针对目标人物的鼻子，分别获取目标人物不同时期的第一点云三维模型和第二点云三维模型，进一步的，从第一点云三维模型中选取出目标人物鼻子部分的第一子模型，从第二点云三维模型中选取出目标人物鼻子部分的第二子模型，从而计算得到的第一子模型和第二子模型之间的差异度，可以表征不同时期目标人物的鼻子部分发生改变的情况。
综上所述，本申请实施例提供的一种图像的检测方法，包括：获取第一图像集合和第二图像集合，第一图像集合和第二图像集合中均包含多张目标对象不同角度的图像，第一图像集合和第二图像集合中图像的摄制时间范围不同；根据第一图像集合中的多张图像，构建目标对象的第一点云三维模型，根据第二图像集合中的多张图像，构建目标对象的第二点云三维模型；计算目标对象的第一点云三维模型和第二点云三维模型的差异度，并根据差异度确定目标对象的检测结果，本申请中，可以分别根据摄制时间范围不同的第一图像集合和第二图像集合中包含的多张图像，构建表征目标对象不同时期外观特征的第一点云三维模型和第二点云三维模型，进一步通过计算第一点云三维模型和第二点云三维模型的差异度，从而可以根据计算得到的差异度，确定用以判断目标对象在不同时期的外观特征是否发生改变的检测结果，使得判断过程的准确性较高，得到的检测结果具有较高的权威。
此外，可以从第一点云三维模型中确定目标对象的目标区域对应的第一子模型，从第二点云三维模型中确定与目标区域对应的第二子模型，从而单独计算目标对象的目标区域的第一子模型和第二子模型之间的目标区域差异度，从而针对目标对象上特定的目标区域，生成单独针对该目标区域的检测结果，用以判断目标对象的目标区域在不同时期的外观特征是否发生改变。
需要说明的是，本申请实施例提供的图像的检测方法，执行主体可以为图像的检测装置，或者该图像的检测装置中的用于执行加载图像的检测方法的控制模块。本申请实施例中以图像的检测装置执行加载图像的检测方法为例，说明本申请实施例提供的图像的检测方法。
图3是本申请实施例提供的一种图像的检测装置的框图，如图3所示，该装置300包括：
获取模块301，用于获取第一图像集合和第二图像集合，所述第一图像集合和所述第二图像集合中均包含多张目标对象不同角度的图像，所述第一图像集合和所述第二图像集合中图像的摄制时间范围不同；
构建模块302，用于根据所述第一图像集合中的多张图像，构建所述目标对象的第一点云三维模型，根据所述第二图像集合中的多张图像，构建所述目标对象的第二点云三维模型；
第一计算模块303，用于计算所述目标对象的第一点云三维模型和第二点云三维模型的差异度，并根据所述差异度确定所述目标对象的检测结果。
可选的，所述第一点云三维模型和所述第二点云三维模型中均包含多个特征点，且所述第一点云三维模型中包含有预设数量的第一特征点与所述第二点云三维模型中包含的所述预设数量的第二特征点一一对应；
所述差异度根据以下公式确定：
Figure BDA0002796156150000151
其中，NME为所述差异度；
N为所述预设数量；
d为所述第一点云三维模型中眼睛对应的特征点之间的三维距离，或所述第二点云三维模型中眼睛对应的特征点之间的三维距离；
Xi为所述第一点云三维模型中第i个所述第一特征点的三维坐标，
Figure BDA0002796156150000152
为所述第二点云三维模型中第i个所述第二特征点的三维坐标。
可选的，所述第一计算模块303，包括：
确定子模块，用于在所述差异度大于或等于预设值的情况下，确定所述目标对象的检测结果为确定整容。
可选的，所述装置还包括：
第一确定模块，用于根据差异度与检测结果的置信度之间的对应关系，确定与所述差异度对应的检测结果的置信度；
生成模块，用于根据所述置信度和所述目标对象的检测结果，生成所述目标对象的检测报告。
可选的，所述装置还包括：
第二确定模块，用于在所述第一点云三维模型中确定所述目标对象的目标区域对应的第一子模型；
第三确定模块，用于在所述第二点云三维模型中确定与所述目标区域对应的第二子模型；
第二计算模块，用于计算所述目标区域对应的第一子模型和第二子模型的目标区域差异度，并根据所述目标区域差异度确定所述目标区域的检测结果。
本申请实施例中的图像的检测装置可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personaldigital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(NetworkAttached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。
本申请实施例中的图像的检测装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。
本申请实施例提供的图像的检测装置能够实现图1和图2的方法实施例中图像的检测装置实现的各个过程，为避免重复，这里不再赘述。
综上所述，本申请实施例提供的一种图像的检测装置，包括：获取第一图像集合和第二图像集合，第一图像集合和第二图像集合中均包含多张目标对象不同角度的图像，第一图像集合和第二图像集合中图像的摄制时间范围不同；根据第一图像集合中的多张图像，构建目标对象的第一点云三维模型，根据第二图像集合中的多张图像，构建目标对象的第二点云三维模型；计算目标对象的第一点云三维模型和第二点云三维模型的差异度，并根据差异度确定目标对象的检测结果，本申请中，可以分别根据摄制时间范围不同的第一图像集合和第二图像集合中包含的多张图像，构建表征目标对象不同时期外观特征的第一点云三维模型和第二点云三维模型，进一步通过计算第一点云三维模型和第二点云三维模型的差异度，从而可以根据计算得到的差异度，确定用以判断目标对象在不同时期的外观特征是否发生改变的检测结果，使得判断过程的准确性较高，得到的检测结果具有较高的权威。
可选的，本申请实施例还提供一种电子设备，包括处理器，存储器，存储在存储器上并可在所述处理器上运行的程序或指令，该程序或指令被处理器执行时实现上述图像的检测方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图4为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备400包括但不限于：射频单元401、网络模块402、音频输出单元403、输入单元404、传感器405、显示单元406、用户输入单元407、接口单元408、存储器409、以及处理器410等部件。
本领域技术人员可以理解，电子设备400还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器410逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图4中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
其中，处理器410，用于获取第一图像集合和第二图像集合，所述第一图像集合和所述第二图像集合中均包含多张目标对象不同角度的图像，所述第一图像集合和所述第二图像集合中图像的摄制时间范围不同；
根据所述第一图像集合中的多张图像，构建所述目标对象的第一点云三维模型，根据所述第二图像集合中的多张图像，构建所述目标对象的第二点云三维模型；
计算所述目标对象的第一点云三维模型和第二点云三维模型的差异度，并根据所述差异度确定所述目标对象的检测结果。
本申请中，可以分别根据摄制时间范围不同的第一图像集合和第二图像集合中包含的多张图像，构建表征目标对象不同时期外观特征的第一点云三维模型和第二点云三维模型，进一步通过计算第一点云三维模型和第二点云三维模型的差异度，从而可以根据计算得到的差异度，确定用以判断目标对象在不同时期的外观特征是否发生改变的检测结果，使得判断过程的准确性较高，得到的检测结果具有较高的权威。
可选的，处理器410，还用于在所述差异度大于或等于预设值的情况下，确定所述目标对象的检测结果为确定整容。
可选的，处理器410，还用于根据差异度与检测结果的置信度之间的对应关系，确定与所述差异度对应的检测结果的置信度；
根据所述置信度和所述目标对象的检测结果，生成所述目标对象的检测报告。
可选的，处理器410，还用于在所述第一点云三维模型中确定所述目标对象的目标区域对应的第一子模型；
在所述第二点云三维模型中确定与所述目标区域对应的第二子模型；
计算所述目标区域对应的第一子模型和第二子模型的目标区域差异度，并根据所述目标区域差异度确定所述目标区域的检测结果。
本申请中，可以分别根据摄制时间范围不同的第一图像集合和第二图像集合中包含的多张图像，构建表征目标对象不同时期外观特征的第一点云三维模型和第二点云三维模型，进一步通过计算第一点云三维模型和第二点云三维模型的差异度，从而可以根据计算得到的差异度，确定用以判断目标对象在不同时期的外观特征是否发生改变的检测结果，使得判断过程的准确性较高，得到的检测结果具有较高的权威。
本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述图像的检测方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述图像的检测方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (10)

1.一种图像的检测方法，其特征在于，所述方法包括：
获取第一图像集合和第二图像集合，所述第一图像集合和所述第二图像集合中均包含多张目标对象不同角度的图像，所述第一图像集合和所述第二图像集合中图像的摄制时间范围不同；
根据所述第一图像集合中的多张图像，构建所述目标对象的第一点云三维模型，根据所述第二图像集合中的多张图像，构建所述目标对象的第二点云三维模型；
计算所述目标对象的第一点云三维模型和第二点云三维模型的差异度，并根据所述差异度确定所述目标对象的检测结果。
2.根据权利要求1所述的方法，其特征在于，所述第一点云三维模型和所述第二点云三维模型中均包含多个特征点，且所述第一点云三维模型中包含有预设数量的第一特征点与所述第二点云三维模型中包含的所述预设数量的第二特征点一一对应；
所述差异度根据以下公式确定：
Figure FDA0002796156140000011
其中，NME为所述差异度；
N为所述预设数量；
d为所述第一点云三维模型中眼睛对应的特征点之间的三维距离，或所述第二点云三维模型中眼睛对应的特征点之间的三维距离；
Xi为所述第一点云三维模型中第i个所述第一特征点的三维坐标，
Figure FDA0002796156140000012
为所述第二点云三维模型中第i个所述第二特征点的三维坐标。
3.根据权利要求1所述的方法，其特征在于，所述根据所述差异度确定所述目标对象的检测结果的步骤，包括：
在所述差异度大于或等于预设值的情况下，确定所述目标对象的检测结果为确定整容。
4.根据权利要求1所述的方法，其特征在于，在所述并根据所述差异度确定所述目标对象的检测结果的步骤之后，所述方法还包括：
根据差异度与检测结果的置信度之间的对应关系，确定与所述差异度对应的检测结果的置信度；
根据所述置信度和所述目标对象的检测结果，生成所述目标对象的检测报告。
5.根据权利要求1所述的方法，其特征在于，在所述构建所述目标对象的第二点云三维模型的步骤之后，所述方法还包括：
在所述第一点云三维模型中确定所述目标对象的目标区域对应的第一子模型；
在所述第二点云三维模型中确定与所述目标区域对应的第二子模型；
计算所述目标区域对应的第一子模型和第二子模型的目标区域差异度，并根据所述目标区域差异度确定所述目标区域的检测结果。
6.一种图像的检测装置，其特征在于，所述装置包括：
获取模块，用于获取第一图像集合和第二图像集合，所述第一图像集合和所述第二图像集合中均包含多张目标对象不同角度的图像，所述第一图像集合和所述第二图像集合中图像的摄制时间范围不同；
构建模块，用于根据所述第一图像集合中的多张图像，构建所述目标对象的第一点云三维模型，根据所述第二图像集合中的多张图像，构建所述目标对象的第二点云三维模型；
第一计算模块，用于计算所述目标对象的第一点云三维模型和第二点云三维模型的差异度，并根据所述差异度确定所述目标对象的检测结果。
7.根据权利要求6所述的装置，其特征在于，所述第一点云三维模型和所述第二点云三维模型中均包含多个特征点，且所述第一点云三维模型中包含有预设数量的第一特征点与所述第二点云三维模型中包含的所述预设数量的第二特征点一一对应；
所述差异度根据以下公式确定：
Figure FDA0002796156140000031
其中，NME为所述差异度；
N为所述预设数量；
d为所述第一点云三维模型中眼睛对应的特征点之间的三维距离，或所述第二点云三维模型中眼睛对应的特征点之间的三维距离；
Xi为所述第一点云三维模型中第i个所述第一特征点的三维坐标，
Figure FDA0002796156140000032
为所述第二点云三维模型中第i个所述第二特征点的三维坐标。
8.根据权利要求6所述的装置，其特征在于，所述第一计算模块，包括：
确定子模块，用于在所述差异度大于或等于预设值的情况下，确定所述目标对象的检测结果为确定整容。
9.根据权利要求6所述的装置，其特征在于，所述装置还包括：
第一确定模块，用于根据差异度与检测结果的置信度之间的对应关系，确定与所述差异度对应的检测结果的置信度；
生成模块，用于根据所述置信度和所述目标对象的检测结果，生成所述目标对象的检测报告。
10.根据权利要求6所述的装置，其特征在于，所述装置还包括：
第二确定模块，用于在所述第一点云三维模型中确定所述目标对象的目标区域对应的第一子模型；
第三确定模块，用于在所述第二点云三维模型中确定与所述目标区域对应的第二子模型；
第二计算模块，用于计算所述目标区域对应的第一子模型和第二子模型的目标区域差异度，并根据所述目标区域差异度确定所述目标区域的检测结果。
CN202011332249.4A 2020-11-24 2020-11-24 图像的检测方法、装置及电子设备 Pending CN112396117A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011332249.4A CN112396117A (zh) 2020-11-24 2020-11-24 图像的检测方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011332249.4A CN112396117A (zh) 2020-11-24 2020-11-24 图像的检测方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN112396117A true CN112396117A (zh) 2021-02-23

Family

ID=74607143

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011332249.4A Pending CN112396117A (zh) 2020-11-24 2020-11-24 图像的检测方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN112396117A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114078184A (zh) * 2021-11-11 2022-02-22 北京百度网讯科技有限公司 数据处理方法、装置、电子设备和介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060228019A1 (en) * 2005-03-31 2006-10-12 Harris Corporation System and method for three dimensional change detection and measurement of a scene using change analysis
US20170270386A1 (en) * 2016-03-21 2017-09-21 International Business Machines Corporation Detection and presentation of differences between 3d models
CN108320324A (zh) * 2017-12-29 2018-07-24 泰瑞数创科技(北京)有限公司 一种城市变化监测方法及系统
CN108960344A (zh) * 2018-08-03 2018-12-07 敦煌研究院 文物图像的差异检测方法、装置及终端设备
CN109034185A (zh) * 2018-06-08 2018-12-18 汪俊 一种街景图像差异对比方法及装置
US10186049B1 (en) * 2017-03-06 2019-01-22 URC Ventures, Inc. Determining changes in object structure over time using mobile device images
CN110838115A (zh) * 2019-11-12 2020-02-25 武汉大学 运用轮廓线提取和四维曲面拟合的古文物三维模型变化检测方法
CN111199579A (zh) * 2020-01-02 2020-05-26 腾讯科技（深圳）有限公司 一种目标物的三维模型构建方法、装置、设备及介质
CN111428670A (zh) * 2020-03-31 2020-07-17 南京甄视智能科技有限公司 人脸检测方法、装置、存储介质及设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060228019A1 (en) * 2005-03-31 2006-10-12 Harris Corporation System and method for three dimensional change detection and measurement of a scene using change analysis
US20170270386A1 (en) * 2016-03-21 2017-09-21 International Business Machines Corporation Detection and presentation of differences between 3d models
US10186049B1 (en) * 2017-03-06 2019-01-22 URC Ventures, Inc. Determining changes in object structure over time using mobile device images
CN108320324A (zh) * 2017-12-29 2018-07-24 泰瑞数创科技(北京)有限公司 一种城市变化监测方法及系统
CN109034185A (zh) * 2018-06-08 2018-12-18 汪俊 一种街景图像差异对比方法及装置
CN108960344A (zh) * 2018-08-03 2018-12-07 敦煌研究院 文物图像的差异检测方法、装置及终端设备
CN110838115A (zh) * 2019-11-12 2020-02-25 武汉大学 运用轮廓线提取和四维曲面拟合的古文物三维模型变化检测方法
CN111199579A (zh) * 2020-01-02 2020-05-26 腾讯科技（深圳）有限公司 一种目标物的三维模型构建方法、装置、设备及介质
CN111428670A (zh) * 2020-03-31 2020-07-17 南京甄视智能科技有限公司 人脸检测方法、装置、存储介质及设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114078184A (zh) * 2021-11-11 2022-02-22 北京百度网讯科技有限公司 数据处理方法、装置、电子设备和介质

Similar Documents

Publication Publication Date Title
WO2020207191A1 (zh) 虚拟物体被遮挡的区域确定方法、装置及终端设备
CN111457886B (zh) 距离确定方法、装置及系统
CN108830892B (zh) 人脸图像处理方法、装置、电子设备及计算机可读存储介质
CN106981078B (zh) 视线校正方法、装置、智能会议终端及存储介质
CN112784874B (zh) 双目视觉立体匹配方法、装置、电子设备及存储介质
CN102713975B (zh) 图像整理系统、图像整理方法和计算机程序
CN111062263A (zh) 手部姿态估计的方法、设备、计算机设备和存储介质
US20230237683A1 (en) Model generation method and apparatus based on multi-view panoramic image
WO2023016182A1 (zh) 位姿确定方法、装置、电子设备和可读存储介质
CN115049738A (zh) 人与相机之间距离的估计方法及系统
CN112990047B (zh) 一种结合面部角度信息的多姿态人脸验证方法
CN108447084B (zh) 基于orb特征的立体匹配补偿方法
CN112396117A (zh) 图像的检测方法、装置及电子设备
CN113838151A (zh) 相机标定方法、装置、设备及介质
CN112818874A (zh) 一种图像处理方法、装置、设备及存储介质
CN112365530A (zh) 增强现实处理方法及装置、存储介质和电子设备
CN106406507B (zh) 图像处理方法以及电子设备
CN113298098B (zh) 基础矩阵估计方法及相关产品
JP2023065296A (ja) 平面検出装置及び方法
CN114387324A (zh) 深度成像方法、装置、电子设备和计算机可读存储介质
CN110866535B (zh) 视差图的获取方法、装置、计算机设备和存储介质
CN114241127A (zh) 全景图像生成方法、装置、电子设备和介质
CN113610969A (zh) 一种三维人体模型生成方法、装置、电子设备及存储介质
CN112615993A (zh) 深度信息获取方法、双目摄像模组、存储介质及电子设备
CN111767940A (zh) 目标物体识别方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination