CN118154780A - 物体的三维重建方法、装置、电子设备及可读存储介质 - Google Patents

物体的三维重建方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN118154780A
CN118154780A CN202410304498.4A CN202410304498A CN118154780A CN 118154780 A CN118154780 A CN 118154780A CN 202410304498 A CN202410304498 A CN 202410304498A CN 118154780 A CN118154780 A CN 118154780A
Authority
CN
China
Prior art keywords
image
target image
target
point
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410304498.4A
Other languages
English (en)
Inventor
于金波
刘祥德
赵飞飞
严旭
魏榕
李东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Digital City Research Center
Original Assignee
Beijing Digital City Research Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Digital City Research Center filed Critical Beijing Digital City Research Center
Priority to CN202410304498.4A priority Critical patent/CN118154780A/zh
Publication of CN118154780A publication Critical patent/CN118154780A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Architecture (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种物体的三维重建方法、装置、电子设备及可读存储介质，属于图像处理技术领域。所述方法中，根据预设相似度系数以及第一目标图像与其他图像的相似度系数，筛选出第二目标图像；基于第一目标图像和第二目标图像对预设物体三维重建网络进行训练，基于训练好的重建网络可生成目标物体的三维模型。再基于上述三维模型、第一目标图像对预设纹理网络进行训练，基于训练好的纹理网络可生成纹理图。训练过程中，通过第一损失函数表示的光照、颜色损失来调整预设重建网络，通过第二损失函数所表示的颜色损失来调整纹理网络，可分别提高两个网络的准确性，从而提高三维模型和纹理图的质量。

Description

物体的三维重建方法、装置、电子设备及可读存储介质
技术领域
本申请属于图像处理技术领域，具体涉及一种物体的三维重建方法、装置、电子设备及可读存储介质。
背景技术
三维重建是指对三维物体建立适合计算机表示和处理的模型的一种技术。
基于神经渲染的三维重建方法，使用深度学习网络从物体的图像数据中提取物体的三维特征，预测物体的三维表示，实现物体的三维重建。对于复杂光照下的物体，由于从不同角度拍摄得到的图像数据之间的颜色差异较大，采用现有技术构建的三维模型的质量较低。
发明内容
本申请实施例的目的是提供一种物体的三维重建方法、装置、电子设备及可读存储介质，能够解决现有的三维重建技术得到的三维模型的质量较低的问题。
第一方面，本申请实施例提供了一种物体的三维重建方法，所述方法包括：
获取目标物体的N个拍摄图像，以及获取目标物体的掩码图像、内外参数据、稀疏点云数据，其中，所述N个拍摄图像的拍摄角度不同，N为大于60小于400的整数；
基于所述掩码图像、内外参数据和所述稀疏点云数据，通过计算图像相似度区域，确定第一目标图像分别相对于N-1个拍摄图像的N-1个相似度系数，其中，所述第一目标图像为所述N个拍摄图像中的任一图像，所述N-1个拍摄图像为所述N个拍摄图像中除所述第一目标图像之外的图像；
基于所述第一目标图像的N-1个相似度系数和预设相似度系数，从所述N-1个拍摄图像中选取至少一个第二目标图像，其中，所述至少一个第二目标图像对应的相似度系数大于所述预设相似度系数；
基于所述第一目标图像、所述第一目标图像对应的至少一个第二目标图像、所述掩码图像和所述内外参数据，通过第一损失函数对预设物体三维重建网络进行训练，基于训练好的预设物体三维重建网络生成所述目标物体的三维模型；
基于所述第一目标图像、所述掩码图像、所述内外参数据和所述三维模型，通过第二损失函数对预设纹理网络进行训练，基于训练好的预设纹理网络生成所述目标物体的三维模型的纹理图；
其中，所述第一损失函数，基于所述第一目标图像和第一渲染图像的像素点颜色特征，所述第一目标图像对应的第二目标图像相似度区域和第一渲染图像相似度区域的图像特征以及图像结构相似性SSIM来确定，其中，所述第一渲染图像为所述预设物体三维重建网络基于输入数据生成的输出数据；
所述第二损失函数，基于所述第一目标图像和第二渲染图像的像素点颜色特征来确定，其中，所述三维模型与纹理的一致性与所述像素点颜色特征相关联，所述第二渲染图像为所述预设纹理网络基于输入数据生成的输出数据。
第二方面，本申请实施例提供了一种物体的三维重建装置，所述装置包括：
获取模块，用于获取目标物体的N个拍摄图像，以及获取目标物体的掩码图像、内外参数据、稀疏点云数据，其中，所述N个拍摄图像的拍摄角度不同，N为大于60小于400的整数；
第一确定模块，用于基于所述掩码图像、内外参数据和所述稀疏点云数据，通过计算图像相似度区域，确定第一目标图像分别相对于N-1个拍摄图像的N-1个相似度系数，其中，所述第一目标图像为所述N个拍摄图像中的任一图像，所述N-1个拍摄图像为所述N个拍摄图像中除所述第一目标图像之外的图像；
第二确定模块，用于基于所述第一目标图像的N-1个相似度系数和预设相似度系数，从所述N-1个拍摄图像中选取至少一个第二目标图像，其中，所述至少一个第二目标图像对应的相似度系数大于所述预设相似度系数；
第一生成模块，用于基于所述第一目标图像、所述第一目标图像对应的至少一个第二目标图像、所述掩码图像和所述内外参数据，通过第一损失函数对预设物体三维重建网络进行训练，基于训练好的预设物体三维重建网络生成所述目标物体的三维模型；
第二生成模块，用于基于所述第一目标图像、所述掩码图像、所述内外参数据和所述三维模型，通过第二损失函数对预设纹理网络进行训练，基于训练好的预设纹理网络生成所述目标物体的三维模型的纹理图；
其中，所述第一损失函数，基于所述第一目标图像和第一渲染图像的像素点颜色特征，所述第一目标图像对应的第二目标图像相似度区域和第一渲染图像相似度区域的图像特征以及图像结构相似性SSIM来确定，其中，所述第一渲染图像为所述预设物体三维重建网络基于输入数据生成的输出数据；
所述第二损失函数，基于所述第一目标图像和第二渲染图像的像素点颜色特征来确定，其中，所述三维模型与纹理的一致性与所述像素点颜色特征相关联，所述第二渲染图像为所述预设纹理网络基于输入数据生成的输出数据。
第三方面，本申请实施例提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的物体的三维重建方法的步骤。
第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的物体的三维重建方法的步骤。
第五方面，本申请实施例提供了一种计算机程序产品，包括计算机指令，所述计算机指令被处理器执行时实现如第一方面所述的物体的三维重建方法的步骤。
在本申请实施例中，通过掩码图像确定第一目标图像分别相对于N-1个拍摄图像的N-1个相似度系数，再根据预设相似度系数筛选出第二目标图像，基于第一目标图像以及与N-1个拍摄图像中与第一目标图像的相似度较高的第二目标图像对预设物体三维重建网络进行训练，基于训练好的预设物体三维重建网络可生成目标物体的三维模型。由于第二目标图像与第一目标图像的相似度系数较高，即第二目标图像的拍摄光照条件与第一目标图像的拍摄光照条件近似，即第二目标图像与第一目标图像的颜色差异较小，因此，解决了模型生成过程中所采用的图像数据存在部分图像之间的颜色差异较大的问题，提高了训练好的预设物体三维重建网络的准确性，从而提高所生成的三维模型的质量。此外，通过第一损失函数所表示的光照损失和颜色损失来调整预设物体三维重建网络，可提高训练好的预设物体三维重建网络的准确性，从而提高所生成的目标物体的三维模型的质量；通过第二损失函数所表示的结合三维模型与纹理的位姿一致性的颜色损失，可提高训练好的预设纹理网络的准确性，从而提高后续生成的纹理图的质量。
附图说明
图1为本申请实施例提供的物体的三维重建方法的流程示意图；
图2为本申请实施例提供的物体的三维重建装置的结构示意图；
图3为本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的方法进行详细地说明。
图1为本申请实施例提供的物体的三维重建方法的流程示意图，包括如下步骤：
步骤101，获取目标物体的N个拍摄图像，以及获取目标物体的掩码图像、内外参数据、稀疏点云数据，其中，所述N个拍摄图像的拍摄角度不同，N为大于60小于400的整数，
通过对目标物体进行环绕拍摄，可获取N个拍摄角度不同的拍摄图像。
采用物体分割网络对拍摄图像进行处理，可得到掩码图像，掩码图像为与拍摄图像的分辨率相同的单通道图像。掩码图像是一种二值图像，掩码图像上的每个像素点的像素值只能是0或1。当掩码图像上的某一像素点的像素值为1时，说明该像素点属于目标物体上的点。当掩码图像上的某一像素点的像素值为0时，说明该像素点不属于目标物体上的点，为背景点。目标物体的稀疏点云可基于运动恢复结构(Structure from motion，SFM)中的Colmap方法对N个拍摄图像进行处理来获取。
内外参数据与用于拍摄目标物体的相机的几何属性、姿态有关，包括内参和外参。其中，内参是描述相机内部属性的参数，包括焦距、主点坐标、畸变系数等，内参通常在相机标定时确定，使用过程通常保持不变。外参是描述相机在世界坐标系中的位置和姿态的参数，通常包括旋转矩阵和平移向量，外参在不同的相机位置或拍摄时刻可能会发生变化。
步骤102，基于所述掩码图像、内外参数据和所述稀疏点云数据，通过计算图像相似度区域，确定第一目标图像分别相对于N-1个拍摄图像的N-1个相似度系数，其中，所述第一目标图像为所述N个拍摄图像中的任一图像，所述N-1个拍摄图像为所述N个拍摄图像中除所述目标图像之外的图像，
根据掩码图像，可确定对应的拍摄图像上的任一像素点是否为目标物体上的点。例如，欲确定第一目标图像相对于N-1个拍摄图像中某一拍摄图像的相似度系数时，可根据第一目标图像对应的掩码图像中像素值为1的点，确定第一目标图像上所有的物体点；同时，根据上述某一拍摄图像对应的掩码图像中像素值为1的点，确定所述某一拍摄图像上所有的物体点。将第一目标图像上所有的物体点与所述某一拍摄图像上所有物体点一一对应，结合内外参数据进行比较，比较物体点的像素特征，综合所有物体点的像素特征的比较结果，确定第一目标图像与所述某一拍摄图像的相似度区域，再根据相似度区域确定相似度系数。两个图像之间，相似度系数越高，说明两个图像越近似，而在本申请实施例的场景下，第一目标图像和N-1个拍摄图像都是针对目标物体进行拍摄所得到的图像，区别在于拍摄角度的不同，若是两个拍摄图像之间的相似度较高，即能说明两个拍摄图像对应的拍摄光照条件近似。
步骤103，基于所述第一目标图像的N-1个相似度系数和预设相似度系数，从所述N-1个拍摄图像中选取至少一个第二目标图像，其中，所述至少一个第二目标图像对应的相似度系数大于所述预设相似度系数，
N-1个相似度系数与N-1个拍摄图像一一对应，根据预设相似度系数对N-1个拍摄图像进行筛选，将对应的相似度系数大于预设相似度系数的图像确定为第二目标图像。可以理解地，第二目标图像与第一目标图像的相似度较高，即目标物体上同一点在第一目标图像上对应的像素点的颜色与在第二目标图像上对应的像素点的颜色接近，也就说明第一目标图像和第二目标图像对应的拍摄光照条件近似。
需要说明的是，第二目标图像的数量一般为多个，多个第二目标图像形成第一目标图像的图像相似序列。
步骤104，基于所述第一目标图像、所述第一目标图像对应的至少一个第二目标图像、所述掩码图像和所述内外参数据，通过第一损失函数对预设物体三维重建网络进行训练，基于训练好的预设物体三维重建网络生成所述目标物体的三维模型。
基于第一目标图像以及与N-1个拍摄图像中与第一目标图像的相似度较高的第二目标图像，以及目标物体的内外参数据、掩码图像对预设物体三维重建网络进行训练，通过第一损失函数调整预设物体三维重建网络的网络参数，基于训练好的预设物体三维重建网络可生成目标物体的三维模型。由于第二目标图像与第一目标图像的相似度系数较高，即第二目标图像的拍摄光照条件与第一目标图像的拍摄光照条件近似，即第二目标图像与第一目标图像的颜色差异较小，因此，解决了模型生成过程中所采用的图像数据存在部分图像之间的颜色差异较大的问题，提高了训练好的预设物体三维重建网络的准确性，从而提高所生成的三维模型的质量。
步骤105，基于所述第一目标图像、所述掩码图像、所述内外参数据和所述三维模型，通过第二损失函数对预设纹理网络进行训练，基于训练好的预设纹理网络生成所述目标物体的三维模型的纹理图。
在本实施例中，目标物体的三维模型为基于训练好的预设物体三维重建网络中所生成的三维模型，由于该三维模型的质量较高，基于该三维模型、目标物体的内外参数据、第一目标图像、掩码图像对预设纹理网络进行训练，通过第二损失函数调整预设纹理网络，可使得训练得到的预设纹理网络的准确性较高，所生成的纹理图的质量也就更高，颜色也就更加准确。
其中，所述第一损失函数，基于所述第一目标图像和第一渲染图像的像素点颜色特征，所述第一目标图像对应的第二目标图像相似度区域和第一渲染图像相似度区域的图像特征以及图像结构相似性SSIM来确定，其中，所述第一渲染图像为所述预设物体三维重建网络基于输入数据生成的输出数据。
在本实施例中，利用目标物体的内外参数据、第一目标图像和至少一个第二目标图像对预设物体三维重建网络进行训练。预设物体三维重建网络基于输入数据输出第一渲染图像，根据第一渲染图像、第一目标图像、第二目标图像、第一损失函数，可确定损失值，对预设物体三维重建网络进行调整。
其中，第一损失函数可以是：
其中，λf、λs为预设的系数值。N1表示第二目标图像的图像数量，hok表示第一目标图像和第二目标图像的相似度系数。Uo表示第一目标图像的第一渲染图像上对应的相似度区域，Uk表示第二目标图像上对应的相似度区域。Ffeat()表示利用多层卷积的特征网络从图像提取的图像特征。Fs()表示图像结构相似性SSIM。uo表示第一目标图像与第二目标图像的图像相似度区域长度，Nc表示第一训练图像的图像通道数。
基于上述第一损失函数来对预设物体三维重建网络进行训练，考虑到了图像之间由于拍摄角度不同带来的光照损失以及颜色损失，可提高训练好的预设物体三维重建网络的准确性，从而提高后续生成的目标物体的三维模型的质量。
其中，所述第二损失函数，基于所述第一目标图像和所述第二渲染图像的像素点颜色特征来确定，其中，所述三维模型与纹理的一致性与所述像素点颜色特征相关联，所述第二渲染图像为所述预设纹理网络基于所述第二训练图像生成的输出数据。
在本实施例中，基于上述预设物体三维重建网络生成的三维模型、目标物体的内外参数据、第一目标图像、掩码图像至对预设纹理网络进行训练。预设纹理网络基于输入数据生成第二渲染图像，根据第二渲染图像、第一目标图像、第二损失函数，可确定损失值，对预设纹理网络进行调整。
其中，第二损失函数可以是：
其中，λrgb为预设的系数值。N表示第一目标图像的像素点数目。Cp表示第一目标图像上的某一像素点的颜色值。xoff为目标物体的三维模型的三维顶点偏移量参数，xp为目标物体的三维模型的三维顶点。Frgb(xp+xoff)为第二渲染图像像素点的颜色值。预设纹理网络的待训练的参数包括xoff。
基于上述第二损失函数来对预设纹理网络进行训练，考虑到了三维模型与纹理的位姿一致性的颜色损失，可提高训练好的预设纹理网络的准确性，从而提高后续生成的纹理图的质量。
需要说明的是，本申请的方法针对不同的目标物体，都需要重新进行预设物体三维重建网络以及预设纹理网络的训练，从而生成准确的三维模型和纹理图。
可选地，步骤102，基于所述掩码图像、内外参数据和所述稀疏点云数据，通过计算图像相似度区域，确定第一目标图像分别相对于N-1个拍摄图像的N-1个相似度系数，包括：
获取第三目标图像和待分析目标点，其中，所述第三目标图像为所述N-1个拍摄图像中的任一图像，所述待分析目标点为所述目标物体的稀疏点云数据上的第一目标图像和第三目标图像的像素点投影对应的最近的共同三维顶点；
确定所述待分析目标点在所述第一目标图像和所述第三目标图像之间的夹角余弦值；
基于所述夹角余弦值、所述掩码图像、所述待分析目标点到目标图像的距离，确定所述第一目标图像相对于所述第三目标图像的相似度系数，其中，所述待分析目标点到目标图像的距离与所述内外参数据相关联。
在本实施例中，第一目标图像上部分像素点均能够投影在稀疏点云数据上找到对应的三维顶点，同样的，第三目标图像上部分像素点也能够投影在稀疏点云数据上找到对应的三维顶点，当存在第一目标图像投影的三维顶点和第三目标图像投影的三维顶点相同并且距离第一目标图像和第三目标图像最近时，将该三维顶点确定为待分析目标点。
确定待分析目标点在所述第一目标图像和所述第三目标图像之间的夹角余弦值后，结合掩码图像以及待分析目标点到第一目标图像的距离、待分析目标点到第二目标图像的距离，确定第一目标图像和第三目标图像的相似度系数。
由于待分析目标点与第一目标图像和第三目标图像上的像素点存在对应关系，因此，待分析目标点在所述第一目标图像和所述第三目标图像之间的夹角余弦值，可与第一目标图像、第三目标图像的相似度相关联。对目标物体的稀疏点云的所有三维顶点均进行相应分析，可最终得到第一目标图像和第三目标图像的相似度系数。
可选地，所述确定所述待分析目标点在所述第一目标图像和所述第三目标图像之间的夹角余弦值，包括：
获取第一中心点和第二中心点，其中，所述第一中心点为所述第一目标图像对应的相机中心点，所述第二中心点为所述第三目标图像对应的相机中心点；
基于所述待分析目标点与所述第一中心点的向量以及所述待分析目标点与所述第二中心点之间的向量，确定所述夹角余弦值。
需要说明的是，待分析目标点在第一目标图像上对应的像素点(简称为第一像素点)，待分析目标点在第三目标图像上对应的像素点(简称为第二像素点)。在本实施例中，待分析目标点在所述第一目标图像和所述第三目标图像之间的夹角余弦值为：
其中，Cen(Io)为第一中心点，Cen(Ii)为第二中心点，x表示待分析目标点，Cen(Io)-x表示从待分析目标点至第一中心点的向量，Cen(Ii)-x表示从待分析目标点至第二中心点的向量。
在本实施例中，由于待分析目标点与第一像素点、第一中心点、第二像素点、第二中心点之间的关联，待分析目标点与第一中心点、第二中心点之间的向量夹角余弦值可用于表征第一像素点和第二像素点相似度，夹角余弦值越大，说明第一像素点和第二像素点的参数值越近似。
可选地，所述基于所述夹角余弦值、所述待分析目标点到目标图像的距离、所述掩码图像，确定所述第一目标图像相对于所述第三目标图像的相似度系数，包括：
基于所述夹角余弦值、所述待分析目标点到目标图像的距离和第一掩码像素值、第二掩码像素值，确定第一像素点和第二像素点之间的相似度区域，其中，所述待分析目标点在所述第一目标图像上对应的点为第一像素点，所述第一像素点在所述掩码图像上对应的点的像素值为所述第一掩码像素值，所述待分析目标点在所述第三目标图像上对应的点为第二像素点，所述第二像素点在所述掩码图像上对应的点的像素值为所述第二掩码像素值；
基于所述第一目标图像上所有第一像素点与所述第三目标图像上对应的所有第二像素点之间的相似度区域之和，确定所述第一目标图像相对于所述第三目标图像的相似度系数。
其中，待分析目标点为目标物体的稀疏点云数据上的第一目标图像和第三目标图像的像素点投影对应的最近的共同三维顶点，可以理解地，由于第一像素点、第二像素点与待分析目标点之间的对应关系，第一像素点和第二像素点虽然分别在两个图像中，但实质上对应的是稀疏点云数据上的同一个点。还需要考虑的是，稀疏点云数据上的三维顶点，可能是背景点，也可能是目标物体上的点，那么第一像素点、第二像素点也可能是目标物体上的点，或是背景点。基于第一掩码像素值和第二掩码像素值，可确定第一像素点和第二像素点是否为目标物体上的点。在本实施例中，仅确定属于目标物体上的第一像素点、第二像素点之间的相似度区域，排除了背景点的干扰，从而提高第一目标图像相对于第三目标图像的相似度系数的准确性。
此外，待分析目标点的数量可能有多个，那么针对每个待分析目标点对应的第一像素点和第二像素点，都可以求出对应的相似度区域，将所有第一像素点、第二像素点对应的相似度区域相加，得到的相似度区域之和，即为第一目标图像和第三目标图像之间的相似度区域，类似地，可采用同样的方式确定第一目标图像相对于N-1个拍摄图像的相似度区域，根据上述参数可进一步确定第一目标图像相对于第三目标图像的相似度系数：
其中，Sum(Uoi(Ii))表示第一目标图像上所有第一像素点与所述第三目标图像上对应的所有第二像素点之间的相似度区域之和，即第一目标图像与第三目标图像之间的相似度区域，Max(Uo(Io))表示第一目标图像的N-1个第三目标图像中相似度区域之和最大的那张图像的相似度区域。hoi越大，说明第一目标图像与第三目标图像的相似度越高。
通过上述方式，可确定第一目标图像相对于其他N-1个拍摄图像的N-1个相似度系数。
需要说明的是，当Max(Uo(Io))小于预设最小阈值的情况，认为第一目标图像在N-1个拍摄图像中，找不到相似度较高的第二目标图像。
可选地，所述基于所述夹角余弦值、所述待分析目标点到目标图像的距离和第一掩码像素值、第二掩码像素值，确定第一像素点和第二像素点之间的相似度区域，包括：
在所述第一掩码像素值和所述第二掩码像素值均大于0，且所述夹角余弦值大于预设余弦阈值的情况下，根据所述夹角余弦值、所述待分析目标点到目标图像的距离和所述预设余弦阈值，确定所述第一像素点和所述第二像素点之间的相似度区域。
在本实施例中，所述第一像素点和所述第二像素点之间的相似度区域的确定方式可以是：
其中，λu可以是任一大于3小于12的奇数值。Lo，Li分别表示待分析目标点到第一中心点和第二中心点的距离，即待分析目标点到第一目标图像的距离和待分析目标点到第二目标图像的距离，max()表示取最大值，min()表示取最小值。Fu()表示向下取奇数值。Sm为预设余弦阈值，SL为预设距离比值阈值，SL可以是大于0小于1的任意值。Io(x)·Mo为第一掩码像素值，Ii(x)·Mi为第二掩码像素值。cosθ为所述夹角余弦值。u为相似度区域长度。
在本实施例中，通过第一掩码像素值和第二掩码像素值，确定第一像素点和第二像素点对应的三维顶点为目标物体上的点，对于其分析是有效的。
在确定相似度区域长度u之后，以第一像素点或第二像素点为中心，可确定长度为u的相似度区域。如果u小于3则认为无相似度区域。
如图2所示，本申请实施例还提供一种物体的三维重建装置200，物体的三维重建装置200包括：
获取模块201，用于获取目标物体的N个拍摄图像，以及获取目标物体的掩码图像、内外参数据、稀疏点云数据，其中，所述N个拍摄图像的拍摄角度不同，N为大于60小于400的整数；
第一确定模块202，用于基于所述掩码图像、内外参数据和所述稀疏点云数据，通过计算图像相似度区域，确定第一目标图像分别相对于N-1个拍摄图像的N-1个相似度系数，其中，所述第一目标图像为所述N个拍摄图像中的任一图像，所述N-1个拍摄图像为所述N个拍摄图像中除所述第一目标图像之外的图像；
第二确定模块203，用于基于所述第一目标图像的N-1个相似度系数和预设相似度系数，从所述N-1个拍摄图像中选取至少一个第二目标图像，其中，所述至少一个第二目标图像对应的相似度系数大于所述预设相似度系数；
第一生成模块204，用于基于所述第一目标图像、所述第一目标图像对应的至少一个第二目标图像、所述掩码图像和所述内外参数据，通过第一损失函数对预设物体三维重建网络进行训练，基于训练好的预设物体三维重建网络生成所述目标物体的三维模型；
第二生成模块205，用于基于所述第一目标图像、所述掩码图像、所述内外参数据和所述三维模型，通过第二损失函数对预设纹理网络进行训练，基于训练好的预设纹理网络生成所述目标物体的三维模型的纹理图；
其中，所述第一损失函数，基于所述第一目标图像和第一渲染图像的像素点颜色特征，所述第一目标图像对应的第二目标图像相似度区域和第一渲染图像相似度区域的图像特征以及图像结构相似性SSIM来确定，其中，所述第一渲染图像为所述预设物体三维重建网络基于输入数据生成的输出数据；
所述第二损失函数，基于所述第一目标图像和第二渲染图像的像素点颜色特征来确定，其中，所述三维模型与纹理的一致性与所述像素点颜色特征相关联，所述第二渲染图像为所述预设纹理网络基于输入数据生成的输出数据。
可选地，第一确定模块202包括：
第一获取子模块，用于获取第三目标图像和待分析目标点，其中，所述第三目标图像为所述N-1个拍摄图像中的任一图像，所述待分析目标点为所述目标物体的稀疏点云数据上的第一目标图像和第三目标图像的像素点投影对应的最近的共同三维顶点；
第一确定子模块，用于确定所述待分析目标点在所述第一目标图像和所述第三目标图像之间的夹角余弦值；
第二确定子模块，用于基于所述夹角余弦值、所述掩码图像、所述待分析目标点到目标图像的距离，确定所述第一目标图像相对于所述第三目标图像的相似度系数，其中，所述待分析目标点到目标图像的距离与所述内外参数据相关联。
可选地，第一确定子模块还用于：
获取第一中心点和第二中心点，其中，所述第一中心点为所述第一目标图像对应的相机中心点，所述第二中心点为所述第三目标图像对应的相机中心点；
基于所述待分析目标点与所述第一中心点的向量以及所述待分析目标点与所述第二中心点之间的向量，确定所述夹角余弦值。
可选地，第二确定子模块还用于：
基于所述夹角余弦值、所述待分析目标点到目标图像的距离和第一掩码像素值、第二掩码像素值，确定第一像素点和第二像素点之间的相似度区域，其中，所述待分析目标点在所述第一目标图像上对应的点为第一像素点，所述第一像素点在所述掩码图像上对应的点的像素值为所述第一掩码像素值，所述待分析目标点在所述第三目标图像上对应的点为第二像素点，所述第二像素点在所述掩码图像上对应的点的像素值为所述第二掩码像素值；
基于所述第一目标图像上所有第一像素点与所述第三目标图像上对应的所有第二像素点之间的相似度区域之和，确定所述第一目标图像相对于所述第三目标图像的相似度系数。
可选地，第二确定子模块还用于：
在所述第一掩码像素值和所述第二掩码像素值均大于0，且所述夹角余弦值大于预设余弦阈值的情况下，根据所述夹角余弦值、所述待分析目标点到目标图像的距离和所述预设余弦阈值，确定所述第一像素点和所述第二像素点之间的相似度区域。
需要说明的是，本申请实施例提供的物体的三维重建装置200能够实现如图1实施例所示的物体的三维重建方法的全部技术过程，并达到相同的技术效果，为避免重复，在此不再赘述。
本申请实施例中的装置可以是电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(MobileInternet Device，MID)、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，非移动电子设备还可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。
可选地，如图3所示，本申请实施例还提供一种电子设备300，包括处理器301和存储器302，存储器302上存储有可在处理器301上运行的程序或指令，该程序或指令被处理器301执行时实现上述物体的三维重建方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述物体的三维重建方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本申请实施例还提供一种计算机程序产品，包括计算机指令，所述计算机指令被处理器执行时实现上述图1所示物体的三维重建方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
以上，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种物体的三维重建方法，其特征在于，所述方法包括：
获取目标物体的N个拍摄图像，以及获取目标物体的掩码图像、内外参数据、稀疏点云数据，其中，所述N个拍摄图像的拍摄角度不同，N为大于60小于400的整数；
基于所述掩码图像、内外参数据和所述稀疏点云数据，通过计算图像相似度区域，确定第一目标图像分别相对于N-1个拍摄图像的N-1个相似度系数，其中，所述第一目标图像为所述N个拍摄图像中的任一图像，所述N-1个拍摄图像为所述N个拍摄图像中除所述第一目标图像之外的图像；
基于所述第一目标图像的N-1个相似度系数和预设相似度系数，从所述N-1个拍摄图像中选取至少一个第二目标图像，其中，所述至少一个第二目标图像对应的相似度系数大于所述预设相似度系数；
基于所述第一目标图像、所述第一目标图像对应的至少一个第二目标图像、所述掩码图像和所述内外参数据，通过第一损失函数对预设物体三维重建网络进行训练，基于训练好的预设物体三维重建网络生成所述目标物体的三维模型；
基于所述第一目标图像、所述掩码图像、所述内外参数据和所述三维模型，通过第二损失函数对预设纹理网络进行训练，基于训练好的预设纹理网络生成所述目标物体的三维模型的纹理图；
其中，所述第一损失函数，基于所述第一目标图像和第一渲染图像的像素点颜色特征，所述第一目标图像对应的第二目标图像相似度区域和第一渲染图像相似度区域的图像特征以及图像结构相似性SSIM来确定，其中，所述第一渲染图像为所述预设物体三维重建网络基于输入数据生成的输出数据；
所述第二损失函数，基于所述第一目标图像和第二渲染图像的像素点颜色特征来确定，其中，所述三维模型与纹理的一致性与所述像素点颜色特征相关联，所述第二渲染图像为所述预设纹理网络基于输入数据生成的输出数据。
2.如权利要求1所述的方法，其特征在于，所述基于所述掩码图像、内外参数据和所述稀疏点云数据，通过计算图像相似度区域，确定第一目标图像分别相对于N-1个拍摄图像的N-1个相似度系数，包括：
获取第三目标图像和待分析目标点，其中，所述第三目标图像为所述N-1个拍摄图像中的任一图像，所述待分析目标点为所述目标物体的稀疏点云数据上的第一目标图像和第三目标图像的像素点投影对应的最近的共同三维顶点；
确定所述待分析目标点在所述第一目标图像和所述第三目标图像之间的夹角余弦值；
基于所述夹角余弦值、所述掩码图像、所述待分析目标点到目标图像的距离，确定所述第一目标图像相对于所述第三目标图像的相似度系数，其中，所述待分析目标点到目标图像的距离与所述内外参数据相关联。
3.如权利要求2所述的方法，其特征在于，所述确定所述待分析目标点在所述第一目标图像和所述第三目标图像之间的夹角余弦值，包括：
获取第一中心点和第二中心点，其中，所述第一中心点为所述第一目标图像对应的相机中心点，所述第二中心点为所述第三目标图像对应的相机中心点；
基于所述待分析目标点与所述第一中心点的向量以及所述待分析目标点与所述第二中心点之间的向量，确定所述夹角余弦值。
4.如权利要求2所述的方法，其特征在于，所述基于所述夹角余弦值、所述待分析目标点到目标图像的距离和所述掩码图像，确定所述第一目标图像相对于所述第三目标图像的相似度系数，包括：
基于所述夹角余弦值、所述待分析目标点到目标图像的距离和第一掩码像素值、第二掩码像素值，确定第一像素点和第二像素点之间的相似度区域，其中，所述待分析目标点在所述第一目标图像上对应的点为第一像素点，所述第一像素点在所述掩码图像上对应的点的像素值为所述第一掩码像素值，所述待分析目标点在所述第三目标图像上对应的点为第二像素点，所述第二像素点在所述掩码图像上对应的点的像素值为所述第二掩码像素值；
基于所述第一目标图像上所有第一像素点与所述第三目标图像上对应的所有第二像素点之间的相似度区域之和，确定所述第一目标图像相对于所述第三目标图像的相似度系数。
5.如权利要求4所述的方法，其特征在于，所述基于所述夹角余弦值、所述待分析目标点到目标图像的距离和第一掩码像素值、第二掩码像素值，确定第一像素点和第二像素点之间的相似度区域，包括：
在所述第一掩码像素值和所述第二掩码像素值均大于0，且所述夹角余弦值大于预设余弦阈值的情况下，根据所述夹角余弦值、所述待分析目标点到目标图像的距离和所述预设余弦阈值，确定所述第一像素点和所述第二像素点之间的相似度区域。
6.一种物体的三维重建装置，其特征在于，所述装置包括：
获取模块，用于获取目标物体的N个拍摄图像，以及获取目标物体的掩码图像、内外参数据、稀疏点云数据，其中，所述N个拍摄图像的拍摄角度不同，N为大于60小于400的整数；
第一确定模块，用于基于所述掩码图像、内外参数据和所述稀疏点云数据，通过计算图像相似度区域，确定第一目标图像分别相对于N-1个拍摄图像的N-1个相似度系数，其中，所述第一目标图像为所述N个拍摄图像中的任一图像，所述N-1个拍摄图像为所述N个拍摄图像中除所述第一目标图像之外的图像；
第二确定模块，用于基于所述第一目标图像的N-1个相似度系数和预设相似度系数，从所述N-1个拍摄图像中选取至少一个第二目标图像，其中，所述至少一个第二目标图像对应的相似度系数大于所述预设相似度系数；
第一生成模块，用于基于所述第一目标图像、所述第一目标图像对应的至少一个第二目标图像、所述掩码图像和所述内外参数据，通过第一损失函数对预设物体三维重建网络进行训练，基于训练好的预设物体三维重建网络生成所述目标物体的三维模型；
第二生成模块，用于基于所述第一目标图像、所述掩码图像、所述内外参数据和所述三维模型，通过第二损失函数对预设纹理网络进行训练，基于训练好的预设纹理网络生成所述目标物体的三维模型的纹理图；
其中，所述第一损失函数，基于所述第一目标图像和第一渲染图像的像素点颜色特征，所述第一目标图像对应的第二目标图像相似度区域和第一渲染图像相似度区域的图像特征以及图像结构相似性SSIM来确定，其中，所述第一渲染图像为所述预设物体三维重建网络基于输入数据生成的输出数据；
所述第二损失函数，基于所述第一目标图像和第二渲染图像的像素点颜色特征来确定，其中，所述三维模型与纹理的一致性与所述像素点颜色特征相关联，所述第二渲染图像为所述预设纹理网络基于输入数据生成的输出数据。
7.如权利要求6所述的装置，其特征在于，所述第一确定模块包括：
第一获取子模块，用于获取第三目标图像和待分析目标点，其中，所述第三目标图像为所述N-1个拍摄图像中的任一图像，所述待分析目标点为所述目标物体的稀疏点云上的第一目标图像和第三目标图像的像素点投影对应的最近的共同三维顶点；
第一确定子模块，用于确定所述待分析目标点在所述第一目标图像和所述第三目标图像之间的夹角余弦值；
第二确定子模块，用于基于所述夹角余弦值、所述掩码图像、所述待分析目标点到目标图像的距离，确定所述第一目标图像相对于所述第三目标图像的相似度系数，其中，所述待分析目标点到目标图像的距离与所述内外参数据相关联。
8.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求中1至5中任一项所述的物体的三维重建方法的步骤。
9.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1至5中任一项所述的物体的三维重建方法的步骤。
10.一种计算机程序产品，其特征在于，包括计算机指令，所述计算机指令被处理器执行时实现如权利要求1至5中任一项所述的物体的三维重建方法的步骤。
CN202410304498.4A 2024-03-18 2024-03-18 物体的三维重建方法、装置、电子设备及可读存储介质 Pending CN118154780A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410304498.4A CN118154780A (zh) 2024-03-18 2024-03-18 物体的三维重建方法、装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410304498.4A CN118154780A (zh) 2024-03-18 2024-03-18 物体的三维重建方法、装置、电子设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN118154780A true CN118154780A (zh) 2024-06-07

Family

ID=91296391

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410304498.4A Pending CN118154780A (zh) 2024-03-18 2024-03-18 物体的三维重建方法、装置、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN118154780A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114359509A (zh) * 2021-12-03 2022-04-15 三峡大学 一种基于深度学习的多视图自然场景重建方法
WO2023093739A1 (zh) * 2021-11-25 2023-06-01 华为技术有限公司 一种多视图三维重建的方法
CN117152352A (zh) * 2023-08-11 2023-12-01 北京百度网讯科技有限公司 图像处理方法、深度学习模型训练方法及装置
CN117237431A (zh) * 2022-06-02 2023-12-15 鸿海精密工业股份有限公司 深度估计模型的训练方法、装置、电子设备及存储介质
CN117351172A (zh) * 2023-10-25 2024-01-05 咪咕文化科技有限公司 三维重建方法、装置、设备及可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023093739A1 (zh) * 2021-11-25 2023-06-01 华为技术有限公司 一种多视图三维重建的方法
CN114359509A (zh) * 2021-12-03 2022-04-15 三峡大学 一种基于深度学习的多视图自然场景重建方法
CN117237431A (zh) * 2022-06-02 2023-12-15 鸿海精密工业股份有限公司 深度估计模型的训练方法、装置、电子设备及存储介质
CN117152352A (zh) * 2023-08-11 2023-12-01 北京百度网讯科技有限公司 图像处理方法、深度学习模型训练方法及装置
CN117351172A (zh) * 2023-10-25 2024-01-05 咪咕文化科技有限公司 三维重建方法、装置、设备及可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
余翀: "基于半监督生成对抗网络的三维重建云工作室", 智能科学与技术学报, no. 01, 15 March 2019 (2019-03-15) *

Similar Documents

Publication Publication Date Title
Wang et al. Deep learning for hdr imaging: State-of-the-art and future trends
TWI709107B (zh) 影像特徵提取方法及包含其顯著物體預測方法
CN110378838B (zh) 变视角图像生成方法，装置，存储介质及电子设备
CN110599395B (zh) 目标图像生成方法、装置、服务器及存储介质
CN108694705B (zh) 一种多帧图像配准与融合去噪的方法
CN114666564B (zh) 一种基于隐式神经场景表示进行虚拟视点图像合成的方法
CN107330439A (zh) 一种图像中物体姿态的确定方法、客户端及服务器
CN110381268B (zh) 生成视频的方法，装置，存储介质及电子设备
CN113688907B (zh) 模型训练、视频处理方法，装置，设备以及存储介质
US11961266B2 (en) Multiview neural human prediction using implicit differentiable renderer for facial expression, body pose shape and clothes performance capture
CN115294275A (zh) 三维模型的重建方法、装置及计算机可读存储介质
CN111080776B (zh) 人体动作三维数据采集和复现的处理方法及系统
Luo et al. Wavelet synthesis net for disparity estimation to synthesize dslr calibre bokeh effect on smartphones
CN114996814A (zh) 一种基于深度学习与三维重建的家具设计系统
CN112509144A (zh) 人脸图像处理方法、装置、电子设备及存储介质
CN114463230A (zh) 一种图像处理方法及相关设备
CN110111364A (zh) 运动检测方法、装置、电子设备及存储介质
EP4292059A1 (en) Multiview neural human prediction using implicit differentiable renderer for facial expression, body pose shape and clothes performance capture
CN116091871B (zh) 一种针对目标检测模型的物理对抗样本生成方法及装置
CN116843551A (zh) 一种图像处理方法、装置、电子设备及存储介质
CN112712525A (zh) 多方图像交互系统及方法
CN117058183A (zh) 一种基于双摄像头的图像处理方法、装置、电子设备及存储介质
CN116934591A (zh) 多尺度特征提取的图像拼接方法、装置、设备及存储介质
CN118154780A (zh) 物体的三维重建方法、装置、电子设备及可读存储介质
CN111260544A (zh) 数据处理方法及装置、电子设备和计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination