CN118052926A - 图像渲染方法、装置及电子设备 - Google Patents

图像渲染方法、装置及电子设备 Download PDF

Info

Publication number
CN118052926A
CN118052926A CN202410253693.9A CN202410253693A CN118052926A CN 118052926 A CN118052926 A CN 118052926A CN 202410253693 A CN202410253693 A CN 202410253693A CN 118052926 A CN118052926 A CN 118052926A
Authority
CN
China
Prior art keywords
nerf
points
rendering
space
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410253693.9A
Other languages
English (en)
Inventor
李东
刘祥德
赵飞飞
于金波
严旭
魏榕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Digital City Research Center
Original Assignee
Beijing Digital City Research Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Digital City Research Center filed Critical Beijing Digital City Research Center
Priority to CN202410253693.9A priority Critical patent/CN118052926A/zh
Publication of CN118052926A publication Critical patent/CN118052926A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Image Generation (AREA)

Abstract

本申请提供一种图像渲染方法、装置及电子设备，涉及计算机视觉技术领域，其中方法包括：将M个空间点的第一观测信息分别输入N个神经辐射场NeRF模型，得到M个空间点的N份渲染信息，渲染信息包括第一RGB参数和第一体密度中的至少一项，M个空间点为待渲染3D场景中位于同一射线的空间点，M和N为大于1的整数；分别确定每个空间点的每份渲染信息的权重；根据M个空间点的N份渲染信息和每个空间点的每份渲染信息的权重，进行体渲染，得到M个空间点对应的像素的第一颜色。本申请并非直接基于体渲染对N个NeRF模型输出的M个空间点的N份渲染信息进行同等积分，而是根据每个空间点的每份渲染信息的权重进行积分(即体渲染)，能够有效减少图像色差。

Description

图像渲染方法、装置及电子设备
技术领域
本申请涉及计算机视觉技术领域，尤其涉及一种图像渲染方法、装置及电子设备。
背景技术
神经辐射场(Neural Radiance Field，NeRF)模型使用神经网络来表征三维场景。对于大场景，通常采集的数据量较大，单个NeRF模型难以覆盖全量数据，因此需要将数据分成多块来分别训练不同的NeRF模型，以使不同的NeRF模型能够用于渲染同一场景下不同区域的图像。NeRF模型使用体渲染方法渲染图片，图片中的每个像素对应一条3D射线，对3D射线上的各空间点(也可称为采样点)的密度和颜色积分，能够得到3D射线对应的像素的颜色。在使用不同NeRF模型分别渲染同一场景下不同区域的图像时，每个NeRF模型均会输出某3D射线上的各空间点的密度和颜色，基于体渲染对每个NeRF模型输出的空间点的密度和颜色进行积分，再对积分后的结果进行组合，能够得到该条射线对应的像素的信息。
然而，由于不同NeRF模型的训练数据的覆盖区域有差异，导致不同NeRF模型在不同区域的渲染质量存在差异，直接基于体渲染对每个NeRF模型输出的空间点的渲染信息进行同等积分，再对积分后的结果进行组合，将导致图像存在色差。
发明内容
本申请实施例提供了一种图像渲染方法、装置及电子设备，以解决由于不同NeRF模型在不同区域的渲染质量存在差异，直接基于体渲染对每个NeRF模型输出的空间点的渲染信息进行同等积分，导致图像存在色差的问题。
为了解决上述技术问题，本申请是这样实现的；
第一方面，本申请实施例提供了一种图像渲染方法，所述方法包括：
将M个空间点的第一观测信息分别输入N个神经辐射场NeRF模型，得到所述M个空间点的N份渲染信息，所述渲染信息包括第一RGB参数和第一体密度中的至少一项，所述M个空间点为待渲染3D场景中位于同一射线的空间点，M和N为大于1的整数；
分别确定每个空间点的每份渲染信息的权重；
根据所述M个空间点的N份渲染信息和每个空间点的每份渲染信息的权重，进行体渲染，得到所述M个空间点对应的像素的第一颜色。
第二方面，本申请实施例提供了一种图像渲染装置，包括：
第一获取模块，用于将M个空间点的第一观测信息分别输入N个神经辐射场NeRF模型，得到所述M个空间点的N份渲染信息，所述渲染信息包括第一RGB参数和第一体密度中的至少一项，所述M个空间点为待渲染3D场景中位于同一射线的空间点，M和N为大于1的整数；
确定模块，用于分别确定每个空间点的每份渲染信息的权重；
渲染模块，用于根据所述M个空间点的N份渲染信息和每个空间点的每份渲染信息的权重，进行体渲染，得到所述M个空间点对应的像素的第一颜色。
第三方面，本申请实施例提供了一种电子设备，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序，所述程序被所述处理器执行时实现如第一方面所述的图像渲染方法的步骤。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的图像渲染方法的步骤。
第五方面，本申请实施例提供了一种计算机程序产品，包括计算机指令，所述计算机指令被处理器执行时实现如第一方面所述的图像渲染方法的步骤。
本申请实施例中，将M个空间点的第一观测信息分别输入N个NeRF模型，每个NeRF模型均会输出每个空间的一份渲染信息，从而得到M个空间点的N份渲染信息；分别确定每个空间点的每份渲染信息的权重，并根据M个空间点的N份渲染信息和每个空间点的每份渲染信息的权重，进行体渲染，从而得到M个空间点对应的像素的第一颜色。本申请实施例在通过多个NeRF模型进行同一3D场景的渲染的过程中，并非直接基于体渲染对N个NeRF模型输出的M个空间点的N份渲染信息进行同等积分，而是根据每个空间点的每份渲染信息的权重进行积分(即体渲染)，能够有效减少图像色差。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种图像渲染方法的流程图之一；
图2为本申请实施例提供的一种图像渲染方法的流程图之二；
图3为本申请实施例提供的一种图像渲染装置的结构图；
图4为本申请实施例提供的一种电子设备的结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”所区别的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”一般表示前后关联对象是一种“或”的关系。
为便于理解，以下对本申请涉及到的相关内容进行说明。
新视角图像合成技术属于计算机视觉和计算机图形学相结合领域中的任务。在新视角合成领域，神经辐射场(Neural Radiance Field，NeRF)从诞生至今一直保持着不俗的热度，已经成为神经渲染中重要分支。基于一系列不同视角的拍摄图片可对NeRF进行训练，训练之后的NeRF使用神经网络来表征上述拍摄图片对应的三维场景，基于训练之后的NeRF能够渲染出不同相机位姿(相机位姿包括相机三维坐标和相机的朝向)的图片。通常NeRF模型都能较好地渲染训练相机位姿(即训练图片的相机位姿)的图片，对于训练数据未覆盖的区域，渲染结果随机。
对于大场景而言，单个NeRF模型表达能力有限，如果参与训练的视角图像过多或者拍摄场景太大，会导致渲染图片模糊。因此，相关技术中，可以将大场景的数据分成多块，用于分别训练不同的NeRF模型，以使不同的NeRF模型用于渲染出同一场景下不同区域的图像。NeRF模型基于空间点的观测信息，能够得到空间点的RGB参数(3D向量c＝(R,G,B))和体密度，在得到空间点的RGB参数和体密度之后，可以基于体渲染方法渲染图片。具体地，图片中的每个像素对应一条3D射线，对3D射线上的各空间点(也可称为采样点)的密度和RGB参数积分，能够得到3D射线对应的像素的颜色。在使用不同NeRF模型分别渲染同一场景下不同区域的图像时，每个NeRF模型均会输出某3D射线上的各空间点的密度和RGB参数，基于体渲染对每个NeRF模型输出的空间点的体密度和RGB参数进行积分，再对积分后的结果进行组合，能够得到该条射线对应的像素的信息。
然而，每个NeRF模型均会输出某3D射线上的各空间点的密度和RGB参数，由于不同NeRF模型的训练数据的覆盖区域有差异，导致不同NeRF模型在不同区域的渲染质量存在差异，若直接基于体渲染对每个NeRF模型输出的空间点的渲染信息进行同等积分，再对积分后的结果进行组合，将导致图像存在色差。
为了解决由于不同NeRF模型在不同区域的渲染质量存在差异，直接基于体渲染对每个NeRF模型输出的空间点的渲染信息进行同等积分，导致图像存在色差的问题，本申请实施例提供了一种图像渲染方法、装置及电子设备。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的图像渲染方法进行详细地说明。
参见图1，图1是本申请实施例提供的一种图像渲染方法的流程图之一，如图1所示，所述方法包括以下步骤：
步骤101、将M个空间点的第一观测信息分别输入N个NeRF模型，得到所述M个空间点的N份渲染信息，所述渲染信息包括第一RGB参数和第一体密度中的至少一项，所述M个空间点为待渲染3D场景中位于同一射线的空间点，M和N为大于1的整数；
步骤102、分别确定每个空间点的每份渲染信息的权重；
步骤103、根据所述M个空间点的N份渲染信息和每个空间点的每份渲染信息的权重，进行体渲染，得到所述M个空间点对应的像素的第一颜色。
本申请实施例中的N个NeRF模型是已经经过训练后的NeRF模型，N个NeRF的神经网络中保存有上述待渲染3D场景中不同区域的3D模型。基于N个NeRF模型能够得到不同拍摄视角下的上述3D场景对应的图片。
以下对如对NeRF模型进行训练进行示例性说明。
训练NeRF模型的输入数据为：从不同位置拍摄同一3D场景的照片序列，以及拍摄这些图片的相机位姿、相机内参。在3D场景较大时，可将上述从不同位置拍摄的同一3D场景的照片序列分成多块，来训练不同的NeRF模型(即上述N个NeRF模型)。以N等于3作为示例，可将同一3D场景的照片切分为同一3D场景的第一区域的照片、第二区域的照片以及第三区域的照片来分别训练3个不同的NeRF模型，以使不同的NeRF模型中可分别保存有第一区域、第二区域和第三区域的3D模型。其中，上述3个不同的NeRF模型中的任一NeRF模型与其他的NeRF模型存在直接或间接的共视区域。直接的共视区域例如：NeRF模型A与NeRF模型B分别保存的3D模型存在部分重合，则NeRF模型A与NeRF模型B存在直接的共视区域；间接的共视区域例如：NeRF模型A与NeRF模型B分别保存的3D模型存在部分重合，NeRF模型B与NeRF模型C分别保存的3D模型存在部分重合，则NeRF模型A与NeRF模型C存在间接的共视区域。
在对N个NeRF模型进行训练之后，能够基于N个NeRF模型得到任意相机位姿下3D场景的图片。
在步骤101之前，需对相机位姿进行预处理，以得到3D射线的参数，再根据预设的采样标准得到每条3D射线的各采样点的观测信息。以下，对其进行示例性说明：
在需要得到A相机位姿(包括相机位置(三维坐标)以及相机朝向)下3D场景的图片时，对A相机位姿进行处理，基于A相机位姿和相机内参得到多条3D射线的表达式：
r(t)＝o+tj·d (1)
其中r为射线，o为相机的中心点坐标(也即射线的原点)，d为射线的方向，tj是空间点(或采样点)到射线起点的距离，j的取值可根据实际需求设置，例如可在一条射线上均匀采样空间点(j＝1、2...N)
根据上述每条3D射线的表达式，可以得到每条3D射线上各空间点的观测信息(包括空间点坐标和观测方向)，一条射线的体渲染结果对应于图像上的一个像素的颜色。
本申请实施例中，M个空间点为待渲染3D场景中位于同一射线的空间点，将M个空间点的第一观测信息(包括空间点的坐标x＝(x,y,z)，以及观测的方向)分别输入N个NeRF模型，能够得到N个NeRF模型输出的M个空间点的N份渲染信息，即每个NeRF模型均会输出每个空间点的一份渲染信息。
分别确定每个空间点的每份渲染信息的权重。在一些实施例中，权重可以是预先自定义的，例如预先自定义训练较差的NeRF模型输出的空间点的渲染信息的权重较低；在另一些实施例中，权重可以是根据空间点与NeRF模型之间的欧式距离确定，例如：空间点与NeRF模型中心点之间的欧式距离负相关，在空间点A与NeRF模型A的中心点的欧式距离大于空间点A与NeRF模型B的中心点的欧式距离的情况下，NeRF模型A输出的空间点A的渲染信息的权重小于NeRF模型B输出的空间点A的渲染信息的权重。
在确定每个空间点的每份渲染信息的权重之后，可以根据M个空间点的N份渲染信息和每个空间点的每份渲染信息的权重，进行积分(即体渲染)。
为了更清楚地理解本申请实施例的技术方案，以下对本申请实施例中的按照权重进行体渲染进行示例性说明。
示例性地，可根据如下公式进行体渲染：
其中，C(r)表示所述第一颜色，i表示所述N个NeRF模型中第i个NeRF模型，j表示所述M个空间点中的第j个空间点，k表示所述M个空间点中的第k个空间点，表示所述第i个NeRF模型输出的所述第j个空间点的一份渲染信息的权重，/>表示所述第i个NeRF模型输出的所述第k个空间点的第一体密度(体密度可以理解为该空间点的不透明度)，δk表示所述第k个空间点与第(k-1)个空间点之间的距离，/>表示所述第i个NeRF模型输出的所述第j个空间点的第一体密度，δj表示所述第j个空间点与第(j-1)个空间点之间的距离，/>表示所述第i个NeRF模型输出的所述第j个空间点的第一RGB参数。
本申请实施例在通过多个NeRF模型进行同一3D场景的渲染的过程中，并非直接基于体渲染对N个NeRF模型输出的M个空间点的N份渲染信息进行同等积分，而是根据每个空间点的每份渲染信息的权重进行积分(即体渲染)，能够有效减少图像色差。
可选地，步骤102，包括：
确定所述第一空间点(M个空间点中的任一空间点)的坐标与所述N个NeRF模型对应的中心点坐标的欧式距离；
根据所述第一空间点的坐标与所述N个NeRF模型对应的中心点坐标的欧式距离，确定所述第一空间点的N份渲染信息的权重，所述第一空间点的每份渲染信息的权重，与所述第一空间点的坐标与NeRF模型的中心点坐标的欧式距离负相关。
NeRF模型的中心点坐标可根据NeRF模型的训练数据确定，具体地，可根据NeRF模型的各个训练图片的相机位置(即相机的三维坐标)，确定该NeRF模型的中心点坐标。公式如下：
式中，Mi为第i个NeRF模型的中心点坐标，Ni为第i个NeRF模型的训练图片的数量，Pt为训练图片的相机位置。
在确定NeRF模型的中心点坐标之后，确定空间点的坐标与NeRF模型的中心点坐标之间的欧式距离。公式如下：
式中，Mi为第i个NeRF模型的中心点坐标，xj为M个空间点中的第j个空间点，为第j个空间点与第i个NeRF模型的中心点的欧式距离。
根据欧式距离，可确定对应的权重。公式如下：
式中，表示第i个NeRF模型输出的第j个空间点的一份渲染信息的权重，/>表示N个NeRF模型的中心点与第j个空间点的欧式距离之和，α为超参数。根据公式5，可得到M个空间点的N份渲染信息的权重(N份渲染信息的权重也即N个模型输出的空间点的N份渲染信息分别对应的权重)。
根据上述公式5可知，在确定上述第一空间点的N份渲染信息的权重时，公式5中的分母始终等于N个NeRF模型的中心点与第一空间点的欧式距离之和，分子为第一空间点与某NeRF模型的欧式距离的(-α)次方。可见，第一空间点的每份渲染信息的权重，与第一空间点的坐标与NeRF模型的中心点坐标的欧式距离负相关。
本申请实施例中，根据空间点的坐标与NeRF模型的中心点坐标的欧式距离，来确定渲染信息的权重，在NeRF模型的中心点与第一空间点的欧式距离越近的情况下，该NeRF模型输出的第一空间点的渲染信息的权重越高。欧式距离越近则能够得到较为准确的渲染信息，通过赋予更高的权重，有利于减少图像色差。
可选地，所述方法还包括：
获取每个空间点的每份渲染信息的有效性，所述有效性由所述NeRF模型确定；
所述根据所述M个空间点的N份渲染信息和每个空间点的每份渲染信息的权重，进行体渲染，得到所述M个空间点对应的像素的第一颜色，包括：
根据所述M个空间点的N份渲染信息、每个空间点的每份渲染信息的权重和每个空间点的每份渲染信息的有效性，进行体渲染，得到所述M个空间点对应的像素的第一颜色。
该实施方式中，每个NeRF模型在输出空间点的渲染信息的同时，每个NeRF模型还会输出该渲染信息的有效性。
有效性与渲染效果相关，每个NeRF模型都有渲染较好和渲染不好两种区域，在NeRF模型A中若空间点A的渲染质量较差，则NeRF模型A输出的空间点A的那份渲染信息的有效性较低。
渲染过程，是优先渲染离相机近的区域，所以会存在某个NeRF模型的低质量区域遮挡了其他高质量区域的情况，导致渲染图片不是最优解，因此本申请实施例还根据有效性来进行体渲染，在渲染时剔除低质量区域，避免影响高质量区域的渲染。
在一些实施例中，有效性可以分为有效和无效，可分别用参数“1”表示有效，参数“0”表示无效。根据有效性参数，在体渲染的过程中可以筛除无效的渲染信息。
在另一些实施例中，有效性还可以包括具体的有效值(例如有效百分比等)，根据有效值可以判断是否要筛去渲染信息。例如，在空间点A的某份渲染信息的有效值小于预设值的情况下，可确定需筛去该空间点的该份渲染信息。
本申请实施例中，还基于渲染信息的有效性来进行体渲染，能够实现在渲染时剔除低质量区域，避免影响高质量区域，从而有利于减少图像噪点，进一步提高图像质量。
以下以第一NeRF模型(第一NeRF模型为N个NeRF模型中的任一NeRF模型)作为示例，对如何确定第一NeRF模型输出的M个空间点的渲染信息的有效性进行说明。
在一些实施例中，所述有效性根据如下步骤得到：
a.所述N个NeRF模型中的第一NeRF模型在所述M个空间点的第一被观测信息中分别融合对应的扰动变量，得到所述M个空间点的第二被观测信息；
b.所述第一NeRF模型根据所述M个空间点的第二被观测信息，确定所述M个空间点的第二RGB参数和第二体密度，并基于体渲染得到所述M个空间点对应的像素的第二颜色；
c.所述第一NeRF模型根据所述第二颜色和所述M个空间点对应的扰动变量，确定所述M个空间点对应的雅可比矩阵；
d.所述第一NeRF模型根据所述M个空间点对应的雅可比矩阵，确定所述M个空间点对应的海森矩阵；
e.所述第一NeRF模型根据所述M个空间点对应的海森矩阵，确定所述M个空间点的由所述第一NeRF模型输出的渲染信息的有效性。
步骤a中，第一NeRF模型在所述M个空间点的第一被观测信息中分别融合对应的扰动变量，该扰动变量是可微的，在第一被观测信息中融合对应的扰动变量主要是在M个空间点的三维坐标中融合对应的扰动变量：
式中，xj为第一观测信息中第j个空间点的坐标，Δxj是融合的第j个点对应的扰动变量，为第二观测信息中融合了对应扰动变量的第j个空间点的坐标。
需要提出的是，第一观测信息中的观测方向和第二观测信息中的观测方向相同，均为公式1中的射线方向d。
步骤b中，第一NeRF模型基于M个空间点的第二被观测信息，确定M个空间点的第二RGB参数和第二体密度，
并基于标准体渲染公式得到带扰动的M个空间点对应的像素的第二颜色：
式中，表示第一NeRF模型根据第二观测信息确定的第k个空间点的第二体密度，δk表示第k个空间点与第(k-1)个空间点之间的距离，/>表示第一NeRF模型根据第二观测信息确定的第j个空间点的第二体密度，δj表示第j个空间点与第(j-1)个空间点之间的距离，表示第一NeRF模型根据第二观测信息确定的第j个空间点的第二RGB参数
步骤c中，确定各空间点的雅可比矩阵：
步骤d中，根据各空间点的雅可比矩阵，确定各空间点对应的海森矩阵，可使用拉普拉斯近似计算海森矩阵：
式中，为空间点j对应的雅可比矩阵，/>为矩阵的转置，λ是扰动量Δx的方差的倒数，I为单位矩阵。
各空间点对应的海森矩阵的值用于表征该空间点的扰动对体渲染结果的影响，因此在空间点对应的海森矩阵的值较高时，说明空间点的不确定度较高，故可根据空间点对应的海森矩阵确定NeRF模型输出的该空间点的渲染信息的权重。
在一些实施例中，有效性可根据如下二值函数确定：
v(x)＝‖H(x)‖2<0.5*Max({‖H(xj)‖2|j＝1..M}) (11)
式中，v(x)是一个二值函数，用于输出0和1，其中0表示无效，1表示有效。
值得提出的是N个NeRF模型中除第一NeRF模型以外的其他模型确定M个空间点的渲染信息的有效性可参照上述实施例，为避免重复，对此不再赘述。
本申请实施例通过如上步骤，模拟NeRF模型的空间参数化扰动，使用带扰动的空间点的渲染信息进行体渲染，根据扰动量的梯度使用拉普拉斯近似来估计N个NeRF模型输出的每个空间点的N份渲染信息的不确定性(即海森矩阵)，作为空间点的有效性评价的指标。
海森矩阵能够表示空间点的不确定度，在第一NeRF模型确定空间点A的不确定度较高时，根据上述二值函数第一NeRF模型可确定输出的空间点A的渲染信息无效。可见，本申请实施例通过如上步骤确定渲染信息的有效性较为精确。
可选地，所述根据所述M个空间点的N份渲染信息、每个空间点的每份渲染信息的权重和每个空间点的每份渲染信息的有效性，进行体渲染，得到所述M个空间点对应的像素的第一颜色，包括：
根据如下体渲染公式确定所述M个空间点对应的像素的第一颜色：
其中，C(r)表示所述第一颜色，i表示所述N个NeRF模型中第i个NeRF模型，j表示所述M个空间点中的第j个空间点，k表示所述M个空间点中的第k个空间点，表示所述第i个NeRF模型输出的所述第j个空间点的一份渲染信息的权重，/>表示所述第i个NeRF模型输出的所述第j个空间点的一份渲染信息的有效性，/>表示所述第i个NeRF模型输出的所述第k个空间点的第一体密度，δk表示所述第k个空间点与第(k-1)个空间点之间的距离，/>表示所述第i个NeRF模型输出的所述第j个空间点的第一体密度，δj表示所述第j个空间点与第(j-1)个空间点之间的距离，/>表示所述第i个NeRF模型输出的所述第j个空间点的第一RGB参数。
本实施例中的公式12和上述公式2的区别在于，公式12中新增了有效性v。有效性包括有效和无效，分别用参数“1”和参数“0”。在第i个NeRF模型输出的所述第j个空间点的一份渲染信息为有效的情况下，即保留了该份渲染信息；在第i个NeRF模型输出的所述第j个空间点的一份渲染信息为无效的情况下，/>即去除了该份渲染信息。
本申请实施例中，通过如上公式，在体渲染的过程中实现筛去无效的渲染信息，并保留有效的渲染信息，无需基于渲染信息的有效性提前筛选渲染信息，有利于提高效率。
值得提出的是，公式12和上述公式2中的可为第i个NeRF模型基于第k个空间点的第一观测信息确定的，或者基于第k个空间点的第二观测信息确定的。在第i个NeRF模型基于第k个空间点的第二观测信息确定的情况下，在体渲染的过程中，令第二观测信息中的扰动变量等于0(相等于基于第k个空间点的第一观测信息确定)。/>和/>同理。
可选地，如图2所示，所述将M个空间点的观测信息分别输入N个神经辐射场NeRF模型之前，所述方法还包括：
统一所述N个NeRF模型坐标系；
所述统一所述N个NeRF模型坐标系，包括：
提取第一图片集合中每张训练图片的SIFT特征点，并提取第二图片集合中每张训练图片的SIFT特征点，所述第一图片集合为第二NeRF模型的训练图片集合，所述第二图片集合为第三NeRF模型的训练图片集合，所述第一图片集合和所述第二图片集合分别对应的拍摄区域存在重合；
在所述第一图片集合中的第一图片的SIFT特征点与所述第二图片集合中的第二图片的SIFT特征点匹配的情况下，根据目标算法确定第二图片在所述第二NeRF模型的第一坐标系下的相机位姿；
根据所述第二图片在所述第一坐标系下的相机位姿以及预先确定的所述第二图片在第三NeRF模型的第二坐标系下的相机位姿，确定第一坐标变换值；
根据所述第一坐标变换值，将所述第二坐标系更新为第三坐标系。
不同的NeRF的3D坐标系是不同的，他们之间相差一个相似变换(也可称为坐标变换，包括旋转、缩放和平移)。本申请实施例在训练完N个NeRF模型之后，需统一N个NeRF模型的3D坐标系。本申请实施例通过对两两NeRF模型的3D坐标系统一，最终实现N个NeRF模型的坐标系统一。
其中，上述N个NeRF模型中的每个NeRF模型的训练图片与其他的NeRF模型的训练图片之间需存在直接或间接的共视区域。上述第二NeRF模型的训练图片集合与第三NeRF模型训练图片集合分别对应的拍摄区域存在重合，则说明第二NeRF模型的训练图片第三NeRF模型的训练图片存在直接的共视区域。
取第二NeRF模型(Mi)的训练图片数据集合：第一图片集合(Di)，以及第三NeRF模型(Mj)的训练图片数据集合：Dj。Di在Mi的第一坐标系下的相机位姿为(该相机位姿是预先确定的，训练过程中需输入训练图片以及训练图片在对应NeRF模型的坐标系下的相机位姿，作为示例，可使用sfm或者slam方法预先确定训练图片的相机位姿)，Dj在Mj的第二坐标系下的相机位姿为Pj j。
提取Di和Dj中每张图片的SIFT特征，然后使用SIFT特征点匹配Di和Dj中的图片，记匹配成功的图片分别为(即上述第一图片，/>中第一图片的数量为一张或多张)和/>(即上述第二图片，/>中第二图片的数量为一张或多张)。
以Mi的坐标系为参考坐标系，通过PnP算法计算出中每张第二图片在第一坐标系下的相机位姿Pj i。每张第二图片在第一坐标系下的相机位姿Pj i和每张第二图片在第二坐标系下的相机位姿Pj j之间存在一个三维相似变换/>其中s是尺度系数，R是3x3旋转矩阵，t是3x1平移向量。Pj i中的相机三维坐标/>与Pj j中的相机三维坐标/>存在关系
使用Umeyama算法即可求出第一坐标变换值S0。
根据所述第一坐标变换值，将第二坐标系更新为第三坐标系，从而实现了第二NeRF模型和第三NeRF模型的坐标匹配。
在本申请实施例中通过对N个NeRF模型的坐标匹配，能够有效减少NeRF多模型渲染的重影问题。
在一些实施例中，可直接仅基于第一坐标变换值，将第二坐标系更新为第三坐标系；在另一些实施例中，还可对第一坐标变换值进行迭代更新，基于迭代更新后的第一坐标变换值，将第二坐标系更新为第三坐标系，以使第二NeRF模型和第三NeRF模型的坐标匹配更加精确。
以下对迭代更新进行具体说明。
可选地，所述根据所述第一坐标变换值，将所述第二坐标系更新为第三坐标系，包括：
对所述第一坐标变换值进行迭代更新，直至满足预设条件；
基于迭代更新后的第一坐标变换值，将所述第二坐标系更新为第三坐标系；
所述对所述第一坐标变换值进行迭代更新，包括：
基于所述第一坐标变换值将所述第一坐标系下的S个第一相机位姿转换为所述第二坐标系下的S个第二相机位姿，所述S个第一相机位姿为S张所述第一图片在所述第一坐标系下的相机位姿，S为正整数；
基于所述第三NeRF模型得到在所述S个第二相机位姿下的S张第三图片；
在所述S张第一图片中的T张第一图片的SIFT特征点与所述S张第三图片中的T张第三图片的SIFT特征点匹配的情况下，确定所述T张第三图片中的每张第三图片在所述第一坐标系下的相机位姿，T为正整数；
根据所述T张第三图片中的每张第三图片在所述第一坐标系下的相机位姿，以及预先确定的所述T张第三图片中的每张第三图片在所述第二坐标系下的相机位姿，确定第二坐标变换值；
基于所述第二坐标变换值对所述第一坐标变换值更新。
从中随机挑选S张(S例如5)第一图片/>其在第一坐标系下的第一相机位姿为Pi i，其在第二坐标系下的第二相机位姿为Si -1Pi i(Si表示当前最新的坐标变换值，在一次迭代更新时此处为S0),使用第二NeRF模型渲染得到S个第二相机位姿下的S张第三图片。
在所述S张第一图片中的T张第一图片的SIFT特征点与所述S张第三图片中的T张第三图片的SIFT特征点匹配的情况下，确定所述T张第三图片中的每张第三图片在所述第一坐标系下的相机位姿，T为正整数(具体可参照上述确定第二图片在所述第一坐标系下的相机位姿的实施例)。
根据所述T张第三图片中的每张第三图片在所述第一坐标系下的相机位姿，以及预先确定的所述T张第三图片中的每张第三图片在所述第二坐标系下的相机位姿，确定第二坐标变换值ΔSi
基于ΔSi对Si更新：
Si+1＝ΔSi*Si (14)
基于第二坐标变换值对第一坐标变换值更新，即对第一坐标变换值首次更新为：S1＝ΔS0*S0。
值得提出的是，本申请实施例中的对第一坐标变换值进行迭代更新，直至满足预设条件，可为：
迭代更新次数满足预设条件，例如迭代更新50次时满足；
ΔSi的值满足预设条件，例如ΔSi的值接近于1。
本申请实施例基于迭代更新后的第一坐标变换值，将第二坐标系更新为第三坐标系，能够进一步有效减少NeRF多模型渲染的重影问题。
本申请实施例还提供了一种图像渲染装置，参见图3，图3为本申请实施例提供的一种图像渲染装置的结构图。如图3所示，装置200包括：
第一获取模块201，用于将M个空间点的第一观测信息分别输入N个神经辐射场NeRF模型，得到所述M个空间点的N份渲染信息，所述渲染信息包括第一RGB参数和第一体密度中的至少一项，所述M个空间点为待渲染3D场景中位于同一射线的空间点，M和N为大于1的整数；
确定模块202，用于分别确定每个空间点的每份渲染信息的权重；
渲染模块203，用于根据所述M个空间点的N份渲染信息和每个空间点的每份渲染信息的权重，进行体渲染，得到所述M个空间点对应的像素的第一颜色。
可选地，所述确定模块202具体用于：
确定所述M个空间点中第一空间点的坐标与所述N个NeRF模型对应的中心点坐标的欧式距离；
根据所述第一空间点的坐标与所述N个NeRF模型对应的中心点坐标的欧式距离，确定所述第一空间点的N份渲染信息的权重，所述第一空间点的每份渲染信息的权重，与所述第一空间点的坐标与NeRF模型的中心点坐标的欧式距离负相关。
可选地，所述装置200还包括：
获取模块，用于获取每个空间点的每份渲染信息的有效性，所述有效性由所述NeRF模型确定；
所述渲染模块203具体用于：
根据所述M个空间点的N份渲染信息、每个空间点的每份渲染信息的权重和每个空间点的每份渲染信息的有效性，进行体渲染，得到所述M个空间点对应的像素的第一颜色。
可选地，所述有效性根据如下步骤得到：
所述N个NeRF模型中的第一NeRF模型在所述M个空间点的第一被观测信息中分别融合对应的扰动变量，得到所述M个空间点的第二被观测信息；
所述第一NeRF模型根据所述M个空间点的第二被观测信息，确定所述M个空间点的第二RGB参数和第二体密度，并基于体渲染得到所述M个空间点对应的像素的第二颜色；
所述第一NeRF模型根据所述第二颜色和所述M个空间点对应的扰动变量，确定所述M个空间点对应的雅可比矩阵；
所述第一NeRF模型根据所述M个空间点对应的雅可比矩阵，确定所述M个空间点对应的海森矩阵；
所述第一NeRF模型根据所述M个空间点对应的海森矩阵，确定所述M个空间点的由所述第一NeRF模型输出的渲染信息的有效性。
可选地，所述渲染模块203具体还用于：
根据如下体渲染公式确定所述M个空间点对应的像素的第一颜色：
其中，C(r)表示所述第一颜色，i表示所述N个NeRF模型中第i个NeRF模型，j表示所述M个空间点中的第j个空间点，k表示所述M个空间点中的第k个空间点，表示所述第i个NeRF模型输出的所述第j个空间点的一份渲染信息的权重，/>表示所述第i个NeRF模型输出的所述第j个空间点的一份渲染信息的有效性，/>表示所述第i个NeRF模型输出的所述第k个空间点的第一体密度，δk表示所述第k个空间点与第(k-1)个空间点之间的距离，/>表示所述第i个NeRF模型输出的所述第j个空间点的第一体密度，δj表示所述第j个空间点与第(j-1)个空间点之间的距离，/>表示所述第i个NeRF模型输出的所述第j个空间点的第一RGB参数。
可选地，所述装置200还包括：
坐标统一模块，用于统一所述N个NeRF模型坐标系；
所述坐标统一模块，具体用于：
提取第一图片集合中每张训练图片的尺度不变特征转换(Scale InvariantFeature Transform，SIFT)特征点，并提取第二图片集合中每张训练图片的SIFT特征点，所述第一图片集合为第二NeRF模型的训练图片集合，所述第二图片集合为第三NeRF模型的训练图片集合，所述第一图片集合和所述第二图片集合分别对应的拍摄区域存在重合；
在所述第一图片集合中的第一图片的SIFT特征点与所述第二图片集合中的第二图片的SIFT特征点匹配的情况下，根据目标算法确定第二图片在所述第二NeRF模型的第一坐标系下的相机位姿；
根据所述第二图片在所述第一坐标系下的相机位姿以及预先确定的所述第二图片在第三NeRF模型的第二坐标系下的相机位姿，确定第一坐标变换值；
根据所述第一坐标变换值，将所述第二坐标系更新为第三坐标系。
可选地，所述坐标统一模块具体还用于：
对所述第一坐标变换值进行迭代更新，直至满足预设条件；
基于迭代更新后的第一坐标变换值，将所述第二坐标系更新为第三坐标系；
所述对所述第一坐标变换值进行迭代更新，包括：
基于所述第一坐标变换值将所述第一坐标系下的S个第一相机位姿转换为所述第二坐标系下的S个第二相机位姿，所述S个第一相机位姿为S张所述第一图片在所述第一坐标系下的相机位姿，S为正整数；
基于所述第三NeRF模型得到在所述S个第二相机位姿下的S张第三图片；
在所述S张第一图片中的T张第一图片的SIFT特征点与所述S张第三图片中的T张第三图片的SIFT特征点匹配的情况下，确定所述T张第三图片中的每张第三图片在所述第一坐标系下的相机位姿，T为正整数；
根据所述T张第三图片中的每张第三图片在所述第一坐标系下的相机位姿，以及预先确定的所述T张第三图片中的每张第三图片在所述第二坐标系下的相机位姿，确定第二坐标变换值；
基于所述第二坐标变换值对所述第一坐标变换值更新。
需要说明的是，本申请实施例的图像渲染装置能够实现以上所述的图像渲染方法实施例的各个过程，并能达到相同的技术效果，为避免重复，这里不再赘述。
本申请实施例还提供一种电子设备300，参见图4，包括至少一个处理器301、存储器302及存储在存储器302上并可在处理器301上运行的计算机程序，计算机程序被至少一个处理器301执行以实现上述图像渲染实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器301执行以实现上述图像渲染实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中计算机可读存储介质，包括只读存储器Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。
本申请实施例还提供一种计算机程序产品，包括计算机指令，该计算机指令被处理器执行时实现上述图1所示方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (11)

1.一种图像渲染方法，其特征在于，所述方法包括：
将M个空间点的第一观测信息分别输入N个神经辐射场NeRF模型，得到所述M个空间点的N份渲染信息，所述渲染信息包括第一RGB参数和第一体密度中的至少一项，所述M个空间点为待渲染3D场景中位于同一射线的空间点，M和N为大于1的整数；
分别确定每个空间点的每份渲染信息的权重；
根据所述M个空间点的N份渲染信息和每个空间点的每份渲染信息的权重，进行体渲染，得到所述M个空间点对应的像素的第一颜色。
2.根据权利要求1所述的方法，其特征在于，所述分别确定每个空间点的每份渲染信息的权重，包括：
确定所述M个空间点中第一空间点的坐标与所述N个NeRF模型对应的中心点坐标的欧式距离；
根据所述第一空间点的坐标与所述N个NeRF模型对应的中心点坐标的欧式距离，确定所述第一空间点的N份渲染信息的权重，所述第一空间点的每份渲染信息的权重，与所述第一空间点的坐标与NeRF模型的中心点坐标的欧式距离负相关。
3.根据权利要求1所述的方法，其特征在于，还包括：
获取每个空间点的每份渲染信息的有效性，所述有效性由所述NeRF模型确定；
所述根据所述M个空间点的N份渲染信息和每个空间点的每份渲染信息的权重，进行体渲染，得到所述M个空间点对应的像素的第一颜色，包括：
根据所述M个空间点的N份渲染信息、每个空间点的每份渲染信息的权重和每个空间点的每份渲染信息的有效性，进行体渲染，得到所述M个空间点对应的像素的第一颜色。
4.根据权利要求3所述的方法，其特征在于，所述有效性根据如下步骤得到：
所述N个NeRF模型中的第一NeRF模型在所述M个空间点的第一被观测信息中分别融合对应的扰动变量，得到所述M个空间点的第二被观测信息；
所述第一NeRF模型根据所述M个空间点的第二被观测信息，确定所述M个空间点的第二RGB参数和第二体密度，并基于体渲染得到所述M个空间点对应的像素的第二颜色；
所述第一NeRF模型根据所述第二颜色和所述M个空间点对应的扰动变量，确定所述M个空间点对应的雅可比矩阵；
所述第一NeRF模型根据所述M个空间点对应的雅可比矩阵，确定所述M个空间点对应的海森矩阵；
所述第一NeRF模型根据所述M个空间点对应的海森矩阵，确定所述M个空间点的由所述第一NeRF模型输出的渲染信息的有效性。
5.根据权利要求3所述的方法，其特征在于，所述根据所述M个空间点的N份渲染信息、每个空间点的每份渲染信息的权重和每个空间点的每份渲染信息的有效性，进行体渲染，得到所述M个空间点对应的像素的第一颜色，包括：
根据如下体渲染公式确定所述M个空间点对应的像素的第一颜色：
其中，C(r)表示所述第一颜色，i表示所述N个NeRF模型中第i个NeRF模型，j表示所述M个空间点中的第j个空间点，k表示所述M个空间点中的第k个空间点，表示所述第i个NeRF模型输出的所述第j个空间点的一份渲染信息的权重，/>表示所述第i个NeRF模型输出的所述第j个空间点的一份渲染信息的有效性，/>表示所述第i个NeRF模型输出的所述第k个空间点的第一体密度，δk表示所述第k个空间点与第(k-1)个空间点之间的距离，/>表示所述第i个NeRF模型输出的所述第j个空间点的第一体密度，δj表示所述第j个空间点与第(j-1)个空间点之间的距离，/>表示所述第i个NeRF模型输出的所述第j个空间点的第一RGB参数。
6.根据权利要求1所述的方法，其特征在于，所述将M个空间点的观测信息分别输入N个神经辐射场NeRF模型之前，所述方法还包括：
统一所述N个NeRF模型坐标系；
所述统一所述N个NeRF模型坐标系，包括：
提取第一图片集合中每张训练图片的尺度不变特征转换(Scale Invariant FeatureTransform，SIFT)特征点，并提取第二图片集合中每张训练图片的SIFT特征点，所述第一图片集合为第二NeRF模型的训练图片集合，所述第二图片集合为第三NeRF模型的训练图片集合，所述第一图片集合和所述第二图片集合分别对应的拍摄区域存在重合；
在所述第一图片集合中的第一图片的SIFT特征点与所述第二图片集合中的第二图片的SIFT特征点匹配的情况下，根据目标算法确定第二图片在所述第二NeRF模型的第一坐标系下的相机位姿；
根据所述第二图片在所述第一坐标系下的相机位姿以及预先确定的所述第二图片在第三NeRF模型的第二坐标系下的相机位姿，确定第一坐标变换值；
根据所述第一坐标变换值，将所述第二坐标系更新为第三坐标系。
7.根据权利要求6所述的方法，其特征在于，所述根据所述第一坐标变换值，将所述第二坐标系更新为第三坐标系，包括：
对所述第一坐标变换值进行迭代更新，直至满足预设条件；
基于迭代更新后的第一坐标变换值，将所述第二坐标系更新为第三坐标系；
所述对所述第一坐标变换值进行迭代更新，包括：
基于所述第一坐标变换值将所述第一坐标系下的S个第一相机位姿转换为所述第二坐标系下的S个第二相机位姿，所述S个第一相机位姿为S张所述第一图片在所述第一坐标系下的相机位姿，S为正整数；
基于所述第三NeRF模型得到在所述S个第二相机位姿下的S张第三图片；
在所述S张第一图片中的T张第一图片的SIFT特征点与所述S张第三图片中的T张第三图片的SIFT特征点匹配的情况下，确定所述T张第三图片中的每张第三图片在所述第一坐标系下的相机位姿，T为正整数；
根据所述T张第三图片中的每张第三图片在所述第一坐标系下的相机位姿，以及预先确定的所述T张第三图片中的每张第三图片在所述第二坐标系下的相机位姿，确定第二坐标变换值；
基于所述第二坐标变换值对所述第一坐标变换值更新。
8.一种图像渲染装置，其特征在于，包括：
第一获取模块，用于将M个空间点的第一观测信息分别输入N个神经辐射场NeRF模型，得到所述M个空间点的N份渲染信息，所述渲染信息包括第一RGB参数和第一体密度中的至少一项，所述M个空间点为待渲染3D场景中位于同一射线的空间点，M和N为大于1的整数；
确定模块，用于分别确定每个空间点的每份渲染信息的权重；
渲染模块，用于根据所述M个空间点的N份渲染信息和每个空间点的每份渲染信息的权重，进行体渲染，得到所述M个空间点对应的像素的第一颜色。
9.一种电子设备，其特征在于，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序，所述程序被所述处理器执行时实现如权利要求1至7中任一项所述的图像渲染方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的图像渲染方法的步骤。
11.一种计算机程序产品，其特征在于，包括计算机指令，所述计算机指令被处理器执行时实现如权利要求1至7中任一项所述的图像渲染方法的步骤。
CN202410253693.9A 2024-03-06 2024-03-06 图像渲染方法、装置及电子设备 Pending CN118052926A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410253693.9A CN118052926A (zh) 2024-03-06 2024-03-06 图像渲染方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410253693.9A CN118052926A (zh) 2024-03-06 2024-03-06 图像渲染方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN118052926A true CN118052926A (zh) 2024-05-17

Family

ID=91053625

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410253693.9A Pending CN118052926A (zh) 2024-03-06 2024-03-06 图像渲染方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN118052926A (zh)

Similar Documents

Publication Publication Date Title
Chen et al. Perceptual underwater image enhancement with deep learning and physical priors
Ji et al. Deep view morphing
CN110188760B (zh) 一种图像处理模型训练方法、图像处理方法及电子设备
Kim et al. Structure selective depth superresolution for RGB-D cameras
CN111768415A (zh) 一种无量化池化的图像实例分割方法
Toriya et al. SAR2OPT: Image alignment between multi-modal images using generative adversarial networks
Charco et al. Deep learning based camera pose estimation in multi-view environment
Song et al. Objectstitch: Generative object compositing
Abdulwahab et al. Adversarial learning for depth and viewpoint estimation from a single image
Kurmi et al. Pose error reduction for focus enhancement in thermal synthetic aperture visualization
Konrad et al. Fisheyesuperpoint: Keypoint detection and description network for fisheye images
Shrestha et al. A real world dataset for multi-view 3d reconstruction
CN112329662B (zh) 基于无监督学习的多视角显著性估计方法
CN110580696A (zh) 一种细节保持的多曝光图像快速融合方法
CN112132753B (zh) 多尺度结构引导图像的红外图像超分辨率方法及系统
Li et al. TCTL-Net: Template-free color transfer learning for self-attention driven underwater image enhancement
CN116168393B (zh) 基于点云神经辐射场的语义标注数据自动生成方法、装置
CN113724143A (zh) 用于图像修复的方法和装置
DE102004026782A1 (de) Verfahren und Vorrichtung zur rechnergestützten Bewegungsschätzung in mindestens zwei zeitlich aufeinander folgenden digitalen Bildern, computerlesbares Speichermedium und Computerprogramm-Element
CN111738061A (zh) 基于区域特征提取的双目视觉立体匹配方法及存储介质
CN118052926A (zh) 图像渲染方法、装置及电子设备
Sun et al. A human ear reconstruction autoencoder
CN108364273B (zh) 一种空间域下的多聚焦图像融合的方法
CN114078155A (zh) 用未标记成对图像训练神经网络以得出对象视角的方法及系统
AU2017300877B2 (en) Method and device for aiding the navigation of a vehicle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination