CN117730530A - 图像处理方法及装置、设备、存储介质 - Google Patents

图像处理方法及装置、设备、存储介质 Download PDF

Info

Publication number
CN117730530A
CN117730530A CN202180100038.4A CN202180100038A CN117730530A CN 117730530 A CN117730530 A CN 117730530A CN 202180100038 A CN202180100038 A CN 202180100038A CN 117730530 A CN117730530 A CN 117730530A
Authority
CN
China
Prior art keywords
point
depth
mth
pixel point
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180100038.4A
Other languages
English (en)
Inventor
杨铀
蒋小广
刘琼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Publication of CN117730530A publication Critical patent/CN117730530A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Image Generation (AREA)

Abstract

提供图像处理方法及装置、设备、存储介质，其中，方法包括：根据第一参考视点下的深度图中第一像素点的深度，对深度图进行区域划分，得到至少一个区域(101)；将目标视点下的待渲染视图的第m个第二像素点的坐标反变换至至少一个区域中的至少一个目标区域中，得到第m个第二像素点在至少一个目标区域中的存在位置点(102)；其中，m大于0且小于或等于待渲染视图的总像素点数；根据第m个第二像素点在至少一个目标区域中的存在位置点，渲染第m个第二像素点的颜色(103)。

Description

图像处理方法及装置、设备、存储介质 技术领域
本申请实施例涉及图像技术，涉及但不限于图像处理方法及装置、设备、存储介质。
背景技术
在虚拟现实、虚拟仿真和沉浸式远程视频会议等应用中，经常需要基于已知的图像合成任意视点下的视图，也就是合成视图。合成视图的质量的高低直接影响了用户对应用的体验。
发明内容
本申请实施例提供的图像处理方法及装置、设备、存储介质，是这样实现的：
本申请实施例提供的图像处理方法，包括：根据第一参考视点下的深度图(Depth Map)中第一像素点的深度，对所述深度图进行区域划分，得到至少一个区域；将目标视点下的待渲染视图的第m个第二像素点的坐标反变换至所述至少一个区域中的至少一个目标区域中，得到所述第m个第二像素点在所述至少一个目标区域中的存在位置点；m大于0且小于或等于所述待渲染视图的总像素点数；根据所述第m个第二像素点在所述至少一个目标区域中的存在位置点，渲染所述第m个第二像素点的颜色。
本申请实施例提供的图像处理装置，包括：区域划分模块，用于根据第一参考视点下的深度图中第一像素点的深度，对所述深度图进行区域划分，得到至少一个区域；坐标反变换模块，用于将目标视点下的待渲染视图的第m个第二像素点的坐标反变换至所述至少一个区域中的至少一个目标区域中，得到所述第m个第二像素点在所述至少一个目标区域中的存在位置点；其中，m大于0且小于或等于所述待渲染视图的总像素点数；渲染模块，用于根据所述第m个第二像素点在所述至少一个目标区域中的存在位置点，渲染所述第m个第二像素点的颜色。
本申请实施例提供的电子设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述图像处理方法中的步骤。
本申请实施例提供的计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述图像处理方法中的步骤。
在本申请实施例中，根据第一参考视点下的深度图中第一像素点的深度，对所述深度图进行区域划分，而不是基于预先给定的平面分布规律对第一参考视点下的视图(Viewport)进行平面划分；如此，由于区域划分结合了实际场景中各个点的深度，因此，使得最终渲染的第二像素点的颜色更加准确，进而使得待渲染视图被渲染后(即合成视图)的图像细节更多。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。
图1为本申请实施例图像处理方法的实现流程示意图；
图2为本申请实施例图像处理方法的另一实现流程示意图；
图3为本申请实施例图像处理方法的又一实现流程示意图；
图4为本申请实施例由4个平面层组成的结合基函数的多平面图像(Multiplane Image，MPI)表征的示意图；
图5为本申请实施例场景新视角合成模型NeX的工作流程(略去了获取H n(v)的过程)；
图6为本申请实施例以平面数D＝3为例的标准反向单应变换示意图；
图7为MPI平面层实例示意图；
图8为本申请实施例PMIP(Patch Multiplane Image)模型的工作流程示意图；
图9为本申请实施例获得PMPI形状的流程示意图；
图10为本申请实施例区域数A＝2，深度数为4的PMPI渲染示意图；
图11为本申请实施例深度图的计算流程示意图；
图12为在fern场景的合成效果对比示意图；
图13在trex场景的合成效果对比示意图；
图14为本申请实施例图像处理装置的结构示意图；
图15为本申请实施例的电子设备的硬件实体示意图；
图16为本申请实施例的电子设备的另一硬件实体示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请的具体技术方案做进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
需要指出，本申请实施例所涉及的术语“第一\第二\第三”是为了区别类似或不同的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
本申请实施例提供一种图像处理方法，该方法应用于电子设备，电子设备可以是任意具有数据处理能力的设备，例如该电子设备为笔记本电脑、手机、服务器、电视机或投影仪等。
图1为本申请实施例图像处理方法的实现流程示意图，如图1所示，所述方法可以包括以下步骤101至步骤103：
步骤101，根据第一参考视点下的深度图中第一像素点的深度，对所述深度图进行区域划分，得到至少一个区域。
需要说明的是，对于深度图的区域划分范围不做限制，在一些实施例中，可以将深度图的某一图块或者某几个图块进行所述区域划分；在另一些实施例中，可以将整个深度图进行所述区域划分。
对于划分得到的区域的数量可以是特定数量，也可以不是特定数量。不是特定数量时，划分得到的区域的数量与实际场景相关，即与深度图中第一像素点的深度分布有关。
在本申请实施例中，对于深度图的获取方法不做限定。例如，可以基于双目立体视觉，即通过电子设备携带的两个相隔一定距离的摄像头同时获取同一场景的两幅图像，通过立体匹配算法找到两幅图像中对应的像素点，然后根据三角原理计算出视差信息，而视差信息通过转换可用于表征场景中物体的深度信息。又如，通过电子设备携带的主动测距传感器实现对场景的深度信息的采集；其中，主动测距传感器例如可以是飞行时间(Time of flight，TOF)相机、结构光设备或激光雷达等。再如，电子设备还可以通过如下实施例的步骤201至步骤203，得到第一参考视点下的深度图，即，基于至少一 张第二参考视点下的视图，得到第一参考视点下的深度图；其中，第一参考视点与第二参考视点不同。相比于双目立体视觉和主动测距传感器的方法，该方法不需要电子设备具有双目摄像头，也不需要具有主动测距传感器即可得到深度图，从而使得本申请实施例提供的图像处理方法能够适用于更多的电子设备中，其普适性更强。
在一些实施例中，还可以通过接收编码端发送的码流，对码流进行解码，从而得到第一参考视点下的深度图。
在本申请实施例中，对于区域划分方法也不做限定。可以根据第一像素点之间的深度关系，对深度图或者深度图中的某一图块或某几个图块进行区域划分。例如，将深度相等的像素点划分在同一区域。又如，将深度差在特定范围内的像素点划分在同一区域。
步骤102，将目标视点下的待渲染视图的第m个第二像素点的坐标反变换至所述至少一个区域中的至少一个目标区域中，得到所述第m个第二像素点在所述至少一个目标区域中的存在位置点；其中，m大于0且小于或等于待渲染视图的总像素点数。
需要说明的是，所述至少一个目标区域可以是所述至少一个区域中的所有区域，也可以是一个或多个区域；是所有区域时，无需对所述至少一个区域进行筛选，直接将区域划分得到的所述至少一个区域作为所述目标区域即可。
所述至少一个目标区域是其中的一个或多个区域时，在一些实施例中，可以将所述至少一个区域中的任意区域作为目标区域，例如，从中随机抽取特定数量的区域作为目标区域；在另一些实施例中，还可以将从所述至少一个区域中挑选出满足特定条件的区域作为目标区域。例如，将像素点数目大于特定数目的区域作为目标区域；又如，将区域深度小于特定深度的区域作为目标区域。
在一些实施例中，可以通过如下公式(1)将目标视点下的待渲染视图的第二像素点的齐次坐标(u t,v t,1)反变换至目标区域中，从而得到该像素点在第一参考视点下的该目标区域中的存在位置点的齐次坐标(u s,v s,1)：
式中，～表示按某种比例相等的意思，R和t是第一参考视点的相机坐标系到目标视点的相机坐标系的旋转矩阵和平移向量。a是目标区域的区域深度的负值，如果同一目标区域的像素点的深度不相等，可以将该区域的像素点的深度均值或中值等作为该区域的深度。n＝(0,0,1)是第一参考视点的相机坐标系下MPI平面的单位法向量。k s和k t是第一参考视点和目标视点分别对应的相机内参。
步骤103，根据所述第m个第二像素点在所述至少一个目标区域中的存在位置点，渲染所述第m个第二像素点的颜色。
在一些实施例中，可以通过如下实施例的步骤210和步骤211实现步骤103。
在本申请实施例中，根据第一参考视点下的深度图中第一像素点的深度，对所述深度图进行区域划分，而不是基于预先给定的平面分布规律对第一参考视点下的视图进行平面划分；如此，由于区域划分结合了实际场景中各个点的深度，因此，使得最终渲染的第二像素点的颜色更加准确，进而使得待渲染视图被渲染后(即合成视图)的图像细节更多。
本申请实施例再提供一种图像处理方法，图2为本申请实施例图像处理方法的实现流程示意图，如图2所示，该方法可以包括以下步骤201至步骤211：
步骤201，根据至少一张第二参考视点下的视图对包括的场景进行三维重建，得到所述场景在第一参考视点的相机坐标系下的点云数据。
在一些实施例中，可以将场景的稀疏视图作为colmap工具的输入，进行由运动到结构(SFM)的相机参数估计和多维立体重建(MVS)，从而得到该点云数据；其中，点云数据中点的坐标表示为(x,y,d)，d表示该点相对于第一参考视点的相机的深度。
需要说明的是，场景的稀疏视图即为不同第二参考视点下的视图。
步骤202，确定所述场景的视差图。
在本申请实施例中，确定视差图的方法可以是多种多样的。例如，前文提到的基于双目立体视觉的方法。又如，在一些实施例中，电子设备可以这样实现步骤202：根据至少一张第二参考视点下的视图，得到所述场景的至少一个平面的透明度图；根据所述至少一个平面的透明度图和对应的平面深度，合成所述场景的视差图；如此，相比于基于双目立体视觉的方法，没有安装双目摄像头的电子设备依然可以实现所述图像处理方法，因此，其普适性更强，且节约了电子设备的硬件成本。
例如，以所述至少一张第二参考视点下的视图为输入，通过NeX模型合成场景的MPI表征，基于此，根据如下公式(2)合成所述视差图
其中，d i表示第i个MPI平面(由远及近排序)的深度，α i表示第i个平MPI面的透明度。D表示透明度图的数目。
步骤203，根据所述视差图和所述点云数据，得到所述第一参考视点下的深度图。
在一些实施例中，电子设备可以这样实现步骤203：根据所述视差图和所述点云数据，得到所述视差图与所述深度图的反比例系数；根据所述反比例系数和所述视差图，得到所述第一参考视点下的深度图。
可以理解地，视差与深度成反比例关系，因此，可以先确定反比例系数，然后基于该系数，将视差图转换为深度图。
对于反比例系数的确定方法，例如，可以根据如下公式(3)计算得到：
其中，反比例系数记为σ，P s为点云数据，(x,y,d)是点在第一参考视点的相机坐标系中的坐标。
步骤204，根据所述深度图中第一像素点的深度，确定所述第一像素点之间的深度关系；
步骤205，根据所述深度关系，对所述深度图进行区域划分，得到至少一个区域。
在一些实施例中，将深度相同或深度差在特定范围内的第一像素点划分在同一区域。可以采用OTSU算法或者超像素分割算法实现区域划分。
步骤206，确定所述第一参考视点所在的相机坐标系与所述目标视点所在的相机坐标的变换关系。
在一些实施例中，变换关系包括旋转矩阵和平移向量。
步骤207，获取所述第一参考视点对应的相机内参和所述目标视点对应的相机内参；
步骤208，确定所述至少一个区域中的至少一个目标区域的区域深度。
在一些实施例中，对于同一目标区域的像素点的深度不同的情况，可以将该区域的像素点的深度均值或中值等作为该区域的区域深度；对于同一目标区域的像素点的深度相同的情况，可以将该区域的任一像素点的深度作为该区域的区域深度。
步骤209，根据所述变换关系、所述第一参考视点和所述目标视点分别对应的相机内参以及所述区域深度，对所述第m个第二像素点的齐次坐标进行反向单应变换，得到 所述第m个第二像素点在所述至少一个目标区域中的存在位置点。
步骤210，从所述第m个第二像素点在所述至少一个目标区域中的存在位置点中，筛选出满足条件的位置点作为有效位置点。
在一些实施例中，如果所述存在位置点在对应区域中，则将该位置点作为有效位置点；否则，如果所述存在位置点不在对应区域中，则视为无效位置点，舍弃。
步骤211，根据所述有效位置点，渲染所述第m个第二像素点的颜色。
在一些实施例中，可以这样实现步骤211：确定所述有效位置点的颜色系数、透明度、基础颜色值和基函数；其中，所述基函数的自变量为所述有效位置点与所述目标视点的相对方向；根据所述有效位置点的颜色系数、基础颜色值和基函数，得到所述有效位置点从所述相对方向被观察到的颜色值；将每一所述有效位置点的透明度和所述被观察到的颜色值进行合成，得到合成颜色值；利用所述合成颜色值，渲染所述第m个第二像素点的颜色。进一步地，在一些实施例中，可以通过如下实施例的步骤304，确定所述有效位置点的透明度和颜色系数；通过如下实施例的步骤305确定有效位置点的基础颜色值；通过如下实施例的步骤306确定所述有效位置点的基函数。
在一些实施例中，所述相对方向可以是目标视点相对于有效位置点的单位方向向量，还可以是有效位置点相对于目标视点的单位方向向量。
可以理解地，在本申请实施例中，先对从所述第m个第二像素点在所述至少一个目标区域中的存在位置点中筛选出有效位置点，然后基于有效位置点而不是每一存在位置点，渲染所述第m个第二像素点的颜色；如此，能够节约计算量，从而提高渲染效率，进而提升合成视图的合成效率。
本申请实施例再提供一种图像处理方法，图3为本申请实施例图像处理方法的实现流程示意图，如图3所示，该方法可以包括以下步骤301至步骤309：
步骤301，根据第一参考视点下的深度图中第一像素点的深度，对所述深度图进行区域划分，得到至少一个区域；
步骤302，将目标视点下的待渲染视图的第m个第二像素点的坐标反变换至所述至少一个区域中的至少一个目标区域中，得到所述第m个第二像素点在所述至少一个目标区域中的存在位置点；其中，m大于0且小于或等于待渲染视图的总像素点数；
步骤303，从所述第m个第二像素点在所述至少一个目标区域中的存在位置点中，筛选出满足条件的位置点作为有效位置点；
步骤304，根据所述有效位置点的坐标和已训练得到的第一多层感知机，得到所述有效位置点的透明度和颜色系数。
在一些实施例中，可以将所述有效位置点的坐标映射为具有第一维度的向量；将所述具有第一维度的向量输入至所述第一多层感知机中，得到所述有效位置点的透明度和颜色系数。
在本申请实施例中，对于第一维度的大小不做限定，可以是56维度的，也可以是任意维度的。
进一步地，可以通过如下公式(4)，实现对有效位置点的空间坐标(x,y,d)的映射：
步骤305，根据所述有效位置点的坐标，得到所述有效位置点的基础颜色值；
步骤306，根据所述相对方向和已训练得到的第二多层感知机，得到所述有效位置点的基函数。
在一些实施例中，将所述相对方向映射为具有第二维度的向量；将所述具有第二维 度的向量输入至所述第二多层感知机中，得到所述有效位置点的基函数。
例如，将有效位置点相对于目标视点的单位方向向量v＝(v x,v y,v z)中的v x,v y分别带入上述公式(4)，从而得到具有第二维度的向量。对于第二维度的大小可以是任意的，h值也可以任意设置。
步骤307，根据所述有效位置点的颜色系数、基础颜色值和基函数，得到所述有效位置点从所述相对方向被观察到的颜色值。
在一些实施例中，可以根据如下公式(5)得到该有效位置点P从相对方向v被观察到的颜色值C P(v)：
其中，v代表点P相对于目标视点的单位方向向量，H n(v)代表与v相关的基函数，例如基函数个数N＝8。k 0 P代表P点的基础颜色值(例如RGB值，当然也不限于该颜色格式，还可以通过其他颜色格式表示)，[k 1 P,...,k N P]代表P点的颜色系数。[k 0 P,k 1 P,...,k N P]只与P点的坐标相关，与v无关。
步骤308，将每一所述有效位置点的透明度和所述被观察到的颜色值进行合成，得到第m个第二像素点的合成颜色值。
例如，可以根据如下公式(6)计算得到第m个第二像素点的合成颜色值C t：
其中，i表示第i个有效位置点，D表示有效位置点的总数，C i表示有效位置点从v方向被观察到的颜色值，α i表示有效位置点的透明度。
步骤309，利用所述合成颜色值，渲染所述第m个第二像素点的颜色。
在一些实施例中，所述方法还包括：在所述待渲染视图的每一第二像素点的颜色被渲染后，得到所述目标视点下的合成视图；获取所述目标视点下的真实视图；根据所述合成视图和所述真实视图，得到合成损失；根据所述合成损失，更新所述第一多层感知机和所述第二多层感知机的参数值；如此，使得第一多层感知机和第二多层感知机得到的结果更加准确，从而在下次对类似场景进行新视角合成时，能够得到图像质量更好的合成视图。
在一些实施例中，合成损失可以根据如下公式(7)计算得到：
L＝L rec+γTV(k 0) (7)；
其中，L rec可以根据如下公式(8)计算得到；TV(k 0)为正则项总变差损失，γ表示正则项系数。
其中， 是指合成视图，I是指真实视图，ω为平衡权重。
上述图像处理方法可以应用于在线使用阶段，也可以应用于离线训练阶段。对于离线训练阶段，在一些实施例中，所述方法还包括：利用更新后的第一多层感知机和更新后的第二多层感知机，重新渲染所述第m个第二像素点的颜色，直至得到的合成损失满足条件或者更新次数满足条件，得到可以在在线使用阶段使用的第一多层感知机和第二多层感知机。
前文提到，第一参考视点下的深度图可以通过各种方法获取得到。例如，深度图可 以通过解码编码端发送的码流得到，相应地，对于编码端的编码方法，在一些实施例中，编码装置可以根据第一参考视点下的深度图中第一像素点的深度，对所述深度图进行区域划分，得到至少一个区域；然后，将划分得到的区域总数和深度图进行编码，生成码流；从而，在解码端，解码装置可以通过解码码流得到的区域总数和深度图，然后将这些信息传输给图像处理装置，由图像处理装置根据所述区域总数，对深度图进行区域划分，从而得到所述至少一个区域，然后执行如上述图像处理方法中的其他内容，进而得到合成视图；以及，将合成视图传输给显示装置进行图像显示或播放。
在另一些实施例中，对于编码端的编码方法，在另一些实施例中，编码装置可以将深度图进行编码，生成码流；从而，在解码端，解码装置可以通过解码码流得到深度图，然后将深度图传输给图像处理装置，由图像处理装置根据特定的区域划分算法对该深度图进行区域划分，从而得到所述至少一个区域，然后执行如上述图像处理方法中的其他内容，进而得到合成视图；以及，将合成视图传输给显示装置进行图像显示或播放。
下面将说明本申请实施例在一个实际的应用场景中的示例性应用。
场景新视角合成模型NeX基于MPI和基函数(Basis function)获得了较好的场景新视角渲染结果。NeX模型对MPI的颜色图(color frame)进行了改造，以此为MPI的颜色图增加了随视角变化的效果。结合基函数的MPI的表征如图4所示，其中，基函数结合在颜色图的RGB值上，结合方式如下公式(9)所示：
其中，P代表在第一参考视点为原点的空间坐标系下MPI中的点坐标位置(以下简称点P)，v代表点P相对于目标视点的单位方向向量，则C P(v)代表点P从v方向观察得到的颜色值(RGB格式)。H n(v)代表与v相关的基函数，基函数个数N＝8。k 0 P代表P点的基础RGB值，等效于原始MPI中的颜色值。[k 1 P,...,k N P]代表P点的RGB系数。[k 0 P,k 1 P,...,k N P]只与P点的坐标相关，与v无关。
NeX模型以场景的稀疏视图作为输入，可以输出在输入视角附近的新视图。NeX模型的整体流程如图5所示：
首先，对于P点的空间坐标(x,y,d)和单位方向向量v＝(v x,v y,v z)，采用如下公式(10)对其分别进行位置编码，得到相应的位置编码向量：
将x,y,d分别归一化到[-1,1]范围。其中x,y分别通过式2映射为20维向量(h设置为10)，d通过式2映射
为16维向量(h设置为8)。三个向量按序拼接为56维向量，作为第一多层感知机F θ的真实输入。
将(v x,v y,v d)中的v x,v y通过式2分别映射为6维向量(h设置为3)，按序拼接为12维向量作为第二多层感知机G φ的输入。
a.采用第一多层感知机F θ以P点的空间坐标(x,y,d)的位置编码向量作为输入，学习P点在对应的MPI中的透明度图的α值和在对应的颜色图中的RGB系数[k 1 P,...,k N P]；
b.采用第二多层感知机G φ以P点相对于目标视点(即观察点)的单位方向向量v中v x,v y的位置编码向量为输入，学习P点在MPI中的颜色图的基函数H n(v)；
c.采用显式存储训练的方式学习P点在MPI颜色图的基础RGB值k 0 P；
d.采用上式(9)所示的方法计算得到P点在MPI颜色图的RGB值；
e.由MPI、第一参考视点对应的相机参数和目标视点对应的相机参数渲染得到目标视点下的新视图。渲染方式采用标准反向单应变换(Standard inverse homography)，如下公式(11)所示：
其中，R和t是世界坐标系下从第一参考视点的相机坐标系到目标视点的相机坐标系的旋转矩阵和平移向量。a是MPI中平面深度值的负值。n＝(0,0,1)是第一参考视点的相机坐标系下MPI平面的单位法向量。k s和k t是第一参考视点和目标视点分别对应的相机内参。(u t,v t,1)是目标视点下图像(即待渲染视图)中像素点的齐次坐标。(u s,v s,1)是第一参考视点下P点在对应平面中的齐次坐标。
对于待渲染视图中的每一个像素点(u t,v t,1)，在MPI中的第i个平面(由远及近排序)中存在一个对应的点(u si,v si,1)。如图6所示，假设MPI的平面数为D，则每一个像素点(u t,v t,1)在MPI中存在D个对应的像素点。
f.由步骤e中获得了与待渲染视图中的像素点(u t,v t,1)相对应的一系列P点(u si,v si,1)。由P点处的RGB值C i和α值α i，根据如下公式12计算得到像素点(u t,v t,1)的RGB值C t：
g.在训练过程中将输出图像(即合成视图)与该目标视点下的真实视图相比较，以重建误差(Reconstruction loss)度量二者的区别。重建误差L rec根据如下公式(13)计算得到：
其中， 是NeX模型的合成视图，I是该目标视点下的真实视图，平衡权重ω＝0.05。
h.在训练过程中，为了保证输出图像的平滑性，引入正则项总变差损失TV(k 0)。二者一起组成了训练过程中的损失函数L，如下公式(14)所示：
L＝L rec+γTV(k 0) (14)；
其中，正则项系数γ＝0.03。
NeX模型采用的场景表征是结合了基函数的MPI表征。因此，NeX模型包含了MPI的缺陷。在现实场景中，大部分空间区域中是没有可见表面的。直观体现是MPI中的颜色图和透明度图大部分区域为无效值，即不包含可见信息，例如图7所示的MPI平面层实例，展示了第40个平面层(a)到第45个平面层(f)。第一行为颜色图，第二行为透明度图(黑色即为无效区域)。
在最终的学习结果中，大部分的MPI区域是无效值。这是因为MPI的深度范围和平面的分布规律是提前给定的，忽视了场景中可见平面的位置信息。从采样的角来看，MPI的采样位置与场景中的有效信息位置(有可见表面的位置)存在脱节的情况，从而导致MPI的采样率不高，进而表现为NeX的合成视图的细节缺失。
进一步地，在一些实施例中，提供一种基于PMPI与基函数的场景视角渲染模型(以下简称PMPI模型)。分块多平面图像是在MPI基础上引入了场景的深度信息，由此得 到随场景深度自适应变化的形状(区域划分和每个区域的深度范围)。将PMPI和基函数作为场景表征，围绕PMPI的特点建立了完整的新视图渲染模型。该模型以场景的稀疏视图作为输入(无需输入场景的深度图)，输出给定视角的新视图(即目标视点下的合成视图)。
该模型的工作流程如图8所示，包括如下步骤d至步骤g：
d.由深度图确定PMPI的形状(区域边界及每个区域的深度范围)，例如图9所示，其中，901为在区域数A小于10的情况下，通过算法Otsu算法对深度图进行区域划分得到的结果，例如最终划分为前景掩膜和背景掩膜。902为在区域数A大于或等于10的情况下，通过超像素分割算法对深度图进行区域划分得到的结果。PMPI的区域数A及最大深度dmax需要根据场景的复杂度和最大深度提前给定。在一些实施例中区域数A＝2；
e.采用第一多层感知机MLP1以PMPI中点的空间坐标(x,y,d)(以下也简称为P点)的56维位置编码作为输入，学习P点在PMPI中的透明度图的α值和颜色图中的RGB系数[k 1 P,...,k N P]；
f.采用显式存储训练的方式学习P点在PMPI颜色图中的基础RGB值k 0 P；
g.采用第二多层感知机MLP2以P点相对于目标视点(观察点)的单位方向向量v中v x,v y的位置编码向量为输入，学习P点在PMPI中颜色图中的基函数H n(v)，基函数数量N＝8；
h.采用上述公式(9)所示的方法计算得到P点在PMPI颜色图中的RGB值；
i.由PMPI、第一参考视点对应的相机参数和目标视点对应的相机参数渲染得到目标视点下的新视图。渲染方式仍然是如上述公式(11)所示的标准反向单应变换(Standard inverse homography)。
对于待渲染视图的每一个像素点，使用上述公式(11)所示的标准反向单应变换得到了其在每一个深度上的对应P点坐标。以区域数A＝2，深度数为4的PMPI为例，可以得到7个PMPI对应点(PMPI有7个不同的深度，因为区域最远深度相同)。然而，如图10所示，与待渲染视图的像素点对应的P点数量不确定(少于等于7)，而且所在的深度也会随着待渲染视图的像素点的变化而变化。在一些实施例中，使用深度图的区域分割得到的前景掩膜和背景掩膜，对7个点的坐标进行筛选，得到有效的P点；
j.采用式4合成待渲染视图的像素点的RGB值；
k.根据目标视点下的合成视图和目标视点下的真实视图，计算重建损失，以式6作为训练过程中的损失函数。
其中，深度图的确定流程如图11所示，其中，①：通过简化版(去除基函数)NeX模型获取MPI；②：由MPI的透明度图(α图)合成视差图；③：由视差图和colmap得到的稀疏点云计算深度图：
a.对于场景的稀疏视图，使用colmap工具进行由运动到结构(SfM)的相机参数估计和多维立体重建(MVS)，得到稀疏点云。稀疏点云的坐标是(x,y,d)，其中d是相对于参考相机的深度；
b.以场景的稀疏视图为输入，如图5使用NeX模型合成场景的MPI表征，但是其中基函数个数设置为0。即不考虑场景中的非朗伯面反射效果；
c.由MPI的透明度层合成场景的视差图。由视差图和colmap得到的稀疏点云计算深度图，如图11中的③所示。
根据如下公式(15)合成视差图
其中，d i是MPI第i个平面(由远及近排序)的深度。视差和深度成反比例关系，反比例系数确定。反比例系数记为σ。在一些实施例中，如下公式(16)所示，通过最小化L2损失获得σ的最佳值σ′：
其中，P s为稀疏点云，(x,y,d)是点在第一参考视点的相机坐标系中的坐标。由视差图和反比例系数即可计算得到深度图。
PMPI模型与NeX模型在真实场景fern和trex上进行了性能对比。输出图像尺寸固定为1008×756。PMPI模型合成MPI的过程中训练400轮次，合成PMPI训练4000轮次，NeX训练4000轮次。其余设置均相同。二者训练所耗时间几乎相同。二者在测试集上的数据比较如下表1所示：
表1 PMPI模型(以PMPI指代)与NeX模型的测试性能对比
合成的直观结果如图12和13所示，其中，图12为在fern场景的合成效果对比，红框121和122为NeX模型的合成结果，红框123和124为PMPI模型的合成结果。图13为在trex场景的合成效果对比，红框131和132为NeX模型的合成结果，红框133和134为PMPI模型的合成结果。
可见，PMPI模型的合成结果优于NeX的合成效果。而且受益于PMPI在背景区域的优势，PMPI模型的合成结果相对于NeX模型在场景的背景的细节表现更加突出。
基于前述的实施例，本申请实施例提供的图像处理装置，包括所包括的各模块、以及各模块所包括的各单元，可以通过各种类型的处理器来实现；当然也可通过具体的逻辑电路实现。
图14为本申请实施例图像处理装置的结构示意图，如图14所示，图像处理装置14包括：
区域划分模块141，用于根据第一参考视点下的深度图中第一像素点的深度，对所述深度图进行区域划分，得到至少一个区域；
坐标反变换模块142，用于将目标视点下的待渲染视图的第m个第二像素点的坐标反变换至所述至少一个区域中的至少一个目标区域中，得到所述第m个第二像素点在所述至少一个目标区域中的存在位置点；其中，m大于0且小于或等于所述待渲染视图的总像素点数；
渲染模块143，用于根据所述第m个第二像素点在所述至少一个目标区域中的存在位置点，渲染所述第m个第二像素点的颜色。
在一些实施例中，区域划分模块141，用于：根据所述深度图中第一像素点的深度，确定所述第一像素点之间的深度关系；以及根据所述深度关系，对所述深度图进行区域划分，得到至少一个区域。
在一些实施例中，区域划分模块141，用于：将深度相同或深度差在特定范围内的第一像素点划分在同一区域。
在一些实施例中，坐标反变换模块142，用于：确定所述第一参考视点所在的相机坐标系与所述目标视点所在的相机坐标的变换关系；获取所述第一参考视点对应的相机内参和所述目标视点对应的相机内参；确定所述至少一个目标区域的区域深度；根据所述变换关系、所述第一参考视点和所述目标视点分别对应的相机内参以及所述区域深度，对所述第m个第二像素点的齐次坐标进行反向单应变换，得到所述第m个第二像素点在所述至少一个目标区域中的存在位置点。
在一些实施例中，渲染模块143，用于：从所述第m个第二像素点在所述至少一个目标区域中的存在位置点中，筛选出满足条件的位置点作为有效位置点；以及根据所述有效位置点，渲染所述第m个第二像素点的颜色。
在一些实施例中，渲染模块143，用于：确定所述有效位置点的颜色系数、透明度、基础颜色值和基函数；其中，所述基函数的自变量为所述有效位置点与所述目标视点的相对方向；根据所述有效位置点的颜色系数、基础颜色值和基函数，得到所述有效位置点从所述相对方向被观察到的颜色值；将每一所述有效位置点的透明度和所述被观察到的颜色值进行合成，得到合成颜色值；利用所述合成颜色值，渲染所述第m个第二像素点的颜色。
在一些实施例中，渲染模块143，用于：根据有效位置点的坐标和已训练得到的第一多层感知机，得到所述有效位置点的透明度和颜色系数；根据所述有效位置点的坐标，得到所述有效位置点的基础颜色值；根据所述相对方向和已训练得到的第二多层感知机，得到所述有效位置点的基函数。
在一些实施例中，渲染模块143，用于：将所述有效位置点的坐标映射为具有第一维度的向量；将所述具有第一维度的向量输入至所述第一多层感知机中，得到所述有效位置点的透明度和颜色系数。
在一些实施例中，渲染模块143，用于：将所述相对方向映射为具有第二维度的向量；将所述具有第二维度的向量输入至所述第二多层感知机中，得到所述有效位置点的基函数。
在一些实施例中，图像处理装置14还包括更新模块，用于：在所述待渲染视图的每一第二像素点的颜色被渲染后，得到所述目标视点下的合成视图；获取所述目标视点下的真实视图；根据所述合成视图和所述真实视图，得到合成损失；根据所述合成损失，更新所述第一多层感知机和所述第二多层感知机的参数值。
在一些实施例中，渲染模块143还用于：利用更新后的第一多层感知机和更新后的第二多层感知机，重新渲染所述第m个第二像素点的颜色，直至得到的合成损失满足条件或者更新次数满足条件。
在一些实施例中，图像处理装置14还包括深度图获得模块，用于：根据至少一张第二参考视点下的视图对包括的场景进行三维重建，得到所述场景在第一参考视点的相机坐标系下的点云数据；确定所述场景的视差图；根据所述视差图和所述点云数据，得到所述第一参考视点下的深度图。
在一些实施例中，深度图获得模块，用于：根据至少一张第二参考视点下的视图，得到所述场景的至少一个平面的透明度图；根据所述至少一个平面的透明度图和对应的平面深度，合成所述场景的视差图。
在一些实施例中，深度图获得模块，用于：根据所述视差图和所述点云数据，得到所述视差图与所述深度图的反比例系数；根据所述反比例系数和所述视差图，得到所述第一参考视点下的深度图。
以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节，请参照本申请方法实施例 的描述而理解。
需要说明的是，本申请实施例中，如果以软件功能模块的形式实现上述的方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得电子设备执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请实施例不限制于任何特定的硬件和软件结合。
对应地，本申请实施例提供一种电子设备，图15为本申请实施例的电子设备的硬件实体示意图，如图15所示，所述电子设备15包括存储器151和处理器152，所述存储器151存储有可在处理器152上运行的计算机程序，所述处理器152执行所述程序时实现上述实施例中提供的方法中的步骤。
需要说明的是，存储器151配置为存储由处理器152可执行的指令和应用，还可以缓存在处理器152以及电子设备15中各模块待处理或已经处理的数据(例如，图像数据、音频数据、语音通信数据和视频通信数据)，可以通过闪存(FLASH)或随机访问存储器(Random Access Memory，RAM)实现。
在一些实施例中，如图16所示，电子设备还包括解码器161和显示装置162；其中，解码器161，用于对编码端发送的码流进行解码，得到第一参考视点下的深度图；以及，将该深度图传输给处理器152；处理器152，用于根据所述深度图执行上述实施例中提供的图像处理方法中的步骤，从而最终得到目标视点下的合成视图；以及，将所述合成视图传输给显示装置162；显示装置162根据接收的合成视图进行显示或播放；其中，处理器152可以根据特定的区域划分算法对该深度图进行区域划分，从而得到至少一个区域。
在一些实施例中，码流中还可以携带区域总数，这样，处理器152可以根据解码器161解码得到的区域总数，对深度图进行区域划分。
对应地，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中提供的方法中的步骤。
这里需要指出的是：以上存储介质和设备实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请存储介质和设备实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”或“一些实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”或“在一些实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者设备中还存在另外的相同要素。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其 它的方式实现。以上所描述的触摸屏系统的实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个模块或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或模块的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的模块可以是、或也可以不是物理上分开的，作为模块显示的部件可以是、或也可以不是物理模块；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部模块来实现本实施例方案的目的。
另外，在本申请各实施例中的各功能模块可以全部集成在一个处理单元中，也可以是各模块分别单独作为一个单元，也可以两个或两个以上模块集成在一个单元中；上述集成的模块既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得电子设备执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
以上所述，仅为本申请的实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (20)

  1. 一种图像处理方法，所述方法包括：
    根据第一参考视点下的深度图中第一像素点的深度，对所述深度图进行区域划分，得到至少一个区域；
    将目标视点下的待渲染视图的第m个第二像素点的坐标反变换至所述至少一个区域中的至少一个目标区域中，得到所述第m个第二像素点在所述至少一个目标区域中的存在位置点；其中，m大于0且小于或等于所述待渲染视图的总像素点数；
    根据所述第m个第二像素点在所述至少一个目标区域中的存在位置点，渲染所述第m个第二像素点的颜色。
  2. 根据权利要求1所述的方法，其中，所述根据第一参考视点下的深度图中第一像素点的深度，对所述深度图进行区域划分，得到至少一个区域，包括：
    根据所述深度图中第一像素点的深度，确定所述第一像素点之间的深度关系；
    根据所述深度关系，对所述深度图进行区域划分，得到至少一个区域。
  3. 根据权利要求2所述的方法，其中，所述根据所述深度关系，对所述深度图进行区域划分，得到至少一个区域，包括：
    将深度相同或深度差在特定范围内的第一像素点划分在同一区域。
  4. 根据权利要求1至3任一项所述的方法，其中，所述将目标视点下的待渲染视图的第m个第二像素点的坐标反变换至所述至少一个区域中的至少一个目标区域中，得到所述第m个第二像素点在所述至少一个目标区域区域中的存在位置点，包括：
    确定所述第一参考视点所在的相机坐标系与所述目标视点所在的相机坐标的变换关系；
    获取所述第一参考视点对应的相机内参和所述目标视点对应的相机内参；
    确定所述至少一个目标区域的区域深度；
    根据所述变换关系、所述第一参考视点和所述目标视点分别对应的相机内参以及所述区域深度，对所述第m个第二像素点的齐次坐标进行反向单应变换，得到所述第m个第二像素点在所述至少一个目标区域中的存在位置点。
  5. 根据权利要求1所述的方法，其中，所述根据所述第m个第二像素点在所述至少一个目标区域中的存在位置点，渲染所述第m个第二像素点的颜色，包括：
    从所述第m个第二像素点在所述至少一个目标区域中的存在位置点中，筛选出满足条件的位置点作为有效位置点；
    根据所述有效位置点，渲染所述第m个第二像素点的颜色。
  6. 根据权利要求5所述的方法，其中，所述根据所述有效位置点，渲染所述第m个第二像素点的颜色，包括：
    确定所述有效位置点的颜色系数、透明度、基础颜色值和基函数；其中，所述基函数的自变量为所述有效位置点与所述目标视点的相对方向；
    根据所述有效位置点的颜色系数、基础颜色值和基函数，得到所述有效位置点从所述相对方向被观察到的颜色值；
    将每一所述有效位置点的透明度和所述被观察到的颜色值进行合成，得到合成颜色值；
    利用所述合成颜色值，渲染所述第m个第二像素点的颜色。
  7. 根据权利要求6所述的方法，其中，所述确定所述有效位置点的颜色系数、透明度和基础颜色值和基函数，包括：
    根据所述有效位置点的坐标和已训练得到的第一多层感知机，得到所述有效位置点 的透明度和颜色系数；
    根据所述有效位置点的坐标，得到所述有效位置点的基础颜色值；
    根据所述相对方向和已训练得到的第二多层感知机，得到所述有效位置点的基函数。
  8. 根据权利要求7所述的方法，其中，所述根据所述有效位置点的坐标和已训练得到的第一多层感知机，得到所述有效位置点的透明度和颜色系数，包括：
    将所述有效位置点的坐标映射为具有第一维度的向量；
    将所述具有第一维度的向量输入至所述第一多层感知机中，得到所述有效位置点的透明度和颜色系数。
  9. 根据权利要求7所述的方法，其中，所述根据所述相对方向和已训练得到的第二多层感知机，得到所述有效位置点的基函数，包括：
    将所述相对方向映射为具有第二维度的向量；
    将所述具有第二维度的向量输入至所述第二多层感知机中，得到所述有效位置点的基函数。
  10. 根据权利要求7所述的方法，其中，所述方法还包括：
    在所述待渲染视图的每一第二像素点的颜色被渲染后，得到所述目标视点下的合成视图；
    获取所述目标视点下的真实视图；
    根据所述合成视图和所述真实视图，得到合成损失；
    根据所述合成损失，更新所述第一多层感知机和所述第二多层感知机的参数值。
  11. 根据权利要求10所述的方法，其中，所述方法还包括：
    利用更新后的第一多层感知机和更新后的第二多层感知机，重新渲染所述第m个第二像素点的颜色，直至得到的合成损失满足条件或者更新次数满足条件。
  12. 根据权利要求1所述的方法，其中，所述第一参考视点下的深度图的获得过程包括：
    根据至少一张第二参考视点下的视图对包括的场景进行三维重建，得到所述场景在第一参考视点的相机坐标系下的点云数据；
    确定所述场景的视差图；
    根据所述视差图和所述点云数据，得到所述第一参考视点下的深度图。
  13. 根据权利要求12所述的方法，其中，所述确定所述场景的视差图，包括：
    根据至少一张第二参考视点下的视图，得到所述场景的至少一个平面的透明度图；
    根据所述至少一个平面的透明度图和对应的平面深度，合成所述场景的视差图。
  14. 根据权利要求12所述的方法，其中，所述根据所述视差图和所述点云数据，得到所述第一参考视点下的深度图，包括：
    根据所述视差图和所述点云数据，得到所述视差图与所述深度图的反比例系数；
    根据所述反比例系数和所述视差图，得到所述第一参考视点下的深度图。
  15. 一种图像处理装置，包括：
    区域划分模块，用于根据第一参考视点下的深度图中第一像素点的深度，对所述深度图进行区域划分，得到至少一个区域；
    坐标反变换模块，用于将目标视点下的待渲染视图的第m个第二像素点的坐标反变换至所述至少一个区域中的至少一个目标区域中，得到所述第m个第二像素点在所述至少一个目标区域中的存在位置点；其中，m大于0且小于或等于所述待渲染视图的总像素点数；
    渲染模块，用于根据所述第m个第二像素点在所述至少一个目标区域中的存在位置 点，渲染所述第m个第二像素点的颜色。
  16. 根据权利要求15所述的装置，其中，所述区域划分模块，用于：
    根据所述深度图中第一像素点的深度，确定所述第一像素点之间的深度关系；以及
    根据所述深度关系，对所述深度图进行区域划分，得到至少一个区域。
  17. 根据权利要求16所述的装置，其中，所述区域划分模块，用于：将深度相同或深度差在特定范围内的第一像素点划分在同一区域。
  18. 根据权利要求15至17任一项所述的装置，其中，所述渲染模块，用于：
    从所述第m个第二像素点在所述至少一个目标区域中的存在位置点中，筛选出满足条件的位置点作为有效位置点；以及
    根据所述有效位置点，渲染所述第m个第二像素点的颜色。
  19. 一种电子设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1至14任一项所述图像处理方法中的步骤。
  20. 一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现权利要求1至14任一项所述图像处理方法中的步骤。
CN202180100038.4A 2021-06-29 2021-06-29 图像处理方法及装置、设备、存储介质 Pending CN117730530A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2021/103290 WO2023272531A1 (zh) 2021-06-29 2021-06-29 图像处理方法及装置、设备、存储介质

Publications (1)

Publication Number Publication Date
CN117730530A true CN117730530A (zh) 2024-03-19

Family

ID=84690169

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180100038.4A Pending CN117730530A (zh) 2021-06-29 2021-06-29 图像处理方法及装置、设备、存储介质

Country Status (2)

Country Link
CN (1) CN117730530A (zh)
WO (1) WO2023272531A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118172496A (zh) * 2024-05-15 2024-06-11 齐鲁空天信息研究院 一种三维重建方法、系统、介质、设备及程序产品

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116664741B (zh) * 2023-06-13 2024-01-19 北京东方融创信息技术有限公司 一种高清管线的工业组态场景渲染方法
CN117994444B (zh) * 2024-04-03 2024-06-18 浙江华创视讯科技有限公司 复杂场景的重建方法、设备及存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103945209B (zh) * 2014-04-28 2016-01-06 华南理工大学 一种基于分块投影的dibr方法
CN104270624B (zh) * 2014-10-08 2016-08-24 太原科技大学 一种分区域的3d视频映射方法
CN104869386A (zh) * 2015-04-09 2015-08-26 东南大学 一种基于分层处理虚拟视点合成方法
US11024046B2 (en) * 2018-02-07 2021-06-01 Fotonation Limited Systems and methods for depth estimation using generative models
US10958887B2 (en) * 2019-01-14 2021-03-23 Fyusion, Inc. Free-viewpoint photorealistic view synthesis from casually captured video
KR102407137B1 (ko) * 2019-03-06 2022-06-10 한국전자통신연구원 영상 처리 방법 및 장치
CN112233165B (zh) * 2020-10-15 2024-06-21 大连理工大学 一种基于多平面图像学习视角合成的基线扩展实现方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118172496A (zh) * 2024-05-15 2024-06-11 齐鲁空天信息研究院 一种三维重建方法、系统、介质、设备及程序产品

Also Published As

Publication number Publication date
WO2023272531A1 (zh) 2023-01-05

Similar Documents

Publication Publication Date Title
US10540576B1 (en) Panoramic camera systems
US20200357136A1 (en) Method and apparatus for determining pose of image capturing device, and storage medium
CN117730530A (zh) 图像处理方法及装置、设备、存储介质
US8611642B2 (en) Forming a steroscopic image using range map
KR100560464B1 (ko) 관찰자의 시점에 적응적인 다시점 영상 디스플레이 시스템을 구성하는 방법
CN111598993A (zh) 基于多视角成像技术的三维数据重建方法、装置
CN112561978B (zh) 深度估计网络的训练方法、图像的深度估计方法、设备
WO2015188666A1 (zh) 三维视频滤波方法和装置
JP7371691B2 (ja) ホモグラフィ変換を使用した点群符号化
CN113313832B (zh) 三维模型的语义生成方法、装置、存储介质与电子设备
CN115731336B (zh) 图像渲染方法、图像渲染模型生成方法及相关装置
CN113643414A (zh) 一种三维图像生成方法、装置、电子设备及存储介质
WO2020184174A1 (ja) 画像処理装置および画像処理方法
JP7499412B2 (ja) 品質アセスメントのための方法、装置、及びプログラム
CN113850900A (zh) 三维重建中基于图像和几何线索恢复深度图的方法及系统
CN114996814A (zh) 一种基于深度学习与三维重建的家具设计系统
CN116579962A (zh) 一种基于鱼眼相机的全景感知方法、装置、设备及介质
Jin et al. From capture to display: A survey on volumetric video
Zhou et al. Single-view view synthesis with self-rectified pseudo-stereo
CN111754561B (zh) 基于自监督深度学习的光场图像深度恢复方法及系统
EP4162691A1 (en) A method, an apparatus and a computer program product for video encoding and video decoding
Fachada et al. Chapter View Synthesis Tool for VR Immersive Video
CN115147577A (zh) Vr场景生成方法、装置、设备及存储介质
Van Bogaert et al. Novel view synthesis in embedded virtual reality devices
CN111178163B (zh) 基于立方体投影格式的立体全景图像显著区域预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination