CN114549429A - 基于超图结构的深度数据质量评价方法及装置 - Google Patents

基于超图结构的深度数据质量评价方法及装置 Download PDF

Info

Publication number
CN114549429A
CN114549429A CN202210110951.9A CN202210110951A CN114549429A CN 114549429 A CN114549429 A CN 114549429A CN 202210110951 A CN202210110951 A CN 202210110951A CN 114549429 A CN114549429 A CN 114549429A
Authority
CN
China
Prior art keywords
rgb
hypergraph
block
blocks
evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210110951.9A
Other languages
English (en)
Inventor
高跃
程嘉梁
李思奇
吉书仪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202210110951.9A priority Critical patent/CN114549429A/zh
Publication of CN114549429A publication Critical patent/CN114549429A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种基于超图结构的深度数据质量评价方法及装置，其中，方法包括：获取对齐的彩色与深度RGB‑D图像，并对RGB‑D图像进行分块，得到多个RGB‑D块；提取多个RGB‑D块的每个RGB‑D块的特征向量，并基于所有特征向量间的欧式距离构建超图；计算超图的关联矩阵，并利用关联矩阵对所有特征向量做超图卷积，得到每个RGB‑D块的局部评价分数，并基于每个RGB‑D块的局部评价分数生成RGB‑D图像的整体评价分数。由此，解决了相关技术中深度数据质量评价工作缺失，且在无法获得参考深度图的情况下，相关技术无法为失真深度图计算较为准确的质量分数，只考虑简单特征、缺乏通用性、计算效率低下以及忽视深度图内部高阶关联等问题。

Description

基于超图结构的深度数据质量评价方法及装置
技术领域
本申请涉及深度数据质量评价技术领域，特别涉及一种基于超图结构的深度数据质量评价方法及装置。
背景技术
现如今，硬件和计算技术的飞速发展促进了许多深度数据的应用，如3D视频，而作为RGB数据的一种补充，深度数据也帮助解决了许多有挑战性的工作，如场景中的显著物体检测。通常而言，深度数据(即深度图)可以通过立体图像匹配或是使用深度相机拍摄两种方式获取。
然而，现有的立体图像匹配方法往往受到遮挡或是缺少纹理等的影响而生成不准确的深度图。尽管使用深度相机可以捕捉到到更准确的深度图，但是固有的传感器噪声同样也会影响深度图的质量，这些深度图中的失真会进一步影响下游所有相关任务的性能，因此，深度数据质量评价是十分必要且重要的。
尽管相关技术中已经有很多针对深度数据质量评价的方法，但是这些方法存在以下问题：
(1)相关技术中直接对深度图进行评价的工作很少，主要针对的是立体图像或是3D视频；
(2)相关技术中法是为针对特定失真类型(如高斯模糊)或是特定应用(如传输错误)而设计的，缺乏通用性；
(3)相关技术中往往只考虑一些简单的形状特征，如边缘特征，不仅会忽视重要的、包含完整信息的内容特征，还忽视了深度图中存在的描述失真模式的内部关联信息；
(4)相关技术中往往依赖于传统的特征提取算法，不仅十分耗时，还缺乏实用性。
申请内容
本申请提供一种基于超图结构的深度数据质量评价方法及装置，以解决相关技术中深度数据质量评价工作缺失，且在无法获得参考深度图的情况下，相关技术无法为失真深度图计算较为准确的质量分数，只考虑简单特征、缺乏通用性、计算效率低下以及忽视深度图内部高阶关联等问题。
本申请第一方面实施例提供一种基于超图结构的深度数据质量评价方法，包括以下步骤：获取对齐的彩色与深度RGB-D图像，并对所述RGB-D图像进行分块，得到多个RGB-D块；提取所述多个RGB-D块的每个RGB-D块的特征向量，并基于所有特征向量间的欧式距离构建超图；以及计算所述超图的关联矩阵，并利用所述关联矩阵对所述所有特征向量做超图卷积，得到所述每个RGB-D块的局部评价分数，并基于所述每个RGB-D块的局部评价分数生成所述RGB-D图像的整体评价分数。
可选地，在本申请的一个实施例中，所述基于所有特征向量间的欧式距离构建超图，包括：使用K阶最近邻方法将所述每个RGB-D块与之相距最近的k个块放入同一条超边中，生成所述超图。
可选地，在本申请的一个实施例中，所述利用所述关联矩阵对所述所有特征向量做超图卷积，得到所述每个RGB-D块的局部评价分数，包括：基于预设的超图卷积的质量预测器，利用所述关联矩阵对所述所有特征向量做超图卷积，经过多次传播后，得到一维向量；基于所述以为向量得到对应RGB-D块的局部评价分数。
可选地，在本申请的一个实施例中，所述基于所述每个RGB-D块的局部评价分数生成所述RGB-D图像的整体评价分数，包括：对所述所有个RGB-D块的局部评价分数取平均，得到平均值；由所述平均值得到所述RGB-D图像的整体评价分数。
可选地，在本申请的一个实施例中，所述提取所述多个RGB-D块的每个RGB-D块的特征向量，包括：利用自编码器提取所述多个RGB-D块的每个RGB-D块的特征向量，其中，所述自编码器包括编码器、瓶颈与解码器，以从所述瓶颈处提取，且通过最大池化与首尾拼接压缩成所述每个RGB-D块的特征向量。
本申请第二方面实施例提供一种基于超图结构的深度数据质量评价装置，包括：分块模块，用于获取对齐的彩色与深度RGB-D图像，并对所述RGB-D图像进行分块，得到多个RGB-D块；提取模块，用于提取所述多个RGB-D块的每个RGB-D块的特征向量，并基于所有特征向量间的欧式距离构建超图；以及评价模块，用于计算所述超图的关联矩阵，并利用所述关联矩阵对所述所有特征向量做超图卷积，得到所述每个RGB-D块的局部评价分数，并基于所述每个RGB-D块的局部评价分数生成所述RGB-D图像的整体评价分数。
可选地，在本申请的一个实施例中，所述提取模块进一步用于使用K阶最近邻方法将所述每个RGB-D块与之相距最近的k个块放入同一条超边中，生成所述超图。
可选地，在本申请的一个实施例中，所述评价模块包括：获取单元，用于基于预设的超图卷积的质量预测器，利用所述关联矩阵对所述所有特征向量做超图卷积，经过多次传播后，得到一维向量；评价单元，用于基于所述以为向量得到对应RGB-D块的局部评价分数。
可选地，在本申请的一个实施例中，所述评价单元进一步用于对所述所有RGB-D块的局部评价分数取平均，得到平均值，并由所述平均值得到所述RGB-D图像的整体评价分数。
可选地，在本申请的一个实施例中，所述提取模块，包括：利用自编码器提取所述多个RGB-D块的每个RGB-D块的特征向量的提取单元，其中，所述自编码器包括编码器、瓶颈与解码器，以从所述瓶颈处提取，且通过最大池化与首尾拼接压缩成所述每个RGB-D块的特征向量。
本申请第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的基于超图结构的深度数据质量评价方法。
本申请第四方面实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上述实施例所述的基于超图结构的深度数据质量评价方法。
本申请实施例通过提取失真深度图的完整内容特征以及使用超图结构挖掘深度图内部的高阶信息关联，实现了在没有参考深度图的情况下，仍能计算出局部与整体的较为准确的深度图质量评价分数，增加了评价方法的通用性，提高了计算效率，为深度图相关的下游应用提供前置辅助。由此，解决了相关技术中深度数据质量评价工作缺失，且在无法获得参考深度图的情况下，相关技术无法为失真深度图计算较为准确的质量分数，只考虑简单特征、缺乏通用性、计算效率低下以及忽视深度图内部高阶关联等问题。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本申请实施例提供的一种基于超图结构的深度数据质量评价方法的流程图；
图2为根据本申请一个具体实施例提供的基于超图结构的深度数据质量评价方法的原理示意图；
图3为根据本申请实施例提供的一种基于超图结构的深度数据质量评价装置的结构示意图；
图4为根据本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的基于超图结构的深度数据质量评价方法及装置。针对上述背景技术中心提到的相关技术中深度数据质量评价工作缺失，且在无法获得参考深度图的情况下，相关技术无法为失真深度图计算较为准确的质量分数，只考虑简单特征、缺乏通用性、计算效率低下以及忽视深度图内部高阶关联的问题，本申请提供了一种基于超图结构的深度数据质量评价方法，在该方法中，通过提取失真深度图的完整内容特征以及使用超图结构挖掘深度图内部的高阶信息关联，实现了在没有参考深度图的情况下，仍能计算出局部与整体的较为准确的深度图质量评价分数，增加了评价方法的通用性，提高了计算效率，为深度图相关的下游应用提供前置辅助。由此，解决了相关技术中深度数据质量评价工作缺失，且在无法获得参考深度图的情况下，相关技术无法为失真深度图计算较为准确的质量分数，只考虑简单特征、缺乏通用性、计算效率低下以及忽视深度图内部高阶关联等问题。
具体而言，图1为本申请实施例所提供的一种基于超图结构的深度数据质量评价方法的流程示意图。
如图1所示，该基于超图结构的深度数据质量评价方法包括以下步骤：
在步骤S101中，获取对齐的彩色与深度RGB-D图像，并对RGB-D图像进行分块，得到多个RGB-D块。
可以理解的是，本申请实施例首先可以获取一张对齐的彩色与深度RGB-D图像，如表示为图像I＝{IRGB,ID}，并对图像进行分块：I＝{I1,I2,…,IN}，其中，N代表分块的数量，为方便计算，可以将横向和纵向的划分数量设置为相同数值，故N对应于一平方数。可以理解的是，分块数量越多，质量评价的结果也越精细准确，但相应的计算时间也随之增加，因此本申请实施例可以选一个最优值。
例如，本申请实施例可以将N设置为8×8，该数值可以在保证计算效率的同时，使得本申请实施例取得较为准确的结果，但根据实际应用场景的不同，N的数值可以进行相应调整，具体数值可以由本领域技术人员进行适应性调整，在此不做具体限制。
在步骤S102中，提取多个RGB-D块的每个RGB-D块的特征向量，并基于所有特征向量间的欧式距离构建超图。
作为一种可能实现的方式，本申请实施例可以使用自编码器Fa提取每一个RGB-D块的特征向量：fi＝Fa(Ii；Θa)，其中，Θa代表训练得到的自编码器的所有参数，并通过提取出的特征向量间的欧式距离构建超图，进而通过提取所有RGB-D块的特征向量，获得失真深度图的完整内容特征，从而减少计算误差，使得本申请实施例在缺少参考深度图的情况下，依旧能获取所需数据并生成对应的超图，可以应对失真深度图中的复杂特征，通用性更强。
可选地，在本申请的一个实施例中，基于所有特征向量间的欧式距离构建超图，包括：使用K阶最近邻方法将每个RGB-D块与之相距最近的k个块放入同一条超边中，生成超图。
具体地，本申请实施例中所有块的特征向量间的欧式距离的计算公式可以为：
Figure BDA0003495064400000051
对于每一个RGB-D块，使用k阶最近邻(KNN)方法找到与之相距最近的k个块，并将这k+1个块放入同一条超边中，从而构建出一个超图G＝(E,V,W)，其中，E表示其超边集合；V表示其点集(此处每一个点分别对应一个RGB-D块)以及对角矩阵W对应于超边的权重。在本申请实施例中设置对角矩阵W为单位矩阵，即所有超边的权重相同，如当N为8×8时，可以得到k＝8。
可选地，在本申请的一个实施例中，提取多个RGB-D块的每个RGB-D块的特征向量，包括：利用自编码器提取多个RGB-D块的每个RGB-D块的特征向量，其中，自编码器包括编码器、瓶颈与解码器，以从瓶颈处提取，且通过最大池化与首尾拼接压缩成每个RGB-D块的特征向量。
作为一种可能实现的方式，本申请实施例预先设计的自编码器由编码器、瓶颈和解码器三部分组成，其输入和输出均为RGB-D图像。编码器包含8次卷积操作，而解码器采取与编码器完全对称的结构，只是在卷积前插入上采样操作以实现最终将张量的尺寸恢复至输入RGB-D图像的尺寸。瓶颈部分包含3次卷积操作，并在后两次中加入残差连接：H(x)＝F(x)+x，以使提取的特征向量包含充足的内容信息。此外，在整个自编码器中的每一次卷积操作之后，本申请实施例都需要进行一次批正则化处理与ReLU激活。本申请实施例提取瓶颈部分第3次卷积之后的张量，进行一次最大池化之后首尾拼接成为一维向量，即为提取的特征向量fi。
在步骤S103中，计算超图的关联矩阵，并利用关联矩阵对所有特征向量做超图卷积，得到每个RGB-D块的局部评价分数，并基于每个RGB-D块的局部评价分数生成RGB-D图像的整体评价分数。
具体地，超图的关联矩阵的计算公式为：
Figure BDA0003495064400000052
其中，矩阵L表示了超图中的点间连接关系；H是超图的示性矩阵、点落入超边中则值为1，否则为0；Dv和De分别代表点的度数的对角矩阵以及超边的度数的对角矩阵，其中点的度数定义为：d(v)＝∑e∈EW(e)H(v,e)，而超边的度数定义为：δ(e)＝∑v∈VH(v,e)。
即言，本申请实施例可以根据计算超图的关联矩阵，利用关联矩阵对所有特征向量做超图卷积，得到每个RGB-D块的局部评价分数，并基于每个RGB-D块的局部评价分数生成RGB-D图像的整体评价分数。本申请实施例通过提取失真深度图的完整内容特征以及使用超图结构挖掘深度图内部的高阶信息关联，使得本申请实施例在没有参考深度图的情况下，仍能计算出局部与整体的较为准确的深度图质量评价分数，增加了评价方法的通用性和评价分数的准确性。
可选地，在本申请的一个实施例中，利用关联矩阵对所有特征向量做超图卷积，得到每个RGB-D块的局部评价分数，包括：基于预设的超图卷积的质量预测器，利用关联矩阵对所有特征向量做超图卷积，经过多次传播后，得到一维向量；基于以为向量得到对应RGB-D块的局部评价分数。
可以理解的是，构建基于超图卷积的质量预测器的输入数据为超图的关联矩阵L和步骤S102中提取得到的所有特征向量F。质量预测器总共包含5个超图卷积层，在每次超图卷积之后进行一次批处理操作、ReLU激活以及Dropout处理。
例如，本申请实施例可以定义质量预测器的层级传播规则为：
Figure BDA0003495064400000061
其中，M()是随机遮罩向量；σ是ReLU激活函数；X()是第(t+1)层的输出；X()＝F。
Figure BDA0003495064400000062
是第t层的图卷积的可学习参数；BNγ,是批正则化操作，其中，γ和β分别是对应的可学习参数。质量预测器经过五层传播之后，得到一维向量X()，并使用Sigmoid函数将之放缩至0～1之间，得到RGB-D块的局部质量评价分数：Q＝S(X(5))。本申请实施例通过针对不同RGB-D快进行局部评价分数计算，增加了评价分数的准确性，且使得本申请实施例可以应用于多重复杂情况，增加了其通用性。
可选地，在本申请的一个实施例中，基于每个RGB-D块的局部评价分数生成RGB-D图像的整体评价分数，包括：对所有RGB-D块的局部评价分数取平均，得到平均值；由平均值得到RGB-D图像的整体评价分数。
在实际执行过程中，，本申请实施例对于所有RGB-D块的评价分数Q取平均，得到深度图的整体评价分数：q＝∑Q/N。本申请实施例通过取平均值再积分的方式获得整体评价分数，使得分数更加贴合实际情况，准确度更高。
下面结合图2对本申请实施例的基于超图结构的深度数据质量评价方法的原理进行详细阐述。
如图2所示，本申请实施例可以包括以下步骤：
步骤S201：输入一张RGB-D图像。即输入一张对齐的彩色与深度RGB-D到图像，I＝{IRGB,ID}。
步骤S202：对RGB-D图像进行分块。本申请实施例对图像进行分块：I＝{I1,I2,…,IN}，其中，N代表分块的数量。为便于计算，本申请实施例可以将横向和纵向的划分数量设置为相同数值，故N对应于一平方数。可以理解的是，分块数量越多，质量评价的结果也越精细准确，但相应的计算时间也随之增加，因此本申请实施例可以选一个最优值，例如，本申请实施例可以将N设置为8×8。
步骤S203：使用自编码器提取每一块的特征向量。本申请实施例使用自编码器Fa提取每一个RGB-D块的特征向量：fi＝Fa(Ii；Θa)，其中，Θa代表训练得到的自编码器的所有参数。本申请实施例预先设计的自编码器由编码器、瓶颈和解码器三部分组成，其输入和输出均为RGB-D图像。编码器包含8次卷积操作，而解码器采取与编码器完全对称的结构，只是在卷积前插入上采样操作以实现最终将张量的尺寸恢复至输入RGB-D图像的尺寸。瓶颈部分包含3次卷积操作，并在后两次中加入残差连接：H(x)＝F(x)+x，以使提取的特征向量包含充足的内容信息。此外，在整个自编码器中的每一次卷积操作之后，都需要进行一次批正则化处理与ReLU激活。本申请实施例提取瓶颈部分第3次卷积之后的张量，进行一次最大池化之后首尾拼接成为一维向量，即为提取的特征向量fi。本申请实施例通过提取所有RGB-D块的特征向量，获取图像中的深度数据，使得本申请实施例可以在缺失参考深度图的情况下，进行深度数据质量评价，使得评价方法更加便捷。
步骤S204：基于特征向量间的欧式距离建超图。本申请实施例中所有块的特征向量间的欧式距离的计算公式可以为：
Figure BDA0003495064400000071
对于每一个RGB-D块，使用k阶最近邻(KNN)方法找到与之相距最近的k个块，并将这k+1个块放入同一条超边中，从而构建出一个超图G＝(E,V,W)，其中，E表示其超边集合；V表示其点集(此处每一个点分别对应一个RGB-D块)以及对角矩阵W对应于超边的权重。在本申请实施例中设置对角矩阵W为单位矩阵，即所有超边的权重相同，如当N为8×8时，可以得到k＝8。本申请实施例通过提取失真深度图的完整内容特征以及使用超图结构挖掘深度图内部的高阶信息关联，使得在没有参考深度图的情况下，仍能计算出局部与整体的较为准确的深度图质量评价分数，增加了评价方法的通用性和评价分数的准确性。
步骤S205：使用超图卷积计算每一块的质量分数。构建基于超图卷积的质量预测器的输入数据为超图的关联矩阵L和本申请实施例提取得到的所有特征向量F。质量预测器总共包含5个超图卷积层，在每次超图卷积之后进行一次批处理操作、ReLU激活以及Dropout处理。
本申请实施例定义质量预测器的层级传播规则为：
Figure BDA0003495064400000072
其中，M(t)是随机遮罩向量；σ是ReLU激活函数；X(t+1)是第(t+1)层的输出；X(0)＝F。
Figure BDA0003495064400000073
是第t层的图卷积的可学习参数；BNγ,β是批正则化操作，其中，γ和β分别是对应的可学习参数。质量预测器经过五层传播之后，得到一维向量X(5)，并使用Sigmoid函数将之放缩至0～1之间，得到RGB-D块的局部质量评价分数：Q＝S(X(5))。本申请实施例通过针对不同RGB-D快进行局部评价分数计算，增加了评价分数的准确性，且使得本申请实施例可以应用于多重复杂情况，增加了其通用性。
步骤S206：取平均生成整体的质量分数。本申请实施例对于所有RGB-D块的评价分数Q取平均，得到深度图的整体评价分数：q＝∑Q/N。本申请实施例通过取平均值再积分的方式获得整体评价分数，使得分数更加贴合实际情况，准确度更高。
根据本申请实施例提出的基于超图结构的深度数据质量评价方法，通过提取失真深度图的完整内容特征以及使用超图结构挖掘深度图内部的高阶信息关联，实现了在没有参考深度图的情况下，仍能计算出局部与整体的较为准确的深度图质量评价分数，增加了评价方法的通用性，提高了计算效率，为深度图相关的下游应用提供前置辅助。由此，解决了相关技术中深度数据质量评价工作缺失，且在无法获得参考深度图的情况下，相关技术无法为失真深度图计算较为准确的质量分数，只考虑简单特征、缺乏通用性、计算效率低下以及忽视深度图内部高阶关联等问题。
其次参照附图描述根据本申请实施例提出的基于超图结构的深度数据质量评价装置。
图3是本申请实施例的基于超图结构的深度数据质量评价装置的方框示意图。
如图3所示，该基于超图结构的深度数据质量评价装置10包括：分块模块100、提取模块200和评价模块300。
具体地，分块模块100，用于获取对齐的彩色与深度RGB-D图像，并对RGB-D图像进行分块，得到多个RGB-D块。
提取模块200，用于提取多个RGB-D块的每个RGB-D块的特征向量，并基于所有特征向量间的欧式距离构建超图。
评价模块300，用于计算超图的关联矩阵，并利用关联矩阵对所有特征向量做超图卷积，得到每个RGB-D块的局部评价分数，并基于每个RGB-D块的局部评价分数生成RGB-D图像的整体评价分数。
可选地，在本申请的一个实施例中，提取模块200进一步用于使用K阶最近邻方法将每个RGB-D块与之相距最近的k个块放入同一条超边中，生成超图。
可选地，在本申请的一个实施例中，评价模块300包括：获取单元和评价单元。
其中，获取单元，用于基于预设的超图卷积的质量预测器，利用关联矩阵对所有特征向量做超图卷积，经过多次传播后，得到一维向量。
评价单元，用于基于以为向量得到对应RGB-D块的局部评价分数。
可选地，在本申请的一个实施例中，评价单元进一步用于对所有RGB-D块的局部评价分数取平均，得到平均值，并由平均值得到RGB-D图像的整体评价分数。
可选地，在本申请的一个实施例中，提取模块200，包括：提取单元。
其中，提取单元，利用自编码器提取多个RGB-D块的每个RGB-D块的特征向量，其中，自编码器包括编码器、瓶颈与解码器，以从瓶颈处提取，且通过最大池化与首尾拼接压缩成每个RGB-D块的特征向量。
需要说明的是，前述对基于超图结构的深度数据质量评价方法实施例的解释说明也适用于该实施例的基于超图结构的深度数据质量评价装置，此处不再赘述。
根据本申请实施例提出的基于超图结构的深度数据质量评价装置，通过提取失真深度图的完整内容特征以及使用超图结构挖掘深度图内部的高阶信息关联，实现了在没有参考深度图的情况下，仍能计算出局部与整体的较为准确的深度图质量评价分数，增加了评价方法的通用性，提高了计算效率，为深度图相关的下游应用提供前置辅助。由此，解决了相关技术中深度数据质量评价工作缺失，且在无法获得参考深度图的情况下，相关技术无法为失真深度图计算较为准确的质量分数，只考虑简单特征、缺乏通用性、计算效率低下以及忽视深度图内部高阶关联等问题。
图4为本申请实施例提供的电子设备的结构示意图。该电子设备可以包括：
存储器401、处理器402及存储在存储器401上并可在处理器402上运行的计算机程序。
处理器402执行程序时实现上述实施例中提供的基于超图结构的深度数据质量评价方法。
进一步地，电子设备还包括：
通信接口403，用于存储器401和处理器402之间的通信。
存储器401，用于存放可在处理器402上运行的计算机程序。
存储器401可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
如果存储器401、处理器402和通信接口403独立实现，则通信接口403、存储器401和处理器402可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(Industry Standard Architecture，简称为ISA)总线、外部设备互连(PeripheralComponent，简称为PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture，简称为EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选地，在具体实现上，如果存储器401、处理器402及通信接口403，集成在一块芯片上实现，则存储器401、处理器402及通信接口403可以通过内部接口完成相互间的通信。
处理器402可能是一个中央处理器(Central Processing Unit，简称为CPU)，或者是特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路。
本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上的基于超图结构的深度数据质量评价方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或N个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于超图结构的深度数据质量评价方法，其特征在于，包括以下步骤：
获取对齐的彩色与深度RGB-D图像，并对所述RGB-D图像进行分块，得到多个RGB-D块；
提取所述多个RGB-D块的每个RGB-D块的特征向量，并基于所有特征向量间的欧式距离构建超图；以及
计算所述超图的关联矩阵，并利用所述关联矩阵对所述所有特征向量做超图卷积，得到所述每个RGB-D块的局部评价分数，并基于所述每个RGB-D块的局部评价分数生成所述RGB-D图像的整体评价分数。
2.根据权利要求1所述的方法，其特征在于，所述基于所有特征向量间的欧式距离构建超图，包括：
使用K阶最近邻方法将所述每个RGB-D块与之相距最近的k个块放入同一条超边中，生成所述超图。
3.根据权利要求1所述的方法，其特征在于，所述利用所述关联矩阵对所述所有特征向量做超图卷积，得到所述每个RGB-D块的局部评价分数，包括：
基于预设的超图卷积的质量预测器，利用所述关联矩阵对所述所有特征向量做超图卷积，经过多次传播后，得到一维向量；
基于所述以为向量得到对应RGB-D块的局部评价分数。
4.根据权利要求1所述的方法，其特征在于，所述基于所述每个RGB-D块的局部评价分数生成所述RGB-D图像的整体评价分数，包括：
对所述所有RGB-D块的局部评价分数取平均，得到平均值；
由所述平均值得到所述RGB-D图像的整体评价分数。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述提取所述多个RGB-D块的每个RGB-D块的特征向量，包括：
利用自编码器提取所述多个RGB-D块的每个RGB-D块的特征向量，其中，所述自编码器包括编码器、瓶颈与解码器，以从所述瓶颈处提取，且通过最大池化与首尾拼接压缩成所述每个RGB-D块的特征向量。
6.一种基于超图结构的深度数据质量评价装置，其特征在于，包括：
分块模块，用于获取对齐的彩色与深度RGB-D图像，并对所述RGB-D图像进行分块，得到多个RGB-D块；
提取模块，用于提取所述多个RGB-D块的每个RGB-D块的特征向量，并基于所有特征向量间的欧式距离构建超图；以及
评价模块，用于计算所述超图的关联矩阵，并利用所述关联矩阵对所述所有特征向量做超图卷积，得到所述每个RGB-D块的局部评价分数，并基于所述每个RGB-D块的局部评价分数生成所述RGB-D图像的整体评价分数。
7.根据权利要求6所述的装置，其特征在于，所述提取模块进一步用于使用K阶最近邻方法将所述每个RGB-D块与之相距最近的k个块放入同一条超边中，生成所述超图。
8.根据权利要求6所述的装置，其特征在于，所述评价模块包括：
获取单元，用于基于预设的超图卷积的质量预测器，利用所述关联矩阵对所述所有特征向量做超图卷积，经过多次传播后，得到一维向量；
评价单元，用于基于所述以为向量得到对应RGB-D块的局部评价分数。
9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-5任一项所述的基于超图结构的深度数据质量评价方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-5任一项所述的基于超图结构的深度数据质量评价方法。
CN202210110951.9A 2022-01-29 2022-01-29 基于超图结构的深度数据质量评价方法及装置 Pending CN114549429A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210110951.9A CN114549429A (zh) 2022-01-29 2022-01-29 基于超图结构的深度数据质量评价方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210110951.9A CN114549429A (zh) 2022-01-29 2022-01-29 基于超图结构的深度数据质量评价方法及装置

Publications (1)

Publication Number Publication Date
CN114549429A true CN114549429A (zh) 2022-05-27

Family

ID=81674198

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210110951.9A Pending CN114549429A (zh) 2022-01-29 2022-01-29 基于超图结构的深度数据质量评价方法及装置

Country Status (1)

Country Link
CN (1) CN114549429A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115238075A (zh) * 2022-07-30 2022-10-25 北京理工大学 一种基于超图池化的文本情感分类方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115238075A (zh) * 2022-07-30 2022-10-25 北京理工大学 一种基于超图池化的文本情感分类方法
CN115238075B (zh) * 2022-07-30 2023-04-07 北京理工大学 一种基于超图池化的文本情感分类方法

Similar Documents

Publication Publication Date Title
Larsson et al. Beyond grobner bases: Basis selection for minimal solvers
Bujnak et al. A general solution to the P4P problem for camera with unknown focal length
Enqvist et al. Robust fitting for multiple view geometry
WO2021052283A1 (zh) 处理三维点云数据的方法和计算设备
CN112784874B (zh) 双目视觉立体匹配方法、装置、电子设备及存储介质
CN111709980A (zh) 基于深度学习的多尺度图像配准方法和装置
CN114359665B (zh) 全任务人脸识别模型的训练方法及装置、人脸识别方法
CN115082450A (zh) 基于深度学习网络的路面裂缝检测方法和系统
CN111105452A (zh) 基于双目视觉的高低分辨率融合立体匹配方法
CN112330709A (zh) 一种前景图像提取方法、装置、可读存储介质及终端设备
CN111476812A (zh) 地图分割方法、装置、位姿估计方法和设备终端
CN111739071A (zh) 基于初始值的快速迭代配准方法、介质、终端和装置
CN114549429A (zh) 基于超图结构的深度数据质量评价方法及装置
Yammine et al. Novel similarity-invariant line descriptor and matching algorithm for global motion estimation
Muresan et al. A multi patch warping approach for improved stereo block matching
US11475629B2 (en) Method for 3D reconstruction of an object
Xiao et al. Joint convolutional neural pyramid for depth map super-resolution
CN116385369A (zh) 深度图像质量评价方法、装置、电子设备及存储介质
CN113033578B (zh) 基于多尺度特征匹配的图像校准方法、系统、终端及介质
JP3514373B2 (ja) ３次元情報抽出方法、装置、および３次元情報抽出プログラムを記録した記録媒体
CN115239559A (zh) 一种融合视图合成的深度图超分辨率方法及系统
CN115294361A (zh) 一种特征提取的方法及装置
Hartley et al. Camera models
CN113034601A (zh) 一种在环境建模中场景地图点与图像帧的匹配方法
CN114529514A (zh) 基于图结构的深度数据质量评价方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination