CN114529514A - 基于图结构的深度数据质量评价方法及装置 - Google Patents
基于图结构的深度数据质量评价方法及装置 Download PDFInfo
- Publication number
- CN114529514A CN114529514A CN202210044400.7A CN202210044400A CN114529514A CN 114529514 A CN114529514 A CN 114529514A CN 202210044400 A CN202210044400 A CN 202210044400A CN 114529514 A CN114529514 A CN 114529514A
- Authority
- CN
- China
- Prior art keywords
- rgb
- block
- feature vector
- blocks
- graph
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000013441 quality evaluation Methods 0.000 title claims abstract description 45
- 239000013598 vector Substances 0.000 claims abstract description 82
- 238000011156 evaluation Methods 0.000 claims abstract description 34
- 239000011159 matrix material Substances 0.000 claims abstract description 25
- 238000000638 solvent extraction Methods 0.000 claims abstract description 4
- 238000011176 pooling Methods 0.000 claims description 8
- 238000012935 Averaging Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 7
- 230000000903 blocking effect Effects 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 abstract description 22
- 230000006870 function Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 8
- 230000004913 activation Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 238000005065 mining Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000001303 quality assessment method Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000013450 outlier detection Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种基于图结构的深度数据质量评价方法及装置，其中，方法包括：获取对齐的彩色与深度RGB‑D图像，并对RGB‑D图像分块，得到多个RGB‑D块；提取每个RGB‑D块的特征向量，并计算所有RGB‑D块之间的欧式距离，并基于所有RGB‑D块之间的欧式距离，将每个RGB‑D块与相距最近的至少一个RGB‑D块相连接，生成对应邻接矩阵的简单图；利用邻接矩阵对每个RGB‑D块的特征向量做图卷积，生成一维向量，并由一维向量生成RGB‑D图像的局部评价分数。由此，解决了相关技术在缺失参考深度图的情况下，无法为失真深度图计算较为准确的质量分数，只考虑简单特征，通用性较差，计算效率低下以及忽视深度图内部关联等问题。
Description
技术领域
本申请涉及深度数据质量评价技术领域，特别涉及一种基于图结构的深度数据质量评价方法及装置。
背景技术
硬件和计算技术的飞速发展促进了许多深度数据的应用，如3D视频。此外，作为RGB数据的一种补充，深度数据也帮助解决了许多有挑战性的工作，如场景中的显著物体检测。通常而言，深度数据(即深度图)可以通过立体图像匹配或是使用深度相机拍摄两种方式获取。然而，现有的立体图像匹配方法往往因受到遮挡或是缺少纹理等影响，导致生成的深度图不够准确。尽管使用深度相机可以捕捉到到更准确的深度图，但是固有的传感器噪声同样也会影响深度图的质量。这些深度图中的失真会进一步影响下游所有相关任务的性能。因此，深度数据质量评价是十分必要且重要的。
相关技术中，已经有很多针对深度数据质量评价的方法，然而这些方法存在很多问题：
(1)相关技术中直接对深度图进行评价的工作很少，其评价方法针对的是立体图像或是3D视频。
(2)部分相关技术是针对特定失真类型(如高斯模糊)或是特定应用(如传输错误)而设计的，因而这些方法缺乏通用性。
(3)相关技术往往只考虑一些简单的形状特征，如边缘特征，但是会忽视重要的、包含完整信息的内容特征，同时也忽视了深度图中存在的描述失真模式的内部关联信息。
(4)相关技术往往依赖于传统的特征提取算法，不仅十分耗时，还缺乏实用性。
申请内容
本申请提供一种基于图结构的深度数据质量评价方法及装置，以解决相关技术在缺失参考深度图的情况下，无法为失真深度图计算较为准确的质量分数，只考虑简单特征，通用性较差，计算效率低下以及忽视深度图内部关联等问题。
本申请第一方面实施例提供一种基于图结构的深度数据质量评价方法，包括以下步骤：获取对齐的彩色与深度RGB-D图像，并对所述RGB-D图像分块，得到多个RGB-D块；提取每个RGB-D块的特征向量，并计算所有RGB-D块之间的欧式距离，并基于所述所有RGB-D块之间的欧式距离，将所述每个RGB-D块与相距最近的至少一个RGB-D块相连接，生成对应邻接矩阵的简单图；以及利用所述邻接矩阵对所述每个RGB-D块的特征向量做图卷积，生成一维向量，并由所述一维向量生成所述RGB-D图像的局部评价分数。
可选地，在本申请的一个实施例中，基于图结构的深度数据质量评价方法还包括：对于所有RGB-D块的局部评价分数取平均，得到所述RGB-D图像的整体评价分数。
可选地，在本申请的一个实施例中，所述提取每个RGB-D块的特征向量，包括：利用自编码器提取所述每个RGB-D块的特征向量。
可选地，在本申请的一个实施例中，所述自编码器由编码器、瓶颈与解码器组成，其中，从所述瓶颈处提取所述特征向量，并通过最大池化与首尾拼接压缩成所述一维的所述特征向量。
可选地，在本申请的一个实施例中，基于图结构的深度数据质量评价方法还包括：构建基于图卷积的质量预测器，以将所述邻接矩阵输入至所述质量预测器，对所述每个RGB-D块的特征向量做图卷积。
本申请第二方面实施例提供一种基于图结构的深度数据质量评价装置，包括：获取模块，用于获取对齐的彩色与深度RGB-D图像，并对所述RGB-D图像分块，得到多个RGB-D块；生成模块，用于提取每个RGB-D块的特征向量，并计算所有RGB-D块之间的欧式距离，并基于所述所有RGB-D块之间的欧式距离，将所述每个RGB-D块与相距最近的至少一个RGB-D块相连接，生成对应邻接矩阵的简单图；以及局部评价模块，用于利用所述邻接矩阵对所述每个RGB-D块的特征向量做图卷积，生成一维向量，并由所述一维向量生成所述RGB-D图像的局部评价分数。
可选地，在本申请的一个实施例中，基于图结构的深度数据质量评价装置还包括：整体评价模块，用于对于所有RGB-D块的局部评价分数取平均，得到所述RGB-D图像的整体评价分数。
可选地，在本申请的一个实施例中，所述生成模块，包括：提取单元，用于利用自编码器提取所述每个RGB-D块的特征向量。
可选地，在本申请的一个实施例中，所述提取单元中的自编码器由编码器、瓶颈与解码器组成，其中，从所述瓶颈处提取所述特征向量，并通过最大池化与首尾拼接压缩成所述一维的所述特征向量。
可选地，在本申请的一个实施例中，基于图结构的深度数据质量评价装置还包括：预测模块，用于构建基于图卷积的质量预测器，以将所述邻接矩阵输入至所述质量预测器，对所述每个RGB-D块的特征向量做图卷积。
本申请第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的基于图结构的深度数据质量评价方法。
本申请第四方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现如权利要求1-5任一项所述的基于图结构的深度数据质量评价方法。
本申请实施例可以在没有参考深度图的情况下，通过提取失真深度图的完整内容特征以及使用图结构挖掘深度图内部的信息关联，计算出局部与整体的较为准确的深度图质量评价分数，为深度图相关的下游应用提供帮助，不仅提高了通用性还能提高计算效率。由此，解决了相关技术在缺失参考深度图的情况下，无法为失真深度图计算较为准确的质量分数，只考虑简单特征，通用性较差，计算效率低下以及忽视深度图内部关联等问题。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本申请实施例提供的一种基于图结构的深度数据质量评价方法的流程图；
图2为根据本申请一个具体实施例的基于图结构的深度数据质量评价方法的原理示意图；
图3为根据本申请实施例提供的一种基于图结构的深度数据质量评价装置的结构示意图；
图4为根据本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的基于图结构的深度数据质量评价方法及装置。针对上述背景技术中心提到的相关技术在缺失参考深度图的情况下，无法为失真深度图计算较为准确的质量分数，只考虑简单特征，通用性较差，计算效率低下以及忽视深度图内部关联的问题，本申请提供了一种基于图结构的深度数据质量评价方法，在该方法中，可以在没有参考深度图的情况下，通过提取失真深度图的完整内容特征以及使用图结构挖掘深度图内部的信息关联，计算出局部与整体的较为准确的深度图质量评价分数，为深度图相关的下游应用提供帮助，不仅提高了通用性还能提高计算效率。由此，解决了相关技术在缺失参考深度图的情况下，无法为失真深度图计算较为准确的质量分数，只考虑简单特征，通用性较差，计算效率低下以及忽视深度图内部关联等问题。
具体而言，图1为本申请实施例所提供的一种基于图结构的深度数据质量评价方法的流程示意图。
如图1所示，该基于图结构的深度数据质量评价方法包括以下步骤：
在步骤S101中，获取对齐的彩色与深度RGB-D图像，并对RGB-D图像分块，得到多个RGB-D块。
在实际执行过程中，本申请实施例可以输入一张对齐的彩色与深度RGB-D图像I＝{IRGB,ID}，并对图像进行分块，如：I＝{I1,I2,…,IN}，此处N代表分块数量。为了方便计算，本申请实施例可以设置横向和纵向的划分数量相同，故N对应于一个平方数。可以理解的是，分块数量越多，质量评价的结果也越精细准确，但相应的计算时间会增长，因此本申请实施例可以选一个最优值。
例如，本申请实施例可以将N设置为8×8，该数值可以在保证计算效率的同时，使得本申请实施例取得较为准确的结果，但根据实际应用场景的不同，N的数值可以进行相应调整，具体数值可以由本领域技术人员进行适应性调整，在此不做具体限制。
在步骤S102中，提取每个RGB-D块的特征向量，并计算所有RGB-D块之间的欧式距离，并基于所有RGB-D块之间的欧式距离，将每个RGB-D块与相距最近的至少一个RGB-D块相连接，生成对应邻接矩阵的简单图。
作为一种可以实现的方式，本申请实施例可以提取每一个RGB-D块的特征向量：fi＝Fa(Ii；Θa)，其中，Θa代表训练得到的自编码器的所有参数。基于提取的每个RGB-D块的特征向量，本申请实施例可以计算所有RGB-D块的欧氏距离：
使用K阶最近邻(KNN)方法将每一块与之相距最近都K个块相连接，生成邻接矩阵为L的简单图G，举例而言，当N为8×8时，K＝8可以得到较为合理的简单图。本申请实施例通过对失真深度图进行分块，并提取每个RGB-D块的特征向量，获取失真深度图的完整内容特征，并计算所有RGB-D块之间的欧氏距离，挖掘深度图内部的信息关联，进而保证后续计算深度图质量评价分数的准确性。
可选地，在本申请的一个实施例中，提取每个RGB-D块的特征向量，包括：利用自编码器提取每个RGB-D块的特征向量。
可以理解的是，自编码器是一类在半监督学习和非监督学习中使用的人工神经网络，其功能是通过将输入信息作为学习目标，对输入信息进行表征学习。自编码器具有一般意义上表征学习算法的功能，被应用于降维和异常值检测。包含卷积层构筑的自编码器可被应用于计算机视觉问题，包括图像降噪、神经风格迁移等。故在一些具体的实施例中，可以使用自编码器提取每个RGB-D块的特征向量。
可选地，在本申请的一个实施例中，自编码器由编码器、瓶颈与解码器组成，其中，从瓶颈处提取特征向量，并通过最大池化与首尾拼接压缩成一维的特征向量。
可以理解的是，自编码器由编码器、瓶颈和解码器三部分组成，其中，特征向量从瓶颈处提取，通过最大池化与首尾拼接压缩成一维特征向量。
具体地，编码器包含8次卷积操作，而解码器采取与编码器完全对称的结构，并在卷积前插入上采样操作，以实现最终将张量的尺寸恢复至输入RGB-D图像的尺寸。瓶颈部分包含3次卷积操作，并在后两次卷积操作中加入残差连接：H(x)＝F(x)+x，以使提取的特征向量包含充足的内容信息。在整个自编码器中的每一次卷积操作之后，都需要进行一次批正则化处理与ReLU激活。提取瓶颈部分第3次卷积之后的张量，进行一次最大池化之后首尾拼接成为一维向量，即为提取的特征向量fi。本申请实施例通过使用自编码提取特征向量，保证了提取的特征向量包含充足的内容信息，为后续计算质量分数的准确性提供了保障。
在步骤S103中，利用邻接矩阵对每个RGB-D块的特征向量做图卷积，生成一维向量，并由一维向量生成RGB-D图像的局部评价分数。
举例而言，本申请实施例可以利用上述步骤中生成的简单图的邻接矩阵L，对从上述步骤中提取得到的所有特征向量做图卷积，在经过n次传播之后，得到一维向量X(n)，即对应于RGB-D块的局部评价分数Q。本申请实施例通过提取失真深度图的完整内容特征以及使用图结构挖掘深度图内部的信息关联，计算出局部深度图质量评价分数，通用性较高的同时，获得的深度图质量评价分数准确度也较高。
可选地，在本申请的一个实施例中，基于图结构的深度数据质量评价方法还包括：对于所有RGB-D块的局部评价分数取平均，得到RGB-D图像的整体评价分数。
本申请实施例在通过计算获得RGB-D块的局部评价分数Q后，可以对于所有RGB-D块的局部评价分数取平均，进而得到RGB-D图像的整体评价分数：q＝∑Q/N。
可选地，在本申请的一个实施例中，基于图结构的深度数据质量评价方法还包括：构建基于图卷积的质量预测器，以将邻接矩阵输入至质量预测器，对每个RGB-D块的特征向量做图卷积。
作为一种可以实现的方式，现实中存在多种实现图卷积的方式，本申请可采用预先构建基于图卷积的质量预测器，将邻接矩阵输入至质量预测器，并通过质量预测器对每个RGB-D块的特征向量做图卷积。
在实际执行过程中，质量预测器总共包含5个图卷积层，在每次图卷积之后进行一次批处理操作、ReLU激活以及Dropout处理。定义质量预测器的层级传播规则为：
其中，M(t)是随机遮罩向量，σ是ReLU激活函数，X(t+1)是第(t+1)层的输出，X(0)＝F。
是第t层的图卷积的可学习参数，BNγ,β是批正则化操作，γ和β分别是对应的可学习参数。经过五层传播之后，本申请实施例可以得到一维向量X(5)。
本申请实施例使用Sigmoid函数将之放缩至0～1之间：
Q＝S(X(5))，
其中，Q对应于RGB-D块的局部质量评价分数。
下面结合图2，对本申请的一个具体的实施例做进一步阐述。
如图2所示，本申请的一个具体实施例包括以下步骤：
步骤S201：输入一张RGB-D图像。本申请实施例可以输入一张对齐的彩色与深度(RGB-D)图像，如：I＝{IRGB,ID}。
步骤S202：对RGB-D图像进行分块。本申请实施例可以对输入的RGB-D图像进行分块，如：I＝{I1,I2,…,IN}，其中，N代表分块的数量。可以设置横向和纵向的划分数量相同以方便计算，这样N对应于一个平方数。分块数量越多，质量评价的结果也越精细准确，但相应的计算时间也会相应增长。为了兼顾计算效率和结果的准确性，可以将N设置为8×8，可以在保证计算效率的同时，取得较为准确的结果。
步骤S203：使用自编码器提取每一块的特征向量。本申请实施例可以使用自编码器Fa，提取每一个RGB-D块的特征向量：fi＝Fa(Ii；Θa)，其中，Θa代表训练得到的自编码器的所有参数。
本申请实施例设计的自编码器由编码器、瓶颈和解码器三部分组成，其输入和输出均为RGB-D图像。编码器包含8次卷积操作，而解码器采取与编码器完全对称的结构，并在卷积前插入上采样操作以实现最终将张量的尺寸恢复至输入RGB-D图像的尺寸。瓶颈部分包含3次卷积操作，并在后两次中加入残差连接：H(x)＝F(x)+x，以使提取的特征向量包含充足的内容信息。在整个自编码器中的每一次卷积操作之后，本申请实施例都需要进行一次批正则化处理与ReLU激活，并提取瓶颈部分第3次卷积之后的张量，进行一次最大池化之后首尾拼接成为一维向量，即为提取的特征向量fi。本申请实施例通过使用自编码提取特征向量，保证了提取的特征向量包含充足的内容信息，为后续计算质量分数的准确性提供了保障。
步骤S204：基于特征向量间的欧式距离建图。本申请实施例可以利用公式，计算所有块的特征向量间的欧式距离：
对于每一块，本申请实施例可以使用K阶最近邻(KNN)方法找到与之相距最近的K个块并进行连接，生成邻接矩阵为L的简单图G。举例而言，当N为8×8时，K＝8可以得到较为合理的简单图。本申请实施例通过对失真深度图进行分块，并提取每个RGB-D块的特征向量，获取失真深度图的完整内容特征，并计算所有RGB-D块之间的欧氏距离，挖掘深度图内部的信息关联，进而保证后续计算深度图质量评价分数的准确性。
步骤S205：使用图卷积计算每一块的质量分数。本申请实施例可以构建基于图卷积的质量预测器，在质量预测器中输入步骤S204中生成的简单图的邻接矩阵L和步骤S203中提取得到的所有特征向量F，对每个RGB-D块的特征向量做图卷积。
具体地，质量预测器总共包含5个图卷积层，在每次图卷积之后进行一次批处理操作、ReLU激活以及Dropout处理。定义质量预测器的层级传播规则为：
其中，M(t)是随机遮罩向量，σ是ReLU激活函数，X(t+1)是第(t+1)层的输出，X(0)＝F。
是第t层的图卷积的可学习参数，BNγ,β是批正则化操作，γ和β分别是对应的可学习参数。经过五层传播之后，本申请实施例可以得到一维向量X(5)。
本申请实施例使用Sigmoid函数将之放缩至0～1之间：
Q＝S(X(5))，
其中，Q对应于RGB-D块的局部质量评价分数。
步骤S206：取平均生成整体的质量分数。本申请实施例对所有RGB-D块的评价分数Q取平均，得到深度图的整体评价分数：q＝∑Q/N。本申请实施例通过提取失真深度图的完整内容特征以及使用图结构挖掘深度图内部的信息关联，计算出局部和整体的深度图质量评价分数，通用性较高的同时，获得的深度图质量评价分数准确度也较高。
根据本申请实施例提出的一种基于图结构的深度数据质量评价方法，可以在没有参考深度图的情况下，通过提取失真深度图的完整内容特征以及使用图结构挖掘深度图内部的信息关联，计算出局部与整体的较为准确的深度图质量评价分数，为深度图相关的下游应用提供帮助，不仅提高了通用性还能提高计算效率。由此，解决了相关技术在缺失参考深度图的情况下，无法为失真深度图计算较为准确的质量分数，只考虑简单特征，通用性较差，计算效率低下以及忽视深度图内部关联等问题。
其次参照附图描述根据本申请实施例提出的基于图结构的深度数据质量评价装置。
图3是本申请实施例的基于图结构的深度数据质量评价装置的方框示意图。
如图3所示，该基于图结构的深度数据质量评价装置10包括：获取模块100、生成模块200和局部评价模块300。
具体地，获取模块100，用于获取对齐的彩色与深度RGB-D图像，并对RGB-D图像分块，得到多个RGB-D块。
生成模块200，用于提取每个RGB-D块的特征向量，并计算所有RGB-D块之间的欧式距离，并基于所有RGB-D块之间的欧式距离，将每个RGB-D块与相距最近的至少一个RGB-D块相连接，生成对应邻接矩阵的简单图。
局部评价模块300，用于利用邻接矩阵对每个RGB-D块的特征向量做图卷积，生成一维向量，并由一维向量生成RGB-D图像的局部评价分数。
可选地，在本申请的一个实施例中，基于图结构的深度数据质量评价装置10还包括：整体评价模块。
其中，整体评价模块，用于对于所有RGB-D块的局部评价分数取平均，得到RGB-D图像的整体评价分数。
可选地，在本申请的一个实施例中，生成模块200包括：提取单元。
其中，提取单元，用于利用自编码器提取每个RGB-D块的特征向量。
可选地，在本申请的一个实施例中，提取单元中的自编码器由编码器、瓶颈与解码器组成，其中，从瓶颈处提取特征向量，并通过最大池化与首尾拼接压缩成一维的特征向量。
可选地，在本申请的一个实施例中，基于图结构的深度数据质量评价装置10还包括：预测模块。
其中，预测模块，用于构建基于图卷积的质量预测器，以将邻接矩阵输入至质量预测器，对每个RGB-D块的特征向量做图卷积。
需要说明的是，前述对基于图结构的深度数据质量评价方法实施例的解释说明也适用于该实施例的基于图结构的深度数据质量评价装置，此处不再赘述。
根据本申请实施例提出的基于图结构的深度数据质量评价装置，可以在没有参考深度图的情况下，通过提取失真深度图的完整内容特征以及使用图结构挖掘深度图内部的信息关联，计算出局部与整体的较为准确的深度图质量评价分数，为深度图相关的下游应用提供帮助，不仅提高了通用性还能提高计算效率。由此，解决了相关技术在缺失参考深度图的情况下，无法为失真深度图计算较为准确的质量分数，只考虑简单特征，通用性较差，计算效率低下以及忽视深度图内部关联等问题。
图4为本申请实施例提供的电子设备的结构示意图。该电子设备可以包括：
存储器401、处理器402及存储在存储器401上并可在处理器402上运行的计算机程序。
处理器402执行程序时实现上述实施例中提供的基于图结构的深度数据质量评价方法。
进一步地，电子设备还包括：
通信接口403，用于存储器401和处理器402之间的通信。
存储器401，用于存放可在处理器402上运行的计算机程序。
存储器401可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
如果存储器401、处理器402和通信接口403独立实现，则通信接口403、存储器401和处理器402可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(Industry Standard Architecture，简称为ISA)总线、外部设备互连(PeripheralComponent，简称为PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture，简称为EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器401、处理器402及通信接口403，集成在一块芯片上实现，则存储器401、处理器402及通信接口403可以通过内部接口完成相互间的通信。
处理器402可能是一个中央处理器(Central Processing Unit，简称为CPU)，或者是特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路。
本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上的基于图结构的深度数据质量评价方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或N个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种基于图结构的深度数据质量评价方法，其特征在于，包括以下步骤：
获取对齐的彩色与深度RGB-D图像，并对所述RGB-D图像分块，得到多个RGB-D块；
提取每个RGB-D块的特征向量，并计算所有RGB-D块之间的欧式距离，并基于所述所有RGB-D块之间的欧式距离，将所述每个RGB-D块与相距最近的至少一个RGB-D块相连接，生成对应邻接矩阵的简单图；以及
利用所述邻接矩阵对所述每个RGB-D块的特征向量做图卷积，生成一维向量，并由所述一维向量生成所述RGB-D图像的局部评价分数。
2.根据权利要求1所述的方法，其特征在于，还包括：
对于所有RGB-D块的局部评价分数取平均，得到所述RGB-D图像的整体评价分数。
3.根据权利要求1所述的方法，其特征在于，所述提取每个RGB-D块的特征向量，包括：
利用自编码器提取所述每个RGB-D块的特征向量。
4.根据权利要求3所述的方法，其特征在于，所述自编码器由编码器、瓶颈与解码器组成，其中，从所述瓶颈处提取所述特征向量，并通过最大池化与首尾拼接压缩成所述一维的所述特征向量。
5.根据权利要求1所述的方法，其特征在于，还包括：
构建基于图卷积的质量预测器，以将所述邻接矩阵输入至所述质量预测器，对所述每个RGB-D块的特征向量做图卷积。
6.一种基于图结构的深度数据质量评价装置，其特征在于，包括：
获取模块，用于获取对齐的彩色与深度RGB-D图像，并对所述RGB-D图像分块，得到多个RGB-D块；
生成模块，用于提取每个RGB-D块的特征向量，并计算所有RGB-D块之间的欧式距离，并基于所述所有RGB-D块之间的欧式距离，将所述每个RGB-D块与相距最近的至少一个RGB-D块相连接，生成对应邻接矩阵的简单图；以及
局部评价模块，用于利用所述邻接矩阵对所述每个RGB-D块的特征向量做图卷积，生成一维向量，并由所述一维向量生成所述RGB-D图像的局部评价分数。
7.根据权利要求6所述的装置，其特征在于，还包括：
整体评价模块，用于对于所有RGB-D块的局部评价分数取平均，得到所述RGB-D图像的整体评价分数。
8.根据权利要求6所述的方法，其特征在于，还包括：
预测模块，用于构建基于图卷积的质量预测器，以将所述邻接矩阵输入至所述质量预测器，对所述每个RGB-D块的特征向量做图卷积。
9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-5任一项所述的基于图结构的深度数据质量评价方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-5任一项所述的基于图结构的深度数据质量评价方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210044400.7A CN114529514B (zh) | 2022-01-14 | 2022-01-14 | 基于图结构的深度数据质量评价方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210044400.7A CN114529514B (zh) | 2022-01-14 | 2022-01-14 | 基于图结构的深度数据质量评价方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114529514A true CN114529514A (zh) | 2022-05-24 |
| CN114529514B CN114529514B (zh) | 2024-06-25 |
Family
ID=81620775
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210044400.7A Active CN114529514B (zh) | 2022-01-14 | 2022-01-14 | 基于图结构的深度数据质量评价方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114529514B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106888377A (zh) * | 2017-03-16 | 2017-06-23 | 宁波大学 | 一种无参考三维视频质量评价方法 |
| CN112116567A (zh) * | 2020-09-10 | 2020-12-22 | 广东电网有限责任公司广州供电局 | 一种无参考图像质量评价方法、装置及存储介质 |
| CN113343901A (zh) * | 2021-06-28 | 2021-09-03 | 重庆理工大学 | 基于多尺度注意力图卷积网络的人体行为识别方法 |
| US20210295093A1 (en) * | 2020-03-23 | 2021-09-23 | Toyota Research Institute, Inc. | Spatio-temporal graph for video captioning with knowledge distillation |
-
2022
- 2022-01-14 CN CN202210044400.7A patent/CN114529514B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106888377A (zh) * | 2017-03-16 | 2017-06-23 | 宁波大学 | 一种无参考三维视频质量评价方法 |
| US20210295093A1 (en) * | 2020-03-23 | 2021-09-23 | Toyota Research Institute, Inc. | Spatio-temporal graph for video captioning with knowledge distillation |
| CN112116567A (zh) * | 2020-09-10 | 2020-12-22 | 广东电网有限责任公司广州供电局 | 一种无参考图像质量评价方法、装置及存储介质 |
| CN113343901A (zh) * | 2021-06-28 | 2021-09-03 | 重庆理工大学 | 基于多尺度注意力图卷积网络的人体行为识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| YUNLU CHEN等: "3D Neighborhood Convolution: Learning Depth-Aware Features for RGB-D and RGB Semantic Segmentation", 2019 INTERNATIONAL CONFERENCE ON 3D VISION (3DV), 31 December 2019 (2019-12-31) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114529514B (zh) | 2024-06-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110188760B (zh) | 一种图像处理模型训练方法、图像处理方法及电子设备 | |
| Wang et al. | Detect globally, refine locally: A novel approach to saliency detection | |
| Zhao et al. | Alike: Accurate and lightweight keypoint detection and descriptor extraction | |
| CN111340077B (zh) | 基于注意力机制的视差图获取方法和装置 | |
| CN111709980A (zh) | 基于深度学习的多尺度图像配准方法和装置 | |
| US11875490B2 (en) | Method and apparatus for stitching images | |
| CN110443874B (zh) | 基于卷积神经网络的视点数据生成方法和装置 | |
| CN111489394A (zh) | 物体姿态估计模型训练方法、系统、装置及介质 | |
| CN113159158B (zh) | 一种基于生成对抗网络的车牌矫正与重构方法及系统 | |
| CN114663686A (zh) | 物体特征点匹配方法及装置、训练方法及装置 | |
| CN115937552A (zh) | 一种基于融合手工特征与深度特征的图像匹配方法 | |
| CN116579962A (zh) | 一种基于鱼眼相机的全景感知方法、装置、设备及介质 | |
| CN114549429B (zh) | 基于超图结构的深度数据质量评价方法及装置 | |
| CN117274514A (zh) | 基于地空视角几何变换的遥感图像生成方法及装置 | |
| CN116385369A (zh) | 深度图像质量评价方法、装置、电子设备及存储介质 | |
| Manda et al. | Image stitching using ransac and bayesian refinement | |
| CN113012030A (zh) | 图像拼接方法、装置及设备 | |
| CN114529514B (zh) | 基于图结构的深度数据质量评价方法及装置 | |
| CN115205111A (zh) | 一种图像拼接方法、装置、终端设备和存储介质 | |
| CN115331021A (zh) | 基于多层特征自身差异融合的动态特征提取与描述方法 | |
| CN114608558A (zh) | 基于特征匹配网络的slam方法、系统、设备及存储介质 | |
| CN114022458A (zh) | 骨架检测方法、装置、电子设备和计算机可读存储介质 | |
| CN109961083A (zh) | 用于将卷积神经网络应用于图像的方法和图像处理实体 | |
| CN115984583B (zh) | 数据处理方法、装置、计算机设备、存储介质和程序产品 | |
| KR102479066B1 (ko) | 딥 러닝 기반 영상 정합 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |