CN111353982B - 一种深度相机图像序列筛选方法及装置 - Google Patents

一种深度相机图像序列筛选方法及装置 Download PDF

Info

Publication number
CN111353982B
CN111353982B CN202010129870.4A CN202010129870A CN111353982B CN 111353982 B CN111353982 B CN 111353982B CN 202010129870 A CN202010129870 A CN 202010129870A CN 111353982 B CN111353982 B CN 111353982B
Authority
CN
China
Prior art keywords
image
depth
image sequence
value
image quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010129870.4A
Other languages
English (en)
Other versions
CN111353982A (zh
Inventor
柯慧淑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beike Technology Co Ltd
Original Assignee
Beike Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beike Technology Co Ltd filed Critical Beike Technology Co Ltd
Priority to CN202010129870.4A priority Critical patent/CN111353982B/zh
Publication of CN111353982A publication Critical patent/CN111353982A/zh
Application granted granted Critical
Publication of CN111353982B publication Critical patent/CN111353982B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种深度相机图像序列筛选方法及装置，该方法包括：获取彩色图像序列，计算彩色图像序列中彩色图像的彩色图像质量值；获取深度图像序列，计算深度图像序列中深度图像的深度图像质量值；根据彩色图像质量值和深度图像质量值计算帧图像的图像质量，其中，成对的彩色图像和深度图像形成图像序列的一帧图像；根据帧图像的图像质量，从相邻帧中筛选最佳质量帧得到图像序列筛选结果。本发明实施例提供的深度相机图像序列筛选方法及装置，通过根据图像序列中彩色图像质量值及深度图像质量值得到帧图像的图像质量，进而得到图像序列筛选结果，提高了图像质量，去除了图像冗余，有利于降低后期三维重建的复杂度及提高三维重建的效率。

Description

一种深度相机图像序列筛选方法及装置
技术领域
本发明涉及图像处理技术领域，具体涉及一种深度相机图像序列筛选方法及装置。
背景技术
如今，如kinect等深度相机可以输出成对的深度图像序列和彩色图像序列，当前运用深度图像序列和彩色图像序列构造三维模型的方法中，通常采用的是先构造模型再对三维模型做去噪和滤波处理的方式，从而实现点云模型的优化。
但是，当前深度相机的帧率为30帧/秒左右，意味着在1s的时间内深度相机可采集到多张彩色和深度图像序列。由于拍摄者或拍摄机器人在1s的时间内运动的距离是有限的，拍摄到的图像序列是具有冗余性的。同时，用于三维重建的数据集中有很大一部分都是由拍摄者手持相机拍摄的，手持拍摄的过程中会因相机移动过大或抖动而产生模糊。将模糊帧用于重建过程会影响最终的重建模型结构以及模型的表面纹理。故这种对初始图像序列不加以处理就用于重建的方式会影响后期重建模型的效果，增大后期优化难度。同时，将所有深度图像运用于重建中，也会增大重建过程中点云的量级，使得重建效率低下。
发明内容
为解决现有技术中的问题，本发明实施例提供一种深度相机图像序列筛选方法及装置。
第一方面，本发明实施例提供一种深度相机图像序列筛选方法，包括：获取彩色图像序列，计算所述彩色图像序列中彩色图像的彩色图像质量值；获取深度图像序列，计算所述深度图像序列中深度图像的深度图像质量值；根据所述彩色图像质量值和所述深度图像质量值计算帧图像的图像质量，其中，成对的所述彩色图像和所述深度图像形成图像序列的一帧图像；根据所述帧图像的图像质量得到图像序列筛选结果；所述根据所述帧图像的图像质量得到图像序列筛选结果，包括：根据预设窗口值对应的帧数，从所述图像序列的相邻帧中选出最佳质量帧，从而得到所述图像序列筛选结果；其中，所述预设窗口值与所述图像序列的帧数及深度相机的帧率有关。
进一步地，所述预设窗口值的表达式为：
Figure BDA0002395503890000021
其中，wKF表示所述预设窗口值，n表示所述图像序列的帧数，cfps表示所述深度相机的帧率，ceil表示向上取整运算。
进一步地，所述计算所述彩色图像序列中彩色图像的彩色图像质量值，包括：对所述彩色图像序列中的彩色图像进行灰度化处理，分别得到对应的灰度图像；对所述灰度图像通过小波变换进行预设层级的迭代分解，得到所述预设层级的分解层；计算各个所述分解层的对数能量，并根据所述对数能量得到所述彩色图像质量值。
进一步地，所述对所述灰度图像通过小波变换进行预设层级的迭代分解，包括：通过提升CDF9/7小波对所述灰度图像通过小波变换进行三层迭代分解。
进一步地，所述计算各个所述分解层的对数能量，包括：计算各个所述分解层的子带的对数能量，所述子带包括垂直高频子带、水平高频子带和对角高频子带；根据各个所述分解层的所述子带的对数能量得到各个所述分解层的对数能量。
进一步地，所述计算各个所述分解层的子带的对数能量的公式为：
Figure BDA0002395503890000031
其中，
Figure BDA0002395503890000032
表示第k分解层的XY子带的对数能量；Nk表示分解层的层数；
Figure BDA0002395503890000033
表示像素点(i,j)在第k层的XYk子带的强度值；XY取值为LH、HL或HH，分别对应于垂直高频子带、水平高频子带及对角高频子带。
进一步地，所述根据各个所述分解层的所述子带的对数能量得到各个所述分解层的对数能量的公式为：
Figure BDA0002395503890000034
其中，Ek表示第k分解层的对数能量，
Figure BDA0002395503890000035
表示第k分解层的垂直高频子带的对数能量，/>
Figure BDA0002395503890000036
表示第k分解层的水平高频子带的对数能量，/>
Figure BDA0002395503890000037
表示第k分解层的对角高频子带的对数能量，ε表示预设子带系数。
进一步地，所述预设子带系数ε的取值为0.8。
进一步地，所述根据所述对数能量得到所述彩色图像质量值的公式为：
Figure BDA0002395503890000038
其中，Qc表示所述彩色图像质量值，k表示所述分解层的序号。
进一步地，所述计算所述深度图像序列中深度图像的深度图像质量值，包括：通过对像素点深度值进行聚类处理，将所述深度图像序列中的深度图像的像素点进行分类；根据分类的结果获取每张深度图像的区域内视差值及区域间视差值；根据所述区域内视差值和所述区域间视差值获取所述深度图像质量值。
进一步地，所述区域内视差值的表达式为：
Figure BDA0002395503890000041
其中，D表示所述深度图像，S表示聚类处理的结果，dintra(D,S)表示所述深度图像D在聚类结果S下的所述区域内视差值，N表示聚类处理的分类数，
Figure BDA0002395503890000042
表示聚类处理后第i类中像素点的个数，h·w表示所述深度图像的尺寸，si表示聚类处理后第i类中的像素点，D(x,y)表示像素点(x,y)的深度值，/>
Figure BDA0002395503890000043
表示第i类的像素点的深度值平均值。
进一步地，所述区域间视差值的表达式为：
Figure BDA0002395503890000044
其中，dinter(D,S)表示所述深度图像D在聚类结果S下的所述区域间视差值，Sn(si)表示si的邻域像素类，|Sn(si)|表示Sn(si)集合的基数，sj表示Sn(si)中的第j个像素类，Bi表示每一像素类的中心像素点的深度值，Bj表示sj的中心像素点的深度值；其中，像素类为聚类处理后每一类像素的集合。
进一步地，所述根据所述区域内视差值和所述区域间视差值获取所述深度图像质量值的公式为：
Figure BDA0002395503890000045
其中，Qd表示所述深度图像质量值。
进一步地，所述对像素点的深度值进行聚类处理，包括：利用K-means算法对像素点的深度值进行聚类处理。
第二方面，本发明实施例提供一种深度相机图像序列筛选装置，包括：彩色图像质量值获取模块，用于：获取彩色图像序列，计算所述彩色图像序列中彩色图像的彩色图像质量值；深度图像质量值获取模块，用于：获取深度图像序列，计算所述深度图像序列中深度图像的深度图像质量值；单帧图像质量获取模块，用于：根据所述彩色图像质量值和所述深度图像质量值计算帧图像的图像质量，其中，成对的所述彩色图像和所述深度图像形成图像序列的一帧图像；图像序列筛选模块，用于：根据所述帧图像的图像质量得到图像序列筛选结果；图像序列筛选模块具体用于：根据预设窗口值对应的帧数，从所述图像序列的相邻帧中选出最佳质量帧，从而得到所述图像序列筛选结果；其中，所述预设窗口值与所述图像序列的帧数及深度相机的帧率有关。
第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所提供的方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的方法的步骤。
本发明实施例提供的深度相机图像序列筛选方法及装置，通过根据图像序列中彩色图像质量值及深度图像质量值得到帧图像的图像质量，并通过预设窗口值进行从相邻帧中筛选最佳质量帧，进而得到图像序列筛选结果，提高了图像质量，去除了图像冗余，有利于降低后期三维重建的复杂度及提高三维重建的效率，同时保留了时间信息。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的深度相机图像序列筛选方法流程图；
图2是本发明一实施例提供的深度相机图像序列筛选方法中小波子带的示意图；
图3是本发明另一实施例提供的深度相机图像序列筛选方法流程图；
图4是本发明一实施例提供的深度相机图像序列筛选装置的结构示意图；
图5是本发明一实施例提供的电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在介绍各实施例之前，先对相关术语进行一下介绍。
深度图像：深度图像(depth image)也被称为距离影像(range image)，是指将从图像采集器到场景中各点的距离(深度)作为像素值的图像，它直接反映了景物可见表面的几何形状。深度图像经过坐标转换可以计算为点云数据。
小波变换：在对信号进行处理时，小波变换通过提供一个随频率改变的“时间-频率”窗口，运用伸缩和平移等运算对输入信号进行多尺度的细化分析，以此来实现自适应时频信号分析的要求。按变换取值是否连续，小波变换可分为连续小波变换(ContinuousWavelet Transform,CWT)和离散小波变换(Discrete Wavelet Transform,DWT)。
CDF 9/7小波：Cohen等人设计的Cohen-Daubechies-Feauveau 9/7小波是具有对称结构的双正交小波，这组小波基具有好的数学性质，且压缩性能良好，是在进行图像或视频处理时常用的小波滤波器。
小波子带：图像经小波分解后，会得到多个分解层，每一分解层对应不同分辨率，可得到一个低频分量LLj以及垂直LHj、水平HLj、对角HHj三个高频分量，这些分量也被叫做小波子带。
图1是本发明一实施例提供的深度相机图像序列筛选方法流程图。如图1所示，所述方法包括：
步骤101、获取彩色图像序列，计算所述彩色图像序列中彩色图像的彩色图像质量值；步骤102、获取深度图像序列，计算所述深度图像序列中深度图像的深度图像质量值；步骤103、根据所述彩色图像质量值和所述深度图像质量值计算帧图像的图像质量，其中，成对的所述彩色图像和所述深度图像形成图像序列的一帧图像；步骤104、根据所述帧图像的图像质量得到图像序列筛选结果；所述根据所述帧图像的图像质量得到图像序列筛选结果，包括：根据预设窗口值对应的帧数，从所述图像序列的相邻帧中选出最佳质量帧，从而得到所述图像序列筛选结果；其中，所述预设窗口值与所述图像序列的帧数及深度相机的帧率有关。
现今的多传感器摄像设备(如Kinect相机)可以同时获取到深度图像序列和彩色图像序列，并且可以通过相机自带的工具进行对准。用成对的深度图像和彩色图像表示同一位置的采集图像，深度图像和彩色图像的可以通过序号进行匹配。因此，通过多传感器摄像设备可以获取到彩色图像序列和深度图像序列以用于后续处理。一对彩色图像和深度图像称为帧图像，按照时间顺序排列的各帧图像构成图像序列。
对于彩色图像序列，计算其中的彩色图像的彩色图像质量值，可以利用现有技术中的方法计算彩色图像的彩色图像质量值。同样，对于深度图像序列，计算其中的深度图像的深度图像质量值，可以利用现有技术中的方法计算深度图像的深度图像质量值。由于每一帧图像由彩色图像和深度图像构成，因此，每一帧图像的图像质量与相应的彩色图像的彩色图像质量值和深度图像的深度图像质量值有关，因此，根据所述彩色图像质量值和所述深度图像质量值通过预设规则计算帧图像的图像质量，比如通过求取加权和的方式根据所述彩色图像质量值和所述深度图像质量值计算帧图像的图像质量。
得到图像序列帧图像的图像质量后，可以根据图像质量的高低进行筛选，从而得到图像序列筛选结果。
由于深度相机拍摄到的深度图像序列和彩色图像序列是具有顺序性的，如果只选择最佳质量帧而忽略了这种顺序性，将会造成信息的缺失。故本发明实施例定义了一个窗口值来进行相邻帧间的筛选，使得筛选出的帧能覆盖整个拍摄的场景。这个窗口值对应于一个帧数，即这个窗口值限定了从相邻的多少帧里面筛选一帧最佳质量帧。在根据预设窗口值筛选质量最佳帧时，比如，从图像序列的第1帧开始，按照所述预设窗口值对应的帧数依次进行筛选。通过根据预设的窗口值对应的帧数，从图像序列的相邻帧中选出一帧最佳质量帧，从而得到图像序列筛选结果，不仅保证了图像质量，还保留了更多的时间信息。
所述预设窗口值与所述图像序列的帧数及深度相机的帧率有关。所述预设窗口值如何设置，直接关系到最终的图像筛选结果。本发明实施例中根据所述图像序列的帧数及深度相机的帧率设置所述预设窗口值，有利于实现预设窗口值的合理设定，从而保证图像序列筛选结果的质量。
本发明实施例通过根据图像序列中彩色图像质量值及深度图像质量值得到帧图像的图像质量，并通过预设窗口值进行从相邻帧中筛选最佳质量帧，进而得到图像序列筛选结果，提高了图像质量，去除了图像冗余，有利于降低后期三维重建的复杂度及提高三维重建的效率，同时保留了时间信息。
进一步地，基于上述实施例，所述预设窗口值的表达式为：
Figure BDA0002395503890000091
其中，wKF表示所述预设窗口值，n表示所述图像序列的帧数，cfps表示所述深度相机的帧率，ceil表示向上取整运算。
在上述实施例的基础上，本发明实施例给出了根据图像序列的帧数及深度相机的帧率设置预设窗口值的具体公式，提高了预设窗口值设置的合理性，从而提高了图像序列筛选结果的质量。
进一步地，基于上述实施例，所述计算所述彩色图像序列中彩色图像的彩色图像质量值，包括：对所述彩色图像序列中的彩色图像进行灰度化处理，分别得到对应的灰度图像；对所述灰度图像通过小波变换进行预设层级的迭代分解，得到所述预设层级的分解层；计算各个所述分解层的对数能量，并根据所述对数能量得到所述彩色图像质量值。
在计算所述彩色图像序列中的彩色图像的彩色图像质量值时，首先对所述彩色图像序列中的彩色图像进行灰度化处理，分别得到对应的灰度图像。然后对所述灰度图像通过小波变换进行预设层级的迭代分解，得到所述预设层级的分解层；即对所述灰度图像进行与所述预设层级对应次数的小波变换，比如若预设层级为3，则对所述灰度图像进行3次小波变换，从而得到3层分解层。计算各个所述分解层的对数能量，彩色图像质量值与各个所述分解层的对数能量有关，因此根据各个所述分解层的对数能量得到所述彩色图像质量值。
在上述实施例的基础上，本发明实施例通过对彩色图像灰度化后进行预设层级的小波迭代分解，从而得到预设层级的分解层，进而根据各个分解层的对数能量得到彩色图像质量值，提高了彩色图像质量值的准确性，从而提高了图像序列筛选的质量。
进一步地，基于上述实施例，所述对所述灰度图像通过小波变换进行预设层级的迭代分解，包括：通过提升CDF9/7小波对所述灰度图像通过小波变换进行三层迭代分解。
本发明实施例发现通过提升CDF9/7小波对所述灰度图像通过小波变换进行三层迭代分解，可实现图像序列的可靠、准确筛选。
在上述实施例的基础上，本发明实施例通过提升CDF9/7小波对灰度图像通过小波变换进行三层迭代分解，保证了图像序列的可靠、准确筛选的同时，降低了处理的复杂度。
进一步地，基于上述实施例，所述计算各个所述分解层的对数能量，包括：计算各个所述分解层的子带的对数能量，所述子带包括垂直高频子带、水平高频子带和对角高频子带；根据各个所述分解层的所述子带的对数能量得到各个所述分解层的对数能量。
比如在利用提升CDF9/7小波对灰度图像通过小波变换进行迭代分解时，在每次小波变换时，图像作为二维信息，将图像的小波变换分解为行方向上和列方向上的一维小波变换。通过行方向上的小波变换得到一个高频分量H和低频分量L，再经过一次列方向上的小波变换，得到垂直高频子带LH、水平高频子带HL和对角高频子带HH三个高频子带。
在计算各个所述分解层的子带的对数能量时，利用三个高频子带即垂直高频子带LH、水平高频子带HL和对角高频子带HH进行计算获取。得到各个所述分解层的垂直高频子带LH、水平高频子带HL和对角高频子带HH的对数能量后，可以根据各个所述分解层的上述各子带的对数能量得到各个所述分解层的对数能量。
在上述实施例的基础上，本发明实施例通过根据小波分解得到的三个高频子带得到各个分解层的对数能量，提高了分解层的对数能量计算的准确性，从而提高了图像序列筛选的质量。
进一步地，基于上述实施例，所述计算各个所述分解层的子带的对数能量的公式为：
Figure BDA0002395503890000101
其中，
Figure BDA0002395503890000111
表示第k分解层的XY子带的对数能量；Nk表示分解层的层数；
Figure BDA0002395503890000112
表示像素点(i,j)在第k层的XYk子带的强度值；XY取值为LH、HL或HH，分别对应于垂直高频子带、水平高频子带及对角高频子带。
在上述实施例的基础上，本发明实施例通过计算各个分解层的子带的对数能量的具体公式，提高了各个分解层的子带的对数能量计算的准确性，从而提高了图像序列筛选的质量。
进一步地，基于上述实施例，所述根据各个所述分解层的所述子带的对数能量得到各个所述分解层的对数能量的公式为：
Figure BDA0002395503890000113
其中，Ek表示第k分解层的对数能量，
Figure BDA0002395503890000114
表示第k分解层的垂直高频子带的对数能量，/>
Figure BDA0002395503890000115
表示第k分解层的水平高频子带的对数能量，/>
Figure BDA0002395503890000116
表示第k分解层的对角高频子带的对数能量，ε表示预设子带系数。
在上述实施例的基础上，本发明实施例通过给出根据各个分解层的子带的对数能量得到各个分解层的对数能量的具体公式，提高了各个分解层的对数能量计算的准确性，从而提高了图像序列筛选的质量。
进一步地，基于上述实施例，所述预设子带系数ε的取值为0.8。
本发明实施例发现预设子带系数ε的取值为0.8时，可以取得较好的图像筛选效果。
在上述实施例的基础上，本发明实施例通过给出预设子带系数的经验值，进一步提高了各个分解层的对数能量计算的准确性，从而提高了图像序列筛选的质量。
进一步地，基于上述实施例，所述根据所述对数能量得到所述彩色图像质量值的公式为：
Figure BDA0002395503890000121
其中，Qc表示所述彩色图像质量值，k表示所述分解层的序号。
输入图像的质量由原始彩色图像分解得到的预设层数的分解层的对数能量决定，Qc值越大，代表图像质量越好，越符合人眼的视觉感受。利用彩色图像质量值Qc可对图像序列中的彩色图像的质量进行衡量和评价，且此种方法对于部分模糊或者背景模糊的图片也能得到较好的评价结果。
在上述实施例的基础上，本发明实施例通过给出根据对数能量得到彩色图像质量值的具体公式，提高了彩色图像质量评价的准确性，从而提高了图像序列筛选的质量。
进一步地，基于上述实施例，所述计算所述深度图像序列中深度图像的深度图像质量值，包括：通过对像素点深度值进行聚类处理，将所述深度图像序列中的深度图像的像素点进行分类；根据分类的结果获取所述深度图像的区域内视差值及区域间视差值；根据所述区域内视差值和所述区域间视差值获取所述深度图像质量值。
在计算所述深度图像序列中的深度图像的深度图像质量值时，首先通过对像素点深度值进行聚类处理，将所述深度图像序列中的深度图像的像素点进行分类，比如分为N类。聚类算法可以采用K-means等算法。在聚类后，根据分类的结果获取每张深度图像的区域内视差值及区域间视差值，并根据所述区域内视差值和所述区域间视差值获取所述深度图像质量值。
在上述实施例的基础上，本发明实施例通过对像素点深度值进行聚类处理，将深度图像序列中深度图像的像素点进行分类，根据分类的结果获取每张深度图像的区域内视差值及区域间视差值，根据区域内视差值和区域间视差值获取深度图像质量值，提高了深度图像质量值的准确性，从而提高了图像序列筛选的质量。
进一步地，基于上述实施例，所述区域内视差值的表达式为：
Figure BDA0002395503890000131
其中，D表示所述深度图像，S表示聚类处理的结果，dintra(D,S)表示所述深度图像D在聚类结果S下的所述区域内视差值，N表示聚类处理的分类数，
Figure BDA0002395503890000132
表示聚类处理后第i类中像素点的个数，h·w表示所述深度图像的尺寸，si表示聚类处理后第i类中的像素点，D(x,y)表示像素点(x,y)的深度值，/>
Figure BDA0002395503890000133
表示第i类的像素点的深度值平均值。
在上述实施例的基础上，本发明实施例通过设定区域内视差值的具体计算公式，提高了区域内视差值的准确性，从而提高了图像序列筛选的质量。
进一步地，基于上述实施例，所述区域间视差值的表达式为：
Figure BDA0002395503890000134
其中，dinter(D,S)表示所述深度图像D在聚类结果S下的所述区域间视差值，Sn(si)表示si的邻域像素类，|Sn(si)|表示Sn(si)集合的基数，sj表示Sn(si)中的第j个像素类，Bi表示每一像素类的中心像素点的深度值，Bj表示sj的中心像素点的深度值；其中，像素类为聚类处理后每一类像素的集合。
在上述实施例的基础上，本发明实施例通过设定区域间视差值的具体计算公式，提高了区域间视差值的准确性，从而提高了图像序列筛选的质量。
进一步地，基于上述实施例，所述根据所述区域内视差值和所述区域间视差值获取所述深度图像质量值的公式为：
Figure BDA0002395503890000135
其中，Qd表示所述深度图像质量值。
在上述实施例的基础上，本发明实施例通过利用区域内视差值和区域间视差值计算深度图像质量值的具体公式，提高了深度图像质量值的准确性，从而提高了图像序列筛选的质量。
进一步地，基于上述实施例，所述对像素点的深度值进行聚类处理，包括：利用K-means算法对像素点的深度值进行聚类处理。
在上述实施例的基础上，本发明实施例通过利用K-means算法对像素点的深度值进行聚类处理，提高了聚类处理的准确性，从而提高了图像序列筛选的质量。
图2是本发明一实施例提供的深度相机图像序列筛选方法中小波子带的示意图。下面结合图2以利用提升CDF9/7小波进行三层迭代分解为例，对本发明实施例提供的深度相机图像序列筛选方法进一步进行详细说明。
(一)基于提升小波变换的彩色图像质量评价方法。
处理步骤：
1)对彩色图像进行灰度化。使用加权平均法将彩色图像转化为单通道的灰度图像：
I＝0.2989R+0.5870G+0.1140B
2)选用具有三层结构的提升CDF9/7小波，图像作为二维信息，将图像的小波变换分解为行方向上和列方向上的一维小波变换，分解滤波器多项矩阵因式分解的结果是：
Figure BDA0002395503890000141
其中，
Figure BDA0002395503890000142
表示分解滤波器多项矩阵，α、β、γ、z、δ、τ为小波结构参数。
3)对输入的图像进行三层迭代分解，即分别对灰度图像的水平方向和垂直方向进行三次提升小波变换，进行迭代分解后得到的小波子带如图2所示
4)经过小波分解后，令
Figure BDA0002395503890000151
分别表示第k(k＝1,2,3)层的垂直、水平、对角高频子带，计算每个分解层的各个子带的对数能量，即：
Figure BDA0002395503890000152
式中XY的取值为LH，HL，HH之一。
5)计算各个子带能量的加权和，得到输入图像分解后每一层的对数能量。
Figure BDA0002395503890000153
其中ε是子带系数，可根据具体情况设置。但一般认为，与LH、HL子带相比，HH子带能够跨越更高的径向空间频率。故根据经验值，一般将ε设为0.8。
6)计算图像质量值。令Qc表示彩色图像的质量，它被定义为：
Figure BDA0002395503890000154
即输入图像的质量由原始彩色图像分解得到的三层的对数能量决定，此值越大，代表图像质量越好，越符合人眼的视觉感受。
作用和效果：按照如上述步骤所述，可对图像序列中的彩色图像的质量进行衡量和评价，且此种方法对于部分模糊或者背景模糊这类的图片也能得到较好的评价结果。
(二)基于视差值的深度图像的质量评价方法。
处理步骤：
1)深度图像的分割。令D表示输入的深度图像，则用D(x,y)表示坐标点(x,y)的深度值。使用K-means算法将输入深度图像的深度值分为N类si(i＝1,2,…,N)。
2)计算每张图片的区域内视差值。假设深度图片的尺寸为h×w,则图片的块内视差(区域内视差值)按如下方式计算得到：
Figure BDA0002395503890000161
3)计算每张图片的区域间视差值。令Sn(si)表示si的领域像素类，|·|表示集合的基数，则区域间视差值：
Figure BDA0002395503890000162
4)深度图像质量值计算。最终，计算得到输入深度图像D的质量值为：
Figure BDA0002395503890000163
作用和效果：按照如上述步骤所述，可对图像序列中的深度图像的质量进行衡量和评价。
(三)基于窗口的深度图像序列筛选。
本发明实施例将对应的一对彩色图像和深度图像称为一帧。深度相机拍摄到的深度图像序列是具有顺序性的，如果只选择质量最佳帧而忽略了这种顺序性，将会造成信息的缺失。故本方案定义了一个窗口值来进行相邻帧间的筛选，使得筛选出的帧能覆盖整个拍摄的场景。
处理步骤：
1)计算每一帧的图像质量：
Q＝σQc+(1-σ)Qd
2)定义一个与图像序列数目n和深度相机帧率cfps相关的窗口值：
Figure BDA0002395503890000164
3)以wKF为窗口值，从深度图像序列相邻的wKF帧中选出一帧最佳质量帧。
图3是本发明另一实施例提供的深度相机图像序列筛选方法流程图。如图3所示，所述方法包括：
1)分别对深度相机拍摄到的彩色图像和深度图像序列中的图片按照上述公式分别计算彩色图像质量值和深度图像质量值。其中，计算彩色图像质量值的过程包括图像灰度化、三层小波变换、图像对数能量计算及彩色图像质量值获取的步骤；计算深度图像质量值的过程包括图像分割、区域内视差值计算、区域间视差值计算及深度图像质量值获取的步骤。
2)基于彩色图像质量值和深度图像质量值，对每一帧计算质量加权和；
3)基于上述提出的窗口值，在窗口值大小内筛选最佳质量帧得到最佳帧序列。
经过这样一个步骤，可得到一个图像清晰度较高且能覆盖整个目标场景的最佳帧序列。
图4是本发明一实施例提供的深度相机图像序列筛选装置的结构示意图。如图4所示，所述装置包括彩色图像质量值获取模块10、深度图像质量值获取模块20、单帧图像质量获取模块30及图像序列筛选模块40，其中：彩色图像质量值获取模块10用于：获取彩色图像序列，计算所述彩色图像序列中彩色图像的彩色图像质量值；深度图像质量值获取模块20用于：获取深度图像序列，计算所述深度图像序列中深度图像的深度图像质量值；单帧图像质量获取模块30用于：根据所述彩色图像质量值和所述深度图像质量值计算帧图像的图像质量，其中，成对的所述彩色图像和所述深度图像形成图像序列的一帧图像；图像序列筛选模块40用于：根据所述帧图像的图像质量得到图像序列筛选结果；图像序列筛选模块40具体用于：根据预设窗口值对应的帧数，从所述图像序列的相邻帧中选出最佳质量帧，从而得到所述图像序列筛选结果；其中，所述预设窗口值与所述图像序列的帧数及深度相机的帧率有关。
本发明实施例通过根据图像序列中彩色图像质量值及深度图像质量值得到帧图像的图像质量，并通过预设窗口值进行从相邻帧中筛选最佳质量帧，进而得到图像序列筛选结果，提高了图像质量，去除了图像冗余，有利于降低后期三维重建的复杂度及提高三维重建的效率，同时保留了时间信息。
进一步地，基于上述实施例，所述预设窗口值的表达式为：
Figure BDA0002395503890000181
其中，wKF表示所述预设窗口值，n表示所述图像序列的帧数，cfps表示所述深度相机的帧率，ceil表示向上取整运算。
在上述实施例的基础上，本发明实施例给出了根据图像序列的帧数及深度相机的帧率设置预设窗口值的具体公式，提高了预设窗口值设置的合理性，从而提高了图像序列筛选结果的质量。
进一步地，基于上述实施例，彩色图像质量值获取模块10在用于计算所述彩色图像序列中彩色图像的彩色图像质量值时，具体用于：对所述彩色图像序列中的彩色图像进行灰度化处理，分别得到对应的灰度图像；对所述灰度图像通过小波变换进行预设层级的迭代分解，得到所述预设层级的分解层；计算各个所述分解层的对数能量，并根据所述对数能量得到所述彩色图像质量值。
在上述实施例的基础上，本发明实施例通过对彩色图像灰度化后进行预设层级的小波迭代分解，从而得到预设层级的分解层，进而根据各个分解层的对数能量得到彩色图像质量值，提高了彩色图像质量值的准确性，从而提高了图像序列筛选的质量。
进一步地，基于上述实施例，彩色图像质量值获取模块10在用于对所述灰度图像通过小波变换进行预设层级的迭代分解时，具体用于：通过提升CDF9/7小波对所述灰度图像通过小波变换进行三层迭代分解。
在上述实施例的基础上，本发明实施例通过提升CDF9/7小波对灰度图像通过小波变换进行三层迭代分解，保证了图像序列的可靠、准确筛选的同时，降低了处理的复杂度。
进一步地，基于上述实施例，彩色图像质量值获取模块10在用于计算各个所述分解层的对数能量时，具体用于：计算各个所述分解层的子带的对数能量，所述子带包括垂直高频子带、水平高频子带和对角高频子带；根据各个所述分解层的所述子带的对数能量得到各个所述分解层的对数能量。
在上述实施例的基础上，本发明实施例通过根据小波分解得到的三个高频子带得到各个分解层的对数能量，提高了分解层的对数能量计算的准确性，从而提高了图像序列筛选的质量。
进一步地，基于上述实施例，彩色图像质量值获取模块10在用于计算各个所述分解层的子带的对数能量时所采用的公式为：
Figure BDA0002395503890000191
其中，
Figure BDA0002395503890000192
表示第k分解层的XY子带的对数能量；Nk表示分解层的层数；
Figure BDA0002395503890000193
表示像素点(i,j)在第k层的XYk子带的强度值；XY取值为LH、HL或HH，分别对应于垂直高频子带、水平高频子带及对角高频子带。
在上述实施例的基础上，本发明实施例通过计算各个分解层的子带的对数能量的具体公式，提高了各个分解层的子带的对数能量计算的准确性，从而提高了图像序列筛选的质量。
进一步地，基于上述实施例，彩色图像质量值获取模块10在用于根据各个所述分解层的所述子带的对数能量得到各个所述分解层的对数能量时所采用的公式为：
Figure BDA0002395503890000201
其中，Ek表示第k分解层的对数能量，
Figure BDA0002395503890000202
表示第k分解层的垂直高频子带的对数能量，/>
Figure BDA0002395503890000203
表示第k分解层的水平高频子带的对数能量，/>
Figure BDA0002395503890000204
表示第k分解层的对角高频子带的对数能量，ε表示预设子带系数。
在上述实施例的基础上，本发明实施例通过给出根据各个分解层的子带的对数能量得到各个分解层的对数能量的具体公式，提高了各个分解层的对数能量计算的准确性，从而提高了图像序列筛选的质量。
进一步地，基于上述实施例，所述预设子带系数ε的取值为0.8。
在上述实施例的基础上，本发明实施例通过给出预设子带系数的经验值，进一步提高了各个分解层的对数能量计算的准确性，从而提高了图像序列筛选的质量。
进一步地，基于上述实施例，彩色图像质量值获取模块10在用于根据所述对数能量得到所述彩色图像质量值时所采用的公式为：
Figure BDA0002395503890000205
其中，Qc表示所述彩色图像质量值，k表示所述分解层的序号。
在上述实施例的基础上，本发明实施例通过给出根据对数能量得到彩色图像质量值的具体公式，提高了彩色图像质量评价的准确性，从而提高了图像序列筛选的质量。
进一步地，基于上述实施例，深度图像质量值获取模块20在用于计算所述深度图像序列中深度图像的深度图像质量值时，具体用于：通过对像素点深度值进行聚类处理，将所述深度图像序列中的深度图像的像素点进行分类；根据分类的结果获取所述深度图像的区域内视差值及区域间视差值；根据所述区域内视差值和所述区域间视差值获取所述深度图像质量值。
在上述实施例的基础上，本发明实施例通过对像素点深度值进行聚类处理，将深度图像序列中深度图像的像素点进行分类，根据分类的结果获取每张深度图像的区域内视差值及区域间视差值，根据区域内视差值和区域间视差值获取深度图像质量值，提高了深度图像质量值的准确性，从而提高了图像序列筛选的质量。
进一步地，基于上述实施例，所述区域内视差值的表达式为：
Figure BDA0002395503890000211
其中，D表示所述深度图像，S表示聚类处理的结果，dintra(D,S)表示所述深度图像D在聚类结果S下的所述区域内视差值，N表示聚类处理的分类数，
Figure BDA0002395503890000212
表示聚类处理后第i类中像素点的个数，h·w表示所述深度图像的尺寸，si表示聚类处理后第i类中的像素点，D(x,y)表示像素点(x,y)的深度值，/>
Figure BDA0002395503890000213
表示第i类的像素点的深度值平均值。
在上述实施例的基础上，本发明实施例通过设定区域内视差值的具体计算公式，提高了区域内视差值的准确性，从而提高了图像序列筛选的质量。
进一步地，基于上述实施例，所述区域间视差值的表达式为：
Figure BDA0002395503890000214
其中，dinter(D,S)表示所述深度图像D在聚类结果S下的所述区域间视差值，Sn(si)表示si的邻域像素类，|Sn(si)|表示Sn(si)集合的基数，sj表示Sn(si)中的第j个像素类，Bi表示每一像素类的中心像素点的深度值，Bj表示sj的中心像素点的深度值；其中，像素类为聚类处理后每一类像素的集合。
在上述实施例的基础上，本发明实施例通过设定区域间视差值的具体计算公式，提高了区域间视差值的准确性，从而提高了图像序列筛选的质量。
进一步地，基于上述实施例，深度图像质量值获取模块20在用于根据所述区域内视差值和所述区域间视差值获取所述深度图像质量值时所采用的公式为：
Figure BDA0002395503890000221
其中，Qd表示所述深度图像质量值。
在上述实施例的基础上，本发明实施例通过利用区域内视差值和区域间视差值计算深度图像质量值的具体公式，提高了深度图像质量值的准确性，从而提高了图像序列筛选的质量。
进一步地，基于上述实施例，深度图像质量值获取模块20在用于对像素点的深度值进行聚类处理时，具体用于：利用K-means算法对像素点的深度值进行聚类处理。
在上述实施例的基础上，本发明实施例通过利用K-means算法对像素点的深度值进行聚类处理，提高了聚类处理的准确性，从而提高了图像序列筛选的质量。
本发明实施例提供的设备是用于上述方法的，具体功能可参照上述方法流程，此处不再赘述。
图5是本发明一实施例提供的电子设备的实体结构示意图。如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(Communications Interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行如下方法：获取彩色图像序列，计算所述彩色图像序列中彩色图像的彩色图像质量值；获取深度图像序列，计算所述深度图像序列中深度图像的深度图像质量值；根据所述彩色图像质量值和所述深度图像质量值计算帧图像的图像质量，其中，成对的所述彩色图像和所述深度图像形成图像序列的一帧图像；根据所述帧图像的图像质量得到图像序列筛选结果；所述根据所述帧图像的图像质量得到图像序列筛选结果，包括：根据预设窗口值对应的帧数，从所述图像序列的相邻帧中选出最佳质量帧，从而得到所述图像序列筛选结果；其中，所述预设窗口值与所述图像序列的帧数及深度相机的帧率有关。
此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的方法，例如包括：获取彩色图像序列，计算所述彩色图像序列中彩色图像的彩色图像质量值；获取深度图像序列，计算所述深度图像序列中深度图像的深度图像质量值；根据所述彩色图像质量值和所述深度图像质量值计算帧图像的图像质量，其中，成对的所述彩色图像和所述深度图像形成图像序列的一帧图像；根据所述帧图像的图像质量得到图像序列筛选结果；所述根据所述帧图像的图像质量得到图像序列筛选结果，包括：根据预设窗口值对应的帧数，从所述图像序列的相邻帧中选出最佳质量帧，从而得到所述图像序列筛选结果；其中，所述预设窗口值与所述图像序列的帧数及深度相机的帧率有关。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (17)

1.一种深度相机图像序列筛选方法，其特征在于，包括：
获取彩色图像序列，计算所述彩色图像序列中彩色图像的彩色图像质量值；
获取深度图像序列，计算所述深度图像序列中深度图像的深度图像质量值；
根据所述彩色图像质量值和所述深度图像质量值计算帧图像的图像质量，其中，成对的所述彩色图像和所述深度图像形成图像序列的一帧图像；
根据所述帧图像的图像质量得到图像序列筛选结果；
所述根据所述帧图像的图像质量得到图像序列筛选结果，包括：
根据预设窗口值对应的帧数，从所述图像序列的相邻帧中选出最佳质量帧，从而得到所述图像序列筛选结果；其中，所述预设窗口值与所述图像序列的帧数及深度相机的帧率有关。
2.根据权利要求1所述的深度相机图像序列筛选方法，其特征在于，所述预设窗口值的表达式为：
Figure FDA0002700457460000011
其中，wKF表示所述预设窗口值，n表示所述图像序列的帧数，cfps表示所述深度相机的帧率，ceil表示向上取整运算。
3.根据权利要求1所述的深度相机图像序列筛选方法，其特征在于，所述计算所述彩色图像序列中彩色图像的彩色图像质量值，包括：
对所述彩色图像序列中的彩色图像进行灰度化处理，分别得到对应的灰度图像；
对所述灰度图像通过小波变换进行预设层级的迭代分解，得到所述预设层级的分解层；
计算各个所述分解层的对数能量，并根据所述对数能量得到所述彩色图像质量值。
4.根据权利要求3所述的深度相机图像序列筛选方法，其特征在于，所述对所述灰度图像通过小波变换进行预设层级的迭代分解，包括：
通过提升CDF9/7小波对所述灰度图像通过小波变换进行三层迭代分解。
5.根据权利要求3所述的深度相机图像序列筛选方法，其特征在于，所述计算各个所述分解层的对数能量，包括：
计算各个所述分解层的子带的对数能量，所述子带包括垂直高频子带、水平高频子带和对角高频子带；
根据各个所述分解层的所述子带的对数能量得到各个所述分解层的对数能量。
6.根据权利要求5所述的深度相机图像序列筛选方法，其特征在于，所述计算各个所述分解层的子带的对数能量的公式为：
Figure FDA0002700457460000021
其中，
Figure FDA0002700457460000022
表示第k分解层的XY子带的对数能量；Nk表示分解层的层数；/>
Figure FDA0002700457460000023
表示像素点(i,j)在第k层的XYk子带的强度值；XY取值为LH、HL或HH，分别对应于垂直高频子带、水平高频子带及对角高频子带。
7.根据权利要求6所述的深度相机图像序列筛选方法，其特征在于，所述根据各个所述分解层的所述子带的对数能量得到各个所述分解层的对数能量的公式为：
Figure FDA0002700457460000024
其中，Ek表示第k分解层的对数能量，
Figure FDA0002700457460000025
表示第k分解层的垂直高频子带的对数能量，
Figure FDA0002700457460000031
表示第k分解层的水平高频子带的对数能量，/>
Figure FDA0002700457460000032
表示第k分解层的对角高频子带的对数能量，ε表示预设子带系数。
8.根据权利要求7所述的深度相机图像序列筛选方法，其特征在于，所述预设子带系数ε的取值为0.8。
9.根据权利要求7所述的深度相机图像序列筛选方法，其特征在于，所述根据所述对数能量得到所述彩色图像质量值的公式为：
Figure FDA0002700457460000033
其中，Qc表示所述彩色图像质量值，k表示所述分解层的序号。
10.根据权利要求1所述的深度相机图像序列筛选方法，其特征在于，所述计算所述深度图像序列中深度图像的深度图像质量值，包括：
通过对像素点深度值进行聚类处理，将所述深度图像序列中的深度图像的像素点进行分类；
根据分类的结果获取所述深度图像的区域内视差值及区域间视差值；
根据所述区域内视差值和所述区域间视差值获取所述深度图像质量值。
11.根据权利要求10所述的深度相机图像序列筛选方法，其特征在于，所述区域内视差值的表达式为：
Figure FDA0002700457460000034
其中，D表示所述深度图像，S表示聚类处理的结果，dintra(D,S)表示所述深度图像D在聚类结果S下的所述区域内视差值，N表示聚类处理的分类数，
Figure FDA0002700457460000041
表示聚类处理后第i类中像素点的个数，h·w表示所述深度图像的尺寸，si表示聚类处理后第i类中的像素点，D(x,y)表示像素点(x,y)的深度值，/>
Figure FDA0002700457460000042
表示第i类的像素点的深度值平均值。
12.根据权利要求11所述的深度相机图像序列筛选方法，其特征在于，所述区域间视差值的表达式为：
Figure FDA0002700457460000043
其中，dinter(D,S)表示所述深度图像D在聚类结果S下的所述区域间视差值，Sn(si)表示si的邻域像素类，|Sn(si)|表示Sn(si)集合的基数，sj表示Sn(si)中的第j个像素类，Bi表示每一像素类的中心像素点的深度值，Bj表示sj的中心像素点的深度值；其中，像素类为聚类处理后每一类像素的集合。
13.根据权利要求12所述的深度相机图像序列筛选方法，其特征在于，所述根据所述区域内视差值和所述区域间视差值获取所述深度图像质量值的公式为：
Figure FDA0002700457460000044
其中，Qd表示所述深度图像质量值。
14.根据权利要求10所述的深度相机图像序列筛选方法，其特征在于，所述对像素点的深度值进行聚类处理，包括：利用K-means算法对像素点的深度值进行聚类处理。
15.一种深度相机图像序列筛选装置，其特征在于，包括：
彩色图像质量值获取模块，用于：获取彩色图像序列，计算所述彩色图像序列中彩色图像的彩色图像质量值；
深度图像质量值获取模块，用于：获取深度图像序列，计算所述深度图像序列中深度图像的深度图像质量值；
单帧图像质量获取模块，用于：根据所述彩色图像质量值和所述深度图像质量值计算帧图像的图像质量，其中，成对的所述彩色图像和所述深度图像形成图像序列的一帧图像；
图像序列筛选模块，用于：根据所述帧图像的图像质量得到图像序列筛选结果；
图像序列筛选模块具体用于：根据预设窗口值对应的帧数，从所述图像序列的相邻帧中选出最佳质量帧，从而得到所述图像序列筛选结果；其中，所述预设窗口值与所述图像序列的帧数及深度相机的帧率有关。
16.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至14任一项所述深度相机图像序列筛选方法的步骤。
17.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至14任一项所述深度相机图像序列筛选方法的步骤。
CN202010129870.4A 2020-02-28 2020-02-28 一种深度相机图像序列筛选方法及装置 Active CN111353982B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010129870.4A CN111353982B (zh) 2020-02-28 2020-02-28 一种深度相机图像序列筛选方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010129870.4A CN111353982B (zh) 2020-02-28 2020-02-28 一种深度相机图像序列筛选方法及装置

Publications (2)

Publication Number Publication Date
CN111353982A CN111353982A (zh) 2020-06-30
CN111353982B true CN111353982B (zh) 2023-06-20

Family

ID=71197272

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010129870.4A Active CN111353982B (zh) 2020-02-28 2020-02-28 一种深度相机图像序列筛选方法及装置

Country Status (1)

Country Link
CN (1) CN111353982B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114066784A (zh) * 2020-07-29 2022-02-18 北京小米移动软件有限公司 一种图像处理方法、装置和存储介质
CN116824070B (zh) * 2023-08-31 2023-11-24 江西求是高等研究院 一种基于深度图像的实时三维重建方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101720047A (zh) * 2009-11-03 2010-06-02 上海大学 基于颜色分割的多目摄像立体匹配获取深度图像的方法
CN101937578A (zh) * 2010-09-08 2011-01-05 宁波大学 一种虚拟视点彩色图像绘制方法
CN102271254A (zh) * 2011-07-22 2011-12-07 宁波大学 一种深度图像的预处理方法
CN107578418A (zh) * 2017-09-08 2018-01-12 华中科技大学 一种融合色彩和深度信息的室内场景轮廓检测方法
CN107689050A (zh) * 2017-08-15 2018-02-13 武汉科技大学 一种基于彩色图像边缘引导的深度图像上采样方法
CN108377374A (zh) * 2016-10-11 2018-08-07 万维数码有限公司 用于产生与图像相关的深度信息的方法和系统
CN109598736A (zh) * 2018-11-30 2019-04-09 深圳奥比中光科技有限公司 深度图像与彩色图像的配准方法及装置
CN110544233A (zh) * 2019-07-30 2019-12-06 北京的卢深视科技有限公司 基于人脸识别应用的深度图像质量评价方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8488868B2 (en) * 2007-04-03 2013-07-16 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry, Through The Communications Research Centre Canada Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101720047A (zh) * 2009-11-03 2010-06-02 上海大学 基于颜色分割的多目摄像立体匹配获取深度图像的方法
CN101937578A (zh) * 2010-09-08 2011-01-05 宁波大学 一种虚拟视点彩色图像绘制方法
CN102271254A (zh) * 2011-07-22 2011-12-07 宁波大学 一种深度图像的预处理方法
CN108377374A (zh) * 2016-10-11 2018-08-07 万维数码有限公司 用于产生与图像相关的深度信息的方法和系统
CN107689050A (zh) * 2017-08-15 2018-02-13 武汉科技大学 一种基于彩色图像边缘引导的深度图像上采样方法
CN107578418A (zh) * 2017-09-08 2018-01-12 华中科技大学 一种融合色彩和深度信息的室内场景轮廓检测方法
CN109598736A (zh) * 2018-11-30 2019-04-09 深圳奥比中光科技有限公司 深度图像与彩色图像的配准方法及装置
CN110544233A (zh) * 2019-07-30 2019-12-06 北京的卢深视科技有限公司 基于人脸识别应用的深度图像质量评价方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Yashon O. Ouma等.Wavelet-morphology based detection of incipient linear cracks in asphalt pavements from RGB camera imagery and classification using circular Radon transform.《Advanced Engineering Informatics》.2016,全文. *
梅峰等.基于RGB-D 深度相机的室内场景重建.《中国图象图形学报》.2015,全文. *

Also Published As

Publication number Publication date
CN111353982A (zh) 2020-06-30

Similar Documents

Publication Publication Date Title
Guo et al. Toward convolutional blind denoising of real photographs
CN111861894B (zh) 基于生成式对抗网络的图像去运动模糊方法
CN111709895A (zh) 基于注意力机制的图像盲去模糊方法及系统
CN111091503B (zh) 基于深度学习的图像去失焦模糊方法
CN107133923B (zh) 一种基于自适应梯度稀疏模型的模糊图像非盲去模糊方法
Ma et al. A wavelet-based dual-stream network for underwater image enhancement
CN109978774B (zh) 多帧连续等曝光图像的去噪融合方法及装置
CN107464217B (zh) 一种图像处理方法及装置
EP4109393A1 (en) Method and device for removing moiré patterns
CN111192226B (zh) 一种图像融合去噪方法及装置、系统
Wang et al. A fast image fusion with discrete cosine transform
CN112419191B (zh) 基于卷积神经网络的图像运动模糊去除方法
CN111353982B (zh) 一种深度相机图像序列筛选方法及装置
CN116847209B (zh) 一种基于Log-Gabor与小波的光场全聚焦影像生成方法及系统
CN112651469A (zh) 一种红外与可见光图像融合方法及系统
CN113284061B (zh) 一种基于梯度网络的水下图像增强方法
CN106683174A (zh) 双目视觉系统的三维重建方法、装置及双目视觉系统
Pradnya et al. Wavelet based image fusion techniques
CN116309178A (zh) 一种基于自适应注意力机制网络的可见光图像去噪方法
CN115578262A (zh) 基于afan模型的偏振图像超分辨率重建方法
Zhang et al. Learning temporal-ordered representation for spike streams based on discrete wavelet transforms
CN110689486A (zh) 图像的处理方法、装置、设备及计算机可存储介质
Sumalatha et al. Hierarchical lossless image compression for telemedicine applications
CN116703752A (zh) 融合近红外的Transformer结构的图像去雾方法及装置
Shivagunde et al. Single image super-resolution based on modified interpolation method using MLP and DWT

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant