CN113393467B - 一种基于混合显著性检测的点云视频自适应切分方法 - Google Patents

一种基于混合显著性检测的点云视频自适应切分方法 Download PDF

Info

Publication number
CN113393467B
CN113393467B CN202110684433.3A CN202110684433A CN113393467B CN 113393467 B CN113393467 B CN 113393467B CN 202110684433 A CN202110684433 A CN 202110684433A CN 113393467 B CN113393467 B CN 113393467B
Authority
CN
China
Prior art keywords
frame
cut
frame group
kth
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110684433.3A
Other languages
English (en)
Other versions
CN113393467A (zh
Inventor
黎洁
张聪
李奇越
王枭
韩玲
王慧宇
陈勇
彭涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN202110684433.3A priority Critical patent/CN113393467B/zh
Publication of CN113393467A publication Critical patent/CN113393467A/zh
Application granted granted Critical
Publication of CN113393467B publication Critical patent/CN113393467B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于显著性检测的点云视频自适应切分方法，其步骤包括：1、将点云视频在空间上进行3D均匀切分；2、将点云视频在时间上进行分组，每个帧组是切分的单位；3、对每个帧组的第一帧内的切块进行静态显著性检测，得到切块内部离散值和切块之间的块间差异值；4、对每个帧组的相邻帧内切块进行运动估计，得到帧间的切块变化性；5，整合帧组内所有帧内切块的静态显著性和切块变化性；6、采用自上而下的层次聚类将帧组内的切块聚类得到切块簇。本发明可以预测用户视角关注点云视频的显著性区域，进而通过聚类得到切块簇，通过调整切块簇的传输码率从而减小点云视频的传输数据量，提高用户观看点云视频的体验。

Description

一种基于混合显著性检测的点云视频自适应切分方法
技术领域
本发明涉及点云视频流媒体传输领域，具体来说是一种点云视频在传输过程中的数据量优化方法。
背景技术
点云是一种三维影像的表现形式，通过大量分布在三维空间中的点构成物体，它可以与虚拟现实或增强现实技术结合在一起，实现高自由度的沉浸式视频体验。然而由于点云存储了更多维度的信息，所以它的数据量比普通视频更高，因此点云视频的传输对带宽的要求十分大，这也是目前点云视频发展的瓶颈。因此如何尽可能降低点云视频传输过程中的数据量是目前研究的热点方向。
显著性检测是指过智能算法模拟人的视觉特点，提取图像中的显著区域(即人类感兴趣的区域)，它可将有限的计算资源分配给图像视频中更重要的信息，同时引入视觉显著性的结果更符合人的视觉认知需求。进而可以给例如目标识别，视频压缩等技术应用带来重要的帮助。
荷兰国家数学与计算机科学研究中心的Shishir等人设计并实现了一种以用户视角为中心的点云视频的低复杂度切分算法(MM'20:The 28th ACM InternationalConference on Multimedia，2020，“User Centered Adaptive Streaming of DynamicPoint Clouds with Low Complexity Tiling”)。作者首先收集了26个实验参与者在观看点云视频过程中的六自由度的运动轨迹，包括位置的变化和头部运动的变化，然后通过用户视角热点分布图进行切分成四个切块，在传输过程中根据网络环境和用户视角位置对不同切块进行码率调节，从而使得用户体验质量(Quality of Experience，QoE)最大化，实验结果表示相比基准方案，该切分方案能在提高传输的QoE同时降低数据量传输。但是此方案在切分时需要事先获得用户视角数据，这在直播等环境下显然不实际，而且方案并没有考虑视频内容本身对于切分的影响。
青岛大学的魏计鹏等人提出了一种基于深度图像增益的RGB-D显著性物体检测方法(计算机与现代化，2021，基于深度图像增益的RGB-D显著性物体检测方法)。作者通过在双分支网络结构的基础上增加一个增益子网，采用显著图作差的方法获得深度图片为显著性检测带来的增益，作为增益子网预训练的伪GT，获得图像的RGB特征、深度特征和深度增益信息，最终将三分支的特征进行融合得到最终的显著性物体检测的结果。结果显示在多个公开的数据集上，该方法与其他显著性物体检测方法相比，多个评价指标上处于领先地位。但是此显著性检测方法针对单帧图片而不是连续的视频，同时深度学习算法需要依赖大量数据集训练，无法满足点云视频流媒体实时传输的要求。
武汉大学的丁晓英等人提出了一种局部和全局融合的显著性检测算法(IEEETRANSACTIONS ON IMAGE PROCESSING，2019，Point Cloud Saliency Detection by Localand Global Feature Fusion)。作者首先通过与周围点的差异比较计算每个点的局部显著性，然后点云被分成许多个小类簇，计算每个类簇的全局稀有性性。最后通过提出了一个优化框架，以整合局部显著性和全局稀有性值，从而获得点云的最终显著性检测结果。通过对比实验表明，提出的方案相比其他显著性检测算法有明显的优势。但是本文的方法需要计算每个点的显著值，需要大量的计算量，并且没有考虑纹理信息诸如颜色等在显著性检测的作用。
发明内容
本发明是为避免上述现有技术所存在的不足之处，提供一种基于混合显著性检测的点云视频自适应切分方法，以期能够在点云视频传输过程中最大化减少数据量传输，从而提升传输系统的表现性能，使得用户拥有高质量的点云视频观看体验。
本发明为解决技术问题采用如下技术方案：
本发明一种基于混合显著性检测的点云视频自适应切分方法的特点是，所述点云视频自适应切分方法按如下步骤进行：
步骤一、将一个点云视频在时间上划分成T个帧组，每个帧组包含F帧点云图像，令帧组集合为{G1,G2,...,Gt,...,GT}，其中，Gt表示点云视频中第t个帧组，1≤t≤T；T表示视频长度。
将第t个帧组Gt的每一帧在空间上均匀切分成数目为K＝L×L×L的切块并得到第t个帧组Gt的切块集合，记为{It,f,1,It,f,2,...,It,f,k,...,It,f,K}，其中，It,f,k表示第t个帧组Gt内第f帧中的第k个切块，L是每个切块的边长；1≤k≤K，1≤f≤F；
令第t个帧组Gt的切块集合中每个切块的空间坐标为{pt,f,1,pt,f,2,...,pt,f,k,...,pt,f,K}，其中，pt,f,k表示第t个帧组Gt内第f帧中第k个切块It,f,k的中心点的三维坐标；
步骤二、计算帧组Gt内切块集合的内部离散值；
令切块集合中第k个切块It,f,k的点集合为{Pt,f,k,1,Pt,f,k,2,...,Pt,f,k,n,...,Pt,f,k,N}，其中，Pt,f,k,n表示第t个帧组Gt内第f帧中第k个切块It,f,k的第n个点，1≤n≤N；N表示第k个切块It,f,k内点个数；
令切块It,f,k内点集合的亮度大小为
Figure GDA0003723128020000031
其中，
Figure GDA0003723128020000032
表示帧组内第f帧的第k个切块中的第n个点的亮度大小；
计算切块It,f,k内点集合的亮度值的平均值，记为
Figure GDA0003723128020000033
并作为第t个帧组Gt内第k个切块It,f,k的亮度值；
计算点集合的快速点特征直方图，记为
Figure GDA0003723128020000034
其中，
Figure GDA0003723128020000035
表示第t个帧组Gt内第f帧中第k个切块It,f,k的第n个点的FPFH特征向量；
计算切块It,f,k内点集合的FPFH的方差，记为
Figure GDA0003723128020000036
并作为第t个帧组Gt内第k个切块It,f,k的内部离散值；
步骤三、计算第t个帧组Gt内所有切块的块间差异值；
步骤四、计算第t个帧组Gt内所有切块的帧间变化值；
步骤五、利用式(1)构造第t个帧组Gt的损失函数lt：
Figure GDA0003723128020000037
式(1)中，xt,k表示第t个帧组Gt内第k个切块It,f,k的显著值变量；xt,j表示第t个帧组Gt内第j个切块It,f,j的显著值变量；St.z,k表示帧组内第k个切块It,f,k的第z个值，其中，z＝1表示第k个切块It,f,k的块内离散值
Figure GDA0003723128020000038
z＝2表示第k个切块It,f,k的块间差异值
Figure GDA0003723128020000039
z＝3表示第k个切块It,f,k的帧间变化值
Figure GDA00037231280200000310
R表示与第k个切块It,f,k的邻近的切块数目；Wt,k,j表示第k个切块It,f,k和第j个切块It,f,j的权重系数，并有：
Figure GDA00037231280200000311
式(2)中，σ是控制常量；pt,f,j表示第t个帧组Gt内第f帧中第j个切块It,f,j的中心点的三维坐标；
步骤六、采用CPLEX求解器对损失函数lt进行最优化求解，从而得到第t个帧组Gt内切块显著值集合{xt,1,xt,2,…,xt,k,…,xt,K}；
步骤七、根据第t个帧组Gt内切块集合的显著值，采用自上而下的层次聚类将第t个帧组Gt内的切块集合进行聚类，从而得到切块簇；将切块集合内属于相同切块簇的切块合成一个新的切块；
步骤八、按照步骤一到步骤七的过程对点云视频内所有帧组进行处理，从而得到点云视频的所有切块并作为自适应切分结果。
本发明所述的点云视频自适应切分方法的特点也在于，所述步骤三是按如下过程进行的：
步骤3.1、利用式(3)计算第k个切块It,f,k在第d维度上的FPFH特征向量
Figure GDA0003723128020000041
Figure GDA0003723128020000042
式(3)中，
Figure GDA0003723128020000043
表示第t个帧组Gt内第f帧中第k个切块It,f,k的第n个点在第d维度上的FPFH特征向量；1≤d≤D；D表示FPFH特征向量的维度；
步骤3.2、利用式(4)计算第t个帧组Gt内第k个切块It,f,k和第j个切块It,f,j之间的卡方距离χ2(It,f,k,It,f,j)；
Figure GDA0003723128020000044
式(4)中，
Figure GDA0003723128020000045
表示第t个帧组Gt内第j个切块It,f,j的FPFH特征向量；
步骤3.3、利用式(5)计算第t个帧组Gt内第k个切块It,f,k和第j个切块It,f,j之间的亮度距离γ2(It,f,k,It,f,j)：
Figure GDA0003723128020000046
式(5)中，
Figure GDA0003723128020000047
表示第t个帧组Gt内第j个切块It,f,j的亮度值；
步骤3.4利用式(6)计算第t个帧组Gt内第k个切块It,f,k和第j个切块It,f,j之间的特征距离ψ2(It,f,k,It,f,j)：
ψ2(It,f,k,It,f,j)＝χ2(It,f,k,It,f,j)+λ·γ2(It,f,k,It,f,j) (6)
式(6)中，λ是权重系数；
步骤3.5、利用式(7)计算块间差异值
Figure GDA0003723128020000051
Figure GDA0003723128020000052
式(7)中，R表示与切块It,f,k邻近的切块数目；pt,f,j表示第t个帧组Gt内第j个切块It,f,j的空间位置；||pt,f,k-pt,f,j||表示第k个切块It,f,k和第j个切块It,f,j的空间距离。
所述步骤四是按如下过程进行的：
步骤4.1、令当前第k个切块It,f,k为目标切块，其所在的帧为目标帧；记目标帧的前一帧为参考帧；
步骤4.2、令在参考帧中与目标切块It,f,k相同空间位置的切块为参考切块，记为It,f-1,k；
步骤4.3、以参考切块It,f-1,k为中心，生成一个体积为S×S×S尺寸的搜索空间，其中，S为搜索空间的边长；
步骤4.4、在搜索空间内以C为间距，且C＜L，生成数目为
Figure GDA0003723128020000053
的待匹配切块集合，记为{It,f,k,1,It,f,k,2,...,It,f,k,m,...,It,f,k,M}，It,f,k,m表示第t个帧组Gt内第f帧中第k个切块It,f,k对应的搜索空间中第m个切块，1≤m≤M；
步骤4.5、计算目标切块It,f,k与待匹配切块集合内所有切块的特征距离，记为
Figure GDA0003723128020000054
其中，
Figure GDA0003723128020000055
表示目标切块It,f,k与待匹配切块It,f,k,m之间的特征距离；
步骤4.6、将集合
Figure GDA0003723128020000056
中的最小距离值所对应的匹配切块记为It,f-1,min，用于表示和目标切块It,f,k最相似的切块；
步骤4.7、利用式(8)计算目标切块It,f,k和匹配切块It,f-1,min的帧间变化值
Figure GDA0003723128020000057
Figure GDA0003723128020000058
式(8)中，Pt,f-1,min第t个帧组Gt内第f帧中第k个切块It,f,k对应的匹配切块It,f-1,min的空间位置；
步骤4.8、按照步骤步骤4.1到步骤4.7的过程对第t个帧组Gt内第2帧到第F帧中所有切块进行处理，从而得到每一帧的切块帧间变化值，记为
Figure GDA0003723128020000061
步骤4.9、将第2帧到第F帧中对应切块的帧间变化值相加得到第t个帧组Gt内第k个切块的帧间变化值
Figure GDA0003723128020000062
所述步骤七是按如下过程进行的：
步骤7.1、将切块显著值集合{xt,1,xt,2,…,xt,k,…,xt,K}中所有显著值分别作为一个独立的类簇；
步骤7.2、根据切块显著值计算两两类簇之间的特征距离，找到距离最小的两个类簇Ai和Aj；
步骤7.3、合并类簇Ai和Aj为一个类簇Ak；
步骤7.4、利用式(9)计算合并后的Ak的切块显著值：
Figure GDA0003723128020000063
式(9)中，xt,i和xt,j表示类簇Ai和Aj的切块显著值，当类簇内只有一个切块时，则类簇的切块显著值等于该切块的切块显著值；
步骤7.5、当合并后的类簇的数目达到阈值V时，表示完成第t个帧组Gt的聚类；否则，将合并后的聚类代入步骤7.2-步骤7.5的过程进行处理。
与现有技术相比，本发明的有益效果体现在：
1、本发明将点云显著性检测与切块相结合，通过检测切块的显著性来反映视频的显著性而不是每个点，从而大大减少了计算量。
2、本发明制定了点云视频显著性切分的流程框架，提取了切块的块内离散值，块间差异值和帧间变化值，将三者转化为优化损失函数的问题，通过CPLEX求解得到切块的显著值，提高了显著性检测的准确度和通用性。
3、本发明将点云视频切块可以运用在点云视频传输中，通过实时检测用户视角，判断当前需要传输的切块，从而减少了冗余切块的传输，大大降低了传输数据量，提高了点云视频传输的体验质量。
附图说明
图1为本发明中点云视频显著性检测的系统流程图。
具体实施方式
本实施例中，如图1所示，一种基于混合显著性检测的点云视频自适应切分方法是按如下步骤进行：
步骤一、将一个点云视频在时间上划分成T个帧组，每个帧组包含F帧点云图像，令帧组集合为{G1,G2,...,Gt,...,GT}，其中，Gt表示点云视频中第t个帧组，1≤t≤T；T表示视频长度。
将第t个帧组Gt的每一帧在空间上均匀切分成数目为K＝L×L×L的切块并得到第t个帧组Gt的切块集合，记为{It,f,1,It,f,2,...,It,f,k,...,It,f,K}，其中，It,f,k表示第t个帧组Gt内第f帧中的第k个切块，L是每个切块的边长；1≤k≤K，1≤f≤F；切块空间是根据包围点云的最小长方体确定的。
令第t个帧组Gt的切块集合中每个切块的空间坐标为{pt,f,1,pt,f,2,...,pt,f,k,...,pt,f,K}，其中，pt,f,k表示第t个帧组Gt内第f帧中第k个切块
Figure GDA0003723128020000071
的中心点的三维坐标；
步骤二、计算帧组Gt内切块集合的内部离散值；
令切块集合中第k个切块It,f,k的点集合为{Pt,f,k,1,Pt,f,k,2,...,Pt,f,k,n,...,Pt,f,k,N}，其中，Pt,f,k,n表示第t个帧组Gt内第f帧中第k个切块It,f,k的第n个点，1≤n≤N；N表示第k个切块It,f,k内点个数；
令切块It,f,k内点集合的亮度大小为
Figure GDA0003723128020000072
其中，
Figure GDA0003723128020000073
表示帧组内第f帧的第k个切块中的第n个点的亮度大小；
计算切块It,f,k内点集合的亮度值的平均值，记为
Figure GDA0003723128020000074
并作为第t个帧组Gt内第k个切块It,f,k的亮度值；其中亮度大小可以根据RGB转换公式得到；
计算点集合的快速点特征直方图，记为
Figure GDA0003723128020000075
其中，
Figure GDA0003723128020000076
表示第t个帧组Gt内第f帧中第k个切块It,f,k的第n个点的FPFH特征向量；一般来说，FPFH是一个33维的向量，可以衡量点云的点的特征，通过现有的点云库可以直接计算得到。
计算切块It,f,k内点集合的FPFH的方差，记为
Figure GDA0003723128020000077
并作为第t个帧组Gt内第k个切块It,f,k的内部离散值；
步骤三、计算第t个帧组Gt内所有切块的块间差异值
Figure GDA0003723128020000081
步骤3.1、利用式(1)计算第k个切块It,f,k在第d维度上的FPFH特征向量
Figure GDA0003723128020000082
Figure GDA0003723128020000083
式(1)中，
Figure GDA0003723128020000084
表示第t个帧组Gt内第f帧中第k个切块It,f,k的第n个点在第d维度上的FPFH特征向量；1≤d≤D；D表示FPFH特征向量的维度；
步骤3.2、利用式(2)计算第t个帧组Gt内第k个切块It,f,k和第j个切块It,f,j之间的卡方距离χ2(It,f,k,It,f,j)；
Figure GDA0003723128020000085
式(2)中，
Figure GDA0003723128020000086
表示第t个帧组Gt内第j个切块It,f,j的FPFH特征向量；
步骤3.3、利用式(3)计算第t个帧组Gt内第k个切块It,f,k和第j个切块It,f,j之间的亮度距离γ2(It,f,k,It,f,j)：
Figure GDA0003723128020000087
式(3)中，
Figure GDA0003723128020000088
表示第t个帧组Gt内第j个切块It,f,j的亮度值；
步骤3.4利用式(4)计算第t个帧组Gt内第k个切块It,f,k和第j个切块It,f,j之间的特征距离：
ψ2(It,f,k,It,f,j)＝χ2(It,f,k,It,f,j)+λ·γ2(It,f,k,It,f,j) (4)
式(4)中，λ是权重系数；
步骤3.5、利用式(5)计算块间差异值
Figure GDA0003723128020000089
Figure GDA00037231280200000810
式(5)中，R表示与切块It,f,k邻近的切块数目，它是根据最近邻点算法得到的；pt,f,j表示第t个帧组Gt内第j个切块It,f,j的空间位置；||pt,f,k-pt,f,j||表示第k个切块It,f,k和第j个切块It,f,j的空间距离；
步骤四、计算第t个帧组Gt内所有切块的帧间变化值；
步骤4.1、令当前第k个切块It,f,k为目标切块，其所在的帧为目标帧；记目标帧的前一帧为参考帧；
步骤4.2、令在参考帧中与目标切块It,f,k相同空间位置的切块为参考切块，记为It,f-1,k；
步骤4.3、以参考切块It,f-1,k为中心，生成一个体积为S×S×S尺寸的搜索空间，其中，S为搜索空间的边长；
步骤4.4、在搜索空间内以C为间距，C＜L，生成数目为
Figure GDA0003723128020000091
的待匹配切块集合，记为{It,f,k,1,It,f,k,2,...,It,f,k,m,...,It,f,k,M}，当M不是整数时，向下取整，It,f,k,m表示第t个帧组Gt内第f帧中第k个切块It,f,k对应的搜索空间中第m个切块，1≤m≤M；
步骤4.5、计算目标切块It,f,k与待匹配切块集合内所有切块的特征距离，记为
Figure GDA0003723128020000092
其中，
Figure GDA0003723128020000093
表示目标切块It,f,k与待匹配切块It,f,k,m之间的特征距离；
步骤4.6、将集合
Figure GDA0003723128020000094
中的最小距离值所对应的匹配切块记为It,f-1,min，用于表示和目标切块It,f,k最相似的切块；
步骤4.7、利用式(6)计算目标切块It,f,k和匹配切块It,f-1,min的帧间变化值
Figure GDA0003723128020000095
Figure GDA0003723128020000096
式(6)中，Pt,f-1,min第t个帧组Gt内第f帧中第k个切块It,f,k对应的匹配切块It,f-1,min的空间位置；
步骤4.8、按照步骤步骤4.1到步骤4.7的过程对第t个帧组Gt内第2帧到第F帧中所有切块进行处理，从而得到每一帧的切块帧间变化值，记为
Figure GDA0003723128020000097
步骤4.9、将第2帧到第F帧中对应切块的帧间变化值相加得到第t个帧组Gt内第k个切块的帧间变化值
Figure GDA0003723128020000098
步骤五、利用式(7)构造第t个帧组Gt的损失函数lt：
Figure GDA0003723128020000101
式(7)中，xt,k表示第t个帧组Gt内第k个切块It,f,k的显著值变量；xt,j表示第t个帧组Gt内第j个切块It,f,j的显著值变量；St.z,k表示帧组内第k个切块It,f,k的第z个值，其中，z＝1表示第k个切块It,f,k的块内离散值
Figure GDA0003723128020000102
z＝2表示第k个切块It,f,k的块间差异值
Figure GDA0003723128020000103
z＝3表示第k个切块It,f,k的帧间变化值
Figure GDA0003723128020000104
R表示与第k个切块It,f,k的邻近的切块数目；Wt,k,j表示第k个切块It,f,k和第j个切块It,f,j的权重系数，并有：
Figure GDA0003723128020000105
式(8)中，σ是控制常量；pt,f,j表示第t个帧组Gt内第f帧中第j个切块It,f,j的中心点的三维坐标；
步骤六、采用CPLEX求解器对损失函数lt进行最优化求解，从而得到第t个帧组Gt内切块显著值集合{xt,1,xt,2,…,xt,k,…,xt,K}；
步骤七、根据第t个帧组Gt内切块集合的显著值，采用自上而下的层次聚类将第t个帧组Gt内的切块集合进行聚类，从而得到切块簇；将切块集合内属于相同切块簇的切块合成一个新的切块；
步骤7.1、将切块显著值集合{xt,1,xt,2,…,xt,k,…,xt,K}中所有显著值分别作为一个独立的类簇；
步骤7.2、根据切块显著值计算两两类簇之间的特征距离，找到距离最小的两个类簇Ai和Aj；
步骤7.3、合并类簇Ai和Aj为一个类簇Ak；
步骤7.4、利用式(9)计算合并后的Ak的切块显著值：
Figure GDA0003723128020000106
式(9)中，xt,i和xt,j表示类簇Ai和Aj的切块显著值，当类簇内只有一个切块时，则类簇的切块显著值等于该切块的切块显著值；
步骤7.5、当合并后的类簇的数目达到阈值V时，表示完成第t个帧组Gt的聚类；否则，将合并后的聚类代入步骤7.2-步骤7.5的过程进行处理。
步骤八、按照步骤一到步骤七的过程对点云视频内所有帧组进行处理，从而得到点云视频的所有切块并作为自适应切分结果。

Claims (2)

1.一种基于混合显著性检测的点云视频自适应切分方法，其特征是，所述点云视频自适应切分方法按如下步骤进行：
步骤一、将一个点云视频在时间上划分成T个帧组，每个帧组包含F帧点云图像，令帧组集合为{G1,G2,...,Gt,...,GT}，其中，Gt表示点云视频中第t个帧组，1≤t≤T；T表示视频长度；
将第t个帧组Gt的每一帧在空间上均匀切分成数目为K＝L×L×L的切块并得到第t个帧组Gt的切块集合，记为{It,f,1,It,f,2,...,It,f,k,...,It,f,K}，其中，It,f,k表示第t个帧组Gt内第f帧中的第k个切块，L是每个切块的边长；1≤k≤K，1≤f≤F；
令第t个帧组Gt的切块集合中每个切块的空间坐标为{pt,f,1,pt,f,2,...,pt,f,k,...,pt,f,K}，其中，pt,f,k表示第t个帧组Gt内第f帧中第k个切块It,f,k的中心点的三维坐标；
步骤二、计算第t个帧组Gt内切块集合的内部离散值；
令切块集合中第k个切块It,f,k的点集合为{Pt,f,k,1,Pt,f,k,2,...,Pt,f,k,n,...,Pt,f,k,N}，其中，Pt,f,k,n表示第t个帧组Gt内第f帧中第k个切块It,f,k的第n个点，1≤n≤N；N表示第k个切块It,f,k内点个数；
令切块It,f,k内点集合的亮度大小为
Figure FDA0003723128010000011
其中，
Figure FDA0003723128010000012
表示第t个帧组Gt内第f帧的第k个切块It,f,k中的第n个点的亮度大小；
计算第k个切块It,f,k内点集合的亮度值的平均值，记为
Figure FDA0003723128010000013
并作为第t个帧组Gt内第k个切块It,f,k的亮度值；
计算点集合的快速点特征直方图，记为
Figure FDA0003723128010000014
其中，
Figure FDA0003723128010000015
表示第t个帧组Gt内第f帧中第k个切块It,f,k的第n个点的FPFH特征向量；
计算第k个切块It,f,k内点集合的FPFH的方差，记为
Figure FDA0003723128010000016
并作为第t个帧组Gt内第k个切块It,f,k的内部离散值；
步骤三、计算第t个帧组Gt内所有切块的块间差异值；
步骤3.1、利用式(3)计算第k个切块It,f,k在第d维度上的FPFH特征向量
Figure FDA0003723128010000021
Figure FDA0003723128010000022
式(3)中，
Figure FDA0003723128010000023
表示第t个帧组Gt内第f帧中第k个切块It,f,k的第n个点在第d维度上的FPFH特征向量；1≤d≤D；D表示FPFH特征向量的维度；
步骤3.2、利用式(4)计算第t个帧组Gt内第k个切块It,f,k和第j个切块It,f,j之间的卡方距离χ2(It,f,k,It,f,j)；
Figure FDA0003723128010000024
式(4)中，
Figure FDA0003723128010000025
表示第t个帧组Gt内第j个切块It,f,j的FPFH特征向量；
步骤3.3、利用式(5)计算第t个帧组Gt内第k个切块It,f,k和第j个切块It,f,j之间的亮度距离γ2(It,f,k,It,f,j)：
Figure FDA0003723128010000026
式(5)中，
Figure FDA0003723128010000027
表示第t个帧组Gt内第j个切块It,f,j的亮度值；
步骤3.4利用式(6)计算第t个帧组Gt内第k个切块It,f,k和第j个切块It,f,j之间的特征距离ψ2(It,f,k,It,f,j)：
ψ2(It,f,k,It,f,j)＝χ2(It,f,k,It,f,j)+λ·γ2(It,f,k,It,f,j) (6)
式(6)中，λ是权重系数；
步骤3.5、利用式(7)计算块间差异值
Figure FDA0003723128010000028
Figure FDA0003723128010000029
式(7)中，R表示与第k个切块It,f,k邻近的切块数目；pt,f,j表示第t个帧组Gt内第j个切块It,f,j的空间位置；||pt,f,k-pt,f,j||表示第k个切块It,f,k和第j个切块It,f,j的空间距离；
步骤四、计算第t个帧组Gt内所有切块的帧间变化值；
步骤4.1、令当前第k个切块It,f,k为目标切块，其所在的帧为目标帧；记目标帧的前一帧为参考帧；
步骤4.2、令在参考帧中与目标切块It,f,k相同空间位置的切块为参考切块，记为It,f-1,k；
步骤4.3、以参考切块It,f-1,k为中心，生成一个体积为S×S×S尺寸的搜索空间，其中，S为搜索空间的边长；
步骤4.4、在搜索空间内以C为间距，且C＜L，生成数目为
Figure FDA0003723128010000031
的待匹配切块集合，记为{It,f,k,1,It,f,k,2,...,It,f,k,m,...,It,f,k,M}，It,f,k,m表示第t个帧组Gt内第f帧中第k个切块It,f,k对应的搜索空间中第m个切块，1≤m≤M；
步骤4.5、计算目标切块It,f,k与待匹配切块集合内所有切块的特征距离，记为
Figure FDA0003723128010000032
其中，
Figure FDA0003723128010000033
表示目标切块It,f,k与待匹配切块It,f,k,m之间的特征距离；
步骤4.6、将集合
Figure FDA0003723128010000034
中的最小距离值所对应的匹配切块记为It,f-1,min，用于表示和目标切块It,f,k最相似的切块；
步骤4.7、利用式(8)计算目标切块It,f,k和匹配切块It,f-1,min的帧间变化值
Figure FDA0003723128010000035
Figure FDA0003723128010000036
式(8)中，Pt,f-1,min第t个帧组Gt内第f帧中第k个切块It,f,k对应的匹配切块It,f-1,min的空间位置；
步骤4.8、按照步骤4.1到步骤4.7的过程对第t个帧组Gt内第2帧到第F帧中所有切块进行处理，从而得到每一帧的切块帧间变化值，记为
Figure FDA0003723128010000037
步骤4.9、将第2帧到第F帧中对应切块的帧间变化值相加得到第t个帧组Gt内第k个切块的帧间变化值
Figure FDA0003723128010000038
步骤五、利用式(1)构造第t个帧组Gt的损失函数lt：
Figure FDA0003723128010000039
式(1)中，xt,k表示第t个帧组Gt内第k个切块It,f,k的显著值变量；xt,j表示第t个帧组Gt内第j个切块It,f,j的显著值变量；St.z,k表示帧组内第k个切块It,f,k的第z个值，其中，z＝1表示第k个切块It,f,k的块内离散值
Figure FDA0003723128010000041
z＝2表示第k个切块It,f,k的块间差异值
Figure FDA0003723128010000042
z＝3表示第k个切块It,f,k的帧间变化值
Figure FDA0003723128010000043
R表示与第k个切块It,f,k的邻近的切块数目；Wt,k,j表示第k个切块It,f,k和第j个切块It,f,j的权重系数，并有：
Figure FDA0003723128010000044
式(2)中，σ是控制常量；pt,f,j表示第t个帧组Gt内第f帧中第j个切块It,f,j的中心点的三维坐标；
步骤六、采用CPLEX求解器对损失函数lt进行最优化求解，从而得到第t个帧组Gt内切块显著值集合{xt,1,xt,2,…,xt,k,…,xt,K}；
步骤七、根据第t个帧组Gt内切块集合的显著值，采用自上而下的层次聚类将第t个帧组Gt内的切块集合进行聚类，从而得到切块簇；将切块集合内属于相同切块簇的切块合成一个新的切块；
步骤八、按照步骤一到步骤七的过程对点云视频内所有帧组进行处理，从而得到点云视频的所有切块并作为自适应切分结果。
2.根据权利要求1所述的点云视频自适应切分方法，其特征是，所述步骤七是按如下过程进行的：
步骤7.1、将切块显著值集合{xt,1,xt,2,…,xt,k,…,xt,K}中所有显著值分别作为一个独立的类簇；
步骤7.2、根据切块显著值计算两两类簇之间的特征距离，找到距离最小的两个类簇Ai和Aj；
步骤7.3、合并类簇Ai和Aj为一个类簇Ak；
步骤7.4、利用式(9)计算合并后的Ak的切块显著值：
Figure FDA0003723128010000051
式(9)中，xt,i和xt,j表示类簇Ai和Aj的切块显著值，当类簇内只有一个切块时，则类簇的切块显著值等于该切块的切块显著值；
步骤7.5、当合并后的类簇的数目达到阈值V时，表示完成第t个帧组Gt的聚类；否则，将合并后的聚类代入步骤7.2-步骤7.5的过程进行处理。
CN202110684433.3A 2021-06-21 2021-06-21 一种基于混合显著性检测的点云视频自适应切分方法 Active CN113393467B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110684433.3A CN113393467B (zh) 2021-06-21 2021-06-21 一种基于混合显著性检测的点云视频自适应切分方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110684433.3A CN113393467B (zh) 2021-06-21 2021-06-21 一种基于混合显著性检测的点云视频自适应切分方法

Publications (2)

Publication Number Publication Date
CN113393467A CN113393467A (zh) 2021-09-14
CN113393467B true CN113393467B (zh) 2022-10-28

Family

ID=77623180

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110684433.3A Active CN113393467B (zh) 2021-06-21 2021-06-21 一种基于混合显著性检测的点云视频自适应切分方法

Country Status (1)

Country Link
CN (1) CN113393467B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109196559A (zh) * 2016-05-28 2019-01-11 微软技术许可有限责任公司 动态体素化点云的运动补偿压缩
CN110910387A (zh) * 2019-10-09 2020-03-24 西安理工大学 一种基于显著性分析的点云建筑物立面窗户提取方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10599947B2 (en) * 2018-03-09 2020-03-24 Ricoh Co., Ltd. On-demand visual analysis focalized on salient events

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109196559A (zh) * 2016-05-28 2019-01-11 微软技术许可有限责任公司 动态体素化点云的运动补偿压缩
CN110910387A (zh) * 2019-10-09 2020-03-24 西安理工大学 一种基于显著性分析的点云建筑物立面窗户提取方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
point cloud saliency detection by local and global feature fusion;xiaoying ding et al.;《IEEE transactions on image processing》;20191231;第28卷(第11期);第5379-5393页 *
User centered adaptive streaming of dynamic point clouds with low complexity tiling;shishir subramanyam et al.;《poster session B3：multimedia system and middleware & multimedia telepresence and virtual /augmented reality》;20201016;第1-9页 *
基于显著性与弱凸性的三维点云模型分割;郑乐乐等;《计算机工程》;20181123;第44卷(第4期);第299-304页 *

Also Published As

Publication number Publication date
CN113393467A (zh) 2021-09-14

Similar Documents

Publication Publication Date Title
CN108648161B (zh) 非对称核卷积神经网络的双目视觉障碍物检测系统及方法
CN108038420B (zh) 一种基于深度视频的人体行为识别方法
CN111428765B (zh) 一种基于全局卷积、局部深度卷积融合的目标检测方法
CN101883291B (zh) 感兴趣区域增强的视点绘制方法
WO2022156640A1 (zh) 一种图像的视线矫正方法、装置、电子设备、计算机可读存储介质及计算机程序产品
CN102609950B (zh) 一种二维视频深度图的生成方法
CN110827193B (zh) 基于多通道特征的全景视频显著性检测方法
US11037308B2 (en) Intelligent method for viewing surveillance videos with improved efficiency
KR20150079576A (ko) 조합된 깊이 큐들에 기초하여 모노스코픽 이미지로부터 깊이 맵 생성
KR20090084563A (ko) 비디오 영상의 깊이 지도 생성 방법 및 장치
KR100560464B1 (ko) 관찰자의 시점에 적응적인 다시점 영상 디스플레이 시스템을 구성하는 방법
CN110827312B (zh) 一种基于协同视觉注意力神经网络的学习方法
CN104794737A (zh) 一种深度信息辅助粒子滤波跟踪方法
CN111988593A (zh) 一种基于深度残差优化的立体图像颜色校正方法及系统
CN109462748B (zh) 一种基于单应性矩阵的立体视频颜色校正算法
CN112907573A (zh) 一种基于3d卷积的深度补全方法
CN116152439A (zh) 一种基于多视角人体图像的人体三维姿态重建方法及系统
CN114972426A (zh) 一种基于注意力和卷积的单目标跟踪方法
CN104038752A (zh) 基于三维高斯混合模型的多视点视频直方图颜色校正
US20240161461A1 (en) Object detection method, object detection apparatus, and object detection system
CN113393467B (zh) 一种基于混合显著性检测的点云视频自适应切分方法
CN107909078B (zh) 一种图间显著性检测方法
CN110059658B (zh) 一种基于三维卷积神经网络的遥感卫星影像多时相变化检测方法
CN109167988B (zh) 一种基于d+w模型和对比度的立体图像视觉舒适度评价方法
CN111178163B (zh) 基于立方体投影格式的立体全景图像显著区域预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant