CN113313205B - 一种深度图像分层方法及系统 - Google Patents

一种深度图像分层方法及系统 Download PDF

Info

Publication number
CN113313205B
CN113313205B CN202110697006.9A CN202110697006A CN113313205B CN 113313205 B CN113313205 B CN 113313205B CN 202110697006 A CN202110697006 A CN 202110697006A CN 113313205 B CN113313205 B CN 113313205B
Authority
CN
China
Prior art keywords
gaussian
optical flow
initial
gaussian model
under
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110697006.9A
Other languages
English (en)
Other versions
CN113313205A (zh
Inventor
陈震
张聪炫
李盈盈
葛利跃
李凌
陈昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang Hangkong University
Original Assignee
Nanchang Hangkong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang Hangkong University filed Critical Nanchang Hangkong University
Priority to CN202110697006.9A priority Critical patent/CN113313205B/zh
Publication of CN113313205A publication Critical patent/CN113313205A/zh
Application granted granted Critical
Publication of CN113313205B publication Critical patent/CN113313205B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/231—Hierarchical techniques, i.e. dividing or merging pattern sets so as to obtain a dendrogram

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种深度图像分层方法及系统。所述方法包括：获取当前帧的RGB图和当前帧的深度图；根据当前帧的RGB图和上一帧的RGB图计算初始光流；初始光流包括多个光流值；利用K均值算法对初始光流进行聚类得到K个初始聚类；一个初始聚类对应一个高斯模型；对于任意一个光流值，执行二次聚类过程，得到光流值的二次聚类结果；根据所有光流值的二次聚类结果对当前帧的深度图进行分层得到分层结果。本发明利用RGB图和高斯模型对光流值进行聚类，从而实现深度图的分层，提高了深度图分层的准确性。

Description

一种深度图像分层方法及系统
技术领域
本发明涉及图像序列场景流技术领域，特别是涉及一种深度图像分层方法及系统。
背景技术
场景流(Scene Flow)本质上是场景或者物体运动时形成的三维运动矢量。通过研究场景流计算技术，可以从图像序列中恢复场景的空间结构信息或者物体的三维运动形态，所以3D场景流计算技术逐渐成为是图像处理、计算机视觉与人工智能等领域的研究热点，其研究成果广泛应用于军工、文物复原、航空航天、医学影像跟踪识别、虚拟现实等领域。
目前，深度分层方法是RGBD图像序列场景流计算技术中最常采用的场景流计算技术，而传统的深度分层方法仅依靠通过深度图相机拍摄得到深度图像，根据深度图像的像素点到聚类中心的距离对该深度图进行分层，深度图相机拍摄得到的深度信息不准确，且获得的深度分层结果误差较大，特别对于图像序列中包含遮挡和大位移等复杂场景，容易产生过度分层和边缘模糊等问题，导致最终场景流计算结果的准确性差。
发明内容
本发明的目的是提供一种深度图像分层方法及系统，利用RGB图和高斯模型对光流值进行聚类，从而实现深度图的分层，以提高深度图分层的准确性。
为实现上述目的，本发明提供了如下方案：
一种深度图像分层方法，所述方法包括：
获取当前帧的RGB图和当前帧的深度图；
根据所述当前帧的RGB图和上一帧的RGB图计算初始光流；所述初始光流包括多个光流值；
利用K均值算法对所述初始光流进行聚类得到K个初始聚类；一个所述初始聚类对应一个高斯模型；
对于任意一个所述光流值，执行二次聚类过程，得到所述光流值的二次聚类结果；
根据所有光流值的二次聚类结果对所述当前帧的深度图进行分层得到分层结果；
所述二次聚类过程为：
根据所述初始光流、所述初始聚类和上一迭代次数下的各个高斯模型的高斯参数，计算当前迭代次数下的各个高斯模型的高斯参数；所述高斯参数包括：协方差矩阵、期望和权值；根据所述当前迭代次数下的各个高斯模型的高斯参数计算当前迭代次数下的对数似然函数；
判断所述当前迭代次数下的对数似然函数与上一迭代次数下的对数似然函数的差值的绝对值是否小于设定阈值；
若是，则根据所述当前迭代次数下的各个高斯模型的高斯参数计算各个高斯模型对于所述光流值的响应度，并将所述响应度最大的高斯模型对应的初始聚类的类别作为所述光流值的所属类别，得到所述光流的二次聚类结果；
若否，则更新迭代次数后，并返回“根据所述初始光流、所述初始聚类和上一迭代次数下的各个高斯模型的高斯参数，计算当前迭代次数下的各个高斯模型的高斯参数”的步骤。
可选的，所述利用K均值算法对所述初始光流进行聚类得到K个初始聚类，具体包括：
随机产生K个聚类中心；
计算所述初始光流中各所述光流值对应的像素点到所述聚类中心的欧式距离；
根据所述欧式距离，对所述初始光流聚类，得到K个所述初始聚类。
可选的，所述根据所述初始光流、所述初始聚类和上一迭代次数下的各个高斯模型的高斯参数，计算当前迭代次数下的各个高斯模型的高斯参数，具体包括：
根据所述初始光流中光流值的总个数和所述上一迭代次数下的各个高斯模型的高斯参数，得到所述当前迭代次数下的各个高斯模型的权值；
根据所述上一迭代次数下的各个高斯模型的高斯参数，得到所述当前迭代次数下的各个高斯模型的期望；
根据所述上一迭代次数下的各个高斯模型的高斯参数，得到所述当前迭代次数下的各个高斯模型的协方差矩阵。
可选的，根据所述当前迭代次数下的各个高斯模型的高斯参数计算各个高斯模型对于所述光流值的响应度，具体包括：
根据所述当前迭代次数下的各个高斯模型的协方差矩阵和所述当前迭代次数下的各个高斯模型的期望，得到当前迭代次数下的高斯分布；
根据所述高斯分布和所述当前迭代次数下的各个高斯模型的权值计算各个高斯模型对于所述光流值的响应度。
可选的，所述根据所有光流值的二次聚类结果对所述当前帧的深度图进行分层得到分层结果，具体包括：
将所述光流值的所属类别的序号确定为所述光流值对应的所述当前帧的深度图中的像素点所属的层数。
一种深度图像分层系统，包括：
图像获取模块，用于获取当前帧的RGB图和当前帧的深度图；
初始光流计算模块，用于根据所述当前帧的RGB图和上一帧的RGB图计算初始光流；所述初始光流包括多个光流值；
初始聚类获取模块，用于利用K均值算法对所述初始光流进行聚类得到K个初始聚类；一个所述初始聚类对应一个高斯模型；
聚类结果获取模块，用于对于任意一个所述光流值，执行二次聚类过程，得到所述光流值的二次聚类结果；
分层模块，用于根据所有光流值的二次聚类结果对所述当前帧的深度图进行分层得到分层结果；
所述聚类结果获取模块，包括：
参数计算单元，用于根据所述初始光流、所述初始聚类和上一迭代次数下的各个高斯模型的高斯参数，计算当前迭代次数下的各个高斯模型的高斯参数；所述高斯参数包括：协方差矩阵、期望和权值；函数计算单元，用于根据所述当前迭代次数下的各个高斯模型的高斯参数计算当前迭代次数下的对数似然函数；
判断单元，用于判断所述当前迭代次数下的对数似然函数与上一迭代次数下的对数似然函数的差值的绝对值是否小于设定阈值；
聚类结果获取单元，用于当所述当前迭代次数下的对数似然函数与上一迭代次数下的对数似然函数的差值的绝对值小于设定阈值时，根据所述当前迭代次数下的各个高斯模型的高斯参数计算各个高斯模型对于所述光流值的响应度，并将所述响应度最大的高斯模型对应的初始聚类的类别作为所述光流值的所属类别，得到所述光流的二次聚类结果；
返回单元，用于当所述当前迭代次数下的对数似然函数与上一迭代次数下的对数似然函数的差值的绝对值大于或等于设定阈值时，更新迭代次数后，并返回参数计算单元。
可选的，所述初始聚类获取模块，具体包括：
中心生成单元，用于随机产生K个聚类中心；
距离计算单元，用于计算所述初始光流中各所述光流值对应的像素点到所述聚类中心的欧式距离；
初始聚类获取单元，用于根据所述欧式距离，对所述初始光流聚类，得到K个所述初始聚类。
可选的，所述参数计算单元，具体包括：
权值计算子单元，用于根据所述初始光流中光流值的总个数和所述上一迭代次数下的各个高斯模型的高斯参数，得到所述当前迭代次数下的各个高斯模型的权值；
期望计算子单元，用于根据所述上一迭代次数下的各个高斯模型的高斯参数，得到所述当前迭代次数下的各个高斯模型的期望；
协方差矩阵计算子单元，用于根据所述上一迭代次数下的各个高斯模型的高斯参数，得到所述当前迭代次数下的各个高斯模型的协方差矩阵。
可选的，所述响应度计算单元，具体包括：
高斯分布计算子单元，用于根据所述当前迭代次数下的各个高斯模型的协方差矩阵和所述当前迭代次数下的各个高斯模型的期望，得到当前迭代次数下的高斯分布；
响应度计算子单元，用于根据所述高斯分布和所述当前迭代次数下的各个高斯模型的权值计算各个高斯模型对于所述光流值的响应度。
可选的，所述分层模块，具体包括：
分层单元，用于将所述光流值的所属类别的序号确定为所述光流值对应的所述当前帧的深度图中的像素点所属的层数。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明公开了一种深度图像分层方法及系统，该方法根据连续两帧的RGB图获得多个光流值，然后利用K均值算法对多个光流值进行第一次聚类得到K个初始聚类，根据初始聚类得到多个高斯模型，在高斯模型的迭代更新的同时对光流值进行二次聚类得到二次聚类结果，最后根据二次聚类结果对深度图进行分层得到分层结果。与传统的直接利用深度图的像素点到聚类中心的距离进行分层相比，本发明利用RGB图和高斯模型对光流值进行聚类，从而实现深度图的分层，提高了深度图分层的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的深度图像分层方法流程图；
图2为本发明实施例提供的深度图像分层系统结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种深度图像分层方法，旨在利用RGB图和高斯模型对光流值进行聚类，从而实现深度图的分层，以提高深度图分层的准确性，可应用于图像序列场景流技术领域。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明实施例提供的深度图像分层方法流程图。如图1所示，本实施例中的深度图像分层方法，方法包括：
步骤101：获取当前帧的RGB图和当前帧的深度图。
步骤102：根据当前帧的RGB图和上一帧的RGB图计算初始光流；初始光流包括多个光流值。具体的，采用Classic+NL算法根据当前帧的RGB图和上一帧的RGB图的位移求解初始光流；当前帧的RGB图和上一帧的RGB图的像素点一一对应。
步骤103：利用K均值算法对初始光流进行聚类得到K个初始聚类。一个初始聚类对应一个高斯模型。
步骤104：对于任意一个光流值，执行二次聚类过程，得到光流值的二次聚类结果。
步骤105：根据所有光流值的二次聚类结果对当前帧的深度图进行分层得到分层结果。
步骤104具体为：
根据初始光流、初始聚类和上一迭代次数下的各个高斯模型的高斯参数，计算当前迭代次数下的各个高斯模型的高斯参数；高斯参数包括：协方差矩阵、期望和权值。
根据当前迭代次数下的各个高斯模型的高斯参数计算当前迭代次数下的对数似然函数。
判断当前迭代次数下的对数似然函数与上一迭代次数下的对数似然函数的差值的绝对值是否小于设定阈值。
若是，则根据当前迭代次数下的各个高斯模型的高斯参数计算各个高斯模型对于光流值的响应度，并将响应度最大的高斯模型对应的初始聚类的类别作为光流值的所属类别，得到光流的二次聚类结果。
若否，则更新迭代次数后，并返回“根据初始光流、初始聚类和上一迭代次数下的各个高斯模型的高斯参数，计算当前迭代次数下的各个高斯模型的高斯参数”的步骤。
作为一种可选的实施方式，步骤103，具体包括：
随机产生K个聚类中心。
计算初始光流中各光流值对应的像素点到聚类中心的欧式距离。
根据欧式距离，对初始光流聚类，得到K个初始聚类。
作为一种可选的实施方式，根据初始光流、初始聚类和上一迭代次数下的各个高斯模型的高斯参数，计算当前迭代次数下的各个高斯模型的高斯参数，具体包括：
根据初始光流中光流值的总个数和上一迭代次数下的各个高斯模型的高斯参数，得到当前迭代次数下的各个高斯模型的权值。
具体的，所述当前迭代次数下的各个高斯模型的权值
Figure BDA0003128893530000071
的计算公式为：
Figure BDA0003128893530000072
其中，xi为光流值，i为光流值的序号，i＝1,2,……N，N为初始光流最后的光流值的总个数，k为高斯模型的序号，k＝1,2,……K，K为高斯模型的总个数，
Figure BDA0003128893530000073
为上一迭代次数下的各个高斯模型的期望，
Figure BDA0003128893530000074
为上一迭代次数下的各个高斯模型的协方差矩阵，
Figure BDA0003128893530000075
为上一迭代次数下的各个高斯模型的权值，
Figure BDA0003128893530000076
为上一迭代次数下的各个高斯模型的高斯分布，
Figure BDA0003128893530000077
D为维数，
Figure BDA0003128893530000078
为上一迭代次数下的各个高斯模型的协方差矩阵的行列式。
根据上一迭代次数下的各个高斯模型的高斯参数，得到当前迭代次数下的各个高斯模型的期望。
具体的，所述当前迭代次数下的各个高斯模型的期望
Figure BDA0003128893530000079
的计算公式为：
Figure BDA00031288935300000710
根据上一迭代次数下的各个高斯模型的高斯参数，得到当前迭代次数下的各个高斯模型的协方差矩阵。
具体的，所述当前迭代次数下的各个高斯模型的协方差矩阵
Figure BDA00031288935300000711
的计算公式为：
Figure BDA0003128893530000081
初始迭代次数下的各个高斯模型的初始高斯参数的计算方法为：
根据初始光流中光流值的总个数和初始聚类中光流值的个数得到初始权值。
具体的，初始权值的计算公式为：πk＝Nsk/N；
根据初始聚类中的光流值和初始聚类中光流值的个数得到初始期望。
具体的，初始期望的计算公式为：
Figure BDA0003128893530000082
根据初始聚类的聚类协方差矩阵得到初始协方差矩阵。
具体的，初始协方差矩阵的计算公式为：Λk＝Λ(k)+βE，其中Λ(k)为初始聚类的协方差矩阵，β为初始协方差矩阵的正则化系数，E为单位矩阵。
具体的，当前迭代次数下的对数似然函数Mt+1的计算公式为：
Figure BDA0003128893530000083
作为一种可选的实施方式，根据当前迭代次数下的各个高斯模型的高斯参数计算各个高斯模型对于光流值的响应度，具体包括：
根据当前迭代次数下的各个高斯模型的协方差矩阵和当前迭代次数下的各个高斯模型的期望，得到当前迭代次数下的高斯分布。
根据当前迭代次数下的高斯分布和当前迭代次数下的各个高斯模型的权值计算各个高斯模型对于光流值的响应度。
具体的，当前迭代次数下的各个高斯模型对于光流值的响应度γt+1的计算公式为：
Figure BDA0003128893530000084
其中
Figure BDA0003128893530000085
为当前迭代次数下的高斯分布。
作为一种可选的实施方式，步骤105，具体包括：
将光流值的所属类别的序号确定为光流值对应的当前帧的深度图中的像素点所属的层数。
具体的，所有光流值进行二次聚类后，得到K个聚类，每个聚类对应深度图的一层，比如第2个光流值经过二次聚类后被分在了第5类，那么第2个光流值所述的当前帧的深度图中的像素点则被分在第5层。
图2为本发明实施例提供的深度图像分层系统结构图。如图2所示，本发明还提供了一种深度图像分层系统，包括：
图像获取模块201，用于获取当前帧的RGB图和当前帧的深度图。
初始光流计算模块202，用于根据当前帧的RGB图和上一帧的RGB图计算初始光流；初始光流包括多个光流值。
初始聚类获取模块203，用于利用K均值算法对初始光流进行聚类得到K个初始聚类；一个初始聚类对应一个高斯模型。
聚类结果获取模块204，用于对于任意一个光流值，执行二次聚类过程，得到光流值的二次聚类结果。
分层模块205，用于根据所有光流值的二次聚类结果对当前帧的深度图进行分层得到分层结果。
聚类结果获取模块204，包括：
参数计算单元，用于根据初始光流、初始聚类和上一迭代次数下的各个高斯模型的高斯参数，计算当前迭代次数下的各个高斯模型的高斯参数；高斯参数包括：协方差矩阵、期望和权值。
函数计算单元，用于根据当前迭代次数下的各个高斯模型的高斯参数计算当前迭代次数下的对数似然函数。
判断单元，用于判断当前迭代次数下的对数似然函数与上一迭代次数下的对数似然函数的差值的绝对值是否小于设定阈值。
响应度计算单元，用于当前迭代次数下的对数似然函数与上一迭代次数下的对数似然函数的差值的绝对值小于设定阈值时，根据当前迭代次数下的各个高斯模型的高斯参数计算各个高斯模型对于光流值的响应度，并将响应度最大的高斯模型对应的初始聚类的类别作为光流值的所属类别，得到光流的二次聚类结果。
返回单元，用于当前迭代次数下的对数似然函数与上一迭代次数下的对数似然函数的差值的绝对值大于或等于设定阈值时，更新迭代次数后，并返回参数计算单元。
作为一种可选的实施方式，初始聚类获取模块203，具体包括：
中心生成单元，用于随机产生K个聚类中心。
距离计算单元，用于计算初始光流中各光流值对应的像素点到聚类中心的欧式距离。
初始聚类获取单元，用于根据欧式距离，对初始光流聚类，得到K个初始聚类。
作为一种可选的实施方式，参数计算单元，具体包括：
权值计算子单元，用于根据初始光流中光流值的总个数和上一迭代次数下的各个高斯模型的高斯参数，得到当前迭代次数下的各个高斯模型的权值。
具体的，所述当前迭代次数下的各个高斯模型的权值
Figure BDA0003128893530000101
的计算公式为：
Figure BDA0003128893530000102
其中，xi为光流值，i为光流值的序号，i＝1,2,……N，N为初始光流最后的光流值的总个数，k为高斯模型的序号，k＝1,2,……K，K为高斯模型的总个数，
Figure BDA0003128893530000103
为上一迭代次数下的各个高斯模型的期望，
Figure BDA0003128893530000104
为上一迭代次数下的各个高斯模型的协方差矩阵，
Figure BDA0003128893530000105
为上一迭代次数下的各个高斯模型的权值，
Figure BDA0003128893530000106
为上一迭代次数下的各个高斯模型的高斯分布，
Figure BDA0003128893530000107
D为维数，
Figure BDA0003128893530000108
为上一迭代次数下的各个高斯模型的协方差矩阵的行列式。
期望计算子单元，用于根据上一迭代次数下的各个高斯模型的高斯参数，得到当前迭代次数下的各个高斯模型的期望。
具体的，所述当前迭代次数下的各个高斯模型的期望
Figure BDA0003128893530000109
的计算公式为：
Figure BDA00031288935300001010
协方差矩阵计算子单元，用于根据上一迭代次数下的各个高斯模型的高斯参数，得到当前迭代次数下的各个高斯模型的协方差矩阵。
具体的，所述当前迭代次数下的各个高斯模型的协方差矩阵
Figure BDA0003128893530000111
的计算公式为：
Figure BDA0003128893530000112
作为一种可选的实施方式，响应度计算单元，具体包括：
高斯分布计算子单元，用于根据当前迭代次数下的各个高斯模型的协方差矩阵和当前迭代次数下的各个高斯模型的期望，得到当前迭代次数下的高斯分布。
响应度计算子单元，用于根据当前迭代次数下的高斯分布和当前迭代次数下的各个高斯模型的权值计算各个高斯模型对于光流值的响应度。
作为一种可选的实施方式，分层模块205，具体包括：
分层单元，用于将光流值的所属类别的序号确定为光流值对应的当前帧的深度图中的像素点所属的层数。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的装置及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种深度图像分层方法，其特征在于，所述方法包括：
获取当前帧的RGB图和当前帧的深度图；
根据所述当前帧的RGB图和上一帧的RGB图计算初始光流；所述初始光流包括多个光流值；
利用K均值算法对所述初始光流进行聚类得到K个初始聚类；一个所述初始聚类对应一个高斯模型；
对于任意一个所述光流值，执行二次聚类过程，得到所述光流值的二次聚类结果；
根据所有光流值的二次聚类结果对所述当前帧的深度图进行分层得到分层结果；
所述二次聚类过程为：
根据所述初始光流、所述初始聚类和上一迭代次数下的各个高斯模型的高斯参数，计算当前迭代次数下的各个高斯模型的高斯参数；所述高斯参数包括：协方差矩阵、期望和权值；根据所述当前迭代次数下的各个高斯模型的高斯参数计算当前迭代次数下的对数似然函数；
判断所述当前迭代次数下的对数似然函数与上一迭代次数下的对数似然函数的差值的绝对值是否小于设定阈值；
若是，则根据所述当前迭代次数下的各个高斯模型的高斯参数计算各个高斯模型对于所述光流值的响应度，并将所述响应度最大的高斯模型对应的初始聚类的类别作为所述光流值的所属类别，得到所述光流的二次聚类结果；
若否，则更新迭代次数后，并返回“根据所述初始光流、所述初始聚类和上一迭代次数下的各个高斯模型的高斯参数，计算当前迭代次数下的各个高斯模型的高斯参数”的步骤。
2.根据权利要求1所述的深度图像分层方法，其特征在于，所述利用K均值算法对所述初始光流进行聚类得到K个初始聚类，具体包括：
随机产生K个聚类中心；
计算所述初始光流中各所述光流值对应的像素点到所述聚类中心的欧式距离；
根据所述欧式距离，对所述初始光流聚类，得到K个所述初始聚类。
3.据权利要求1所述的深度图像分层方法，其特征在于，所述根据所述初始光流、所述初始聚类和上一迭代次数下的各个高斯模型的高斯参数，计算当前迭代次数下的各个高斯模型的高斯参数，具体包括：
根据所述初始光流中光流值的总个数和所述上一迭代次数下的各个高斯模型的高斯参数，得到所述当前迭代次数下的各个高斯模型的权值；
根据所述上一迭代次数下的各个高斯模型的高斯参数，得到所述当前迭代次数下的各个高斯模型的期望；
根据所述上一迭代次数下的各个高斯模型的高斯参数，得到所述当前迭代次数下的各个高斯模型的协方差矩阵。
4.根据权利要求1所述的深度图像分层方法，其特征在于，根据所述当前迭代次数下的各个高斯模型的高斯参数计算各个高斯模型对于所述光流值的响应度，具体包括：
根据所述当前迭代次数下的各个高斯模型的协方差矩阵和所述当前迭代次数下的各个高斯模型的期望，得到当前迭代次数下的高斯分布；
根据所述高斯分布和所述当前迭代次数下的各个高斯模型的权值计算各个高斯模型对于所述光流值的响应度。
5.根据权利要求1所述的深度图像分层方法，其特征在于，所述根据所有光流值的二次聚类结果对所述当前帧的深度图进行分层得到分层结果，具体包括：
将所述光流值的所属类别的序号确定为所述光流值对应的所述当前帧的深度图中的像素点所属的层数。
6.一种深度图像分层系统，其特征在于，包括：
图像获取模块，用于获取当前帧的RGB图和当前帧的深度图；
初始光流计算模块，用于根据所述当前帧的RGB图和上一帧的RGB图计算初始光流；所述初始光流包括多个光流值；
初始聚类获取模块，用于利用K均值算法对所述初始光流进行聚类得到K个初始聚类；一个所述初始聚类对应一个高斯模型；
聚类结果获取模块，用于对于任意一个所述光流值，执行二次聚类过程，得到所述光流值的二次聚类结果；
分层模块，用于根据所有光流值的二次聚类结果对所述当前帧的深度图进行分层得到分层结果；
所述聚类结果获取模块，包括：
参数计算单元，用于根据所述初始光流、所述初始聚类和上一迭代次数下的各个高斯模型的高斯参数，计算当前迭代次数下的各个高斯模型的高斯参数；所述高斯参数包括：协方差矩阵、期望和权值；函数计算单元，用于根据所述当前迭代次数下的各个高斯模型的高斯参数计算当前迭代次数下的对数似然函数；
判断单元，用于判断所述当前迭代次数下的对数似然函数与上一迭代次数下的对数似然函数的差值的绝对值是否小于设定阈值；
聚类结果获取单元，用于当所述当前迭代次数下的对数似然函数与上一迭代次数下的对数似然函数的差值的绝对值小于设定阈值时，根据所述当前迭代次数下的各个高斯模型的高斯参数计算各个高斯模型对于所述光流值的响应度，并将所述响应度最大的高斯模型对应的初始聚类的类别作为所述光流值的所属类别，得到所述光流的二次聚类结果；
返回单元，用于当所述当前迭代次数下的对数似然函数与上一迭代次数下的对数似然函数的差值的绝对值大于或等于设定阈值时，更新迭代次数后，并返回参数计算单元。
7.根据权利要求6所述的深度图像分层系统，其特征在于，所述初始聚类获取模块，具体包括：
中心生成单元，用于随机产生K个聚类中心；
距离计算单元，用于计算所述初始光流中各所述光流值对应的像素点到所述聚类中心的欧式距离；
初始聚类获取单元，用于根据所述欧式距离，对所述初始光流聚类，得到K个所述初始聚类。
8.据权利要求6所述的深度图像分层系统，其特征在于，所述参数计算单元，具体包括：
权值计算子单元，用于根据所述初始光流中光流值的总个数和所述上一迭代次数下的各个高斯模型的高斯参数，得到所述当前迭代次数下的各个高斯模型的权值；
期望计算子单元，用于根据所述上一迭代次数下的各个高斯模型的高斯参数，得到所述当前迭代次数下的各个高斯模型的期望；
协方差矩阵计算子单元，用于根据所述上一迭代次数下的各个高斯模型的高斯参数，得到所述当前迭代次数下的各个高斯模型的协方差矩阵。
9.根据权利要求6所述的深度图像分层系统，其特征在于，所述响应度计算单元，具体包括：
高斯分布计算子单元，用于根据所述当前迭代次数下的各个高斯模型的协方差矩阵和所述当前迭代次数下的各个高斯模型的期望，得到当前迭代次数下的高斯分布；
响应度计算子单元，用于根据所述高斯分布和所述当前迭代次数下的各个高斯模型的权值计算各个高斯模型对于所述光流值的响应度。
10.根据权利要求6所述的深度图像分层系统，其特征在于，所述分层模块，具体包括：
分层单元，用于将所述光流值的所属类别的序号确定为所述光流值对应的所述当前帧的深度图中的像素点所属的层数。
CN202110697006.9A 2021-06-23 2021-06-23 一种深度图像分层方法及系统 Active CN113313205B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110697006.9A CN113313205B (zh) 2021-06-23 2021-06-23 一种深度图像分层方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110697006.9A CN113313205B (zh) 2021-06-23 2021-06-23 一种深度图像分层方法及系统

Publications (2)

Publication Number Publication Date
CN113313205A CN113313205A (zh) 2021-08-27
CN113313205B true CN113313205B (zh) 2022-03-01

Family

ID=77380145

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110697006.9A Active CN113313205B (zh) 2021-06-23 2021-06-23 一种深度图像分层方法及系统

Country Status (1)

Country Link
CN (1) CN113313205B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105488519A (zh) * 2015-11-13 2016-04-13 同济大学 一种基于视频尺度信息的视频分类方法
CN105787895A (zh) * 2016-02-29 2016-07-20 中国计量学院 基于分层高斯混合模型的统计压缩感知图像重构方法
CN107845108A (zh) * 2017-09-21 2018-03-27 上海玮舟微电子科技有限公司 一种光流值计算方法、装置及电子设备
EP3635684A1 (en) * 2017-06-06 2020-04-15 Connaught Electronics Ltd. Pyramidal optical flow tracker improvement
WO2021050600A2 (en) * 2019-09-11 2021-03-18 Nvidia Corporation Training strategy search using reinforcement learning

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105488519A (zh) * 2015-11-13 2016-04-13 同济大学 一种基于视频尺度信息的视频分类方法
CN105787895A (zh) * 2016-02-29 2016-07-20 中国计量学院 基于分层高斯混合模型的统计压缩感知图像重构方法
EP3635684A1 (en) * 2017-06-06 2020-04-15 Connaught Electronics Ltd. Pyramidal optical flow tracker improvement
CN107845108A (zh) * 2017-09-21 2018-03-27 上海玮舟微电子科技有限公司 一种光流值计算方法、装置及电子设备
WO2021050600A2 (en) * 2019-09-11 2021-03-18 Nvidia Corporation Training strategy search using reinforcement learning

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"FRFCM聚类与深度优化的RGBD场景流计算";张聪炫等;《电子学报》;20200715;第48卷(第7期);第2-4节 *
基于全局光流特征的微表情识别;张轩阁等;《模式识别与人工智能》;20160815(第08期);第1-3节 *
基于单目深度估计方法的图像分层虚化技术;李晓颖等;《华南师范大学学报(自然科学版)》;20180225(第01期);第1-3节 *
深度图像优化分层分割的3D场景流估计;葛利跃等;《南昌航空大学学报(自然科学版)》;20180615(第02期);第1-3节 *

Also Published As

Publication number Publication date
CN113313205A (zh) 2021-08-27

Similar Documents

Publication Publication Date Title
US11238602B2 (en) Method for estimating high-quality depth maps based on depth prediction and enhancement subnetworks
CN107945204B (zh) 一种基于生成对抗网络的像素级人像抠图方法
CN111739077B (zh) 基于深度神经网络单目水下图像深度估计和颜色矫正方法
CN106778604B (zh) 基于匹配卷积神经网络的行人再识别方法
CN110009674B (zh) 基于无监督深度学习的单目图像景深实时计算方法
CN103824050B (zh) 一种基于级联回归的人脸关键点定位方法
CN108416840A (zh) 一种基于单目相机的三维场景稠密重建方法
US11367195B2 (en) Image segmentation method, image segmentation apparatus, image segmentation device
CN105654476B (zh) 基于混沌粒子群优化算法的双目标定方法
CN104517289B (zh) 一种基于混合摄像机的室内场景定位方法
CN110827312B (zh) 一种基于协同视觉注意力神经网络的学习方法
CN104899563A (zh) 一种二维人脸关键特征点定位方法及系统
CN105956539A (zh) 一种基于背景建模和双目视觉的人体身高测量方法
CN110176023B (zh) 一种基于金字塔结构的光流估计方法
CN110006444B (zh) 一种基于优化混合高斯模型的抗干扰视觉里程计构建方法
CN111612024B (zh) 特征提取方法、装置、电子设备及计算机可读存储介质
CN105930790A (zh) 基于核稀疏编码的人体行为识别方法
CN106056622B (zh) 一种基于Kinect相机的多视点深度视频复原方法
CN110060286A (zh) 一种单目深度估计方法
CN112907573B (zh) 一种基于3d卷积的深度补全方法
CN109443200A (zh) 一种全局视觉坐标系和机械臂坐标系的映射方法及装置
CN107862733A (zh) 基于视线更新算法的大规模场景实时三维重建方法和系统
CN113570658A (zh) 基于深度卷积网络的单目视频深度估计方法
CN107067452A (zh) 一种基于全卷积神经网络的电影2d转3d方法
CN110826500B (zh) 基于运动链接空间的对抗性网络估计3d人体姿态的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant