CN113034552B - 一种光流的修正方法和计算机设备 - Google Patents
一种光流的修正方法和计算机设备 Download PDFInfo
- Publication number
- CN113034552B CN113034552B CN201911357215.8A CN201911357215A CN113034552B CN 113034552 B CN113034552 B CN 113034552B CN 201911357215 A CN201911357215 A CN 201911357215A CN 113034552 B CN113034552 B CN 113034552B
- Authority
- CN
- China
- Prior art keywords
- optical flow
- pixel point
- pixel
- image
- processed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 255
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000011218 segmentation Effects 0.000 claims description 58
- 239000011159 matrix material Substances 0.000 claims description 54
- 238000005192 partition Methods 0.000 claims description 34
- 238000004590 computer program Methods 0.000 claims description 14
- 238000003709 image segmentation Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 description 11
- 230000006872 improvement Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 239000011449 brick Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种光流的修正方法和计算机设备，所述方法包括：获取待处理图像，其中，待处理图像为视频序列中的任一帧图像；对于待处理图像中的每个像素点，选取像素点对应的目标像素点，其中，所述目标像素点与所述像素点的特征相似度满足预设条件；获取选取到的目标像素点的光流以及像素点的光流，并根据目标像素点的光流以及像素点的光流，得到像素点的修正后的光流。本发明对于一个像素点，在该像素点对应的局域块中选择与该像素点特征相似的目标像素点，由于目标像素点同该像素点的特征相似，应属于待处理图像中显示的同一物体，这样，在视频中有大量小范围的纹理信息时，不会错误匹配相邻物体，提高了光流的精度。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及一种光流的修正方法和计算机设备。
背景技术
光流是指视频图像序列中，由于物体的运动或者光强变化产生的像素亮度连续变化信息，即在时变图像中观察到的像素点运动的瞬时速度。光流的计算是运动补偿的重要部分，现有的光流计算方法主要包括以下几种：
基于梯度的光流计算，可以得到致密的光流场图像，该方法在剧烈光照变化、非刚性的复杂运动和多目标、大位移运动等情况下，可以保持运动物体的边缘轮廓，得到较好的光流计算精度。
基于能量的光流计算方法，将光流计算转化为全局能量函数在约束条件下的优化问题，对于运动物体的边界部分，提高了光流计算的精度。
但是目前的光流计算方法，对于视频中的小范围纹理信息，表现较差，当视频中有大量小范围的纹理信息时，例如一片草地或一片砖墙，容易错误匹配相邻物体，从而造成运动补偿的错误。
因此，现有技术有待改进。
发明内容
本发明所要解决的技术问题是，提供一种光流的修正方法和计算机设备，在视频中有大量小范围的纹理信息时，提高了光流的精度。
一方面，本发明实施例提供了一种光流的修正方法，包括：
获取待处理图像，其中，所述待处理图像为视频序列中的任一帧图像；
对于所述待处理图像中的每个像素点，选取所述像素点对应的目标像素点，其中，所述目标像素点与所述像素点的特征相似度满足预设条件；
获取选取到的所述目标像素点的光流以及所述像素点的光流，并根据所述目标像素点的光流以及所述像素点的光流，得到所述像素点的修正后的光流。
作为进一步的改进技术方案，所述选取所述像素点对应的目标像素点，包括：
根据预设规则确定所述像素点对应的局域块，其中，所述局域块的中心为所述像素点；
在所述局域块内选取所述像素点对应的目标像素点。
作为进一步的改进技术方案，所述根据预设规则确定所述像素点对应的局域块之前，包括：
根据所述待处理图像中各像素点的特征对所述待处理图像进行图像分割，以得到若干分割集，其中，每个分割集中的各像素点之间的特征相似度满足预设条件；
相应的，所述在所述局域块内选取所述像素点对应的目标像素点，包括：
在所述局域块内选取与所述像素点属于同一分割集的像素点；
将选取的与所述像素点属于同一分割集的像素点作为目标像素点。
作为进一步的改进技术方案，所述光流包括X方向的光流分量和Y方向的光流分量；所述根据所述目标像素点的光流以及所述像素点的光流，得到所述像素点的修正后的光流，包括：
根据所述目标像素点的X方向的光流分量以及所述像素点的X方向的光流分量，得到所述像素点的修正后的X方向的光流分量；
根据所述目标像素点的Y方向的光流分量以及所述像素点的Y方向的光流分量，得到所述像素点的修正后的Y方向的光流分量。
作为进一步的改进技术方案，所述根据所述目标像素点的X方向的光流分量以及所述像素点的X方向的光流分量，得到所述像素点的修正后的X方向的光流分量，包括：
计算所述目标像素点的X方向的光流分量以及所述像素点的X方向的光流分量的第一平均值；
将所述第一平均值作为所述像素点的修正后的X方向的光流分量；
所述根据所述目标像素点的Y方向的光流分量以及所述像素点的Y方向的光流分量，得到所述像素点的修正后的Y方向的光流分量，包括：
计算所述目标像素点的Y方向的光流分量以及所述像素点的Y方向的光流分量的第二平均值；
将所述第二平均值作为所述像素点的修正后的Y方向的光流分量。
作为进一步的改进技术方案，所述计算所述目标像素点的X方向的光流分量以及所述像素点的X方向的光流分量的第一平均值之前，包括：
在所述待处理图像中选取与所述像素点对应的分割集像素点，其中，所述分割集像素点与所述像素点的特征的相似度满足预设数值；
将所述像素点和所述分割集像素点的X方向的光流分量分别对应填充到第一零矩阵中，以得到第一分割集矩阵，其中，所述第一零矩阵的大小等于所述待处理图像的大小；
在所述第一分割集矩阵中获取所述像素点对应的X方向的光流分量，以及所述目标像素点的X方向的光流分量；
所述计算所述目标像素点的Y方向的光流分量以及所述像素点的Y方向的光流分量的第二平均值之前，包括：
在所述待处理图像中选取与所述像素点对应的分割集像素点，其中，所述分割集像素点与所述像素点的特征的相似度满足预设数值；
将所述像素点和所述分割集像素点的Y方向的光流分量分别对应填充到第二零矩阵中，以得到第二分割集矩阵，其中，所述第二零矩阵的大小等于所述待处理图像的大小；
在所述第二分割集矩阵中获取所述像素点对应的Y方向的光流分量，以及所述目标像素点的Y方向的光流分量。
作为进一步的改进技术方案，所述计算所述目标像素点的X方向的光流分量以及所述像素点的X方向的光流分量的第一平均值，包括：
计算所述目标像素点的X方向的光流分量和所述像素点的X方向的光流分量的第一光流分量总和；
计算所述第一光流分量总和与像素点总个数的比值，以得到所述第一平均值，其中，所述像素点总个数为所述像素点的个数和所述目标像素点的个数的和；
所述计算所述目标像素点的Y方向的光流分量以及所述像素点的Y方向的光流分量的第二平均值，包括：
计算所述目标像素点的Y方向的光流分量和所述像素点的Y方向的光流分量的第二总和；
计算所述第二总和与所述像素点总个数的比值，以得到第二平均值。
作为进一步的改进技术方案，所述获取待处理图像之前，包括：
根据所述待处理图像和相邻图像，计算所述待处理图像中各像素点分别对应的光流，其中，所述相邻图像为视频序列中与所述待处理图像相邻的图像。
第二方面，本发明实施例提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取待处理图像，其中，所述待处理图像为视频序列中的任一帧图像；
对于所述待处理图像中的每个像素点，选取所述像素点对应的目标像素点，其中，所述目标像素点与所述像素点的特征相似度满足预设条件；
获取选取到的所述目标像素点的光流以及所述像素点的光流，并根据所述目标像素点的光流以及所述像素点的光流，得到所述像素点的修正后的光流。
第三方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现以下步骤：
获取待处理图像，其中，所述待处理图像为视频序列中的任一帧图像；
对于所述待处理图像中的每个像素点，选取所述像素点对应的目标像素点，其中，所述目标像素点与所述像素点的特征相似度满足预设条件；
获取选取到的所述目标像素点的光流以及所述像素点的光流，并根据所述目标像素点的光流以及所述像素点的光流，得到所述像素点的修正后的光流。
与现有技术相比，本发明实施例具有以下优点：
根据本发明实施方式提供的方法，获取待处理图像，其中，所述待处理图像为视频序列中的任一帧图像；对于所述待处理图像中的每个像素点，选取所述像素点对应的目标像素点，其中，所述目标像素点与所述像素点的特征相似度满足预设条件；获取选取到的所述目标像素点的光流以及所述像素点的光流，并根据所述目标像素点的光流以及所述像素点的光流，得到所述像素点的修正后的光流。本发明实施例提供的光流的修正方法，对于一个像素点，确定该像素点对应的目标像素点，所述目标像素点的和所述像素点的特征相似，根据该像素点的光流和目标像素点的光流，对该像素点的光流进行修正，由于目标像素点同该像素点的特征相似，应属于待处理图像中显示的同一物体，这样，在视频中有大量小范围的纹理信息时，不会错误匹配相邻物体，提高了光流的精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中一种光流的修正方法的流程示意图；
图2为本发明实施例中待处理图像配置分割集标识的示意图；
图3为本发明实施例中第一分割集对应的光流矩阵的示意图；
图4为本发明实施例中第一分割集对应的数值矩阵的示意图；
图5为本发明实施例中计算机设备的内部结构图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图，详细说明本发明的各种非限制性实施方式。
本申请提供的一种光流的修正方法，可以应用可播放视频的终端中，其中，终端可以但不限于是计算机、笔记本电脑、手机、平板电脑、车载电脑和便携式可穿戴设备。
参见图1，示出了本发明实施例中的一种基于图像分割的光流修正方法。在本实施例中，所述方法例如可以包括以下步骤：
S1、获取待处理图像，其中，所述待处理图像为视频序列中的任一帧图像。
在本发明实施例中，一个视频在时间域上可以拆分成多个帧图像，由多个帧图像组成一个视频序列，所述待处理图像可以是视频序列中的任意一帧图像。
S2、对于所述待处理图像中的每个像素点，选取所述像素点对应的目标像素点，其中，所述目标像素点与所述像素点的特征相似度满足预设条件。
在本发明实施例中，特征包括灰度和RGB值；可以利用现有的卷积神经网络提取图片中的每个像素点的特征，并计算这些特征之间的相似度；图像中属于相同类别的像素的特征之间的相似度较高，即特征相似度较高的像素点属于待处理图像中的显示的同一物体，例如，图像中有一朵白云，组成白云的任意两个像素点t10和t11，t10和t11均是白云的像素点，t10和t11属于同一类别，则t10和t11特征相似度较高；反之，对于图像中组成白云的各像素点中的一个像素点t10，以及图像中组成蓝天的各像素点中的一个像素点t20，白云和蓝天相当于两个不同的类别，t10和t20的特征相似度较低。所述目标像素点与所述像素点的特征相似度满足预设条件，可以是目标像素点的特征与所述像素点的特征的相似度大于0.8，例如，对于两个像素点，两个像素点中第一像素点的灰度为g1，两个像素点中第二像素点的灰度为g2，分别对g1和g2进行归一化，即用g1除以256，得到g1'，g1'为第一像素点归一化后的灰度，同样的，g2'为第二像素点归一化后的灰度，如果g1'和g2'之间的差值不大于0.2，则表示第一像素点和第二像素点之间的相似度大于0.8。特征是RGB值时，可以分别取两个像素点的R分量、G分量和B分量的平均值，并对平均值进行归一化，进而计算两个像素点之间的相似度。
为了提高精度，可以设置目标像素点的特征与所述像素点的特征的相似度大于0.9。在待处理图像中，特征相似度满足预设条件的像素点属于待处理图像中的显示的同一物体，例如，待处理图像中显示有一片花瓣，组成这一片花瓣的所有像素点的特征的相似度满足预设条件。
具体的，步骤S2包括：
S21、根据预设规则确定所述像素点对应的局域块，其中，所述局域块的中心为所述像素点。
在本发明实施例中，所述像素点为所述局域块的中心，以所述像素点为中心确定一个大小为(2m+1)×(2n+1)的局域块，为了方便描述，将局域块包括的像素点记为待处理像素点，所述像素点(局域块的中心)为待处理像素点中的一个，局域块中包括(2m+1)×(2n+1)个待处理像素点，m和n均为正整数，m和n的取值决定局域块的大小。
例如，m＝1,n＝1，则局域块s1为一个3×3的方阵，将待处理图像左上角的像素点坐标设为(0,0)，假设像素点q1的坐标为(10,10)，则与q1对应的局域块s1中包括待处理图像中坐标为(9,9),(9,10),(9,11)(10,9),(10,10),(10,11),(11,9),(11,10),(11,11)分别对应的9个待处理像素点。
在本发明实施例中，对于待处理图像中的边缘像素点，边缘像素点对应的局域块中包括的待处理像素点的个数可能小于(2m+1)×(2n+1)，所述边缘像素点为处于待处理图像的外围的像素点，例如，假设待处理图像左上角的像素点坐标设为(0,0)，右下角的像素点坐标为(9,9)，(2m+1)×(2n+1)大于1，则待处理图像的边缘像素点至少包括：横坐标为0和9的像素点，纵坐标为0和9的像素点；若(2m+1)×(2n+1)大于9，则待处理图像的边缘像素点至少包括：横坐标为0、1、8和9的像素点，纵坐标为0、1、8和9的像素点。
例如，例如，m＝1,n＝1，假设像素点q2的坐标为(0,0)，q2为边缘像素点，局域块s2为一个3×3的方阵，但是局域块s2中只包括待处理图像中坐标为(0,0),(0,1),(1,0),(1,1)分别对应的4个待处理像素点。
S22、在所述局域块内选取所述像素点对应的目标像素点。
在本发明实施例中，所述局域块中包括若干待处理像素点，在局域块包括的所有待处理像素点中，选取与所述像素点(处于局域块中心的像素点)的特征相似度满足预设条件的像素点作为目标像素点，目标像素点可能有多个，对于每个目标像素点，该目标像素点与处于局域块中心的像素点的特征相似度满足预设条件，可以知道，各目标像素点之间的特征相似度也满足预设条件。可以通过图像分割方法，对待处理图像中所有像素点进行分类，将特征的相似度满足预设条件像素点分为一类。具体的，步骤S21之前，包括：
M1、根据所述待处理图像中各像素点的特征对所述待处理图像进行图像分割，以得到若干分割集，其中，每个分割集中的各像素点之间的特征相似度满足预设条件。
在本发明实施例中，采用现有的图像分割方法对待处理图像进行图像分割；图像分割方法大致分为基于区域的方法、基于边缘的方法和区域与边缘相结合的方法；其中，基于区域的方法根据某种特征，直接将第一图像划分为多个分割集，例如，种子区域生成法，首先对第一图像中每个需要分割的区域找出一个种子像素作为生成的起点，然后将种子像素周围邻域中与种子相同或相似性质的像素合并到种子像素所在区域，可以实现将图像中具有相似性质的像素集合起来构成分割集。
在本发明实施例中，将所述待处理图像分割为若干分割集，每个分割集由具有相似特征的像素构成，特征可以是像素的灰度和RGB值。每个分割集中的各像素点之间的特征相似度满足预设条件，例如，一个分割集中包括像素点e1、e2和e3，对于e1，e1与e2的特征相似度满足预设条件，e1和e3的特征相似度满足预设条件，e2和e3的特征相似度满足预设条件。
在待处理图像中，一个分割集中的各像素点应属于待处理图像中显示的同一物体，例如，待处理图像中有一张桌子，图像分割方法可以得到这张桌子对应的分割集，该分割集包括组成这张桌子的像素点。采用现有的图像分割方法，对待处理图像进行分割，得到N个分割集，N为正整数。
在一种实现方式中，分割集有N个，包括第一分割集，第二分割集，……，第N分割集；对待处理图像进行分割，得到N个分割集之后，为各分割集中的像素点配置分割集标识，分割集标识包括1，2，……，N，为第一分割集中的各像素点配置的分割集标识为1，为第二分割集中的各像素点配置的分割集标识为2。
举例说明，所述待处理图像P的大小为16×8，对P进行图像分割，得到5个分割集，分别为第一分割集，第二分割集和第三分割集，第四分割集和第五分割集，5个分割集分别对应分割标识为1,2,3,4,5，为P中所有像素点配置分割集标识，如图2所示。
与步骤M1对应的，步骤S22包括：
S221、在所述局域块内选取与所述像素点属于同一分割集的像素点。
在本发明实施例中，所述像素点为中心，所述局域块中包括(2m+1)×(2n+1)个待处理像素点(当所述像素点为所述待处理图像靠近边缘的像素点时，则待处理像素点的个数小于(2m+1)×(2n+1)，在所述像素点为中心的局域块中，选取与所述局域块为同一分割集的待处理像素点，如图2所示，对于待处理图像P中的像素点101，101的坐标为(2,2)，101的分割集标识为1，假设m＝1，n＝1，则局域块的大小为9，可以得到，101对应的局域块102中包括坐标为：(0,0),(0,1),(0,2),(1,0),(1,1),(1,2),(2,0),(2,1)和(2,2)分别对应的待处理像素点，根据102中各待处理像素点的分割集标识，可以知道，在102中只有坐标为(0,0),(0,1),(0,2)和(1,0)分别对应的待处理像素点和101同属一个分割集。
S222、将选取的与所述像素点属于同一分割集的像素点作为目标像素点。
在上例中，将坐标为(0,0),(0,1),(0,2)和(1,0)分别对应的待处理像素点作为所述像素点对应的目标像素点。例如，参见图2，像素点201的坐标为(11,7)，201的分割集标识为2，201对应的局域块202中，将分割集标识同样为2的像素点作为201的目标像素点，201的目标像素点包括坐标为(10,6),(10,7)和(10,8)分别对应的像素点。
S3、获取选取到的所述目标像素点的光流以及所述像素点的光流，并根据所述目标像素点的光流以及所述像素点的光流，得到所述像素点的修正后的光流。
在本发明实施例中，所述目标像素点的光流和所述像素点的光流已经通过现有的光流计算方法得到，光流需要预先计算，具体的计算过程在后文详细介绍。通过目标像素点和所述像素点的光流对所述像素点的光流进行修正。
具体的，所述光流包括X方向的光流分量和Y方向的光流分量，步骤S3包括：
S31、根据所有目标像素点的X方向的光流分量以及所述像素点的X方向的光流分量，得到所述像素点的修正后的X方向的光流分量。
在本发明实施例中，光流是运动物体在成像平面上的像素运动的瞬时速度，可以用一个二维矢量表示光流，例如M(x,y)为像素点(x,y)的光流，M(x)(x,y)表示像素点(x,y)的X方向的光流分量，M(y)(x,y)为像素点(x,y)的Y方向的光流分量。所述像素点修正后的X方向的光流分量，等于所有目标像素点的X方向的光流分量以及所述像素点的X方向的光流分量的平均值。
具体的，步骤S31包括：
S311、计算目标像素点的X方向的光流分量以及所述像素点的X方向的光流分量的第一平均值。
在本发明实施例中，将所有目标像素点的X方向的光流分量和所述像素点的X方向的光流分量相加，再除以所有目标像素点加上所述像素点的个数，再进行取整运算，得到第一平均值。
为了计算第一平均值，首先要获取目标像素点的X方向的光流分量以及所述像素点的X方向的光流分量。具体的，在步骤S311之前包括：
a1、在所述待处理图像中选取与所述像素点对应的分割集像素点，其中，所述分割集像素点与所述像素点的特征的相似度满足预设数值。
在本发明实施例中，处于同一分割集的各像素点的特征相似，且相似度满足预设数值；处于同一的分割集的各像素点的分割集标识相同，对于所述像素点，若其分割集标识为k，与所述像素点对应的分割集像素点的分割集标识均为k，可知，对于所述像素点，选取与所述像素点的分割集标识相同的像素点，以得到分割集像素点，例如，对于图2中的像素点101，101的分割集标识为1，在待处理图像中，所有分割集标识为1的像素点为101对应的分割集像素点。
b1、将所述像素点和所述分割集像素点的X方向的光流分量分别对应填充到第一零矩阵中，以得到第一分割集矩阵，其中，所述第一零矩阵的大小等于所述待处理图像的大小。
在本发明实施例中，首先根据待处理图像生成一个第一零矩阵，第一零矩阵的大小和待处理图像的大小相同；再将待处理图像中分割集像素点和所述像素点的X方向的光流分量对应填入零矩阵，得到分割集矩阵。例如，如图3所示，对于第一分割集，将分割标识为1的像素点对应的X方向的光流分量(用M表示)分别填入第一零矩阵，得到第一分割集矩阵A。
c1、在所述第一分割集矩阵中获取所述像素点对应的X方向的光流分量，以及所述目标像素点的X方向的光流分量。
在本发明实施例中，在第一分割集矩阵中，找到所述像素点和所述目标像素点对应的值，以得到所述像素点对应的X方向的光流分量，以及所述目标像素点的X方向的光流分量。
采用第一分割集矩阵来表示光流分量是为了方便计算第一平均值，具体的，S311包括：
S3111、计算所述目标像素点的X方向的光流分量和所述像素点的X方向的光流分量的第一光流分量总和。
在本发明实施例中，可以首先通过公式(1)计算第一光流分量总和。
其中，k表示分割集标识，A(xk-i,yk-j)表示在第一分割集矩阵中像素点(xk-i,yk-j)对应位置的X方向的光流分量，m和n确定局域块的大小为(2m+1)×(2n+1)，TA(xk，yk)表示像素点(xk，yk)对应的目标像素点和像素点(xk，yk)的X方向的光流分量的和。假设m＝1，n1＝1，对于像素点(x1，y1)＝(1，1)，如图3中301，根据公式(1)可知，TA(x1，y1)＝A(x1+1，y1+1)+A(x1+1，y1)+A(x1+1，y1-1)+A(x1，y1+1)+A(x1，y1)+A(x1-1，y1-1)+A(x1-1，y1+1)+A(x1-1，y1)+A(x1-1，y1-1)，其中，A(x1+1，y1+1)、A(x1+1，y1)、A(x1+1，y1-1)和A(x1，y1+1)(即图3所示，局域块302中四个显示为0的像素点)对应的X方向的光流分量为0，这四个像素点与局域块中心的像素点不属于同一个分割集)，则TA(x1，y1)等于(x1，y1)、(x1-1，y1-1)、(x1-1，y1+1)、(x1-1，y1)和(x1-1，y1-1)分别对应的X方向的光流分量的和(即所述像素点和所述像素点对应的目标像素点的和)。
S3112、计算所述第一光流分量总和与像素点总个数的比值，以得到所述第一平均值，其中，所述像素点总个数为所述像素点的个数和所述目标像素点的个数的和。
在本发明实施例中，可以通过以下步骤计算所述像素点总个数：
S31121、将第三零矩阵中对应所述像素点和所述分割集像素点的位置分别填入1，以得到数值矩阵，其中，所述第三零矩阵的大小等于所述待处理图像的大小。
在本发明实施例中，生成第三零矩阵，第三零矩阵与第一零矩阵实质相同，将第三零矩阵中对应所述像素点和所述分割集像素点的位置填入1，得到数值矩阵B，例如，在上例子中，所述像素点为(1，1)时，得到的数值矩阵如图4所示。
S31122、在所述数值矩阵中，获取所述像素点对应的数值，以及获取所述目标像素点对应的数值。
S31123、计算所述像素点的数值和各目标像素点对应的数值的和，以得到所述像素点总个数。
在本发明实施例中，像素点总个数记为TB(xk，yk)，通过公式(2)计算像素点总个数。
其中，k表示分割集标识，B(xk-i，yk-j)表示在数值矩阵B中，像素点(xk-i，yk-j)对应位置的数值，m和n确定局域块的大小为(2m+1)×(2n+1)，TB(xk，yk)表示在(xk，yk)对应的局域块中，(xk，yk)对应的目标像素点以及(xk，yk)的个数和。在上例中，对于第一分割集中的像素点(1，1)(如图4中401)，TB(x1，y1)＝B(x1+1，y1+1)+B(x1+1，y1)+B(x1+1，y1-1)+B(x1，y1+1)+B(x1，y1)+B(x1-1，y1-1)+B(x1-1，y1+1)+B(x1-1，y1)+B(x1-1，y1-1)，见图4中的局域块402，其中，B(x1+1，y1+1)、B(x1+1，y1)、B(x1+1，y1-1)和B(x1，y1+1)对应位置为0，则TB(x1，y1)等于5。
根据公式(3)可以求得第一平均值。
F(x)(xk，yk)＝[TA(xk，yk)/TB(xk，yk)] (3)
其中，F(x)(xk，yk)表示像素点(xk，yk)对应的第一平均值，TA(xk，yk)是第一总和，TB(xk，yk)是像素总个数，[·]是取最近整数的运算。
S312、将所述第一平均值作为所述像素点的修正后的X方向的光流分量。
在本发明实施例中，F(x)(xk，yk)即为像素点(xk，yk)对应的X方向的光流分量。
S32、根据所有目标像素点的Y方向的光流分量以及所述像素点的Y方向的光流分量，得到所述像素点的修正后的Y方向的光流分量。
在本发明实施例中，M(y)(x，y)为像素点(x，y)的Y方向的光流分量，所述像素点修正后的X方向的光流分量，等于所有目标像素点的X方向的光流分量以及所述像素点的X方向的光流分量的平均值。
具体的，步骤S32包括：
S321、计算目标像素点的Y方向的光流分量以及所述像素点的Y方向的光流分量的第二平均值。
在本发明实施例中，将所有目标像素点的Y方向的光流分量和所述像素点的Y方向的光流分量相加，再除以所有目标像素点加上所述像素点的个数，再进行取整运算，得到第二平均值。
为了计算第二平均值，首先要获取目标像素点的Y方向的光流分量以及所述像素点的Y方向的光流分量。具体的，在步骤S321之前包括：
a2、在所述待处理图像中选取与所述像素点对应的分割集像素点，其中，所述分割集像素点与所述像素点的特征的相似度满足预设数值。
在本发明实施例中，对于所述像素点，若其分割集标识为k，与所述像素点对应的分割集像素点的分割集标识均为k，可知，对于所述像素点，选取与所述像素点的分割集标识相同的像素点，以得到分割集像素点。步骤a2与步骤A实质相同。
b2、将所述像素点和所述分割集像素点的Y方向的光流分量分别对应填充到第二零矩阵中，以得到第二分割集矩阵，其中，所述第二零矩阵的大小等于所述待处理图像的大小。
在本发明实施例中，首先根据待处理图像生成一个第二零矩阵，第二零矩阵的大小和待处理图像的大小相同；再将待处理图像中分割集像素点和所述像素点的的Y方向的光流分量对应填入零矩阵，得到分割集矩阵C。
c2、在所述第二分割集矩阵中获取所述像素点对应的Y方向的光流分量，以及所述目标像素点的Y方向的光流分量。
在本发明实施例中，在第二分割集矩阵中，找到所述像素点和所述目标像素点对应的值，以得到所述像素点对应的Y方向的光流分量，以及所述目标像素点的Y方向的光流分量。
采用第二分割集矩阵来表示光流分量是为了方便计算第二平均值，具体的，步骤S321包括：
S3211、计算所述目标像素点的Y方向的光流分量和所述像素点的Y方向的光流分量的第二总和。
在本发明实施例中，计算第二总和的方法，与步骤S3111中计算第一总和的方法相同，只需要将步骤S3111中X方向的光流分量替换为Y方向的光流分量，即可求得第二总和TC(xk，yk)，此处不赘述了。
S3212、计算所述第二总和与所述像素点总个数的比值，以得到第二平均值在本发明实施例中，根据公式(4)可以求得第二平均值。
F(y)(xk，yk)＝[TC(xk，yk)/TB(xk，yk)] (4)
其中，F(y)(xk，yk)表示像素点(xk，yk)对应的第二平均值，TB(xk，yk)是像素总个数，TC(xk，yk)是第二总和，[·]是取最近整数的运算。
S322、将所述第二平均值作为所述像素点的修正后的Y方向的光流分量。
在本发明实施例中，F(y)(xk，yk)即为像素点(xk，yk)对应的Y方向的光流分量。
接下来，介绍计算光流的方法。光流需要预先计算，在步骤S1之前，包括：
S01、根据所述待处理图像和相邻图像，计算所述待处理图像中各像素点分别对应的光流，其中，其中，所述相邻图像为视频序列中与所述待处理图像相邻的图像。
在本发明实施例中，光流是描述图像亮度的运动信息，计算两帧图像之间每个像素点的位置移动，因此需要获得视频序列中连续的两帧图像，连续两帧图像中的第一帧图像对应时间t，连续两帧图像中第二帧图像对应t+Δt。在本发明实施例中，所述待处理图像可以为第一帧图像，也可以为第二帧图像，当待处理图像为第一帧图像时，相邻图像为第二帧图像，当待处理图像为第二帧图像时，相邻图像为第一帧图像。通过现有的光流计算方法，采用第一帧图像和第二帧图像计算第一帧图像中各像素点分别对应的光流，或者，用第一帧图像和第二帧图像计算第二帧图像中各像素点分别对应的光流。例如，L-K方法，依据相邻像素之间的位移相似的假设，通过一个观察窗口，将窗口内的像素点的位移看作是相同的，建立一个超定方程，使用最小二乘法进行求解光流。
现有的光流计算方法，对于视频中的小范围纹理信息，表现较差，当视频中有大量小范围的纹理信息时，容易错误匹配相邻物体，从而造成运动补偿的错误；本发明实施例提供的光流的修正方法，对于一个像素点，选择该像素点对应的局域块中与该像素点特征相似的目标像素点，根据该像素点的光流和目标像素点的光流和，对该像素点的光流进行修正，由于目标像素点同该像素点的特征相似，应属于同一物体，这样，在视频中有大量小范围的纹理信息时，不会错误匹配相邻物体，对于含有大量小范围纹理信息的视频，提高了光流的精度。
在一个实施例中，本发明提供了一种计算机设备，该设备可以是终端，内部结构如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种光流的修正方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图5所示的仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取待处理图像，其中，所述待处理图像为视频序列中的任一帧图像；
对于所述待处理图像中的每个像素点，选取所述像素点对应的目标像素点，其中，所述目标像素点与所述像素点的特征相似度满足预设条件；
获取选取到的所述目标像素点的光流以及所述像素点的光流，并根据所述目标像素点的光流以及所述像素点的光流，得到所述像素点的修正后的光流。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取待处理图像，其中，所述待处理图像为视频序列中的任一帧图像；
对于所述待处理图像中的每个像素点，选取所述像素点对应的目标像素点，其中，所述目标像素点与所述像素点的特征相似度满足预设条件；
获取选取到的所述目标像素点的光流以及所述像素点的光流，并根据所述目标像素点的光流以及所述像素点的光流，得到所述像素点的修正后的光流。
上述一种光流的修正方法和计算机设备，所述方法包括：获取待处理图像，其中，所述待处理图像为视频序列中的任一帧图像；对于所述待处理图像中的每个像素点，选取所述像素点对应的目标像素点，其中，所述目标像素点与所述像素点的特征相似度满足预设条件；获取选取到的所述目标像素点的光流以及所述像素点的光流，并根据所述目标像素点的光流以及所述像素点的光流，得到所述像素点的修正后的光流。本发明实施例提供的光流的修正方法，对于一个像素点，在该像素点对应的局域块中选择与该像素点特征相似的目标像素点，根据该像素点的光流和目标像素点的光流，对该像素点的光流进行修正，由于目标像素点同该像素点的特征相似，应属于待处理图像中显示的同一物体，这样，在视频中有大量小范围的纹理信息时，不会错误匹配相邻物体，提高了光流的精度。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
Claims (9)
1.一种光流的修正方法，其特征在于，所述方法包括：
获取待处理图像，其中，所述待处理图像为视频序列中的任一帧图像；
对于所述待处理图像中的每个像素点，选取所述像素点对应的目标像素点，其中，所述目标像素点与所述像素点的特征相似度满足预设条件；
获取选取到的所述目标像素点的光流以及所述像素点的光流，并根据所述目标像素点的光流以及所述像素点的光流，得到所述像素点的修正后的光流；
所述光流包括X方向的光流分量和Y方向的光流分量；所述根据所述目标像素点的光流以及所述像素点的光流，得到所述像素点的修正后的光流，包括：
根据所述目标像素点的X方向的光流分量以及所述像素点的X方向的光流分量，得到所述像素点的修正后的X方向的光流分量；
根据所述目标像素点的Y方向的光流分量以及所述像素点的Y方向的光流分量，得到所述像素点的修正后的Y方向的光流分量。
2.根据权利要求1所述的方法，其特征在于，所述选取所述像素点对应的目标像素点，包括：
根据预设规则确定所述像素点对应的局域块，其中，所述局域块的中心为所述像素点；
在所述局域块内选取所述像素点对应的目标像素点。
3.根据权利要求2所述的方法，其特征在于，所述根据预设规则确定所述像素点对应的局域块之前，包括：
根据所述待处理图像中各像素点的特征对所述待处理图像进行图像分割，以得到若干分割集，其中，每个分割集中的各像素点之间的特征相似度满足预设条件；
相应的，所述在所述局域块内选取所述像素点对应的目标像素点，包括：
在所述局域块内选取与所述像素点属于同一分割集的像素点；
将选取的与所述像素点属于同一分割集的像素点作为目标像素点。
4.根据权利要求1所述方法，其特征在于，所述根据所述目标像素点的X方向的光流分量以及所述像素点的X方向的光流分量，得到所述像素点的修正后的X方向的光流分量，包括：
计算所述目标像素点的X方向的光流分量以及所述像素点的X方向的光流分量的第一平均值；
将所述第一平均值作为所述像素点的修正后的X方向的光流分量；
所述根据所述目标像素点的Y方向的光流分量以及所述像素点的Y方向的光流分量，得到所述像素点的修正后的Y方向的光流分量，包括：
计算所述目标像素点的Y方向的光流分量以及所述像素点的Y方向的光流分量的第二平均值；
将所述第二平均值作为所述像素点的修正后的Y方向的光流分量。
5.根据权利要求4所述的方法，其特征在于，所述计算所述目标像素点的X方向的光流分量以及所述像素点的X方向的光流分量的第一平均值之前，包括：
在所述待处理图像中选取与所述像素点对应的分割集像素点，其中，所述分割集像素点与所述像素点的特征的相似度满足预设数值；
将所述像素点和所述分割集像素点的X方向的光流分量分别对应填充到第一零矩阵中，以得到第一分割集矩阵，其中，所述第一零矩阵的大小等于所述待处理图像的大小；
在所述第一分割集矩阵中获取所述像素点对应的X方向的光流分量，以及所述目标像素点的X方向的光流分量；
所述计算所述目标像素点的Y方向的光流分量以及所述像素点的Y方向的光流分量的第二平均值之前，包括：
在所述待处理图像中选取与所述像素点对应的分割集像素点，其中，所述分割集像素点与所述像素点的特征的相似度满足预设数值；
将所述像素点和所述分割集像素点的Y方向的光流分量分别对应填充到第二零矩阵中，以得到第二分割集矩阵，其中，所述第二零矩阵的大小等于所述待处理图像的大小；
在所述第二分割集矩阵中获取所述像素点对应的Y方向的光流分量，以及所述目标像素点的Y方向的光流分量。
6.根据权利要求5所述的方法，其特征在于，所述计算所述目标像素点的X方向的光流分量以及所述像素点的X方向的光流分量的第一平均值，包括：
计算所述目标像素点的X方向的光流分量和所述像素点的X方向的光流分量的第一光流分量总和；
计算所述第一光流分量总和与像素点总个数的比值，以得到所述第一平均值，其中，所述像素点总个数为所述像素点的个数和所述目标像素点的个数的和；
所述计算所述目标像素点的Y方向的光流分量以及所述像素点的Y方向的光流分量的第二平均值，包括：
计算所述目标像素点的Y方向的光流分量和所述像素点的Y方向的光流分量的第二总和；
计算所述第二总和与所述像素点总个数的比值，以得到第二平均值。
7.根据权利要求1至6所述的方法，所述获取待处理图像，之前，包括：
根据所述待处理图像和相邻图像，计算所述待处理图像中各像素点分别对应的光流，其中，所述相邻图像为视频序列中与所述待处理图像相邻的图像。
8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911357215.8A CN113034552B (zh) | 2019-12-25 | 2019-12-25 | 一种光流的修正方法和计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911357215.8A CN113034552B (zh) | 2019-12-25 | 2019-12-25 | 一种光流的修正方法和计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113034552A CN113034552A (zh) | 2021-06-25 |
| CN113034552B true CN113034552B (zh) | 2024-02-20 |
Family
ID=76458346
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911357215.8A Active CN113034552B (zh) | 2019-12-25 | 2019-12-25 | 一种光流的修正方法和计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113034552B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101854465A (zh) * | 2010-02-01 | 2010-10-06 | 杭州海康威视软件有限公司 | 基于光流算法的图像处理方法及装置 |
| WO2016029382A1 (zh) * | 2014-08-27 | 2016-03-03 | 惠州市吉瑞科技有限公司 | 一种电子烟盒 |
| CN108961342A (zh) * | 2018-05-02 | 2018-12-07 | 珠海市微半导体有限公司 | 一种光流传感器的校准方法及系统 |
| CN109448019A (zh) * | 2018-09-27 | 2019-03-08 | 华南理工大学 | 一种变分光流模型平滑参数的自适应方法 |
-
2019
- 2019-12-25 CN CN201911357215.8A patent/CN113034552B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101854465A (zh) * | 2010-02-01 | 2010-10-06 | 杭州海康威视软件有限公司 | 基于光流算法的图像处理方法及装置 |
| WO2016029382A1 (zh) * | 2014-08-27 | 2016-03-03 | 惠州市吉瑞科技有限公司 | 一种电子烟盒 |
| CN108961342A (zh) * | 2018-05-02 | 2018-12-07 | 珠海市微半导体有限公司 | 一种光流传感器的校准方法及系统 |
| CN109448019A (zh) * | 2018-09-27 | 2019-03-08 | 华南理工大学 | 一种变分光流模型平滑参数的自适应方法 |
Non-Patent Citations (3)
| Title |
|---|
| 一种基于PSO的改进光流算法;刘建;李峰;周书仁;黄龙;;计算技术与自动化(第04期);全文 * |
| 基于近似最近邻搜索的并行光流计算;杨昕欣;姜精萍;;计算机工程与应用(第18期);全文 * |
| 融合多特征基于图割实现视频遮挡区域检测;张世辉;何欢;孔令富;;光学学报(第04期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113034552A (zh) | 2021-06-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11610082B2 (en) | Method and apparatus for training neural network model used for image processing, and storage medium | |
| CN107516319B (zh) | 一种高精度简易交互式抠图方法、存储设备及终端 | |
| EP3814985A1 (en) | Video background subtraction using depth | |
| US12039767B2 (en) | Subject detection method and apparatus, electronic device, and computer-readable storage medium | |
| JP2018124890A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
| CN111402170A (zh) | 图像增强方法、装置、终端及计算机可读存储介质 | |
| JP7239050B2 (ja) | 画像処理装置、画像処理システム、画像処理方法、および画像処理プログラム | |
| WO2023093291A1 (zh) | 图像处理方法、装置、计算机设备和计算机程序产品 | |
| WO2022194079A1 (zh) | 天空区域分割方法、装置、计算机设备和存储介质 | |
| CN114332183A (zh) | 图像配准方法、装置、计算机设备和存储介质 | |
| CN109600667B (zh) | 一种基于网格与帧分组的视频重定向的方法 | |
| CN114674826A (zh) | 基于布匹的视觉检测方法及检测系统 | |
| CN112396610A (zh) | 一种图像处理方法、计算机设备、存储介质 | |
| CN113628259A (zh) | 图像的配准处理方法及装置 | |
| CN111369435B (zh) | 基于自适应稳定模型的彩色图像深度上采样方法及系统 | |
| CN113034552B (zh) | 一种光流的修正方法和计算机设备 | |
| CN114792288B (zh) | 一种曲面屏图像的灰度校正方法及相关装置 | |
| CN115908120B (zh) | 图像处理方法和电子设备 | |
| US12094079B2 (en) | Reference-based super-resolution for image and video enhancement | |
| Xiong et al. | Fast and high-quality image blending on mobile phones | |
| CN114332297A (zh) | 图像的绘制方法、装置、计算机设备和存储介质 | |
| US11195247B1 (en) | Camera motion aware local tone mapping | |
| CN111754411B (zh) | 图像降噪方法、图像降噪装置及终端设备 | |
| Pan et al. | An automatic 2D to 3D video conversion approach based on RGB-D images | |
| CN112766338A (zh) | 一种计算距离图像的方法、系统及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 516006 TCL science and technology building, No. 17, Huifeng Third Road, Zhongkai high tech Zone, Huizhou City, Guangdong Province Applicant after: TCL Technology Group Co.,Ltd. Address before: 516006 Guangdong province Huizhou Zhongkai hi tech Development Zone No. nineteen District Applicant before: TCL Corp. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |