CN113160277A - 一种图像处理方法、装置、电子设备及存储介质 - Google Patents
一种图像处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113160277A CN113160277A CN202110127121.2A CN202110127121A CN113160277A CN 113160277 A CN113160277 A CN 113160277A CN 202110127121 A CN202110127121 A CN 202110127121A CN 113160277 A CN113160277 A CN 113160277A
- Authority
- CN
- China
- Prior art keywords
- optical flow
- value
- image frame
- frame
- nth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 22
- 230000003287 optical effect Effects 0.000 claims abstract description 290
- 238000000034 method Methods 0.000 claims abstract description 54
- 230000008571 general function Effects 0.000 claims description 24
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 17
- 230000002123 temporal effect Effects 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000012937 correction Methods 0.000 claims description 12
- 238000009499 grossing Methods 0.000 claims description 12
- 238000003780 insertion Methods 0.000 claims description 4
- 230000037431 insertion Effects 0.000 claims description 4
- 239000013598 vector Substances 0.000 description 51
- 238000010586 diagram Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000004800 variational method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本公开实施例公开了一种图像处理方法，该方法，包括：通过图像采集装置采集图像帧后，基于采集的第n图像帧和第n+1图像帧的像素值，得到与第n图像帧对应的第一光流估计值；基于第n图像帧和第一光流估计值，生成第n预测帧；根据第n预测帧的像素值及第n+1帧图像的像素值之间的差值，确定权重值；基于权重值校正第一光流估计值，得到校正后的第二光流估计值；基于采集到的图像帧和第二光流估计值，生成目标时域位置上的目标预测帧；在目标时域位置上插入目标预测帧。在本公开实施例中，相较于不利用权重值对第一光流估计值进行校正而直接利用未校正的第一光流估计值生成预测帧的方式，能够减少第一光流估计值的误差，使得生成的预测帧更加准确。
Description
技术领域
本公开涉及终端技术领域但不限于终端技术领域，尤其涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
光流是计算机视觉技术中用到的非常重要的参数，直接影响图像处理的效果。光流是指时变图像中模式运动对应的速度。光流广泛应用于计算机视觉中的各种应用场合，例如，在行为识别场景中，利用光流进行时间域特征的提取、在无人驾驶场景中通过光流对目标进行跟踪和定位、在超帧率应用中利用光流进行运动估计等。光流的准确度直接决定各种应用场景下图像处理的效果。
发明内容
本公开实施例公开了一种图像处理方法、装置、电子设备及存储介质。
根据本公开实施例的第一方面，提供一种图像处理方法，所述方法，包括：
通过图像采集装置采集图像帧后，基于采集的第n图像帧和第n+1图像帧的像素值，得到与所述第n图像帧对应的第一光流估计值；其中，所述n为自然数；
基于所述第n图像帧和所述第一光流估计值，生成第n预测帧；
根据所述第n预测帧的像素值及所述第n+1图像帧的像素值之间的差值，确定权重值；
基于所述权重值校正所述第一光流估计值，得到校正后的第二光流估计值；
基于采集到的图像帧和所述第二光流估计值，生成目标时域位置上的目标预测帧；
在所述目标时域位置上插入所述目标预测帧。
在一个实施例中，所述根据所述第n预测帧的像素值及所述第n+1图像帧的像素值之间的差值，确定权重值，包括：
若所述差值大于设置阈值，则确定所述权重值小于权重阈值。
在一个实施例中，所述基于所述权重值校正所述第一光流估计值，得到校正后的第二光流估计值，包括：
基于所述权重值与所述第一光流估计值的乘积，得到校正后的所述第二光流估计值。
在一个实施例中，所述方法，还包括：
若校正后的所述第二光流估计值小于估计值阈值，将小于所述估计值阈值的所述第二光流估计值更新为预设估计值。
在一个实施例中，所述方法，还包括：
根据所述第n图像帧或所述第n+1图像帧中像素的第二光流估计值，生成第二光流估计值矩阵；
所述若校正后的所述第二光流估计值小于估计值阈值，将小于所述估计值阈值的所述第二光流估计值更新为预设估计值，包括：
若所述第二光流估计值矩阵中第N元素的第二光流估计值小于估计值阈值，将所述第N元素的第二光流估计值更新为：所述第N元素的相邻元素之间的平均值；所述N为自然数。
在一个实施例中，所述方法，还包括：
获取所述第二光流估计值的光流估计梯度值；
将所述光流估计梯度值与所述第二光流估计值叠加，获得叠加后的第二光流估计值；
将所述叠加后的第二光流估计值输入到全局能量泛函数；其中，所述全局能量泛函数包括数据项和平滑项；求解所述全局能量泛函数，得到更新后的所述第二光流估计值。
根据本公开实施例的第二方面，提供一种图像处理装置，其特征在于，所述装置，包括计算模块、生成模块、确定模块、校正模块和插入模块；其中，
所述计算模块，用于：通过图像采集装置采集图像帧后，基于采集的第n图像帧和第n+1图像帧的像素值，得到与所述第n图像帧对应的第一光流估计值；其中，所述n为自然数；
所述生成模块，用于：基于所述第n图像帧和所述第一光流估计值，生成第n预测帧；
所述确定模块，用于：根据所述第n预测帧的像素值及所述第n+1图像帧的像素值之间的差值，确定权重值；
所述校正模块，用于：基于所述权重值校正所述第一光流估计值，得到校正后的第二光流估计值；
所述生成模块，还用于：基于采集到的图像帧和所述第二光流估计值，生成目标时域位置上的目标预测帧；
所述插入模块，用于在所述目标时域位置上插入所述目标预测帧。
在一个实施例中，所述确定模块，还用于配置：所述差值与根据所述差值确定的所述权重值负相关。
在一个实施例中，所述确定模块，还用于：
若所述差值大于设置阈值，则确定所述权重值小于权重阈值。
在一个实施例中，所述校正模块，还用于：
基于所述权重值与所述第一光流估计值的乘积，得到校正后的所述第二光流估计值。
在一个实施例中，所述装置还包括更新模块，其中，所述更新模块，还用于：
若校正后的所述第二光流估计值小于估计值阈值，将小于所述估计值阈值的所述第二光流估计值更新为预设估计值。
在一个实施例中，
所述生成模块，还用于：
根据所述第n图像帧或所述第n+1图像帧中像素的第二光流估计值，生成第二光流估计值矩阵；
所述校正模块，还用于：若所述第二光流估计值矩阵中第N元素的第二光流估计值小于估计值阈值，将所述第N元素的第二光流估计值更新为：所述第N元素的相邻元素之间的平均值；所述N为自然数。
在一个实施例中，所述装置还包括获取模块，其中，
所述获取模块，用于获取所述第二光流估计值的光流估计梯度值；将所述光流估计梯度值与所述第二光流估计值叠加，获得叠加后的第二光流估计值；将所述叠加后的第二光流估计值输入到全局能量泛函数；其中，所述全局能量泛函数包括数据项和平滑项；求解所述全局能量泛函数，得到更新后的所述第二光流估计值。
根据本公开实施例的第三方面，提供一种电子设备，所述电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为：用于运行所述可执行指令时，实现本公开任意实施例所述的方法。
根据本公开实施例的第四方面，提供一种计算机存储介质，所述计算机存储介质存储有计算机可执行程序，所述可执行程序被处理器执行时实现本公开任意实施例所述的方法。
本公开的实施例提供的技术方案可以包括以下有益效果：
在本公开实施例中，通过图像采集装置采集图像帧后，基于采集的第n图像帧和第n+1图像帧的像素值，得到与所述第n图像帧对应的第一光流估计值，基于所述第n图像帧和所述第一光流估计值，生成第n预测帧。这里，由于第n预测帧是基于所述第n图像帧和所述第一光流估计值生成的，所述第n+1图像帧即为所述第n预测帧的原始图像帧。根据所述第n预测帧的像素值及所述第n+1图像帧的像素值之间的差值，确定权重值；基于所述权重值校正所述第一光流估计值，得到校正后的第二光流估计值；基于采集到的图像帧和所述校正后的第二光流估计值，生成目标时域位置上的目标预测帧；在所述目标时域位置上插入所述目标预测帧。如此，可以根据所述第n预测帧的像素值与原始图像帧即所述第n+1图像帧的像素值之间的差值确定权重值，并利用所述权重值校正所述第一光流估计值，获得校正后的第二光流估计值，就可以利用校正后的第二光流估计值生成预测帧，相较于不利用所述权重值对所述第一光流估计值进行校正而直接利用未校正的第一光流估计值生成预测帧的方式，能够减少所述第一光流估计值的误差，使得生成的预测帧更加准确。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种图像处理方法的流程示意图。
图2是根据一示例性实施例示出的获得光流的示意图。
图3是根据一示例性实施例示出的一种光流矢量示意图。
图4是根据一示例性实施例示出的一种图像处理方法的流程图。
图5是根据一示例性实施例示出的一种图像处理方法的示意图。
图6是根据一示例性实施例示出的一种图像处理方法的流程图。
图7是根据一示例性实施例示出的一种图像处理方法的流程图。
图8是根据一示例性实施例示出的一种图像处理方法的流程图。
图9是根据一示例性实施例示出的一种图像处理方法的流程图。
图10是根据一示例性实施例示出的更新光流估计值的示意图。
图11是根据一示例性实施例示出的一种图像处理方法的流程图。
图12是根据一示例性实施例示出的一种梯度值处理的流程图。
图13是根据一示例性实施例示出的更新光流估计值的示意图。
图14是根据一示例性实施例示出的一种图像处理装置的框图。
图15是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
为了方便对本公开任一实施例的理解，首先，对光流估计方法进行说明。
光流估计方法主要可以分为两大类：基于变分的方法和基于卷积神经网络的方法。
在一个实施例中，在假设连续图像亮度一致、时间连续和空间一致的条件下，提出了基于变分的能量方程，以约束能量最小化来估计全局光流。利用小窗口进行局部光流的估计。
在一个实施例中，为了处理光流的不连续性，用光滑约束项替代二次惩罚项，并且允许分段光滑处理。
在一个实施例中，在图像金字塔多尺度中通过对光流弯曲来进行大位移光流的估计。
在一个实施例中，在假设光流场是由基光流分量组成的假设条件下，用主成分分析(PCA，Principal components analysis)来计算光流场。
在一个实施例中，在局部区域内利用图像颜色信息与空间位置信息来估计光流。
在一个实施例中，深度学习被引入计算机视觉，大量以卷积神经网络的方法被用于计算机视觉领域。
上述两类方法中，基于变分的方法在小位移与亮度变化不大的情况下有较好的效果，当出现大位移或图像亮度变化差异较大时，估计的光流就会出现较大的误差。基于卷积神经网络的方法在特定的训练数据集上有较好的效果，但网络较大时，计算速度很慢，且当对未知数据估计光流时，同样会出现误差较大的情况。综上所述，不论是使用哪类方法估计光流，都难免会出现估计错误的光流。
如图1所示，本实施例中提供一种图像处理方法，所述方法，包括：
步骤11、通过图像采集装置采集图像帧后，基于采集的第n图像帧和第n+1图像帧的像素值，得到与所述第n图像帧对应的第一光流估计值；其中，所述n为自然数；
步骤12、基于所述第n图像帧和所述第一光流估计值，生成第n预测帧；
步骤13、根据所述第n预测帧的像素值及所述第n+1图像帧的像素值之间的差值，确定权重值；
步骤14、基于所述权重值校正所述第一光流估计值，得到校正后的第二光流估计值。
步骤15、基于采集到的图像帧和所述校正后的第二光流估计值，生成目标时域位置上的目标预测帧；
步骤16、在所述目标时域位置上插入所述目标预测帧。
在一个实施例中，所述第n图像帧的时域位置可以在所述第n+1图像帧的时域位置之前或者之后。
在一个实施例中，所述第n图像帧和所述第n+1图像帧可以是摄像头实时拍摄的视频流中获取的两帧图像。
在一个实施例中，所述第n图像帧和所述第n+1图像帧可以是相机连续拍摄的两张图像。
在一个实施例中，可以是利用直接内存存取(DMA，Direct Memory Access)方式存储和获取采集到的所述第n图像帧和所述第n+1图像帧。这样，可以提升图像帧的处理效率。
在一个实施例中，所述第n图像帧与所述第n+1图像帧的像素点的数量相同。例如，所述第n图像帧和所述第n+1图像帧的像素点的数量为m×n。这里，每个像素点都对应具有一个像素值。像素值的取值可以是在0至255之间。
在一个实施例中，若所述第n图像帧与所述第n+1图像帧为灰度图像，则灰度图像的灰度值等于像素值。
在一个实施例中，若所述第n图像帧与所述第n+1图像帧为彩色图像，则需要将彩色图像转换为灰度图像后获得所述像素值。
在一个实施例中，灰度图像的灰度值Gray与彩色图像的RGB(R，G，B)的转换关系可以是：
Gray＝0.3R+0.59G+0.11B；
在一个实施例中，假设图像在连续时间上的亮度是相同的，则可以利用变分的光流估计方法获得所述第一光流估计值。变分的光流估计方法基于采集的第n图像帧和第n+1图像帧的像素值，得到与所述第n图像帧对应的第一光流估计值。计算过程如下：
I(x,y,t)＝I(x+u,y+v,t+1)； (1)式
其中，x、y为图像帧像素点的像素坐标；t为时间；u代表横向光流矢量；v代表纵向光流矢量；所述第一光流估计值通过u和v表示。
对(1)式进行泰勒展开化简后得到：
Ixu+Iyv+It＝0； (2)式
(2)式中，Ix、Iy、It分别是图像的横向梯度、纵向梯度、时间梯度，用向量表示为：
其中，
当光流在法线方向时，因为方向无法估计，此时光流是不确定的，即光流“孔径问题”，为解决这个问题，在一个实施例中，引入一个平滑约束项，并假设光流场是分段光滑的。利用变分能量方程来计算光流u和v，能量方程包含两项，数据项与平滑约束项
(3)式中，其中，第一项是数据项，第二项是平滑约束项，为了减小局部异常值的影响，引入一个凸函数
来优化方程：
对数据项Edata与平滑约束项Esmooth进行离散化：
通过欧拉-拉格朗日方程来计算u和v：
其中，n为迭代次数，
为平滑项系数，i、j为像素位置。通常为了估计更精确的光流，会利用图像金字塔在多个尺度分下估计光流，利用弯曲光流估计大位移光流，然后将多尺度结果融合，得到最终的所述第一光流估计值。
在一个实施例中，请参见图2，基于采集的第一图像帧a和第二图像帧b的像素值，得到与所述第一图像帧对应的第一光流估计值的特征图c。
在一个实施例中，请参见图3，为特征图c的局部光流值放大图，d为所述第一光流估计值的u 分量，e为对应所述第一光流估计值的v分量。所述第一光流估计值可以通过(u，v)表示。
在一个实施例中，请参见图4，还可以基于卷积神经网络的方法，基于采集的所述第n图像帧和所述第n+1图像帧的像素值，得到与所述第n图像帧对应的所述第一光流估计值。所述方法包括：
步骤a、使用卷积神经网络提取层级图像特征构建所述第n图像帧特征金字塔以及所述第n+1帧特征金字塔；
步骤b、在所述步骤a构建的特征金字塔的基础上，采用反卷积操作构建第n图像帧U型网络结构进行多尺度信息融合，得到多尺度特征；
步骤c、初始化最低分辨率光流场为零，第二低分辨率估计的光流场被上采样后，对第n+1图像帧匹配特征进行基于双线性采样的变形操作；
步骤d、对所述第n图像帧特征金字塔的特征以及所述步骤c得到的第n+1图像帧变形后的特征进行基于内积的局部相似性计算，构建匹配代价，并进行代价聚合；
步骤e、将所述步骤b构建的多尺度特征、步骤c中上采样的光流场以及步骤d中代价聚合后的匹配代价特征作为光流回归网络的输入，估计该分辨率下的第一光流估计值；
步骤f、重复所述步骤a至步骤e，直至估计出最高分辨率下的第一光流估计值。
在一个实施例中，基于所述第n图像帧和所述第一光流估计值，生成第n预测帧；其中，所述第 n预测帧在时域上的时域位置与所述第n+1图像帧的时域位置相同。这里，所述第n+1图像帧即为所述第n预测帧的原始图像帧。
在一个实施例中，获得第n预测帧的计算过程可以为：
I2(near(x+f(x)))＝I1(x)；
其中，I2表示第n预测帧，I1表示第n图像帧，f(x)∈{u,v}，表示光流矢量，near()表示用最近邻的取整坐标。最近邻的取整坐标可以是距离最近的坐标，例如，第一坐标为A(0.8，0.9)，则第二坐标B(1,1)为第一坐标最近邻的取整坐标。
在一个实施例中，将所述第n图像帧对应的像素值特征向量中的元素和所述第n+1图像帧对应的像素值特征向量中的元素对应相乘，获得第n预测帧对应的像素值特征向量。
在一个实施例中，请参见图5，第一图像帧为3×3的包括9个像素的图像帧，对应的像素值可以表示为特征向量A，A＝{1、1、1、1、1、1、1、1、1}；第二图像帧为3×3的包括9个像素的图像帧，对应的像素值可以表示为特征向量B，B＝{2、2、2、2、2、2、2、2、2}；假设在经过光流估计运算后，获得的第一光流估计值可以表示为特征向量C，C＝{1、1、1、1、12、1、1、1、1}。则基于所述第n图像帧和所述第一光流估计值生成的第一预测帧对应的像素值的特征向量为特征向量D，D＝{1、 1、1、1、12、1、1、1、1}。
在一个实施例中，将所述第n预测帧对应的像素值特征向量中的元素和所述第n+1图像帧对应的像素值特征向量中的元素对应相减，获得所述差值的特征向量。
在一个实施例中，请再次参见图5，第一预测帧对应的特征向量D与第二图像帧对应的特征向量 B之间存在不同。将所述第一预测帧对应的像素值特征向量中的元素和所述第2图像帧对应的像素值特征向量中的元素对应相减，获得所述差值的特征向量E，E＝{1、1、1、1、10、1、1、1、1}；其中，第5个像素点的像素值之间的差值为10，其他像素点的像素值之间的差值为1。这里，当像素点的像素值之间的差值大于设置阈值时，所述第一光流估计值的误差大于误差阈值。例如，当像素点的像素值之间的差值大于5时，所述第一光流估计值的误差大于误差阈值。
在一个实施例中，根据所述差值的特征向量确定所述权重值的特征向量。其中，所述权重值的特征向量中的元素与各像素点一一对应。所述权重值用于调整对应的所述第一光流估计值。
在一个实施例中，调整对应的所述第一光流估计值可以是放大或者缩小所述第一光流估计值。
在一个实施例中，当所述权重值用于放大所述第一光流估计值时，所述权重值大于A；当所述权重值用于缩小所述第一光流估计值时，所述权重值小于A。这里，A可以是1.
在一个实施例中，请再次参见图5，当所述像素点的差值小于设置阈值时，设置像素点的权重值为第一值，例如，第一值为1。当所述像素点的差值大于设置阈值时，设置像素点的权重值为第二值，例如，第二值为0。在图3中，当所述像素点的差值小于5时，设置像素点的权重值为1，当所述像素点的差值大于5时，设置像素点的权重值为0。得到的权重值的特征向量为F，F＝{1、1、1、1、0、1、 1、1、1}。
在一个实施例中，还可以将第n预测帧I2与第n+1图像帧I2做指数差值，建立权重置信图c(x)，计算过程如下：
其中，max()表示取最大值，e为自然指数，当I2与I2的指数差值值接近时，具有较高的权重，当I2与I2的指数差值相差较大时，权重较小。这里设置一个门限值1e-3，当t小于门限值时，权重为零。
在一个实施例中，将所述第一光流估计值对应的特征向量中的元素与所述权重值对应的特征向量中的元素相乘，得到校正后的第二光流估计值的特征向量。
在一个实施例中，请再次参见图5，所述第一光流估计值对应的特征向量为C，所述权重值对应的特征向量为F，计算得到的得到校正后的第二光流估计值的特征向量为G，G＝{1、1、1、1、0、1、 1、1、1}。如此，基于校正后的第二光流估计值的特征向量G和第n帧图像帧获得的第n预测帧的特征向量为H，H＝{1、1、1、1、0、1、1、1、1}，第n预测帧的特征向量H与第二图像帧的特征向量 B对应的像素点的像素值之间的差值减小，即校正后的第二光流估计值的误差更小。
在一个实施例中，可以将权重置信图与所述第一光流估计值做点积，获得校正后的第二光流估计值，其计算过程如下：
fc(x)＝f(x).c(x)；其中，fc表示校正后的第二光流估计值。
在一个实施例中，图像采集装置可以采集时域位置上连续的多帧图像帧。这里，不同的图像帧对应的时域位置不同。
在一个实施例中，图像采集装置采集包括多帧图像帧的视频流。
在一个实施例中，可以是基于所述多帧图像帧中的任意一帧图像帧和所述校正后的第二光流估计值，生成预定时域位置上的目标预测帧。这里，预定时域位置，为图像采集装置采集的多帧图像帧所在时域上的时域位置。
在一个实施例中，将所述目标预测帧插入图像采集装置采集的多帧图像帧所在时域上的时域位置。
例如，图像采集装置采集了包括时域位置上连续的3帧图像帧的视频流，3帧图像帧包括图像帧a、图像帧b和图像帧c，其中，图像帧a的时域位置为A，图像帧b的时域位置为B，图像帧c的时域位置为C。基于图像帧a和校正后的第二光流估计值，生成的目标预测帧为预测帧d，图像帧d的时域位置为D，时域位置D在时域位置A之后且在时域位置B之前。则可以将预测帧d插入在图像帧a 和图像帧b之间。则在连续播放视频流时，由于插入了预测帧d，在播放视频流时，画面会更加清晰和连续。
在本公开实施例中，通过图像采集装置采集图像帧后，基于采集的第n图像帧和第n+1图像帧的像素值，得到与所述第n图像帧对应的第一光流估计值，基于所述第n图像帧和所述第一光流估计值，生成第n预测帧。这里，由于第n预测帧是基于所述第n图像帧和所述第一光流估计值生成的，所述第n+1图像帧为所述第n预测帧的原始图像帧。根据所述第n预测帧的像素值及所述第n+1图像帧的像素值之间的差值，确定权重值；基于所述权重值校正所述第一光流估计值，得到校正后的第二光流估计值；基于采集到的图像帧和所述校正后的第二光流估计值，生成目标时域位置上的目标预测帧；在所述目标时域位置上插入所述目标预测帧。如此，可以根据所述第n预测帧的像素值与原始图像帧即所述第n+1图像帧的像素值之间的差值确定权重值，并利用所述权重值校正所述第一光流估计值，获得校正后的第二光流估计值，就可以利用校正后的第二光流估计值生成预测帧，相较于不利用所述权重值对所述第一光流估计值进行校正而直接利用未校正的第一光流估计值生成预测帧的方式，能够减少所述第一光流估计值的误差，使得生成的预测帧更加准确。
在一个实施例中，所述差值与根据所述差值确定的所述权重值负相关。
在一个实施例中，当所述差值大于设置阈值时，根据所述差值确定的所述权重值小于权重阈值。
在一个实施例中，所述差值与根据所述差值确定的所述权重值成反比。
如图6所示，本实施例中提供一种图像处理方法，步骤13，所述根据所述第n预测帧的像素值及所述第n+1图像帧的像素值之间的差值，确定权重值，包括：
步骤61、若所述差值大于设置阈值，则确定所述权重值小于权重阈值。
在一个实施例中，当所述第一光流估计值的要求误差小于误差阈值时，所述设置阈值小于A；当所述第一光流估计值的要去误差大于误差阈值时，所述设置阈值大于A。如此，所述设置阈值可以根据所述第一光流估计值的要求误差做适应性调整。
如图7所示，本实施例中提供一种图像处理方法，步骤14，所述基于所述权重值校正所述第一光流估计值，得到校正后的第二光流估计值，包括：
步骤71、基于所述权重值与所述第一光流估计值的乘积，得到校正后的所述第二光流估计值。
在一个实施例中，将所述第一光流估计值对应的特征向量中的元素与所述权重值对应的特征向量中的元素相乘，得到校正后的第二光流估计值的特征向量。
在一个实施例中，请再次参见图5，所述第一光流估计值对应的特征向量为C，所述权重值对应的特征向量为F，将所述第一光流估计值对应的特征向量中的元素与所述权重值对应的特征向量中的元素相乘，计算得到的得到校正后的第二光流估计值的特征向量为G，G＝{1、1、1、1、0、1、1、1、 1}。如此，基于校正后的第二光流估计值的特征向量G和第n帧图像帧获得的第n预测帧的特征向量为H，H＝{1、1、1、1、0、1、1、1、1}，第n预测帧的特征向量H与第二图像帧的特征向量B对应的像素点的像素值之间的差值减小，即校正后的第二光流估计值的误差更小。
如图8所示，本实施例中提供一种图像处理方法，所述方法，还包括：
步骤81、若校正后的所述第二光流估计值小于估计值阈值，将小于所述估计值阈值的所述第二光流估计值更新为预设估计值。
在一个实施例中，所述预设估计值可以是图像帧中所有像素点对应的第二光流估计值的平均值。
在一个实施例中，所述预设估计值可以是图像帧中某一像素点区域中的所有像素点对应的第二光流估计值的平均值。
在一个实施例中，所述估计值阈值可以是根据拍摄图像帧的终端与拍摄的目标对象之间的相对运动速度确定的。
在一个实施例中，当拍摄图像帧的终端与拍摄的目标对象之间的相对运动速度大于速度阈值，所述估计值阈值大于B；当拍摄图像帧的终端与拍摄对象之间的相对运动速度小于速度阈值，所述估计值阈值小于B。如此，所述估计值阈值可以根据拍摄图像帧的终端与拍摄的目标对象之间的相对运动速度进行调整，使得获得的校正后的第二光流估计值更加符合实际场景。
在一个实施例中，请再次参见图5，校正后的第二光流估计值的特征向量为G，G＝{1、1、1、1、 0、1、1、1、1}。第5个元素的第二光流估计值为小于估计值阈值1的0，则可以将0替换为预设估计值1/3。
如图9所示，本实施例中提供一种图像处理方法，所述方法，还包括：
步骤91、根据所述第n图像帧或所述第n+1图像帧中像素的第二光流估计值，生成第二光流估计值矩阵；
步骤81、所述若校正后的所述第二光流估计值小于估计值阈值，将小于所述估计值阈值的所述第二光流估计值更新为预设估计值，包括：
步骤92、若所述第二光流估计值矩阵中第N元素的第二光流估计值小于估计值阈值，将所述第N 元素的第二光流估计值更新为：所述第N元素的相邻元素之间的平均值；所述N为自然数。
在一个实施例中，当所述第n图像帧或所述第n+1图像帧为m×n的图像帧，则第二光流估计值矩阵为m×n的矩阵，图像帧中的每个像素点对应第二光流估计值矩阵中的一个元素。其中，m和n为正整数。
在一个实施例中，请参见图10，所述第N元素的相邻元素可以是图10中上、下、左和右位置的元素。也可以是图10中上、下、左、右、左上、右上、左下和右下位置的元素。
如图11所示，本实施例中提供一种图像处理方法，所述方法，还包括：
步骤111、获取所述第二光流估计值的光流估计梯度值；
步骤112、将所述光流估计梯度值与所述第二光流估计值叠加，获得叠加后的第二光流估计值；
步骤113、将所述叠加后的第二光流估计值输入到全局能量泛函数；其中，所述全局能量泛函数包括数据项和平滑项；求解所述全局能量泛函数，得到更新后的所述第二光流估计值。
在一个实施例中，所述第二光流估计值的光流估计梯度值可以是设置方向的梯度值。这里，设置方向可以是像素点矩阵的X方向，也可以是像素点矩阵的Y方向。
在一个实施例中，光流估计梯度值为所述设置方向上任意两个相邻的像素之间的像素值之差。
在一个实施例中，请参见图12，X方向上的4个像素点对应的第二光流估计值分别为100、90、 90和90，对应的光流估计梯度值分别为10、0、0和0，将所述光流估计梯度值与所述第二光流估计值叠加，获得叠加后的第二光流估计值分别为110、90、90和90。
在一个实施例中，利用变分能量方程来计算光流u和v，全局能量泛函数包含两项，数据项Edata与平滑项
能量方程为：
求解所述全局能量泛函数，得到更新后的第二光流估计值。
为了进一步理解本公开实施例技术方案，以下通过一个示例对本公开实施例做进一步说明：
示例1：
步骤1、基于采集的第一图像帧和第二图像帧的像素值，得到与所述第一图像帧对应的第一光流估计值。第一光流估计值可以通过任意一种光流估计方法得到，例如，可以用基于卷积神经网络的方法来估计光流，也可以使用变分的方法来估计光流。使用任意一种方法得到的第一光流都估计值是一个两层的矩阵，其中一层代表u，作为横向运动矢量，另一层代表v，作为纵向运动矢量。
步骤2、基于所述第一图像帧和所述第一光流估计值，生成第一预测帧。获得第一预测帧的计算过程为：
I2(near(x+f(x)))＝I1(x)；
其中，I2表示第一预测帧，I1表示第一图像帧，f(x)∈{u,v}，表示光流矢量，near()表示用最近邻的取整坐标。最近邻的取整坐标可以是距离最近的坐标，例如，第一坐标为A(0.8，0.9)，则第二坐标B(1,1)为第一坐标最近邻的取整坐标。
步骤3、根据所述第一预测帧的像素值及所述第二图像帧的像素值之间的差值，确定权重值。将第一预测帧I2与第二图像帧I2做指数差值，建立权重置信图c(x)，计算过程如下：
其中，max()表示取最大值，e为自然指数，当I2与I2的指数差值值接近时，具有较高的权重，当 I2与I2的指数差值相差较大时，权重较小。这里设置一个门限值1e-3，当t小于门限值时，权重为零。
步骤4、基于所述权重值校正所述第一光流估计值，得到校正后的第二光流估计值。将权重置信图与所述第一光流估计值做点积，获得校正后的第二光流估计值，其计算过程如下：
fc(x)＝f(x).c(x)；其中，fc表示校正后的第二光流估计值。
当I2与I2在某一点的值相差较大时，因为权重为0，此时该点在校正光流上的位置为0，是一个空洞。
步骤5，若校正后的所述第二光流估计值小于估计值阈值，将小于所述估计值阈值的所述第二光流估计值更新为预设估计值。对于在校正光流上的空洞(对应于小于所述估计值阈值的所述第二光流估计值的像素点)，采用一种软融合的方法对空洞的位置进行填充，请参见图13。
图13中的黑色方块代表空洞，箭头表示分别从空洞的上、下、左、右四个方向寻找非零的值，然后将找到的非零值进行融合，融合方式通过计算平均值(这里，平均值为预设估计值)来求得：
其中，z(x)为对空洞填充后的值，vi∈{up,down,left,right}表示上、下、左、右四个方向非零值，divisor 表示上、下、左、右四个方向非零值的数量，采用软融合填充后的光流比直接采用近邻法填充的光流更加自然。
步骤6、获取所述第二光流估计值的光流估计梯度值；将所述光流估计梯度值与所述第二光流估计值叠加，获得叠加后的第二光流估计值；将所述叠加后的第二光流估计值输入到全局能量泛函数；其中，所述全局能量泛函数包括数据项和平滑项；求解所述全局能量泛函数，得到更新后的第二光流估计值。其中，获得的所述全局能量泛函数，为：
其中，
表示梯度。
如图14所示，本实施例中提供一种图像处理装置，所述装置，包括计算模块141、生成模块142、确定模块143、校正模块144和插入模块145；其中，
所述计算模块141，用于：通过图像采集装置采集图像帧后，基于采集的第n图像帧和第n+1图像帧的像素值，得到与所述第n图像帧对应的第一光流估计值；其中，所述n为自然数；
所述生成模块142，用于：基于所述第n图像帧和所述第一光流估计值，生成第n预测帧；
所述确定模块143，用于：根据所述第n预测帧的像素值及所述第n+1帧图像的像素值之间的差值，确定权重值；
所述校正模块144，用于：基于所述权重值校正所述第一光流估计值，得到校正后的第二光流估计值；
所述生成模块142，还用于：基于采集到的图像帧和所述第二光流估计值，生成目标时域位置上的目标预测帧；
所述插入模块145，用于在所述目标时域位置上插入所述目标预测帧。
在一个实施例中，所述确定模块143，还用于配置：所述差值与根据所述差值确定的所述权重值负相关。
在一个实施例中，所述确定模块143，还用于：
若所述差值大于设置阈值，则确定所述权重值小于权重阈值。
在一个实施例中，所述校正模块144，还用于：
基于所述权重值与所述第一光流估计值的乘积，得到校正后的所述第二光流估计值。
在一个实施例中，所述装置还包括更新模块146，其中，所述更新模块146，还用于：
若校正后的所述第二光流估计值小于估计值阈值，将小于所述估计值阈值的所述第二光流估计值更新为预设估计值。
在一个实施例中，
所述生成模块142，还用于：
根据所述第n图像帧或所述第n+1图像帧中像素的第二光流估计值，生成第二光流估计值矩阵；
所述校正模块，还用于：若所述第二光流估计值矩阵中第N元素的第二光流估计值小于估计值阈值，将所述第N元素的第二光流估计值更新为：所述第N元素的相邻元素之间的平均值；所述N为自然数。
在一个实施例中，所述装置还包括获取模块147，其中，
所述获取模块147，用于获取所述第二光流估计值的光流估计梯度值；将所述光流估计梯度值与所述第二光流估计值叠加，获得叠加后的第二光流估计值；将所述叠加后的第二光流估计值输入到全局能量泛函数；其中，所述全局能量泛函数包括数据项和平滑项；求解所述全局能量泛函数，得到更新后的所述第二光流估计值。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本公开实施例还提供一种通信设备，包括：
天线；
存储器；
处理器，分别与天线及存储器连接，用于通过执行存储在存储器上的可执行程序，控制天线收发无线信号，并能够执行前述任意实施例提供的无线网络接入方法的步骤。
本实施例提供的通信设备可为前述的终端或基站。该终端可为各种人载终端或车载终端。基站可为各种类型的基站，例如，4G基站或5G基站等。
天线可为各种类型的天线、例如，3G天线、4G天线或5G天线等移动天线；天线还可包括：WiFi 天线或无线充电天线等。
存储器可包括各种类型的存储介质，该存储介质为非临时性计算机存储介质，在通信设备掉电之后能够继续记忆存储其上的信息。
处理器可以通过总线等与天线和存储器连接，用于读取存储器上存储的可执行程序，例如，本公开任一个实施例所示方法的至少其中之一。
本公开实施例还提供一种非临时性计算机可读存储介质，非临时性计算机可读存储介质存储有可执行程序，其中，可执行程序被处理器执行时实现前述任意实施例提供的无线网络接入方法的步骤，例如，本公开任一个实施例所示方法的至少其中之一。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图15是根据一示例性实施例示出的一种用于电子设备600的框图。例如，电子设备600可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图15，电子设备600可以包括以下一个或多个组件：处理组件602，存储器604，电源组件 606，多媒体组件608，音频组件610，输入/输出(I/O)的接口612，传感器组件614，以及通信组件 616。
处理组件602通常控制电子设备600的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件602可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件602可以包括一个或多个模块，便于处理组件602和其他组件之间的交互。例如，处理组件602可以包括多媒体模块，以方便多媒体组件608和处理组件602之间的交互。
存储器604被配置为存储各种类型的数据以支持在设备600的操作。这些数据的示例包括用于在电子设备600上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器604可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件606为电子设备600的各种组件提供电力。电源组件606可以包括电源管理系统，一个或多个电源，及其他与为电子设备600生成、管理和分配电力相关联的组件。
多媒体组件608包括在所述电子设备600和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件608包括一个前置摄像头和/或后置摄像头。当设备600处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件610被配置为输出和/或输入音频信号。例如，音频组件610包括一个麦克风(MIC)，当电子设备600处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器604或经由通信组件616发送。在一些实施例中，音频组件610还包括一个扬声器，用于输出音频信号。
I/O接口612为处理组件602和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件614包括一个或多个传感器，用于为电子设备600提供各个方面的状态评估。例如，传感器组件614可以检测到设备600的打开/关闭状态，组件的相对定位，例如所述组件为电子设备 600的显示器和小键盘，传感器组件614还可以检测电子设备600或电子设备600一个组件的位置改变，用户与电子设备600接触的存在或不存在，电子设备600方位或加速/减速和电子设备600的温度变化。传感器组件614可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件614还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件614还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件616被配置为便于电子设备600和其他设备之间有线或无线方式的通信。电子设备600 可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件616经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件616还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，电子设备600可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器604，上述指令可由电子设备600的处理器820执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
Claims (14)
1.一种图像处理方法，其特征在于，所述方法，包括：
通过图像采集装置采集图像帧后，基于采集的第n图像帧和第n+1图像帧的像素值，得到与所述第n图像帧对应的第一光流估计值；其中，所述n为自然数；
基于所述第n图像帧和所述第一光流估计值，生成第n预测帧；
根据所述第n预测帧的像素值及所述第n+1帧图像的像素值之间的差值，确定权重值；
基于所述权重值校正所述第一光流估计值，得到校正后的第二光流估计值；
基于采集到的图像帧和所述第二光流估计值，生成目标时域位置上的目标预测帧；
在所述目标时域位置上插入所述目标预测帧。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第n预测帧的像素值及所述第n+1图像帧的像素值之间的差值，确定权重值，包括：
若所述差值大于设置阈值，则确定所述权重值小于权重阈值。
3.根据权利要求1所述的方法，其特征在于，所述基于所述权重值校正所述第一光流估计值，得到校正后的第二光流估计值，包括：
基于所述权重值与所述第一光流估计值的乘积，得到校正后的所述第二光流估计值。
4.根据权利要求1所述的方法，其特征在于，所述方法，还包括：
若校正后的所述第二光流估计值小于估计值阈值，将小于所述估计值阈值的所述第二光流估计值更新为预设估计值。
5.根据权利要求4所述的方法，其特征在于，所述方法，还包括：
根据所述第n图像帧或所述第n+1图像帧中像素的第二光流估计值，生成第二光流估计值矩阵；
所述若校正后的所述第二光流估计值小于估计值阈值，将小于所述估计值阈值的所述第二光流估计值更新为预设估计值，包括：
若所述第二光流估计值矩阵中第N元素的第二光流估计值小于估计值阈值，将所述第N元素的第二光流估计值更新为：所述第N元素的相邻元素之间的平均值；所述N为自然数。
6.根据权利要求1所述的方法，其特征在于，所述方法，还包括：
获取所述第二光流估计值的光流估计梯度值；
将所述光流估计梯度值与所述第二光流估计值叠加，获得叠加后的第二光流估计值；
将所述叠加后的第二光流估计值输入到全局能量泛函数；其中，所述全局能量泛函数包括数据项和平滑项；
求解所述全局能量泛函数，得到更新后的所述第二光流估计值。
7.一种图像处理装置，其特征在于，所述装置，包括计算模块、生成模块、确定模块、校正模块和插入模块；其中，
所述计算模块，用于：通过图像采集装置采集图像帧后，基于采集的第n图像帧和第n+1图像帧的像素值，得到与所述第n图像帧对应的第一光流估计值；其中，所述n为自然数；
所述生成模块，用于：基于所述第n图像帧和所述第一光流估计值，生成第n预测帧；
所述确定模块，用于：根据所述第n预测帧的像素值及所述第n+1帧图像的像素值之间的差值，确定权重值；
所述校正模块，用于：基于所述权重值校正所述第一光流估计值，得到校正后的第二光流估计值；
所述生成模块，还用于：基于采集到的图像帧和所述第二光流估计值，生成目标时域位置上的目标预测帧；
所述插入模块，用于在所述目标时域位置上插入所述目标预测帧。
8.根据权利要求7所述的装置，其特征在于，所述确定模块，还用于：
若所述差值大于设置阈值，则确定所述权重值小于权重阈值。
9.根据权利要求7所述的装置，其特征在于，所述校正模块，还用于：
基于所述权重值与所述第一光流估计值的乘积，得到校正后的所述第二光流估计值。
10.根据权利要求7所述的装置，其特征在于，所述装置还包括更新模块，其中，所述更新模块，还用于：
若校正后的所述第二光流估计值小于估计值阈值，将小于所述估计值阈值的所述第二光流估计值更新为预设估计值。
11.根据权利要求10所述的装置，其特征在于，
所述生成模块，还用于：
根据所述第n图像帧或所述第n+1图像帧中像素的第二光流估计值，生成第二光流估计值矩阵；
所述校正模块，还用于：若所述第二光流估计值矩阵中第N元素的第二光流估计值小于估计值阈值，将所述第N元素的第二光流估计值更新为：所述第N元素的相邻元素之间的平均值；所述N为自然数。
12.根据权利要求7所述的装置，其特征在于，所述装置还包括获取模块，其中，
所述获取模块，用于获取所述第二光流估计值的光流估计梯度值；将所述光流估计梯度值与所述第二光流估计值叠加，获得叠加后的第二光流估计值；将所述叠加后的第二光流估计值输入到全局能量泛函数；其中，所述全局能量泛函数包括数据项和平滑项；求解所述全局能量泛函数，得到更新后的所述第二光流估计值。
13.一种电子设备，其特征在于，所述电子设备包括：处理器和用于存储能够在所述处理器上运行计算机服务的存储器，其中，所述处理器用于运行所述计算机服务时，实现权利要求1至7任一项所述的图像处理方法。
14.一种存储介质，其特征在于，所述存储介质中有计算机可执行指令，所述计算机可执行指令被处理器执行实现权利要求1至7任一项所述的图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110127121.2A CN113160277A (zh) | 2021-01-29 | 2021-01-29 | 一种图像处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110127121.2A CN113160277A (zh) | 2021-01-29 | 2021-01-29 | 一种图像处理方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113160277A true CN113160277A (zh) | 2021-07-23 |
Family
ID=76879074
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110127121.2A Pending CN113160277A (zh) | 2021-01-29 | 2021-01-29 | 一种图像处理方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113160277A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113469930A (zh) * | 2021-09-06 | 2021-10-01 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、及计算机设备 |
| CN113516689A (zh) * | 2021-09-10 | 2021-10-19 | 北京理工大学 | 一种基于关联帧约束的纹影特征可视化增强方法 |
| CN113762173A (zh) * | 2021-09-09 | 2021-12-07 | 北京地平线信息技术有限公司 | 人脸光流估计及光流值预测模型的训练方法和装置 |
Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6658059B1 (en) * | 1999-01-15 | 2003-12-02 | Digital Video Express, L.P. | Motion field modeling and estimation using motion transform |
| CN101854465A (zh) * | 2010-02-01 | 2010-10-06 | 杭州海康威视软件有限公司 | 基于光流算法的图像处理方法及装置 |
| CN103871076A (zh) * | 2014-02-27 | 2014-06-18 | 西安电子科技大学 | 基于光流法和超像素分割的运动目标提取方法 |
| KR101538923B1 (ko) * | 2014-03-17 | 2015-07-27 | 건국대학교 산학협력단 | 관심 영역 추적을 통한 실시간 영상 안정화 장치 및 그 방법 |
| US20160307321A1 (en) * | 2015-04-17 | 2016-10-20 | Samsung Electronics Co., Ltd. | Method and apparatus for estimating image optical flow |
| CN106210767A (zh) * | 2016-08-11 | 2016-12-07 | 上海交通大学 | 一种智能提升运动流畅性的视频帧率上变换方法及系统 |
| CN106204512A (zh) * | 2016-07-19 | 2016-12-07 | 北京邮电大学 | 一种基于三维稀疏表示和区域相似度的运动图像融合方法 |
| CN108881899A (zh) * | 2018-07-09 | 2018-11-23 | 深圳地平线机器人科技有限公司 | 基于光流场金字塔的图像预测方法和装置及电子设备 |
| CN109118431A (zh) * | 2018-09-05 | 2019-01-01 | 武汉大学 | 一种基于多记忆及混合损失的视频超分辨率重建方法 |
| CN109389035A (zh) * | 2018-08-30 | 2019-02-26 | 南京理工大学 | 基于多特征和帧置信分数的低延迟视频动作检测方法 |
| US20190068991A1 (en) * | 2017-08-22 | 2019-02-28 | Google Llc | Co-Located Reference Frame Interpolation Using Optical Flow Estimation |
| CN110246160A (zh) * | 2019-06-20 | 2019-09-17 | 腾讯科技（深圳）有限公司 | 视频目标的检测方法、装置、设备及介质 |
| CN110677651A (zh) * | 2019-09-02 | 2020-01-10 | 合肥图鸭信息科技有限公司 | 一种视频压缩方法 |
| CN110710213A (zh) * | 2017-04-24 | 2020-01-17 | Sk电信有限公司 | 用于估计运动补偿的光流的方法及装置 |
| US20200036994A1 (en) * | 2016-12-12 | 2020-01-30 | V-Nova International Limited | Motion compensation techniques for video |
| CN110913230A (zh) * | 2019-11-29 | 2020-03-24 | 合肥图鸭信息科技有限公司 | 一种视频帧预测方法、装置及终端设备 |
| CN110996108A (zh) * | 2019-11-29 | 2020-04-10 | 合肥图鸭信息科技有限公司 | 一种视频帧重构方法、装置及终端设备 |
| CN111524166A (zh) * | 2020-04-22 | 2020-08-11 | 北京百度网讯科技有限公司 | 视频帧的处理方法和装置 |
| CN111757100A (zh) * | 2020-07-14 | 2020-10-09 | 北京字节跳动网络技术有限公司 | 相机运动变化量的确定方法、装置、电子设备和介质 |
| CN112004091A (zh) * | 2020-07-31 | 2020-11-27 | 浙江大华技术股份有限公司 | 帧间预测方法及其相关装置 |
-
2021
- 2021-01-29 CN CN202110127121.2A patent/CN113160277A/zh active Pending
Patent Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6658059B1 (en) * | 1999-01-15 | 2003-12-02 | Digital Video Express, L.P. | Motion field modeling and estimation using motion transform |
| CN101854465A (zh) * | 2010-02-01 | 2010-10-06 | 杭州海康威视软件有限公司 | 基于光流算法的图像处理方法及装置 |
| CN103871076A (zh) * | 2014-02-27 | 2014-06-18 | 西安电子科技大学 | 基于光流法和超像素分割的运动目标提取方法 |
| KR101538923B1 (ko) * | 2014-03-17 | 2015-07-27 | 건국대학교 산학협력단 | 관심 영역 추적을 통한 실시간 영상 안정화 장치 및 그 방법 |
| US20160307321A1 (en) * | 2015-04-17 | 2016-10-20 | Samsung Electronics Co., Ltd. | Method and apparatus for estimating image optical flow |
| CN106204512A (zh) * | 2016-07-19 | 2016-12-07 | 北京邮电大学 | 一种基于三维稀疏表示和区域相似度的运动图像融合方法 |
| CN106210767A (zh) * | 2016-08-11 | 2016-12-07 | 上海交通大学 | 一种智能提升运动流畅性的视频帧率上变换方法及系统 |
| US20200036994A1 (en) * | 2016-12-12 | 2020-01-30 | V-Nova International Limited | Motion compensation techniques for video |
| CN110710213A (zh) * | 2017-04-24 | 2020-01-17 | Sk电信有限公司 | 用于估计运动补偿的光流的方法及装置 |
| US20190068991A1 (en) * | 2017-08-22 | 2019-02-28 | Google Llc | Co-Located Reference Frame Interpolation Using Optical Flow Estimation |
| CN108881899A (zh) * | 2018-07-09 | 2018-11-23 | 深圳地平线机器人科技有限公司 | 基于光流场金字塔的图像预测方法和装置及电子设备 |
| CN109389035A (zh) * | 2018-08-30 | 2019-02-26 | 南京理工大学 | 基于多特征和帧置信分数的低延迟视频动作检测方法 |
| CN109118431A (zh) * | 2018-09-05 | 2019-01-01 | 武汉大学 | 一种基于多记忆及混合损失的视频超分辨率重建方法 |
| CN110246160A (zh) * | 2019-06-20 | 2019-09-17 | 腾讯科技（深圳）有限公司 | 视频目标的检测方法、装置、设备及介质 |
| CN110677651A (zh) * | 2019-09-02 | 2020-01-10 | 合肥图鸭信息科技有限公司 | 一种视频压缩方法 |
| CN110913230A (zh) * | 2019-11-29 | 2020-03-24 | 合肥图鸭信息科技有限公司 | 一种视频帧预测方法、装置及终端设备 |
| CN110996108A (zh) * | 2019-11-29 | 2020-04-10 | 合肥图鸭信息科技有限公司 | 一种视频帧重构方法、装置及终端设备 |
| CN111524166A (zh) * | 2020-04-22 | 2020-08-11 | 北京百度网讯科技有限公司 | 视频帧的处理方法和装置 |
| CN111757100A (zh) * | 2020-07-14 | 2020-10-09 | 北京字节跳动网络技术有限公司 | 相机运动变化量的确定方法、装置、电子设备和介质 |
| CN112004091A (zh) * | 2020-07-31 | 2020-11-27 | 浙江大华技术股份有限公司 | 帧间预测方法及其相关装置 |
Non-Patent Citations (3)
| Title |
|---|
| XIAOZHANG LIU等: "Video frame interpolation via optical flow estimation with image inpainting", 《INTERNATIONAL JOURNAL OF INTELLIGENT SYSTEMS》, 31 December 2020 (2020-12-31), pages 2087 - 2102 * |
| 单鑫;文银刚;林涛;朱新建;: "一种基于超声造影剂的血管灌注区域的提取方法", 生物医学工程学杂志, no. 05, 25 October 2015 (2015-10-25), pages 983 - 988 * |
| 林晶;黄添强;李小琛;林玲鹏;: "基于光流周期特性的视频帧率上转篡改检测", 计算机系统应用, no. 06, 15 June 2017 (2017-06-15), pages 131 - 136 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113469930A (zh) * | 2021-09-06 | 2021-10-01 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、及计算机设备 |
| CN113469930B (zh) * | 2021-09-06 | 2021-12-07 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、及计算机设备 |
| CN113762173A (zh) * | 2021-09-09 | 2021-12-07 | 北京地平线信息技术有限公司 | 人脸光流估计及光流值预测模型的训练方法和装置 |
| CN113762173B (zh) * | 2021-09-09 | 2024-05-07 | 北京地平线信息技术有限公司 | 人脸光流估计及光流值预测模型的训练方法和装置 |
| CN113516689A (zh) * | 2021-09-10 | 2021-10-19 | 北京理工大学 | 一种基于关联帧约束的纹影特征可视化增强方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111328448B (zh) | 图像处理的方法和设备 | |
| CN109670397B (zh) | 人体骨骼关键点的检测方法、装置、电子设备及存储介质 | |
| CN107798669B (zh) | 图像去雾方法、装置及计算机可读存储介质 | |
| CN110782468B (zh) | 图像分割模型的训练方法及装置及图像分割方法及装置 | |
| CN104156947B (zh) | 图像分割方法、装置及设备 | |
| CN113160277A (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| CN107944367B (zh) | 人脸关键点检测方法及装置 | |
| CN112258404B (zh) | 图像处理方法、装置、电子设备和存储介质 | |
| CN105574857B (zh) | 图像分析方法及装置 | |
| CN111709891A (zh) | 图像去噪模型的训练方法、图像去噪方法、装置及介质 | |
| CN105095881A (zh) | 人脸识别方法、装置及终端 | |
| CN109784164B (zh) | 前景识别方法、装置、电子设备及存储介质 | |
| CN109509195B (zh) | 前景处理方法、装置、电子设备及存储介质 | |
| CN112991381B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| CN112188091B (zh) | 人脸信息识别方法、装置、电子设备及存储介质 | |
| KR102273059B1 (ko) | 얼굴 이미지를 강화하는 방법 및 장치, 전자 기기 | |
| CN110796012B (zh) | 图像处理方法、装置、电子设备及可读存储介质 | |
| CN106372663B (zh) | 构建分类模型的方法及装置 | |
| CN107239758B (zh) | 人脸关键点定位的方法及装置 | |
| CN110533006B (zh) | 一种目标跟踪方法、装置及介质 | |
| CN115953339A (zh) | 图像融合处理方法、装置、设备、存储介质及芯片 | |
| WO2023230927A1 (zh) | 图像处理方法、装置及可读存储介质 | |
| CN114640815A (zh) | 一种视频的处理方法、装置、电子设备及存储介质 | |
| CN112884813A (zh) | 图像处理方法、装置及存储介质 | |
| CN108062787B (zh) | 三维人脸建模方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |