CN112884813A - 图像处理方法、装置及存储介质 - Google Patents
图像处理方法、装置及存储介质 Download PDFInfo
- Publication number
- CN112884813A CN112884813A CN202110190428.7A CN202110190428A CN112884813A CN 112884813 A CN112884813 A CN 112884813A CN 202110190428 A CN202110190428 A CN 202110190428A CN 112884813 A CN112884813 A CN 112884813A
- Authority
- CN
- China
- Prior art keywords
- optical flow
- image frame
- pixel
- calibration
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- 230000003287 optical effect Effects 0.000 claims abstract description 263
- 238000000034 method Methods 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims description 34
- 238000004800 variational method Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 26
- 238000004891 communication Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 6
- 230000005236 sound signal Effects 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本公开是关于一种图像处理方法、装置及存储介质。该方法主要包括：基于待处理图像序列中第一图像帧的像素的初始光流，确定所述第一图像帧的像素的运动信息；基于所述第一图像帧的像素的运动信息和所述第一图像帧，投影得到第二图像帧；根据第二图像帧的像素的像素值和与第一图像帧相邻的第三图像帧的像素的像素值确定校准参数，基于所述校准参数对各个初始光流进行校准。由于第二图像帧是基于初始光流和第一图像帧投影得到的后一帧图像，而第三图像帧是原始的后一帧图像，基于第二图像帧的像素的像素值和第三图像帧的像素的像素值，能确定出初始光流的偏差程度，进而对初始光流进行校准，以提高光流的精确性。
Description
技术领域
本公开涉及图像技术领域，尤其涉及一种图像处理方法、装置及存储介质。
背景技术
光流在计算机视觉中具有非常重要的作用，在图像序列中对运动目标的分析可以帮助获得目标在时序上的特征、位置信息、结构信息等。通常直接计算目标的运动场比较复杂且困难，图像序列中的每个像素点隐含了丰富的运动信息，而光流正是表示每个像素点的运动信息，所以光流是图像序列中对运动分析必不可少的一种重要手段。
光流在计算机视觉中的应用非常广泛，例如，在行为识别中利用光流对时间域特征进行提取，从而可以对行为进行分类；在自动驾驶与同步定位与建图(simultaneouslocalization and mapping，SLAM)中使用光流对目标进行跟踪与重定位；在视频压缩与视频超帧率中利用光流来进行运动估计，从而根据运动估计来进行运动补偿。
可以看到在上述例子中光流起到一种中流砥柱的作用，如果没有估计到准确的光流，将会直接影响到最终结果的好坏，所以能够得到更加精确的光流，对光流的精度进一步处理是非常有必要的。
发明内容
本公开提供一种图像处理方法、装置及存储介质。
根据本公开实施例的第一方面，提供一种图像处理方法，包括：
基于待处理图像序列中第一图像帧的像素的初始光流，确定所述第一图像帧的像素的运动信息；
基于所述第一图像帧的像素的运动信息和所述第一图像帧，投影得到第二图像帧；
根据所述第二图像帧的像素的像素值和所述图像序列中与所述第一图像帧相邻的第三图像帧的像素的像素值，确定校准参数；
基于所述校准参数，对所述初始光流进行校准。
可选的，所述根据所述第二图像帧的像素的像素值和所述待处理图像序列中与所述第一图像帧相邻的第三图像帧的像素的像素值，确定校准参数，包括：
根据所述第二图像帧的像素的像素值和所述第三图像帧的像素的像素值之间的差值，确定所述初始光流所对应的校准参数；
其中，所述校准参数用于表征所述初始光流的偏差程度。
可选的，所述基于所述校准参数，对所述初始光流进行校准，包括：
在所述校准参数大于或者等于设定阈值时，基于所述校准参数对所述初始光流进行加权，得到校准光流。
可选的，所述基于所述校准参数，对所述初始光流进行校准，包括：
在所述校准参数小于设定阈值时，确定所述初始光流所对应的当前像素，以及与所述当前像素相邻的像素；
根据与所述当前像素相邻的像素的校准光流，对所述当前像素的所述初始光流进行校准。
可选的，所述根据与所述当前像素相邻的像素的校准光流，对所述当前像素的所述初始光流进行校准，包括：
基于设定权重对与所述当前像素相邻的像素的所述校准光流进行加权，得到加权值；
根据各个所述加权值的总和与所述当前像素相邻的像素的个数之间的比值，得到所述当前像素的校准光流。
可选的，所述方法还包括：
基于所述第一图像帧的图像梯度，利用变分法对校准后的光流进行处理，得到目标光流。
根据本公开实施例的第二方面，提供一种图像处理装置，包括：
第一获取模块，配置为基于待处理图像序列中第一图像帧的像素的初始光流，确定所述第一图像帧的像素的运动信息；
投影模块，配置为基于所述第一图像帧的像素的运动信息和所述第一图像帧，投影得到第二图像帧；
确定模块，配置为根据所述第二图像帧的像素的像素值和所述图像序列中与所述第一图像帧相邻的第三图像帧的像素的像素值，确定校准参数；
校准模块，配置为基于所述校准参数，对所述初始光流进行校准。
可选的，所述确定模块，还配置为：
根据所述第二图像帧的像素的像素值和所述第三图像帧的像素的像素值之间的差值，确定所述初始光流所对应的校准参数；
其中，所述校准参数用于表征所述初始光流的偏差程度。
可选的，所述校准模块，还配置为：
在所述校准参数大于或者等于设定阈值时，基于所述校准参数对所述初始光流进行加权，得到校准光流。
可选的，所述校准模块，还配置为：
在所述校准参数小于设定阈值时，确定所述初始光流所对应的当前像素，以及与所述当前像素相邻的像素；
根据与所述当前像素相邻的像素的校准光流，对所述当前像素的所述初始光流进行校准。
可选的，所述校准模块，还配置为：
基于设定权重对与所述当前像素相邻的像素的所述校准光流进行加权，得到加权值；
根据各个所述加权值的总和与所述当前像素相邻的像素的个数之间的比值，得到所述当前像素的校准光流。
可选的，所述装置还包括：
处理模块，配置为基于所述第一图像帧的图像梯度，利用变分法对校准后的光流进行处理，得到目标光流。
根据本公开实施例的第三方面，提供一种图像处理装置，包括：
处理器；
配置为存储处理器可执行指令的存储器；
其中，所述处理器配置为：执行时实现上述第一方面中任一种图像处理方法中的步骤。
根据本公开实施例的第四方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由图像处理装置的处理器执行时，使得所述装置能够执行上述第一方面中任一种图像处理方法。
本公开的实施例提供的技术方案可以包括以下有益效果：
由上述实施例可知，本公开在得到初始光流之后，可以基于初始光流和第一图像帧投影得到第二图像帧，并根据第二图像帧的像素的像素值和与第一图像帧相邻的第三图像帧的像素的像素值确定校准参数，并基于校准参数对初始光流进行校准。由于第二图像帧是基于初始光流和第一图像帧投影得到的后一帧图像，而第三图像帧是原始的后一帧图像，基于第二图像帧的像素的像素值和第三图像帧的像素的像素值，就能够确定出初始光流的偏差程度，进而对初始光流进行校准，以提高光流的精确性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种图像处理方法的流程示意图。
图2是根据一示例性实施例示出的图像帧示意图一。
图3是根据一示例性实施例示出的一种局部光流放大示意图。
图4是根据一示例性实施例示出的一种填充示意图。
图5是根据一示例性实施例示出的图像帧示意图二。
图6是根据一示例性实施例示出的图像帧示意图三。
图7是基于现有技术对初始光流进行校准的结果示意图一。
图8是基于现有技术对初始光流进行校准的结果示意图二。
图9是基于现有技术对初始光流进行校准的结果示意图三。
图10是基于现有技术对初始光流进行校准的结果示意图四。
图11是根据一示例性实施例示出的一种图像处理装置框图。
图12是根据一示例性实施例示出的一种用于图像处理装置1200的框图。
图13是根据一示例性实施例示出的另一种用于图像处理装置1300的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本公开实施例中提供了一种图像处理方法，图1是根据一示例性实施例示出的一种图像处理方法的流程示意图，如图1所示，该方法主要包括以下步骤：
在步骤101中，基于待处理图像序列中第一图像帧的像素的初始光流，确定所述第一图像帧的像素的运动信息；
在步骤102中，基于所述第一图像帧的像素的运动信息和所述第一图像帧，投影得到第二图像帧；
在步骤103中，根据所述第二图像帧的像素的像素值和所述图像序列中与所述第一图像帧相邻的第三图像帧的像素的像素值，确定校准参数；
在步骤104中，基于所述校准参数，对所述初始光流进行校准。
本公开实施例中所涉及的图像处理方法可以应用于电子设备，这里电子设备包括移动终端和固定终端，其中，移动终端包括：手机、平板电脑、笔记本电脑等；固定终端包括：个人计算机。在其他可选的实施例中，该图像处理方法也可以运行于网络侧设备，其中，网络侧设备包括：服务器、处理中心等。
本公开实施例中，可以通过预设的光流估计算法得到初始光流。例如，可以基于卷积神经网络得到初始光流，或者利用变分法得到初始光流。这里，初始光流可以是一个两层的矩阵，其中，一层代表u，作为横向运动矢量，另一层代表v，作为纵向运动矢量。图2是根据一示例性实施例示出的图像帧示意图一，图2中的(a)部分表示第一图像帧，(b)部分表示第三图像帧，(c)部分表示的是第一图像帧的初始光流。图3是根据一示例性实施例示出的一种局部光流放大示意图，图3中的(a)部分表示的是横向运动矢量，(b)部分表示的是纵向运动矢量。
在得到初始光流之后，可以基于初始光流确定第一图像帧的像素的运动信息，并基于第一图像帧的像素的运动信息和第一图像帧，投影得到第二图像帧。其中，运动信息包括：横向运动矢量和纵向运动矢量。得到第二图像帧的计算公式如下：
公式(1)中，
表示第二图像帧，即投影的后一帧图像，I1表示第一图像帧，f(x)表示初始光流，其中，f(x)∈{u,v}，u表示横向运动矢量，v表示纵向运动矢量，near()表示用最近邻的取整坐标。
在得到第二图像帧之后，可以基于第二图像帧的像素的像素值和待处理图像序列中与第一图像帧相邻的第三图像帧的像素的像素值确定校准参数，并基于校准参数对初始光流进行校准。在一些实施例中，校准参数可以直接基于第二图像帧中各个像素的像素值与第三图像帧中各个像素的像素值之差得到。当然，也可以基于其它方式确定校准参数，例如，分别对第二图像帧和第三图像帧中的各个像素值进行加权，然后基于加权后的各个像素值之差来确定校准参数等，在此不作具体限定。
在一些实施例中，待处理图像序列可以是由多个连续的图像帧构成的待处理视频，也可以是按照设定顺序排列的图像帧构成的图像序列，在此不作具体限定。
本公开实施例中，在得到初始光流之后，可以基于初始光流和第一图像帧投影得到第二图像帧，并根据第二图像帧的像素的像素值和与第一图像帧相邻的第三图像帧的像素的像素值确定校准参数，并基于校准参数对初始光流进行校准。由于第二图像帧是基于初始光流和第一图像帧投影得到的后一帧图像，而第三图像帧是原始的后一帧图像，基于第二图像帧的像素的像素值和第三图像帧的像素的像素值，就能够确定出初始光流的偏差程度，进而对初始光流进行校准，以提高光流的精确性。
在一些实施例中，所述根据所述第二图像帧的像素的像素值和所述图像序列中与所述第一图像帧相邻的第三图像帧的像素的像素值，确定校准参数，包括：
根据所述第二图像帧的像素的像素值和所述第三图像帧的像素的像素值之间差值，确定所述初始光流所对应的校准参数；
其中，所述校准参数用于表征所述初始光流的偏差程度。
在一些实施例中，第二图像帧与第三图像帧之间的差异，与初始光流所对应的校准参数负相关，且初始光流的偏差程度与校准参数负相关。也就是说，第二图像帧与第三图像帧之间的差异越小，初始光流所对应的校准参数越高，初始光流的偏差程度也越小；第二图像帧与第三图像帧之间的差异越大，初始光流所对应的校准参数越低，初始光流的偏差程度也越大。其中，校准参数可以用置信度来进行表示，在此不作具体限定。
本公开实施例中，可以先确定出第二图像帧的像素的像素值和第三图像帧的像素的像素值，然后基于各个像素之间的差值确定各个初始光流所对应的校准参数。在一些实施例中，校准参数的计算公式如下：
其中，t表示校准参数，max()表示取最大值，e为自然指数，
表示第二图像帧的像素的像素值，I2表示第三图像帧的像素的像素值，当I2与
的值接近时，校准参数越高，当I2与
的值相差较大时，校准参数越低。
本公开实施例中，由于校准参数是基于第二图像帧和第三图像帧的像素的像素值的差值确定的，通过校准参数表征初始光流的偏差程度，并基于校准参数对初始光流进行校准，能够提高校准后的光流的精确性。
在一些实施例中，所述基于所述校准参数，对所述初始光流进行校准，包括：
在所述校准参数大于或者等于设定阈值时，基于所述校准参数对所述初始光流进行加权，得到校准光流。
由于各个像素所对应的初始光流和校准参数有所不同，本公开实施例中，在得到初始光流所对应的校准参数之后，可以直接基于校准参数对初始光流进行校准，或者对校准参数进行加权，并基于加权后的校准参数对初始光流进行校准等，在此不作具体限定。
在一些实施例中，可以将校准参数与设定阈值进行比较，并在校准参数大于或者等于设定阈值时，直接基于该校准参数对初始光流进行校准。在另一些实施例中，在该校准参数小于设定阈值时，则将初始光流的校准参数设置为零。其中，校准参数的确定公式如下：
公式(3)中，c(x)表示最终确定的校准参数，t表示当前校准参数，设定阈值为1e-3。在其他可选的实施例中，设定阈值也可以是其他数值，可以根据经验值确定，或者通过设定算法确定，在此不作具体限定。
本公开实施例中，由于校准参数和第二图像帧的像素的像素值与第三图像帧的像素的像素值之间的差值负相关，在校准参数大于或者等于设定阈值时，表示第二图像帧和第三图像帧之间的差异较小，这时，可以直接基于校准参数对初始光流进行校准，进而提高校准后的光流的准确性。
本公开实施例中，在得到初始光流所对应的校准参数之后，可以基于校准参数对初始光流进行加权，以得到校准光流，例如。可以对初始光流以及该校准参数进行点积计算，以得到校准光流。其中，校准光流的计算公式如下：
fc(x)＝f(x).c(x) (4)
公式(4)中，fc表示校准光流，f表示初始光流，c表示校准参数。
本公开实施例中，由于校准参数是基于第二图像帧的像素的像素值和第三图像帧的像素的像素值之间的差值确定的，通过校准参数表征初始光流的偏差程度，并基于校准参数与初始光流之间的点积计算得到校准光流，能够提高校准光流的精确性。
在一些实施例中，所述根据所述校准参数，对对应的所述初始光流进行校准，包括：
在所述校准参数小于设定阈值时，确定所述初始光流所对应的当前像素，以及与所述当前像素相邻的像素；
根据与所述当前像素相邻的像素的校准光流，对所述当前像素的所述初始光流进行校准。
在校准参数小于设定阈值时，则表示第二图像帧和第三图像帧之间的差异较大，而导致第二图像帧和第三图像帧之间的差异较大的原因可能是初始光流异常，如果这时直接基于校准参数对初始光流进行校准，可能会导致校准后的光流不准确。
由于在校准参数小于设定阈值时，表示该点所对应的初始光流可能是错误的，本公开实施例中，在校准参数小于设定阈值时，会将校准参数设置为零，基于公式(4)可知，在校准参数为零的时候，得到的校准光流也为零，该校准光流所对应的像素点是一个空洞，本公开实施例中，可以采用软融合的方法对空洞的位置进行填充。
例如，可以确定初始光流所对应的当前像素，以及与当前像素相邻的像素；根据与当前像素相邻的像素的校准光流，对当前像素的初始光流进行校准。图4是根据一示例性实施例示出的一种填充示意图，如图4所示，当前像素301所在的位置时一个空洞，与当前像素301相邻的有四个像素，分别是第一像素302，第二像素303，第三像素304以及第四像素305，在实现的过程中，可以基于第一像素302的第一校准光流，第二像素303的第二校准光流，第三像素304的第三校准光流以及第四像素305的第四校准光流，对当前像素301的初始光流进行校准。
例如，可以基于第一校准光流，第二校准光流，第三校准光流以及第四校准光流的平均值，得到当前像素的校准光流。再例如，对第一校准光流，第二校准光流，第三校准光流以及第四校准光流进行排序，并基于排序结果确定出当前像素的校准光流等，在此不作具体限定。
在一些实施例中，所述根据与所述当前像素相邻的像素的校准光流，对所述当前像素的所述初始光流进行校准，包括：
基于设定权重对与所述当前像素相邻的像素的所述校准光流进行加权，得到加权值；
根据各个所述加权值的总和与所述当前像素相邻的像素的个数之间的比值，得到所述当前像素的校准光流。
这里，当前像素的校准光流的计算公式如下：
公式(5)中，z(x)表示当前像素的校准光流，vright表示第一像素的第一校准光流，vdown表示第二像素的第二校准光流，vleft表示第三像素的第三校准光流，vup表示第四像素的第四校准光流，divisor表示与当前像素相邻的像素的个数。
本公开实施例中，可以直接采用近邻法填充的方式，确定出当前像素的校准光流，能够使得最终确定出来的光流更加自然。
在一些实施例中，所述方法还包括：
基于所述第一图像帧的图像梯度，利用变分法对校准后的光流进行处理，得到目标光流。
这里，基于变分法的光流估计方法是假设图像在连续时间上的亮度是保持一致的。变分法的计算公式如下：
I(x,y,t)＝I(x+u,y+v,t+1) (6)；
对公式(6)进行泰勒展开化简后得到公式如下：
Ixu+Iyv+It＝0(2) (7)；
公式(7)中，Ix表示图像的横向梯度，Iy表示图像的纵向梯度，It表示图像的时间梯度，u表示横向光流，v表示纵向光流，用向量表示为：
其中，
ω＝[u,v]T。
当光流在法线方向时，因为方向无法估计，此时光流是不确定的，即光流“孔径问题”，为解决这个问题，引入一个平滑约束项，并假设光流场是分段光滑的。相关技术中，可以利用变分能量方程来计算光流u和v，能量方程包含两项，分别为：数据项与平滑约束项，公式如下：
公式(9)中，第一项是数据项，第二项是平滑约束项。
本公开实施例中，可以基于第一图像帧的图像梯度与校准后的光流，构建梯度项，并基于数据项、梯度项以及平滑约束项构建变分法中的能量方程。例如，基于第一图像帧的横向梯度与校准后的横向光流之间的第一乘积、第一图像帧的纵向梯度与校准后的纵向光流之间的第二乘积以及第一图像帧的时间梯度，构建梯度项。再例如，可以将第一乘积、第二乘积以及时间梯度相加，得到梯度项。
本公开实施例中，在相关技术的能量方程的基础上增加了梯度项，公式如下：
公式(10)中，Ix表示图像的横向梯度，Iy表示图像的纵向梯度，It表示图像的时间梯度，第一项是数据项，第二项是梯度项，第三项是平滑约束项，其中，
表示梯度。
本公开实施例中，在得到校准后的光流之后，可以基于第一图像帧的图像梯度，利用变分法对校准后的光流进行处理，得到目标光流，经过变分后得到的目标光流更加精细。
在实现的过程中，可以选取两组图像帧进行测试，设两组图像帧分别为SⅠ组和SⅡ组，图5是根据一示例性实施例示出的图像帧示意图二，图5中的(a)部分表示的是SⅠ组的第一图像帧，(b)部分表示的是SⅠ组的第三图像帧，(c)部分表示的是SⅠ组的第一图像帧的初始光流。图6是根据一示例性实施例示出的图像帧示意图三，图6中的(a)部分表示的是SⅡ组的第一图像帧，(b)部分表示的是SⅡ组的第三图像帧，(c)部分表示的是SⅡ组的第一图像帧的初始光流。
图7是基于现有技术对初始光流进行校准的结果示意图一，如图7所示，可以基于SimpleFlow算法对图5中所示的初始光流进行校准，图7中的(a)部分表示的是第一图像帧的初始光流，(b)部分表示的是对初始光流进行校准后得到的校准光流。
图8是基于现有技术对初始光流进行校准的结果示意图二，如图8所示，可以基于SpyNet算法对图5中所示的初始光流进行校准，图8中的(a)部分表示的是第一图像帧的初始光流，(b)部分表示的是对初始光流进行校准后得到的校准光流。
图9是基于现有技术对初始光流进行校准的结果示意图三，如图9所示，可以基于SimpleFlow算法对图6中所示的初始光流进行校准，图9中的(a)部分表示的是第一图像帧的初始光流，(b)部分表示的是对初始光流进行校准后得到的校准光流。
图10是基于现有技术对初始光流进行校准的结果示意图四，如图10所示，可以基于SpyNet算法对图6中所示的初始光流进行校准，图10中的(a)部分表示的是第一图像帧的初始光流，(b)部分表示的是对初始光流进行校准后得到的校准光流。
在实现的过程中，可以分别计算初始光流、校准光流和真实光流的点误差、角度误差和标准差，设定4个误差门限值，分别为0.5，1.0，2.0，5.0，结果如下表所示：
表1 SⅠ组光流校准结果对比表
表2 SⅡ组光流校准结果对比表
从四组对比数据可以看出，不论是采用变分法估计光流还是采用卷积神经网络估计光流(初始光流)，都存在误差，对两种方法估计的光流(初始光流)经过校正与精细化后可以看到，校准后的光流(校准光流)的点误差(endpointError)与角度误差(angularError)都明显有了降低，尤其在门限值为0.5时误差降低最为明显。计算估计光流(初始光流)和真实光流差值的标准差、校正与精细化光流(校准光流)和真实光流差值的标准差，通过对比可以看到经过校正与精细化后的光流标准差更小，说明经过校正与精细化后的光流更接近真实光流，光流精度得到了提升。
图11是根据一示例性实施例示出的一种图像处理装置框图，如图11所示，该装置1100主要包括：
第一获取模块1101，配置为基于待处理图像序列中第一图像帧的像素的初始光流，确定所述第一图像帧的像素的运动信息；
投影模块1102，配置为基于所述第一图像帧的像素的运动信息和所述第一图像帧，投影得到第二图像帧；
确定模块1103，配置为根据所述第二图像帧的像素的像素值和所述图像序列中与所述第一图像帧相邻的第三图像帧的像素的像素值，确定校准参数；
校准模块1104，配置为基于所述校准参数，对所述初始光流进行校准。
在一些实施例中，所述确定模块1103，还配置为：
根据所述第二图像帧的像素的像素值和所述第三图像帧的像素的像素值之间的差值，确定所述初始光流所对应的校准参数；
其中，所述校准参数用于表征所述初始光流的偏差程度。
在一些实施例中，所述校准模块1104，还配置为：
在所述校准参数大于或者等于设定阈值时，基于所述校准参数对所述初始光流进行加权，得到校准光流。
在一些实施例中，所述校准模块1104，还配置为：
在所述校准参数小于设定阈值时，确定所述初始光流所对应的当前像素，以及与所述当前像素相邻的像素；
根据与所述当前像素相邻的像素的校准光流，对所述当前像素的所述初始光流进行校准。
在一些实施例中，所述校准模块1104，还配置为：
基于设定权重对与所述当前像素相邻的像素的所述校准光流进行加权，得到加权值；
根据各个所述加权值的总和与所述当前像素相邻的像素的个数之间的比值，得到所述当前像素的校准光流。
在一些实施例中，所述装置1100还包括：
处理模块，配置为基于所述第一图像帧的图像梯度，利用变分法对校准后的光流进行处理，得到目标光流。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图12是根据一示例性实施例示出的一种用于图像处理装置1200的框图。例如，装置1200可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图12，装置1200可以包括以下一个或多个组件：处理组件1202，存储器1204，电力组件1206，多媒体组件1208，音频组件1210，输入/输出(I/O)接口1212，传感器组件1214，以及通信组件1216。
处理组件1202通常控制装置1200的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件1202可以包括一个或多个处理器1220来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件1202可以包括一个或多个模块，便于处理组件1202和其他组件之间的交互。例如，处理组件1202可以包括多媒体模块，以方便多媒体组件1208和处理组件1202之间的交互。
存储器1204被配置为存储各种类型的数据以支持在设备1200的操作。这些数据的示例包括用于在装置1200上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器1204可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电力组件1206为装置1200的各种组件提供电力。电力组件1206可以包括电源管理系统，一个或多个电源，及其他与为装置1200生成、管理和分配电力相关联的组件。
多媒体组件1208包括在所述装置1200和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件1208包括一个前置摄像头和/或后置摄像头。当设备1200处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件1210被配置为输出和/或输入音频信号。例如，音频组件1210包括一个麦克风(MIC)，当装置1200处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1204或经由通信组件1216发送。在一些实施例中，音频组件1210还包括一个扬声器，用于输出音频信号。
I/O接口1212为处理组件1202和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件1214包括一个或多个传感器，用于为装置1200提供各个方面的状态评估。例如，传感器组件1214可以检测到设备1200的打开/关闭状态，组件的相对定位，例如所述组件为装置1200的显示器和小键盘，传感器组件1214还可以检测装置1200或装置1200一个组件的位置改变，用户与装置1200接触的存在或不存在，装置1200方位或加速/减速和装置1200的温度变化。传感器组件1214可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1214还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件1214还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件1216被配置为便于装置1200和其他设备之间有线或无线方式的通信。装置1200可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件1216经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件1216还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置1200可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器1204，上述指令可由装置1200的处理器1220执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质，当所述存储介质中的指令由图像处理装置的处理器执行时，使得图像处理装置能够执行一种图像处理方法，所述方法包括：
基于待处理图像序列中第一图像帧的像素的初始光流，确定所述第一图像帧的像素的运动信息；
基于所述第一图像帧的像素的运动信息和所述第一图像帧，投影得到第二图像帧；
根据所述第二图像帧的像素的像素值和所述图像序列中与所述第一图像帧相邻的第三图像帧的像素的像素值，确定校准参数；
基于所述校准参数，对各个所述初始光流进行校准。
图13是根据一示例性实施例示出的另一种用于图像处理装置1300的框图。例如，装置1300可以被提供为一服务器。参照图13，装置1300包括处理组件1322，其进一步包括一个或多个处理器，以及由存储器1332所代表的存储器资源，用于存储可由处理组件1322的执行的指令，例如应用程序。存储器1332中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1322被配置为执行指令，以执行上述图像处理方法，所述方法包括：
基于待处理图像序列中第一图像帧的像素的初始光流，确定所述第一图像帧的像素的运动信息；
基于所述第一图像帧的像素的运动信息和所述第一图像帧，投影得到第二图像帧；
根据所述第二图像帧的像素的像素值和所述待处理图像序列中与所述第一图像帧相邻的第三图像帧的像素的像素值，确定校准参数；
基于所述校准参数，对所述初始光流进行校准。
装置1300还可以包括一个电源组件1326被配置为执行装置1300的电源管理，一个有线或无线网络接口1350被配置为将装置1300连接到网络，和一个输入输出(I/O)接口1358。装置1300可以操作基于存储在存储器1332的操作系统，例如Windows ServerTM，MacOS XTM，UnixTM，LinuxTM，FreeBSDTM或类似。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
Claims (14)
1.一种图像处理方法，其特征在于，包括：
基于待处理图像序列中第一图像帧的像素的初始光流，确定所述第一图像帧的像素的运动信息；
基于所述第一图像帧的像素的运动信息和所述第一图像帧，投影得到第二图像帧；
根据所述第二图像帧的像素的像素值和所述图像序列中与所述第一图像帧相邻的第三图像帧的像素的像素值，确定校准参数；
基于所述校准参数，对所述初始光流进行校准。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第二图像帧的像素的像素值和所述图像序列中与所述第一图像帧相邻的第三图像帧的像素的像素值，确定校准参数，包括：
根据所述第二图像帧的像素的像素值和所述第三图像帧的像素的像素值之间的差值，确定所述初始光流所对应的校准参数；
其中，所述校准参数用于表征所述初始光流的偏差程度。
3.根据权利要求1所述的方法，其特征在于，所述基于所述校准参数，对所述初始光流进行校准，包括：
在所述校准参数大于或者等于设定阈值时，基于所述校准参数对所述初始光流进行加权，得到校准光流。
4.根据权利要求1所述的方法，其特征在于，所述基于所述校准参数，对所述初始光流进行校准，包括：
在所述校准参数小于设定阈值时，确定所述初始光流所对应的当前像素，以及与所述当前像素相邻的像素；
根据与所述当前像素相邻的像素的校准光流，对所述当前像素的所述初始光流进行校准。
5.根据权利要求4所述的方法，其特征在于，所述根据与所述当前像素相邻的像素的校准光流，对所述当前像素的所述初始光流进行校准，包括：
基于设定权重，对与所述当前像素相邻的像素的所述校准光流进行加权，得到加权值；
根据各个所述加权值的总和与所述当前像素相邻的像素的个数之间的比值，得到所述当前像素的校准光流。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述方法还包括：
基于所述第一图像帧的图像梯度，利用变分法对校准后的光流进行处理，得到目标光流。
7.一种图像处理装置，其特征在于，包括：
第一获取模块，配置为基于待处理图像序列中第一图像帧的像素的初始光流，确定所述第一图像帧的像素的运动信息；
投影模块，配置为基于所述第一图像帧的像素的运动信息和所述第一图像帧，投影得到第二图像帧；
确定模块，配置为根据所述第二图像帧的像素的像素值和所述图像序列中与所述第一图像帧相邻的第三图像帧的像素的像素值，确定校准参数；
校准模块，配置为基于所述校准参数，对所述初始光流进行校准。
8.根据权利要求7所述的装置，其特征在于，所述确定模块，还配置为：
根据所述第二图像帧的像素的像素值和所述第三图像帧的像素的像素值之间的差值，确定所述初始光流所对应的校准参数；
其中，所述校准参数用于表征所述初始光流的偏差程度。
9.根据权利要求7所述的装置，其特征在于，所述校准模块，还配置为：
在所述校准参数大于或者等于设定阈值时，基于所述校准参数对所述初始光流进行加权，得到校准光流。
10.根据权利要求7所述的装置，其特征在于，所述校准模块，还配置为：
在所述校准参数小于设定阈值时，确定所述初始光流所对应的当前像素，以及与所述当前像素相邻的像素；
根据与所述当前像素相邻的像素的校准光流，对所述当前像素的所述初始光流进行校准。
11.根据权利要求10所述的装置，其特征在于，所述校准模块，还配置为：
基于设定权重对与所述当前像素相邻的像素的所述校准光流进行加权，得到加权值；
根据各个所述加权值的总和与所述当前像素相邻的像素的个数之间的比值，得到所述当前像素的校准光流。
12.根据权利要求7至11任一项所述的装置，其特征在于，所述装置还包括：
处理模块，配置为基于所述第一图像帧的图像梯度，利用变分法对校准后的光流进行处理，得到目标光流。
13.一种图像处理装置，其特征在于，包括：
处理器；
配置为存储处理器可执行指令的存储器；
其中，所述处理器配置为：执行时实现上述权利要求1至6中任一种图像处理方法中的步骤。
14.一种非临时性计算机可读存储介质，当所述存储介质中的指令由图像处理装置的处理器执行时，使得所述装置能够执行上述权利要求1至6中任一种图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110190428.7A CN112884813A (zh) | 2021-02-18 | 2021-02-18 | 图像处理方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110190428.7A CN112884813A (zh) | 2021-02-18 | 2021-02-18 | 图像处理方法、装置及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112884813A true CN112884813A (zh) | 2021-06-01 |
Family
ID=76056533
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110190428.7A Pending CN112884813A (zh) | 2021-02-18 | 2021-02-18 | 图像处理方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112884813A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023178951A1 (zh) * | 2022-03-25 | 2023-09-28 | 上海商汤智能科技有限公司 | 图像分析方法、模型的训练方法、装置、设备、介质及程序 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6658059B1 (en) * | 1999-01-15 | 2003-12-02 | Digital Video Express, L.P. | Motion field modeling and estimation using motion transform |
| US20050163348A1 (en) * | 2004-01-23 | 2005-07-28 | Mei Chen | Stabilizing a sequence of image frames |
| US20120127267A1 (en) * | 2010-11-23 | 2012-05-24 | Qualcomm Incorporated | Depth estimation based on global motion |
| CN110610465A (zh) * | 2019-08-26 | 2019-12-24 | Oppo广东移动通信有限公司 | 图像校正方法和装置、电子设备、计算机可读存储介质 |
| CN110896492A (zh) * | 2018-09-13 | 2020-03-20 | 传线网络科技（上海）有限公司 | 图像处理方法、装置及存储介质 |
-
2021
- 2021-02-18 CN CN202110190428.7A patent/CN112884813A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6658059B1 (en) * | 1999-01-15 | 2003-12-02 | Digital Video Express, L.P. | Motion field modeling and estimation using motion transform |
| US20050163348A1 (en) * | 2004-01-23 | 2005-07-28 | Mei Chen | Stabilizing a sequence of image frames |
| US20120127267A1 (en) * | 2010-11-23 | 2012-05-24 | Qualcomm Incorporated | Depth estimation based on global motion |
| CN110896492A (zh) * | 2018-09-13 | 2020-03-20 | 传线网络科技（上海）有限公司 | 图像处理方法、装置及存储介质 |
| CN110610465A (zh) * | 2019-08-26 | 2019-12-24 | Oppo广东移动通信有限公司 | 图像校正方法和装置、电子设备、计算机可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 屠大维;江济良;: "改进的光流运动图像分析方法及其应用", 光学精密工程, no. 05 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023178951A1 (zh) * | 2022-03-25 | 2023-09-28 | 上海商汤智能科技有限公司 | 图像分析方法、模型的训练方法、装置、设备、介质及程序 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110782468B (zh) | 图像分割模型的训练方法及装置及图像分割方法及装置 | |
| CN110827253A (zh) | 一种目标检测模型的训练方法、装置及电子设备 | |
| CN109871896B (zh) | 数据分类方法、装置、电子设备及存储介质 | |
| KR101694643B1 (ko) | 이미지 분할 방법, 장치, 기기, 프로그램 및 기록매체 | |
| US20160027191A1 (en) | Method and device for adjusting skin color | |
| CN109543066B (zh) | 视频推荐方法、装置和计算机可读存储介质 | |
| US20190369357A1 (en) | Methods and devices for adjusting lens position | |
| CN107944367B (zh) | 人脸关键点检测方法及装置 | |
| CN109670077B (zh) | 视频推荐方法、装置和计算机可读存储介质 | |
| CN107967459B (zh) | 卷积处理方法、装置及存储介质 | |
| CN107480785B (zh) | 卷积神经网络的训练方法及装置 | |
| CN107403144B (zh) | 嘴巴定位方法及装置 | |
| CN112188091B (zh) | 人脸信息识别方法、装置、电子设备及存储介质 | |
| CN109543069B (zh) | 视频推荐方法、装置和计算机可读存储介质 | |
| CN113160277A (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| CN107480773B (zh) | 训练卷积神经网络模型的方法、装置及存储介质 | |
| CN107657608B (zh) | 图像质量确定方法、装置及电子设备 | |
| CN107239758B (zh) | 人脸关键点定位的方法及装置 | |
| US9665925B2 (en) | Method and terminal device for retargeting images | |
| CN110533006B (zh) | 一种目标跟踪方法、装置及介质 | |
| CN112884813A (zh) | 图像处理方法、装置及存储介质 | |
| CN115512116A (zh) | 图像分割模型优化方法、装置、电子设备及可读存储介质 | |
| CN107122356B (zh) | 显示人脸颜值的方法及装置、电子设备 | |
| CN112951162B (zh) | 显示屏及其控制方法、装置 | |
| CN110659726B (zh) | 一种图像处理方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |