CN109919971A - 图像处理方法、装置、电子设备及计算机可读存储介质 - Google Patents
图像处理方法、装置、电子设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN109919971A CN109919971A CN201711335669.6A CN201711335669A CN109919971A CN 109919971 A CN109919971 A CN 109919971A CN 201711335669 A CN201711335669 A CN 201711335669A CN 109919971 A CN109919971 A CN 109919971A
- Authority
- CN
- China
- Prior art keywords
- video frame
- point
- initial
- optical flow
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明实施例提供了一种图像处理方法、装置、电子设备及计算机可读存储介质，所述方法包括：获取初始视频帧和第一视频帧，以及初始视频帧中的第一特征点和第一视频帧中的第二特征点；在完成初始视频帧中的第一特征点和第一视频帧的第二特征点的匹配后，将第一视频帧作为参考视频帧，并将成功匹配的第一视频帧中的第二特征点作为光流跟踪的初始点，对后面获取的更新视频帧进行光流跟踪，并计算更新映射矩阵，并且再将更新视频帧作为参考视频帧，对后续的视频帧继续进行光流跟踪，从而不需要再对更新视频帧及后续的视频帧获取特征点，就可以计算出映射矩阵，减少了计算量，提高计算速度，能够实现对具有连续性的视频图像进行实时的处理。
Description
技术领域
本发明涉及计算机技术领域，特别是涉及一种图像处理方法、装置、电子设备及计算机可读存储介质。
背景技术
随着计算机技术、机器视觉技术的高速发展，对于各种图像进行处理的需求日益增加。在图像处理领域，针对具有连续性的多个视频图像进行处理时，往往需要对图像中的景物位置变化情况进行分析，确定出连续图像中景物位置变化的规律。
例如，在增强现实技术中，通过各类增强现实工具，如手机、智能眼镜等，可以将虚拟物品呈现在通过摄像头获取的实际场景的图像中。当增强现实工具产生姿态位置变化时，可以通过摄像头所获取的图像的变化来确定出增强现实工具姿态位置的变化，进而更好的将虚拟物品呈现在图像中。增强现实工具的摄像头所获取的是实际场景的具有连续性的图像，通过对连续图像进行处理，可以得到每一帧图像之间的映射矩阵，即上一帧图像中的点位置坐标，可以通过该映射矩阵映射至下一帧图像中。如果可以得到该映射矩阵，则可以反推出实际场景的位置变化，即可以确定出增强现实工具姿态位置的变化。
在现有技术中，在对具有连续性的视频图像的景物位置变化情况进行分析时，往往需要确定出初始图像的特征点和发生位置变化后的图像的特征点，通过特征点的匹配，建立起两幅图像之间的映射矩阵。应用上述方法时，需要对获取的每一帧图像都确定特征点并计算映射矩阵，然而计算特征点的计算量较大，在对连续的视频图像进行处理时，计算耗时较长，无法实现实时的连续图像的处理。
发明内容
本发明实施例的目的在于提供一种图像处理方法、装置、电子设备及计算机可读存储介质，以提高图像处理效率，实现对连续的视频图像进行实时处理。具体技术方案如下：
本发明实施例公开了一种图像处理方法，包括：
获取初始视频帧和所述初始视频帧之后的第一视频帧，并确定出所述初始视频帧与所述第一视频帧之间的第一映射矩阵，所述第一映射矩阵为用于将所述初始视频帧中的点的坐标映射至所述第一视频帧中的点的坐标的转换矩阵；
将所述第一视频帧作为参考视频帧，将所述第一映射矩阵作为参考矩阵，将所述第一视频帧中与所述第一特征点匹配成功的第二特征点作为光流跟踪初始点；
获取所述参考视频帧之后的更新视频帧；
通过所述光流跟踪初始点，对所述更新视频帧进行光流跟踪，在所述更新视频帧中确定出与所述各光流跟踪初始点相对应的光流跟踪终点；
通过所述各光流跟踪初始点和所对应的光流跟踪终点，计算更新映射矩阵，所述更新映射矩阵为用于将所述参考视频帧中的点的坐标映射至所述更新视频帧中的点的坐标的转换矩阵；
将所述更新视频帧作为新的参考视频帧，将所述参考矩阵和所述更新映射矩阵相乘得到的矩阵作为新的参考矩阵。
可选的，所述获取初始视频帧和所述初始视频帧之后的第一视频帧，并确定出所述初始视频帧与所述第一视频帧之间的第一映射矩阵，包括：
获取初始视频帧，并确定所述初始视频帧中多个第一特征点；
获取所述初始视频帧之后的第一视频帧，并确定所述第一视频帧中多个第二特征点；
针对每个所述第二特征点，逐个与每个所述第一特征点进行匹配，确定出能够相匹配的多个特征点对；
通过所述多个特征点对计算第一映射矩阵。
可选的，所述获取初始视频帧，包括：
获取预设帧数的视频帧；
计算每一个所述视频帧的清晰度；
将清晰度最高的视频帧作为初始视频帧。
可选的，所述计算每一个所述视频帧的清晰度，包括：
将每一个所述视频帧转化为灰度图像；
计算每一个所述灰度图像的清晰度。
可选的，所述第一特征点及所述第二特点包括加速分割测试FAST特征点。
可选的，所述针对每个所述第二特征点，逐个与每个所述第一特征点进行匹配，确定出能够相匹配的多个特征点对，包括：
获取每个所述第一特征点对应的第一描述子；
获取每个所述第二特征点对应的第二描述子；
针对每个所述第二描述子，逐个计算该第二描述子与每个所述第一描述子之间的汉明距离，并确定出该第二描述子对应的最小的第一汉明距离对应的第一描述子；
将每个所述第二描述子对应的第二特征点，和与该第二描述子具有所述第一汉明距离第一描述子对应的第一特征点，作为一个特征点对。
可选的，在所述将每个所述第二描述子对应的第二特征点，和与该第二描述子具有所述第一汉明距离第一描述子对应的第一特征点，作为一个特征点对之后，并且在通过所述多个特征点对计算第一映射矩阵之前，所述方法还包括：
针对每个特征点对，确定该特征点对对应的第一汉明距离，以及该特征点对中包括的第二特征点对应的第二描述子对应的仅大于所述第一汉明距离的第二汉明距离；
当所述第一汉明距离与所述第二汉明距离的比值小于第一预设阈值时，丢弃该特征点对。
可选的，在所述针对每个所述第二特征点，逐个与每个所述第一特征点进行匹配，确定出能够相匹配的多个特征点对之后，所述方法还包括：
对所述多个特征点对，通过随机抽样一致性算法进行筛选，去除匹配不准确的特征点对。
可选的，所述通过所述多个特征点对计算第一映射矩阵，包括：
判断所述多个特征点对的数量是否超过第二预设阈值；
当所述多个特征点对的数量超过第二预设阈值时，通过所述多个特征点对计算第一映射矩阵。
可选的，在所述通过所述多个特征点对计算第一映射矩阵之后，所述方法还包括：
在所述初始视频帧中选取多个具有预设顺序的随机点；
将所述随机点通过第一映射矩阵映射至所述第一视频帧中；
判断映射至所述第一视频帧中的多个随机点是否满足所述预设顺序；
当不满足所述预设顺序时，放弃所述第一映射矩阵，并重新获取第一视频帧。
可选的，所述通过所述各光流跟踪初始点和所对应的光流跟踪终点，计算更新映射矩阵，包括：
判断所述各光流跟踪初始点和所对应的光流跟踪终点组成的点对数量是否超过第二预设阈值；
当所述点对的数量超过第二预设阈值时，通过所述各光流跟踪初始点和所对应的光流跟踪终点，计算更新映射矩阵。
可选的，在所述通过所述各光流跟踪初始点和所对应的光流跟踪终点，计算更新映射矩阵之后，所述方法还包括：
在所述参考视频帧中选取多个具有预设顺序的随机点；
将所述随机点通过更新映射矩阵映射至所述更新视频帧中；
判断映射至所述更新视频帧中的多个随机点是否满足所述预设顺序；
当不满足所述预设顺序时，放弃所述更新映射矩阵，并重新获取第一视频帧。
本发明实施例还公开了一种图像处理装置，包括：
获取模块，用于获取初始视频帧和所述初始视频帧之后的第一视频帧，并确定出所述初始视频帧与所述第一视频帧之间的第一映射矩阵，所述第一映射矩阵为用于将所述初始视频帧中的点的坐标映射至所述第一视频帧中的点的坐标的转换矩阵；
第一配置模块，用于将所述第一视频帧作为参考视频帧，将所述第一映射矩阵作为参考矩阵，将所述第一视频帧中与所述第一特征点匹配成功的第二特征点作为光流跟踪初始点；
更新模块，用于获取所述参考视频帧之后的更新视频帧；
跟踪模块，用于通过所述光流跟踪初始点，对所述更新视频帧进行光流跟踪，在所述更新视频帧中确定出与所述各光流跟踪初始点相对应的光流跟踪终点；
映射模块，用于通过所述各光流跟踪初始点和所对应的光流跟踪终点，计算更新映射矩阵，所述更新映射矩阵为用于将所述参考视频帧中的点的坐标映射至所述更新视频帧中的点的坐标的转换矩阵；
第二配置模块，用于将所述更新视频帧作为新的参考视频帧，将所述参考矩阵和所述更新映射矩阵相乘得到的矩阵作为新的参考矩阵，将所述更新视频帧中的所述光流跟踪终点作为新的光流跟踪初始点，并返回执行更新模块，直至对全部待处理的视频帧完成处理。
可选的，所述获取模块，包括：
第一获取子模块，用于获取初始视频帧，并确定所述初始视频帧中多个第一特征点；
第二获取子模块，用于获取所述初始视频帧之后的第一视频帧，并确定所述第一视频帧中多个第二特征点；
匹配子模块，用于针对每个所述第二特征点，逐个与每个所述第一特征点进行匹配，确定出能够相匹配的多个特征点对；
映射子模块，用于通过所述多个特征点对计算第一映射矩阵。
可选的，所述第一获取子模块，具体用于：
获取预设帧数的视频帧；计算每一个所述视频帧的清晰度；将清晰度最高的视频帧作为初始视频帧。
可选的，所述第一获取子模块，具体用于：
将每一个所述视频帧转化为灰度图像；计算每一个所述灰度图像的清晰度。
可选的，所述装置中的所述第一特征点及所述第二特点包括加速分割测试FAST特征点
可选的，所述匹配子模块，具体用于：
获取每个所述第一特征点对应的第一描述子；
获取每个所述第二特征点对应的第二描述子；
针对每个所述第二描述子，逐个计算该第二描述子与每个所述第一描述子之间的汉明距离，并确定出该第二描述子对应的最小的第一汉明距离对应的第一描述子；
将每个所述第二描述子对应的第二特征点，和与该第二描述子具有所述第一汉明距离第一描述子对应的第一特征点，作为一个特征点对。
可选的，所述装置还包括：
判断模块，用于针对每个特征点对，确定该特征点对对应的第一汉明距离，以及该特征点对中包括的第二特征点对应的第二描述子对应的仅大于所述第一汉明距离的第二汉明距离；当所述第一汉明距离与所述第二汉明距离的比值小于第一预设阈值时，丢弃该特征点对。
可选的，所述装置还包括：
筛选模块，用于对所述多个特征点对，通过随机抽样一致性算法进行筛选，去除匹配不准确的特征点对。
可选的，所述映射子模块，具体用于：
判断所述多个特征点对的数量是否超过第二预设阈值；当所述多个特征点对的数量超过第二预设阈值时，通过所述多个特征点对计算第一映射矩阵。
可选的，所述装置还包括第一验证模块，所述第一验证模块具体用于：
在所述初始视频帧中选取多个具有预设顺序的随机点；将所述随机点通过第一映射矩阵映射至所述第一视频帧中；判断映射至所述第一视频帧中的多个随机点是否满足所述预设顺序；当不满足所述预设顺序时，放弃所述第一映射矩阵，并重新获取第一视频帧。
可选的，所述映射模块，具体用于：
判断所述各光流跟踪初始点和所对应的光流跟踪终点组成的点对数量是否超过第二预设阈值；当所述点对的数量超过第二预设阈值时，通过所述各光流跟踪初始点和所对应的光流跟踪终点，计算更新映射矩阵。
可选的，所述装置还包括第二验证模块，所述第二验证模块具体用于：
在所述参考视频帧中选取多个具有预设顺序的随机点；将所述随机点通过更新映射矩阵映射至所述更新视频帧中；判断映射至所述更新视频帧中的多个随机点是否满足所述预设顺序；当不满足所述预设顺序时，放弃所述更新映射矩阵，并重新获取第一视频帧。
本发明实施例还公开了一种电子设备，包括处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，所述处理器被所述机器可执行指令促使：实现本发明实施例中的图像处理方法。
本发明实施例还公开了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例中的图像处理方法。
发明实施例提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行本发明实施例中的图像处理方法。
本发明实施例提供了一种计算机程序，当其在计算机上运行时，使得计算机执行本发明实施例中的图像处理方法。
本发明实施例提供的一种图像处理方法、装置、电子设备及计算机可读存储介质，可以在完成初始视频帧和第一视频帧的特征点匹配后，将第一视频帧作为参考视频帧，并将成功匹配的第一视频帧中的第二特征点作为光流跟踪的初始点，对后面获取的更新视频帧进行光流跟踪，并计算更新映射矩阵，并且再将更新视频帧作为参考视频帧，对后续的视频帧继续进行光流跟踪，从而不需要再对更新视频帧及后续的视频帧获取特征点，就可以计算出映射矩阵，减少了计算量，提高计算速度，从而能够实现对具有连续性的视频图像进行实时的处理。当然，实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的图像处理方法的流程图；
图2为本发明实施例提供的相匹配的特征点对的示意图；
图3为本发明实施例提供的图像处理方法的另一种流程图；
图4为本发明实施例提供的FAST特征点示意图；
图5为本发明实施例提供的图像处理方法的再一种流程图；
图6为本发明实施例提供的图像处理装置的结构图；
图7为本发明实施例提供的电子设备的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，图1为本发明实施例提供的图像处理方法的流程图，包括：
步骤S101，获取初始视频帧和初始视频帧之后的第一视频帧，并确定出初始视频帧与第一视频帧之间的第一映射矩阵，第一映射矩阵为用于将初始视频帧中的点的坐标映射至所述第一视频帧中的点的坐标的转换矩阵。
本发明实施例可以应用于能够获取图像信息的各类电子设备，例如，手机、平板电脑、智能眼镜等等。
电子设备可以通过例如摄像头等装置，获取具有连续性的视频图像，具有连续性的视频图像可以是视频，也可以是连续拍摄的照片。并且电子设备在获取该视频或照片时，可以处于运动的状态，或者所拍摄的景物处于运动状态。所以所获取的具有连续性的视频或照片中的景物的位置会发生变化。
在所获取的具有连续性的视频图像中，可以选取其中任意一帧图像作为初始视频帧，初始视频帧是对该连续的视频图像进行图像处理的起始的视频帧，可以以该初始视频帧为基础，对该初始视频帧之后的其他视频帧进行处理。
第一视频帧可以是与初始视频帧相邻的视频帧，也可以是初始视频帧之后的不与初始视频帧相邻的视频帧。在实际应用中，第一视频帧和初始视频帧之间的间隔应控制在预设范围内，否则容易导致第一视频帧与初始视频帧的特征点出现错误。
在获取初始视频帧和第一视频帧之后，可以通过计算特征点的方法，来确定出初始视频帧与第一视频帧之间的第一映射矩阵，第一映射矩阵可以用于将初始视频帧中的点的坐标映射至第一视频帧中，从而实现初始视频帧和第一视频帧中的点的坐标的转换。
具体的，步骤S101，获取初始视频帧和初始视频帧之后的第一视频帧，并确定出初始视频帧与第一视频帧之间的第一映射矩阵，可以包括：
步骤S101a，获取初始视频帧，并确定初始视频帧中多个第一特征点。
在确定出初始视频帧之后，可以在初始视频帧中确定出多个第一特征点。特征点是指视频帧中具有显著特征性的点，如，景物的角点、交叉点等等，并且在不同条件下，如光照强弱、角度变化等不同条件下，该点受到的干扰都较小。
现在有技术中，存在多种确定特征点的方法，例如，SIFT(Scale-invariantfeature transform，尺度不变特征转换)算法和角点检测法等等。
SIFT算法能够利用待检测图像与高斯核的卷积来建立尺度空间，并在高斯差分空间金字塔上提取出尺度不变性的特征点。
角点检测法，可以基于图像灰度的一阶导数矩阵，通过局部自相似性/自相关性，在某个局部窗口内图像块与在各个方向微小移动后的窗口内图像块的相似性来确定出特征点。
在实际应用中，可以根据需要选择合适的方法来从初始视频帧中确定出第一特征点，并且能够确定出第一特征点的各种方法，都可以应用于本发明实施例。
步骤S101b，获取初始视频帧之后的第一视频帧，并确定第一视频帧中多个第二特征点。
当对初始视频帧确定出多个第一特征点之后，可以继续获取初始视频帧之后的第一视频帧。
第一视频帧的图像中含有与初始视频帧中相同的景物，但景物的位置，光照条件等可能会产生变化。在获取了第一视频帧之后，通过与上述步骤S中同样的方法，确定出第一视频帧中的多个第二特征点，为后续的特征点的匹配建立基础。
步骤S101c，针对每个第二特征点，逐个与每个第一特征点进行匹配，确定出能够相匹配的多个特征点对。
当确定出初始视频帧中的多个第一特征点和第一视频帧中的多个第二特征点之后，就可以进行特征点的匹配。
每一个第二特征点，都需要和全部的第一特征点进行匹配，从而保证能够确定出最为准确的匹配结构。
特征点的匹配可以采用多种方式，例如，当采用SIFT算法时，可以根据SIFT特征点的欧式距离来进行匹配。如，可以取一个第二特征点，并在第一视频帧中确定出与该第二特征点的欧氏距离最近的两个第一特征点，当最近的欧氏距离除以次近的欧氏距离得到的值小于预设值，如0.8时，则认为该第二特征点与具有最近欧氏距离的第一特征点为一个能够相匹配的特征点对。
或者当特征点为其他特征点时，还可以对特征点计算相应的描述子，描述子是可以认为是特征点的局部表观，可以对特征点实现数字语言的描述。从而可以通过对特征点描述子的匹配来进行特征点的匹配。
完成特征点匹配后的结果可以如图2所示，图2中的两个视频帧中分别确定出的特征点，通过特征点的匹配，确定出多个相匹配的特征点对，在图中通过连接线来表示相匹配的两个特征点。
步骤S101d，，通过多个特征点对计算第一映射矩阵，第一映射矩阵为用于将初始视频帧中的点的坐标映射至第一视频帧中的点的坐标的转换矩阵。
设第一视频帧中第二特征点的坐标为X'＝[x' y' 1]T，与该第二特征点相匹配的初始视频帧中的第一特征点的坐标为X＝[x y 1]T，则相匹配的特征点应具有公式一所表示的关系，公式一为：
其中令
即矩阵Href能将初始视频帧中的点的坐标映射至第一视频帧中对应点的坐标，矩阵Href就是需要通过多个特征点对进行计算所要得到的第一映射矩阵，其中h11h12h13h21h22h23h31h32均为第一映射矩阵中的元素。
对公式一进行转换，可以得到公式二：
及公式三：
为了计算出第一映射矩阵中每一个元素的具体值，可以利用多对相匹配的特征点对的具体坐标，通过公式二及公式三联立方程组，进而计算出第一映射矩阵中每一个元素的具体值，其中多对相匹配的特征点对的具体坐标在确定特征点时，就可以获得，为已知参数。
多个相匹配的特征点对的具体坐标可以为：
(x1,y1)～(x1',y1')、(x2,y2)～(x'2,y'2)……(xn,yn)～(x'n,y'n)
其中(x1,y1)，(x2,y2)……(xn,yn)为初始视频帧中的第一特征点，(x1',y1')，(x'2,y'2)……(x'n,y'n)为第一视频帧中的第二特征点。
叠加多对相匹配的坐标，并将公式二及公式三写成矩阵形式，可以得到公式四：
公式四也可以记为简化形式：Ah＝b
进而可以得到公式五：h＝(AT A)-1(AT b)
通过公式五可以计算出第一映射矩阵Href中全部元素的具体值，从而得到第一映射矩阵Href。
在本发明实施例中，通过上述的计算方法，使得对于第一映射矩阵的计算更加具有鲁棒性，并且更加快速，提高了整体的图像处理速度。
步骤S102，将第一视频帧作为参考视频帧，将第一映射矩阵作为参考矩阵，将第一视频帧中与第一特征点匹配成功的第二特征点作为光流跟踪初始点。
当确定出第一映射矩阵之后，可以将第一视频帧作为参考视频帧，将第一映射矩阵作为参考矩阵。并且将第一视频帧中与第一特征点匹配成功的第二特征点作为光流跟踪初始点。
光流可以被认为是空间运动物体在观察成像平面上的像素运动的瞬时速度，光流是由于场景中景物本身的移动、相机的运动，或者两者的共同运动所产生的。光流跟踪就是利用具有连续性的图像中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。
参考视频帧是对后续的视频帧进行光流跟踪的起始位置，每一次光流跟踪都是对于参考视频帧中光流跟踪初始点进行光流跟踪。
步骤S103，获取参考视频帧之后的更新视频帧。
步骤S104，通过光流跟踪初始点，对更新视频帧进行光流跟踪，在更新视频帧中确定出与各光流跟踪初始点相对应的光流跟踪终点。
当已经确定出参考视频帧后，就可以获取参考视频帧之后的更新视频帧，更新视频帧与参考视频帧可以是相邻的视频帧，也可以是不相邻的视频帧，但同样的，更新视频帧与参考视频帧之间的间隔应控制在预设范围内。
当获取更新视频帧之后，可以不再对更新视频帧进行特征点的提取，直接通过光流跟踪的方法，确定出参考视频帧中的各光流跟踪初始点在更新视频帧中所对应的各光流跟踪终点。
其中，光流跟踪的方法，可以为：基于区域或者基于特征的匹配方法；基于频域的方法；基于梯度的方法，本发明实施例对此不进行限定。
步骤S105，通过各光流跟踪初始点和所对应的光流跟踪终点，计算更新映射矩阵，更新映射矩阵为用于将参考视频帧中的点的坐标映射至更新视频帧中的点的坐标的转换矩阵。
通过与步骤S104中同样的方法，可以利用各光流跟踪初始点和所对应的光流跟踪终点的坐标，根据公式五计算出更新映射矩阵。
更新映射矩阵，就是参考视频帧与更新视频帧之间的映射矩阵，通过更新映射矩阵可以实现参考视频帧与更新视频帧中点的坐标的转换，进而可以根据该更新映射矩阵确定出参考视频帧与更新视频帧中景物的位置变化情况，或者是拍摄景物的电子设备的位置变化情况。
步骤S106，将更新视频帧作为新的参考视频帧，将参考矩阵和更新映射矩阵相乘得到的矩阵作为新的参考矩阵，将更新视频帧中的光流跟踪终点作为新的光流跟踪初始点，并返回执行步骤S103，直至对全部待处理的视频帧完成处理。
当确定出更新映射矩阵之后，就可以将更新视频帧作为新的参考视频帧，将参考矩阵和更新映射矩阵相乘得到的矩阵作为新的参考矩阵。
用Htmp表示更新映射矩阵，Href表示参考矩阵，Hnew＝Htmp*Href，将获取的Hnew矩阵作为新的参考矩阵，即令Href＝Hnew。
同样的，当更新视频帧作为新的参考视频帧之后，该更新视频帧中的原来的光流跟踪终点，也会最为新的光流跟踪初始点。进而再次获取后续的视频帧，并再次以同样的方式进行光流跟踪，得到对应的映射矩阵。采用同样的方法，直至对全部待处理的视频帧完成处理，从而实现对获取的具有连续性的视频图像进行实时的处理。其中，全部待处理的视频帧可以是在处理过程中实时获取的，也可以是在整个处理过程刚开始时就已经获取的。
在本发明实施中，可以在完成初始视频帧和第一视频帧的特征点匹配后，将第一视频帧作为参考视频帧，并将成功匹配的第一视频帧中的第二特征点作为光流跟踪的初始点，对后面获取的更新视频帧进行光流跟踪，并计算更新映射矩阵，并且再将更新视频帧作为参考视频帧，对后续的视频帧继续进行光流跟踪，从而不需要再对更新视频帧及后续的视频帧获取特征点，就可以计算出映射矩阵，减少了计算量，提高计算速度，从而能够实现对具有连续性的视频图像进行实时的处理。
参见图3，当实际应用本发明实施例所提供的图像处理方法时，在获取初始视频帧时，还可以包括：
步骤S301，获取预设帧数的视频帧。
在获取初始视频帧时，可以先获取预设帧数的视频帧，该预设帧数的视频帧可以电子设备与所拍摄的景物不发生相对位移的，并且是连续的视频帧。其中，预设帧数可以根据需要进行配置，一般优选为5至10帧。
步骤S302，计算每一个视频帧的清晰度。
在计算每一个视频帧的清晰度时，可以首先将每一个视频帧转化为灰度图像；然后再计算每一个灰度图像的清晰度，从而能够能加快速准确的完成图像清晰度的计算。
可以使用公式六，将视频帧转化为灰度图像，公式六为：
Y＝0.299*R+0.587*G+0.114*B
其中Y为灰度值，R,G,B分别为彩色图片中的红绿蓝分量。
通过公式六将每一个视频帧转化为灰度图像之后，在对该灰度图像通过公式七进行清晰度的计算，其中公式七为：
其中f为清晰值，I(x,y)为灰度图像中位于坐标(x,y)的灰度值，H为灰度图像的高度，W为灰度图像的宽度。
步骤S303，将清晰度最高的视频帧作为初始视频帧。
当确定出每一个视频帧的清晰度后，可以从预设帧数的视频帧中确定出清晰度最高的视频帧作为初始视频帧。
通过从预设帧数的视频帧中选择出清晰度最高的视频帧作为初始视频帧，可以提高初始视频帧的图像质量，从而能够更准确的确定出初始视频帧中的第一特征点，保证后续的步骤的正确执行。
可选的，在本发明实施例提供的图像处理方法中，第一特征点及第二特点包括加速分割测试FAST特征点。
在本发明实施例中，从初始视频帧中提取的多个第一特征点以及从第一视频帧中提取的多个第二特征点可以为FAST(features from accelerated segment test，加速分割测试)特征点。
FAST特征点通过判断一个像素点与其周围的预设半径的一圈像素点是否具有明显差异来确定该点是否可以作为FAST特征点。
例如，如图4所示，在图4中点p是待检测的一个像素点，预设半径设为3，即3个像素点的距离的一圈像素点，从图中可以看出，共有16个像素点可以对点p进行判断。在实际应用时，当超过预设数量的点时，就可以认为点p可以作为一个特征点，如，在图4所示的例子中，当超过9个像素点与点p具有明显的差异时，则点p可以作为一个特征点，或者预设数量也可以取用于比较的像素点数量的3/4。
具体的，比较待检测的像素点是否与周围像素点具有明显的差异可以通过公式八进行判断，公式八为：
其中p为待检测点，I(p)为候选特征点的灰度值，εd为灰度差值阈值，
I(x)为以候选点为圆心，周围一圈的像素点中的任一像素点。
在本发明实施例中，FAST特征点能够实现快速的特征点的检测及获取，可以提高计算速度，使用FAST特征点作为第一特征点及第二特征点，能够提高整体对于图像的处理速度，从而进一步实现对具有连续性的图像的实时处理。
可选的，在本发明实施例提供的图像处理方法中，针对每个第二特征点，逐个与每个第一特征点进行匹配，确定出能够相匹配的多个特征点对时，可以获取每个第一特征点对应的第一描述子，并获取每个第二特征点对应的第二描述子。
描述子是可以认为是特征点的局部表观，可以对特征点实现数字语言的描述。在确定出特征点的同时，可以对特征点进行相应的数学处理从而获得该特征点的描述子。描述子可以有很多种类型，例如，比如BRIEF(Binary Robust Independent ElementaryFeatures，鲁棒二进制像素独立特征)描述子、ORB(Oriented FAST and Rotated BRIEF，旋转不变性鲁棒二进制像素独立特征)描述子、FREAK(Fast Retina Keypoint,快速视网膜特征)描述子等。在此，仅使用BRIEF描述子来进行详细介绍，其余描述子的使用方式与BRIEF描述子类似，不再一一进行说明。
确定出特征点p之后，可以以特征点p为中心，取一个大小为S×S大小的区域。
在这个区域内随机取N对像素点，进行τ测试，τ测试为通过公式九，逐对的比较N对像素点的灰度值大小，公式九为：
其中，x，y分别表示一对像素点中的两个像素点，p(x)，p(y)分别表示一对点中的两个像素点的灰度值。
通过公式九可以得到N个二进制码，然后在通过公式十，将所得到的N个二进制码组成一个N维二进制向量，公式十为：
所得到的N维二进制向量就是特征点p所对应的BRIEF描述子。
在本发明实施例中，当获取第一特征点之后，就可以同步的获取每一个第一特征点的所对应的第一描述子。同样的，当获取第二特征点之后，也可以同步的获取每一个第二特征点的所对应的第二描述子。第一描述子和第二描述子为同一类型的描述子，例如可以为BRIEF描述子。
当确定出每个第一特征点对应的第一描述子和每个第二特征点所对应的第二描述子之后，就可以针对每个第二描述子，逐个计算该第二描述子与每个第一描述子之间的汉明距离，并确定出该第二描述子对应的最小的第一汉明距离对应的第一描述子；将每个第二描述子对应的第二特征点，和与该第二描述子具有第一汉明距离第一描述子对应的第一特征点，作为一个特征点对。
汉明距离是指两个字符串对应位置的不同字符的个数。可以理解为将一个字符串变换成另外一个字符串所需要替换的字符个数。例如：1101与1011之间的汉明距离是2；123456与321456之间的汉明距离是3。
第一描述子和第二描述子都为长度相等的字符串或N维向量。所以可以通过比较第一描述子和第二描述子之间的汉明距离来确定出两个描述子之间的近似程度，汉明距离越小则表示两个描述子的相似程度越高，从而两个描述子所对应的两个特征点的匹配程度越高。
每个第二描述子可以逐个的与每个第一描述子计算汉明距离，从而确定出与该第二描述子具有第一汉明距离的第一描述子，第一汉明距离是指与该第二描述子对应的最小的汉明距离。该第二描述子对应的第二特征点，与该第一描述子对应的第一特征点，可以作为一个相匹配的特征点对。
具体的，对每个第二描述子可以逐个的与每个第一描述子计算汉明距离，可以通过软件编程的方式或其他计算方法进行实现，具体过程属于现有技术，在此不再赘述。
在本发明实施例中，通过描述子实现第一特征点和第二特征点的匹配，使得特征点的匹配更加准确、快捷，可以提高图像处理的准确度。
当在使用描述子实现第一特征点和第二特征点的匹配时，为了能够进一步提高特征点匹配的准确性，在将每个第二描述子对应的第二特征点，和与该第二描述子具有第一汉明距离第一描述子对应的第一特征点，作为一个特征点对之后，并且在通过多个特征点对计算第一映射矩阵之前，本发明实施例所提供的图像处理方法还包括：
第一步，针对每个特征点对，确定该特征点对对应的第一汉明距离，以及该特征点对中包括的第二特征点对应的第二描述子对应的仅大于第一汉明距离的第二汉明距离。
确定出一个特征点对后，该特征点对中的第一特征点和第二特征点，分别对应的第一描述子和第二描述子具有第一汉明距离，即该第二描述子与该第一描述子的汉明距离最小。
并且，由于对于每个第二描述子，逐个的计算过与每一个第一描述子的汉明距离，所以也可以容易的得到仅大于第一汉明距离的第二汉明距离。第二汉明距离是该第二描述子与另一个第一描述子的汉明距离。
第二步，当第一汉明距离与第二汉明距离的比值小于第一预设阈值时，丢弃该特征点对。
当获取第二汉明距离之后，可以判断第一汉明距离与第二汉明距离的比值是否小于第一预设阈值，第一预设阈值为小于1的常数，可以根据需要进行配置，具体数值在此不作限定。当第一汉明距离与第二汉明距离的比值小于第一预设阈值时，则表示该特征点对中的第二特征点过于孤立，有可能是一个噪点，所以该特征点对的匹配有可能发生错误，为了提高后续图像处理的准确度，可以放弃该特征点对。
可选的，在本发明实施例提供的图像处理方法中，在针对每个第二特征点，逐个与每个第一特征点进行匹配，确定出能够相匹配的多个特征点对之后，该方法还包括：
对多个特征点对，通过随机抽样一致性算法进行筛选，去除匹配不准确的特征点对。
由于确定出的多个相匹配的特征点对中的第一特征点和第二特征点，有可能出现噪点，不能保证全部特征点都是可用的。并且在对第一特征点和第二特征点进行匹配时，有可能会出现匹配错误的可能。所以，当确定出多个相匹配的特征点对后，可以使用机抽样一致性算法，对多个特征点对进行筛选，去除匹配不准确的特征点对。
随机抽样一致性算法(RANSAC，RANdom SAmple Consensus)是一种用途很广泛的算法。可以从一组包含不准确数据的观测数据集中，通过迭代方式估计数学模型的参数。
将多个特征点对输入该随机抽样一致性算法，通过反复迭代计算，可以排除其中不准确的匹配点对以及错误的特征点。
具体的，通过随机抽样一致性算法对特征点对进行筛选的具体流程属于现有技术，在此不再进行赘述。在本发明实施例中，通过随机抽样一致性算法对特征点对进行筛选，能够提高特征点对的匹配的准确度，进而在后续生成第一映射矩阵时，能够获得更加准确的映射矩阵。并且可以快速的排除不合理特征点，提高了效率。
可选的，在本发明实施例提供的图像处理方法中，通过多个特征点对计算第一映射矩阵，包括：
判断多个特征点对的数量是否超过第二预设阈值。
当多个特征点对的数量超过第二预设阈值时，通过多个特征点对计算第一映射矩阵。
在使用多个特征点对计算第一映射矩阵时，可以首先判断多个特征点对的数量是否超过第二预设阈值，第二预设阈值可以根据需要进行配置，一般可以为6，即至少存在6对特征点对。
当特征点对的数量超过第二预设阈值时，再通过多个特征点对计算出第一映射矩阵。
通过判断特征点对的数量，首先可以保证有足够数量的特征点对能够进行计算，从而可以得到第一映射矩阵中的全部元素的值。并且特征点对的数量如果过少，则证明初始视频帧中的第一特征点与第一视频帧中的第二特征点，不能很好的进行匹配，所获取的第一视频帧可能由于光线角度等问题，与初始视频帧差异过大，不适合进行特征点的匹配，从而可以重新获取新的第一视频帧，再次重复前面的步骤，直至特征点对的数量超过第二预设阈值。
可选的，在本发明实施例提供的图像处理方法中，在通过多个特征点对计算第一映射矩阵之后，可以对该第一映射矩阵是否正确进行判断，具体的判断方法可以包括：
第一步，在初始视频帧中选取多个具有预设顺序的随机点。
再初始视频帧中可以选择出多个具有预设顺序的随机点，预设顺序的随机点可以是顺时针的分布的多个点，或者是逆时针分布的多个点。在实际应用中，优选的可以选择初始视频帧的四个顶点，并且采用顺时针的顺序进行提取并计算。
第二步，将随机点通过第一映射矩阵映射至第一视频帧中。
可以将初始视频帧中的4个顶点，按顺时针的顺序，通过第一映射矩阵一个一个的映射至第一视频帧中。
第三步，判断映射至第一视频帧中的多个随机点是否满足预设顺序。
判断映射至第一视频帧中的4个顶点，是否保持了原来的顺时针的顺序。
第四步，当不满足预设顺序时，放弃第一映射矩阵，并重新获取第一视频帧。
当不满足顺时针顺序时，则表示第一映射矩阵不能准确的将初始视频帧中的点映射至第一视频帧中，第一映射矩阵具有明显的错误，不能使用。所以需要放弃该第一映射矩阵，并且重新获取新的第一视频帧，并重新获取第二特征点，重新计算第一映射矩阵后再次进行上述步骤。
当映射至第一视频帧的四个顶点，满足顺时针顺序时，则表示第一映射矩阵能够准确的将初始视频帧中的点映射至第一视频帧中，可以继续进行后续的步骤。
在本发明实施例中，通过对第一映射矩阵进行验证，进一步保证了本发明实施例提供的图像处理方法的准确性。
可选的，在本发明实施例提供的图像处理方法中，通过各光流跟踪初始点和所对应的光流跟踪终点，计算更新映射矩阵，包括：
判断各光流跟踪初始点和所对应的光流跟踪终点组成的点对数量是否超过第二预设阈值；
当点对的数量超过第二预设阈值时，通过各光流跟踪初始点和所对应的光流跟踪终点，计算更新映射矩阵。
同样的，在计算更新映射矩阵时，也可以判断各光流跟踪初始点和所对应的光流跟踪终点组成的点对数量是否超过第二预设阈值，第二预设阈值，第二预设阈值可以根据需要进行配置，一般可以为6，即至少存在6对光流跟踪初始点和所对应的光流跟踪终点。
当点对的数量没有超过第二预设阈值时，则表示对于更新视频帧的光流跟踪出现了异常，不能通过目前的光流跟踪结果得到正确的第二映射矩矩阵。可以重新获取新的第一视频帧，并再次对该新的第一视频帧获取第二特征点，重新执行后续步骤。
与上述的方法类似，在通过各光流跟踪初始点和所对应的光流跟踪终点，计算更新映射矩阵之后，也可以对该更新映射矩阵是否正确进行判断，具体的判断方法，也与对第一映射矩阵进行判断的方法类似，包括：
第一步，在参考视频帧中选取多个具有预设顺序的随机点；
第二步，将随机点通过更新映射矩阵映射至更新视频帧中；
第三步，判断映射至更新视频帧中的多个随机点是否满足预设顺序；
第四步，当不满足预设顺序时，放弃更新映射矩阵，并重新获取第一视频帧。
与对第一映射矩阵进行判断的方法类似，可以从参考视频帧中选择出多个具有预设顺序的随机点，例如四个顺时针的顶点。然后将该顺时针的四个顶点通过更新映射矩阵映射至更新视频帧中，如果映射至更新视频帧中的点也为顺时针，则可以认为该更新映射矩阵是正确的，如果不是顺时针，则表示该更新映射矩阵是错误的，不能使用，从而可以放弃该更新映射矩阵，并重新获取新的第一视频帧，并再次对新的第一视频帧重新获取第一特征点，并重新执行后续的步骤S。通过对更新映射矩阵进行验证，保证了对更新视频帧进行光流跟踪的准确性，从而在整体上提高本发明实施例提供的图像处理方法的准确性。
本发明实施例提供的图像处理方法，可以应用于增强现实设备中，例如手机、相机、智能眼镜等，通过增强现实设备的摄像头等图像采集装置，可以获取现实场景中的图像，通过图像中景物位置的变化，计算出两帧图像之间的映射矩阵，通过映射矩阵，确定出增强现实设备相对于初始位置的姿态变化，从而将虚拟的景物显示在现实场景图像中合适的位置。
现有技术中，增强现实设备也可以通过传感器如陀螺仪、水平仪等，监测增强现实设备的姿态变化，但由于没有图像信息的参考，导致不能准确的反映出增强现实设备的姿态变化。而现有通过图像来判断增强现实设备姿态的方法中，一般采用图像标识版的方法，首先将采集到的彩色图像根据阈值分割转化为一副二值图像。然后对该二值图像进行连通域分析，找出其中所有的四边形区域作为候选匹配区域。然后再通过候选匹配区域与预先存储的标识版进行匹配，从而对相匹配的区域在不同视频帧中进行跟踪，进而确定图像的位置变化。这种标识版虽然计算过程简单，但是需要精心设计标识版的形状和颜色分布，并且预先知道场景中有哪种预设的标记。当光照动态变化时，标识版上的阴影部分会极大影响检测结果。并且该标记在实际使用中显得与周围环境格格不入，影响用户体验。
而采用计算特征点的方式对图像进行处理时，在由于增强现实设备计算性能有限，不能及时完成大量的特征点的计算，无法实现实时的图像处理，并确定出增强现实设备的位置姿态。
本发明实施例提供的图像处理方法应用于增强现实设备时，由于采用了光流跟踪的方法对视频帧中的特征点进行光流跟踪，从而不需要对每个视频帧都计算特征点，减少了计算量，提高了计算速度，使得增强现实设备能够实现实时的图像处理，并及时确定出增强现实设备的位置姿态。
在增强现实设备中应用本发明实施例提供的图像处理方法的具体流程，如图5所示，包括：
步骤S501，获取预设帧数的视频帧。
增强现实设备尽量保持静止，通过摄像头等获取预设帧数的视频帧，如5至10帧视频帧。
步骤S502，获取初始视频帧，并确定初始视频帧中多个第一特征点，及每一特征点对应的第一描述子。
增强现实设备在所获取的预设帧数的视频帧之后，可以将该视频帧转化为灰度图像，并计算其清晰度，根据清晰度选择出清晰度最高的视频帧作为初始视频帧。并对该初始视频帧获取多个第一特征点，及每个第一特征点对应的第一描述子。
步骤S503，获取第一视频帧，并确定第一视频帧中多个第二特征点，及每二特征点对应的第二描述子。
获取初始视频帧之后的第一视频帧，并对该第一视频帧获取多个第二特征点，及每个第二特征点对应的第二描述子。
步骤S504，针对每个第二特征点，逐个与每个第一特征点进行匹配，确定出能够相匹配的多个特征点对。
通过计算第一特征点与第二特征点分别对应的第一描述子和第二描述子之间的汉明距离，确定出相匹配的多个特征点对。
在通过随机抽样一致性算法多个特征点对进行筛选，去掉具有明显错误的特征点对。
步骤S505，计算第一映射矩阵，并判断匹配结果是否正确。
在计算第一映射矩阵之前，首先判断多个特征点对的数量是否超过第二预设阈值，当多个特征点对的数量超过第二预设阈值时，通过多个特征点对计算第一映射矩阵。
获取第一映射矩阵后，将初始视频帧中的四个顶点，顺时针的通过第一映射矩阵映射至第一视频帧中，如果映射之后的四个顶点的顺序依然为顺时针，则表示匹配结果正确，第一映射矩阵可以使用，否则，返回步骤S502，重新获取第一视频帧，并重新进行后续步骤。
步骤S506，将第一视频帧作为参考视频帧，将第一映射矩阵作为参考矩阵，将第一视频帧中与第一特征点匹配成功的第二特征点作为光流跟踪初始点。
当确定出第一映射矩阵之后，就可以将第一视频帧作为参考视频帧，将第一映射矩阵作为参考矩阵。并且将第一视频帧中与第一特征点匹配成功的第二特征点作为光流跟踪初始点。
步骤S507，获取参考视频帧之后的更新视频帧，通过光流跟踪初始点，对更新视频帧进行光流跟踪，在更新视频帧中确定出与各光流跟踪初始点相对应的光流跟踪终点。
当获取更新视频帧之后，可以不再对更新视频帧进行特征点的提取，直接通过光流跟踪的方法，确定出参考视频帧中的各光流跟踪初始点在更新视频帧中所对应的各光流跟踪终点。
步骤S508，计算更新映射矩阵，并判断光流跟踪结果是否正确。
在计算更新映射矩阵之前，同样的，可以首判断各光流跟踪初始点和所对应的光流跟踪终点组成的点对的数量是否超过第二预设阈值，当各光流跟踪初始点和所对应的光流跟踪终点组成的点对的数量超过第二预设阈值时，再计算更新映射矩阵。
获取更新映射矩阵后，将第一视频帧中的四个顶点，顺时针的通过更新映射矩阵映射至更新视频帧中，如果映射之后的四个顶点的顺序依然为顺时针，则表示匹配结果正确，更新映射矩阵可以使用，否则，返回步骤S502，重新获取第一视频帧，并重新进行后续步骤。
步骤S509，将更新视频帧作为新的参考视频帧，将参考矩阵和更新映射矩阵相乘得到的矩阵作为新的参考矩阵。
当确定出更新映射矩阵之后，就可以将更新视频帧作为新的参考视频帧，将参考矩阵和更新映射矩阵相乘得到的矩阵作为新的参考矩阵，并且返回步骤S507，再次获取新的更新视频帧，对后续的视频帧继续进行处理。
步骤S510，根据参考矩阵确定出增强现实设备的位置姿态。
当确定出参考矩阵之后，增强现实设备及可以根据该参考矩阵确定出相对于初始位置，或者相对于上一帧时的位置，增强现实设备的位置及姿态发生的变化。从而将虚拟景物，显示在合适的图像位置中。
参见图6，图6为本发明实施例提供的图像处理装置的结构图，包括：
获取模块601，用于获取初始视频帧和所述初始视频帧之后的第一视频帧，并确定出所述初始视频帧与所述第一视频帧之间的第一映射矩阵，所述第一映射矩阵为用于将所述初始视频帧中的点的坐标映射至所述第一视频帧中的点的坐标的转换矩阵；
第一配置模块602，用于将所述第一视频帧作为参考视频帧，将所述第一映射矩阵作为参考矩阵，将所述第一视频帧中与所述第一特征点匹配成功的第二特征点作为光流跟踪初始点；
更新模块603，用于获取所述参考视频帧之后的更新视频帧；
跟踪模块604，通过所述光流跟踪初始点，对所述更新视频帧进行光流跟踪，在所述更新视频帧中确定出与所述各光流跟踪初始点相对应的光流跟踪终点；
映射模块605，用于通过所述各光流跟踪初始点和所对应的光流跟踪终点，计算更新映射矩阵，所述更新映射矩阵为用于将所述参考视频帧中的点的坐标映射至所述更新视频帧中的点的坐标的转换矩阵；
第二配置模块606，用于将所述更新视频帧作为新的参考视频帧，将所述参考矩阵和所述更新映射矩阵相乘得到的矩阵作为新的参考矩阵，将所述更新视频帧中的所述光流跟踪终点作为新的光流跟踪初始点，并返回执行更新模块603，直至对全部待处理的视频帧完成处理。
在本发明实施中，可以在完成初始视频帧和第一视频帧的特征点匹配后，将第一视频帧作为参考视频帧，并将成功匹配的第一视频帧中的第二特征点作为光流跟踪的初始点，对后面获取的更新视频帧进行光流跟踪，并计算更新映射矩阵，并且再将更新视频帧作为参考视频帧，对后续的视频帧继续进行光流跟踪，从而不需要再对更新视频帧及后续的视频帧获取特征点，就可以计算出映射矩阵，减少了计算量，提高计算速度，从而能够实现对具有连续性的视频图像进行实时的处理。
可选的，在本发明实施例提供的图像处理装置中，所述获取模块601包括：
第一获取子模块，用于获取初始视频帧，并确定所述初始视频帧中多个第一特征点；
第二获取子模块，用于获取所述初始视频帧之后的第一视频帧，并确定所述第一视频帧中多个第二特征点；
匹配子模块，用于针对每个所述第二特征点，逐个与每个所述第一特征点进行匹配，确定出能够相匹配的多个特征点对；
映射子模块，用于通过所述多个特征点对计算第一映射矩阵。
可选的，在本发明实施例提供的图像处理装置中，所述第一获取子模块，具体用于：
获取预设帧数的视频帧；计算每一个所述视频帧的清晰度；将清晰度最高的视频帧作为初始视频帧。
可选的，在本发明实施例提供的图像处理装置中，所述第一获取子模块，具体用于：
将每一个所述视频帧转化为灰度图像；计算每一个所述灰度图像的清晰度。
可选的，在本发明实施例提供的图像处理装置中，所述装置中的所述第一特征点及所述第二特点包括加速分割测试FAST特征点。
可选的，在本发明实施例提供的图像处理装置中，所述匹配子模块，具体用于：
获取每个所述第一特征点对应的第一描述子；
获取每个所述第二特征点对应的第二描述子；
针对每个所述第二描述子，逐个计算该第二描述子与每个所述第一描述子之间的汉明距离，并确定出该第二描述子对应的最小的第一汉明距离对应的第一描述子；
将每个所述第二描述子对应的第二特征点，和与该第二描述子具有所述第一汉明距离第一描述子对应的第一特征点，作为一个特征点对。
可选的，在本发明实施例提供的图像处理装置中，所述装置还包括：
判断模块，用于针对每个特征点对，确定该特征点对对应的第一汉明距离，以及该特征点对中包括的第二特征点对应的第二描述子对应的仅大于所述第一汉明距离的第二汉明距离；当所述第一汉明距离与所述第二汉明距离的比值小于第一预设阈值时，丢弃该特征点对。
可选的，在本发明实施例提供的图像处理装置中，所述装置还包括：
筛选模块，用于对所述多个特征点对，通过随机抽样一致性算法进行筛选，去除匹配不准确的特征点对。
可选的，在本发明实施例提供的图像处理装置中，所述映射子模块，具体用于：
判断所述多个特征点对的数量是否超过第二预设阈值；当所述多个特征点对的数量超过第二预设阈值时，通过所述多个特征点对计算第一映射矩阵。
可选的，在本发明实施例提供的图像处理装置中，所述装置还包括第一验证模块，所述第一验证模块具体用于：
在所述初始视频帧中选取多个具有预设顺序的随机点；将所述随机点通过第一映射矩阵映射至所述第一视频帧中；判断映射至所述第一视频帧中的多个随机点是否满足所述预设顺序；当不满足所述预设顺序时，放弃所述第一映射矩阵，并重新获取第一视频帧。
可选的，在本发明实施例提供的图像处理装置中，所述映射模块605，具体用于：
判断所述各光流跟踪初始点和所对应的光流跟踪终点组成的点对数量是否超过第二预设阈值；当所述点对的数量超过第二预设阈值时，通过所述各光流跟踪初始点和所对应的光流跟踪终点，计算更新映射矩阵。
可选的，在本发明实施例提供的图像处理装置中，所述装置还包括第二验证模块，所述第二验证模块具体用于：
在所述参考视频帧中选取多个具有预设顺序的随机点；将所述随机点通过更新映射矩阵映射至所述更新视频帧中；判断映射至所述更新视频帧中的多个随机点是否满足所述预设顺序；当不满足所述预设顺序时，放弃所述更新映射矩阵，并重新获取第一视频帧。
本发明实施例还提供了一种电子设备，如图7所示，包括处理器701和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，所述处理器被所述机器可执行指令促使实现如下步骤：
本发明实施例还提供了一种电子设备，如图7所示，包括处理器701、通信接口72、存储器703和通信总线704，其中，处理器701，通信接口702，机器可读存储介质703通过通信总线704完成相互间的通信，
存储器703，用于存放计算机程序；
处理器701，用于执行机器可读存储介质703上所存放的程序时，实现如下步骤S：
获取初始视频帧和所述初始视频帧之后的第一视频帧，并确定出所述初始视频帧与所述第一视频帧之间的第一映射矩阵，所述第一映射矩阵为用于将所述初始视频帧中的点的坐标映射至所述第一视频帧中的点的坐标的转换矩阵；
将所述第一视频帧作为参考视频帧，将所述第一映射矩阵作为参考矩阵，将所述第一视频帧中与所述第一特征点匹配成功的第二特征点作为光流跟踪初始点；
获取所述参考视频帧之后的下一个更新视频帧；
通过所述光流跟踪初始点，对所述更新视频帧进行光流跟踪，在所述更新视频帧中确定出与所述各光流跟踪初始点相对应的光流跟踪终点；
通过所述各光流跟踪初始点和所对应的光流跟踪终点，计算更新映射矩阵，所述更新映射矩阵为用于将所述参考视频帧中的点的坐标映射至所述更新视频帧中的点的坐标的转换矩阵；
将所述更新视频帧作为新的参考视频帧，将所述参考矩阵和所述更新映射矩阵相乘得到的矩阵作为新的参考矩阵，将所述更新视频帧中的所述光流跟踪终点作为新的光流跟踪初始点，并返回执行获取参考视频帧之后的下一个更新视频帧的步骤S，直至对全部待处理的视频帧完成处理。
上述机器可读存储介质可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，机器可读存储介质还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明实施中，可以在完成初始视频帧和第一视频帧的特征点匹配后，将第一视频帧作为参考视频帧，并将成功匹配的第一视频帧中的第二特征点作为光流跟踪的初始点，对后面获取的更新视频帧进行光流跟踪，并计算更新映射矩阵，并且再将更新视频帧作为参考视频帧，对后续的视频帧继续进行光流跟踪，从而不需要再对更新视频帧及后续的视频帧获取特征点，就可以计算出映射矩阵，减少了计算量，提高计算速度，从而能够实现对具有连续性的视频图像进行实时的处理。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例中的图像处理方法。
在本发明实施中，不需要再对更新视频帧及后续的视频帧获取特征点，就可以计算出映射矩阵，减少了计算量，提高计算速度，从而能够实现对具有连续性的视频图像进行实时的处理。
发明实施例提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行本发明实施例中的图像处理方法。
在本发明实施中，不需要再对更新视频帧及后续的视频帧获取特征点，就可以计算出映射矩阵，减少了计算量，提高计算速度，从而能够实现对具有连续性的视频图像进行实时的处理。
本发明实施例提供了一种计算机程序，当其在计算机上运行时，使得计算机执行本发明实施例中的图像处理方法。
对于图像处理装置、电子设备、计算机可读存储介质等实施例而言，由于其所涉及的方法内容基本相似于前述的方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (22)
1.一种图像处理方法，其特征在于，包括：
获取初始视频帧和所述初始视频帧之后的第一视频帧，并确定出所述初始视频帧与所述第一视频帧之间的第一映射矩阵，所述第一映射矩阵为用于将所述初始视频帧中的点的坐标映射至所述第一视频帧中的点的坐标的转换矩阵；
将所述第一视频帧作为参考视频帧，将所述第一映射矩阵作为参考矩阵，将所述第一视频帧中与所述第一特征点匹配成功的第二特征点作为光流跟踪初始点；
获取所述参考视频帧之后的下一个更新视频帧；
通过所述光流跟踪初始点，对所述更新视频帧进行光流跟踪，在所述更新视频帧中确定出与所述各光流跟踪初始点相对应的光流跟踪终点；
通过所述各光流跟踪初始点和所对应的光流跟踪终点，计算更新映射矩阵，所述更新映射矩阵为用于将所述参考视频帧中的点的坐标映射至所述更新视频帧中的点的坐标的转换矩阵；
将所述更新视频帧作为新的参考视频帧，将所述参考矩阵和所述更新映射矩阵相乘得到的矩阵作为新的参考矩阵，将所述更新视频帧中的所述光流跟踪终点作为新的光流跟踪初始点，并返回执行获取参考视频帧之后的下一个更新视频帧的步骤，直至对全部待处理的视频帧完成处理。
2.根据权利要求1所述的方法，其特征在于，所述获取初始视频帧和所述初始视频帧之后的第一视频帧，并确定出所述初始视频帧与所述第一视频帧之间的第一映射矩阵，包括：
获取所述初始视频帧，并确定所述初始视频帧中多个第一特征点；
获取所述初始视频帧之后的第一视频帧，并确定所述第一视频帧中多个第二特征点；
针对每个所述第二特征点，逐个与每个所述第一特征点进行匹配，确定出能够相匹配的多个特征点对；
通过所述多个特征点对计算第一映射矩阵。
3.根据权利要求1所述的方法，其特征在于，所述获取初始视频帧，包括：
获取预设帧数的视频帧；
计算每一个所述视频帧的清晰度；
将清晰度最高的视频帧作为初始视频帧。
4.根据权利要求3所述的方法，其特征在于，所述计算每一个所述视频帧的清晰度，包括：
将每一个所述视频帧转化为灰度图像；
计算每一个所述灰度图像的清晰度。
5.根据权利要求2所述的方法，其特征在于，所述第一特征点及所述第二特点包括加速分割测试FAST特征点。
6.根据权利要求2所述的方法，其特征在于，所述针对每个所述第二特征点，逐个与每个所述第一特征点进行匹配，确定出能够相匹配的多个特征点对，包括：
获取每个所述第一特征点对应的第一描述子；
获取每个所述第二特征点对应的第二描述子；
针对每个所述第二描述子，逐个计算该第二描述子与每个所述第一描述子之间的汉明距离，并确定出该第二描述子对应的最小的第一汉明距离对应的第一描述子；
将每个所述第二描述子对应的第二特征点，和与该第二描述子具有所述第一汉明距离第一描述子对应的第一特征点，作为一个特征点对。
7.根据权利要求6所述的方法，其特征在于，在所述将每个所述第二描述子对应的第二特征点，和与该第二描述子具有所述第一汉明距离第一描述子对应的第一特征点，作为一个特征点对之后，并且在通过所述多个特征点对计算第一映射矩阵之前，所述方法还包括：
针对每个特征点对，确定该特征点对对应的第一汉明距离，以及该特征点对中包括的第二特征点对应的第二描述子对应的仅大于所述第一汉明距离的第二汉明距离；
当所述第一汉明距离与所述第二汉明距离的比值小于第一预设阈值时，丢弃该特征点对。
8.根据权利要求2所述的方法，其特征在于，在所述针对每个所述第二特征点，逐个与每个所述第一特征点进行匹配，确定出能够相匹配的多个特征点对之后，所述方法还包括：
对所述多个特征点对，通过随机抽样一致性算法进行筛选，去除匹配不准确的特征点对。
9.根据权利要求2所述的方法，其特征在于，所述通过所述多个特征点对计算第一映射矩阵，包括：
判断所述多个特征点对的数量是否超过第二预设阈值；
当所述多个特征点对的数量超过第二预设阈值时，通过所述多个特征点对计算第一映射矩阵。
10.根据权利要求2所述的方法，其特征在于，在所述通过所述多个特征点对计算第一映射矩阵之后，所述方法还包括：
在所述初始视频帧中选取多个具有预设顺序的随机点；
将所述随机点通过第一映射矩阵映射至所述第一视频帧中；
判断映射至所述第一视频帧中的多个随机点是否满足所述预设顺序；
当不满足所述预设顺序时，放弃所述第一映射矩阵，并重新获取第一视频帧。
11.根据权利要求1至10中任一项所述的方法，其特征在于，所述通过所述各光流跟踪初始点和所对应的光流跟踪终点，计算更新映射矩阵，包括：
判断所述各光流跟踪初始点和所对应的光流跟踪终点组成的点对数量是否超过第二预设阈值；
当所述点对的数量超过第二预设阈值时，通过所述各光流跟踪初始点和所对应的光流跟踪终点，计算更新映射矩阵。
12.根据权利要求1至10中任一项所述的方法，其特征在于，在所述通过所述各光流跟踪初始点和所对应的光流跟踪终点，计算更新映射矩阵之后，所述方法还包括：
在所述参考视频帧中选取多个具有预设顺序的随机点；
将所述随机点通过更新映射矩阵映射至所述更新视频帧中；
判断映射至所述更新视频帧中的多个随机点是否满足所述预设顺序；
当不满足所述预设顺序时，放弃所述更新映射矩阵，并重新获取第一视频帧。
13.一种图像处理装置，其特征在于，包括：
获取模块，用于获取初始视频帧和所述初始视频帧之后的第一视频帧，并确定出所述初始视频帧与所述第一视频帧之间的第一映射矩阵，所述第一映射矩阵为用于将所述初始视频帧中的点的坐标映射至所述第一视频帧中的点的坐标的转换矩阵；
第一配置模块，用于将所述第一视频帧作为参考视频帧，将所述第一映射矩阵作为参考矩阵，将所述第一视频帧中与所述第一特征点匹配成功的第二特征点作为光流跟踪初始点；
更新模块，用于获取所述参考视频帧之后的更新视频帧；
跟踪模块，用于通过所述光流跟踪初始点，对所述更新视频帧进行光流跟踪，在所述更新视频帧中确定出与所述各光流跟踪初始点相对应的光流跟踪终点；
映射模块，用于通过所述各光流跟踪初始点和所对应的光流跟踪终点，计算更新映射矩阵，所述更新映射矩阵为用于将所述参考视频帧中的点的坐标映射至所述更新视频帧中的点的坐标的转换矩阵；
第二配置模块，用于将所述更新视频帧作为新的参考视频帧，将所述参考矩阵和所述更新映射矩阵相乘得到的矩阵作为新的参考矩阵，将所述更新视频帧中的所述光流跟踪终点作为新的光流跟踪初始点，并返回执行更新模块，直至对全部待处理的视频帧完成处理。
14.根据权利要求13所述的装置，其特征在于，所述获取模块包括：
第一获取子模块，用于获取初始视频帧，并确定所述初始视频帧中多个第一特征点；
第二获取子模块，用于获取所述初始视频帧之后的第一视频帧，并确定所述第一视频帧中多个第二特征点；
匹配子模块，用于针对每个所述第二特征点，逐个与每个所述第一特征点进行匹配，确定出能够相匹配的多个特征点对；
映射子模块，用于通过所述多个特征点对计算第一映射矩阵。
15.根据权利要求14所述的装置，其特征在于，所述第一获取子模块，具体用于：
获取预设帧数的视频帧；计算每一个所述视频帧的清晰度；将清晰度最高的视频帧作为初始视频帧。
16.根据权利要求14所述的装置，其特征在于，所述匹配子模块，具体用于：
获取每个所述第一特征点对应的第一描述子；
获取每个所述第二特征点对应的第二描述子；
针对每个所述第二描述子，逐个计算该第二描述子与每个所述第一描述子之间的汉明距离，并确定出该第二描述子对应的最小的第一汉明距离对应的第一描述子；
将每个所述第二描述子对应的第二特征点，和与该第二描述子具有所述第一汉明距离第一描述子对应的第一特征点，作为一个特征点对。
17.根据权利要求14所述的装置，其特征在于，所述映射子模块，具体用于：
判断所述多个特征点对的数量是否超过第二预设阈值；当所述多个特征点对的数量超过第二预设阈值时，通过所述多个特征点对计算第一映射矩阵。
18.根据权利要求14所述的装置，其特征在于，所述装置还包括第一验证模块，所述第一验证模块具体用于：
在所述初始视频帧中选取多个具有预设顺序的随机点；将所述随机点通过第一映射矩阵映射至所述第一视频帧中；判断映射至所述第一视频帧中的多个随机点是否满足所述预设顺序；当不满足所述预设顺序时，放弃所述第一映射矩阵，并重新获取第一视频帧。
19.根据权利要求13至18中任一项所述的装置，其特征在于，所述映射模块，具体用于：
判断所述各光流跟踪初始点和所对应的光流跟踪终点组成的点对数量是否超过第二预设阈值；当所述点对的数量超过第二预设阈值时，通过所述各光流跟踪初始点和所对应的光流跟踪终点，计算更新映射矩阵。
20.根据权利要求13至18中任一项所述的装置，其特征在于，所述装置还包括第二验证模块，所述第二验证模块具体用于：
在所述参考视频帧中选取多个具有预设顺序的随机点；将所述随机点通过更新映射矩阵映射至所述更新视频帧中；判断映射至所述更新视频帧中的多个随机点是否满足所述预设顺序；当不满足所述预设顺序时，放弃所述更新映射矩阵，并重新获取第一视频帧。
21.一种电子设备，其特征在于，包括处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，所述处理器被所述机器可执行指令促使实现权利要求1-12任一所述的方法步骤。
22.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-12任一所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711335669.6A CN109919971B (zh) | 2017-12-13 | 2017-12-13 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711335669.6A CN109919971B (zh) | 2017-12-13 | 2017-12-13 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109919971A true CN109919971A (zh) | 2019-06-21 |
| CN109919971B CN109919971B (zh) | 2021-07-20 |
Family
ID=66959456
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711335669.6A Active CN109919971B (zh) | 2017-12-13 | 2017-12-13 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109919971B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110349163A (zh) * | 2019-07-19 | 2019-10-18 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
| CN110619652A (zh) * | 2019-08-19 | 2019-12-27 | 浙江大学 | 一种基于光流映射重复区域检测的图像配准鬼影消除方法 |
| CN110751646A (zh) * | 2019-10-28 | 2020-02-04 | 支付宝(杭州)信息技术有限公司 | 利用车辆视频中的多个图像帧进行损伤识别的方法及装置 |
| CN111709979A (zh) * | 2020-05-15 | 2020-09-25 | 北京百度网讯科技有限公司 | 图像对齐的方法、装置、电子设备和存储介质 |
| CN113673283A (zh) * | 2020-05-14 | 2021-11-19 | 惟亚(上海)数字科技有限公司 | 一种基于增强现实的平滑跟踪方法 |
| WO2022194157A1 (zh) * | 2021-03-15 | 2022-09-22 | 北京字跳网络技术有限公司 | 一种目标跟踪方法、装置、设备及介质 |
| WO2023051343A1 (zh) * | 2021-09-30 | 2023-04-06 | 上海商汤智能科技有限公司 | 视频语义分割方法、装置、电子设备、存储介质及计算机程序产品 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101770568A (zh) * | 2008-12-31 | 2010-07-07 | 南京理工大学 | 基于仿射不变点及光流计算的目标自动识别和跟踪方法 |
| CN102982537A (zh) * | 2012-11-05 | 2013-03-20 | 安维思电子科技（广州）有限公司 | 一种检测场景变换的方法和系统 |
| CN103020934A (zh) * | 2012-12-12 | 2013-04-03 | 武汉大学 | 抗字幕干扰的图像无缝自动拼接方法 |
| CN103279952A (zh) * | 2013-05-17 | 2013-09-04 | 华为技术有限公司 | 一种目标跟踪方法和装置 |
| CN104077596A (zh) * | 2014-06-18 | 2014-10-01 | 河海大学 | 一种无标志物跟踪注册方法 |
| CN104144282A (zh) * | 2014-07-17 | 2014-11-12 | 西北工业大学 | 一种适用于空间机器人视觉系统的快速数字稳像方法 |
| CN104778465A (zh) * | 2015-05-06 | 2015-07-15 | 北京航空航天大学 | 一种基于特征点匹配的目标跟踪方法 |
| CN105844663A (zh) * | 2016-03-21 | 2016-08-10 | 中国地质大学（武汉） | 一种自适应orb目标跟踪方法 |
| CN106683046A (zh) * | 2016-10-27 | 2017-05-17 | 山东省科学院情报研究所 | 用于警用无人机侦察取证的图像实时拼接方法 |
| CN107147879A (zh) * | 2017-06-02 | 2017-09-08 | 太仓韬信信息科技有限公司 | 一种实时视频拼接方法 |
-
2017
- 2017-12-13 CN CN201711335669.6A patent/CN109919971B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101770568A (zh) * | 2008-12-31 | 2010-07-07 | 南京理工大学 | 基于仿射不变点及光流计算的目标自动识别和跟踪方法 |
| CN102982537A (zh) * | 2012-11-05 | 2013-03-20 | 安维思电子科技（广州）有限公司 | 一种检测场景变换的方法和系统 |
| CN103020934A (zh) * | 2012-12-12 | 2013-04-03 | 武汉大学 | 抗字幕干扰的图像无缝自动拼接方法 |
| CN103279952A (zh) * | 2013-05-17 | 2013-09-04 | 华为技术有限公司 | 一种目标跟踪方法和装置 |
| CN104077596A (zh) * | 2014-06-18 | 2014-10-01 | 河海大学 | 一种无标志物跟踪注册方法 |
| CN104144282A (zh) * | 2014-07-17 | 2014-11-12 | 西北工业大学 | 一种适用于空间机器人视觉系统的快速数字稳像方法 |
| CN104778465A (zh) * | 2015-05-06 | 2015-07-15 | 北京航空航天大学 | 一种基于特征点匹配的目标跟踪方法 |
| CN105844663A (zh) * | 2016-03-21 | 2016-08-10 | 中国地质大学（武汉） | 一种自适应orb目标跟踪方法 |
| CN106683046A (zh) * | 2016-10-27 | 2017-05-17 | 山东省科学院情报研究所 | 用于警用无人机侦察取证的图像实时拼接方法 |
| CN107147879A (zh) * | 2017-06-02 | 2017-09-08 | 太仓韬信信息科技有限公司 | 一种实时视频拼接方法 |
Non-Patent Citations (2)
| Title |
|---|
| KIRAN KALE ET AL.: ""Moving object tracking using optical flow and motion vector estimation"", 《2015 4TH INTERNATIONAL CONFERENCE ON RELIABILITY,INFOCOM TECHNOLOGIES AND OPTIMIZATION(ICRITO)》 * |
| 李宝同: ""运动估计算法的改进及电子稳像技术应用"", 《中国优秀硕士论文全文数据库 信息科技辑》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110349163A (zh) * | 2019-07-19 | 2019-10-18 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
| CN110349163B (zh) * | 2019-07-19 | 2021-06-25 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
| CN110619652A (zh) * | 2019-08-19 | 2019-12-27 | 浙江大学 | 一种基于光流映射重复区域检测的图像配准鬼影消除方法 |
| CN110619652B (zh) * | 2019-08-19 | 2022-03-18 | 浙江大学 | 一种基于光流映射重复区域检测的图像配准鬼影消除方法 |
| CN110751646A (zh) * | 2019-10-28 | 2020-02-04 | 支付宝(杭州)信息技术有限公司 | 利用车辆视频中的多个图像帧进行损伤识别的方法及装置 |
| CN113673283A (zh) * | 2020-05-14 | 2021-11-19 | 惟亚(上海)数字科技有限公司 | 一种基于增强现实的平滑跟踪方法 |
| CN111709979A (zh) * | 2020-05-15 | 2020-09-25 | 北京百度网讯科技有限公司 | 图像对齐的方法、装置、电子设备和存储介质 |
| CN111709979B (zh) * | 2020-05-15 | 2023-08-25 | 北京百度网讯科技有限公司 | 图像对齐的方法、装置、电子设备和存储介质 |
| WO2022194157A1 (zh) * | 2021-03-15 | 2022-09-22 | 北京字跳网络技术有限公司 | 一种目标跟踪方法、装置、设备及介质 |
| WO2023051343A1 (zh) * | 2021-09-30 | 2023-04-06 | 上海商汤智能科技有限公司 | 视频语义分割方法、装置、电子设备、存储介质及计算机程序产品 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109919971B (zh) | 2021-07-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109919971A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN107705333B (zh) | 基于双目相机的空间定位方法及装置 | |
| CN102834845B (zh) | 用于多摄像装置校准的方法与装置 | |
| CN111382613B (zh) | 图像处理方法、装置、设备和介质 | |
| CN109544599B (zh) | 一种基于相机位姿估计的三维点云配准方法 | |
| CN112270688B (zh) | 一种前景提取方法、装置、设备及存储介质 | |
| CN107633526A (zh) | 一种图像跟踪点获取方法及设备、存储介质 | |
| Mistry et al. | Image stitching using Harris feature detection | |
| CN109697728A (zh) | 数据处理方法、装置、系统和存储介质 | |
| CN111612731B (zh) | 基于双目显微视觉的测量方法、装置、系统及介质 | |
| US20220222849A1 (en) | Pose Tracking Method, Pose Tracking Device and Electronic Device | |
| CN109698944A (zh) | 投影区域校正方法、投影设备及计算机可读存储介质 | |
| CN110660098A (zh) | 基于单目视觉的定位方法和装置 | |
| US8989505B2 (en) | Distance metric for image comparison | |
| CN110288511A (zh) | 基于双相机图像的最小化误差拼接方法、装置、电子设备 | |
| Okumura et al. | Augmented reality based on estimation of defocusing and motion blurring from captured images | |
| CN110505398A (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| Kim et al. | Real-time panorama canvas of natural images | |
| CN106056121A (zh) | 基于sift图像特征匹配的卫星装配工件快速识别方法 | |
| Pedone et al. | Blur invariant translational image registration for $ N $-fold symmetric blurs | |
| CN116935013B (zh) | 基于三维重建的电路板点云大范围拼接方法及系统 | |
| CN108447092B (zh) | 视觉定位标识物的方法及装置 | |
| Pintus et al. | A fast and robust framework for semiautomatic and automatic registration of photographs to 3D geometry | |
| CN112102404B (zh) | 物体检测追踪方法、装置及头戴显示设备 | |
| WO2022174603A1 (zh) | 一种位姿预测方法、位姿预测装置及机器人 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |