CN110111364A - 运动检测方法、装置、电子设备及存储介质 - Google Patents

运动检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN110111364A
CN110111364A CN201910361796.6A CN201910361796A CN110111364A CN 110111364 A CN110111364 A CN 110111364A CN 201910361796 A CN201910361796 A CN 201910361796A CN 110111364 A CN110111364 A CN 110111364A
Authority
CN
China
Prior art keywords
feature point
target feature
image frame
information
image frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910361796.6A
Other languages
English (en)
Other versions
CN110111364B (zh
Inventor
凌永根
张晟浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910361796.6A priority Critical patent/CN110111364B/zh
Publication of CN110111364A publication Critical patent/CN110111364A/zh
Application granted granted Critical
Publication of CN110111364B publication Critical patent/CN110111364B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种运动检测方法、装置、电子设备及存储介质，所述运动检测方法包括：获取图像帧序列，所述图像帧序列包含多个图像帧；基于特征点跟踪模型，在所述图像帧序列包含的多个图像帧中对目标特征点进行跟踪，得到所述目标特征点在所述图像帧序列中的位移信息；基于形变检测模型，获取所述目标特征点在所述图像帧序列中不同图像帧之间的形变信息；当根据所述形变信息确定在所述图像帧序列中针对所述目标特征点的跟踪有效时，根据所述目标特征点在所述图像帧序列中的位移信息进行运动检测，得到运动检测结果。采用本发明有效地解决了现有技术中运动检测的效率不高的问题。

Description

运动检测方法、装置、电子设备及存储介质
技术领域
本发明涉及计算机技术领域，尤其涉及一种运动检测方法、装置、电子设备及存储介质。
背景技术
随着计算机技术的发展，运动检测可以基于图像中特征点的跟踪实现。
目前，为了确保特征点跟踪的准确性，往往使用复杂度较高的算法，以此增强对特征点的描述能力，进而有利于准确地评估特征点跟踪的质量。
然而，发明人发现，随着移动终端等电子设备的发展，运动检测逐渐应用于移动终端等电子设备上，例如，移动终端可以是智能手机、移动机器人等，受限于该些电子设备中的硬件配置，复杂度较高的算法使得特征点跟踪的效率较低，进而难以保证运动检测的高效性。
发明内容
本发明各实施例提供了一种运动检测方法、装置、电子设备及存储介质，以此解决相关技术中存在的运动检测的效率不高的问题。
其中，本发明所采用的技术方案为：
根据本发明实施例的一方面，一种运动检测方法，包括：获取图像帧序列，所述图像帧序列包含多个图像帧；基于特征点跟踪模型，在所述图像帧序列包含的多个图像帧中对目标特征点进行跟踪，得到所述目标特征点在所述图像帧序列中的位移信息；基于形变检测模型，获取所述目标特征点在所述图像帧序列中不同图像帧之间的形变信息；当根据所述形变信息确定在所述图像帧序列中针对所述目标特征点的跟踪有效时，根据所述目标特征点在所述图像帧序列中的位移信息进行运动检测，得到运动检测结果。
根据本发明实施例的一方面，一种运动检测装置，包括：图像帧序列获取模块，用于获取图像帧序列，所述图像帧序列包含多个图像帧；特征点跟踪模块，用于基于特征点跟踪模型，在所述图像帧序列包含的多个图像帧中对目标特征点进行跟踪，得到所述目标特征点在所述图像帧序列中的位移信息；特征点跟踪验证模块，用于基于形变检测模型，获取所述目标特征点在所述图像帧序列中不同图像帧之间的形变信息；运动检测模块，用于当根据所述形变信息确定在所述图像帧序列中针对所述目标特征点的跟踪有效时，根据所述目标特征点在所述图像帧序列中的位移信息进行运动检测，得到运动检测结果。
根据本发明实施例的一方面，一种电子设备，包括处理器及存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现如上所述的运动检测方法。
根据本发明实施例的一方面，一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的运动检测方法。
在上述技术方案中，获取包含多个图像帧的图像帧序列，以基于特征点跟踪模型，在图像帧序列包含的多个图像帧中对目标特征点进行跟踪，得到目标特征点在图像帧序列中的位移信息，并基于形变检测模型，获取目标特征点在图像帧序列中不同图像帧之间的形变信息，以此验证在图像帧序列中针对目标特征点的跟踪是否有效，进而当形变信息指示在图像帧序列中针对目标特征点的跟踪有效时，根据目标特征点在图像帧序列中的位移信息进行运动检测，得到运动检测结果，由此，结合复杂度较低的特征点跟踪模型和复杂度相对高的形变检测模型，实现跟踪和验证的相辅相成，不仅充分保障了目标特征点跟踪的准确性，而且有效地降低了目标特征点跟踪的算法复杂度，以此解决了现有技术中运动检测的效率不高的问题。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并于说明书一起用于解释本发明的原理。
图1是根据本发明所涉及的实施环境的示意图。
图2是根据一示例性实施例示出的一种电子设备的硬件结构图。
图3是根据一示例性实施例示出的一种运动检测方法的流程图。
图4是图3对应实施例涉及的图像中特征点的示意图。
图5是图3对应实施例中步骤330在一个实施例的流程图。
图6是图5对应实施例涉及的在图像帧序列中相邻图像帧之间进行目标特征点跟踪的时序示意图。
图7是图5对应实施例中步骤333在一个实施例的流程图。
图8是图7对应实施例中步骤3335在一个实施例的流程图。
图9是图3对应实施例中步骤350在一个实施例的流程图。
图10是图9对应实施例涉及的在图像帧序列中间隔图像帧之间对目标特征点的跟踪进行验证的时序示意图。
图11是图9对应实施例中步骤353在一个实施例的流程图。
图12是图11对应实施例中步骤3535在一个实施例的流程图。
图13是图9对应实施例中步骤335在一个实施例的流程图。
图14是图9对应实施例中步骤335在另一个实施例的流程图。
图15是一应用场景中一种运动检测方法的具体实现示意图。
图16是根据一示例性实施例示出的一种运动检测装置的框图。
图17是根据一示例性实施例示出的一种电子设备的框图。
通过上述附图，已示出本发明明确的实施例，后文中将有更详细的描述，这些附图和文字描述并不是为了通过任何方式限制本发明构思的范围，而是通过参考特定实施例为本领域技术人员说明本发明的概念。
具体实施方式
这里将详细地对示例性实施例执行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
图1为一种运动检测方法所涉及的实施环境的示意图。
如图1(a)所示，该实施环境包括用户端110，该用户端110配备有摄像模块，以便于图像的拍摄和采集。
其中，该用户端110可以是智能手机、笔记本电脑、平板电脑、掌上电脑、个人数字助理、机器人、自动驾驶汽车、便携式智能设备等等，在此不进行限定。
对于用户端110而言，在对周边环境进行拍摄之后，便可基于拍摄和采集的图像进行特征点的跟踪，进而通过观察特征点在图像中的位置变化来判断目标物是否有运动。
其中，目标物可以针对用户端110所配备的摄像模块自身而言，也可以指周边环境中的某个物体，例如，房子、树、车辆、人等等。
当然，为了提高运动检测方法的场景普适性，运动检测方法不仅适用于基于用户端110的独立检测，还同样适用于基于用户端110和其他设备的交互式检测。
在另一实施环境中，如图1(b)所示，该实施环境包括用户端110和服务器端130。
其中，服务器端130可以是一台服务器，也可以是由多台服务器构成的服务器集群，甚至是由多台服务器构成的云计算中心。此服务器是为用户提供后台服务的电子设备，例如，后台服务包括但不限于运动检测服务。
服务器端130与用户端110之间预先通过有线或者无线网络等方式建立通信连接，以通过该通信连接实现服务器端130与用户端110之间的数据传输。例如，数据传输包括但不限于包含多个图像帧的图像帧序列、运动检测结果等等。
对于用户端110而言，在对周边环境进行拍摄之后，便可将拍摄和采集到的图像上传至服务器端130。
通过用户端110与服务器端130的交互，服务器端130便可获得用户端110上传的图像，进而基于该些图像进行特征点的跟踪，以通过观察特征点在图像中的位置变化来判断目标物是否有运动，并将运动检测结果返回至用户端110。
在用户端110得到运动检测结果之后，如图15所示，运动检测结果显示为白色射线，该白色射线的端点表示当前时刻跟踪的特征点，以此指示特征点是否移动(是)以及移动时的方向(指向端点方向)，此时，便能够基于该运动检测结果进一步地完成相关场景应用。例如，避障、实时定位、三维重建、物体分隔、物体识别等等。
在一应用场景中，用户端110为配备了摄像头的智能手机，基于运动检测结果检测该摄像头是否移动，在检测到摄像头移动以及其移动方向之后，便能够反算出周边环境信息，以此完成关于用户的实时定位。进一步结合周边环境信息与定位到的用户当前位置，便能够指引用户到附近最近的餐厅、商店、洗手间等等。
在另一应用场景中，用户端110为扫地机器人，在该扫地机器人执行清扫任务时，基于运动检测结果反算出的周边环境信息，能够重建周边环境，使得该扫地机器人可以躲开障碍物；同时，由于扫地机器人知道其所处的位置，便能够规划下一步的路径，到达其要达到的地方，继续执行相应的清扫任务。
在又一应用场景，针对作为用户端110的手机端的VR应用和AR应用而言，由于已知周边环境信息，便能够将周边环境渲染至手机屏幕上，并能够把虚拟物品放置在渲染至手机屏幕上的周边环境中；由于已知用户当前位置，还能够通过相对应的位置关系将用户观察到的景象进一步地渲染至手机屏幕上，重建为周边环境的一部分。
在另一应用场景中，如果选取的特征点在某一个物体内，基于运动检测结果，便可以判断该某一个物体是否有移动，如果有移动的话，是往哪个方向移动，进而在检测出运动的物体之后，将该运动的物体从图像中分割出来，以进一步地识别是否为人或者其他动物，使得用户端110，例如智能手机、机器人、自动驾驶汽车等，具备基本的物体识别功能。
请参阅图2，图2是根据一示例性实施例示出的一种电子设备的硬件结构图。该种电子设备适用于图1(a)实施环境中的用户端110，或者，图1(b)实施环境中的服务器端130。
需要说明的是，该种电子设备只是一个适配于本发明的示例，不能认为是提供了对本发明的使用范围的任何限制。该种电子设备也不能解释为需要依赖于或者必须具有图2中示出的示例性的电子设备100中的一个或者多个组件。
该种电子设备200的硬件结构可因配置或者性能的不同而产生较大的差异，如图2所示，该种电子设备200包括：电源210、接口230、至少一存储器250、以及至少一中央处理器(CPU,Central Processing Units)270。
具体地，电源210用于为电子设备200上的各硬件设备提供工作电压。
接口230包括至少一有线或无线网络接口，用于与外部设备交互。例如，在图1(b)所示的实施环境中，基于有线或无线网络接口，实现用户端100与服务器端130之间的数据传输。
当然，在其余本发明适配的示例中，接口230还可以进一步包括至少一串并转换接口233、至少一输入输出接口235以及至少一USB接口237等，如图2所示，在此并非对此构成具体限定。
存储器250作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源包括操作系统251、应用程序253及数据255等，存储方式可以是短暂存储或者永久存储。
其中，操作系统251用于管理与控制电子设备200上的各硬件设备以及应用程序253，以实现中央处理器270对存储器250中海量数据255的运算与处理，其可以是WindowsServerTM、Mac OS XTM、UnixTM、LinuxTM、FreeBSDTM、安卓等。
应用程序253是基于操作系统251之上完成至少一项特定工作的计算机程序，其可以包括至少一模块(图2中未示出)，每个模块都可以分别包含有对电子设备200的一系列计算机可读指令。例如，运动检测装置可视为部署于电子设备200的应用程序253。
数据255可以是存储于磁盘中的视频、图片等，还可以是运动检测结果等，存储于存储器250中。
中央处理器270可以包括一个或多个以上的处理器，并设置为通过至少一通信总线与存储器250通信，以读取存储器250中存储的计算机可读指令，进而实现对存储器250中海量数据255的运算与处理。例如，通过中央处理器270读取存储器250中存储的一系列计算机可读指令的形式来完成运动检测方法。
可以理解，图2所示的结构仅为示意，电子设备还可包括比图2中所示更多或更少的组件，或者具有与图2所示不同的组件。图2中所示的各组件可以采用硬件、软件或者其组合来实现。
请参阅图3，在一示例性实施例中，一种运动检测方法适用于图1所示实施环境的电子设备，例如，图1(a)实施环境中的用户端110，或者，图1(b)实施环境中的服务器端130，该电子设备的硬件结构可以如图2所示。
该种运动检测方法可以由电子设备执行，可以包括以下步骤：
步骤310，获取图像帧序列。
其中，所述图像帧序列包含多个图像帧。
图像，也理解为图像帧，是由摄像模块对周围环境进行拍摄生成的。那么，包含多个图像帧的图像帧序列，可以是摄像模块录制的一段视频，还可以是摄像模块连续性拍摄的多张图片。也即是，本发明实施例中，运动检测方法，可以基于一段视频，也可以基于多张图片，在此并未加以限定。
关于图像帧序列的获取，既可以是实时获取拍摄并采集的图像，以便于实时地跟踪图像中的特征点，也可以获取一历史时间段内拍摄并采集的图像，以便于在处理任务较少的时候跟踪图像中的特征点，或者，在检测人员的指示下进行图像中特征点的跟踪，本实施例并未对此进行限定。
换句话说，获取到的图像帧序列，可以来源于摄像模块实时拍摄并采集的图像，例如，电子设备为智能手机，实时采集多个图像帧得到图像帧序列；还可以是预先存储的由摄像模块拍摄并采集的图像，例如，电子设备为服务器端时，通过本地读取或者网络下载的方式获取图像帧序列，以便适用于各种在线/离线场景，提高运动检测方法的场景普适性。
那么，电子设备在获取到包含多个图像帧的图像帧序列之后，便可为用户提供运动检测服务，首先针对图像帧序列包含的多个图像帧进行特征点跟踪。
其中，特征点是指图像中具有明显特征且可以被长时间跟踪的像素点。例如，角点、边缘相交点等等。
如图4所示，图像中三角形的三个顶点a、b、c，即可作为角点而被视为该图像中的特征点。
步骤330，基于特征点跟踪模型，在所述图像帧序列包含的多个图像帧中对目标特征点进行跟踪，得到所述目标特征点在所述图像帧序列中的位移信息。
目标特征点，是指当前进行跟踪的特征点。例如，如图4所示，图像中的特征点有3个，分别为图像中三角形的三个顶点a、b、c，如果当前进行跟踪的特征点为顶点a，则顶点a即视为目标特征点。
本实施例中，目标特征点的跟踪是基于特征点跟踪模型实现的。
基于特征点跟踪模型，假设目标特征点周围像素点的像素亮度在不同时刻不变，通过求解特征点跟踪模型的参数，使得目标特征点周围像素点的像素亮度在不同时刻一致，便能够得到目标特征点在图像帧序列中的位移信息。
发明人意识到，特征点跟踪模型的参数个数决定了算法复杂度，参数越多，算法复杂度越高，反之，参数越少，算法复杂度越低。
由此，可选地，特征点跟踪模型为二维移动模型用于描述目标特征点周围像素点在不同时刻的二维移动过程。
其中，作为该特征点跟踪模型的参数ux、参数uy：分别表示目标特征点i由第t帧图像被跟踪至第t+1帧图像过程中，在水平方向上两维x轴、y轴的运动。
相应地，目标特征点在图像帧序列中的位移信息，即描述了目标特征点在图像帧序列中形成的水平方向上的二维运动轨迹，也即是，目标特征点在图像帧序列中的位移信息表示为di。
通过如此设置，基于复杂度较低的特征点跟踪模型，便可有效地降低目标特征点跟踪的算法复杂度至O(8)，以此提高运动检测的效率。
步骤350，基于形变检测模型，获取所述目标特征点在所述图像帧序列中不同图像帧之间的形变信息。
如前所述，基于特征点跟踪模型为二维移动模型，仅包含两个参数，有效地降低了目标特征点跟踪的算法复杂度，提高了运动检测的效率。
然而，发明人也意识到，复杂度较低的算法，对目标特征点的描述能力弱，不利于准确地评估目标特征点跟踪的质量。
为此，本实施例中，基于形变检测模型，捕捉目标特征点在图像帧序列中不同图像帧之间发生的形变，以对目标特征点的跟踪进行验证。
验证，实质是基于复杂度相对高的形变检测模型，对目标特征点进行再次跟踪，由此得到目标特征点在图像帧序列中不同图像帧之间的形变信息。
该形变信息，用于描述目标特征点在不同图像帧之间发生的形变，以此指示在图像帧序列中针对目标特征点的跟踪是否有效。也即是说，当形变信息所描述的目标特征点在不同图像帧之间发生的形变未超过设定范围时，那么，便能够判定在图像帧序列中针对目标特征点的跟踪有效。
可选地，形变检测模型的参数个数多于特征点跟踪模型的参数个数。
可选地，形变检测模型包括矩阵模型，用于描述目标特征点周围像素点在不同时刻的几何变化过程。
可选地，矩阵模型包括但不限于单应矩阵模型、仿射变换矩阵模型。
其中，单应矩阵模型H∈R3×3的参数个数为8个，具体地：
仿射变换矩阵模型A的参数个数为6个，具体地：
基于复杂度相对高的形变检测模型，如果捕捉到目标特征点在图像帧序列中不同图像之间发生的形变超过设定范围，便可判定图像帧序列中针对目标特征点的跟踪无效，从而保障了目标特征点跟踪的准确性。
通过跟踪和验证的交互，充分确保了目标特征点跟踪的准确性和高效性，进而有利于提升运动检测的效率。
步骤370，当根据形变信息确定在所述图像帧序列中针对所述目标特征点的跟踪有效时，根据所述目标特征点在所述图像帧序列中的位移信息进行运动检测，得到运动检测结果。
也就是说，在获得目标特征点在图像帧序列中的位移信息之后，便具备了运动检测能力。
如前所述，目标特征点在图像帧序列中的位移信息，描述了目标特征点在图像帧序列中形成的水平方向上的二维运动轨迹，那么，如果该二维运动轨迹显示目标特征点在图像帧序列包含的多个图像帧中存在水平方向上的移动，便认为检测到目标物发生了运动、以及目标物运动时的运动方向。
也可以理解为，运动检测结果，用于指示目标物是否发生了运动、以及目标物运动时的运动方向。
通过如上所述的过程，实现了基于跟踪和验证的检测框架，即基于复杂度较低的特征点跟踪模型的跟踪，实现目标特征点跟踪的高效率，基于复杂度相对高的形变检测模型的验证，确保能够准确地评估目标特征点跟踪的质量，从而充分确保了目标特征点跟踪的准确性和高效性，以此有效地提高了运动检测的效率。
请参阅图5，在一示例性实施例中，步骤330可以包括以下步骤：
步骤331，遍历所述图像帧序列中的每一个图像帧，以遍历到的图像帧和后一个图像帧作为当前相邻图像帧。
如前所述，目标特征点的跟踪基于复杂度较低的特征点跟踪模型，对此，发明人意识到，对于目标特征点周围像素点在不同时刻的二维移动过程，该复杂度较低的特征点跟踪模型是有效的，然而，如果目标特征点周围像素点在不同时刻存在超二维的移动，例如，带旋转的运动，该复杂度较低的特征点跟踪模型则不够准确。
此外，发明人发现，对于相邻图像帧而言，目标特征点在该相邻图像帧之间的运动相对较少，而发生几何形变的概率就更小了，也即是，在相邻图像帧之间，目标特征点周围像素点在不同时刻的移动基本局限于二维移动。
为此，本实施例中，目标特征点的跟踪设置在相邻两帧图像之间进行，使得复杂度较低的特征点跟踪模型能够有效地对目标特征点进行跟踪，以此确保目标特征点跟踪的准确性。
如图6所示，以图像中三角形的一个顶点作为目标特征点，该目标特征点从第t帧图像被跟踪至第t+1帧图像。其中，第t帧图像为遍历到的图像帧，第t+1帧图像为遍历到图像帧的后一个图像帧，而第t帧图像和第t+1帧图像即为当前相邻图像帧。
步骤333，将所述当前相邻图像帧输入所述特征点跟踪模型，进行所述目标特征点的跟踪，得到所述目标特征点在所述当前相邻图像帧之间的位移信息。
其中，复杂度较低的特征点跟踪模型为二维移动模型其中，参数ux、参数uy：分别表示目标特征点i由第t帧图像被跟踪至第t+1帧图像过程中，在水平方向上两维x轴、y轴的运动。
相应地，在一实施例中，如图7所示，步骤333可以包括以下步骤：
步骤3331，基于所述二维移动模型，从所述当前相邻图像帧中，分别获得特征点模板的第一亮度信息和第二亮度信息。
其中，所述特征点模板包含所述目标特征点及所述目标特征点周围的多个像素点。
例如，特征点模板，是以目标特征点为中心，由该目标特征点以及该目标特征点周围的多个像素点组成的正方形图像。
在确定了特征点模板之后，便可基于该特征点模板包含的像素点，计算得到该特征点模板的亮度信息，以此来表示目标特征点。
换而言之，目标特征点，是通过特征点模板的亮度信息进行描述的。
基于二维移动模型，假设目标特征点i从第t帧图像被跟踪至第t+1帧图像，该目标特征点i用其及其周围多个像素点的亮度表示，具体为一个l×l特征点模板的亮度信息，其中，该特征点模板的中心为目标特征点i。
由此，对于第t帧图像而言，特征点模板的第一亮度信息为
对于第t+1帧图像而言，特征点模板的第二亮度信息为
其中，u表示特征点模板包含的像素点。
步骤3333，计算所述特征点模板的第一亮度信息与第二亮度信息之间的第一亮度差。
在确定特征点模板的第一亮度信息和第二亮度信息之后，便可进一步计算二者之间的第一亮度差。
也即是，第一亮度差为
步骤3335，对所述第一亮度差进行最小化运算，得到所述目标特征点在所述当前相邻图像帧之间的位移信息。
如前所述，在求解特征点跟踪模型的参数时，假设目标特征点周围像素点的像素亮度在不同时刻不变，也即是，假设特征点模板的第一亮度信息和第二亮度信息一致。
基于此，本实施例中，目标特征点在当前相邻图像帧之间的位移信息，通过对第一亮度差进行最小化运算实现。
具体地，计算公式如(1)所示：
其中，表示目标特征点在第t帧图像与第t+1帧图像之间的位移信息。
可选地，计算公式(1)可以采用高斯牛顿算法实现。
由上可知，当第一亮度差最小，即表示特征点模板的第一亮度信息与第二亮度信息最接近，从而使得目标特征点周围像素点的像素亮度在不同时刻一致，由此，便计算得到目标特征点在当前相邻图像帧之间的位移信息。
步骤335，待所述遍历完成，根据所述目标特征点在所述图像帧序列中相邻图像帧之间的位移信息，获得所述目标特征点在所述图像帧序列中的位移信息。
也可以理解为，针对图像帧序列中每两个相邻图像帧，目标特征点在图像帧序列中的位移信息，包含目标特征点在该每两个相邻图像帧之间的多个位移信息。
在上述实施例的作用下，实现了在相邻图像帧之间的目标特征点跟踪，使得复杂度较低的特征点跟踪模型能够有效地完成对目标特征点的跟踪，以此确保了目标特征点跟踪的准确性。
此外，基于复杂度较低的特征点跟踪模型，无论电子设备中硬件配置的高低，都可以充分地保障目标特征点跟踪的实时性。
进一步地，在一示例性实施例中，步骤3335之前，步骤333还可以包括以下步骤：
获取缩放补偿参数和偏移补偿参数。
根据获取到的缩放补偿参数和偏移补偿参数，对所述第一亮度差进行光照补偿处理，以使所述最小化运算基于补偿后的第一亮度差进行。
也即是，对补偿后的第一亮度差进行最小化运算，得到所述目标特征点在所述当前相邻图像帧之间的位移信息。
如前所述，特征点跟踪模型的参数求解过程中，假设了目标特征点周围像素点的像素亮度在不同时刻不变，也即是说，该过程中，需要满足光照不变性。发明人在此意识到，如果光照不变性未满足，将影响目标特征点跟踪的精准度。
为此，本实施例中，对第一亮度差进行光照补偿处理，即根据缩放补偿参数和偏移补偿参数，在第一亮度差中加入光照的缩放补偿和偏移补偿。
在第一亮度差经过光照补偿处理之后，最小化运算将基于补偿后的第一亮度差进行，具体地，计算公式如(2)所示：
其中，表示光照补偿处理中的缩放补偿参数，表示光照补偿处理中的偏移补偿参数。
可选地，计算公式(2)可以采用高斯牛顿算法实现。
通过上述实施例的配合，在特征点跟踪模型的参数求解过程中，放松了对光照不变性的要求，进而有利于保证目标特征点跟踪的准确性。
如前所述，计算公式(1)和(2)均可以采用高斯牛顿算法实现。
下面基于计算公式(2)，对高斯牛顿算法求解第一亮度差的最小值的过程加以说明。
首先，定义
假设存在一个随机初始化的第一变量例如，该第一变量
将在第一变量处线性化展开，得到：
其中，是在第一变量处的梯度。
δX表示增量，该增量δX可以通过以下计算公式计算得到：
其中，和
由此，第一亮度差关于第一变量的线性化展开结果即表示为：
进一步地，计算公式(2)转化为如下计算公式(3)：
由此，计算公式(3)，即表示对第一亮度差关于第一变量的线性化展开运算结果求解最小值。
此时，如果该线性化展开结果最小，则从中得到目标特征点在当前相邻图像帧之间的位移信息
反之，如果该线性化展开结果未达到最小，则根据增量δX更新第一变量具体地：并基于更新的第一变量进行后续的最小化运算。
上述基于高斯牛顿算法的最小值求解过程中，发明人发现第一变量的初始值将影响求解过程的稳定性，即不合适的初始值，难以保证目标特征点跟踪的稳定性，甚至会导致在图像帧序列中针对目标特征点的跟踪失效。
为此，在一示例性实施例中，第一变量的初始值与目标特征点在历史相邻图像帧之间的位移信息有关。
具体地，如图8所示，步骤3335可以包括以下步骤：
步骤410，获取所述目标特征点在遍历到的图像帧与前一个图像帧之间的位移信息。
假设表示目标特征点在遍历到的图像帧与后一个图像帧之间的位移信息，即在当前相邻图像帧之间的位移信息，则表示目标特征点在遍历到的图像帧与前一个图像帧之间的位移信息，即在前一个相邻图像帧之间的位移信息。
步骤430，根据获取到的位移信息对第一变量进行初始化。
其中，所述第一变量与所述二维移动模型的参数光照补偿处理的参数，也即是缩放补偿参数偏移补偿参数有关。
此处，假设目标特征点在跟踪过程中处于匀速运动，由此，第一变量中的的初始值设置为步骤410中获取到的位移信息
进一步地，假设目标特征点在跟踪过程的初期满足光照不变性，即不需要进行光照补偿处理，则，第一变量中的的初始值设置为1，表示不需要进行缩放补偿，第一变量中的的初始值设置为0，表示不需要进行偏移补偿。
也即是，经过初始化，第一变量
当然，在其他实施例中，如果未对第一亮度差加入光照的缩放补偿和偏移补偿，则初始化后的第一变量本实施例并非对此构成具体限定。
步骤450，对所述第一亮度差进行关于初始化后第一变量的线性化展开运算，得到第一线性化展开结果。
针对第一线性化展开结果，如果第一线性化展开结果最小，则跳转执行步骤470。
反之，如果第一线性化展开结果未达到最小，则跳转执行步骤490。
步骤470，当所述第一线性化展开结果最小时，由最小的第一线性化展开结果中获得所述目标特征点在所述当前相邻图像帧之间的位移信息。
步骤490，当所述第一线性化展开结果未达到最小时，根据所述第一线性化展开结果中的第一增量更新所述第一变量，以使所述线性化展开运算基于更新后的第一变量进行。
在得到初始化的第一变量之后，便可由此展开对第一亮度差进行最小化运算的求解过程，具体求解过程如前所述，在此不再重复描述。
在上述实施例的作用下，基于初始化的第一变量，求解过程的稳定性大大提高，进而增强了高斯牛顿算法的鲁棒性，以此充分地保障了目标特征点跟踪的准确性，避免在图像帧序列中针对目标特征点的跟踪失效。
请参阅图9，在一示例性实施例中，步骤350可以包括以下步骤：
步骤351，针对所述图像帧序列包含的多个图像帧，获取间隔设定帧数的两个图像帧作为当前间隔图像帧。
如前所述，验证，是基于复杂度相对高的形变检测模型，对目标特征点进行再次跟踪，以此加强目标特征点的描述能力，以利于准确地评估目标特征点跟踪的质量。
然而，发明人发现，对于相邻图像帧而言，目标特征点周围像素点在不同时刻的移动基本局限于二维移动，发生几何形变的概率很小，而形变检测模型是用于描述目标特征点周围像素点在不同时刻的几何变化过程。
为此，本实施例中，验证设置在不相邻的两个图像帧之间进行，即在设定帧数的两个图像帧之间进行目标特征点的跟踪，以充分发挥复杂度相对高的形变检测模型的作用。
如图10所示，对于图像帧序列而言，复杂度较低的特征点跟踪模型的使用频率高，面向相邻的每一个图像帧，即目标特征点从第t帧图像跟踪至第t+1帧图像，再由第t+1帧图像跟踪至第t+2帧图像，以此类推。
而复杂度相对高的形变检测模型的使用频率相对较低，每间隔k帧图像使用一次，即目标特征点从第t帧图像跟踪至第t+k帧图像，再从第t帧图像跟踪至第t+2k帧图像，以此类推。其中，设定帧数k可以根据不同应用场景的实际需要灵活地调整，本实施例并未对此加以限定。例如，精确度要求较高的应用场景中，设置较小的k；而对效率要求较高的应用场景中，则设置较大的k。
通过如此设置，跟踪和验证异步实施，复杂度低的“频繁”使用，以确保目标特征点跟踪的准确性，复杂度高的“偶尔”使用，以保证目标特征点跟踪的高效性，从而有效地平衡了目标特征点跟踪的准确性和高效性。
步骤353，将所述当前间隔图像帧输入所述形变检测模型，对所述目标特征点进行跟踪，得到所述目标特征点在所述当前间隔图像帧之间的位移信息。
其中，复杂度相对高的形变检测模型为矩阵模型。该矩阵模型可以是单应矩阵模型、仿射变换矩阵模型。
相应地，在一实施例中，如图11所示，步骤353可以包括以下步骤：
步骤3531，基于所述矩阵模型，从所述当前间隔图像帧中，分别获得特征点模板的第三亮度信息和第四亮度信息。
其中，所述特征点模板包含所述目标特征点及所述目标特征点周围的多个像素点。
如前所述，目标特征点，是通过特征点模板的亮度信息进行描述的。
基于单应矩阵模型假设目标特征点i从第t帧图像被跟踪至第t+k帧图像，该目标特征点i用其及其周围多个像素点的亮度表示，具体为一个l×l特征点模板的亮度信息，其中，该特征点模板的中心为目标特征点i。
由此，对于第t帧图像而言，特征点模板的第三亮度信息为
对于第t’＝t+k帧图像而言，特征点模板的第四亮度信息为
其中，u表示特征点模板包含的像素点。
步骤3533，计算所述特征点模板的第三亮度信息与第四亮度信息之间的第二亮度差。
在确定特征点模板的第三亮度信息和第四亮度信息之后，便可进一步计算二者之间的第二亮度差。
也即是，第二亮度差为
步骤3535，对所述第二亮度差进行最小化运算，得到所述目标特征点在所述当前间隔图像帧之间的位移信息。
由于验证实质是在间隔图像帧之间对目标特征点进行再次跟踪，故而，同理于在相邻图像帧之间对目标特征点进行跟踪时，特征点跟踪模型的参数求解过程，在求解形变检测模型的参数时，同样假设目标特征点周围像素点的像素亮度在不同时刻不变，也即是，假设特征点模板的第三亮度信息和第四亮度信息一致。
基于此，本实施例中，目标特征点在当前间隔图像帧之间的位移信息，通过对第二亮度差进行最小化运算实现。
具体地，计算公式如(4)所示：
其中，表示目标特征点在第t帧图像与第t’帧图像之间的位移信息。
可选地，计算公式(4)可以采用高斯牛顿算法实现。
由上可知，当第二亮度差最小，即表示特征点模板的第三亮度信息与第四亮度信息最接近，从而使得目标特征点周围像素点的像素亮度在不同时刻一致，由此，便计算得到目标特征点在当前间隔图像帧之间的位移信息。
步骤355，根据所述目标特征点在所述当前间隔图像帧之间的位移信息，获得形变信息。
其中，所述形变信息用于描述所述目标特征点在所述当前间隔图像帧之间发生的形变。
基于所述形变信息，如果所述目标特征点在所述当前间隔图像帧之间发生的形变超过设定范围，则判定在所述图像帧序列中针对所述目标特征点的跟踪无效，从而准确地评估目标特征点跟踪的质量。
通过上述过程，实现了在间隔图像帧之间针对目标特征点跟踪加以验证，使得复杂度相对高的形变检测模型有效地完成对目标特征点的跟踪，在确保目标特征点跟踪的准确性的同时，充分保障了目标特征点跟踪的高效性。
由上可知，上述过程实现了基于异步的跟踪和验证的检测框架，即跟踪和验证运行在不同频率，具体地，在相邻图像帧之间进行目标特征点的跟踪，以及在间隔图像帧之间进行目标特征点的验证，由此充分平衡了目标特征点跟踪的准确性和高效性。
进一步地，在一示例性实施例中，步骤3535之前，步骤353还可以包括以下步骤：
获取缩放补偿参数和偏移补偿参数。
根据获取到的缩放补偿参数和偏移补偿参数，对所述第二亮度差进行光照补偿处理，以使所述最小化运算基于补偿后的第二亮度差进行。
也即是，对补偿后的第二亮度差进行最小化运算，得到所述目标特征点在所述当前间隔图像帧之间的位移信息。
同理于特征点跟踪模型的参数求解过程中，发明人意识到，如果光照不变性未满足，同样会影响目标特征点再次跟踪的精准度。
为此，本实施例中，对第二亮度差进行光照补偿处理，即根据缩放补偿参数和偏移补偿参数，在第二亮度差中加入光照的缩放补偿和偏移补偿。
在第二亮度差经过光照补偿处理之后，最小化运算将基于补偿后的第二亮度差进行，具体地，计算公式如(5)所示：
其中，表示光照补偿处理中的缩放补偿参数，表示光照补偿处理中的偏移补偿参数。
在又一实施例中，形变检测模型可以由仿射变换矩阵模型 替代单应矩阵模型H∈R3×3，此时，计算公式(5)转化为以下计算公式(6)，以降低算法复杂度，进一步地提升目标特征点跟踪的效率。
其中，
此时，即表示目标特征点在第t帧图像与第t’帧图像之间的位移信息，具体地，表示位移信息中的平移部分，表示位移信息中二维的缩放和旋转部分。
可选地，计算公式(5)和计算公式(6)可以采用高斯牛顿算法实现。
通过上述实施例的配合，在形变检测模型的参数求解过程中，放松了对光照不变性的要求，进而有利于保证目标特征点再次跟踪的准确性。
如前所述，基于高斯牛顿算法的最小值求解过程中，发明人发现变量的初始值将影响求解过程的稳定性，即不合适的初始值，难以保证目标特征点再次跟踪的稳定性，甚至会导致在图像帧序列中针对目标特征点的跟踪失效。
下面基于计算公式(6)，对第二变量的初始化过程加以说明。
请参阅图12，在一示例性实施例中，步骤3535可以包括以下步骤：
步骤510，根据所述目标特征点在所述图像帧序列中历史相邻图像帧之间的位移信息、历史间隔图像帧之间的位移信息、以及光照补偿处理的历史参数，对所述矩阵模型的参数、光照补偿处理的参数进行预测。
预测，基于目标特征点在图像帧序列中历史相邻图像帧之间的位移信息、、历史间隔图像帧之间的位移信息、光照补偿处理的历史参数实现。
假设，历史相邻图像帧包括第t’-k+1帧图像和第t’-k+2帧图像、第t’-k+2帧图像和第t’-k+3帧图像，以此类推，直至第t’帧图像。
历史间隔图像帧仅指第t’-k帧图像和第t’帧图像。
由此，历史相邻图像帧之间的位移信息即为
历史间隔图像帧之间的位移信息即为
基于此，当矩阵模型为仿射变换矩阵模型时，其参数即可预测得到：
进一步地，在加入光照的缩放补偿和偏移补偿之后，需要预测的参数还包括光照补偿处理的参数。
该光照补偿处理的参数，也即是缩放补偿参数偏移补偿参数可以采用递归法、统计法进行预测。
关于递归法，假设在前一次形变检测模型的参数求解过程中，得到的光照补偿处理的历史参数为和以及对目标特征点从第t’-k帧图像逐步跟踪至第t’帧图像过程中，基于特征点跟踪模型的参数求解，得到的光照补偿处理的历史参数为和且特征点模板为
此时，
基于此，光照补偿处理的参数即可预测得到：
关于统计法，假设目标特征点i将从第t帧图像被跟踪至第t’帧图像，则对于第t帧图像中特征点模板包含的像素u、以及第t’帧图像中特征点模板包含的像素u′而言，有如下计算公式(7)成立：
假设特征点模板的平均值和方差分别为和特征点模板的平均值和方差分别为和令计算公式(7)两边的平均值和方差相等，则：
由于特征点模板是已知的，可以计算和但由于是未知的，则特征点模板是未知的，故无法计算和于是此处使用近似的方法，即近似特征点模板为l×l的特征点模板，便能够计算得到和
基于此，光照补偿处理的参数即可预测得到：
在上述过程，即完成了矩阵模型的参数光照补偿处理的参数的预测，以此便能够实现第二变量的初始化，即步骤530。
步骤530，根据预测到的参数，对第二变量进行初始化。
其中，所述第二变量与所述矩阵模型的参数光照补偿处理的参数有关。
基于预测到的参数，第二变量为：
步骤550，对所述第二亮度差进行关于初始化后第二变量的线性化展开运算，得到第二线性化展开结果。
针对第二线性化展开结果，如果第二线性化展开结果最小，则跳转执行步骤570。
反之，如果第二线性化展开结果未达到最小，则跳转执行步骤590。
步骤570，当所述第二线性化展开结果最小时，由最小的第二线性化展开结果中获得所述目标特征点在所述当前间隔图像帧之间的位移信息。
步骤590，当所述第二线性化展开结果未达到最小时，根据所述第二线性化展开结果中的第二增量更新所述第二变量，以使所述线性化展开运算基于更新后的第二变量进行。
在得到初始化的第二变量之后，便可由此展开对第二亮度差进行最小化运算的求解过程，具体求解过程如前所述，在此不再重复描述。
在上述实施例的作用下，基于初始化的第二变量，求解过程的稳定性大大提高，进而增强了高斯牛顿算法的鲁棒性，以此充分地保障了目标特征点再次跟踪的准确性，避免在图像帧序列中针对目标特征点的跟踪失效。
所述形变信息用于描述所述目标特征点在所述当前间隔图像帧之间发生的外观形变。
相应地，在一示例性实施例中，步骤355可以包括以下步骤：
以最小的第二线性化展开结果作为所述形变信息。
即，形变信息为
在另一示例性实施例中，如图13所示，步骤355可以包括以下步骤：
步骤3551，根据所述目标特征点在所述当前间隔图像帧之间的位移信息，分别计算特征点模板的第五亮度信息和第六亮度信息。
其中，所述特征点模板包含所述目标特征点及所述目标特征点周围的多个像素点。
步骤3553，根据所述特征点模型的第五亮度信息和第六亮度信息，进行归一化交叉相关性运算，以运算结果作为所述形变信息。
具体而言，假设当前间隔图像帧为第t帧图像和第t’＝t+k帧图像。
对于第t帧图像而言，特征点模板的第五亮度信息为
对于第t’帧图像而言，特征点模板的第六亮度信息
那么，归一化交叉相关性运算的计算公式(8)为：
基于此，计算公式(8)的运算结果即视为形变信息。
所述形变信息用于描述所述目标特征点在所述当前间隔图像帧之间发生的几何形变。
在一示例性实施例中，如图14所示，步骤355可以包括以下步骤：
步骤3552，针对所述当前间隔图像帧中的其中一个图像帧，确定特征点模板中角点在该其中一个图像帧的位置信息。
其中，所述特征点模板包含所述目标特征点及所述目标特征点周围的多个像素点。
步骤3554，基于所述目标特征点在所述当前间隔图像帧之间的位移信息，对所述特征点模板中角点在该其中一个图像帧的位置信息进行变换，得到所述特征点模板中角点在另一个图像帧的位置信息。
步骤3556，根据所述特征点模板中角点在另一个图像帧的位置信息，计算所述特征点模板在该另一个图像帧中的面积，作为所述形变信息。
举例来说，假设当前间隔图像帧为第t帧图像和第t’帧图像。
针对当前间隔图像帧中的其中一个图像帧(第t帧图像)，假设特征点模板的大小为l×l的正方形图像，该特征点模板中4个角点在该第t帧图像的位置信息，即坐标为(0,0)、(0,l-1)、(l-1,0)、(l-1,l-1)。
基于目标特征点在当前间隔图像帧之间的位移信息对前述位置信息进行单应矩阵变换，便得到特征点模板中4个角点在另一个图像帧(第t’帧图像)的位置信息，即坐标为
基于此，计算特征点模板在第t’帧图像中的面积作为形变信息，该面积的大小即表示特征点模板在第t帧图像与第t’帧图像之间发生的形变程度。
在得到形变信息之后，如果形变信息指示目标特征点在当前间隔图像帧之间发生的形变超过设定范围，则判定在所述图像帧序列中针对所述目标特征点的跟踪无效，即认为当前针对目标特征点的跟踪的质量差。
例如，面积小于阈值，即表示当前针对目标特征点的跟踪的质量差。
反之，则认为当前针对目标特征点的跟踪的质量好。
通过上述实施例的配合，实现了准确地评估目标特征点跟踪的质量。
下述为本发明装置实施例，可以用于执行本发明所涉及的运动检测方法。对于本发明装置实施例中未披露的细节，请参照本发明所涉及的运动检测方法的方法实施例。
请参阅图16，在一示例性实施例中，一种运动检测装置900包括但不限于：图像帧序列获取模块910、特征点跟踪模块930、特征点跟踪验证模块950及运动检测模块970。
其中，图像帧序列获取模块910，用于获取图像帧序列，所述图像帧序列包含多个图像帧。
特征点跟踪模块930，用于基于特征点跟踪模型，在所述图像帧序列包含的多个图像帧中对目标特征点进行跟踪，得到所述目标特征点在所述图像帧序列中的位移信息。
特征点跟踪验证模块950，用于基于形变检测模型，获取所述目标特征点在所述图像帧序列中不同图像帧之间的形变信息。
运动检测模块970，用于当根据所述形变信息确定在所述图像帧序列中针对所述目标特征点的跟踪有效时，根据所述目标特征点在所述图像帧序列中的位移信息进行运动检测，得到运动检测结果。
需要说明的是，上述实施例所提供的运动检测装置在进行运动检测时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即运动检测装置的内部结构将划分为不同的功能模块，以完成以上描述的全部或者部分功能。
另外，上述实施例所提供的运动检测装置与运动检测方法的实施例属于同一构思，其中各个模块执行操作的具体方式已经在方法实施例中进行了详细描述，此处不再赘述。
请参阅图17，在一示例性实施例中，一种电子设备1000，包括但不限于：至少一处理器1001、至少一存储器1002、以及至少一通信总线1003。
其中，存储器1002上存储有计算机可读指令，处理器1001通过通信总线1003读取存储器1002中存储的计算机可读指令。
该计算机可读指令被处理器1001执行时实现上述各实施例中的运动检测方法。
在一示例性实施例中，一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各实施例中的运动检测方法。
上述内容，仅为本发明的较佳示例性实施例，并非用于限制本发明的实施方案，本领域普通技术人员根据本发明的主要构思和精神，可以十分方便地进行相应的变通或修改，故本发明的保护范围应以权利要求书所要求的保护范围为准。

Claims (15)

1.一种运动检测方法，其特征在于，包括：
获取图像帧序列，所述图像帧序列包含多个图像帧；
基于特征点跟踪模型，在所述图像帧序列包含的多个图像帧中对目标特征点进行跟踪，得到所述目标特征点在所述图像帧序列中的位移信息；
基于形变检测模型，获取所述目标特征点在所述图像帧序列中不同图像帧之间的形变信息；
当根据所述形变信息确定在所述图像帧序列中针对所述目标特征点的跟踪有效时，根据所述目标特征点在所述图像帧序列中的位移信息进行运动检测，得到运动检测结果。
2.如权利要求1所述的方法，其特征在于，所述基于特征点跟踪模型，在所述图像帧序列包含的多个图像帧中对目标特征点进行跟踪，得到所述目标特征点在所述图像帧序列中的位移信息，包括：
遍历所述图像帧序列中的每一个图像帧，以遍历到的图像帧和后一个图像帧作为当前相邻图像帧；
将所述当前相邻图像帧输入所述特征点跟踪模型，进行所述目标特征点的跟踪，得到所述目标特征点在所述当前相邻图像帧之间的位移信息；
待所述遍历完成，根据所述目标特征点在所述图像帧序列中相邻图像帧之间的位移信息，获得所述目标特征点在所述图像帧序列中的位移信息。
3.如权利要求2所述的方法，其特征在于，所述特征点跟踪模型为二维移动模型；
所述将所述当前相邻图像帧输入所述特征点跟踪模型，进行所述目标特征点的跟踪，得到所述目标特征点在所述当前相邻图像帧之间的位移信息，包括：
基于所述二维移动模型，从所述当前相邻图像帧中，分别获得特征点模板的第一亮度信息和第二亮度信息，所述特征点模板包含所述目标特征点及所述目标特征点周围的多个像素点；
计算所述特征点模板的第一亮度信息与第二亮度信息之间的第一亮度差；
对所述第一亮度差进行最小化运算，得到所述目标特征点在所述当前相邻图像帧之间的位移信息。
4.如权利要求3所述的方法，其特征在于，所述对所述第一亮度差进行最小化运算，得到所述目标特征点在所述当前相邻图像帧之间的位移信息，包括：
获取缩放补偿参数和偏移补偿参数；
根据所述缩放补偿参数和所述偏移补偿参数，对所述第一亮度差进行光照补偿处理，得到补偿后的第一亮度差；
对所述补偿后的第一亮度差进行最小化运算，得到所述目标特征点在所述当前相邻图像帧之间的位移信息。
5.如权利要求3或4所述的方法，其特征在于，所述对所述第一亮度差进行最小化运算，得到所述目标特征点在所述当前相邻图像帧之间的位移信息，包括：
获取所述目标特征点在遍历到的图像帧与前一个图像帧之间的位移信息；
根据获取到的位移信息对第一变量进行初始化，所述第一变量与所述二维移动模型的参数、光照补偿处理的参数有关；
对所述第一亮度差进行关于初始化后第一变量的线性化展开运算，得到第一线性化展开结果；
当所述第一线性化展开结果最小时，由最小的第一线性化展开结果中获得所述目标特征点在所述当前相邻图像帧之间的位移信息。
6.如权利要求5所述的方法，其特征在于，所述对所述第一亮度差进行关于初始化后第一变量的线性化展开运算，得到第一线性化展开结果之后，所述方法还包括：
当所述第一线性化展开结果未达到最小时，根据所述第一线性化展开结果中的第一增量更新所述第一变量，以使所述线性化展开运算基于更新后的第一变量进行。
7.如权利要求1所述的方法，其特征在于，所述基于形变检测模型，获取所述目标特征点在所述图像帧序列中不同图像帧之间的形变信息，包括：
针对所述图像帧序列包含的多个图像帧，获取间隔设定帧数的两个图像帧作为当前间隔图像帧；
将所述当前间隔图像帧输入所述形变检测模型，对所述目标特征点进行跟踪，得到所述目标特征点在所述当前间隔图像帧之间的位移信息；
根据所述目标特征点在所述当前间隔图像帧之间的位移信息，获得形变信息，所述形变信息用于描述所述目标特征点在所述当前间隔图像帧之间发生的形变。
8.如权利要求7所述的方法，其特征在于，所述形变检测模型为矩阵模型，所述矩阵模型包括单应矩阵模型、仿射变换矩阵模型；
所述将所述当前间隔图像帧输入所述形变检测模型，对所述目标特征点进行跟踪，得到所述目标特征点在所述当前间隔图像帧之间的位移信息，包括：
基于所述矩阵模型，从所述当前间隔图像帧中，分别获得特征点模板的第三亮度信息和第四亮度信息，所述特征点模板包含所述目标特征点及所述目标特征点周围的多个像素点；
计算所述特征点模板的第三亮度信息与第四亮度信息之间的第二亮度差；
对所述第二亮度差进行最小化运算，得到所述目标特征点在所述当前间隔图像帧之间的位移信息。
9.如权利要求8所述的方法，其特征在于，所述对所述第二亮度差进行最小化运算，得到所述目标特征点在所述当前间隔图像帧之间的位移信息，包括：
根据所述目标特征点在所述图像帧序列中历史相邻图像帧之间的位移信息、历史间隔图像帧之间的位移信息、以及光照补偿处理的历史参数，对所述矩阵模型的参数、光照补偿处理的参数进行预测；
根据预测到的参数，对第二变量进行初始化，所述第二变量与所述矩阵模型的参数、光照补偿处理的参数有关；
对所述第二亮度差进行关于初始化后第二变量的线性化展开运算，得到第二线性化展开结果；
当所述第二线性化展开结果最小时，由最小的第二线性化展开结果中获得所述目标特征点在所述当前间隔图像帧之间的位移信息；
当所述第二线性化展开结果未达到最小时，根据所述第二线性化展开结果中的第二增量更新所述第二变量，以使所述线性化展开运算基于更新后的第二变量进行。
10.如权利要求9所述的方法，其特征在于，所述形变信息用于描述所述目标特征点在所述当前间隔图像帧之间发生的外观形变；
所述根据所述目标特征点在所述当前间隔图像帧之间的位移信息，获得形变信息，包括：
以最小的第二线性化展开结果作为所述形变信息。
11.如权利要求7所述的方法，其特征在于，所述形变信息用于描述所述目标特征点在所述当前间隔图像帧之间发生的外观形变；
所述根据所述目标特征点在所述当前间隔图像帧之间的位移信息，获得形变信息，包括：
根据所述目标特征点在所述当前间隔图像帧之间的位移信息，分别计算特征点模板的第五亮度信息和第六亮度信息，所述特征点模板包含所述目标特征点及所述目标特征点周围的多个像素点；
根据所述特征点模型的第五亮度信息和第六亮度信息，进行归一化交叉相关性运算，以运算结果作为所述形变信息。
12.如权利要求7所述的方法，其特征在于，所述形变信息用于描述所述目标特征点在所述当前间隔图像帧之间发生的几何形变；
所述根据所述目标特征点在所述当前间隔图像帧之间的位移信息，获得形变信息，包括：
针对所述当前间隔图像帧中的其中一个图像帧，确定特征点模板中角点在该其中一个图像帧的位置信息，所述特征点模板包含所述目标特征点及所述目标特征点周围的多个像素点；
基于所述目标特征点在所述当前间隔图像帧之间的位移信息，对所述特征点模板中角点在该其中一个图像帧的位置信息进行变换，得到所述特征点模板中角点在另一个图像帧的位置信息；
根据所述特征点模板中角点在另一个图像帧的位置信息，计算所述特征点模板在该另一个图像帧中的面积，作为所述形变信息。
13.一种运动检测装置，其特征在于，包括：
图像帧序列获取模块，用于获取图像帧序列，所述图像帧序列包含多个图像帧；
特征点跟踪模块，用于基于特征点跟踪模型，在所述图像帧序列包含的多个图像帧中对目标特征点进行跟踪，得到所述目标特征点在所述图像帧序列中的位移信息；
特征点跟踪验证模块，用于基于形变检测模型，获取所述目标特征点在所述图像帧序列中不同图像帧之间的形变信息；
运动检测模块，用于当所述形变信息指示在所述图像帧序列中针对所述目标特征点的跟踪有效时，根据所述目标特征点在所述图像帧序列中的位移信息进行运动检测，得到运动检测结果。
14.一种电子设备，其特征在于，包括：
处理器；及
存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现如权利要求1至12中任一项所述的运动检测方法。
15.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至12中任一项所述的运动检测方法。
CN201910361796.6A 2019-04-30 2019-04-30 运动检测方法、装置、电子设备及存储介质 Active CN110111364B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910361796.6A CN110111364B (zh) 2019-04-30 2019-04-30 运动检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910361796.6A CN110111364B (zh) 2019-04-30 2019-04-30 运动检测方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN110111364A true CN110111364A (zh) 2019-08-09
CN110111364B CN110111364B (zh) 2022-12-27

Family

ID=67487882

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910361796.6A Active CN110111364B (zh) 2019-04-30 2019-04-30 运动检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN110111364B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111583338A (zh) * 2020-04-26 2020-08-25 北京三快在线科技有限公司 用于无人设备的定位方法、装置、介质及无人设备
CN111998853A (zh) * 2020-08-27 2020-11-27 西安达升科技股份有限公司 一种agv视觉导航方法及系统
CN112292688A (zh) * 2020-06-02 2021-01-29 焦旭 运动检测方法和装置、电子设备以及计算机可读存储介质
CN118154820A (zh) * 2024-05-13 2024-06-07 南京竹影数字科技有限公司 基于实时虚实融合与实时虚实的互动演播方法

Citations (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009069019A (ja) * 2007-09-13 2009-04-02 Toshiba Corp 目標検出装置および目標検出方法
CN101673403A (zh) * 2009-10-10 2010-03-17 安防制造（中国）有限公司 复杂干扰场景下的目标跟踪方法
CN101739551A (zh) * 2009-02-11 2010-06-16 北京智安邦科技有限公司 运动目标识别方法及系统
US20100150401A1 (en) * 2008-12-16 2010-06-17 Victor Company Of Japan, Limited Target tracker
US20110150271A1 (en) * 2009-12-18 2011-06-23 Microsoft Corporation Motion detection using depth images
CN102819735A (zh) * 2012-08-17 2012-12-12 深圳辉锐天眼科技有限公司 基于视频帧图像的火焰检测方法
CN103024419A (zh) * 2012-12-31 2013-04-03 青岛海信信芯科技有限公司 一种视频图像处理方法及系统
CN103456023A (zh) * 2012-05-28 2013-12-18 深圳迈瑞生物医疗电子股份有限公司 组织运动定量分析方法和系统
US20140334668A1 (en) * 2013-05-10 2014-11-13 Palo Alto Research Center Incorporated System and method for visual motion based object segmentation and tracking
CN104200495A (zh) * 2014-09-25 2014-12-10 重庆信科设计有限公司 一种视频监控中的多目标跟踪方法
US20150138380A1 (en) * 2013-11-20 2015-05-21 Canon Kabushiki Kaisha Image pickup apparatus capable of detecting motion vector, method of controlling the same, and storage medium
CN105405150A (zh) * 2015-10-21 2016-03-16 东方网力科技股份有限公司 基于融合特征的异常行为检测方法和装置
US20160180545A1 (en) * 2014-12-18 2016-06-23 Thomson Licensing Method and electronic device for object tracking in a light-field capture
CN105957110A (zh) * 2016-06-29 2016-09-21 上海小蚁科技有限公司 用于检测对象的设备和方法
CN106683114A (zh) * 2016-12-16 2017-05-17 河海大学 基于特征光流的流体运动矢量估计方法
CN106709472A (zh) * 2017-01-17 2017-05-24 湖南优象科技有限公司 一种基于光流特征的视频目标检测与跟踪方法
US20170280055A1 (en) * 2016-03-23 2017-09-28 Canon Kabushiki Kaisha Image processing apparatus, imaging apparatus, and control method of image processing apparatus
CN107292910A (zh) * 2016-04-12 2017-10-24 南京理工大学 一种基于像素建模的移动相机下运动目标检测方法
US20170310901A1 (en) * 2016-04-20 2017-10-26 Samsung Electronics Co., Ltd Methodology and apparatus for generating high fidelity zoom for mobile video
CN107798688A (zh) * 2017-10-31 2018-03-13 广州杰赛科技股份有限公司 运动目标识别方法、预警方法以及汽车防追尾预警装置
CN107993245A (zh) * 2017-11-15 2018-05-04 湖北三江航天红峰控制有限公司 一种空天背景多目标检测和跟踪方法
CN108737734A (zh) * 2018-06-15 2018-11-02 Oppo广东移动通信有限公司 图像补偿方法和装置、计算机可读存储介质和电子设备
CN109191489A (zh) * 2018-08-16 2019-01-11 株洲斯凯航空科技有限公司 一种飞行器着陆标志的检测跟踪方法与系统
CN109460764A (zh) * 2018-11-08 2019-03-12 中南大学 一种结合亮度特征与改进帧间差分法的卫星视频船舶监测方法

Patent Citations (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009069019A (ja) * 2007-09-13 2009-04-02 Toshiba Corp 目標検出装置および目標検出方法
US20100150401A1 (en) * 2008-12-16 2010-06-17 Victor Company Of Japan, Limited Target tracker
CN101739551A (zh) * 2009-02-11 2010-06-16 北京智安邦科技有限公司 运动目标识别方法及系统
CN101673403A (zh) * 2009-10-10 2010-03-17 安防制造（中国）有限公司 复杂干扰场景下的目标跟踪方法
US20110150271A1 (en) * 2009-12-18 2011-06-23 Microsoft Corporation Motion detection using depth images
CN103456023A (zh) * 2012-05-28 2013-12-18 深圳迈瑞生物医疗电子股份有限公司 组织运动定量分析方法和系统
CN102819735A (zh) * 2012-08-17 2012-12-12 深圳辉锐天眼科技有限公司 基于视频帧图像的火焰检测方法
CN103024419A (zh) * 2012-12-31 2013-04-03 青岛海信信芯科技有限公司 一种视频图像处理方法及系统
US20140334668A1 (en) * 2013-05-10 2014-11-13 Palo Alto Research Center Incorporated System and method for visual motion based object segmentation and tracking
US20150138380A1 (en) * 2013-11-20 2015-05-21 Canon Kabushiki Kaisha Image pickup apparatus capable of detecting motion vector, method of controlling the same, and storage medium
CN104200495A (zh) * 2014-09-25 2014-12-10 重庆信科设计有限公司 一种视频监控中的多目标跟踪方法
US20160180545A1 (en) * 2014-12-18 2016-06-23 Thomson Licensing Method and electronic device for object tracking in a light-field capture
CN105405150A (zh) * 2015-10-21 2016-03-16 东方网力科技股份有限公司 基于融合特征的异常行为检测方法和装置
US20170280055A1 (en) * 2016-03-23 2017-09-28 Canon Kabushiki Kaisha Image processing apparatus, imaging apparatus, and control method of image processing apparatus
CN107292910A (zh) * 2016-04-12 2017-10-24 南京理工大学 一种基于像素建模的移动相机下运动目标检测方法
US20170310901A1 (en) * 2016-04-20 2017-10-26 Samsung Electronics Co., Ltd Methodology and apparatus for generating high fidelity zoom for mobile video
CN105957110A (zh) * 2016-06-29 2016-09-21 上海小蚁科技有限公司 用于检测对象的设备和方法
CN106683114A (zh) * 2016-12-16 2017-05-17 河海大学 基于特征光流的流体运动矢量估计方法
CN106709472A (zh) * 2017-01-17 2017-05-24 湖南优象科技有限公司 一种基于光流特征的视频目标检测与跟踪方法
CN107798688A (zh) * 2017-10-31 2018-03-13 广州杰赛科技股份有限公司 运动目标识别方法、预警方法以及汽车防追尾预警装置
CN107993245A (zh) * 2017-11-15 2018-05-04 湖北三江航天红峰控制有限公司 一种空天背景多目标检测和跟踪方法
CN108737734A (zh) * 2018-06-15 2018-11-02 Oppo广东移动通信有限公司 图像补偿方法和装置、计算机可读存储介质和电子设备
CN109191489A (zh) * 2018-08-16 2019-01-11 株洲斯凯航空科技有限公司 一种飞行器着陆标志的检测跟踪方法与系统
CN109460764A (zh) * 2018-11-08 2019-03-12 中南大学 一种结合亮度特征与改进帧间差分法的卫星视频船舶监测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FAN X等: "A new preprocessing algorithm for detection of a small dim target in an IR image sequence", 《WAVELET ANALYSIS AND PATTERN RECOGNITION》 *
徐文晴: "红外小目标检测与跟踪算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111583338A (zh) * 2020-04-26 2020-08-25 北京三快在线科技有限公司 用于无人设备的定位方法、装置、介质及无人设备
CN111583338B (zh) * 2020-04-26 2023-04-07 北京三快在线科技有限公司 用于无人设备的定位方法、装置、介质及无人设备
CN112292688A (zh) * 2020-06-02 2021-01-29 焦旭 运动检测方法和装置、电子设备以及计算机可读存储介质
CN111998853A (zh) * 2020-08-27 2020-11-27 西安达升科技股份有限公司 一种agv视觉导航方法及系统
CN118154820A (zh) * 2024-05-13 2024-06-07 南京竹影数字科技有限公司 基于实时虚实融合与实时虚实的互动演播方法

Also Published As

Publication number Publication date
CN110111364B (zh) 2022-12-27

Similar Documents

Publication Publication Date Title
CN110111364B (zh) 运动检测方法、装置、电子设备及存储介质
EP3134870B1 (en) Electronic device localization based on imagery
CN110111388B (zh) 三维物体位姿参数估计方法及视觉设备
WO2021139176A1 (zh) 基于双目摄像机标定的行人轨迹跟踪方法、装置、计算机设备及存储介质
CN110648397A (zh) 场景地图生成方法、装置、存储介质及电子设备
CN110378250B (zh) 用于场景认知的神经网络的训练方法、装置及终端设备
KR102572986B1 (ko) 사용자 지정 초기화 포인트에 기반한 개체 추적
US20180293805A1 (en) Methods and apparatuses for determining positions of multi-directional image capture apparatuses
CN109902675B (zh) 物体的位姿获取方法、场景重构的方法和装置
CN114820935A (zh) 三维重建方法、装置、设备及存储介质
GB2567245A (en) Methods and apparatuses for depth rectification processing
CN111932681A (zh) 房屋信息显示方法、装置和电子设备
CN115705651A (zh) 视频运动估计方法、装置、设备和计算机可读存储介质
WO2018100230A1 (en) Method and apparatuses for determining positions of multi-directional image capture apparatuses
CN112270242A (zh) 轨迹的显示方法、装置、可读介质和电子设备
CN113936042B (zh) 一种目标跟踪方法、装置和计算机可读存储介质
CN113436256B (zh) 拍摄装置状态识别方法、装置、计算机设备和存储介质
CN113240802B (zh) 三维重建的全屋虚拟装维方法、装置、设备及存储介质
CN113168706A (zh) 视频流的帧中的对象位置确定
CN111260544B (zh) 数据处理方法及装置、电子设备和计算机存储介质
WO2018150086A2 (en) Methods and apparatuses for determining positions of multi-directional image capture apparatuses
CN114004839A (zh) 全景图像的图像分割方法、装置、计算机设备和存储介质
CN112529943A (zh) 一种物体检测方法、物体检测装置及智能设备
CN112615993A (zh) 深度信息获取方法、双目摄像模组、存储介质及电子设备
CN113538477B (zh) 平面位姿的获取方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant