CN112672158A - 运动侦测系统及方法 - Google Patents
运动侦测系统及方法 Download PDFInfo
- Publication number
- CN112672158A CN112672158A CN202011435558.4A CN202011435558A CN112672158A CN 112672158 A CN112672158 A CN 112672158A CN 202011435558 A CN202011435558 A CN 202011435558A CN 112672158 A CN112672158 A CN 112672158A
- Authority
- CN
- China
- Prior art keywords
- motion detection
- motion
- image
- video frame
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 129
- 238000000034 method Methods 0.000 title abstract description 13
- 239000013598 vector Substances 0.000 claims abstract description 56
- 230000009467 reduction Effects 0.000 claims abstract description 18
- 238000013528 artificial neural network Methods 0.000 claims description 18
- 230000001133 acceleration Effects 0.000 claims description 4
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 239000010410 layer Substances 0.000 description 27
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明揭示了一种运动侦测系统及方法，所述运动侦测系统包括：视频帧缩小模块、第一运动检测模块及第二运动检测模块；视频帧缩小模块用以将视频数据的设定视频帧进行图像缩小；针对设定视频帧，得到至少两个经过缩小的具有不同分辨率的缩小图像；第一运动检测模块用以通过视频数据中的设定缩小图像进行运动检测，获取运动矢量；第二运动检测模块用以放大后的运动矢量指定的位置作为起始位置，对更高分辨率的图像进行运动检测。本发明提出的运动侦测系统及方法，可节省运算及内存，更好地侦测运动对象，提高侦测效率。
Description
技术领域
本发明属于运动侦测技术领域，涉及一种运动侦测系统，尤其涉及一种基于视频数据的运动侦测系统及方法。
背景技术
运动检测是视讯编码中,运算及带宽需求相当高的部份。通常会将输入帧和参考帧进行区块比对,在参考帧找最相似的区块来决定区块的运动矢量。传统的全区域搜寻(fullsearch)运算时间相当长且耗硬件资源,因此已有不少快速算法提出,大幅降低检测运算量。
其中一种运动检测算法为Hierarchy运动检测法；该方法中，首先将原始分辨率图像 down-sampling(或down-scaling)成1个或数个不同分辨率的图像；由最低分辨率开始,在图像上进行运动检测将得到区块运动矢量；这些运动矢量依比例放大后,在下一个较大分辨率图像就使用此运动矢量当预测值继续搜寻,以此类推。此过程等效上是在大分辨率图像做大范围的运动检测,而最后只在大分辨率图像做小范围的运动检测因此大幅节省检测运算量。而缩小图像次数(即Hierarchy运动检测法的层数)可根据算法或产品规格决定。
此外，神经网络在多对象追踪的算法也需要建立对象运动模型来帮助预测对象的移动轨迹,通常需要额外的硬件或是软件来处理。
有鉴于此，如今迫切需要设计一种新的运动检测方式，以便克服现有运动检测方式存在的上述至少部分缺陷。
发明内容
本发明提供一种运动侦测系统及方法，可节省运算及内存，更好地侦测运动对象，提高侦测效率及追踪准确率。
为解决上述技术问题，根据本发明的一个方面，采用如下技术方案：
一种运动侦测系统，所述运动侦测系统包括：
第一运动检测模块，用以通过视频数据中的设定缩小图像进行运动检测，获取运动矢量；以及
第二运动检测模块，以放大后的运动矢量指定的位置作为起始位置，对更高分辨率的图像进行运动检测。
作为本发明的一种实施方式，所述第二运动检测模块通过放大后的运动矢量指定的位置作为起始位置，对更高分辨率的图像进行运动检测，依此类推直到达成需要的检测范围。
作为本发明的一种实施方式，所述运动侦测系统进一步包括视频帧缩小模块，用以将视频数据的设定视频帧进行图像缩小；针对设定视频帧，得到至少两个经过缩小的具有不同分辨率的缩小图像。
作为本发明的一种实施方式，所述视频帧压缩模块用以根据原始分辨率进行缩小，缩小的比例为2的幂次方倍数。
作为本发明的一种实施方式，所述第一运动检测模块用以将对象的边框内的区块用平均或是加权平均的运算得到对象的运动矢量,实时更新运动模型内速度/加速度的运算。
作为本发明的一种实施方式，所述第一运动检测模块用以使用原始分辨率或/和分辨率被缩小后的任一图像作为神经网络的输入图像进行对象检测/追踪。
根据本发明的另一个方面，采用如下技术方案：一种运动侦测方法，所述运动侦测方法包括：
第一运动检测步骤，通过视频数据中的设定缩小图像进行运动检测，获取运动矢量；以及
第二运动检测步骤，以放大后的运动矢量指定的位置作为起始位置，对更高分辨率的图像进行运动检测。
作为本发明的一种实施方式，，通过放大后的运动矢量指定的位置作为起始位置，对更高分辨率的图像进行运动检测，依此类推直到达成需要的检测范围。
作为本发明的一种实施方式，所述运动侦测方法进一步包括视频帧缩小步骤，将视频数据的设定视频帧进行图像缩小；针对设定视频帧，得到至少两个经过缩小的具有不同分辨率的缩小图像。
本发明的有益效果在于：本发明提出的运动侦测系统及方法，可节省运算及内存，更好地侦测运动对象，提高侦测效率及追踪准确率。
附图说明
图1为本发明一实施例中运动侦测系统的组成示意图。
图2为Hierarchy运动检测方式示意图。
图3为神经网络与视讯编码器协作方式示意图(共享最小图)。
图4为神经网络与视讯编码器协作方式示意图(共享中间层图像)。
图5为运动模型处理示意图。
具体实施方式
下面结合附图详细说明本发明的优选实施例。
为了进一步理解本发明，下面结合实施例对本发明优选实施方案进行描述，但是应当理解，这些描述只是为进一步说明本发明的特征和优点，而不是对本发明权利要求的限制。
该部分的描述只针对几个典型的实施例，本发明并不仅局限于实施例描述的范围。相同或相近的现有技术手段与实施例中的一些技术特征进行相互替换也在本发明描述和保护的范围内。
说明书中各个实施例中的步骤的表述只是为了方便说明，本申请的实现方式不受步骤实现的顺序限制。说明书中的“连接”既包含直接连接，也包含间接连接。
请参阅图1，本发明揭示了一种运动侦测系统，所述运动侦测系统包括：第一运动检测模块2及第二运动检测模块3。第一运动检测模块2用以通过视频数据中的设定缩小图像进行运动检测，获取运动矢量；第二运动检测模块3用以以放大后的运动矢量指定的位置作为起始位置，对更高分辨率的图像进行运动检测。
如图1所示，在本发明的一实施例中，所述运动侦测系统进一步包括视频帧缩小模块1，用以将视频数据的设定视频帧进行图像缩小；针对设定视频帧，得到至少两个经过缩小的具有不同分辨率的缩小图像。在一实施例中，所述视频帧缩小模块用以根据原始分辨率进行缩小，缩小的比例为2的幂次方倍数。当然，也可以是其他任意倍数(整数倍或小数倍)，如3 倍、7倍、18倍、9.6倍、39倍等等。
在本发明的一实施例中，所述第二运动检测模块3通过放大后的运动矢量指定的位置作为起始位置，对更高分辨率的图像进行运动检测，依此类推直到达成需要的检测范围。
在本发明的一实施例中，所述第一运动检测模块2用以将对象的边框内的区块用平均或是加权平均的运算得到对象的运动矢量,实时更新运动模型内速度/加速度的运算。在一实施例中，所述第一运动检测模块2用以使用原始分辨率或/和分辨率被缩小后的任一图像作为神经网络的输入图像进行对象检测/追踪。
本发明还揭示一种运动侦测方法，所述运动侦测方法包括：
第一运动检测步骤，通过视频数据中的设定缩小图像进行运动检测，获取运动矢量；以及
第二运动检测步骤，以放大后的运动矢量指定的位置作为起始位置，对更高分辨率的图像进行运动检测。
在本发明的一实施例中，通过放大后的运动矢量指定的位置作为起始位置，对更高分辨率的图像进行运动检测，依此类推直到达成需要的检测范围。
在本发明的一实施例中，所述运动侦测方法进一步包括视频帧缩小步骤，将视频数据的设定视频帧进行图像缩小；针对设定视频帧，得到至少两个经过缩小的具有不同分辨率的缩小图像。
在本发明的一种使用场景中，先根据原始分辨率进行缩小,缩小的比例如果是2的幂次方倍数比较能简化整个过程的运量矢量及搜寻范围的缩放。首先在最小分辨率的图像进行运动检测；找到运动矢量后,如果此分辨率为神经网络使用的输入图像,则将该运动矢量给运动模型以协助追踪对象。上一层的矢量根据比例放大,以此放大后的矢量指到的位置当作起始位置让下一层的分辨率图像在检测窗口内进行运动检测,依此类推直到达成需要的检测范围。
在视讯编码和神经网络共存的系统中,因为神经网络只需要低分辨率图像即可进行对象侦测和追踪,因此可以利用同一帧低分辨率图像进行运动检测。检测完后得到每个区块的运动矢量(包含水平和垂直方向,分别称之为vector x,vector y),vector x/y有两个用途:1.协助神经网络预测对象的移动,只要处理区块转换成对象bounding box区域后即可得到相当可靠的对象移动预测,2.以downsampling(或是down scaling)前后的宽/高比例进行放大得到该区块的运动矢量给视讯编码器进行更高精准度和小区域的运动检测；由于大范围运动检测已在低分辨率图像处理完,因此在原始分辨率图像只需要高精准度和小区域的运动检测,此过程相当于节省运动检测数量。任一层的图像皆可当作神经网络的输入图像进行对象检测,因此不需要额外再产生神经网络输入层图像,以节省内存。而共享视讯编码器的hierarchy运动检测,经过简单的转换,则可以当作额外信息给motion model预测对象位置,帮助神经网络的对象侦测和追踪。
由于编码器的运动检测是以区块为单位来进行,但实际对象的形状不一定对齐区块,因此在运动模型motion model内需要先将区块矢量转换为对象的矢量。只要将对象的外框 bounding box内的区块,用平均或是加权平均等运算得到对象的运动矢量,实时更新motion model内速度/加速度等运算。
图2揭示了视讯编码器使用的Hierarchy运动检测算法(此图假设三层),原始分辨率图像 (第一层)经过downsampling(或是downscaling)得到第二层(中间层)图像,依此类推得到N 层的图像。最上层图像内的实线粗框代表当前帧物体位置,虚线粗框代表参考帧的物体位置, 箭头表示检测后的运动矢量。由最上层(第N层)开始进行运动检测得到每个区块的运动矢量后,第N-1层的运动检测用第N层的矢量依比例放大后可以得到起始位置,然后进行较小范围的运动检测；第N-1层～第1层的图像中实线框表示当前帧的物体位置.虚线框代表上一层得到的运动矢量放大后所指到的位置,以此当起始位置在本层做更小范围的运动检测。依此类推直到第一层也算完后即得到每个区块的运动矢量；有了运动矢量后就可以做帧间预测及其他视编码运算。
图3为是以图2为基准,将最上层图像和运动检测结果分别当作神经网络和motionmodel 的输入，达到更好的资源利用。在这里的运动检测包含视频压缩的矢量决策算法得到该层最终运动矢量(连接到他层运动检测的实线)和神经网络矢量决策算法得到该层对象的运动矢量 (连接到运动模型的虚线),这两个算法可能使用不同的参数或函式进行决策判断。
图4为图3的变化型,图3是利用Hierarchy的最上层当作共享层,图4是中间层也可以当作共享层的图示；其余运作方式如图3说明。
图5揭示区块运动矢量转换成对象运动矢量的方法。图5中的对象是不规则型,利用对象的bounding box和重迭区块的运动矢量(例如图5中的矢量a～l,矢量r～u)经过转换后可以得到对象的运动矢量或预测位置,协助神经网络追踪或侦测对象。
综上所述，本发明提出的运动侦测系统及方法，可节省运算及内存，更好地侦测运动对象，提高侦测效率及追踪准确率。在本发明的一种使用场景中，本发明利用既有hierarchy 运动检测算法,与神经网络共享小分辨率图像(减少内存及运算)及提供运动信息给神经网络。
需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施；例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一些实施例中，本申请的软件程序可以通过处理器执行以实现上文步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中；例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现；例如，作为与处理器配合从而执行各个步骤或功能的电路。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
这里本发明的描述和应用是说明性的，并非想将本发明的范围限制在上述实施例中。实施例中所涉及的效果或优点可因多种因素干扰而可能不能在实施例中体现，对于效果或优点的描述不用于对实施例进行限制。这里所披露的实施例的变形和改变是可能的，对于那些本领域的普通技术人员来说实施例的替换和等效的各种部件是公知的。本领域技术人员应该清楚的是，在不脱离本发明的精神或本质特征的情况下，本发明可以以其它形式、结构、布置、比例，以及用其它组件、材料和部件来实现。在不脱离本发明范围和精神的情况下，可以对这里所披露的实施例进行其它变形和改变。
Claims (9)
1.一种运动侦测系统，其特征在于，所述运动侦测系统包括：
第一运动检测模块，用以通过视频数据中的设定缩小图像进行运动检测，获取运动矢量；以及
第二运动检测模块，以放大后的运动矢量指定的位置作为起始位置，对更高分辨率的图像进行运动检测。
2.根据权利要求1所述的运动侦测系统，其特征在于：
所述第二运动检测模块通过放大后的运动矢量指定的位置作为起始位置，对更高分辨率的图像进行运动检测，依此类推直到达成需要的检测范围。
3.根据权利要求1所述的运动侦测系统，其特征在于：
所述运动侦测系统进一步包括视频帧缩小模块，用以将视频数据的设定视频帧进行图像缩小；针对设定视频帧，得到至少两个经过缩小的具有不同分辨率的缩小图像。
4.根据权利要求1所述的运动侦测系统，其特征在于：
所述视频帧压缩模块用以根据原始分辨率进行缩小，缩小的比例为2的幂次方倍数。
5.根据权利要求1所述的运动侦测系统，其特征在于：
所述第一运动检测模块用以将对象的边框内的区块用平均或是加权平均的运算得到对象的运动矢量,实时更新运动模型内速度/加速度的运算。
6.根据权利要求1所述的运动侦测系统，其特征在于：
所述第一运动检测模块用以使用原始分辨率或/和分辨率被缩小后的任一图像作为神经网络的输入图像进行对象检测/追踪。
7.一种运动侦测方法，其特征在于，所述运动侦测方法包括：
第一运动检测步骤，通过视频数据中的设定缩小图像进行运动检测，获取运动矢量；以及
第二运动检测步骤，以放大后的运动矢量指定的位置作为起始位置，对更高分辨率的图像进行运动检测。
8.根据权利要求7所述的运动侦测方法，其特征在于：
通过放大后的运动矢量指定的位置作为起始位置，对更高分辨率的图像进行运动检测，依此类推直到达成需要的检测范围。
9.根据权利要求7所述的运动侦测方法，其特征在于：
所述运动侦测方法进一步包括视频帧缩小步骤，将视频数据的设定视频帧进行图像缩小；针对设定视频帧，得到至少两个经过缩小的具有不同分辨率的缩小图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011435558.4A CN112672158A (zh) | 2020-12-10 | 2020-12-10 | 运动侦测系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011435558.4A CN112672158A (zh) | 2020-12-10 | 2020-12-10 | 运动侦测系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112672158A true CN112672158A (zh) | 2021-04-16 |
Family
ID=75401784
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011435558.4A Pending CN112672158A (zh) | 2020-12-10 | 2020-12-10 | 运动侦测系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112672158A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1999038331A1 (en) * | 1998-01-27 | 1999-07-29 | Sanyo Electric Co., Ltd. | Device and method for detecting moving vector |
| CN101945284A (zh) * | 2010-09-29 | 2011-01-12 | 无锡中星微电子有限公司 | 一种运动估计的装置和方法 |
| CN108898624A (zh) * | 2018-06-12 | 2018-11-27 | 浙江大华技术股份有限公司 | 一种运动物体跟踪的方法、装置、电子设备和存储介质 |
| CN111462170A (zh) * | 2020-03-30 | 2020-07-28 | Oppo广东移动通信有限公司 | 运动估计方法、运动估计装置、存储介质与电子设备 |
-
2020
- 2020-12-10 CN CN202011435558.4A patent/CN112672158A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1999038331A1 (en) * | 1998-01-27 | 1999-07-29 | Sanyo Electric Co., Ltd. | Device and method for detecting moving vector |
| CN101945284A (zh) * | 2010-09-29 | 2011-01-12 | 无锡中星微电子有限公司 | 一种运动估计的装置和方法 |
| CN108898624A (zh) * | 2018-06-12 | 2018-11-27 | 浙江大华技术股份有限公司 | 一种运动物体跟踪的方法、装置、电子设备和存储介质 |
| CN111462170A (zh) * | 2020-03-30 | 2020-07-28 | Oppo广东移动通信有限公司 | 运动估计方法、运动估计装置、存储介质与电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20190370980A1 (en) | System and method for real-time detection of objects in motion | |
| CN113286194A (zh) | 视频处理方法、装置、电子设备及可读存储介质 | |
| JP2000050281A (ja) | 動きベクトル検出方法および装置、記録媒体 | |
| CN102075760A (zh) | 快速运动估计方法及装置 | |
| Lu et al. | Edge compression: An integrated framework for compressive imaging processing on cavs | |
| JP4870081B2 (ja) | 変形可能なメッシュを用いた動き推定のための方法 | |
| CN114202463B (zh) | 面向云端融合的视频超分辨率方法及系统 | |
| US20060098886A1 (en) | Efficient predictive image parameter estimation | |
| US10990826B1 (en) | Object detection in video | |
| US11868438B2 (en) | Method and system for self-supervised learning of pillar motion for autonomous driving | |
| CN112672158A (zh) | 运动侦测系统及方法 | |
| US8837595B2 (en) | Motion estimation method | |
| Badawy et al. | On minimizing hierarchical mesh coding overhead:(HASM) hierarchical adaptive structured mesh approach | |
| CN106658024B (zh) | 一种快速的视频编码方法 | |
| Liu et al. | Edge-assisted intelligent video compression for live aerial streaming | |
| RU2656785C1 (ru) | Оценка движения путем трехмерного рекурсивного поиска (3drs) в реальном времени для преобразования частоты кадров (frc) | |
| JPH0262178A (ja) | 画像処理装置の動き検出方式 | |
| JP3276073B2 (ja) | 動きベクトル検出装置および動きベクトル検出方法 | |
| Матвеев et al. | THE OBJECT TRACKING ALGORITHM USING DIMENSIONAL BASED DETECTION FOR PUBLIC STREET ENVIRONMENT. | |
| Ghosh et al. | Streaming video analytics on the edge with asynchronous cloud support | |
| JPH07240927A (ja) | 映像符号化装置 | |
| CN114419094A (zh) | 一种可用于嵌入式的实时运动信息估计方法 | |
| JPH0818974A (ja) | 動画像符号化装置および動画像の動き検出装置 | |
| WO2024013893A1 (ja) | 物体検出装置、物体検出方法、及び物体検出プログラム | |
| WO2023103915A1 (zh) | 目标识别方法、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210416 |
|
| RJ01 | Rejection of invention patent application after publication |