CN108805837A - 一种动态目标高效跟踪图像数据传输方法及系统 - Google Patents

一种动态目标高效跟踪图像数据传输方法及系统 Download PDF

Info

Publication number
CN108805837A
CN108805837A CN201810576193.3A CN201810576193A CN108805837A CN 108805837 A CN108805837 A CN 108805837A CN 201810576193 A CN201810576193 A CN 201810576193A CN 108805837 A CN108805837 A CN 108805837A
Authority
CN
China
Prior art keywords
dynamic object
image
module
video
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201810576193.3A
Other languages
English (en)
Inventor
廖月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Kang Zhi Heng Machinery Technology Co Ltd
Original Assignee
Hefei Kang Zhi Heng Machinery Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Kang Zhi Heng Machinery Technology Co Ltd filed Critical Hefei Kang Zhi Heng Machinery Technology Co Ltd
Priority to CN201810576193.3A priority Critical patent/CN108805837A/zh
Publication of CN108805837A publication Critical patent/CN108805837A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种动态目标高效跟踪图像数据传输方法及系统，方法包括采集视频数据、目标框定、前景提取目标识别、调整参数确定、视频精简压缩等步骤；系统包括视频采集模块、存储模块、动态目标框定处理模块、前景提取模块、数据建模模块、像素分类模块、动态目标生成模块、位置标定模块、调整参数生成模块、视频数据压缩处理模块和通信模块。本发明能够准确提取出视频图像中的动态目标，并根据目标的移动同步调整视频的采集角度和方向，时刻清晰完整的采集到动态目标的图像，既降低了视频传输中数据量又保证了动态目标信息的准确有效性，具有较高的实用价值和广泛的应用前景。

Description

一种动态目标高效跟踪图像数据传输方法及系统
技术领域
本发明涉及智能控制技术领域，具体涉及一种动态目标高效跟踪图像数据传输方法及系统。
背景技术
随着社会经济的快速发展，科技的快速进步，人们的生活方式已经发生了改变，远程视频、视频监控应用的越来越广。比如远程教育，在远程的任意地方，就可以自由的选择需要学习的内容进行学习，再比如安装于商业广场、超市以及学校等公共安全较为重要场合的视频监控系统。
而现有的视频分析过程中对于动态目标的提取有较多的问题，比如如何有效确定动态目标，如何消除动态背景在前景提取时的影响，如何减轻目标阴影对目标提取的影响以及如果降低噪声，通常常用的帧差法比较适用于运动目标和背景的灰度相差较多，并且背景变化很小的视频图像处理，无法广泛应用，其他方法也无法有效解决以上问题。
另一方面，现有技术中也存在基于视频中目标的粗略定位位置来调整拍摄角度的直播方式，但是这种方式的调整精度不够，调整的过程中容易对拍摄画面差生影响，拍摄图像可能模糊不清，并且无法满足大视场以及目标活动区间过大的情况，会出现较大盲区或通过远距离的录制采集，实际观看时可能出现无法准确跟踪动态目标。
此外在现有技术中，视频通过网络进行传输因为受到网络带宽等因素的影响，很容易出现时断时续的现象，影响播放的效果。无论是采用哪种方式，要想获得清晰流畅的动态目标的视频播放效果，都需要对远程视频动中产生的流媒体数据进行有效压缩。但是，现有技术尚没有提供对动态目标有针对性的视频压缩解决方案。
发明内容
针对现有技术的不足，本发明提供一种动态目标高效跟踪图像数据传输方法及系统，能够准确提取出视频图像中的动态目标，并根据目标的移动同步调整视频的采集角度和方向，时刻清晰完整的采集到动态目标的图像，既降低了视频传输中数据量又保证了动态目标信息的准确有效性，具有较高的实用价值和广泛的应用前景。
本发明解决技术问题采用如下技术方案：
本发明提供了一种动态目标高效跟踪图像数据传输方法，包括以下步骤：
S1、采集视频数据按照时间顺序存储等待处理；
S2、对步骤S1采集的视频数据的每一帧图像数据使用Faster RCNN进行目标框定，生成建议框，将生成建议框中的图像数据按照预设时间间隔T分段提取存储等待处理；
S3、将步骤S2中分段提取存储的生成建议框中的图像数据混合高斯模型进行前景提取识别得到动态目标数据，包括：
S31、对该段图像数据中的前M帧图像中任一像素点进行建模得到该像素点的概率分布函数：
X表示该像素点灰度值，t为该帧图像对应的时刻，K为选取拟合的高斯模型的个数η为高斯概率密度函数，ω属于不同函数的权重，μ和ε分别是t时刻第n个高斯模型的均值向量和协方差矩阵；
S32、在获得概率分布函数P(Xt)后，从第M+1帧开始，对每一帧图像数据获取后更新混合高斯模型，用当前图像中的每个像素点与混合高斯模型匹配，若相匹配，则认为该像素点是背景像素；否则提取为前景像素数据；
S33、根据S32中提取的前景像素数据组合处理得到每一帧图像中的动态目标数据；
S4、以每帧图像的中心点为原点建立直角坐标系，得到步骤S3中动态目标的位置参数，根据相邻帧图像间位置参数的差值得到动态目标的运行轨迹；
S5、根据动态目标的运行轨迹，得到包括调整时间间隔、角度信息、高度信息、运动速度信息在内的调整参数，根据得到的调整参数调整视频采集的角度和方向用以保证动态目标平稳恢复到位于图像中心点位置处；
S6、将采集的视频数据经过处理压缩操作后传输至服务器存储等待用户调看，所述处理压缩操作包括以下步骤：
S61、根据步骤四处理得到的动态目标的位置参数按照预设的帧数Q，计算出相邻Q帧图像间的动态目标位置变化差值△S；
S62、当目标位置变化差值△S超过预设阈值Y时，将相邻Q帧图像全部压缩传输至服务器；
当目标位置变化差值△S未超过预设阈值Y时，将相邻Q帧图像按照每隔一帧去除一帧图像，得到精简版的视频图像压缩送入服务器存储。
优选地，所述步骤S33中对前景像素数据的处理包括卡尔曼滤波和形态学处理。
优选地，所述步骤S5还包括以下步骤：
若调整参数超过预定阈值，则按最大阈值调整视频采集的角度和方向，同时发出异常报警信息，关闭该路视频传输信号，接入包含动态目标的另路视频传输信号。
优选地，所述S2中在使用Faster RCNN进行目标框定前还对每一帧图像进行了预处理，包括：采用HSV色彩空间减轻了目标阴影对目标提取的影响，采用中值滤波器去掉了椒盐噪声，采用图像二值化使图像变的简单，采用图像学去噪中的腐蚀和膨胀分别提取消除图像噪声和填充图像空洞。
本发明还提供一种动态目标高效跟踪图像数据传输系统，包括：
视频采集模块，包括多路视频采集成套装置，用于实时采集视频数据，并根据调整信号调整每路视频采集的角度和方向；
存储模块，用于存储视频采集实时采集视频数据；
动态目标框定处理模块，用于提取存储模块存储的视频数据，并将每一帧图像数据使用Faster RCNN进行目标框定，生成建议框，将生成建议框中的图像数据按照预设时间间隔T分段提取存储等待处理；
前景提取模块，用于分段提取存储的生成建议框中的图像数据混合高斯模型进行前景提取识别得到动态目标数据，包括：
数据建模模块，用于对该段图像数据中的前M帧图像中任一像素点进行建模得到该像素点的概率分布函数：
X表示该像素点灰度值，t为该帧图像对应的时刻，K为选取拟合的高斯模型的个数η为高斯概率密度函数，ω属于不同函数的权重，μ和ε分别是t时刻第n个高斯模型的均值向量和协方差矩阵；
像素分类模块，用于在获得概率分布函数P(Xt)后，从第M+1帧开始，对每一帧图像数据获取后更新混合高斯模型，用当前图像中的每个像素点与混合高斯模型匹配，若相匹配，则认为该像素点是背景像素；否则提取为前景像素数据；
动态目标生成模块，用于根据提取的前景像素数据组合处理得到每一帧图像中的动态目标数据；
位置标定模块，用于以每帧图像的中心点为原点建立直角坐标系，得到动态目标的位置参数，根据相邻帧图像间位置参数的差值得到动态目标的运行轨迹；
调整参数生成模块，用于根据动态目标的运行轨迹，得到包括调整时间间隔、角度信息、高度信息、运动速度信息在内的调整参数，并将调整参数反馈至视频采集模块，视频采集模块根据得到的调整参数调整视频采集的角度和方向用以保证动态目标平稳恢复到位于图像中心点位置处；
视频数据压缩处理模块，用于根据得到的动态目标的位置参数按照预设的帧数Q，计算出相邻Q帧图像间的动态目标位置变化差值△S；当目标位置变化差值△S超过预设阈值Y时，将相邻Q帧图像全部压缩传输至服务器；当目标位置变化差值△S未超过预设阈值Y时，将相邻Q帧图像按照每隔一帧去除一帧图像，得到精简版的视频图像数据并压缩；
通信模块，用于将视频采集模块采集的视频数据传输至存储模块、将经过视频数据压缩处理模块处理后的视频图像数据送入服务器存储以及将调整参数传输至视频采集模块。
优选地，所述动态目标生成模块还包括卡尔曼滤波模块和形态学处理模块。
优选地，所述调整参数生成模块中还包括参数异常处理模块，用于当调整参数超过预定阈值时，向视频采集模块发出指令信号，视频采集模块按最大阈值调整视频采集的角度和方向，同时发出异常报警信息，关闭该路视频传输信号，接入包含动态目标的另路视频传输信号。
优选地，还包括图像预处理模块，用于在使用Faster RCNN进行目标框定前还对每一帧图像进行了预处理，包括：采用HSV色彩空间减轻了目标阴影对目标提取的影响，采用中值滤波器去掉了椒盐噪声，采用图像二值化使图像变的简单，采用图像学去噪中的腐蚀和膨胀分别提取消除图像噪声和填充图像空洞。
优选地，所述视频采集成套装置包括摄像装置和调整装置；
所述摄像装置包括主摄像装置和辅助摄像装置，所述辅助摄像装置为两个，分别与主摄像装置有50％的叠加视场，所述辅助摄像装置间无视场叠加；
所述调整装置用于根据通信模块传送的调整参数调整摄像装置的视频采集的角度和方向。
优选地，所述选取拟合的高斯模型的个数K值的大小为4个。
与现有技术相比，本发明具有如下的有益效果：
(1)本发明的一种动态目标高效跟踪图像数据传输方法通过对图像数据先进行目标框定，再采用混合高斯模型进行前景提取，进而准确得到动态目标的区域，创新的采用这种组合提取模式能够从不同复杂程度的背景中辨识出运动目标，还能够有效的避免由于摄像头抖动导致背景变化剧烈，并有效分离背景，从而能够完成跟踪识别等后续任务。
(2)本发明的一种动态目标高效跟踪图像数据传输方法通过对提取的动态目标进行建立坐标系式的位置定位，能够自动追踪动态目标，不需要人工调整，即可实时准确清新的采取到动态目标的视频图像信息，而且可以持续的调整摄像装置，使得用户调看的更清楚，体验更佳。
(3)本发明的一种动态目标高效跟踪图像数据传输方法通过数据压缩处理，创新的采用根据动态目标的位置移动程度，进行精简帧数，可以在保证远程传输过程中充分展示动态目标信息的同时，有效降低远程数据的传输量，从而有效降低开展远程监控的成本。
(4)本发明的一种动态目标高效跟踪图像数据传输方法，通过对动态目标定位输出前进行了卡尔曼滤波和形态学处理，有效的降低了噪声光照的影响，提高了目标和图像的信噪比；同时在图像预处理时采用HSV色彩空间减轻了目标阴影对目标提取的影响，采用中值滤波器去掉了椒盐噪声，采用图像二值化使图像变的简单，采用图像学去噪中的腐蚀和膨胀分别提取消除图像噪声和填充图像空洞。
(5)本发明的一种动态目标高效跟踪图像数据传输系统提供了一种方便、快捷、高效、低成本运作的动态目标锁定跟方式，系统灵活性、自动化程度较高，识别速度快、准确率高，同时还具有通用性强、开放性强、扩展性强的优点。
(6)本发明的一种动态目标高效跟踪图像数据传输系统能够准确提取出视频图像中的动态目标，并根据目标的移动同步调整视频的采集角度和方向，时刻清晰完整的采集到动态目标的图像，既降低了视频传输中数据量又保证了动态目标信息的准确有效性，具有较高的实用价值和广泛的应用前景。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明的一种动态目标高效跟踪图像数据传输方法流程图；
图2为本发明的一种动态目标高效跟踪图像数据传输方法的前景提取目标识别步骤的具体流程图；
图3为本发明的一种动态目标高效跟踪图像数据传输方法的视频精简压缩步骤的具体流程图；
图4为本发明的一种动态目标高效跟踪图像数据传输方法的图像预处理具体流程图；
图5为本发明的一种动态目标高效跟踪图像数据传输系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
此外，所属技术领域的技术人员知道，本发明的各个方面可以实现为系统、方法或计算机程序产品。因此，本发明的各个方面可以具体实现为软硬件结合的形式，这里可以统称为“电路”、“模块”或“系统”。此外，在一些实施例中，本发明的各个方面还可以实现为在一个或多个微处理器可读介质中的计算机程序产品的形式，该微处理器可读介质中包含微处理器可读的程序代码。
下面将参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述本发明。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些计算机程序指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机程序指令存储在计算机可读介质中，这些指令使得计算机、其它可编程数据处理装置、或其他设备以特定方式工作，从而，存储在计算机可读介质中的指令就产生出包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的指令的制造品(article of manufacture)。也可以将计算机程序指令装载到计算机、其它可编程数据处理装置、或其它设备上使一系列操作步骤在计算机、其它可编程装置、或其它设备上得到执行，形成计算机实现过程，以便在计算机或其它可编程装置上执行的指令提供实现在流程图和/或框图中的一个或多个方框中规定的功能/动作的过程。
如图1-5所示，本实施例的一种动态目标高效跟踪图像数据传输方法，包括以下步骤：
S1、采集视频数据按照时间顺序存储等待处理；
S2、对步骤S1采集的视频数据的每一帧图像数据使用Faster RCNN进行目标框定，生成建议框，将生成建议框中的图像数据按照预设时间间隔T分段提取存储等待处理；
S3、将步骤S2中分段提取存储的生成建议框中的图像数据混合高斯模型进行前景提取识别得到动态目标数据，包括：
S31、对该段图像数据中的前M帧图像中任一像素点进行建模得到该像素点的概率分布函数：
X表示该像素点灰度值，t为该帧图像对应的时刻，K为选取拟合的高斯模型的个数η为高斯概率密度函数，ω属于不同函数的权重，μ和ε分别是t时刻第n个高斯模型的均值向量和协方差矩阵；
S32、在获得概率分布函数P(Xt)后，从第M+1帧开始，对每一帧图像数据获取后更新混合高斯模型，用当前图像中的每个像素点与混合高斯模型匹配，若相匹配，则认为该像素点是背景像素；否则提取为前景像素数据；
S33、根据S32中提取的前景像素数据组合处理得到每一帧图像中的动态目标数据；
S4、以每帧图像的中心点为原点建立直角坐标系，得到步骤S3中动态目标的位置参数，根据相邻帧图像间位置参数的差值得到动态目标的运行轨迹；
S5、根据动态目标的运行轨迹，得到包括调整时间间隔、角度信息、高度信息、运动速度信息在内的调整参数，根据得到的调整参数调整视频采集的角度和方向用以保证动态目标平稳恢复到位于图像中心点位置处；
S6、将采集的视频数据经过处理压缩操作后传输至服务器存储等待用户调看，所述处理压缩操作包括以下步骤：
S61、根据步骤四处理得到的动态目标的位置参数按照预设的帧数Q，计算出相邻Q帧图像间的动态目标位置变化差值△S；
S62、当目标位置变化差值△S超过预设阈值Y时，将相邻Q帧图像全部压缩传输至服务器；
当目标位置变化差值△S未超过预设阈值Y时，将相邻Q帧图像按照每隔一帧去除一帧图像，得到精简版的视频图像压缩送入服务器存储。
本实施例步骤S33中对前景像素数据的处理包括卡尔曼滤波和形态学处理。
本实施例步骤S5还包括以下步骤：
若调整参数超过预定阈值，则按最大阈值调整视频采集的角度和方向，同时发出异常报警信息，关闭该路视频传输信号，接入包含动态目标的另路视频传输信号。
本实施例步骤S2中在使用Faster RCNN进行目标框定前还对每一帧图像进行了预处理，包括：采用HSV色彩空间减轻了目标阴影对目标提取的影响，采用中值滤波器去掉了椒盐噪声，采用图像二值化使图像变的简单，采用图像学去噪中的腐蚀和膨胀分别提取消除图像噪声和填充图像空洞。
本实施例中的一种动态目标高效跟踪图像数据传输系统，包括：
视频采集模块，包括多路视频采集成套装置，用于实时采集视频数据，并根据调整信号调整每路视频采集的角度和方向；
存储模块，用于存储视频采集实时采集视频数据；
动态目标框定处理模块，用于提取存储模块存储的视频数据，并将每一帧图像数据使用Faster RCNN进行目标框定，生成建议框，将生成建议框中的图像数据按照预设时间间隔T分段提取存储等待处理；
前景提取模块，用于分段提取存储的生成建议框中的图像数据混合高斯模型进行前景提取识别得到动态目标数据，包括：
数据建模模块，用于对该段图像数据中的前M帧图像中任一像素点进行建模得到该像素点的概率分布函数：
X表示该像素点灰度值，t为该帧图像对应的时刻，K为选取拟合的高斯模型的个数，η为高斯概率密度函数，ω属于不同函数的权重，μ和ε分别是t时刻第n个高斯模型的均值向量和协方差矩阵；
像素分类模块，用于在获得概率分布函数P(Xt)后，从第M+1帧开始，对每一帧图像数据获取后更新混合高斯模型，用当前图像中的每个像素点与混合高斯模型匹配，若相匹配，则认为该像素点是背景像素；否则提取为前景像素数据；
动态目标生成模块，用于根据提取的前景像素数据组合处理得到每一帧图像中的动态目标数据；
位置标定模块，用于以每帧图像的中心点为原点建立直角坐标系，得到动态目标的位置参数，根据相邻帧图像间位置参数的差值得到动态目标的运行轨迹；
调整参数生成模块，用于根据动态目标的运行轨迹，得到包括调整时间间隔、角度信息、高度信息、运动速度信息在内的调整参数，并将调整参数反馈至视频采集模块，视频采集模块根据得到的调整参数调整视频采集的角度和方向用以保证动态目标平稳恢复到位于图像中心点位置处；
视频数据压缩处理模块，用于根据得到的动态目标的位置参数按照预设的帧数Q，计算出相邻Q帧图像间的动态目标位置变化差值△S；当目标位置变化差值△S超过预设阈值Y时，将相邻Q帧图像全部压缩传输至服务器；当目标位置变化差值△S未超过预设阈值Y时，将相邻Q帧图像按照每隔一帧去除一帧图像，得到精简版的视频图像数据并压缩；
通信模块，用于将视频采集模块采集的视频数据传输至存储模块、将经过视频数据压缩处理模块处理后的视频图像数据送入服务器存储以及将调整参数传输至视频采集模块。
本实施例中的动态目标生成模块还包括卡尔曼滤波模块和形态学处理模块。
本实施例中的调整参数生成模块中还包括参数异常处理模块，用于当调整参数超过预定阈值时，向视频采集模块发出指令信号，视频采集模块按最大阈值调整视频采集的角度和方向，同时发出异常报警信息，关闭该路视频传输信号，接入包含动态目标的另路视频传输信号。
本实施例中的动态目标高效跟踪图像数据传输系统还包括图像预处理模块，用于在使用Faster RCNN进行目标框定前还对每一帧图像进行了预处理，包括：采用HSV色彩空间减轻了目标阴影对目标提取的影响，采用中值滤波器去掉了椒盐噪声，采用图像二值化使图像变的简单，采用图像学去噪中的腐蚀和膨胀分别提取消除图像噪声和填充图像空洞。
本实施例中的视频采集成套装置包括摄像装置和调整装置；
所述摄像装置包括主摄像装置和辅助摄像装置，所述辅助摄像装置为两个，分别与主摄像装置有50％的叠加视场，所述辅助摄像装置间无视场叠加；
所述调整装置用于根据通信模块传送的调整参数调整摄像装置的视频采集的角度和方向。
本实施中的拟合的高斯模型的个数K值的大小为4个。
本实施例中相对于现有技术的显著的进步和实质性特点分析如下：
本实施中先对视频图像进行了预处理，包括采用HSV色彩空间减轻了目标阴影对目标提取的影响，采用中值滤波器去掉了椒盐噪声，采用图像二值化使图像变的简单，采用图像学去噪中的腐蚀和膨胀分别提取消除图像噪声和填充图像空洞，为后续的目标框定和前景提取降低了误码率和难度，特别的选用这几种操作能够达到协同作用，将视频图像处理中可能影响的因素基本上排查一遍，有效的提高了后续处理的精度；
其次本申请中创造性的先使用Faster RCNN对动态目标进行大致框定，再采用混合高斯模型进行前景提取可以有效解决由于摄像头晃动等引起的背景变化剧烈从而导致的前景提取效果不好的问题，在使用Faster RCNN对动态目标进行大致框定后，框就作为一个噪声消除的依据，在后续进行前景提取时采用混合高斯模型进行前景提取，并且采用像素点建模，对新进像素点逐一比对，同时每一帧新图像进入都更新混合高斯模型，这样能够尽量将高斯模型的拟合度增加，本实施例中通过多次试验，采用4个拟合的高斯模型能够在速度和效果上达到较好的平衡；
本申请在动态目标确定后采用建立坐标系，确定动态目标的位置，得到其变化量，从而调整视频采集的角度和方向，乃至切换视频的传输路径，从而准确快速清晰的将需要跟踪的目标视频图像采集存储传输，此外还通过对比移动距离，从而间隔删除图像帧幅数，有效降低了传输的数据量，节约了资源提高了速率，也保证了数据准确有效性；
本实施例中在动态目标最终输出前还对其进行了卡尔曼滤波和形态学处理，能够实现动态目标的平滑，使得在人体运动目标追踪得到更好的视觉和感官的效果。
本申请对动态目标的提取跟踪的全过程中，整体的优化和设计，使得目标提取更为准确、跟踪更为及时、反馈更为顺畅、实际使用效果感受更好，相对于现有技术具有显著的进步和实质性特点。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
本发明的一种动态目标高效跟踪图像数据传输方法能够准确提取出视频图像中的动态目标，并根据目标的移动同步调整视频的采集角度和方向，时刻清晰完整的采集到动态目标的图像，既降低了视频传输中数据量又保证了动态目标信息的准确有效性，具有较高的实用价值和广泛的应用前景。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (10)

1.一种动态目标高效跟踪图像数据传输方法，其特征在于，包括以下步骤：
S1、采集视频数据按照时间顺序存储等待处理；
S2、对步骤S1采集的视频数据的每一帧图像数据使用Faster RCNN进行目标框定，生成建议框，将生成建议框中的图像数据按照预设时间间隔T分段提取存储等待处理；
S3、将步骤S2中分段提取存储的生成建议框中的图像数据混合高斯模型进行前景提取识别得到动态目标数据，包括：
S31、对该段图像数据中的前M帧图像中任一像素点进行建模得到该像素点的概率分布函数：
X表示该像素点灰度值，t为该帧图像对应的时刻，K为选取拟合的高斯模型的个数，η为高斯概率密度函数，ω属于不同函数的权重，μ和ε分别是t时刻第n个高斯模型的均值向量和协方差矩阵；
S32、在获得概率分布函数P(Xt)后，从第M+1帧开始，对每一帧图像数据获取后更新混合高斯模型，用当前图像中的每个像素点与混合高斯模型匹配，若相匹配，则认为该像素点是背景像素；否则提取为前景像素数据；
S33、根据S32中提取的前景像素数据组合处理得到每一帧图像中的动态目标数据；
S4、以每帧图像的中心点为原点建立直角坐标系，得到步骤S3中动态目标的位置参数，根据相邻帧图像间位置参数的差值得到动态目标的运行轨迹；
S5、根据动态目标的运行轨迹，得到包括调整时间间隔、角度信息、高度信息、运动速度信息在内的调整参数，根据得到的调整参数调整视频采集的角度和方向用以保证动态目标平稳恢复到位于图像中心点位置处；
S6、将采集的视频数据经过处理压缩操作后传输至服务器存储等待用户调看，所述处理压缩操作包括以下步骤：
S61、根据步骤四处理得到的动态目标的位置参数按照预设的帧数Q，计算出相邻Q帧图像间的动态目标位置变化差值△S；
S62、当目标位置变化差值△S超过预设阈值Y时，将相邻Q帧图像全部压缩传输至服务器；
当目标位置变化差值△S未超过预设阈值Y时，将相邻Q帧图像按照每隔一帧去除一帧图像，得到精简版的视频图像压缩送入服务器存储。
2.根据权利要求1所述的一种动态目标高效跟踪图像数据传输方法，其特征在于，所述步骤S33中对前景像素数据的处理包括卡尔曼滤波和形态学处理。
3.根据权利要求1所述的一种动态目标高效跟踪图像数据传输方法，其特征在于，所述步骤S5还包括以下步骤：
若调整参数超过预定阈值，则按最大阈值调整视频采集的角度和方向，同时发出异常报警信息，关闭该路视频传输信号，接入包含动态目标的另路视频传输信号。
4.根据权利要求1所述的一种动态目标高效跟踪图像数据传输方法，其特征在于，所述S2中在使用Faster RCNN进行目标框定前还对每一帧图像进行了预处理，包括：采用HSV色彩空间减轻了目标阴影对目标提取的影响，采用中值滤波器去掉了椒盐噪声，采用图像二值化使图像变的简单，采用图像学去噪中的腐蚀和膨胀分别提取消除图像噪声和填充图像空洞。
5.一种动态目标高效跟踪图像数据传输系统，其特征在于，包括：
视频采集模块，包括多路视频采集成套装置，用于实时采集视频数据，并根据调整信号调整每路视频采集的角度和方向；
存储模块，用于存储视频采集实时采集视频数据；
动态目标框定处理模块，用于提取存储模块存储的视频数据，并将每一帧图像数据使用Faster RCNN进行目标框定，生成建议框，将生成建议框中的图像数据按照预设时间间隔T分段提取存储等待处理；
前景提取模块，用于分段提取存储的生成建议框中的图像数据混合高斯模型进行前景提取识别得到动态目标数据，包括：
数据建模模块，用于对该段图像数据中的前M帧图像中任一像素点进行建模得到该像素点的概率分布函数：
X表示该像素点灰度值，t为该帧图像对应的时刻，K为选取拟合的高斯模型的个数，η为高斯概率密度函数，ω属于不同函数的权重，μ和ε分别是t时刻第n个高斯模型的均值向量和协方差矩阵；
像素分类模块，用于在获得概率分布函数P(Xt)后，从第M+1帧开始，对每一帧图像数据获取后更新混合高斯模型，用当前图像中的每个像素点与混合高斯模型匹配，若相匹配，则认为该像素点是背景像素；否则提取为前景像素数据；
动态目标生成模块，用于根据提取的前景像素数据组合处理得到每一帧图像中的动态目标数据；
位置标定模块，用于以每帧图像的中心点为原点建立直角坐标系，得到动态目标的位置参数，根据相邻帧图像间位置参数的差值得到动态目标的运行轨迹；
调整参数生成模块，用于根据动态目标的运行轨迹，得到包括调整时间间隔、角度信息、高度信息、运动速度信息在内的调整参数，并将调整参数反馈至视频采集模块，视频采集模块根据得到的调整参数调整视频采集的角度和方向用以保证动态目标平稳恢复到位于图像中心点位置处；
视频数据压缩处理模块，用于根据得到的动态目标的位置参数按照预设的帧数Q，计算出相邻Q帧图像间的动态目标位置变化差值△S；当目标位置变化差值△S超过预设阈值Y时，将相邻Q帧图像全部压缩传输至服务器；当目标位置变化差值△S未超过预设阈值Y时，将相邻Q帧图像按照每隔一帧去除一帧图像，得到精简版的视频图像数据并压缩；
通信模块，用于将视频采集模块采集的视频数据传输至存储模块、将经过视频数据压缩处理模块处理后的视频图像数据送入服务器存储以及将调整参数传输至视频采集模块。
6.根据权利要求5所述的一种动态目标高效跟踪图像数据传输系统，其特征在于，所述动态目标生成模块还包括卡尔曼滤波模块和形态学处理模块。
7.根据权利要求5所述的一种动态目标高效跟踪图像数据传输系统，其特征在于，所述调整参数生成模块中还包括参数异常处理模块，用于当调整参数超过预定阈值时，向视频采集模块发出指令信号，视频采集模块按最大阈值调整视频采集的角度和方向，同时发出异常报警信息，关闭该路视频传输信号，接入包含动态目标的另路视频传输信号。
8.根据权利要求5所述的一种动态目标高效跟踪图像数据传输系统，其特征在于，还包括图像预处理模块，用于在使用Faster RCNN进行目标框定前还对每一帧图像进行了预处理，包括：采用HSV色彩空间减轻了目标阴影对目标提取的影响，采用中值滤波器去掉了椒盐噪声，采用图像二值化使图像变的简单，采用图像学去噪中的腐蚀和膨胀分别提取消除图像噪声和填充图像空洞。
9.根据权利要求5所述的一种动态目标高效跟踪图像数据传输系统，其特征在于，所述视频采集成套装置包括摄像装置和调整装置；
所述摄像装置包括主摄像装置和辅助摄像装置，所述辅助摄像装置为两个，分别与主摄像装置有50％的叠加视场，所述辅助摄像装置间无视场叠加；
所述调整装置用于根据通信模块传送的调整参数调整摄像装置的视频采集的角度和方向。
10.根据权利要求5所述的一种动态目标高效跟踪图像数据传输系统，其特征在于，所述K值的大小为4个。
CN201810576193.3A 2018-06-06 2018-06-06 一种动态目标高效跟踪图像数据传输方法及系统 Withdrawn CN108805837A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810576193.3A CN108805837A (zh) 2018-06-06 2018-06-06 一种动态目标高效跟踪图像数据传输方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810576193.3A CN108805837A (zh) 2018-06-06 2018-06-06 一种动态目标高效跟踪图像数据传输方法及系统

Publications (1)

Publication Number Publication Date
CN108805837A true CN108805837A (zh) 2018-11-13

Family

ID=64087323

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810576193.3A Withdrawn CN108805837A (zh) 2018-06-06 2018-06-06 一种动态目标高效跟踪图像数据传输方法及系统

Country Status (1)

Country Link
CN (1) CN108805837A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919851A (zh) * 2018-12-24 2019-06-21 广东理致技术有限公司 一种图像抖动模糊消除方法及装置
CN110827355A (zh) * 2019-11-14 2020-02-21 南京工程学院 一种基于视频图像坐标的移动目标快速定位方法及系统
CN111160118A (zh) * 2019-12-11 2020-05-15 北京明略软件系统有限公司 钢轨磨损位置的识别方法、装置及计算机可读存储介质
CN112541472A (zh) * 2020-12-23 2021-03-23 北京百度网讯科技有限公司 一种目标检测方法、装置及电子设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919851A (zh) * 2018-12-24 2019-06-21 广东理致技术有限公司 一种图像抖动模糊消除方法及装置
CN110827355A (zh) * 2019-11-14 2020-02-21 南京工程学院 一种基于视频图像坐标的移动目标快速定位方法及系统
CN111160118A (zh) * 2019-12-11 2020-05-15 北京明略软件系统有限公司 钢轨磨损位置的识别方法、装置及计算机可读存储介质
CN112541472A (zh) * 2020-12-23 2021-03-23 北京百度网讯科技有限公司 一种目标检测方法、装置及电子设备
CN112541472B (zh) * 2020-12-23 2023-11-24 北京百度网讯科技有限公司 一种目标检测方法、装置及电子设备

Similar Documents

Publication Publication Date Title
CN108765354A (zh) 一种动态目标识别跟踪图像数据优化传输方法及系统
CN108805837A (zh) 一种动态目标高效跟踪图像数据传输方法及系统
CN108806146A (zh) 一种安防监控动态目标锁定追踪方法及系统
EP2864930B1 (en) Self learning face recognition using depth based tracking for database generation and update
CN108769595A (zh) 一种智能人身识别监控跟踪传输方法及系统
CN106909888B (zh) 应用于移动设备端的人脸关键点跟踪系统及方法
CN108805073A (zh) 一种安防监控动态目标优化锁定追踪方法及系统
CN104751108B (zh) 人脸图像识别装置和人脸图像识别方法
CN104361327B (zh) 一种行人检测方法和系统
CN108876672A (zh) 一种远程教育教师自动识别图像优化跟踪方法及系统
CN110148223B (zh) 三维地理场景模型中监控视频目标浓缩表达方法及系统
WO2018035667A1 (zh) 显示方法、装置、电子设备、计算机程序产品和非暂态计算机可读存储介质
CN105160310A (zh) 基于3d卷积神经网络的人体行为识别方法
CN110110646A (zh) 一种基于深度学习的手势图像关键帧提取方法
DE112011103221T5 (de) Erweitern von Bilddaten basierend auf zugehörigen 3D-Punktwolkendaten
CN111460968A (zh) 基于视频的无人机识别与跟踪方法及装置
CN102184551A (zh) 结合多种特征匹配和粒子滤波的目标自动跟踪方法及系统
CN108112271A (zh) 检测图像中的运动
CN108711162A (zh) 一种智能人身识别监控优化跟踪传输方法及系统
CN108833776A (zh) 一种远程教育教师自动识别优化跟踪方法及系统
CN108810464A (zh) 一种智能人身识别图像优化跟踪传输方法及系统
CN110136144B (zh) 一种图像分割方法、装置及终端设备
DE112016002022T5 (de) Managen von merkmalsdaten zur umgebungsabbildung auf einer elektronischen vorrichtung
WO2022237249A1 (zh) 三维重建方法、装置和系统、介质及计算机设备
CN109711268A (zh) 一种人脸图像筛选方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20181113