CN108833776A - 一种远程教育教师自动识别优化跟踪方法及系统 - Google Patents
一种远程教育教师自动识别优化跟踪方法及系统 Download PDFInfo
- Publication number
- CN108833776A CN108833776A CN201810576442.9A CN201810576442A CN108833776A CN 108833776 A CN108833776 A CN 108833776A CN 201810576442 A CN201810576442 A CN 201810576442A CN 108833776 A CN108833776 A CN 108833776A
- Authority
- CN
- China
- Prior art keywords
- target
- teacher
- video
- module
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000005457 optimization Methods 0.000 title abstract description 14
- 238000000605 extraction Methods 0.000 claims abstract description 40
- 238000012545 processing Methods 0.000 claims abstract description 25
- 230000005540 biological transmission Effects 0.000 claims abstract description 19
- 238000007906 compression Methods 0.000 claims abstract description 14
- 230000006835 compression Effects 0.000 claims abstract description 14
- 239000000284 extract Substances 0.000 claims abstract description 10
- 238000004891 communication Methods 0.000 claims abstract description 7
- 238000013144 data compression Methods 0.000 claims abstract description 5
- 238000003860 storage Methods 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 21
- 238000005315 distribution function Methods 0.000 claims description 11
- 238000012546 transfer Methods 0.000 claims description 10
- 230000002159 abnormal effect Effects 0.000 claims description 8
- 230000007797 corrosion Effects 0.000 claims description 8
- 238000005260 corrosion Methods 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 8
- 230000000877 morphologic effect Effects 0.000 claims description 8
- 239000006002 Pepper Substances 0.000 claims description 7
- 230000033001 locomotion Effects 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 3
- 235000008534 Capsicum annuum var annuum Nutrition 0.000 claims 1
- 240000008384 Capsicum annuum var. annuum Species 0.000 claims 1
- 239000000203 mixture Substances 0.000 claims 1
- 150000003839 salts Chemical class 0.000 claims 1
- 238000000034 method Methods 0.000 abstract description 13
- 230000001360 synchronised effect Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010899 nucleation Methods 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 230000002195 synergetic effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
Abstract
本发明公开了一种远程教育教师自动识别优化跟踪方法及系统，方法包括采集视频数据、目标框定、前景提取目标识别、调整参数确定、视频精简压缩等步骤；系统包括视频采集模块、存储模块、教师目标框定处理模块、前景提取模块、数据建模模块、像素分类模块、教师目标生成模块、位置标定模块、调整参数生成模块、视频数据压缩处理模块和通信模块。本发明能够准确提取出视频图像中的教师目标，并根据目标的移动同步调整视频的采集角度和方向，时刻清晰完整的采集到教师目标的图像，既降低了视频传输中数据量又保证了教师目标信息的准确有效性，具有较高的实用价值和广泛的应用前景。
Description
技术领域
本发明涉及智能控制技术领域，具体涉及一种远程教育教师自动识别优化跟踪方法及系统。
背景技术
随着社会经济的快速发展，科技的快速进步，人们的生活方式已经发生了改变，远程视频、视频监控应用的越来越广。比如远程教育，在远程的任意地方，就可以自由的选择需要学习的内容进行学习，再比如安装于商业广场、超市以及学校等公共安全较为重要场合的视频监控系统。
而现有的视频分析过程中对于教师目标的提取有较多的问题，比如如何有效确定教师目标，如何消除动态背景在前景提取时的影响，如何减轻目标阴影对目标提取的影响以及如果降低噪声，通常常用的帧差法比较适用于运动目标和背景的灰度相差较多，并且背景变化很小的视频图像处理，无法广泛应用，其他方法也无法有效解决以上问题。
另一方面，现有技术中也存在基于视频中目标的粗略定位位置来调整拍摄角度的直播方式，但是这种方式的调整精度不够，调整的过程中容易对拍摄画面差生影响，拍摄图像可能模糊不清，并且无法满足大视场以及目标活动区间过大的情况，会出现较大盲区或通过远距离的录制采集，实际观看时可能出现无法准确跟踪教师目标。
此外在现有技术中，视频通过网络进行传输因为受到网络带宽等因素的影响，很容易出现时断时续的现象，影响播放的效果。无论是采用哪种方式，要想获得清晰流畅的教师目标的视频播放效果，都需要对远程视频动中产生的流媒体数据进行有效压缩。但是，现有技术尚没有提供对教师目标有针对性的视频压缩解决方案。
发明内容
针对现有技术的不足，本发明提供一种远程教育教师自动识别优化跟踪方法及系统，能够准确提取出视频图像中的教师目标，并根据目标的移动同步调整视频的采集角度和方向，时刻清晰完整的采集到教师目标的图像，既降低了视频传输中数据量又保证了教师目标信息的准确有效性，具有较高的实用价值和广泛的应用前景。
本发明解决技术问题采用如下技术方案：
本发明提供了一种远程教育教师自动识别优化跟踪方法，包括以下步骤：
S1、实时采集培训视频数据，将视频数据分解为图像数据和音频数据，按照时间顺序分开存储，同时对图像数据采取预处理措施主要包括：采用HSV色彩空间减轻了目标阴影对目标提取的影响，采用中值滤波器去掉了椒盐噪声，采用图像二值化使图像变的简单，采用图像学去噪中的腐蚀和膨胀分别提取消除图像噪声和填充图像空洞；
S2、对步骤S1采集的视频数据的每一帧图像数据使用Faster RCNN进行目标框定，生成建议框，将生成建议框中的图像数据按照预设时间间隔T分段提取存储等待处理；
S3、将步骤S2中分段提取存储的生成建议框中的图像数据混合高斯模型进行前景提取识别得到教师目标数据，包括：
S31、对该段图像数据中的前M帧图像中任一像素点进行建模得到该像素点的概率分布函数：
X表示该像素点灰度值，t为该帧图像对应的时刻，K为选取拟合的高斯模型的个数η为高斯概率密度函数，ω属于不同函数的权重，μ和ε分别是t时刻第n个高斯模型的均值向量和协方差矩阵；
S32、在获得概率分布函数P(Xt)后，从第M+1帧开始，对每一帧图像数据获取后更新混合高斯模型，用当前图像中的每个像素点与混合高斯模型匹配，若相匹配，则认为该像素点是背景像素；否则提取为前景像素数据；
S33、根据S32中提取的前景像素数据组合处理得到每一帧图像中的教师目标数据；
S4、以每帧图像的中心点为原点建立直角坐标系，得到步骤S3中教师目标的位置参数，根据相邻帧图像间位置参数的差值得到教师目标的运行轨迹；
S5、根据教师目标的运行轨迹，得到包括调整时间间隔、角度信息、高度信息、运动速度信息在内的调整参数，根据得到的调整参数调整视频采集的角度和方向用以保证教师目标平稳恢复到位于图像中心点位置处；
S6、将采集的视频数据经过处理压缩操作后传输至服务器存储等待用户调看，所述处理压缩操作包括以下步骤：
S61、根据步骤四处理得到的教师目标的位置参数按照预设的帧数Q，计算出相邻Q帧图像间的教师目标位置变化差值△S；
S62、当目标位置变化差值△S超过预设阈值Y时，将相邻Q帧图像全部压缩传输至服务器；
当目标位置变化差值△S未超过预设阈值Y时，将相邻Q帧图像按照每隔一帧去除一帧图像，得到精简版的视频图像压缩送入服务器存储。
优选地，所述步骤S33中对前景像素数据的处理包括卡尔曼滤波和形态学处理。
优选地，所述步骤S5还包括以下步骤：
若调整参数超过预定阈值，则按最大阈值调整视频采集的角度和方向，同时发出异常报警信息，关闭该路视频传输信号，接入包含教师目标的另路视频传输信号。
优选地，所述S4中直角坐标系的每一单位所代表的距离根据事前标定过的视场内图像最小分辨率所代表的最小距离换算得到。
本发明还提供一种远程教育教师自动识别优化跟踪系统，包括：
视频采集模块，包括多路视频采集成套装置，用于实时采集视频数据，并根据调整信号调整每路视频采集的角度和方向；
存储模块，用于存储视频采集实时采集视频数据；
教师目标框定处理模块，用于提取存储模块存储的视频数据，并将每一帧图像数据使用Faster RCNN进行目标框定，生成建议框，将生成建议框中的图像数据按照预设时间间隔T分段提取存储等待处理；
前景提取模块，用于分段提取存储的生成建议框中的图像数据混合高斯模型进行前景提取识别得到教师目标数据，包括：
数据建模模块，用于对该段图像数据中的前M帧图像中任一像素点进行建模得到该像素点的概率分布函数：
X表示该像素点灰度值，t为该帧图像对应的时刻，K为选取拟合的高斯模型的个数η为高斯概率密度函数，ω属于不同函数的权重，μ和ε分别是t时刻第n个高斯模型的均值向量和协方差矩阵；
像素分类模块，用于在获得概率分布函数P(Xt)后，从第M+1帧开始，对每一帧图像数据获取后更新混合高斯模型，用当前图像中的每个像素点与混合高斯模型匹配，若相匹配，则认为该像素点是背景像素；否则提取为前景像素数据；
教师目标生成模块，用于根据提取的前景像素数据组合处理得到每一帧图像中的教师目标数据；
位置标定模块，用于以每帧图像的中心点为原点建立直角坐标系，得到教师目标的位置参数，根据相邻帧图像间位置参数的差值得到教师目标的运行轨迹；
调整参数生成模块，用于根据教师目标的运行轨迹，得到包括调整时间间隔、角度信息、高度信息、运动速度信息在内的调整参数，并将调整参数反馈至视频采集模块，视频采集模块根据得到的调整参数调整视频采集的角度和方向用以保证教师目标平稳恢复到位于图像中心点位置处；
视频数据压缩处理模块，用于根据得到的教师目标的位置参数按照预设的帧数Q，计算出相邻Q帧图像间的教师目标位置变化差值△S；当目标位置变化差值△S超过预设阈值Y时，将相邻Q帧图像全部压缩传输至服务器；当目标位置变化差值△S未超过预设阈值Y时，将相邻Q帧图像按照每隔一帧去除一帧图像，得到精简版的视频图像数据并压缩；
通信模块，用于将视频采集模块采集的视频数据传输至存储模块、将经过视频数据压缩处理模块处理后的视频图像数据送入服务器存储以及将调整参数传输至视频采集模块。
优选地，所述教师目标生成模块还包括卡尔曼滤波模块和形态学处理模块。
优选地，所述调整参数生成模块中还包括参数异常处理模块，用于当调整参数超过预定阈值时，向视频采集模块发出指令信号，视频采集模块按最大阈值调整视频采集的角度和方向，同时发出异常报警信息，关闭该路视频传输信号，接入包含教师目标的另路视频传输信号。
优选地，还包括图像预处理模块，用于在使用Faster RCNN进行目标框定前还对每一帧图像进行了预处理，包括：采用HSV色彩空间减轻了目标阴影对目标提取的影响，采用中值滤波器去掉了椒盐噪声，采用图像二值化使图像变的简单，采用图像学去噪中的腐蚀和膨胀分别提取消除图像噪声和填充图像空洞。
优选地，所述视频采集成套装置包括摄像装置和调整装置；
所述摄像装置包括主摄像装置和辅助摄像装置，所述辅助摄像装置为两个，分别与主摄像装置有50％的叠加视场，所述辅助摄像装置间无视场叠加；
所述调整装置用于根据通信模块传送的调整参数调整摄像装置的视频采集的角度和方向。
优选地，所述选取拟合的高斯模型的个数K值的大小为4个。
与现有技术相比，本发明具有如下的有益效果：
(1)本发明的一种远程教育教师自动识别优化跟踪方法通过对图像数据先进行目标框定，再采用混合高斯模型进行前景提取，进而准确得到教师目标的区域，创新的采用这种组合提取模式能够从不同复杂程度的背景中辨识出运动目标，还能够有效的避免由于摄像头抖动导致背景变化剧烈，并有效分离背景，从而能够完成跟踪识别等后续任务。
(2)本发明的一种远程教育教师自动识别优化跟踪方法通过对提取的教师目标进行建立坐标系式的位置定位，能够自动追踪教师目标，不需要人工调整，即可实时准确清新的采取到教师目标的视频图像信息，而且可以持续的调整摄像装置，使得用户调看的更清楚，体验更佳。
(3)本发明的一种远程教育教师自动识别优化跟踪方法通过数据压缩处理，创新的采用根据教师目标的位置移动程度，进行精简帧数，可以在保证远程传输过程中充分展示教师目标信息的同时，有效降低远程数据的传输量，从而有效降低开展远程监控的成本。
(4)本发明的一种远程教育教师自动识别优化跟踪方法，通过对教师目标定位输出前进行了卡尔曼滤波和形态学处理，有效的降低了噪声光照的影响，提高了目标和图像的信噪比；同时在图像预处理时采用HSV色彩空间减轻了目标阴影对目标提取的影响，采用中值滤波器去掉了椒盐噪声，采用图像二值化使图像变的简单，采用图像学去噪中的腐蚀和膨胀分别提取消除图像噪声和填充图像空洞。
(5)本发明的一种远程教育教师自动识别优化跟踪系统提供了一种方便、快捷、高效、低成本运作的教师目标锁定跟方式，系统灵活性、自动化程度较高，识别速度快、准确率高，同时还具有通用性强、开放性强、扩展性强的优点。
(6)本发明的一种远程教育教师自动识别优化跟踪系统能够准确提取出视频图像中的教师目标，并根据目标的移动同步调整视频的采集角度和方向，时刻清晰完整的采集到教师目标的图像，既降低了视频传输中数据量又保证了教师目标信息的准确有效性，具有较高的实用价值和广泛的应用前景。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明的一种远程教育教师自动识别优化跟踪方法流程图；
图2为本发明的一种远程教育教师自动识别优化跟踪方法的前景提取目标识别步骤的具体流程图；
图3为本发明的一种远程教育教师自动识别优化跟踪方法的视频精简压缩步骤的具体流程图；
图4为本发明的一种远程教育教师自动识别优化跟踪方法的图像预处理具体流程图；
图5为本发明的一种远程教育教师自动识别优化跟踪系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
此外，所属技术领域的技术人员知道，本发明的各个方面可以实现为系统、方法或计算机程序产品。因此，本发明的各个方面可以具体实现为软硬件结合的形式，这里可以统称为“电路”、“模块”或“系统”。此外，在一些实施例中，本发明的各个方面还可以实现为在一个或多个微处理器可读介质中的计算机程序产品的形式，该微处理器可读介质中包含微处理器可读的程序代码。
下面将参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述本发明。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些计算机程序指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机程序指令存储在计算机可读介质中，这些指令使得计算机、其它可编程数据处理装置、或其他设备以特定方式工作，从而，存储在计算机可读介质中的指令就产生出包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的指令的制造品(article of manufacture)。也可以将计算机程序指令装载到计算机、其它可编程数据处理装置、或其它设备上使一系列操作步骤在计算机、其它可编程装置、或其它设备上得到执行，形成计算机实现过程，以便在计算机或其它可编程装置上执行的指令提供实现在流程图和/或框图中的一个或多个方框中规定的功能/动作的过程。
如图1-5所示，本实施例的一种远程教育教师自动识别优化跟踪方法，包括以下步骤：
S1、实时采集培训视频数据，将视频数据分解为图像数据和音频数据，按照时间顺序分开存储，同时对图像数据采取预处理措施主要包括：采用HSV色彩空间减轻了目标阴影对目标提取的影响，采用中值滤波器去掉了椒盐噪声，采用图像二值化使图像变的简单，采用图像学去噪中的腐蚀和膨胀分别提取消除图像噪声和填充图像空洞；
S2、对步骤S1采集的视频数据的每一帧图像数据使用Faster RCNN进行目标框定，生成建议框，将生成建议框中的图像数据按照预设时间间隔T分段提取存储等待处理；
S3、将步骤S2中分段提取存储的生成建议框中的图像数据混合高斯模型进行前景提取识别得到教师目标数据，包括：
S31、对该段图像数据中的前M帧图像中任一像素点进行建模得到该像素点的概率分布函数：
X表示该像素点灰度值，t为该帧图像对应的时刻，K为选取拟合的高斯模型的个数η为高斯概率密度函数，ω属于不同函数的权重，μ和ε分别是t时刻第n个高斯模型的均值向量和协方差矩阵；
S32、在获得概率分布函数P(Xt)后，从第M+1帧开始，对每一帧图像数据获取后更新混合高斯模型，用当前图像中的每个像素点与混合高斯模型匹配，若相匹配，则认为该像素点是背景像素；否则提取为前景像素数据；
S33、根据S32中提取的前景像素数据组合处理得到每一帧图像中的教师目标数据；
S4、以每帧图像的中心点为原点建立直角坐标系，得到步骤S3中教师目标的位置参数，根据相邻帧图像间位置参数的差值得到教师目标的运行轨迹；
S5、根据教师目标的运行轨迹，得到包括调整时间间隔、角度信息、高度信息、运动速度信息在内的调整参数，根据得到的调整参数调整视频采集的角度和方向用以保证教师目标平稳恢复到位于图像中心点位置处；
S6、将采集的视频数据经过处理压缩操作后传输至服务器存储等待用户调看，所述处理压缩操作包括以下步骤：
S61、根据步骤四处理得到的教师目标的位置参数按照预设的帧数Q，计算出相邻Q帧图像间的教师目标位置变化差值△S；
S62、当目标位置变化差值△S超过预设阈值Y时，将相邻Q帧图像全部压缩传输至服务器；
当目标位置变化差值△S未超过预设阈值Y时，将相邻Q帧图像按照每隔一帧去除一帧图像，得到精简版的视频图像压缩送入服务器存储。
本实施例步骤S33中对前景像素数据的处理包括卡尔曼滤波和形态学处理。
本实施例步骤S5还包括以下步骤：
若调整参数超过预定阈值，则按最大阈值调整视频采集的角度和方向，同时发出异常报警信息，关闭该路视频传输信号，接入包含教师目标的另路视频传输信号。
本实施例步骤所述S4中直角坐标系的每一单位所代表的距离根据事前标定过的视场内图像最小分辨率所代表的最小距离换算得到。
本实施例中的一种远程教育教师自动识别优化跟踪系统，包括：
视频采集模块，包括多路视频采集成套装置，用于实时采集视频数据，并根据调整信号调整每路视频采集的角度和方向；
存储模块，用于存储视频采集实时采集视频数据；
教师目标框定处理模块，用于提取存储模块存储的视频数据，并将每一帧图像数据使用Faster RCNN进行目标框定，生成建议框，将生成建议框中的图像数据按照预设时间间隔T分段提取存储等待处理；
前景提取模块，用于分段提取存储的生成建议框中的图像数据混合高斯模型进行前景提取识别得到教师目标数据，包括：
数据建模模块，用于对该段图像数据中的前M帧图像中任一像素点进行建模得到该像素点的概率分布函数：
X表示该像素点灰度值，t为该帧图像对应的时刻，K为选取拟合的高斯模型的个数，η为高斯概率密度函数，ω属于不同函数的权重，μ和ε分别是t时刻第n个高斯模型的均值向量和协方差矩阵；
像素分类模块，用于在获得概率分布函数P(Xt)后，从第M+1帧开始，对每一帧图像数据获取后更新混合高斯模型，用当前图像中的每个像素点与混合高斯模型匹配，若相匹配，则认为该像素点是背景像素；否则提取为前景像素数据；
教师目标生成模块，用于根据提取的前景像素数据组合处理得到每一帧图像中的教师目标数据；
位置标定模块，用于以每帧图像的中心点为原点建立直角坐标系，得到教师目标的位置参数，根据相邻帧图像间位置参数的差值得到教师目标的运行轨迹；
调整参数生成模块，用于根据教师目标的运行轨迹，得到包括调整时间间隔、角度信息、高度信息、运动速度信息在内的调整参数，并将调整参数反馈至视频采集模块，视频采集模块根据得到的调整参数调整视频采集的角度和方向用以保证教师目标平稳恢复到位于图像中心点位置处；
视频数据压缩处理模块，用于根据得到的教师目标的位置参数按照预设的帧数Q，计算出相邻Q帧图像间的教师目标位置变化差值△S；当目标位置变化差值△S超过预设阈值Y时，将相邻Q帧图像全部压缩传输至服务器；当目标位置变化差值△S未超过预设阈值Y时，将相邻Q帧图像按照每隔一帧去除一帧图像，得到精简版的视频图像数据并压缩；
通信模块，用于将视频采集模块采集的视频数据传输至存储模块、将经过视频数据压缩处理模块处理后的视频图像数据送入服务器存储以及将调整参数传输至视频采集模块。
本实施例中的教师目标生成模块还包括卡尔曼滤波模块和形态学处理模块。
本实施例中的调整参数生成模块中还包括参数异常处理模块，用于当调整参数超过预定阈值时，向视频采集模块发出指令信号，视频采集模块按最大阈值调整视频采集的角度和方向，同时发出异常报警信息，关闭该路视频传输信号，接入包含教师目标的另路视频传输信号。
本实施例中的远程教育教师自动识别优化跟踪系统还包括图像预处理模块，用于在使用Faster RCNN进行目标框定前还对每一帧图像进行了预处理，包括：采用HSV色彩空间减轻了目标阴影对目标提取的影响，采用中值滤波器去掉了椒盐噪声，采用图像二值化使图像变的简单，采用图像学去噪中的腐蚀和膨胀分别提取消除图像噪声和填充图像空洞。
本实施例中的视频采集成套装置包括摄像装置和调整装置；
所述摄像装置包括主摄像装置和辅助摄像装置，所述辅助摄像装置为两个，分别与主摄像装置有50％的叠加视场，所述辅助摄像装置间无视场叠加；
所述调整装置用于根据通信模块传送的调整参数调整摄像装置的视频采集的角度和方向。
本实施中的拟合的高斯模型的个数K值的大小为4个。
本实施例中相对于现有技术的显著的进步和实质性特点分析如下：
本实施中先对视频图像进行了预处理，包括采用HSV色彩空间减轻了目标阴影对目标提取的影响，采用中值滤波器去掉了椒盐噪声，采用图像二值化使图像变的简单，采用图像学去噪中的腐蚀和膨胀分别提取消除图像噪声和填充图像空洞，为后续的目标框定和前景提取降低了误码率和难度，特别的选用这几种操作能够达到协同作用，将视频图像处理中可能影响的因素基本上排查一遍，有效的提高了后续处理的精度；
其次本申请中创造性的先使用Faster RCNN对教师目标进行大致框定，再采用混合高斯模型进行前景提取可以有效解决由于摄像头晃动等引起的背景变化剧烈从而导致的前景提取效果不好的问题，在使用Faster RCNN对教师目标进行大致框定后，框就作为一个噪声消除的依据，在后续进行前景提取时采用混合高斯模型进行前景提取，并且采用像素点建模，对新进像素点逐一比对，同时每一帧新图像进入都更新混合高斯模型，这样能够尽量将高斯模型的拟合度增加，本实施例中通过多次试验，采用4个拟合的高斯模型能够在速度和效果上达到较好的平衡；
本申请在教师目标确定后采用建立坐标系，确定教师目标的位置，得到其变化量，从而调整视频采集的角度和方向，乃至切换视频的传输路径，从而准确快速清晰的将需要跟踪的目标视频图像采集存储传输，此外还通过对比移动距离，从而间隔删除图像帧幅数，有效降低了传输的数据量，节约了资源提高了速率，也保证了数据准确有效性；
本实施例中在教师目标最终输出前还对其进行了卡尔曼滤波和形态学处理，能够实现教师目标的平滑，使得在人体运动目标追踪得到更好的视觉和感官的效果。
本申请对教师目标的提取跟踪的全过程中，整体的优化和设计，使得目标提取更为准确、跟踪更为及时、反馈更为顺畅、实际使用效果感受更好，相对于现有技术具有显著的进步和实质性特点。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
本发明的一种远程教育教师自动识别优化跟踪方法能够准确提取出视频图像中的教师目标，并根据目标的移动同步调整视频的采集角度和方向，时刻清晰完整的采集到教师目标的图像，既降低了视频传输中数据量又保证了教师目标信息的准确有效性，具有较高的实用价值和广泛的应用前景。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
Claims (10)
1.一种远程教育教师自动识别优化跟踪方法，其特征在于，包括以下步骤：
S1、实时采集培训视频数据，将视频数据分解为图像数据和音频数据，按照时间顺序分开存储，同时对图像数据采取预处理措施主要包括：采用HSV色彩空间减轻了目标阴影对目标提取的影响，采用中值滤波器去掉了椒盐噪声，采用图像二值化使图像变的简单，采用图像学去噪中的腐蚀和膨胀分别提取消除图像噪声和填充图像空洞；
S2、对步骤S1采集的视频数据的每一帧图像数据使用Faster RCNN进行目标框定，生成建议框，将生成建议框中的图像数据按照预设时间间隔T分段提取存储等待处理；
S3、将步骤S2中分段提取存储的生成建议框中的图像数据混合高斯模型进行前景提取识别得到教师目标数据，包括：
S31、对该段图像数据中的前M帧图像中任一像素点进行建模得到该像素点的概率分布函数：
X表示该像素点灰度值，t为该帧图像对应的时刻，K为选取拟合的高斯模型的个数，η为高斯概率密度函数，ω属于不同函数的权重，μ和ε分别是t时刻第n个高斯模型的均值向量和协方差矩阵；
S32、在获得概率分布函数P(Xt)后，从第M+1帧开始，对每一帧图像数据获取后更新混合高斯模型，用当前图像中的每个像素点与混合高斯模型匹配，若相匹配，则认为该像素点是背景像素；否则提取为前景像素数据；
S33、根据S32中提取的前景像素数据组合处理得到每一帧图像中的教师目标数据；
S4、以每帧图像的中心点为原点建立直角坐标系，得到步骤S3中教师目标的位置参数，根据相邻帧图像间位置参数的差值得到教师目标的运行轨迹；
S5、根据教师目标的运行轨迹，得到包括调整时间间隔、角度信息、高度信息、运动速度信息在内的调整参数，根据得到的调整参数调整视频采集的角度和方向用以保证教师目标平稳恢复到位于图像中心点位置处；
S6、将采集的视频数据经过处理压缩操作后传输至服务器存储等待用户调看，所述处理压缩操作包括以下步骤：
S61、根据步骤四处理得到的教师目标的位置参数按照预设的帧数Q，计算出相邻Q帧图像间的教师目标位置变化差值△S；
S62、当目标位置变化差值△S超过预设阈值Y时，将相邻Q帧图像全部压缩传输至服务器；
当目标位置变化差值△S未超过预设阈值Y时，将相邻Q帧图像按照每隔一帧去除一帧图像，得到精简版的视频图像压缩送入服务器存储。
2.根据权利要求1所述的一种远程教育教师自动识别优化跟踪方法，其特征在于，所述步骤S33中对前景像素数据的处理包括卡尔曼滤波和形态学处理。
3.根据权利要求1所述的一种远程教育教师自动识别优化跟踪方法，其特征在于，所述步骤S5还包括以下步骤：
若调整参数超过预定阈值，则按最大阈值调整视频采集的角度和方向，同时发出异常报警信息，关闭该路视频传输信号，接入包含教师目标的另路视频传输信号。
4.根据权利要求1所述的一种远程教育教师自动识别优化跟踪方法，其特征在于，所述S4中直角坐标系的每一单位所代表的距离根据事前标定过的视场内图像最小分辨率所代表的最小距离换算得到。
5.一种远程教育教师自动识别优化跟踪系统，其特征在于，包括：
视频采集模块，包括多路视频采集成套装置，用于实时采集视频数据，并根据调整信号调整每路视频采集的角度和方向；
存储模块，用于存储视频采集实时采集视频数据；
教师目标框定处理模块，用于提取存储模块存储的视频数据，并将每一帧图像数据使用Faster RCNN进行目标框定，生成建议框，将生成建议框中的图像数据按照预设时间间隔T分段提取存储等待处理；
前景提取模块，用于分段提取存储的生成建议框中的图像数据混合高斯模型进行前景提取识别得到教师目标数据，包括：
数据建模模块，用于对该段图像数据中的前M帧图像中任一像素点进行建模得到该像素点的概率分布函数：
X表示该像素点灰度值，t为该帧图像对应的时刻，K为选取拟合的高斯模型的个数，η为高斯概率密度函数，ω属于不同函数的权重，μ和ε分别是t时刻第n个高斯模型的均值向量和协方差矩阵；
像素分类模块，用于在获得概率分布函数P(Xt)后，从第M+1帧开始，对每一帧图像数据获取后更新混合高斯模型，用当前图像中的每个像素点与混合高斯模型匹配，若相匹配，则认为该像素点是背景像素；否则提取为前景像素数据；
教师目标生成模块，用于根据提取的前景像素数据组合处理得到每一帧图像中的教师目标数据；
位置标定模块，用于以每帧图像的中心点为原点建立直角坐标系，得到教师目标的位置参数，根据相邻帧图像间位置参数的差值得到教师目标的运行轨迹；
调整参数生成模块，用于根据教师目标的运行轨迹，得到包括调整时间间隔、角度信息、高度信息、运动速度信息在内的调整参数，并将调整参数反馈至视频采集模块，视频采集模块根据得到的调整参数调整视频采集的角度和方向用以保证教师目标平稳恢复到位于图像中心点位置处；
视频数据压缩处理模块，用于根据得到的教师目标的位置参数按照预设的帧数Q，计算出相邻Q帧图像间的教师目标位置变化差值△S；当目标位置变化差值△S超过预设阈值Y时，将相邻Q帧图像全部压缩传输至服务器；当目标位置变化差值△S未超过预设阈值Y时，将相邻Q帧图像按照每隔一帧去除一帧图像，得到精简版的视频图像数据并压缩；
通信模块，用于将视频采集模块采集的视频数据传输至存储模块、将经过视频数据压缩处理模块处理后的视频图像数据送入服务器存储以及将调整参数传输至视频采集模块。
6.根据权利要求5所述的一种远程教育教师自动识别优化跟踪系统，其特征在于，所述教师目标生成模块还包括卡尔曼滤波模块和形态学处理模块。
7.根据权利要求5所述的一种远程教育教师自动识别优化跟踪系统，其特征在于，所述调整参数生成模块中还包括参数异常处理模块，用于当调整参数超过预定阈值时，向视频采集模块发出指令信号，视频采集模块按最大阈值调整视频采集的角度和方向，同时发出异常报警信息，关闭该路视频传输信号，接入包含教师目标的另路视频传输信号。
8.根据权利要求5所述的一种远程教育教师自动识别优化跟踪系统，其特征在于，还包括图像预处理模块，用于在使用Faster RCNN进行目标框定前还对每一帧图像进行了预处理，包括：采用HSV色彩空间减轻了目标阴影对目标提取的影响，采用中值滤波器去掉了椒盐噪声，采用图像二值化使图像变的简单，采用图像学去噪中的腐蚀和膨胀分别提取消除图像噪声和填充图像空洞。
9.根据权利要求5所述的一种远程教育教师自动识别优化跟踪系统，其特征在于，所述视频采集成套装置包括摄像装置和调整装置；
所述摄像装置包括主摄像装置和辅助摄像装置，所述辅助摄像装置为两个，分别与主摄像装置有50％的叠加视场，所述辅助摄像装置间无视场叠加；
所述调整装置用于根据通信模块传送的调整参数调整摄像装置的视频采集的角度和方向。
10.根据权利要求5所述的一种远程教育教师自动识别优化跟踪系统，其特征在于，所述K值的大小为4个。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810576442.9A CN108833776A (zh) | 2018-06-06 | 2018-06-06 | 一种远程教育教师自动识别优化跟踪方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810576442.9A CN108833776A (zh) | 2018-06-06 | 2018-06-06 | 一种远程教育教师自动识别优化跟踪方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108833776A true CN108833776A (zh) | 2018-11-16 |
Family
ID=64144117
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810576442.9A Withdrawn CN108833776A (zh) | 2018-06-06 | 2018-06-06 | 一种远程教育教师自动识别优化跟踪方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108833776A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109460077A (zh) * | 2018-11-19 | 2019-03-12 | 深圳博为教育科技有限公司 | 一种自动跟踪方法、自动跟踪设备及自动跟踪系统 |
| CN110418192A (zh) * | 2019-06-26 | 2019-11-05 | 视联动力信息技术股份有限公司 | 一种图像处理方法、装置及存储介质 |
| CN116156198A (zh) * | 2023-04-23 | 2023-05-23 | 哈尔滨学院 | 一种舞蹈教学用视觉测量信号传输装置及系统 |
-
2018
- 2018-06-06 CN CN201810576442.9A patent/CN108833776A/zh not_active Withdrawn
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109460077A (zh) * | 2018-11-19 | 2019-03-12 | 深圳博为教育科技有限公司 | 一种自动跟踪方法、自动跟踪设备及自动跟踪系统 |
| CN109460077B (zh) * | 2018-11-19 | 2022-05-17 | 深圳博为教育科技有限公司 | 一种自动跟踪方法、自动跟踪设备及自动跟踪系统 |
| CN110418192A (zh) * | 2019-06-26 | 2019-11-05 | 视联动力信息技术股份有限公司 | 一种图像处理方法、装置及存储介质 |
| CN116156198A (zh) * | 2023-04-23 | 2023-05-23 | 哈尔滨学院 | 一种舞蹈教学用视觉测量信号传输装置及系统 |
| CN116156198B (zh) * | 2023-04-23 | 2023-06-23 | 哈尔滨学院 | 一种舞蹈教学用视觉测量信号传输装置及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108765354A (zh) | 一种动态目标识别跟踪图像数据优化传输方法及系统 | |
| EP2864930B1 (en) | Self learning face recognition using depth based tracking for database generation and update | |
| CN106909888B (zh) | 应用于移动设备端的人脸关键点跟踪系统及方法 | |
| CN105069472B (zh) | 一种基于卷积神经网络自适应的车辆检测方法 | |
| CN105608456B (zh) | 一种基于全卷积网络的多方向文本检测方法 | |
| CN108876672A (zh) | 一种远程教育教师自动识别图像优化跟踪方法及系统 | |
| CN108806146A (zh) | 一种安防监控动态目标锁定追踪方法及系统 | |
| CN107004271B (zh) | 显示方法、装置、电子设备、计算机程序产品和存储介质 | |
| CN108805837A (zh) | 一种动态目标高效跟踪图像数据传输方法及系统 | |
| CN105160310A (zh) | 基于3d卷积神经网络的人体行为识别方法 | |
| CN109344813B (zh) | 一种基于rgbd的目标识别和场景建模方法 | |
| CN108769595A (zh) | 一种智能人身识别监控跟踪传输方法及系统 | |
| CN111460968A (zh) | 基于视频的无人机识别与跟踪方法及装置 | |
| CN109145803A (zh) | 手势识别方法及装置、电子设备、计算机可读存储介质 | |
| CN108805073A (zh) | 一种安防监控动态目标优化锁定追踪方法及系统 | |
| CN103530599A (zh) | 一种真实人脸和图片人脸的区别方法和系统 | |
| CN110110646A (zh) | 一种基于深度学习的手势图像关键帧提取方法 | |
| CN110148223B (zh) | 三维地理场景模型中监控视频目标浓缩表达方法及系统 | |
| CN108833776A (zh) | 一种远程教育教师自动识别优化跟踪方法及系统 | |
| CN110136144B (zh) | 一种图像分割方法、装置及终端设备 | |
| CN108112271A (zh) | 检测图像中的运动 | |
| CN107292318A (zh) | 基于中心暗通道先验信息的图像显著性物体检测方法 | |
| CN110428449A (zh) | 目标检测跟踪方法、装置、设备及存储介质 | |
| CN108810464A (zh) | 一种智能人身识别图像优化跟踪传输方法及系统 | |
| CN106447695A (zh) | 一种多物体追踪中判断同一物体的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20181116 |