CN116543014A - 一种融合全景的教师自动跟踪方法及系统 - Google Patents
一种融合全景的教师自动跟踪方法及系统 Download PDFInfo
- Publication number
- CN116543014A CN116543014A CN202310432619.9A CN202310432619A CN116543014A CN 116543014 A CN116543014 A CN 116543014A CN 202310432619 A CN202310432619 A CN 202310432619A CN 116543014 A CN116543014 A CN 116543014A
- Authority
- CN
- China
- Prior art keywords
- picture
- teacher
- image
- pictures
- characteristic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 239000011159 matrix material Substances 0.000 claims abstract description 36
- 230000009466 transformation Effects 0.000 claims abstract description 33
- 238000013178 mathematical model Methods 0.000 claims abstract description 21
- 230000033001 locomotion Effects 0.000 claims description 25
- 230000004927 fusion Effects 0.000 claims description 23
- 238000000605 extraction Methods 0.000 claims description 20
- 238000003860 storage Methods 0.000 claims description 18
- 238000013519 translation Methods 0.000 claims description 18
- 238000004422 calculation algorithm Methods 0.000 claims description 13
- 239000013598 vector Substances 0.000 claims description 12
- 230000006399 behavior Effects 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 9
- 241001310793 Podium Species 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 230000009471 action Effects 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000009792 diffusion process Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 4
- 239000002609 medium Substances 0.000 description 9
- 238000012545 processing Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000012120 mounting media Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Abstract
本发明提供一种融合全景的教师自动跟踪方法及系统，所述方法包括以下步骤：采集目标区域内的图像或视频数据；选取有重叠部分的画面，提取特征点并生成特征描述因子；计算得出变换矩阵数学模型，进行画面配准；将所有画面拼接融合形成全景画面；建立背景模型，寻找移动物体，分割出目标帧中的人像区域；提取生成特征因子值，与预设特征因子值进行对比匹配，判定教师角色；跟踪教师定位；输出目标区域的图像数据或视频数据流。本发明提高了输出画面的区间范围和像素质量；能够有效侦测移动物体，实现对教师教学活动的全流程的跟踪；通过人物判定和跟踪过滤教学中的外部干扰，相当于专业摄像师手工操作多机位摄像的效果，大幅节约设备和人力成本。
Description
技术领域
本发明涉及教学辅助技术领域，具体而言，涉及一种融合全景的教师自动跟踪方法及系统。
背景技术
现阶段的教学仍是以线下教室场景和实体课本教材为主。然而，随着我国数字化进程的推进和时代发展需要，教学的知识量越来越大，时间规划、空间容量和通勤距离上等诸多方面的限制，日益成为面对面教学的难题。
目前，基于摄像技术的云课堂渐已成为部分人群的主流选择。然而，现有市场上的教学摄制存在诸多短板，比如：固定摄像头导致画面布局和教师移动范围受限，画面质量不佳和关键信息无法捕捉，实时摄制过程中存在外部干扰等。
虽然有些学校可采用多机位的摄影，由摄像师人工进行位置修正和干扰过滤，但是这种方式会增加设备和人力成本，同时也会干扰教师上课的思路以及教学的流畅性。
发明内容
鉴于此，本发明的第一目的在于通过全景拼接融合技术，提高输出的目标区域画面的实际有效分辨率；
本发明的第二目的在于实现对教师角色的关系判定和自动跟踪，最终达到教师移动区域内教学画面的裁切和实时高清输出。
本发明提供一种融合全景的教师自动跟踪方法，包括以下步骤：
S1、部署多台高清摄像机至教室空间内目标区域相对应的位置，采集目标区域内的图像或视频数据，并将所述图像或视频数据中的多幅画面输出至画面提取模块；
S2、选取所述多幅画面中有重叠部分的两张画面，提取每个画面中的特征点并生成特征描述因子；
S3、依据所述特征描述因子计算有重叠部分的两张画面匹配配对的平移量和旋转角度，得出变换矩阵数学模型，根据所述变换矩阵数学模型对有重叠部分的两张画面进行配准；
若存在有重叠部分的第三张或者更多画面，则依次重复进行S2--S3步骤；
S4、将经变换配准后的所有画面进行拼接融合，形成全景画面，将所述全景画面输出至人物侦测模块；
根据所述变换矩阵数学模型进行有重叠部分的第一张画面和第二张画面之间的变换配准，为拼接提供同一视角的两张图像，将变换配准后的第一张画面和第二张画面进行拼接融合得到拼接图像；如有更多图片，则重复上述步骤；
S5、对输入的全景画面建立背景模型，寻找移动物体，提取出目标帧画面，并分割出目标帧画面中的人像区域；
S6、提取所述人像区域中人体与讲台、黑板间的综合滞留时间及行为特征，生成特征因子值；
S7、将实际提取生成的特征因子值与预设的特征因子值进行对比匹配，基于特征因子匹配进行身份识别，判定教师角色，如匹配通过，则确认角色，进入S8步骤；
如匹配不通过，则否认角色，重复S6—S7步骤；
S8、对教师定位进行追踪，当教师移动距离高于阀值时，画面中央区域同步移动一个对应的固定距离；
若失去教师定位，则重复S5--S8步骤；
S9、输出目标区域的图像数据或视频数据流。
进一步地，所述S2步骤的提取画面中的特征点并生成特征描述因子的方法包括：
首先，对待拼接的画面进行预处理，从图像变换考虑，包括畸变、几何校正、缩放等；从光照角度考虑，包括亮度、对比度等的处理；从色彩与细节考虑，包括噪声、清晰度等的处理；此外特殊处理有遮挡、变形等。
在实际操作过程中，针对性地进行图像处理有助于提升后续配准算法的精度。
利用AKAZE算法(局部特征匹配算法)，通过图像灰度的扩散构建每张图像的非线性尺度空间；基于每张图像的非线性尺度空间提取每张图像的特征点；将每张图像分成多个网格单元，获取每张图像的特征点所在的网格单元内的特征以生成该特征点的特征描述因子；
利用AKAZE算法提取的特征点具备光照不变性、尺度不变性、旋转不变性和视觉变化鲁棒性。
采用Hessian矩阵在每张图像的非线性尺度空间中进行特征点检测，构造非线性尺度空间内各像素位置的Hessian矩阵判别式，将每个像素位置的Hessian矩阵判别式与该像素位置的上下两层与当前层的3*n*n-1个像素位置的Hessian矩阵判别式进行对比，若当前像素位置的Hessian矩阵判别式在周围邻域内为局部最大值，则判定为极值点，提取该像素位置作为特征点，其中n为≥3的奇数。
进一步地，所述S3步骤的依据所述特征描述因子计算有重叠部分的两张画面匹配配对的平移量和旋转角度，得出变换矩阵数学模型的方法包括以下步骤：
计算第一张画面和第二张画面之间的特征描述因子的欧式距离，得到每个特征点的最佳匹配特征点；选择距离最近的前m对特征点配对，m为≥2的自然数，m可根据需要设定；通过配对的特征点计算平移量以及旋转角度；
计算配对的特征点在x、y方向上的平移距离获取众数，得到平移量；选取众数对应配对的特征点中距离最近的两对配对的特征点，将选取的两对配对的特征点中在第一张画面中的两个特征点连线得到第一配对线，将选取的两对配对的特征点中在第二张画面中的两个特征点连线得到第二配对线，计算第一配对线和第二配对线的角度差异以得到旋转角度；基于平移量和旋转角度生成具有平移旋转的变换矩阵数学模型。
进一步地，所述S5步骤的建立背景模型，寻找移动物体的方法包括：
建立背景模型并生成运动遮罩，通过计算影像差值，对背景影像和摄影机影像做相减并取绝对值，然后生成柯西分布模型，将每个像素的影像差值分成背景和前景两个区域，将前景物件从背景影像分离出来，从而找到移动的物体。
进一步地，所述S5步骤的分割出目标帧画面中的人像区域的方法包括：
利用预先训练的人像分割模型对目标帧画面中的每个像素点进行卷积及池化操作，得到每一个像素点对应的低维特征表达；利用预设的映射函数将所述低维特征表达映射至预先构建的高维空间，得到低维特征表达的高维特征表达；利用预设的激活函数计算每个高维特征表达的输出值，并选取所述输出值大于预设输出阈值的高维特征表达对应的像素点为人像像素；分割出所述目标帧中所述人像像素的区域为人像区域。
进一步地，所述S7步骤的基于特征因子匹配进行身份识别，判定教师角色的方法包括：
将分割出的所述人像区域转换为灰度图像，对所述灰度图像进行色彩空间归一化，得到标准图像；将所述标准图像按照预设比例划分为多个图像块，计算每一个图像块中每个像素的像素梯度，根据所述像素梯度统计得到每一个图像块的梯度直方图；将所述梯度直方图转换为图向量，并计算所述图向量与预设多个动作向量之间的距离值，确定距离值最小的动作向量对应的动作为人像区域的动作特征，利用权重算法计算形态特征、动作特征以及出行方式与预设的目标人员的特征之间的匹配值，计算式为：
式(1)中，P为匹配值，X为形态特征，Y为动作特征，Z为出行方式的数值化表示，T为预设的目标人员的特征，C为预设系数；当匹配值达到期望时，确认角色判别成功。
进一步地，所述S7步骤的预设的特征因子值包括：
侦测对象与讲台和黑板的空间距离、侦测对象在目标区域的滞留时间、侦测对象的特征行为。
对侦测画面的实际特征提取同样包含上述特征因子值。
本发明还提供一种融合全景的教师自动跟踪系统，执行如上述所述的融合全景的教师自动跟踪方法，包括：
图像采集模块：利用多台高清摄像机在教室空间内目标区域相对应的位置的部署，采集目标区域内的图像或视频数据，并将所述图像或视频数据中的多幅画面输出至画面提取模块；
画面提取模块：用于选取所述多幅画面中有重叠部分的两张画面，提取每个画面中的特征点并生成特征描述因子；
画面配准模块：依据所述特征描述因子计算有重叠部分的两张画面匹配配对的平移量和旋转角度，得出变换矩阵数学模型，根据所述变换矩阵数学模型对有重叠部分的两张画面进行配准；
拼接融合模块：用于将经变换配准后的所有画面进行拼接融合，形成一幅全景画面，将所述全景画面输出至人物侦测模块；
人物侦测模块：用于对输入的全景画面建立背景模型，寻找移动物体，提取出目标帧画面，并分割出目标帧画面中的人像区域；
特征提取模块：用于提取所述人像区域中人体与讲台、黑板间的综合滞留时间及行为特征，生成特征因子值；
关系判定模块：用于将实际提取生成的特征因子值与预设的特征因子值进行对比匹配，基于特征因子匹配进行身份识别，判定教师角色；
教师跟踪模块：用于对教师定位进行追踪，当教师移动距离高于阀值时，画面中央区域同步移动一个对应的固定距离；
画面输出模块：用于输出目标区域的图像数据或视频数据流。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述所述的融合全景的教师自动跟踪方法，以及如上述所述的融合全景的教师自动跟踪系统。
本发明还提供一种计算机设备，所述计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的融合全景的教师自动跟踪方法，以及如上述所述的融合全景的教师自动跟踪系统。
与现有技术相比，本发明的有益效果在于：
本发明通过融合全景，有效地提高了输出画面的区间范围和像素质量；能够有效地侦测移动物体，并依据特征算法模型进行角色判定，实现了对教师教学活动的全流程的跟踪；通过人物判定和跟踪，有效地过滤教学过程中的外部干扰，相当于专业摄像师手工操作多机位摄像的效果，大幅节约了设备和人力成本。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。
在附图中：
图1为本发明一种融合全景的教师自动跟踪方法的流程图；
图2为本发明实施例计算机设备的构成示意图；
图3为本发明实施例的系统整体原理图；
图4为本发明实施例的全景融合原理图；
图5为本发明实施例的教师追踪原理图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和产品的例子。
在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
下面结合附图对本发明实施例作进一步详细说明。
本发明实施例提供融合全景的教师自动跟踪方法，参见图1所示，包括如下步骤：
S1、部署多台高清摄像机至教室空间内目标区域相对应的位置，采集目标区域内的图像或视频数据，并将所述图像或视频数据中的多幅画面输出至画面提取模块；
本实施例中，采集输入一个或多个高分辨率画面(比如4k、8k、4k×3拼接)，通过裁剪拼接，形成一幅全景超高清晰度画面，通过机器学习，识别人体进行标定，识别讲台进行标定，识别黑板进行标定，根据人体、讲台、黑板间综合滞留时间关系，判定教师角色，以教师为中心，输出适当比例裁剪画面，对外输出标准清晰度(1080P、720P)画面信号或视频流，参见图3所示。
S2、选取所述多幅画面中有重叠部分的两张画面，提取每个画面中的特征点并生成特征描述因子；
首先，对待拼接的画面进行预处理，从图像变换考虑，包括畸变、几何校正、缩放等；从光照角度考虑，包括亮度、对比度等的处理；从色彩与细节考虑，包括噪声、清晰度等的处理；此外特殊处理有遮挡、变形等。
在实际操作过程中，针对性地进行图像处理有助于提升后续配准算法的精度。
利用AKAZE算法(局部特征匹配算法)，通过图像灰度的扩散构建每张图像的非线性尺度空间；基于每张图像的非线性尺度空间提取每张图像的特征点；将每张图像分成多个网格单元，获取每张图像的特征点所在的网格单元内的特征以生成该特征点的特征描述因子；
利用AKAZE算法提取的特征点具备光照不变性、尺度不变性、旋转不变性和视觉变化鲁棒性。
采用Hessian矩阵在每张图像的非线性尺度空间中进行特征点检测，构造非线性尺度空间内各像素位置的Hessian矩阵判别式，将每个像素位置的Hessian矩阵判别式与该像素位置的上下两层与当前层的3*n*n-1个像素位置的Hessian矩阵判别式进行对比，若当前像素位置的Hessian矩阵判别式在周围邻域内为局部最大值，则判定为极值点，提取该像素位置作为特征点，其中n为≥3的奇数。
S3、依据所述特征描述因子计算有重叠部分的两张画面匹配配对的平移量和旋转角度，得出变换矩阵数学模型，根据所述变换矩阵数学模型对有重叠部分的两张画面进行配准；
若存在有重叠部分的第三张或者更多画面，则依次重复进行S2--S3步骤；
所述依据所述特征描述因子计算有重叠部分的两张画面匹配配对的平移量和旋转角度，得出变换矩阵数学模型的方法包括以下步骤：
计算第一张画面和第二张画面之间的特征描述因子的欧式距离，得到每个特征点的最佳匹配特征点；选择距离最近的前m对特征点配对，m为≥2的自然数，m可根据需要设定；通过配对的特征点计算平移量以及旋转角度；
计算配对的特征点在x、y方向上的平移距离获取众数，得到平移量；选取众数对应配对的特征点中距离最近的两对配对的特征点，将选取的两对配对的特征点中在第一张画面中的两个特征点连线得到第一配对线，将选取的两对配对的特征点中在第二张画面中的两个特征点连线得到第二配对线，计算第一配对线和第二配对线的角度差异以得到旋转角度；基于平移量和旋转角度生成具有平移旋转的变换矩阵数学模型。
S4、将经变换配准后的所有画面进行拼接融合，形成全景画面，将所述全景画面输出至人物侦测模块；
根据所述变换矩阵数学模型进行有重叠部分的第一张画面和第二张画面之间的变换配准，为拼接提供同一视角的两张图像，将变换配准后的第一张画面和第二张画面进行拼接融合得到拼接图像；如有更多图片，则重复上述步骤，参见图4所示；
S5、对输入的全景画面建立背景模型，寻找移动物体，提取出目标帧画面，并分割出目标帧画面中的人像区域；
所述建立背景模型，寻找移动物体的方法包括：
建立背景模型并生成运动遮罩，通过计算影像差值，对背景影像和摄影机影像做相减并取绝对值，然后生成柯西分布模型，将每个像素的影像差值分成背景和前景两个区域，将前景物件从背景影像分离出来，从而找到移动的物体。
所述分割出目标帧画面中的人像区域的方法包括：
利用预先训练的人像分割模型对目标帧画面中的每个像素点进行卷积及池化操作，得到每一个像素点对应的低维特征表达；利用预设的映射函数将所述低维特征表达映射至预先构建的高维空间，得到低维特征表达的高维特征表达；利用预设的激活函数计算每个高维特征表达的输出值，并选取所述输出值大于预设输出阈值的高维特征表达对应的像素点为人像像素；分割出所述目标帧中所述人像像素的区域为人像区域。
S6、提取所述人像区域中人体与讲台、黑板间的综合滞留时间及行为特征，生成特征因子值；
S7、将实际提取生成的特征因子值与预设的特征因子值进行对比匹配，基于特征因子匹配进行身份识别，判定教师角色，如匹配通过，则确认角色，进入S8步骤；
如匹配不通过，则否认角色，重复S6—S7步骤；
所述基于特征因子匹配进行身份识别，判定教师角色的方法包括：
将分割出的所述人像区域转换为灰度图像，对所述灰度图像进行色彩空间归一化，得到标准图像；将所述标准图像按照预设比例划分为多个图像块，计算每一个图像块中每个像素的像素梯度，根据所述像素梯度统计得到每一个图像块的梯度直方图；将所述梯度直方图转换为图向量，并计算所述图向量与预设多个动作向量之间的距离值，确定距离值最小的动作向量对应的动作为人像区域的动作特征，利用权重算法计算形态特征、动作特征以及出行方式与预设的目标人员的特征之间的匹配值，计算式为：
式(1)中，P为匹配值，X为形态特征，Y为动作特征，Z为出行方式的数值化表示，T为预设的目标人员的特征，C为预设系数；当匹配值达到期望时，确认角色判别成功。
所述预设的特征因子值包括：
侦测对象与讲台和黑板的空间距离、侦测对象在目标区域的滞留时间、侦测对象的特征行为。
对侦测画面的实际特征提取同样包含上述特征因子值。
S8、对教师定位进行追踪，当教师移动距离高于阀值时，画面中央区域同步移动一个对应的固定距离；
若失去教师定位，则重复S5--S8步骤；参见图5所示；
S9、输出目标区域的图像数据或视频数据流。
本发明实施例还提供一种融合全景的教师自动跟踪系统，执行如上述所述的融合全景的教师自动跟踪方法，包括：
图像采集模块：利用多台高清摄像机在教室空间内目标区域相对应的位置的部署，采集目标区域内的图像或视频数据，并将所述图像或视频数据中的多幅画面输出至画面提取模块；
画面提取模块：用于选取所述多幅画面中有重叠部分的两张画面，提取每个画面中的特征点并生成特征描述因子；
画面配准模块：依据所述特征描述因子计算有重叠部分的两张画面匹配配对的平移量和旋转角度，得出变换矩阵数学模型，根据所述变换矩阵数学模型对有重叠部分的两张画面进行配准；
拼接融合模块：用于将经变换配准后的所有画面进行拼接融合，形成一幅全景画面，将所述全景画面输出至人物侦测模块；
人物侦测模块：用于对输入的全景画面建立背景模型，寻找移动物体，提取出目标帧画面，并分割出目标帧画面中的人像区域；
特征提取模块：用于提取所述人像区域中人体与讲台、黑板间的综合滞留时间及行为特征，生成特征因子值；
关系判定模块：用于将实际提取生成的特征因子值与预设的特征因子值进行对比匹配，基于特征因子匹配进行身份识别，判定教师角色；
教师跟踪模块：用于对教师定位进行追踪，当教师移动距离高于阀值时，画面中央区域同步移动一个对应的固定距离；
画面输出模块：用于输出目标区域的图像数据或视频数据流。
本发明实施例还提供一种计算机设备，图2是本发明实施例提供的一种计算机设备的结构示意图；参见附图图2所示，该计算机设备包括：输入装置23、输出装置24、存储器22和处理器21；所述存储器22，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器21执行，使得所述一个或多个处理器21实现如上述实施例提供的融合全景的教师自动跟踪方法；其中输入装置23、输出装置24、存储器22和处理器21可以通过总线或者其他方式连接，图2中以通过总线连接为例。
存储器22作为一种计算设备可读写存储介质，可用于存储软件程序、计算机可执行程序，如本发明实施例所述的融合全景的教师自动跟踪方法对应的程序指令；存储器22可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等；此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件；在一些实例中，存储器22可进一步包括相对于处理器21远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置23可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入；输出装置24可包括显示屏等显示设备。
处理器21通过运行存储在存储器22中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的融合全景的教师自动跟踪方法。
上述提供的计算机设备可用于执行上述实施例提供的融合全景的教师自动跟踪方法，具备相应的功能和有益效果。
本发明实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如上述实施例提供的融合全景的教师自动跟踪方法，存储介质是任何的各种类型的存储器设备或存储设备，存储介质包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDR RAM、SRAM、EDO RAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等；存储介质可以还包括其它类型的存储器或其组合；另外，存储介质可以位于程序在其中被执行的第一计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到第一计算机系统；第二计算机系统可以提供程序指令给第一计算机用于执行。存储介质包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上实施例所述的融合全景的教师自动跟踪方法，还可以执行本发明任意实施例所提供的融合全景的教师自动跟踪方法中的相关操作。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
以上所述仅为本发明的优选实施例，并不用于限制本发明；对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种融合全景的教师自动跟踪方法，其特征在于，包括：
S1、部署多台高清摄像机至教室空间内目标区域相对应的位置，采集目标区域内的图像或视频数据，并将所述图像或视频数据中的多幅画面输出至画面提取模块；
S2、选取所述多幅画面中有重叠部分的两张画面，提取每个画面中的特征点并生成特征描述因子；
S3、依据所述特征描述因子计算有重叠部分的两张画面匹配配对的平移量和旋转角度，得出变换矩阵数学模型，根据所述变换矩阵数学模型对有重叠部分的两张画面进行配准；
若存在有重叠部分的第三张或者更多画面，则依次重复进行S2--S3步骤；
S4、将经变换配准后的所有画面进行拼接融合，形成全景画面，将所述全景画面输出至人物侦测模块；
S5、对输入的全景画面建立背景模型，寻找移动物体，提取出目标帧画面，并分割出目标帧画面中的人像区域；
S6、提取所述人像区域中人体与讲台、黑板间的综合滞留时间及行为特征，生成特征因子值；
S7、将实际提取生成的特征因子值与预设的特征因子值进行对比匹配，基于特征因子匹配进行身份识别，判定教师角色，如匹配通过，则确认角色，进入S8步骤；
如匹配不通过，则否认角色，重复S6—S7步骤；
S8、对教师定位进行追踪，当教师移动距离高于阀值时，画面中央区域同步移动一个对应的固定距离；
若失去教师定位，则重复S5--S8步骤；
S9、输出目标区域的图像数据或视频数据流。
2.根据权利要求1所述的融合全景的教师自动跟踪方法，其特征在于，所述S2步骤的提取画面中的特征点并生成特征描述因子的方法包括：
利用AKAZE算法，通过图像灰度的扩散构建每张图像的非线性尺度空间；基于每张图像的非线性尺度空间提取每张图像的特征点；将每张图像分成多个网格单元，获取每张图像的特征点所在的网格单元内的特征以生成该特征点的特征描述因子；
采用Hessian矩阵在每张图像的非线性尺度空间中进行特征点检测，构造非线性尺度空间内各像素位置的Hessian矩阵判别式，将每个像素位置的Hessian矩阵判别式与该像素位置的上下两层与当前层的3*n*n-1个像素位置的Hessian矩阵判别式进行对比，若当前像素位置的Hessian矩阵判别式在周围邻域内为局部最大值，则判定为极值点，提取该像素位置作为特征点，其中n为≥3的奇数。
3.根据权利要求1所述的融合全景的教师自动跟踪方法，其特征在于，所述S3步骤的依据所述特征描述因子计算有重叠部分的两张画面匹配配对的平移量和旋转角度，得出变换矩阵数学模型的方法包括以下步骤：
计算第一张画面和第二张画面之间的特征描述因子的欧式距离，得到每个特征点的最佳匹配特征点；选择距离最近的前m对特征点配对，m为≥2的自然数，通过配对的特征点计算平移量以及旋转角度；
计算配对的特征点在x、y方向上的平移距离获取众数，得到平移量；选取众数对应配对的特征点中距离最近的两对配对的特征点，将选取的两对配对的特征点中在第一张画面中的两个特征点连线得到第一配对线，将选取的两对配对的特征点中在第二张画面中的两个特征点连线得到第二配对线，计算第一配对线和第二配对线的角度差异以得到旋转角度；基于平移量和旋转角度生成具有平移旋转的变换矩阵数学模型。
4.根据权利要求1所述的融合全景的教师自动跟踪方法，其特征在于，所述S5步骤的建立背景模型，寻找移动物体的方法包括：
建立背景模型并生成运动遮罩，通过计算影像差值，对背景影像和摄影机影像做相减并取绝对值，生成柯西分布模型，将每个像素的影像差值分成背景和前景两个区域，将前景物件从背景影像分离出来，从而找到移动的物体。
5.根据权利要求1所述的融合全景的教师自动跟踪方法，其特征在于，所述S5步骤的分割出目标帧画面中的人像区域的方法包括：
利用预先训练的人像分割模型对目标帧画面中的每个像素点进行卷积及池化操作，得到每一个像素点对应的低维特征表达；利用预设的映射函数将所述低维特征表达映射至预先构建的高维空间，得到低维特征表达的高维特征表达；利用预设的激活函数计算每个高维特征表达的输出值，并选取所述输出值大于预设输出阈值的高维特征表达对应的像素点为人像像素；分割出所述目标帧中所述人像像素的区域为人像区域。
6.根据权利要求5所述的融合全景的教师自动跟踪方法，其特征在于，所述S7步骤的基于特征因子匹配进行身份识别，判定教师角色的方法包括：
将分割出的所述人像区域转换为灰度图像，对所述灰度图像进行色彩空间归一化，得到标准图像；将所述标准图像按照预设比例划分为多个图像块，计算每一个图像块中每个像素的像素梯度，根据所述像素梯度统计得到每一个图像块的梯度直方图；将所述梯度直方图转换为图向量，并计算所述图向量与预设多个动作向量之间的距离值，确定距离值最小的动作向量对应的动作为人像区域的动作特征，利用权重算法计算形态特征、动作特征以及出行方式与预设的目标人员的特征之间的匹配值，计算式为：
式(1)中，P为匹配值，X为形态特征，Y为动作特征，Z为出行方式的数值化表示，T为预设的目标人员的特征，C为预设系数；当匹配值达到期望时，确认角色判别成功。
7.根据权利要求1所述的融合全景的教师自动跟踪方法，其特征在于，所述S7步骤的预设的特征因子值包括：
侦测对象与讲台和黑板的空间距离、侦测对象在目标区域的滞留时间、侦测对象的特征行为。
8.一种融合全景的教师自动跟踪系统，其特征在于，执行权利要求1-7任一项所述的融合全景的教师自动跟踪方法，包括：
图像采集模块：利用多台高清摄像机在教室空间内目标区域相对应的位置的部署，采集目标区域内的图像或视频数据，并将所述图像或视频数据中的多幅画面输出至画面提取模块；
画面提取模块：用于选取所述多幅画面中有重叠部分的两张画面，提取每个画面中的特征点并生成特征描述因子；
画面配准模块：依据所述特征描述因子计算有重叠部分的两张画面匹配配对的平移量和旋转角度，得出变换矩阵数学模型，根据所述变换矩阵数学模型对有重叠部分的两张画面进行配准；
拼接融合模块：用于将经变换配准后的所有画面进行拼接融合，形成一幅全景画面，将所述全景画面输出至人物侦测模块；
人物侦测模块：用于对输入的全景画面建立背景模型，寻找移动物体，提取出目标帧画面，并分割出目标帧画面中的人像区域；
特征提取模块：用于提取所述人像区域中人体与讲台、黑板间的综合滞留时间及行为特征，生成特征因子值；
关系判定模块：用于将实际提取生成的特征因子值与预设的特征因子值进行对比匹配，基于特征因子匹配进行身份识别，判定教师角色；
教师跟踪模块：用于对教师定位进行追踪，当教师移动距离高于阀值时，画面中央区域同步移动一个对应的固定距离；
画面输出模块：用于输出目标区域的图像数据或视频数据流。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1-6任一项所述的融合全景的教师自动跟踪方法，以及权利要求7或8所述的融合全景的教师自动跟踪系统。
10.一种计算机设备，所述计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-6任一项所述的融合全景的教师自动跟踪方法，以及权利要求7或8所述的融合全景的教师自动跟踪系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310432619.9A CN116543014A (zh) | 2023-04-20 | 2023-04-20 | 一种融合全景的教师自动跟踪方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310432619.9A CN116543014A (zh) | 2023-04-20 | 2023-04-20 | 一种融合全景的教师自动跟踪方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116543014A true CN116543014A (zh) | 2023-08-04 |
Family
ID=87442695
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310432619.9A Pending CN116543014A (zh) | 2023-04-20 | 2023-04-20 | 一种融合全景的教师自动跟踪方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116543014A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117218162A (zh) * | 2023-11-09 | 2023-12-12 | 深圳市巨龙创视科技有限公司 | 一种基于ai的全景追踪控视系统 |
-
2023
- 2023-04-20 CN CN202310432619.9A patent/CN116543014A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117218162A (zh) * | 2023-11-09 | 2023-12-12 | 深圳市巨龙创视科技有限公司 | 一种基于ai的全景追踪控视系统 |
| CN117218162B (zh) * | 2023-11-09 | 2024-03-12 | 深圳市巨龙创视科技有限公司 | 一种基于ai的全景追踪控视系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110211043B (zh) | 一种用于全景图像拼接的基于网格优化的配准方法 | |
| CN103517041B (zh) | 基于多相机旋转扫描的实时全景监控方法和装置 | |
| CN112444242B (zh) | 一种位姿优化方法及装置 | |
| CN113689540B (zh) | 基于rgb视频的物体重建方法和装置 | |
| CN109087261B (zh) | 基于非受限采集场景的人脸矫正方法 | |
| Mistry et al. | Image stitching using Harris feature detection | |
| US11620730B2 (en) | Method for merging multiple images and post-processing of panorama | |
| EP3093822B1 (en) | Displaying a target object imaged in a moving picture | |
| WO2023011013A1 (zh) | 视频图像的拼缝搜索方法、视频图像的拼接方法和装置 | |
| CN110956661A (zh) | 基于双向单应矩阵的可见光与红外相机动态位姿计算方法 | |
| CN103955888A (zh) | 一种基于sift的高清视频图像拼接方法及装置 | |
| CN111383204A (zh) | 视频图像融合方法、融合装置、全景监控系统及存储介质 | |
| US11393076B2 (en) | Blurring panoramic image blurring method, terminal and computer readable storage medium | |
| Toft et al. | Single-image depth prediction makes feature matching easier | |
| CN114120163A (zh) | 视频帧处理方法、装置及其相关设备和存储介质 | |
| TW201635242A (zh) | 室內二維平面圖的生成方法、裝置和系統 | |
| JP2020053774A (ja) | 撮像装置および画像記録方法 | |
| CN116543014A (zh) | 一种融合全景的教师自动跟踪方法及系统 | |
| CN110120012B (zh) | 基于双目摄像头的同步关键帧提取的视频拼接方法 | |
| Ding et al. | Minimal solutions for panoramic stitching given gravity prior | |
| Chang et al. | Panoramic human structure maintenance based on invariant features of video frames | |
| Ali et al. | Feature Matching for Aligning Historical and Modern Images. | |
| CN106997366B (zh) | 数据库构建方法、增强现实融合追踪方法及终端设备 | |
| CN113096016A (zh) | 一种低空航拍图像拼接方法和系统 | |
| CN116132610A (zh) | 一种综采面视频拼接方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |