CN114550306B - 一种智慧教室的部署方法 - Google Patents

一种智慧教室的部署方法 Download PDF

Info

Publication number
CN114550306B
CN114550306B CN202210421757.2A CN202210421757A CN114550306B CN 114550306 B CN114550306 B CN 114550306B CN 202210421757 A CN202210421757 A CN 202210421757A CN 114550306 B CN114550306 B CN 114550306B
Authority
CN
China
Prior art keywords
teacher
image
value
area
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210421757.2A
Other languages
English (en)
Other versions
CN114550306A (zh
Inventor
植才榜
罗斌
顾志诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Yaguan Technology Co ltd
Original Assignee
Hangzhou Yaguan Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Yaguan Technology Co ltd filed Critical Hangzhou Yaguan Technology Co ltd
Priority to CN202210421757.2A priority Critical patent/CN114550306B/zh
Publication of CN114550306A publication Critical patent/CN114550306A/zh
Application granted granted Critical
Publication of CN114550306B publication Critical patent/CN114550306B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

一种智慧教室的部署方法，属于数据处理方法技术领域，包括以下步骤：步骤S1，教师侦测：在教师布置摄像机，并将摄影机对准讲台，摄影机取得影像后，先建立背景模型并寻找移动物，利用教师体型及肤色范围判断移动物是否为教师；步骤S2，教师追踪；步骤S3，教师修正；步骤S4，动作辨识：当教师进入预设的黑板区域后，依照脸部肤色变化判断是否教师为背面，若是则特写黑板画面；当教师在区域中停留时间超过阀值，则将停留区域放大；当幕布区域有图像变化时，则特写幕布区域。本方案，根据教师位置判断要对教师特写或对特定区域放大，让学生能清楚看到黑板或者投影幕布上的字，方便理解教师的演示或者讲解。

Description

一种智慧教室的部署方法
技术领域
本发明属于数据处理方法技术领域，具体涉及一种智慧教室的部署方法。
背景技术
目前的教学方式有两种：一种是传统的教室中老师上课学生听讲，采用这种方式进行教学，每堂课的上课环境和时间容易受到局限，学生学习的空间和时间都容易受到局限。
第二种方式是通过网络的方式进行学习，这种学习方式为网络老师录制完教学视频或采用直播的方式供学生在线学习观看，这种学习方式不容易受到时间、空间、环境的影响，学生学习的数量也可以灵活满足需求。
如公开号为CN201811081325.1的中国专利，公开了一种智慧教室云平台，包括教师摄像机，教师摄像机用于采集教师教学活动的视频信息，中央控制主机将信息分频道处理后，将教师教学的视频信息传送至无线显示设备，学生可在无线显示设备观看。
现实情况是，教师摄像机，通常为一个固定式的摄影机，能拍到教师教学活动范围。而教师在教学时，除了通过投影播放PPT等讲义时，还会在黑板上进行板书。为了全面展示教师的教学活动，摄影机的覆盖范围，需要以教师为主体，同时还应该包括黑板以及投影幕布。然而此时，学生端的显示设备的面积通常不大，需要同时显示黑板以及投影幕布时，会使得学生无法观看到黑板以及投影幕布上的具体内容。为了避免这种情况，有些学校采用了多机位的摄影，一个摄像头对准黑板，第二个摄像头对准投影幕布，由教师来对两个摄像头进行显示的切换。这种方式，一来增加了设备成本，二来教师上课时需要分心来对摄像机位进行切换，干扰了教师上课的思路，妨害了教学的流畅性。
发明内容
鉴于上述现有技术的不足之处，本发明的目的在于提供一种智慧教室的部署方法。
为了达到上述目的，本发明采取了以下的技术方案。
一种智慧教室的部署方法，包括以下步骤：
步骤S1，教师侦测：在教师布置摄像机，并将摄影机对准讲台，摄影机取得影像后，先建立背景模型并寻找移动物，利用教师体型及肤色范围判断移动物是否为教师；
步骤S2，教师追踪：当侦测到教师时，需要对其持续追踪；将教师影像切分成多个特征分别追踪；当教师移动距离高于阀值，画面中央区域在移动方向上变动一个教师移动距离，若教师移动距离低于阀值，则画面中央不会移动；
步骤S3，教师修正：当失去教师追踪时，启动教师侦测，执行步骤S1，当侦测到教师后，计算与初始目标的色彩直方图相似度：若高于阀值代表寻回正确目标，重新进行教师追踪，执行步骤S2；否则持续执行教师侦测，直到侦测到教师重新进入摄影机范围再重新追踪；
步骤S4，动作辨识：利用写黑板时会侧身或背对的特性，通过记录头部肤色的数目判断教师为正面、侧面或背面：若数目逐渐减少，则可推测教师正在转身；
当教师进入预设的黑板区域后，依照脸部肤色变化判断是否教师为背面，若是则特写黑板画面；
当教师在区域中停留时间超过阀值，则将停留区域放大；
当幕布区域有图像变化时，则特写幕布区域。
进一步，步骤S1包括以下步骤：S101，先对所有摄影机影像均进行灰阶处理；
步骤S102，然后输入摄影机影像，建立背景模型；背景模型，包含了背景影像及参考影像；
步骤S103，生成运动遮罩；通过计算影像差值，对背景影像和摄影机影像做相减并取绝对值，然后生成柯西分布模型，将每个像素的影像差值分成背景和前景两个区域，将前景物件从背景影像分离出来，从而找到移动的物件；
步骤S104，教师验证：利用教师的脸部有大量肤色的特性，将移动物件切分成两个区块，上方区块代表脸部，将影像转为 HSV影像空间并获取肤色区段，然后计算肤色区段占据上方区块的比例：如果肤色区段占据上方区块的比例大于阀值，则将物件视为教师；否则放弃对该物件的侦测。
进一步，步骤S102包括以下步骤：
步骤S102a，进行背景模型的初始化，得到背景影像的初始值和参考影像的初始值，且背景影像的初始值和参考影像的初始值相同；背景模型的初始化公式为：
Figure 383282DEST_PATH_IMAGE001
；其中，B（x,y）是背景影像的初始值，x是影像像素值的横向坐标，y是影像像素值的竖向坐标，C是读入的影像画面的数量，I t （x,y）是摄影机读入的连续影像的像素值；
步骤S102b，更新参考影像：比较摄影机影像和参考影像的对应像素，若相同则表示参考影像与目前背景相同，否则更新参考影像；参考影像的更新公式为：
Figure 97160DEST_PATH_IMAGE002
；
其中，R t （x,y）是当前参考影像，R t-1 （x,y）是前一张参考影像，I t （x,y）是摄影机读入的连续影像的像素值，sgn是符号函数；
步骤S102c，更新背景影像；比较参考影像和背景影像的对应像素，若相同则不做任何事，否则更新背景影像；背景影像的更新公式为：
Figure 781957DEST_PATH_IMAGE003
；其中，B t （x,y）是当前背景影像，B t-1 （x,y）是前一张背景影像，M t （x,y）是参考影像的像素值，sgn是符号函数。
进一步，步骤S103包括以下步骤：
步骤S103a，计算背景影像和摄影机影像的影像差值Δ t （x,y）：
Figure 911587DEST_PATH_IMAGE004
；其中，B t （x,y）是当前背景影像，It（x,y）是摄影机影像；
步骤S103b，二值化运动遮罩Dt（x,y）：
Figure 257118DEST_PATH_IMAGE005
；
二值化结果为 0 的部分被归类于背景，二值化结果为 1 的部分被归类于前景，而前景的部分就是移动物件的区域，其中，f 1 是第一个条件机率，f 2 是第二个条件机率；
第一个条件机率f 1 和第二个条件机率f 2 均通过将影像差值影像中所有像素的值代入得到；
第一个条件机率f 1 的公式为：
Figure 751684DEST_PATH_IMAGE006
；
Figure 549876DEST_PATH_IMAGE007
；
其中，a 1 是第一位置参数，b是比率参数，l是灰阶值，n l 是影像差值的影像中灰阶值为l的像素个数；
第二个条件机率f 2 的公式为：
Figure 155301DEST_PATH_IMAGE008
；
Figure 558600DEST_PATH_IMAGE009
；
其中，a 2 是第二位置参数，b是比率参数，l是灰阶值，n l 是影像差值的影像中灰阶值为l的像素个数。
进一步，步骤S2包括以下步骤：
步骤S201，教师影像的特征切割：将头部及上半身以1:2 比例切割；
步骤S202，计算特征色彩直方图：通过教师侦测，可获得前景物件的位置及大小；从摄影机读入影像后，将影像从 RGB 转为 HSV 色彩空间，先统计各特征色彩直方图，再读取下一张影像并统计其特征色彩直方图，将两张影像的特征色彩直方图找到两影像中各特征之间最相近的区域，并且加入限制函数，限制两两特征距离，计算平移矢量，平移教师的感兴趣区域后得到影像中的最新位置，接着重复读取下一张图，并计算平移矢量，持续更新教师的感兴趣区域位置。
进一步，步骤S202中，计算平移向量，其过程如下：将教师的感兴趣区域平移到与统计的直方图色彩信息最相似的区域，根据梯度投影法将平移矢量𝛿x分成𝛿xA与𝛿xB两个部分组成，得出𝛿xA与𝛿xB，其算式如下：
Figure 348702DEST_PATH_IMAGE010
，且𝛿x=𝛿xA＋𝛿xB，其中，x表示现在的状态；α为调整平移的速度的参数，其值必须为正值； Cx为所有限制函数中特征相对位置差的梯度矩阵；Jx为使得教师的色彩直方图与现在教师的感兴趣区域的差异度最低的移动矢量，此处采用 Meanshift 算法来取得；C(x)限制函数为所有特征之间的距离集合；
𝛿xA作用于当教师的色彩直方图与现在教师感兴趣区域的差异度过大的时候，平移教师的感兴趣区域使得差异度降至最低；
教师的色彩直方图与现在教师感兴趣区域的差异度，采用KL 散度：
Figure 509556DEST_PATH_IMAGE011
；其中是P（i）和Q（i）是随机变量i上的两个概率分布；当 KL散度的值超过某阈值的时候才计算𝛿xA；
𝛿xB作用于当两个特征距离过远时，将特征的距离拉近；两个特征距离采用特征限制函数矢量计算：
Figure 980988DEST_PATH_IMAGE012
；其中，x是特征的坐标矢量，Lx,ij是初始的特征之间的距离；当特征限制函数矢量c 的值大于阈值才计算𝛿xB；
当教师的色彩直方图与现在教师感兴趣区域的差异度过大、两个特征距离过远时均成立的时候，𝛿xA与𝛿xB同时运作；
通过𝛿xA和𝛿xB得出平移矢量𝛿x，将现在教师感兴趣区域平移至差异度最低的区域。
进一步，步骤S3包括以下步骤：
步骤S301，判断色彩直方图相似度：将多特征追踪结果与目标初始计算直方图差异，计算直方图相似度采用 KL 散度：
Figure 35532DEST_PATH_IMAGE013
；其中，其中是P（i）和Q （i）是随机变量i上的两个概率分布；
当KL 散度的值连续低于阈值时，代表多特征追踪结果错误，停止教师追踪，并持续执行教师侦测，直到侦测教师重新进入摄影机范围再重新追踪；
步骤S302，追踪结果与教师侦测结果比对位置：
追踪结果及侦测结果不重叠，则分别与初始目标计算直方图差异，若追踪结果较侦测结果差异小，代表目前追踪仍为正确；若较大代表追踪结果为错误，将目标修正为侦测结果；
追踪结果及侦测结果重叠，追踪结果仍是正确，不必进行更正。
本方案，侦测到教师后进入追踪，并持续判断是否为正确目标，若不是则重新寻找移动物。结合色彩直方图相似度比对的方法，判断目标是否丢失并改正，从而增加追踪的可靠度。同时，根据教师位置判断要对教师特写或对特定区域放大，让学生能清楚看到黑板或者投影幕布上的字，方便理解教师的演示或者讲解。
附图说明
图1是追踪结果及侦测结果不重叠图；
图2是追踪结果及侦测结果重叠图；
图3是讲解投影片时的播放界面；
图4是书写黑板时的播放界面。
具体实施方式
下面结合附图，对本发明作进一步详细说明。
一种智慧教室的部署方法，包括以下步骤：
步骤S1，教师侦测：在教师布置摄像机，并将摄影机对准讲台，摄影机取得影像后，先建立背景模型并寻找移动物，利用教师体型及肤色范围判断移动物是否为教师。
本步骤，摄像机能够自动侦测到处于移动状态的教师。
步骤S101，先对所有摄影机影像均进行灰阶处理，从而减少光照影响；
步骤S102，然后输入摄影机影像，建立背景模型；背景模型，包含了背景影像及参考影像。
参考影像是做为摄影机影像中突发性变化的缓冲，降低环境光源、摄影机线路或摇晃等干扰，使背景影像不会陡然变化。
步骤S102a，进行背景模型的初始化，得到背景影像的初始值和参考影像的初始值，且背景影像的初始值和参考影像的初始值相同。背景模型的初始化公式为：
Figure 463164DEST_PATH_IMAGE001
；其中，B（x,y）是背景影像的初始值，x是影像像素值的横向坐标，y是影像像素值的竖向坐标，C是读入的影像画面的数量，I t （x,y）是摄影机读入的连续影像的像素值。
本方案，通过多张连续影像初始化背景，可以减少噪声的干扰。
步骤S102b，更新参考影像。比较摄影机影像和参考影像的对应像素，若相同则表示参考影像与目前背景相同，否则更新参考影像；参考影像的更新公式为：
Figure 235948DEST_PATH_IMAGE002
；
其中，R t （x,y）是当前参考影像，R t-1 （x,y）是前一张参考影像，I t （x,y）是摄影机读入的连续影像的像素值，sgn是符号函数。
步骤S102c，更新背景影像。比较参考影像和背景影像的对应像素，若相同则不做任何事，否则更新背景影像；背景影像的更新公式为：
Figure 245492DEST_PATH_IMAGE003
；其中，B t （x,y）是当前背景影像，B t-1 （x,y）是前一张背景影像，M t （x,y）是参考影像的像素值，sgn是符号函数。
步骤S103，生成运动遮罩。通过计算影像差值，对背景影像和摄影机影像做相减并取绝对值，然后生成柯西（Cauchy）分布模型，使用两个条件机率，将每个像素的影像差值分成背景和前景两个区域，将前景物件从背景影像分离出来，从而找到移动的物件。
步骤S103a，计算背景影像和摄影机影像的影像差值Δ t （x,y）。
Figure 295488DEST_PATH_IMAGE004
；其中，B t （x,y）是当前背景影像，It（x,y）是摄影机影像。
步骤S103b，二值化运动遮罩Dt（x,y）：
Figure 427392DEST_PATH_IMAGE005
；
二值化结果为 0 的部分被归类于背景，二值化结果为 1 的部分被归类于前景，而前景的部分就是移动物件的区域，其中，f 1 是第一个条件机率，f 2 是第二个条件机率。
第一个条件机率f 1 和第二个条件机率f 2 均通过将影像差值影像中所有像素的值代入得到。具体的，第一个条件机率f 1 的公式为：
Figure 562838DEST_PATH_IMAGE006
；
Figure 172811DEST_PATH_IMAGE007
；
其中，a 1 是第一位置参数，b是比率参数，l是灰阶值，n l 是影像差值的影像中灰阶值为l的像素个数。
第二个条件机率f 2 的公式为：
Figure 77313DEST_PATH_IMAGE008
；
Figure 583381DEST_PATH_IMAGE009
；
其中，a 2 是第二位置参数，b是比率参数，l是灰阶值，n l 是影像差值的影像中灰阶值为l的像素个数。
步骤S104，教师验证。由于找到移动的物件可能会有多个结果，所以必须判断何者是教师。利用教师的脸部有大量肤色的特性，将移动物件切分成两个区块，上方区块代表脸部，将影像转为 HSV影像空间并获取肤色区段，然后计算肤色区段占据上方区块的比例：如果肤色区段占据上方区块的比例大于阀值，则将物件视为教师；否则放弃对该物件的侦测。
步骤S2，教师追踪，当侦测到教师时，需要对其持续追踪。当教师移动距离高于阀值，画面中央区域在移动方向上变动一个教师移动距离，若教师移动距离低于阀值，则画面中央不会移动。
将教师影像切分成多个特征分别追踪，减少教师影像被遮挡的影响；当教师被遮蔽时，单特征失去将近一半的色彩信息，容易就会对目标误判，当使用多特征时，即使单一特征被大量遮挡，其他特征仍可以顺利被追踪，加入限制条件不让特征距离过远，还是可以顺利追踪到教师影像。根据教师的特征，学生通常聚焦于教师的脸部及手部，因此，将教师影像切分成头部及上半身两个特征。
步骤S201，教师影像的特征切割：
根据人体的比例计算，头占了上半身的三分之一，所以将头部及上半身以1:2 比例切割。而人的四肢并不会分离，所以在初始化时计算各特征间的距离， 在计算平移矢量时加入限制函数，限制特征间的距离不会过远。
步骤S202，计算特征色彩直方图。通过教师侦测，可获得前景物件的位置及大小。从摄影机读入影像后，将影像从 RGB 转为 HSV 色彩空间，先统计各特征色彩直方图，再读取下一张影像并统计其特征色彩直方图，将两张影像的特征色彩直方图利用 Meanshift算法，找到两影像中各特征之间最相近的区域，并且加入限制函数，使两两特征距离不会太远，就能计算出平移矢量，平移教师的感兴趣区域（ROI）后得到影像中的最新位置，接着重复读取下一张图，并计算平移矢量，就能持续更新教师的感兴趣区域位置，达到追踪目的。因为教师会有转身和偏移等动作， 所以必须持续更新前景物件的特征色彩直方图。
HSV 是由色调(Hue)、饱和度(Saturation)与亮度(Value)组成，亮度会因为光源的强弱影响，所以在统计特征色彩直方图时，不采用亮度就能降低光源不均匀的干扰。
具体的，计算平移向量，其过程如下：
为了追踪目标，需要将教师的感兴趣区域（ROI）平移到与统计的直方图色彩信息最相似的区域，也就是降低整体的差异度。
为了降低整体的差异度 ，需要得到一个平移矢量𝛿x来对教师的感兴趣区域做平移，根据梯度投影法将平移矢量𝛿x分成𝛿xA与𝛿xB两个部分组成，其算式如下：
Figure 65178DEST_PATH_IMAGE010
，且𝛿x=𝛿xA＋𝛿xB。
x表示现在的状态；α为调整平移的速度的参数，其值必须为正值； Cx为所有限制函数中特征相对位置差的梯度矩阵；Jx为使得教师的色彩直方图与现在教师的感兴趣区域的差异度最低的移动矢量，此处采用 Meanshift 算法来取得；C(x)限制函数为所有特征之间的距离集合。
经由以上算式可以得出𝛿xA与𝛿xB。
𝛿xA作用于当教师的色彩直方图与现在教师感兴趣区域的差异度过大的时候，平移教师的感兴趣区域使得差异度降至最低。
教师的色彩直方图与现在教师感兴趣区域的差异度，采用KL 散度(Kullback–Leibler divergence)：
Figure 852743DEST_PATH_IMAGE011
；其中是P（i）和Q（i）是随机变量i上的两个概率分布。当 KL散度的值超过某阈值的时候才计算𝛿xA。
𝛿xB作用于当两个特征距离过远时，将特征的距离拉近；两个特征距离采用特征限制函数矢量计算：
Figure 1964DEST_PATH_IMAGE012
；其中，x是特征的坐标矢量，Lx,ij是初始的特征之间的距离；当特征限制函数矢量c 的值大于阈值才计算𝛿xB。
两者状况（当教师的色彩直方图与现在教师感兴趣区域的差异度过大、两个特征距离过远时）均成立的时候，𝛿xA与𝛿xB同时运作。
通过𝛿xA和𝛿xB得出平移矢量𝛿x，能够将现在教师感兴趣区域平移至差异度最低的区域并且特征之间的距离不会过远。
步骤S3，教师修正。
当教师因为光影干扰或走出摄影机区域时，会先停止教师追踪，并启动教师侦测，执行步骤S1，当侦测到教师后，计算与初始目标的色彩直方图相似度：若高于阀值代表寻回正确目标，重新进行教师追踪，执行步骤S2；否则持续执行教师侦测，直到侦测到教师重新进入摄影机范围再重新追踪。
在上课过程中，必须确保追踪目标无误，方能正确特写教师。
在课堂中，除非影像遗失，不会有教师突然大量位移的情形，所以每三十张影像做一次目标判断。目标判断主要分为两部分，第一部分判断色彩直方图相似度， 第二部分与教师侦测结果比对位置。
步骤S301，判断色彩直方图相似度：
在摄影机固定的环境中，教师可能因为走动而离开摄影机范围。将多特征追踪结果与目标初始计算直方图差异，计算直方图相似度采用 KL 散度(Kullback–Leiblerdivergence)：
Figure 351037DEST_PATH_IMAGE013
；其中，其中是P（i）和Q（i）是随机变量i上的两个概率分布。
当KL 散度的值连续低于阈值时，代表多特征追踪结果错误，停止教师追踪，并持续执行教师侦测，直到侦测教师重新进入摄影机范围再重新追踪。
步骤S302，与教师侦测结果比对位置：
教师在课堂中会走动，若是移动到投影布幕边缘等光线较暗处，有可能因此而追丢，必须确保追踪目标是否正确。执行教师侦测来寻找是否有移动的教师，若没有代表当前教师追踪结果为正确，若有则与追踪结果比对位置，两者的结果分为重叠及未重叠两种。
不重叠：
图1是追踪结果及侦测结果不重叠图。左侧框为侦测结果，右侧框为追踪结果。若两者结果不重叠，则分别与初始目标计算直方图差异，若追踪结果较侦测结果差异小，代表目前追踪仍为正确，可能为学生走动造成，不需要改正目标。若较大代表追踪结果为错误，将目标修正为侦测结果。
重叠：
图2是追踪结果及侦测结果重叠图。当外框为侦测结果，内框为追踪结果时，即侦测结果包含追踪结果，代表教师在某区域停留，经过更新后被视为背景，教师侦测结果将手部视为移动物，然而追踪结果仍是正确，所以不必进行更正。
当外框为追踪结果，内框为侦测结果时，即追踪结果包含侦测结果，可能为起始时教师只有手部移动，当侦测到教师开始走动后，将追踪目标更正为侦测结果，增加之后动作辨识正确率。
步骤S4，动作辨识。
利用写黑板时会侧身或背对的特性，通过记录头部肤色的数目判断教师为正面、侧面或背面：若数目逐渐减少，则可推测教师正在转身；
当教师进入预设的黑板区域后，依照脸部肤色变化判断是否教师为背面，则特写黑板画面；
若教师在区域内停留一段时间，可能会有细微的肢体语言，所以我们会将放大倍率提高，让使用者能更清楚看见教师的动作，增加观看及学习成效。
当幕布区域有图像变化时，则特写幕布区域。
学生的播放界面，共有一大一小两个影片：
图3是讲解投影片时的播放界面；在讲解投影片时，教师会希望观众将注意力放在投影幕布上，而将教师的特写放在小的画面辅助。
图4是书写黑板时的播放界面。当教师在书写黑板时，将预设的黑板区域放大，并切换到大画面，让学生能看到书写的内容。当教师使用投影笔或利用计算机将投影片换页时，会把投影片再切换到大画面。
采用 PHP 播放系统界面对本方案进行验证。
教师侦测：
教师侦测部分，采用背景相剪法找出移动物，并利用移动物的大小、头部肤色比例及位置筛选出最可能是教师的物件，
移动物侦测的结果，获得移动物后会将色彩空间转为HSV影像空间，并判断移动物的头部肤色比例是否超过阀值，如果肤色区段占据上方区块的比例大于阀值，则将物件视为教师；否则放弃对该物件的侦测。
教师追踪：
当侦测到教师后，就进入教师追踪，因为对教师做特写，以教师为中心扩张固定区域，使教师位于画面中央。当教师移动距离高于阀值，特写区域才往移动方向变动一个教师移动距离，若教师移动距离低于阀值，则特写区域不会移动。若教师移动速度过快，特写区域的更新速度无法跟上时，将特写区域直接移动到教师所在位置，避免画面中的教师消失。
教师修正：
当教师因为光影干扰或走出摄影机区域时，会先停止教师追踪，并启动教师侦测，当侦测到教师后，计算与初始目标的颜色相似度，若高于阀值代表寻回正确目标，重新进行教师追踪；否则重复本步骤。
动作辨識：
当教师进入预设的黑板区域后，依照脸部肤色变化判断是否写黑板，若教师在区域中停留时间超过阀值，将区域放大。当幕布区域有图像变化时，则特写幕布区域。
对教师持续追踪，并结合色彩直方图相似度比对的方法，判断目标是否丢失并改正，增加追踪的可靠度，教师特写框根据追踪结果移动，使移动时影像更加平滑。利用手部和头部的位置，判断教师是否书写黑板，若有则特写黑板画面，让学生也能清楚看到黑板上的字。而自动化的侦测、追踪、录像及上传，让此系统操作更加容易，且无需额外人力担任摄影师或后制。
可以理解的是，对本领域普通技术人员来说，可以根据本发明的技术方案及其发明构思加以等同替换或改变，而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。

Claims (6)

1.一种智慧教室的部署方法，其特征在于，包括以下步骤：
步骤S1，教师侦测：在教师布置摄像机，并将摄影机对准讲台，摄影机取得影像后，先建立背景模型并寻找移动物，利用教师体型及肤色范围判断移动物是否为教师；
步骤S2，教师追踪：当侦测到教师时，需要对其持续追踪；将教师影像切分成多个特征分别追踪；当教师移动距离高于阀值，画面中央区域在移动方向上变动一个教师移动距离，若教师移动距离低于阀值，则画面中央不会移动；
步骤S3，教师修正：当失去教师追踪时，启动教师侦测，执行步骤S1，当侦测到教师后，计算与初始目标的色彩直方图相似度：若高于阀值代表寻回正确目标，重新进行教师追踪，执行步骤S2；否则持续执行教师侦测，直到侦测到教师重新进入摄影机范围再重新追踪；
步骤S4，动作辨识：利用写黑板时会侧身或背对的特性，通过记录头部肤色的数目判断教师为正面、侧面或背面：若数目逐渐减少，则推测教师正在转身；
当教师进入预设的黑板区域后，依照脸部肤色变化判断是否教师为背面，若是则特写黑板画面；
当教师在区域中停留时间超过阀值，则将停留区域放大；
当幕布区域有图像变化时，则特写幕布区域。
2.根据权利要求1所述的一种智慧教室的部署方法，其特征在于，步骤S1包括以下步骤：S101，先对所有摄影机影像均进行灰阶处理；
步骤S102，然后输入摄影机影像，建立背景模型；背景模型，包含了背景影像及参考影像；
步骤S103，生成运动遮罩；通过计算影像差值，对背景影像和摄影机影像做相减并取绝对值，然后生成柯西分布模型，将每个像素的影像差值分成背景和前景两个区域，将前景物件从背景影像分离出来，从而找到移动的物件；
步骤S104，教师验证：利用教师的脸部有大量肤色的特性，将移动物件切分成两个区块，上方区块代表脸部，将影像转为 HSV影像空间并获取肤色区段，然后计算肤色区段占据上方区块的比例：如果肤色区段占据上方区块的比例大于阀值，则将物件视为教师；否则放弃对该物件的侦测。
3.根据权利要求2所述的一种智慧教室的部署方法，其特征在于，步骤S102包括以下步骤：
步骤S102a，进行背景模型的初始化，得到背景影像的初始值和参考影像的初始值，且背景影像的初始值和参考影像的初始值相同；背景模型的初始化公式为：
Figure 91566DEST_PATH_IMAGE001
；其中，B（x,y）是背景影像的初始值，x是影像像素值的横向坐标，y是影像像素值的竖向坐标，C是读入的影像画面的数量，I t （x,y）是摄影机读入的连续影像的像素值；
步骤S102b，更新参考影像：比较摄影机影像和参考影像的对应像素，若相同则表示参考影像与目前背景相同，否则更新参考影像；参考影像的更新公式为：
Figure 192246DEST_PATH_IMAGE002
；
其中，R t （x,y）是当前参考影像，R t-1 （x,y）是前一张参考影像，I t （x,y）是摄影机读入的连续影像的像素值，sgn是符号函数；
步骤S102c，更新背景影像；比较参考影像和背景影像的对应像素，若相同则不做任何事，否则更新背景影像；背景影像的更新公式为：
Figure 936212DEST_PATH_IMAGE003
；其中，B t （x,y）是当前背景影像，B t-1 （x,y）是前一张背景影像，M t （x,y）是参考影像的像素值，sgn是符号函数。
4.根据权利要求3所述的一种智慧教室的部署方法，其特征在于，步骤S103包括以下步骤：
步骤S103a，计算背景影像和摄影机影像的影像差值Δ t （x,y）：
Figure 314103DEST_PATH_IMAGE004
；其中，B t （x,y）是当前背景影像，It（x,y）是摄影机影像；
步骤S103b，二值化运动遮罩Dt（x,y）：
Figure 248604DEST_PATH_IMAGE005
；
二值化结果为 0 的部分被归类于背景，二值化结果为 1 的部分被归类于前景，而前景的部分就是移动物件的区域，其中，f 1 是第一个条件机率，f 2 是第二个条件机率；
第一个条件机率f 1 和第二个条件机率f 2 均通过将影像差值影像中所有像素的值代入得到；
第一个条件机率f 1 的公式为：
Figure 711947DEST_PATH_IMAGE006
；
Figure 525182DEST_PATH_IMAGE007
；
其中，a 1 是第一位置参数，b是比率参数，l是灰阶值，n l 是影像差值的影像中灰阶值为l的像素个数；
第二个条件机率f 2 的公式为：
Figure 882214DEST_PATH_IMAGE008
；
Figure 388282DEST_PATH_IMAGE009
；
其中，a 2 是第二位置参数，b是比率参数，l是灰阶值，n l 是影像差值的影像中灰阶值为l的像素个数。
5.根据权利要求3所述的一种智慧教室的部署方法，其特征在于，步骤S2包括以下步骤：
步骤S201，教师影像的特征切割：将头部及上半身以1:2 比例切割；
步骤S202，计算特征色彩直方图：通过教师侦测，可获得前景物件的位置及大小；从摄影机读入影像后，将影像从 RGB 转为 HSV 色彩空间，先统计各特征色彩直方图，再读取下一张影像并统计其特征色彩直方图，将两张影像的特征色彩直方图找到两影像中各特征之间最相近的区域，并且加入限制函数，限制两两特征距离，计算平移矢量，平移教师的感兴趣区域后得到影像中的最新位置，接着重复读取下一张图，并计算平移矢量，持续更新教师的感兴趣区域位置；
步骤S202中，计算平移向量，其过程如下：将教师的感兴趣区域平移到与统计的直方图色彩信息最相似的区域，根据梯度投影法将平移矢量𝛿x分成𝛿xA与𝛿xB两个部分组成，得出𝛿xA与𝛿xB，其算式如下：
Figure 807762DEST_PATH_IMAGE010
，且𝛿x=𝛿xA＋𝛿xB，其中，x表示现在的状态；α为调整平移的速度的参数，其值必须为正值； Cx为所有限制函数中特征相对位置差的梯度矩阵；Jx为使得教师的色彩直方图与现在教师的感兴趣区域的差异度最低的移动矢量，此处采用 Meanshift 算法来取得；C(x)限制函数为所有特征之间的距离集合；
𝛿xA作用于当教师的色彩直方图与现在教师感兴趣区域的差异度过大的时候，平移教师的感兴趣区域使得差异度降至最低；
教师的色彩直方图与现在教师感兴趣区域的差异度，采用KL 散度：
Figure 549322DEST_PATH_IMAGE011
；其中是P（i）和Q（i）是随机变量i上的两个概率分布；当 KL散度的值超过某阈值的时候才计算𝛿xA；
𝛿xB作用于当两个特征距离过远时，将特征的距离拉近；两个特征距离采用特征限制函数矢量计算：
Figure 636226DEST_PATH_IMAGE012
；其中，x是特征的坐标矢量，Lx,ij是初始的特征之间的距离；当特征限制函数矢量c 的值大于阈值才计算𝛿xB；
当教师的色彩直方图与现在教师感兴趣区域的差异度过大、两个特征距离过远时均成立的时候，𝛿xA与𝛿xB同时运作；
通过𝛿xA和𝛿xB得出平移矢量𝛿x，将现在教师感兴趣区域平移至差异度最低的区域。
6.根据权利要求1所述的一种智慧教室的部署方法，其特征在于，步骤S3包括以下步骤：
步骤S301，判断色彩直方图相似度：将多特征追踪结果与目标初始计算直方图差异，计算直方图相似度采用 KL 散度：
Figure 313195DEST_PATH_IMAGE013
；其中，其中是P（i）和Q（i）是随机变量i上的两个概率分布；
当KL 散度的值连续低于阈值时，代表多特征追踪结果错误，停止教师追踪，并持续执行教师侦测，直到侦测教师重新进入摄影机范围再重新追踪；
步骤S302，追踪结果与教师侦测结果比对位置：
追踪结果及侦测结果不重叠，则分别与初始目标计算直方图差异，若追踪结果较侦测结果差异小，代表目前追踪仍为正确；若较大代表追踪结果为错误，将目标修正为侦测结果；
追踪结果及侦测结果重叠，追踪结果仍是正确，不必进行更正。
CN202210421757.2A 2022-04-21 2022-04-21 一种智慧教室的部署方法 Active CN114550306B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210421757.2A CN114550306B (zh) 2022-04-21 2022-04-21 一种智慧教室的部署方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210421757.2A CN114550306B (zh) 2022-04-21 2022-04-21 一种智慧教室的部署方法

Publications (2)

Publication Number Publication Date
CN114550306A CN114550306A (zh) 2022-05-27
CN114550306B true CN114550306B (zh) 2022-08-05

Family

ID=81667074

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210421757.2A Active CN114550306B (zh) 2022-04-21 2022-04-21 一种智慧教室的部署方法

Country Status (1)

Country Link
CN (1) CN114550306B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2202671A2 (en) * 2008-12-26 2010-06-30 Canon Kabushiki Kaisha Subject tracking apparatus and control method therefor, image capturing apparatus, and display apparatus
TW201115506A (en) * 2009-10-30 2011-05-01 Univ Nat Chiao Tung Object tracking method
CN103428461A (zh) * 2013-08-16 2013-12-04 北京中广上洋科技股份有限公司 一种授课影像录制的系统和方法
CN111986236A (zh) * 2020-09-01 2020-11-24 安徽炬视科技有限公司 一种基于在线学习的抗遮挡目标跟踪算法
CN112040137A (zh) * 2020-11-03 2020-12-04 深圳点猫科技有限公司 对录播中的教师进行自动跟踪拍摄的方法、装置及设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI263944B (en) * 2004-06-16 2006-10-11 Chien-Shu Lee Naked body image detection method
US20090186328A1 (en) * 2008-01-23 2009-07-23 Schoolware, Inc. Method for teaching rapid recall of facts
CN110933316A (zh) * 2019-12-12 2020-03-27 苏州杰胜通信息技术有限公司 一种基于双摄交互式的教师跟踪教学系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2202671A2 (en) * 2008-12-26 2010-06-30 Canon Kabushiki Kaisha Subject tracking apparatus and control method therefor, image capturing apparatus, and display apparatus
TW201115506A (en) * 2009-10-30 2011-05-01 Univ Nat Chiao Tung Object tracking method
CN103428461A (zh) * 2013-08-16 2013-12-04 北京中广上洋科技股份有限公司 一种授课影像录制的系统和方法
CN111986236A (zh) * 2020-09-01 2020-11-24 安徽炬视科技有限公司 一种基于在线学习的抗遮挡目标跟踪算法
CN112040137A (zh) * 2020-11-03 2020-12-04 深圳点猫科技有限公司 对录播中的教师进行自动跟踪拍摄的方法、装置及设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Intelligent Tracking Teaching System based on monocular active vision";Rui Wang 等;《2013 IEEE International Conference on Imaging Systems and Techniques (IST)》;20140203;全文 *
"基于教室录播系统的目标跟踪技术研究";邓长友;《中国优秀博硕士学位论文全文数据库(硕士)-信息科技辑》;20160715;第2016年卷(第7期);I138-812 *

Also Published As

Publication number Publication date
CN114550306A (zh) 2022-05-27

Similar Documents

Publication Publication Date Title
CN112261477B (zh) 视频处理方法及装置、训练方法和存储介质
CN109345556B (zh) 用于混合现实的神经网络前景分离
Felsberg et al. The thermal infrared visual object tracking VOT-TIR2015 challenge results
CN107909022B (zh) 一种视频处理方法、装置、终端设备和存储介质
CN111242962A (zh) 远程培训视频的生成方法、装置、设备及存储介质
KR102565849B1 (ko) 동영상 내 작은 물체를 실시간으로 세분화하는 방법 및 장치
CN103460248B (zh) 图像处理方法和装置
CN106713740B (zh) 定位跟踪摄像方法与系统
JP2006162692A (ja) 講義コンテンツ自動作成システム
CN114120163A (zh) 视频帧处理方法、装置及其相关设备和存储介质
CN111680671A (zh) 一种基于光流的摄像方案自动生成方法
CN110866473A (zh) 目标对象的跟踪检测方法及装置、存储介质、电子装置
CN113705510A (zh) 目标识别跟踪的方法、装置、设备及存储介质
González et al. Single object long-term tracker for smart control of a ptz camera
CN112668487B (zh) 一种基于身体重合度与人体相似性相融合的老师跟踪方法
CN114550306B (zh) 一种智慧教室的部署方法
CN114222065B (zh) 图像处理方法、装置、电子设备、存储介质及程序产品
CN111988520B (zh) 一种画面切换方法、装置、电子设备及存储介质
CN116168233A (zh) 一种基于网格图像patch分类的黑板板书还原方法
CN114202601A (zh) 板书信息处理方法、装置、电子设备及存储介质
CN113379842A (zh) 一种基于rgbd相机的弱纹理及动态场景视觉slam定位方法
Fang et al. Building a smart lecture-recording system using MK-CPN network for heterogeneous data sources
US20230154011A1 (en) Image processing device, image processing method, and program
KR101681446B1 (ko) 실물 화상기용 필기 모드 영상 처리 방법
Dickson et al. Improved Whiteboard Processing for Lecture Capture

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant