CN107452018B - 主讲人跟踪方法及系统 - Google Patents
主讲人跟踪方法及系统 Download PDFInfo
- Publication number
- CN107452018B CN107452018B CN201710649997.7A CN201710649997A CN107452018B CN 107452018 B CN107452018 B CN 107452018B CN 201710649997 A CN201710649997 A CN 201710649997A CN 107452018 B CN107452018 B CN 107452018B
- Authority
- CN
- China
- Prior art keywords
- video image
- speaker
- blackboard
- writing
- moving target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提出一种主讲人跟踪方法及系统，涉及计算机视觉技术领域。该主讲人跟踪系统获取主讲人定位摄像机拍摄的主讲人视频图像及板书定位摄像机拍摄的板书视频图像，对主讲人视频图像及板书视频图像进行运动目标检测以获取主讲人视频图像中的运动目标和板书视频图像中的运动目标，计算主讲人视频图像中的运动目标的位置信息及板书视频图像中的运动目标的位置信息，对该板书视频图像中的运动目标进行肤色检测，以生成检测结果，依据主讲人视频图像中的运动目标的位置信息、板书视频图像中的运动目标的位置信息及检测结果确定主讲人的跟踪策略。该主讲人跟踪系统数据处理快，能自动对主讲人进行定位、跟踪和拍摄，具有较好的跟踪拍摄效果。
Description
技术领域
本发明涉及计算机视觉技术领域，具体而言，涉及一种主讲人跟踪方法及系统。
背景技术
计算机多媒体技术、网络技术等新技术的不断更新和发展，基于视频内容分析的视频监控等自动化系统在安防、教育、人工智能等各个产业领域都发挥着越来越重要的作用。录播系统作为传统教育行业的辅助教学系统，在课堂录播应用的方向上，扮演越来越重要的角色，在各中小学及高校的课堂教学中，对课程的录制效果也提出了更高的要求。
现有的解决方案中，大多数录播系统都只能在简单的场景下实现目标跟踪，对于较复杂的背景和环境，往往需要人工干预控制，才能实现录播，生成教学课件，因此其自动化录播效果不好，为保证课程录制的整个过程能自动完成定位、跟踪和拍摄，需要主讲人在上课时佩戴专用设备(例如红外发射器)，给主讲人带来不适应感，其跟踪和拍摄效果不好；系统在对数据的处理过程中，复杂度较高，处理速度较缓慢，影响课程的录制效果。此外，基于红外技术的录播系统易受太阳光、热光源等因素的干扰，基于超声波技术的录播系统如果长期使用对健康有损害。
因此，如何解决现有技术中录播系统存在的数据处理较为复杂、跟踪拍摄效果不好、录播不够自动化的问题，一直以来都是本领域技术人员关注的重点。
发明内容
本发明的目的在于提供一种主讲人跟踪方法及系统，以解决现有技术中存在的数据处理较为复杂、跟踪拍摄效果不好、录播不够自动化的问题。
为了实现上述目的，本发明实施例采用的技术方案如下：
第一方面，本发明实施例提出一种主讲人跟踪方法。所述主讲人跟踪方法包括获取主讲人定位摄像机拍摄的主讲人视频图像及板书定位摄像机拍摄的板书视频图像；对所述主讲人视频图像以及所述板书视频图像分别进行运动目标检测以获取所述主讲人视频图像中的运动目标和所述板书视频图像中的运动目标；计算所述主讲人视频图像中的运动目标的位置信息及所述板书视频图像中的运动目标的位置信息；对所述板书视频图像中的运动目标进行肤色检测，以生成检测结果；依据所述主讲人视频图像中的运动目标的位置信息、所述板书视频图像中的运动目标的位置信息以及所述检测结果确定所述主讲人的跟踪策略。
第二方面，本发明实施例还提出一种主讲人跟踪系统。所述主讲人跟踪系统包括视频图像获取模块、目标检测模块、位置信息计算模块、肤色检测模块、跟踪策略确定模块。其中，所述视频图像获取模块用于获取主讲人定位摄像机拍摄的主讲人视频图像及板书定位摄像机拍摄的板书视频图像；所述目标检测模块用于对所述主讲人视频图像以及所述板书视频图像分别进行运动目标检测以获取所述主讲人视频图像中的运动目标和所述板书视频图像中的运动目标；所述位置信息计算模块用于计算所述主讲人视频图像中的运动目标的位置信息及所述板书视频图像中的运动目标的位置信息；所述肤色检测模块用于对所述板书视频图像中的运动目标进行肤色检测，以生成检测结果；所述跟踪策略确定模块用于依据所述主讲人视频图像中的运动目标的位置信息、所述板书视频图像中的运动目标的位置信息以及所述检测结果确定所述主讲人的跟踪策略。
相对现有技术，本发明具有以下有益效果：本发明提供的主讲人跟踪方法及系统，通过获取主讲人定位摄像机拍摄的主讲人视频图像及板书定位摄像机拍摄的板书视频图像，对所述主讲人视频图像以及所述板书视频图像分别进行运动目标检测以获取所述主讲人视频图像中的运动目标和所述板书视频图像中的运动目标，并计算所述主讲人视频图像中的运动目标的位置信息及所述板书视频图像中的运动目标的位置信息，对所述板书视频图像中检测到的运动目标进行肤色检测，以生成检测结果，最后依据所述主讲人视频图像中的运动目标的位置信息、所述板书视频图像中的运动目标的位置信息以及所述检测结果确定所述主讲人的跟踪策略。本发明实施例提供的主讲人跟踪方法及系统数据处理快，能自动对主讲人进行定位、跟踪和拍摄，具有较好的跟踪拍摄效果。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例的应用环境图。
图2示出了本发明实施例所提供的用户终端的方框示意图。
图3示出了本发明第一实施例所提供的主讲人跟踪系统的结构框图。
图4示出了图3中目标检测模块的功能模块图。
图5示出了本发明第二实施例所提供的主讲人跟踪方法的流程示意图。
图6示出了图5中步骤S102的具体流程示意图。
图标：100-用户终端；200-主讲人定位摄像机；300-板书定位摄像机；400-主讲人跟踪摄像机；500-板书跟踪摄像机；600-主讲人跟踪系统；110-存储器；120-存储控制器；130-处理器；140-外设接口；150-显示单元；160-输入输出单元；610-视频图像获取模块；620-目标检测模块；630-位置信息计算模块；640-肤色检测模块；650-跟踪策略确定模块；660-调节模块；621-背景模型建立模块；622-运动目标分离模块。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
本发明下述各实施例如无特别说明均可应用于如图1所示的环境中。如图1所示，主讲人定位摄像机200、板书定位摄像机300、主讲人跟踪摄像机400及板书跟踪摄像机500均与用户终端100连接。
所述主讲人定位摄像机200及所述板书定位摄像机300分别用于采集视频图像，所述用户终端100通过对所述主讲人定位摄像机200及所述板书定位摄像机300采集的视频图像进行分析处理后，控制所述主讲人跟踪摄像机400及板书跟踪摄像机500实现对主讲人的跟踪拍摄。在本实施例中，该用户终端100可以是但不限于智能教学终端、录播系统等设备，该用户终端100能自动对主讲人进行定位、跟踪和拍摄，完成课程的录制并生成课件文件，无需人工干预，用户体验较好。
如图2所示，是本发明实施例所提供的用户终端100的方框示意图。在本实施例中，该用户终端100包括存储器110、存储控制器120、处理器130、外设接口140、显示单元150及输入输出单元160。
该存储器110、存储控制器120、处理器130、外设接口140、显示单元150及输入输出单元160各元件之间直接或间接地电性连接，以实现数据的传输或者交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。在本实施例中，主讲人跟踪系统600包括至少一个可以软件或固件(firmware)的形式存储于该存储器110中或固化在该用户终端100的操作系统(operating system，OS)中的软件功能模块。该处理器130用于执行该存储器110中存储的可执行模块，例如该主讲人跟踪系统600所包括的软件功能模块及计算机程序等。
其中，该存储器110可以是但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。存储器110可用于存储软件程序以及模块，如本发明实施例中的主讲人跟踪方法，处理器130用于在接收到执行指令后，执行该程序。该处理器130以及其他可能的组件对存储器110的访问可在存储控制器120的控制下进行。
该处理器130可能是一种集成电路芯片，具有信号处理能力。该处理器130可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(DSP))、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
该外设接口140将各种输入/输出装置(例如输入输出单元160、显示单元150)耦合至该处理器130以及该存储器110。在一些实施例中，外设接口140、处理器130以及存储控制器120可以在单个芯片中实现。在其他一些实例中，它们可以分别由独立的芯片实现。
该显示单元150用于提供一个交互界面或者用于显示图像数据。
该输入输出单元160用于实现用户与该用户终端100的交互。在本实施例中，该输入输出单元160可以是但不限于鼠标、键盘等。
可以理解，图2所示的结构仅为示意，该用户终端100还可包括比图2中所示更多或者更少的组件，或者具有与图2所示不同的配置。图2中所示的各组件可以采用硬件、软件或其组合实现。
第一实施例
请参照图3，为本发明第一实施例所提供的主讲人跟踪系统600的结构框图。所述主讲人跟踪系统600包括视频图像获取模块610、目标检测模块620、位置信息计算模块630、肤色检测模块640及跟踪策略确定模块650。
所述视频图像获取模块610用于获取主讲人定位摄像机200拍摄的主讲人视频图像及板书定位摄像机300拍摄的板书视频图像。
在本实施例中，可将主讲人定位摄像机200及板书定位摄像机300分别设置在教室的预定位置进行拍摄，所述主讲人定位摄像机200用于拍摄主讲人视频图像以便对主讲人进行定位，所述板书定位摄像机300用于拍摄板书视频图像以便确定主讲人是否在进行板书。
所述目标检测模块620用于对所述主讲人视频图像以及所述板书视频图像分别进行运动目标检测以获取所述主讲人视频图像中的运动目标和所述板书视频图像中的运动目标。
在本实施例中，所述主讲人视频图像中的运动目标可以理解为该主讲人，或者进入主讲人定位摄像机200拍摄区域的其他活动目标(例如，走上讲台的学生等)，所述板书视频图像中的运动目标可以理解为在进行板书的手，但不仅限于此。
如图4所示，在本实施例中，所述目标检测模块620可包括背景模型建立模块621及运动目标分离模块622。
所述背景模型建立模块621用于对获取的所述主讲人视频图像以及所述板书视频图像采用混合高斯模型算法分别建立背景模型。
在本实施例中，建立背景模型的过程具体可包括：
(1)模型建立过程：根据获取的主讲人视频图像及板书视频图像，对图像中的每个像素点建立一个由k个高斯模型混合而成的混合高斯模型，优选地，k为大于或等于2的整数。
(2)模型更新过程：在获取新一帧视频图像后，将当前视频图像中的每个像素点的像素值Xt与k个高斯模型进行比较，当该像素值Xt与一个高斯模型的均值偏差在2.5倍标准差范围内时，该像素点匹配该高斯模型，然后对每个高斯模型的权重值ωk,t按照如下公式更新：ωk,t＝(1-α)ωk,t-1+αMk,t，其中，α是学习效率，取值在0～1之间，对于与当前像素点匹配的高斯模型，Mk,t＝1，否则Mk,t＝0；同时对与当前像素点匹配的高斯模型的参数按照如下公式更新：
其中，ρ为学习率，t表示当前视频图像的时刻，k表示与当前像素点匹配的第k个高斯模型，μt表示高斯模型的均值，σt表示高斯模型的标准差；对于与当前像素带点不匹配的高斯模型，其均值μt与标准差σt不变。如果当前像素点与k个高斯模型都不匹配，则用一个新的高斯模型取代k个高斯模型中权重值最小的那个高斯模型，新的高斯模型的均值即为当前像素点的像素值，同时为该像素点分配一个较大的标准差和较小的权重值。对于图像中的每一个像素点，根据权重值与标准差的比值ω/σ的大小将k个高斯模型进行降序排列，选取前B个高斯模型作为背景，其中B满足：
T表示背景模型占所有高斯模型的最小比例阈值，b是第b个高斯模型。需要说明的是，主讲人视频图像及板书视频图像均通过上述过程实现背景模型的建立。
所述运动目标分离模块622用于依据分别建立的所述背景模型分离出所述主讲人视频图像中以及所述板书视频图像中的运动目标。
在本实施例中，对于所述主讲人视频图像中的一个像素点，若在上述排序后的B个高斯模型中，至少有一个高斯模型与该像素点匹配，则该运动目标分离模块622判定该像素点为背景像素，否则判定其为前景像素(即运动目标)，由此实现主讲人视频图像中运动目标与背景的分离，提取出主讲人视频图像中的运动目标。同理，所述运动目标分离模块622采用上述方式实现所述板书视频图像中运动目标与背景的分离，提取出板书视频图像中的运动目标。在本实施例中，当分离出运动目标后，还需要对分离出的运动目标低通滤波，再进行开运算和闭运算，以消除噪声带来的误差，使检测结果更精确。
可以理解，在本实施例中，当主讲人未进行板书时，则所述目标检测模块620在板书视频图像中不会检测到运动目标，以及当主讲人走出主讲人定位摄像机200的拍摄区域(例如讲台区域)时，则所述目标检测模块620在主讲人视频图像中也不会检测到运动目标。
所述位置信息计算模块630用于计算所述主讲人视频图像中的运动目标的位置信息及所述板书视频图像中的运动目标的位置信息。
在本实施例中，当所述目标检测模块620检测并分离出所述主讲人视频图像中及所述板书视频图像中的运动目标后，所述位置信息计算模块630分别对主讲人视频图像的运动目标在主讲人视频图像中的位置及板书视频图像的运动目标在板书视频图像中的位置进行计算。
所述肤色检测模块640用于对所述板书视频图像中的运动目标进行肤色检测，以生成检测结果。
在本实施例中，当所述目标检测模块620在板书视频图像中检测到运动目标时，需要对该运动目标进行肤色检测以判断该运动目标是否具有皮肤颜色。具体地，当肤色检测模块640判断该运动目标具有皮肤颜色时，该运动目标通过肤色检测，表明有人在板书，当该运动目标没有通过肤色检测时，则表明没有人在板书。
所述跟踪策略确定模块650用于依据所述主讲人视频图像中的运动目标的位置信息、所述板书视频图像中的运动目标的位置信息以及所述检测结果确定所述主讲人的跟踪策略。
在本实施例中，所述跟踪策略确定模块650用于当所述板书视频图像中检测到的运动目标通过所述肤色检测时，依据所述板书视频图像中的运动目标的位置信息，以及预先设置的所述板书定位摄像机300与板书跟踪摄像机500之间的位置映射关系控制所述板书跟踪摄像机500跟踪拍摄。
在本实施例中，预先设置所述板书定位摄像机300与板书跟踪摄像机500之间的位置映射关系时，将板书定位摄像机300保持不动，在板书定位摄像机300的拍摄画面中选定多个位置(x1、x2、x3…)，然后将板书跟踪摄像机500拍摄的图像中心分别对准选定的多个位置(x1、x2、x3…)，同时获取板书跟踪摄像机500在现实空间中对应的朝向(y1、y2、y3…)，根据(x1、x2、x3…)及(y1、y2、y3…)，利用线性拟合得到板书定位摄像机300与板书跟踪摄像机500之间的位置映射关系。具体地，当检测到主讲人的手出现在板书定位摄像机300拍摄的板书视频图像中，所述跟踪策略确定模块650立即控制板书跟踪摄像机500进行拍摄，根据所述板书视频图像中的运动目标的位置信息不断调整板书跟踪摄像机500的朝向进行拍摄以确保拍摄的画面连续、稳定、平滑。
在本实施例中，所述跟踪策略确定模块650用于当所述板书视频图像中检测到的运动目标未通过所述肤色检测，或在所述板书视频图像中未检测到所述运动目标时，依据所述主讲人视频图像中的运动目标的位置信息以及预先设置的所述主讲人定位摄像机200与主讲人跟踪摄像机400之间的位置映射关系控制所述主讲人跟踪摄像机400跟踪拍摄。
在本实施例中，预先设置所述主讲人定位摄像机200与主讲人跟踪摄像机400之间的位置映射关系时，将主讲人定位摄像机200保持不动，在主讲人定位摄像机200的拍摄画面中选定多个位置(m1、m2、m3…)，然后将主讲人跟踪摄像机400拍摄的图像中心分别对准选定的多个位置(m1、m2、m3…)，同时获取主讲人跟踪摄像机400在现实空间中对应的朝向(k1、k2、k3…)，根据(m1、m2、m3…)及(k1、k2、k3…)，利用线性拟合得到所述主讲人定位摄像机200与主讲人跟踪摄像机400之间的位置映射关系。具体地，当主讲人未进行板书时，所述跟踪策略确定模块650控制主讲人跟踪摄像机400进行拍摄，根据所述主讲人视频图像中的运动目标的位置信息不断调整主讲人跟踪摄像机400的朝向进行拍摄以确保拍摄的画面连续、稳定、平滑。
需要说明的是，在本实施例中，所述跟踪策略确定模块650在控制主讲人跟踪摄像机400进行跟踪拍摄时，可根据预先设定的规则对主讲人进行近景和全景拍摄。例如，当主讲人在讲台上走动时，所述跟踪策略确定模块650可控制主讲人跟踪摄像机400自动调焦对主讲人进行近景拍摄；当讲台上出现多个运动目标或者主讲人走下讲台到学生区域，所述跟踪策略确定模块650可控制主讲人跟踪摄像机400对主讲人进行全景拍摄，其中全景的大小、方位可根据实际的需要进行设置。
可以理解，所述跟踪策略确定模块650根据主讲人授课的不同状态，控制主讲人跟踪摄像机400与板书跟踪摄像机500进行跟踪拍摄，实现主讲人的近景、全景以及主讲人板书三种景别拍摄的自动切换，可充分展现主讲人在授课过程中的每一个细节。
进一步地，所述主讲人跟踪系统600还可包括调节模块660，所述调节模块660用于对所述主讲人跟踪摄像机400拍摄的视频图像进行人脸识别以调节所述主讲人跟踪摄像机400的拍摄角度。
在本实施例中，所述跟踪策略确定模块650控制主讲人跟踪摄像机400进行拍摄时，所述调节模块660采用人脸识别技术，自动识别主讲人身位高低，自动调整主讲人在整个视频图像中的位置，以确保主讲人跟踪摄像机400拍摄主讲人的景位大小适中。优选地，所述调节模块660主要是主讲人跟踪摄像机400采用近景拍摄时开始自动调整。具体地，调节模块660通过控制主讲人跟踪摄像机400左右转动或上下移动来调整主讲人在特写镜头中的位置。
第二实施例
请参照图5，为本发明第二实施例所提供的主讲人跟踪方法的流程示意图。需要说明的是，本发明所述的主讲人跟踪方法并不以图5以及以下所述的具体顺序为限制，其基本原理及产生的技术效果与第一实施例相同，为简要描述，本实施例中未提及部分，可参考第一实施例中的相应内容。应当理解，在其它实施例中，本发明所述的主讲人跟踪方法其中部分步骤的顺序可以根据实际需要相互交换，或者其中的部分步骤也可以省略或删除。下面将对图5所示的具体流程进行详细阐述。
步骤S101，获取主讲人定位摄像机200拍摄的主讲人视频图像及板书定位摄像机300拍摄的板书视频图像。
可以理解，该步骤S101可以由上述的视频图像获取模块610执行。
步骤S102，对所述主讲人视频图像以及所述板书视频图像分别进行运动目标检测以获取所述主讲人视频图像中的运动目标和所述板书视频图像中的运动目标。
可以理解，该步骤S102可以由上述的目标检测模块620执行。
如图6所示，在本实施例中，所述步骤S102可包括如下子步骤：
子步骤S1021，对获取的所述主讲人视频图像以及所述板书视频图像采用混合高斯模型算法分别建立背景模型。
可以理解，该步骤S1021可以由上述的背景模型建立模块621执行。
子步骤S1022，依据分别建立的所述背景模型分离出所述主讲人视频图像中以及所述板书视频图像中的运动目标。
可以理解，该步骤S1022可以由上述的运动目标分离模块622执行。
步骤S103，计算所述主讲人视频图像中的运动目标的位置信息及所述板书视频图像中的运动目标的位置信息。
可以理解，该步骤S103可以由上述的位置信息计算模块630执行。
步骤S104，对所述板书视频图像中的运动目标进行肤色检测，以生成检测结果。
可以理解，该步骤S104可以由上述的肤色检测模块640执行。
步骤S105，依据所述主讲人视频图像中的运动目标的位置信息、所述板书视频图像中的运动目标的位置信息以及所述检测结果确定所述主讲人的跟踪策略。
可以理解，该步骤S105可以由上述的跟踪策略确定模块650执行。
进一步地，所述主讲人跟踪方法还可包括：
步骤S106，对所述主讲人跟踪摄像机400拍摄的视频图像进行人脸识别以调节所述主讲人跟踪摄像机400的拍摄角度。
可以理解，该步骤S106可以由上述的调节模块660执行。
综上所述，本发明实施例所提供的主讲人跟踪方法及系统，通过获取主讲人定位摄像机拍摄的主讲人视频图像及板书定位摄像机拍摄的板书视频图像，对所述主讲人视频图像以及所述板书视频图像分别进行运动目标检测以获取所述主讲人视频图像中的运动目标和所述板书视频图像中的运动目标，并对检测出的所述主讲人视频图像中的运动目标的位置信息及所述板书视频图像中的运动目标的位置信息进行计算。当所述板书视频图像中检测到运动目标时对该运动目标进行肤色检测，以生成检测结果，依据所述主讲人视频图像中的运动目标的位置信息、所述板书视频图像中的运动目标的位置信息以及所述检测结果确定所述主讲人的跟踪策略。当所述板书视频图像中检测到的运动目标通过所述肤色检测时，依据所述板书视频图像中的运动目标的位置信息，以及预先设置的所述板书定位摄像机与板书跟踪摄像机之间的位置映射关系控制所述板书跟踪摄像机跟踪拍摄。当所述板书视频图像中检测到的运动目标未通过所述肤色检测，或在所述板书视频图像中未检测到所述运动目标时，依据所述主讲人视频图像中的运动目标的位置信息以及预先设置的所述主讲人定位摄像机与主讲人跟踪摄像机之间的位置映射关系控制所述主讲人跟踪摄像机跟踪拍摄，并对所述主讲人跟踪摄像机拍摄的视频图像进行人脸识别以调节所述主讲人跟踪摄像机的拍摄角度以确保主讲人的拍摄景位大小适中。本发明实施例提供的主讲人跟踪方法及系统，在对主讲人的跟踪拍摄过程中，无需人工干预即可自动完成拍摄，因采用了变速技术即使运动目标快速移动也可以实现加速跟踪，跟踪过程不受运动目标移动速度的影响；采用轻量级、速度快的算法，数据处理快，能自动对主讲人进行定位、跟踪和拍摄，具有较好的跟踪拍摄效果；抗干扰能力强，不受声音、电磁波、红外线、光线等外在的环境影响；并且在实际的应用中程序运行所需要的很多参数已经预先设置好，无需用户手动输入，便于用户使用。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
Claims (6)
1.一种主讲人跟踪方法，其特征在于，所述主讲人跟踪方法包括：
获取主讲人定位摄像机拍摄的主讲人视频图像及板书定位摄像机拍摄的板书视频图像；
对所述主讲人视频图像以及所述板书视频图像分别进行运动目标检测以获取所述主讲人视频图像中的运动目标和所述板书视频图像中的运动目标；
计算所述主讲人视频图像中的运动目标的位置信息及所述板书视频图像中的运动目标的位置信息；
对所述板书视频图像中的运动目标进行肤色检测，以生成检测结果；
当所述板书视频图像中检测到的运动目标通过所述肤色检测时，依据所述板书视频图像中的运动目标的位置信息，以及预先设置的所述板书定位摄像机与板书跟踪摄像机之间的位置映射关系控制所述板书跟踪摄像机跟踪拍摄；
当所述板书视频图像中检测到的运动目标未通过所述肤色检测，或在所述板书视频图像中未检测到所述运动目标时，依据所述主讲人视频图像中的运动目标的位置信息以及预先设置的所述主讲人定位摄像机与主讲人跟踪摄像机之间的位置映射关系控制所述主讲人跟踪摄像机跟踪拍摄。
2.如权利要求1所述的主讲人跟踪方法，其特征在于，所述主讲人跟踪方法还包括：
对所述主讲人跟踪摄像机拍摄的视频图像进行人脸识别以调节所述主讲人跟踪摄像机的拍摄角度。
3.如权利要求1所述的主讲人跟踪方法，其特征在于，所述对所述主讲人视频图像以及所述板书视频图像分别进行运动目标检测以获取所述主讲人视频图像中的运动目标和所述板书视频图像中的运动目标的步骤包括：
对获取的所述主讲人视频图像以及所述板书视频图像采用混合高斯模型算法分别建立背景模型；
依据分别建立的所述背景模型分离出所述主讲人视频图像中以及所述板书视频图像中的运动目标。
4.一种主讲人跟踪系统，其特征在于，所述主讲人跟踪系统包括：
视频图像获取模块，用于获取主讲人定位摄像机拍摄的主讲人视频图像及板书定位摄像机拍摄的板书视频图像；
目标检测模块，用于对所述主讲人视频图像以及所述板书视频图像分别进行运动目标检测以获取所述主讲人视频图像中的运动目标和所述板书视频图像中的运动目标；
位置信息计算模块，用于计算所述主讲人视频图像中的运动目标的位置信息及所述板书视频图像中的运动目标的位置信息；
肤色检测模块，用于对所述板书视频图像中的运动目标进行肤色检测，以生成检测结果；
跟踪策略确定模块，用于当所述板书视频图像中检测到的运动目标通过所述肤色检测时，依据所述板书视频图像中的运动目标的位置信息，以及预先设置的所述板书定位摄像机与板书跟踪摄像机之间的位置映射关系控制所述板书跟踪摄像机跟踪拍摄；当所述板书视频图像中检测到的运动目标未通过所述肤色检测，或在所述板书视频图像中未检测到所述运动目标时，依据所述主讲人视频图像中的运动目标的位置信息以及预先设置的所述主讲人定位摄像机与主讲人跟踪摄像机之间的位置映射关系控制所述主讲人跟踪摄像机跟踪拍摄。
5.如权利要求4所述的主讲人跟踪系统，其特征在于，所述主讲人跟踪系统还包括：
调节模块，用于对所述主讲人跟踪摄像机拍摄的视频图像进行人脸识别以调节所述主讲人跟踪摄像机的拍摄角度。
6.如权利要求4所述的主讲人跟踪系统，其特征在于，所述目标检测模块包括：
背景模型建立模块，用于对获取的所述主讲人视频图像以及所述板书视频图像采用混合高斯模型算法分别建立背景模型；
运动目标分离模块，用于依据分别建立的所述背景模型分离出所述主讲人视频图像中以及所述板书视频图像中的运动目标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710649997.7A CN107452018B (zh) | 2017-08-02 | 2017-08-02 | 主讲人跟踪方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710649997.7A CN107452018B (zh) | 2017-08-02 | 2017-08-02 | 主讲人跟踪方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107452018A CN107452018A (zh) | 2017-12-08 |
| CN107452018B true CN107452018B (zh) | 2020-04-07 |
Family
ID=60489358
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710649997.7A Active CN107452018B (zh) | 2017-08-02 | 2017-08-02 | 主讲人跟踪方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107452018B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110866473B (zh) * | 2019-11-04 | 2022-11-18 | 浙江大华技术股份有限公司 | 目标对象的跟踪检测方法及装置、存储介质、电子装置 |
| CN111008969B (zh) * | 2019-12-06 | 2023-07-18 | 浙江蓝鸽科技有限公司 | 黑板板书提取与智能识别方法及系统 |
| CN111225145A (zh) * | 2020-01-13 | 2020-06-02 | 北京中庆现代技术股份有限公司 | 一种实时图像探测分析与跟踪方法 |
| CN112689092A (zh) * | 2020-12-23 | 2021-04-20 | 广州市迪士普音响科技有限公司 | 一种自动跟踪的会议录播方法、系统、装置及存储介质 |
| CN113572965B (zh) * | 2021-08-06 | 2023-04-07 | 广州市奥威亚电子科技有限公司 | 双板书跟踪拍摄方法、装置及拍摄系统 |
| CN114650453B (zh) * | 2022-04-02 | 2023-08-15 | 北京中庆现代技术股份有限公司 | 应用于课堂录播中的目标追踪方法、装置、设备以及介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101287019B1 (ko) * | 2012-01-05 | 2013-07-17 | 순천향대학교 산학협력단 | 판서 내용도 함께 촬영하여 제공하는 판서 기반 강의촬영 시스템 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101699469A (zh) * | 2009-11-09 | 2010-04-28 | 南京邮电大学 | 课堂录像中教师黑板书写动作的自动识别方法 |
| CN103093654B (zh) * | 2013-01-28 | 2014-12-03 | 北京航空航天大学 | 一种双摄像机交互式智能跟踪教学系统 |
| JP5506989B1 (ja) * | 2013-07-11 | 2014-05-28 | パナソニック株式会社 | 追跡支援装置、追跡支援システムおよび追跡支援方法 |
| CN105611237A (zh) * | 2015-12-22 | 2016-05-25 | 杭州凡龙科技有限公司 | 一种教学录播用双摄像头模拟五摄像头的方法 |
| CN106982357A (zh) * | 2017-04-11 | 2017-07-25 | 广州市奥威亚电子科技有限公司 | 一种基于分布云的智能拍摄系统 |
| CN106993113A (zh) * | 2017-04-20 | 2017-07-28 | 安徽喜悦信息科技有限公司 | 一种基于互联网的教学录播系统及方法 |
-
2017
- 2017-08-02 CN CN201710649997.7A patent/CN107452018B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101287019B1 (ko) * | 2012-01-05 | 2013-07-17 | 순천향대학교 산학협력단 | 판서 내용도 함께 촬영하여 제공하는 판서 기반 강의촬영 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107452018A (zh) | 2017-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107452018B (zh) | 主讲人跟踪方法及系统 | |
| CN109345556B (zh) | 用于混合现实的神经网络前景分离 | |
| CN109284737A (zh) | 一种用于智慧教室的学生行为分析和识别系统 | |
| CN105844256A (zh) | 一种全景视频帧图像处理方法和装置 | |
| US20180262660A1 (en) | Method and system for mimicking human camera operation | |
| CN111144356B (zh) | 一种远程教学的教师视线跟随方法及装置 | |
| CN103581614A (zh) | 基于ptz的视频中目标跟踪方法及系统 | |
| CN109284735B (zh) | 鼠情监控方法、装置及存储介质 | |
| CN109583355B (zh) | 一种基于边界选择的人流统计的装置和方法 | |
| Gao et al. | Non-goal scene analysis for soccer video | |
| CN111260687B (zh) | 一种基于语义感知网络和相关滤波的航拍视频目标跟踪方法 | |
| CN113705349A (zh) | 一种基于视线估计神经网络的注意力量化分析方法及系统 | |
| Huang et al. | One-shot imitation drone filming of human motion videos | |
| CN109118512B (zh) | 一种基于机器视觉的课堂迟到早退检测方法 | |
| US11423647B2 (en) | Identification system, model re-learning method and program | |
| González et al. | Single object long-term tracker for smart control of a ptz camera | |
| CN107993252A (zh) | 用户跟踪系统、方法及装置 | |
| CN115460353B (zh) | 教学跟踪摄像设备配置方法、装置、电子设备及介质 | |
| CN114222065B (zh) | 图像处理方法、装置、电子设备、存储介质及程序产品 | |
| Gomes Jr et al. | Augmented visualization using homomorphic filtering and haar-based natural markers for power systems substations | |
| CN112668487B (zh) | 一种基于身体重合度与人体相似性相融合的老师跟踪方法 | |
| Shi et al. | Design of optical sensors based on computer vision in basketball visual simulation system | |
| CN113869123A (zh) | 一种基于人群的事件检测方法及相关装置 | |
| Greco et al. | 360 tracking using a virtual PTZ camera | |
| CN111126279B (zh) | 一种手势互动方法及手势互动装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Speaker tracking method and system Effective date of registration: 20230203 Granted publication date: 20200407 Pledgee: Zhongguancun Beijing technology financing Company limited by guarantee Pledgor: BEIJING POWERCREATOR INFORMATION TECHNOLOGY CO.,LTD. Registration number: Y2023990000101 |