CN109688318B - 一种录制教学视频的方法及装置 - Google Patents
一种录制教学视频的方法及装置 Download PDFInfo
- Publication number
- CN109688318B CN109688318B CN201710972508.1A CN201710972508A CN109688318B CN 109688318 B CN109688318 B CN 109688318B CN 201710972508 A CN201710972508 A CN 201710972508A CN 109688318 B CN109688318 B CN 109688318B
- Authority
- CN
- China
- Prior art keywords
- teaching
- point
- picture
- person
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/025—Services making use of location information using location based information parameters
- H04W4/027—Services making use of location information using location based information parameters using movement velocity, acceleration information
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种录制教学视频的方法及装置,属于通信领域。所述方法包括:获取第一摄像头对授课区域拍摄的第一图片、第二摄像头对所述授课区域拍摄的第二图片和第三摄像头对所述授课区域拍摄的第三图片,所述第一摄像头和所述第二摄像头位于所述第三摄像头的左右两侧;根据所述第一图片和所述第二图片确定授课人员的位置;根据所述位置从所述第三图片中提取包括授课人员图像的第一图像区域;根据从所述第三摄像头拍摄的第三图片中提取的第一图像区域,生成第一教学视频。所述装置包括:获取模块、确定模块、提取模块和生成模块。本发明能够实现自动化的教学录播。
Description
技术领域
本发明涉及通信领域,特别涉及一种录制教学视频的方法及装置。
背景技术
随着多媒体信息技术的发展,课堂教学手段也在发生着变化,越来越多的学校和教学培训机构等对多媒体教学过程进行录制,作为教学观摩、示范教学视频使用,同时将录制的教学视频通过网络传播,作为在线教学的一种新的方式,以满足越来越多的在线学习需求。
传统的教学视频录制过程需要投入较多的人力资源,要有专业的拍摄人员对授课人员进行跟踪拍摄,并进行不同画面的切换,以录制得到教学视频。录制完教学视频后可以通过网络传播,以实现在线教学。
在实现本发明的过程中,发明人发现现有技术至少存在以下问题:
传统录制过程需要专业的拍摄人员对授课人员进行跟踪拍摄,自动化程度低,存在许多不便,为此如何实现自动化的教学录播成为迫切需求。
发明内容
为了能够实现自动化的教学录播,本发明提供了一种录制教学视频的方法及装置。所述技术方案如下:
第一方面,本申请实施例提供了一种录制教学视频的方法,所述方法包括:
获取第一摄像头对授课区域拍摄的第一图片、第二摄像头对所述授课区域拍摄的第二图片和第三摄像头对所述授课区域拍摄的第三图片,所述第一摄像头和所述第二摄像头位于所述第三摄像头的左右两侧;
根据所述第一图片和所述第二图片确定授课人员的位置;
根据所述位置从所述第三图片中提取包括授课人员图像的第一图像区域;
根据从所述第三摄像头拍摄的第三图片中提取的第一图像区域,生成第一教学视频。
可选的,所述根据所述第一图片和所述第二图片确定授课人员的位置,包括:
根据所述第一图片和所述第二图片,获取所述授课区域内的对象的三维点云信息,所述对象的三维点云信息包括组成所述对象的每个组成点的三维坐标;
根据所述对象的三维点云信息,从所述对象包括的每个组成点中获取高度峰值点;
根据所述高度峰值点确定所述对象是否为所述授课区域内的人员,如果为所述授课区域内的人员,将所述高度峰值点对应的三维坐标确定为所述人员的当前位置;
根据所述授课区域内的人员的当前位置确定授课人员的位置。
可选的,所述根据所述授课区域内的人员的当前位置确定授课人员的位置,包括:
在所述授课区域内包括的人员数目大于或等于1且小于或等于N时,将所述人员的当前位置确定为授课人员的位置,N为大于或等于1的整数。
可选的,所述根据所述对象的三维点云信息,从所述对象包括的每个组成点中获取高度峰值点,包括:
根据所述对象中的每个组成点的横坐标和纵坐标,将所述每个组成点投影到水平地面形成地面投影图,所述地面投影图中的投影点的像素值与其对应的组成点的高度值成正比关系;
对所述地面投影图中的每个投影点的像素值进行聚类得到像素值峰值;
获取所述像素值峰值对应的投影点,获取所述投影点对应的组成点,并将所述组成点作为高度峰值点。
可选的,所述根据所述高度峰值点确定所述对象是否为所述授课区域内的人员,包括:
确定所述高度峰值点的高度值是否位于人头实际高度范围内;
如果位于所述人头实际高度范围内,则根据所述高度峰值点的三维坐标从目标图片中获取包括所述对象的第二图像区域,所述目标图片为所述第一图片或所述第二图片;
根据所述第二图像区域通过分类器确定所述对象是否为所述授课区域内的人员。
可选的,所述将所述人员的当前位置确定为授课人员的位置之前,还包括:
获取所述人员的移动速度和/或移动轨迹;
所述将所述人员的当前位置确定为授课人员的位置,包括:
在所述移动速度不超过预设阈值和/或所述移动轨迹满足预设条件时,将所述人员的当前位置确定为授课人员的位置。
可选的,所述获取所述人员的移动速度,包括:
获取所述人员的运动轨迹,所述运动轨迹包括连续获得的所述人员对应的N个位置,所述N个位置分别为P1、P2……PN,P1为当前位置,P2至PN为在获得当前位置之前得到的位置,获得位置Pi的时间早于获得位置Pi-1的时间,i=2……N;
根据所述运动轨迹的长度、获得所述当前位置P1的时间和获得所述位置PN的时间计算所述人员的移动速度。
可选的,所述将所述高度峰值点对应的三维坐标确定为所述人员的当前位置之后,还包括:
根据所述当前位置P1和位置P2计算所述当前位置P1和位置P2之间的距离;
在所述距离大于预设距离时,按如下公式计算位置P,将所述当前位置P1更新为所述位置P;
P=P1×λ1+P2×λ2+......+PN×λN
在上述公式中,λ1、λ2……λN分别为预设的权值,且λi小于λi-1。
可选的,所述获取所述人员的移动速度和/或移动轨迹之后,还包括:
根据所述授课区域内的人员数目产生报警信号,向播放设备发送所述报警信号、所述第一教学视频和第二教学视频,使所述播放设备根据所述报警信号,从所述第一教学视频和所述第二教学视频中选择并播放教学视频,所述第二教学视频包括所述第三摄像头拍摄的第三图片。
可选的,所述根据所述授课区域内的人员数目产生报警信号,包括:
当所述授课区域内的人员数目大于或等于1且小于或等于N且每个人员的移动速度不超过预设阈值时产生第一报警信号,N为大于或等于1的整数;
当所述授课区域内无人员时产生第二报警信号;
当所述授课区域内超过N个人员时产生第三报警信号;
当所述授课区域内存在人员移动速度超过预设阈值时,产生第四报警信号。
可选的,所述根据所述位置从所述第三图片中提取包括授课人员图像的第一图像区域,包括:
从所述第三图片中确定所述位置对应的目标像素点;
从所述第三图片中确定包括所述目标像素点且面积为预设数值的矩形区域,并将所述矩形区域作为第一图像区域。
可选的,所述根据所述位置从所述第三图片中提取包括授课人员图像的第一图像区域之后,还包括:
识别所述第一图像区域中的人脸图像,获取当前时间所在的授课时间范围;根据所述授课时间范围,从授课人员人脸图像与授课时间范围的对应关系获取对应的授课人员人脸图像,根据所述人脸图像和所述授课人员人脸图像对授课人员的身份进行验证。
第二方面,本申请实施例提供了一种录制教学视频的装置,其特征在于,所述装置包括:
获取模块,用于获取第一摄像头对授课区域拍摄的第一图片、第二摄像头对所述授课区域拍摄的第二图片和第三摄像头对所述授课区域拍摄的第三图片,所述第一摄像头和所述第二摄像头位于所述第三摄像头的左右两侧;
确定模块,用于根据所述第一图片和所述第二图片确定授课人员的位置;
提取模块,用于根据所述位置从所述第三图片中提取包括授课人员图像的第一图像区域;
生成模块,用于根据从所述第三摄像头拍摄的第三图片中提取的第一图像区域,生成第一教学视频。
可选的,所述确定模块包括:
第一获取单元,用于根据所述第一图片和所述第二图片,获取所述授课区域内的对象的三维点云信息,所述对象的三维点云信息包括组成所述对象的每个组成点的三维坐标;
第二获取单元,用于根据所述对象的三维点云信息,从所述对象包括的每个组成点中获取高度峰值点;
第一确定单元,用于根据所述高度峰值点确定所述对象是否为所述授课区域内的人员,如果为所述授课区域内的人员,将所述高度峰值点对应的三维坐标确定为所述人员的当前位置;
第二确定单元,用于根据所述授课区域内的人员的当前位置确定授课人员的位置。
可选的,所述第二确定单元,用于在所述授课区域内包括的人员数目大于或等于1且小于或等于N时,将所述人员的当前位置确定为授课人员的位置,N为大于或等于1的整数。
可选的,所述第二获取单元,执行所述根据所述对象的三维点云信息,从所述对象包括的每个组成点中获取高度峰值点的操作,包括:
根据所述对象中的每个组成点的横坐标和纵坐标,将所述每个组成点投影到水平地面形成地面投影图,所述地面投影图中的投影点的像素值与其对应的组成点的高度值成正比关系;
对所述地面投影图中的每个投影点的像素值进行聚类得到像素值峰值;
获取所述像素值峰值对应的投影点,获取所述投影点对应的组成点,并将所述组成点作为高度峰值点。
可选的,所述第一确定单元执行所述根据所述高度峰值点确定所述对象是否为所述授课区域内的人员的操作,包括:
确定所述高度峰值点的高度值是否位于人头实际高度范围内;
如果位于所述人头实际高度范围内,则根据所述高度峰值点的三维坐标从目标图片中获取包括所述对象的第二图像区域,所述目标图片为所述第一图片或所述第二图片;
根据所述第二图像区域通过分类器确定所述对象是否为所述授课区域内的人员。
可选的,所述获取模块,还用于:
获取所述人员的移动速度和/或移动轨迹;
所述第二确定单元执行将所述人员的当前位置确定为授课人员的位置的操作,包括:
在所述移动速度不超过预设阈值和/或所述移动轨迹满足预设条件时,将所述人员的当前位置确定为授课人员的位置。
可选的,所述获取模块包括:
第三获取单元,用于获取所述人员的运动轨迹,所述运动轨迹包括连续获得的所述人员对应的N个位置,所述N个位置分别为P1、P2……PN,P1为当前位置,P2至PN为在获得当前位置之前得到的位置,获得位置Pi的时间早于获得位置Pi-1的时间,i=2……N;
计算单元,用于根据所述运动轨迹的长度、获得所述当前位置P1的时间和获得所述位置PN的时间计算所述人员的移动速度。
可选的,所述装置还包括:
计算模块,用于根据所述当前位置P1和位置P2计算所述当前位置P1和位置P2之间的距离;在所述距离大于预设距离时,按如下公式计算位置P,将所述当前位置P1更新为所述位置P;
P=P1×λ1+P2×λ2+......+PN×λN
在上述公式中,λ1、λ2……λN分别为预设的权值,且λi小于λi-1。
可选的,所述装置还包括:
产生发送模块,用于根据所述授课区域内的人员数目产生报警信号,向播放设备发送所述报警信号、所述第一教学视频和第二教学视频,使所述播放设备根据所述报警信号,从所述第一教学视频和所述第二教学视频中选择并播放教学视频,所述第二教学视频包括所述第三摄像头拍摄的第三图片。
可选的,所述产生发送模块包括:
第一产生单元,用于当所述授课区域内的人员数目大于或等于1且小于或等于N且每个人员的移动速度不超过预设阈值时产生第一报警信号,N为大于或等于1的整数;
第二产生单元,用于当所述授课区域内无人员时产生第二报警信号;
第三产生单元,用于当所述授课区域内超过N个人员时产生第三报警信号;
第四产生单元,用于当所述授课区域内存在人员移动速度超过预设阈值时,产生第四报警信号。
可选的,所述提取模块包括:
第三确定单元,用于从所述第三图片中确定所述位置对应的目标像素点;
第四确定单元,用于从所述第三图片中确定包括所述目标像素点且面积为预设数值的矩形区域,并将所述矩形区域作为第一图像区域。
可选的,所述装置还包括:
验证模块,用于识别所述第一图像区域中的人脸图像,获取当前时间所在的授课时间范围;根据所述授课时间范围,从授课人员人脸图像与授课时间范围的对应关系获取对应的授课人员人脸图像,根据所述人脸图像和所述授课人员人脸图像对授课人员的身份进行验证。
第三方面,本申请实施例提供了一种录制教学视频的设备,所述设备包括:
处理器、第一摄像头、第二摄像头、第三摄像头和用于存储所述处理器的可执行指令的存储器;
所述处理器分别与所述第一摄像头、所述第二摄像头、所述第三摄像头和所述存储器连接;
其中,所述可执行指令由所述处理器加载并执行,以实现所述第一方面提供的所述的录制教学视频的方法。
本发明提供的技术方案的有益效果是:
通过第一摄像头对授课区域拍摄的第一图片、第二摄像头对授课区域拍摄的第二图片和第三摄像头对授课区域拍摄的第三图片,根据第一图片和第二图片确定授课人员的位置,根据该位置从第三图片中提取包括授课人员图像的第一图像区域,如此可以自动对授课人员进行跟踪拍摄得到教学视频,实现自动化的教学录播。
附图说明
图1是本发明实施例1提供的一种录制教学视频的设备的结构示意图;
图2是本发明实施例2提供的一种录制教学视频的方法流程图;
图3-1是本发明实施例3提供的一种录制教学视频的方法流程图;
图3-2是本发明实施例3提供的目标图片示意图;
图3-3是本发明实施例3提供的第三图片示意图;
图3-4是本发明实施例3提供的第一图像区域的示意图;
图4是本发明实施例4提供的一种录制教学视频的装置结构示意图;
图5是本发明实施例5提供的一种录制教学视频的装置结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
实施例1
参见图1,本发明实施例提供了一种录制教学视频的设备,该设备可以为三目摄像设备等,该设备包括第一摄像头11、第二摄像头12和第三摄像头13,第一摄像头11和第二摄像头12位于第三摄像头13的左右两侧。
第三摄像头13可以为高清摄像头。
该三目摄像设备可以壁装在房间的墙壁上或吸装在房间的房顶上。该房间可以包括授课区域,该三目摄像设备包括的第一摄像头11、第二摄像头12和第三摄像头13可以对该授课区域进行拍摄。
第一摄像头11可以对该授课区域进行实时拍摄得到一张张的第一图片,第二摄像头12可以对该授课区域进行实时拍摄得到一张张的第二图片,第三摄像头13可以对该授课区域进行实时拍摄得到一张张高清的第三图片。
该三目摄像设备处理器和存储器(图中未画出),该存储器用于存储该处理器的可执行指令。该处理器分别与第一摄像头11、第二摄像头12、第三摄像头13和该存储器连接。
在本实施例中,该处理器通过加载并执行该存储器中的可执行指令,可以获取第一摄像头11拍摄的第一图片,第二摄像头12拍摄的第二图片和第三摄像头13拍摄的第三图片,根据第一图片和第二图片确定授课区域内授课人员的位置,根据该位置从该第三图片中提取包括授课人员图像的第一图像区域。最后将每次提取的第一图像区域组成教学视频。
其中,关于上述得到第一图像区域和教学视频的详细过程,可以通过如下任一实施例来实现,在此不再详细说明。
实施例2
参见图2,本发明实施例提供了一种录制教学视频的方法,所述方法包括:
步骤201:获取第一摄像头对授课区域拍摄的第一图片、第二摄像头对授课区域拍摄的第二图片和第三摄像头对授课区域拍摄的第三图片,第一摄像头和第二摄像头位于第三摄像头的左右两侧。
步骤202:根据第一图片和第二图片确定授课人员的位置。
步骤203:根据该位置从第三图片中提取包括授课人员图像的第一图像区域。
步骤204:根据从第三摄像头拍摄的第三图片中提取的第一图像区域,生成第一教学视频。
在本发明实施例中,通过第一摄像头对授课区域拍摄的第一图片、第二摄像头对授课区域拍摄的第二图片和第三摄像头对授课区域拍摄的第三图片,根据第一图片和第二图片确定授课人员的位置,根据该位置从第三图片中提取包括授课人员图像的第一图像区域,如此可以自动对授课人员进行跟踪拍摄得到第一教学视频,实现自动化的教学录播。
实施例3
参见图3-1,本发明实施例提供了一种录制教学视频的方法,该应用可以应用于实施例1所示的三目摄像设备中,包括:
步骤301:获取第一摄像头对授课区域拍摄的第一图片、第二摄像头对该授课区域拍摄的第二图片和第三摄像头对该授课区域拍摄的第三图片,第一摄像头和第二摄像头位于第三摄像头的左右两侧。
第一摄像头和第二摄像头实时对授课区域进行拍摄得到第一图片和第二图片。第三摄像头为高清摄像头,实时对授课区域进行拍摄得到高清的第三图片。
在本步骤中,当第一摄像头拍摄得到第一图片,第二摄像头拍摄得到第二图片以及第三摄像头拍摄得到第三图片时,获取第一摄像头拍摄的第一图片、第二摄像头拍摄的第二图片和第三摄像头拍摄的第三图片。
每次获取的第一图片对应的拍摄时间、第二图片对应的拍摄时间和第三图片对应的拍摄时间均相等或者该三个拍摄时间中的任意两个拍摄时间之间的时间差值小于预设差值阈值。
预设差值阈值较小,通常只有几毫秒,例如预设差值阈值可以为5毫秒、6毫秒或7毫秒等。
步骤302:根据第一图片和第二图片,获取该授课区域内的对象的三维点云信息,该对象的三维点云信息包括组成该对象的每个组成点的三维坐标。
授课区域内往往包括课桌、椅子、授课人员或除授课人员以外的其他人员等对象。在本步骤中,可以根据第一摄像头的镜头畸变系数和第二摄像头的镜头畸变系数对第一图片和第二图片进行计算,得到一张深度图;根据该深度图、第一摄像头的镜头焦距、第二摄像头的镜头焦距、第一摄像头与第二摄像头之间的距离、该三目摄像设备的安装高度、俯仰角和倾斜角,计算该深度图中的组成每个对象的组成点的三维坐标,得到每个对象的三维点云信息。
对于每个组成点,该组成点的三维坐标包括该组成点的横坐标、纵坐标和高度值。
步骤303:对于该授课区域内的任一个对象,根据该对象的三维点云信息,从该对象包括的每个组成点中获取高度峰值点。
高度峰值点通常是该对象包括的组成点中高度值最大的组成点。本步骤可以通过如下几个步骤来实现,包括:
3031:根据该对象中的每个组成点的横坐标和纵坐标,将该每个组成点投影到水平地面上形成地面投影图,该地面投影图中的投影点的像素值与其对应的组成点的高度值成正比关系。
水平地面是一个水平面,且其高度值为0。所以步骤3031中形成的地面投影图中的每个投影点的高度值均为0。
该地面投影图中的投影点的像素值与其对应的组成点的高度值成正比关系,也就是说该地面投影图中的任意某个投影点,该投影点的像素值越大,该投影点对应的组成点的高度值越大,该投影点的像素值越小,该投影点对应的组成点的高度值越小。
可选的,该投影点的像素值可以等于该像素点对应的组成点的高度值与预设系数之间的乘积值。
预设系数的取值可以根据实际需求进行设置,可以设置为1、2、3、0.1、0.2或0.3等数值。在本实施例中,对预设系数的具体取值不做限制。
3032:对该地面投影图中的每个投影点的像素值进行聚类得到峰值像素值。
可以通过预设的聚类算法对该地面投影图中的每个投影点的像素值进行聚类,得到峰值像素值。
峰值像素值通常是该地面投影图中最大的一个像素值或者是最大的多个像素值中的某一个像素值。
3033:获取该峰值像素值对应的投影点,进一步地获取该投影点对应的组成点,并将该组成点作为高度峰值点。
如果该对象是授课区域内的人员,则高度峰值点是该人员头部的组成点,详细分析如下:
由于投影点的像素值与该投影点对应的组成点的高度值成正比关系,而峰值像素值较大,往往是该地面投影图中最大的一个像素值或最大的多个像素值中的某个像素值。所以可以得出高度峰值点是该对象中高度值最大的组成点或高度值最大的多个组成点中的某个组成点。如果该对象是授课区域内的人员,而人员的头部都是该人员中高度值最大的多个组成点组成,所以如果该对象是授课区域内的人员,则高度峰值点是该人员头部内的组成点。
步骤304:根据该高度峰值点确定该对象是否为授课区域内的人员,如果为授课区域内的人员,将该高度峰值点对应的三维坐标确定为该人员的当前位置。
具体地,确定该高度峰值点的高度值是否位于预设的人头实际高度范围内;如果位于该人头实际高度范围内,则根据该高度峰值点的三维坐标从目标图片中获取包括该对象的第二图像区域,该目标图片为第一图片或第二图片;根据第二图像区域通过分类器确定该对象是否为授课区域内的人员。如果不位于该人头实际高度范围内,则过滤掉该高度峰值点。
事先设置人头实际高度范围,该人头实际高度范围包括在实际中人体头部的高度值。当该高度峰值点的高度值小于该人头实际高度范围的下限值,表明该对象的高度小于该人头实际高度范围的下限值,该对象可能不是人员。当该高度峰值点的高度值大于该人头实际高度范围的上限值,表明该对象的高度大于该人头实际高度范围的上限值,该对象也可能不是人员。当该高度峰值点的高度值位于该人头实际高度范围内,表明该对象的高度位于该人头实际高度范围内,该对象可能是人员,所以需要通过分类器进一步确定。
在本实施例中,目标图片可以是位于第三摄像头左侧的摄像头拍摄的图片。其中第一摄像头位于第三摄像头的左侧,所以目标图片可以为第一摄像头拍摄的第一图片。
可选的,对于根据该高度峰值点的三维坐标从目标图片中获取包括该对象的第二图像区域的操作,可以为:
根据该高度峰值点,确定第一矩形框的第一角点、第二角点、第三角点和第四角点。其中,第一矩形框包括该对象,第一角点、高度峰值点和第二角点位于该矩形框的上边,高度峰值点是第一角点和第二角点的中点,第一角点和第二角点之间的距离为预设的人体肩宽值;第一角点的纵坐标和高度值分别与高度峰值点的纵坐标和高度值相等,第二角点的纵坐标和高度值分别与高度峰值点的纵坐标和高度值相等;第三角点的横坐标和纵坐标分别与第一角点的横坐标和纵坐标相等,第三角点的高度值为0,第四角点的横坐标和纵坐标分别与第二角点的横坐标和纵坐标相等,第四角点的高度值为0。
通过反向投影的方法在该目标图片中确定第一角点对应的第一像素点,第二角点对应的第二像素点,第三角点对应的第三像素点和第四角点对应的第四像素点;根据第一像素点、第二像素点、第二像素点和第四像素点确定第二矩形框,第一像素点、第二像素点、第三像素点和第四像素点分别为第二矩形框的四个角点;从该目标图片中提取位于第二矩形框中的图像区域作为包括该对象的第二图像区域。
其中,如果该对象是人员,则高度峰值点可能是人员的头部中的组成点,第一角点和第二角点可能与人员头部中的一个或多个组成点位于同一水平面上,第三角点和第四角点可能与人员的脚部中的一个或多个组成点位于同一水平面。在该目标图片中确定出的第一像素点、第二像素点、第三像素点和第四像素点中,第一像素点和第二像素点可能与该目标图片中的该人员的头部图像中的一个或多个像素点位于同一直线上,第三像素点和第四像素点可能与该目标图片中的该人员的脚部图像中的一个或多个像素点位于同一直线上。
例如,根据该高度峰值点,确定第一矩形框的第一角点B1、第二角点C1、第三角点D1和第四角点E1。第一角点B1、高度峰值点和第二角点C1位于该矩形框的上边,高度峰值点是第一角点B1和第二角点C1的中点,第一角点B1和第二角点C1之间的距离为预设的人体肩宽值;第一角点B1的纵坐标和高度值分别与高度峰值点的纵坐标和高度值相等,第二角点C1的纵坐标和高度值分别与高度峰值点的纵坐标和高度值相等;第三角点D1的横坐标和纵坐标分别与第一角点B1的横坐标和纵坐标相等,第三角点D1的高度值为0,第四角点E1的横坐标和纵坐标分别与第二角点C1的横坐标和纵坐标相等,第四角点E1的高度值为0。
参见图3-2,通过反向投影的方法在该目标图片中确定第一角点B1对应的第一像素点B2,第二角点C1对应的第二像素点C2,第三角点D1对应的第三像素点D2和第四角点E1对应的第四像素点E2;根据第一像素点B2、第二像素点C2、第二像素点D2和第四像素点E2确定第二矩形框,其中,在图3-2,A点是高度峰值点在目标图片中对应的像素点;从该目标图片中提取位于第二矩形框中的图像区域作为包括该对象的第二图像区域。
预设的人体肩宽值通常大于或等于20厘米且小于或等于70厘米,例如可以为30厘米、40厘米、50厘米、60厘米等。
可选的,在获得到该人员的当前位置后,还可以获取该人员的运动轨迹,根据该运动轨迹获取该人员的移动速度。详细实现过程可以为:
获取该人员的运动轨迹,该运动轨迹包括连续获得的该人员对应的N个位置,该N个位置分别为P1、P2……PN,P1为当前位置,P2至PN为在获得当前位置之前得到的位置,获得位置Pi的时间早于获得位置Pi-1的时间,i=2……N;根据该N个位置计算该运动轨迹的长度,根据获得当前位置P1的时间、获得位置PN的时间和该运动轨迹的长度计算出该人员的移动速度。
为了使该运动轨迹更加平滑,还可以对该当前位置P1进行如下修正,包括:
根据当前位置P1和最近上一次获得的位置P2计算当前位置P1和位置P2之间的距离;在距离大于预设距离时,按如下公式(1)计算位置P,将该人员的当前位置P1更新为位置P。
P=P1×λ1+P2×λ2+......+PN×λN……(1);
在上述公式(1)中,λ1、λ2……λN分别为预设的权值,且λi小于λi-1。
对于该三维空间中的其他每个对象,重复执行上述步骤303和304的操作确定其他每个对象是否为授课区域内的人员,在为授课区域内的人员时获取该人员的当前位置。
步骤305:在该授课区域内的人数大于或等于1且小于或等于N时,将该人员的当前位置确定为授课人员的位置,N为预设的大于或等于1的整数。
具体地,在该授课区域内包括人员时,判断该人员的移动速度和/或移动轨迹,如果该人员的移动速度不超过预设阈值和/或移动轨迹满足预设条件时,将该人员的当前位置确定为授课人员的位置。
预设条件可以是移动轨迹是授课区域内来回移动的轨迹,授课人员在上课时,授课人员在授课区域的轨迹是来回移动的轨迹,所以当人员的移动轨迹为授课区域内来回移动的轨迹,可以将该人员确定为授课人员,将该人员的当前位置确定为授课人员的位置。
在本步骤中,当该授课区域内的人数超过N个人员、该授课区域内无人员或该授课区域内的人员移动速度超过预设阈值时,不执行后续步骤。并在下一次获取到第一摄像头拍摄的第一图片、第二摄像头拍摄的第二图片和第三摄像头拍摄的第三图片时,返回从步骤301开始执行。
可选的,在本实施例中,可以产生多种报警信号,具体为:
当该授课区域内的人员数目大于或等于1且小于或等于N且每个人员的移动速度不超过预设阈值时产生第一报警信号。
当该授课区域内无人员时产生第二报警信号。
当该授课区域内超过N个人员时产生第三报警信号。
当该授课区域内存在人员移动速度超过预设阈值时产生第四报警信号。
可选地,该录制教学视频的装置,可以根据产生的不同信号采取不同的方式生成教学视频。例如,在产生第一报警信号的时候,将第一图像区域组成视频片段,在产生第二、第三、第四报警信号的时候,将第三摄像头拍摄的第二图片组成视频片段,最终得到的录制完成的教学视频,则可以由各个时间段生成的视频片段依次组成。
步骤306:根据该位置从该第三图片中提取包括授课人员图像的第一图像区域。
具体地,当授课区域包括一个授课人员时,从该第三图片中确定该授课人员的位置对应的目标像素点;从该第三图片中确定包括该目标像素点且面积为预设数值的矩形区域,并将该矩形区域作为第一图像区域。
可选的,该目标像素点可以是第一图像区域的中心点。例如,参见图3-3所示的第三图片,在第三图片中确定该位置对应的目标像素点F,确定以目标像素点F为中心且面积为预设数值的矩形区域,从该第三图片中提取该矩形区域作为第一图像区域,如图3-4所示。
可选的,如果授课区域内包括多个授课人员时,按上述方式从该第三图片中确定每个授课人员对应的矩形区域,从第三图片中提取包括每个授课人员对应的矩形区域的第一图像区域。
可选的,事先可以保存授课人员人脸图像与授课时间范围的对应关系。在本步骤中,当提取到第一图像区域后,还可以对授课人员的身份进行验证。详细过程如下:
识别第一图像区域中的人脸图像,获取当前时间所在的授课时间范围;根据该授课时间范围,从授课人员人脸图像与授课时间范围的对应关系获取对应的授课人员人脸图像,根据该人脸图像和该授课人员人脸图像对授课人员的身份进行验证。
可选的,当该人脸图像和该授课人员人脸图像之间的相似度超过预设相似度阈值时,对授课人员的身份验证通过,否则,验证不通。验证不通过,可以停止第一摄像头、第二摄像头和第三摄像头对授课区域进行拍摄。
在执行完本步骤后,当第一摄像头再次拍摄到第一图片、第二摄像头再拍摄到第二图片以及第三摄像头拍摄到第三图片时,返回从步骤301开始继续执行。
步骤307:将从该第三摄像头拍摄的第三图片中提取的第一图像区域,生成第一教学视频。
可选的,对提取的各第一图像区域进行放大,将放大后的各第一图像区域组成教学视频。
在本步聚中可以将每个提取的第一图像区域组成教学视频,为了便于说明称为第一教学视频。还可以将第三摄像头拍摄的第三图片组成第二教学视频。
可选的,可以通过网络发送第一教学视频和第二教学视频。还可以同时发送产生报警信号。
对于播放教学视频的播放设备,播放设备可以通过网络接收第一教学视频和第二教学视频,然后选择其中一个教学视频进行播放。
可选的,播放设备可以接收报警信号,根据报警信号选择教学视频进行播放。例如播放设备当接收到第一报警信号,选择第一教学视频进行播放,当接收到第二报警信号、第三报警信号或第四报警信号时,选择第二教学视频进行播放。
可选的,播放设备还可以根据第一报警信号,在第一教学视频中添加第一提示信息,第一提示信息可以用于提示当前放大播放教学视频等。还可以根据第二摄像信号在第二教学视频中添加第二提示信息,第二提示信息可以用于提示当前无授课人员授课。还可以根据第三报警信号或第四摄像信号在第二教学视频中添加第三提示信息,第三提示信息可以用于提示当前缩小播放教学视频等。还可以根据第四报警信息在第二教学视频中标示出移动的人员,例如,可以在第二教学视频中添加颜色框,该颜色框包括移动的人员图像。
在本发明实施例中,由于根据第一图片和第二图片确定授课人员的位置,根据该位置从第三图片中提取包括授课人员图像的第一图像区域,如此可以自动对授课人员进行跟踪拍摄得到教学视频,实现自动化的教学录播。另外,根据第一图片和第二图片确定授课人员的位置,相比根据单目摄像设备拍摄的图片来确定授课人员的位置,可以不受环境光照变化的影响。
实施例4
参见图4,本发明实施例提供了一种录制教学视频的装置400,所述装置400包括:
获取模块401,用于获取第一摄像头对授课区域拍摄的第一图片、第二摄像头对所述授课区域拍摄的第二图片和第三摄像头对所述授课区域拍摄的第三图片,所述第一摄像头和所述第二摄像头位于所述第三摄像头的左右两侧;
确定模块402,用于根据所述第一图片和所述第二图片确定授课人员的位置;
提取模块403,用于根据所述位置从所述第三图片中提取包括授课人员图像的第一图像区域;
组成模块404,用于根据从所述第三摄像头拍摄的第三图片中提取的第一图像区域,生成第一教学视频。
可选的,所述确定模块402包括:
第一获取单元,用于根据所述第一图片和所述第二图片,获取所述授课区域内的对象的三维点云信息,所述对象的三维点云信息包括组成所述对象的每个组成点的三维坐标;
第二获取单元,用于根据所述对象的三维点云信息,从所述对象包括的每个组成点中获取高度峰值点;
第一确定单元,用于根据所述高度峰值点确定所述对象是否为所述授课区域内的人员,如果为所述授课区域内的人员,将所述高度峰值点对应的三维坐标确定为所述人员的当前位置;
第二确定单元,用于根据所述授课区域内的人员的当前位置确定授课人员的位置授课人员。
可选的,所述第二确定单元,用于在所述授课区域内包括的人员数目大于或等于1且小于或等于N时,将所述人员的当前位置确定为授课人员的位置,N为大于或等于1的整数。
可选的,所述第二获取单元,执行所述根据所述对象的三维点云信息,从所述对象包括的每个组成点中获取高度峰值点的操作,包括:
根据所述对象中的每个组成点的横坐标和纵坐标,将所述每个组成点投影到水平地面形成地面投影图,所述地面投影图中的投影点的像素值与其对应的组成点的高度值成正比关系;
对所述地面投影图中的每个投影点的像素值进行聚类得到像素值峰值;
获取所述像素值峰值对应的投影点,获取所述投影点对应的组成点,并将所述组成点作为高度峰值点。
可选的,所述第一确定单元执行所述根据所述高度峰值点确定所述对象是否为所述授课区域内的人员的操作,包括:
确定所述高度峰值点的高度值是否位于人头实际高度范围内;
如果位于所述人头实际高度范围内,则根据所述高度峰值点的三维坐标从目标图片中获取包括所述对象的第二图像区域,所述目标图片为所述第一图片或所述第二图片;
根据所述第二图像区域通过分类器确定所述对象是否为所述授课区域内的人员。
可选的,所述获取模块401,还用于:
获取所述人员的移动速度和/或移动轨迹;
所述第二确定单元执行将所述人员的当前位置确定为授课人员的位置的操作,包括:
在所述移动速度不超过预设阈值和/或所述移动轨迹满足预设条件时,将所述人员的当前位置确定为授课人员的位置。
可选的,所述获取模块401包括:
第三获取单元,用于获取所述人员的运动轨迹,所述运动轨迹包括连续获得的所述人员对应的N个位置,所述N个位置分别为P1、P2……PN,P1为当前位置,P2至PN为在获得当前位置之前得到的位置,获得位置Pi的时间早于获得位置Pi-1的时间,i=2……N;
计算单元,用于根据所述运动轨迹的长度、获得所述当前位置P1的时间和获得所述位置PN的时间计算所述人员的移动速度。
可选的,所述装置400还包括:
计算模块,用于根据所述当前位置P1和位置P2计算所述当前位置P1和位置P2之间的距离;在所述距离大于预设距离时,按如下公式计算位置P,将所述当前位置P1更新为所述位置P;
P=P1×λ1+P2×λ2+......+PN×λN
在上述公式中,λ1、λ2……λN分别为预设的权值,且λi小于λi-1。
可选的,所述装置400还包括:
产生发送模块,用于根据所述授课区域内的人员数目产生报警信号,向播放设备发送所述报警信号、所述第一教学视频和第二教学视频,使所述播放设备根据所述报警信号,从所述第一教学视频和所述第二教学视频中选择并播放教学视频,所述第二教学视频包括所述第三摄像头拍摄的第三图片。
可选的,所述产生发送模块包括:
第一产生单元,用于当所述授课区域内的人员数目大于或等于1且小于或等于N且每个人员的移动速度不超过预设阈值时产生第一报警信号,N为大于或等于1的整数;
第二产生单元,用于当所述授课区域内无人员时产生第二报警信号;
第三产生单元,用于当所述授课区域内超过N个人员时产生第三报警信号;
第四产生单元,用于当所述授课区域内存在人员移动速度超过预设阈值时产生第四报警信号;
可选的,所述提取模块403包括:
第三确定单元,用于从所述第三图片中确定所述位置对应的目标像素点;
第四确定单元,用于从所述第三图片中确定包括所述目标像素点且面积为预设数值的矩形区域,并将所述矩形区域作为第一图像区域。
可选的,所述装置400还包括:
验证模块,用于识别所述第一图像区域中的人脸图像,获取当前时间所在的授课时间范围;根据所述授课时间范围,从授课人员人脸图像与授课时间范围的对应关系获取对应的授课人员人脸图像,根据所述人脸图像和所述授课人员人脸图像对授课人员的身份进行验证。
在本发明实施例中,通过第一摄像头对授课区域拍摄的第一图片、第二摄像头对授课区域拍摄的第二图片和第三摄像头对授课区域拍摄的第三图片,根据第一图片和第二图片确定授课人员的位置,根据该位置从第三图片中提取包括授课人员图像的第一图像区域,如此可以自动对授课人员进行跟踪拍摄得到教学视频,实现自动化的教学录播。
实施例5
参见图5,图5是根据一示例性实施例示出的一种录制教学视频的装置500的框图。该装置500可以为实施例1所述的三目摄像设备。
参照图5,装置500可以包括以下一个或多个组件:处理组件502,存储器504,电源组件506,多媒体组件508,音频组件510,输入/输出(I/O)的接口512,传感器组件514,以及通信组件516。多媒体组件508可以包括第一摄像头、第二摄像头和第三摄像头。
处理组件502通常控制装置500的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件502可以包括一个或多个处理器520来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件502可以包括一个或多个模块,便于处理组件502和其他组件之间的交互。例如,处理组件502可以包括多媒体模块,以方便多媒体组件508和处理组件502之间的交互。
存储器504被配置为存储各种类型的数据以支持在装置500的操作。这些数据的示例包括用于在装置500上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器504可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件506为装置500的各种组件提供电力。电源组件506可以包括电源管理系统,一个或多个电源,及其他与为装置500生成、管理和分配电力相关联的组件。
多媒体组件508包括的第一摄像头、第二摄像头和第三摄像头可以分别对应授课区域进行拍摄。还可以包括在所述装置500和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。
音频组件510被配置为输出和/或输入音频信号。例如,音频组件510包括一个麦克风(MIC),当装置500处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器504或经由通信组件516发送。在一些实施例中,音频组件510还包括一个扬声器,用于输出音频信号。
I/O接口512为处理组件502和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件514包括一个或多个传感器,用于为装置500提供各个方面的状态评估。例如,传感器组件514可以检测到装置500的打开/关闭状态,组件的相对定位,例如所述组件为装置500的显示器和小键盘,传感器组件514还可以检测装置500或装置500一个组件的位置改变,用户与装置500接触的存在或不存在,装置500方位或加速/减速和装置500的温度变化。传感器组件514可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件514还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件514还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件516被配置为便于装置500和其他设备之间有线或无线方式的通信。装置500可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件516经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件516还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,装置500可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器504,上述指令可由装置500的处理器520执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质,当所述存储介质中的指令由装置500的处理组件502执行时,使得装置500能够执行一种录制教学视频的方法,所述方法包括:
获取第一摄像头对授课区域拍摄的第一图片、第二摄像头对所述授课区域拍摄的第二图片和第三摄像头对所述授课区域拍摄的第三图片,所述第一摄像头和所述第二摄像头位于所述第三摄像头的左右两侧;
根据所述第一图片和所述第二图片确定授课人员的位置;
根据所述位置从所述第三图片中提取包括授课人员图像的第一图像区域;
根据从所述第三摄像头拍摄的第三图片中提取的第一图像区域,生成第一教学视频。
可选的,所述根据所述第一图片和所述第二图片确定授课人员的位置,包括:
根据所述第一图片和所述第二图片,获取所述授课区域内的对象的三维点云信息,所述对象的三维点云信息包括组成所述对象的每个组成点的三维坐标;
根据所述对象的三维点云信息,从所述对象包括的每个组成点中获取高度峰值点;
根据所述高度峰值点确定所述对象是否为所述授课区域内的人员,如果为所述授课区域内的人员,将所述高度峰值点对应的三维坐标确定为所述人员的当前位置;
根据所述授课区域内的人员的当前位置确定授课人员的位置。
可选的,所述根据所述授课区域内的人员的当前位置确定授课人员的位置,包括:
在所述授课区域内包括的人员数目大于或等于1且小于或等于N时,将所述人员的当前位置确定为授课人员的位置,N为大于或等于1的整数。
授课人员可选的,所述根据所述对象的三维点云信息,从所述对象包括的每个组成点中获取高度峰值点,包括:
根据所述对象中的每个组成点的横坐标和纵坐标,将所述每个组成点投影到水平地面形成地面投影图,所述地面投影图中的投影点的像素值与其对应的组成点的高度值成正比关系;
对所述地面投影图中的每个投影点的像素值进行聚类得到像素值峰值;
获取所述像素值峰值对应的投影点,获取所述投影点对应的组成点,并将所述组成点作为高度峰值点。
可选的,所述根据所述高度峰值点确定所述对象是否为所述授课区域内的人员,包括:
确定所述高度峰值点的高度值是否位于人头实际高度范围内;
如果位于所述人头实际高度范围内,则根据所述高度峰值点的三维坐标从目标图片中获取包括所述对象的第二图像区域,所述目标图片为所述第一图片或所述第二图片;
根据所述第二图像区域通过分类器确定所述对象是否为所述授课区域内的人员。
可选的,所述将所述人员的当前位置确定为授课人员的位置之前,还包括:
获取所述人员的移动速度和/或移动轨迹;
所述将所述人员的当前位置确定为授课人员的位置,包括:
在所述移动速度不超过预设阈值和/或所述移动轨迹满足预设条件时,将所述人员的当前位置确定为授课人员的位置。
可选的,所述获取所述人员的移动速度,包括:
获取所述人员的运动轨迹,所述运动轨迹包括连续获得的所述人员对应的N个位置,所述N个位置分别为P1、P2……PN,P1为当前位置,P2至PN为在获得当前位置之前得到的位置,获得位置Pi的时间早于获得位置Pi-1的时间,i=2……N;
根据所述运动轨迹的长度、获得所述当前位置P1的时间和获得所述位置PN的时间计算所述人员的移动速度。
可选的,所述将所述高度峰值点对应的三维坐标确定为所述人员的当前位置之后,还包括:
根据所述当前位置P1和位置P2计算所述当前位置P1和位置P2之间的距离;
在所述距离大于预设距离时,按如下公式计算位置P,将所述当前位置P1更新为所述位置P;
P=P1×λ1+P2×λ2+......+PN×λN
在上述公式中,λ1、λ2……λN分别为预设的权值,且λi小于λi-1。
可选的,所述获取所述人员的移动速度和/或移动轨迹之后,还包括:
根据所述授课区域内的人员数目产生报警信号,向播放设备发送所述报警信号、所述第一教学视频和第二教学视频,使所述播放设备根据所述报警信号,从所述第一教学视频和所述第二教学视频中选择并播放教学视频,所述第二教学视频包括所述第三摄像头拍摄的第三图片。
可选的,所述根据所述授课区域内的人员数目产生报警信号,包括:
当所述授课区域内的人员数目大于或等于1且小于或等于N且每个人员的移动速度不超过预设阈值时产生第一报警信号,N为大于或等于1的整数;
当所述授课区域内无人员时产生第二报警信号;
当所述授课区域内超过N个人员时产生第三报警信号;
当所述授课区域内存在人员移动速度超过预设阈值时产生第四报警信号。
可选的,所述根据所述位置从所述第三图片中提取包括授课人员图像的第一图像区域,包括:
从所述第三图片中确定所述位置对应的目标像素点;
从所述第三图片中确定包括所述目标像素点且面积为预设数值的矩形区域,并将所述矩形区域作为第一图像区域。
可选的,所述根据所述位置从所述第三图片中提取包括授课人员图像的第一图像区域之后,还包括:
识别所述第一图像区域中的人脸图像,获取当前时间所在的授课时间范围;根据所述授课时间范围,从授课人员人脸图像与授课时间范围的对应关系获取对应的授课人员人脸图像,根据所述人脸图像和所述授课人员人脸图像对授课人员的身份进行验证。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (21)
1.一种录制教学视频的方法,其特征在于,所述方法包括:
获取第一摄像头对授课区域拍摄的第一图片、第二摄像头对所述授课区域拍摄的第二图片和第三摄像头对所述授课区域拍摄的第三图片,所述第一摄像头和所述第二摄像头位于所述第三摄像头的左右两侧;
根据所述第一图片和所述第二图片确定授课人员的位置;
根据所述位置从所述第三图片中提取包括授课人员图像的第一图像区域;
根据从所述第三摄像头拍摄的第三图片中提取的第一图像区域,生成第一教学视频;
其中,所述根据所述第一图片和所述第二图片确定授课人员的位置,包括:
根据所述第一图片和所述第二图片,获取所述授课区域内的对象的三维点云信息,所述对象的三维点云信息包括组成所述对象的每个组成点的三维坐标;
根据所述对象的三维点云信息,从所述对象包括的每个组成点中获取高度峰值点;
根据所述高度峰值点确定所述对象是否为所述授课区域内的人员,如果为所述授课区域内的人员,将所述高度峰值点对应的三维坐标确定为所述人员的当前位置;
获取所述人员的移动速度和/或移动轨迹;
在所述移动速度不超过预设阈值和/或所述移动轨迹满足预设条件时,将所述人员的当前位置确定为授课人员的位置。
2.如权利要求1所述的方法,其特征在于,所述将所述人员的当前位置确定为授课人员的位置,包括:
在所述授课区域内包括的人员数目大于或等于1且小于或等于N时,将所述人员的当前位置确定为授课人员的位置,N为大于或等于1的整数。
3.如权利要求1所述的方法,其特征在于,所述根据所述对象的三维点云信息,从所述对象包括的每个组成点中获取高度峰值点,包括:
根据所述对象中的每个组成点的横坐标和纵坐标,将所述每个组成点投影到水平地面形成地面投影图,所述地面投影图中的投影点的像素值与其对应的组成点的高度值成正比关系;
对所述地面投影图中的每个投影点的像素值进行聚类得到像素值峰值;
获取所述像素值峰值对应的投影点,获取所述投影点对应的组成点,并将所述组成点作为高度峰值点。
4.如权利要求1所述的方法,其特征在于,所述根据所述高度峰值点确定所述对象是否为所述授课区域内的人员,包括:
确定所述高度峰值点的高度值是否位于人头实际高度范围内;
如果位于所述人头实际高度范围内,则根据所述高度峰值点的三维坐标从目标图片中获取包括所述对象的第二图像区域,所述目标图片为所述第一图片或所述第二图片;
根据所述第二图像区域通过分类器确定所述对象是否为所述授课区域内的人员。
5.如权利要求1所述的方法,其特征在于,所述获取所述人员的移动速度,包括:
获取所述人员的运动轨迹,所述运动轨迹包括连续获得的所述人员对应的N个位置,所述N个位置分别为P1、P2……PN,P1为当前位置,P2至PN为在获得当前位置之前得到的位置,获得位置Pi的时间早于获得位置Pi-1的时间,i=2……N;
根据所述运动轨迹的长度、获得所述当前位置P1的时间和获得所述位置PN的时间计算所述人员的移动速度。
6.如权利要求5所述的方法,其特征在于,所述将所述高度峰值点对应的三维坐标确定为所述人员的当前位置之后,还包括:
根据所述当前位置P1和位置P2计算所述当前位置P1和位置P2之间的距离;
在所述距离大于预设距离时,按如下公式计算位置P,将所述当前位置P1更新为所述位置P;
P=P1×λ1+P2×λ2+……+PN×λN
在上述公式中,λ1、λ2……λN分别为预设的权值,且λi小于λi-1。
7.如权利要求1所述的方法,其特征在于,所述获取所述人员的移动速度和/或移动轨迹之后,还包括:
根据所述授课区域内的人员数目产生报警信号,向播放设备发送所述报警信号、所述第一教学视频和第二教学视频,使所述播放设备根据所述报警信号,从所述第一教学视频和所述第二教学视频中选择并播放教学视频,所述第二教学视频包括所述第三摄像头拍摄的第三图片。
8.如权利要求7所述的方法,其特征在于,所述根据所述授课区域内的人员数目产生报警信号,包括:
当所述授课区域内的人员数目大于或等于1且小于或等于N且每个人员的移动速度不超过预设阈值时产生第一报警信号,N为大于或等于1的整数;
当所述授课区域内无人员时产生第二报警信号;
当所述授课区域内超过N个人员时产生第三报警信号;
当所述授课区域内存在人员移动速度超过预设阈值时,产生第四报警信号。
9.如权利要求1所述的方法,其特征在于,所述根据所述位置从所述第三图片中提取包括授课人员图像的第一图像区域,包括:
从所述第三图片中确定所述位置对应的目标像素点;
从所述第三图片中确定包括所述目标像素点且面积为预设数值的矩形区域,并将所述矩形区域作为第一图像区域。
10.如权利要求1所述的方法,其特征在于,所述根据所述位置从所述第三图片中提取包括授课人员图像的第一图像区域之后,还包括:
识别所述第一图像区域中的人脸图像,获取当前时间所在的授课时间范围;根据所述授课时间范围,从授课人员人脸图像与授课时间范围的对应关系获取对应的授课人员人脸图像,根据所述人脸图像和所述授课人员人脸图像对授课人员的身份进行验证。
11.一种录制教学视频的装置,其特征在于,所述装置包括:
获取模块,用于获取第一摄像头对授课区域拍摄的第一图片、第二摄像头对所述授课区域拍摄的第二图片和第三摄像头对所述授课区域拍摄的第三图片,所述第一摄像头和所述第二摄像头位于所述第三摄像头的左右两侧;
确定模块,用于根据所述第一图片和所述第二图片确定授课人员的位置;
提取模块,用于根据所述位置从所述第三图片中提取包括授课人员图像的第一图像区域;
生成模块,用于根据从所述第三摄像头拍摄的第三图片中提取的第一图像区域,生成第一教学视频;
其中,所述获取模块,还用于获取所述人员的移动速度和/或移动轨迹;所述确定模块包括:
第一获取单元,用于根据所述第一图片和所述第二图片,获取所述授课区域内的对象的三维点云信息,所述对象的三维点云信息包括组成所述对象的每个组成点的三维坐标;
第二获取单元,用于根据所述对象的三维点云信息,从所述对象包括的每个组成点中获取高度峰值点;
第一确定单元,用于根据所述高度峰值点确定所述对象是否为所述授课区域内的人员,如果为所述授课区域内的人员,将所述高度峰值点对应的三维坐标确定为所述人员的当前位置;
第二确定单元,用于在所述移动速度不超过预设阈值和/或所述移动轨迹满足预设条件时,将所述人员的当前位置确定为授课人员的位置。
12.如权利要求11所述的装置,其特征在于,所述第二确定单元,用于在所述授课区域内包括的人员数目大于或等于1且小于或等于N时,将所述人员的当前位置确定为授课人员的位置,N为大于或等于1的整数。
13.如权利要求11所述的装置,其特征在于,所述第二获取单元,执行所述根据所述对象的三维点云信息,从所述对象包括的每个组成点中获取高度峰值点的操作,包括:
根据所述对象中的每个组成点的横坐标和纵坐标,将所述每个组成点投影到水平地面形成地面投影图,所述地面投影图中的投影点的像素值与其对应的组成点的高度值成正比关系;
对所述地面投影图中的每个投影点的像素值进行聚类得到像素值峰值;
获取所述像素值峰值对应的投影点,获取所述投影点对应的组成点,并将所述组成点作为高度峰值点。
14.如权利要求11所述的装置,其特征在于,所述第一确定单元执行所述根据所述高度峰值点确定所述对象是否为所述授课区域内的人员的操作,包括:
确定所述高度峰值点的高度值是否位于人头实际高度范围内;
如果位于所述人头实际高度范围内,则根据所述高度峰值点的三维坐标从目标图片中获取包括所述对象的第二图像区域,所述目标图片为所述第一图片或所述第二图片;
根据所述第二图像区域通过分类器确定所述对象是否为所述授课区域内的人员。
15.如权利要求11所述的装置,其特征在于,所述获取模块包括:
第三获取单元,用于获取所述人员的运动轨迹,所述运动轨迹包括连续获得的所述人员对应的N个位置,所述N个位置分别为P1、P2……PN,P1为当前位置,P2至PN为在获得当前位置之前得到的位置,获得位置Pi的时间早于获得位置Pi-1的时间,i=2……N;
计算单元,用于根据所述运动轨迹的长度、获得所述当前位置P1的时间和获得所述位置PN的时间计算所述人员的移动速度。
16.如权利要求15所述的装置,其特征在于,所述装置还包括:
计算模块,用于根据所述当前位置P1和位置P2计算所述当前位置P1和位置P2之间的距离;在所述距离大于预设距离时,按如下公式计算位置P,将所述当前位置P1更新为所述位置P;
P=P1×λ1+P2×λ2+……+PN×λN
在上述公式中,λ1、λ2……λN分别为预设的权值,且λi小于λi-1。
17.如权利要求11所述的装置,其特征在于,所述装置还包括:
产生发送模块,用于根据所述授课区域内的人员数目产生报警信号,向播放设备发送所述报警信号、所述第一教学视频和第二教学视频,使所述播放设备根据所述报警信号,从所述第一教学视频和所述第二教学视频中选择并播放教学视频,所述第二教学视频包括所述第三摄像头拍摄的第三图片。
18.如权利要求17所述的装置,其特征在于,所述产生发送模块包括:
第一产生单元,用于当所述授课区域内的人员数目大于或等于1且小于或等于N且每个人员的移动速度不超过预设阈值时产生第一报警信号,N为大于或等于1的整数;
第二产生单元,用于当所述授课区域内无人员时产生第二报警信号;
第三产生单元,用于当所述授课区域内超过N个人员时产生第三报警信号;
第四产生单元,用于当所述授课区域内存在人员移动速度超过预设阈值时,产生第四报警信号。
19.如权利要求11所述的装置,其特征在于,所述提取模块包括:
第三确定单元,用于从所述第三图片中确定所述位置对应的目标像素点;
第四确定单元,用于从所述第三图片中确定包括所述目标像素点且面积为预设数值的矩形区域,并将所述矩形区域作为第一图像区域。
20.如权利要求11所述的装置,其特征在于,所述装置还包括:
验证模块,用于识别所述第一图像区域中的人脸图像,获取当前时间所在的授课时间范围;根据所述授课时间范围,从授课人员人脸图像与授课时间范围的对应关系获取对应的授课人员人脸图像,根据所述人脸图像和所述授课人员人脸图像对授课人员的身份进行验证。
21.一种录制教学视频的设备,其特征在于,所述设备包括:
处理器、第一摄像头、第二摄像头、第三摄像头和用于存储所述处理器的可执行指令的存储器;
所述处理器分别与所述第一摄像头、所述第二摄像头、所述第三摄像头和所述存储器连接;
其中,所述可执行指令由所述处理器加载并执行,以实现如权利要求1至10中的任一项所述的录制教学视频的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710972508.1A CN109688318B (zh) | 2017-10-18 | 2017-10-18 | 一种录制教学视频的方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710972508.1A CN109688318B (zh) | 2017-10-18 | 2017-10-18 | 一种录制教学视频的方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109688318A CN109688318A (zh) | 2019-04-26 |
CN109688318B true CN109688318B (zh) | 2021-03-16 |
Family
ID=66184014
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710972508.1A Active CN109688318B (zh) | 2017-10-18 | 2017-10-18 | 一种录制教学视频的方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109688318B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113449571A (zh) * | 2020-03-27 | 2021-09-28 | 杭州海康威视数字技术股份有限公司 | 目标对象的匹配方法及装置、目标对象监控系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105049764A (zh) * | 2015-06-17 | 2015-11-11 | 武汉智亿方科技有限公司 | 一种基于多个定位摄像头的教学用图像跟踪方法及系统 |
CN105373266A (zh) * | 2015-11-05 | 2016-03-02 | 上海影火智能科技有限公司 | 一种新型的基于双目视觉的交互方法和电子白板系统 |
CN105578044A (zh) * | 2015-12-22 | 2016-05-11 | 杭州凡龙科技有限公司 | 一种全景位自适应老师图像分析方法 |
CN106254781A (zh) * | 2016-09-14 | 2016-12-21 | 江苏开放大学 | 一种基于三摄像头的全自动录播直播一体机 |
CN106803913A (zh) * | 2017-03-10 | 2017-06-06 | 武汉东信同邦信息技术有限公司 | 一种用于自动侦测学生起立发言动作的检测方法及其装置 |
-
2017
- 2017-10-18 CN CN201710972508.1A patent/CN109688318B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105049764A (zh) * | 2015-06-17 | 2015-11-11 | 武汉智亿方科技有限公司 | 一种基于多个定位摄像头的教学用图像跟踪方法及系统 |
CN105373266A (zh) * | 2015-11-05 | 2016-03-02 | 上海影火智能科技有限公司 | 一种新型的基于双目视觉的交互方法和电子白板系统 |
CN105578044A (zh) * | 2015-12-22 | 2016-05-11 | 杭州凡龙科技有限公司 | 一种全景位自适应老师图像分析方法 |
CN106254781A (zh) * | 2016-09-14 | 2016-12-21 | 江苏开放大学 | 一种基于三摄像头的全自动录播直播一体机 |
CN106803913A (zh) * | 2017-03-10 | 2017-06-06 | 武汉东信同邦信息技术有限公司 | 一种用于自动侦测学生起立发言动作的检测方法及其装置 |
Also Published As
Publication number | Publication date |
---|---|
CN109688318A (zh) | 2019-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11636653B2 (en) | Method and apparatus for synthesizing virtual and real objects | |
US10241990B2 (en) | Gesture based annotations | |
TW202105331A (zh) | 一種人體關鍵點檢測方法及裝置、電子設備和電腦可讀儲存介質 | |
US20150146078A1 (en) | Shift camera focus based on speaker position | |
JP2016531362A (ja) | 肌色調整方法、肌色調整装置、プログラム及び記録媒体 | |
CN104077585B (zh) | 图像校正方法、装置及终端 | |
US11595615B2 (en) | Conference device, method of controlling conference device, and computer storage medium | |
WO2022227393A1 (zh) | 图像拍摄方法及装置、电子设备和计算机可读存储介质 | |
CN104639843A (zh) | 图像处理方法及装置 | |
CN106713740B (zh) | 定位跟踪摄像方法与系统 | |
CN110210045B (zh) | 目标区域的人数估算方法、装置及存储介质 | |
JP7110443B2 (ja) | 撮影方法及び撮影装置、電子機器、記憶媒体 | |
JP2016100033A (ja) | 再生制御装置 | |
WO2022073389A1 (zh) | 视频画面的展示方法及电子设备 | |
CN114387445A (zh) | 对象关键点识别方法及装置、电子设备和存储介质 | |
CN108986117B (zh) | 视频图像分割方法及装置 | |
TW202121250A (zh) | 展示對象的控制方法與裝置、電子設備及記錄媒體 | |
WO2018192094A1 (zh) | 场景展示方法及装置 | |
CN108986803B (zh) | 场景控制方法及装置、电子设备、可读存储介质 | |
CN106973275A (zh) | 投影设备的控制方法和装置 | |
CN109688318B (zh) | 一种录制教学视频的方法及装置 | |
CN114241604A (zh) | 姿态检测的方法、装置、电子设备和存储介质 | |
CN107146278B (zh) | 场景建模方法及装置 | |
US11308702B2 (en) | Method and apparatus for displaying an image, electronic device and computer-readable storage medium | |
CN116363725A (zh) | 显示设备的人像追踪方法、系统、显示设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |