CN111614899A - 一种基于人脸识别的定制化视频内容产生方法和系统 - Google Patents

一种基于人脸识别的定制化视频内容产生方法和系统 Download PDF

Info

Publication number
CN111614899A
CN111614899A CN202010415311.XA CN202010415311A CN111614899A CN 111614899 A CN111614899 A CN 111614899A CN 202010415311 A CN202010415311 A CN 202010415311A CN 111614899 A CN111614899 A CN 111614899A
Authority
CN
China
Prior art keywords
face
video
video file
recognition
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010415311.XA
Other languages
English (en)
Other versions
CN111614899B (zh
Inventor
李洪钧
方林
邓永生
李聪聪
蒋随心
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gospell Digital Technology Co ltd
Original Assignee
Gospell Digital Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gospell Digital Technology Co ltd filed Critical Gospell Digital Technology Co ltd
Priority to CN202010415311.XA priority Critical patent/CN111614899B/zh
Publication of CN111614899A publication Critical patent/CN111614899A/zh
Application granted granted Critical
Publication of CN111614899B publication Critical patent/CN111614899B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/787Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了视频剪辑领域的一种基于人脸识别的定制化视频内容产生方法和系统。方法的步骤包括:拍摄包括人脸的照片;对人脸的照片进行人脸识别,并进行跟踪拍摄,生成视频文件;将视频文件相应的信息文件加载到所述视频文件中;根据被识别出的人的ID号查找出多个待处理视频文件;删除每个待处理视频文件中被识别出的人的坐标信息没有在预设的图像区域的帧图像,生成帧图像序列,将多个帧图像序列合并为一个视频文件集;将视频文件集发送到预设的网络地址并存储。本发明的方法和系统,在人脸识别的同时,通过位置信息,对视频进行了裁剪,获得了单独拍摄“特写”的图像,使得基于人脸识别的视频剪辑更具有针对性。

Description

一种基于人脸识别的定制化视频内容产生方法和系统
技术领域
本发明涉及视频剪辑领域,具体公开了一种基于人脸识别的定制化视频内容产生方法和系统。
背景技术
处于幼儿园、中小学阶段的学生,在上学之后,他/她们在学校内部的活动情况,是家长非常愿意看到的。如今,这些需求一般是通过建立包括老师和家长在内的个人即时通信群组来满足:老师或者家长委员会的成员,在学校,拍摄学生的照片和视频,发到群里,供家长们观看。
这种方式,可以在某种程度上满足家长们“思子心切”的需求,但是仍存在很多问题:第一,老师在学校主要关注的是教学,可能没有太多时间来拍照片和视频,家委会的成员也不可能经常去学校。第二,这种由老师和家长在学校用手机拍摄的照片和视频,一般以远距离的、包含很多个体的群体的情形为主,很难做到为每个学生单独拍摄“特写”。第三,对于群发的视频,家长一般要全部下载观看,然后才能知道自己的孩子是否在视频或者照片中,这样其中没有包含该家长学生的视频,可能会浪费家长的数据流量。
虽然现有技术中已经有了基于人脸识别的视频剪辑方法,例如:专利“视频片段提取方法及装置”(公开号CN104796781B)公开了一种视频片段基于人脸识别的提取和剪辑方法和装置,所述方法包括:获取目标角色的脸部图片;通过人脸识别方式从原始视频中确定包含所述目标角色的脸部的第一视频片段;基于所述第一视频片段对所述目标角色进行目标跟踪,确定原始视频中除第一视频片段之外,包含所述目标角色的第二视频片段;将所述第一视频片段和所述第二视频片段的集合提取为目标视频片段。该专利的方法通过人脸识别确定包含目标角色脸部的视频片段,基于该视频频段进行该目标角色的跟踪,确定包含该目标角色其他部位的视频片段,简化了用户操作,提高了目标角色定位的准确度,从而提高用户体验。然后该专利并未解决在剪辑学生视频时如何做到为每个学生单独拍摄“特写”的问题,并且针对学生群体,需要对上千的学生进行人脸识别,该方法也不能解决当识别人数较大时,如何提高识别效率的问题。
在学校的应用场景下,学生人数较多,人员密度较大,监控摄像头通常采集的图像中包含多个学生人脸,而家长接收到的剪辑视频,不仅仅是需要图像中有自己的孩子,还需要图像中是单独拍摄“特写”,因此本发明需要解决的第一个问题是,在基于人脸识别剪辑视频时,如何进行剪辑,使得剪辑后的视频都是人物的“特写”。第二个问题是,学校的学生较多,对每一个学生都进行视频采集和剪辑,数据处理量较大,如何根据学生在校学习生活的规律进行视频的采集和剪辑,以提高效率。
发明内容
本发明的目的在于对学校学生进行人脸识别和视频剪辑的应用场景下,如何克服视频处理数量大的问题,以及如何实现家长收到自己孩子的视频图像都是人物的“特写”的问题,提供一种基于人脸识别的定制化视频内容产生方法和系统。
为了实现上述发明目的,本发明提供了以下技术方案:
一种基于人脸识别的定制化视频内容产生方法,包括以下步骤:
A、拍摄包括人脸的照片;
B、对包括人脸的照片进行人脸识别,人脸识别是指查找是否有预存的人脸照片与包括人脸的照片中的人脸匹配,如果是,则持续拍摄包括人脸的照片对应的人,生成视频文件;
C、将视频文件相应的信息文件加载到视频文件中,信息文件包括:拍摄设备ID、视频文件录制时间、人脸识别记录;人脸识别记录包括被识别出的人员的ID号、被识别出的人的坐标信息;
D、根据被识别出的人的ID号查找出多个待处理视频文件,待处理视频文件相应的人脸识别记录中包含被识别出的人的ID号;
E、提取每一个待处理视频文件中的帧图像,并依次在帧图像中判断被识别出的人的坐标信息是否在预设的图像区域,如果是,则保留帧图像,如果否,则删除帧图像,生成帧图像序列;
F、将多个帧图像序列按照视频文件录制时间的先后顺序合并为一个视频文件集;
G、将视频文件集发送到预设的网络地址并存储。
作为本发明的优选方案,当拍摄的包括人脸的照片里包含多个人脸时,对多个人脸同时进行人脸识别,并且信息文件中包括多个人脸相应的人脸识别记录,每一个人脸相应的人脸识别记录包括被识别出的人员的ID号、被识别出的人的坐标信息。
作为本发明的优选方案,当多个拍摄设备拍摄照片并进行人脸识别时,每一个预存的人脸照片还有相应的编号和识别标识,识别标识用于标记是否采用预存的人脸照片进行人脸识别;
当其中一个拍摄设备拍摄的照片里的人脸与预存的人脸照片中的人脸匹配时,人脸识别成功,在预设的停止识别时间段内,将部分其它拍摄设备中的人脸识别成功的人脸照片相应的识别标识设置为“无需识别”,部分其它拍摄设备在进行人脸识别时不使用人脸识别成功的人脸照片;
当时间长度超出预设的停止识别时间段时,将人脸识别成功的人脸照片相应的识别标识恢复为“启动识别”。
作为本发明的优选方案,步骤B中,持续拍摄包括人脸的照片对应的人,生成视频文件的步骤包括:
拍摄包括人脸的照片对应的人,生成视频文件;
以预设的时间间隔,从视频文件中提取图像帧,并将图像帧与预存的人脸照片进行匹配,如果人脸匹配,则继续录制视频文件,直到视频文件中没有人脸;如果人脸不匹配,停止视频录制。
作为本发明的优选方案,预设的图像区域是以图像中心像素点为中心点,并且边长为K的区域,K的范围是
Figure BDA0002494762970000041
L取M和N中的较小值,其中,M是帧图像中像素横坐标的最大值,N是帧图像中像素纵坐标的最大值。
作为本发明的优选方案,被识别出的人的坐标信息是人脸中心点在包括人脸的照片中的像素坐标。
基于相同的构思,本发明还提出了一种基于人脸识别的定制化视频内容产生系统,包括摄像头、服务器;
摄像头内置人脸识别的算法,摄像头接收并存储服务器发送的预存的人脸照片和相应的编号,摄像头根据人脸识别的算法判断拍摄的照片里人脸是否与预存的人脸照片中的人脸匹配,当匹配时,持续拍摄包括人脸的照片对应的人,生成视频文件,并同时将视频文件相应的信息文件加载到视频文件中,信息文件包括:拍摄设备ID、视频文件录制时间、人脸识别记录;人脸识别记录包括被识别出的人员的ID号、被识别出的人的坐标信息;摄像头还将生成的视频文件和相应的信息文件发送到服务器;
服务器预存了用于人脸匹配的预存的人脸照片,并将预存的人脸照片发送给摄像头,服务器还接收并存储摄像头输出的视频文件和相应的信息文件;
服务器还用于根据被识别出的人的ID号查找出多个待处理视频文件,待处理视频文件相应的人脸识别记录中包含被识别出的人的ID号;服务器还用于提取每一个待处理视频文件中的帧图像,并依次在帧图像中判断被识别出的人的坐标信息是否在预设的图像区域,如果是,则保留帧图像,如果否,则删除帧图像,生成帧图像序列,并将多个帧图像序列按照视频文件录制时间的先后顺序合并为一个视频文件集;
服务器还用于将视频文件集发送到预设的网络地址并存储。
作为本发明的优选方案,摄像头为多个摄像头,每个摄像头安装在不同的位置,位置信息与拍摄设备ID一一对应;
摄像头还存储了每一个预存的人脸照片相应的识别标识,识别标识用于标记是否采用预存的人脸照片进行人脸识别;
当其中一个摄像头拍摄的照片里的人脸与预存的人脸照片中的人脸匹配时,摄像头将自身的拍摄设备ID、识别出的人的编号发送到服务器,服务器根据摄像头自身的拍摄设备ID,筛选出部分其它拍摄设备ID,在预设的停止识别时间段内,将部分其它摄像头中的识别出的人的编号相应的识别标识设定为“无需识别”,所述部分其它摄像头与筛选出的所述部分其它拍摄设备ID相对应,所述部分其它摄像头在进行人脸识别时不使用识别标识为“无需识别”的人脸照片;
当时间长度超出预设的停止识别时间段时,识别出的人的编号相应的识别标识恢复为“启动识别”。
作为本发明的优选方案,搜索筛选出部分拍摄设备ID的筛选的依据是:与发送自身的拍摄设备ID的摄像头的距离和/或课程表中的信息。
作为本发明的优选方案,根据课程表中的时间信息和地点信息,打开或关闭拍摄设备ID相应的摄像头。
与现有技术相比,本发明的有益效果:
1、由于本发明的方法和系统的使用,在人脸识别的同时,给识别出的每个人增加了位置和时间信息,通过位置信息,对视频进行了裁剪,获得了拍摄“特写”的图像,将一系列“特写”的图像按照时间顺序进行组合,并定时发送给相关人员下载观看。
2、进一步的,本发明针对学生在校学习生活的规律性,改进了人脸识别的方法(如果其中一个摄像头在某一时刻识别出了某一个学生,其他距离较远的摄像头在进行识别时,即可自动排除识别该学生)提高了人脸识别的效率。
3、进一步的,本发明是根据预存的学生图片,首先将摄像头拍摄的图片进行人脸识别,识别后,才进行视频跟踪拍摄,而不是将视频拍摄完毕后再识别,这样的改进使得摄像头拍摄的视频都是已识别成功的人脸,减少了不必要的拍摄,拍摄量大幅度降低,也为后期的视频剪辑减少了工作量,效率显著提升。
4、另外,由于学生的在校学习生活具有较强的规律性,因此可以根据课程表中的课程时间安排,打开或关闭所述拍摄设备ID相应的摄像头,例如,某一时间段学校操场没有学生,则操场上的拍摄设备ID相应的摄像头自动关闭,待课程表中有在操场的活动内容时才开启操场上的拍摄设备ID相应的摄像头。
附图说明:
图1为本发明实施例1中一种基于人脸识别的定制化视频内容产生方法的流程图;
图2为本发明实施例2中的一种基于人脸识别的定制化视频内容产生系统结构图。
具体实施方式
下面结合试验例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例,凡基于本发明内容所实现的技术均属于本发明的范围。
实施例1
A、拍摄包括人脸的照片;
B、对包括人脸的照片进行人脸识别,人脸识别是指查找是否有预存的人脸照片与包括人脸的照片中的人脸匹配,如果是,则持续拍摄包括人脸的照片对应的人,生成视频文件;
C、将视频文件相应的信息文件加载到视频文件中,信息文件包括:拍摄设备ID、视频文件录制时间、人脸识别记录;人脸识别记录包括被识别出的人员的ID号、被识别出的人的坐标信息;
D、根据被识别出的人的ID号查找出多个待处理视频文件,待处理视频文件相应的人脸识别记录中包含被识别出的人的ID号;
E、提取每一个待处理视频文件中的帧图像,并依次在帧图像中判断被识别出的人的坐标信息是否在预设的图像区域,如果是,则保留帧图像,如果否,则删除帧图像,生成帧图像序列;
F、将多个帧图像序列按照视频文件录制时间的先后顺序合并为一个视频文件集;
G、将视频文件集发送到预设的网络地址并存储。
其中,作为具体的实施例,步骤A中,包括人脸的照片由摄像头拍摄,更具体的场景是,在校园内部安装具备人脸识别功能的摄像头,这些摄像头安装在学生经常出现的位置。摄像头同时具备人脸识别、照片拍摄、视频录制和保存视频文件的功能,而且,拍摄到的图像中,若同时包含多个人脸,则快速地识别多个人脸。
作为优选方案,所述步骤B中,持续拍摄包括已识别出的人脸对应的人,生成视频文件的步骤包括:拍摄所述包括人脸的照片对应的人,生成视频文件;以预设的时间间隔,从所述视频文件中提取图像帧,并将所述图像帧与所述预存的人脸照片进行匹配,如果人脸匹配,则继续录制视频文件,直到摄像头拍摄的视频或图像中没有人脸;如果人脸不匹配,停止视频录制。
更具体的实施例为,在校园内部机房运行一个校园图像视频处理专用软件系统(以下简称“图像系统”)。图像系统以数据库方式保存学生ID和相应的家长信息,学生ID和相应的家长信息在学生入校注册时一次性录入。图像系统记录校园内每个摄像头(以摄像头ID表示)的安装位置(比如操场、阅览室、电教室、食堂等),并将所有学生的人脸照片和相应的学生ID上传到各个摄像头中,作为每个摄像头进行人脸识别的依据。每个摄像头都存储了所有学生的人脸照片和相应的学生ID,若摄像头存储空间不够,可采用具有SSD卡的摄像头,通过SSD卡对摄像头的存储空间扩容。每次摄像头识别到人脸进入镜头,而且识别其中有某个人或某些人是在校学生时,即开启视频文件录制,而且创建一个对应的信息文件,将摄像头的ID记录到该信息文件中;然后,一边录制,一边周期性地对图像帧进行人脸识别,并将识别结果追加记录到信息文件中,如此持续直到画面中没有识别到任何人脸为止。录制完成后,摄像头将视频文件以及相应的信息文件传给图像系统。周期性识别的时间小于或等于1秒,也可以是其他取值。
步骤C中,将信息文件加载到已经录制完毕的视频文件中,信息文件包含了摄像头ID,视频录制时间,以及若干条人脸识别记录。每条人脸识别记录包含:识别时间点(相当于视频开头的时间,以秒计),该时间点识别到的学生的ID,以及这些学生在视频图像帧中的坐标的信息,该文件的格式如表1所示(举例):
表1信息文件内容
Figure BDA0002494762970000101
上表人脸识别记录表示视频长度为30秒,开始时(第0秒)检测到人员ID1,坐标为(X1,Y1)及人员ID2,坐标为(X2,Y2),第1秒时检测到人员ID3,坐标为(X3,Y3)及人员ID4,坐标为(X4,Y4),余类推。坐标表示某个人的人脸的中心点在视频图像帧的相对位置(以像素计)。以上人脸识别周期为1秒(每1秒识别一次图像中的人脸),在实际应用中,该周期可以灵活调整。
图像系统将各个摄像头传来的、包含学生的视频文件及其对应的信息文件都加以保存。步骤D到G,通过以下具体实施例来说明其工作原理:
图像系统选择一个固定、有空闲的时段(比如凌晨3点或其他时间点),开始对之前固定时间段(比如1天)内的视频内容进行处理。具体地,处理如下:
1)查找系统数据库中的学生列表,找到学生的身份ID;
2)为该学生创建一个保存其视频剪辑的临时文件夹;
3)依次打开各个录制视频文件及其对应信息文件,进行如下处理:
3.1查询信息文件中有该学生ID的各个时间点,并据此将视频文件中,该学生连续存在、而且其在图像中的位置比较合适(比如,不是处于图像的边缘位置,这可以根据该学生然连在图像帧中的坐标来判断)的视频片段裁剪出来。举例,如果某个视频前15秒钟都有该学生存在(识别到他的人脸),而且他在这一段视频中都处于相对居中的坐标位置,则将该视频的前15秒钟进行剪切。
3.2根据信息文件头部的摄像头ID,查找数据库得到摄像头安装位置(比如“食堂”、“阅览室”、“田径场”之类);获取信息文件头部的拍摄时间。然后在剪切视频片段中添加拍摄位置、时间文字水印;
A)将处理好的视频片段拷贝到临时文件夹中。
4)如果指定时段之内、包含该学生的所有视频都已经处理完毕,则将该学生临时文件夹中的所有视频片段按照拍摄时间先后顺序(或者其他顺序比如按照拍摄场所类型不同进行排序)进行拼接组合,组成一个大的视频文件,然后给视频配上与活动场景相匹配的伴音(具备轻松、活泼、新潮等特点);该文件即为该学生在本时段之内的视频剪辑文件,图像系统将该文件保存、归档,然后将临时文件夹删除;
5)循环1)-4)步,直到所有的在校学生的视频剪辑文件都已经产生完毕;
6)如果所有学生的视频剪辑都已经产生完毕,则删除该时段内各个摄像头上传的原始视频文件和信息文件,以节省图像系统的磁盘空间。
随后,图像系统将学生某时段之内视频剪辑已经产生完毕的消息通过互联网发送到预存的网络地址并存储,通知学生家长,学生家长即可下载该视频进行观看。
作为优选方案,步骤3.1中,判断识别出的学生在这一段视频中是否处于相对居中的坐标位置,是根据人脸图像在视频帧图像中像素坐标位置与中心区域的关系确定的,并且中心区域可根据需要提前设置,例如,中心区域可以是以图像中心像素点为参考点的矩形、或圆形区域,也可以是以指定图像中某个像素点为参考点的某个区域。
进一步的,预设的中心区域可以是以图像中心像素点为中心点的边长为K的区域,例如K的范围是
Figure BDA0002494762970000121
L取M和N里值较小的一个,M是帧图像中像素横坐标的最大值,N是帧图像中像素纵坐标的最大值,若M=N,则L=M=N。
特别的,中心区域可以是
Figure BDA0002494762970000122
四条线围起来的区域,x是帧图像的像素横坐标,y是帧图像的像素纵坐标,M是帧图像中像素横坐标的最大值,N是帧图像中像素纵坐标的最大值。
如果人脸图像的中心像素坐标在中心区域,则判定该学生处于相对居中的坐标位置,当人脸图像的中心像素坐标在中心区域以外时,则判定该学生处于边缘位置,处于边缘位置的视频帧图像就可以删除,不再进行后续的视频拼接组合。
特别的,当拍摄的照片包含多个人脸时,对多个人脸同时进行人脸识别,因此信息文件中包括多个人脸相应的人脸识别记录,如表1中的00:01时刻,识别出的人员包括ID3,ID4,ID5,ID3的坐标位置为(X3,Y3),ID4的坐标位置为(X4,Y4),ID5的坐标位置为(X5,Y5),在基于学生的身份ID查找视频文件时,该视频文件在ID3,ID4和ID5的学生视频拼接组合前,均会被选中,存入各自的临时文件夹。
作为本发明的优选方案,各个摄像头中不仅预存了所有学生的人脸照片、学生ID,还预存了各个学生人脸照片相应的识别标识,识别标识用于标记是否采用相应的预存的人脸照片进行人脸识别,该识别标识的状态包括“启动识别”或“无需识别”,各个摄像头根据识别标识判断在进行人脸识别时,是否将该人脸照片用于人脸匹配识别。初始化以后,预存的所有学生的人脸照片的识别标识均为“启动识别”的状态,当其中一个摄像头识别出一个学生人脸的时候,该摄像机通知部分其它摄像头,该学生人脸已经被摄像头识别、在部分其它摄像头中设置该学生的照片为“无需识别”,部分其它摄像头在一定时间段内(2分钟或者1分钟,时间长度根据需求设定)不需要识别该学生。例如操场上的摄像头已经识别出了学生人脸Y,识别出学生人脸Y的摄像头ID号为Z,则位于教室或者阅览室的摄像头,无需对该学生人脸Y进行识别。
“无需识别”的识别标识的状态也不是一经标记就不再改变的,通常,根据该摄像头的位置,确定在一定时间段之内不需要识别该人员的摄像头(根据与该摄像头安装位置的距离判断和/或根据该学生的课程表安排),然后通知这些摄像头,将其内置数据库中该人员的识别标志设置为“无需识别”;等到时间段已过,再恢复将该人员的识别标志设置为“启动识别”。
另外,由于学生的在校学习生活具有较强的规律性,因此可以根据课程表中的课程时间安排,打开或关闭所述拍摄设备ID相应的摄像头,例如,某一时间段学校操场没有学生,则操场上的拍摄设备ID相应的摄像头自动关闭,待课程表中有在操场的活动内容时才开启操场上的拍摄设备ID相应的摄像头。又例如,通过课程表中的课程时间安排可以看到星期一下午,阅览室处于关闭状态,则位于阅览室的摄像头关闭,星期二下午,阅览室有某个班级有阅读课,则位于阅览室的摄像头开启,并开始基于人脸识别的视频录制。
实施例2
基于相同的构思,还提出了一种基于人脸识别的定制化视频内容产生系统,包括摄像头、服务器。
摄像头内置人脸识别的算法,摄像头接收并存储服务器发送的预存的人脸照片和相应的编号。摄像头采用人脸识别的算法,并根据预存的人脸照片,进行人脸识别,判断拍摄的照片里人脸是否与预存的人脸照片中的人脸匹配,当匹配时,持续拍摄识别出的人,生成视频文件;将生成的视频文件发送到服务器;
服务器预存了用于人脸匹配的预存的人脸照片,并将预存的人脸照片发送给摄像头,服务器还接收并存储摄像头输出的视频文件,并将视频文件相应的信息文件加载到视频文件中,信息文件包括:拍摄设备ID、视频文件录制时间、人脸识别记录;人脸识别技术包括被识别出的人员的ID号、被识别出的人的坐标信息;
服务器还用于根据所述被识别出的人的ID号查找出多个待处理视频文件,所述待处理视频文件相应的人脸识别记录中包含所述被识别出的人的ID号;所述服务器还用于提取每一个所述待处理视频文件中的帧图像,并依次在所述帧图像中判断被识别出的人的坐标信息是否在预设的图像区域,如果是,则保留所述帧图像,如果否,则删除所述帧图像,生成帧图像序列,并将多个所述帧图像序列按照所述视频文件录制时间的先后顺序合并为一个视频文件集;
所述服务器还用于将所述视频文件集发送到预设的网络地址并存储。
摄像头为多个摄像头,每个摄像头安装在不同的位置,位置信息与所述拍摄设备ID一一对应。
一种具体的实施例如图2所示。
服务器内置了图像系统,图像系统中存储了学生信息和家长信息,学生信息包括人脸照片和学生ID号码,包括人脸照片和学生ID号码的学生信息存储在图像系统的人脸照片数据库中,图像系统还存储了摄像头的信息,摄像头信息至少包括了摄像头的ID号码,摄像头的ID与摄像头安装的位置呈一一对应关系。例如,摄像头ID对应的位置有安装位置有操场、阅览室、电教室、食堂等。
摄像头同时具备人脸识别、照片拍摄、视频录制和保存的功能,而且,拍摄到的图像中,若同时包含多个人脸,则应可以快速地识别多个人脸。摄像头从图像系统中读取学生ID和学生面部照片,并根据面部照片,对拍摄到的人脸进行识别,若识别出了学生ID,则将跟踪拍摄的视频录像加上了相应的信息文件,发送给图像系统。
图像系统对视频录像定时进行处理,通过学生视频剪辑的功能,生成各个学生的视频剪辑。
图像系统将视频剪辑发送到每个学生相应的网络地址上,并发送消息给学生家长的家长终端,学生家长通过家长终端收到通知,即可选择从网络地址上下载自己小孩在学校的视频剪辑到自己的家长终端,并播放观看,共享给家人,还可以用来发抖音、B站等。
作为优选方案,由于学生在学校里的学习生活具有一定的规律性,例如,如果该学生在某一时间段在阅览室读书,则位于阅览室的摄像头就可以实现对该学生的人脸识别和视频录制,而其他摄像头在进行人脸识别时就可以不再考虑该同学的人脸识别,这样可以减少摄像头在人脸识别时查找学生面部照片的时间,提高效率。
具体的,图像系统根据实时解析各个摄像头提交的信息文件,如果发现某个学生出现在某个摄像头,那么他在此后一段时间之内就不可能出现在某些其他摄像头内(与该摄像头安装距离较远的那些,比如学生出现在操场,那么认为他2分钟之内不会出现在教室和宿舍),那么图像系统可以通知部分其他摄像头在一定时间之内不用识别该学生(但不用删除摄像头上的学生照片),这样总体提升摄像头进行人脸识别的速度。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于人脸识别的定制化视频内容产生方法,其特征在于,包括以下步骤:
A、拍摄包括人脸的照片;
B、对所述包括人脸的照片进行人脸识别,所述人脸识别是指查找是否有预存的人脸照片与所述包括人脸的照片中的人脸匹配,如果是,则持续拍摄所述包括人脸的照片对应的人,生成视频文件;
C、将所述视频文件相应的信息文件加载到所述视频文件中,所述信息文件包括:拍摄设备ID、视频文件录制时间、人脸识别记录;所述人脸识别记录包括被识别出的人员的ID号、被识别出的人的坐标信息;
D、根据所述被识别出的人的ID号查找出多个待处理视频文件,所述待处理视频文件相应的人脸识别记录中包含所述被识别出的人的ID号;
E、提取每一个所述待处理视频文件中的帧图像,并依次在所述帧图像中判断被识别出的人的坐标信息是否在预设的图像区域,如果是,则保留所述帧图像,如果否,则删除所述帧图像,生成帧图像序列;
F、将多个所述帧图像序列按照所述视频文件录制时间的先后顺序合并为一个视频文件集;
G、将所述视频文件集发送到预设的网络地址并存储。
2.根据权利要求1所述的一种基于人脸识别的定制化视频内容产生方法,其特征在于,当拍摄的所述包括人脸的照片里包含多个人脸时,对所述多个人脸同时进行人脸识别,并且所述信息文件中包括所述多个人脸相应的人脸识别记录,每一个人脸相应的人脸识别记录包括被识别出的人员的ID号、被识别出的人的坐标信息。
3.根据权利要求2所述的一种基于人脸识别的定制化视频内容产生方法,其特征在于,当多个拍摄设备拍摄照片并进行人脸识别时,每一个所述预存的人脸照片还有相应的编号和识别标识,所述识别标识用于标记是否采用所述预存的人脸照片进行人脸识别;
当其中一个拍摄设备拍摄的照片里的人脸与预存的人脸照片中的人脸匹配时,人脸识别成功,在预设的停止识别时间段内,将部分其它拍摄设备中的人脸识别成功的人脸照片相应的识别标识设置为“无需识别”,所述部分其它拍摄设备在进行人脸识别时不使用所述人脸识别成功的人脸照片;
当时间长度超出所述预设的停止识别时间段时,将所述人脸识别成功的人脸照片相应的识别标识恢复为“启动识别”。
4.根据权利要求3所述的一种基于人脸识别的定制化视频内容产生方法,其特征在于,所述步骤B中,持续拍摄所述包括人脸的照片对应的人,生成视频文件的步骤包括:
拍摄所述包括人脸的照片对应的人,生成视频文件;
以预设的时间间隔,从所述视频文件中提取图像帧,并将所述图像帧与所述预存的人脸照片进行匹配,如果人脸匹配,则继续录制视频文件,直到视频文件中没有人脸;如果人脸不匹配,停止视频录制。
5.根据权利要求4所述的一种基于人脸识别的定制化视频内容产生方法,其特征在于,所述预设的图像区域是以图像中心像素点为中心点,并且边长为K的区域,K的范围是
Figure FDA0002494762960000021
L取M和N中的较小值,其中,M是帧图像中像素横坐标的最大值,N是帧图像中像素纵坐标的最大值。
6.根据权利要求5所述的一种基于人脸识别的定制化视频内容产生方法,其特征在于,所述被识别出的人的坐标信息是人脸中心点在所述包括人脸的照片中的像素坐标。
7.一种基于人脸识别的定制化视频内容产生系统,其特征在于,包括摄像头、服务器;
所述摄像头内置人脸识别的算法,所述摄像头接收并存储所述服务器发送的预存的人脸照片和相应的编号,所述摄像头根据人脸识别的算法判断拍摄的照片里人脸是否与所述预存的人脸照片中的人脸匹配,当匹配时,持续拍摄所述包括人脸的照片对应的人,生成视频文件,并同时将所述视频文件相应的信息文件加载到所述视频文件中,所述信息文件包括:拍摄设备ID、视频文件录制时间、人脸识别记录;所述人脸识别记录包括被识别出的人员的ID号、被识别出的人的坐标信息;所述摄像头还将生成的所述视频文件和相应的信息文件发送到所述服务器;
所述服务器预存了用于人脸匹配的预存的人脸照片,并将所述预存的人脸照片发送给所述摄像头,所述服务器还接收并存储所述摄像头输出的所述视频文件和相应的信息文件;
所述服务器还用于根据所述被识别出的人的ID号查找出多个待处理视频文件,所述待处理视频文件相应的人脸识别记录中包含所述被识别出的人的ID号;所述服务器还用于提取每一个所述待处理视频文件中的帧图像,并依次在所述帧图像中判断被识别出的人的坐标信息是否在预设的图像区域,如果是,则保留所述帧图像,如果否,则删除所述帧图像,生成帧图像序列,并将多个所述帧图像序列按照所述视频文件录制时间的先后顺序合并为一个视频文件集;
所述服务器还用于将所述视频文件集发送到预设的网络地址并存储。
8.根据权利要求7所述的一种基于人脸识别的定制化视频内容产生系统,其特征在于,所述摄像头为多个摄像头,每个摄像头安装在不同的位置,位置信息与所述拍摄设备ID一一对应;
所述摄像头还存储了每一个所述预存的人脸照片相应的识别标识,所述识别标识用于标记是否采用所述预存的人脸照片进行人脸识别;
当其中一个摄像头拍摄的照片里的人脸与所述预存的人脸照片中的人脸匹配时,所述摄像头将自身的拍摄设备ID、识别出的人的编号发送到所述服务器,所述服务器根据所述摄像头自身的拍摄设备ID,筛选出部分其它拍摄设备ID,在预设的停止识别时间段内,将部分其它摄像头中的所述识别出的人的编号相应的识别标识设定为“无需识别”,所述部分其它摄像头与筛选出的所述部分其它拍摄设备ID相对应,所述部分其它摄像头在进行人脸识别时不使用识别标识为“无需识别”的人脸照片;
当时间长度超出所述预设的停止识别时间段时,所述识别出的人的编号相应的识别标识恢复为“启动识别”。
9.根据权利要求8所述的一种基于人脸识别的定制化视频内容产生系统,其特征在于,搜索筛选出部分拍摄设备ID的筛选的依据是:与所述发送自身的拍摄设备ID的摄像头的距离和/或课程表中的信息。
10.根据权利要求8所述的一种基于人脸识别的定制化视频内容产生系统,其特征在于,根据课程表中的时间信息和地点信息,打开或关闭所述拍摄设备ID相应的摄像头。
CN202010415311.XA 2020-05-15 2020-05-15 一种基于人脸识别的定制化视频内容产生方法和系统 Active CN111614899B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010415311.XA CN111614899B (zh) 2020-05-15 2020-05-15 一种基于人脸识别的定制化视频内容产生方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010415311.XA CN111614899B (zh) 2020-05-15 2020-05-15 一种基于人脸识别的定制化视频内容产生方法和系统

Publications (2)

Publication Number Publication Date
CN111614899A true CN111614899A (zh) 2020-09-01
CN111614899B CN111614899B (zh) 2021-11-23

Family

ID=72201922

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010415311.XA Active CN111614899B (zh) 2020-05-15 2020-05-15 一种基于人脸识别的定制化视频内容产生方法和系统

Country Status (1)

Country Link
CN (1) CN111614899B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112001357A (zh) * 2020-09-07 2020-11-27 杨仙莲 目标识别检测方法及系统
CN113949925A (zh) * 2021-10-15 2022-01-18 深圳市智此一游科技服务有限公司 视频生成方法、装置及服务器
CN114286171A (zh) * 2021-08-19 2022-04-05 腾讯科技(深圳)有限公司 视频处理方法、装置、设备及存储介质
CN115734007A (zh) * 2022-09-22 2023-03-03 北京国际云转播科技有限公司 视频剪辑方法、装置、介质及视频处理系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080080743A1 (en) * 2006-09-29 2008-04-03 Pittsburgh Pattern Recognition, Inc. Video retrieval system for human face content
CN103336948A (zh) * 2013-06-24 2013-10-02 深圳锐取信息技术股份有限公司 一种基于人脸识别的视频跟踪方法
CN105744292A (zh) * 2016-02-02 2016-07-06 广东欧珀移动通信有限公司 一种视频数据的处理方法及装置
CN106559654A (zh) * 2016-11-18 2017-04-05 广州炫智电子科技有限公司 一种人脸识别监控采集系统及其控制方法
CN110046581A (zh) * 2019-04-18 2019-07-23 广东德融汇科技有限公司 一种基于生物识别技术的校园智慧课堂系统及拍摄分类方法
CN110278399A (zh) * 2018-09-29 2019-09-24 新华智云科技有限公司 一种景点参观视频自动生成方法、系统、设备和存储介质
CN111061914A (zh) * 2019-12-10 2020-04-24 懂频智能科技(上海)有限公司 一种基于人脸识别技术选取特定人脸视频片段的方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080080743A1 (en) * 2006-09-29 2008-04-03 Pittsburgh Pattern Recognition, Inc. Video retrieval system for human face content
CN103336948A (zh) * 2013-06-24 2013-10-02 深圳锐取信息技术股份有限公司 一种基于人脸识别的视频跟踪方法
CN105744292A (zh) * 2016-02-02 2016-07-06 广东欧珀移动通信有限公司 一种视频数据的处理方法及装置
CN106559654A (zh) * 2016-11-18 2017-04-05 广州炫智电子科技有限公司 一种人脸识别监控采集系统及其控制方法
CN110278399A (zh) * 2018-09-29 2019-09-24 新华智云科技有限公司 一种景点参观视频自动生成方法、系统、设备和存储介质
CN110046581A (zh) * 2019-04-18 2019-07-23 广东德融汇科技有限公司 一种基于生物识别技术的校园智慧课堂系统及拍摄分类方法
CN111061914A (zh) * 2019-12-10 2020-04-24 懂频智能科技(上海)有限公司 一种基于人脸识别技术选取特定人脸视频片段的方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112001357A (zh) * 2020-09-07 2020-11-27 杨仙莲 目标识别检测方法及系统
CN112001357B (zh) * 2020-09-07 2022-02-11 江苏炎颂科技有限公司 目标识别检测方法及系统
CN114286171A (zh) * 2021-08-19 2022-04-05 腾讯科技(深圳)有限公司 视频处理方法、装置、设备及存储介质
CN113949925A (zh) * 2021-10-15 2022-01-18 深圳市智此一游科技服务有限公司 视频生成方法、装置及服务器
CN115734007A (zh) * 2022-09-22 2023-03-03 北京国际云转播科技有限公司 视频剪辑方法、装置、介质及视频处理系统
CN115734007B (zh) * 2022-09-22 2023-09-01 北京国际云转播科技有限公司 视频剪辑方法、装置、介质及视频处理系统

Also Published As

Publication number Publication date
CN111614899B (zh) 2021-11-23

Similar Documents

Publication Publication Date Title
CN111614899B (zh) 一种基于人脸识别的定制化视频内容产生方法和系统
US9224425B2 (en) Time stamped imagery assembly for course performance video replay
Erol et al. Retrieval of Presentation Recordings with Digital Camera Images
JP2016119508A (ja) 方法、システム及びプログラム
CN105407261A (zh) 图像处理装置、方法以及电子设备
CN105704386B (zh) 一种图像获取方法、电子设备及电子装置
US20230260313A1 (en) Method for identifying potential associates of at least one target person, and an identification device
CN111654619A (zh) 智能拍摄方法、装置、服务器及存储介质
JP2004222056A (ja) 画像保管方法および装置並びにプログラム
JP2016181808A (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
CN110166694A (zh) 拍照提示方法及装置
CN105072478A (zh) 一种基于可穿戴设备的人生记录系统及其方法
JP5124994B2 (ja) 画像再生システム、デジタルカメラ、および画像再生装置
US20040239983A1 (en) Apparatus, method, and program for recording images
CN108540817B (zh) 视频数据处理方法、装置、服务器及计算机可读存储介质
CN110415318B (zh) 图像处理方法和装置
JP2004356985A (ja) カメラ撮影装置およびプログラム
CN106231198A (zh) 拍摄图像的方法及装置
WO2016072130A1 (ja) 情報処理装置
JP2010041527A (ja) 撮影支援方法、システム、プログラム
CN117897930A (zh) 用于混合在线会议的流式数据处理
CN108848366B (zh) 基于3d摄像机的信息获取装置及方法
JP4882525B2 (ja) 画像再生システム、デジタルカメラ、および画像再生装置
KR101716109B1 (ko) 복수의 영상의 시간 동기화 방법 및 이러한 방법을 사용하는 멀티 영상 재생 시스템
CN113596317B (zh) 实景拍摄影像保全方法、终端和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant