CN103079092A - 在视频中获取人物信息的方法和装置 - Google Patents

在视频中获取人物信息的方法和装置 Download PDF

Info

Publication number
CN103079092A
CN103079092A CN2013100410942A CN201310041094A CN103079092A CN 103079092 A CN103079092 A CN 103079092A CN 2013100410942 A CN2013100410942 A CN 2013100410942A CN 201310041094 A CN201310041094 A CN 201310041094A CN 103079092 A CN103079092 A CN 103079092A
Authority
CN
China
Prior art keywords
video
people
people information
frame
label
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2013100410942A
Other languages
English (en)
Other versions
CN103079092B (zh
Inventor
安博
石腾
张仁宙
杨晓峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201310041094.2A priority Critical patent/CN103079092B/zh
Publication of CN103079092A publication Critical patent/CN103079092A/zh
Application granted granted Critical
Publication of CN103079092B publication Critical patent/CN103079092B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Character Discrimination (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供了一种在视频中获取人物信息的方法和装置,所述方法包括:在为终端播放视频的过程中,接收所述终端发送的获取人物信息的第一请求;根据所述第一请求确定未查找到第一人物信息元数据,向所述终端发送存储的与所述第一视频标识对应的多个人物信息;接收所述终端根据所述多个人物信息发送的保存人物信息元数据请求;检测包含所述第一指定位置的坐标的第一人脸区域,保存所述第一人脸区域、所述第一人物标识、所述第一视频标识、以及所述第一视频帧标识的关联关系。使用本发明,能够实现不需要服务器事先对视频进行完整的预处理,节省了计算资源和存储资源。

Description

在视频中获取人物信息的方法和装置
技术领域
本发明涉及通信网络技术领域,尤其涉及在视频中获取人物信息的方法和装置。
背景技术
随着数字媒体与互联网的发展,越来越多的视频内容充斥于人们的生活之中,随之而来的,还有视频中包含的大量信息。这些信息既包括视频本身的信息,如该视频的制作年份、上映地区、演职员信息(即演员职员表)、内容简介等;也包括了视频中的人物信息,如视频中某个演员的身份信息、演艺历程、出演的其它作品、代言广告、社交网络业务(Social NetworkingServices,SNS)信息等。
在现有的一些交互式视频或者社交电视(Social TV)业务中,用户在观看视频过程中,如果对视频画面中的某一人物感兴趣时,可以实时获得该人物的信息。比如当用户通过具有可触摸屏的移动终端观看视频时、点击可触摸屏中视频画面中人物的人脸,可以获得该视频中的该人物信息。
现有技术中,为了实现以上场景,通常采用的方式是服务器使用人脸识别技术,事先将视频中的所有帧都进行处理,获取帧中的所有人脸区域,然后将这些人脸区域与特定的人物信息的关联关系存入服务器中;当用户请求画面中某一人物的详细信息时,则通过用户所点击的位置,在服务器中查找覆盖该画面的该点击位置的人脸区域关联的人物信息。
现有技术中,为正确响应用户请求,需要对视频中所有帧进行预处理并存储,导致占用服务器大量的计算资源以及存储资源。然而用户通常只对部分视频帧的人物感兴趣,从而导致服务器的计算资源以及存储资源的浪费。
发明内容
本发明实施例提供了一种在视频中获取人物信息的方法和装置,用于降低视频预处理的时间开销,节省计算资源和存储资源。
第一方面,本发明实施例提供的一种在视频中获取指定位置人物信息的方法,服务器中预先存储与所述视频对应的人物信息元数据,所述人物信息元数据包含视频标识、视频帧标识、人脸区域、以及人物标识,所述方法包括:在为终端播放视频的过程中,接收所述终端发送的获取指定位置人物信息的第一请求,所述第一请求包含第一视频标识、第一视频帧标识以及第一指定位置的坐标;在所述存储的人物信息元数据中查找第一人物信息元数据以及确定未查找到所述第一人物信息元数据,所述第一人物信息元数据中的视频标识和视频帧标识分别与所述第一视频标识和所述第一视频帧标识相同,且所述第一人物信息元数据中的人脸区域包含所述第一指定位置的坐标;向所述终端发送存储的与所述第一视频标识对应的多个人物信息,所述人物信息包含人物标识和人物展示信息;接收所述终端发送的保存人物信息元数据请求,所述保存人物信息元数据请求包含第一人物标识,所述第一人物标识为根据所述与所述第一视频标识对应的多个人物信息选择的第一人物展示信息对应的人物标识;在与所述第一视频标识对应的第一视频中确定与所述第一视频帧标识对应的第一视频帧,并在所述第一视频帧中检测包含所述第一指定位置的坐标的第一人脸区域;保存所述第一人脸区域、所述第一人物标识、所述第一视频标识、以及所述第一视频帧标识的关联关系。
在第一方面的第一种可能的实现方式中,向所述终端发送存储的与所述第一视频标识对应的多个人物信息之前,该方法进一步包括:向所述终端返回针对所述第一请求的失败响应;接收所述终端根据所述针对所述第一请求的失败响应发送的指认人物请求。
结合第一方面或第一方面的第一种可能的实现方式,在第二种可能的实现方式中:
所述保存所述第一人脸区域、所述第一人物标识、所述第一视频标识、以及所述第一视频帧标识的关联关系之前,该方法进一步包括:根据所述存储的人物信息元数据,获取与所述第一人物标识关联的视频帧的人脸区域中的人脸;将所述第一视频帧的第一人脸区域中的人脸与所述与所述第一人物标识关联的视频帧的人脸区域中的人脸进行匹配;确定所述匹配达到指定的条件;
所述保存所述第一人脸区域、所述第一人物标识、所述第一视频标识、以及所述第一视频帧标识的关联关系具体为:根据所述确定所述匹配达到指定的条件,保存所述第一人脸区域、所述第一人物标识、所述第一视频标识、以及所述第一视频帧标识的关联关系。
结合第一方面或第一方面的第一种可能的实现方式或第一方面的第二种可能的实现方式,在第三种可能的实现方式中,该方法还包括:在与所述第一视频标识对应的视频中,确定与所述第一视频帧相邻的第三视频帧中包含所述第一视频帧的第一人脸区域中的人脸;获取所述第三视频帧的视频帧标识以及所述第三视频帧中包含的第三人脸区域,所述第三人脸区域包含所述第一视频帧的第一人脸区域中的人脸;保存所述第一视频标识、所述第一人物标识、所述第三视频帧的视频帧标识、以及所述第三人脸区域的关联关系。
结合第一方面以及第一方面的第一至第三种可能的实现方式中的任意一个,在第四种可能的实现方式中,该方法还包括:接收所述终端发送的获取指定位置人物信息的第二请求,所述第二请求包含第二视频标识、第二视频帧标识以及第二指定位置的坐标;在所述存储的人物信息元数据中查找第二人物信息元数据,所述第二人物信息元数据中的视频标识和视频帧标识分别与所述第二视频标识和所述第二视频帧标识相同,且所述第二人物信息元数据中的人脸区域包含所述第二指定位置的坐标,所述第二人物信息元数据包含第二人物标识以及第二人脸区域;根据所述第二人物标识获取包含所述第二人物标识的第二人物信息,向所述终端发送所述第二人物信息;接收所述终端根据所述第二人物信息而发送的纠错请求;根据所述纠错请求,向所述终端发送存储的与所述第二视频标识对应的多个人物信息,所述人物信息包含人物标识和人物展示信息;接收所述终端发送的更新人物信息元数据请求,所述更新人物信息元数据请求包含第三人物标识,所述第三人物标识为根据所述与所述第二视频标识对应的多个人物信息选择的第二人物展示信息对应的人物标识;在所述存储的人物信息元数据中将所述第二人物信息元数据中的第二人物标识替换为所述第三人物标识。
第二方面,本发明实施例提供的一种在视频中获取指定位置人物信息的方法包括:在播放视频过程中,接收获取指定位置人物信息的第一指令;根据所述第一指令向服务器发送获取指定位置人物信息的第一请求,所述第一请求包含第一视频标识、第一视频帧标识以及第一指定位置的坐标;接收所述服务器确定未查找到第一人物信息元数据后发送的与所述第一视频标识对应的多个人物信息,所述第一人物信息元数据的视频标识和视频帧标识分别与所述第一视频标识和所述第一视频帧标识相同,且所述第一人物信息元数据的人脸区域包含所述第一指定位置的坐标,所述人物信息包含人物标识和可展示人物信息;接收第一选择人物指令,所述第一选择人物指令包含第一人物展示信息,所述第一人物展示信息为根据所述与所述第一视频标识对应的多个人物信息选择的人物展示信息;根据所述第一人物展示信息获取与所述第一人物展示信息对应的第一人物标识;向所述服务器发送保存人物信息元数据请求,所述保存人物信息元数据包含所述第一人物标识,以便于所述服务器确定包含所述第一指定位置的坐标的第一人脸区域后,保存所述第一人脸区域、所述第一人物标识、所述第一视频标识、以及所述第一视频帧标识的关联关系。
在第二方面的第一种可能的实现方式中,接收所述服务器确定未查找到第一人物信息元数据后发送的与所述第一视频标识对应的多个人物信息之前,该方法进一步包括:接收所述服务器发送的针对所述第一请求的失败响应后呈现指认提示,所述指认提示用于提示用户对包含所述第一指定位置的坐标的人脸进行指认;接收根据所述指认提示发起的指认指令,向所述服务器发送指认人物请求。
结合第二方面或第二方面的第一种可能的实现方式,在第二种可能的实现方式中,该方法还包括:接收获取指定位置人物信息的第二指令;向所述服务器发送获取指定位置人物信息的第二请求,所述第二请求包含第二视频标识、第二视频帧标识以及第二指定位置的坐标;接收所述服务器查找到第二人物信息元数据并获取包含第二人物标识的第二人物信息后发送的所述第二人物信息,呈现所述第二人物信息,所述第二人物信息元数据中的视频标识和视频帧标识分别与所述第二视频标识和所述第二视频帧标识相同,且所述第二人物信息元数据中的人脸区域包含所述第二指定位置的坐标,所述第二人物标识为所述第二人物信息元数据中的人物标识;接收根据所述第二人物信息发送的纠错指令,并向所述服务器发送纠错请求;接收所述服务器根据所述纠错请求发送的与所述第二视频标识对应的多个人物信息,所述人物信息包含人物标识和人物展示信息;接收第二选择人物指令,所述第二选择人物指令包含第二人物展示信息,所述第二人物展示信息为根据所述与所述第二视频标识对应的多个人物信息选择的人物展示信息,根据所述第二人物展示信息获取与所述第二人物展示信息对应的第三人物标识;向所述服务器发送更新人物信息元数据请求,所述更新人物信息元数据请求包含所述第三人物标识,以便于所述服务器在所述存储的人物信息元数据中将所述第二人物信息元数据中的第二人物标识替换为所述第三人物标识。
第三方面,本发明实施例提供的一种在视频中获取指定画面人物信息的方法,服务器中预先存储与所述视频对应的人物信息元数据,所述人物信息元数据包含视频标识、视频帧标识、人脸区域、以及人物标识,所述方法包括:在为终端播放视频的过程中,接收所述终端发送的获取指定画面人物信息的第一请求,所述第一请求包含第一视频标识和第一视频帧标识;在所述存储的人物信息元数据中查找第一画面人物信息元数据,所述第一画面人物信息元数据的视频标识和视频帧标识分别与所述第一视频标识和所述第一视频帧标识相同;根据所述查找的结果向所述终端返回针对所述第一请求的响应;接收所述终端根据所述针对所述第一请求的响应发送的指认人物请求;根据所述指认人物请求,向所述终端发送存储的与所述第一视频标识对应的多个人物信息,所述人物信息包含人物标识和人物展示信息;接收所述终端发送的保存人物信息元数据请求,所述保存人物信息元数据请求包含第一指定位置的坐标以及第一人物标识,所述第一人物标识为根据所述与所述第一视频标识对应的多个人物信息选择的第一人物展示信息对应的人物标识;在与所述第一视频标识对应的第一视频中确定与所述第一视频帧标识对应的第一视频帧,并在所述第一视频帧中检测包含所述第一指定位置的坐标的第一人脸区域;保存所述第一人脸区域、所述第一人物标识、所述第一视频标识、以及所述第一视频帧标识的关联关系。
在第三方面的第一种可能的实现方式中,根据所述查找的结果向所述终端返回针对所述第一请求的响应包括:所述查找的结果为查找到至少一个第一画面人物信息元数据,各个所述第一画面人物信息元数据的视频标识和视频帧标识分别与所述第一视频标识和所述第一视频帧标识相同,根据各个所述第一画面人物信息元数据的人物标识,获取各个包含所述第一画面人物信息元数据的人物标识的第一画面人物信息,向所述终端返回各个所述第一画面人物信息以及各个所述第一画面人物信息元数据的人脸区域;或所述查找的结果为没有查找到第一画面人物信息元数据,所述第一画面人物信息元数据的视频标识和视频帧标识分别与所述第一视频标识和所述第一视频帧标识相同,向所述终端返回针对所述第一请求的失败响应。
结合第三方面或第三方面的第一种可能的实现方式,在第二种可能的实现方式中:所述保存所述第一人脸区域、所述第一人物标识、所述第一视频标识、以及所述第一视频帧标识的关联关系之前,该方法进一步包括:根据所述存储的人物信息元数据,获取与所述第一人物标识关联的视频帧的人脸区域中的人脸;将所述第一视频帧的第一人脸区域中的人脸与所述与所述第一人物标识关联的视频帧的人脸区域中的人脸进行匹配;确定所述匹配达到指定的条件;所述保存所述第一人脸区域、所述第一人物标识、所述第一视频标识、以及所述第一视频帧标识的关联关系具体为:根据所述确定的所述匹配达到指定的条件,保存所述第一人脸区域、所述第一人物标识、所述第一视频标识、以及所述第一视频帧标识的关联关系。
结合第三方面或第三方面的第一种可能的实现方式或第三方面的第二种可能的实现方式,在第三种可能的实现方式中,该方法还包括:在与所述第一视频标识对应的视频中,确定与所述第一视频帧相邻的第三视频帧中包含所述第一视频帧的第一人脸区域中的人脸;获取所述第三视频帧的视频帧标识以及所述第三视频帧中包含的第三人脸区域,所述第三人脸区域包含所述第一视频帧的第一人脸区域中的人脸;保存所述第一请求中的视频标识、所述第一人物标识、所述第三视频帧的视频帧标识、以及所述第三人脸区域的关联关系。
结合第三方面以及第三方面的第一至第三种可能的实现方式中的任意一个,在第四种可能的实现方式中,该方法还包括:接收所述终端发送的获取指定画面人物信息的第二请求,所述第二请求包含第二视频标识和第二视频帧标识;在所述存储的人物信息元数据中查找到至少一个第二画面人物信息元数据,所述第二画面人物信息元数据中的视频标识和视频帧标识分别与所述第二视频标识和所述第二视频帧标识相同;分别根据各个所述第二画面人物信息元数据的人物标识,获取各个包含所述第二画面人物信息元数据的人物标识的第二画面人物信息,向所述终端发送各个所述第二画面人物信息以及各个所述第二画面人物信息元数据的人脸区域;接收终端根据各个所述第二画面人物信息以及各个所述第二画面人物信息元数据的人脸区域发送的纠错请求;根据所述纠错请求,向所述终端发送存储的与所述第二视频标识对应的多个人物信息,所述人物信息包含人物标识和人物展示信息;接收所述终端发送的更新人物信息元数据请求,所述更新人物信息元数据请求包含第二人物标识以及第二人脸区域,所述第二人物标识为根据所述与第二视频标识对应的多个人物信息选择的第二人物展示信息对应的人物标识,所述第二人脸区域为根据各个所述第二画面人物信息元数据的人脸区域选择的人脸区域;在所述存储的人物信息元数据中查找包含所述第二人脸区域、所述第二视频标识、以及所述第二视频帧标识的人物信息元数据,将所述查找到的人物信息元数据的人物标识替换为所述第二人物标识。
第四方面,本发明实施例提供的一种在视频中获取指定画面人物信息的方法包括:在播放视频过程中,接收获取指定画面人物信息的第一指令;根据所述第一指令向服务器发送获取指定画面人物信息的第一请求,所述第一请求包含第一视频标识和第一视频帧标识;接收所述服务器查找第一画面人物信息元数据后发送的针对所述第一请求的响应并呈现指认提示,所述第一画面人物信息元数据的视频标识和视频帧标识分别与所述第一视频标识和所述第一视频帧标识相同,所述指认提示用于提示用户对获取所述第一指令时刻画面的人脸进行指认;接收根据所述指认提示发起的指认指令后,向所述服务器发送指认人物请求;接收所述服务器根据所述指认人物请求发送的与所述第一视频标识对应的多个人物信息,所述人物信息包含人物标识和人物展示信息;接收第一选择人物指令,所述第一选择人物指令包含第一人物展示信息,所述第一人物展示信息为根据所述与所述第一视频标识对应的多个人物信息选择的人物展示信息;根据所述第一人物展示信息获取与所述第一人物展示信息对应的第一人物标识;向所述服务器发送保存人物信息元数据请求,所述保存人物信息元数据请求包含所述第一人物标识以及第一指定位置的坐标,以便于所述服务器确定包含所述第一指定位置的坐标的第一人脸区域后,保存所述第一人脸区域、所述第一人物标识、所述第一视频标识、以及所述第一视频帧标识的关联关系。
在第四方面的第一种可能的实现方式中,接收所述服务器查找第一画面人物信息元数据后发送的针对所述第一请求的响应并呈现指认提示包括:接收所述服务器查找到至少一个第一画面人物信息元数据后发送的各个第一画面人物信息以及对应的各个所述第一画面人物信息元数据的人脸区域,并呈现各个所述第一画面人物信息、对应的各个所述第一画面人物信息元数据的人脸区域以及指认提示,各个所述第一画面人物信息包含各个所述第一画面人物信息元数据的人物标识;或接收所述服务器查找不到第一画面人物信息元数据后发送的针对所述第一请求的失败响应后展现指认提示。
结合第四方面或第四方面的第一种可能的实现方式,在第二种可能的实现方式中,该方法还包括:接收获取指定画面人物信息的第二指令;向所述服务器发送获取指定画面人物信息的第二请求,所述第二请求包含第二视频标识、第二视频帧标识;接收所述服务器查找到至少一个第二画面人物信息元数据后发送的各个第二画面人物信息以及对应的各个所述第二画面人物信息元数据的人脸区域,并呈现各个所述第二画面人物信息以及对应的各个所述第二画面人物信息元数据的人脸区域,各个所述第二画面人物信息元数据的视频标识和视频帧标识分别与所述第二视频标识和所述第二视频帧标识相同,各个所述第二画面人物信息包含各个所述第二画面人物信息元数据的人物标识;接收到根据所述各个第二画面人物信息以及对应的各个所述第二画面人物信息元数据的人脸区域发送的纠错指令,并向所述服务器发送纠错请求,所述纠错指令包含根据各个所述第二画面人物信息元数据的人脸区域选择的第二人脸区域;接收所述服务器根据所述纠错请求发送的与所述第二视频标识对应的多个人物信息,所述人物信息包含人物标识和人物展示信息;接收第二选择人物指令,所述第二选择人物指令包含第二人物展示信息,所述第二人物展示信息为根据所述与第二视频标识对应的多个人物信息选择的人物展示信息,根据所述第二人物展示信息获取与所述第二人物展示信息对应的第二人物标识;向所述服务器发送更新人物信息元数据请求,所述更新人物信息元数据请求包含所述第二人物标识以及所述第二人脸区域,以便于所述服务器在所述存储的人物信息元数据中查找包含所述第二人脸区域、所述第二视频标识、以及所述第二视频帧标识的人物信息元数据,将所述查找到的人物信息元数据的人物标识替换为所述第二人物标识。
第五方面,本发明实施例提供的一种在视频中获取指定位置人物信息的服务器,所述服务器中预先存储与所述视频对应的人物信息元数据,所述人物信息元数据包含视频标识、视频帧标识、人脸区域、以及人物标识,所述服务器包括:
接收单元,用于所述服务器在为终端播放视频的过程中,接收所述终端发送的获取指定位置人物信息的第一请求,所述第一请求包含第一视频标识、第一视频帧标识以及第一指定位置的坐标,以及将所述第一视频标识、第一视频帧标识以及第一指定位置的坐标发送给人物信息元数据管理单元;
所述人物信息元数据管理单元,用于从所述接收单元接收所述第一视频标识、第一视频帧标识以及第一指定位置的坐标,以及在所述存储的人物信息元数据中查找第一人物信息元数据,确定未查找到所述第一人物信息元数据,以及将所述未查找到所述第一人物信息元数据的结果发送给发送单元,所述第一人物信息元数据中的视频标识和视频帧标识分别与所述第一视频标识和所述第一视频帧标识相同,且所述第一人物信息元数据中的人脸区域包含所述第一指定位置的坐标;
所述发送单元,用于从所述人物信息元数据管理单元接收所述未查找到所述第一人物信息元数据的结果,以及根据所述未查找到所述第一人物信息元数据的结果,向所述终端发送存储的与所述第一视频标识对应的多个人物信息,所述人物信息包含人物标识和人物展示信息;
所述接收单元,进一步的用于接收所述终端发送的保存人物信息元数据请求,所述保存人物信息元数据请求包含第一人物标识,以及将所述第一人物标识发送给所述人物信息元数据管理单元,将所述第一视频标识、第一视频帧标识以及第一指定位置的坐标发送给检测单元,所述第一人物标识为根据所述与所述第一视频标识对应的多个人物信息选择的第一人物展示信息对应的人物标识;
所述检测单元,用于从所述接收单元接收所述第一视频标识、第一视频帧标识以及第一指定位置的坐标,以及在与所述第一视频标识对应的第一视频中确定与所述第一视频帧标识对应的第一视频帧后,在所述第一视频帧中检测包含所述第一指定位置的坐标的第一人脸区域,将所述第一人脸区域发送给所述所述人物信息元数据管理单元;
所述人物信息元数据管理单元,进一步的用于从所述检测单元接收所述第一人脸区域,从所述接收单元接收所述第一人物标识,以及保存所述第一人脸区域、所述第一人物标识、所述第一视频标识、以及所述第一视频帧标识的关联关系。
在第五方面的第一种可能的实现方式中:
所述发送单元,进一步的用于在向所述终端发送存储的与所述第一视频标识对应的多个人物信息之前,向所述终端发送针对所述第一请求的失败响应;
所述接收单元,进一步的用于接收所述终端根据所述针对所述第一请求的失败响应发送的指认人物请求,以及根据所述指认人物请求,向所述发送单元发送存储的与所述第一视频标识对应的多个人物信息列表,所述人物信息包含人物标识和人物展示信息。
结合第五方面或第五方面的第一种可能的实现方式,在第二种可能的实现方式中:
所述服务器进一步还包括人脸获取单元、匹配单元和匹配结果确定单元;
所述人物信息元数据管理单元,进一步的用于在保存所述第一人脸区域、所述第一人物标识、所述第一视频标识、以及所述第一视频帧标识的关联关系之前,将所述第一人物标识发送给人脸获取单元;
所述服务器还包括人脸获取单元,用于从所述人物信息元数据管理单元接收所述第一人物标识,以及根据所述存储的人物信息元数据,获取与所述第一人物标识关联的视频帧的人脸区域中的人脸,以及将所述与所述第一人物标识关联的视频帧的人脸区域中的人脸发送给所述匹配单元;
所述匹配单元,用于从所述人脸获取单元接收所述与所述第一人物标识关联的视频帧的人脸区域中的人脸,以及将所述第一视频帧的第一人脸区域中的人脸与所述与所述第一人物标识关联的视频帧的人脸区域中的人脸进行匹配,将所述匹配的结果发送给所述匹配结果确定单元;
所述匹配结果确定单元,用于从所述匹配单元接收所述匹配的结果,确定所述匹配的结果达到指定的条件,以及将所述确定所述匹配的结果达到指定的条件发送给所述人物信息元数据管理单元;
所述人物信息元数据管理单元保存所述第一人脸区域、所述第一人物标识、所述第一视频标识、以及所述第一视频帧标识的关联关系具体为:从所述匹配结果确定单元接收所述确定所述匹配的结果达到指定的条件,以及根据所述匹配的结果达到指定的条件,保存所述第一人脸区域、所述第一人物标识、所述第一视频标识、以及所述第一视频帧标识的关联关系。
结合第五方面或第五方面的第一种可能的实现方式或第五方面的第二种可能的实现方式,在第三种可能的实现方式中:
所述服务器进一步还包括人脸确定单元和画面信息获取单元;
所述人物信息元数据管理单元,进一步的用于将所述第一人脸区域、所述第一视频标识、以及所述第一视频帧标识发送给人脸确定单元;
所述人脸确定单元,用于从所述人物信息元数据管理单元接收所述第一人脸区域、所述第一视频标识、以及所述第一视频帧标识,以及在与所述第一视频标识对应的视频中,确定与所述第一视频帧相邻的第三视频帧中包含所述第一视频帧的第一人脸区域中的人脸,以及将所述确定所述第三视频帧包含所述第一视频帧的第一人脸区域中的人脸的结果发送给所述画面信息获取单元;
所述画面信息获取单元,用于从所述人脸确定单元接收所述确定所述第三视频帧包含所述第一视频帧的第一人脸区域中的人脸的结果,并根据所述结果获取所述第三视频帧的视频帧标识以及所述第三视频帧中包含的第三人脸区域,所述第三人脸区域包含所述第一视频帧的第一人脸区域中的人脸,将所述第三视频帧的视频帧标识以及所述第三人脸区域发送给所述人物信息元数据管理单元;
所述人物信息元数据管理单元,进一步的用于从所述画面信息获取单元接收所述第三视频帧的视频帧标识以及所述第三人脸区域,保存所述第一视频标识、所述第一人物标识、所述第三视频帧的视频帧标识、以及所述第三人脸区域的关联关系。
结合第五方面以及第五方面的第一至第三种可能的实现方式中的任意一个,在第四种可能的实现方式中:
所述服务器还包含人物信息管理单元;
所述接收单元,进一步的用于接收所述终端发送的获取指定位置人物信息的第二请求,所述第二请求包含第二视频标识、第二视频帧标识以及第二指定位置的坐标,以及将将所述第二视频标识、第二视频帧标识以及第二指定位置的坐标发送给所述人物信息元数据管理单元;
所述人物信息元数据管理单元,进一步的用于接收所述接收单元发送的所述第二视频标识、第二视频帧标识以及第二指定位置的坐标,在所述存储的人物信息元数据中查找第二人物信息元数据,所述第二人物信息元数据中的视频标识和视频帧标识分别与所述第二视频标识和所述第二视频帧标识相同,且所述第二人物信息元数据中的人脸区域包含所述第二指定位置的坐标,所述第二人物信息元数据包含第二人物标识以及第二人脸区域,将所述第二人物标识发送给所述人物信息管理单元;
所述人物信息管理单元,用于从所述人物信息元数据管理单元接收所述第二人物标识,根据所述第二人物标识获取包含所述第二人物标识的第二人物信息,将所述第二人物信息发送给所述发送单元;
所述发送单元,进一步的用于从所述人物信息管理单元接收所述第二人物信息,以及向所述终端发送所述第二人物信息;
所述接收单元,进一步的用于接收所述终端根据所述第二人物信息而发送的纠错请求,将所述纠错请求发送给所述发送单元;
所述发送单元,进一步的用于接收所述接收单元发送的所述纠错请求,以及根据所述纠错请求,向所述终端发送存储的与所述第二视频标识对应的多个人物信息,所述人物信息包含人物标识和人物展示信息;
所述接收单元,进一步的用于接收所述终端发送的更新人物信息元数据请求,所述更新人物信息元数据请求包含第三人物标识,所述第三人物标识为根据所述与所述第二视频标识对应的多个人物信息选择的第二人物展示信息对应的人物标识,将所述第三人物标识发送给所述人物信息元数据管理单元;
所述人物信息元数据管理单元,进一步的用于从所述接收单元接收所述第三人物标识,以及在所述存储的人物信息元数据中将所述第二人物信息元数据中的第二人物标识替换为所述第三人物标识。
第六方面,本发明实施例提供了一种在视频中获取指定位置人物信息的终端,所述终端包括:
用户交互单元,用于在播放视频过程中,接收获取指定位置人物信息的第一指令,以及将所述第一指令发送给发送单元;
所述发送单元,用于从所述用户交互单元接收所述第一指令,根据所述第一指令向服务器发送获取指定位置人物信息的第一请求,所述第一请求包含第一视频标识、第一视频帧标识以及第一指定位置的坐标;
接收单元,用于接收所述服务器确定未查找到第一人物信息元数据后发送的与所述第一视频标识对应的多个人物信息,所述第一人物信息元数据的视频标识和视频帧标识分别与所述第一视频标识和所述第一视频帧标识相同,且所述第一人物信息元数据的人脸区域包含所述第一指定位置的坐标,所述人物信息包含人物标识和可展示人物信息,将所述与所述第一视频标识对应的多个人物信息发送给所述用户交互单元;
所述用户交互单元,进一步的用于从所述接收单元接收所述与所述第一视频标识对应的多个人物信息,以及接收第一选择人物指令,所述第一选择人物指令包含第一人物展示信息,所述第一人物展示信息为根据所述与所述第一视频标识对应的多个人物信息选择的人物展示信息,将所述第一人物展示信息发送给获取单元;
所述获取单元,用于从所述用户交互单元接收所述第一人物展示信息,以及根据所述第一人物展示信息获取与所述第一人物展示信息对应的第一人物标识,将所述第一人物标识发送给所述发送单元;
所述发送单元,进一步的用于从所述获取单元接收所述第一人物标识,以及根据所述第一人物标识向所述服务器发送保存人物信息元数据请求,所述保存人物信息元数据包含所述第一人物标识,以便于所述服务器确定包含所述第一指定位置的坐标的第一人脸区域后,保存所述第一人脸区域、所述第一人物标识、所述第一视频标识、以及所述第一视频帧标识的关联关系。
在第六方面的第一种可能的实现方式中:
所述接收单元,进一步的用于在接收所述服务器确定未查找到第一人物信息元数据后发送的与所述第一视频标识对应的多个人物信息之前,接收所述服务器发送的针对所述第一请求的失败响应,以及将所述失败响应发送给所述用户交互单元;
所述用户交互单元,进一步的用于从所述接收单元接收所述失败响应,以及根据所述失败响应呈现指认提示,所述指认提示用于提示用户对包含所述第一指定位置的坐标的人脸进行指认,接收根据所述指认提示发起的指认指令,将所述指认指令发送给所述发送单元;
所述发送单元,进一步的用于从所述用户交互单元接收所述指认指令,以及根据所述指认指令向所述服务器发送指认人物请求。
结合第六方面或第六方面的第一种可能的实现方式,在第二种可能的实现方式中:
所述用户交互单元,进一步的用于接收获取指定位置人物信息的第二指令,将所述第二指令发送给所述发送单元;
所述发送单元,进一步的用于从所述用户交互单元接收所述第二指令,以及根据所述第二指令向所述服务器发送获取指定位置人物信息的第二请求,所述第二请求包含第二视频标识、第二视频帧标识以及第二指定位置的坐标;
所述接收单元,进一步的用于接收所述服务器查找到第二人物信息元数据并获取包含第二人物标识的第二人物信息后发送的所述第二人物信息,所述第二人物信息元数据中的视频标识和视频帧标识分别与所述第二视频标识和所述第二视频帧标识相同,且所述第二人物信息元数据中的人脸区域包含所述第二指定位置的坐标,所述第二人物标识为所述第二人物信息元数据中的人物标识,将所述第二人物信息发送给所述用户交互单元;
所述用户交互单元,进一步的用于从所述接收单元接收所述第二人物信息,呈现所述第二人物信息,接收根据所述第二人物信息发送的纠错指令,将所述纠错指令发送给发送单元;
所述发送单元,进一步的用于从所述用户交互单元接收所述纠错指令,以及根据所述纠错指令向所述服务器发送纠错请求;
所述接收单元,进一步的用于接收所述服务器根据所述纠错请求发送的与所述第二视频标识对应的多个人物信息,所述人物信息包含人物标识和人物展示信息,以及将所述与所述第二视频标识对应的多个人物信息发送给所述用户交互单元;
所述用户交互单元,进一步的用于从所述接收单元接收所述与所述第二视频标识对应的多个人物信息,以及接收第二选择人物指令,所述第二选择人物指令包含第二人物展示信息,所述第二人物展示信息为根据所述与所述第二视频标识对应的多个人物信息选择的人物展示信息,将所述第二人物展示信息发送给所述获取单元;
所述获取单元,进一步的用于从所述用户交互单元接收所述第二人物展示信息,以及根据所述第二人物展示信息获取与所述第二人物展示信息对应的第三人物标识,将所述第三人物标识发送给所述发送单元;
所述发送单元,进一步的用于从所述获取单元接收所述第三人物标识,以及根据所述第三人物标识向所述服务器发送更新人物信息元数据请求,所述更新人物信息元数据请求包含所述第三人物标识,以便于所述服务器在所述存储的人物信息元数据中将所述第二人物信息元数据中的第二人物标识替换为所述第三人物标识。
第七方面,本发明实施例提供了一种在视频中获取指定画面人物信息的服务器,所述服务器中预先存储与所述视频对应的人物信息元数据,所述人物信息元数据包含视频标识、视频帧标识、人脸区域、以及人物标识,所述服务器包括:
接收单元,用于在为终端播放视频的过程中,接收所述终端发送的获取指定画面人物信息的第一请求,所述第一请求包含第一视频标识和第一视频帧标识,以及将所述第一视频标识和第一视频帧标识发送给人物信息元数据管理单元;
所述人物信息元数据管理单元,用于从所述接收单元接收所述第一视频标识和第一视频帧标识,以及在所述存储的人物信息元数据中查找第一画面人物信息元数据,所述第一画面人物信息元数据的视频标识和视频帧标识分别与所述第一视频标识和所述第一视频帧标识相同,以及将所述查找的结果发送给发送单元;
所述发送单元,用于从人物信息元数据管理单元接收所述查找的结果,以及根据所述查找的结果,向所述终端发送针对所述第一请求的响应;
所述接收单元,进一步的用于接收所述终端根据所述第一请求的响应发送的指认人物请求,以及将所述指认人物请求发送给所述发送单元;
所述发送单元,进一步的用于从所述接收单元接收所述指认人物请求,以及根据所述指认人物请求,向所述终端发送存储的与所述第一视频标识对应的多个人物信息,所述人物信息包含人物标识和人物展示信息;
所述接收单元,进一步的用于接收所述终端发送的保存人物信息元数据请求,所述保存人物信息元数据请求包含第一指定位置的坐标以及第一人物标识,所述第一人物标识为根据所述与所述第一视频标识对应的多个人物信息选择的第一人物展示信息对应的人物标识,以及将所述第一人物标识发送给所述人物信息元数据管理单元,将所述第一视频标识、第一视频帧标识以及第一指定位置的坐标发送给检测单元;
所述检测单元,用于从所述接收单元接收所述第一视频标识、第一视频帧标识以及第一指定位置的坐标,以及在与所述第一视频标识对应的第一视频中确定与所述第一视频帧标识对应的第一视频帧后,在所述第一视频帧中检测包含所述第一指定位置的坐标的第一人脸区域,将所述第一人脸区域发送给所述所述人物信息元数据管理单元;
所述人物信息元数据管理单元,进一步的用于从所述检测单元接收所述第一人脸区域,从所述接收单元接收所述第一人物标识,以及保存所述第一人脸区域、所述第一人物标识、所述第一视频标识、以及所述第一视频帧标识的关联关系。
在第七方面的第一种可能的实现方式中:
所述服务器进一步的还包括人物信息管理单元;
所述发送单元从人物信息元数据管理单元接收所述查找的结果,以及根据所述查找的结果,向所述终端发送针对所述第一请求的响应具体为:当所述查找的结果为查找到至少一个第一画面人物信息元数据时,各个所述第一画面人物信息元数据的视频标识和视频帧标识分别与所述第一视频标识和所述第一视频帧标识相同,所述发送单元用于从所述人物元数据管理单元接收所述至少一个第一画面人物信息元数据,以及根据所述至少一个第一画面人物信息元数据将各个所述第一画面人物信息元数据的人物标识发送给所述人物信息管理单元;
所述人物信息管理单元,用于从所述发送单元获取各个所述第一画面人物信息元数据的人物标识,根据各个所述第一画面人物信息元数据的人物标识,获取各个包含所述第一画面人物信息元数据的人物标识的第一画面人物信息,以及将各个所述第一画面人物信息发送给所述发送单元;
所述发送单元,进一步的用于从所述人物信息管理单元接收各个所述第一画面人物信息,向所述终端返回各个所述第一画面人物信息以及各个所述第一画面人物信息元数据的人脸区域;或当所述查找的结果为没有查找到第一画面人物信息元数据时,所述第一画面人物信息元数据的视频标识和视频帧标识分别与所述第一视频标识和所述第一视频帧标识相同,所述发送单元用于从所述人物元数据管理单元接收所述没有查找到第一画面人物信息元数据的结果,以及根据所述没有查找到第一画面人物信息元数据的结果向所述终端返回针对所述第一请求的失败响应。
结合第七方面或第七方面的第一种可能的实现方式,在第二种可能的实现方式中:
所述服务器进一步的还包括人脸获取单元、匹配单元和匹配结果确定单元;
所述人物信息元数据管理单元,进一步的用于在保存所述第一人脸区域、所述第一人物标识、所述第一视频标识、以及所述第一视频帧标识的关联关系之前,将所述第一人物标识发送给人脸获取单元;
所述人脸获取单元,用于从所述人物信息元数据管理单元接收所述第一人物标识,以及根据所述存储的人物信息元数据,获取与所述第一人物标识关联的视频帧的人脸区域中的人脸,以及将所述与所述第一人物标识关联的视频帧的人脸区域中的人脸发送给所述匹配单元;
所述匹配单元,用于从所述人脸获取单元接收所述与所述第一人物标识关联的视频帧的人脸区域中的人脸,以及将所述第一视频帧的第一人脸区域中的人脸与所述与所述第一人物标识关联的视频帧的人脸区域中的人脸进行匹配,将所述匹配的结果发送给所述匹配结果确定单元;
所述匹配结果确定单元,用于从所述匹配单元接收所述匹配的结果,确定所述匹配的结果达到指定的条件,以及将所述确定所述匹配的结果达到指定的条件发送给所述人物信息元数据管理单元;
所述人物信息元数据管理单元保存所述第一人脸区域、所述第一人物标识、所述第一视频标识、以及所述第一视频帧标识的关联关系具体为:从所述匹配结果确定单元接收所述确定所述匹配的结果达到指定的条件,以及根据所述匹配的结果达到指定的条件,保存所述第一人脸区域、所述第一人物标识、所述第一视频标识、以及所述第一视频帧标识的关联关系。
结合第七方面或第七方面的第一种可能的实现方式或第七方面的第二种可能的实现方式,在第三种可能的实现方式中:
所述服务器进一步的还包括人脸确定单元和画面信息获取单元;
所述人物信息元数据管理单元,进一步的用于将所述第一人脸区域、所述第一视频标识、以及所述第一视频帧标识发送给所述人脸确定单元;
所述人脸确定单元,用于从所述人物信息元数据管理单元接收所述第一人脸区域、所述第一视频标识、以及所述第一视频帧标识,以及在与所述第一视频标识对应的视频中,确定与所述第一视频帧相邻的第三视频帧中包含所述第一视频帧的第一人脸区域中的人脸,以及将所述确定所述第三视频帧包含所述第一视频帧的第一人脸区域中的人脸的结果发送给所述画面信息获取单元;
所述画面信息获取单元,用于从所述人脸确定单元接收所述确定所述第三视频帧包含所述第一视频帧的第一人脸区域中的人脸的结果,并根据所述结果获取所述第三视频帧的视频帧标识以及所述第三视频帧中包含的第三人脸区域,所述第三人脸区域包含所述第一视频帧的第一人脸区域中的人脸,将所述第三视频帧的视频帧标识以及所述第三人脸区域发送给所述人物信息元数据管理单元;
所述人物信息元数据管理单元,进一步的用于从所述画面信息获取单元接收所述第三视频帧的视频帧标识以及所述第三人脸区域,保存所述第一视频标识、所述第一人物标识、所述第三视频帧的视频帧标识、以及所述第三人脸区域的关联关系。
结合第七方面以及第七方面的第一至第三种可能的实现方式中的任意一个,在第四种可能的实现方式中:
所述接收单元,进一步的用于接收所述终端发送的获取指定画面人物信息的第二请求,所述第二请求包含第二视频标识、第二视频帧标识,以及将将所述第二视频标识、第二视频帧标识发送给所述人物信息元数据管理单元;
所述人物信息元数据管理单元,进一步的用于接收所述接收单元发送的所述第二视频标识和第二视频帧标识,在所述存储的人物信息元数据中查找到至少一个第二画面人物信息元数据,所述第二人物信息元数据中的视频标识和视频帧标识分别与所述第二视频标识和所述第二视频帧标识相同,将所述至少一个第二画面人物信息元数据的人物标识发送给人物信息管理单元;
所述人物信息管理单元,进一步的用于从所述人物信息元数据管理单元接收所述至少一个第二画面人物信息元数据的人物标识,以及分别根据各个所述第二画面人物信息元数据的人物标识,获取各个包含所述第二画面人物信息元数据的人物标识的第二画面人物信息,将各个所述第二画面人物信息以及各个所述第二画面人物信息元数据的人脸区域发送给所述发送单元;
所述发送单元,进一步的用于从所述人物信息管理单元接收各个所述第二画面人物信息以及各个所述第二画面人物信息元数据的人脸区域,以及向所述终端发送各个所述第二画面人物信息以及各个所述第二画面人物信息元数据的人脸区域;
所述接收单元,进一步的用于接收所述终端根据各个所述第二画面人物信息以及各个所述第二画面人物信息元数据的人脸区域发送的纠错请求,将所述纠错请求发送给所述发送单元;
所述发送单元,进一步的用于接收所述接收单元发送的所述纠错请求,以及根据所述纠错请求,向所述终端发送存储的与所述第二视频标识对应的多个人物信息,所述人物信息包含人物标识和人物展示信息;
所述接收单元,进一步的用于接收所述终端发送的更新人物信息元数据请求,所述更新人物信息元数据请求包含第二人物标识以及第二人脸区域,所述第二人物标识为根据所述与第二视频标识对应的多个人物信息选择的第二人物展示信息对应的人物标识,所述第二人脸区域为根据各个所述第二画面人物信息元数据的人脸区域选择的人脸区域,将所述第二人物标识以及所述第二人脸区域发送给所述人物信息元数据管理单元;
所述人物信息元数据管理单元,进一步的用于从所述接收单元接收所述第二人物标识以及所述第二人脸区域,以及在所述存储的人物信息元数据中查找包含所述第二人脸区域、所述第二视频标识、以及所述第二视频帧标识的人物信息元数据,将所述查找到的人物信息元数据的人物标识替换为所述第二人物标识。
第八方面,本发明实施例提供的一种在视频中获取指定画面人物信息的终端包括:
用户交互单元,用于在播放视频过程中,接收获取指定画面人物信息的第一指令,以及将所述第一指令发送给发送单元;
所述发送单元,用于从所述用户交互单元接收所述第一指令,根据所述第一指令向服务器发送获取指定画面人物信息的第一请求,所述第一请求包含第一视频标识和第一视频帧标识;
接收单元,用于接收所述服务器查找第一画面人物信息元数据后发送的针对所述第一请求的响应,所述第一画面人物信息元数据的视频标识和视频帧标识分别与所述第一视频标识和所述第一视频帧标识相同,将所述针对所述第一请求的响应发送给所述用户交互单元;
所述用户交互单元,进一步的用于从所述接收单元接收所述针对所述第一请求的响应,以及根据所述针对所述第一请求的响应呈现指认提示,所述指认提示用于提示用户对获取所述第一指令时刻画面的人脸进行指认,接收根据所述指认提示发起的指认指令,将所述指认指令发送给所述发送单元;
所述发送单元,进一步的用于从所述用户交互单元接收所述指认指令,以及根据所述指认指令,向所述服务器发送指认人物请求;
所述接收单元,进一步的用于接收所述服务器根据所述指认人物请求发送的与所述第一视频标识对应的多个人物信息,所述人物信息包含人物标识和人物展示信息,将所述与所述第一视频标识对应的多个人物信息发送给所述用户交互单元;
所述用户交互单元,进一步的用于从所述接收单元接收所述与所述第一视频标识对应的多个人物信息,以及接收第一选择人物指令,所述第一选择人物指令包含第一人物展示信息,所述第一人物展示信息为根据所述与所述第一视频标识对应的多个人物信息选择的人物展示信息,将所述第一人物展示信息发送给获取单元;
所述获取单元,用于从所述用户交互单元接收所述第一人物展示信息,以及根据所述第一人物展示信息获取与所述第一人物展示信息对应的第一人物标识,将所述第一人物标识发送给所述发送单元;
所述发送单元,进一步的用于从所述获取单元接收所述第一人物标识,以及根据所述第一人物标识向所述服务器发送保存人物信息元数据请求,所述保存人物信息元数据包含所述第一人物标识以及第一指定位置的坐标,以便于所述服务器确定包含所述第一指定位置的坐标的第一人脸区域后,保存所述第一人脸区域、所述第一人物标识、所述第一视频标识、以及所述第一视频帧标识的关联关系。
在第八方面的第一种可能的实现方式中:
所述接收单元接收所述服务器查找第一画面人物信息元数据后发送的针对所述第一请求的响应具体为:接收所述服务器查找到至少一个第一画面人物信息元数据后发送的各个第一画面人物信息以及对应的各个所述第一画面人物信息元数据的人脸区域,各个所述第一画面人物信息包含各个所述第一画面人物信息元数据的人物标识;或接收所述服务器查找不到第一画面人物信息元数据后发送的针对所述第一请求的失败响应;
所述用户交互单元,从所述接收单元接收所述针对所述第一请求的响应,以及根据所述针对所述第一请求的响应呈现指认提示具体为:从所述接收单元接收各个所述第一画面人物信息、对应的各个所述第一画面人物信息元数据的人脸区域,以及呈现所述各个所述第一画面人物信息、对应的各个所述第一画面人物信息元数据的人脸区域和指认提示;或从所述接收单元接收所述针对所述第一请求的失败响应,以及根据所述失败响应呈现指认提示。
结合第八方面或第八方面的第一种可能的实现方式,在第二种可能的实现方式中:
所述用户交互单元,进一步的用于接收获取指定画面人物信息的第二指令,将所述第二指令发送给所述发送单元;
所述发送单元,进一步的用于从所述用户交互单元接收所述第二指令,以及根据所述第二指令向所述服务器发送获取指定画面人物信息的第二请求,所述第二请求包含第二视频标识、第二视频帧标识;
所述接收单元,进一步的用于接收所述服务器查找到至少一个第二画面人物信息元数据后发送的各个第二画面人物信息以及对应的各个所述第二画面人物信息元数据的人脸区域,各个所述第二画面人物信息元数据的视频标识和视频帧标识分别与所述第二视频标识和所述第二视频帧标识相同,各个所述第二画面人物信息包含各个所述第二画面人物信息元数据的人物标识,将各个所述第二画面人物信息以及对应的各个所述第二画面人物信息元数据的人脸区域发送给所述用户交互单元;
所述用户交互单元,进一步的用于从所述接收单元接收各个所述第二画面人物信息以及对应的各个所述第二画面人物信息元数据的人脸区域,呈现各个所述第二画面人物信息以及对应的各个所述第二画面人物信息元数据的人脸区域,接收根据各个所述第二画面人物信息以及对应的各个所述第二画面人物信息元数据的人脸区域发送的纠错指令,所述纠错指令包含根据所述至少一个第二画面人物信息元数据的人脸区域选择的第二人脸区域,将所述纠错指令发送给发送单元;
所述发送单元,进一步的用于从所述用户交互单元接收所述纠错指令,以及根据所述纠错指令向所述服务器发送纠错请求;
所述接收单元,进一步的用于接收所述服务器根据所述纠错请求发送的与所述第二视频标识对应的多个人物信息,所述人物信息包含人物标识和人物展示信息,以及将所述与所述第二视频标识对应的多个人物信息发送给所述用户交互单元;
所述用户交互单元,进一步的用于从所述接收单元接收所述与所述第二视频标识对应的多个人物信息,以及接收第二选择人物指令,所述第二选择人物指令包含第二人物展示信息,所述第二人物展示信息为根据所述与所述第二视频标识对应的多个人物信息选择的人物展示信息,将所述第二人物展示信息发送给所述获取单元;
所述获取单元,进一步的用于从所述用户交互单元接收所述第二人物展示信息,以及根据所述第二人物展示信息获取与所述第二人物展示信息对应的第二人物标识,将所述第二人物标识发送给所述发送单元;
所述发送单元,进一步的用于从所述获取单元接收所述第二人物标识,以及根据所述第二人物标识向所述服务器发送更新人物信息元数据请求,所述更新人物信息元数据请求包含所述第二人物标识以及所述第二人脸区域,以便于所述服务器在所述存储的人物信息元数据中查找包含所述第二人脸区域、所述第二视频标识、以及所述第二视频帧标识的人物信息元数据,将所述查找到的人物信息元数据的人物标识替换为所述第二人物标识。
由以上技术方案可以看出,由于本发明实施例通过终端在播放视频的过程中,向服务器发送获取人物信息的请求后,接收到服务器确定未查找到人物信息元数据后发送的多个人物信息,根据所述多个人物信息选择一个后,向服务器发送保存人物信息元数据请求,从而可以根据终端用户的需要来补充人物信息,不需要服务器事先对视频的所有帧进行完整的预处理,节省了计算资源和存储资源。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一个实施例提供的在视频中获取指定位置人物信息的方法流程图;
图2为本发明一个实施例提供的在视频中获取指定位置人物信息的方法流程图;
图3为本发明一个实施例提供的在视频中获取指定画面人物信息的方法流程图;
图4为本发明一个实施例提供的在视频中获取指定画面人物信息的方法流程图;
图5为本发明一个实施例提供的在视频中获取指定位置人物信息的信令流程图;
图6为本发明一个实施例提供的在视频中获取指定画面人物信息的信令流程图;
图7为本发明一个实施例提供的在视频中获取指定位置人物信息的服务器结构图;
图8为本发明一个实施例提供的在视频中获取指定位置人物信息的终端结构图;
图9为本发明一个实施例提供的在视频中获取指定画面人物信息的服务器结构图;
图10为本发明一个实施例提供的在视频中获取指定画面人物信息的终端结构图;
图11为本发明一个实施例提供的基于计算机系统的服务器结构图;
图12为本发明一个实施例提供的基于计算机系统的终端结构图;
图13为本发明另一个实施例提供的基于计算机系统的服务器结构图;
图14为本发明另一个实施例提供的基于计算机系统的终端结构图;
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明一个实施例提供了在视频中获取指定位置人物信息的方法,服务器中预先存储与所述视频对应的人物信息元数据,所述人物信息元数据包含视频标识、视频帧标识、人脸区域、以及人物标识,请参照图1,该方法包括:
步骤101:在为终端播放视频的过程中,接收所述终端发送的获取指定位置人物信息的第一请求,所述第一请求包含第一视频标识、第一视频帧标识以及第一指定位置的坐标。
步骤102:在所述存储的人物信息元数据中查找第一人物信息元数据以及确定未查找到所述第一人物信息元数据,所述第一人物信息元数据中的视频标识和视频帧标识分别与所述第一视频标识和所述第一视频帧标识相同,且所述第一人物信息元数据中的人脸区域包含所述第一指定位置的坐标。
步骤103:向所述终端发送存储的与所述第一视频标识对应的多个人物信息,所述人物信息包含人物标识和人物展示信息。
可选的,在向所述终端发送存储的与所述第一视频标识对应的多个人物信息之前,可以包括:向所述终端返回针对所述第一请求的失败响应;接收所述终端根据所述失败响应发送的指认人物请求。
步骤104:接收所述终端发送的保存人物信息元数据请求,所述保存人物信息元数据请求包含第一人物标识,所述第一人物标识为根据所述与所述第一视频标识对应的多个人物信息选择的第一人物展示信息对应的人物标识。
步骤105:在与所述第一视频标识对应的第一视频中确定与所述第一视频帧标识对应的第一视频帧,并在所述第一视频帧中检测包含所述第一指定位置的坐标的第一人脸区域。
步骤106:保存所述第一人脸区域、所述第一人物标识、所述第一视频标识、以及所述第一视频帧标识的关联关系。
可选的,在该步骤之前,可以包括:根据所述存储的人物信息元数据,获取与所述第一人物标识关联的视频帧的人脸区域中的人脸;将所述第一视频帧的第一人脸区域中的人脸与所述与所述第一人物标识关联的视频帧的人脸区域中的人脸进行匹配;确定所述匹配达到指定的条件;所述保存所述第一人脸区域、所述第一人物标识、所述第一视频标识、以及所述第一视频帧标识的关联关系具体为:根据所述确定所述匹配达到指定的条件,保存所述第一人脸区域、所述第一人物标识、所述第一视频标识、以及所述第一视频帧标识的关联关系。
可选的,该方法还可以包括:在与所述第一视频标识对应的视频中,确定与所述第一视频帧相邻的第三视频帧中包含所述第一视频帧的第一人脸区域中的人脸;获取所述第三视频帧的视频帧标识以及所述第三视频帧中包含的第三人脸区域,所述第三人脸区域包含所述第一视频帧的第一人脸区域中的人脸;保存所述第一请求中的视频标识、所述第一人物标识、所述第三视频帧的视频帧标识、以及所述第三人脸区域的关联关系。
可选的,该方法还可以包括:
接收所述终端发送的获取指定位置人物信息的第二请求,所述第二请求包含第二视频标识、第二视频帧标识以及第二指定位置的坐标;
在所述存储的人物信息元数据中查找第二人物信息元数据,所述第二人物信息元数据中的视频标识和视频帧标识分别与所述第二视频标识和所述第二视频帧标识相同,且所述第二人物信息元数据中的人脸区域包含所述第二指定位置的坐标,所述第二人物信息元数据包含第二人物标识以及第二人脸区域;
根据所述第二人物标识获取包含所述第二人物标识的第二人物信息,向所述终端发送所述第二人物信息;
接收所述终端根据所述第二人物信息而发送的纠错请求;
根据所述纠错请求,向所述终端发送存储的与所述第二视频标识对应的多个人物信息,所述人物信息包含人物标识和人物展示信息;
接收所述终端发送的更新人物信息元数据请求,所述更新人物信息元数据请求包含第三人物标识,所述第三人物标识为根据所述与所述第二视频标识对应的多个人物信息选择的第二人物展示信息对应的人物标识;
在所述存储的人物信息元数据中将所述第二人物信息元数据中的第二人物标识替换为所述第三人物标识。
本发明另一个实施例提供了在视频中获取指定位置人物信息的方法,请参照图2,该方法包括:
步骤201:在播放视频过程中,接收获取指定位置人物信息的第一指令。
步骤202:根据所述第一指令向服务器发送获取指定位置人物信息的第一请求,所述第一请求包含第一视频标识、第一视频帧标识以及第一指定位置的坐标。
步骤203:接收所述服务器确定未查找到第一人物信息元数据后发送的与所述第一视频标识对应的多个人物信息,所述第一人物信息元数据的视频标识和视频帧标识分别与所述第一视频标识和所述第一视频帧标识相同,且所述第一人物信息元数据的人脸区域包含所述第一指定位置的坐标,所述人物信息包含人物标识和可展示人物信息。
可选的,所述接收所述服务器确定未查找到第一人物信息元数据后发送的与所述第一视频标识对应的多个人物信息之前,还可以包括:接收所述服务器发送的针对所述第一请求的失败响应后呈现指认提示,所述指认提示用于提示用户对包含所述第一指定位置的坐标的人脸进行指认;接收根据所述指认提示发起的指认指令,向所述服务器发送指认人物请求。
步骤204:接收第一选择人物指令,所述第一选择人物指令包含第一人物展示信息,所述第一人物展示信息为根据所述与所述第一视频标识对应的多个人物信息选择的人物展示信息;根据所述第一人物展示信息获取与所述第一人物展示信息对应的第一人物标识。
步骤205:向所述服务器发送保存人物信息元数据请求,所述保存人物信息元数据包含所述第一人物标识,以便于所述服务器确定包含所述第一指定位置的坐标的第一人脸区域后,保存所述第一人脸区域、所述第一人物标识、所述第一视频标识、以及所述第一视频帧标识的关联关系。
可选的,该方法还可以包括:
接收获取指定位置人物信息的第二指令;
向所述服务器发送获取指定位置人物信息的第二请求,所述第二请求包含第二视频标识、第二视频帧标识以及第二指定位置的坐标;
接收所述服务器查找到第二人物信息元数据并获取包含第二人物标识的第二人物信息后发送的第二人物信息,呈现所述第二人物信息,所述第二人物信息元数据中的视频标识和视频帧标识分别与所述第二视频标识和所述第二视频帧标识相同,且所述第二人物信息元数据中的人脸区域包含所述第二指定位置的坐标,所述第二人物标识为所述第二人物信息元数据中的人物标识;
接收根据所述第二人物信息发送的纠错指令,并向所述服务器发送纠错请求;
接收所述服务器根据所述纠错请求发送的与所述第二视频标识对应的多个人物信息,所述人物信息包含人物标识和人物展示信息;
接收第二选择人物指令,所述第二选择人物指令包含第二人物展示信息,所述第二人物展示信息为根据所述与所述第二视频标识对应的多个人物信息选择的人物展示信息,根据所述第二人物展示信息获取与所述第二人物展示信息对应的第三人物标识;
向所述服务器发送更新人物信息元数据请求,所述更新人物信息元数据请求包含所述第三人物标识,以便于所述服务器在所述存储的人物信息元数据中将所述第二人物信息元数据中的第二人物标识替换为所述第三人物标识。
本发明一个实施例提供了在视频中获取指定画面人物信息的方法,服务器中预先存储与所述视频对应的人物信息元数据,所述人物信息元数据包含视频标识、视频帧标识、人脸区域、以及人物标识,请参照图3,该方法包括:
步骤301:在为终端播放视频的过程中,接收所述终端发送的获取指定画面人物信息的第一请求,所述第一请求包含第一视频标识和第一视频帧标识。
步骤302:在所述存储的人物信息元数据中查找第一画面人物信息元数据,所述第一画面人物信息元数据的视频标识和视频帧标识分别与所述第一视频标识和所述第一视频帧标识相同。
步骤303:根据所述查找的结果向所述终端返回针对所述第一请求的响应。
具体的,所述根据所述查找的结果向所述终端返回针对所述第一请求的响应包括:
所述查找的结果为查找到至少一个第一画面人物信息元数据;各个所述第一画面人物信息元数据的视频标识和视频帧标识分别与所述第一视频标识和所述第一视频帧标识相同,根据各个所述第一画面人物信息元数据的人物标识,获取各个包含所述第一画面人物信息元数据的人物标识的第一画面人物信息,向所述终端返回各个所述第一画面人物信息以及各个所述第一画面人物信息元数据的人脸区域;
或所述查找的结果为没有查找到第一画面人物信息元数据,所述第一画面人物信息元数据的视频标识和视频帧标识分别与所述第一视频标识和所述第一视频帧标识相同,向所述终端返回针对所述第一请求的失败响应。
步骤304:接收所述终端根据所述针对所述第一请求的响应发送的指认人物请求。
步骤305:根据所述指认人物请求,向所述终端发送存储的与所述第一视频标识对应的多个人物信息,所述人物信息包含人物标识和人物展示信息。
步骤306:接收所述终端发送的保存人物信息元数据请求,所述保存人物信息元数据请求包含第一指定位置的坐标以及第一人物标识,所述第一人物标识为根据所述与所述第一视频标识对应的多个人物信息选择的第一人物展示信息对应的人物标识。
步骤307:在与所述第一视频标识对应的第一视频中确定与所述第一视频帧标识对应的第一视频帧,并在所述第一视频帧中检测包含所述第一指定位置的坐标的第一人脸区域。
步骤308:保存所述第一人脸区域、所述第一人物标识、所述第一视频标识、以及所述第一视频帧标识的关联关系。
可选的,保存所述第一人脸区域、所述第一人物标识、所述第一视频标识、以及所述第一视频帧标识的关联关系之前,可以包括:根据所述存储的人物信息元数据,获取与所述第一人物标识关联的视频帧的人脸区域中的人脸;将所述第一视频帧的第一人脸区域中的人脸与所述与所述第一人物标识关联的视频帧的人脸区域中的人脸进行匹配;确定所述匹配达到指定的条件;所述保存所述第一人脸区域、所述第一人物标识、所述第一视频标识、以及所述第一视频帧标识的关联关系具体为:根据所述确定的所述匹配达到指定的条件,保存所述第一人脸区域、所述第一人物标识、所述第一视频标识、以及所述第一视频帧标识的关联关系。
可选的,该方法还可以包括:在与所述第一视频标识对应的视频中,确定与所述第一视频帧相邻的第三视频帧中包含所述第一视频帧的第一人脸区域中的人脸;获取所述第三视频帧的视频帧标识以及所述第三视频帧中包含的第三人脸区域,所述第三人脸区域包含所述第一视频帧的第一人脸区域中的人脸;保存所述第一请求中的视频标识、所述第一人物标识、所述第三视频帧的视频帧标识、以及所述第三人脸区域的关联关系。
可选的,该方法还可以包括:接收所述终端发送的获取指定画面人物信息的第二请求,所述第二请求包含第二视频标识和第二视频帧标识;
在所述存储的人物信息元数据中查找到至少一个第二画面人物信息元数据,各个所述第二画面人物信息元数据中的视频标识和视频帧标识分别与所述第二视频标识和所述第二视频帧标识相同;
分别根据各个所述第二画面人物信息元数据的人物标识,获取各个包含所述第二画面人物信息元数据的人物标识的第二画面人物信息,向所述终端发送各个所述第二画面人物信息以及各个所述第二画面人物信息元数据的人脸区域;
接收终端根据各个所述第二画面人物信息以及各个所述第二画面人物信息元数据的人脸区域发送的纠错请求;
根据所述纠错请求,向所述终端发送存储的与所述第二视频标识对应的多个人物信息,所述人物信息包含人物标识和人物展示信息;
接收所述终端发送的更新人物信息元数据请求,所述更新人物信息元数据请求包含第二人物标识以及第二人脸区域,所述第二人物标识为根据所述与第二视频标识对应的多个人物信息选择的第二人物展示信息对应的人物标识,所述第二人脸区域为根据各个所述第二画面人物信息元数据的人脸区域选择的人脸区域;
在所述存储的人物信息元数据中查找包含所述第二人脸区域、所述第二视频标识、以及所述第二视频帧标识的人物信息元数据,将所述查找到的人物信息元数据的人物标识替换为所述第二人物标识。
本发明又一个实施例提供了在视频中获取指定画面人物信息的方法,请参照图4,该方法包括:
步骤401:在播放视频过程中,接收获取指定画面人物信息的第一指令。
步骤402:根据所述第一指令向服务器发送获取指定画面人物信息的第一请求,所述第一请求包含第一视频标识和第一视频帧标识。
步骤403:接收所述服务器查找第一画面人物信息元数据后发送的针对所述第一请求的响应并呈现指认提示,所述第一画面人物信息元数据的视频标识和视频帧标识分别与所述第一视频标识和所述第一视频帧标识相同,所述指认提示用于提示用户对获取所述第一指令时刻画面的人脸进行指认。
其中,接收所述服务器查找第一画面人物信息元数据后发送的针对所述第一请求的响应并呈现指认提示包括:
接收所述服务器查找到至少一个第一画面人物信息元数据后发送的各个第一画面人物信息以及对应的各个所述第一画面人物信息元数据的人脸区域,并呈现各个所述第一画面人物信息、对应的各个所述第一画面人物信息元数据的人脸区域以及指认提示,各个所述第一画面人物信息包含各个所述第一画面人物信息元数据的人物标识;
或接收所述服务器查找不到第一画面人物信息元数据后发送的针对所述第一请求的失败响应后展现指认提示。
步骤404:接收根据所述指认提示发起的指认指令后,向所述服务器发送指认人物请求。
步骤405:接收所述服务器根据所述指认人物请求发送的与所述第一视频标识对应的多个人物信息,所述人物信息包含人物标识和人物展示信息。
步骤406:接收第一选择人物指令,所述第一选择人物指令包含第一人物展示信息,所述第一人物展示信息为根据所述与所述第一视频标识对应的多个人物信息选择的人物展示信息。
步骤407:向所述服务器发送保存人物信息元数据请求,所述保存人物信息元数据请求包含所述第一人物标识以及第一指定位置的坐标,以便于所述服务器确定包含所述第一指定位置的坐标的第一人脸区域后,保存所述第一人脸区域、所述第一人物标识、所述第一视频标识、以及所述第一视频帧标识的关联关系。
可选的,该方法还可以包括:
接收获取指定画面人物信息的第二指令;
向所述服务器发送获取指定画面人物信息的第二请求,所述第二请求包含第二视频标识、第二视频帧标识;
接收所述服务器查找到至少一个第二画面人物信息元数据后发送的各个第二画面人物信息以及对应的各个所述第二画面人物信息元数据的人脸区域,并呈现各个所述第二画面人物信息以及对应的各个所述第二画面人物信息元数据的人脸区域,各个所述第二画面人物信息元数据的视频标识和视频帧标识分别与所述第二视频标识和所述第二视频帧标识相同,各个所述第二画面人物信息包含各个所述第二画面人物信息元数据的人物标识;
接收到根据所述各个第二画面人物信息以及对应的各个所述第二画面人物信息元数据的人脸区域发送的纠错指令,并向所述服务器发送纠错请求,所述纠错指令包含根据各个所述第二画面人物信息元数据的人脸区域选择的第二人脸区域;
接收所述服务器根据所述纠错请求发送的与所述第二视频标识对应的多个人物信息,所述人物信息包含人物标识和人物展示信息;
接收第二选择人物指令,所述第二选择人物指令包含第二人物展示信息,所述第二人物展示信息为根据所述与第二视频标识对应的多个人物信息选择的人物展示信息,根据所述第二人物展示信息获取与所述第二人物展示信息对应的第二人物标识;
向所述服务器发送更新人物信息元数据请求,所述更新人物信息元数据请求包含所述第二人物标识以及所述第二人脸区域,以便于所述服务器在所述存储的人物信息元数据中查找包含所述第二人脸区域、所述第二视频标识、以及所述第二视频帧标识的人物信息元数据,将所述查找到的人物信息元数据的人物标识替换为所述第二人物标识。
本发明一个实施例提供了在视频中获取指定位置人物信息的信令流程图,请参照图5,该实施例用于获取指定位置的一个人物信息的场景,具体流程包括:
步骤501:在播放视频过程中,终端接收到用户的获取指定位置人物信息的第一指令,获取接收到第一指令时刻播放视频的第一视频标识、第一视频帧标识,获取触发第一指令的用户操作对应的第一指定位置的坐标,并向服务器发送获取指定位置人物信息的第一请求,所述第一请求包含所述第一视频标识、所述第一视频帧标识和所述第一指定位置的坐标。所述第一请求用于获取接收到第一指令时刻的画面中、所述第一指定位置处的一个人物信息。
具体的,可以是用户在使用具有可触摸屏移动终端观看视频过程中发现感兴趣的人物时通过触摸视频画面中该人物的人脸区域来发送获取指定位置人物信息的指令,也可以是用户在使用个人电脑(personal computer,PC)观看视频过程中发现感兴趣的人物时通过鼠标点击该人物的人脸区域来发送获取指定位置人物信息的指令,指定位置的坐标可以是触摸点的坐标,也可以是鼠标点击处的坐标,采用x、y轴的坐标值来表示。当终端接收到所述用户的获取人物信息的指令时,可以让视频暂停。
终端获取接收到第一指令时刻播放视频的第一视频标识、第一视频帧标识具体为:终端从视频播放客户端获取接收到第一指令时刻播放视频的视频标识以及视频帧标识,定义所述视频标识为第一视频标识,所述视频帧标识为第一视频帧标识。
可选的,终端从视频播放客户端直接获取到的假如是当前画面相对节目开始的时间值,以毫秒为单位,则需要终端再将该相对时间点转换为视频帧标识。终端将相对时间点转换为视频帧标识的方法具体为:根据相对时间点与视频帧标识之间的转换关系,视频帧标识=时间值*帧率*0.001,将时间值转换为秒以后乘于帧率后取整,可以得到视频帧标识,其中帧率通常是24或25,表示每秒钟播放的帧数是24或25。
步骤502:服务器在存储的人物信息元数据中,查找第一人物信息元数据以及确定未查找到所述第一人物信息元数据,所述第一人物信息元数据中的视频标识和视频帧标识分别与所述第一视频标识和所述第一视频帧标识相同,且所述第一人物信息元数据中的人脸区域包含所述第一指定位置的坐标。
具体的,服务器中存储了与视频相关的人物信息元数据,用于保存视频的所有视频帧画面中的人脸区域与人物的关联关系。
所述人物信息元数据包括视频标识、视频帧标识、人脸区域、人物标识,其中人脸区域用于标识视频画面中人脸所位于的矩形框区域,可以采用该矩形框左上、右下角两个点的坐标,例如(x1,y1)和(x2,y2)来标识。该人物信息元数据的结构如表1所示:
表1人物信息元数据表
视频标识 视频帧标识 人脸区域 人物标识
ContentID1 FrameID1 (x1,y1),(x2,y2) ActorID1
... ... ... ...
服务器中还包含人物信息库,存储着视频中所有人物信息,每个人物信息包括人物标识以及身份信息、演艺历程、出演的其它作品、代言广告、SNS信息中的至少一项。服务器根据表1中的人物标识能够在人物信息库找到与该人物标识对应的人物信息。
服务器根据第一请求中的第一视频标识、第一视频帧标识以及第一指定位置查找人物信息的方法具体为:首先,在存储的人物信息元数据中,查找第一人物信息元数据,所述第一人物信息元数据中的视频标识和视频帧标识分别与所述第一视频标识和所述第一视频帧标识相同,且所述第一人物信息元数据中的人脸区域包含所述第一指定位置的坐标;其次,根据所述第一人物信息元数据的人物标识进一步的从人物信息库获取人物信息。
如果确定未查找到所述第一人物信息元数据,则确定根据第一请求中的视频标识、第一视频帧标识以及第一指定位置未查找到人物信息。
其中,判断人脸区域包含所述第一指定位置的坐标的具体方法是:根据该人脸区域的左上、右下角的坐标(x1,y1)和(x2,y2),判断是否满足所述第一指定位置的x轴坐标值在(x1,x2)区间之中且所述第一指定位置的y轴坐标值在(y1,y2)区间之中,如果满足则所述人脸区域包含所述第一指定位置的坐标,如果不满足则所述人脸区域不包含所述第一指定位置的坐标。
以下步骤503、504为可选步骤。
步骤503:服务器返回针对所述第一请求的失败响应,以便于终端根据所述针对所述第一请求的失败响应,呈现指认提示,所述指认提示用于提示用户对所述第一指定位置的人脸进行指认。
其中,服务器返回针对所述第一请求的失败响应具体为服务器根据步骤502的确定结果,即确定未查找到所述第一人物信息元数据后,向终端返回针对所述第一请求的失败响应。
具体的,终端显示的指认提示可以包括文本提示信息,例如“未能识别到人物,是否帮助指认”;终端还可以显示确定指认按钮,例如“是”按钮,以及显示取消指认按钮,例如“否”按钮。
步骤504:终端接收到用户通过所述指认提示发起的指认指令后,向服务器发送指认人物请求。
具体的,用户可以通过点击确定指认按钮,例如“是”按钮发起指认操作。
步骤505:服务器获得与所述第一视频标识对应的包含人物标识的多个人物信息,向终端发送所述多个人物信息。
其中,服务器获得与所述第一视频标识对应的包含人物标识的多个人物信息包括:服务器根据步骤502中确定的未查找到第一人物信息元数据或者根据步骤504接收到的指认人物请求,获得与所述第一视频标识对应的多个人物信息。其中,获得与所述第一视频标识对应的多个人物信息可以为:从存储的人物信息元数据中获取具有所述第一视频标识的所有人物信息元数据,根据所述所有人物信息元数据包含的多个人物标识,从人物信息库中获取多个人物信息。
步骤506:终端呈现所述多个人物信息以及选择提示,所述选择提示用于提示用户从所述多个人物信息中选择要指认的人物信息。
具体的,终端可以呈现所述多个人物信息中每个人物信息包含的身份信息,例如名字、人物照片、或在视频中的角色中的至少一项。
步骤507:终端接收到用户的第一选择人物指令,所述第一选择人物指令包含第一人物标识,向服务器发送保存人物信息元数据请求,所述保存人物信息元数据请求包含所述第一人物标识。
具体的,可以是用户根据所述终端呈现的多个人物信息、选择其中一个人物信息从而发起第一选择人物指令,所述第一选择人物指令包含所述用户选择的第一人物信息的人物标识。
步骤508:服务器在与所述第一视频标识对应的第一视频中确定与所述第一视频帧标识对应的第一视频帧,并在所述第一视频帧中检测包含所述第一指定位置的坐标的第一人脸区域后,保存所述第一人脸区域、所述第一人物标识、所述第一视频标识、以及所述第一视频帧标识的关联关系。
其中,服务器在与所述第一视频标识对应的第一视频中确定与所述第一视频帧标识对应的第一视频帧具体为:通过截图工具,例如ffmpeg,在所述第一视频标识对应的视频中截取所述第一视频帧标识对应的第一视频帧。
可选的,服务器在所述第一视频帧中检测包含所述第一指定位置的坐标的第一人脸区域之后进一步的还包括以下关联信息验证的步骤:
根据所述存储的人物信息元数据,获取与所述第一人物标识关联的视频帧的人脸区域中的人脸;
将所述第一视频帧的第一人脸区域中的人脸与所述与所述第一人物标识关联的视频帧的人脸区域中的人脸进行匹配;
确定所述匹配达到指定的条件。
其中,根据所述存储的人物信息元数据,获取与所述第一人物标识关联的视频帧的人脸区域中的人脸具体为:在所述存储的人物信息元数据中,获取包含所述第一人物标识的所有人物信息元数据后,从中选取至少一个人物信息元数据,根据所述至少一个人物信息元数据的视频标识、视频帧标识获取至少一个与所述第一人物标识关联的视频帧,然后根据所述至少一个人物信息元数据的人脸区域,获取至少一个与所述第一人物标识关联的视频帧的人脸区域中的人脸。其中,获取到包含所述第一人物标识的所有人物信息元数据后,从中选取至少一个人物信息元数据的方法可以是:判断所述所有人物信息元数据的个数,如果小于预定值,例如5,则选择该所有的人物信息元数据,如果大于该预定值,则从所述所有人物信息元数据中随机抽取个数等于该预定值的人物信息元数据。
其中,将所述第一视频帧的第一人脸区域中的人脸与所述与所述第一人物标识关联的视频帧的人脸区域中的人脸进行匹配,可以采用基于形状上下文的人脸匹配算法,其中,指定的条件可以是每次匹配的匹配相似度高于80%。
所述关联信息验证的目的是避免用户可能出现误操作、或者存在恶意操作的情况,从而导致服务器获得的人物标识与指定位置之间的关联信息有误,比如:画面中的某一点周围并不存在人脸,或虽然存在人脸但与人物标识并不匹配。所以,需要通过本步骤的审核来排除这些错误。
其中,服务器保存所述第一人脸区域、所述第一人物标识、所述第一视频标识、以及所述第一视频帧标识的关联关系具体为:在所述存储的视频人物信息元数据列表中新建一条人物信息元数据,其人脸区域为所述第一人脸区域,其人物标识为所述第一人物标识,其视频标识为所述第一视频标识,其视频帧标识为所述第一视频帧标识。
可选的,所述保存所述第一人脸区域与所述第一人物标识、所述第一请求中的视频标识、以及所述第一视频帧标识的关联关系之后还包括:
在与所述第一视频标识对应的视频中,确定与所述第一视频帧相邻的第三视频帧中包含所述第一视频帧的第一人脸区域中的人脸;
获取所述第三视频帧的视频帧标识以及所述第三视频帧中包含的第三人脸区域,所述第三人脸区域包含所述第一视频帧的第一人脸区域中的人脸;
保存所述第一请求中的视频标识、所述第一人物标识、所述第三视频帧的视频帧标识、以及所述第三人脸区域的关联关系。
其中,在与所述第一请求中的视频标识对应的视频中,确定与所述第一视频帧相邻的第三视频帧中包含所述第一视频帧的第一人脸区域中的人脸具体为:在所述视频标识对应的视频中,以所述第一视频帧的第一人脸区域中的人脸作为目标人脸,选取与所述第一视频帧左边与右边的预定数目,的视频帧为所述第一视频帧相邻的视频帧,例如,预定数目为24,使用人脸跟踪技术在所述第一视频帧相邻的视频帧中寻找包含所述目标人脸的第三视频帧,并确定该第三视频帧中包含所述目标人脸的区域。
可选的,也可以是以所述第一视频帧所在镜头的其他视频帧作为所述第一视频帧相邻的视频帧,进行所述目标人脸的人脸跟踪。其中,获取所述第一视频帧所在镜头的方法可以采用已有的镜头边界检测技术,例如,基于二维图像分割的视频镜头边界检测方法。
因为在连续帧中出现相同人物的概率比较大,而用户的一次指认操作只针对一帧画面,通过所述人脸跟踪可以同时将与该视频帧相邻的多个视频帧中包含用户选择人物的人脸区域识别出来,并建立所述多个人脸区域和所述用户选择人物的关联关系,提高其他用户获取人物信息的成功概率。
通过该实施例描述的在视频中获取人物信息的方法,视频对应的人物信息元数据在初始时只包含系统预添加的少量记录,随着用户的参与不断完善该人物信息元数据,从而逐步提高获取人物信息的成功率。而且只需要对用户感兴趣的画面进行人脸识别、并存储这些用户感兴趣的画面的人脸信息,实际上用户感兴趣的画面基本上集中在某些区域。因此所述在视频中获取人物信息的方法可以不需要对视频进行预处理,或做部分预处理(例如只对视频初始时间段进行人脸识别)即可上线,从而降低了视频上线的时间开销,节省了计算资源,也节省了空间资源。
可选的,步骤508之后还可以包含以下操作步骤,该操作步骤用于对视频中获取到的人物信息进行纠错:
步骤509:进一步的,终端接收到用户的获取指定位置人物信息的第二指令,获取接收到第二指令时刻播放视频的第二视频标识、第二视频帧标识,获取触发第二指令的用户操作对应的第二指定位置的坐标,并向服务器发送获取指定位置人物信息的第二请求,所述第二请求包含所述第二视频标识、所述第二视频帧标识和所述第二指定位置的坐标。所述第二视频标识可以和第一视频标识相同。
该步骤详细描述可以参考步骤501,这里不再赘述。
步骤510:服务器在所述存储的人物信息元数据中查找第二人物信息元数据,所述第二人物信息元数据中的视频标识和视频帧标识分别与所述第二视频标识和所述第二视频帧标识相同,且所述第二人物信息元数据中的人脸区域包含所述第二指定位置的坐标,所述第二人物信息元数据包含第二人物标识以及第二人脸区域。根据所述第二人物标识获取包含所述第二人物标识的第二人物信息。
其中,服务器中包含人物信息元数据列表以及人物信息库的描述参考步骤502。
步骤511:服务器向所述终端发送所述第二人物信息,以便于所述终端向用户呈现所述第二人物信息以及纠错按钮,所述纠错按钮用于提示用户可以对所述第二人物信息进行纠错。
可选的,服务器还向所述终端发送所述第二人脸区域,终端根据所述第二人脸区域呈现出人脸位置,具体的,可以是根据第二人脸区域的左上、右下角两个点的坐标,将这两个点确定的矩形框展示出来,以使终端更清楚的呈现第二人物信息与第二人脸区域的对应关系。
步骤512:接收到用户根据所述返回的人物信息发送的纠错指令,终端向服务器发送纠错请求。
具体的,用户发现呈现的人物信息与人脸区域中的人脸不匹配时,可以通过点击“纠错”按钮发起纠错操作。
步骤513:根据所述纠错请求,服务器获得与所述第二视频标识对应的包含人物标识的多个人物信息后,向终端发送所述多个人物信息。
其中,服务器获得与所述第二视频标识对应的人物信息的方法参见步骤505中服务器获得与所述第一视频标识对应的人物信息列表的详细描述。
步骤514:终端呈现所述多个人物信息以及选择提示,所述选择提示用于提示用户从所述多个人物信息中选择要指认的人物信息。
该步骤详细描述参见步骤506。
步骤515:终端接收到用户的第二选择人物指令,所述第二选择人物指令包含第三人物标识,向服务器发送更新人物信息元数据请求,所述更新人物信息元数据请求包含所述第三人物标识。
具体的,可以是用户根据所述终端呈现的多个人物信息、选择其中一个人物信息从而发起第二选择人物指令,所述第二选择人物指令包含所述用户选择的第三人物信息的人物标识。
步骤516:服务器在所述存储的人物信息元数据中将所述第二人物信息元数据中的第二人物标识替换为所述第三人物标识。
由于角度、光照、表情、遮盖物(眼镜、胡子、发型等)等因素,单纯依靠人脸识别技术,容易出现识别错误的情况,即系统部分预处理的数据中可能出现错误信息。另外,用户指认人物时可能出现误操作,例如人脸与指认的人物标识不匹配,并且关联信息校验时没有发现该错误,例如第一个用户指认该人物时无法做校验。现有技术中,缺少一种纠错机制。通过上述对人物信息纠错的操作,可以让用户发现获取到的人物信息出现错误时,可以进行纠正,从而进一步完善人物信息元数据,提高用户获取人物信息的正确率。
本发明另一个实施例提供了在视频中获取指定画面人物信息的信令流程图,请参照图6,该实施例用于获取指定画面的所有人物信息的场景,具体流程包括:
步骤601:在播放视频过程中,终端接收到用户的获取指定画面人物信息的第一指令,终端获取接收到第一指令时刻播放视频的第一视频标识和第一视频帧标识,并向服务器发送获取指定画面人物信息的第一请求,所述第一请求包含所述第一视频标识和所述第一视频帧标识。所述第一请求用于获取接收到第一指令时刻的视频画面中所有人物的信息。
具体的,可以是用户在通过具有可触摸屏移动终端观看视频过程中发现画面中出现感兴趣的一个或多个人物时摇动一下该移动设备或点击特定按钮来发送获取指定画面人物信息的指令,也可以是用户在使用PC观看视频过程中发现画面中出现感兴趣的一个或多个人物时通过鼠标点击特定按钮来发送获取指定画面人物信息的指令,该指令用于同时获取指定画面中的多个人物信息。当终端接收到所述用户的获取指定画面人物信息的指令时,暂停视频。
终端获取接收到第一指令时刻播放视频的第一视频标识、第一视频帧标识的详细描述参考图5对应的实施例中步骤501。
步骤602:服务器在在所述存储的人物信息元数据中查找人物信息元数据,所述人物信息元数据的视频标识和视频帧标识分别与所述第一视频标识和所述第一视频帧标识相同。
服务器中包含的人物信息元数据和人物信息库的描述参考图5对应实施例的步骤502。
步骤603:服务器根据所述查找的结果向所述终端返回针对所述第一请求的响应,根据所述针对所述第一请求的响应,终端呈现指认提示,所述指认提示用于提示用户对获取所述第一指令时刻画面的人脸进行指认。
其中,服务器根据所述查找的结果向所述终端返回针对所述第一请求的响应包括:
所述查找的结果为查找到至少一个第一画面人物信息元数据;各个所述第一画面人物信息元数据的视频标识和视频帧标识分别与所述第一视频标识和所述第一视频帧标识相同,根据各个所述第一画面人物信息元数据的人物标识,获取各个包含所述第一画面人物信息元数据的人物标识的第一画面人物信息,向所述终端返回各个所述第一画面人物信息以及各个所述第一画面人物信息元数据的人脸区域;
或所述查找的结果为没有查找到第一画面人物信息元数据,所述第一画面人物信息元数据的视频标识和视频帧标识分别与所述第一视频标识和所述第一视频帧标识相同,向所述终端返回针对所述第一请求的失败响应。
其中,当服务器返回各个所述第一画面人物信息以及各个所述第一画面人物信息元数据的人脸区域时,终端呈现各个所述第一画面人物信息以及各个所述第一画面人物信息元数据的人脸区域,同时呈现的指认提示可以包括文本提示信息,例如“假如本画面中存在未能识别到的人物,点击画面中的人脸帮助指认”。因为服务器识别到的人物可能只是画面中的部分人物,允许用户对未识别到的其他人物进行指认。
其中,当服务器返回针对所述第一请求的失败响应时,终端呈现的指认提示可以包括文本提示信息,例如“本画面未能识别到人物,点击画面中的人脸帮助指认”,还可以显示取消指认按钮,例如“退出指认”。
步骤604:终端接收到用户通过所述指认提示发起的指认指令后,向服务器发送指认人物请求。
接收到所述指认指令后,终端获取到第一指定位置的坐标。具体的,用户可以通过触摸屏幕中需要指认的人脸中任一部位发起指认指令,获取所述触摸位置的坐标为第一指定位置的坐标。
步骤605:根据所述指认人物请求,服务器获得与所述第一视频标识对应的包含人物标识的多个人物信息,向终端发送所述多个人物信息。
该步骤中服务器获得与所述第一视频标识对应的多个人物信息的详细描述参考图5对应实施例的步骤505。
步骤606:终端呈现所述多个人物信息以及选择提示,所述选择提示用于提示用户从所述多个人物信息中选择要指认的人物信息。
具体的,终端可以呈现所述多个人物信息中每个人物信息包含的身份信息,例如名字、人物照片、或在视频中的角色中的至少一项。
步骤607:终端接收到用户的第一选择人物指令,所述第一选择人物指令包含第一人物标识,向服务器发送保存人物信息元数据请求,所述保存人物信息元数据请求包含所述第一人物标识以及第一指定位置的坐标。
具体的,可以是用户根据所述终端呈现的多个人物信息、选择其中一个人物信息从而发起第一选择人物指令,所述第一选择人物指令包含所述用户选择的第一人物信息的人物标识。
步骤608:服务器在与所述第一视频标识对应的第一视频中确定与所述第一视频帧标识对应的第一视频帧,并在所述第一视频帧中检测出包含所述第一指定位置的坐标的第一人脸区域后,保存所述第一人脸区域、所述第一人物标识、所述第一视频标识、以及所述第一视频帧标识的关联关系。
该步骤的详细实现参见图5对应实施例的步骤508。
可选的,在步骤608之后还可以返回到步骤603,进行对所述画面再一次人物指认。
通过该实施例描述的在视频中获取人物信息的方法,视频对应的人物信息元数据在初始时可以只包含系统预添加的少量记录,随着用户的参与不断完善该人物信息元数据,从而逐步提高获取人物信息的成功率。而且只需要对用户感兴趣的画面进行人脸识别、并存储这些用户感兴趣的画面的人脸信息,实际上用户感兴趣的画面基本上集中在某些区域。因此所述在视频中获取人物信息的方法可以不需要对视频进行预处理,或做部分预处理(例如只对视频初始时间段进行人脸识别)即可上线,从而降低了视频上线的时间开销,节省了计算资源,也节省了空间资源。
可选的,步骤608之后还可以包含以下对视频中获取到的人物信息进行纠错的操作步骤:
步骤609:进一步的,终端接收到用户的获取指定画面人物信息的第二指令,获取接收到第二指令时刻播放视频的第二视频标识和第二视频帧标识,向服务器发送获取指定画面人物信息的第二请求,所述第二请求包含所述第二视频标识、所述第二视频帧标识。所述第二视频标识可以和第一视频标识相同。
该步骤详细描述可以参考步骤601,这里不再赘述。
步骤610:服务器在所述存储的人物信息元数据中查找到至少一个第二画面人物信息元数据,各个所述第二画面人物信息元数据中的视频标识和视频帧标识分别与所述第二视频标识和所述第二视频帧标识相同;分别根据各个所述第二画面人物信息元数据的人物标识,获取各个包含所述第二画面人物信息元数据的人物标识的第二画面人物信息。
服务器中包含的人物信息元数据和人物信息库的描述参考图5对应实施例的步骤502。
步骤611:服务器向所述终端发送各个所述第二画面人物信息以及对应的各个所述第二画面人物信息元数据的人脸区域,以便于终端向用户呈现各个所述第二画面人物信息以及对应的各个所述第二画面人物信息元数据的人脸区域,并且呈现纠错按钮,所述纠错按钮用于提示用户可以对所述各个第二画面人物信息进行纠错。
具体的,可以是呈现各个所述第二画面人物信息以及对应的各个所述第二画面人物信息元数据的人脸区域的同时,针对每个第二画面人物信息呈现对应的纠错按钮。终端呈现人脸区域的具体方法可以是,根据人脸区域的左上、右下角两个点的坐标,将这两个点确定的矩形框的四条边呈现出来。可选的,标识出各个所述第二画面人物信息以及各个所述第二画面人物信息元数据的人脸区域的关联关系,例如,人物信息和关联的人脸区域的矩形框具有相同的颜色。
步骤612:终端接收到用户根据各个所述第二画面人物信息以及各个所述第二画面人物信息元数据的人脸区域发送的纠错指令,所述纠错指令包含根据各个第二画面人物信息元数据的人脸区域选择的第二人脸区域,向服务器发送纠错请求。
具体的,用户发现呈现的各个所述第二画面人物信息以及各个所述第二画面人物信息元数据的人脸区域之间存在一个或多个不匹配时,可以选择需要纠错的人脸区域对应的“纠错”按钮从而发送纠错指令,所述纠错指令包含所述用户选择的第二人脸区域。
步骤613:根据所述纠错请求,服务器获得与所述第二视频标识对应的包含人物标识的多个人物信息后,向终端发送所述多个人物信息。
该步骤详细描述参考图5对应实施例的步骤505。
步骤614:终端呈现所述多个人物信息以及选择提示,所述选择提示用于提示用户从所述多个人物信息中选择要指认的人物信息。
该步骤详细描述参考图5对应实施例的步骤506。
步骤615:终端接收到用户的第二选择人物指令,所述第二选择人物指令包含第二人物标识,向服务器发送更新人物信息元数据请求,所述更新人物信息元数据请求包含所述第二人物标识以及所述第二人脸区域。
具体的,可以是用户根据所述终端展示的多个人物信息、选择其中一个人物信息从而发起第二选择人物指令,所述第二选择人物指令包含所述用户选择的第二人物信息的人物标识。
步骤616:服务器接收到所述更新人物信息元数据请求后,在所述存储的人物信息元数据中查找包含所述第二人脸区域、所述第二视频标识、以及所述第二视频帧标识的人物信息元数据,将所述查找到的人物信息元数据的人物标识替换为所述第二人物标识。
可选的,在步骤616之后还可以返回到步骤611,进行对所述画面的再一次人物纠错。
由于角度、光照、表情、遮盖物(眼镜、胡子、发型等)等因素,单纯依靠人脸识别技术,容易出现识别错误的情况,即系统部分预处理的数据中可能出现错误信息。另外,用户指认人物时可能出现误操作,例如人脸与指认的人物标识不匹配,并且关联信息校验时没有发现该错误,例如第一个用户指认该人物时无法做校验。现有技术中,缺少一种纠错机制。通过上述对人物信息纠错的操作,可以让用户发现获取到的人物信息出现错误时,可以进行纠正,从而进一步完善人物信息元数据,提高用户获取人物信息的正确率。
本发明实施例提供了在视频中获取指定位置人物信息的服务器,所述服务器中预先存储与所述视频对应的人物信息元数据,所述人物信息元数据包含视频标识、视频帧标识、人脸区域、以及人物标识,如图7所示,该服务器700包括:
接收单元701,用于所述服务器在为终端播放视频的过程中,接收所述终端发送的获取指定位置人物信息的第一请求,所述第一请求包含第一视频标识、第一视频帧标识以及第一指定位置的坐标,以及将所述第一视频标识、第一视频帧标识以及第一指定位置的坐标发送给人物信息元数据管理单元702;
人物信息元数据管理单元702,用于从接收单元701接收所述第一视频标识、第一视频帧标识以及第一指定位置的坐标,以及在所述存储的人物信息元数据中查找第一人物信息元数据,确定未查找到所述第一人物信息元数据,以及将所述未查找到所述第一人物信息元数据的结果发送给发送单元703,所述第一人物信息元数据中的视频标识和视频帧标识分别与所述第一视频标识和所述第一视频帧标识相同,且所述第一人物信息元数据中的人脸区域包含所述第一指定位置的坐标;
发送单元703,用于从人物信息元数据管理单元702接收所述未查找到所述第一人物信息元数据的结果,以及根据所述未查找到所述第一人物信息元数据的结果,向所述终端发送存储的与所述第一视频标识对应的多个人物信息,所述人物信息包含人物标识和人物展示信息;
接收单元701,进一步的用于接收所述终端发送的保存人物信息元数据请求,所述保存人物信息元数据请求包含第一人物标识,以及将所述第一人物标识发送给所述人物信息元数据管理单元,将所述第一视频标识、第一视频帧标识以及第一指定位置的坐标发送给检测单元704,所述第一人物标识为根据所述与所述第一视频标识对应的多个人物信息选择的第一人物展示信息对应的人物标识;
检测单元704,用于从接收单元701接收所述第一视频标识、第一视频帧标识以及第一指定位置的坐标,以及在与所述第一视频标识对应的第一视频中确定与所述第一视频帧标识对应的第一视频帧后,在所述第一视频帧中检测包含所述第一指定位置的坐标的第一人脸区域,将所述第一人脸区域发送给人物信息元数据管理单元702;
人物信息元数据管理单元702,进一步的用于从检测单元704接收所述第一人脸区域,从所述接收单元接收所述第一人物标识,以及保存所述第一人脸区域、所述第一人物标识、所述第一视频标识、以及所述第一视频帧标识的关联关系。
可选的,发送单元703,进一步的用于在向所述终端发送存储的与所述第一视频标识对应的多个人物信息之前,向所述终端发送针对所述第一请求的失败响应;
可选的,接收单元701,进一步的用于接收所述终端根据所述针对所述第一请求的失败响应发送的指认人物请求,以及根据所述指认人物请求,向发送单元703发送单元向所述终端发送存储的与所述第一视频标识对应的多个人物信息列表,所述人物信息包含人物标识和人物展示信息。
可选的,服务器700进一步的还包括人脸获取单元705、匹配单元706和匹配结果确定单元707;
可选的,人物信息元数据管理单元702,进一步的用于在保存所述第一人脸区域、所述第一人物标识、所述第一视频标识、以及所述第一视频帧标识的关联关系之前,将所述第一人物标识发送给人脸获取单元705;
可选的,人脸获取单元705,用于从人物信息元数据管理单元702接收所述第一人物标识,以及根据所述存储的人物信息元数据,获取与所述第一人物标识关联的视频帧的人脸区域中的人脸,以及将所述与所述第一人物标识关联的视频帧的人脸区域中的人脸发送给匹配单元706;
可选的,匹配单元706,用于从人脸获取单元705接收所述与所述第一人物标识关联的视频帧的人脸区域中的人脸,以及将所述第一视频帧的第一人脸区域中的人脸与所述与所述第一人物标识关联的视频帧的人脸区域中的人脸进行匹配,将所述匹配的结果发送给匹配结果确定单元707;
可选的,匹配结果确定单元707,用于从所述匹配单元706接收所述匹配的结果,确定所述匹配的结果达到指定的条件,以及将所述确定所述匹配的结果达到指定的条件发送给人物信息元数据管理单元702;
可选的,人物信息元数据管理单元702保存所述第一人脸区域、所述第一人物标识、所述第一视频标识、以及所述第一视频帧标识的关联关系具体为:从匹配结果确定单元707接收所述确定所述匹配的结果达到指定的条件,以及根据所述匹配的结果达到指定的条件,保存所述第一人脸区域、所述第一人物标识、所述第一视频标识、以及所述第一视频帧标识的关联关系。
可选的,服务器700进一步的还包括人脸确定单元708和画面信息获取单元709;
可选的,人物信息元数据管理单元702,进一步的用于将所述第一人脸区域、所述第一视频标识、以及所述第一视频帧标识发送给人脸确定单元708;
可选的,人脸确定单元708,用于从人物信息元数据管理单元702接收所述第一人脸区域、所述第一视频标识、以及所述第一视频帧标识,以及在与所述第一视频标识对应的视频中,确定与所述第一视频帧相邻的第三视频帧中包含所述第一视频帧的第一人脸区域中的人脸,以及将所述确定所述第三视频帧包含所述第一视频帧的第一人脸区域中的人脸的结果发送给画面信息获取单元709;
可选的,画面信息获取单元709,用于从人脸确定单元708接收所述确定所述第三视频帧包含所述第一视频帧的第一人脸区域中的人脸的结果,并根据所述结果获取所述第三视频帧的视频帧标识以及所述第三视频帧中包含的第三人脸区域,所述第三人脸区域包含所述第一视频帧的第一人脸区域中的人脸,将所述第三视频帧的视频帧标识以及所述第三人脸区域发送给人物信息元数据管理单元702;
可选的,人物信息元数据管理单元702,进一步的用于从画面信息获取单元709接收所述第三视频帧的视频帧标识以及所述第三人脸区域,保存所述第一视频标识、所述第一人物标识、所述第三视频帧的视频帧标识、以及所述第三人脸区域的关联关系。
可选的,服务器700还包含人物信息管理单元710;
可选的,接收单元701,进一步的用于接收所述终端发送的获取指定位置人物信息的第二请求,所述第二请求包含第二视频标识、第二视频帧标识以及第二指定位置的坐标,以及将将所述第二视频标识、第二视频帧标识以及第二指定位置的坐标发送给人物信息元数据管理单元702;
可选的,人物信息元数据管理单元702,进一步的用于接收接收单元701发送的所述第二视频标识、第二视频帧标识以及第二指定位置的坐标,在所述存储的人物信息元数据中查找第二人物信息元数据,所述第二人物信息元数据中的视频标识和视频帧标识分别与所述第二视频标识和所述第二视频帧标识相同,且所述第二人物信息元数据中的人脸区域包含所述第二指定位置的坐标,所述第二人物信息元数据包含第二人物标识以及第二人脸区域,将所述第二人物标识发送给人物信息管理单元710;
可选的,人物信息管理单元710,用于从所述人物信息元数据管理单元接收所述第二人物标识,根据所述第二人物标识获取包含所述第二人物标识的第二人物信息,将所述第二人物信息发送给发送单元703。
可选的,发送单元703,进一步的用于从人物信息管理单元702接收所述第二人物信息,以及向所述终端发送所述第二人物信息;
可选的,接收单元701,进一步的用于接收所述终端根据所述第二人物信息而发送的纠错请求,将所述纠错请求发送给发送单元703;
可选的,发送单元703,进一步的用于接收接收单元701发送的所述纠错请求,以及根据所述纠错请求,向所述终端发送存储的与所述第二视频标识对应的多个人物信息,所述人物信息包含人物标识和人物展示信息;
可选的,接收单元701,进一步的用于接收所述终端发送的更新人物信息元数据请求,所述更新人物信息元数据请求包含第三人物标识,所述第三人物标识为根据所述与所述第二视频标识对应的多个人物信息选择的第二人物展示信息对应的人物标识,将所述第三人物标识发送给人物信息元数据管理单元702;
可选的,人物信息元数据管理单元702,进一步的用于从所述接收单元接收所述第三人物标识,以及在所述存储的人物信息元数据中将所述第二人物信息元数据中的第二人物标识替换为所述第三人物标识。
本发明实施例提供了在视频中获取指定位置人物信息的终端,如图8所示,该终端800包括:
用户交互单元801,用于在播放视频过程中,接收获取指定位置人物信息的第一指令,以及将所述第一指令发送给发送单元802;
发送单元802,用于从用户交互单元801接收所述第一指令,根据所述第一指令向服务器发送获取指定位置人物信息的第一请求,所述第一请求包含第一视频标识、第一视频帧标识以及第一指定位置的坐标;
接收单元803,用于接收所述服务器确定未查找到第一人物信息元数据后发送的与所述第一视频标识对应的多个人物信息,所述第一人物信息元数据的视频标识和视频帧标识分别与所述第一视频标识和所述第一视频帧标识相同,且所述第一人物信息元数据的人脸区域包含所述第一指定位置的坐标,所述人物信息包含人物标识和可展示人物信息,将所述与所述第一视频标识对应的多个人物信息发送给用户交互单元801;
用户交互单元801,进一步的用于从接收单元803接收所述与所述第一视频标识对应的多个人物信息,以及接收第一选择人物指令,所述第一选择人物指令包含第一人物展示信息,所述第一人物展示信息为根据所述与所述第一视频标识对应的多个人物信息选择的人物展示信息,将所述第一人物展示信息发送给获取单元804;
获取单元804,用于从用户交互单元801接收所述第一人物展示信息,以及根据所述第一人物展示信息获取与所述第一人物展示信息对应的第一人物标识,将所述第一人物标识发送给发送单元802;
发送单元802,进一步的用于从获取单元804接收所述第一人物标识,以及根据所述第一人物标识向所述服务器发送保存人物信息元数据请求,所述保存人物信息元数据包含所述第一人物标识,以便于所述服务器确定包含所述第一指定位置的坐标的第一人脸区域后,保存所述第一人脸区域、所述第一人物标识、所述第一视频标识、以及所述第一视频帧标识的关联关系。
可选的,接收单元803,进一步的用于在接收所述服务器确定未查找到第一人物信息元数据后发送的与所述第一视频标识对应的多个人物信息之前,接收所述服务器发送的针对所述第一请求的失败响应,以及将所述失败响应发送给用户交互单元801;
可选的,用户交互单元801,进一步的用于从接收单元803接收所述失败响应,以及根据所述失败响应呈现指认提示,所述指认提示用于提示用户对包含所述第一指定位置的坐标的人脸进行指认,接收根据所述指认提示发起的指认指令,将所述指认指令发送给发送单元802;
可选的,发送单元802,进一步的用于从用户交互单元801接收所述指认指令,以及根据所述指认指令向所述服务器发送指认人物请求。
可选的,用户交互单元801,进一步的用于接收获取指定位置人物信息的第二指令,将所述第二指令发送给发送单元802;
可选的,发送单元802,进一步的用于从用户交互单元801接收所述第二指令,以及根据所述第二指令向所述服务器发送获取指定位置人物信息的第二请求,所述第二请求包含第二视频标识、第二视频帧标识以及第二指定位置的坐标;
可选的,接收单元803,进一步的用于接收所述服务器查找到第二人物信息元数据并获取包含第二人物标识的第二人物信息后发送的所述第二人物信息,所述第二人物信息元数据中的视频标识和视频帧标识分别与所述第二视频标识和所述第二视频帧标识相同,且所述第二人物信息元数据中的人脸区域包含所述第二指定位置的坐标,所述第二人物标识为所述第二人物信息元数据中的人物标识,将所述第二人物信息发送给用户交互单元801;
可选的,用户交互单元801,进一步的用于从接收单元803接收所述第二人物信息,呈现所述第二人物信息,接收根据所述第二人物信息发送的纠错指令,将所述纠错指令发送给发送单元802;
可选的,发送单元802,进一步的用于从用户交互单元801接收所述纠错指令,以及根据所述纠错指令向所述服务器发送纠错请求;
可选的,接收单元803,进一步的用于接收所述服务器根据所述纠错请求发送的与所述第二视频标识对应的多个人物信息,所述人物信息包含人物标识和人物展示信息,以及将所述与所述第二视频标识对应的多个人物信息发送给用户交互单元801;
可选的,用户交互单元801,进一步的用于从接收单元803接收所述与所述第二视频标识对应的多个人物信息,以及接收第二选择人物指令,所述第二选择人物指令包含第二人物展示信息,所述第二人物展示信息为根据所述与所述第二视频标识对应的多个人物信息选择的人物展示信息,将所述第二人物展示信息发送给获取单元804;
可选的,获取单元804,进一步的用于从用户交互单元801接收所述第二人物展示信息,以及根据所述第二人物展示信息获取与所述第二人物展示信息对应的第三人物标识,将所述第三人物标识发送给发送单元802;
可选的,发送单元802,进一步的用于从获取单元804接收所述第三人物标识,以及根据所述第三人物标识向所述服务器发送更新人物信息元数据请求,所述更新人物信息元数据请求包含所述第三人物标识,以便于所述服务器在所述存储的人物信息元数据中将所述第二人物信息元数据中的第二人物标识替换为所述第三人物标识。
本发明实施例提供了在视频中获取指定画面人物信息的服务器,所述服务器中预先存储与所述视频对应的人物信息元数据,所述人物信息元数据包含视频标识、视频帧标识、人脸区域、以及人物标识,如图9所示,该服务器900包括:
接收单元901,用于在为终端播放视频的过程中,接收所述终端发送的获取指定画面人物信息的第一请求,所述第一请求包含第一视频标识和第一视频帧标识,以及将所述第一视频标识和第一视频帧标识发送给人物信息元数据管理单元902;
人物信息元数据管理单元902,用于从所述接收单元接收所述第一视频标识和第一视频帧标识,以及在所述存储的人物信息元数据中查找第一画面人物信息元数据,所述第一画面人物信息元数据的视频标识和视频帧标识分别与所述第一视频标识和所述第一视频帧标识相同,以及将所述查找的结果发送给发送单元903;
发送单元903,用于从人物信息元数据管理单元902接收所述查找的结果,以及根据所述查找的结果,向所述终端发送针对所述第一请求的响应;
接收单元901,进一步的用于接收所述终端根据所述第一请求的响应发送的指认人物请求,以及将所述指认人物请求发送给发送单元903;
发送单元903,进一步的用于从接收单元901接收所述指认人物请求,以及根据所述指认人物请求,向所述终端发送存储的与所述第一视频标识对应的多个人物信息,所述人物信息包含人物标识和人物展示信息;
接收单元901,进一步的用于接收所述终端发送的保存人物信息元数据请求,所述保存人物信息元数据请求包含第一指定位置的坐标以及第一人物标识,所述第一人物标识为根据所述与所述第一视频标识对应的多个人物信息选择的第一人物展示信息对应的人物标识,以及将所述第一人物标识发送给所述人物信息元数据管理单元,将所述第一视频标识、第一视频帧标识以及第一指定位置的坐标发送给检测单元904;
检测单元904,用于从接收单元902接收所述第一视频标识、第一视频帧标识以及第一指定位置的坐标,以及在与所述第一视频标识对应的第一视频中确定与所述第一视频帧标识对应的第一视频帧后,在所述第一视频帧中检测包含所述第一指定位置的坐标的第一人脸区域,将所述第一人脸区域发送给人物信息元数据管理单元902;
人物信息元数据管理单元902,进一步的用于从检测单元904接收所述第一人脸区域,从接收单元901接收所述第一人物标识,以及保存所述第一人脸区域、所述第一人物标识、所述第一视频标识、以及所述第一视频帧标识的关联关系。
可选的,服务器900进一步的还包括人物信息管理单元905;
可选的,所述查找的结果为查找到至少一个第一画面人物信息元数据,各个所述第一画面人物信息元数据的视频标识和视频帧标识分别与所述第一视频标识和所述第一视频帧标识相同,发送单元903用于从人物元数据管理单元902接收所述至少一个第一画面人物信息元数据,以及根据所述至少一个第一画面人物信息元数据将各个所述第一画面人物信息元数据的人物标识发送给人物信息管理单元905;可选的,人物信息管理单元905,用于从所述发送单元903获取各个所述第一画面人物信息元数据的人物标识,根据各个所述第一画面人物信息元数据的人物标识,获取各个包含所述第一画面人物信息元数据的人物标识的第一画面人物信息,以及将各个所述第一画面人物信息发送给发送单元903,发送单元903,进一步的用于从人物信息管理单元905接收各个所述第一画面人物信息,向所述终端返回各个所述第一画面人物信息以及各个所述第一画面人物信息元数据的人脸区域;
可选的,所述查找的结果为没有查找到第一画面人物信息元数据,所述第一画面人物信息元数据的视频标识和视频帧标识分别与所述第一视频标识和所述第一视频帧标识相同,发送单元903用于从人物元数据管理单元902接收所述没有查找到第一画面人物信息元数据的结果,以及根据所述没有查找到第一画面人物信息元数据的结果向所述终端返回针对所述第一请求的失败响应。
可选的,服务器900进一步的包括人脸获取单元906、匹配单元907和匹配结果确定单元908;
可选的,人物信息元数据管理单元902,进一步的用于在保存所述第一人脸区域、所述第一人物标识、所述第一视频标识、以及所述第一视频帧标识的关联关系之前,将所述第一人物标识发送给人脸获取单元906;
人脸获取单元906,用于从人物信息元数据管理单元902接收所述第一人物标识,以及根据所述存储的人物信息元数据,获取与所述第一人物标识关联的视频帧的人脸区域中的人脸,以及将所述与所述第一人物标识关联的视频帧的人脸区域中的人脸发送给匹配单元907;
匹配单元907,用于从人脸获取单元906接收所述与所述第一人物标识关联的视频帧的人脸区域中的人脸,以及将所述第一视频帧的第一人脸区域中的人脸与所述与所述第一人物标识关联的视频帧的人脸区域中的人脸进行匹配,将所述匹配的结果发送给匹配结果确定单元908;
匹配结果确定单元908,用于从匹配单元907接收所述匹配的结果,确定所述匹配的结果达到指定的条件,以及将所述确定所述匹配的结果达到指定的条件发送给人物信息元数据管理单元902;
人物信息元数据管理单元902保存所述第一人脸区域、所述第一人物标识、所述第一视频标识、以及所述第一视频帧标识的关联关系具体为:从匹配结果确定单元908接收所述确定所述匹配的结果达到指定的条件,以及根据所述匹配的结果达到指定的条件,保存所述第一人脸区域、所述第一人物标识、所述第一视频标识、以及所述第一视频帧标识的关联关系。
可选的,服务器900进一步的包括人脸确定单元909和画面信息获取单元910;
可选的,人物信息元数据管理单元902,进一步的用于将所述第一人脸区域、所述第一视频标识、以及所述第一视频帧标识发送给人脸确定单元909;
可选的,人脸确定单元909,用于从人物信息元数据管理单元902接收所述第一人脸区域、所述第一视频标识、以及所述第一视频帧标识,以及在与所述第一视频标识对应的视频中,确定与所述第一视频帧相邻的第三视频帧中包含所述第一视频帧的第一人脸区域中的人脸,以及将所述确定所述第三视频帧包含所述第一视频帧的第一人脸区域中的人脸的结果发送给画面信息获取单元910;
可选的,画面信息获取单元910,用于从人脸确定单元909接收所述确定所述第三视频帧包含所述第一视频帧的第一人脸区域中的人脸的结果,并根据所述结果获取所述第三视频帧的视频帧标识以及所述第三视频帧中包含的第三人脸区域,所述第三人脸区域包含所述第一视频帧的第一人脸区域中的人脸,将所述第三视频帧的视频帧标识以及所述第三人脸区域发送给人物信息元数据管理单元902;
可选的,人物信息元数据管理单元902,进一步的用于从画面信息获取单元910接收所述第三视频帧的视频帧标识以及所述第三人脸区域,保存所述第一视频标识、所述第一人物标识、所述第三视频帧的视频帧标识、以及所述第三人脸区域的关联关系。
可选的,接收单元901,进一步的用于接收所述终端发送的获取指定画面人物信息的第二请求,所述第二请求包含第二视频标识、第二视频帧标识,以及将将所述第二视频标识、第二视频帧标识发送给人物信息元数据管理单元902;
可选的,人物信息元数据管理单元902,进一步的用于接收接收单元901发送的所述第二视频标识和第二视频帧标识,在所述存储的人物信息元数据中查找到至少一个第二画面人物信息元数据,所述第二人物信息元数据中的视频标识和视频帧标识分别与所述第二视频标识和所述第二视频帧标识相同,将所述至少一个第二画面人物信息元数据的人物标识发送给人物信息管理单元905;
可选的,人物信息管理单元905,进一步的用于从人物信息元数据管理单元902接收所述至少一个第二画面人物信息元数据的人物标识,以及分别根据各个所述第二画面人物信息元数据的人物标识,获取各个包含所述第二画面人物信息元数据的人物标识的第二画面人物信息,将各个所述第二画面人物信息以及各个所述第二画面人物信息元数据的人脸区域发送给发送单元903;
可选的,发送单元903,进一步的用于从人物信息管理单元902接收各个所述第二画面人物信息以及各个所述第二画面人物信息元数据的人脸区域,以及向所述终端发送各个所述第二画面人物信息以及各个所述第二画面人物信息元数据的人脸区域;
可选的,接收单元901,进一步的用于接收所述终端根据各个所述第二画面人物信息以及各个所述第二画面人物信息元数据的人脸区域发送的纠错请求,将所述纠错请求发送给发送单元903;
可选的,发送单元903,进一步的用于接收接收单元901发送的所述纠错请求,以及根据所述纠错请求,向所述终端发送存储的与所述第二视频标识对应的多个人物信息,所述人物信息包含人物标识和人物展示信息;
可选的,接收单元901,进一步的用于接收所述终端发送的更新人物信息元数据请求,所述更新人物信息元数据请求包含第二人物标识以及第二人脸区域,所述第二人物标识为根据所述与第二视频标识对应的多个人物信息选择的第二人物展示信息对应的人物标识,所述第二人脸区域为根据各个所述第二画面人物信息元数据的人脸区域选择的人脸区域,将所述第二人物标识以及所述第二人脸区域发送给人物信息元数据管理单元902;
可选的,人物信息元数据管理单元902,进一步的用于从接收单元901接收所述第二人物标识以及所述第二人脸区域,以及在所述存储的人物信息元数据中查找包含所述第二人脸区域、所述第二视频标识、以及所述第二视频帧标识的人物信息元数据,将所述查找到的人物信息元数据的人物标识替换为所述第二人物标识。
本发明实施例提供了在视频中获取指定画面人物信息的终端,如图10所示,该终端1000包括:
用户交互单元1001,用于在播放视频过程中,接收获取指定画面人物信息的第一指令,以及将所述第一指令发送给发送单元1002;
发送单元1002,用于从用户交互单元1001接收所述第一指令,根据所述第一指令向服务器发送获取指定画面人物信息的第一请求,所述第一请求包含第一视频标识和第一视频帧标识;
接收单元1003,用于接收所述服务器查找第一画面人物信息元数据后发送的针对所述第一请求的响应,所述第一画面人物信息元数据的视频标识和视频帧标识分别与所述第一视频标识和所述第一视频帧标识相同,将所述针对所述第一请求的响应发送给用户交互单元1001;
用户交互单元1001,进一步的用于从接收单元1003接收所述针对所述第一请求的响应,以及根据所述针对所述第一请求的响应呈现指认提示,所述指认提示用于提示用户对获取所述第一指令时刻画面的人脸进行指认,接收根据所述指认提示发起的指认指令,将所述指认指令发送给发送单元1002;
发送单元1002,进一步的用于从用户交互单元1001接收所述指认指令,以及根据所述指认指令,向所述服务器发送指认人物请求;
接收单元1003,进一步的用于接收所述服务器根据所述指认人物请求发送的与所述第一视频标识对应的多个人物信息,所述人物信息包含人物标识和人物展示信息,将所述与所述第一视频标识对应的多个人物信息发送给用户交互单元1001;
用户交互单元1001,进一步的用于从接收单元1003接收所述与所述第一视频标识对应的多个人物信息,以及接收第一选择人物指令,所述第一选择人物指令包含第一人物展示信息,所述第一人物展示信息为根据所述与所述第一视频标识对应的多个人物信息选择的人物展示信息,将所述第一人物展示信息发送给获取单元1004;
获取单元1004,用于从所述用户交互单元1001接收所述第一人物展示信息,以及根据所述第一人物展示信息获取与所述第一人物展示信息对应的第一人物标识,将所述第一人物标识发送给所述发送单元1002;
所述发送单元1002,进一步的用于从获取单元1004接收所述第一人物标识,以及根据所述第一人物标识向所述服务器发送保存人物信息元数据请求,所述保存人物信息元数据包含所述第一人物标识以及第一指定位置的坐标,以便于所述服务器确定包含所述第一指定位置的坐标的第一人脸区域后,保存所述第一人脸区域、所述第一人物标识、所述第一视频标识、以及所述第一视频帧标识的关联关系。
可选的,接收单元1003接收所述服务器查找第一画面人物信息元数据后发送的针对所述第一请求的响应具体为:
接收所述服务器查找到至少一个第一画面人物信息元数据后发送的各个第一画面人物信息以及对应的各个所述第一画面人物信息元数据的人脸区域,各个所述第一画面人物信息包含各个所述第一画面人物信息元数据的人物标识;或接收所述服务器查找不到第一画面人物信息元数据后发送的针对所述第一请求的失败响应;
可选的,用户交互单元1001,进一步的用于从所述接收单元接收所述针对所述第一请求的响应,以及根据所述针对所述第一请求的响应呈现指认提示具体为:
从接收单元1003接收各个所述第一画面人物信息、对应的各个所述第一画面人物信息元数据的人脸区域,以及呈现所述各个所述第一画面人物信息、对应的各个所述第一画面人物信息元数据的人脸区域和指认提示;或从接收单元1003接收所述针对所述第一请求的失败响应,以及根据所述失败响应呈现指认提示。
可选的,用户交互单元1001,进一步的用于接收获取指定画面人物信息的第二指令,将所述第二指令发送给发送单元1002;
发送单元1002,进一步的用于从用户交互单元1001接收所述第二指令,以及根据所述第二指令向所述服务器发送获取指定画面人物信息的第二请求,所述第二请求包含第二视频标识、第二视频帧标识;
接收单元1003,进一步的用于接收所述服务器查找到至少一个第二画面人物信息元数据后发送的各个第二画面人物信息以及对应的各个所述第二画面人物信息元数据的人脸区域,各个所述第二画面人物信息元数据的视频标识和视频帧标识分别与所述第二视频标识和所述第二视频帧标识相同,各个所述第二画面人物信息包含各个所述第二画面人物信息元数据的人物标识,将各个所述第二画面人物信息以及对应的各个所述第二画面人物信息元数据的人脸区域发送给用户交互单元1001;
用户交互单元1001,进一步的用于从接收单元1003接收各个所述第二画面人物信息以及对应的各个所述第二画面人物信息元数据的人脸区域,呈现各个所述第二画面人物信息以及对应的各个所述第二画面人物信息元数据的人脸区域,接收根据各个所述第二画面人物信息以及对应的各个所述第二画面人物信息元数据的人脸区域发送的纠错指令,所述纠错指令包含根据所述至少一个第二画面人物信息元数据的人脸区域选择的第二人脸区域,将所述纠错指令发送给发送单元1002;
发送单元1002,进一步的用于从用户交互单元1001接收所述纠错指令,以及根据所述纠错指令向所述服务器发送纠错请求;
接收单元1003,进一步的用于接收所述服务器根据所述纠错请求发送的与所述第二视频标识对应的多个人物信息,所述人物信息包含人物标识和人物展示信息,以及将所述与所述第二视频标识对应的多个人物信息发送给用户交互单元1001;
用户交互单元1001,进一步的用于从接收单元1003接收所述与所述第二视频标识对应的多个人物信息,以及接收第二选择人物指令,所述第二选择人物指令包含第二人物展示信息,所述第二人物展示信息为根据所述与所述第二视频标识对应的多个人物信息选择的人物展示信息,将所述第二人物展示信息发送给获取单元1004;
获取单元1004,进一步的用于从用户交互单元1001接收所述第二人物展示信息,以及根据所述第二人物展示信息获取与所述第二人物展示信息对应的第二人物标识,将所述第二人物标识发送给发送单元1002;
发送单元1002,进一步的用于从获取单元1004接收所述第二人物标识,以及根据所述第二人物标识向所述服务器发送更新人物信息元数据请求,所述更新人物信息元数据请求包含所述第二人物标识以及所述第二人脸区域,以便于所述服务器在所述存储的人物信息元数据中查找包含所述第二人脸区域、所述第二视频标识、以及所述第二视频帧标识的人物信息元数据,将所述查找到的人物信息元数据的人物标识替换为所述第二人物标识。
本发明实施例中的服务器可以基于计算机系统来实现,图1、图5所示的方法均可在基于计算机系统的服务器来实现。图11示出了基于计算机系统来实现的服务器的实施例。本实施例中服务器可以包括:处理器1101、存储器1102和通信接口1103,其中:
通信接口1103,用于与终端通信。服务器与终端之间交互的消息(如方法实施例图1、5所示)均通过通信接口1103发送和接收。具体地,通信接口1103用于在为终端播放视频的过程中,接收终端发送的获取指定位置人物信息的第一请求;存储器1102用于存储程序指令;处理器1101用于调用存储器1102中存储的程序指令,执行如下操作:接收所述终端发送的所述第一请求后,所述第一请求包含第一视频标识、第一视频帧标识以及第一指定位置的坐标;在所述存储的人物信息元数据中查找第一人物信息元数据以及确定未查找到所述第一人物信息元数据,所述第一人物信息元数据中的视频标识和视频帧标识分别与所述第一视频标识和所述第一视频帧标识相同,且所述第一人物信息元数据中的人脸区域包含所述第一指定位置的坐标;向所述终端发送存储的与所述第一视频标识对应的多个人物信息,所述人物信息包含人物标识和人物展示信息;接收所述终端发送的保存人物信息元数据请求,所述保存人物信息元数据请求包含第一人物标识,所述第一人物标识为根据所述与所述第一视频标识对应的多个人物信息选择的第一人物展示信息对应的人物标识;在与所述第一视频标识对应的第一视频中确定与所述第一视频帧标识对应的第一视频帧,并在所述第一视频帧中检测包含所述第一指定位置的坐标的第一人脸区域;保存所述第一人脸区域、所述第一人物标识、所述第一视频标识、以及所述第一视频帧标识的关联关系。
其中,处理器1101可以是中央处理器(central processing unit,CPU)、专用集成电路(application-specific integrated circuit,ASIC)等。其中,本实施例中的终端可以包括总线1104。处理器1101、存储器1102以及通信接口1103之间可通过总线1104连接并通信。其中,存储器1102可以包括:随机存取存储器(random access memory,RAM),只读存储器(read-onlymemory,ROM),磁盘等具有存储功能的实体;
处理器1101还可以用于执行方法实施例中图1、图5描述的服务器相关的各步骤,本发明实施例在此不再详述。
本发明实施例中的终端可以基于计算机系统来实现,图2、图5所示的方法均可在基于计算机系统的终端来实现。图12示出了基于计算机系统来实现的终端的实施例。本实施例中终端可以包括:处理器1201、存储器1202和通信接口1203,其中:
通信接口1203,用于与服务器通信。终端与服务器之间交互的消息(如方法实施例图2、5所示)均通过通信接口1203发送和接收。存储器1202用于存储程序指令;处理器1201用于调用存储器1202中存储的程序指令,执行如下操作:在播放视频过程中,接收获取指定位置人物信息的第一指令;根据所述第一指令向服务器发送获取指定位置人物信息的第一请求,所述第一请求包含第一视频标识、第一视频帧标识以及第一指定位置的坐标;接收所述服务器确定未查找到第一人物信息元数据后发送的与所述第一视频标识对应的多个人物信息,所述第一人物信息元数据的视频标识和视频帧标识分别与所述第一视频标识和所述第一视频帧标识相同,且所述第一人物信息元数据的人脸区域包含所述第一指定位置的坐标,所述人物信息包含人物标识和可展示人物信息;接收第一选择人物指令,所述第一选择人物指令包含第一人物展示信息,所述第一人物展示信息为根据所述与所述第一视频标识对应的多个人物信息选择的人物展示信息;根据所述第一人物展示信息获取与所述第一人物展示信息对应的第一人物标识;向所述服务器发送保存人物信息元数据请求,所述保存人物信息元数据包含所述第一人物标识,以便于所述服务器确定包含所述第一指定位置的坐标的第一人脸区域后,保存所述第一人脸区域、所述第一人物标识、所述第一视频标识、以及所述第一视频帧标识的关联关系。
其中,处理器1201可以是中央处理器(central processing unit,CPU)、专用集成电路(application-specific integrated circuit,ASIC)等。其中,本实施例中的终端可以包括总线1204。处理器1201、存储器1202以及通信接口1203之间可通过总线1204连接并通信。其中,存储器1202可以包括:随机存取存储器(random access memory,RAM),只读存储器(read-onlymemory,ROM),磁盘等具有存储功能的实体;
处理器1201还可以用于执行方法实施例中图2、图5描述的服务器相关的各步骤,本发明实施例在此不再详述。
本发明实施例中的服务器可以基于计算机系统来实现,图3、图6所示的方法均可在基于计算机系统的服务器来实现。图13示出了基于计算机系统来实现的服务器的实施例。本实施例中服务器可以包括:处理器1301、存储器1302和通信接口1303,其中:
通信接口1303,用于与终端通信。服务器与终端之间交互的消息(如方法实施例图3、6所示)均通过通信接口1303发送和接收。具体地,通信接口1303用于在为终端播放视频的过程中,接收终端发送的获取指定画面人物信息的第一请求;存储器1302用于存储程序指令;处理器1301用于调用存储器1302中存储的程序指令,执行如下操作:接收所述终端发送的所述第一请求后,所述第一请求包含第一视频标识、第一视频帧标识;在所述存储的人物信息元数据中查找第一画面人物信息元数据,所述第一画面人物信息元数据的视频标识和视频帧标识分别与所述第一视频标识和所述第一视频帧标识相同;根据所述查找的结果向所述终端返回针对所述第一请求的响应;接收所述终端根据所述针对所述第一请求的响应发送的指认人物请求;根据所述指认人物请求,向所述终端发送存储的与所述第一视频标识对应的多个人物信息,所述人物信息包含人物标识和人物展示信息;接收所述终端发送的保存人物信息元数据请求,所述保存人物信息元数据请求包含第一指定位置的坐标以及第一人物标识,所述第一人物标识为根据所述与所述第一视频标识对应的多个人物信息选择的第一人物展示信息对应的人物标识;在与所述第一视频标识对应的第一视频中确定与所述第一视频帧标识对应的第一视频帧,并在所述第一视频帧中检测包含所述第一指定位置的坐标的第一人脸区域;保存所述第一人脸区域、所述第一人物标识、所述第一视频标识、以及所述第一视频帧标识的关联关系。
其中,处理器1301可以是中央处理器(central processing unit,CPU)、专用集成电路(application-specific integrated circuit,ASIC)等。其中,本实施例中的终端可以包括总线1304。处理器1301、存储器1302以及通信接口1303之间可通过总线1304连接并通信。其中,存储器1302可以包括:随机存取存储器(random access memory,RAM),只读存储器(read-onlymemory,ROM),磁盘等具有存储功能的实体;
处理器1301还可以用于执行方法实施例中图3、图6描述的服务器相关的各步骤,本发明实施例在此不再详述。
本发明实施例中的终端可以基于计算机系统来实现,图4、图6所示的方法均可在基于计算机系统的终端来实现。图14示出了基于计算机系统来实现的终端的实施例。本实施例中终端可以包括:处理器1401、存储器1402和通信接口1403,其中:
通信接口1403,用于与服务器通信。终端与服务器之间交互的消息(如方法实施例图4、6所示)均通过通信接口1403发送和接收。存储器1402用于存储程序指令;处理器1401用于调用存储器1402中存储的程序指令,执行如下操作:在播放视频过程中,接收获取指定画面人物信息的第一指令;根据所述第一指令向服务器发送获取指定画面人物信息的第一请求,所述第一请求包含第一视频标识、第一视频帧标识;接收所述服务器查找第一画面人物信息元数据后发送的针对所述第一请求的响应并呈现指认提示,所述第一画面人物信息元数据的视频标识和视频帧标识分别与所述第一视频标识和所述第一视频帧标识相同,所述指认提示用于提示用户对获取所述第一指令时刻画面的人脸进行指认;接收根据所述指认提示发起的指认指令后,向所述服务器发送指认人物请求;接收所述服务器根据所述指认人物请求发送的与所述第一视频标识对应的多个人物信息,所述人物信息包含人物标识和人物展示信息;接收第一选择人物指令,所述第一选择人物指令包含第一人物展示信息,所述第一人物展示信息为根据所述与所述第一视频标识对应的多个人物信息选择的人物展示信息;根据所述第一人物展示信息获取与所述第一人物展示信息对应的第一人物标识;向所述服务器发送保存人物信息元数据请求,所述保存人物信息元数据请求包含所述第一人物标识以及第一指定位置的坐标,以便于所述服务器确定包含所述第一指定位置的坐标的第一人脸区域后,保存所述第一人脸区域、所述第一人物标识、所述第一视频标识、以及所述第一视频帧标识的关联关系。
其中,处理器1401可以是中央处理器(central processing unit,CPU)、专用集成电路(application-specific integrated circuit,ASIC)等。其中,本实施例中的终端可以包括总线1404。处理器1401、存储器1402以及通信接口1403之间可通过总线1404连接并通信。其中,存储器1402可以包括:随机存取存储器(random access memory,RAM),只读存储器(read-onlymemory,ROM),磁盘等具有存储功能的实体;
处理器1401还可以用于执行方法实施例中图4、图6描述的服务器相关的各步骤,本发明实施例在此不再详述。
以上对本发明所提供的一种进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (32)

1.一种在视频中获取指定位置人物信息的方法,服务器中预先存储与所述视频对应的人物信息元数据,所述人物信息元数据包含视频标识、视频帧标识、人脸区域、以及人物标识,其特征在于,所述方法包括:
在为终端播放视频的过程中,接收所述终端发送的获取指定位置人物信息的第一请求,所述第一请求包含第一视频标识、第一视频帧标识以及第一指定位置的坐标;
在所述存储的人物信息元数据中查找第一人物信息元数据以及确定未查找到所述第一人物信息元数据,所述第一人物信息元数据中的视频标识和视频帧标识分别与所述第一视频标识和所述第一视频帧标识相同,且所述第一人物信息元数据中的人脸区域包含所述第一指定位置的坐标;
向所述终端发送存储的与所述第一视频标识对应的多个人物信息,所述人物信息包含人物标识和人物展示信息;
接收所述终端发送的保存人物信息元数据请求,所述保存人物信息元数据请求包含第一人物标识,所述第一人物标识为根据所述与所述第一视频标识对应的多个人物信息选择的第一人物展示信息对应的人物标识;
在与所述第一视频标识对应的第一视频中确定与所述第一视频帧标识对应的第一视频帧,并在所述第一视频帧中检测包含所述第一指定位置的坐标的第一人脸区域;
保存所述第一人脸区域、所述第一人物标识、所述第一视频标识、以及所述第一视频帧标识的关联关系。
2.根据权利要求1所述的方法,其特征在于,所述向所述终端发送存储的与所述第一视频标识对应的多个人物信息之前,该方法进一步包括:
向所述终端返回针对所述第一请求的失败响应;
接收所述终端根据所述针对所述第一请求的失败响应发送的指认人物请求。
3.根据权利要求1或2所述的方法,其特征在于:
所述保存所述第一人脸区域、所述第一人物标识、所述第一视频标识、以及所述第一视频帧标识的关联关系之前,该方法进一步包括:
根据所述存储的人物信息元数据,获取与所述第一人物标识关联的视频帧的人脸区域中的人脸;
将所述第一视频帧的第一人脸区域中的人脸与所述与所述第一人物标识关联的视频帧的人脸区域中的人脸进行匹配;
确定所述匹配达到指定的条件;
所述保存所述第一人脸区域、所述第一人物标识、所述第一视频标识、以及所述第一视频帧标识的关联关系具体为:
根据所述确定所述匹配达到指定的条件,保存所述第一人脸区域、所述第一人物标识、所述第一视频标识、以及所述第一视频帧标识的关联关系。
4.根据权利要求1、2或3所述的方法,其特征在于,该方法还包括:
在与所述第一视频标识对应的视频中,确定与所述第一视频帧相邻的第三视频帧中包含所述第一视频帧的第一人脸区域中的人脸;
获取所述第三视频帧的视频帧标识以及所述第三视频帧中包含的第三人脸区域,所述第三人脸区域包含所述第一视频帧的第一人脸区域中的人脸;
保存所述第一视频标识、所述第一人物标识、所述第三视频帧的视频帧标识、以及所述第三人脸区域的关联关系。
5.根据权利要求1-4任一所述的方法,其特征在于,该方法还包括:
接收所述终端发送的获取指定位置人物信息的第二请求,所述第二请求包含第二视频标识、第二视频帧标识以及第二指定位置的坐标;
在所述存储的人物信息元数据中查找第二人物信息元数据,所述第二人物信息元数据中的视频标识和视频帧标识分别与所述第二视频标识和所述第二视频帧标识相同,且所述第二人物信息元数据中的人脸区域包含所述第二指定位置的坐标,所述第二人物信息元数据包含第二人物标识以及第二人脸区域;
根据所述第二人物标识获取包含所述第二人物标识的第二人物信息,向所述终端发送所述第二人物信息;
接收所述终端根据所述第二人物信息而发送的纠错请求;
根据所述纠错请求,向所述终端发送存储的与所述第二视频标识对应的多个人物信息,所述人物信息包含人物标识和人物展示信息;
接收所述终端发送的更新人物信息元数据请求,所述更新人物信息元数据请求包含第三人物标识,所述第三人物标识为根据所述与所述第二视频标识对应的多个人物信息选择的第二人物展示信息对应的人物标识;
在所述存储的人物信息元数据中将所述第二人物信息元数据中的第二人物标识替换为所述第三人物标识。
6.一种在视频中获取指定位置人物信息的方法,其特征在于,所述方法包括:
在播放视频过程中,接收获取指定位置人物信息的第一指令;
根据所述第一指令向服务器发送获取指定位置人物信息的第一请求,所述第一请求包含第一视频标识、第一视频帧标识以及第一指定位置的坐标;
接收所述服务器确定未查找到第一人物信息元数据后发送的与所述第一视频标识对应的多个人物信息,所述第一人物信息元数据的视频标识和视频帧标识分别与所述第一视频标识和所述第一视频帧标识相同,且所述第一人物信息元数据的人脸区域包含所述第一指定位置的坐标,所述人物信息包含人物标识和可展示人物信息;
接收第一选择人物指令,所述第一选择人物指令包含第一人物展示信息,所述第一人物展示信息为根据所述与所述第一视频标识对应的多个人物信息选择的人物展示信息;根据所述第一人物展示信息获取与所述第一人物展示信息对应的第一人物标识;
向所述服务器发送保存人物信息元数据请求,所述保存人物信息元数据包含所述第一人物标识,以便于所述服务器确定包含所述第一指定位置的坐标的第一人脸区域后,保存所述第一人脸区域、所述第一人物标识、所述第一视频标识、以及所述第一视频帧标识的关联关系。
7.根据权利要求6所述的方法,其特征在于,所述接收所述服务器确定未查找到第一人物信息元数据后发送的与所述第一视频标识对应的多个人物信息之前,该方法进一步包括:
接收所述服务器发送的针对所述第一请求的失败响应后呈现指认提示,所述指认提示用于提示用户对包含所述第一指定位置的坐标的人脸进行指认;
接收根据所述指认提示发起的指认指令,向所述服务器发送指认人物请求。
8.根据权利要求6或7所述的方法,其特征在于,该方法还包括:
接收获取指定位置人物信息的第二指令;
向所述服务器发送获取指定位置人物信息的第二请求,所述第二请求包含第二视频标识、第二视频帧标识以及第二指定位置的坐标;
接收所述服务器查找到第二人物信息元数据并获取包含第二人物标识的第二人物信息后发送的所述第二人物信息,呈现所述第二人物信息,所述第二人物信息元数据中的视频标识和视频帧标识分别与所述第二视频标识和所述第二视频帧标识相同,且所述第二人物信息元数据中的人脸区域包含所述第二指定位置的坐标,所述第二人物标识为所述第二人物信息元数据中的人物标识;
接收根据所述第二人物信息发送的纠错指令,并向所述服务器发送纠错请求;
接收所述服务器根据所述纠错请求发送的与所述第二视频标识对应的多个人物信息,所述人物信息包含人物标识和人物展示信息;
接收第二选择人物指令,所述第二选择人物指令包含第二人物展示信息,所述第二人物展示信息为根据所述与所述第二视频标识对应的多个人物信息选择的人物展示信息,根据所述第二人物展示信息获取与所述第二人物展示信息对应的第三人物标识;
向所述服务器发送更新人物信息元数据请求,所述更新人物信息元数据请求包含所述第三人物标识,以便于所述服务器在所述存储的人物信息元数据中将所述第二人物信息元数据中的第二人物标识替换为所述第三人物标识。
9.一种在视频中获取指定画面人物信息的方法,服务器中预先存储与所述视频对应的人物信息元数据,所述人物信息元数据包含视频标识、视频帧标识、人脸区域、以及人物标识,其特征在于,所述方法包括:
在为终端播放视频的过程中,接收所述终端发送的获取指定画面人物信息的第一请求,所述第一请求包含第一视频标识和第一视频帧标识;
在所述存储的人物信息元数据中查找第一画面人物信息元数据,所述第一画面人物信息元数据的视频标识和视频帧标识分别与所述第一视频标识和所述第一视频帧标识相同;
根据所述查找的结果向所述终端返回针对所述第一请求的响应;
接收所述终端根据所述针对所述第一请求的响应发送的指认人物请求;
根据所述指认人物请求,向所述终端发送存储的与所述第一视频标识对应的多个人物信息,所述人物信息包含人物标识和人物展示信息;
接收所述终端发送的保存人物信息元数据请求,所述保存人物信息元数据请求包含第一指定位置的坐标以及第一人物标识,所述第一人物标识为根据所述与所述第一视频标识对应的多个人物信息选择的第一人物展示信息对应的人物标识;
在与所述第一视频标识对应的第一视频中确定与所述第一视频帧标识对应的第一视频帧,并在所述第一视频帧中检测包含所述第一指定位置的坐标的第一人脸区域;
保存所述第一人脸区域、所述第一人物标识、所述第一视频标识、以及所述第一视频帧标识的关联关系。
10.根据权利要求9所述的方法,其特征在于,所述根据所述查找的结果向所述终端返回针对所述第一请求的响应包括:
所述查找的结果为查找到至少一个第一画面人物信息元数据,各个所述第一画面人物信息元数据的视频标识和视频帧标识分别与所述第一视频标识和所述第一视频帧标识相同,根据各个所述第一画面人物信息元数据的人物标识,获取各个包含所述第一画面人物信息元数据的人物标识的第一画面人物信息,向所述终端返回各个所述第一画面人物信息以及各个所述第一画面人物信息元数据的人脸区域;
或所述查找的结果为没有查找到第一画面人物信息元数据,所述第一画面人物信息元数据的视频标识和视频帧标识分别与所述第一视频标识和所述第一视频帧标识相同,向所述终端返回针对所述第一请求的失败响应。
11.根据权利要求9或10所述的方法,其特征在于:
所述保存所述第一人脸区域、所述第一人物标识、所述第一视频标识、以及所述第一视频帧标识的关联关系之前,该方法进一步包括:
根据所述存储的人物信息元数据,获取与所述第一人物标识关联的视频帧的人脸区域中的人脸;
将所述第一视频帧的第一人脸区域中的人脸与所述与所述第一人物标识关联的视频帧的人脸区域中的人脸进行匹配;
确定所述匹配达到指定的条件;
所述保存所述第一人脸区域、所述第一人物标识、所述第一视频标识、以及所述第一视频帧标识的关联关系具体为:
根据所述确定的所述匹配达到指定的条件,保存所述第一人脸区域、所述第一人物标识、所述第一视频标识、以及所述第一视频帧标识的关联关系。
12.根据权利要求9、10或11所述的方法,其特征在于,该方法还包括:
在与所述第一视频标识对应的视频中,确定与所述第一视频帧相邻的第三视频帧中包含所述第一视频帧的第一人脸区域中的人脸;
获取所述第三视频帧的视频帧标识以及所述第三视频帧中包含的第三人脸区域,所述第三人脸区域包含所述第一视频帧的第一人脸区域中的人脸;
保存所述第一请求中的视频标识、所述第一人物标识、所述第三视频帧的视频帧标识、以及所述第三人脸区域的关联关系。
13.根据权利要求9-12任一所述的方法,其特征在于,还包括:
接收所述终端发送的获取指定画面人物信息的第二请求,所述第二请求包含第二视频标识和第二视频帧标识;
在所述存储的人物信息元数据中查找到至少一个第二画面人物信息元数据,所述第二画面人物信息元数据中的视频标识和视频帧标识分别与所述第二视频标识和所述第二视频帧标识相同;
分别根据各个所述第二画面人物信息元数据的人物标识,获取各个包含所述第二画面人物信息元数据的人物标识的第二画面人物信息,向所述终端发送各个所述第二画面人物信息以及各个所述第二画面人物信息元数据的人脸区域;
接收终端根据各个所述第二画面人物信息以及各个所述第二画面人物信息元数据的人脸区域发送的纠错请求;
根据所述纠错请求,向所述终端发送存储的与所述第二视频标识对应的多个人物信息,所述人物信息包含人物标识和人物展示信息;
接收所述终端发送的更新人物信息元数据请求,所述更新人物信息元数据请求包含第二人物标识以及第二人脸区域,所述第二人物标识为根据所述与第二视频标识对应的多个人物信息选择的第二人物展示信息对应的人物标识,所述第二人脸区域为根据各个所述第二画面人物信息元数据的人脸区域选择的人脸区域;
在所述存储的人物信息元数据中查找包含所述第二人脸区域、所述第二视频标识、以及所述第二视频帧标识的人物信息元数据,将所述查找到的人物信息元数据的人物标识替换为所述第二人物标识。
14.一种在视频中获取指定画面人物信息的方法,其特征在于,所述方法包括:
在播放视频过程中,接收获取指定画面人物信息的第一指令;
根据所述第一指令向服务器发送获取指定画面人物信息的第一请求,所述第一请求包含第一视频标识和第一视频帧标识;
接收所述服务器查找第一画面人物信息元数据后发送的针对所述第一请求的响应并呈现指认提示,所述第一画面人物信息元数据的视频标识和视频帧标识分别与所述第一视频标识和所述第一视频帧标识相同,所述指认提示用于提示用户对获取所述第一指令时刻画面的人脸进行指认;
接收根据所述指认提示发起的指认指令后,向所述服务器发送指认人物请求;
接收所述服务器根据所述指认人物请求发送的与所述第一视频标识对应的多个人物信息,所述人物信息包含人物标识和人物展示信息;
接收第一选择人物指令,所述第一选择人物指令包含第一人物展示信息,所述第一人物展示信息为根据所述与所述第一视频标识对应的多个人物信息选择的人物展示信息;根据所述第一人物展示信息获取与所述第一人物展示信息对应的第一人物标识;
向所述服务器发送保存人物信息元数据请求,所述保存人物信息元数据请求包含所述第一人物标识以及第一指定位置的坐标,以便于所述服务器确定包含所述第一指定位置的坐标的第一人脸区域后,保存所述第一人脸区域、所述第一人物标识、所述第一视频标识、以及所述第一视频帧标识的关联关系。
15.根据权利要求14所述的方法,其特征在于,所述接收所述服务器查找第一画面人物信息元数据后发送的针对所述第一请求的响应并呈现指认提示包括:
接收所述服务器查找到至少一个第一画面人物信息元数据后发送的各个第一画面人物信息以及对应的各个所述第一画面人物信息元数据的人脸区域,并呈现各个所述第一画面人物信息、对应的各个所述第一画面人物信息元数据的人脸区域以及指认提示,各个所述第一画面人物信息包含各个所述第一画面人物信息元数据的人物标识;
或接收所述服务器查找不到第一画面人物信息元数据后发送的针对所述第一请求的失败响应后展现指认提示。
16.根据权利要求14或15所述的方法,其特征在于,该方法还包括:
接收获取指定画面人物信息的第二指令;
向所述服务器发送获取指定画面人物信息的第二请求,所述第二请求包含第二视频标识、第二视频帧标识;
接收所述服务器查找到至少一个第二画面人物信息元数据后发送的各个第二画面人物信息以及对应的各个所述第二画面人物信息元数据的人脸区域,并呈现各个所述第二画面人物信息以及对应的各个所述第二画面人物信息元数据的人脸区域,各个所述第二画面人物信息元数据的视频标识和视频帧标识分别与所述第二视频标识和所述第二视频帧标识相同,各个所述第二画面人物信息包含各个所述第二画面人物信息元数据的人物标识;
接收到根据所述各个第二画面人物信息以及对应的各个所述第二画面人物信息元数据的人脸区域发送的纠错指令,并向所述服务器发送纠错请求,所述纠错指令包含根据各个所述第二画面人物信息元数据的人脸区域选择的第二人脸区域;
接收所述服务器根据所述纠错请求发送的与所述第二视频标识对应的多个人物信息,所述人物信息包含人物标识和人物展示信息;
接收第二选择人物指令,所述第二选择人物指令包含第二人物展示信息,所述第二人物展示信息为根据所述与第二视频标识对应的多个人物信息选择的人物展示信息,根据所述第二人物展示信息获取与所述第二人物展示信息对应的第二人物标识;
向所述服务器发送更新人物信息元数据请求,所述更新人物信息元数据请求包含所述第二人物标识以及所述第二人脸区域,以便于所述服务器在所述存储的人物信息元数据中查找包含所述第二人脸区域、所述第二视频标识、以及所述第二视频帧标识的人物信息元数据,将所述查找到的人物信息元数据的人物标识替换为所述第二人物标识。
17.一种在视频中获取指定位置人物信息的服务器,所述服务器中预先存储与所述视频对应的人物信息元数据,所述人物信息元数据包含视频标识、视频帧标识、人脸区域、以及人物标识,其特征在于,所述服务器包括:
接收单元,用于所述服务器在为终端播放视频的过程中,接收所述终端发送的获取指定位置人物信息的第一请求,所述第一请求包含第一视频标识、第一视频帧标识以及第一指定位置的坐标,以及将所述第一视频标识、第一视频帧标识以及第一指定位置的坐标发送给人物信息元数据管理单元;
所述人物信息元数据管理单元,用于从所述接收单元接收所述第一视频标识、第一视频帧标识以及第一指定位置的坐标,以及在所述存储的人物信息元数据中查找第一人物信息元数据,确定未查找到所述第一人物信息元数据,以及将所述未查找到所述第一人物信息元数据的结果发送给发送单元,所述第一人物信息元数据中的视频标识和视频帧标识分别与所述第一视频标识和所述第一视频帧标识相同,且所述第一人物信息元数据中的人脸区域包含所述第一指定位置的坐标;
所述发送单元,用于从所述人物信息元数据管理单元接收所述未查找到所述第一人物信息元数据的结果,以及根据所述未查找到所述第一人物信息元数据的结果,向所述终端发送存储的与所述第一视频标识对应的多个人物信息,所述人物信息包含人物标识和人物展示信息;
所述接收单元,进一步的用于接收所述终端发送的保存人物信息元数据请求,所述保存人物信息元数据请求包含第一人物标识,以及将所述第一人物标识发送给所述人物信息元数据管理单元,将所述第一视频标识、第一视频帧标识以及第一指定位置的坐标发送给检测单元,所述第一人物标识为根据所述与所述第一视频标识对应的多个人物信息选择的第一人物展示信息对应的人物标识;
所述检测单元,用于从所述接收单元接收所述第一视频标识、第一视频帧标识以及第一指定位置的坐标,以及在与所述第一视频标识对应的第一视频中确定与所述第一视频帧标识对应的第一视频帧后,在所述第一视频帧中检测包含所述第一指定位置的坐标的第一人脸区域,将所述第一人脸区域发送给所述所述人物信息元数据管理单元;
所述人物信息元数据管理单元,进一步的用于从所述检测单元接收所述第一人脸区域,从所述接收单元接收所述第一人物标识,以及保存所述第一人脸区域、所述第一人物标识、所述第一视频标识、以及所述第一视频帧标识的关联关系。
18.根据权利要求17所述的服务器,其特征在于:
所述发送单元,进一步的用于在向所述终端发送存储的与所述第一视频标识对应的多个人物信息之前,向所述终端发送针对所述第一请求的失败响应;
所述接收单元,进一步的用于接收所述终端根据所述针对所述第一请求的失败响应发送的指认人物请求,以及根据所述指认人物请求,向所述发送单元发送存储的与所述第一视频标识对应的多个人物信息列表,所述人物信息包含人物标识和人物展示信息。
19.根据权利要求17或18所述的服务器,其特征在于:
所述服务器进一步还包括人脸获取单元、匹配单元和匹配结果确定单元;
所述人物信息元数据管理单元,进一步的用于在保存所述第一人脸区域、所述第一人物标识、所述第一视频标识、以及所述第一视频帧标识的关联关系之前,将所述第一人物标识发送给所述人脸获取单元;
所述人脸获取单元,用于从所述人物信息元数据管理单元接收所述第一人物标识,以及根据所述存储的人物信息元数据,获取与所述第一人物标识关联的视频帧的人脸区域中的人脸,以及将所述与所述第一人物标识关联的视频帧的人脸区域中的人脸发送给所述匹配单元;
所述匹配单元,用于从所述人脸获取单元接收所述与所述第一人物标识关联的视频帧的人脸区域中的人脸,以及将所述第一视频帧的第一人脸区域中的人脸与所述与所述第一人物标识关联的视频帧的人脸区域中的人脸进行匹配,将所述匹配的结果发送给所述匹配结果确定单元;
所述匹配结果确定单元,用于从所述匹配单元接收所述匹配的结果,确定所述匹配的结果达到指定的条件,以及将所述确定所述匹配的结果达到指定的条件发送给所述人物信息元数据管理单元;
所述人物信息元数据管理单元保存所述第一人脸区域、所述第一人物标识、所述第一视频标识、以及所述第一视频帧标识的关联关系具体为:从所述匹配结果确定单元接收所述确定所述匹配的结果达到指定的条件,以及根据所述匹配的结果达到指定的条件,保存所述第一人脸区域、所述第一人物标识、所述第一视频标识、以及所述第一视频帧标识的关联关系。
20.根据权利要求17、18或19所述的服务器,其特征在于:
所述服务器进一步还包括人脸确定单元和画面信息获取单元;
所述人物信息元数据管理单元,进一步的用于将所述第一人脸区域、所述第一视频标识、以及所述第一视频帧标识发送给所述人脸确定单元;
所述人脸确定单元,用于从所述人物信息元数据管理单元接收所述第一人脸区域、所述第一视频标识、以及所述第一视频帧标识,以及在与所述第一视频标识对应的视频中,确定与所述第一视频帧相邻的第三视频帧中包含所述第一视频帧的第一人脸区域中的人脸,以及将所述确定所述第三视频帧包含所述第一视频帧的第一人脸区域中的人脸的结果发送给所述画面信息获取单元;
所述画面信息获取单元,用于从所述人脸确定单元接收所述确定所述第三视频帧包含所述第一视频帧的第一人脸区域中的人脸的结果,并根据所述结果获取所述第三视频帧的视频帧标识以及所述第三视频帧中包含的第三人脸区域,所述第三人脸区域包含所述第一视频帧的第一人脸区域中的人脸,将所述第三视频帧的视频帧标识以及所述第三人脸区域发送给所述人物信息元数据管理单元;
所述人物信息元数据管理单元,进一步的用于从所述画面信息获取单元接收所述第三视频帧的视频帧标识以及所述第三人脸区域,保存所述第一视频标识、所述第一人物标识、所述第三视频帧的视频帧标识、以及所述第三人脸区域的关联关系。
21.根据权利要求17-20任一所述的服务器,其特征在于:
所述服务器还包含人物信息管理单元;
所述接收单元,进一步的用于接收所述终端发送的获取指定位置人物信息的第二请求,所述第二请求包含第二视频标识、第二视频帧标识以及第二指定位置的坐标,以及将将所述第二视频标识、第二视频帧标识以及第二指定位置的坐标发送给所述人物信息元数据管理单元;
所述人物信息元数据管理单元,进一步的用于接收所述接收单元发送的所述第二视频标识、第二视频帧标识以及第二指定位置的坐标,在所述存储的人物信息元数据中查找第二人物信息元数据,所述第二人物信息元数据中的视频标识和视频帧标识分别与所述第二视频标识和所述第二视频帧标识相同,且所述第二人物信息元数据中的人脸区域包含所述第二指定位置的坐标,所述第二人物信息元数据包含第二人物标识以及第二人脸区域,将所述第二人物标识发送给所述人物信息管理单元;
所述人物信息管理单元,用于从所述人物信息元数据管理单元接收所述第二人物标识,根据所述第二人物标识获取包含所述第二人物标识的第二人物信息,将所述第二人物信息发送给所述发送单元;
所述发送单元,进一步的用于从所述人物信息管理单元接收所述第二人物信息,以及向所述终端发送所述第二人物信息;
所述接收单元,进一步的用于接收所述终端根据所述第二人物信息而发送的纠错请求,将所述纠错请求发送给所述发送单元;
所述发送单元,进一步的用于接收所述接收单元发送的所述纠错请求,以及根据所述纠错请求,向所述终端发送存储的与所述第二视频标识对应的多个人物信息,所述人物信息包含人物标识和人物展示信息;
所述接收单元,进一步的用于接收所述终端发送的更新人物信息元数据请求,所述更新人物信息元数据请求包含第三人物标识,所述第三人物标识为根据所述与所述第二视频标识对应的多个人物信息选择的第二人物展示信息对应的人物标识,将所述第三人物标识发送给所述人物信息元数据管理单元;
所述人物信息元数据管理单元,进一步的用于从所述接收单元接收所述第三人物标识,以及在所述存储的人物信息元数据中将所述第二人物信息元数据中的第二人物标识替换为所述第三人物标识。
22.一种在视频中获取指定位置人物信息的终端,其特征在于,所述终端包括:
用户交互单元,用于在播放视频过程中,接收获取指定位置人物信息的第一指令,以及将所述第一指令发送给发送单元;
所述发送单元,用于从所述用户交互单元接收所述第一指令,根据所述第一指令向服务器发送获取指定位置人物信息的第一请求,所述第一请求包含第一视频标识、第一视频帧标识以及第一指定位置的坐标;
接收单元,用于接收所述服务器确定未查找到第一人物信息元数据后发送的与所述第一视频标识对应的多个人物信息,所述第一人物信息元数据的视频标识和视频帧标识分别与所述第一视频标识和所述第一视频帧标识相同,且所述第一人物信息元数据的人脸区域包含所述第一指定位置的坐标,所述人物信息包含人物标识和可展示人物信息,将所述与所述第一视频标识对应的多个人物信息发送给所述用户交互单元;
所述用户交互单元,进一步的用于从所述接收单元接收所述与所述第一视频标识对应的多个人物信息,以及接收第一选择人物指令,所述第一选择人物指令包含第一人物展示信息,所述第一人物展示信息为根据所述与所述第一视频标识对应的多个人物信息选择的人物展示信息,将所述第一人物展示信息发送给获取单元;
所述获取单元,用于从所述用户交互单元接收所述第一人物展示信息,以及根据所述第一人物展示信息获取与所述第一人物展示信息对应的第一人物标识,将所述第一人物标识发送给所述发送单元;
所述发送单元,进一步的用于从所述获取单元接收所述第一人物标识,以及根据所述第一人物标识向所述服务器发送保存人物信息元数据请求,所述保存人物信息元数据包含所述第一人物标识,以便于所述服务器确定包含所述第一指定位置的坐标的第一人脸区域后,保存所述第一人脸区域、所述第一人物标识、所述第一视频标识、以及所述第一视频帧标识的关联关系。
23.根据权利要求22所述的终端,其特征在于:
所述接收单元,进一步的用于在接收所述服务器确定未查找到第一人物信息元数据后发送的与所述第一视频标识对应的多个人物信息之前,接收所述服务器发送的针对所述第一请求的失败响应,以及将所述失败响应发送给所述用户交互单元;
所述用户交互单元,进一步的用于从所述接收单元接收所述失败响应,以及根据所述失败响应呈现指认提示,所述指认提示用于提示用户对包含所述第一指定位置的坐标的人脸进行指认,接收根据所述指认提示发起的指认指令,将所述指认指令发送给所述发送单元;
所述发送单元,进一步的用于从所述用户交互单元接收所述指认指令,以及根据所述指认指令向所述服务器发送指认人物请求。
24.根据权利要求22或23所述的终端,其特征在于:
所述用户交互单元,进一步的用于接收获取指定位置人物信息的第二指令,将所述第二指令发送给所述发送单元;
所述发送单元,进一步的用于从所述用户交互单元接收所述第二指令,以及根据所述第二指令向所述服务器发送获取指定位置人物信息的第二请求,所述第二请求包含第二视频标识、第二视频帧标识以及第二指定位置的坐标;
所述接收单元,进一步的用于接收所述服务器查找到第二人物信息元数据并获取包含第二人物标识的第二人物信息后发送的所述第二人物信息,所述第二人物信息元数据中的视频标识和视频帧标识分别与所述第二视频标识和所述第二视频帧标识相同,且所述第二人物信息元数据中的人脸区域包含所述第二指定位置的坐标,所述第二人物标识为所述第二人物信息元数据中的人物标识,将所述第二人物信息发送给所述用户交互单元;
所述用户交互单元,进一步的用于从所述接收单元接收所述第二人物信息,呈现所述第二人物信息,接收根据所述第二人物信息发送的纠错指令,将所述纠错指令发送给发送单元;
所述发送单元,进一步的用于从所述用户交互单元接收所述纠错指令,以及根据所述纠错指令向所述服务器发送纠错请求;
所述接收单元,进一步的用于接收所述服务器根据所述纠错请求发送的与所述第二视频标识对应的多个人物信息,所述人物信息包含人物标识和人物展示信息,以及将所述与所述第二视频标识对应的多个人物信息发送给所述用户交互单元;
所述用户交互单元,进一步的用于从所述接收单元接收所述与所述第二视频标识对应的多个人物信息,以及接收第二选择人物指令,所述第二选择人物指令包含第二人物展示信息,所述第二人物展示信息为根据所述与所述第二视频标识对应的多个人物信息选择的人物展示信息,将所述第二人物展示信息发送给所述获取单元;
所述获取单元,进一步的用于从所述用户交互单元接收所述第二人物展示信息,以及根据所述第二人物展示信息获取与所述第二人物展示信息对应的第三人物标识,将所述第三人物标识发送给所述发送单元;
所述发送单元,进一步的用于从所述获取单元接收所述第三人物标识,以及根据所述第三人物标识向所述服务器发送更新人物信息元数据请求,所述更新人物信息元数据请求包含所述第三人物标识,以便于所述服务器在所述存储的人物信息元数据中将所述第二人物信息元数据中的第二人物标识替换为所述第三人物标识。
25.一种在视频中获取指定画面人物信息的服务器,所述服务器中预先存储与所述视频对应的人物信息元数据,所述人物信息元数据包含视频标识、视频帧标识、人脸区域、以及人物标识,其特征在于,所述服务器包括:
接收单元,用于在为终端播放视频的过程中,接收所述终端发送的获取指定画面人物信息的第一请求,所述第一请求包含第一视频标识和第一视频帧标识,以及将所述第一视频标识和第一视频帧标识发送给人物信息元数据管理单元;
所述人物信息元数据管理单元,用于从所述接收单元接收所述第一视频标识和第一视频帧标识,以及在所述存储的人物信息元数据中查找第一画面人物信息元数据,所述第一画面人物信息元数据的视频标识和视频帧标识分别与所述第一视频标识和所述第一视频帧标识相同,以及将所述查找的结果发送给发送单元;
所述发送单元,用于从人物信息元数据管理单元接收所述查找的结果,以及根据所述查找的结果,向所述终端发送针对所述第一请求的响应;
所述接收单元,进一步的用于接收所述终端根据所述第一请求的响应发送的指认人物请求,以及将所述指认人物请求发送给所述发送单元;
所述发送单元,进一步的用于从所述接收单元接收所述指认人物请求,以及根据所述指认人物请求,向所述终端发送存储的与所述第一视频标识对应的多个人物信息,所述人物信息包含人物标识和人物展示信息;
所述接收单元,进一步的用于接收所述终端发送的保存人物信息元数据请求,所述保存人物信息元数据请求包含第一指定位置的坐标以及第一人物标识,所述第一人物标识为根据所述与所述第一视频标识对应的多个人物信息选择的第一人物展示信息对应的人物标识,以及将所述第一人物标识发送给所述人物信息元数据管理单元,将所述第一视频标识、第一视频帧标识以及第一指定位置的坐标发送给检测单元;
所述检测单元,用于从所述接收单元接收所述第一视频标识、第一视频帧标识以及第一指定位置的坐标,以及在与所述第一视频标识对应的第一视频中确定与所述第一视频帧标识对应的第一视频帧后,在所述第一视频帧中检测包含所述第一指定位置的坐标的第一人脸区域,将所述第一人脸区域发送给所述所述人物信息元数据管理单元;
所述人物信息元数据管理单元,进一步的用于从所述检测单元接收所述第一人脸区域,从所述接收单元接收所述第一人物标识,以及保存所述第一人脸区域、所述第一人物标识、所述第一视频标识、以及所述第一视频帧标识的关联关系。
26.根据权利要求25所述的服务器,其特征在于:
所述服务器进一步的还包括人物信息管理单元;
所述发送单元从人物信息元数据管理单元接收所述查找的结果,以及根据所述查找的结果,向所述终端发送针对所述第一请求的响应具体为:
当所述查找的结果为查找到至少一个第一画面人物信息元数据时,各个所述第一画面人物信息元数据的视频标识和视频帧标识分别与所述第一视频标识和所述第一视频帧标识相同,所述发送单元用于从所述人物元数据管理单元接收所述至少一个第一画面人物信息元数据,以及根据所述至少一个第一画面人物信息元数据将各个所述第一画面人物信息元数据的人物标识发送给所述人物信息管理单元;
所述人物信息管理单元,用于从所述发送单元获取各个所述第一画面人物信息元数据的人物标识,根据各个所述第一画面人物信息元数据的人物标识,获取各个包含所述第一画面人物信息元数据的人物标识的第一画面人物信息,以及将各个所述第一画面人物信息发送给所述发送单元;
所述发送单元,进一步的用于从所述人物信息管理单元接收各个所述第一画面人物信息,向所述终端返回各个所述第一画面人物信息以及各个所述第一画面人物信息元数据的人脸区域;
当所述查找的结果为没有查找到第一画面人物信息元数据时,所述第一画面人物信息元数据的视频标识和视频帧标识分别与所述第一视频标识和所述第一视频帧标识相同,所述发送单元用于从所述人物元数据管理单元接收所述没有查找到第一画面人物信息元数据的结果,以及根据所述没有查找到第一画面人物信息元数据的结果向所述终端返回针对所述第一请求的失败响应。
27.根据权利要求25或26所述的服务器,其特征在于:
所述服务器进一步的还包括人脸获取单元、匹配单元和匹配结果确定单元;
所述人物信息元数据管理单元,进一步的用于在保存所述第一人脸区域、所述第一人物标识、所述第一视频标识、以及所述第一视频帧标识的关联关系之前,将所述第一人物标识发送给所述人脸获取单元;
所述人脸获取单元,用于从所述人物信息元数据管理单元接收所述第一人物标识,以及根据所述存储的人物信息元数据,获取与所述第一人物标识关联的视频帧的人脸区域中的人脸,以及将所述与所述第一人物标识关联的视频帧的人脸区域中的人脸发送给所述匹配单元;
所述匹配单元,用于从所述人脸获取单元接收所述与所述第一人物标识关联的视频帧的人脸区域中的人脸,以及将所述第一视频帧的第一人脸区域中的人脸与所述与所述第一人物标识关联的视频帧的人脸区域中的人脸进行匹配,将所述匹配的结果发送给所述匹配结果确定单元;
所述匹配结果确定单元,用于从所述匹配单元接收所述匹配的结果,确定所述匹配的结果达到指定的条件,以及将所述确定所述匹配的结果达到指定的条件发送给所述人物信息元数据管理单元;
所述人物信息元数据管理单元保存所述第一人脸区域、所述第一人物标识、所述第一视频标识、以及所述第一视频帧标识的关联关系具体为:从所述匹配结果确定单元接收所述确定所述匹配的结果达到指定的条件,以及根据所述匹配的结果达到指定的条件,保存所述第一人脸区域、所述第一人物标识、所述第一视频标识、以及所述第一视频帧标识的关联关系。
28.根据权利要求25、26或27所述的服务器,其特征在于:
所述服务器进一步的还包括人脸确定单元和画面信息获取单元;
所述人物信息元数据管理单元,进一步的用于将所述第一人脸区域、所述第一视频标识、以及所述第一视频帧标识发送给所述人脸确定单元;所述人脸确定单元,用于从所述人物信息元数据管理单元接收所述第一人脸区域、所述第一视频标识、以及所述第一视频帧标识,以及在与所述第一视频标识对应的视频中,确定与所述第一视频帧相邻的第三视频帧中包含所述第一视频帧的第一人脸区域中的人脸,以及将所述确定所述第三视频帧包含所述第一视频帧的第一人脸区域中的人脸的结果发送给所述画面信息获取单元;
所述画面信息获取单元,用于从所述人脸确定单元接收所述确定所述第三视频帧包含所述第一视频帧的第一人脸区域中的人脸的结果,并根据所述结果获取所述第三视频帧的视频帧标识以及所述第三视频帧中包含的第三人脸区域,所述第三人脸区域包含所述第一视频帧的第一人脸区域中的人脸,将所述第三视频帧的视频帧标识以及所述第三人脸区域发送给所述人物信息元数据管理单元;
所述人物信息元数据管理单元,进一步的用于从所述画面信息获取单元接收所述第三视频帧的视频帧标识以及所述第三人脸区域,保存所述第一视频标识、所述第一人物标识、所述第三视频帧的视频帧标识、以及所述第三人脸区域的关联关系。
29.根据权利要求25-28任一所述的服务器,其特征在于:
所述接收单元,进一步的用于接收所述终端发送的获取指定画面人物信息的第二请求,所述第二请求包含第二视频标识、第二视频帧标识,以及将将所述第二视频标识、第二视频帧标识发送给所述人物信息元数据管理单元;
所述人物信息元数据管理单元,进一步的用于接收所述接收单元发送的所述第二视频标识和第二视频帧标识,在所述存储的人物信息元数据中查找到至少一个第二画面人物信息元数据,所述第二人物信息元数据中的视频标识和视频帧标识分别与所述第二视频标识和所述第二视频帧标识相同,将所述至少一个第二画面人物信息元数据的人物标识发送给所述人物信息管理单元;
所述人物信息管理单元,进一步的用于从所述人物信息元数据管理单元接收所述至少一个第二画面人物信息元数据的人物标识,以及分别根据各个所述第二画面人物信息元数据的人物标识,获取各个包含所述第二画面人物信息元数据的人物标识的第二画面人物信息,将各个所述第二画面人物信息以及各个所述第二画面人物信息元数据的人脸区域发送给所述发送单元;
所述发送单元,进一步的用于从所述人物信息管理单元接收各个所述第二画面人物信息以及各个所述第二画面人物信息元数据的人脸区域,以及向所述终端发送各个所述第二画面人物信息以及各个所述第二画面人物信息元数据的人脸区域;
所述接收单元,进一步的用于接收所述终端根据各个所述第二画面人物信息以及各个所述第二画面人物信息元数据的人脸区域发送的纠错请求,将所述纠错请求发送给所述发送单元;
所述发送单元,进一步的用于接收所述接收单元发送的所述纠错请求,以及根据所述纠错请求,向所述终端发送存储的与所述第二视频标识对应的多个人物信息,所述人物信息包含人物标识和人物展示信息;
所述接收单元,进一步的用于接收所述终端发送的更新人物信息元数据请求,所述更新人物信息元数据请求包含第二人物标识以及第二人脸区域,所述第二人物标识为根据所述与第二视频标识对应的多个人物信息选择的第二人物展示信息对应的人物标识,所述第二人脸区域为根据各个所述第二画面人物信息元数据的人脸区域选择的人脸区域,将所述第二人物标识以及所述第二人脸区域发送给所述人物信息元数据管理单元;
所述人物信息元数据管理单元,进一步的用于从所述接收单元接收所述第二人物标识以及所述第二人脸区域,以及在所述存储的人物信息元数据中查找包含所述第二人脸区域、所述第二视频标识、以及所述第二视频帧标识的人物信息元数据,将所述查找到的人物信息元数据的人物标识替换为所述第二人物标识。
30.一种在视频中获取指定画面人物信息的终端,其特征在于,所述终端包括:
用户交互单元,用于在播放视频过程中,接收获取指定画面人物信息的第一指令,以及将所述第一指令发送给发送单元;
所述发送单元,用于从所述用户交互单元接收所述第一指令,根据所述第一指令向服务器发送获取指定画面人物信息的第一请求,所述第一请求包含第一视频标识和第一视频帧标识;
接收单元,用于接收所述服务器查找第一画面人物信息元数据后发送的针对所述第一请求的响应,所述第一画面人物信息元数据的视频标识和视频帧标识分别与所述第一视频标识和所述第一视频帧标识相同,将所述针对所述第一请求的响应发送给所述用户交互单元;
所述用户交互单元,进一步的用于从所述接收单元接收所述针对所述第一请求的响应,以及根据所述针对所述第一请求的响应呈现指认提示,所述指认提示用于提示用户对获取所述第一指令时刻画面的人脸进行指认,接收根据所述指认提示发起的指认指令,将所述指认指令发送给所述发送单元;
所述发送单元,进一步的用于从所述用户交互单元接收所述指认指令,以及根据所述指认指令,向所述服务器发送指认人物请求;
所述接收单元,进一步的用于接收所述服务器根据所述指认人物请求发送的与所述第一视频标识对应的多个人物信息,所述人物信息包含人物标识和人物展示信息,将所述与所述第一视频标识对应的多个人物信息发送给所述用户交互单元;
所述用户交互单元,进一步的用于从所述接收单元接收所述与所述第一视频标识对应的多个人物信息,以及接收第一选择人物指令,所述第一选择人物指令包含第一人物展示信息,所述第一人物展示信息为根据所述与所述第一视频标识对应的多个人物信息选择的人物展示信息,将所述第一人物展示信息发送给获取单元;
所述获取单元,用于从所述用户交互单元接收所述第一人物展示信息,以及根据所述第一人物展示信息获取与所述第一人物展示信息对应的第一人物标识,将所述第一人物标识发送给所述发送单元;
所述发送单元,进一步的用于从所述获取单元接收所述第一人物标识,以及根据所述第一人物标识向所述服务器发送保存人物信息元数据请求,所述保存人物信息元数据包含所述第一人物标识以及第一指定位置的坐标,以便于所述服务器确定包含所述第一指定位置的坐标的第一人脸区域后,保存所述第一人脸区域、所述第一人物标识、所述第一视频标识、以及所述第一视频帧标识的关联关系。
31.根据权利要求30所述的终端,其特征在于:
所述接收单元接收所述服务器查找第一画面人物信息元数据后发送的针对所述第一请求的响应具体为:
接收所述服务器查找到至少一个第一画面人物信息元数据后发送的各个第一画面人物信息以及对应的各个所述第一画面人物信息元数据的人脸区域,各个所述第一画面人物信息包含各个所述第一画面人物信息元数据的人物标识;
或接收所述服务器查找不到第一画面人物信息元数据后发送的针对所述第一请求的失败响应;
所述用户交互单元,从所述接收单元接收所述针对所述第一请求的响应,以及根据所述针对所述第一请求的响应呈现指认提示具体为:
从所述接收单元接收各个所述第一画面人物信息、对应的各个所述第一画面人物信息元数据的人脸区域,以及呈现所述各个所述第一画面人物信息、对应的各个所述第一画面人物信息元数据的人脸区域和指认提示;
或从所述接收单元接收所述针对所述第一请求的失败响应,以及根据所述失败响应呈现指认提示。
32.根据权利要求30或31所述的终端,其特征在于:
所述用户交互单元,进一步的用于接收获取指定画面人物信息的第二指令,将所述第二指令发送给所述发送单元;
所述发送单元,进一步的用于从所述用户交互单元接收所述第二指令,以及根据所述第二指令向所述服务器发送获取指定画面人物信息的第二请求,所述第二请求包含第二视频标识、第二视频帧标识;
所述接收单元,进一步的用于接收所述服务器查找到至少一个第二画面人物信息元数据后发送的各个第二画面人物信息以及对应的各个所述第二画面人物信息元数据的人脸区域,各个所述第二画面人物信息元数据的视频标识和视频帧标识分别与所述第二视频标识和所述第二视频帧标识相同,各个所述第二画面人物信息包含各个所述第二画面人物信息元数据的人物标识,将各个所述第二画面人物信息以及对应的各个所述第二画面人物信息元数据的人脸区域发送给所述用户交互单元;
所述用户交互单元,进一步的用于从所述接收单元接收各个所述第二画面人物信息以及对应的各个所述第二画面人物信息元数据的人脸区域,呈现各个所述第二画面人物信息以及对应的各个所述第二画面人物信息元数据的人脸区域,接收根据各个所述第二画面人物信息以及对应的各个所述第二画面人物信息元数据的人脸区域发送的纠错指令,所述纠错指令包含根据所述至少一个第二画面人物信息元数据的人脸区域选择的第二人脸区域,将所述纠错指令发送给发送单元;
所述发送单元,进一步的用于从所述用户交互单元接收所述纠错指令,以及根据所述纠错指令向所述服务器发送纠错请求;
所述接收单元,进一步的用于接收所述服务器根据所述纠错请求发送的与所述第二视频标识对应的多个人物信息,所述人物信息包含人物标识和人物展示信息,以及将所述与所述第二视频标识对应的多个人物信息发送给所述用户交互单元;
所述用户交互单元,进一步的用于从所述接收单元接收所述与所述第二视频标识对应的多个人物信息,以及接收第二选择人物指令,所述第二选择人物指令包含第二人物展示信息,所述第二人物展示信息为根据所述与所述第二视频标识对应的多个人物信息选择的人物展示信息,将所述第二人物展示信息发送给所述获取单元;
所述获取单元,进一步的用于从所述用户交互单元接收所述第二人物展示信息,以及根据所述第二人物展示信息获取与所述第二人物展示信息对应的第二人物标识,将所述第二人物标识发送给所述发送单元;
所述发送单元,进一步的用于从所述获取单元接收所述第二人物标识,以及根据所述第二人物标识向所述服务器发送更新人物信息元数据请求,所述更新人物信息元数据请求包含所述第二人物标识以及所述第二人脸区域,以便于所述服务器在所述存储的人物信息元数据中查找包含所述第二人脸区域、所述第二视频标识、以及所述第二视频帧标识的人物信息元数据,将所述查找到的人物信息元数据的人物标识替换为所述第二人物标识。
CN201310041094.2A 2013-02-01 2013-02-01 在视频中获取人物信息的方法和装置 Expired - Fee Related CN103079092B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310041094.2A CN103079092B (zh) 2013-02-01 2013-02-01 在视频中获取人物信息的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310041094.2A CN103079092B (zh) 2013-02-01 2013-02-01 在视频中获取人物信息的方法和装置

Publications (2)

Publication Number Publication Date
CN103079092A true CN103079092A (zh) 2013-05-01
CN103079092B CN103079092B (zh) 2015-12-23

Family

ID=48155481

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310041094.2A Expired - Fee Related CN103079092B (zh) 2013-02-01 2013-02-01 在视频中获取人物信息的方法和装置

Country Status (1)

Country Link
CN (1) CN103079092B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104794460A (zh) * 2015-05-07 2015-07-22 北京丰华联合科技有限公司 一种同时确定人员身份与个人信息的方法
CN106358092A (zh) * 2015-07-13 2017-01-25 阿里巴巴集团控股有限公司 信息处理方法及装置
CN106375817A (zh) * 2015-07-21 2017-02-01 三星电子株式会社 用于提供广播节目的电子设备和方法
CN106792147A (zh) * 2016-12-08 2017-05-31 天脉聚源(北京)传媒科技有限公司 一种图像替换方法及装置
CN107172450A (zh) * 2016-03-07 2017-09-15 百度在线网络技术(北京)有限公司 视频数据的传输方法、装置及系统
CN108073669A (zh) * 2017-01-12 2018-05-25 北京市商汤科技开发有限公司 业务对象展示方法、装置和电子设备
CN108182232A (zh) * 2017-12-27 2018-06-19 掌阅科技股份有限公司 基于电子书的人物展示方法、电子设备及计算机存储介质
CN108197336A (zh) * 2018-03-15 2018-06-22 北京奇艺世纪科技有限公司 一种视频查找的方法及装置
CN108471551A (zh) * 2018-03-23 2018-08-31 上海哔哩哔哩科技有限公司 基于主体识别的视频主体信息显示方法、装置、系统和介质
CN108523763A (zh) * 2017-03-01 2018-09-14 松下电器(美国)知识产权公司 打扫辅助方法及装置、记录有打扫辅助程序的记录介质
CN109151597A (zh) * 2018-09-03 2019-01-04 聚好看科技股份有限公司 信息显示方法及装置
CN110225367A (zh) * 2019-06-27 2019-09-10 北京奇艺世纪科技有限公司 一种视频中对象信息的显示、识别方法及装置
CN110458130A (zh) * 2019-08-16 2019-11-15 百度在线网络技术(北京)有限公司 人物识别方法、装置、电子设备及存储介质
CN111988656A (zh) * 2020-07-28 2020-11-24 烽火通信科技股份有限公司 一种流媒体视频用户触摸信息传递的方法及系统
WO2024007861A1 (zh) * 2022-07-08 2024-01-11 海信视像科技股份有限公司 接收装置及元数据生成系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1930886A (zh) * 2004-01-21 2007-03-14 联合视频制品公司 自动从广播媒体切换到流媒体的交互式电视系统
CN101582277A (zh) * 2008-05-14 2009-11-18 索尼株式会社 电子装置、内容再现方法、记录介质和服务器装置
US20120059953A1 (en) * 2010-09-03 2012-03-08 Rovi Technologies Corporation Systems and methods for displaying personalized media content
US20120167001A1 (en) * 2009-12-31 2012-06-28 Flicklntel, LLC. Method, system and computer program product for obtaining and displaying supplemental data about a displayed movie, show, event or video game
CN102542249A (zh) * 2010-11-01 2012-07-04 微软公司 视频内容中的脸部识别

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1930886A (zh) * 2004-01-21 2007-03-14 联合视频制品公司 自动从广播媒体切换到流媒体的交互式电视系统
CN101582277A (zh) * 2008-05-14 2009-11-18 索尼株式会社 电子装置、内容再现方法、记录介质和服务器装置
US20120167001A1 (en) * 2009-12-31 2012-06-28 Flicklntel, LLC. Method, system and computer program product for obtaining and displaying supplemental data about a displayed movie, show, event or video game
US20120059953A1 (en) * 2010-09-03 2012-03-08 Rovi Technologies Corporation Systems and methods for displaying personalized media content
CN102542249A (zh) * 2010-11-01 2012-07-04 微软公司 视频内容中的脸部识别

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104794460A (zh) * 2015-05-07 2015-07-22 北京丰华联合科技有限公司 一种同时确定人员身份与个人信息的方法
CN106358092B (zh) * 2015-07-13 2019-11-26 阿里巴巴集团控股有限公司 信息处理方法及装置
CN106358092A (zh) * 2015-07-13 2017-01-25 阿里巴巴集团控股有限公司 信息处理方法及装置
CN106375817A (zh) * 2015-07-21 2017-02-01 三星电子株式会社 用于提供广播节目的电子设备和方法
CN107172450A (zh) * 2016-03-07 2017-09-15 百度在线网络技术(北京)有限公司 视频数据的传输方法、装置及系统
CN106792147A (zh) * 2016-12-08 2017-05-31 天脉聚源(北京)传媒科技有限公司 一种图像替换方法及装置
CN108073669A (zh) * 2017-01-12 2018-05-25 北京市商汤科技开发有限公司 业务对象展示方法、装置和电子设备
CN108523763A (zh) * 2017-03-01 2018-09-14 松下电器(美国)知识产权公司 打扫辅助方法及装置、记录有打扫辅助程序的记录介质
CN108182232A (zh) * 2017-12-27 2018-06-19 掌阅科技股份有限公司 基于电子书的人物展示方法、电子设备及计算机存储介质
CN108197336A (zh) * 2018-03-15 2018-06-22 北京奇艺世纪科技有限公司 一种视频查找的方法及装置
CN108197336B (zh) * 2018-03-15 2022-04-22 北京奇艺世纪科技有限公司 一种视频查找的方法及装置
CN108471551A (zh) * 2018-03-23 2018-08-31 上海哔哩哔哩科技有限公司 基于主体识别的视频主体信息显示方法、装置、系统和介质
CN109151597A (zh) * 2018-09-03 2019-01-04 聚好看科技股份有限公司 信息显示方法及装置
CN110225367A (zh) * 2019-06-27 2019-09-10 北京奇艺世纪科技有限公司 一种视频中对象信息的显示、识别方法及装置
CN110458130A (zh) * 2019-08-16 2019-11-15 百度在线网络技术(北京)有限公司 人物识别方法、装置、电子设备及存储介质
CN110458130B (zh) * 2019-08-16 2022-12-06 百度在线网络技术(北京)有限公司 人物识别方法、装置、电子设备及存储介质
CN111988656A (zh) * 2020-07-28 2020-11-24 烽火通信科技股份有限公司 一种流媒体视频用户触摸信息传递的方法及系统
WO2024007861A1 (zh) * 2022-07-08 2024-01-11 海信视像科技股份有限公司 接收装置及元数据生成系统

Also Published As

Publication number Publication date
CN103079092B (zh) 2015-12-23

Similar Documents

Publication Publication Date Title
CN103079092B (zh) 在视频中获取人物信息的方法和装置
US10326715B2 (en) System and method for updating information in an instant messaging application
US9553946B2 (en) Systems and methods for caching augmented reality target data at user devices
US20170163580A1 (en) Interactive method and device for playback of multimedia
US20150012840A1 (en) Identification and Sharing of Selections within Streaming Content
US20200349385A1 (en) Multimedia resource matching method and apparatus, storage medium, and electronic apparatus
CN108509611B (zh) 用于推送信息的方法和装置
CN106530012B (zh) 广告物料数据处理方法及装置
CN105872717A (zh) 视频处理方法及系统、视频播放器与云服务器
CN111444415B (zh) 弹幕处理方法、服务器、客户端、电子设备及存储介质
CN109309851B (zh) 信息处理方法、服务器及终端
US20170171621A1 (en) Method and Electronic Device for Information Processing
CN105069005A (zh) 一种数据搜索方法和装置
US20140310778A1 (en) Method and system for third-party service platform login
US20170272793A1 (en) Media content recommendation method and device
WO2014176896A1 (en) System and method for updating information in an instant messaging application
CN107168974A (zh) 显示项相关内容、社交类应用中消息的显示控制方法和装置
CN111046292A (zh) 直播推荐方法、装置、计算机可读存储介质及电子设备
CN111741321A (zh) 一种直播控制方法、装置、设备及计算机存储介质
CN114467125B (zh) 使用面部识别从视频内容中获取艺术家图像
CN111666498B (zh) 一种基于互动信息的好友推荐方法、相关装置及存储介质
US9332284B1 (en) Personalized advertisement content
US20170155955A1 (en) Method and device for distinguishing user data of smart tv
CN114449301A (zh) 物品发送方法、装置、电子设备和计算机可读存储介质
CN114283349A (zh) 一种数据处理方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20151223

Termination date: 20220201

CF01 Termination of patent right due to non-payment of annual fee