CN105072460A - 一种基于视频内容元素的信息标注和关联方法、系统和设备 - Google Patents

一种基于视频内容元素的信息标注和关联方法、系统和设备 Download PDF

Info

Publication number
CN105072460A
CN105072460A CN201510423765.0A CN201510423765A CN105072460A CN 105072460 A CN105072460 A CN 105072460A CN 201510423765 A CN201510423765 A CN 201510423765A CN 105072460 A CN105072460 A CN 105072460A
Authority
CN
China
Prior art keywords
vce
video
user
easily selected
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510423765.0A
Other languages
English (en)
Other versions
CN105072460B (zh
Inventor
陈晓明
陈志波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Advanced Technology University of Science and Technology of China
Original Assignee
Institute of Advanced Technology University of Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Advanced Technology University of Science and Technology of China filed Critical Institute of Advanced Technology University of Science and Technology of China
Priority to CN201510423765.0A priority Critical patent/CN105072460B/zh
Publication of CN105072460A publication Critical patent/CN105072460A/zh
Application granted granted Critical
Publication of CN105072460B publication Critical patent/CN105072460B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/254—Management at additional data server, e.g. shopping server, rights management server
    • H04N21/2542—Management at additional data server, e.g. shopping server, rights management server for selling goods, e.g. TV shopping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H04N21/25891—Management of end-user data being end-user preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4758—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for providing answers, e.g. voting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/47815—Electronic shopping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H04N21/8586—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot by using a URL

Abstract

本发明公开了一种基于视频内容元素的信息标注和关联方法、系统和设备，该方法包括以下步骤：VCE(Video？Content？Elements，视频内容元素)服务器接收来自VCE客户端的视频帧编号，将与视频帧编号对应的一个或多个已标注VCE的索引信息发送给VCE客户端；VCE服务器接收来自VCE客户端的被用户选择的VCE的索引信息，根据被用户选择的VCE的索引信息和视频帧编号，检索被用户选择的VCE的关联信息，并将关联信息发送给VCE客户端，通过VCE客户端将关联信息叠加显示在被用户选择的VCE之上。本发明根据被用户选择的VCE的索引信息和视频帧编号，获取并显示被用户选择的VCE的关联信息，使得用户能够及时准确地获取被用户选择的VCE的相关信息，并允许用户以“众包”的方式对VCE标注相应的信息。

Description

一种基于视频内容元素的信息标注和关联方法、系统和设备
技术领域
本发明涉及视频技术领域，具体涉及一种基于视频内容元素的信息标注和关联方法、系统和设备。
背景技术
近年来，移动互联网和移动智能终端的快速发展正在影响着人们观看视频的方式。一方面，越来越多的人使用平板电脑、智能手机等终端设备观看在线视频或OTT(OverTheTop)视频；另一方面，很多人喜欢在用电视或电脑观看视频的同时操作平板电脑或手机等“第二屏”终端设备，这些终端设备一般都具有触屏交互的功能，使得用户能够方便地与视频内容进行交互。
用户观看的视频中，通常含有数量巨大的VCE(VideoContentElement,视频内容元素)，例如，商品、人物、音乐、地点、场所、字幕和背景知识。用户在观看视频的过程中，往往会对视频中的某一VCE产生兴趣，并希望获得关于该VCE的相关信息。现有技术中，通常需要用户暂停视频，打开浏览器和搜索引擎，在搜索引擎中输入用户自认为贴切的关键字进行搜索。由于视频中的VCE通常难以用语言描述，因此，用户很难准确地查询到VCE的相关信息。
发明内容
本发明提供了一种基于视频内容元素的信息标注和关联方法、系统和设备，以解决现有技术中VCE的相关信息难以获取的缺陷。
本发明提供了一种基于视频内容元素VCE的信息标注和关联方法，应用于包括VCE服务器和VCE客户端的系统中，所述方法包括以下步骤：
所述VCE服务器接收来自所述VCE客户端的视频帧编号，将与所述视频帧编号对应的一个或多个已标注VCE的索引信息发送给所述VCE客户端；
所述VCE服务器接收来自所述VCE客户端的被用户选择的VCE的索引信息，根据所述被用户选择的VCE的索引信息和所述视频帧编号，检索所述被用户选择的VCE的关联信息，并将所述关联信息发送给所述VCE客户端。
优选地，所述VCE服务器接收来自所述VCE客户端的视频帧编号之后，还包括：
所述VCE服务器判断所述视频帧编号对应的视频帧内是否存在已标注VCE；
所述VCE服务器将与所述视频帧编号对应的一个或多个已标注VCE的索引信息发送给所述VCE客户端，具体为：
当所述VCE服务器判断出所述视频帧编号对应的视频帧内存在已标注VCE时，所述VCE服务器将所述已标注VCE的索引信息发送给所述VCE客户端。
优选地，所述VCE服务器将与所述视频帧编号对应的一个或多个已标注VCE的索引信息发送给所述VCE客户端之后，还包括：
所述VCE客户端根据所述已标注VCE的索引信息，将所述已标注VCE显示在所述视频帧编号对应的视频帧上。
优选地，所述已标注VCE为可视VCE，所述已标注VCE的索引信息为可视VCE的位置信息；
所述VCE客户端根据所述已标注VCE的索引信息，将所述已标注VCE显示在所述视频帧编号对应的视频帧上，具体为：
所述VCE客户端根据所述可视VCE的位置信息，将所述可视VCE的轮廓进行高亮显示在所述视频帧上。
优选地，所述已标注VCE的位置信息包括与所述已标注VCE对应的边界框的水平坐标、垂直坐标、高度和宽度。
优选地，所述已标注VCE为抽象VCE，所述已标注VCE的索引信息为抽象VCE的名称；
所述VCE客户端根据所述已标注VCE的索引信息，将所述已标注VCE显示在所述视频帧编号对应的视频帧上，具体为：
所述VCE客户端根据所述抽象VCE的名称，将所述抽象VCE以文字框的形式显示在所述视频帧的背景上。
优选地，所述VCE服务器将所述关联信息发送给所述VCE客户端之后，还包括：
所述VCE客户端对所述关联信息进行展示。
优选地，所述被用户选择的VCE为已标注VCE，所述被用户选择的VCE的关联信息为所述已标注VCE对应的内部维基页面的地址；
所述VCE客户端对所述关联信息进行展示，具体为：
所述VCE客户端通过浏览器打开所述已标注VCE对应的内部维基页面，所述内部维基页面包括以下内容中的至少一项：名称、种类、子类、基本描述、图像特征、外部维基页面的链接、电商页面的链接、团购页面的链接、点评页面的链接、在线音乐链接、在线问答链接和关联视频列表。
优选地，所述VCE服务器接收来自所述VCE客户端的视频帧编号之后，还包括：
所述VCE服务器将与所述视频帧编号对应的一个或多个未标注VCE的索引信息发送给所述VCE客户端；
所述VCE客户端根据所述未标注VCE的索引信息，将所述未标注VCE显示在所述视频帧编号对应的视频帧上。
优选地，所述被用户选择的VCE为未标注VCE，所述VCE服务器接收来自所述VCE客户端的未标注VCE的索引信息之后，还包括：
所述VCE服务器根据所述被用户选择的VCE的特征信息，判断VCE数据库中是否存在与所述被用户选择的VCE匹配的已标注VCE的数据结构，如果是，则从与所述被用户选择的VCE匹配的已标注VCE的数据结构中获取描述信息，将所述描述信息发送给所述VCE客户端；否则，根据所述被用户选择的VCE的特征信息，使用外部搜索引擎进行搜索，将搜索到的网页集合的链接发送给所述VCE客户端，接收所述VCE客户端返回的用户确认的网页集合的链接，根据所述用户确认的网页集合的链接，生成所述被用户选择的VCE的数据结构，将所述被用户选择的VCE的数据结构存储到所述VCE数据库中。
优选地，所述描述信息包括名称和基本描述；所述被用户选择的VCE为可视VCE时，所述描述信息还包括图像特征。
优选地，所述被用户选择的VCE为可视VCE时，所述被用户选择的VCE的特征信息为可视VCE的图像特征；所述被用户选择的VCE为抽象VCE时，所述被用户选择的VCE的特征信息为抽象VCE的名称。
优选地，所述被用户选择的VCE为未标注VCE，所述VCE服务器接收来自所述VCE客户端的未标注VCE的索引信息之后，还包括：
所述VCE服务器接收来自所述VCE客户端的标注信息，根据所述标注信息生成所述被用户选择的VCE的数据结构，将所述被用户选择的VCE的数据结构存储到VCE数据库中。
优选地，所述VCE服务器生成所述被用户选择的VCE的数据结构之后，还包括：
所述VCE服务器根据所述被用户选择的VCE的特征信息，判断所述被用户选择的VCE是否出现在当前视频的其他视频帧上以及其他视频中，如果所述被用户选择的VCE出现在当前视频的其他视频帧上，则获取所述被用户选择的VCE在当前视频的其他视频帧上的索引信息，将获取到的索引信息添加到所述被用户选择的VCE的数据结构中；如果所述被用户选择的VCE出现在其他视频中，则获取所述被用户选择的VCE在其他视频中对应的视频帧编号以及各个视频帧上的索引信息，将获取到的视频帧编号和索引信息添加到所述被用户选择的VCE的数据结构中。
优选地，所述VCE客户端通过浏览器打开所述已标注VCE对应的内部维基页面之后，还包括：
所述VCE客户端检测到所述内部维基页面中的关联视频列表被触发后，将被触发视频的标识信息发送给所述VCE服务器；
所述VCE服务器根据被触发视频的标识信息，从检索到的已标注VCE的数据结构中获取与被触发视频对应的一个或多个视频帧的编号，将获取到的视频帧的编号发送给所述VCE客户端；
所述VCE客户端根据被触发视频的标识信息和接收到的视频帧的编号，向视频服务器发送播放请求，并在接收到来自所述视频服务器的视频数据后，对所述视频数据进行播放。
本发明还提供了一种VCE服务器，包括：
第一接收模块，用于接收来自VCE客户端的视频帧编号；
第一发送模块，用于将与所述第一接收模块接收到的所述视频帧编号对应的一个或多个已标注VCE的索引信息发送给所述VCE客户端；
第二接收模块，用于接收来自所述VCE客户端的被用户选择的VCE的索引信息；
检索模块，用于根据所述第二接收模块接收到的所述被用户选择的VCE的索引信息和所述第一接收模块接收到的所述视频帧编号，检索所述被用户选择的VCE的关联信息；
第二发送模块，用于将所述检索模块检索到的所述关联信息发送给所述VCE客户端。
优选地，所述的VCE服务器，还包括：
第一判断模块，用于判断所述第一接收模块接收到的所述视频帧编号对应的视频帧内是否存在已标注VCE；
所述第一发送模块，具体用于在所述第一判断模块判断出所述视频帧编号对应的视频帧内存在已标注VCE时，将所述已标注VCE的索引信息发送给所述VCE客户端。
优选地，所述第一发送模块，还用于将与所述视频帧编号对应的一个或多个未标注VCE的索引信息发送给所述VCE客户端。
优选地，所述被用户选择的VCE为未标注VCE；
所述VCE服务器，还包括：
第二判断模块，用于根据所述被用户选择的VCE的特征信息，判断VCE数据库中是否存在与所述被用户选择的VCE匹配的已标注VCE的数据结构；
第一获取模块，用于在所述第二判断模块判断出所述VCE数据库中存在与所述被用户选择的VCE匹配的已标注VCE的数据结构时，从与所述被用户选择的VCE匹配的已标注VCE的数据结构中获取描述信息，将所述描述信息发送给所述VCE客户端；
搜索模块，用于在所述第二判断模块判断出所述VCE数据库中不存在与所述被用户选择的VCE匹配的已标注VCE的数据结构时，根据所述被用户选择的VCE的特征信息，使用外部搜索引擎进行搜索，将搜索到的网页集合的链接发送给所述VCE客户端，接收所述VCE客户端返回的用户确认的网页集合的链接；
第一生成模块，用于根据所述搜索模块接收到的所述用户确认的网页集合的链接，生成所述被用户选择的VCE的数据结构，将所述被用户选择的VCE的数据结构存储到所述VCE数据库中。
优选地，所述描述信息包括名称和基本描述；所述被用户选择的VCE为可视VCE时，所述描述信息还包括图像特征。
优选地，所述被用户选择的VCE为可视VCE时，所述被用户选择的VCE的特征信息为可视VCE的图像特征；所述被用户选择的VCE为抽象VCE时，所述被用户选择的VCE的特征信息为抽象VCE的名称。
优选地，所述的VCE服务器，还包括：
第三接收模块，用于接收来自所述VCE客户端的标注信息；
第二生成模块，用于根据所述第三接收模块接收到的所述标注信息生成所述被用户选择的VCE的数据结构，将所述被用户选择的VCE的数据结构存储到VCE数据库中。
优选地，所述的VCE服务器，还包括：
第三判断模块，用于根据所述被用户选择的VCE的特征信息，判断所述被用户选择的VCE是否出现在当前视频的其他视频帧上以及其他视频中；
第二获取模块，用于在所述第三判断模块判断出所述被用户选择的VCE出现在当前视频的其他视频帧上时，获取所述被用户选择的VCE在当前视频的其他视频帧上的索引信息，将获取到的索引信息添加到所述被用户选择的VCE的数据结构中；在所述第三判断模块判断出所述被用户选择的VCE出现在其他视频中时，获取所述被用户选择的VCE在其他视频中对应的视频帧编号以及各个视频帧上的索引信息，将获取到的视频帧编号和索引信息添加到所述被用户选择的VCE的数据结构中。
优选地，所述的VCE服务器，还包括：
第四接收模块，用于接收来自所述VCE客户端的被触发视频的标识信息；
第三获取模块，用于根据所述第四接收模块接收到的所述被触发视频的标识信息，从检索到的已标注VCE的数据结构中获取与被触发视频对应的一个或多个视频帧的编号，将获取到的视频帧的编号发送给所述VCE客户端。
本发明还提供了一种VCE客户端，包括：
第五发送模块，用于向VCE服务器发送视频帧编号；
第五接收模块，用于接收来自所述VCE服务器的与所述视频帧编号对应的一个或多个已标注VCE的索引信息；
第一显示模块，用于根据所述第五接收模块接收到的所述已标注VCE的索引信息，将所述已标注VCE显示在所述视频帧编号对应的视频帧上；
第六发送模块，用于向VCE服务器发送被用户选择的VCE的索引信息；
第六接收模块，用于接收来自所述VCE服务器的所述被用户选择的VCE的关联信息；
第二显示模块，用于对所述第六接收模块接收到的所述关联信息进行展示。
优选地，所述已标注VCE为可视VCE，所述已标注VCE的索引信息为可视VCE的位置信息；
所述第一显示模块，具体用于根据所述第五接收模块接收到的所述可视VCE的位置信息，将所述可视VCE的轮廓进行高亮显示在所述视频帧上。
优选地，所述已标注VCE的位置信息包括与所述已标注VCE对应的边界框的水平坐标、垂直坐标、高度和宽度。
优选地，所述已标注VCE为抽象VCE，所述已标注VCE的索引信息为抽象VCE的名称；
所述第一显示模块，具体用于根据所述第五接收模块接收到的所述抽象VCE的名称，将所述抽象VCE以文字框的形式显示在所述视频帧的背景上。
优选地，所述被用户选择的VCE为已标注VCE，所述被用户选择的VCE的关联信息为所述已标注VCE对应的内部维基页面的地址；
所述第二显示模块，具体用于通过浏览器打开所述已标注VCE对应的内部维基页面，所述内部维基页面包括以下内容中的至少一项：名称、种类、子类、基本描述、图像特征、外部维基页面的链接、电商页面的链接、团购页面的链接、点评页面的链接、在线音乐链接、在线问答链接和关联视频列表。
优选地，所述第五接收模块，还用于接收来自所述VCE服务器的与所述视频帧编号对应的一个或多个未标注VCE的索引信息；
所述第一显示模块，还用于根据所述未标注VCE的索引信息，将所述未标注VCE显示在所述视频帧编号对应的视频帧上。
优选地，所述的VCE客户端，还包括：
第七接收模块，还用于接收来自所述VCE服务器的描述信息；
第三显示模块，还用于对所述第七接收模块接收到的所述描述信息进行显示。
优选地，所述描述信息包括名称和基本描述；所述被用户选择的VCE为可视VCE时，所述描述信息还包括图像特征。
优选地，所述的VCE客户端，还包括：
检测模块，用于检测所述内部维基页面中的关联视频列表是否被触发；
第七发送模块，用于在所述检测模块检测到所述内部维基页面中的关联视频列表被触发后，将被触发视频的标识信息发送给所述VCE服务器；
第八接收模块，用于接收来自所述VCE服务器的与所述被触发视频对应的一个或多个视频帧的编号；
第八发送模块，用于根据所述被触发视频的标识信息和所述第八接收模块接收到的视频帧的编号，向视频服务器发送播放请求；
第九接收模块，用于接收来自所述视频服务器的视频数据；
播放模块，用于对所述第九接收模块接收到的所述视频数据进行播放。
本发明还提供了一种基于视频内容元素VCE的信息标注和关联系统，包括所述的VCE服务器、所述的VCE客户端以及VCE数据库。
优选地，所述VCE数据库用于存储已标注VCE的数据结构；
所述已标注VCE为可视VCE时，其数据结构包括VCE标识、可视VCE在各个视频中对应的一个或多个视频帧的编号以及可视VCE在各个视频帧的位置信息，还包括名称、种类、子类、基本描述、图像特征、内部维基页面的地址、外部维基页面的链接、电商页面的链接、团购页面的链接、点评页面的链接、在线音乐链接、在线问答链接和可视VCE对应的视频列表中的一项或多项；
所述已标注VCE为抽象VCE时，其数据结构包括VCE标识和抽象VCE在各个视频中对应的一个或多个视频帧的编号，还包括名称、种类、子类、基本描述、图像特征、内部维基页面的地址、外部维基页面的链接、电商页面的链接、团购页面的链接、点评页面的链接、在线音乐链接、在线问答链接和抽象VCE对应的视频列表中的一项或多项。
本发明中的VCE服务器根据被用户选择的VCE的索引信息和视频帧编号，获取被用户选择的VCE的关联信息，并将该关联信息发送给VCE客户端，使得用户能够及时准确地获取被用户选择的VCE的相关信息。
附图说明
图1为本发明实施例中的一种基于视频内容元素的信息标注和关联系统的结构示意图；
图2为本发明实施例中的已标注VCE的数据结构的存储方式示意图；
图3为本发明实施例中的另一种基于视频内容元素的信息标注和关联系统的结构示意图；
图4和图5为本发明实施例中的一种基于视频内容元素的信息标注和关联方法流程图；
图6为本发明实施例中的VCE客户端的用户界面示意图；
图7为本发明实施例中系统辅助自动标注的示意图；
图8为本发明实施例中页面链接过程实例示意图；
图9为本发明实施例中的一种VCE服务器的结构示意图；
图10为本发明实施例中的一种VCE客户端的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，如果不冲突，本发明实施例以及实施例中的各个特征可以相互结合，均在本发明的保护范围之内。另外，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
如图1所示，本发明实施例提供了一种基于VCE的信息标注和关联方法，应用于包括VCE服务器、VCE数据库、视频服务器和终端设备的系统中，终端设备中安装有视频播放器和VCE客户端，视频播放器用于接收来自视频服务器的视频数据，对该视频数据进行播放，可以是普通视频播放器，也可以是网页视频播放器，还可以是集成VCE客户端功能的专用播放器。
VCE数据库用于存储已标注VCE的数据结构，当已标注VCE为可视VCE时，其数据结构包括VCE标识、可视VCE在各个视频中对应的一个或多个视频帧的编号以及可视VCE在各个视频帧的位置信息，还包括名称、种类、子类、基本描述、图像特征、内部维基页面的地址、外部维基页面的链接、电商页面的链接、团购页面的链接、点评页面的链接、在线音乐链接、在线问答链接和可视VCE对应的视频列表中的一项或多项；当已标注VCE为抽象VCE，其数据结构包括VCE标识和抽象VCE在各个视频中对应的一个或多个视频帧的编号，还包括名称、种类、子类、基本描述、图像特征、内部维基页面的地址、外部维基页面的链接、电商页面的链接、团购页面的链接、点评页面的链接、在线音乐链接、在线问答链接和抽象VCE对应的视频列表中的一项或多项。其中，VCE标识是VCE数据类型在VCE数据库中的主键；可视VCE是指具有视觉边界的VCE，包括物品和人物；抽象VCE是指没有视觉边界的VCE，包括音乐、地点场所和字幕。具体地，VCE数据库可以采用树形结构将已标注VCE的数据结构与各个视频进行关联存储，其中，已标注VCE作为上述树形结构的树叶，已标注VCE的种类和子类作为上述树形结构的节点，同一个已标注VCE可与多个视频关联，如图2所示。
VCE服务器在远程云端运行，用于接收来自VCE客户端的视频帧编号，将与该视频帧编号对应的一个或多个已标注VCE的索引信息发送给VCE客户端；接收来自VCE客户端的被用户选择的VCE的索引信息，根据被用户选择的VCE的索引信息和上述视频帧编号，检索被用户选择的VCE的关联信息，并将该关联信息发送给VCE客户端。
VCE客户端用于接收来自VCE服务器的已标注VCE的索引信息，根据接收到的已标注VCE的索引信息，将已标注VCE显示在视频帧编号对应的视频帧上；接收来自VCE服务器的关联信息，对该关联信息进行展示。
当视频播放器为普通视频播放器时，VCE客户端以播放器插件的形式集成在视频播放器中；当视频播放器为网页视频播放器时，VCE客户端以播放器插件或浏览器插件的形式集成在视频播放器中。此外，VCE客户端还可以与视频播放器集成为具有VCE客户端功能的专用播放器。
需要说明的是，VCE数据库可以合并到VCE服务器中，VCE服务器也可以合并到视频服务器中，同样能够实现本发明的发明目的。
进一步地，上述系统还包括主显示设备，主显示设备中安装有视频播放器，与视频服务器和终端设备连接，用于接收来自视频服务器的视频数据，对该视频数据进行播放，并将播放的视频内容同步到终端设备中，如图3所示。
其中，主显示设备的屏幕尺寸大于终端设备的屏幕尺寸，可以是智能电视等设备，终端设备可以是智能手机和平板电脑等便携式设备。用户通过主显示设备观看视频时，如果对视频中的VCE产生兴趣，可以开启终端设备中的应用，通过该应用建立终端设备与主显示设备之间的连接；当连接建立后，主显示设备将播放的视频内容通过网络同步到终端设备中；当用户选择终端设备播放的视频内容中的VCE时，如果被用户选择的VCE为已标注VCE，终端设备中的VCE客户端将被用户选择的VCE的关联信息叠加在原始视频上进行显示；如果被用户选择的VCE为未标注VCE，用户可通过终端设备中的VCE客户端对该VCE进行标注。
如图4和图5所示，基于上述系统，本发明实施例提供了一种信息标注和关联方法，包括以下步骤：
步骤201，VCE服务器接收来自VCE客户端的视频帧编号。
具体地，当用户通过视频播放器观看视频时，如果VCE客户端检测到信息标注和关联模式被触发，则VCE客户端显示信息标注和关联菜单，将视频播放器正在播放的视频的前景和背景分离，并将视频播放器正在播放的视频帧编号发送给VCE服务器。
本实施例中，信息标注和关联模式可在用户暂停视频播放时被自动触发，也可由用户手动触发。如图6所示，为本发明实施例中的VCE客户端的用户界面示意图，信息标注和关联菜单显示在视频帧内，包括自动标注按键、手动标注按键和VCE类型区域，其中，VCE类型区域包括物品按键、人物按键、音乐按键、地点场所按键和字幕按键。
步骤202，VCE服务器判断视频帧编号对应的视频帧内是否存在已标注VCE，如果是，则执行步骤203；否则，执行步骤205。
具体地，VCE服务器可以根据视频帧编号查询VCE数据库，如果在VCE数据库中查询到与该视频帧编号对应的已标注VCE的数据结构，则确定视频帧编号对应的视频帧内存在已标注VCE；否则，确定视频帧编号对应的视频帧内不存在已标注VCE。
步骤203，VCE服务器将与视频帧编号对应的一个或多个已标注VCE和未标注VCE的索引信息发送给VCE客户端。
具体地，VCE服务器可以在视频帧编号对应的视频中识别未标注VCE,将识别到的未标注VCE的索引信息以及从VCE数据库中查询到的已标注VCE的索引信息发送给VCE客户端。
步骤204，VCE客户端根据已标注VCE和未标注VCE的索引信息，分别将已标注VCE和未标注VCE显示在视频帧编号对应的视频帧上，并执行步骤207。
具体地，当VCE(已标注VCE或未标注VCE)为可视VCE时，VCE的索引信息为VCE的位置信息，VCE客户端可以根据可视VCE的位置信息，在视频帧上对可视VCE的轮廓进行高亮显示，其中，VCE的位置信息包括与所述VCE对应的边界框的水平坐标、垂直坐标、高度和宽度；当VCE(已标注VCE或未标注VCE)为抽象VCE时，VCE客户端可以根据抽象VCE的索引信息，将抽象VCE以文字框的形式显示在视频帧的背景上。
步骤205，VCE服务器将与视频帧编号对应的一个或多个未标注VCE的索引信息发送给VCE客户端。
步骤206，VCE客户端根据未标注VCE的索引信息，将未标注VCE显示在视频帧编号对应的视频帧上，并执行步骤207。
步骤207，VCE客户端将被用户选择的VCE的索引信息发送给VCE服务器。
具体地，VCE客户端检测到显示视频帧上的VCE被触发后，将该VCE的索引信息作为被用户选择的VCE的索引信息发送给VCE服务器；VCE客户端检测到视频帧上的区域被触发后，将该区域的位置信息作为被用户选择的VCE的索引信息发送给VCE服务器。
步骤208，VCE服务器根据视频帧编号和被用户选择的VCE的索引信息，对被用户选择的VCE进行判断，如果是未标注VCE，则执行步骤209；如果是已标注VCE，则执行步骤227。
具体地，VCE服务器根据视频帧编号和被用户选择的VCE的索引信息，检索VCE数据库中存储的已标注VCE的数据结构，如果在VCE数据库中检索到与视频帧编号和被用户选择的VCE的索引信息匹配的已标注VCE的数据结构，则确定被用户选择的VCE为已标注VCE；否则，确定被用户选择的VCE为未标注VCE。
步骤209，VCE服务器向VCE客户端返回未标注信息。
步骤210，VCE客户端提示用户被用户选择的VCE为未标注VCE。
步骤211，VCE客户端根据用户对信息标注和关联菜单的操作，向VCE服务器发送标注请求。
具体地，当VCE客户端检测到被用户选择的VCE被用户选中，且信息标注和关联菜单中的自动标注按键被触发时，VCE客户端向VCE服务器发送自动标注请求，该自动标注请求中包含被用户选择的VCE的索引信息；当VCE客户端检测到被用户选择的VCE被用户选中，且信息标注和关联菜单中的手动标注按键被触发时，VCE客户端向VCE服务器发送手动标注请求，该手动标注请求中包含被用户选择的VCE的索引信息。
步骤212，VCE服务器对接收到的标注请求进行判断，如果是自动标注请求，则执行步骤213；如果是手动标注请求，则执行步骤220。
步骤213，VCE服务器根据被用户选择的VCE的特征信息，判断VCE数据库中是否存在与被用户选择的VCE匹配的已标注VCE的数据结构，如果是，则执行步骤214；否则，执行步骤217。
具体地，被用户选择的VCE为可视VCE时，被用户选择的VCE的特征信息为可视VCE的图像特征，VCE服务器根据可视VCE的图像特征，判断VCE数据库中是否存在与该图像特征匹配的已标注VCE的数据结构，如果是，则确定VCE数据库中存在与被用户选择的VCE匹配的已标注VCE的数据结构；否则，确定VCE数据库中不存在与被用户选择的VCE匹配的已标注VCE的数据结构。
如图7所示，VCE服务器根据用户选择或勾画出的可视VCE的轮廓，在系统内部数据库进行图像匹配，并判断是否找到匹配，如果找到，则标注结束；否则，调用基于内容的图像搜索API。
被用户选择的VCE为抽象VCE时，被用户选择的VCE的特征信息为抽象VCE的名称，VCE服务器根据抽象VCE的名称，判断VCE数据库中是否存在与该名称匹配的已标注VCE的数据结构，如果是，则确定VCE数据库中存在与被用户选择的VCE匹配的已标注VCE的数据结构；否则，确定VCE数据库中不存在与被用户选择的VCE匹配的已标注VCE的数据结构。
步骤214，VCE服务器从与被用户选择的VCE匹配的已标注VCE的数据结构中获取描述信息，将该描述信息发送给VCE客户端。
其中，描述信息可以包括名称和基本描述，当被用户选择的VCE为可视VCE时，描述信息还包括图像特征。
步骤215，VCE客户端对接收到的描述信息进行显示，并在检测到确认按键被触发时，向VCE服务器发送确认信息。
步骤216，VCE服务器将被用户选择的VCE的索引信息添加到与被用户选择的VCE匹配的已标注VCE的数据结构中。
步骤217，VCE服务器根据被用户选择的VCE的特征信息，使用外部搜索引擎进行搜索，将搜索到的网页集合的链接发送给VCE客户端。
其中，VCE服务器搜索到的网页集合的链接包括与被用户选择的VCE的特征信息相关的外部维基页面的链接、电商页面的链接、团购页面的链接、点评页面的链接、在线音乐链接和在线问答链接中的至少一项。
如图7所示，VCE服务器调用基于内容的图像搜索API，得到匹配的图像及包含图像的网页集合，并根据视频元数据和系统保留的URL过滤关键词进行图像URL过滤和分析以及候选种子页的生成，得到过滤后的图像和种子页短表(shortlist，一般为维基页面，如百度百科页面)，通过VCE客户端将过滤后的图像和种子页短表显示给用户。当用户从种子页短表中选择种子页后，VCE服务器使用用户所选种子页的信息作为关键词，在外部系统中搜索，使系统自动获得所需外部链接和对应的种子页。
如图8所示，为本发明实施例中页面链接过程实例示意图，VCE服务器根据用户从如图6所示的用户界面选取的可视VCE的轮廓，进行自动图像搜索，获取百度识图页面，该页面包含自动匹配的百度百科页面链接以及匹配的图像和网页。进一步地，VCE服务器根据百度识图页面进行自动链接搜索，获取相关百科页面，并根据相关百科页面中的标题和图标进行自动链接搜索，获取相关电商购买页面和相关音乐页面。
步骤218，VCE客户端根据接收到的网页集合的链接，显示对应的网页集合，并在检测到确认按键被触发时，向VCE服务器发送用户确认的网页集合的链接。
如图7所示，VCE服务器通过VCE客户端将外部链接和对应的种子页显示给用户，如果用户确认，则将叶子页信息作为标注信息自动填入VCE相关的内部维基页面；否则，进行手动标注。
步骤219，VCE服务器根据用户确认的网页集合的链接，生成被用户选择的VCE的数据结构，将被用户选择的VCE的数据结构存储到VCE数据库中，并执行步骤223。
步骤220，VCE服务器向VCE客户端返回手动标注响应。
步骤221，VCE客户端显示手动标注输入框，通过手动标注输入框获取用户输入的标注信息，将该标注信息发送给VCE服务器。
步骤222，VCE服务器根据接收到的标注信息，生成被用户选择的VCE的数据结构，将被用户选择的VCE的数据结构存储到VCE数据库中，并执行步骤223。
步骤223，VCE服务器根据被用户选择的VCE的特征信息，判断被用户选择的VCE是否出现在当前视频的其他视频帧上，如果是，则执行步骤224；否则，执行步骤225。
步骤224，VCE服务器获取被用户选择的VCE在当前视频的其他视频帧上的索引信息，将获取到的索引信息添加到被用户选择的VCE的数据结构中，并执行步骤225。
步骤225，VCE服务器判断根据被用户选择的VCE的特征信息，判断被用户选择的VCE是否出现在其他视频中，如果是，则执行步骤226，否则，结束流程。
步骤226，VCE服务器获取被用户选择的VCE在其他视频中对应的视频帧编号以及各个视频帧上的索引信息，将获取到的视频帧编号和索引信息添加到被用户选择的VCE的数据结构中。
步骤227，VCE服务器从VCE数据库中获取与被用户选择的VCE的索引信息对应的内部维基页面的地址，将获取到的内部维基页面的地址发送给VCE客户端。
具体地，VCE服务器在VCE数据库中检索到与视频帧编号和被用户选择的VCE的索引信息匹配的已标注VCE的数据结构后，从检索到的已标注VCE的数据结构中读取内部维基页面的地址，并将该内部维基页面的地址发送给VCE客户端。
步骤228，VCE客户端根据接收到的内部维基页面的地址，通过浏览器打开对应的内部维基页面。
其中，内部维基页面包括以下内容中的至少一项：名称、种类、子类、基本描述、图像特征、外部维基页面的链接、电商页面的链接、团购页面的链接、点评页面的链接、在线音乐链接、在线问答链接和关联视频列表。
进一步地，VCE客户端检测到内部维基页面中的关联视频列表被触发后，将被触发视频的标识信息发送给VCE服务器；VCE服务器根据被触发视频的标识信息，从检索到的已标注VCE的数据结构中获取与被触发视频对应的一个或多个视频帧的编号，将获取到的视频帧的编号发送给VCE客户端；VCE客户端根据被触发视频的标识信息和接收到的视频帧的编号，向视频服务器发送播放请求，并在接收到来自视频服务器的视频数据后，对该视频数据进行播放。
本发明实施例为视频中的VCE建立相应的数据结构，通过该数据结构能够向VCE客户端发送被用户选择的VCE的关联信息，使得用户能够及时准确地获取被用户选择的VCE的相关信息；此外，允许用户以“众包”的方式对VCE标注相应的信息，可根据用户的关注度对上述VCE的数据结构进行动态的添加和修改，能够高效地实现信息的积累和共享。
需要说明的是，本发明的其他实施例中，VCE服务器判断出视频帧编号对应的视频帧内存在已标注VCE时，将与视频帧编号对应的一个或多个已标注VCE的索引信息发送给VCE客户端；否则，VCE服务器向VCE客户端返回无标注信息，VCE客户端提示用户当前视频帧无已标注VCE，并在检测到信息标注和关联菜单中的音乐按键、地点场所按键或字幕按键被触发后，显示抽象VCE输入框，并通过抽象VCE输入框获取用户输入的VCE的名称，将该VCE的名称作为被用户选择的VCE的索引信息发送给VCE服务器，上述实施方式同样能够实现本发明的发明目的。
此外，VCE客户端提示用户被用户选择的VCE为未标注VCE之后，还可以显示在线问答框，通过在线问答框获取用户输入的在线问题以及用户联系信息，并将用户输入的在线问题以及用户联系信息发送给VCE服务器，VCE服务器将用户输入的在先问题以及当前视频帧的截图提交到在线问答系统，并在通过在线问答系统获取到回复后，根据用户联系信息，将获取到的回复通知用户。
如图9所示，基于上述信息标注和关联方法，本发明实施例提供了一种VCE服务器，包括：
第一接收模块501，用于接收来自VCE客户端的视频帧编号；
第一发送模块502，用于将与第一接收模块501接收到的视频帧编号对应的一个或多个已标注VCE的索引信息发送给VCE客户端；
第二接收模块503，用于接收来自VCE客户端的被用户选择的VCE的索引信息；
检索模块504，用于根据第二接收模块503接收到的被用户选择的VCE的索引信息和第一接收模块501接收到的视频帧编号，检索被用户选择的VCE的关联信息；
第二发送模块505，用于将检索模块504检索到的关联信息发送给VCE客户端。
进一步地，上述VCE服务器，还包括：
第一判断模块，用于所述判断所述第一接收模块501接收到的所述视频帧编号对应的视频帧内是否存在已标注VCE；
所述第一发送模块502，具体用于在所述第一判断模块判断出所述视频帧编号对应的视频帧内存在已标注VCE时，将所述已标注VCE的索引信息发送给所述VCE客户端。
上述第一发送模块502，还用于将与所述视频帧编号对应的一个或多个未标注VCE的索引信息发送给所述VCE客户端。
其中，被用户选择的VCE为未标注VCE时，上述VCE服务器，还包括：
第二判断模块，用于根据所述被用户选择的VCE的特征信息，判断VCE数据库中是否存在与所述被用户选择的VCE匹配的已标注VCE的数据结构；
第一获取模块，用于在所述第二判断模块判断出所述VCE数据库中存在与所述被用户选择的VCE匹配的已标注VCE的数据结构时，从与所述被用户选择的VCE匹配的已标注VCE的数据结构中获取描述信息，将所述描述信息发送给所述VCE客户端；
搜索模块，用于在所述第二判断模块判断出所述VCE数据库中不存在与所述被用户选择的VCE匹配的已标注VCE的数据结构时，根据所述被用户选择的VCE的特征信息，使用外部搜索引擎进行搜索，将搜索到的网页集合的链接发送给所述VCE客户端，接收所述VCE客户端返回的用户确认的网页集合的链接；
第一生成模块，用于根据所述搜索模块接收到的所述用户确认的网页集合的链接，生成所述被用户选择的VCE的数据结构，将所述被用户选择的VCE的数据结构存储到所述VCE数据库中。
其中，描述信息包括名称和基本描述，被用户选择的VCE为可视VCE时，描述信息还包括图像特征，被用户选择的VCE的特征信息为可视VCE的图像特征；被用户选择的VCE为抽象VCE时，被用户选择的VCE的特征信息为抽象VCE的名称。
进一步地，上述VCE服务器，还包括：
第三接收模块，用于接收来自所述VCE客户端的标注信息；
第二生成模块，用于根据所述第三接收模块接收到的所述标注信息生成所述被用户选择的VCE的数据结构，将所述被用户选择的VCE的数据结构存储到VCE数据库中。
第三判断模块，用于根据所述被用户选择的VCE的特征信息，判断所述被用户选择的VCE是否出现在当前视频的其他视频帧上以及其他视频中；
第二获取模块，用于在所述第三判断模块判断出所述被用户选择的VCE出现在当前视频的其他视频帧上时，获取所述被用户选择的VCE在当前视频的其他视频帧上的索引信息，将获取到的索引信息添加到所述被用户选择的VCE的数据结构中；在所述第三判断模块判断出所述被用户选择的VCE出现在其他视频中时，获取所述被用户选择的VCE在其他视频中对应的视频帧编号以及各个视频帧上的索引信息，将获取到的视频帧编号和索引信息添加到所述被用户选择的VCE的数据结构中。
第四接收模块，用于接收来自所述VCE客户端的被触发视频的标识信息；
第三获取模块，用于根据所述第四接收模块接收到的所述被触发视频的标识信息，从检索到的已标注VCE的数据结构中获取与被触发视频对应的一个或多个视频帧的编号，将获取到的视频帧的编号发送给所述VCE客户端。
本发明实施例为视频中的VCE建立相应的数据结构，通过该数据结构能够向VCE客户端发送被用户选择的VCE的关联信息，使得用户能够及时准确地获取被用户选择的VCE的相关信息；此外，上述VCE的数据结构可根据用户的关注度进行动态的添加和修改，能够高效地实现信息的积累和共享。
如图10所示，基于上述信息标注和关联方法，本发明实施例提供了一种VCE客户端，包括：
第五发送模块601，用于向VCE服务器发送视频帧编号；
第五接收模块602，用于接收来自所述VCE服务器的与所述视频帧编号对应的一个或多个已标注VCE的索引信息；
第一显示模块603，用于根据所述第五接收模块602接收到的所述已标注VCE的索引信息，将所述已标注VCE显示在所述视频帧编号对应的视频帧上；
第六发送模块604，用于向VCE服务器发送被用户选择的VCE的索引信息；
第六接收模块605，用于接收来自所述VCE服务器的所述被用户选择的VCE的关联信息；
第二显示模块606，用于对所述第六接收模块605接收到的所述关联信息进行展示。
其中，已标注VCE为可视VCE时，已标注VCE的索引信息为可视VCE的位置信息；
相应地，上述第一显示模块603，具体用于根据所述第五接收模块602接收到的所述可视VCE的位置信息，将所述可视VCE的轮廓进行高亮显示在所述视频帧上。
其中，已标注VCE的位置信息包括与所述已标注VCE对应的边界框的水平坐标、垂直坐标、高度和宽度。
此外，已标注VCE为抽象VCE时，已标注VCE的索引信息为抽象VCE的名称；
相应地，上述第一显示模块603，具体用于根据所述第五接收模块602接收到的所述抽象VCE的名称，将所述抽象VCE以文字框的形式显示在所述视频帧的背景上。
其中，被用户选择的VCE为已标注VCE，被用户选择的VCE的关联信息为所述已标注VCE对应的内部维基页面的地址；
相应地，上述第二显示模块606，具体用于通过浏览器打开所述已标注VCE对应的内部维基页面，所述内部维基页面包括以下内容中的至少一项：名称、种类、子类、基本描述、图像特征、外部维基页面的链接、电商页面的链接、团购页面的链接、点评页面的链接、在线音乐链接、在线问答链接和关联视频列表。
进一步地，上述第五接收模块602，还用于接收来自所述VCE服务器的与所述视频帧编号对应的一个或多个未标注VCE的索引信息；
上述第一显示模块603，还用于根据所述未标注VCE的索引信息，将所述未标注VCE显示在所述视频帧编号对应的视频帧上。
上述VCE客户端，还包括：
第七接收模块，还用于接收来自所述VCE服务器的描述信息；
第三显示模块，还用于对所述第七接收模块接收到的所述描述信息进行显示。
其中，描述信息包括名称和基本描述，被用户选择的VCE为可视VCE时，描述信息还包括图像特征。
进一步地，上述VCE客户端，还包括：
检测模块，用于检测所述内部维基页面中的关联视频列表是否被触发；
第七发送模块，用于在所述检测模块检测到所述内部维基页面中的关联视频列表被触发后，将被触发视频的标识信息发送给所述VCE服务器；
第八接收模块，用于接收来自所述VCE服务器的与所述被触发视频对应的一个或多个视频帧的编号；
第八发送模块，用于根据所述被触发视频的标识信息和所述第八接收模块接收到的视频帧的编号，向视频服务器发送播放请求；
第九接收模块，用于接收来自所述视频服务器的视频数据；
播放模块，用于对所述第九接收模块接收到的所述视频数据进行播放。
本发明实施例为视频中的VCE建立相应的数据结构，通过该数据结构能够向VCE客户端发送被用户选择的VCE的关联信息，使得用户能够及时准确地获取被用户选择的VCE的相关信息；此外，上述VCE的数据结构可根据用户的关注度进行动态的添加和修改，能够高效地实现信息的积累和共享。
结合本文中所公开的实施例描述的方法中的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (22)

1.一种基于视频内容元素VCE的信息标注和关联方法，其特征在于，应用于包括VCE服务器和VCE客户端的系统中，所述方法包括以下步骤：
所述VCE服务器接收来自所述VCE客户端的视频帧编号，将与所述视频帧编号对应的一个或多个已标注VCE的索引信息发送给所述VCE客户端；
所述VCE服务器接收来自所述VCE客户端的被用户选择的VCE的索引信息，根据所述被用户选择的VCE的索引信息和所述视频帧编号，检索所述被用户选择的VCE的关联信息，并将所述关联信息发送给所述VCE客户端。
2.如权利要求1所述的方法，其特征在于，所述VCE服务器接收来自所述VCE客户端的视频帧编号之后，还包括：
所述VCE服务器判断所述视频帧编号对应的视频帧内是否存在已标注VCE；
所述VCE服务器将与所述视频帧编号对应的一个或多个已标注VCE的索引信息发送给所述VCE客户端，具体为：
当所述VCE服务器判断出所述视频帧编号对应的视频帧内存在已标注VCE时，所述VCE服务器将所述已标注VCE的索引信息发送给所述VCE客户端。
3.如权利要求1所述的方法，其特征在于，所述VCE服务器将与所述视频帧编号对应的一个或多个已标注VCE的索引信息发送给所述VCE客户端之后，还包括：所述VCE客户端根据所述已标注VCE的索引信息，将所述已标注VCE显示在所述视频帧编号对应的视频帧上；
优选地，所述已标注VCE为可视VCE，所述已标注VCE的索引信息为可视VCE的位置信息；所述VCE客户端根据所述已标注VCE的索引信息，将所述已标注VCE显示在所述视频帧编号对应的视频帧上，具体为：所述VCE客户端根据所述可视VCE的位置信息，将所述可视VCE的轮廓进行高亮显示在所述视频帧上；优选地，所述已标注VCE的位置信息包括与所述已标注VCE对应的边界框的水平坐标、垂直坐标、高度和宽度；
优选地，所述已标注VCE为抽象VCE，所述已标注VCE的索引信息为抽象VCE的名称；所述VCE客户端根据所述已标注VCE的索引信息，将所述已标注VCE显示在所述视频帧编号对应的视频帧上，具体为：所述VCE客户端根据所述抽象VCE的名称，将所述抽象VCE以文字框的形式显示在所述视频帧的背景上。
4.如权利要求1所述的方法，其特征在于，所述VCE服务器将所述关联信息发送给所述VCE客户端之后，还包括：所述VCE客户端对所述关联信息进行展示；
优选地，所述被用户选择的VCE为已标注VCE，所述被用户选择的VCE的关联信息为所述已标注VCE对应的内部维基页面的地址；所述VCE客户端对所述关联信息进行展示，具体为：
所述VCE客户端通过浏览器打开所述已标注VCE对应的内部维基页面，所述内部维基页面包括以下内容中的至少一项：名称、种类、子类、基本描述、图像特征、外部维基页面的链接、电商页面的链接、团购页面的链接、点评页面的链接、在线音乐链接、在线问答链接和关联视频列表。
5.如权利要求1所述的方法，其特征在于，所述VCE服务器接收来自所述VCE客户端的视频帧编号之后，还包括：
所述VCE服务器将与所述视频帧编号对应的一个或多个未标注VCE的索引信息发送给所述VCE客户端；
所述VCE客户端根据所述未标注VCE的索引信息，将所述未标注VCE显示在所述视频帧编号对应的视频帧上。
6.如权利要求5所述的方法，其特征在于，所述被用户选择的VCE为未标注VCE，所述VCE服务器接收来自所述VCE客户端的未标注VCE的索引信息之后，还包括：
所述VCE服务器根据所述被用户选择的VCE的特征信息，判断VCE数据库中是否存在与所述被用户选择的VCE匹配的已标注VCE的数据结构，如果是，则从与所述被用户选择的VCE匹配的已标注VCE的数据结构中获取描述信息，将所述描述信息发送给所述VCE客户端；否则，根据所述被用户选择的VCE的特征信息，使用外部搜索引擎进行搜索，将搜索到的网页集合的链接发送给所述VCE客户端，接收所述VCE客户端返回的用户确认的网页集合的链接，根据所述用户确认的网页集合的链接，生成所述被用户选择的VCE的数据结构，将所述被用户选择的VCE的数据结构存储到所述VCE数据库中；
优选地，所述描述信息包括名称和基本描述；所述被用户选择的VCE为可视VCE时，所述描述信息还包括图像特征；
优选地，所述被用户选择的VCE为可视VCE时，所述被用户选择的VCE的特征信息为可视VCE的图像特征；所述被用户选择的VCE为抽象VCE时，所述被用户选择的VCE的特征信息为抽象VCE的名称。
7.如权利要求5所述的方法，其特征在于，所述被用户选择的VCE为未标注VCE，所述VCE服务器接收来自所述VCE客户端的未标注VCE的索引信息之后，还包括：
所述VCE服务器接收来自所述VCE客户端的标注信息，根据所述标注信息生成所述被用户选择的VCE的数据结构，将所述被用户选择的VCE的数据结构存储到VCE数据库中。
8.如权利要求6或7所述的方法，其特征在于，所述VCE服务器生成所述被用户选择的VCE的数据结构之后，还包括：
所述VCE服务器根据所述被用户选择的VCE的特征信息，判断所述被用户选择的VCE是否出现在当前视频的其他视频帧上以及其他视频中，如果所述被用户选择的VCE出现在当前视频的其他视频帧上，则获取所述被用户选择的VCE在当前视频的其他视频帧上的索引信息，将获取到的索引信息添加到所述被用户选择的VCE的数据结构中；如果所述被用户选择的VCE出现在其他视频中，则获取所述被用户选择的VCE在其他视频中对应的视频帧编号以及各个视频帧上的索引信息，将获取到的视频帧编号和索引信息添加到所述被用户选择的VCE的数据结构中；
优选地，所述VCE客户端通过浏览器打开所述已标注VCE对应的内部维基页面之后，还包括：
所述VCE客户端检测到所述内部维基页面中的关联视频列表被触发后，将被触发视频的标识信息发送给所述VCE服务器；
所述VCE服务器根据被触发视频的标识信息，从检索到的已标注VCE的数据结构中获取与被触发视频对应的一个或多个视频帧的编号，将获取到的视频帧的编号发送给所述VCE客户端；
所述VCE客户端根据被触发视频的标识信息和接收到的视频帧的编号，向视频服务器发送播放请求，并在接收到来自所述视频服务器的视频数据后，对所述视频数据进行播放。
9.一种VCE服务器，其特征在于，包括：
第一接收模块，用于接收来自VCE客户端的视频帧编号；
第一发送模块，用于将与所述第一接收模块接收到的所述视频帧编号对应的一个或多个已标注VCE的索引信息发送给所述VCE客户端；
第二接收模块，用于接收来自所述VCE客户端的被用户选择的VCE的索引信息；
检索模块，用于根据所述第二接收模块接收到的所述被用户选择的VCE的索引信息和所述第一接收模块接收到的所述视频帧编号，检索所述被用户选择的VCE的关联信息；
第二发送模块，用于将所述检索模块检索到的所述关联信息发送给所述VCE客户端。
10.如权利要求9所述的VCE服务器，其特征在于，还包括：
第一判断模块，用于判断所述第一接收模块接收到的所述视频帧编号对应的视频帧内是否存在已标注VCE；
所述第一发送模块，具体用于在所述第一判断模块判断出所述视频帧编号对应的视频帧内存在已标注VCE时，将所述已标注VCE的索引信息发送给所述VCE客户端。
11.如权利要求9所述的VCE服务器，其特征在于，
所述第一发送模块，还用于将与所述视频帧编号对应的一个或多个未标注VCE的索引信息发送给所述VCE客户端。
12.如权利要求9所述的VCE服务器，其特征在于，所述被用户选择的VCE为未标注VCE；
所述VCE服务器，还包括：
第二判断模块，用于根据所述被用户选择的VCE的特征信息，判断VCE数据库中是否存在与所述被用户选择的VCE匹配的已标注VCE的数据结构；
第一获取模块，用于在所述第二判断模块判断出所述VCE数据库中存在与所述被用户选择的VCE匹配的已标注VCE的数据结构时，从与所述被用户选择的VCE匹配的已标注VCE的数据结构中获取描述信息，将所述描述信息发送给所述VCE客户端；
搜索模块，用于在所述第二判断模块判断出所述VCE数据库中不存在与所述被用户选择的VCE匹配的已标注VCE的数据结构时，根据所述被用户选择的VCE的特征信息，使用外部搜索引擎进行搜索，将搜索到的网页集合的链接发送给所述VCE客户端，接收所述VCE客户端返回的用户确认的网页集合的链接；
第一生成模块，用于根据所述搜索模块接收到的所述用户确认的网页集合的链接，生成所述被用户选择的VCE的数据结构，将所述被用户选择的VCE的数据结构存储到所述VCE数据库中；
优选地，所述描述信息包括名称和基本描述；所述被用户选择的VCE为可视VCE时，所述描述信息还包括图像特征；
优选地，所述被用户选择的VCE为可视VCE时，所述被用户选择的VCE的特征信息为可视VCE的图像特征；所述被用户选择的VCE为抽象VCE时，所述被用户选择的VCE的特征信息为抽象VCE的名称。
13.如权利要求9所述的VCE服务器，其特征在于，还包括：
第三接收模块，用于接收来自所述VCE客户端的标注信息；
第二生成模块，用于根据所述第三接收模块接收到的所述标注信息生成所述被用户选择的VCE的数据结构，将所述被用户选择的VCE的数据结构存储到VCE数据库中。
14.如权利要求12或13所述的VCE服务器，其特征在于，还包括：
第三判断模块，用于根据所述被用户选择的VCE的特征信息，判断所述被用户选择的VCE是否出现在当前视频的其他视频帧上以及其他视频中；
第二获取模块，用于在所述第三判断模块判断出所述被用户选择的VCE出现在当前视频的其他视频帧上时，获取所述被用户选择的VCE在当前视频的其他视频帧上的索引信息，将获取到的索引信息添加到所述被用户选择的VCE的数据结构中；在所述第三判断模块判断出所述被用户选择的VCE出现在其他视频中时，获取所述被用户选择的VCE在其他视频中对应的视频帧编号以及各个视频帧上的索引信息，将获取到的视频帧编号和索引信息添加到所述被用户选择的VCE的数据结构中；
优选地，还包括：
第四接收模块，用于接收来自所述VCE客户端的被触发视频的标识信息；
第三获取模块，用于根据所述第四接收模块接收到的所述被触发视频的标识信息，从检索到的已标注VCE的数据结构中获取与被触发视频对应的一个或多个视频帧的编号，将获取到的视频帧的编号发送给所述VCE客户端。
15.一种VCE客户端，其特征在于，包括：
第五发送模块，用于向VCE服务器发送视频帧编号；
第五接收模块，用于接收来自所述VCE服务器的与所述视频帧编号对应的一个或多个已标注VCE的索引信息；
第一显示模块，用于根据所述第五接收模块接收到的所述已标注VCE的索引信息，将所述已标注VCE显示在所述视频帧编号对应的视频帧上；
第六发送模块，用于向VCE服务器发送被用户选择的VCE的索引信息；
第六接收模块，用于接收来自所述VCE服务器的所述被用户选择的VCE的关联信息；
第二显示模块，用于对所述第六接收模块接收到的所述关联信息进行展示。
16.如权利要求15所述的VCE客户端，其特征在于，所述已标注VCE为可视VCE，所述已标注VCE的索引信息为可视VCE的位置信息；
所述第一显示模块，具体用于根据所述第五接收模块接收到的所述可视VCE的位置信息，将所述可视VCE的轮廓进行高亮显示在所述视频帧上；
优选地，所述已标注VCE的位置信息包括与所述已标注VCE对应的边界框的水平坐标、垂直坐标、高度和宽度；
优选地，所述已标注VCE为抽象VCE，所述已标注VCE的索引信息为抽象VCE的名称；
所述第一显示模块，具体用于根据所述第五接收模块接收到的所述抽象VCE的名称，将所述抽象VCE以文字框的形式显示在所述视频帧的背景上。
17.如权利要求15所述的VCE客户端，其特征在于，所述被用户选择的VCE为已标注VCE，所述被用户选择的VCE的关联信息为所述已标注VCE对应的内部维基页面的地址；
所述第二显示模块，具体用于通过浏览器打开所述已标注VCE对应的内部维基页面，所述内部维基页面包括以下内容中的至少一项：名称、种类、子类、基本描述、图像特征、外部维基页面的链接、电商页面的链接、团购页面的链接、点评页面的链接、在线音乐链接、在线问答链接和关联视频列表。
18.如权利要求15所述的VCE客户端，其特征在于，
所述第五接收模块，还用于接收来自所述VCE服务器的与所述视频帧编号对应的一个或多个未标注VCE的索引信息；
所述第一显示模块，还用于根据所述未标注VCE的索引信息，将所述未标注VCE显示在所述视频帧编号对应的视频帧上。
19.如权利要求15所述的VCE客户端，其特征在于，还包括：
第七接收模块，还用于接收来自所述VCE服务器的描述信息；
第三显示模块，还用于对所述第七接收模块接收到的所述描述信息进行显示；
优选地，所述描述信息包括名称和基本描述；所述被用户选择的VCE为可视VCE时，所述描述信息还包括图像特征。
20.如权利要求15所述的VCE客户端，其特征在于，还包括：
检测模块，用于检测所述内部维基页面中的关联视频列表是否被触发；
第七发送模块，用于在所述检测模块检测到所述内部维基页面中的关联视频列表被触发后，将被触发视频的标识信息发送给所述VCE服务器；
第八接收模块，用于接收来自所述VCE服务器的与所述被触发视频对应的一个或多个视频帧的编号；
第八发送模块，用于根据所述被触发视频的标识信息和所述第八接收模块接收到的视频帧的编号，向视频服务器发送播放请求；
第九接收模块，用于接收来自所述视频服务器的视频数据；
播放模块，用于对所述第九接收模块接收到的所述视频数据进行播放。
21.一种基于视频内容元素VCE的信息标注和关联系统，其特征在于，包括如权利要求9至14中任一项所述的VCE服务器、如权利要求15至20中任一项所述的VCE客户端以及VCE数据库。
22.如权利要求21所述的系统，其特征在于，所述VCE数据库用于存储已标注VCE的数据结构；
所述已标注VCE为可视VCE时，其数据结构包括VCE标识、可视VCE在各个视频中对应的一个或多个视频帧的编号以及可视VCE在各个视频帧的位置信息，还包括名称、种类、子类、基本描述、图像特征、内部维基页面的地址、外部维基页面的链接、电商页面的链接、团购页面的链接、点评页面的链接、在线音乐链接、在线问答链接和可视VCE对应的视频列表中的一项或多项；
所述已标注VCE为抽象VCE时，其数据结构包括VCE标识和抽象VCE在各个视频中对应的一个或多个视频帧的编号，还包括名称、种类、子类、基本描述、图像特征、内部维基页面的地址、外部维基页面的链接、电商页面的链接、团购页面的链接、点评页面的链接、在线音乐链接、在线问答链接和抽象VCE对应的视频列表中的一项或多项。
CN201510423765.0A 2015-07-15 2015-07-15 一种基于视频内容元素的信息标注和关联方法、系统和设备 Active CN105072460B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510423765.0A CN105072460B (zh) 2015-07-15 2015-07-15 一种基于视频内容元素的信息标注和关联方法、系统和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510423765.0A CN105072460B (zh) 2015-07-15 2015-07-15 一种基于视频内容元素的信息标注和关联方法、系统和设备

Publications (2)

Publication Number Publication Date
CN105072460A true CN105072460A (zh) 2015-11-18
CN105072460B CN105072460B (zh) 2018-08-07

Family

ID=54501720

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510423765.0A Active CN105072460B (zh) 2015-07-15 2015-07-15 一种基于视频内容元素的信息标注和关联方法、系统和设备

Country Status (1)

Country Link
CN (1) CN105072460B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105608318A (zh) * 2015-12-18 2016-05-25 清华大学 众包标注整合方法
CN106303726A (zh) * 2016-08-30 2017-01-04 北京奇艺世纪科技有限公司 一种视频标签的添加方法及装置
CN106294563A (zh) * 2016-07-27 2017-01-04 海信集团有限公司 一种多媒体数据的处理方法和装置
CN106375793A (zh) * 2016-08-29 2017-02-01 东方网力科技股份有限公司 一种视频结构化信息的叠加方法、用户终端及叠加系统
CN108833964A (zh) * 2018-06-11 2018-11-16 阿依瓦（北京）技术有限公司 一种实时的连续帧信息植入识别系统
CN109947988A (zh) * 2019-03-08 2019-06-28 百度在线网络技术（北京）有限公司 一种信息处理方法、装置、终端设备及服务器
US10382719B2 (en) 2017-06-27 2019-08-13 Boe Technology Group Co., Ltd. Method and apparatus for sharing information during video call
CN110381382A (zh) * 2019-07-23 2019-10-25 腾讯科技（深圳）有限公司 视频笔记生成方法、装置、存储介质和计算机设备
CN110505498A (zh) * 2019-09-03 2019-11-26 腾讯科技（深圳）有限公司 视频的处理、播放方法、装置及计算机可读介质
CN113596517A (zh) * 2021-07-13 2021-11-02 北京远舢智能科技有限公司 一种基于混合现实的图像冻结标注方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1431826A (zh) * 2002-01-07 2003-07-23 三星电子株式会社 用于显示链接到数字电视节目的附加信息的方法和装置
WO2009073552A2 (en) * 2007-11-30 2009-06-11 Google Inc. Video object tag creation and processing
US20100077428A1 (en) * 2008-09-23 2010-03-25 International Business Machines Corporation Method and apparatus for providing supplemental content with video media
CN102084362A (zh) * 2008-07-24 2011-06-01 思科技术公司 经由被动态映射到不同媒体属性的向量的用户导航
CN103229513A (zh) * 2010-11-24 2013-07-31 Lg电子株式会社 视频显示装置及其控制方法
CN104113786A (zh) * 2014-06-26 2014-10-22 小米科技有限责任公司 信息获取方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1431826A (zh) * 2002-01-07 2003-07-23 三星电子株式会社 用于显示链接到数字电视节目的附加信息的方法和装置
WO2009073552A2 (en) * 2007-11-30 2009-06-11 Google Inc. Video object tag creation and processing
CN102084362A (zh) * 2008-07-24 2011-06-01 思科技术公司 经由被动态映射到不同媒体属性的向量的用户导航
US20100077428A1 (en) * 2008-09-23 2010-03-25 International Business Machines Corporation Method and apparatus for providing supplemental content with video media
CN103229513A (zh) * 2010-11-24 2013-07-31 Lg电子株式会社 视频显示装置及其控制方法
CN104113786A (zh) * 2014-06-26 2014-10-22 小米科技有限责任公司 信息获取方法及装置

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105608318B (zh) * 2015-12-18 2018-06-15 清华大学 众包标注整合方法
CN105608318A (zh) * 2015-12-18 2016-05-25 清华大学 众包标注整合方法
CN106294563A (zh) * 2016-07-27 2017-01-04 海信集团有限公司 一种多媒体数据的处理方法和装置
CN106375793B (zh) * 2016-08-29 2019-12-13 东方网力科技股份有限公司 一种视频结构化信息的叠加方法、用户终端及叠加系统
CN106375793A (zh) * 2016-08-29 2017-02-01 东方网力科技股份有限公司 一种视频结构化信息的叠加方法、用户终端及叠加系统
CN106303726A (zh) * 2016-08-30 2017-01-04 北京奇艺世纪科技有限公司 一种视频标签的添加方法及装置
US10382719B2 (en) 2017-06-27 2019-08-13 Boe Technology Group Co., Ltd. Method and apparatus for sharing information during video call
CN108833964A (zh) * 2018-06-11 2018-11-16 阿依瓦（北京）技术有限公司 一种实时的连续帧信息植入识别系统
CN108833964B (zh) * 2018-06-11 2022-01-25 阿依瓦（北京）技术有限公司 一种实时的连续帧信息植入识别系统
CN109947988A (zh) * 2019-03-08 2019-06-28 百度在线网络技术（北京）有限公司 一种信息处理方法、装置、终端设备及服务器
CN110381382B (zh) * 2019-07-23 2021-02-09 腾讯科技（深圳）有限公司 视频笔记生成方法、装置、存储介质和计算机设备
CN110381382A (zh) * 2019-07-23 2019-10-25 腾讯科技（深圳）有限公司 视频笔记生成方法、装置、存储介质和计算机设备
CN110505498A (zh) * 2019-09-03 2019-11-26 腾讯科技（深圳）有限公司 视频的处理、播放方法、装置及计算机可读介质
CN113596517A (zh) * 2021-07-13 2021-11-02 北京远舢智能科技有限公司 一种基于混合现实的图像冻结标注方法及系统
CN113596517B (zh) * 2021-07-13 2022-08-09 北京远舢智能科技有限公司 一种基于混合现实的图像冻结标注方法及系统

Also Published As

Publication number Publication date
CN105072460B (zh) 2018-08-07

Similar Documents

Publication Publication Date Title
CN105072460A (zh) 一种基于视频内容元素的信息标注和关联方法、系统和设备
US9128909B2 (en) Intelligent augmentation of media content
US10878044B2 (en) System and method for providing content recommendation service
WO2017028624A1 (zh) 一种资源的处理方法及装置
US20110252065A1 (en) Apparatus and method for semantic-based search and semantic metadata providing server and method of operating the same
KR101404596B1 (ko) 이미지에 기반하여 동영상 서비스를 제공하는 시스템 및 방법
US10104024B2 (en) Apparatus, method, and computer program for providing user reviews
CN104602128A (zh) 视频处理方法和视频处理装置
KR101955463B1 (ko) 컨텐츠 분석에 따른 어플리케이션 추천 시스템 및 방법
US11709881B2 (en) Visual menu
JP2013080482A (ja) 動画像検索サービス提供方法およびその装置
CN102253994A (zh) 自动搜索装置和自动搜索方法
US20170272793A1 (en) Media content recommendation method and device
CN105653555A (zh) 基于浏览器的书签显示方法及相关装置、系统
CN104881407A (zh) 基于特征识别的信息推荐系统及方法
KR20150019668A (ko) 검색 연관 정보 제공 방법 및 이를 지원하는 전자 장치
KR20100118896A (ko) 콘텐츠 내 객체 정보 및 객체 기반의 응용 콘텐츠를 제공하는 방법 및 장치
CN103970813A (zh) 多媒体内容的搜寻方法与系统
US20130291010A1 (en) Method of inserting video advertisement in web page
JP2007317217A (ja) 情報関連付け方法、端末装置、サーバ装置、プログラム
CN103425766A (zh) 浏览同步方法和装置
KR20100116724A (ko) 멀티미디어 데이터 검색을 위한 사용자 인터페이스 시스템 및 그 방법
Sohn et al. GS1 Video: Open service system for video using MPEG 7 and GS1 standard
KR101696026B1 (ko) 오픈 응용프로그램 인터페이스를 이용한 디자인트랜드정보제공방법
CN105224627A (zh) 一种信息获取方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant