CN104041063A - 视频的关联信息库制作和视频播放的方法、平台及系统 - Google Patents

视频的关联信息库制作和视频播放的方法、平台及系统 Download PDF

Info

Publication number
CN104041063A
CN104041063A CN201280002756.9A CN201280002756A CN104041063A CN 104041063 A CN104041063 A CN 104041063A CN 201280002756 A CN201280002756 A CN 201280002756A CN 104041063 A CN104041063 A CN 104041063A
Authority
CN
China
Prior art keywords
destination object
video
information
image frame
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280002756.9A
Other languages
English (en)
Other versions
CN104041063B (zh
Inventor
杨素娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN104041063A publication Critical patent/CN104041063A/zh
Application granted granted Critical
Publication of CN104041063B publication Critical patent/CN104041063B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/4143Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a Personal Computer [PC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/485End-user interface for client configuration
    • H04N21/4854End-user interface for client configuration for modifying image parameters, e.g. image brightness, contrast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/654Transmission by server directed to the client
    • H04N21/6547Transmission by server directed to the client comprising parameters, e.g. for client setup
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6587Control parameters, e.g. trick play commands, viewpoint selection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8126Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明实施例提供了一种视频的关联信息库制作和视频播放的方法、平台及系统,涉及计算机领域,所述方法包括:按照所要设定的不同目标对象的存在周期从原始视频获取一至多个连续画面帧;在一个目标对象对应的一至多个连续画面帧中确定预先设定的所述目标对象在每个画面帧中的轮廓信息和显示的优先级;根据所述目标对象在每个画面帧中的轮廓信息和显示的优先级制作所述原始视频的关联信息库。本发明通过按照目标对应的存在周期从原始视频获取一至多个连续画面帧,并在该一至多个连续画面帧中确定视频制作用户预先设定的目标对象的轮廓信息和显示的优先级,解决了现有技术中关联信息库中对于目标对象被背景或其他对象覆盖时相关信息空白的不足。

Description

视频的关联信息库制作和视频播放的方法、 平台及系统 技术领域
本发明涉及计算机领域,特别涉及一种视频的关联信息库制作和视频播放 的方法、 平台以及系统。 背景技术
交互式视频可以向观众显示视频中人或物的具体信息, 比如视频中人物的 介绍信息、 视频中人物所穿衣物的详细介绍信息等, 可以向观众提供方便快捷 且针对性极强的服务, 因此具有广泛的应用前景。
现有的交互式视频制作与显示方法主要包括: 第一, 根据轮廓匹配的方式 从整个视频中分割出一至多个目标对象; 第二, 对分割出的一至多个目标对象 进行自动分类, 每个目标对象对应有一个目标对象的基本信息, 目标对象的基 本信息可由开发者自行定制, 比如, 某目标对象为一件衣服, 则对应的这件衣 服的品牌介绍、 价格信息、 购买地址等会被保存在该衣服目标对象的基本信息 中; 第三, 当检测到视频观看用户的鼠标指向视频画面中的目标对象时, 向观 看用户显示该目标对象的基本信息中待显示的内容。
在实现本发明的过程中, 发明人发现现有技术至少存在以下问题: 当同一画面中存在多个目标对象且各目标对象有重叠时, 无法正常实现匹 配和显示该目标对象的基本信息中待显示的内容。 发明内容
有鉴于此, 本发明实施例提供了一种视频的关联信息库制作和视频播放的 方法、 平台及系统, 以便解决现有技术中交互式视频制作效果较差的问题。 所 述技术方案如下:
一方面, 提供了一种视频的关联信息库制作方法, 所述方法包括: 按照所要设定的不同目标对象的存在周期从原始视频获取一至多个连续 画面帧;
在一个目标对象对应的一至多个连续画面帧中确定预先设定的所述目标 对象在每个画面帧中的轮廓信息和显示的优先级;
根据所述目标对象在每个画面帧中的轮廓信息和显示的优先级制作所述 原始视频的关联信息库, 所述关联信息库为用于播放交互式视频时读取的文 件, 保存有目标对象的基本信息和视频交互信息, 其中, 所述目标对象的基本 信息包含用于待显示的内容; 所述视频交互信息中包含有各画面帧中包含的目 标对象的轮廓信息和显示的优先级。
在第一方面的第一种可能实现方式中, 所述在一个目标对象对应的一至多 个连续画面帧中确定预先选定的目标对象在每个画面帧中的轮廓信息之前, 所 述方法还包括:
显示目标对象设定界面;
显示目标对象设定界面; 将视频制作用户在所述目标对象设定界面中圏定 的区域中的对象设定为目标对象, 并将圏定的区域轮廓信息归为所述目标对象 的第一轮廓信息, 并携带在视频交互信息中;
建立所述视频交互信息中携带的目标对象的第一轮廓信息与所述视频制 作用户为所述目标对象制定的目标对象的基本信息之间的对应关系。
结合第一方面的第一种可能实现方式, 在第二种可能实现方式中, 将视频 制作用户在所述目标对象设定界面中圏定的区域中的对象设定为目标对象后, 还包括:
利用轮廓提取算法获取圏定的区域中目标对象的轮廓信息, 并归为所述目 标对象的第二轮廓信息, 并携带在视频交互信息中;
建立所述视频交互信息中携带的目标对象的第二轮廓信息与所述视频制 作用户为所述设定的目标对象制定的目标对象的基本信息之间的对应关系。
结合第一方面的第二种可能实现方式, 在第三种可能实现方式中, 所述在一个目标对象对应的一至多个连续画面帧中确定预先设定的所述 目标对象在每个画面帧中的轮廓信息, 具体包括:
获取所述圏定的区域中的目标对象的特征信息, 并利用目标跟踪算法计算 所述一至多个连续画面帧中其余画面帧的目标对象的第一轮廓信息和第二轮 廓信息, 并携带在视频交互信息中。
结合第一方面或第一方面的第一种可能实现方式, 在第四种可能实现方式 中, 所述目标对象的基本信息包括: 所述目标对象的标识、 所述目标对象的名 称文本、 详细信息文本、 图片链接或视频链接中的一个或多个; 贝' J 所述建立所述视频交互信息中携带的目标对象的第一轮廓信息与所述视 频制作用户为所述目标对象制定的目标对象的基本信息之间的对应关系具体 为:
建立所述视频交互信息中携带的目标对象的第一轮廓信息与所述目标对 象的标识、 所述目标对象的名称文本、 详细信息文本、 图片链接或视频链接中 的一个或多个的关联关系。
结合第一方面的第三种可能或第四种可能实现方式,在第五种可能实现方 式中, 所述方法包括:
将各画面帧中的目标对象的第一轮廓信息对应的区域设置为所述各画面 帧中的目标对象的第一交互区域;
将各画面帧中的目标对象的第二轮廓信息对应的区域设置为所述各画面 帧中的目标对象的第二交互区域;
以便视频播放平台在检测到用户对所述第一交互区域和第二交互区域的 预定义操作时, 以相比第一交互区域更具体的方式显示第二交互区域对应的目 标对象的待显示的内容。
第二方面, 提供了一种视频播放方法, 所述方法包括:
解析原始视频和所述原始视频的关联信息库, 获取所述原始视频的关联信 息库中的目标对象的基本信息和视频交互信息, 所述视频交互信息中包含有各 画面帧中包含的目标对象的轮廓信息和显示的优先级, 所述目标对象的基本信 息包含用于待显示的内容;
当检测到用户对当前播放的画面帧中的目标对象的轮廓信息对应的交互 区域的预定义操作时,根据显示的优先级显示与所述交互区域中的目标对象相 对应的目标对象的基本信息中待显示的内容。
在第二方面的第一种可能实现方式中,在所述当前播放的画面帧中存在多 个目标对象, 且所述多个目标对象对应的交互区域有重叠时, 所述根据显示的 优先级显示与所述交互区域中的目标对象相对应的目标对象的基本信息中待 显示的内容, 具体包括:
显示所述多个目标对象中显示的优先级较高的目标对象对应的目标对象 的基本信息中待显示的内容。
在第二方面的第二种可能实现方式中,在所述当前播放的画面帧中存在多 个目标对象, 且所述多个目标对象对应的交互区域有重叠时, 所述根据显示的 优先级值的大小显示与所述交互区域中的目标对象相对应的目标对象的基本 信息中待显示的内容, 具体包括:
按照显示的优先级从高到低的顺序,显示所述多个目标对象对应的各目标 对象的基本信息中待显示的内容。
结合第二方面、第二方面的第一种可能实现方式或第二方面的第二种可能 实现方式, 在第三种可能实现方式中,
所述预定义操作至少包括鼠标指向操作、 鼠标点击操作、 触摸笔的感应、 鼠标在视频内的指向移动操作或触摸点击操作中的一种或多种。
第三方面, 提供一种视频的关联信息库制作平台, 所述平台包括: 获取模块, 用于按照所要设定的不同目标对象的存在周期从原始视频获取 一至多个连续画面帧;
轮廓信息确定模块, 用于在所述获取模块获取的一个目标对象对应的一至 多个连续画面帧中确定预先设定的所述目标对象在每个画面帧中的轮廓信息; 显示的优先级确定模块, 用于在所述获取模块获取的一个目标对象对应的 一至多个连续画面帧中确定预先设定的所述目标对象在每个画面帧中的显示 的优先级;
关联信息库制作模块, 用于根据所述目标对象在每个画面帧中的轮廓信息 和显示的优先级制作所述原始视频的关联信息库, 所述关联信息库为用于播放 交互式视频时读取的文件,保存有目标对象的基本信息和视频交互信息;其中, 所述目标对象的基本信息包含用于待显示的内容; 所述视频交互信息中包含有 各画面帧中包含的目标对象的轮廓信息和显示的优先级。
在第三方面的第一种可能实现方式中, 所述平台还包括:
设定显示模块, 用于显示目标对象设定界面;
第一目标对象设定模块, 用于将视频制作用户在所述设定显示模块显示的 目标对象设定界面中圏定的区域中的对象设定为目标对象, 并将圏定的区域轮 廓信息归为目标对象的第一轮廓信息, 并携带在视频交互信息中;
第一对应关系建立模块, 用于建立所述视频交互信息中携带的目标对象的 第一轮廓信息与所述视频制作用户为所述目标对象制定的目标对象的基本信 息之间的对应关系。
结合第三方面的第一种可能实现方式, 在第二种可能实现方式中, 所述平 台还包括: 第二目标对象设定模块, 用于利用轮廓提取算法获取圏定的区域中目标对 象的轮廓信息,并归为所述目标对象的第二轮廓信息,并携带在视频互信息中; 第二对应关系建立模块, 用于建立所述视频交互信息中携带的目标对象的 第二轮廓信息与所述视频制作用户为所述设定的目标对象制定的目标对象的 基本信息之间的对应关系。
结合第三方面的第二种可能实现方式, 在第三方面第三种可能实现方式 中, 所述轮廓信息确定模块, 包括:
特征信息获取单元, 用于获取所述圏定的区域中的目标对象的特征信息; 跟踪单元, 用于利用目标跟踪算法计算所述一至多个连续画面帧中其余画 面帧的目标对象的第一轮廓信息和第二轮廓信息, 并携带在视频交互信息中。
结合第三方面或第三方面的第一种可能实现方式, 在第三方面的第四种可 能实现方式中, 所述目标对象的基本信息包括: 所述目标对象的标识、 所述目 标对象的名称文本、 详细信息文本、 图片链接或视频链接中的一个或多个; 所述第一对应关系建立模块, 具体用于建立所述视频交互信息中携带的目 标对象的第一轮廓信息与所述目标对象的标识、 所述目标对象的名称文本、 详 细信息文本、 图片链接或视频链接中的一个或多个的关联关系。
结合第三方面的第三种可能实现方式或第三方面的第四种可能实现方式, 在第五种可能实现方式中, 所述平台还包括: 交互区域设置模块;
所述交互区域设置模块, 包括:
第一设置单元, 用于将各画面帧中的目标对象的第一轮廓信息对应的区域 设置为所述各画面帧中的目标对象的第一交互区域;
第二设置单元, 用于将各画面帧中的目标对象的第二轮廓信息对应的区域 设置为所述各画面帧中的目标对象的第二交互区域;
以便视频播放平台在检测到用户对所述第一交互区域和第二交互区域的 预定义操作时, 以相比第一交互区域更具体的方式显示第二交互区域对应的目 标对象的待显示的内容。
第四方面, 提供了一种视频的关联信息库制作平台, 所述平台包括: I/O 接口、 处理器、 存储器和显示器;
所述处理器与所述存储器相连; 所述 I/O接口一端与所述处理器和所述存 储器相连, 另一端与所述显示器相连;
所述处理器, 用于按照所要设定的不同目标对象的存在周期从原始视频获 取一至多个连续画面帧;
所述处理器,还用于在一个目标对象对应的一至多个连续画面帧中确定预 先设定的所述目标对象在每个画面帧中的轮廓信息;
所述处理器,还用于在一个目标对象对应的一至多个连续画面帧中确定预 先设定的所述目标对象在每个画面帧中的显示的优先级;
所述处理器,还用于根据所述目标对象在每个画面帧中的轮廓信息和显示 的优先级制作所述原始视频的关联信息库, 所述关联信息库为用于播放交互式 视频时读取的文件, 保存有目标对象的基本信息和视频交互信息; 其中, 所述 目标对象的基本信息包含用于待显示的内容; 所述视频交互信息中包含有各画 面帧中包含的目标对象的轮廓信息和显示的优先级。
在第四方面的第一种可能实现方式中,
所述处理器, 还用于在所述显示器中显示目标对象设定界面;
所述处理器,还用于将视频制作用户在目标对象设定界面中圏定的区域中 的对象设定为目标对象, 并将圏定的区域轮廓信息归为目标对象的第一轮廓信 息, 并携带在视频交互信息中;
所述处理器,还用于建立所述视频交互信息中携带的目标对象与所述视频 制作用户为所述设定的目标对象制定的目标对象的基本信息之间的对应关系。
在第四方面的第二种可能实现方式中,
所述处理器,还用于利用轮廓提取算法获取圏定的区域中目标对象的轮廓 信息, 并归为所述目标对象的第二轮廓信息, 并携带在视频互信息中;
所述处理器,还用于建立所述视频交互信息中携带的目标对象的第二轮廓 信息与所述视频制作用户为所述设定的目标对象制定的目标对象的基本信息 之间的对应关系。
结合第四方面的第二种可能实现方式, 在第三种可能实现方式中, 所述处理器, 还用于获取所述圏定的区域中的目标对象的特征信息, 并利 用目标跟踪算法计算所述一至多个连续画面帧中其余画面帧的目标对象的第 一轮廓信息和第二轮廓信息, 并携带在视频交互信息中。
结合第四方面或第四方面的第一种可能实现方式, 在第四方面的第四种可 能实现方式中, 所述目标对象的基本信息包括: 所述目标对象的标识、 所述目 标对象的名称文本、 详细信息文本、 图片链接或视频链接中的一个或多个; 所述处理器, 具体用于建立所述视频交互信息中携带的目标对象的第一轮 廓信息与所述目标对象的标识、 所述目标对象的名称文本、 详细信息文本、 图 片链接或视频链接中的一个或多个的关联关系。
结合第四方面的第三种可能实现方式或第四方面的第四种可能实现方式 中, 在第四方面的第五种可能实现方式中, 所述处理器, 还用于将各画面帧中 的目标对象的第一轮廓信息对应的区域设置为所述各画面帧中的目标对象的 第一交互区域; 将各画面帧中的目标对象的第二轮廓信息对应的区域设置为所 述各画面帧中的目标对象的第二交互区域;
以便视频播放平台在检测到用户对所述第一交互区域和第二交互区域的 预定义操作时, 以相比第一交互区域更具体的方式显示第二交互区域对应的目 标对象的待显示的内容。
第五方面, 提供一种视频播放平台, 所述平台包括:
解析模块, 用于解析原始视频和所述原始视频的关联信息库, 获取所述原 始视频的关联信息库中的目标对象的基本信息和视频交互信息, 所述视频交互 信息中包含有各画面帧中包含的目标对象的轮廓信息和显示的优先级, 所述目 标对象的基本信息包含用于待显示的内容;
信息显示模块, 用于当检测到用户对当前播放的画面帧中的目标对象的轮 廓信息对应的交互区域的预定义操作时,根据显示的优先级显示与所述交互区 域中的目标对象相对应的目标对象的基本信息中待显示的内容。
在第五方面的第一种可能实现方式中, 所述信息显示模块还用于, 在所述 当前播放的画面帧中存在多个目标对象, 且所述多个目标对象对应的交互区域 有重叠时, 显示所述多个目标对象中显示的优先级较高的目标对象对应的目标 对象的基本信息中待显示的内容。
在第五方面的第二种可能实现方式中, 所述信息显示模块还用于, 在所述 当前播放的画面帧中存在多个目标对象, 且所述多个目标对象对应的交互区域 有重叠时, 按照显示的优先级从高到低的顺序, 依照顺序显示所述多个目标对 象对应的各目标对象的基本信息中待显示的内容。
第六方面, 提供了一种视频播放平台, 其特征在于, 所述平台包括: I/O 接口、 处理器、 存储器和显示器;
所述处理器与所述存储器相连; 所述 I/O接口一端与所述处理器和所述存 储器相连, 另一端与所述显示器相连;
所述处理器, 用于解析原始视频和所述原始视频的关联信息库, 获取所述 原始视频的关联信息库中的目标对象的基本信息和视频交互信息, 所述视频交 互信息中包含有各画面帧中包含的目标对象的轮廓信息和显示的优先级, 所述 目标对象的基本信息包含用于待显示的内容;
所述处理器,还用于当检测用户到对当前播放的画面帧中的目标对象的轮 廓信息对应的交互区域设置模块设置的交互区域的预定义操作时,根据显示的 优先级,在所述显示器中显示与所述交互区域中的目标对象相对应的目标对象 的基本信息中待显示的内容。
在第六方面的第一种可能实现方式中
所述处理器, 还用于在所述当前播放的画面帧中存在多个目标对象, 且所 述多个目标对象对应的交互区域有重叠时,在所述显示器中显示所述多个目标 对象中显示的优先级较高的目标对象对应的目标对象的基本信息中待显示的 内容。
在第六方面的第二种可能实现方式中,
所述处理器还用于, 在所述当前播放的画面帧中存在多个目标对象, 且所 述多个目标对象对应的交互区域有重叠时, 按照显示的优先级从高到低的顺 序, 在所述显示器中依照顺序显示所述多个目标对象对应的各目标对象的基本 信息中待显示的内容。
第七方面, 提供了一种视频的关联信息库制作与视频播放系统, 其特征在 于, 所述系统包括:
如上述第三方面所述的视频关联信息库制作平台以及如上述第五方面所 述的视频播放平台。
本发明实施例提供的技术方案的有益效果是:
通过按照目标对应的存在周期从原始视频获取一至多个连续画面帧, 并在 该一至多个连续画面帧中确定视频制作用户预先设定的目标对象的轮廓信息 和显示的优先级, 解决了现有技术中制作的关联信息库中对于目标对象存在被 背景或其他对象覆盖时相关信息空白的不足。 附图说明
为了更清楚地说明本发明实施例中的技术方案, 下面将对实施例描述中所 需要使用的附图作筒单地介绍, 显而易见地, 下面描述中的附图仅仅是本发明 的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下, 还可以根据这些附图获得其他的附图。
图 1 是本发明一个实施例提供的视频的关联信息库制作方法的方法流程 图;
图 2 是本发明另一实施例提供的视频的关联信息库制作方法的方法流程 图;
图 3是本发明另一实施例提供的相邻帧间差值计算流程图;
图 4是本发明另一实施例提供的目标对象设定界面示意图;
图 5是本发明另一实施例提供的目标对象显示的优先级调整示意图; 图 6是本发明另一实施例提供的视频的关联信息库结构图;
图 7是本发明一个实施例提供的视频播放方法的方法流程图;
图 8是本发明另一实施例提供的视频播放方法的方法流程图;
图 9 是本发明一个实施例提供的视频的关联信息库制作平台的装置结构 图;
图 10是本发明另一实施例提供的视频的关联信息库制作平台的装置结构 图;
图 11是本发明一个实施例提供的视频的关联信息库制作平台的装置结构 图;
图 12是本发明另一实施例提供的视频的关联信息库制作平台的装置结构 图;
图 13是本发明一个实施例提供的视频播放平台的装置结构图;
图 14是本发明另一实施例提供的视频播放平台的装置结构图;
图 15是本发明一个实施例提供的视频播放平台的装置结构图;
图 16是本发明另一实施例提供的视频播放平台的装置结构图;
图 17是本发明一个实施例提供的视频的关联信息库制作与视频播放系统 的系统构成图;
图 18是本发明一个实施例提供的视频的关联信息库制作与视频播放系统 的工作流程图。 具体实施方式
为使本发明的目的、 技术方案和优点更加清楚, 下面将结合附图对本发明 实施方式作进一步地详细描述。 请参见图 1 , 其示出了本发明一个实施例提供的视频的关联信息库制作方 法的方法流程图, 该方法可以包括:
步骤 101 , 按照所要设定的不同目标对象的存在周期从原始视频获取一至 多个连续画面帧;
步骤 102, 在一个目标对象对应的一至多个连续画面帧中确定预先设定的 目标对象在每个画面帧中的轮廓信息和显示的优先级;
步骤 103, 根据目标对象在每个画面帧中的轮廓信息和显示的优先级制作 原始视频的关联信息库, 关联信息库为用于播放交互式视频时读取的文件, 保 存有目标对象的基本信息和视频交互信息; 其中, 目标对象的基本信息包含用 于待显示的内容; 视频交互信息中包含有各画面帧中包含的目标对象的轮廓信 息和显示的优先级。
综上所述, 本发明实施例提供的视频的关联信息库制作方法, 通过按照目 标对应的存在周期从原始视频获取一至多个连续画面帧, 并在该一至多个连续 画面帧中确定视频制作用户预先设定的目标对象的轮廓信息和显示的优先级, 解决了现有技术中制作的关联信息库中对于目标对象存在被背景或其他对象 覆盖时相关信息空白的不足。 为了对上一实施例提供的视频的关联信息库制作方法做进一步描述,请参 见图 2, 其示出了本发明另一实施例提供的视频的关联信息库制作方法的方法 流程图, 该方法可以包括:
步骤 201 , 制作平台按照所要设定的不同目标对象的存在周期从原始视频 获取一至多个连续画面帧;
视频文件由一系列的画面帧组成, 每个画面帧就是一幅影像画面。 视频中 一个目标对象可能只在某一周期内存在, 对该目标对象进行轮廓提取、 跟踪 等处理时, 只需要对包含有该目标对象的画面帧进行处理即可。 因此, 可以 从原始视频按照所要设定的不同目标对象的存在周期获取一至多个连续画面 帧, 该一至多个连续画面帧可以被称为一个画面帧组, 制作平台分别对每个 画面帧组进行处理, 以便视频制作用户针对不同的场景在对应的画面帧中分 别设置目标对象, 其中, 每个画面帧组中包含至少一个画面帧。
考虑到一个目标对象在同一个场景中变化较小, 比如同一个人物在同一个 场景中的衣服一般不会变, 因此, 在按照所要设定的不同目标对象的存在周期 从原始视频获取一至多个连续画面帧时, 可以考虑将视频按照不同的场景分割 成一系列的画面帧组。
实际应用中, 可以 ^据检测相邻的两个画面帧是否为突变帧来判断相邻两 个画面帧是否属于同一场景。一般认为视频中镜头之间的切换方式主要有两大 类: 突变和渐变。 突变是镜头间的突然变化, 一般在两帧图像间完成。 渐变则 是从一个镜头緩慢地变化到另一个镜头, 一般延续十几或几十帧。 相同的视频 场景中, 视频目标对象的背景相同或相似, 因此, 可以认为同一场景的镜头为 渐变镜头, 并将两个突变镜头之间的渐变镜头所对应的一系列连续的画面帧分 割成一个画面帧组。 本实施例选用 HSV ( Hue、 Saturation, Value, 色度、 饱和 度、 亮度)直方图特征值来检测镜头边界, 采用一种基于帧间差值和非相邻帧 间差值的自适应镜头检测方法。 其中, 基于相邻帧间差值的自适应法能够很好 地检测突变镜头, 而基于非相邻帧间差值的自适应法能很好地检测渐变镜头, 二者结合将能很好地检测各类突变和渐变镜头。请参见图 3示出的相邻帧间差 值计算流程图, 本发明实施例以基于相邻帧间差值的自适应检测法为例, 对镜 头检测方法做详细的介绍:
其中, a为一预先设定的镜头边界检测阀值系数, 统计结果表明 "一般取 5~6 最佳; NFD ( the neighbor frame difference , 相邻帧间差值) 的视频流相邻两帧 的帧间差值; Mean为窗口内帧间差值的平均值; Sum为相邻帧间差值累积 和; Count为帧间差值累积次数。
算法具体流程如下:
步骤①程序启动;
步骤②第一次读取画面帧时, 读入视频流的相邻两帧图像, 从第一帧和第 二帧开始; 如果不是第一次读取画面帧, 则只读入一帧图像;
步骤③把读入的画面帧图像转换成 HSV模型并量化为 72个颜色空间,计 算直方图;
步骤④计算与上一帧图像直方图的差值 NFD;
步骤⑤判断 NFD是否小于 Mean的 α倍,如果是,则表明读入帧与上一帧 之间为渐变, 进入步骤⑥, 否则为突变, 进入步骤⑦;
步骤⑥累积统计信息; 步骤⑦, 重置统计信息。
基于非相邻帧间差值的自适应检测法的计算方式与上述基于相邻帧间差 值的自适应检测法类似, 只是读取的画面帧为非相邻帧, 对此, 本实施例不再 赘述。 步骤 202, 制作平台显示目标对象设定界面, 将视频制作用户在目标对象 设定界面中圏定的区域中的对象设定为目标对象, 并将圏定的区域轮廓信息归 为该目标对象的第一轮廓信息, 并携带在视频交互信息中;
其中, 目标对象对应的轮廓信息可以包括第一轮廓信息和第二轮廓信息, 其中, 第一轮廓信息可以是视频制作用户手动圏定的轮廓信息, 第二轮廓信息 可以是目标对象自身的轮廓信息。轮廓信息具体可以是标示轮廓所包含区域的 区 i或坐标。
制作平台可以向视频制作用户提供目标对象设定功能, 具体的, 可以向视 频制作用户显示目标对象设定界面,视频制作用户在目标对象设定界面中为每 个画面帧组圏定一至多个目标对象, 并将圏定的区域轮廓信息归为该目标对象 的第一轮廓信息, 并将该第一轮廓信息携带在视频交互信息中。 其中, 轮廓信 息具体可以是圏定区域的坐标。 比如图 4所示的目标对象设定界面示意图, 其 中, 汽车为目标对象, 鼠标所指的虚线框的轮廓即为视频制作用户圏定的区域 轮廓, 虚线框对应的轮廓信息即为该汽车的第一轮廓信息。
步骤 203, 制作平台建立视频交互信息中携带的目标对象的第一轮廓信息 与视频制作用户为该目标对象制定的目标对象的基本信息之间的对应关系; 视频制作用户设定目标对象之后,还可以为设定的目标对象制定各自的目 标对象的基本信息。 比如该画面帧组 a中的目标对象为汽车, 则视频制作用户 可以将该汽车的名称信息、详细介绍信息(比如厂家名称、生产地、价格信息、 优惠信息、 官网链接等)、 该汽车的相关图片、 视频等制定为该目标对象的目 标对象的基本信息。 需要说明的是, 对于不同场景的同一人物或物体, 可以根 据情况设置为不同的目标对象, 比如, 某人物 A在画面帧组 a中穿着某品牌款 式的大衣, 且在画面帧组 a中被设定为目标对象 1 , 而该人物 A在另一画面帧 组 b中穿着另一品牌款式的长裤, 则视频制作用户可以将画面帧组 b中将该人 物 A设定为目标对象 3, 且将对应的目标对象的基本信息制定为该品牌款式的 长裤的基本信息。
制作平台将圏定的区域轮廓信息归为该目标对象的第一轮廓信息, 并携带 在视频交互信息中之后, 建立视频交互信息中携带的目标对象的第一轮廓信息 与视频制作用户为该目标对象制定的目标对象的基本信息之间的对应关系。
步骤 204, 制作平台利用轮廓提取算法获取圏定的区域中目标对象的轮廓 信息, 并归为该目标对象的第二轮廓信息, 并携带在视频交互信息中。 制作平台将视频制作用户圏定的区域轮廓信息归为该目标对象的第一轮 廓信息之后,还进一步利用轮廓提取算法获取圏定的区域中目标对象的轮廓信 息, 并归为该目标对象的第二轮廓信息, 并携带在视频交互信息中。 仍然以如 图 4所示的目标设定界面示意图为例, 制作平台可以利用轮廓提取算法获取图 中汽车的轮廓信息, 并将该汽车的轮廓信息归为该汽车的第二轮廓信息, 并将 第二轮廓信息携带在视频交互信息中。 其中, 轮廓提取算法可以通过现有技术 实现, 本实施例不再赘述。
步骤 205 , 制作平台建立该视频交互信息中携带的目标对象的第二轮廓信 息与视频制作用户为设定的目标对象制定的目标对象的基本信息之间的对应 关系。
相应的, 制作平台将轮廓提取算法获取的目标对象的轮廓信息归为该目标 对象的第二轮廓信息, 并携带在视频交互信息中之后, 同样需要建立视频交互 信息中携带的目标对象的第二轮廓信息与视频制作用户为该目标对象制定的 目标对象的基本信息之间的对应关系。
步骤 206, 制作平台获取圏定的区域中的目标对象的特征信息, 并利用目 标跟踪算法计算该一至多个连续画面帧中其余画面帧的目标对象的第一轮廓 信息和第二轮廓信息, 并携带在视频交互信息中;
制作平台可以获取视频制作用户圏出的目标对象的特征信息, 并利用目标 跟踪算法自动确定该目标对象在对应画面帧组的其余每一个画面帧中的具体 区域, 并获取相应的第一轮廓信息和第二轮廓信息, 并将各画面帧中目标对象 的第一轮廓信息和第二轮廓信息携带在视频交互信息中。该步骤又称为目标对 象轨迹生成, 可以基于特定的算法实现, 比如 TLD ( Tracking , Learning , Detecting, 跟踪、 学习、 检测)算法, 本发明实施例对于采用何种算法进行目 标对象轨迹生成不做具体限定。
需要说明的是, 实际应用中, 制作平台也可以不提取目标对象的第二轮廓 信息, 此时, 制作平台只需要利用目标跟踪算法计算该一至多个连续画面帧中 其余画面帧的目标对象的第一轮廓信息即可。
步骤 207, 将各画面帧中的目标对象的第一轮廓信息和第二轮廓信息对应 的区域设置为各画面帧中的目标对象的第一交互区域和第二交互区域;
制作平台将各画面帧中的目标对象的第一轮廓信息对应的区域设置为各 画面帧中的目标对象的第一交互区域,将各画面帧中的目标对象的第二轮廓信 息对应的区域设置为各画面帧中的目标对象的第二交互区域, 以便视频播放平 台在检测到用户对第一交互区域和第二交互区域的预定义操作时, 以相比第一 交互区域更具体的方式显示第二交互区域对应的目标对象的待显示的内容。
其中, 轮廓信息可以是区域坐标, 制作平台根据各画面帧中目标对象的轮 廓信息所示的区域坐标, 将该画面帧中对应区域设置成交互区域。
同样的, 若制作平台不提取目标对象的第二轮廓信息, 则只需要将各画面 帧中的目标对象的第一轮廓信息对应的区域设置为各画面帧中的目标对象的 第一交互区域即可。
步骤 208, 制作平台显示目标对象优先级设定界面, 并根据视频制作用户 在目标对象优先级设定界面中的操作指令为目标对象设定在各画面帧中的显 示的优先级;
当某一个画面帧中同时存在多个目标对象时, 该多个目标对象的目标区域 可能会存在重叠, 此时, 需要视频制作用户为重叠的目标对象设置显示的优先 级, 以便视频播放平台可以在重叠的目标区域优先显示的优先级较高的目标对 象对应的基本信息。 具体的, 请参见图 5所示的目标对象显示的优先级调整示 意图, 其中, 目标对象为人物 A, 显示层级数即为目标对象显示的优先级, 图 示为将目标对象人物 A在画面帧 0至画面帧 156中的显示层级数设置为 9, 通 过这种方法,视频制作用户可以自由定义各目标对象在每一画面帧中的显示的 优先级。制作平台保存目标对象的显示的优先级以便后续将目标对象的显示的 优先级添加入该视频的关联信息库中。
步骤 209, 制作平台根据目标对象在每个画面帧中的轮廓信息制作原始视 频的关联信息库, 该关联信息库为用于播放交互式视频时读取的文件, 保存有 目标对象的基本信息和视频交互信息, 其中, 目标对象的基本信息包含用于待 显示的内容。
具体的, 制作平台将目标对象在每一画面帧中的轮廓信息(包括第一轮廓 信息和第二轮廓信息), 以及目标对象与目标对象的基本信息的对应关系保存 在文件中, 该文件称为原始视频的关联信息库, 可以采用 XML ( Extensible Markup Language, 可扩展标记语言 )文件格式或数据库格式, 最终由视频播 放平台使用。
以图 6所示的一种关联信息库结构图为例, 该关联信息库中可以包括原始 视频基本信息、 目标对象的基本信息以及视频交互信息。 其中, 目标对象的基 本信息包含各目标对象的标识以及用于待显示的内容, 比如各目标对象的名称 文本、 详细信息文本、 图片链接或视频链接中的一个或多个; 视频交互信息包 括: 各画面帧中包含的目标对象的标识、 各画面帧中包含的目标对象的轮廓信 息以及各画面帧中包含的目标对象的显示的优先级。 其中, 步骤 203中制作平 台建立视频交互信息中携带的目标对象的第一轮廓信息与视频制作用户为该 目标对象制定的目标对象的基本信息之间的对应关系, 具体为建立视频交互信 息中携带的目标对象的第一轮廓信息与该目标对象的标识、该目标对象的名称 文本、 详细信息文本、 图片链接或视频链接中的一个或多个的关联关系; 步骤 205中制作平台建立该视频交互信息中携带的目标对象的第二轮廓信息与视频 制作用户为设定的目标对象制定的目标对象的基本信息之间的对应关系, 具体 为建立视频交互信息中携带的目标对象的第二轮廓信息与该目标对象的标识、 该目标对象的名称文本、 详细信息文本、 图片链接或视频链接中的一个或多个 的关联关系。
需要说明的是, 图 6所示的关联信息库, 将目标对象的基本信息和视频交 互信息分别存储于两种不同的存储结构中, 并利用目标对象的标识进行关联, 实际应用中,还可以将目标对象的基本信息和视频交互信息及其对应关系存储 于同一存储结构中, 对此, 本实施例不做具体限定。
本发明实施例提供的视频的关联信息库制作方法, 通过首先从原始视频获 取一至多个连续画面帧,再根据视频制作用户的手动操作在其中一个画面帧中 圏定目标对象并提取轮廓信息, 最后利用目标跟踪算法确定该目标对象在该一 至多个画面帧的每一个画面帧中的轮廓信息, 这种半自动的目标对象轮廓信息 提取方法, 相对于现有的基于对象进行分割及分类的方法来说, 准确性和效率 都有了进一步的提高。
除了上述准确性和效率的提高夕卜, 本发明实施例提供的视频的关联信息库 制作方法, 还采用了第一轮廓和第二轮廓区别显示的方法, 更符合用户对于信 息接收的规律, 即交互区域的由远至近对应显示信息的由少至多。 请参见图 7, 其示出了本发明一个实施例提供的视频播放方法的方法流程 图。 该视频播放方法可以用于在视频播放平台向视频点播用户播放交互式视频 并根据视频点播用户的操作与该用户进行信息交互。 该视频播放方法可以包 括: 步骤 301 , 解析原始视频和原始视频的关联信息库, 获取原始视频的关联 信息库中保存的目标对象的基本信息和视频交互信息,视频交互信息中包含有 各画面帧中包含的目标对象的轮廓信息和显示的优先级, 目标对象的基本信息 包含用于待显示的内容;
步骤 302, 当检测到用户当前播放的画面帧中的目标对象的轮廓信息对应 的对交互区域的预定义操作时,根据显示的优先级显示与交互区域中的目标对 象相对应的目标对象的基本信息中待显示的内容。
综上所述, 本发明实施例提供的视频播放方法, 通过解析原始视频和原始 视频的关联信息库, 并根据关联信息库中的目标对象显示的优先级和目标对象 的基本信息中待显示的内容向目标用户显示交互式视频,解决了现有技术中当 同一画面中存在多个目标对象且各目标对象有重叠时, 无法正常实现匹配和显 示该目标对象的基本信息中待显示的内容。 为了对上一实施例提供的视频播放方法做更详细的描述, 请参见图 8 , 其 示出了本发明另一实施例提供的视频播放方法的方法流程图。 该视频播放方法 可以用于在视频播放平台向视频点播用户播放交互式视频并根据视频点播用 户的操作与该用户进行信息交互。 该视频播放方法可以包括:
步骤 401 , 视频播放平台解析原始视频和原始视频的关联信息库, 获取原 始视频的关联信息库中保存的目标对象的基本信息和视频交互信息,视频交互 信息中包含有各画面帧中包含的目标对象的轮廓信息和显示的优先级, 目标对 象的基本信息包含用于待显示的内容;
其中, 关联信息库中至少包含有目标对象的基本信息和视频交互信息; 目 标对象的基本信息包含各目标对象的标识以及用于待显示的内容, 比如: 各目 标对象的名称文本、 详细信息文本、 图片链接或视频链接中的一个或多个; 视 频交互信息包括: 各画面帧中包含的目标对象的标识、 各画面帧中包含的目标 对象的轮廓信息以及各画面帧中包含的目标对象的显示的优先级; 具体的关联 信息库可以如图 6所示。
步骤 402 , 当检测到用户对当前播放的画面帧中的目标对象的轮廓信息对 应的交互区域的预定义操作时,根据显示的优先级显示与该交互区域中的目标 对象相对应的目标对象的基本信息中待显示的内容。
具体的, 当视频播放平台检测到用户对交互区域的预定义操作时, 查询该 交互区域对应的轮廓信息关联的目标对象的基本信息中待显示的内容, 并向用 户显示。
其中, 用户对交互区域的预定义操作可以有很多种, 比如鼠标指向操作、 鼠标点击操作、 触摸笔的感应、 鼠标在视频内的指向移动操作或者触摸点击操 作等。 当视频播放平台检测用户到对交互区域额预定义操作, 比如鼠标指向目 标区域时, 可以查询该交互区域对应的目标对象的基本信息中待显示的内容并 向用户显示。
另外, 向用户显示目标对象的基本信息中待显示的内容可以有很多种, 比 如:
目标对象的基本信息中待显示的内容可以分为目标对象对应的摘要内容 (比如目标对象的名称)和目标对象对应的具体内容 (比如目标对象的详细文 字介绍、 相关图片或视频等), 又目标对象在一个画面帧中可以被设置有两个 交互区域, 即第一交互区域和第二交互区域, 因此, 可以将显示目标对象的基 本信息中待显示的内容分为两种显示方式, 即第一显示方式和第二显示方式。
当检测到对目标对象的第一交互区域的操作时, 可以根据第一显示方式向 用户显示目标对象的基本信息中待显示的内容; 当检测到对目标对象的第二交 互区域的操作时, 可以根据第二显示方式向用户显示目标对象的基本信息中待 显示的内容。 其中, 第一显示方式和第二显示方式可以有^艮多种, 比如: 第一显示方式为在目标对象旁边显示该目标对象的摘要内容, 第二显示方 式为在目标对象旁边显示该目标对象的具体内容;
或者,
第一显示方式为在目标对象区域显示该目标对象对应的第一交互区域或 第二交互区域的区域框, 第二显示方式为在目标对象旁边显示该目标对象的具 体内容;
或者,
第一显示方式为在目标对象旁边以半透明显示该目标对象的具体内容, 第 二显示方式为在目标对象旁边以覆盖显示该目标对象的具体内容。
另外, 若当前播放的画面帧中存在多个目标对象, 且该多个目标对象对应 的交互区域有重叠时, 视频播放平台检测到用户对交互区域的预定义操作时, 根据显示的优先级, 显示该多个目标对象中显示的优先级较高的目标对象对应 的目标对象的基本信息中待显示的内容, 比如, 若两个目标对象 a和 b对应的 交互区域重叠, 且目标对象 a的显示的优先级较高, 则只显示目标对象 a对应 的目标对象的基本信息中待显示的内容; 或者, 按照显示的优先级从高到低的 顺序, 显示个目标对象 a和 b对应的各目标对象的基本信息中待显示的内容, 比如, 显示的优先级高的目标对象 a对应的待显示的内容背景较深, 而显示的 优先级低的目标对象 b对应的待显示的内容背景较浅。
综上所述, 本发明实施例提供的视频播放方法, 通过接收原始视频和原始 视频的关联信息库, 并根据关联信息库中的目标对象显示的优先级向目标用户 显示交互式视频, 并在此基础上丰富了关联信息库的展现方式, 提供了具体的 根据所述目标兌现显示优先级提供交互信息的方案, 避免了现有技术中单一提 供所有信息带来的呈现冗余; 由于, 本方案提供的信息过渡, 也使得处理效率 更高, 不用像现有技术一样每次交互都提供所有的关联信息。 请参见图 9, 其示出了本发明一个实施例提供的视频的关联信息库制作平 台的装置结构图。 该视频的关联信息库制作平台可以用于制作播放交互式视频 所必需的关联信息库。 该视频的关联信息库制作平台可以包括:
获取模块 501 , 用于按照所要设定的不同目标对象的存在周期从原始视频 获取一至多个连续画面帧;
轮廓信息确定模块 502, 用于在获取模块 501获取的一至多个连续画面帧 中确定预先设定的目标对象在每个画面帧中的轮廓信息;
显示的优先级确定模块 503 , 用于在获取模块 501获取的一至多个连续画 面帧中确定预先设定的目标对象在每个画面帧中的显示的优先级;
关联信息库制作模块 504, 用于根据目标对象在每个画面帧中的轮廓信息 和显示的优先级制作原始视频的关联信息库, 该关联信息库为用于播放交互式 视频时读取的文件, 保存有目标对象的基本信息和视频交互信息; 其中, 目标 对象的基本信息包含用于待显示的内容; 视频交互信息中包含有各画面帧中包 含的目标对象的轮廓信息和显示的优先级。
综上所述, 本发明实施例提供的视频的关联信息库制作平台, 通过按照目 标对应的存在周期从原始视频获取一至多个连续画面帧, 并在该一至多个连续 画面帧中确定视频制作用户预先设定的目标对象的轮廓信息和显示的优先级, 解决了现有技术中制作的关联信息库中对于目标对象存在被背景或其他对象 覆盖时相关信息空白的不足。 请参见图 10,其示出了本发明另一实施例提供的视频的关联信息库制作平 台的装置结构图。 该视频的关联信息库制作平台可以用于制作播放交互式视频 所需的关联信息库。 该视频的关联信息库制作平台可以包括:
获取模块 601 , 用于按照不同场景将原始视频获取一至多个连续画面帧; 轮廓信息确定模块 602, 用于在获取模块 601获取的一至多个连续画面帧 中确定预先设定的目标对象在每个画面帧中的轮廓信息;
显示的优先级确定模块 603 , 用于在获取模块 601获取的一至多个连续画 面帧中确定预先设定的目标对象在每个画面帧中的显示的优先级;
关联信息库制作模块 604, 用于根据目标对象在每个画面帧中的轮廓信息 和显示的优先级制作原始视频的关联信息库, 该关联信息库为用于播放交互式 视频时读取的文件, 保存有目标对象的基本信息和视频交互信息; 其中, 目标 对象的基本信息包含用于待显示的内容; 视频交互信息中包含有各画面帧中包 含的目标对象的轮廓信息和显示的优先级。
该视频的关联信息库制作平台还包括:
设定显示模块 605 , 用于显示目标对象设定界面;
第一目标对象设定模块 606, 用于将视频制作用户在设定显示模块 605显 示的目标对象设定界面中圏定的区域中的对象设定为目标对象, 并将圏定的区 域轮廓信息归为目标对象的第一轮廓信息, 并携带在视频交互信息中;
第一对应关系建立模块 607, 用于建立视频交互信息中携带的目标对象的 第一轮廓信息与视频制作用户为该目标对象制定的目标对象的基本信息之间 的对应关系。
其中, 目标对象的基本信息包括: 目标对象的标识、 目标对象的名称文本、 详细信息文本、 图片链接或视频链接中的一个或多个;
第一对应关系建立模块 607, 具体用于建立视频交互信息中携带的目标对 象的第一轮廓信息与该目标对象的标识、 该目标对象的名称文本、 详细信息文 本、 图片链接或视频链接中的一个或多个的关联关系。
该视频的关联信息库制作平台还包括:
第二目标对象设定模块 608, 用于利用轮廓提取算法获取圏定的区域中目 标对象的轮廓信息, 并归为该目标对象的第二轮廓信息, 并携带在视频互信息 中; 第二对应关系建立模块 609, 用于建立该视频交互信息中携带的目标对象 的第二轮廓信息与视频制作用户为该目标对象制定的目标对象的基本信息之 间的对应关系。
另外, 轮廓信息确定模块 602, 包括:
特征信息获取单元 602a, 用于获取圏定的区域中的目标对象的特征信息; 跟踪单元 602b,用于利用目标跟踪算法计算一至多个连续画面帧中其余画 面帧的目标对象的第一轮廓信息和第二轮廓信息, 并携带在视频交互信息中。
该平台还包括: 交互区域设置模块 610;
其中, 交互区域设置模块 610, 包括:
第一设置单元 610a,用于将各画面帧中的目标对象的第一轮廓信息对应的 区域设置为各画面帧中的目标对象的第一交互区域;
第二设置单元 610b,用于将各画面帧中的目标对象的第二轮廓信息对应的 区域设置为各画面帧中的目标对象的第二交互区域;
以便视频播放平台在检测到用户对该第一交互区域和第二交互区域的预 定义操作时, 以相比第一交互区域更具体的方式显示第二交互区域对应的目标 对象的待显示的内容。
综上所述, 本发明实施例提供的视频的关联信息库制作平台, 通过首先从 原始视频获取一至多个连续画面帧,再根据视频制作用户的手动操作在其中一 个画面帧中圏定目标对象并提取轮廓信息, 最后利用目标跟踪算法确定该目标 对象在该一至多个画面帧的每一个画面帧中的轮廓信息, 这种半自动的目标对 象轮廓信息提取方法, 相对于现有的基于对象进行分割及分类的方法来说, 准 确性和效率都有了进一步的提高。
除了上述准确性和效率的提高夕卜, 本发明实施例提供的视频的关联信息库 制作平台, 还采用了第一轮廓和第二轮廓区别显示的方法, 更符合用户对于信 息接收的规律, 即交互区域的由远至近对应显示信息的由少至多。 请参见图 11 ,其示出了本发明一个实施例提供的视频的关联信息库制作平 台的装置结构图, 该视频的关联信息库制作平台可以用于制作播放交互式视频 所必需的关联信息库。 该视频的关联信息库制作平台可以包括: 至少一个 I/O 接口 001、 至少一个处理器 002, 比如 CPU、 存储器 003和显示器 004; 存储 器 003 可能包含高速 Ram 存储器, 也可能还包括非不稳定的存储器 ( non-volatile memory ), 例如至少一个磁盘存储器。 存储器 003可选的可以包 含至少一个位于远离前述处理器 002的存储装置。 在一些实施方式中, 存储器 003存储了如下的元素, 模块或者数据结构, 或者他们的子集, 或者他们的扩 展集:
操作系统 0031 , 包含各种程序,用于实现各种基础业务以及处理基于硬件 的任务;
应用模块 0032, 包含如下模块之一或者组合: 获取模块、 轮廓信息确定模 块、 显示的优先级确定模块以及关联信息库制作模块, 上述模块的功能可以参 考图 9所示的装置结构图的说明部分, 此处不再赘述。
其中, 处理器 002与存储器相连 003; I/O接口 001—端与处理器 002和 存储器 003相连, 另一端与显示器 004相连;
处理器 002, 用于按照所要设定的不同目标对象的存在周期从原始视频获 取一至多个连续画面帧;
处理器 002, 还用于在一个目标对象对应的一至多个连续画面帧中确定预 先设定的目标对象在每个画面帧中的轮廓信息;
处理器 002, 还用于在一个目标对象对应的一至多个连续画面帧中确定预 先设定的目标对象在每个画面帧中的显示的优先级;
处理器 002, 还用于根据目标对象在每个画面帧中的轮廓信息和显示的优 先级制作原始视频的关联信息库, 该关联信息库为用于播放交互式视频时读取 的文件, 保存有目标对象的基本信息和视频交互信息, 其中, 目标对象的基本 信息包含用于待显示的内容; 视频交互信息中包含有各画面帧中包含的目标对 象的轮廓信息和显示的优先级。
综上所述, 本发明实施例提供的视频的关联信息库制作平台, 通过按照目 标对应的存在周期从原始视频获取一至多个连续画面帧, 并在该一至多个连续 画面帧中确定视频制作用户预先设定的目标对象的轮廓信息和显示的优先级, 解决了现有技术中制作的关联信息库中对于目标对象存在被背景或其他对象 覆盖时相关信息空白的不足。 请参见图 12,其示出了本发明另一实施例提供的视频的关联信息库制作平 台的装置结构图, 该视频的关联信息库制作平台可以用于制作播放交互式视频 所必需的关联信息库。 该视频的关联信息库制作平台可以包括至少一个 I/O接 口 005、 至少一个处理器 006, 比如 CPU、 存储器 007和显示器 008; 存储器 007可能包含高速 Ram存储器,也可能还包括非不稳定的存储器( non-volatile memory ), 例如至少一个磁盘存储器。 存储器 007可选的可以包含至少一个位 于远离前述处理器 006的存储装置。 在一些实施方式中, 存储器 007存储了如 下的元素, 模块或者数据结构, 或者他们的子集, 或者他们的扩展集:
操作系统 0071 , 包含各种程序,用于实现各种基础业务以及处理基于硬件 的任务;
应用模块 0072, 包含如下模块之一或者组合: 获取模块、 轮廓信息确定模 块、 显示的优先级确定模块、 关联信息库制作模块、 设定显示模块、 第一目标 对象设定模块、 第一对应关系建立模块、 第二目标对象设定模块、 第二对应关 系建立模块以及交互区域设置模块, 上述模块的功能可以参考图 10所示的装 置结构图的说明部分, 此处不再赘述。
处理器 006与存储器相连 007; I/O接口 005—端与处理器 006和存储器 相连 007, 另一端与显示器 008相连;
处理器 006, 用于按照所要设定的不同目标对象的存在周期从原始视频获 取一至多个连续画面帧;
处理器 006, 还用于在一个目标对象对应的一至多个连续画面帧中确定预 先设定的目标对象在每个画面帧中的轮廓信息;
处理器 006, 还用于在一个目标对象对应的一至多个连续画面帧中确定预 先设定的目标对象在每个画面帧中的显示的优先级;
处理器 006, 还用于根据目标对象在每个画面帧中的轮廓信息和显示的优 先级制作原始视频的关联信息库, 该关联信息库为用于播放交互式视频时读取 的文件, 保存有目标对象的基本信息和视频交互信息, 其中, 目标对象的基本 信息包含用于待显示的内容; 视频交互信息中包含有各画面帧中包含的目标对 象的轮廓信息和显示的优先级。
处理器 006, 还用于在显示器 008显示目标对象设定界面;
处理器 006, 还用于将视频制作用户在目标对象设定界面中圏定的区域中 的对象设定为目标对象, 并将圏定的区域轮廓信息归为目标对象的第一轮廓信 息, 并携带在视频交互信息中;
处理器 006, 还用于建立视频交互信息中携带的目标对象与视频制作用户 为设定的目标对象制定的目标对象的基本信息之间的对应关系。 其中, 目标对象的基本信息包括: 目标对象的标识、 目标对象的名称文本、 详细信息文本、 图片链接或视频链接中的一个或多个;
处理器 006, 具体用于建立视频交互信息中携带的目标对象的第一轮廓信 息与该目标对象的标识、 该目标对象的名称文本、 详细信息文本、 图片链接或 视频链接中的一个或多个的关联关系。
处理器 006, 还用于利用轮廓提取算法获取圏定的区域中目标对象的轮廓 信息, 并归为目标对象的第二轮廓信息, 并携带在视频互信息中;
处理器 006, 还用于建立视频交互信息中携带的目标对象的第二轮廓信息 与视频制作用户为设定的目标对象制定的目标对象的基本信息之间的对应关 系。
处理器 006, 还用于获取圏定的区域中的目标对象的特征信息, 并利用目 标跟踪算法计算该一至多个连续画面帧中其余画面帧的目标对象的第一轮廓 信息和第二轮廓信息, 并携带在视频交互信息中。
处理器 006, 还用于将各画面帧中的目标对象的第一轮廓信息对应的区域 设置为各画面帧中的目标对象的第一交互区域; 将各画面帧中的目标对象的第 二轮廓信息对应的区域设置为各画面帧中的目标对象的第二交互区域; 以便视 频播放平台在检测到用户对第一交互区域和第二交互区域的预定义操作时, 以 相比第一交互区域更具体的方式显示第二交互区域对应的目标对象的待显示 的内容。
综上所述, 本发明实施例提供的视频的关联信息库制作平台, 通过首先从 原始视频获取一至多个连续画面帧,再根据视频制作用户的手动操作在其中一 个画面帧中圏定目标对象并提取轮廓信息, 最后利用目标跟踪算法确定该目标 对象在该一至多个画面帧的每一个画面帧中的轮廓信息, 这种半自动的目标对 象轮廓信息提取方法, 相对于现有的基于对象进行分割及分类的方法来说, 准 确性和效率都有了进一步的提高。
除了上述准确性和效率的提高夕卜, 本发明实施例提供的视频的关联信息库 制作平台, 还采用了第一轮廓和第二轮廓区别显示的方法, 更符合用户对于信 息接收的规律, 即交互区域的由远至近对应显示信息的由少至多。 请参见图 13 ,其示出了本发明一个实施例提供的视频播放平台的装置结构 图, 该视频播放平台可以用于向视频点播用户播放交互式视频。 该视频播放平 台可以包括:
解析模块 701 , 用于解析原始视频和原始视频的关联信息库, 获取原始视 频的关联信息库中保存的目标对象的基本信息和视频交互信息,视频交互信息 中包含有各画面帧中包含的目标对象的轮廓信息和显示的优先级, 目标对象的 基本信息包含用于待显示的内容;
信息显示模块 702, 用于当检测到用户对当前播放的画面帧中的目标对象 的轮廓信息对应的交互区域的预定义操作时,根据显示的优先级显示与交互区 域中的目标对象相对应的目标对象的基本信息中待显示的内容。
综上所述, 本发明实施例提供的视频播放平台, 通过解析原始视频和原始 视频的关联信息库, 并根据关联信息库中的目标对象显示的优先级和目标对象 的基本信息中待显示的内容向目标用户显示交互式视频,解决了现有技术中当 同一画面中存在多个目标对象且各目标对象有重叠时, 无法正常实现匹配和显 示该目标对象的基本信息中待显示的内容。 请参见图 14,其示出了本发明另一实施例提供的视频播放平台的装置结构 图。 该视频播放平台可以用于向视频点播用户播放交互式视频。 该视频播放平 台可以包括:
解析模块 801 , 用于解析原始视频和原始视频的关联信息库, 获取原始视 频的关联信息库中保存的目标对象的基本信息和视频交互信息,视频交互信息 中包含有各画面帧中包含的目标对象的轮廓信息和显示的优先级, 目标对象的 基本信息包含用于待显示的内容;
信息显示模块 802, 用于当检测到用户对当前播放的画面帧中的目标对象 的轮廓信息对应的交互区域的预定义操作时,根据显示的优先级显示与交互区 域中的目标对象相对应的目标对象的基本信息中待显示的内容。
目标对象的基本信息中还包括各目标对象的基本信息所对应的目标对象 的标识, 视频交互信息中还包括各画面帧中包含的目标对象的标识。
另外,信息显示模块 802向用户显示目标对象的基本信息中待显示的内容 可以有 4艮多种, 比如:
目标对象的基本信息中待显示的内容可以分为目标对象对应的摘要内容 (比如目标对象的名称)和目标对象对应的具体内容 (比如目标对象的详细文 字介绍、 相关图片或视频等), 又目标对象在一个画面帧中可以被设置有两个 交互区域, 即第一交互区域和第二交互区域, 因此, 可以将显示目标对象的基 本信息中待显示的内容分为两种显示方式, 即第一显示方式和第二显示方式。
当检测到对目标对象的第一交互区域的操作时,信息显示模块 802可以根 据第一显示方式向用户显示目标对象的基本信息中待显示的内容; 当检测到对 目标对象的第二交互区域的操作时,信息显示模块 802可以根据第二显示方式 向用户显示目标对象的基本信息中待显示的内容。 其中, 第一显示方式和第二 显示方式可以有 4艮多种, 比如:
第一显示方式为在目标对象旁边显示该目标对象的摘要内容, 第二显示方 式为在目标对象旁边显示该目标对象的具体内容;
或者,
第一显示方式为在目标对象区域显示该目标对象对应的第一交互区域或 第二交互区域的区域框, 第二显示方式为在目标对象旁边显示该目标对象的具 体内容;
或者,
第一显示方式为在目标对象旁边以半透明显示该目标对象的具体内容, 第 二显示方式为在目标对象旁边以覆盖显示该目标对象的具体内容。
信息显示模块 802还用于, 在当前播放的画面帧中存在多个目标对象, 且 多个目标对象对应的交互区域有重叠时, 显示多个目标对象中显示的优先级较 高的目标对象对应的目标对象的基本信息中待显示的内容。
或者, 信息显示模块 802还用于, 在当前播放的画面帧中存在多个目标对 象, 且多个目标对象对应的交互区域有重叠时, 按照显示的优先级从高到低的 顺序,依照顺序显示多个目标对象对应的各目标对象的基本信息中待显示的内 谷。
综上所述, 本发明实施例提供的视频播放平台, 通过接收原始视频和原始 视频的关联信息库, 并根据关联信息库中的目标对象显示的优先级向目标用户 显示交互式视频, 并在此基础上丰富了关联信息库的展现方式, 提供了具体的 根据所述目标兌现显示优先级提供交互信息的方案, 避免了现有技术中单一提 供所有信息带来的呈现冗余; 由于, 本方案提供的信息过渡, 也使得处理效率 更高, 不用像现有技术一样每次交互都提供所有的关联信息。 请参见图 15 ,其示出了本发明一个实施例提供的视频播放平台的装置结构 图。 该视频播放平台可以用于向视频点播用户播放交互式视频。 该视频播放平 台可以包括: 至少一个 I/O接口 009、 至少一个处理器 010, 比如 CPU、 存储 器 011和显示器 012; 存储器 011可能包含高速 Ram存储器, 也可能还包括 非不稳定的存储器(non-volatile memory ), 例如至少一个磁盘存储器。 存储器 011可选的可以包含至少一个位于远离前述处理器 010的存储装置。 在一些实 施方式中, 存储器 011存储了如下的元素, 模块或者数据结构, 或者他们的子 集, 或者他们的扩展集:
操作系统 0111 , 包含各种程序, 用于实现各种基础业务以及处理基于硬件 的任务;
应用模块 0112, 包含如下模块之一或者组合:解析模块和信息显示模块,上 述模块的功能可以参考图 13所示的装置结构图的说明部分, 此处不再赘述。
处理器 010与存储器 011相连; I/O接口 009—端与处理器 010和存储器 011相连, 另一端与显示器 012相连;
处理器 010, 用于接收原始视频和原始视频的关联信息库, 获取原始视频 的关联信息库中保存的目标对象的基本信息和视频交互信息,视频交互信息中 包含有各画面帧中包含的目标对象的轮廓信息和显示的优先级, 目标对象的基 本信息包含用于待显示的内容;
处理器 010, 还用于当检测到用户对当前播放的画面帧中的目标对象的轮 廓信息对应的交互区域设置模块设置的交互区域的预定义操作时,根据显示的 优先级, 在显示器 012中显示与交互区域中的目标对象相对应的目标对象的基 本信息中待显示的内容。
综上所述, 本发明实施例提供的视频播放平台, 通过解析原始视频和原始 视频的关联信息库, 并根据关联信息库中的目标对象显示的优先级和目标对象 的基本信息中待显示的内容向目标用户显示交互式视频,解决了现有技术中当 同一画面中存在多个目标对象且各目标对象有重叠时, 无法正常实现匹配和显 示该目标对象的基本信息中待显示的内容。 请参见图 16,其示出了本发明另一实施例提供的视频播放平台的装置结构 图。 该视频播放平台可以用于向视频点播用户播放交互式视频。 该视频播放平 台可以包括: 至少一个 I/O接口 013、 至少一个处理器 014, 比如 CPU、 存储 器 015和显示器 016; 存储器 015可能包含高速 Ram存储器, 也可能还包括 非不稳定的存储器(non-volatile memory ), 例如至少一个磁盘存储器。 存储器 015可选的可以包含至少一个位于远离前述处理器 014的存储装置。 在一些实 施方式中, 存储器 015存储了如下的元素, 模块或者数据结构, 或者他们的子 集, 或者他们的扩展集:
操作系统 0151 , 包含各种程序,用于实现各种基础业务以及处理基于硬件 的任务;
应用模块 0152, 包含如下模块之一或者组合:解析模块和信息显示模块,上 述模块的功能可以参考图 14所示的装置结构图的说明部分, 此处不再赘述。
处理器 014与存储器 015相连; I/O接口 013—端与处理器 014和存储器 015相连, 另一端与显示器 016相连;
处理器 014, 用于解析原始视频和原始视频的关联信息库, 获取原始视频 的关联信息库中保存的目标对象的基本信息和视频交互信息,视频交互信息中 包含有各画面帧中包含的目标对象的轮廓信息和显示的优先级, 目标对象的基 本信息包含用于待显示的内容;
处理器 014, 还用于当检测到用户对当前播放的画面帧中的目标对象的轮 廓信息对应的交互区域设置模块设置的交互区域的预定义操作时,根据显示的 优先级, 在显示器 016中显示与交互区域中的目标对象相对应的目标对象的基 本信息中待显示的内容。
另外, 处理器 014向用户显示目标对象的基本信息中待显示的内容可以有 4艮多种, 比如:
目标对象的基本信息中待显示的内容可以分为目标对象对应的摘要内容 (比如目标对象的名称)和目标对象对应的具体内容 (比如目标对象的详细文 字介绍、 相关图片或视频等), 又目标对象在一个画面帧中可以被设置有两个 交互区域, 即第一交互区域和第二交互区域, 所以, 可以将显示目标对象的基 本信息中待显示的内容分为两种显示方式, 即第一显示方式和第二显示方式。
当检测到对目标对象的第一交互区域的操作时, 处理器 014可以根据第一 显示方式, 在显示器 016中向用户显示目标对象的基本信息中待显示的内容; 当检测到对目标对象的第二交互区域的操作时, 处理器 014可以根据第二显示 方式,在显示器 016中向用户显示目标对象的基本信息中待显示的内容。其中, 第一显示方式和第二显示方式可以有^艮多种, 比如:
第一显示方式为在目标对象旁边显示该目标对象的摘要内容, 第二显示方 式为在目标对象旁边显示该目标对象的具体内容;
或者,
第一显示方式为在目标对象区域显示该目标对象对应的第一交互区域或 第二交互区域的区域框, 第二显示方式为在目标对象旁边显示该目标对象的具 体内容;
或者,
第一显示方式为在目标对象旁边以半透明显示该目标对象的具体内容, 第 二显示方式为在目标对象旁边以覆盖显示该目标对象的具体内容。
处理器 014, 还用于在当前播放的画面帧中存在多个目标对象, 且多个目 标对象对应的交互区域有重叠时, 在显示器 016中显示多个目标对象中显示的 优先级较高的目标对象对应的目标对象的基本信息中待显示的内容。
处理器 014还用于, 在当前播放的画面帧中存在多个目标对象, 且多个目 标对象对应的交互区域有重叠时, 按照显示的优先级从高到低的顺序, 在显示 器 016中依照顺序显示多个目标对象对应的各目标对象的基本信息中待显示的 内容。
综上所述, 本发明实施例提供的视频播放平台, 通过接收原始视频和原始 视频的关联信息库, 并根据关联信息库中的目标对象显示的优先级向目标用户 显示交互式视频, 并在此基础上丰富了关联信息库的展现方式, 提供了具体的 根据所述目标兌现显示优先级提供交互信息的方案, 避免了现有技术中单一提 供所有信息带来的呈现冗余; 由于, 本方案提供的信息过渡, 也使得处理效率 更高, 不用像现有技术一样每次交互都提供所有的关联信息。 请参见图 17,其示出了本发明实施例提供的视频的关联信息库制作与视频 播放的系统的系统构成图, 该视频的关联信息库制作与视频播放的系统可以应 用于制作并播放交互式视频。该视频的关联信息库制作与视频播放的系统可以 包括: 上述实施例提供的视频的关联信息库制作平台 1110 以及视频播放平台 1120。
实际应用中,视频的关联信息库制作平台和视频播放平台对原始视频进行 处理,生成关联信息库,并据此播放交互式视频的具体流程请参见图 18。其中, 视频的关联信息库制作平台 904根据原始视频制作关联信息库, 并将原始视频 和对应的关联信息库一起存储到视频服务器 902中。 其中, 系统还将视频的关 联信息库中的链接所对应的内容存储在视频关联内容库中; 视频播放平台 901 在播放视频时, 获取原始视频和对应的关联信息库, 并根据原始视频及其关联 信息库向用户显示交互式视频, 当需要向用户显示关联信息库中的链接所指向 的内容时,视频播放平台根据关联信息库中的链接向关联内容服务器 903发送 请求, 获取其中保存的视频关联内容库中对应链接的相应的内容, 并在接收到 在实际实现过程中, 可选的视频播放平台 901和视频服务器 902可以通过 一种在线播放和在线交互的方式完成。 即视频的通过在线由视频服务器 902实 时的传输给视频播放平台, 而来自视频播放平台的交互信息也经由视频服务器 902到关联内容服务器 903中获取后, 利用与视频播放平台 901所建立的通信 通道发送给视频播放平台, 如图中虚线所示, 此时视频播放平台 901和关联内 容服务器 903之间的请求和发送过程不再需要, 而由视频服务器 902与关联内 容服务器 903之间的虚线所表示的通道完成。
在实际实现过程中, 可选的视频播放平台 901和视频服务器 902可以通过 一种在线播放和本地交互的方式完成, 或者通过一种本地下载播放和本地交互 的方式完成。 但此时, 关联信息库直接经由视频服务器 902发送到了视频播放 个平台 901中, 并存储于视频播放平台 901 ; 则后续由用户的交互动作产生的 交互信息都由视频播放平台 901 自己来维护, 并根据关联信息库中的链接去关 联内容服务器 903中去获取。 此时, 图 18中虚线所表示的通信通道则不再是 需要的, 而视频播放平台 901与关联内容服务器 903之间的通信也经由图中实 线所标示的 "请求" 和 "发送" 来完成。 综上所述, 本发明实施例提供的视频 的关联信息库制作与视频播放的系统,从系统层面呈现了本发明中各平台的交 互关系以及其在系统中所起到的作用。 需要说明的是: 上述实施例提供的视频的关联信息库制作平台和视频播放 平台在制作关联信息库与播放视频时,仅以上述各功能模块的划分进行举例说 明, 实际应用中, 可以根据需要而将上述功能分配由不同的功能模块完成, 即 将平台的内部结构划分成不同的功能模块, 以完成以上描述的全部或者部分功 能。 另外, 上述实施例提供的视频的关联信息库制作平台和视频播放平台与视 频的关联信息库制作方法和视频播放方法实施例属于同一构思, 其具体实现过 程详见方法实施例, 这里不再赘述。 本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通 过硬件来完成, 也可以通过程序来指令相关的硬件完成, 所述的程序可以存储 于一种计算机可读存储介质中, 上述提到的存储介质可以是只读存储器, 磁盘 或光盘等。 以上所述仅为本发明的较佳实施例, 并不用以限制本发明, 凡在本发明的 精神和原则之内, 所作的任何修改、 等同替换、 改进等, 均应包含在本发明的 保护范围之内。

Claims (28)

  1. 权 利 要 求 书
    1、 一种视频的关联信息库制作方法, 其特征在于, 所述方法包括: 按照所要设定的不同目标对象的存在周期从原始视频获取一至多个连续画 面帧;
    在一个目标对象对应的一至多个连续画面帧中确定预先设定的所述目标对 象在每个画面帧中的轮廓信息和显示的优先级;
    根据所述目标对象在每个画面帧中的轮廓信息和显示的优先级制作所述原 始视频的关联信息库, 所述关联信息库为用于播放交互式视频时读取的文件, 所述关联信息库保存有目标对象的基本信息和视频交互信息, 其中, 所述目标 对象的基本信息包含用于待显示的内容; 所述视频交互信息中包含有各画面帧 中包含的目标对象的轮廓信息和显示的优先级。
  2. 2、 根据权利要求 1所述的视频的关联信息库制作方法, 其特征在于, 所述 在一个目标对象对应的一至多个连续画面帧中确定预先选定的所述目标对象在 每个画面帧中的轮廓信息和显示的优先级之前, 所述方法还包括:
    显示目标对象设定界面; 将视频制作用户在所述目标对象设定界面中圏定 的区域中的对象设定为目标对象, 并将圏定的区域轮廓信息归为所述目标对象 的第一轮廓信息, 并携带在视频交互信息中;
    建立所述视频交互信息中携带的所述目标对象的第一轮廓信息与所述视频 制作用户为所述目标对象制定的目标对象的基本信息之间的对应关系。
  3. 3、 根据权利要求 2所述的视频的关联信息库制作方法, 其特征在于, 所述 将视频制作用户在所述目标对象设定界面中圏定的区域中的对象设定为目标对 利用轮廓提取算法获取圏定的区域中目标对象的轮廓信息, 并归为所述目 标对象的第二轮廓信息, 并携带在所述视频交互信息中;
    建立所述视频交互信息中携带的目标对象的第二轮廓信息与所述视频制作 用户为所述设定的目标对象制定的目标对象的基本信息之间的对应关系。
  4. 4、 根据权利要求 3所述的视频的关联信息库制作方法, 其特征在于, 所述 在一个目标对象对应的一至多个连续画面帧中确定预先设定的所述目标对象在 每个画面帧中的轮廓信息, 具体包括:
    获取所述圏定的区域中的目标对象的特征信息, 并利用目标跟踪算法计算 所述一至多个连续画面帧中其余画面帧的目标对象的第一轮廓信息和第二轮廓 信息, 并携带在视频交互信息中。
  5. 5、 根据权利要求 1或 2所述的视频的关联信息库制作方法, 其特征在于, 所述目标对象的基本信息包括: 所述目标对象的标识、 所述目标对象的名 称文本、 详细信息文本、 图片链接或视频链接中的一个或多个; 贝' J
    所述建立所述视频交互信息中携带的目标对象的第一轮廓信息与所述视频 制作用户为所述目标对象制定的目标对象的基本信息之间的对应关系具体为: 建立所述视频交互信息中携带的目标对象的第一轮廓信息与所述目标对象 的标识、 所述目标对象的名称文本、 详细信息文本、 图片链接或视频链接中的 一个或多个的关联关系。
  6. 6、 根据权利要求 4或 5所述的视频的关联信息库制作方法, 其特征在于, 所述方法包括:
    将各画面帧中的目标对象的第一轮廓信息对应的区域设置为所述各画面帧 中的目标对象的第一交互区域;
    将各画面帧中的目标对象的第二轮廓信息对应的区域设置为所述各画面帧 中的目标对象的第二交互区域;
    以便视频播放平台在检测到用户对所述第一交互区域和第二交互区域的预 定义操作时, 以相比第一交互区域更具体的方式显示第二交互区域对应的目标 对象的待显示的内容。
  7. 7、 一种视频播放方法, 其特征在于, 所述方法包括:
    解析原始视频和所述原始视频的的关联信息库, 获取所述原始视频的关联 信息库中的目标对象的基本信息和视频交互信息, 所述视频交互信息中包含有 各画面帧中包含的目标对象的轮廓信息和显示的优先级, 所述目标对象的基本 信息包含用于待显示的内容;
    当检测到用户对当前播放的画面帧中的目标对象的轮廓信息对应的交互区 域的预定义操作时, 根据显示的优先级显示与所述交互区域中的目标对象的基 本信息中待显示的内容。
  8. 8、 根据权利要求 7所述的视频播放方法, 其特征在于, 所述在所述当前播 放的画面帧中存在多个目标对象, 且所述多个目标对象对应的交互区域有重叠 时, 所述根据显示的优先级显示与所述交互区域中的目标对象相对应的目标对 象的基本信息中待显示的内容, 具体包括:
    显示所述多个目标对象中显示的优先级较高的目标对象对应的目标对象的 基本信息中待显示的内容。
  9. 9、 根据权利要求 7所述的视频播放方法, 其特征在于, 所述在所述当前播 放的画面帧中存在多个目标对象, 且所述多个目标对象对应的交互区域有重叠 时, 所述根据显示的优先级值的大小显示与所述交互区域中的目标对象相对应 的目标对象的基本信息中待显示的内容, 具体包括:
    按照显示的优先级从高到低的顺序, 显示所述多个目标对象对应的各目标 对象的基本信息中待显示的内容。
  10. 10、 根据权利要求 7至 9任一所述的视频播放方法, 其特征在于, 所述预定义操作至少包括鼠标指向操作、 鼠标点击操作、 触摸笔的感应、 鼠标在视频内的指向移动操作或触摸点击操作中的一种或多种。
  11. 11、 一种视频的关联信息库制作平台, 其特征在于, 所述平台包括: 获取模块, 用于按照所要设定的不同目标对象的存在周期从原始视频获取 一至多个连续画面帧;
    轮廓信息确定模块, 用于在所述获取模块获取的一个目标对象的一至多个 连续画面帧中确定预先设定的所述目标对象在每个画面帧中的轮廓信息;
    显示的优先级确定模块, 用于在所述获取模块获取的一个目标对象的一至 多个连续画面帧中确定预先设定的所述目标对象在每个画面帧中的显示的优先 级;
    关联信息库制作模块, 用于根据所述目标对象在每个画面帧中的轮廓信息 和显示的优先级制作所述原始视频的关联信息库, 所述关联信息库为用于播放 交互式视频时读取的文件, 保存有目标对象的基本信息和视频交互信息; 其中, 所述目标对象的基本信息包含用于待显示的内容; 所述视频交互信息中包含有 各画面帧中包含的目标对象的轮廓信息和显示的优先级。
  12. 12、 根据权利要求 11所述的视频的关联信息库制作平台, 其特征在于, 所 述平台还包括:
    设定显示模块, 用于显示目标对象设定界面;
    第一目标对象设定模块, 用于将视频制作用户在所述设定显示模块显示的 目标对象设定界面中圏定的区域中的对象设定为目标对象, 并将圏定的区域轮 廓信息归为目标对象的第一轮廓信息, 并携带在视频交互信息中;
    第一对应关系建立模块, 用于建立所述视频交互信息中携带的所述目标对 象的第一轮廓信息与所述视频制作用户为所述目标对象制定的目标对象的基本 信息之间的对应关系。
  13. 13、 根据权利要求 12所述的视频的关联信息库制作平台, 其特征在于, 所 述平台还包括:
    第二目标对象设定模块, 用于利用轮廓提取算法获取圏定的区域中目标对 象的轮廓信息, 并归为所述目标对象的第二轮廓信息, 并携带在所述视频互信 息中;
    第二对应关系建立模块, 用于建立所述视频交互信息中携带的目标对象的 第二轮廓信息与所述视频制作用户为所述设定的目标对象制定的目标对象的基 本信息之间的对应关系。
  14. 14、 根据权利要求 13所述的视频的关联信息库制作平台, 其特征在于, 所 述轮廓信息确定模块, 包括:
    特征信息获取单元, 用于获取所述圏定的区域中的目标对象的特征信息; 跟踪单元, 用于利用目标跟踪算法计算所述一至多个连续画面帧中其余画 面帧的目标对象的第一轮廓信息和第二轮廓信息, 并携带在视频交互信息中。
  15. 15、 根据权利要求 11或 12所述的视频的关联信息库制作平台, 其特征在 所述目标对象的基本信息包括: 所述目标对象的标识、 所述目标对象的名 称文本、 详细信息文本、 图片链接或视频链接中的一个或多个;
    所述第一对应关系建立模块, 具体用于建立所述视频交互信息中携带的目 标对象的第一轮廓信息与所述目标对象的标识、 所述目标对象的名称文本、 详 细信息文本、 图片链接或视频链接中的一个或多个的关联关系。
  16. 16、 根据权利要求 14或 15所述的视频的关联信息库制作平台, 其特征在 于, 所述平台还包括: 交互区域设置模块;
    所述交互区域设置模块, 包括:
    第一设置单元, 用于将各画面帧中的目标对象的第一轮廓信息对应的区域 设置为所述各画面帧中的目标对象的第一交互区域;
    第二设置单元, 用于将各画面帧中的目标对象的第二轮廓信息对应的区域 设置为所述各画面帧中的目标对象的第二交互区域;
    以便视频播放平台在检测到用户对所述第一交互区域和第二交互区域的预 定义操作时, 以相比第一交互区域更具体的方式显示第二交互区域对应的目标 对象的待显示的内容。
  17. 17、 一种视频的关联信息库制作平台, 其特征在于, 所述平台包括: I/O接 口、 处理器、 存储器和显示器;
    所述处理器与所述存储器相连;所述 I/O接口一端与所述处理器和所述存储 器相连, 另一端与所述显示器相连;
    所述处理器, 用于按照所要设定的不同目标对象的存在周期从原始视频获 取一至多个连续画面帧;
    所述处理器, 还用于在一个目标对象对应的一至多个连续画面帧中确定预 先设定的所述目标对象在每个画面帧中的轮廓信息;
    所述处理器, 还用于在一个目标对象对应的一至多个连续画面帧中确定预 先设定的所述目标对象在每个画面帧中的显示的优先级;
    所述处理器, 还用于根据所述目标对象在每个画面帧中的轮廓信息和显示 的优先级制作所述原始视频的关联信息库, 所述关联信息库为用于播放交互式 视频时读取的文件, 保存有目标对象的基本信息和视频交互信息; 其中, 所述 目标对象的基本信息包含用于待显示的内容; 所述视频交互信息中包含有各画 面帧中包含的目标对象的轮廓信息和显示的优先级。 18、 根据权利要求 17所述的视频的关联信息库制作平台, 其特征在于, 所述处理器, 还用于在所述显示器中显示目标对象设定界面;
    所述处理器, 还用于将视频制作用户在目标对象设定界面中圏定的区域中 的对象设定为目标对象, 并将圏定的区域轮廓信息归为目标对象的第一轮廓信 息, 并携带在视频交互信息中;
    所述处理器, 还用于建立所述视频交互信息中携带的目标对象与所述视频 制作用户为所述设定的目标对象制定的目标对象的基本信息之间的对应关系。
  18. 19、 根据权利要求 17所述的视频的关联信息库制作平台, 其特征在于, 所述处理器, 还用于利用轮廓提取算法获取圏定的区域中目标对象的轮廓 信息, 并归为所述目标对象的第二轮廓信息, 并携带在视频互信息中;
    所述处理器, 还用于建立所述视频交互信息中携带的目标对象的第二轮廓 信息与所述视频制作用户为所述设定的目标对象制定的目标对象的基本信息之 间的对应关系。
  19. 20、 根据权利要求 18所述的视频的关联信息库制作平台, 其特征在于, 所述处理器, 还用于获取所述圏定的区域中的目标对象的特征信息, 并利 用目标跟踪算法计算所述一至多个连续画面帧中其余画面帧的目标对象的第一 轮廓信息和第二轮廓信息, 并携带在视频交互信息中。
  20. 21、 根据权利要求 17或 18所述的视频的关联信息库制作平台, 其特征在 于, 所述目标对象的基本信息包括: 所述目标对象的标识、 所述目标对象的名 称文本、 详细信息文本、 图片链接或视频链接中的一个或多个;
    所述处理器, 具体用于建立所述视频交互信息中携带的目标对象的第一轮 廓信息与所述目标对象的标识、 所述目标对象的名称文本、 详细信息文本、 图 片链接或视频链接中的一个或多个的关联关系。
  21. 22、 根据权利要求 20或 21所述的视频的关联信息库制作平台, 其特征在 于,
    所述处理器, 还用于将各画面帧中的目标对象的第一轮廓信息对应的区域 设置为所述各画面帧中的目标对象的第一交互区域; 将各画面帧中的目标对象 的第二轮廓信息对应的区域设置为所述各画面帧中的目标对象的第二交互区 域;
    以便视频播放平台在检测到用户对所述第一交互区域和第二交互区域的预 定义操作时, 以相比第一交互区域更具体的方式显示第二交互区域对应的目标 对象的待显示的内容。
  22. 23、 一种视频播放平台, 其特征在于, 所述平台包括:
    解析模块, 用于解析原始视频和所述原始视频的关联信息库, 获取所述原 始视频的关联信息库中的目标对象的基本信息和视频交互信息, 所述视频交互 信息中包含有各画面帧中包含的目标对象的轮廓信息和显示的优先级, 所述目 标对象的基本信息包含用于待显示的内容;
    信息显示模块, 用于当检测到用户对当前播放的画面帧中的目标对象的轮 廓信息对应的交互区域的预定义操作时, 根据显示的优先级显示与所述交互区 域中的目标对象相对应的目标对象的基本信息中待显示的内容。
  23. 24、 根据权利要求 23所述的视频播放平台, 其特征在于, 所述信息显示模 块还用于, 在所述当前播放的画面帧中存在多个目标对象, 且所述多个目标对 象对应的交互区域有重叠时, 显示所述多个目标对象中显示的优先级较高的目 标对象对应的目标对象的基本信息中待显示的内容。
  24. 25、 根据权利要求 23所述的视频播放平台, 其特征在于, 所述信息显示模 块还用于, 在所述当前播放的画面帧中存在多个目标对象, 且所述多个目标对 象对应的交互区域有重叠时, 按照显示的优先级从高到低的顺序, 依照顺序显 示所述多个目标对象对应的各目标对象的基本信息中待显示的内容。
  25. 26、 一种视频播放平台, 其特征在于, 所述平台包括: I/O接口、 处理器、 存储器和显示器;
    所述处理器与所述存储器相连;所述 I/O接口一端与所述处理器和所述存储 器相连, 另一端与所述显示器相连;
    所述处理器, 用于解析原始视频和所述原始视频的关联信息库, 获取所述 原始视频的关联信息库中的目标对象的基本信息和视频交互信息, 所述视频交 互信息中包含有各画面帧中包含的目标对象的轮廓信息和显示的优先级, 所述 目标对象的基本信息包含用于待显示的内容;
    所述处理器, 还用于当检测到用户对当前播放的画面帧中的目标对象的轮 廓信息对应的交互区域设置模块设置的交互区域的预定义操作时, 根据显示的 优先级, 在所述显示器中显示与所述交互区域中的目标对象相对应的目标对象 的基本信息中待显示的内容。
  26. 27、 根据权利要求 26所述的视频播放平台, 其特征在于,
    所述处理器, 还用于在所述当前播放的画面帧中存在多个目标对象, 且所 述多个目标对象对应的交互区域有重叠时, 在所述显示器中显示所述多个目标 对象中显示的优先级较高的目标对象对应的目标对象的基本信息中待显示的内
  27. 28、 根据权利要求 26所述的视频播放平台, 其特征在于,
    所述处理器还用于, 在所述当前播放的画面帧中存在多个目标对象, 且所 述多个目标对象对应的交互区域有重叠时, 按照显示的优先级从高到低的顺序, 在所述显示器中依照顺序显示所述多个目标对象对应的各目标对象的基本信息 中待显示的内容。
  28. 29、 一种视频的关联信息库制作与视频播放的系统, 其特征在于, 所述系 统包括:
    如权利要求 11至 16任一所述的视频的关联信息库制作平台以及如权利要 求 23至 25任一所述的视频播放平台。
CN201280002756.9A 2012-12-24 2012-12-24 视频的关联信息库制作和视频播放的方法、平台及系统 Active CN104041063B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2012/087295 WO2014100936A1 (zh) 2012-12-24 2012-12-24 视频的关联信息库制作和视频播放的方法、平台及系统

Publications (2)

Publication Number Publication Date
CN104041063A true CN104041063A (zh) 2014-09-10
CN104041063B CN104041063B (zh) 2017-11-24

Family

ID=51019628

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280002756.9A Active CN104041063B (zh) 2012-12-24 2012-12-24 视频的关联信息库制作和视频播放的方法、平台及系统

Country Status (2)

Country Link
CN (1) CN104041063B (zh)
WO (1) WO2014100936A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107871190A (zh) * 2016-09-23 2018-04-03 阿里巴巴集团控股有限公司 一种业务指标监控方法及装置
CN108307242A (zh) * 2017-01-12 2018-07-20 沈国晔 一种跨平台播放一互动影片方法
CN108769808A (zh) * 2018-05-24 2018-11-06 安徽质在智能科技有限公司 交互式视频播放方法和系统
CN109644284A (zh) * 2016-08-30 2019-04-16 索尼公司 发送设备、发送方法、接收设备与接收方法
CN112218160A (zh) * 2020-10-12 2021-01-12 北京达佳互联信息技术有限公司 视频转换方法及装置和视频转换设备及存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101975511B1 (ko) * 2014-10-22 2019-05-07 후아웨이 테크놀러지 컴퍼니 리미티드 인터액티브 비디오 생성
CN108769688B (zh) * 2018-05-24 2021-09-03 西华师范大学 视频编解码方法
CN108600822A (zh) * 2018-05-24 2018-09-28 安徽质在智能科技有限公司 在线购物视频信息播放方法和系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1503554A (zh) * 2002-11-21 2004-06-09 余明和 一种制作电视广告的内容暨插播广告于电视节目上的装置及方法
CN101035261A (zh) * 2007-04-11 2007-09-12 宁波大学 一种交互式多视点视频系统的图像信号处理方法
CN101489139A (zh) * 2009-01-21 2009-07-22 北京大学 基于视觉显著度的视频广告关联方法与系统
JP2010109773A (ja) * 2008-10-30 2010-05-13 Koichi Sumida 情報提供システム、コンテンツ配信装置およびコンテンツ視聴用の端末装置
CN102232220A (zh) * 2010-10-29 2011-11-02 华为技术有限公司 一种视频兴趣物体提取与关联的方法及系统
CN102376061A (zh) * 2011-08-26 2012-03-14 浙江工业大学 基于全方位视觉的消费者购买行为分析装置
CN102419945A (zh) * 2011-12-09 2012-04-18 上海聚力传媒技术有限公司 用于在视频中呈现展现信息的方法、装置、设备和系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1503554A (zh) * 2002-11-21 2004-06-09 余明和 一种制作电视广告的内容暨插播广告于电视节目上的装置及方法
CN101035261A (zh) * 2007-04-11 2007-09-12 宁波大学 一种交互式多视点视频系统的图像信号处理方法
JP2010109773A (ja) * 2008-10-30 2010-05-13 Koichi Sumida 情報提供システム、コンテンツ配信装置およびコンテンツ視聴用の端末装置
CN101489139A (zh) * 2009-01-21 2009-07-22 北京大学 基于视觉显著度的视频广告关联方法与系统
CN102232220A (zh) * 2010-10-29 2011-11-02 华为技术有限公司 一种视频兴趣物体提取与关联的方法及系统
CN102376061A (zh) * 2011-08-26 2012-03-14 浙江工业大学 基于全方位视觉的消费者购买行为分析装置
CN102419945A (zh) * 2011-12-09 2012-04-18 上海聚力传媒技术有限公司 用于在视频中呈现展现信息的方法、装置、设备和系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109644284A (zh) * 2016-08-30 2019-04-16 索尼公司 发送设备、发送方法、接收设备与接收方法
CN109644284B (zh) * 2016-08-30 2022-02-15 索尼公司 发送设备、发送方法、接收设备与接收方法
CN107871190A (zh) * 2016-09-23 2018-04-03 阿里巴巴集团控股有限公司 一种业务指标监控方法及装置
CN107871190B (zh) * 2016-09-23 2021-12-14 阿里巴巴集团控股有限公司 一种业务指标监控方法及装置
CN108307242A (zh) * 2017-01-12 2018-07-20 沈国晔 一种跨平台播放一互动影片方法
TWI656792B (zh) * 2017-01-12 2019-04-11 沈國曄 跨平台播放互動影片之方法
CN108769808A (zh) * 2018-05-24 2018-11-06 安徽质在智能科技有限公司 交互式视频播放方法和系统
CN112218160A (zh) * 2020-10-12 2021-01-12 北京达佳互联信息技术有限公司 视频转换方法及装置和视频转换设备及存储介质

Also Published As

Publication number Publication date
WO2014100936A1 (zh) 2014-07-03
CN104041063B (zh) 2017-11-24

Similar Documents

Publication Publication Date Title
CN104041063A (zh) 视频的关联信息库制作和视频播放的方法、平台及系统
Figueroa et al. Tracking soccer players aiming their kinematical motion analysis
CN103426003B (zh) 增强现实交互的实现方法和系统
CN102077580B (zh) 显示控制设备、显示控制方法
Barris et al. A review of vision-based motion analysis in sport
CN110019600B (zh) 一种地图处理方法、装置及存储介质
DeCamp et al. An immersive system for browsing and visualizing surveillance video
CN107909443A (zh) 信息推送方法、装置及系统
CN103365936A (zh) 视频推荐系统及其方法
CN109155136A (zh) 从视频自动检测和渲染精彩场面的计算机化系统和方法
CN103797812A (zh) 带评论运动图像生成装置及带评论运动图像生成方法
JP6683938B2 (ja) 採点支援プログラム、採点支援装置および採点支援方法
JP2000106661A (ja) 画像処理方法及びシステム並びに装置
US20130241821A1 (en) Image processing system, image processing method, and storage medium storing image processing program
US20110312414A1 (en) Automated certification of video game advertising using ocr
CN105187936B (zh) 基于演唱音频评分的多媒体文件播放方法和装置
CN110446093A (zh) 一种视频进度条显示方法、装置和存储介质
CN111414948B (zh) 目标对象检测方法和相关装置
CN103795910B (zh) 一种采集图像的方法及装置
Lara et al. Validation of a video-based system for automatic tracking of tennis players
KR102102164B1 (ko) 영상 전처리 방법, 장치 및 컴퓨터 프로그램
CN110021062A (zh) 一种产品特征的获取方法及终端、存储介质
CN103946887A (zh) 注视位置估计系统、注视位置估计系统的控制方法、注视位置估计装置、注视位置估计装置的控制方法、程序以及信息存储介质
CN109460724B (zh) 基于对象检测的停球事件的分离方法和系统
CN103856824B (zh) 视频中弹出跟踪对象的视频的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant