CN114979737B - 一种多模态协同显示的视频播放系统 - Google Patents

一种多模态协同显示的视频播放系统 Download PDF

Info

Publication number
CN114979737B
CN114979737B CN202210535220.9A CN202210535220A CN114979737B CN 114979737 B CN114979737 B CN 114979737B CN 202210535220 A CN202210535220 A CN 202210535220A CN 114979737 B CN114979737 B CN 114979737B
Authority
CN
China
Prior art keywords
paragraph
discussion
mode
area
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210535220.9A
Other languages
English (en)
Other versions
CN114979737A (zh
Inventor
于建国
刘佳闻
谢驰帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Chaoyongxian Technology Co ltd
Original Assignee
Xi'an Chaoyongxian Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi'an Chaoyongxian Technology Co ltd filed Critical Xi'an Chaoyongxian Technology Co ltd
Priority to CN202210535220.9A priority Critical patent/CN114979737B/zh
Publication of CN114979737A publication Critical patent/CN114979737A/zh
Application granted granted Critical
Publication of CN114979737B publication Critical patent/CN114979737B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device

Abstract

本发明公开了一种多模态协同显示的视频播放系统,包括:包括四个模态和两种模式,四个模态分别为:文章模态、导图模态、视频模态和讨论模态;两种模式分别为:随播模式和展开模式;各模态根据视频段落属性和功能界面的对应区域:文本区、导图区、视频区和讨论区实现视频内容多模态、多模式之间的自由组合和协同展现;所述段落属性包括:段落文字内容、段落类型、段落时间段、段落名称、段落层级、段落概括、段落讨论内容和段落讨论热度。本发明有益效果是:优化了观众对多模态信息的接收和交互方式,能让目录、文章、导图、讨论、字幕等信息有机地随着视频播放共同显示,降低多模态信息对视频观看注意力的干扰,提升用户获取视频信息的效率。

Description

一种多模态协同显示的视频播放系统
技术领域
本发明涉及视频播放系统领域,尤其涉及一种多模态协同显示的视频播放系统。
背景技术
如今,视频已经成为最受欢迎的信息和知识的传播媒介,越来越多的在线教学、学术报告、项目介绍都选择视频来传播。然而,视频相较于传统的文章媒介,有着下面四方面的不足。
(1)缺少多层级目录的信息。观众难以区分正在播放的段落、还有多久播放到下个段落、以及不同段落之间的逻辑关系。
(2)缺少超链接跳转。观众无法直接点击视频中的链接进行跳转。
(3)缺少对内容的整体预览和回顾功能。观众在观看视频时会因为遗忘前面内容而影响对后续内容和视频整体内容的理解。
(4)缺少难以快速查看和筛选观众所产生的讨论。
为了弥补上述的不足,可以将多层级目录、富文本等多模态信息与视频同步显示,然而简单的信息堆叠又会让观众在观看视频过程中,因阅读文本和目录信息的速度跟不上视频的播放速度,影响观看注意力。
发明内容
为了针对以上技术问题,本发明提供一种多模态协同显示的视频播放系统,基于系统功能界面,系统包括:
包括四个模态和两种模式,四个模态分别为:文章模态、导图模态、视频模态和讨论模态;两种模式分别为:随播模式和展开模式;
各模态根据视频段落属性和功能界面的对应区域:文本区、导图区、视频区和讨论区实现视频内容多模态、多模式之间的自由组合和协同展现;
其中,所述段落属性包括:段落文字内容、段落类型、段落时间段、段落名称、段落层级、段落概括、段落讨论内容和段落讨论热度。
进一步地,在随播模式下,系统功能界面包括:位于顶栏的导图区、位于中央的视频区和位于底栏的文本区;其中,讨论区被隐藏;
在展开模式下,系统功能界面根据不同的模态而对应不同,包括文本展开模式和导图展开模式;其中,展开模式下,视频区被隐藏。
进一步地,随播模式下,所述文本区展示:段落逐句字幕、段落类型和段落讨论热度;
随播模式下单击文本区任意位置,进入文本展开模式。
进一步地,文本展开模式下,系统功能界面包括:位于顶栏的导图区、位于左侧的文本展开区和位于右侧的讨论区;
其中,所述文本展开区包括:标签区和文章区;
在文本展开模式下,通过单击位于顶栏中央下方的收起按键,返回随播模式。
进一步地,所述标签区,显示每个段落类型和段落讨论总数;
所述文章区,显示每个段落的文字内容、同时支持格式排版、markdown代码、公式和超链接;
其中,所选段落的文本背景突出显示;当前句子字幕的文本背景以不同的颜色突出显示;
所述所选段落,具体指当前选中的用于指明交互对象的段落;所选段落在视频播放时,是当前播放的段落,随播放自动切换;视频暂停时,通过单击段落类型来切换到对应段落;所选段落下方弹出讨论按钮、摘抄按钮和相关段落按钮。
进一步地,所述讨论区,显示讨论内容、讨论类型、讨论对象和讨论认同度;
所述讨论内容,分为针对段落的讨论,和针对其他讨论的讨论;
针对段落的讨论通过所选段落的讨论按钮增加;
针对其他讨论的讨论,通过点击某条讨论下的回复按钮增加;在排版上以从属于该讨论的形式显示;
所述讨论对象,指用于指明当前用户针对何种内容进行讨论,根据讨论类型和讨论对象,显示讨论的描述为该用户名+讨论类型+讨论对象;
所述讨论认同度,是观众对该讨论的认同程度,根据针对该讨论的其他讨论计算得出。
进一步地,所述导图区,分为父域和子域;
所述子域显示当前段落所在层级的目录;以不同样式来区分同级段落中已播的段落和未播的段落;以不同的样式来区分当前段落和同级段落;以不同的样式来区分段落的段落类型;
所述父域显示当前段落所从属的上层段落的名称和类型;
所述父域和子域,随着视频的播放,自动切换;
单击父域的段落名称,进入导图展开模式;
单击子域任意段落,跳转到对应段落;拖动段落的进度条,跳转到拖拽位置的时刻;
悬停至段落名称,显示对应的段落概括和段落类型。
进一步地,所述导图展开模式,以思维导图的形式,显示全部多层级目录和段落的进度条;以不同样式来区分同级段落中已播的段落和未播的段落;以不同的样式来区分当前段落和同级段落;以不同的样式来区分段落的段落类型;
导图区下方设置收起按钮,点击收起按钮,切换至随播模式;
单击导图节点,跳转到对应段落;拖动节点进度条,跳转到拖拽处的位置;
悬停至段落名称,显示对应的段落描述和段落类型。
系统还包括封面;封面由四部分构成,包括:以雷达图所展现的段落类型统计信息、以条状图展示的讨论类型统计信息、多个副标题和导图展开模式中的段落思维导图,思维导图保留导图展开区中的交互功能。
本发明提供的有益效果是:优化了观众对多模态信息的接收和交互方式,能让目录、文章、导图、讨论、字幕等信息有机地随着视频播放共同显示,降低多模态信息对视频观看注意力的干扰,提升用户获取视频信息的效率。
附图说明
图1是本发明系统结构示意图;
图2是随播模式下系统功能界面示意图;
图3是文本展开模式下系统功能界面示意图;
图4是导图展开模式下系统功能界面示意图;
图5是系统封面示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地描述。
请参考图1-图5,图1是本发明系统结构图;一种多模态协同显示的视频播放系统,基于系统功能界面,包括:
包括四个模态和两种模式,四个模态分别为:文章模态、导图模态、视频模态和讨论模态;两种模式分别为:随播模式和展开模式;
各模态根据视频段落属性和功能界面的对应区域:文本区、导图区、视频区和讨论区实现视频内容多模态、多模式之间的自由组合和协同展现;
其中,所述段落属性包括:段落文字内容、段落类型、段落时间段、段落名称、段落层级、段落概括、段落讨论内容和段落讨论热度。
请参考图2,在随播模式下,系统功能界面包括:位于顶栏的导图区、位于中央的视频区和位于底栏的文本区;其中,讨论区被隐藏;
在展开模式下,系统功能界面根据不同的模态而对应不同,包括文本展开模式和导图展开模式;其中,展开模式下,视频区被隐藏。
请参考图2,随播模式下,所述文本区展示:段落逐句字幕、段落类型和段落讨论热度;
在图2中,段落逐句字幕即为“都需要做实验来验证所提规律的可泛化性”。段落类型即为“例子”;段落讨论热度通过最左侧的火形图标表示;
需要说明的是,段落逐句字幕以单行的形式显示,当字幕长度超过文本区可容纳的宽度时,根据视频的句子语速从右到左滚动显示。段落类型,以简短文字或图标的形式,以及与标签类型一一对应的颜色显示。
段落类型包括:描述、例子、类比和自定义标签,五种类型,分配五种不同且固定的颜色。在一些其它实施例中,可以通过不同的样式来区分不同的段落类型。
在本实施例中,段落讨论热度用图标形式表示,在一些其它实施例中,可以以简短文字或标识的形式显示。
需要说明的是,随播模式下单击文本区任意位置,进入文本展开模式。
请参考图3,文本展开模式下,系统功能界面包括:位于顶栏的导图区、位于左侧的文本展开区和位于右侧的讨论区;
其中,所述文本展开区包括:标签区和文章区;
在文本展开模式下,通过单击位于顶栏中央下方的收起按键,返回随播模式。
所述标签区,显示每个段落类型和段落讨论总数;例如图3中的标签区,其展示了所有段落的段落类型(描述、例子等)以及在段落类型下方,展示了对应段落的讨论数量;
所述文章区,显示每个段落的文字内容、同时支持格式排版、markdown代码、公式和超链接;需要说明的是,对于超链接可以直接进行点击跳转;而对于文字内容的格式排版,可根据自定义需求进行。
需要说明的是,针对于段落文字内容,通过滚动显示超过范围的文字;
需要说明的是,所选段落的文本背景突出显示;当前句子字幕的文本背景以不同的颜色突出显示;比如图3中,所选段落即为“比如,偶数是能够被2所整除.....”,被选中的段落,其背景能够与其它内容进行区分开来;
所述所选段落,具体指当前选中的用于指明交互对象的段落;
所选段落在视频播放时,是当前播放的段落,随播放自动切换;视频暂停时,通过单击段落类型来切换到对应段落;所选段落下方弹出讨论按钮、摘抄按钮和相关段落按钮。参考图3中标识出的讨论按钮,在其旁边标识出了当前段落的所属段落(相关段落)按钮和摘抄按钮;通过摘抄按钮,可对当前段落文本内容进行相应的注解。
请参考图3,所述讨论区,显示讨论内容、讨论类型、讨论对象和讨论认同度;
所述讨论内容,分为针对段落的讨论,和针对其他讨论的讨论;
针对段落的讨论通过所选段落的讨论按钮增加;比如图3中的,针对所选段落的讨论。
针对其他讨论的讨论,通过点击某条讨论下的回复按钮增加;在排版上以从属于该讨论的形式显示;比如图3中的展示的“输入和输出怎么分析”,即是针对其他讨论的讨论。
所述讨论对象,指用于指明当前用户针对何种内容进行讨论,根据讨论类型和讨论对象,显示讨论的描述为该用户名+讨论类型+讨论对象;比如图3中的“hd55m0lzd提问nzx”。其中讨论类型可以细分包括:回答、提问、异议和补充。
所述讨论认同度,是观众对该讨论的认同程度,根据针对该讨论的其他讨论计算得出。这里讨论认同程度的计算方式,不同于单纯的点击认同,则认同;本申请中,通过综合讨论类型,得出该讨论认同程度,举例说明,比如回答一次,讨论认同度+2,提问一次,认同度+1,异议一次,认同度-1,补充一次认同度+1;这里仅为举例说明,具体计算方法,可以根据实际需求进行自定义。
请参考图2,所述导图区,分为父域和子域;
所述子域显示当前段落所在层级的目录;以不同样式来区分同级段落中已播的段落和未播的段落;以不同的样式来区分当前段落和同级段落;以不同的样式来区分段落的段落类型;
所述父域显示当前段落所从属的上层段落的名称和类型;
所述父域和子域,随着视频的播放,自动切换;
单击父域的段落名称,进入导图展开模式;
单击子域任意段落,跳转到对应段落;拖动段落的进度条,跳转到拖拽位置的时刻;进度条参照图2中“可泛化性e”的白色背景部分,随着播放,进度条逐渐被填充。
比如图2中,父域为“2.1知识可泛化”,子域为“可泛化性、可泛化性e...”
悬停至段落名称,显示对应的段落概括和段落类型。
请参考图4,所述导图展开模式,以思维导图的形式,显示全部多层级目录和段落的进度条;如图4中展示的思维导图。
以不同样式来区分同级段落中已播的段落和未播的段落;以不同的样式来区分当前段落和同级段落;以不同的样式来区分段落的段落类型;如图4中,已播放段落均为高亮显示;当前播放的段落,有些进度条未被填充完全;未播放的段落,其未被填充;在本申请中,通过背景填充度来区分已播放段落;
另外,关于当前段落、同级段落、段落类型,可以通过其它样式进行进一步区分,这里不作过多介绍。
参考图4,导图区下方设置收起按钮,点击收起按钮,切换至随播模式;
单击导图节点,跳转到对应段落;拖动节点进度条,跳转到拖拽处的位置;
悬停至段落名称,显示对应的段落描述和段落类型。
请参考图5,系统还包括封面;封面由四部分构成,包括:以雷达图所展现的段落类型统计信息、以条状图展示的讨论类型统计信息、多个副标题和导图展开模式中的段落思维导图,思维导图保留导图展开区中的交互功能。
本发明的有益效果是:优化了观众对多模态信息的接收和交互方式,能让目录、文章、导图、讨论、字幕等信息有机地随着视频播放共同显示,降低多模态信息对视频观看注意力的干扰,提升用户获取视频信息的效率。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (5)

1.一种多模态协同显示的视频播放系统,基于系统功能界面,其特征在于:包括四个模态和两种模式,四个模态分别为:文章模态、导图模态、视频模态和讨论模态;两种模式分别为:随播模式和展开模式;
各模态根据视频段落属性和功能界面的对应区域:文本区、导图区、视频区和讨论区实现视频内容多模态、多模式之间的自由组合和协同展现;
在随播模式下,系统功能界面包括:位于顶栏的导图区、位于中央的视频区和位于底栏的文本区;其中,讨论区被隐藏;
在展开模式下,系统功能界面根据不同的模态而对应不同,包括文本展开模式和导图展开模式;其中,展开模式下,视频区被隐藏;
随播模式下,所述文本区展示:段落逐句字幕、段落类型和段落讨论热度;
随播模式下单击文本区任意位置,进入文本展开模式;
文本展开模式下,系统功能界面包括:位于顶栏的导图区、位于左侧的文本展开区和位于右侧的讨论区;
其中,所述文本展开区包括:标签区和文章区;
在文本展开模式下,通过单击位于顶栏中央下方的收起按键,返回随播模式;所述导图区,分为父域和子域;
所述子域显示当前段落所在层级的目录;以不同样式来区分同级段落中已播的段落和未播的段落;以不同的样式来区分当前段落和同级段落;以不同的样式来区分段落的段落类型;
所述父域显示当前段落所从属的上层段落的名称和类型;
所述父域和子域,随着视频的播放,自动切换;
单击父域的段落名称,进入导图展开模式;
单击子域任意段落,跳转到对应段落;拖动段落的进度条,跳转到拖拽位置的时刻;
悬停至段落名称,显示对应的段落概括和段落类型
其中,所述段落属性包括:段落文字内容、段落类型、段落时间段、段落名称、段落层级、段落概括、段落讨论内容和段落讨论热度。
2.如权利要求1所述的一种多模态协同显示的视频播放系统,其特征在于:所述标签区,显示每个段落类型和段落讨论总数;
所述文章区,显示每个段落的文字内容、同时支持格式排版、markdown代码、公式和超链接;
其中,所选段落的文本背景突出显示;当前句子字幕的文本背景以不同的颜色突出显示;
所述所选段落,具体指当前选中的用于指明交互对象的段落;所选段落在视频播放时,是当前播放的段落,随播放自动切换;视频暂停时,通过单击段落类型来切换到对应段落;所选段落下方弹出讨论按钮、摘抄按钮和相关段落按钮。
3.如权利要求1所述的一种多模态协同显示的视频播放系统,其特征在于:
所述讨论区,显示讨论内容、讨论类型、讨论对象和讨论认同度;
所述讨论内容,分为针对段落的讨论,和针对其他讨论的讨论;
针对段落的讨论通过所选段落的讨论按钮增加;
针对其他讨论的讨论,通过点击某条讨论下的回复按钮增加;在排版上以从属于该讨论的形式显示;
所述讨论对象,指用于指明当前用户针对何种内容进行讨论,根据讨论类型和讨论对象,显示讨论的描述为该用户名+讨论类型+讨论对象;
所述讨论认同度,是观众对该讨论的认同程度,根据针对该讨论的其他讨论计算得出。
4.如权利要求1所述的一种多模态协同显示的视频播放系统,其特征在于:
所述导图展开模式,以思维导图的形式,显示全部多层级目录和段落的进度条;以不同样式来区分同级段落中已播的段落和未播的段落;以不同的样式来区分当前段落和同级段落;以不同的样式来区分段落的段落类型;
导图区下方设置收起按钮,点击收起按钮,切换至随播模式;
单击导图节点,跳转到对应段落;拖动节点进度条,跳转到拖拽处的位置;
悬停至段落名称,显示对应的段落描述和段落类型。
5.如权利要求4所述的一种多模态协同显示的视频播放系统,其特征在于:系统还包括封面;封面由四部分构成,包括:以雷达图所展现的段落类型统计信息、以条状图展示的讨论类型统计信息、多个副标题和导图展开模式中的段落思维导图,思维导图保留导图展开区中的交互功能。
CN202210535220.9A 2022-05-17 2022-05-17 一种多模态协同显示的视频播放系统 Active CN114979737B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210535220.9A CN114979737B (zh) 2022-05-17 2022-05-17 一种多模态协同显示的视频播放系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210535220.9A CN114979737B (zh) 2022-05-17 2022-05-17 一种多模态协同显示的视频播放系统

Publications (2)

Publication Number Publication Date
CN114979737A CN114979737A (zh) 2022-08-30
CN114979737B true CN114979737B (zh) 2024-03-19

Family

ID=82982808

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210535220.9A Active CN114979737B (zh) 2022-05-17 2022-05-17 一种多模态协同显示的视频播放系统

Country Status (1)

Country Link
CN (1) CN114979737B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6438564B1 (en) * 1998-06-17 2002-08-20 Microsoft Corporation Method for associating a discussion with a document
CN111212317A (zh) * 2020-01-15 2020-05-29 清华大学 一种视频播放的跳转导航方法
CN113014985A (zh) * 2019-12-19 2021-06-22 腾讯科技(深圳)有限公司 互动多媒体内容处理方法、装置、电子设备及存储介质
CN114339197A (zh) * 2021-10-29 2022-04-12 腾讯科技(深圳)有限公司 视频播放的测试方法、装置及设备
CN114339285A (zh) * 2021-12-28 2022-04-12 腾讯科技(深圳)有限公司 知识点的处理方法、视频处理方法、装置及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6438564B1 (en) * 1998-06-17 2002-08-20 Microsoft Corporation Method for associating a discussion with a document
CN113014985A (zh) * 2019-12-19 2021-06-22 腾讯科技(深圳)有限公司 互动多媒体内容处理方法、装置、电子设备及存储介质
CN111212317A (zh) * 2020-01-15 2020-05-29 清华大学 一种视频播放的跳转导航方法
CN114339197A (zh) * 2021-10-29 2022-04-12 腾讯科技(深圳)有限公司 视频播放的测试方法、装置及设备
CN114339285A (zh) * 2021-12-28 2022-04-12 腾讯科技(深圳)有限公司 知识点的处理方法、视频处理方法、装置及电子设备

Also Published As

Publication number Publication date
CN114979737A (zh) 2022-08-30

Similar Documents

Publication Publication Date Title
US7757254B2 (en) Interactive entertainment system for presenting supplemental interactive content together with continuous video programs
US7890849B2 (en) Concurrent presentation of media and related content lists
EP0840241B1 (en) A method for indicating the location of video hot links
JP4366593B2 (ja) 電子機器、電子機器における表示制御方法およびグラフィッカル・ユーザ・インターフェース用プログラム
US8978075B1 (en) Associating media using metadata and controlling multiple-device synchronization and rendering
JP4366592B2 (ja) 電子機器、電子機器における表示制御方法およびグラフィッカル・ユーザ・インターフェース用プログラム
US20090024922A1 (en) Method and system for synchronizing media files
US20130185753A1 (en) Data Management and Selection/Control System Preferably for a Video Magazine
US20060129908A1 (en) On-content streaming media enhancement
US20050220439A1 (en) Interactive multimedia system and method
US20020105535A1 (en) Animated screen object for annotation and selection of video sequences
JP2013536528A (ja) リンクベースのマルチメディアを作成しナビゲートする方法
EP3051828B1 (en) Subtitle display method and subtitle display device
KR20050033407A (ko) 텍스트 기반의 서브 타이틀 정보를 기록한 정보저장매체,그 처리장치 및 방법
US7921377B2 (en) Method for generating an interactive menu
CN103530320A (zh) 多媒体文件处理方法、装置及终端
CN1666279B (zh) 根据父等级显示或再现标记文档的方法和设备
US20080131853A1 (en) Vidio interface for learning an activity
CN114979737B (zh) 一种多模态协同显示的视频播放系统
KR100319158B1 (ko) 사건구간 기반 동영상 자료 생성방법 및 동영상 검색 방법
JP2010165354A (ja) リンク情報の送受信システム及びリンク情報の表示装置
JP2020052986A (ja) サーバシステム、アプリケーションプログラム配信サーバ、閲覧用端末、コンテンツ閲覧方法、アプリケーションプログラム、配信方法、アプリケーションプログラム配信方法
Huber et al. Wipe’n’watch: spatial interaction techniques for interrelated video collections on mobile devices
JP2006519435A (ja) 縦横比別のブラウザグラフィック表示装置及び方法
Prata et al. Personalized content access in interactive TV-based cross media environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant