CN116756102B - 多种独立资源与音视频组合生成合订本阅读和操作的方法 - Google Patents

Abstract

本发明公开多种独立资源与音视频组合生成合订本阅读和操作的技术，包括创建文件底板，将音视频文件和其他独立资源文件注册到文件底板上，然后新建空白页，并计算出音视频播放器的大小，将音视频播放器注册到空白页上，用以加载音视频文件，接着将音视频文件与其他独立文件组合合订，生成新目录，选中新目录中的文件，进行跳转阅读，并标注，本发明可以在不破坏原有文件的基础上，将音视频文件与其他各类独立文件进行组合阅读，也可将各类文件组合成一个崭新的文件，阅读过程中能够对音视频文件进行标注，从而使得人们方便地将各种相关资源有主题地有分类地按需进行组合，同时本发明提供各种各样的标注，使得重要内容，意见建议能够更加快速地实现。

Description

多种独立资源与音视频组合生成合订本阅读和操作的方法

技术领域

本发明涉及计算机软件技术领域，特别涉及多种独立资源与音视频组合生成合订本阅读和操作的技术。

背景技术

目前多文件组合是在不破坏原文件的基础上进行组合，可供一起阅读，但是目前多文件组合合并，通常是指将电子表单与OFD文件合并，OFD文件之间的合并等等，在申请号为202010643500.2 ，名称为版式化后的电子表单与OFD合并展现及目录生成的方法，该技术方案是将绘制好的工作流电子表单转化为版式文件，其他格式文件转化的版式文件以及OFD版式文件的目录后重组新目录，通过重组后的新目录选择展示页面，在申请号为2020106435375 ，名称为OFD文件合并展现及目录生成方法 ，该技术方案在保证多个OFD文件独立性的基础上，利用文件数据重组了新目录并增加了目录显示工具，多个OFD文件直接展示，而目前用户在多个文件阅读过程中需要查看音视频文件的时候，需要调用外部插件进行阅读，或者需要暂时关闭阅读过程中的文件，利用外部阅读插件打开音视频文件进行播放阅读，并且在音视频播放的过程中想查看相关文件的时候，还需要再次打开文件阅读器去查看相关文件，操作过程繁琐，大大降低了人们的阅读体验度，同时在音视频播放的过程中，并不能随时对音视频文件进行操作，对音视频文件进行操作的一些内容后期也不能根据操作的时间点进行定时查看，而是需要重新播放整个音视频文件查看对音视频文件操作的内容，不利于后续对音视频文件的查看审阅。

发明内容

本发明的目的在于提供多种独立资源与音视频组合生成合订本阅读和操作的技术，解决上述现有技术问题中的一个或多个。

为实现上述目的，本发明提供如下技术方案：多种独立资源与音视频组合生成合订本阅读和操作的技术，包括以下步骤：

步骤S1：创建文件底板，将音视频文件和其他独立资源文件注册到文件底板上；

步骤S2：解析音视频文件和其他独立资源文件的页面数据；

步骤S3：新建空白页，根据上述步骤S2中的页面数据获取音视频文件的大小，计算出对应的视频播放器大小，然后将音视频播放器注册到空白页上，用以加载音视频文件；

步骤S4：基于上述步骤S3，将音视频文件与其他独立资源文件合订，并生成新目录；

步骤S5：基于所述新目录，选中新目录中的文件，进行跳转阅读；

步骤S6：获取跳转页面内容，基于页面内容进行标注，并将音视频标注内容与相关文件建立互联关系。

优选的，所述多种独立资源是指能够直接通过人类感官为人类提供服务的内容和工具；所述各类资源包括各类应用元素、各类文件、应用系统，所述应用系统包括工具软件；所述操作方式包括但不限于签批，标注，突出，建立互联关系，所述签批方式包括全屏手写、键盘输入、放大手写、图片视频、音频、网页、AI及其他多媒体元素签批方式；所述合订方式包括将音视频文件与其他独立资源文件组合生成合订本，将音视频文件与其他独立资源合并文件组合生成一个崭新的文件，将音视频文件与单个文件组合生成一个文件。

优选的，所述步骤S1中文件底板上注册有版式文件解析器、流式文件解析器、版式数据流解析器、图片解析器、音视频播放器。

优选的，所述步骤S4中，音视频文件数量包括但不限于一个，可以对音视频文件和其他独立资源文件排序，添加，删除及目录进行同步更新，重复计算页码步骤形成新的合订本。

优选的，所述步骤S3中具体过程如下：利用文件解析器，解析当前页面内容，根据当前页面文件类型，进行组合，当文件类型为视频文件时，获取视频文件的宽度w，高度h，然后新建空白页，设置所述新建空白页固定宽度为w1，新建空白页页边距为p1，根据w1自适应计算出视频播放器大小，所述视频播放器宽w2 = w1-2*p1、高h2= （w2/w）*h，将视频播放器附着在所述新建空白页上，然后将新建空白页插入到文件底板上，当文件类型为音频文件时，则固定空白页的高度，重复上述步骤，加载音视频文件,所述视频文件显示为视频，所述音频文件显示为波纹图。

优选的，所述解析内容包括当前页内容和当前页相邻N页内容，当前页相邻N页内容为当前页前N页内容和当前页后N页内容，当前页页码超过最大页码和小于1时不处理，在进行阅读过程中，所述当前页码中页面信息存在内存中，则不进行解析赋值，若当前页码中页面信息不存在内存中，则获取当前页面内容，同时回收当前页码范围外内存中的页面信息。

优选的，所述步骤S6中根据当前文件类型，进行标注，并对所述文件添加标注效果，所述文件为音视频文件时，点击音视频文件进行标注，所述音视频标注方式包括音视频当前页标注和音视频文件关联文件标注；基于所述步骤S4，所述目录上设置有标注笔头，所述标注笔头与标注文件一一对应。

优选的，所述当标注方式为音视频当前页标注时，所述音视频下方设置有时间轴，点击音视频标注时，所述标注格式为{时间：{签批内容:[s],描述:c}}，所述标注内容s包含但不限于矢量线条，文字，录音，视频，图形化工具，关联关系，所述c为标注内容的简单描述，多个所述标注内容根据标注时间生成标注点，并在时间轴上定位显示，当标注方式为音视频文件关联文件标注时，根据音视频文件播放内容，可以针对某一时间点，对音视频文件中内容并进行圈化标注，将当前页音视频中标注内容与相关文件进行相互关联。

优选的，所述音视频播放的时间点与时间轴上标注时间点相同，则显示对应时间点上标注内容或对应关联的文件。

优选的，所述文件添加标注效果的范围包括单个文件中的局部内容、章节、单页、多页、音视频、整体，多种组合文件中的局部内容、章节、单页、多页、音视频、整体，多文件组合展现中的局部内容、章节、单页、多页、音视频、整体；所述标注效果包括背板上的效果，文字本身、视频每帧里的化妆效果，悬浮于文字上方的效果中的任意一种或多种，所述视频每帧里的化妆效果包括在视频播放时对视频放大，视频中文字放大；所述标注效果的渲染位置的锁定方式包括人工标注，检索，关联，目录索引；所述标注效果的渲染方式包括文件内容，文件样式，文件动作，文件形态。

与现有技术相比，本发明的有益效果是：

（1）本发明可以在不破坏原有文件的基础上，将音视频文件与其他各类独立文件进行组合阅读，也可以将各类文件组合成一个崭新的文件，阅读过程中能够对音视频文件进行标注，从而使得人们可以方便地将各种相关资源有主题地有分类地按需进行组合，而无需一个个操作，同时本发明提供了各种各样的标注，使得重要内容，意见建议能够更加鲜明地快速地实现。

（2）本发明音视频标注的时间点显示在时间轴上，通过时间轴能够精确定位，便于后续能够快速地查看到所在位置的音视频的内容及标注内容。

（3）本发明通过点击音视频标注的内容可以跳转到对应关联的文件上，各种各样链接，从而使得组合文件内容更加丰富多彩。

（4）本发明创造性地将原本没有关系的资源与音视频组合在一起，并在同一阅读器下进行阅读及操作，无需其他阅读插件，这样的组合打破了资源之间的壁垒，创新扩展了人类的体验度。

（5）本发明实现了包括视频在内的单个文件，多种组合文件以及多文件组合展现的情况下，能够对文件的内容、样式、形态、动作进行渲染。

（6）本发明对组合文件的内容可以通过人工标注，检索，关联，目录索引各种手段进行位置的锁定，对其进行背板渲染，对文字本身、视频每帧里的指定内容进行化妆式渲染，对文字的上空进行漂浮式渲染，以实现内容的突出阅读效果。

（7）本发明将人类的情绪带到了组合文件中，可以使得文件的局部内容、章节、单页、多页、音视频、整体，加上了人类的各种情感要素，从而使得对阅读对象开始出现拟人化的表现，为阅读的人工智能发展提供了基础的条件。

附图说明

图1为本发明中的流程图；

图2为本发明中视频文件中标注页面展示图；

图3为本发明中音频文件标注页面展示图；

图4为本发明中视频文件与其他文件互联关系展示图。

实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

如图1所示，本发明提供多种独立资源与音视频组合生成合订本阅读和操作的技术，包括以下步骤：

S1：创建文件底板，将音视频文件和其他独立资源文件注册到文件底板上，其中独立资源是指能够直接通过人类感官为人类提供服务的内容和工具；

S2：解析音视频文件和其他独立资源文件的页面数据；

S3：新建空白页，根据上述步骤S2中的页面数据获取音视频文件的大小，计算出对应的视频播放器大小，然后将音视频播放器注册到空白页上，用以加载音视频文件；

S4：基于上述步骤S3，将音视频文件与其他独立资源文件合订，并生成新目录；

S5：基于所述新目录，选中新目录中的文件，进行跳转阅读；

S6：获取跳转页面内容，基于页面内容进行标注，并将音视频标注内容与相关文件建立互联关系。

本发明在不破坏原文件的基础上，将音视频文件与其他独立资源文件进行组合阅读，或者组合生成一个崭新的文件，阅读过程中能够对音视频文件进行标注，从而使得人们可以方便地将各种相关资源有主题地有分类地按需进行组合，而无需一个个操作，同时本发明提供了各种各样的标注，使得重要内容，意见建议能够更加鲜明地快速地实现。

实施例二

本发明提供多种独立资源与音视频组合生成合订本阅读和操作的技术，包括以下步骤：

S1：创建文件底板，将音视频文件和其他独立文件注册到文件底板上，其他独立文件包含版式文件，版式数据流文件，流式文件，图片及其他多媒体文件，并且文件底板上注册版式文件解析器、流式文件解析器、版式数据流解析器、图片解析器、音视频播放器，其中音视频文件包含wav,flac，ape，alac，wv，mp3，aac，oggvorbis，opus，avi，wmv，asf，asx，rm，rmvb，mp4,3gp，mov，m4v，dat，mkv，flv，vob等；

S2：利用对应的解析器解析音视频文件和其他独立资源文件的页面数据，得到音视频文件的和其他独立资源文件的页面内容和页码；

S3：根据步骤S2获取的内容，进行组合，如图2，图3所示，当文件类型为视频文件时，获取视频文件的宽度w，高度h，然后新建空白页，设置新建空白页固定宽度为w1，新建空白页页边距为p1，根据w1自适应计算出视频播放器大小，则视频播放器宽w2 = w1-2*p1、高h2= （w2/w）*h，将视频播放器附着在新建空白页上，然后将新建空白页插入到文件底板上，用以加载视频文件，当文件类型为音频文件时，则固定空白页的高度，重复上述步骤，用以加载音频文件,则使得在同一阅读器下视频文件显示为视频，音频文件显示为波纹图；

S4：基于上述步骤S3，在将音视频文件与其他独立文件合订的时候，根据获取的页码信息，设置音视频的页码为1，将独立资源文件放入数组A[a1,a2,a3,....]中，将各独立资源的页码放入数组B[p1,p2,p3,...]中，其中数组A与数组B中页码顺序与各文件顺序一一对应，如a1的初始页码为1，a2的初始页码也为p1+1，a3的初始页码为p1+p2+1，相当于前面文件页码总和+1为下一个文件的初始页码，从而得到独立文件在组合合并后的合订本上的真实页码，并生成新目录，根据选择的音视频文件的数量或其他独立文件的数量，可以多次进行组合合订，可以对音视频文件和其他独立文件排序，添加，删除及目录进行同步更新，重复计算页码步骤形成新的合订本，并且目录中会显示各独立文件在总文件中的页码，便于后续添加文件或者减少文件或者进行排序；

S5：基于新目录，选中新目录中的文件，进行跳转阅读，在跳转阅读到当前页面的时候，若当前页码中页面信息存在内存中，则不进行解析赋值，若当前页码中页面信息不存在内存中，则获取当前页面内容，同时回收当前页码范围外内存中的页面信息，通过回收内存并进行预加载，大大提高了性能的优化能力；

S6：获取跳转页面内容，基于页面内容进行标注，并将音视频标注内容与相关文件建立互联关系。

本发明在不破坏文件的基础上，将音视频文件与其他独立文件进行组合合并，组合成一个新的合订本进行阅读，并且也便于后期增减新的独立文件，同时进行目录同步更新，并且在翻页跳转的时候，根据当前页是否存在内存当中，进行性能优化，提高了后期阅读的体验度。

本方法还适用于其他类型的版式文件，支持版式数据流文件系统及其操作装置，作为其功能的组成部分。

实施例三

本发明提供多种独立资源与音视频组合生成合订本阅读和操作的技术，包括以下步骤：

S1：创建文件底板，将音视频文件和其他独立资源文件注册到文件底板上，文件底板上注册有版式文件解析器、流式文件解析器、版式数据流解析器、图片解析器、音视频播放器；

S2：利用上述的解析器解析音视频文件和其他独立资源文件的页面数据；

S3：新建空白页，根据上述步骤S2中的页面数据获取音视频文件的大小，计算出对应的音视频播放器大小，然后将音视频播放器注册到空白页上，用以加载音视频文件，其中音视频文件可以是离线文件或者是在线文件；

S4：基于上述步骤S3，将音视频文件与其他独立资源文件合订，并生成新目录；

S5：基于新目录，选中新目录中的文件，进行跳转阅读；

S6：获取跳转页面内容，基于页面内容进行标注，如图2-3所示，当文件为音视频文件时，点击音视频文件进行标注，其中音视频标注方式包括音视频当前页标注和音视频文件关联文件标注，当标注方式为音视频当前页标注时，音视频下方设置有时间轴，点击音视频标注时，标注格式为{时间：{签批内容:[s],描述:c}}，标注内容s包含矢量线条，文字，录音，视频，图形化工具，关联关系等等，c为标注内容的简单描述，多个标注内容根据标注时间生成标注点，并在时间轴上定位显示，在后期查看标注的内容的时候，可以通过定位显示的标注点查看对应的音视频标注的内容，一目了然，提高了后期查阅的时间，如图4所示，当标注方式为音视频文件关联文件标注时，根据音视频文件播放内容，可以针对某一时间点，对音视频文件中内容并进行圈化标注，将当前页音视频中标注内容与各类独立文件进行相互关联，点击音视频文件标注的内容的时候，会自动跳到与标注内容相关联的文件上，或者点击被关联的文件，会自动跳到与之相关联的音视频上标注的内容上，同时根据标注的文件，在对应文件的目录上会显示对应的标记小笔头，用以显示对该文件进行了一定的操作。

本发明在阅读过程中能够对音视频文件进行标注，从而使得人们可以方便地将各种相关资源有主题地有分类地按需进行组合，而无需一个个操作，同时本发明提供了各种各样的标注，使得重要内容，意见建议能够更加鲜明地快速地实现，音视频标注的时间点显示在时间轴上，通过时间轴能够精确定位，便于后续能够快速地查看到所在位置的音视频的内容及标注内容，通过点击音视频标注的内容可以跳转到对应关联的文件上，各种各样链接，从而使得组合文件内容更加丰富多彩。

本方法还适用于其他类型的版式文件，支持版式数据流文件系统及其操作装置，作为其功能的组成部分。

实施例四

本发明提供多种独立资源与音视频组合生成合订本阅读和操作的技术，包括以下步骤：

S1：创建文件底板，将音视频文件和其他独立资源文件注册到文件底板上，文件底板上注册有版式文件解析器、流式文件解析器、版式数据流解析器、图片解析器、音视频播放器；

S2：利用上述的解析器解析音视频文件和其他独立资源文件的页面数据；

S3：新建空白页，根据上述步骤S2中的页面数据获取音视频文件的大小，计算出对应的音视频播放器大小，然后将音视频播放器注册到空白页上，用以加载音视频文件，其中音视频文件可以是离线文件或者是在线文件；

S4：基于上述步骤S3，将音视频文件与其他独立资源文件合订，并生成新目录，其中可以将音视频文件与其他独立资源文件组合生成合订本，将音视频文件与其他独立资源合并文件组合成一个崭新的文件，将音视频文件与单个文件组合成一个文件；

S5：基于新目录，选中新目录中的文件，进行跳转阅读；

S6：获取跳转页面内容，基于页面内容进行标注，并将音视频标注内容与相关文件建立互联关系，在文件进行标注的时候，可以对文件添加标注效果，可以在单个文件，多种合并文件，多文件组合展现的情况下，对文件的内容，样式，动作，形态进行渲染，渲染范围包括文件的局部内容、章节、单页、多页、音视频、整体，其中对文件的内容可以通过人工标注，检索，关联，目录索引各种手段进行位置的锁定，对其进行背板渲染，对文字本身、视频每帧里的指定内容进行化妆式渲染，对文字的上空进行漂浮式渲染。

例如在背板上可以设置水印，喷墨，天气，心情，节日，节气，淹水，主题色等效果，对文字本身进行放大，加粗，倾斜，阴影，跳动，飞翔，发光，忽闪，跳跃等效果，对整个页面可以设置抖动，跳动，着火等效果，用来表示页面的动作的效果，对文字的上方可以设置弹幕一些漂浮式的效果，还可以对视频每帧里的内容添加渲染效果，可以在视频播放的时候对视频进行放大，或者对视频中指定的内容添加放大，加粗，跳动，阴影，飞翔等相关效果，以突出视频阅读效果的内容。

本发明将人类的情绪带到了文件中，可以使得文件的局部内容、章节、单页、多页、音视频、整体，加上了人类的各种情感要素，从而使得对阅读对象开始出现拟人化的表现，为阅读的人工智能发展提供了基础的条件。

本方法还适用于其他类型的版式文件，支持版式数据流文件系统及其操作装置，作为其功能的组成部分。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (7)

1.多种独立资源与音视频组合生成合订本阅读和操作的方法，其特征在于，包括以下步骤：

步骤S1：创建文件底板，将音视频文件和其他独立资源文件注册到文件底板上；

步骤S2：解析音视频文件和其他独立资源文件的页面数据；

步骤S3：新建空白页，根据上述步骤S2中的页面数据获取音视频文件的大小，计算出对应的视频播放器大小，然后将音视频播放器注册到空白页上，用以加载音视频文件；

步骤S4：基于上述步骤S3，将音视频文件与其他独立资源文件合订，并生成新目录；

步骤S5：基于所述新目录，选中新目录中的文件，进行跳转阅读；

步骤S6：获取跳转页面内容，基于页面内容进行标注，并将音视频标注内容与相关文件建立互联关系，具体为根据当前文件类型，进行标注，并对所述文件添加标注效果，所述文件为音视频文件时，点击音视频文件进行标注，标注方式包括音视频当前页标注和音视频文件关联文件标注；基于所述步骤S4，所述目录上设置有标注笔头，所述标注笔头与标注文件一一对应；当标注方式为音视频当前页标注时，所述音视频下方设置有时间轴，点击音视频标注时，标注的格式为{时间：{签批内容:[s],描述:c}}，所述签批内容s包括矢量线条，文字，录音，视频，图形化工具，关联关系，所述c为标注内容的简单描述，多个所述标注内容根据标注时间生成标注点，并在时间轴上定位显示；当标注方式为音视频文件关联文件标注时，根据音视频文件播放内容，能够针对某一时间点，对音视频文件中内容进行圈化标注，并将当前页音视频中标注内容与相关文件进行相互关联；当音视频播放的时间点与时间轴上标注时间点相同，则显示对应时间点上标注内容或对应关联的文件。

2.根据权利要求1所述的多种独立资源与音视频组合生成合订本阅读和操作的方法，其特征在于：所述多种独立资源是指能够直接通过人类感官为人类提供服务的内容和工具；所述多种独立资源包括各类应用元素、各类文件、应用系统，所述应用系统包括工具软件；操作方式包括签批、标注、突出、建立互联关系，签批的方式包括全屏手写、键盘输入、放大手写、图片视频、音频、网页、AI及其他多媒体元素签批方式；合订方式包括将音视频文件与其他独立资源文件组合生成合订本，将音视频文件与其他独立资源合并文件组合生成一个崭新的文件，将音视频文件与单个文件组合生成一个文件。

3.根据权利要求1所述的多种独立资源与音视频组合生成合订本阅读和操作的方法，其特征在于：所述步骤S1中文件底板上注册有版式文件解析器、流式文件解析器、版式数据流解析器、图片解析器、音视频播放器。

4.根据权利要求1所述的多种独立资源与音视频组合生成合订本阅读和操作的方法，其特征在于：所述步骤S4中，能够对音视频文件和其他独立资源文件排序，添加，删除及目录进行同步更新，重复计算页码步骤形成新的合订本。

5.根据权利要求1所述的多种独立资源与音视频组合生成合订本阅读和操作的方法，其特征在于：所述步骤S3中具体过程如下：

利用文件解析器，解析当前页面内容，根据当前页面文件类型，进行组合，当文件类型为视频文件时，获取视频文件的宽度w，高度h，然后新建空白页，设置所述新建空白页固定宽度为w1，新建空白页页边距为p1，根据w1自适应计算出视频播放器大小，所述视频播放器宽w2 = w1-2*p1、高h2= （w2/w）*h，将视频播放器附着在所述新建空白页上，然后将新建空白页插入到文件底板上，当文件类型为音频文件时，则固定空白页的高度，重复上述步骤，加载音视频文件,所述视频文件显示为视频，所述音频文件显示为波纹图。

6.根据权利要求5所述的多种独立资源与音视频组合生成合订本阅读和操作的方法，其特征在于：解析内容包括当前页内容和当前页相邻N页内容，当前页相邻N页内容为当前页前N页内容和当前页后N页内容，当前页页码超过最大页码和小于1时不处理，在进行阅读过程中，若当前页码中页面信息存在内存中，则不进行解析赋值，若当前页码中页面信息不存在内存中，则获取当前页面内容，同时回收当前页码范围外内存中的页面信息。

7.根据权利要求1所述的多种独立资源与音视频组合生成合订本阅读和操作的方法，其特征在于：根据文件类型，在给文件添加标注效果时，文件添加标注效果的范围包括单个文件中的局部内容、章节、单页、多页、音视频、整体，多种组合文件中的局部内容、章节、单页、多页、音视频、整体，多文件组合展现中的局部内容、章节、单页、多页、音视频、整体；

所述标注效果包括背板上的效果，文字本身、视频每帧里的化妆效果，悬浮于文字上方的效果中的任意一种或多种，所述视频每帧里的化妆效果包括在视频播放时对视频放大，视频中文字放大；

所述标注效果的渲染位置的锁定方式包括人工标注、检索、关联、目录索引；

所述标注效果的渲染方式包括文件内容、文件样式、文件动作、文件形态。