CN114139491A - 一种数据处理方法、装置及存储介质 - Google Patents
一种数据处理方法、装置及存储介质 Download PDFInfo
- Publication number
- CN114139491A CN114139491A CN202111439165.5A CN202111439165A CN114139491A CN 114139491 A CN114139491 A CN 114139491A CN 202111439165 A CN202111439165 A CN 202111439165A CN 114139491 A CN114139491 A CN 114139491A
- Authority
- CN
- China
- Prior art keywords
- text
- video
- target
- shared
- content
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/103—Formatting, i.e. changing of presentation of documents
- G06F40/106—Display of layout of documents; Previewing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本申请公开一种数据处理方法、装置及存储介质,其中,方法包括:在第一客户端的多媒体显示界面中,显示第一对象向第二对象分享的关联内容;关联内容的目标帧中包含该目标帧对应的目标文本;目标帧不具有触发编辑功能;在所述第一客户端显示目标帧时,在多媒体显示界面上为所述第二对象展示具有触发编辑功能的共享文本;共享文本与目标文本具有相同文本内容。采用本申请,可以在保持显示关联内容的情况下,提升共享文本的获取效率。
Description
技术领域
本申请涉及计算机技术领域,尤其涉及一种数据处理方法、装置及存储介质。
背景技术
目前,当观众用户(例如,用户A1)通过观众终端观看某个视频(比如,直播视频)时,可以在该观众终端的视频播放界面中显示该直播视频的视频内容。然而,当该观众用户(例如,用户A1)发现在当前视频播放界面内所显示的视频内容中,存在自己感兴趣的文本内容(例如,商品链接)时,需要通过聊天室或者第三方应用来实现该商品链接的获取。
比如,观众用户(例如,用户A1)可以通过聊天室或者第三方应用向分享该直播视频的主播用户(例如,用户B1)发送请求获取该商品链接的会话消息,基于此,发明人发现,无论是通过聊天室还是第三方应用,均需在发送会话消息时退出当前的视频播放界面,显然,这种通过发送会话消息的方式会消耗较长的文本获取时长,以至于降低了文本内容(例如,商品链接)的获取效率。
发明内容
本申请实施例提供一种数据处理方法、装置及存储介质,可以在保持显示关联内容的情况下,提升共享文本的获取效率。
本申请实施例一方面提供了一种数据处理方法,方法包括:
在第一客户端的多媒体显示界面中,显示第一对象向第二对象分享的关联内容;关联内容的目标帧中包含与目标帧对应的目标文本;目标帧不具有触发编辑功能;
在第一客户端显示目标帧时,在多媒体显示界面上为第二对象展示具有触发编辑功能的共享文本;共享文本与目标文本具有相同文本内容。
本申请实施例一方面提供了一种数据处理装置,装置包括:
关联内容显示模块,用于在第一客户端的多媒体显示界面中,显示第一对象向第二对象分享的关联内容;关联内容的目标帧中包含与目标帧对应的目标文本;目标帧不具有触发编辑功能;
共享文本展示模块,用于在第一客户端显示目标帧时,在多媒体显示界面上为第二对象展示具有触发编辑功能的共享文本;共享文本与目标文本具有相同文本内容。
其中,在关联内容中的多媒体对象包含文本对象,且从文本对象中所提取的目标文本包含链接类字符串时,与目标文本具有相同文本内容的共享文本包含链接类字符串;
装置还包括:
链接内容显示模块,用于响应于针对共享文本所在的文本显示区域执行的触发操作,输出与共享文本中的链接类字符串相关联的链接内容显示区域;
链接内容显示模块,还用于在链接内容显示区域中显示链接类字符串对应的链接内容。
其中,链接内容显示区域为独立于多媒体显示界面显示的子区域;
装置还包括:
同步显示模块,用于链接内容显示模块在链接内容显示区域中显示链接类字符串对应的链接内容时,在多媒体显示界面中同步显示与共享文本相关联的关联帧;关联帧的数量取决于共享文本中的链接类字符串在多媒体显示界面上的链接共享时长。
其中,装置还包括:
字符串隐藏模块,用于在共享文本中的链接类字符串的链接共享时长达到共享时长阈值时,在多媒体显示界面上隐藏共享文本中的链接类字符串。
其中,在关联内容中的多媒体对象包含文本对象,且从文本对象中所提取的目标文本包含非链接类字符串时,与目标文本具有相同文本内容的共享文本包含非链接类字符串;
装置还包括:
文本拷贝模块,用于响应于针对共享文本所在的文本显示区域执行的拷贝操作,输出与共享文本中的非链接类字符串相关联的业务展示区域;
文本拷贝模块,还用于响应针对业务展示区域中的业务平台的选取操作,向业务平台发送非链接类字符串对应的拷贝内容。
其中,关联内容中的多媒体对象包含图像对象;
装置还包括:
图像控件配置模块,用于在从目标帧所包含的图像对象中提取到的目标文本为空字符串时,为空字符串所对应的图像对象配置具有触发编辑功能的图像显示控件;
图像控件输出模块,用于在第一客户端显示目标帧时,在多媒体显示界面上的图像对象所在的图像显示区域输出图像显示控件,且在图像显示控件上输出与图像对象具有相同图像内容的共享图像。
其中,关联内容显示模块包括:
编码流接收单元,用于在第一对象与第二对象进行即时通信时,通过第一客户端接收服务器下发的与第一对象相关联的实时编码数据流;实时编码数据流是服务器基于接收到的由第一对象对应的第二客户端上传的实时数据流所确定的;实时数据流为第二客户端对实时采集到的采集数据序列进行编码所得到的;
编码流解码单元,用于对实时编码数据流进行解码处理,得到实时编码数据流对应的缓存数据序列,将缓存数据序列对应的数据片段确定为与第一对象相关联的关联内容;缓存数据序列为服务器从采集数据序列中所截取到的视频序列;
关联内容显示单元,用于在第一客户端的多媒体显示界面中,显示关联内容。
其中,关联内容为第一对象分享的点播视频中的关联视频,关联内容显示模块包括:
视频点播单元,用于响应于针对第一客户端执行的视频点播操作,向服务器发送携带点播视频标识的点播请求;点播请求用于指示服务器在查找到与点播视频标识匹配的点播视频时,获取点播视频中的分割视频片段;点播视频是由第一对象通过第二客户端上传的回放视频流所确定的;回放视频流为第二客户端对点播视频的点播视频序列进行编码所得到的;分割视频片段为服务器对点播视频序列进行片段分割后所得到的;
片段流解码单元,用于接收服务器下发的分割视频片段对应的编码片段流,对编码片段流进行解码处理,得到分割视频片段;
关联内容确定单元,用于将解码得到的分割视频片段确定为第一对象向第二对象分享的关联视频,在第一客户端的多媒体显示界面中,显示关联视频。
其中,目标文本是由服务器通过图文识别技术从关联内容中的多媒体对象所在的目标帧中识别到的;
共享文本展示模块包括:
辅助信息接收单元,用于接收服务器所下发的与目标文本相关联的业务辅助信息;业务辅助信息中包含目标文本的文本位置信息;
显示位置确定单元,用于在第一客户端显示目标帧时,将目标文本的文本位置信息作为第一显示位置,且在第一显示位置上输出具有触发编辑功能的文本显示控件;
共享文本展示单元,用于在文本显示控件上展示与目标文本具有相同文本内容的共享文本。
其中,共享文本展示单元包括:
字符串获取子单元,用于获取与目标文本具有相同文本内容的字符串;
字符串绑定子单元,用于在文本显示控件的透明度被配置为目标透明度时,将获取到的字符串与具备目标透明度的文本显示控件进行绑定;
文本展示子单元,用于将绑定有目标透明度的文本显示控件的字符串作为具有触发编辑功能的共享文本,且在具备目标透明度的文本显示控件上展示共享文本。
其中,共享文本展示单元还包括:
提示信息输出子单元,用于文本展示子单元在具备目标透明度的业务控件上展示共享文本时,在多媒体显示界面上输出用于指示第二对象触发共享文本的文本提示信息。
本申请实施例一方面提供了一种数据处理方法,方法包括:
获取第一对象向第二对象分享的关联内容;关联内容的目标帧不具有触发编辑功能;关联内容为第一对象通过第二客户端所上传的原始数据流中的数据片段;
从目标帧中提取关联内容对应的目标文本,且基于原始数据流所属的数据流类型确定提取目标文本时的业务辅助信息;
将提取到的目标文本以及业务辅助信息下发给第二对象对应的第一客户端,以使第一客户端在显示目标帧时,基于业务辅助信息在用于显示关联内容的多媒体显示界面上输出具有触发编辑功能的共享文本;共享文本与目标文本具有相同文本内容。
本申请实施例一方面提供了一种数据处理装置,装置包括:
关联内容获取模块,用于获取第一对象向第二对象分享的关联内容;关联内容的目标帧不具有触发编辑功能;关联内容为第一对象通过第二客户端所上传的原始数据流中的数据片段;
文本提取模块,用于从目标帧中提取关联内容对应的目标文本,且基于原始数据流所属的数据流类型确定提取目标文本时的业务辅助信息;
文本下发模块,用于将提取到的目标文本以及业务辅助信息下发给第二对象对应的第一客户端,以使第一客户端在显示目标帧时,基于业务辅助信息在用于显示关联内容的多媒体显示界面上输出具有触发编辑功能的共享文本;共享文本与目标文本具有相同文本内容。
其中,原始数据流包含由第一对象对应的第二客户端上传的实时数据流;实时数据流为在第一对象与第二对象进行即时通信时,由第二客户端对实时采集到的采集数据序列进行编码所得到的;
关联内容获取模块包括:
实时流接收单元,用于接收第一对象通过第二客户端上传的实时数据流;
数据序列截取单元,用获取针对实时数据流进行采样的采样时间间隔,从实时数据流对应的采集数据序列中,截取与采用时间间隔所指示的帧率相匹配的缓存数据序列;
关联内容确定单元,用于将缓存数据序列所构成的数据片段确定为第一对象向第二对象分享的关联内容。
其中,文本提取模块包括:
文本识别单元,用于通过图文识别技术识别目标帧所包含的多媒体对象,从识别到的多媒体对象中提取关联内容对应的目标文本;
字符位置确定单元,用于在原始数据流所属的数据流类型为即时通信类型时,获取目标文本中的每个字符的字符位置信息,基于获取到的每个字符的字符位置信息确定目标文本的文本位置信息;
辅助信息确定单元,用于基于目标文本的文本位置信息,确定在提取目标文本时的业务辅助信息。
其中,当关联内容为第一对象分享的点播视频中的关联视频时,原始数据流包含由第一对象对应的第二客户端上传的点播视频所对应的回放视频流;回放视频流为第二客户端对点播视频的点播视频序列进行编码所得到的;
关联内容获取模块包括:
回放流接收单元,用于接收第一对象通过第二客户端上传的回放视频流,对回放视频流进行解码处理,得到点播视频的点播视频序列;
片段划分单元,用于获取用于对点播视频序列进行片段分割时的分割参数,基于分割参数将点播视频序列划分为N个视频片段;N为正整数;
分割片段确定单元,用于将N个视频片段中的第i个视频片段作为分割视频片段,且将分割视频片段作为关联视频;i为小于等于N的正整数。
其中,文本提取模块包括:
媒体对象识别单元,用于通过图文识别技术识别目标帧所包含的多媒体对象,从识别到的多媒体对象中提取关联内容对应的目标文本;
字符位置获取单元,用于在原始数据流所属的数据流类型为非即时通信类型时,获取目标文本中的每个字符的字符位置信息,基于获取到的每个字符的字符位置信息确定目标文本的文本位置信息;
出现时长确定单元,用于获取目标帧出现在点播视频序列中的起始帧时间戳以及结束时间戳,将基于起始帧时间戳和结束帧时间戳所确定的时长作为目标文本的链接出现时长;
辅助确定单元,用于基于目标文本的文本位置信息以及链接出现时长,确定在提取目标文本时的业务辅助信息。
本申请实施例一方面提供了一种计算机设备,计算机设备包括:处理器和存储器;
处理器与存储器相连,其中,存储器用于存储计算机程序,处理器用于调用计算机程序,以使得计算机设备执行本申请实施例任一方面中的方法。
本申请实施例一方面提供了一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序,计算机程序适于由处理器加载并执行,以使得具有处理器的计算机设备执行本申请实施例任一方面中的方法。
本申请实施例一方面提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行本申请实施例任一方面中的方法。
本申请实施例所涉及的计算机设备可以在第一客户端的多媒体显示界面中,显示第一对象向第二对象分享的关联内容;应当理解,这里所涉及的关联内容的目标帧不具有触发编辑功能;这里的不具有触发编辑功能是指第二对象不能直接对尚未显示的目标帧中所包含的该目标文本进行复制和触发等操作。但是,当计算机设备在第一客户端显示目标帧时,可以在多媒体显示界面上显示具有触发编辑功能的共享文本。应当理解,当前展示在多媒体显示界面上的共享文本与当前显示的该目标帧中所包含的目标文本具有相同的文本内容,此时,第二对象可以直接对当前展示的该与该目标文本具有相同文本内容的共享文本进行复制和触发等操作。这样,第二对象在使用该第一客户端观看该关联内容时,可以在无需退出多媒体显示界面的情况下,在正常显示关联内容的同时,提升共享文本的获取效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种网络架构的结构示意图;
图2是本申请实施例提供的一种在多媒体显示界面上显示共享文本的场景示意图;
图3是本申请实施例提供的一种数据处理方法的流程示意图;
图4是本申请实施例提供的一种在即时通信场景下获取关联视频的场景示意图;
图5是本申请实施例提供的一种在非即时通信场景下获取关联视频的场景示意图;
图6是本申请实施例提供的另一种在多媒体显示界面上显示共享文本的场景示意图;
图7是本申请实施例提供的另一种数据处理方法的示意图;
图8是本申请实施例提供的一种在多媒体显示界面上输出共享文本的文本指示信息的场景示意图;
图9为本申请实施例提供的一种显示链接内容的场景示意图;
图10是本申请实施例提供的又一种数据处理方法的交互流程时序图;
图11是本申请实施例提供的一种快速获取共享文本的数据交互图;
图12是本申请实施例提供的一种数据处理装置的结构示意图;
图13是本申请实施例提供的另一种数据处理装置的结构示意图;
图14是本申请实施例提供的一种计算机设备的结构示意图;
图15是本申请实施例提供的一种数据处理系统的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习、自动驾驶、智慧交通等几大方向。
本申请实施例提供的方案属于人工智能领域下的计算机视觉技术(ComputerVision,CV)。可以理解的是,计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建、自动驾驶、智慧交通等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。在本申请实施例中,这里的计算机视觉技术(比如,图文识别技术)可以用于识别某个视频帧(例如,某个视频中的目标帧)中所包含的多媒体对象,并可以用于从识别到的多媒体对象中提取用于进行分享的目标文本。这里的多媒体对象具体可以包含但不限于文本对象和图像对象。比如,这里的文本对象可以包含需要进行分享的链接字符串等。又比如,这里的图像对象可以包含需要进行分享的照片等。
进一步的,请参见图1,图1是本发明实施例提供的一种网络架构的结构示意图。如图1所示,网络架构可以应用于数据处理系统。该数据处理系统具体可以包括图1所示的业务服务器1000、第一终端集群以及第二终端集群。
其中,可以理解的是,第一用户终端集群可以包括一个或者多个用户终端,这里将不对第一用户终端集群中的用户终端的数量进行限定。如图1所示,第一用户终端集群中的多个用户终端具体可以包括用户终端3000a、3000b、3000c、...、用户终端3000n。如图1所示,用户终端3000a、3000b、3000c、...、用户终端3000n可以分别与业务服务器1000进行网络连接,以便于该第一用户终端集群中的每个第一用户终端可以通过该网络连接与业务服务器1000之间进行数据交互。
同理,第二用户终端集群可以包括一个或者多个用户终端,这里将不对第二终端集群中的用户终端的数量进行限定。如图1所示,第二用户终端集群中的多个用户终端具体可以包括用户终端2000a、2000b、2000c、...、用户终端2000n。如图1所示,用户终端2000a、2000b、2000c、...、用户终端2000n可以分别与业务服务器1000进行网络连接,以便于该第二用户终端集群中的每个用户终端可以通过该网络连接与业务服务器1000之间进行数据交互。
其中,如图1所示的业务服务器1000可以是独立的物理服务器,也可以是多个物理服务器所构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。此外,上述的业务服务器可以是区块链上节点,该区块链节点可以将通过上述计算机视觉技术对某个包含多媒体对象的数据帧(即目标帧)进行图文识别所得到的目标文本储存于区块链上,以确保数据存储的可靠性。
其中,可以理解的是,在上述数据处理系统内,为对这两个用户终端集群(即第一用户终端集群和第二用户终端集群)中的用户终端进行区别,本申请实施例可以将该第一用户终端集群中的用户终端统称为第一用户终端,并将该第二用户终端集群中的用户终端统称为第二用户终端。其中,本申请实施例可以将使用第一用户终端中的应用客户端(比如,第二客户端)发起分享任务的对象统称为第一对象,并将使用第二用户终端中的应用客户端(比如,第一客户端)响应该分享任务的对象统称为第二对象。
其中,可以理解的是,这里的分享任务可以包含但不限于文档分享任务、视频分享任务。为便于理解,本申请实施例可以在相应业务场景下,将该文档分享任务所对应数据片段中的文档内容或者该视频分享任务所对应数据片段中的视频内容统称为第一对象向第二对象分享的关联内容。其中,应当理解,本申请实施例可以将该视频分享任务所对应数据片段中的视频内容统称为第一对象向第二对象分享的关联视频。
其中,应当理解,对于文档分享任务而言,第二对象可以在文档共享场景下,实时看到由第一对象通过第二客户端分享的某个演示文档的文档内容,即对于第二对象所使用的第一客户端而言,可以同步显示第一对象向第二对象分享的关联内容(比如,文档内容)。
可选的,在一些可选实施例中,第一对象所使用的第二客户端还可以对该文档分享任务所对应的演示文档中的文档内容进行实时录屏处理,以将实时录屏得到的包含该文档内容的实时数据流(比如,实时视频流)上传至业务服务器1000,此时,该业务服务器1000可以对接收到的实时数据流对应的采集数据序列(比如,实时视频流对应的采集视频序列)进行编码处理,以在第一对象与第二对象进行即时通信时,将编码得到的实时编码数据流(比如,实时编码视频流)下发给第二对象对应的第一客户端,以使第一客户端可以解码得到该实时编码数据流(比如,实时编码视频流)对应的缓存数据序列(比如,缓存视频序列)时,将解码得到的缓存视频序列对应的数据片段确定为第一对象向第二对象分享的关联视频,即此时,对于第二对象所使用的第一客户端而言,可以解码显示第一对象向第二对象分享的关联视频(比如,前述演示文档中的文档内容)。
可选的,应当理解,第一客户端还可以在结束该演示文档的文档分享任务的情况下,录制得到能够有助于其他对象回放该演示文档的点播视频,进而可以将该点播视频对应的回放视频流上传给上述业务服务器1000,使得该业务服务器1000可以在解码得到该回放视频流所对应的点播视频的情况下,将该第一对象上传的点播视频存储在相应的业务数据库,以便于后续其他对象能够从存储该点播视频的业务数据库中获取该点播视频进行视频播放。
其中,可以理解的是,这里的第一用户终端和第二用户终端均可以包含:智能手机、平板电脑、笔记本电脑、桌上型电脑、可穿戴设备、智能家居(例如,智能电视)等携带数据处理功能(例如,视频数据播放功能)的智能终端。其中,应当理解,集成在第一用户终端或者第二用户终端中的应用客户端,具体可以包括社交客户端(例如,即时会话客户端、多人协作文档客户端)、多媒体客户端(例如,视频客户端、直播客户端)、会议客户端、教育客户端等具有帧序列(例如,帧动画序列)加载和播放功能的客户端。
应当理解,本申请所涉及的网络架构所适用的业务场景具体可以包含即时通信场景和非即时通信场景(也可以称之为视频回放场景)。其中,该即时通信场景具体可以包含实时直播场景(例如,前述教育客户端所对应的在线教育场景、前述会议客户端所对应的在线会议场景以及前述直播客户端所对应的视频直播场景)、实时会话场景(例如,前述即时会话客户端所对应的视频会话场景)、实时文档共享场景(例如,前述多人协作文档客户端对应的文档共享场景)。其中,非即时通信场景(例如,视频回放场景)具体可以包含但不限于前述直播客户端对应的直播节目回放场景、前述视频客户端所对应的视频节目点播场景、前述会议客户端对应的会议内容回放场景、前述多人协作文档客户端对应的演示文档回放场景。
比如,在即时通信场景(例如,在线会议场景)下,第一对象(比如,在该在线会议场景下参与在线会议的用户A1)可以通过第二客户端(比如,会议客户端)向第二对象(例如,参与该在线会议的其他用户,比如,用户A2)进行直播推流,即第二客户端可以通过直播推流的方式向上述业务服务器1000推送实时数据流(比如,直播视频流,这里的直播视频流可以为第一对象通过前述会议客户端对当前正在开展的会议内容进行直播的视频流),此时,该业务服务器1000可以按照相应的直播协议标准,对接收到的实时数据流(比如,直播视频流)进行采样,以将采样所得到的数据序列作为缓存数据序列进行存储。应当理解,本申请实施例可以将从实时数据流中所采样得到的缓存数据序列对应的数据片段统称为第一对象向第二对象分享的关联内容。其中,应当理解,在该关联内容的目标帧不具有触发编辑功能的情况下,该目标帧中所包含的多媒体对象(比如,上述文本对象或者图像对象)也不具有触发编辑功能,且该多媒体对象可以用于提取关联内容对应的目标文本。其中,需要注意的是,这里的第一对象和第二对象可以为处于不同地理位置区域的用户,还可以为处于同一地理位置区域的用户,这里将不对参与该在线会议的用户的地理位置区域进行限定。
这样,与该第一对象处于同一虚拟房间(例如,通过同一会议号加入前述在线会议所对应的虚拟会议室)中的第二对象,可以通过第一客户端接收由该业务服务器1000下发的关联内容所对应的实时编码数据流。应当理解,此时,第一对象所使用的第一客户端在接收到该实时编码数据流时,可以解码得到该实时编码数据流所对应的关联内容,并可以在该第一客户端中显示该关联内容,进而可以在第一客户端显示前述目标帧时,在该关联内容对应的多媒体显示界面上输出与上述提取到的目标文本具有相同文本内容、且具有触发编辑功能的共享文本。应当理解,该关联内容可以包含但不限于以文档样式(例如,前述演示文档)呈现在第一客户端的文档内容和以视频样式(例如,前述关联视频)呈现在第一客户端的视频内容。比如,本申请实施例可以从第一客户端显示的演示文档的文档内容中提取目标文本,也可以从第一客户端显示的与该演示文档相关联的视频内容中提取目标文本。
应当理解,在前述即时通信场景下,对于其他对象通过其他应用客户端(例如,直播客户端或者教育客户端等)进行直播推流的具体实现方式,可以一并参见前述用户A1通过会议客户端进行直播推流的具体实现方式,这里将不再继续进行赘述。此外,业务服务器1000在该即时通信场景下对接收到的其他直播视频流进行采样处理的具体实现方式,可以一并参见前述业务服务器1000对接收到的由会议客户端推送的直播视频流进行采样处理的具体实现方式的描述,这里将不再继续进行赘述。
又比如,在非即时通信场景(例如,视频回放场景)下,第一对象(比如,该视频回放场景下的视频发布用户,例如,发起前述分享任务的用户B1)可以通过第二客户端(例如,视频客户端)向上述业务服务器1000发布某个需要分享的点播视频(例如,视频S),从而可以将该点播视频(例如,视频S)对应的回放视频流上传至业务服务器1000。这样,当第二对象(例如,该视频回放场景下的观众用户,例如,参与响应前述分享任务的用户B2)在第一客户端(例如,视频客户端)的视频详情页面上触发该点播视频(例如,视频S)时,可以通过该第一客户端向该业务服务器1000发送针对该视频S的点播请求。进一步的,业务服务器1000可以基于该点播请求查询到由前述第二客户端发布的视频S,并可以按照该视频回放场景对应的分割参数,将该视频S划分成N个视频片段。这里的N为正整数。进一步的,业务服务器1000可以将这N个视频片段中的一个或者多个视频片段统称为分割视频片段,并可以将该分割视频片段作为与第一对象相关联的关联视频(该关联视频为前述第一对象向第二对象分享的关联内容),并通过前述计算机视觉技术对该关联视频中的视频帧进行识别,以识别位于关联帧中的视频帧内的多媒体对象,进而可以将识别到的多媒体对象所在的视频帧统称为目标帧。其中,应当理解,该关联视频的目标帧中包含不具有触发编辑功能的多媒体对象(比如,上述文本对象或者图像对象),且该多媒体对象可以用于提取关联视频(即关联内容)对应的目标文本。比如,本申请实施例可以在第二客户端结束上述文档共享任务,且上传针对演示文本进行录屏所得到的点播视频的情况下,从第一客户端显示的与该演示文档相关联的视频内容中提取目标文本。
这样,通过第一客户端请求点播前述视频S的第二对象,可以通过该第一客户端接收由该业务服务器1000下发的分割视频片段所对应的编码片段流。应当理解,此时,第一对象所使用的第一客户端在接收到该编码片段流时,可以解码得到该编码片段流所对应的分割视频片段,从而可以得到与该第一对象相关联的关联视频。进一步的,第一客户端可以在播放到该关联视频的目标帧时,在该关联视频对应的播放界面上输出与上述提取到的目标文本具有相同文本内容、且具有触发编辑功能的共享文本。
同理,在前述非即时通信场景下,对于其他对象通过其他应用客户端(例如,直播客户端或者教育客户端等)发布整个完整录制的点播视频的具体实现方式,可以一并参见前述用户B1通过第二客户端(例如,视频客户端)发布视频S的具体实现方式,这里将不再继续进行赘述。此外,业务服务器1000在该非即时通信场景下对接收到的其他点播视频进行分段处理的具体实现方式,可以一并参见前述业务服务器1000将前述视频S划分成N个视频片段的具体实现方式的描述,这里将不再继续进行赘述。
由此可见,在第一对象向第二对象展示需要分享的关联内容(比如,文档内容或者视频内容等媒体内容)的情况下,本申请实施例可以通过上述计算机视觉技术(比如,图文识别技术)对该媒体内容的目标帧中所包含的多媒体对象进行识别,进而可以从识别到的多媒体对象中提取用于向第二对象分享的目标文本。这样,当第一客户端显示目标帧(比如,文档内容对应的数据帧或者视频内容对应的视频帧)时,可以在该第一客户端的多媒体显示界面上为该第二对象显示具有触发编辑功能的共享文本。
其中,应当理解,在本申请实施例中,与目标文本具有相同文本内容的共享文本,可以与目标帧中所包含的目标文本具有相同的文本显示位置,也可以与目标帧中所包含的目标文本具有不同的文本显示位置,这里将不对多媒体显示界面上所显示的共享文本的具体显示位置进行限定。
进一步的,请参见图2,图2是本申请实施例提供的一种在多媒体显示界面上显示共享文本的场景示意图。如图2所示的对象A可以为在前述在线会议场景下发起上述分享任务的第一对象(比如,该第一对象可以为前述用户A1),在本申请实施例中,该第一对象即为参与本次在线会议的分享人“小明”,该第一对象所使用的用于推送实时数据流的用户终端可以为前述第一用户终端(比如,该第一用户终端可以为本次在线会议的会议投屏端)。同理,如图2所示的对象B可以为在前述在线会议场景下参与响应上述分享任务的第二对象(比如,该第二对象可以为前述用户A2),该第二对象所使用的用于接收实时编码数据流的用户终端可以为前述第二用户终端(比如,该第二用户终端可以为本次在线会议的会议观看端)。
可以理解的是,在前述在线会议场景下,第一对象(即图2所示的对象A)可以通过该第一用户终端(比如,会议投屏端)向第二对象分享自己的屏幕内容(例如,图2所示的主题名称为AAAABB的会议内容),即运行有前述第二客户端的第一用户终端可以按照前述直播推流的方式,将包含该屏幕内容的采集数据序列所对应的实时数据流上传至服务器(这里的服务器可以为前述图1所对应实施例中的业务服务器1000)。此时,该服务器可以按照该在线会议场景下的实时数据流所属的数据流类型(比如,即时通信类型),获取相应的直播协议标准,进而可以按照该直播协议标准所指示的采样时间间隔,从该实时数据流所对应的采集数据序列中截取与该采样时间间隔所指示的帧率相匹配的缓存数据序列,进而可以将该缓存数据序列所构成的数据片段作为对象A向对象B分享的关联内容。
如图2所示,对象A向对象B分享的关联内容可以为图2所示的关联视频20a,该关联视频20a即为前述服务器按照直播协议标准,从前述采集数据序列(比如,采集视频序列)中所截取到的缓存数据序列(比如,缓存视频序列)对应的视频片段。应当理解,该关联视频20a所对应的缓存数据序列(比如,缓存视频序列)可以包含图2所示的多个视频帧,这里的多个视频帧具体可以包含图2所示的视频帧2a、视频帧2b、视频帧2c、…、视频帧2n。
可以理解的是,在前述在线会议场景下,为确保第二对象通过前述运行有第一客户端的第二用户终端能够观看到由前述第一用户终端所推送的稳定持续的屏幕内容(例如,图2所示的主题名称为AAAABB的会议内容)。那么,前述服务器在得到前述对象A向对象B分享的关联视频20a的情况下,会对该关联视频20a对应的缓存数据序列(比如,缓存视频序列)进行编码处理,以将编码得到的实时编码数据流(比如,实时编码视频流)下发给该第二用户终端,这样,第二用户终端在得到由该服务器所下发的实时编码数据流(比如,实时编码视频流)时,则可以解码得到前述缓存数据序列(比如,缓存视频序列),进而可以通过该第二用户终端中所运行的第一客户端播放该缓存数据序列(比如,缓存视频序列)所对应的关联视频20a,即此时,第一客户端可以显示该对象A向对象B分享的关联内容。
其中,应当理解,在本申请实施例中,服务器在将关联内容所对应的实时编码数据流(比如,关联视频20a所对应的实时编码视频流)下发给第二用户终端的同时,还可以一并将该服务器通过前述计算机视觉技术(例如,图文识别技术),将从该关联视频20a的某个视频帧(比如,图2所示的多媒体对象21a所在的视频帧2b,该视频帧2b为不具有触发编辑功能的目标帧)中所提取到的目标文本21b下发给第二用户终端。
这样,第二用户终端在多媒体显示界面(比如,图2所示的显示界面200a),显示图2所示的包含目标文本21b的目标帧时,可以在图2所示的显示界面200a上为图2所示的对象B(即第二对象)展示图2所示的共享文本22a。应当理解,在本申请实施例中,展示在该显示界面200a上的与共享文本22a与目标帧中所包含的目标文本21b具有相同的文本内容。
如图2所示,运行有第一客户端的第二用户终端可以获取到从包含多媒体对象21a的目标帧中所提取出的关联内容对应的目标文本21b,该目标文本21b可以为图2所示的与分享主题AAAABB相关联的链接类字符串,比如,该链接类字符串可以为图2所示的字符串“http://AAAABBjs.dev/”。
其中,该关联内容可以为文档内容,该文档内容即为图2所示的对象A通过文档样式所分享的本次在线会议的屏幕内容。可选的,该关联内容还可以为该文档内容对应的视频内容,比如,图2所示的包含多个视频帧的关联视频20a。
如图2所示,在该显示界面200a上用于显示共享文本22a的文本显示位置(例如,第二显示位置),可以不同于与目标帧中的目标文本21b的文本显示位置(例如,第一显示位置)。可选的,在第一显示位置不同于第二显示位置时,第一客户端还可以对第二显示位置上的共享文本22a进行突出显示,进而可以丰富共享文本的展示效果。
可选的,还可以理解的是,在该显示界面200a上用于显示共享文本22a的文本显示位置(例如,第二显示位置),可以与目标帧中的目标文本21b的文本显示位置(例如,第一显示位置)为同一显示位置,此时,该共享文本22a可以覆盖显示在图2所示的目标文本21b之上。
由于显示在该显示界面200a上的共享文本22a为具有触发编辑功能的链接类字符串,所以,当第一客户端接收到图2所示的对象B针对该具有触发编辑功能的链接类字符串的触发操作时,可以在用于显示上述关联视频20a的关联内容的显示界面200a上输出一个弹窗,进而可以在该输出的弹窗上显示该链接类字符串对应的链接内容。这样,第二对象在使用该运行有第一客户端的第二用户终端观看上述屏幕内容的过程中,无需中断该屏幕内容所对应的视频的播放逻辑,进而从根源上提升链接内容的获取效率。
其中,第一客户端显示关联内容,并在显示该关联内容的目标帧时,显示具有触发编辑功能的共享文本的具体实现方式,可以参见图3-图11所对应实施例。
进一步地,请参见图3,图3是本申请实施例提供的一种数据处理方法的流程示意图。如图3所示,该方法可以由集成有第一客户端的用户终端(例如,上述第二用户终端)执行,也可以由业务服务器执行,还可以由该用户终端(例如,上述第二用户终端)和业务服务器共同执行。为便于理解,本实施例以该方法由上述第二用户终端执行为例进行说明,以阐述在第二用户终端中显示关联内容,以及在多媒体显示界面上显示具有触发编辑功能的共享文本的具体过程。其中,该方法至少可以包括以下步骤S101-步骤S102:
步骤S101,在第一客户端的多媒体显示界面中,显示第一对象向第二对象分享的关联内容;
其中,关联内容的目标帧中包含与目标帧对应的目标文本;目标帧不具有触发编辑功能;这里的关联内容可以包含但不限于第一对象向第二对象分享的文档内容和视频内容。
比如,在上述实时文档共享场景(例如,前述多人协作文档客户端对应的文档共享场景)下,第一对象和第二对象均可以为能够在线对某个共享文档进行操作(比如,录入等)的对象。这样,第一对象通过第二客户端对该共享文档(比如,上述演示文档)进行操作时所得到的关联内容(例如,文档内容),可以通过服务器同步传输给第二对象对应的第一客户端,以在第一客户端上显示该关联内容。
其中,应当理解,在该关联内容为关联视频时,该关联视频是由该第一对象对应的第二客户端实时录制针对对该共享文本进行操作时的相关文档内容所得到的。可以理解的是,若第一对象在该共享文档中录入的关联内容包含链接类字符串(即目标文本),则第二对象可以在自己的第一客户端的多媒体显示界面(即共享文档编辑界面)上,显示由第一对象所录入的该链接类字符串(即目标文本)对应的关联内容。
又比如,具体的,在上述即时通信场景下,即在第一对象与第二对象进行即时通信时,第二用户终端可以通过第一客户端接收服务器下发的与第一对象相关联的实时编码数据流;实时编码数据流是服务器基于接收到的由第一对象对应的第二客户端上传的实时数据流所确定的;这里的实时数据流为运行有第二客户端的第一用户终端对实时采集到的采集数据序列进行编码所得到的;进一步的,第二用户终端可以对实时编码数据流进行解码处理,以得到实时编码数据流对应的缓存数据序列,并可以将缓存数据序列对应的数据片段确定为与第一对象相关联的关联内容;其中,缓存数据序列为服务器从采集数据序列中所截取到的数据序列;进一步的,第二用户终端可以在第一客户端的多媒体显示界面中,显示关联内容。
其中,应当理解,在本申请实施例中,目标文本可以是由服务器通过图文识别技术从关联内容中的多媒体对象所在的目标帧中所识别到的,这样,服务器可以在提取到目标文本的情况下,将该目标文本和与该目标文本相关联的业务辅助信息一并下发给第二用户终端,以使第二用户终端可以进一步执行下述步骤S102。
可选的,可以理解的是,第二用户终端也可以在该第一客户端自身具备图文识别功能的情况下,通过图文识别技术直接从关联内容中的多媒体对象所在的目标帧中提取得到目标文本,并可以直接得到该与该目标文本相关联的业务辅助信息,此时,运行有第一客户端的第二用户终端也可以进一步执行下述步骤S102。
由此可见,在本申请实施例中,用于提取目标文本的计算机设备可以是服务器,还可以是第二用户终端。为便于理解,这里以用于提取目标文本的计算机设备为第二用户终端为例,以进一步执行下述步骤S102。
进一步的,请参见图4,图4是本申请实施例提供的一种在即时通信场景下获取关联视频的场景示意图。其中,如图4所示的用户终端41a可以为该即时通信场景下的第一用户终端,该第一用户终端所对应的第一对象可以为图4所示的用户4a。如图4所示的用户终端41c可以为该即时通信场景下的第二用户终端,该第二用户终端所对应的第二对象可以为图4所示的用户4b。
如图4所示,用户4a(即上述第一对象)可以在该即时通信场景下,通过图4所示的用户终端41a向图4所示的用户4b(即上述第二对象)分享显示在该投屏显示界面400a中的多媒体对象。如图4所示,显示在该投屏显示界面400a中的多媒体对象可以为由文本信息所构成的文本对象42a。
应当理解,在该即时通信场景下,当用户4a与用户4b进行即时通信时,为确保图4所示的用户4b(即上述第二对象)能够在用户终端41c上的多媒体显示界面400b上持续稳定看到由第一对象分享的屏幕内容。该用户4a所对应的用户终端41a可以通过直播推流的方式对该投屏显示界面400a中所显示的屏幕内容进行实时采集,以将实时采集到的由包含相应屏幕内容的视频帧所构成的视频序列作为采集视频序列(即采集数据序列),进而可以执行图4所示的步骤S11,以将对该采集视频序列(即采集数据序列)进行编码所得到的实时视频流(即实时数据流)上传至图4所示的服务器41b。
如图4所示,该服务器41b在接收到该第一用户终端通过第二客户端(例如,上述直播客户端、会议客户端、教育客户端或者社交客户端等)所上传的实时视频流(即实时数据流)的情况下,可以执行图4所示的步骤S12,以基于接收到的实时视频流(即实时数据流)确定与该用户4a相关联的关联视频,此时,与该用户4a相关联的关联视频即为用户4a向用户4b分享的关联内容。
具体的,该服务器41b在接收到由用户终端41a所上传的实时视频流(即实时数据流)时,可以进一步对该实时视频流(即实时数据流)进行解码处理,以得到前述采集视频序列(即采集数据序列)。此时,该服务器41b可以按照与该即时通信场景相关联的直播协议标准获取用于对该采集视频序列(即采集数据序列)进行采样的采用时间间隔(例如,0.5s),进而可以从该采集视频序列(即采集数据序列)中截取与该采用时间间隔所指示的帧率相匹配的缓存视频序列(即缓存数据序列)。应当理解,此时,该服务器41b可以将截取到的该缓存视频序列(即缓存数据序列)所对应的数据片段作为与该用户4a(即第一对象)相关联的关联视频,进而可以执行图4所示的步骤S13,以将该关联视频对应的实时编码视频流(即关联内容对应的实时编码数据流)下发给图4所示的用户终端41c(即上述运行有第一客户端的第二用户终端)。
应当理解,在该即时通信场景下,图4所示的用户终端41c在获取到服务器41b下发的实时编码视频流(即实时编码数据流)时,可以快速对该实时编码视频流(即实时编码数据流)进行解码处理,以将解码得到的前述屏幕内容对应的关联视频(即关联内容)输出显示在该第一客户端的多媒体显示界面400b中。应当理解,当该第一客户端具备上述图文识别功能时,可以通过该图文识别功能对应的图文识别技术(即上述计算机视觉技术),执行图4所示的步骤S14,以从关联视频(即关联内容)中确定包含文本对象42a的目标帧,进而可以从目标帧中提取图4所示的目标文本43a,以便于后续可以进一步执行下述步骤S102。
其中,可以理解的是,在用户4a与用户4b之间所进行的即时通信,可以包含上述视频直播场景下的单向会话通信(比如,作为主播用户的用户4a可以通过上述直播客户端向作为观众用户的用户4b进行视频直播),还可以包含上述视频会话场景下的双向会话通信(比如,作为分享任务发起方的用户4a可以通过上述社交客户端向作为好友联系人或者群组联系人的用户4b进行视频会话)。
可选的,应当理解,对于上述运行有第一客户端的第二用户终端而言,还可以在非即时通信场景下获取用于在多媒体显示界面中进行显示的关联内容,此时,该关联内容可以为第一对象所分享的点播视频中的关联视频。具体的,在非即时通信场景下,第二用户终端可以响应于针对第一客户端执行的视频点播操作,向服务器发送携带点播视频标识的点播请求;点播请求用于指示服务器在查找到与点播视频标识匹配的点播视频时,获取点播视频中的分割视频片段;点播视频是由第一对象通过第二客户端上传的回放视频流所确定的;回放视频流为运行有第二客户端的第一用户终端对点播视频的点播视频序列进行编码所得到的;分割视频片段为服务器对点播视频序列进行片段分割后所得到的;进一步的,第二用户终端可以接收服务器下发的分割视频片段对应的编码片段流,并可以对编码片段流进行解码处理,以得到分割视频片段;进一步的,第二用户终端可以将解码得到的分割视频片段确定为第一对象向第二对象分享的关联视频,进而可以在第一客户端的多媒体显示界面中,显示该关联视频。
可选的,进一步的,请参见图5,图5是本申请实施例提供的一种在非即时通信场景下获取关联视频的场景示意图。其中,如图5所示的用户终端51a可以为该非即时通信场景(例如,视频节目点播场景)下的第一用户终端,该第一用户终端所对应的第一对象可以为图5所示的用户5a。如图5所示的用户终端51c可以为该非即时通信场景(例如,视频节目点播场景)下的第二用户终端,该第二用户终端所对应的第二对象可以为图5所示的用户5b。
如图5所示,用户5a(即上述第一对象)可以在该视频节目点播场景下,通过图5所示的用户终端51a可以执行图5所示的步骤S21,以通过视频发布界面400c向图5所示的服务器51b发布图5所示的点播视频对应的回放视频流。这样,服务器51b在接收到回放视频流时,可以解码得到该回放视频流对应的点播视频,进而可以执行图5所示的步骤S22,即该服务器51b可以基于该点播视频的视频分类类型(例如,游戏类、综艺类、体育类、动漫类),将该点播视频添加至图5所示的业务数据库,具体的,服务器51b可以将该点播视频存储至相应视频分类类型对应的推荐数据库。
应当理解,对于服务器51b而言,后续可以基于该视频节目点播场景下的观众用户的兴趣爱好(应当理解,该服务器51b所获取到的各个观众用户的兴趣爱好是基于这些观众用户授权所得到的),向这些观众用户推荐与各自兴趣爱好相符的视频节目。其中,应当理解,服务器51b向观众用户所推荐的视频节目可以以视频详情页面的形式展示在观众用户所使用的用户终端。
比如,该视频节目点播场景下的观众用户可以包含图5所示的用户5b。如图5所示,当图5所示的用户5b(即上述第二对象)通过第一客户端显示由服务器51b所下发的视频详情页面(比如,该视频详情页面中包含前述用户5a所发布的点播视频所对应的视频详情信息)时,该用户终端51c上所运行的第一客户端可以响应于用户5b针对该视频详情页面中的点播视频执行的点播触发操作,进而可以根据该点播视频的视频详情信息,生成携带该点播视频的点播视频标识(比如,视频ID)的点播请求,从而可以执行图5所示的步骤S23,即此时,该用户终端51c可以向服务器51b发送前述点播请求。
进一步的,服务器可以执行图5所示的步骤S24,以基于该点播请求中携带的点播视频标识(比如,视频ID)在图5所示的业务数据库下的相应推荐数据库中查找前述点播视频,进而可以得到该点播视频对应的点播视频序列。此时,服务器51b可以获取用于对该点播视频序列进行片段分割时的分割参数,进而可以基于分割参数将点播视频序列划分为N个视频片段;这里的N为正整数;进一步的,服务器51b可以在划分得到的N个视频片段中将一个或者多个视频片段统称为用户5a向用户5b分享的关联视频,以执行图5所示的步骤S25,进而可以相继将这N个视频片段分发给图5所示的用户终端51c,以使得该用户终端51c可以在多媒体显示界面400d(例如,视频播放界面)上播放接收到的各个关联视频,从而可以在该多媒体显示界面400d上显示对应的关联视频,这样,该用户终端51c在遍历播放各个关联视频的过程中(即该用户终端51c在显示对应关联视频的关联内容的过程中),还可以异步执行图5所示的步骤S26,即可以通过第一客户端所具备的图文识别功能所对应的图文识别技术(即上述计算机视觉技术),从对应关联视频中确定包含文本对象42b的目标帧,进而可以从目标帧中提取图5所示的目标文本43b,以便于后续可以进一步执行下述步骤S102,即如图5所示,在用户终端51c中所运行的第一客户端显示目标帧时,进一步在该多媒体显示界面400d上输出与目标文本43b具有相同文本内容的共享文本44b。
其中,可以理解的是,服务器51b在确定与用户5a向用户5b分享的关联视频的过程中,还可以遍历将N个视频片段中的第i个视频片段作为分割视频片段,以将遍历确定的分割视频片段作为与第一对象相关联的关联视频;这里的i为小于等于N的正整数。
步骤S102,在第一客户端显示目标帧时,在多媒体显示界面上为第二对象展示具有触发编辑功能的共享文本;
具体的,可以理解的是,第二用户终端中运行的第一客户端在通过图文识别功能所对应的图文识别技术,从关联内容中的多媒体对象所在的目标帧中提取到目标文本时,还可以一并确定与该目标文本相关联的业务辅助信息,这样,该第一客户端可以基于该业务辅助信息确定目标文本的文本显示位置(比如,上述第一显示位置),进而可以基于目标文本的文本显示位置确定与该目标文本具有相同文本内容的共享文本的文本显示位置(比如,上述第二显示位置),这样,第二用户终端可以在该第一客户端显示目标帧时,在该目标帧所对应的多媒体显示界面上,基于前述第二显示位置输出与该目标文本具有相同文本内容的共享文本,进而可以在多媒体显示界面上为第二对象展示具有触发编辑功能的共享文本。
其中,这里的第一显示位置可以与第二显示位置为同一显示位置,也可以为不同显示位置,比如,第二显示位置可以为在该多媒体显示界面上所确定的不同于第一显示位置的任意一个显示位置,这里将不对共享文本的具体显示位置进行限定。
为便于理解,进一步的,请参见图6,图6是本申请实施例提供的另一种在多媒体显示界面上显示共享文本的场景示意图。如图6所示的目标文本62a是由第二用户终端中运行的第一客户端通过图文识别技术从多媒体对象61a所在的目标帧中提取到的,该第二用户终端所对应的第二对象为图6所示的对象B。
如图6所示的目标文本62a的文本显示位置为第一显示位置,该第一显示位置是由该目标文本62a的文本位置信息所确定的。如图6所示,当第一客户端在图6所示的显示界面600a(即前述第一客户端的多媒体显示界面)中播放到该目标帧时,可以在该目标文本62a所在的第一显示位置上输出图6所示的控件63a。应当理解,该控件63a为具有触发编辑功能的文本显示控件,进而可以在该文本显示控件上输出图6所示的共享文本62b。可以理解的是,该共享文本62b为第一客户端上所显示的与目标文本具有相同文本内容的共享文本。如图6所示,此时,该共享文本62a所在的第二显示位置与前述目标文本62a所在的第一显示位置为同一显示位置。
应当理解,在显示界面600a的第一显示位置上所放置的控件63a可以为透明控件(即该控件63a的透明度为100%),且该透明控件直接覆盖在目标文本62a的上方。此时,对于图6所示的对象B而言,当该对象B通过点击图6所示的具有触发编辑功能的共享文本62b实现链接跳转时,则可以间接等效于该对象B通过点击该目标帧中不具有触发编辑功能的目标文本62a实现链接跳转。
可选的,在一些其他实施例中,该控件63a也可以为非透明控件,本申请实施例将不对该控件63a的透明度进行限定。
其中,可以理解的是,在上述即时通信场景下,与该目标文本62a相关联的业务辅助信息具体可以包含该目标文本62a的文本位置信息。可选的,在上述非即时通信场景下,与该目标文本62a相关联的业务辅助信息不仅可以包含该目标文本62a的文本位置信息,还可以包含该目标文本62a的文本出现时长。
比如,在上述非即时通信场景下,目标文本62a可以持续性地出现在一个或者多个目标帧中,这里将不对包含目标文本62a的目标帧的数量进行限定。基于此,在上述非即时通信场景下,本申请实施例可以将根据这些目标帧出现在上述点播视频序列中的起始帧时间戳和结束帧时间戳所确定的时长,统称为目标文本62a的文本出现时长。
其中,可以理解的是,若从图6所示的多媒体对象61a中所提取出的目标文本61a包含图6所示的链接类字符串,则这里的文本出现时长具体是指该链接类字符串的链接出现时长。
可选的,在一些可实现的其他实施例中,若第一客户端从多媒体对象中所提取出的目标文本包含非链接类字符串,则这里的文本出现时长具体是指该非链接类字符串的字符出现时长。这样,第二对象可以在该字符出现时长内对与该非链接类字符串具有相同文本内容的共享文本进行复制等操作。
其中,可以理解的是,目标文本的文本位置信息可以通过以下多个位置参数来描述。比如,文本位置信息P可以记为(X,Y,W,H)。其中,位置参数X用于描述该目标文本所在的文本显示区域出现在目标帧中的横向坐标;位置参数Y用于描述该目标文本所在的文本显示区域出现在目标帧中的纵向坐标;位置参数W用于描述该目标文本的文本长度,位置参数H用于描述该目标文本的文本高度。基于此,本申请实施例可以将基于位置参数W和位置参数H所确定的区域统称为该目标文本所在的文本显示区域。
其中,可以理解的是,目标文本中的每个字符的字符位置信息p可以记为(x,y,w,h)。其中,位置参数w用于描述该目标文本中的每个字符的字符长度,且该目标文本中的每个字符的字符长度可以用于确定前述目标文本的文本长度,且w小于W;其中,位置参数h用于描述该目标文本中的每个字符的字符高度,且该目标文本中的每个字符的字符高度可以用于确定前述目标文本的文本高度,且h可以小于或者等于H。此外,位置参数x用于描述该目标文本中的每个字符出现在该目标帧中的横向坐标位置信息,以此类推,位置参数y用于描述该目标文本中的每个字符出现在该目标帧中的纵向坐标位置信息。
可选的,在一些其他可实现的实施例中,为进一步提升共享文本的获取效率,本申请实施例还可以在上述服务器具有上述图文识别功能的情况下,直接通过上述图文识别功能所对应的图文识别技术,识别关联内容中包含多媒体对象的目标帧,进而可以从识别到的目标帧中提取得到目标文本。这样,服务器在将上述关联内容下发给第二用户终端时,还可以一并将从该关联内容中所提取到的与目标文本相关联的业务辅助信息一并下发给第二用户终端,使得第二用户终端在显示该关联内容中的目标帧时,直接在多媒体显示界面上输出与预先提取到的目标文本具有相同文本内容的共享文本。
在本申请实施例中,当第一客户端在第一客户端显示目标帧时,可以在多媒体显示界面上显示具有触发编辑功能的共享文本。应当理解,当前显示在多媒体显示界面上的共享文本与不具有触发编辑功能的目标帧中所包含的目标文本具有相同的文本内容,此时,第二对象当前可以直接对该与该目标文本具有相同文本内容的共享文本进行复制和触发等操作。这样,第二对象在使用该第一客户端观看该关联内容时,可以在无需退出多媒体显示界面的情况下,在显示该关联内容的同时,提升共享文本的获取效率。
进一步地,请参见图7,图7是本申请实施例提供的另一种数据处理方法的示意图。如图7所示,方法可以由集成有第一客户端的第二用户终端执行,也可以由服务器执行,还可以由第二用户终端和服务器共同执行。为便于理解,本实施例以该方法由第二用户终端执行为例进行说明,该方法具体可以包含以下步骤:
步骤S201,在第一客户端的多媒体显示界面中,显示第一对象向第二对象分享的关联内容;
其中,关联内容的目标帧中包含与目标帧对应的目标文本;目标帧不具有触发编辑功能;应当理解,本申请所涉及的关联内容可以直接显示在第一客户端的多媒体显示界面中,且该关联内容中的多媒体对象可以包含但不限于从目标帧中所识别到的文本对象和图像对象。
应当理解,在本申请实施例中,运行在该第二用户终端中的第一客户端通过使用上述计算机视觉技术(比如,图文识别技术)从多媒体对象(例如,文本对象)所提取到的目标文本具体可以包含链接类字符串、非链接类字符串。其中,可以理解的是,具有上述图文识别功能的设备可以集成在第二用户终端,此时,该第二用户终端具备该图文识别功能。
应当理解,这里的图文识别技术可以包含但不限于光学字符识别(OCR,OpticalCharacter Recognition)技术。本申请实施例可以通过该OCR技术,对多媒体对象中所包含的文本信息进行分析识别处理,以提取得到前述目标文本和该目标文本的业务辅助信息。其中,可以理解的是,当通过该OCR技术从该多媒体对象所在的目标帧中提取到的目标文本为非空字符串(比如,上述链接类字符串和非链接类字符串)时,则可以确定该多媒体对象包含文本对象,进而可以继续执行下述步骤S202。
步骤S202,在第一客户端显示目标帧时,在多媒体显示界面上为第二对象展示具有触发编辑功能的共享文本;
可选的,当具有上述图文识别功能的设备集成且运行在服务器中时,则该服务器可以用于通过上述OCR技术从包含多媒体对象的目标帧中提取目标文本,且该服务器还可以确定与该目标文本相关联的业务辅助信息。这样,对于第二用户终端而言,第二用户终端可以直接接收服务器所下发的与目标文本相关联的业务辅助信息;其中,应当理解,在上述即时通信场景下,这里的业务辅助信息可以包含目标文本的文本位置信息;进一步的,第二用户终端可以在第一客户端显示目标帧时,将目标文本的文本位置信息作为第一显示位置,且在第一显示位置上输出具有触发编辑功能的文本显示控件;进一步的,第二用户终端可以在文本显示控件上展示与目标文本具有相同文本内容的共享文本。
其中,第二用户终端在文本显示控件上展示共享文本的具体过程可以描述为:第二用户终端可以获取与目标文本具有相同文本内容的字符串,并可以在文本显示控件的透明度被配置为目标透明度时,将获取到的字符串与具备目标透明度的文本显示控件进行绑定;进一步的,第二用户终端可以将绑定有目标透明度的文本显示控件的字符串作为具有触发编辑功能的共享文本,且在具备目标透明度的文本显示控件上展示共享文本。
可选的,第二用户终端还可以在具备目标透明度的文本显示控件上展示共享文本时,在多媒体显示界面上输出用于指示第二对象触发共享文本的文本提示信息。
为便于理解,进一步的,请参见图8,图8是本申请实施例提供的一种在多媒体显示界面上输出共享文本的文本指示信息的场景示意图。如图8所示的显示界面800a可以为该第一客户端的多媒体显示界面。在该多媒体显示界面上所显示的共享文本82b即为图8所示的对象A(即上述第一对象)所分享的链接类字符串。可以理解的是,当该共享文本82b被输出展示在透明控件(例如,上述图6所示的透明度为100%的控件63a)上,运行在第二用户终端中的第一客户端还可以通过图6所示的提示文本信息来提示第二对象(例如,上述图6所示的对象B),该共享文本82b为与目标文本具有相同文本内容,且具有触发编辑功能的共享文本。比如,图8所示的提示文本信息可以为“配置有链接的隐藏按钮”,这里将不对显示在该多媒体显示界面上的提示文本信息的具体内容进行限定。
其中,共享文本与目标文本具有相同文本内容;考虑到展示在多媒体显示界面上的共享文本与目标帧中的目标文本具有相同的文本内容,那么,当目标帧中所包含的目标文本为非空字符串(比如,链接类字符串)时,则展示在该多媒体显示界面上的具有触发编辑功能的目标文本即为链接类字符串。可选的,当目标帧中所包含的目标文本为非空字符串(比如,非链接类字符串)时,则展示在该多媒体显示界面上的具有触发编辑功能的目标文本即为非链接类字符串。
可选的,应当理解,当通过上述OCR技术从该多媒体对象所在的目标帧中提取到的目标文本为空字符串时,则可以间接反映该多媒体对象为不包含文本信息的图片对象(比如,在上述视频会话场景下,第一对象向第二对象分享的图像对象可以包含但不限于需要分享的照片、书籍中的插图等)。此时,运行有第一客户端的第二用户终端则可以基于该图像对象所在的图像显示区域的图像位置信息,智能为该图像对象配置具有触发编辑功能的图像显示控件,这样,在第一客户端显示目标帧时,可以在多媒体显示界面上的图像对象所在的图像显示区域输出图像显示控件,且可以在图像显示控件上输出与图像对象具有相同图像内容的共享图像。这样,对于第二对象而言,可以根据自己的需求自主选择是否触发该共享图像,那么,当第二对象选择触发该共享对象时,则可以在该多媒体显示界面上显示用于指示下载该共享图像的文本指示信息。其中,第二用户终端为该图像对象配置图像显示控件的具体实现方式,可以参见上述第二用户终端为上述文本对象配置文本显示控件的描述,这里将不再继续进行赘述。
为便于理解,这里以多媒体对象包含文本对象为例,那么,当服务器通过上述具有图文识别功能的设备从文本对象中所提取的目标文本包含链接类字符串时,则在第二用户终端中所显示的与目标文本具有相同文本内容的共享文本包含链接类字符串。此时,第二对象通过该运行有第一客户端的第二用户终端可以继续执行下述步骤S203-步骤S204,即第二对象可以针对显示在多媒体显示界面上的链接类字符串执行触发操作,进而可以无需暂定视频播放的情况下,同步显示该链接类字符串对应的链接内容。
步骤S203,响应于针对共享文本所在的文本显示区域执行的触发操作,输出与共享文本中的链接类字符串相关联的链接内容显示区域;
步骤S204,在链接内容显示区域中显示链接类字符串对应的链接内容。
应当理解,在本申请实施例中,该链接内容显示区域可以为独立于该多媒体显示界面显示的子区域。比如,该链接内容显示区域可以为该第一客户端通过内置的浏览插件,在该多媒体显示界面上所显示的一个浮窗,比如,该浮窗的显示尺寸可以小于该多媒体显示界面的显示尺寸。
为便于理解,进一步的,请参见图9,图9为本申请实施例提供的一种显示链接内容的场景示意图。如图9所示的显示界面900a和显示界面900b为该第一客户端在不同时刻下的多媒体显示界面。如图9所示,对象B(即第二对象)可以针对该显示界面900a上所显示的共享文本92b执行触发操作,从而可以在图9的显示界面900b上输出链接内容显示区域。如图9所示,该链接内容显示区域可以为图9所示的显示区域900c,该显示区域900c用于显示该共享文本92b中链接类字符串对应的链接内容。
可选的,第一客户端还可以进一步执行下述步骤:即第一客户端可以在链接内容显示区域(例如,图9的显示区域900c)中显示链接类字符串对应的链接内容时,在多媒体显示界面(例如,图9所示的显示界面900b)中同步播放与共享文本相关联的关联帧;关联帧的数量取决于共享文本中的链接类字符串在多媒体显示界面上的链接共享时长。
由此可见,在本申请实施例中,对于目标帧为视频帧而言,第一客户端可以在播放完目标帧之后,进一步播放位于该目标帧之后的其他帧,进而可以在播放其他视频帧的情况下,继续保持在用于播放其他视频帧的多媒体显示界面上显示具有触发编辑功能的共享文本。为便于理解,本申请实施例可以将播放时间戳小于目标帧,且在链接共享时长内不包含前述目标文本的视频帧统称为关联帧。这意味着本申请实施例即可以在显示包含目标文本的目标帧时,在多媒体显示界面上输出与该目标文本具有相同文本内容的共享文本,还可以在后续进一步显示不包含目标文本的关联帧时,保持继续在多媒体显示界面上输出与该目标文本具有相同文本内容的共享文本。
其中,可以理解的是,本申请实施例可以在显示关联内容的过程中,记录共享文本(比如,前述链接类字符串)的起始共享时间戳(比如,前述目标帧对应的播放时间戳)和该共享文本(比如,前述链接类字符串)的结束共享时间戳(比如,前述关联视频中的最后一个关联帧对应的播放时间戳),并可以将在该起始共享时间戳和结束共享时间戳之间的共享时长统称为该共享文本(比如,前述链接类字符串)在该多媒体显示界面上的链接共享时长。
其中,应当理解,在本申请实施例中的链接共享时长包含但不限于上述链接出现时长。即第一客户端在播放一个或者多个包含目标文本的目标帧的同时,可以在该链接出现时长内同步显示与该目标文本具有相同文本内容的共享文本。可选的,该链接共享时长还可以包含除链接出现时长之外的其他共享时长。比如,当第一客户端播放完前述目标帧,且进一步播放上述关联帧(这里的关联帧可以不包含前述目标文本)时,也可以继续显示该共享文本。比如,该共享文本可以在目标帧所对应的播放时间段(即前述链接出现时长)内进行显示,还可以持续在其他关联帧的播放时间段(即前述其他共享时长)内进行显示。
可选的,在本申请实施例中,第一客户端还可以在共享文本中的链接类字符串的链接共享时长达到共享时长阈值时,在多媒体显示界面上隐藏共享文本中的链接类字符串。
可选的,在本申请实施例中,该链接内容显示区域还可以为对用于显示关联内容的该多媒体显示界面进行界面划分后所得到的一个子区域(比如,第一区域)。比如,第一客户端可以对当前用于显示该关联内容的多媒体显示界面进行界面划分,进而可以在划分得到的另一个子区域(比如,第二区域)中继续显示该关联内容,并在划分得到的第一区域中,同步显示前述链接类字符串对应的链接内容。
可选的,第一客户端在执行完上述步骤S202的情况下,还可以进一步执行下述步骤S205-步骤S206,即第二对象可以通过该第一客户端对从多媒体对象(例如,文本对象)中所提取到的非链接类字符串进行复制,以将复制得到的这些非链接类字符串发送给自己所需要分享至的业务平台。
比如,在关联内容中的多媒体对象包含文本对象,且从文本对象中所提取的目标文本包含非链接类字符串时,与目标文本具有相同文本内容的共享文本包含非链接类字符串;
步骤S205,响应于针对共享文本所在的文本显示区域执行的拷贝操作,输出与共享文本中的非链接类字符串相关联的业务展示区域;
步骤S206,响应针对业务展示区域中的业务平台的选取操作,向业务平台发送非链接类字符串对应的拷贝内容。
在本申请实施例中,若第一客户端接收到上述服务器下发的目标文本为非空字符串(比如,链接类字符串或者非链接类字符串),则在第一客户端显示目标帧时,可以在多媒体显示界面上显示具有触发编辑功能的共享文本。这样,第二对象在使用该第一客户端观看该关联内容时,可以在无需退出多媒体显示界面的情况下,确保关联内容的正常显示,并可以提升共享文本的获取效率。应当理解,当前展示在多媒体显示界面上的共享文本与当前显示的该目标帧中所包含的目标文本具有相同的文本内容,此时,针对该具有触发编辑功能的共享文本,第二对象当前可以直接对该与该目标文本具有相同文本内容的共享文本进行复制和触发等操作,比如,对于目标文本包含链接类字符串而言,第二对象可以针对该具有触发编辑功能的共享文本中的链接类字符串进行触发操作,进而可以在不影响显示关联内容的情况下,快速实现链接跳转,即本申请实施例可以在不退出多媒体显示界面的情况下,提升链接内容的获取效率。又比如,对于目标文本包含非链接类字符串而言,第二对象可以针对该具有触发编辑功能的共享文本中的非链接类字符串进行复制操作,进而可以在不影响显示关联内容的情况下,快速实现字符串的拷贝,即本申请实施例可以在不退出多媒体显示界面的情况下,提升字符串的拷贝效率。
进一步的,请参见图10,图10是本申请实施例提供的又一种数据处理方法的交互流程时序图。该方法由第二用户终端与服务器共同执行。
步骤S301,服务器获取第一对象向第二对象分享的关联内容;
其中,关联内容的目标帧不具有触发编辑功能;关联内容为第一对象通过第二客户端所上传的原始数据流中的数据片段;这里的关联内容可以包含数据片段所对应的文档内容或者视频内容。
其中,第一对象所使用的用户终端为第一用户终端,该第一用户终端中运行有前述第二客户端。同理,第二对象所使用的用户终端为第二用户终端,该第二用户终端中运行有前述第一客户端。
其中,原始数据流包含由第一对象对应的第二客户端上传的实时数据流;实时数据流为在第一对象与第二对象进行即时通信时,由第二客户端对实时采集到的采集数据序列进行编码所得到的;其中,服务器基于实时数据流确定关联内容的具体实现方式,可以参见上述图4所对应实施例中对即时通信场景下确定关联视频的具体过程的描述,这里将不再继续进行赘述。其中,应当理解,在即使通讯场景下,该关联内容可以为文档内容所对应的数据片段,还可以为该文本内容所对应的视频内容的视频片段。
可选的,当关联内容为第一对象分享的点播视频中的关联视频时,原始数据流包含由第一对象对应的第二客户端上传的点播视频所对应的回放视频流;回放视频流为第二客户端对点播视频的点播视频序列进行编码所得到的;其中,服务器基于回放视频流确定关联视频的具体实现方式,可以参见上述图5所对应实施例中对非即时通信场景下确定关联视频的具体过程的描述,这里将不再继续进行赘述。
步骤S302,服务器将关联内容下发给第一客户端;
应当理解,在本申请实施例中,服务器在获取到第一对象向第二对象分享的关联的情况下,可以将编码后的关联内容对应的编码数据流下发给运行有第一客户端的第二用户终端,以便于后续第二用户终端在解码得到该关联内容的情况下,可以执行步骤S304,以显示该关联内容。其中,可以理解的是,在上述即时通信场景下,这里的编码视频流为上述实时编码数据流;可选的,在上述非即时通信场景下,这里的编码视频流为上述编码片段流。
步骤S303,服务器从目标帧中提取关联内容对应的目标文本,且基于原始数据流所属的数据流类型确定提取目标文本时的业务辅助信息;
具体的,在即时通信场景下,服务器通过图文识别技术识别目标帧所包含的多媒体对象,从识别到的多媒体对象中提取关联内容对应的目标文本;进一步的,服务器可以在原始数据流所属的数据流类型为即时通信类型时,获取目标文本中的每个字符的字符位置信息,基于获取到的每个字符的字符位置信息确定目标文本的文本位置信息;基于目标文本的文本位置信息,确定在提取目标文本时的业务辅助信息。可选的,在非即时通信场景下,服务器也可以通过图文识别技术识别目标帧所包含的多媒体对象,并从识别到的多媒体对象中提取关联内容对应的目标文本;在原始数据流所属的数据流类型为非即时通信类型时,获取目标文本中的每个字符的字符位置信息,进而可以基于获取到的每个字符的字符位置信息确定目标文本的文本位置信息;获取目标帧出现在点播视频序列中的起始帧时间戳以及结束时间戳,将基于起始帧时间戳和结束帧时间戳所确定的时长作为目标文本的链接出现时长;基于目标文本的文本位置信息以及链接出现时长,确定在提取目标文本时的业务辅助信息。
其中,可以理解的是,当将上述具有图文识别功能的设备集成运行在服务器中时,该服务器具备从多媒体对象中提取得到目标文本的能力,且该服务器提取得到目标文本以及确定业务辅助信息的具体实现方式,可以参见上述图7所对应实施例中对业务辅助信息的描述,这里将不再继续进行赘述。
步骤S304,第二用户终端在第一客户端的多媒体显示界面中,显示第一对象向第二对象分享的关联内容;
步骤S305,服务器将提取到的目标文本以及业务辅助信息下发给第二对象对应的第一客户端。
其中,关联内容的目标帧中包含该目标帧对应的目标文本;目标文本是服务器从不具有触发编辑功能的目标帧所包含的多媒体对象中提取到的;
步骤S306,第二用户终端在第一客户端显示目标帧时,基于业务辅助信息在用于显示关联内容的多媒体显示界面上输出具有触发编辑功能的共享文本;共享文本与目标文本具有相同文本内容。
为便于理解,进一步的,请参见图11,图11是本申请实施例提供的一种快速获取共享文本的数据交互图。其中,为便于理解,这里以上述即时通信场景为在线会议场景为例,此时,第一客户端和第二客户端均为会议客户端。其中,第一客户端运行在图11所示的会议观看端111c(即上述第二用户终端),第二客户端运行在图11所示的会议投屏端111a(即上述第一用户终端)。
如图11所示,当第一对象通过会议投屏端111a向第二对象分享自己的屏幕内容时,可以对实时采集到的屏幕内容所对应的采集数据序列进行编码处理,以将编码得到的实时数据流作为前述原始数据流上传给服务器111b。如图11所示,为确保第二对象能够持续稳定的看到由第一对象所分享(或者共享)的屏幕内容,该服务器111b可以按照上述采样时间间隔(例如,0.5s)对接收到的原始数据流(即图11所示的实时数据流)进行数据流截取操作,以将从前述实时数据流中所截取得到的数据流作为图11所示的实时编码数据流,进而可以将该实时编码数据流所对应的数据片段作为第一对象向第二对象分享的关联内容下发给图11所示的会议观看端111c。
如图11所示,与此同时,为确保使用该会议观看端111c的第二对象能够在观看关联内容的过程中,快速获取与该关联内容中所携带的目标文本具有相同文本内容的共享文本。本申请实施例所涉及的服务器111b可以通过图11所示的具有图文识别功能的设备,从该实时编码数据流所对应的关联内容中识别包含多媒体对象的目标帧,进而可以从识别到的目标帧中提取关联内容对应的目标文本。应当理解,本申请实施例所涉及的具有图文识别功能的设备可以为独立于服务器111b运行的服务设备,也可以为集成运行在服务器111b中的服务设备。
为便于理解,这里以具有图文识别功能的设备为独立于服务器111b运行的服务设备为例。如图11所示,具有图文识别功能的设备在通过上述OCR技术从不具有触发编辑功能的目标帧中提取得到相应的文本信息(比如,这里的文本信息可以为上述图8所示的“主题相关链接:http://AAAABBjs.dev/”)时,还可以一并得到文本信息的位置信息,进而可以将提取得到的文本信息和该文本信息的位置信息返回给服务器111b。这样,服务器111b可以进一步通过正则匹配过滤策略,从提取到的文本信息中过滤出目标文本(这里的目标文本可以为上述链接类字符串,比如“http://AAAABBjs.dev/”),并可以基于前述提取到的文本信息的文本位置信息确定该目标文本的文本位置信息。此时,服务器可以将提取到的目标文本和目标文本的文本位置信息下发给图11所示的会议观看端111c,这样,当该会议观看端111c在多媒体显示界面中显示前述关联内容中的目标帧时,则可以在该多媒体显示界面中输出具有触发编辑功能的共享文本。具体的,如图11所示,该会议观看端111c可以基于接收到的目标文本的文本位置信息确定用于放置文本显示控件的位置,进而可以在文本显示控件上展示与目标文本具有相同文本内容的共享文本。
同理,如图11所示,为便于理解,这里以上述非即时通信场景为视频节目点播场景为例,此时,第一客户端和第二客户端均为视频客户端。其中,第二客户端运行在图11所示的视频发布端112a(即上述第一用户终端),第一客户端运行在图11所示的视频观看端112c(即上述第二用户终端)。
如图11所示,当第一对象通过视频发布端112a发布整个完整的点播视频时,可以对该点播视频对应的点播视频序列进行编码处理,以将编码得到的回放视频流作为前述原始数据流上传给服务器112b。应当理解,为提升视频观看端112c对该点播视频的播放效率,该服务器112b可以在接收到原始数据流(比如,回放视频流)时,对该回放视频流所对应的点播视频进行视频分割,以将分割得到的N个视频片段中的一个或者多个作为关联视频(在非即时通信场景下,该分割得到的关联视频即为上述第一对象向第二对象分享的关联内容),下发给请求播放该关联视频的视频观看端112c,即此时,在该视频观看终端112c中运行的第一客户端上会显示该关联内容。
如图11所示,为确保使用该视频观看端112c的第二对象能够在观看关联视频的过程中,快速获取与该关联视频中所携带的目标文本具有相同文本内容的共享文本。本申请实施例所涉及的服务器111b在得到前述N个视频片段(比如,图11所示的片段1、片段2、…、片段N)时,将这N个视频片段作为关联视频,以并行的发送给图11所示的具有图文识别功能的设备,进而可以通过该具有图文识别功能的设备,从这些关联视频中识别包含多媒体对象的目标帧,进而可以从识别到的目标帧中提取前述关联内容对应的目标文本。应当理解,本申请实施例所涉及的具有图文识别功能的设备可以为独立于服务器112b运行的服务设备,也可以为集成运行在服务器112b中的服务设备。
为便于理解,这里以具有图文识别功能的设备为独立于服务器112b运行的服务设备为例。如图11所示,具有图文识别功能的设备在通过上述OCR技术从不具有触发编辑功能的目标帧中提取得到相应的文本信息(比如,这里的文本信息可以为上述图8所示的“主题相关链接:http://AAAABBjs.dev/”)时,还可以一并得到文本信息的位置信息和时间信息,进而可以将提取得到的文本信息和该文本信息的位置信息和时间信息返回给服务器112b。这样,服务器112b可以通过正则匹配过滤策略,从提取到的文本信息中过滤出目标文本(这里的目标文本可以为上述链接类字符串,比如“http://AAAABBjs.dev/”),并可以基于前述提取到的文本信息的位置信息和时间信息,确定该目标文本的业务辅助信息(例如,上述文本位置信息和链接出现时长)。此时,服务器可以将提取到的目标文本和目标文本的业务辅助信息下发给图11所示的视频观看端112c,这样,当该视频观看端112c在多媒体显示界面中显示前述关联视频中的目标帧时,可以进一步判断该目标帧的播放时间戳(也可以称之为显示时间戳)是否属于该链接出现时长内的时间戳,若判断为是,则可以在该多媒体显示界面中快速匹配到当前时间出现的目标文本,进而可以基于接收到的目标文本的文本位置信息确定用于放置文本显示控件的位置,进而可以在文本显示控件上展示与目标文本具有相同文本内容的共享文本。
可选的,应当理解,服务器通过图文识别技术从目标帧中所提取到的文本信息中可以包含一个或者多个目标文本,这里将不对提取到的目标文本的数量和类型进行限定。比如,从目标帧中所提取到的文本信息,可以包含前述链接类字符串和非链接类字符串中的一种或者多种字符串,这里将不对其进行限定。
由此可见,本申请实施例所涉及的服务器可以通过上述图文识别技术,对关联内容的目标帧中的多媒体对象进行识别,并可以在识别到的多媒体对象中提取文本信息,进而可以通过上述正则匹配过滤策略从提取到的文本信息中过滤得到关联内容对应的目标文本,并可以确定提取目标文本时的业务辅助信息,从而可以将得到的目标文本和业务辅助信息下发给运行有第一客户端的用户终端(比如,上述第二用户终端)。这样,第二用户终端在通过第一客户端显示关联内容的目标帧时,可以基于业务辅助信息在多媒体显示界面上输出与该目标文本具有相同文本内容的共享文本,进而可以将具有触发编辑功能的共享文本快速展现给使用该第一客户端的第二对象,使得第二对象可以在无需退出多媒体显示界面的情况下,提升共享文本的获取效率。
进一步地,请参见图12,图12是本申请实施例提供的一种数据处理装置的结构示意图。其中,该数据处理装置1可以包括:关联内容显示模块101,共享文本展示模块102。可选的,该数据处理装置1还可以包括:链接内容显示模块103,同步显示模块104,字符串隐藏模块105,文本拷贝模块106,图像控件配置模块107和图像控件输出模块108;
关联内容显示模块101,用于在第一客户端的多媒体显示界面中,显示第一对象向第二对象分享的关联内容;关联内容的目标帧中包含与目标帧对应的目标文本;目标帧不具有触发编辑功能;
其中,关联内容显示模块101包括:编码流接收单元1011,编码流解码单元1012和关联内容显示单元1013;
编码流接收单元1011,用于在第一对象与第二对象进行即时通信时,通过第一客户端接收服务器下发的与第一对象相关联的实时编码数据流;实时编码数据流是服务器基于接收到的由第一对象对应的第二客户端上传的实时数据流所确定的;实时数据流为第二客户端对实时采集到的采集数据序列进行编码所得到的;
编码流解码单元1012,用于对实时编码数据流进行解码处理,得到实时编码数据流对应的缓存数据序列,将缓存数据序列对应的数据片段确定为与第一对象相关联的关联内容;缓存数据序列为服务器从采集数据序列中所截取到的视频序列;
关联内容显示单元1013,用于在第一客户端的多媒体显示界面中,显示关联内容。
其中,编码流接收单元1011,编码流解码单元1012和关联内容显示单元1013的具体实现方式,可以参见上述图3所对应实施例中对在即时通信场景下获取关联视频的具体过程的描述,这里将不再继续进行赘述。
可选的,其中,关联内容为第一对象分享的点播视频中的关联视频,关联内容显示模块101还包括:视频点播单元1014,片段流解码单元1015和关联内容确定单元1016;
视频点播单元1014,用于响应于针对第一客户端执行的视频点播操作,向服务器发送携带点播视频标识的点播请求;点播请求用于指示服务器在查找到与点播视频标识匹配的点播视频时,获取点播视频中的分割视频片段;点播视频是由第一对象通过第二客户端上传的回放视频流所确定的;回放视频流为第二客户端对点播视频的点播视频序列进行编码所得到的;分割视频片段为服务器对点播视频序列进行片段分割后所得到的;
片段流解码单元1015,用于接收服务器下发的分割视频片段对应的编码片段流,对编码片段流进行解码处理,得到分割视频片段;
关联内容确定单元1016,用于将解码得到的分割视频片段确定为第一对象向第二对象分享的关联视频,在第一客户端的多媒体显示界面中,显示关联视频。
其中,视频点播单元1014,片段流解码单元1015和关联内容确定单元1016的具体实现方式,可以参见上述图3所对应实施例中对在非即时通信场景下获取关联视频的具体过程的描述,这里将不再继续进行赘述。
共享文本展示模块102,用于在第一客户端显示目标帧时,在多媒体显示界面上为第二对象展示具有触发编辑功能的共享文本;共享文本与目标文本具有相同文本内容。
其中,目标文本是由服务器通过图文识别技术从关联内容中的多媒体对象所在的目标帧中识别到的;
共享文本展示模块102包括:辅助信息接收单元1021,显示位置确定单元1022,共享文本展示单元1023;
辅助信息接收单元1021,用于接收服务器所下发的与目标文本相关联的业务辅助信息;业务辅助信息中包含目标文本的文本位置信息;
显示位置确定单元1022,用于在第一客户端显示目标帧时,将目标文本的文本位置信息作为第一显示位置,且在第一显示位置上输出具有触发编辑功能的文本显示控件;
共享文本展示单元1023,用于在文本显示控件上展示与目标文本具有相同文本内容的共享文本。
其中,共享文本展示单元1023包括:字符串获取子单元10231,字符串绑定子单元10232,文本展示子单元10233和提示信息输出子单元10234;
字符串获取子单元10231,用于获取与目标文本具有相同文本内容的字符串;
字符串绑定子单元10232,用于在文本显示控件的透明度被配置为目标透明度时,将获取到的字符串与具备目标透明度的文本显示控件进行绑定;
文本展示子单元10233,用于将绑定有目标透明度的文本显示控件的字符串作为具有触发编辑功能的共享文本,且在具备目标透明度的文本显示控件上展示共享文本。
可选的,提示信息输出子单元10234,用于文本展示子单元10233在具备目标透明度的业务控件上展示共享文本时,在多媒体显示界面上输出用于指示第二对象触发共享文本的文本提示信息。
其中,字符串获取子单元10231,字符串绑定子单元10232,文本展示子单元10233和提示信息输出子单元10234的具体实现方式,可以参见上述图3所对应实施例中在文本显示控件上显示共享文本的具体过程的描述,这里将不再继续进行赘述。
其中,辅助信息接收单元1021,显示位置确定单元1022,共享文本展示单元1023的具体实现方式,可以参见上述图3所对应实施例中对输出共享文本的具体过程的描述,这里将不再继续进行赘述。
其中,关联内容显示模块101,共享文本展示模块102的具体实现方式,可以参见上述图3所对应实施例中对步骤S101-步骤S102的描述,这里将不再继续进行赘述。
可选的,如图12所示,其中,在关联内容中的多媒体对象包含文本对象,且从文本对象中所提取的目标文本包含链接类字符串时,与目标文本具有相同文本内容的共享文本包含链接类字符串;
链接内容显示模块103,用于响应于针对共享文本所在的文本显示区域执行的触发操作,输出与共享文本中的链接类字符串相关联的链接内容显示区域;
链接内容显示模块103,还用于在链接内容显示区域中显示链接类字符串对应的链接内容。
可选的,其中,链接内容显示区域为独立于多媒体显示界面显示的子区域;
同步显示模块104,用于链接内容显示模块103在链接内容显示区域中显示链接类字符串对应的链接内容时,在多媒体显示界面中同步显示与共享文本相关联的关联帧;关联帧的数量取决于共享文本中的链接类字符串在多媒体显示界面上的链接共享时长。
可选的,字符串隐藏模块105,用于在共享文本中的链接类字符串的链接共享时长达到共享时长阈值时,在多媒体显示界面上隐藏共享文本中的链接类字符串。
其中,链接内容显示模块103,同步显示模块104,字符串隐藏模块105,的具体实现方式,可以参见上述图3所对应实施例中对链接类字符串的描述,这里将不再继续进行赘述。
可选的,其中,在关联内容中的多媒体对象包含文本对象,且从文本对象中所提取的目标文本包含非链接类字符串时,与目标文本具有相同文本内容的共享文本包含非链接类字符串;
文本拷贝模块106,用于响应于针对共享文本所在的文本显示区域执行的拷贝操作,输出与共享文本中的非链接类字符串相关联的业务展示区域;
文本拷贝模块106,还用于响应针对业务展示区域中的业务平台的选取操作,向业务平台发送非链接类字符串对应的拷贝内容。
其中,文本拷贝模块106的具体实现方式,可以参见上述图3所对应实施例中对非链接类字符串的描述,这里将不再继续进行赘述。
可选的,其中,关联内容中的多媒体对象包含图像对象;
图像控件配置模块107,用于在从目标帧所包含的图像对象中提取到的目标文本为空字符串时,为空字符串所对应的图像对象配置具有触发编辑功能的图像显示控件;
图像控件输出模块108,用于在第一客户端显示目标帧时,在多媒体显示界面上的图像对象所在的图像显示区域输出图像显示控件,且在图像显示控件上输出与图像对象具有相同图像内容的共享图像。
其中,图像控件配置模块107和图像控件输出模块108的具体实现方式,可以参见上述图7所对应实施例中对空字符串的描述,这里将不再继续进行赘述。
其中,可以理解的是,本申请实施例中的数据处理装置1可执行前文图3或图7或者图10所对应实施例中对数据处理方法的描述,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。
进一步的,请参见图13,图13是本申请实施例提供的另一种数据处理装置的结构示意图。如图13所示,该数据处理装置2可以包含:关联内容获取模块201,字符串提取模块202和字符串下发模块203;
关联内容获取模块201,用于获取第一对象向第二对象分享的关联内容;关联内容的目标帧不具有触发编辑功能;关联内容为第一对象通过第二客户端所上传的原始数据流中的数据片段;
其中,原始数据流包含由第一对象对应的第二客户端上传的实时数据流;实时数据流为在第一对象与第二对象进行即时通信时,由第二客户端对实时采集到的采集数据序列进行编码所得到的;
关联内容获取模块201包括:实时流接收单元2011,数据序列截取单元2012和关联内容确定单元2013;
实时流接收单元2011,用于接收第一对象通过第二客户端上传的实时数据流;
数据序列截取单元2012,用获取针对实时数据流进行采样的采样时间间隔,从实时数据流对应的采集数据序列中,截取与采用时间间隔所指示的帧率相匹配的缓存数据序列;
关联内容确定单元2013,用于将缓存数据序列所构成的数据片段确定为第一对象向第二对象分享的关联内容。
其中,实时流接收单元2011,数据序列截取单元2012和关联内容确定单元2013的具体实现方式,可以参见上述图10所对应实施例中对通过缓存数据序列确定关联视频的具体过程的描述,这里将不再继续进行赘述。
可选的,其中,当关联内容为第一对象分享的点播视频中的关联视频时,原始数据流包含由第一对象对应的第二客户端上传的点播视频所对应的回放视频流;回放视频流为第二客户端对点播视频的点播视频序列进行编码所得到的;
关联内容获取模块201还包括:回放流接收单元2014,片段划分单元2015和分割片段确定单元2016;
回放流接收单元2014,用于接收第一对象通过第二客户端上传的回放视频流,对回放视频流进行解码处理,得到点播视频的点播视频序列;
片段划分单元2015,用于获取用于对点播视频序列进行片段分割时的分割参数,基于分割参数将点播视频序列划分为N个视频片段;N为正整数;
分割片段确定单元2016,用于将N个视频片段中的第i个视频片段作为分割视频片段,且将分割视频片段作为关联视频;i为小于等于N的正整数。
其中,回放流接收单元2014,片段划分单元2015和分割片段确定单元2016的具体实现方式,可以参见上述图10所对应实施例中对通过分割视频片段确定关联视频的具体过程的描述,这里将不再继续进行赘述。
文本提取模块202,用于从目标帧中提取关联内容对应的目标文本,且基于原始数据流所属的数据流类型确定提取目标文本时的业务辅助信息;
其中,文本提取模块202包括:文本识别单元2021,字符位置确定单元2022和辅助信息确定单元2023;
文本识别单元2021,用于通过图文识别技术识别目标帧所包含的多媒体对象,从识别到的多媒体对象中提取关联内容对应的目标文本;
字符位置确定单元2022,用于在原始数据流所属的数据流类型为即时通信类型时,获取目标文本中的每个字符的字符位置信息,基于获取到的每个字符的字符位置信息确定目标文本的文本位置信息;
辅助信息确定单元2023,用于基于目标文本的文本位置信息,确定在提取目标文本时的业务辅助信息。
其中,文本识别单元2021,字符位置确定单元2022和辅助信息确定单元2023的具体实现方式,可以参见上述图7所对应实施例中在即时通信场景下的业务辅助信息的描述,这里将不再继续进行赘述。
可选的,其中,文本提取模块202还包括:媒体对象识别单元2024,字符位置获取单元2025,出现时长确定单元2026和辅助确定单元2027;
媒体对象识别单元2024,用于通过图文识别技术识别目标帧所包含的多媒体对象,从识别到的多媒体对象中提取关联内容对应的目标文本;
字符位置获取单元2025,用于在原始数据流所属的数据流类型为非即时通信类型时,获取目标文本中的每个字符的字符位置信息,基于获取到的每个字符的字符位置信息确定目标文本的文本位置信息;
出现时长确定单元2026,用于获取目标帧出现在点播视频序列中的起始帧时间戳以及结束时间戳,将基于起始帧时间戳和结束帧时间戳所确定的时长作为目标文本的链接出现时长;
辅助确定单元2027,用于基于目标文本的文本位置信息以及链接出现时长,确定在提取目标文本时的业务辅助信息。
其中,媒体对象识别单元2024,字符位置获取单元2025,出现时长确定单元2026和辅助确定单元2027的具体实现方式,可以参见上述图7所对应实施例中在非即时通信场景下确定业务辅助信息的具体过程的描述,这里将不再继续进行赘述。
文本下发模块203,用于将提取到的目标文本以及业务辅助信息下发给第二对象对应的第一客户端,以使第一客户端在显示目标帧时,基于业务辅助信息在用于显示关联内容的多媒体显示界面上输出具有触发编辑功能的共享文本;共享文本与目标文本具有相同文本内容。
其中,关联内容获取模块201,文本提取模块202和文本下发模块203的具体实现方式,可以参见上述图10所对应实施例中对步骤S301-步骤S305的描述,这里将不再继续进行赘述。
其中,可以理解的是,本申请实施例中的数据处理装置2可执行前文图7或图10所对应实施例中对数据处理方法的描述,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。
进一步地,请参见图14,图14是本申请实施例提供的一种计算机设备的结构示意图。如图14所示,该计算机设备4000可以为上述第二用户终端,该第二用户终端可以为上述图1所对应实施例中的用户终端2000a,可选的,该计算机设备4000还可以为服务器,该服务器可以为上述图1所对应实施例中的业务服务器1000。为便于理解,本申请实施例以该计算机设备为第二用户终端为例。此时。该计算机设备4000可以包括:处理器1001,网络接口1004和存储器1005,此外,该计算机设备4000还可以包括:用户接口1003,和至少一个通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。其中,用户接口1003可以包括显示屏(Display)、键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图14所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。
其中,该计算机设备4000中的网络接口1004还可以提供网络通讯功能,且可选用户接口1003还可以包括显示屏(Display)、键盘(Keyboard)。在图14所示的计算机设备1000中,网络接口1004可提供网络通讯功能;而用户接口1003主要用于为用户提供输入的接口;而处理器1001可以用于调用存储器1005中存储的设备控制应用程序,以执行前文图3或图7或者图10所对应实施例中对数据处理方法的描述,也可执行前文图12所对应实施例中对数据处理装置1的描述,还可以执行前文图13所对应实施例中对数据处理装置2的描述在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。
此外,这里需要指出的是:本申请实施例还提供了一种计算机存储介质,且计算机存储介质中存储有前文提及的数据处理装置1或者数据处理装置2所执行的计算机程序,且计算机程序包括程序指令,当处理器执行程序指令时,能够执行前文图3或图7或者图10所对应实施例中对数据处理方法的描述,因此,这里将不再进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本申请所涉及的计算机存储介质实施例中未披露的技术细节,请参照本申请方法实施例的描述。
可以理解的是,本申请实施例还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行前文图3或图7或者图10所对应实施例中对数据处理方法的描述,因此,这里将不再进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本申请所涉及的计算机存储介质实施例中未披露的技术细节,请参照本申请方法实施例的描述。
进一步的,请参见图15,图15是本申请实施例提供的一种数据处理系统的结构示意图。该数据处理系统3可以包含数据处理装置300a和数据处理装置300b。其中,数据处理装置300a可以为上述图13所对应实施例中的数据处理装置1,可以理解的是,该数据处理装置300a可以集成在上述图1所对应实施例中的用户终端2000a,因此,这里将不再进行赘述。其中,数据处理装置300b可以为上述图15所对应实施例中的数据处理装置2,可以理解的是,该数据处理装置300b可以集成在上述对应实施例中的业务服务器1000,因此,这里将不再进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本申请所涉及的数据处理系统实施例中未披露的技术细节,请参照本申请方法实施例的描述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
以上所揭露的仅为本申请较佳实施例而已,当然不能以此来限定本申请之权利范围,因此依本申请权利要求所作的等同变化,仍属本申请所涵盖的范围。
Claims (21)
1.一种数据处理方法,其特征在于,包括:
在第一客户端的多媒体显示界面中,显示第一对象向第二对象分享的关联内容;所述关联内容的目标帧中包含与所述目标帧对应的目标文本;所述目标帧不具有触发编辑功能;
在所述第一客户端显示所述目标帧时,在所述多媒体显示界面上为所述第二对象展示具有触发编辑功能的共享文本;所述共享文本与所述目标文本具有相同文本内容。
2.根据权利要求1所述的方法,其特征在于,在所述关联内容中的多媒体对象包含文本对象,且从所述文本对象中所提取的所述目标文本包含链接类字符串时,与所述目标文本具有相同文本内容的所述共享文本包含所述链接类字符串;
所述方法还包括:
响应于针对所述共享文本所在的文本显示区域执行的触发操作,输出与所述共享文本中的所述链接类字符串相关联的链接内容显示区域;
在所述链接内容显示区域中显示所述链接类字符串对应的链接内容。
3.根据权利要求2所述的方法,其特征在于,所述链接内容显示区域为独立于所述多媒体显示界面显示的子区域;
所述方法还包括:
在所述链接内容显示区域中显示所述链接类字符串对应的链接内容时,在所述多媒体显示界面中同步显示与所述共享文本相关联的关联帧;所述关联帧的数量取决于所述共享文本中的所述链接类字符串在所述多媒体显示界面上的链接共享时长。
4.根据权利要求2所述的方法,其特征在于,所述方法还包括:
在所述共享文本中的所述链接类字符串的链接共享时长达到共享时长阈值时,在所述多媒体显示界面上隐藏所述共享文本中的所述链接类字符串。
5.根据权利要求1所述的方法,其特征在于,在所述关联内容中的多媒体对象包含文本对象,且从所述文本对象中所提取的所述目标文本包含非链接类字符串时,与所述目标文本具有相同文本内容的所述共享文本包含所述非链接类字符串;
所述方法还包括:
响应于针对所述共享文本所在的文本显示区域执行的拷贝操作,输出与所述共享文本中的所述非链接类字符串相关联的业务展示区域;
响应针对所述业务展示区域中的业务平台的选取操作,向所述业务平台发送所述非链接类字符串对应的拷贝内容。
6.根据权利要求1所述的方法,其特征在于,所述关联内容中的多媒体对象包含图像对象;
所述方法还包括:
在从所述目标帧所包含的所述图像对象中提取到的所述目标文本为空字符串时,为所述空字符串所对应的所述图像对象配置具有触发编辑功能的图像显示控件;
在所述第一客户端显示所述目标帧时,在所述多媒体显示界面上的所述图像对象所在的图像显示区域输出所述图像显示控件,且在所述图像显示控件上输出与所述图像对象具有相同图像内容的共享图像。
7.根据权利要求1所述的方法,其特征在于,所述在第一客户端的多媒体显示界面中,显示第一对象向第二对象分享的关联内容,包括:
在所述第一对象与所述第二对象进行即时通信时,通过第一客户端接收服务器下发的与所述第一对象相关联的实时编码数据流;所述实时编码数据流是所述服务器基于接收到的由所述第一对象对应的第二客户端上传的实时数据流所确定的;所述实时数据流为所述第二客户端对实时采集到的采集数据序列进行编码所得到的;
对所述实时编码数据流进行解码处理,得到所述实时编码数据流对应的缓存数据序列,将所述缓存数据序列对应的数据片段确定为所述第一对象向所述第二对象分享的关联内容;所述缓存数据序列为所述服务器从所述采集数据序列中所截取到的数据序列;
在所述第一客户端的多媒体显示界面中,显示所述关联内容。
8.根据权利要求1所述的方法,其特征在于,所述关联内容为所述第一对象分享的点播视频中的关联视频,所述在第一客户端的多媒体显示界面中,显示第一对象向第二对象分享的关联内容,包括:
响应于针对所述第一客户端执行的视频点播操作,向服务器发送携带点播视频标识的点播请求;所述点播请求用于指示所述服务器在查找到与所述点播视频标识匹配的所述点播视频时,获取所述点播视频中的分割视频片段;所述点播视频是由所述第一对象通过第二客户端上传的回放视频流所确定的;所述回放视频流为所述第二客户端对所述点播视频的点播视频序列进行编码所得到的;所述分割视频片段为所述服务器对所述点播视频序列进行片段分割后所得到的;
接收所述服务器下发的所述分割视频片段对应的编码片段流,对所述编码片段流进行解码处理,得到所述分割视频片段;
将解码得到的所述分割视频片段确定为所述第一对象向所述第二对象分享的关联视频,在所述第一客户端的多媒体显示界面中,显示所述关联视频。
9.根据权利要求1所述的方法,其特征在于,所述目标文本是由服务器通过图文识别技术从所述关联内容中的多媒体对象所在的所述目标帧中识别到的;
所述在所述第一客户端显示所述目标帧时,在所述多媒体显示界面上为所述第二对象展示具有触发编辑功能的共享文本,包括:
接收所述服务器所下发的与所述目标文本相关联的业务辅助信息;所述业务辅助信息中包含所述目标文本的文本位置信息;
在所述第一客户端显示所述目标帧时,将所述目标文本的文本位置信息作为第一显示位置,且在所述第一显示位置上输出具有触发编辑功能的文本显示控件;
在所述文本显示控件上展示与所述目标文本具有相同文本内容的共享文本。
10.根据权利要求9所述的方法,其特征在于,所述在所述文本显示控件上展示与所述目标文本具有相同文本内容的共享文本,包括:
获取与所述目标文本具有相同文本内容的字符串;
在所述文本显示控件的透明度被配置为目标透明度时,将获取到的字符串与具备所述目标透明度的文本显示控件进行绑定;
将绑定有所述目标透明度的文本显示控件的字符串作为具有触发编辑功能的共享文本,且在具备所述目标透明度的文本显示控件上展示所述共享文本。
11.根据权利要求10所述的方法,其特征在于,所述方法还包括:
在具备所述目标透明度的文本显示控件上展示所述共享文本时,在所述多媒体显示界面上输出用于指示所述第二对象触发所述共享文本的文本提示信息。
12.一种数据处理方法,其特征在于,包括:
获取第一对象向第二对象分享的关联内容;所述关联内容的目标帧不具有触发编辑功能;所述关联内容为所述第一对象通过第二客户端所上传的原始数据流中的数据片段;
从所述目标帧中提取所述关联内容对应的目标文本,且基于所述原始数据流所属的数据流类型确定提取所述目标文本时的业务辅助信息;
将提取到的所述目标文本以及所述业务辅助信息下发给所述第二对象对应的第一客户端,以使所述第一客户端在显示所述目标帧时,基于所述业务辅助信息在用于显示所述关联内容的多媒体显示界面上输出具有触发编辑功能的共享文本;所述共享文本与所述目标文本具有相同文本内容。
13.根据权利要求12所述的方法,其特征在于,所述原始数据流包含由所述第一对象对应的第二客户端上传的实时数据流;所述实时数据流为在所述第一对象与所述第二对象进行即时通信时,由所述第二客户端对实时采集到的采集数据序列进行编码所得到的;
所述获取第一对象向第二对象分享的关联内容,包括:
接收所述第一对象通过所述第二客户端上传的所述实时数据流;
获取针对所述实时数据流进行采样的采样时间间隔,从所述实时数据流对应的采集数据序列中,截取与所述采用时间间隔所指示的帧率相匹配的缓存数据序列;
将所述缓存数据序列所构成的数据片段确定为所述第一对象向第二对象分享的关联内容。
14.根据权利要求13所述的方法,其特征在于,所述从所述目标帧中提取所述关联内容对应的目标文本,且基于所述原始数据流所属的数据流类型确定提取所述目标文本时的业务辅助信息,包括:
通过图文识别技术识别所述目标帧所包含的多媒体对象,从识别到的所述多媒体对象中提取所述关联内容对应的目标文本;
在所述原始数据流所属的数据流类型为即时通信类型时,获取所述目标文本中的每个字符的字符位置信息,基于获取到的所述每个字符的字符位置信息确定所述目标文本的文本位置信息;
基于所述目标文本的文本位置信息,确定在提取所述目标文本时的业务辅助信息。
15.根据权利要求12所述的方法,其特征在于,当所述关联内容为所述第一对象分享的点播视频中的关联视频时,所述原始数据流包含由所述第一对象对应的第二客户端上传的所述点播视频所对应的回放视频流;所述回放视频流为所述第二客户端对所述点播视频的点播视频序列进行编码所得到的;
所述获取第一对象向第二对象分享的关联内容,包括:
接收所述第一对象通过所述第二客户端上传的所述回放视频流,对所述回放视频流进行解码处理,得到所述点播视频的点播视频序列;
获取用于对所述点播视频序列进行片段分割时的分割参数,基于所述分割参数将所述点播视频序列划分为N个视频片段;N为正整数;
将所述N个视频片段中的第i个视频片段作为分割视频片段,且将所述分割视频片段作为所述关联视频;i为小于等于N的正整数。
16.根据权利要求15所述的方法,其特征在于,所述从所述目标帧中提取所述关联内容对应的目标文本,且基于所述原始数据流所属的数据流类型确定提取所述目标文本时的业务辅助信息,包括:
通过图文识别技术识别所述目标帧所包含的多媒体对象,从识别到的所述多媒体对象中提取所述关联内容对应的目标文本;
在所述原始数据流所属的数据流类型为非即时通信类型时,获取所述目标文本中的每个字符的字符位置信息,基于获取到的所述每个字符的字符位置信息确定所述目标文本的文本位置信息;
获取所述目标帧出现在所述点播视频序列中的起始帧时间戳以及结束时间戳,将基于所述起始帧时间戳和所述结束帧时间戳所确定的时长作为所述目标文本的链接出现时长;
基于所述目标文本的文本位置信息以及所述链接出现时长,确定在提取所述目标文本时的业务辅助信息。
17.一种数据处理装置,其特征在于,包括:
关联内容显示模块,用于在第一客户端的多媒体显示界面中,显示第一对象向第二对象分享的关联内容;所述关联内容的目标帧中包含所述目标帧对应的目标文本;所述目标帧不具有触发编辑功能;
共享文本展示模块,用于在所述第一客户端显示所述目标帧时,在所述多媒体显示界面上为所述第二对象展示具有触发编辑功能的共享文本;所述共享文本与所述目标文本具有相同文本内容。
18.一种数据处理装置,其特征在于,包括:
关联内容获取模块,用于获取第一对象向第二对象分享的关联内容;所述关联内容的目标帧不具有触发编辑功能;所述关联内容为所述第一对象通过第二客户端所上传的原始数据流中的数据片段;
文本提取模块,用于从所述目标帧中提取所述关联内容对应的目标文本,且基于所述原始数据流所属的数据流类型确定提取所述目标文本时的业务辅助信息;
文本下发模块,用于将提取到的所述目标文本以及所述业务辅助信息下发给所述第二对象对应的第一客户端,以使所述第一客户端在显示所述目标帧时,基于所述业务辅助信息在用于显示所述关联内容的多媒体显示界面上输出具有触发编辑功能的共享文本;所述共享文本与所述目标文本具有相同文本内容。
19.一种计算机设备,其特征在于,包括:处理器和存储器;
所述处理器与存储器相连,其中,所述存储器用于存储计算机程序,所述处理器用于调用所述计算机程序,以使得所述计算机设备执行权利要求1-16任一项所述的方法。
20.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,所述计算机程序适于由处理器加载并执行,以使得具有所述处理器的计算机设备执行权利要求1-16任一项所述的方法。
21.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机指令,所述计算机指令存储在计算机可读存储介质中,该计算机指令适于由处理器读取并执行,以使具有所述处理器的计算机设备执行权利要求1-16任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111439165.5A CN114139491A (zh) | 2021-11-29 | 2021-11-29 | 一种数据处理方法、装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111439165.5A CN114139491A (zh) | 2021-11-29 | 2021-11-29 | 一种数据处理方法、装置及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114139491A true CN114139491A (zh) | 2022-03-04 |
Family
ID=80389669
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111439165.5A Pending CN114139491A (zh) | 2021-11-29 | 2021-11-29 | 一种数据处理方法、装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114139491A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114897744A (zh) * | 2022-07-14 | 2022-08-12 | 深圳乐播科技有限公司 | 一种图文的修正方法及装置 |
CN115033821A (zh) * | 2022-05-24 | 2022-09-09 | 北京达佳互联信息技术有限公司 | 一种文档显示方法、装置、电子设备及存储介质 |
-
2021
- 2021-11-29 CN CN202111439165.5A patent/CN114139491A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115033821A (zh) * | 2022-05-24 | 2022-09-09 | 北京达佳互联信息技术有限公司 | 一种文档显示方法、装置、电子设备及存储介质 |
CN114897744A (zh) * | 2022-07-14 | 2022-08-12 | 深圳乐播科技有限公司 | 一种图文的修正方法及装置 |
CN114897744B (zh) * | 2022-07-14 | 2022-12-09 | 深圳乐播科技有限公司 | 一种图文的修正方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112565825B (zh) | 一种视频数据处理方法、装置、设备以及介质 | |
CN108184144B (zh) | 一种直播方法、装置、存储介质及电子设备 | |
CN106060655B (zh) | 一种视频处理方法、服务器及终端 | |
CN112272327B (zh) | 数据处理方法、装置、存储介质及设备 | |
CN106060578A (zh) | 生成视频数据 | |
US11451858B2 (en) | Method and system of processing information flow and method of displaying comment information | |
CN113766299B (zh) | 一种视频数据播放方法、装置、设备以及介质 | |
CN114139491A (zh) | 一种数据处理方法、装置及存储介质 | |
CN112423081A (zh) | 一种视频数据处理方法、装置、设备及可读存储介质 | |
US10740618B1 (en) | Tracking objects in live 360 video | |
CN114463470A (zh) | 虚拟空间浏览方法、装置、电子设备和可读存储介质 | |
WO2023045635A1 (zh) | 多媒体文件的字幕处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品 | |
CN111263183A (zh) | 唱歌状态识别方法及装置 | |
JP7202935B2 (ja) | 注目度算出装置、注目度算出方法、および注目度算出プログラム | |
CN112492324A (zh) | 数据处理方法及系统 | |
CN105635188B (zh) | 一种可视化内容分发方法及系统 | |
CN108320331B (zh) | 一种生成用户场景的增强现实视频信息的方法与设备 | |
CN113315987A (zh) | 视频直播方法和视频直播装置 | |
CN113068059B (zh) | 视频直播方法、装置、设备及存储介质 | |
CN112188116B (zh) | 基于对象的视频合成方法、客户端及系统 | |
CN114584824A (zh) | 数据处理方法、系统、电子设备、服务端及客户端设备 | |
CN113762056A (zh) | 演唱视频识别方法、装置、设备及存储介质 | |
CN113099281A (zh) | 视频互动方法、装置、存储介质及终端 | |
KR102615377B1 (ko) | 방송 체험 서비스의 제공 방법 | |
US11902603B2 (en) | Methods and systems for utilizing live embedded tracking data within a live sports video stream |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |