CN111193878A - 一种多媒体文本信息处理方法、装置、介质和电子设备 - Google Patents

一种多媒体文本信息处理方法、装置、介质和电子设备 Download PDF

Info

Publication number
CN111193878A
CN111193878A CN202010006691.1A CN202010006691A CN111193878A CN 111193878 A CN111193878 A CN 111193878A CN 202010006691 A CN202010006691 A CN 202010006691A CN 111193878 A CN111193878 A CN 111193878A
Authority
CN
China
Prior art keywords
text
picture
information
rendered
rendering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010006691.1A
Other languages
English (en)
Other versions
CN111193878B (zh
Inventor
彭梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Douyin Vision Co Ltd
Douyin Vision Beijing Co Ltd
Original Assignee
Beijing ByteDance Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd filed Critical Beijing ByteDance Network Technology Co Ltd
Priority to CN202010006691.1A priority Critical patent/CN111193878B/zh
Publication of CN111193878A publication Critical patent/CN111193878A/zh
Application granted granted Critical
Publication of CN111193878B publication Critical patent/CN111193878B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/278—Subtitling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4782—Web browsing, e.g. WebTV

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提供了一种多媒体文本信息处理方法、装置、介质和电子设备，其中，处理方法包括：若渲染后的文本满足第二预设条件，则对渲染后的文本进行图片格式转换，得到对应的携带有文本图片描述信息的文本图片；将携带有文本图片描述信息的文本图片发送至服务器，以便于服务器根据文本图片和文本图片描述信息生成对应的字幕对象，并将字幕对象添加到当前播放多媒体内容的播放界面中进行展示。本发明通过将渲染后的文本转换成文本图片，并将携带有文本图片描述信息的文本图片发送至服务器，将文本图片作为传输媒介，不仅简化了传输协议以及多媒体文本信息处理流程，还使得多媒体文本信息在浏览器端的预览效果和服务器端的合成效果能够保持一致。

Description

一种多媒体文本信息处理方法、装置、介质和电子设备
技术领域
本发明涉及计算机技术领域，具体而言，涉及一种多媒体文本信息处理方法、装置、介质和电子设备。
背景技术
目前，网页端视频云编辑系统中，由于网页端性能限制，通常是在浏览器端进行预览，服务端获取资源并进行视频合成。
对于静态文本渲染，由于浏览器端和服务端有不同的渲染技术，需要定义一套公共的协议用于网络传输，并分别实现渲染。在这套定义的公共的协议中，会描述字体、字号、行高、字符宽度、对齐、阴影、换行、表情等属性。
图1示出了根据现有技术对视频中的文本信息进行处理的方法流程图。目前，对视频中的文本进行合成的方法，其具体步骤为：步骤1：用户在浏览器端编辑并渲染文本/字幕。步骤2：浏览器端根据约定好的字幕协议生成文本/字幕的描述文件，并将文本/字幕的描述文件传输至服务端。步骤3：服务端根据文本/字幕的描述文件采用服务端技术重新渲染文本/字幕，渲染完成后，将渲染得到的文本/字幕与其他素材进行合成。由于浏览器端和服务器端的渲染环境和方式均不同，会存在在浏览器端和服务器端，文本最终的渲染结果不完全一致的情况。
此外，对于动态文本，针对各种动态效果的文本，例如，针对打字机动态效果的文本、或者，针对渐变效果的文本、或者，针对运动效果的文本等，在浏览器端与服务器端上，也很难保证文本的动态效果是完全一致的。
发明内容
本发明的目的在于提供一种多媒体文本信息处理方法、装置、介质和电子设备，能够解决上述提到的至少一个技术问题。具体方案如下：
根据本发明的具体实施方式，第一方面，本发明提供一种多媒体文本信息处理方法，包括：
确定与当前播放多媒体内容相关联的文本信息；其中，所述文本信息至少包括文本内容信息和文本动态效果信息；
若当前文本渲染方式满足第一预设条件，则根据所述文本渲染方式信息和所述文本动态效果信息，对与当前播放多媒体内容相关联的当前文本进行渲染，得到渲染后的文本；其中，所述第一预设条件为对当前文本进行渲染的预设条件；
若所述渲染后的文本满足第二预设条件，则对所述渲染后的文本进行图片格式转换，并以文本图片描述信息标记文本图片，得到对应的携带有所述文本图片描述信息的所述文本图片；其中，所述第二预设条件为对所述渲染后的文本进行图片格式转换的预设条件；
将携带有所述文本图片描述信息的所述文本图片发送至服务器，以便于所述服务器根据所述文本图片和所述文本图片描述信息生成对应的字幕对象，并将所述字幕对象添加到当前播放多媒体内容的播放界面中进行展示。
根据本发明的具体实施方式，第二方面，本发明提供一种多媒体内容文本信息处理装置，包括：
确定单元，用于确定与当前播放多媒体内容相关联的文本信息；其中，所述文本信息至少包括文本内容信息和文本动态效果信息；
渲染单元，用于若当前文本渲染方式满足第一预设条件，则根据所述确定单元确定的所述文本渲染方式信息和所述文本动态效果信息，对与当前播放多媒体内容相关联的当前文本进行渲染，得到渲染后的文本；其中，所述第一预设条件为对当前文本进行渲染的预设条件；
图片转换及标记单元，用于若所述渲染单元渲染得到的所述渲染后的文本满足第二预设条件，则对所述渲染后的文本进行图片格式转换，并以文本图片描述信息标记文本图片，得到对应的携带有所述文本图片描述信息的所述文本图片；其中，所述第二预设条件为对所述渲染后的文本进行图片格式转换的预设条件；
发送单元，用于将携带有所述文本图片描述信息的所述图片转换及标记单元转换得到的所述文本图片发送至服务器，以便于所述服务器根据所述文本图片和所述文本图片描述信息生成对应的字幕对象，并将所述字幕对象添加到当前播放多媒体内容的播放界面中进行展示。
根据本发明的具体实施方式，第三方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上任一项所述的多媒体文本信息处理方法。
根据本发明的具体实施方式，第四方面，本发明提供一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上任一项所述的多媒体文本信息处理方法。
本发明实施例的上述方案与现有技术相比，至少具有以下有益效果：本发明实施例通过提供一种多媒体文本信息处理方法、装置、介质和电子设备，通过将渲染后的文本转换成文本图片，并将携带有文本图片描述信息的文本图片发送至服务器，将文本图片作为传输媒介，不仅简化了传输协议以及多媒体文本信息处理流程，还使得多媒体文本信息在浏览器端的预览效果和服务器端的合成效果能够保持一致。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1示出了根据现有技术对视频中的文本信息进行处理的方法流程图；
图2示出了根据本发明实施例的多媒体文本信息处理的方法流程图；
图3示出了根据本发明实施例的具体应用场景下的多媒体文本信息处理的方法流程图；
图4示出了根据本发明实施例的具体应用场景下的多媒体文本信息处理的又一方法流程图；
图5示出了根据本发明的实施例的多媒体文本信息处理的装置结构示意图；
图6示出了根据本发明的实施例的电子设备连接结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
应当理解，尽管在本发明实施例中可能采用术语第一、第二、第三等来描述……，但这些……不应限于这些术语。这些术语仅用来将……区分开。例如，在不脱离本发明实施例范围的情况下，第一……也可以被称为第二……，类似地，第二……也可以被称为第一……。
取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者装置中还存在另外的相同要素。
下面结合附图详细说明本发明的可选实施例。
实施例1
如图2所示，根据本公开实施例的具体实施方式，第一方面，本公开实施例提供一种业务处理方法，具体包括如下方法步骤：
S202：确定与当前播放多媒体内容相关联的文本信息；其中，文本信息至少包括文本内容信息和文本动态效果信息。
在此步骤中，文本信息除了上述文本内容信息、文本动态效果信息之外，文本信息至少还包括以下一项：文本字体、文本字号、文本行高、文本字符宽度、文本对齐方式、文本阴影设置方式、文本行间距。
可选的，在确定与当前播放多媒体内容相关联的文本信息之后，所述方法还包括以下步骤：
读取文本信息；其中，文本信息至少还包括以下一项：
文本字体、文本字号、文本行高、文本字符宽度、文本对齐方式、文本阴影设置方式、文本行间距。
S204：若当前文本渲染方式满足第一预设条件，则根据文本渲染方式信息和文本动态效果信息，对与当前播放多媒体内容相关联的当前文本进行渲染，得到渲染后的文本；其中，第一预设条件为对当前文本进行渲染的预设条件。
针对不同的应用场景，可以对第一预设条件进行设置并调整。现在常见的文本渲染方式为可缩放矢量图渲染方式，还可以为其它的现有浏览器可以兼容的图片渲染方式，在此，对具体的图片渲染方式并不进行限定。
可选的，根据文本渲染方式信息和文本动态效果信息，对与当前播放多媒体内容相关联的当前文本进行渲染包括以下步骤：
若当前文本渲染方式为可缩放矢量图、且当前文本动态效果为渐变文本动态效果，则通过对应的可缩放矢量图和对应的渐变文本动态效果，对当前文本进行渲染，得到对应的渲染后的可缩放矢量图文本；或者，
若当前文本渲染方式为可缩放矢量图、且当前文本动态效果为打字机文本动态效果，则通过对应的可缩放矢量图和对应的打字机文本动态效果，对当前文本进行渲染，得到对应的渲染后的可缩放矢量图文本；或者，
若当前文本渲染方式为可缩放矢量图、且当前文本动态效果为运动文本动态效果，则通过对应的可缩放矢量图和对应的运动文本动态效果，对当前文本进行渲染，得到对应的渲染后的可缩放矢量图文本。
可选的，在确定与当前播放多媒体内容相关联的文本信息之后，所述方法还包括以下步骤：
若当前文本渲染方式不满足第一预设条件，则将文本信息对应的第一文本数据发送至服务器，以便于服务器根据第一文本数据生成对应的预设格式的文本图片或者预设格式的文本图片序列帧。
在此步骤中，第一文本数据不仅包括文本内容数据，还包括文本动态效果数据。例如，文本动态效果可以为渐变文本动态效果，文本动态效果还可以为打字机文本动态效果，文本动态效果还可以为运动文本动态效果。
S206：若渲染后的文本满足第二预设条件，则对渲染后的文本进行图片格式转换，并以文本图片描述信息标记文本图片，得到对应的携带有文本图片描述信息的文本图片；其中，第二预设条件为对渲染后的文本进行图片格式转换的预设条件。
针对不同的应用场景，可以对第二预设条件进行设置并调整。针对某一具体应用场景，第二预设条件可以配置为：将渲染后的可缩放矢量图文本转换成文本图片，或者，将渲染后的可缩放矢量图文本转换成文本图片序列帧。
可选的，对渲染后的文本进行图片格式转换，得到对应的携带有文本图片描述信息的文本图片包括以下步骤：
若文本渲染方式为可缩放矢量图，则将渲染后的可缩放矢量图文本转换成预设格式的文本图片或者预设格式的文本图片序列帧。
在此步骤中，预设格式可以为可移植网络图形格式，该可移植网络图形格式是一种位图文件存储格式。可移植网络图形格式用来存储灰度图像时，灰度图像的深度可多到16位，存储彩色图像时，彩色图像的深度可多到48位，并且还可存储多到16位的α通道数据。在此步骤中，针对不同的应用场景，预设格式的格式形式并不做具体限制。
可选的，在得到渲染后的文本之后，所述方法还包括以下步骤：
若渲染后的文本不满足第二预设条件，则将渲染后的文本对应的第二文本数据发送至服务器，以便于服务器根据第二文本数据生成对应的预设格式的文本图片或者预设格式的文本图片序列帧；其中，第二预设条件为对渲染后的文本进行图片格式转换的预设条件。
针对不同的应用场景，可以对第二预设条件进行设置并调整。针对某一具体应用场景，第二预设条件可以配置为：将渲染后的可缩放矢量图文本转换成文本图片，或者，将渲染后的可缩放矢量图文本转换成文本图片序列帧。
在此步骤中，预设格式可以为可移植网络图形格式，该可移植网络图形格式是一种位图文件存储格式。可移植网络图形格式用来存储灰度图像时，灰度图像的深度可多到16位，存储彩色图像时，彩色图像的深度可多到48位，并且还可存储多到16位的α通道数据。在此步骤中，针对不同的应用场景，预设格式的格式形式并不做具体限制。
可选的，在得到对应的携带有文本图片描述信息的文本图片之后，所述方法还包括以下步骤：
读取文本图片描述信息；其中，
文本图片描述信息至少包括以下一项：
文本图片的起始时间、文本图片的结束时间、用于标识文本图片在当前播放多媒体内容的播放界面中的位置的横坐标信息、用于标识文本图片在当前播放多媒体内容的播放界面中的位置的纵坐标信息。
S208：将携带有文本图片描述信息的文本图片发送至服务器，以便于服务器根据文本图片和文本图片描述信息生成对应的字幕对象，并将字幕对象添加到当前播放多媒体内容的播放界面中进行展示。
在此步骤中，文本图片描述信息至少包括以下一项：
文本图片的起始时间、文本图片的结束时间、用于标识文本图片在当前播放多媒体内容的播放界面中的位置的横坐标信息、用于标识文本图片在当前播放多媒体内容的播放界面中的位置的纵坐标信息。
如图3所示，示出了根据本发明实施例的具体应用场景下的多媒体文本信息处理的方法流程图。
在某一具体应用场景下，本发明实施例提供的多媒体文本信息处理的方法包括以下步骤：
步骤a1:用户编辑文本信息。
在此步骤中，编辑的文本信息至少包括以下一项：文本内容信息、文本动态效果信息、文本字体、文本字号、文本行高、文本字符宽度、文本对齐方式、文本阴影设置方式、文本行间距。
步骤a2:使用可缩放矢量图渲染文字及文本动态效果。基于可缩放矢量图渲染文字及文本动态效果为常规方法，在此不再赘述。
步骤a3:将渲染出来的可缩放矢量图文本转换成可移植网络图形格式图片或者可移植网络图形格式图片序列帧，并定义对应的该文本图片的开始时间、结束时间、文本图片的位置，文本图片的位置通过用于标识文本图片在当前播放多媒体内容的播放界面中的位置的横坐标信息、和用于标识文本图片在当前播放多媒体内容的播放界面中的位置的纵坐标信息来标识。
步骤a4:将文本图片，以及对文本图片的描述信息传输至服务器端；其中，文本图片的描述信息至少包括以下一项：文本图片的起始时间、文本图片的结束时间、用于标识文本图片在当前播放多媒体内容的播放界面中的位置的横坐标信息、用于标识文本图片在当前播放多媒体内容的播放界面中的位置的纵坐标信息。
步骤a5:将文本图片素材与视频素材进行合成。
在此步骤中，对于每个视频帧，逐像素进行叠加，完成文本图片与视频帧的融合。
如图3所示，示出了根据本发明实施例的具体应用场景下的多媒体文本信息处理的方法流程图。
如图3所示的多媒体文本信息处理方法包括以下步骤：
S302：用户编辑文本信息。
在此步骤中，编辑的文本信息至少包括以下一项：文本内容信息、文本动态效果信息、文本字体、文本字号、文本行高、文本字符宽度、文本对齐方式、文本阴影设置方式、文本行间距。
S304：渲染并预览当前文本。
在此步骤中，使用可缩放矢量图渲染文字。基于可缩放矢量图渲染文字为常规方法，在此不再赘述。
S306：将当前文本合成对应的文本图片，并以文本图片描述信息标识文本图片。
S308：将包括文本图片和文本图片描述信息的文本数据传输至服务器端，以便于服务器端接收包括文本图片和文本图片描述信息的文本数据，并将文本图片数据与其它视频数据进行合成。
在此步骤中，对于每个视频帧，逐像素进行叠加，完成文本图片与视频帧的融合。
如图4所示，示出了根据本发明实施例的具体应用场景下的多媒体文本信息处理的又一方法流程图。
S402：用户编辑文本信息。
在此步骤中，编辑的文本信息至少包括以下一项：文本内容信息、文本动态效果信息、文本字体、文本字号、文本行高、文本字符宽度、文本对齐方式、文本阴影设置方式、文本行间距。
S404：渲染并预览当前文本。
在此步骤中，使用可缩放矢量图渲染文字。基于可缩放矢量图渲染文字为常规方法，在此不再赘述。
S406：将包括文本内容信息和文本动态效果信息的文本数据传输至服务器端。
在执行S406将包括文本内容信息和文本动态效果信息的文本数据传输至服务器端之后，以便于服务器端接收包括文本内容信息和文本动态效果信息的文本数据，通过预设格式解码器包，将接收到的文本数据进行解码并生成对应的文本图片，或者，生成对应的文本图片序列帧，并将文本图片数据与其它视频数据进行合成。
在此步骤中，预设格式解码器包能够解码接收到的文本数据，该文本数据的格式为与目前浏览器存在兼容问题的格式。
本公开实施例提供一种多媒体文本信息处理方法，通过将渲染后的文本转换成文本图片，并将携带有文本图片描述信息的文本图片发送至服务器，将文本图片作为传输媒介，不仅简化了传输协议以及多媒体文本信息处理流程，还使得多媒体文本信息在浏览器端的预览效果和服务器端的合成效果能够保持一致。
实施例2
本公开实施例承接实施例1，用于实现如实施例1所述的方法步骤，基于相同的名称含义的解释与实施例1相同，具有与实施例1相同的技术效果，此处不再赘述。结合附图5所示，根据本公开的具体实施方式，第二方面，本公开实施例提供一种多媒体内容文本信息处理装置，包括确定单元502、渲染单元504、图片转换及标记单元506和发送单元508等，具体如下：
确定单元502，用于确定与当前播放多媒体内容相关联的文本信息；其中，文本信息至少包括文本内容信息和文本动态效果信息；
渲染单元504，用于若当前文本渲染方式满足第一预设条件，则根据确定单元502确定的文本渲染方式信息和文本动态效果信息，对与当前播放多媒体内容相关联的当前文本进行渲染，得到渲染后的文本；其中，第一预设条件为对当前文本进行渲染的预设条件；
图片转换及标记单元506，用于若渲染单元504渲染得到的渲染后的文本满足第二预设条件，则对渲染后的文本进行图片格式转换，并以文本图片描述信息标记文本图片，得到对应的携带有文本图片描述信息的文本图片；其中，第二预设条件为对渲染后的文本进行图片格式转换的预设条件；
发送单元508，用于将携带有文本图片描述信息的图片转换及标记单元506转换得到的文本图片发送至服务器，以便于服务器根据文本图片和文本图片描述信息生成对应的字幕对象，并将字幕对象添加到当前播放多媒体内容的播放界面中进行展示。
可选的，渲染单元504具体用于：
若当前文本渲染方式为可缩放矢量图、且当前文本动态效果为渐变文本动态效果，则通过对应的可缩放矢量图和对应的渐变文本动态效果，对当前文本进行渲染，得到对应的渲染后的可缩放矢量图文本；或者，
若当前文本渲染方式为可缩放矢量图、且当前文本动态效果为打字机文本动态效果，则通过对应的可缩放矢量图和对应的打字机文本动态效果，对当前文本进行渲染，得到对应的渲染后的可缩放矢量图文本；或者，
若当前文本渲染方式为可缩放矢量图、且当前文本动态效果为运动文本动态效果，则通过对应的可缩放矢量图和对应的运动文本动态效果，对当前文本进行渲染，得到对应的渲染后的可缩放矢量图文本。
可选的，图片转换及标记单元506具体用于：
若文本渲染方式为可缩放矢量图，则将渲染后的可缩放矢量图文本转换成预设格式的文本图片或者预设格式的文本图片序列帧。
可选的，发送单元508还用于：
在确定单元502确定与当前播放多媒体内容相关联的文本信息之后，若当前文本渲染方式不满足第一预设条件，则将文本信息对应的第一文本数据发送至服务器，以便于服务器根据第一文本数据生成对应的预设格式的文本图片或者预设格式的文本图片序列帧。
可选的，发送单元508还用于：
在渲染单元504渲染得到渲染后的文本之后，若渲染后的文本不满足第二预设条件，则将渲染后的文本对应的第二文本数据发送至服务器，以便于服务器根据第二文本数据生成对应的预设格式的文本图片或者预设格式的文本图片序列帧。
可选的，所述装置还包括：
读取单元(在图5中未示出)，用于在确定单元502确定与当前播放多媒体内容相关联的文本信息之后，读取文本信息；其中，
读取单元读取的文本信息至少还包括以下一项：
文本字体、文本字号、文本行高、文本字符宽度、文本对齐方式、文本阴影设置方式、文本行间距。
可选的，在图片转换及标记单元506转换得到对应的携带有文本图片描述信息的文本图片之后，读取文本图片描述信息；其中，
读取单元读取的文本图片描述信息至少包括以下一项：
文本图片的起始时间、文本图片的结束时间、用于标识文本图片在当前播放多媒体内容的播放界面中的位置的横坐标信息、用于标识文本图片在当前播放多媒体内容的播放界面中的位置的纵坐标信息。
本公开实施例提供一种多媒体文本信息处理装置，图片转换及标记单元通过将渲染后的文本转换成文本图片，发送单元将携带有文本图片描述信息的文本图片发送至服务器，这样，将文本图片作为传输媒介，不仅简化了传输协议以及多媒体文本信息处理流程，还使得多媒体文本信息在浏览器端的预览效果和服务器端的合成效果能够保持一致。
实施例3
如图6所示，本实施例提供一种电子设备，该设备用于进行文本处理的多媒体文本信息处理方法，所述电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：通过将渲染后的文本转换成文本图片，并将携带有文本图片描述信息的文本图片发送至服务器，将文本图片作为传输媒介，不仅简化了传输协议以及多媒体文本信息处理流程，还使得多媒体文本信息在浏览器端的预览效果和服务器端的合成效果能够保持一致。
实施例4
本公开实施例提供了一种非易失性计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的多媒体文本信息处理方法。
实施例5
下面参考图6，其示出了适于用来实现本公开实施例的电子设备的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图6示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图6所示，电子设备可以包括处理装置(例如中央处理器、图形处理器等)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储装置608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有电子设备操作所需的各种程序和数据。处理装置601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
通常，以下装置可以连接至I/O接口605：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置606；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置607；包括例如磁带、硬盘等的存储装置608；以及通信装置609。通信装置609可以允许电子设备与其他设备进行无线或有线通信以交换数据。虽然图6示出了具有各种装置的电子设备，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置609从网络上被下载和安装，或者从存储装置608被安装，或者从ROM 602被安装。在该计算机程序被处理装置601执行时，执行本公开实施例的方法中限定的上述功能。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：通过将渲染后的文本转换成文本图片，并将携带有文本图片描述信息的文本图片发送至服务器，将文本图片作为传输媒介，不仅简化了传输协议以及多媒体文本信息处理流程，还使得多媒体文本信息在浏览器端的预览效果和服务器端的合成效果能够保持一致。
或者，上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：通过将渲染后的文本转换成文本图片，并将携带有文本图片描述信息的文本图片发送至服务器，将文本图片作为传输媒介，不仅简化了传输协议以及多媒体文本信息处理流程，还使得多媒体文本信息在浏览器端的预览效果和服务器端的合成效果能够保持一致。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定。

Claims (10)

1.一种多媒体文本信息处理方法，其特征在于，包括：
确定与当前播放多媒体内容相关联的文本信息；其中，所述文本信息至少包括文本内容信息和文本动态效果信息；
若当前文本渲染方式满足第一预设条件，则根据所述文本渲染方式信息和所述文本动态效果信息，对与当前播放多媒体内容相关联的当前文本进行渲染，得到渲染后的文本；其中，所述第一预设条件为对当前文本进行渲染的预设条件；
若所述渲染后的文本满足第二预设条件，则对所述渲染后的文本进行图片格式转换，并以文本图片描述信息标记文本图片，得到对应的携带有所述文本图片描述信息的所述文本图片；其中，所述第二预设条件为对所述渲染后的文本进行图片格式转换的预设条件；
将携带有所述文本图片描述信息的所述文本图片发送至服务器，以便于所述服务器根据所述文本图片和所述文本图片描述信息生成对应的字幕对象，并将所述字幕对象添加到当前播放多媒体内容的播放界面中进行展示。
2.根据权利要求1所述的方法，其特征在于，所述根据所述文本渲染方式信息和所述文本动态效果信息，对与当前播放多媒体内容相关联的当前文本进行渲染包括：
若当前文本渲染方式为可缩放矢量图、且当前文本动态效果为渐变文本动态效果，则通过对应的可缩放矢量图和对应的渐变文本动态效果，对当前文本进行渲染，得到对应的渲染后的可缩放矢量图文本；或者，
若当前文本渲染方式为可缩放矢量图、且当前文本动态效果为打字机文本动态效果，则通过对应的可缩放矢量图和对应的打字机文本动态效果，对当前文本进行渲染，得到对应的渲染后的可缩放矢量图文本；或者，
若当前文本渲染方式为可缩放矢量图、且当前文本动态效果为运动文本动态效果，则通过对应的可缩放矢量图和对应的运动文本动态效果，对当前文本进行渲染，得到对应的渲染后的可缩放矢量图文本。
3.根据权利要求1所述的方法，其特征在于，所述对所述渲染后的文本进行图片格式转换，得到对应的携带有文本图片描述信息的文本图片包括：
若文本渲染方式为可缩放矢量图，则将所述渲染后的可缩放矢量图文本转换成预设格式的文本图片或者预设格式的文本图片序列帧。
4.根据权利要求1所述的方法，其特征在于，在所述确定与当前播放多媒体内容相关联的文本信息之后，所述方法还包括：
若当前文本渲染方式不满足所述第一预设条件，则将所述文本信息对应的第一文本数据发送至所述服务器，以便于所述服务器根据所述第一文本数据生成对应的预设格式的文本图片或者预设格式的文本图片序列帧。
5.根据权利要求1所述的方法，其特征在于，在所述得到渲染后的文本之后，所述方法还包括：
若所述渲染后的文本不满足所述第二预设条件，则将所述渲染后的文本对应的第二文本数据发送至所述服务器，以便于所述服务器根据所述第二文本数据生成对应的预设格式的文本图片或者预设格式的文本图片序列帧。
6.根据权利要求1所述的方法，其特征在于，在所述确定与当前播放多媒体内容相关联的文本信息之后，所述方法还包括：
读取所述文本信息；其中，
所述文本信息至少还包括以下一项：
文本字体、文本字号、文本行高、文本字符宽度、文本对齐方式、文本阴影设置方式、文本行间距。
7.根据权利要求1所述的方法，其特征在于，在所述得到对应的携带有所述文本图片描述信息的所述文本图片之后，所述方法还包括：
读取所述文本图片描述信息；其中，
所述文本图片描述信息至少包括以下一项：
所述文本图片的起始时间、所述文本图片的结束时间、用于标识所述文本图片在当前播放多媒体内容的所述播放界面中的位置的横坐标信息、用于标识所述文本图片在当前播放多媒体内容的所述播放界面中的位置的纵坐标信息。
8.一种多媒体内容文本信息处理装置，其特征在于，包括：
确定单元，用于确定与当前播放多媒体内容相关联的文本信息；其中，所述文本信息至少包括文本内容信息和文本动态效果信息；
渲染单元，用于若当前文本渲染方式满足第一预设条件，则根据所述确定单元确定的所述文本渲染方式信息和所述文本动态效果信息，对与当前播放多媒体内容相关联的当前文本进行渲染，得到渲染后的文本；其中，所述第一预设条件为对当前文本进行渲染的预设条件；
图片转换及标记单元，用于若所述渲染单元渲染得到的所述渲染后的文本满足第二预设条件，则对所述渲染后的文本进行图片格式转换，并以文本图片描述信息标记文本图片，得到对应的携带有所述文本图片描述信息的所述文本图片；其中，所述第二预设条件为对所述渲染后的文本进行图片格式转换的预设条件；
发送单元，用于将携带有所述文本图片描述信息的所述图片转换及标记单元转换得到的所述文本图片发送至服务器，以便于所述服务器根据所述文本图片和所述文本图片描述信息生成对应的字幕对象，并将所述字幕对象添加到当前播放多媒体内容的播放界面中进行展示。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至7中任一项所述的方法。
10.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至7中任一项所述的方法。
CN202010006691.1A 2020-01-03 2020-01-03 一种多媒体文本信息处理方法、装置、介质和电子设备 Active CN111193878B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010006691.1A CN111193878B (zh) 2020-01-03 2020-01-03 一种多媒体文本信息处理方法、装置、介质和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010006691.1A CN111193878B (zh) 2020-01-03 2020-01-03 一种多媒体文本信息处理方法、装置、介质和电子设备

Publications (2)

Publication Number Publication Date
CN111193878A true CN111193878A (zh) 2020-05-22
CN111193878B CN111193878B (zh) 2022-04-22

Family

ID=70709833

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010006691.1A Active CN111193878B (zh) 2020-01-03 2020-01-03 一种多媒体文本信息处理方法、装置、介质和电子设备

Country Status (1)

Country Link
CN (1) CN111193878B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112035030A (zh) * 2020-08-28 2020-12-04 北京字节跳动网络技术有限公司 信息展示方法、装置和电子设备
CN112836469A (zh) * 2021-01-27 2021-05-25 北京百家科技集团有限公司 一种信息渲染方法及装置
CN114222193A (zh) * 2021-12-03 2022-03-22 北京影谱科技股份有限公司 一种视频字幕时间对齐模型训练方法及系统
CN115278301A (zh) * 2022-07-27 2022-11-01 超聚变数字技术有限公司 视频处理方法、系统及设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014072801A (ja) * 2012-09-28 2014-04-21 Sharp Corp 多視点画像生成装置、画像生成方法、表示装置、プログラム、及び、記録媒体
US20150273330A1 (en) * 2014-04-01 2015-10-01 Sony Computer Entertainment Inc. Game Providing Server
CN105069023A (zh) * 2015-07-17 2015-11-18 孙巍 一种在电视上播放网页图文的方法、设备及系统
CN105657574A (zh) * 2014-11-12 2016-06-08 阿里巴巴集团控股有限公司 一种视频文件制作方法以及装置
CN108132820A (zh) * 2017-11-14 2018-06-08 广州爱九游信息技术有限公司 动态图片显示方法、装置及设备
CN109358936A (zh) * 2018-09-29 2019-02-19 Oppo广东移动通信有限公司 信息处理方法、装置、存储介质、电子设备及系统
CN109902247A (zh) * 2019-02-14 2019-06-18 北京奇艺世纪科技有限公司 一种页面渲染的方法、装置及电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014072801A (ja) * 2012-09-28 2014-04-21 Sharp Corp 多視点画像生成装置、画像生成方法、表示装置、プログラム、及び、記録媒体
US20150273330A1 (en) * 2014-04-01 2015-10-01 Sony Computer Entertainment Inc. Game Providing Server
CN105657574A (zh) * 2014-11-12 2016-06-08 阿里巴巴集团控股有限公司 一种视频文件制作方法以及装置
CN105069023A (zh) * 2015-07-17 2015-11-18 孙巍 一种在电视上播放网页图文的方法、设备及系统
CN108132820A (zh) * 2017-11-14 2018-06-08 广州爱九游信息技术有限公司 动态图片显示方法、装置及设备
CN109358936A (zh) * 2018-09-29 2019-02-19 Oppo广东移动通信有限公司 信息处理方法、装置、存储介质、电子设备及系统
CN109902247A (zh) * 2019-02-14 2019-06-18 北京奇艺世纪科技有限公司 一种页面渲染的方法、装置及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
顾建兵: "中国弹幕动画创作研究", 《优秀硕士论文》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112035030A (zh) * 2020-08-28 2020-12-04 北京字节跳动网络技术有限公司 信息展示方法、装置和电子设备
CN112035030B (zh) * 2020-08-28 2022-03-29 北京字节跳动网络技术有限公司 信息展示方法、装置和电子设备
CN112836469A (zh) * 2021-01-27 2021-05-25 北京百家科技集团有限公司 一种信息渲染方法及装置
CN114222193A (zh) * 2021-12-03 2022-03-22 北京影谱科技股份有限公司 一种视频字幕时间对齐模型训练方法及系统
CN114222193B (zh) * 2021-12-03 2024-01-05 北京影谱科技股份有限公司 一种视频字幕时间对齐模型训练方法及系统
CN115278301A (zh) * 2022-07-27 2022-11-01 超聚变数字技术有限公司 视频处理方法、系统及设备
CN115278301B (zh) * 2022-07-27 2023-12-22 河南昆仑技术有限公司 视频处理方法、系统及设备

Also Published As

Publication number Publication date
CN111193878B (zh) 2022-04-22

Similar Documents

Publication Publication Date Title
CN111193878B (zh) 一种多媒体文本信息处理方法、装置、介质和电子设备
CN109460233B (zh) 页面的原生界面显示更新方法、装置、终端设备及介质
US11678024B2 (en) Subtitle information display method and apparatus, and electronic device, and computer readable medium
US11423112B2 (en) Document input content processing method and apparatus, electronic device, and storage medium
CN111368562A (zh) 翻译图片中的文字的方法、装置、电子设备、及存储介质
CN112073307B (zh) 邮件处理方法、装置、电子设备及计算机可读介质
CN115209215B (zh) 视频处理方法、装置及设备
WO2014154097A1 (en) Automatic page content reading-aloud method and device thereof
CN112397104B (zh) 音频与文本的同步方法、装置、可读介质和电子设备
CN110148024B (zh) 一种用于提供评论输入模式的方法与装置
CN110647369B (zh) 页面动态显示的方法、装置、移动终端及存储介质
CN113115098A (zh) 一种视频显示方法及装置
CN113139090A (zh) 交互方法、装置、电子设备及计算机可读存储介质
CN110366002B (zh) 视频文件合成方法、系统、介质和电子设备
US20140297285A1 (en) Automatic page content reading-aloud method and device thereof
CN115988255A (zh) 特效生成方法、装置、电子设备及存储介质
CN113220293B (zh) 页面展示方法、装置、电子设备和计算机可读介质
CN109547851A (zh) 视频播放方法、装置及电子设备
CN117319736A (zh) 视频处理方法、装置、电子设备及存储介质
CN111385638B (zh) 视频处理方法和装置
CN112995711A (zh) 一种web前端视频的分帧与图片处理合成方法及系统
CN112578916B (zh) 信息处理方法及系统
US20170201710A1 (en) Display apparatus and operating method thereof
US20220292731A1 (en) Method and apparatus for text effect processing
CN111405342B (zh) 富文本消息显示方法、装置、系统、介质和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing.

Patentee after: Tiktok vision (Beijing) Co.,Ltd.

Address before: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing.

Patentee before: BEIJING BYTEDANCE NETWORK TECHNOLOGY Co.,Ltd.

Address after: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing.

Patentee after: Douyin Vision Co.,Ltd.

Address before: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing.

Patentee before: Tiktok vision (Beijing) Co.,Ltd.

CP01 Change in the name or title of a patent holder