CN113038184B - 数据处理方法、装置、设备及存储介质 - Google Patents

数据处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113038184B
CN113038184B CN202110227786.0A CN202110227786A CN113038184B CN 113038184 B CN113038184 B CN 113038184B CN 202110227786 A CN202110227786 A CN 202110227786A CN 113038184 B CN113038184 B CN 113038184B
Authority
CN
China
Prior art keywords
original
picture
text
translated
new
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110227786.0A
Other languages
English (en)
Other versions
CN113038184A (zh
Inventor
王中一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202110227786.0A priority Critical patent/CN113038184B/zh
Publication of CN113038184A publication Critical patent/CN113038184A/zh
Application granted granted Critical
Publication of CN113038184B publication Critical patent/CN113038184B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2355—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/454—Multi-language systems; Localisation; Internationalisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display

Abstract

本申请公开了一种数据处理方法、装置、设备及存储介质，涉及计算机技术领域，尤其涉及深度学习和计算机视觉等人工智能技术领域。具体实现方案为：根据画面绘制规则和投屏端传输的原始视频流的单帧信号，绘制原始画面；对所述原始画面中的原始文本进行翻译，得到所述原始文本的翻译文本；根据所述翻译文本，确定对所述原始画面翻译后的新画面。上述技术方案为实现投屏画面的多语言展示提供了一种新思路。

Description

数据处理方法、装置、设备及存储介质
技术领域
本申请涉及计算机技术领域，尤其涉及深度学习和计算机视觉等人工智能技术领域。
背景技术
随着人工智能的发展，投屏技术的应用越来越广泛。在投屏场景下，存在对投屏画面中的文本内容进行翻译的需求。然而，目前实现投屏画面的多语言展示过程繁琐且效果较差，亟需改进。
发明内容
本申请提供了一种数据处理方法、装置、设备及存储介质。
根据本申请的一方面，提供了一种数据处理方法，该方法包括：
根据画面绘制规则和投屏端传输的原始视频流的单帧信号，绘制原始画面；
对所述原始画面中的原始文本进行翻译，得到所述原始文本的翻译文本；
根据所述翻译文本，确定对所述原始画面翻译后的新画面。
根据本申请的另一方面，提供了一种数据处理装置，该装置包括：
原始画面绘制模块，用于根据画面绘制规则和投屏端传输的原始视频流的单帧信号，绘制原始画面；
翻译文本确定模块，用于对所述原始画面中的原始文本进行翻译，得到所述原始文本的翻译文本；
新画面确定模块，用于根据所述翻译文本，确定对所述原始画面翻译后的新画面。
根据本申请的另一方面，提供了一种电子设备，该电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请任一实施例所述的数据处理方法。
根据本申请的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行本申请任一实施例所述的数据处理方法。
根据本申请的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本申请任一实施例所述的数据处理方法。
根据本申请的技术，为实现投屏画面的多语言展示提供了一种新思路。
应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是根据本申请实施例提供的一种数据处理方法的流程图；
图2是根据本申请实施例提供的另一种数据处理方法的流程图；
图3是根据本申请实施例提供的又一种数据处理方法的流程图；
图4是根据本申请实施例提供的一种数据处理装置的结构示意图；
图5是用来实现本申请实施例的数据处理方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1是根据本申请实施例提供的一种数据处理方法的流程图。本申请实施例适用于在投屏场景，如何实现投屏画面的多语言展示的情况。本实施例应用于服务端(具体可以为云端)，该实施例可以由数据处理装置来执行，该装置可以采用软件和/或硬件来实现，该装置可集成于配置有数据处理功能的电子设备中，如服务器中。如图1所示，该数据处理方法包括：
S101，根据画面绘制规则和投屏端传输的原始视频流的单帧信号，绘制原始画面。
本实施例中，投屏端为具有显示需求的设备端，可以是投影仪、投屏器、电视盒子、以及配置有远程投屏软件的设备。可选的，投屏端可以配置有显示器，用于显示画面；也可以不配置显示器，但可设置有外部接口，通过该外部接口可以与外部显示器连接，进而显示画面。
需要说明的是，本实施例中的原始视频流是通过外部设备传输至投屏端的，投屏端本地未缓存任何与原始视频流相关的文件，能够基于动态截屏技术，从原始视频流中截取当前投屏页面的单帧信号，也就是说，投屏端能够从动态视频流中截取出静态的一帧帧单帧信号。进一步的，投屏端中的原始视频流是标准的视频信号，进而投屏端所截取的单帧信号即为标准的单帧视频信号。
可选的，投屏端可以定时从原始视频流中截取单帧信号；进一步的，投屏端可以与用户终端联动，进而投屏端还可以根据用户的需求，从原始视频流中截取单帧信号。
具体的，投屏端在每截取到一帧单帧信号之后，可以将所截取的单帧信号传输至服务端；进而服务端可以获取投屏端传输的原始视频流的单帧信号，并可以基于本地存储的画面绘制规则和投屏端传输的单帧信号，绘制出该单帧信号所关联的原始画面。
所谓画面绘制规则即为基于标准的视频帧信号，模拟原始画面的规则。可以包括单个像素点绘制规则和色块绘制规则等。可选的，作为本申请实施例的一种可选方式，根据画面绘制规则和投屏端传输的原始视频流的单帧信号，绘制原始画面可以是，从单帧信号中抽取出像素点，并根据像素点的色值和分布，基于单个像素点绘制规则，绘制原始画面。
值得注意的是，在本实施例中，投屏端传输至服务端的是单帧信号，而不是图像；并且服务端本地无需缓存任何与原始视频流相关的文件，基于本地存储的画面绘制规则，即可逼真绘制出原始画面。
S102，对原始画面中的原始文本进行翻译，得到原始文本的翻译文本。
本实施例中，原始文本即为原始画面中待翻译的文本；可选的，编写原始文本的语种可以是中文、英文或日文等，本实施例对此不作限定。对应的，翻译文本即为对原始文本进行翻译后的文本。
可选的，可以先从原始画面中提取出原始文本，而后对原始文本进行翻译，即可得到原始文本的翻译文本。例如，可以采用预先训练好的目标检测模型，从原始画面中提取出原始文本；还可以是，确定原始画面中原始文本的位置信息，并根据原始文本的位置信息，从原始画面中提取原始文本等。
可选的，采用预先训练好的目标检测模型，从原始画面中提取出原始文本具体可以是，将原始画面输入至预先训练好的目标检测模型中，该模型将输出原始文本。
进一步的，确定原始画面中原始文本的位置信息，并根据原始文本的位置信息，从原始画面中提取原始文本具体可以是，基于光学字符识别(Optical CharacterRecognition，OCR)技术，确定原始画面中原始文本的位置信息，并根据原始文本的位置信息，采用文本识别技术，从原始画面中识别出原始文本。可以理解的是，通过基于原始画面中原始文本的位置信息，从原始画面中提取原始文本，能够保证所提取的原始文本的准确性，为从原始画面中提取原始文本提供了一种可选方式。
示例性的，在从原始画面中提取出原始文本之后，可以基于预先训练的翻译模型，对原始文本进行翻译，即可得到原始文本的翻译文本。具体的，在投屏端与用户终端联动的情况下，用户终端可以将翻译需求告知投屏端，投屏端可以在与服务端建立通信连接之后，将用户的翻译要求传输给服务端；进而服务器可以基于翻译模型，根据用户的翻译需求对原始文本进行翻译，得到原始文本的翻译文本。其中，用户的翻译需求中至少包括语种转换关系，比如，中文转化为英文。
S103，根据翻译文本，确定对原始画面翻译后的新画面。
可选的，服务端可以基于原始画面中原始文本的位置信息，在原始画面中用翻译文本替换原始画面中原始文本，即可得到对原始画面翻译后的新画面。
可选的，服务端还可以在原始画面中原始文本的位置处，将原始文本和翻译本文按行交替排列，或者将原始文本和翻译文本分两栏排列，得到对原始画面翻译后的新画面。
按行交替排列或者分栏排列可能会使文字间隔变小，排列更紧凑，进而影响用户阅读体验，因此，为了提升用户的阅读观感，作为本实施例的一种可选方式，服务端还可以在原始画面中原始文本的位置处，以批注的形式将翻译文本放置在批注框中，得到对原始画面翻译后的新画面。或者基于原始画面中原始文本的位置信息，在原始画面中用翻译文本替换原始画面中原始文本，并在原始画面中原始文本的位置处，以批注的形式将原始文本放置在批注框中，得到对原始画面翻译后的新画面。
进一步的，在只需要对原始文本中的部分内容进行翻译的情况下，翻译文本中可以包括原始文本中不需要翻译的内容，以及对原始文本中需要翻译的内容进行翻译后的内容。进而，服务端可以基于原始画面中原始文本的位置信息，在原始画面中用翻译文本替换原始画面中原始文本，即可得到对原始画面翻译后的新画面。
进一步的，在只需要对原始文本中的部分内容进行翻译的情况下，翻译文本中还可以只包括对原始文本中需要翻译的内容进行翻译后的内容。进而，服务端需要根据原始文本和翻译文本，确定对原始画面翻译后的新画面。例如，服务端可以在原始画面中翻译文本所对应的原始文本的位置处，以批注的形式将翻译文本放置在批注框中，得到对原始画面翻译后的新画面。
需要说明的是，目前实现投屏画面的多语言展示方案中，服务端需要提前导入带有明确格式的文件(即原始视频流的相关文件)，以便读取文件中相应字段内容进行替换，进而得到对投屏画面进行翻译后的画面。该方案由于需要提前导入带有明确格式的文件，不仅过程繁琐而且保密效果较差；此外，目前实现投屏画面的多语言展示方案中，投屏端向服务端传输的是当前投屏页面的图像，服务端直接在该图像中进行操作，进而使最终得到的对投屏画面进行翻译后的画面清晰度较差，影响用户的观感。
而本申请服务端本地无需缓存任何与原始视频流相关的文件，基于本地存储的画面绘制规则，即可逼真绘制出原始画面，并在所绘制出的原始画面的基础上进行确定新画面的操作，能够保证所确定的新画面具有较高的清晰度，进而提升了用户的观感效果。
本申请实施例的技术方案，通过引入画面绘制规则，服务端能够根据投屏端传输的原始视频流的单帧信号，逼真地绘制出原始画面，之后对原始画面中的原始文本进行翻译可得到原始文本的翻译文本，进而基于翻译文本，即可确定对原始画面翻译后的新画面。相比于现有技术而言，本申请服务端无需提前存储带有格式的文件，基于画面绘制规则即可逼真绘制出原始画面，实现了不涉密识别转换；同时在逼真地绘制出原始画面的基础上进行确定新画面的操作，能够保证所确定的新画面具有较高的清晰度，进而提升了用户的观感效果，为实现投屏画面的多语言展示提供了一种新思路。
可选的，在确定对原始画面翻译后的新画面之后，可以通过投屏端将新画面展示给用户，以便用户观看。由于投屏端能够接收视频流，进而可以将新画面转换为视频流的形式传输至投屏端进行播放。
在上述实施例的基础上，作为本申请实施例的一种可选方式，可以根据对历史画面翻译后的新画面和对原始画面翻译后的新画面，确定原始视频流的新视频流，并向投屏端反馈新视频流。本实施例中，原始视频流中可以包括多帧单帧信号，服务端基于画面绘制规则均可绘制出每帧单帧信号所关联的画面，所谓历史画面即为服务端基于画面绘制规则和原始画面所关联的单帧信号绘制原始画面之前所绘制的画面；同时确定对历史画面翻译后的新画面的过程，与确定对原始画面翻译后的新画面的过程相似，此处不再赘述。
具体的，服务端将对历史画面翻译后的新画面和对原始画面翻译后的新画面，按照时间顺序排版成多帧画面，进而将多帧画面转换为视频流，作为原始视频流的新视频流，并向投屏端反馈新视频流。例如，可以利用OpenCV技术，将对历史画面翻译后的新画面和对原始画面翻译后的新画面所组成的多帧画面转换为视频流。
可以理解的是，将原始视频流的新视频流反馈给投屏端，实现了画面与视频流的快速转换，进而实现了投屏内容实时进行语言转化后并及时反馈给投屏端的效果。
图2是根据本申请实施例提供的另一种数据处理方法的流程图；在上述实施例的基础上，本实施对原始画面的绘制进行优化，提供一种可选方案。如图2所示，该数据处理方法包括：
S201，获取投屏端传输的原始视频流的单帧信号的特征值，特征值至少包括像素点分布、色值和明亮度。
本实施例中，基于对信号整体的解析、以及对图形的理解等，可以从单帧信号中读取特征值，其中，特征值可以包括像素点分布、色值和明亮度。
其中，像素点分布是指画面中像素点的排布。色值是指像素点所对应的颜色值，如红色在RGB颜色模式中所对应的值就是255，0，0；绿色在RGB颜色模式中所对应的值就是0，255，0；蓝色在RGB颜色模式中所对应的值就是0，0，255。明亮度是指色彩的亮度或明度，颜色有深浅、明暗的变化，比如，深黄、中黄、淡黄、柠檬黄等黄颜色在明度上就不一样，血红、深红、玫瑰红、大红、朱红、桔红等红颜色在亮度上也不尽相同。进一步的，特征值中还可以包括区分度和矩阵颗粒密度等。
S202，根据特征值，以及画面绘制规则，绘制原始画面。
本实施例中，根据特征值，以及画面绘制规则，绘制原始画面具体可以是，可以根据像素点的分布以及像素点的色值，确定色块，也就是说，以设定区域内的像素点中，色值相同的像素点最多的像素点的色值作为该设定区域的色值，将该设定区域以及对应的色值作为一个色块；其中，设定区域可以根据实际情况而设定，例如可以是3*3的区域，也可以是半径为3的圆形区域。
进而，可以基于色块绘制规则，绘制原始画面。具体的，将色块代替单个像素点，来绘制原始画面，从而提高响应速度。
S203，对原始画面中的原始文本进行翻译，得到原始文本的翻译文本。
S204，根据翻译文本，确定对原始画面翻译后的新画面。
本申请实施例的技术方案，通过引入特征值，根据画面绘制规则和获取的单帧信号的特征值，能够在保证画面清晰度的前提下，快速绘制出原始画面，为绘制单帧信号关联的原始画面提供了一种可选的方式。
图3是根据本申请实施例提供的又一种数据处理方法的流程图；在上述实施例的基础上，本实施对确定对原始画面翻译后的新画面进行解释说明。如图3所示，该数据处理方法包括：
S301，根据画面绘制规则和投屏端传输的原始视频流的单帧信号，绘制原始画面。
S302，对原始画面中的原始文本进行翻译，得到原始文本的翻译文本。
S303，根据单帧信号和原始画面中原始文本的位置信息，重新绘制原始画面，其中，重新绘制的原始画面中不包括原始文本。
需要说明的是，对于某些格式的原始画面，比如PPT格式的原始画面，可能背景色中存在花纹、或者字体背景填充颜色等，直接根据翻译文本绘制对原始画面翻译后的新画面，会导致画面模糊，影响用户观感。因此，为了提高用户的观感，本实施例中，可以根据单帧信号和原始画面中原始文本的位置信息，重新绘制原始画面，进而基于重新绘制的原始画面确定对原始画面翻译后的新画面。
具体的，可以基于画面绘制规则，根据单帧信号和原始画面中原始文本的位置信息，重新绘制原始画面。例如可以是，从单帧信号中抽取出不包括原始文本的像素点，并根据所抽取出的像素点的色值和分布，基于单个像素点绘制规则，绘制画面。可选的，本实施例中，重新绘制的原始画面中原始文本的位置处不包括原始文本，但包含除去原始文本的其他信息，如背景颜色等。
此外，在只需要对原始文本中的部分内容进行翻译的情况下，如果翻译文本中包括对原始文本中需要翻译的内容进行翻译后的内容，以及原始文本中不需要翻译的内容，则重新绘制的原始画面中不包括原始文本。
进一步的，在只需要对原始文本中的部分内容进行翻译的情况下，如果翻译文本中只包括对原始文本中需要翻译的内容进行翻译后的内容，则重新绘制的原始画面中可以不包括原始文本中需要翻译的内容。也就是说，重新绘制的原始画面中可以包括原始文本中不需要翻译的内容。
S304，在重新绘制的原始画面中添加翻译文本，得到对原始画面翻译后的新画面。
可选的，本实施例中，在重新绘制的原始画面中包括原始文本中不需要翻译的内容的情况下，或者在重新绘制的原始画面中不包括原始文本的情况下等，均可以在重新绘制的原始画面中原始文本的位置信息处，添加翻译文本，进而得到对原始画面翻译后的新画面。比如，在重新绘制的原始画面中包括原始文本中不需要翻译的内容的情况下，可以在重新绘制的原始画面中翻译文本所对应的原始文本的位置信息处，添加翻译文本，进而得到对原始画面翻译后的新画面。也就是说，可以直接将翻译文本添加到重新绘制的原始画面中原始文本处空白位置。
进一步的，在投屏端与用户终端联动的情况下，用户终端可以将排版需求告知投屏端，投屏端可以在与服务端建立通信连接之后，将用户的排版要求传输给服务端；进而服务器可以根据用户的排版需求，确定待得到的对原始画面翻译后的新画面中是否需要包括原始文本；在确定需要包括原始文本的情况下，基于排版模型，对翻译文本、原始文本和重新绘制的原始画面进行排版，得到对原始画面翻译后的新画面。示例性的，在确定不需要包括原始文本的情况下，基于排版模型，对翻译文本和重新绘制的原始画面进行排版，即可得到对原始画面翻译后的新画面。本实施例中，排版模型基于多语言的文本(比如PPT文本，Excel文本，Word文本)、用户辨识度和色彩分布等训练得到。其中，用户辨识度是指用户对于颜色、形状、文本等的辨识度；色彩分布是指文本的颜色分布、文本所在画面中的背景颜色和形状等的分布。
示例性的，基于排版模型，对翻译文本、原始文本和重新绘制的原始画面进行排版，得到对原始画面翻译后的新画面具体可以是，采用排版模型，在新画面的基础上，对原始文本和翻译文本进行排版，进而得到对原始画面翻译后的新画面。还可以是采用排版模型，在新画面的基础上，对原始文本和翻译文本进行排版，得到至少两个排版后的画面；并采用画面评估模型，对多个排版后的画面进行评估，进而可以根据评估结果，从至少两个排版后的画面中选择最终的画面，作为对原始画面翻译后的新画面。其中，画面评估模型可以基于机器学习算法进行预先训练得到。
可以理解的是，本实施例基于排版模型对服务端绘制的画面进行排版，优化了用户的观感，保证了良好地阅读性。
本申请实施例的技术方案，根据单帧信号和原始画面中原始文本的位置信息，重新绘制不包括原始文本的原始画面，并在重新绘制的原始画面中添加翻译文本，即可得到对原始画面翻译后的新画面。上述技术方案，通过重新绘制原始画面，使得最终所得到的新画面具有较高的清晰，进而提升了用户的观感。
图4是根据本申请实施例提供的一种数据处理装置的结构示意图；本申请实施例适用于在投屏场景，如何实现投屏画面的多语言展示的情况。本实施例应用于服务端(具体可以为云端)，该实施例可以由数据处理装置来执行，该装置可以采用软件和/或硬件来实现，该装置可集成于配置有数据处理功能的电子设备中，如服务器中。
如图4所示，该数据处理装置包括原始画面绘制模块401、翻译文本确定模块402和新画面确定模块403，其中，
原始画面绘制模块401，用于根据画面绘制规则和投屏端传输的原始视频流的单帧信号，绘制原始画面；
翻译文本确定模块402，用于对原始画面中的原始文本进行翻译，得到原始文本的翻译文本；
新画面确定模块403，用于根据翻译文本，确定对原始画面翻译后的新画面。
本申请实施例的技术方案，通过引入画面绘制规则，服务端能够根据投屏端传输的原始视频流的单帧信号，逼真地绘制出原始画面，之后对原始画面中的原始文本进行翻译可得到原始文本的翻译文本，进而基于翻译文本，即可确定对原始画面翻译后的新画面。相比于现有技术而言，本申请服务端无需提前存储带有格式的文件，基于画面绘制规则即可逼真绘制出原始画面，实现了不涉密识别转换；同时在逼真地绘制出原始画面的基础上进行确定新画面的操作，能够保证所确定的新画面具有较高的清晰度，进而提升了用户的观感效果，为实现投屏画面的多语言展示提供了一种新思路。
进一步地，原始画面绘制模块401包括特征值获取单元和原始画面绘制单元，其中，
特征值获取单元，用于获取单帧信号的特征值，特征值至少包括像素点分布、色值和明亮度；
原始画面绘制单元，用于根据特征值和画面绘制规则，绘制原始画面。
进一步地，新画面确定模块403包括原始画面重新绘制单元和新画面确定单元，其中，
原始画面重新绘制单元，用于根据单帧信号和原始画面中原始文本的位置信息，重新绘制原始画面，其中，重新绘制的原始画面中不包括原始文本；
新画面确定单元，用于在重新绘制的原始画面中添加翻译文本，得到对原始画面翻译后的新画面。
进一步地，新画面确定单元具体用于：
基于排版模型，对翻译文本、原始文本和重新绘制的原始画面进行排版，得到对原始画面翻译后的新画面。
进一步地，翻译文本确定模块402包括原始文本提取单元和翻译文本确定单元，其中，
原始文本提取单元，用于确定原始画面中原始文本的位置信息，并根据原始文本的位置信息，从原始画面中提取原始文本；
翻译文本确定单元，用于对原始文本进行翻译，得到原始文本的翻译文本。
进一步地，上述装置还包括新视频确定模块，其中，
新视频确定模块，用于根据对历史画面翻译后的新画面和对原始画面翻译后的新画面，确定原始视频流的新视频流，并向投屏端反馈新视频流。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图5示出了可以用来实施本公开的实施例的示例电子设备500的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图5所示，电子设备500包括计算单元501，其可以根据存储在只读存储器(ROM)502中的计算机程序或者从存储单元508加载到随机访问存储器(RAM)503中的计算机程序，来执行各种适当的动作和处理。在RAM 503中，还可存储电子设备500操作所需的各种程序和数据。计算单元501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
电子设备500中的多个部件连接至I/O接口505，包括：输入单元506，例如键盘、鼠标等；输出单元507，例如各种类型的显示器、扬声器等；存储单元508，例如磁盘、光盘等；以及通信单元509，例如网卡、调制解调器、无线通信收发机等。通信单元509允许电子设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元501可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元501的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元501执行上文所描述的各个方法和处理，例如数据处理方法。例如，在一些实施例中，数据处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元508。在一些实施例中，计算机程序的部分或者全部可以经由ROM 502和/或通信单元509而被载入和/或安装到电子设备500上。当计算机程序加载到RAM 503并由计算单元501执行时，可以执行上文描述的数据处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元501可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行数据处理方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (12)

1.一种数据处理方法，包括：
根据画面绘制规则和投屏端传输的原始视频流的单帧信号，绘制原始画面；
对所述原始画面中的原始文本进行翻译，得到所述原始文本的翻译文本；
根据所述单帧信号和所述原始画面中原始文本的位置信息，重新绘制原始画面，其中，重新绘制的原始画面中不包括所述原始文本；
在所述重新绘制的原始画面中添加所述翻译文本，得到对所述原始画面翻译后的新画面。
2.根据权利要求1所述的方法，其中，根据画面绘制规则和投屏端传输的原始视频流的单帧信号，绘制原始画面，包括：
获取所述单帧信号的特征值，所述特征值至少包括像素点分布、色值和明亮度；
根据所述特征值和所述画面绘制规则，绘制所述原始画面。
3.根据权利要求1所述的方法，其中，在所述重新绘制的原始画面中添加所述翻译文本，得到对所述原始画面翻译后的新画面，包括：
基于排版模型，对所述翻译文本、所述原始文本和所述重新绘制的原始画面进行排版，得到对所述原始画面翻译后的新画面。
4.根据权利要求1所述的方法，其中，对所述原始画面中的原始文本进行翻译，得到所述原始文本的翻译文本，包括：
确定所述原始画面中原始文本的位置信息，并根据所述原始文本的位置信息，从所述原始画面中提取所述原始文本；
对所述原始文本进行翻译，得到所述原始文本的翻译文本。
5.根据权利要求1所述的方法，还包括：
根据对历史画面翻译后的新画面和对所述原始画面翻译后的新画面，确定所述原始视频流的新视频流，并向所述投屏端反馈所述新视频流。
6.一种数据处理装置，包括：
原始画面绘制模块，用于根据画面绘制规则和投屏端传输的原始视频流的单帧信号，绘制原始画面；
翻译文本确定模块，用于对所述原始画面中的原始文本进行翻译，得到所述原始文本的翻译文本；
新画面确定模块，包括：
原始画面重新绘制单元，用于根据所述单帧信号和所述原始画面中原始文本的位置信息，重新绘制原始画面，其中，重新绘制的原始画面中不包括所述原始文本；
新画面确定单元，用于在所述重新绘制的原始画面中添加所述翻译文本，得到对所述原始画面翻译后的新画面。
7.根据权利要求6所述的装置，其中，所述原始画面绘制模块包括：
特征值获取单元，用于获取所述单帧信号的特征值，所述特征值至少包括像素点分布、色值和明亮度；
原始画面绘制单元，用于根据所述特征值和所述画面绘制规则，绘制所述原始画面。
8.根据权利要求6所述的装置，其中，所述新画面确定单元具体用于：
基于排版模型，对所述翻译文本、所述原始文本和所述重新绘制的原始画面进行排版，得到对所述原始画面翻译后的新画面。
9.根据权利要求6所述的装置，其中，所述翻译文本确定模块包括：
原始文本提取单元，用于确定所述原始画面中原始文本的位置信息，并根据所述原始文本的位置信息，从所述原始画面中提取所述原始文本；
翻译文本确定单元，用于对所述原始文本进行翻译，得到所述原始文本的翻译文本。
10.根据权利要求6所述的装置，还包括：
新视频确定模块，用于根据对历史画面翻译后的新画面和对所述原始画面翻译后的新画面，确定所述原始视频流的新视频流，并向所述投屏端反馈所述新视频流。
11.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5中任一项所述的数据处理方法。
12.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行根据权利要求1-5中任一项所述的数据处理方法。
CN202110227786.0A 2021-03-01 2021-03-01 数据处理方法、装置、设备及存储介质 Active CN113038184B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110227786.0A CN113038184B (zh) 2021-03-01 2021-03-01 数据处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110227786.0A CN113038184B (zh) 2021-03-01 2021-03-01 数据处理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113038184A CN113038184A (zh) 2021-06-25
CN113038184B true CN113038184B (zh) 2023-05-05

Family

ID=76465268

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110227786.0A Active CN113038184B (zh) 2021-03-01 2021-03-01 数据处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113038184B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114428599A (zh) * 2022-01-30 2022-05-03 深圳创维－Rgb电子有限公司 投屏亮度控制方法、装置、存储介质及投屏器

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110276349A (zh) * 2019-06-24 2019-09-24 腾讯科技（深圳）有限公司 视频处理方法、装置、电子设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8144990B2 (en) * 2007-03-22 2012-03-27 Sony Ericsson Mobile Communications Ab Translation and display of text in picture
CN107273895B (zh) * 2017-06-15 2020-07-14 幻视互动（北京）科技有限公司 用于头戴式智能设备的视频流实时文本识别及翻译的方法
CN107609553A (zh) * 2017-09-12 2018-01-19 网易有道信息技术（北京）有限公司 图像处理方法、介质、装置和计算设备
CN108319592B (zh) * 2018-02-08 2022-04-19 广东小天才科技有限公司 一种翻译的方法、装置及智能终端
CN110516266A (zh) * 2019-09-20 2019-11-29 张启 视频字幕自动翻译方法、装置、存储介质及计算机设备
CN112417902A (zh) * 2020-12-04 2021-02-26 北京有竹居网络技术有限公司 文本翻译方法、装置、设备及存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110276349A (zh) * 2019-06-24 2019-09-24 腾讯科技（深圳）有限公司 视频处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN113038184A (zh) 2021-06-25

Similar Documents

Publication Publication Date Title
US20220270382A1 (en) Method and apparatus of training image recognition model, method and apparatus of recognizing image, and electronic device
US11748986B2 (en) Method and apparatus for recognizing key identifier in video, device and storage medium
US20180233106A1 (en) Page display method and terminal
US20210350541A1 (en) Portrait extracting method and apparatus, and storage medium
EP3998583A2 (en) Method and apparatus of training cycle generative networks model, and method and apparatus of building character library
EP3961584A2 (en) Character recognition method, model training method, related apparatus and electronic device
US20220036068A1 (en) Method and apparatus for recognizing image, electronic device and storage medium
EP4080469A2 (en) Method and apparatus of recognizing text, device, storage medium and smart dictionary pen
CN113538450B (zh) 用于生成图像的方法及装置
CN113038184B (zh) 数据处理方法、装置、设备及存储介质
CN106776527B (zh) 电子书数据的显示方法、装置及终端设备
CN114998897B (zh) 生成样本图像的方法以及文字识别模型的训练方法
CN113592981B (zh) 图片标注方法、装置、电子设备和存储介质
CN110996026B (zh) 一种osd显示方法、装置、设备及存储介质
CN114187435A (zh) 文本识别方法、装置、设备以及存储介质
CN111914850A (zh) 图片特征提取方法、装置、服务器和介质
US20230119741A1 (en) Picture annotation method, apparatus, electronic device, and storage medium
CN115147850B (zh) 文字生成模型的训练方法、文字生成方法及其装置
CN114863434B (zh) 文字分割模型的获取方法、文字分割方法及其装置
CN113762223B (zh) 题目拆分模型训练方法、题目拆分方法及相关装置
CN111369422B (zh) 数据压缩方法及装置、设备、存储介质
CN114863143B (zh) 图像检测方法、装置、电子设备及存储介质
CN111027550B (zh) 字库视觉重心调整的方法和装置
US20230260131A1 (en) Image processing method, electronic device, and non-transitory computer-readable storage medium
US20230063213A1 (en) Image object labeling method, system and computer readable medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant