CN107484002A - 智能翻译字幕的方法 - Google Patents

智能翻译字幕的方法 Download PDF

Info

Publication number
CN107484002A
CN107484002A CN201710741044.3A CN201710741044A CN107484002A CN 107484002 A CN107484002 A CN 107484002A CN 201710741044 A CN201710741044 A CN 201710741044A CN 107484002 A CN107484002 A CN 107484002A
Authority
CN
China
Prior art keywords
captions
translation
picture
crawl
caption
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710741044.3A
Other languages
English (en)
Inventor
李强
叶壮斌
薛群波
杨方珍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Changhong Electric Co Ltd
Original Assignee
Sichuan Changhong Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Changhong Electric Co Ltd filed Critical Sichuan Changhong Electric Co Ltd
Priority to CN201710741044.3A priority Critical patent/CN107484002A/zh
Publication of CN107484002A publication Critical patent/CN107484002A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42653—Internal components of the client ; Characteristics thereof for processing graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Abstract

本发明涉及图像、文字识别技术领域，公开了一种智能翻译字幕的方法，实现对视频文件内的字幕进行本地语言的同步翻译显示。本发明的方案包括：自动抓取当前显示的画面，并通过图像扫描识别算法对抓取的图片进行分析，判断图像中是否具有字幕的特征信息，若有，则通过图像文字识别算法识别出嵌入在图像中的字幕文字，形成字幕信息文本；若没有，则再次抓取当前显示的画面并分析，直到有字幕的特征信息出现或者达到用户预设的抓取、分析次数；通过调用翻译工具中间件的翻译接口程序，实现对字幕文本信息进行实时语言翻译，生成译本文件；将按照用户的设置翻译出的字幕语言同步显示在电视屏幕指定的位置。本发明适用于视频字幕翻译。

Description

智能翻译字幕的方法
技术领域
本发明涉及图像、文字识别技术领域，特别涉及智能翻译字幕的方法。
背景技术
随着电视播放内容的全球化普及，不同地区不同语言的电视节目和视频媒体文件在全世界普遍投播，提供当地语言的字幕翻译就显现的更加重要，但是往往同一部视频文件，其本身自带的字幕翻译语言是有限，比如一部好莱坞的电影在中国的一个电视台播放，但是电影显示的字幕只有英文，对于广大的中国观众可能看不懂英文字幕，因此如果电视机本身对字幕有一种识别并能进行同步翻译为用户选择的字幕语言就能很好的解决用户的这个痛点。
随着智能电视的发展，电视的smart趋势已经从传统的网络应用和对APP的安装使用到AI技术的全面应用以提高用户体验，声音识别和控制技术目前已经普遍被广大电视厂商使用的一种AI技术，而电视以及视频播放显示设备作为终端的图像呈现载体，在图像和视觉上的一些功能智能化还不足，主动的解决用户在使用过程中的一些观看方面的痛点问题更应该是我们关注的焦点。如果我们能把AI技术的另外一个方向--图像识别技术在视频显示设备领域更好利用，实实在在的转换为用户所需求的功能，这将意义非凡，下面提出的智能字幕实时翻译显示就是同时利用图像捕获以及识别技术和视频字幕数据信息分析的技术实现对视频文件字幕的本地化翻译显示。
发明内容
本发明要解决的技术问题是：提供一种智能翻译字幕的方法，实现对视频文件内的字幕进行本地语言的同步翻译显示。
为解决上述问题，本发明采用的技术方案是：智能翻译字幕的方法，包括步骤：
对视频文件的中的数据信息进行解析，如果解析出该视频文件有字幕标识，则通过视频文件解码技术解析出字幕文本信息；如果解析到该视频文件中没有字幕标识，则自动抓取当前显示的画面，并通过图像扫描识别算法对抓取的图片进行分析，判断图像中是否具有字幕的特征信息，若有，则通过图像文字识别算法识别出嵌入在图像中的字幕文字，形成字幕信息文本，若没有，则再次抓取当前显示的画面并分析，若达到用户预设的抓取、分析次数仍没有字幕的特征信息，则结束；
通过调用翻译工具中间件的翻译接口程序，实现对字幕文本信息进行实时语言翻译，生成译本文件；
将翻译处理完毕的字幕信息同步显示在电视屏幕指定的位置。
进一步的，在通过图像扫描识别算法对抓取的图片进行分析的时候，优先将图片底部的区域分离出来，对分离部分先进行分析。
进一步的，在有音轨的时候自动抓取当前显示的画面。
进一步的，翻译工具为Google翻译或者百度翻译。
本发明的有益效果是：本发明利用图像捕获以及识别技术和视频字幕数据信息分析的技术实现对视频文件字幕的本地化翻译显示，不仅打破了传统电视只能被动解析视频文件自带的字幕信息，甚至可以改变整个视频制作后期字幕的提供内容的方式，即视频文件只需要提供一种标准的英语字幕语言即可，其他语言均可由电视机智能翻译显示。
附图说明
图1为实施例的流程图。
具体实施方式
如图1所示，实施例提供一种智能翻译字幕的方法，包括以下步骤：
第一步，原始字幕信息抓取：
首先对视频文件进行解析(比如DTV或者本地媒体播放通道)，如果从解析到的字幕描述数据中显示有字幕数据标识，则优先依据视频文件字幕数据解析算法从字幕数据信息中解析出原始的字幕文件，例如实施例的项目中的接口函数BOOL MSrv_MediaFilePlayerMovie::GetSubtitleInfo(ST_MEDIA_FILE_PLAYER_SUBTITLE_INFO*pInfo)，U32MSrv_MediaFilePlayerMovie::GetSubtitleData(U8*pu8Data,const U32u32BufferSize,const U32u32Tag)中获取字幕信息；
如果视频文件中没有字幕信息(比如AV或者HDMI通道)，则在固定时间内(比如有音轨的时候连续30秒)通过图像抓取接口函数自动抓取当前显示的画面，通过图像扫描识别算法，判断图像中是否具有字幕的特征信息，如果判断到有字幕信息，则按照上述的方法截取屏幕图像。由于字幕一般显示在屏幕画面的下方，因此为提高识别运算效率，可以先将底部的示区域分离出来，对分离部分先进行分析，减少分析的数据量。如屏幕图像抓取接口函数：DLL_PUBLIC MAPI_BOOL CaptureScreen(MAPI_U8u8Type,MAPI_U32u32BufAddr,MAPI_U32 u32BufSize,MAPI_U32*pu32Width,MAPI_U32*pu32Height)。如果判断到没有字幕信息，则再次抓取当前显示的画面并分析，若达到用户预设的抓取、分析次数(例如5次)仍没有字幕的特征信息，则表明视频没有内嵌字幕，流程结束。
以上描述的两种方式针对不同的情况实现了对原始字幕内容的获取。
第二步，原始字幕内容识别：
系统中会嵌入图像文字识别算法的软件中间件，若字幕是嵌入在图像中，则利用图图像文字识别算法识别出嵌入在图像中的字幕文字，形成字幕信息文本，同时经过对识别的文字进行单词对比判断出原始的字幕内容是什么语言，并将这一信息保存在原始字幕信息文本记录中。对于字幕是独立成字幕数据制作在视频文件中的，可以直接通过视频文件中字幕信息的解析获取视频文件提供的字幕内容和字幕语言文本。
第三步，翻译处理：
将获取的字幕文本信息，通过内嵌在电视系统中的翻译软件中间件，如Google翻译或者百度翻译，通过调用翻译软件中间件的相关翻译接口函数，快速实时的翻译成用户设置的语言。
第四步，显示字幕：
将翻译处理完毕的字幕信息同步显示在电视屏幕的原字幕下方。
以上描述了本发明的基本原理和主要的特征，说明书的描述只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。

Claims (5)

1.智能翻译字幕的方法，其特征在于，包括步骤：
自动抓取当前显示的画面，并通过图像扫描识别算法对抓取的图片进行分析，判断图像中是否具有字幕的特征信息，若有，则通过图像文字识别算法识别出嵌入在图像中的字幕文字，形成字幕信息文本；若没有，则再次抓取当前显示的画面并分析，直到有字幕的特征信息出现或者达到用户预设的抓取、分析次数；
通过调用翻译工具中间件的翻译接口程序，实现对字幕文本信息进行实时语言翻译，生成译本文件；
将翻译处理完毕的字幕信息同步显示在电视屏幕指定的位置。
2.如权利要求1所述的智能翻译字幕的方法，其特征在于，在通过图像扫描识别算法对抓取的图片进行分析的时候，优先将图片底部区域分离出来，对分离部分先进行分析。
3.如权利要求1所述的智能翻译字幕的方法，其特征在于，在有音轨的时候自动抓取当前显示的画面。
4.如权利要求1所述的智能翻译字幕的方法，其特征在于，翻译工具为Google翻译或者百度翻译。
5.如权利要求1所述的智能翻译字幕的方法，其特征在于，自动抓取当前显示的画面之前，还包括步骤：对视频文件的中的数据信息进行解析，如果解析出该视频文件有字幕标识，则通过视频文件解码技术解析出字幕文本信息；如果解析到该视频文件中没有字幕标识，则自动抓取当前显示的画面。
CN201710741044.3A 2017-08-25 2017-08-25 智能翻译字幕的方法 Pending CN107484002A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710741044.3A CN107484002A (zh) 2017-08-25 2017-08-25 智能翻译字幕的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710741044.3A CN107484002A (zh) 2017-08-25 2017-08-25 智能翻译字幕的方法

Publications (1)

Publication Number Publication Date
CN107484002A true CN107484002A (zh) 2017-12-15

Family

ID=60602316

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710741044.3A Pending CN107484002A (zh) 2017-08-25 2017-08-25 智能翻译字幕的方法

Country Status (1)

Country Link
CN (1) CN107484002A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110047341A (zh) * 2018-01-17 2019-07-23 希格纳姆国际股份有限公司 情景语言学习设备、系统和方法
CN111356025A (zh) * 2018-12-24 2020-06-30 深圳Tcl新技术有限公司 一种多字幕显示方法、智能终端及存储介质
CN111818280A (zh) * 2020-07-10 2020-10-23 珠海迈科智能科技股份有限公司 一种dvb字幕定制系统和字幕定制方法
CN112464935A (zh) * 2020-12-09 2021-03-09 深圳康佳电子科技有限公司 一种lrc歌词显示控制方法、智能终端及存储介质
CN112584209A (zh) * 2020-12-04 2021-03-30 深圳创维－Rgb电子有限公司 一种显示方法、装置、存储介质及智能电视
CN114885197A (zh) * 2022-04-26 2022-08-09 中山亿联智能科技有限公司 一种应用于机顶盒字幕的多国语言翻译系统及其方法
US11955118B2 (en) 2019-09-17 2024-04-09 Samsung Electronics Co., Ltd. Method and apparatus with real-time translation

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101202844A (zh) * 2006-12-14 2008-06-18 英业达股份有限公司 字幕翻译方法
CN102209227A (zh) * 2010-03-30 2011-10-05 宝利通公司 在视频会议中增加翻译的方法和系统
CN103051945A (zh) * 2012-12-31 2013-04-17 广东欧珀移动通信有限公司 一种视频播放终端的字幕翻译方法、系统
CN103067775A (zh) * 2013-01-28 2013-04-24 Tcl集团股份有限公司 一种音视频终端的字幕显示方法、音视频终端及服务器
CN103179464A (zh) * 2011-12-23 2013-06-26 乐金电子(中国)研究开发中心有限公司 获取电视机外部输入设备中节目信息的方法和装置
CN104219459A (zh) * 2014-09-30 2014-12-17 上海摩软通讯技术有限公司 视频语言翻译方法、系统及智能显示设备
CN105631917A (zh) * 2014-11-06 2016-06-01 上海莱凯数码科技有限公司 一种数码动画制作过程中字幕翻译方法
CN105704579A (zh) * 2014-11-27 2016-06-22 南京苏宁软件技术有限公司 媒体播放中实时自动翻译字幕的方法和系统
CN106303303A (zh) * 2016-08-17 2017-01-04 北京金山安全软件有限公司 一种媒体文件字幕的翻译方法、装置及电子设备
CN106340294A (zh) * 2016-09-29 2017-01-18 安徽声讯信息技术有限公司 基于同步翻译的新闻直播字幕在线制作系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101202844A (zh) * 2006-12-14 2008-06-18 英业达股份有限公司 字幕翻译方法
CN102209227A (zh) * 2010-03-30 2011-10-05 宝利通公司 在视频会议中增加翻译的方法和系统
CN103179464A (zh) * 2011-12-23 2013-06-26 乐金电子(中国)研究开发中心有限公司 获取电视机外部输入设备中节目信息的方法和装置
CN103051945A (zh) * 2012-12-31 2013-04-17 广东欧珀移动通信有限公司 一种视频播放终端的字幕翻译方法、系统
CN103067775A (zh) * 2013-01-28 2013-04-24 Tcl集团股份有限公司 一种音视频终端的字幕显示方法、音视频终端及服务器
CN104219459A (zh) * 2014-09-30 2014-12-17 上海摩软通讯技术有限公司 视频语言翻译方法、系统及智能显示设备
CN105631917A (zh) * 2014-11-06 2016-06-01 上海莱凯数码科技有限公司 一种数码动画制作过程中字幕翻译方法
CN105704579A (zh) * 2014-11-27 2016-06-22 南京苏宁软件技术有限公司 媒体播放中实时自动翻译字幕的方法和系统
CN106303303A (zh) * 2016-08-17 2017-01-04 北京金山安全软件有限公司 一种媒体文件字幕的翻译方法、装置及电子设备
CN106340294A (zh) * 2016-09-29 2017-01-18 安徽声讯信息技术有限公司 基于同步翻译的新闻直播字幕在线制作系统

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110047341A (zh) * 2018-01-17 2019-07-23 希格纳姆国际股份有限公司 情景语言学习设备、系统和方法
CN111356025A (zh) * 2018-12-24 2020-06-30 深圳Tcl新技术有限公司 一种多字幕显示方法、智能终端及存储介质
WO2020135192A1 (zh) * 2018-12-24 2020-07-02 深圳Tcl新技术有限公司 一种多字幕显示方法、智能终端及存储介质
US11955118B2 (en) 2019-09-17 2024-04-09 Samsung Electronics Co., Ltd. Method and apparatus with real-time translation
CN111818280A (zh) * 2020-07-10 2020-10-23 珠海迈科智能科技股份有限公司 一种dvb字幕定制系统和字幕定制方法
CN112584209A (zh) * 2020-12-04 2021-03-30 深圳创维－Rgb电子有限公司 一种显示方法、装置、存储介质及智能电视
CN112464935A (zh) * 2020-12-09 2021-03-09 深圳康佳电子科技有限公司 一种lrc歌词显示控制方法、智能终端及存储介质
CN114885197A (zh) * 2022-04-26 2022-08-09 中山亿联智能科技有限公司 一种应用于机顶盒字幕的多国语言翻译系统及其方法
CN114885197B (zh) * 2022-04-26 2023-07-14 中山亿联智能科技有限公司 一种应用于机顶盒字幕的多国语言翻译系统及其方法

Similar Documents

Publication Publication Date Title
CN107484002A (zh) 智能翻译字幕的方法
US10945035B2 (en) Method and apparatus for augmenting media content
WO2021068558A1 (zh) 一种同声字幕翻译方法、智能电视及存储介质
WO2019205872A1 (zh) 视频流处理方法、装置、计算机设备及存储介质
CN110463195B (zh) 用于在虚拟现实视频中渲染定时文本和图形的方法和设备
KR100965471B1 (ko) 자막 첨부 정지 화상 컨텐츠 작성 장치, 자막 첨부 정지화상 컨텐츠 작성 프로그램 및 자막 첨부 정지 화상 컨텐츠작성 시스템
US7707485B2 (en) System and method for dynamic transrating based on content
CN110035326A (zh) 字幕生成、基于字幕的视频检索方法、装置和电子设备
US20080129864A1 (en) Distribution of Closed Captioning From a Server to a Client Over a Home Network
CN112601101B (zh) 一种字幕显示方法、装置、电子设备及存储介质
CN112616062B (zh) 一种字幕显示方法、装置、电子设备及存储介质
CN104219459A (zh) 视频语言翻译方法、系统及智能显示设备
US11812100B2 (en) Apparatus, systems and methods for accessing information based on an image presented on a display
US20110138418A1 (en) Apparatus and method for generating program summary information regarding broadcasting content, method of providing program summary information regarding broadcasting content, and broadcasting receiver
CN108810580B (zh) 媒体内容推送方法及装置
CN105791914A (zh) 播放控制方法和装置
CN105791953B (zh) 播放控制方法和装置
CN112601120B (zh) 字幕显示方法及装置
EP2621180A2 (en) Electronic device and audio output method
KR101004124B1 (ko) 오디오비주얼 프로그램 동기화 시스템 및 방법
CN108366305A (zh) 一种不带字幕的码流通过语音识别显示字幕的方法及系统
CN112714348A (zh) 智能音视频同步方法
CN102164318A (zh) 语音提示方法、装置及数字电视接收终端
Orero et al. Accessibillity to Digital Society: Interaction for All
CN111107283B (zh) 一种信息显示方法、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171215

RJ01 Rejection of invention patent application after publication