CN1232107C - 字幕提取装置 - Google Patents

字幕提取装置 Download PDF

Info

Publication number
CN1232107C
CN1232107C CNB031234739A CN03123473A CN1232107C CN 1232107 C CN1232107 C CN 1232107C CN B031234739 A CNB031234739 A CN B031234739A CN 03123473 A CN03123473 A CN 03123473A CN 1232107 C CN1232107 C CN 1232107C
Authority
CN
China
Prior art keywords
captions
unit
extraction element
character
double exposure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB031234739A
Other languages
English (en)
Other versions
CN1461146A (zh
Inventor
长石道博
山田光穗
坂井忠裕
清水俊宏
河合直树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of CN1461146A publication Critical patent/CN1461146A/zh
Application granted granted Critical
Publication of CN1232107C publication Critical patent/CN1232107C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/033—Voice editing, e.g. manipulating the voice of the synthesiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/635—Overlay text, e.g. embedded captions in a TV program
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/009—Teaching or communicating with deaf persons
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4117—Peripherals receiving signals from specially adapted client devices for generating hard copies of the content, e.g. printer, electronic paper
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4135—Peripherals receiving signals from specially adapted client devices external recorder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4332—Content storage operation, e.g. storage operation in response to a pause request, caching operations by placing content in organized collections, e.g. local EPG data repository
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H04N21/4355—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reformatting operations of additional data, e.g. HTML pages on a television screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440236—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by media transcoding, e.g. video is transformed into a slideshow of still pictures, audio is converted into text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4782—Web browsing, e.g. WebTV
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/44504—Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/782—Television signal recording using magnetic recording on tape
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/025—Systems for the transmission of digital non-picture data, e.g. of text during the active part of a television frame
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/025—Systems for the transmission of digital non-picture data, e.g. of text during the active part of a television frame
    • H04N7/035—Circuits for the digital non-picture data signal, e.g. for slicing of the data signal, for regeneration of the data-clock signal, for error detection or correction of the data signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/775—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver

Abstract

本发明提供了一种从视频信号中提取字幕信息的字幕提取装置，其不仅可提供包含在视频内容中的字幕信息本身，还能利用该字幕信息帮助残障者。该字幕提取装置包括字幕提取单元(1b)，其从实际播放或重播的视频信号中提取叠印字幕；文字识别单元(1c)，其实时识别提取的叠印字幕中包含的一个或更多个字符，并输出含有与识别的一个或更多个字符对应的字符代码的文字信息；显示单元(1f)，其基于文字信息将叠印字幕包含的一个或更多个字符显示出来；声音合成单元，其将由所述文字识别单元识别的字符代码进行声音合成，并输出合成的声音信号；以及颜色信息提取单元，其获取叠印字幕中的颜色信息。

Description

字幕提取装置
技术领域
本发明涉及一种从电视、录像等的视频信号中提取字幕信息并将此字幕信息输出的字幕提取装置。
背景技术
电视等播放的视频中插入的字幕有很多有用的信息。因此，为了将该字幕中所含的信息提取出来加以利用，人们作了多种尝试。已经开始普及的技术是用BS数字和CS数字播放模式，播放图像以外的文字信息，但是，也经常出现包含的信息播放不充分的现象。另外，现有的播放模式中还存在将字幕信息以文字播放的其他数据(文字数据)模式进行播放的方法，但现在仍未得到广泛普及。
另一方面，作为视频一部分所嵌入的叠印字幕是制作者能够容易插入信息的装置，其在很多的播放节目和视频媒体中普及。从而，利用作为视频一部分所嵌入的字幕信息在当前非常重要。
字幕上一般包含概括视频内容的信息，所以对弱视者等的轻度视力障碍者以及听力障碍者是重要的信息来源。因此，发明了在文字播放中，将字幕中的文字数据(字幕数据)提取出来，再通过其他终端将该字幕内容放大显示的装置(例如，日本专利公开第2001-024964号披露的装置)。另一方面，正在以叠印字幕为基础，探讨研究视频的检索及分类的方法。例如，在日本专利公开第1995-192003号公报或日本专利公开第1998-308921号公报中批露了将存储的视频中所包含的字幕作为视频的索引来检索视频的技术。另外，日本专利公开第1998-092052号公报中公开了特定节目识别装置的技术，该技术可以保持广告及节目时间变更等的文字及图像的模式，提取图像中包含的广告的标题和节目时间变更等的文字模式，并与上述保持的模式进行比较，从而识别广告(特定节目)，所以能够录制视频内容而删除该广告，能够观看那些内容而跳过该广告。
不过，虽然人们都期待能够将字幕中所含的信息灵活运用，但是，现阶段仍未提出有效的方法和装置，可以将实际播放或重播的视频中所嵌入的叠印字幕进行实时文字识别，并将识别的字幕信息本身多样有效地利用。
以往，为了检索图像或删除广告等，字幕信息的利用方法被特定化，没能得到普遍的利用。另外，观众虽然可以利用叠印字幕中的信息进行各种活动(例如，电话购物时可以拨打画面中显示的电话号码等)，但是，现实生活中，尤其对于视力、听力障碍者来说就无法参与这样的活动了。
发明内容
本发明借鉴上述经验，不仅可以提供包含在视频中的字幕信息其本身，还可以提供利用该字幕信息帮助障碍者的字幕提取装置。
根据本发明的字幕提取装置是一种从视频信号中提取字幕信息的字幕提取装置，其特征在于包括：字幕提取单元，其从实际播放或者重播的视频信号中提取叠印字幕；文字识别单元，其将提取的含在叠印字幕中的一个或更多个字符进行实时识别，并输出包含与一个或更多个识别字符相对应的字符代码列的文字信息；以及显示单元，其按照该文字信息显示该一个或更多个字符。
据此可以将嵌入在图像中的字幕信息本身实时提供给使用者。
在根据本发明的字幕提取装置中，该各单元可以全部内装在一个机箱里。
这样，全部功能内装于一个机箱中，使用者使用非常方便。
在根据本发明的字幕提取装置中，还可包括输入输出单元，其可与外部设备与/或外部通信环境连接。
据此可充分利用外部设备与/或外部通信环境。
在根据本发明的字幕提取装置中，还可包括文字处理单元，其将用于对该识别的文字进行扩大、变形、上色等处理的附加信息添加在该文字信息上。
据此，该显示单元将经过该文字处理单元的附加功能扩大、变形、上色处理过的文字信息中的字符串显示出来，为使用者提供容易识别的字幕信息。
根据本发明的字幕提取装置，与显示基于该视频信号的视频的电视接收机等的显示装置是分体的。
因为根据本发明的字幕提取装置与电视接收机等显示装置是分体设置的，本发明的字幕提取装置可配置在使用者的身边，这样既能在使用者身边输出字幕信息，由能为轻度视力障碍者等提供方便。
此外，在根据本发明的字幕提取装置中，还可包括声音合成单元，其将由该文字识别单元识别的字符代码进行声音合成，并输出合成的声音信号。
这样通过配备该声音合成单元，即使使用者是重度的视力障碍者，也可利用声音为其提供字幕信息。
此外，在根据本发明的字幕提取装置中，还包括颜色信息提取单元，其获取叠印字幕中的颜色信息；该声音合成单元是根据由该颜色信息提取单元取得的叠印字幕的颜色信息，或者根据由该文字识别单元识别的、预先插入叠印字幕中的文字·记号，区分男女、成人、孩子、老人等，进行声音合成。
这样，合成后的声音就不是单纯的没有质感的声音。而且用叠印字幕颜色的不同或特定的文字·记号区分男女、成人、孩子、老人等，视频制作者一插入含有这些颜色或文字·记号的叠印字幕，本发明的字幕提取装置可用合成的声音表现出男女、成人、孩子、老人的不同，为收看收听字幕信息的使用者提供帮助。
在根据本发明的字幕提取装置中，该声音合成单元可以以显示叠印字幕时输出的声音特征类似的特征进行声音合成。
这样，不仅合成后的声音不是单纯的无质感的声音，而且由于与演出者的声音特征类似，可以给使用者提供自然的收听感受。
在根据本发明的字幕提取装置中，其将该文字信息提供到盲文输出单元上，输出盲文。
通过盲文输出可为重度视力障碍者提供帮助。
在根据本发明的字幕提取装置中，该盲文输出单元具有盲文键盘。
这样就可以为重度视力障碍者提供帮助。
在根据本发明的字幕提取装置中，该盲文输出单元可具有盲文打印机。
由此为重度视力障碍者提供帮助。
在根据本发明的字幕提取装置中，还可包括判断单元，其通过检索由该文字信息指定的关键词，自动判断出现该关键词的画面。
据此可以自动查出出现想查找的关键词的画面。
在根据本发明的字幕提取装置中，还可包括控制单元，其将含有由所述判断单元查出的所述关键词的画面的出现时刻记录在记录单元上。
据此可提供这样的帮助，根据查出的画面出现的时刻确定该查出的画面。
在根据本发明的字幕提取装置中，还可包括控制单元，其将含有由所述判断单元查出的所述关键词的画面录制在录像单元上。
据此，当出现含有被指定(登记)的关键词的视频内容时，因为可自动录像，所以使用者非常关心的信息即使没有看到或看的不完全，也可以重新观看，对使用者来说是很大的帮助。
在根据本发明的字幕提取装置中，还可包括控制单元，其根据查出的预先设定的字符串，控制用于输出文字信息的单元。
这样，对用于输出文字信息的单元，根据查出的字符串可进行各种控制。
在根据本发明的字幕提取装置中，若该预先设定的字符串是节目开始字符串及节目结束字符串，该控制单元响应该字符串对录像单元下达预先设定节目录像或者节目录像的指令。
据此，只要电台将上述字符串作为字幕信息插入，使用者只要利用该字幕信息无需对任何录像单元进行操作设定，就可进行节目录像(或预先设定录像)。
在根据本发明的字幕提取装置中，若该预先设定的字符串是地址或邮政编码，该控制单元将该地址或邮政编码通过打印单元进行打印。
当字幕中显示的地址或邮政编码对使用者有用时，通过这样的控制方式，自动将显示出的地址或邮政编码并通过打印单元打印出来。
在根据本发明的字幕提取装置中，若该预先设定的字符串是邮政编码，当查出该邮政编码时，该控制单元从与邮政编码相对应的地址数据库中检索并获得与该邮政编码对应的地址，并将获得的地址通过打印单元进行打印。
这样仅通过检索出的邮政编码即可自动打印出对应的地址，非常方便使用者使用。
在根据本发明的字幕提取装置中，在可与网络连接的同时，若该预先设定的字符串是URL，当查出该URL时，该控制单元存取与该URL(Uniform Resource Locator)对应的网页，将该网页的内容显示在该显示单元上。
这样即可自动参考互联网上的相关信息。
在根据本发明的字幕提取装置中，在可与电话连接的同时，如该预先设定的字符串是电话号码，当查出该电话号码时，该控制单元呼叫该电话号码的电话机。
字幕中显示的电话号码如对使用者有用(例如电话购物等)，则可利用这种控制方式自动接通所显示的电话号码的对方。
本发明还提供了一种由通过天线接收电视播放信号的电视图像接收机和上述字幕提取装置构成的系统，以及一种由电视重放机和上述字幕提取装置构成的系统。
附图说明
图1是根据本发明的一个实施例的字幕提取装置的构成方框图。
图2是同一实施例的字幕提取装置与其他设备相连接的实例示意图。
图3是同一实施例的字幕提取装置的配置实例示意图。
图4是为了说明利用同一实施例的字幕提取装置进行录像的实例示意图。
具体实施方式
以下参照附图对本发明的具体实施例进行说明。
图1是根据本发明的一个实施例的字幕提取装置1的构成方框图。图2是同一字幕提取装置与其他设备相连接的实例示意图。
如图2所示，本实施例的字幕提取装置1与电视接收机2等的显示装置是分体的，该字幕提取装置1既与各种外部设备连接，又与互联网、电话网等的通信网络连接。
如图1所示，符号1a表示调谐部分，其接收播放接收信号/视频重播信号，对选择的节目频道(或输入信号)的视频和音频信号进行分离·输出。
符号1b表示字幕提取部分，从调谐部分1a输出的视频信号中提取出字幕部分(叠印字幕)。叠印字幕通常叠印显示在图像的下半部分，在具体实施例中，将提取这部分。然后，将提取出的字幕信息数字化，再输送至下面的文字识别部分1c及颜色信息提取部分1k。此外，输送至文字识别部分1c的数据对叠印字幕的亮度信号以特定的阈值为基准转换成二进制。
符号1c表示文字识别部分，其将由字幕提取装置提取出的字幕部分所包含的字符串进行实时文字识别，并输出含有与识别的字符串相对应的字符代码列的文字信息。此外，记号也作为文字进行识别。文字识别部分1c将经字幕提取部分1b提取的字幕叠印部分中超过规定水平亮度的部分等同于文字进行文字识别。而且，也可从整个画面中进行文字识别。
符号1d表示文字识别部分1c进行文字识别时所使用的识别字典DB。此外，文字识别部分1c是利用以往公知的文字识别技术设计完成的。
符号1e表示用于与外部设备和外部通信环境连接的输入输出部分。该输入输出部分1e具有用于与外部设备连接所需的接口功能，可符合连接的外部设备所要求的规格。此外，还具有用于与电话网15连接的电话机的功能。并且具有依照与互联网14连接的TCP/IP标准的通信机能。此外，输入输出部分1e也可对内置于字幕提取装置1中的显示部分1f进行显示控制。这里所说的外部设备是指盲文键盘10、盲文打印机11、录像机12、打印机13等，所说的通信环境(通信网络)是指互联网14及电话网15。此外，显示部分1f为液晶显示装置等的显示装置，还具有触摸板等的输入装置，可实现后面提到的输入设定关键词等功能。
符号1g表示文字处理部分，对经文字识别部分1c识别出的字符串中所含的文字进行扩大、变形、上色等处理时，将用于此的附加信息(特定代码)添加在从文字识别部分1c中输出的文字信息上。在此被处理的文字由显示部分1f将扩大、变形、上色后的状态显示出来。此外，当一个画面无法显示所有字符串时，将依次滚屏显示。
符号1h表示声音合成部分，将文字识别出的字幕中所含字符串合成声音从扬声器1i中输出。此外，在叠印字幕中插入文字识别部分1c识别出的预先设定的文字·记号(这也是后面提到的关键词的一种)时，根据该关键词可以合成区分男女、成人、孩子、老人等的男女差别以及年龄差别的声音。实现此功能时，从下面的关键词判断部分1l发出该关键词，基于该关键词合成上述声音，但该关键词本身不会被合成声音。而且，在下述的从颜色信息提取部分1k接收了颜色信息的情况下，则可以用与预先设定的颜色信息相对应的音质(例如，红色用于女性的音质，黑色用于男性的音质等)合成同样效果的声音。
此外，还可以使用与显示叠印字幕时输出的声音特征相类似的特征音质，进行声音合成。此时，通过分析输入的声音信号的音质特征(频率成分等)，从下列的声音DB·1j中选择出与该音质最接近的音质合成声音。在这种情况下，在外国电影中，显示日语字幕输出的声音是女演员的声音时，可从该声音的特征出发合成女性音质的声音。也就是说可以将外国电影自动配音复制成日语。这样连视力障碍者都能欣赏外国影片，健全人也不必一个一个读字幕了。
利用以上的变化音质功能，即使合成一些容易产生无质感效果的声音，也多少会使其具有个性特点(单一音质或无质感的声音会使听众感到乏味)。此外，节目制作者可以根据自己的意图选择·使用叠印字幕中字符串的颜色和特定的文字·记号。即节目制作者可明确设定字幕提取装置1输出的音质。例如，播放依据新闻、解说的字幕合成的声音时可以按照自己的意图区分使用不同的音质。具体来说，儿童节目选用年轻女性的音质、政治节目选用男性音质，作到节目不同使用的音质不同。而且，根据显示叠印字幕是输出的声音特征选择音质时，节目制作者无须在叠印字幕中插入用于决定音质的上述文字·记号。
此外，声音合成部分1h可以使用以往公知的声音合成技术实现。
符号1j表示声音DB(数据库)存储用于合成声音的下列数据。利用该声音DB·1j可以事先存储各种区分男女、年龄不同的典型的音质数据(组成声音的频率成分的数据等)，合成符合上述各条件的声音时可选用不同的音质。此外，还可选择与显示叠印字幕时输出的声音特征类似的音质。而且，该声音DB·1j上也存储有与上述各条件(关键词、声音特征)和音质数据相对应的表，可依据条件选择对应的音质数据。
符号1k表示颜色信息提取部分，将由字幕提取部分1b提取的叠印字幕一部分的字符串的颜色信息提供到声音合成部分1h上，这里的颜色信息是表示3原色亮度分布的信息。
符号1l表示关键词判断部分，先判断利用文字识别部分1c识别出的字符串中是否有关键词DB·1m里存储的关键词，再自动判断出现该关键词的画面。然后根据关键词向声音合成部分1h或控制部分1n下达找到该关键词及相应画面的指令。接着关键词DB·1m对应于各关键词，对下述的控制部分1n依据各关键词(包含地址、邮政编码、URL、电话号码等)应实施控制处理的内容，进行存储。
符号1n表示控制部分，当由关键词判断部分1l查出特定的关键词后并接收到来自关键词判断部分1l的关键词等(包含地址、邮政编码、URL、电话号码等)的指令时，根据该关键词参照关键词DB·1m，实施下列相应的控制措施。
具体来说，控制部分1n，将查出关键词的画面出现时刻(开始时刻)记录在记录部分1o中。此外，当关键词判断部分1l查出预先登记的关键词时，从查出该关键词的画面开始在规定时间内由录像机12对视频、音频进行录像。而且，可以对从查出关键词的画面开始到识别出与查出的关键词不同的字符串时刻为止的信息进行录像。图4表示一录像实例。在这个实例中关键词是“TARO”(太郎)，当叠印字幕中显示“TARO”这个关键词时，立即就会查出，从查出这个关键词时起(TARO出场时)，在规定时间内对出场以后的画面进行录像。
此外，如是以节目开始及节目结束的字符串，进行录像或预先设定录像开始·结束的字符串作为关键词出来时，可根据该字符串向录像机12发出预先设定节目录像或开始节目录像的指令。该节目开始的字符串可以使用如节目名称及“开始”等字符串，节目结束的字符串可使用如节目名称及“剧终”等字符串。
而且，当查出地址或邮政编码的关键词时，控制部分1n可控制打印机13将该地址及邮政编码打印出来。如关键词仅是邮政编码，则可依据此邮政编码通过符号1p表示的地址DB检索取得对应的地址，通过打印机13将该地址打印出来。地址DB·1p是由邮政编码及与该邮政编码对应的地址构成的数据库。如查出的关键词是URL(Uniform Resource Locator)则由字符代码的列(文字信息)中提取出该URL对应的字符串，指示输入输出部分1e存储此URL对应的网页，并通过显示部分1f将该网页内容显示出来。
如查出的关键词是电话号码，同样亦可提取出该电话号码对应的字符串，指示输入输出部分1e呼叫该号码的电话机。此外，依据地址或邮政编码是否由正规使用的字符串构成，判断该字符串是地址亦或是邮政编码。依据是否是以[http：//]开始的固定格式判断字符串是否是URL。依据构成字符串的字符是否是数字，是否含有划分局号的连字符，是否使用正规的局号等标准判断字符串是否是电话号码。
这里，识别字典部分DB·1d、声音DB·1j、关键词DB·1m、记录部分1o、地址DB·1p都是由EPROM(可擦可编程只读存储器)、硬盘等的非易失性的记录装置构成的。
此外，利用由文字识别部分1c、文字处理部分1g、声音合成部分1h、颜色信息提取部分1k、关键词判断部分1l、控制部分1n、存储器及CPU(中央处理装置)等构成的处理部分(无图示)，通过在存储器中加载实现各部分功能的程序来实现上述各种功能。
如此构成的字幕提取装置1与所述的电视接收机2是分体的。因此，可将该字幕提取装置安装在使用者身边。也就是说，利用本实施例的字幕提取装置1可以在使用者身边输出(显示或输出声音)显示叠印字幕中的字幕信息(参照图3)。这样，字幕提取装置1实现上述各种自动控制，方便使用者(尤其是残障者)使用。
下面，就本实施例的字幕提取装置1的工作流程概括地说明如下。
字幕提取装置1也可输入与电视接收机2一样，通过天线3接收的播放接收信号(或放像机(未图示)的视频重播信号)。经调谐部分1a分离·输出从接收信号中选择出的频道(或输入信号)的视频和音频信号。视频信号输送至字幕提取部分1b，音频信号输送至声音合成部分1h。
字幕提取部分1b接收视频信号后，提取出视频内容中插入的叠印字幕部分，将其数字化，再将该数据输送至文字识别部分1c及颜色信息提取部分1k。
文字识别部分1c，接收字幕提取部分1b输送的字幕数据后，识别出叠印字幕的字符串，将该字符代码输送至文字处理部分1g、声音合成部分1h和关键词判断部分1l。
文字处理部分1g，依据预先设定将用于文字处理(扩大、变形、上色等)的附加信息添加在由字符代码构成的文字信息上。然后经由输入输出部分1e通过显示部分1f将处理后的字符串显示出来。
一方面，关键词判断部分1l接收文字识别部分1c输送的文字方式后，查出已登记的关键词，可自动判断(确定)含有该关键词的画面。然后，依照该关键词向声音合成部分1h或控制部分1n下达显示该关键词及相应画面的指令。
另一方面，声音合成部分1h，依据所接收的文字识别部分1c传来的字符代码合成声音，并经扬声器1i输出，还可依据由关键词判断部分1l传来的预先设定的关键词，或字幕中包含的文字颜色(该颜色信息经由颜色信息提取部分1k提供的)，改变音质后输出。
此外，控制部分1n接收关键词判断部分1l传来的关键词(规定的字符串)等，依照该关键词可实现上述各种预先设定的控制功能。
以上就字幕提取部分1的工作流程进行了简单说明。
此外，将可实现图1中的文字识别部分1c、文字处理部分1g、声音合成部分1h、颜色信息提取部分1k、关键词判断部分1l、控制部分1n的各种功能的程序，记录在计算机可读记录介质当中，通过计算机系统读取运行该记录介质中记录的程序，从而可实现字幕提取装置1的各项处理工作。这里所说的“计算机系统”是指OS和外部设备等硬件。
这里所说的“计算机可读记录介质”包括软盘、光盘、ROM、CD-ROM等可移动介质、计算机系统内置的硬盘等的存储装置。进一步说，所说的“计算机可读记录介质”也包括通过互联网等的网络和电话线路等的通信线路，作为服务商和客户发送程序时的计算机系统内部的易失性存储器(RAM)，其可保持恒定时间的程序。
此外，上述程序可由将该程序存储至记录装置的计算机系统，通过传输介质或经传输介质的发射波传送至其他计算机系统。这里所谓传输程序的“传输介质”是指互联网等网络(通信网络)、电话线路等通信线路(通信线)，具有传输信息功能的介质。
上述程序也可以只实现所述功能的一部分。而且，也可是与上述计算机系统中已有记录的程序组合在一起实现所述功能，即勘误文件(勘误程序)。
以上依照附图对本发明的实施例进行了详细说明，实际的构造并不限于本实施例，也包含不偏离本发明主题的其他构造。
正如以上的详细说明，利用本发明从实际播放或重播的视频信号提取叠印字幕，再将叠印字幕中包含的字符串进行实时识别，输出包含与该字符串对应的字符代码的文字信息，可以广泛应用于识别字幕中的文字信息。
此外，利用本发明亦可方便容易地利用外部设备及外部通信环境。
利用本发明对该文字信息依据附加功能将识别出的文字进行扩大、变形、上色等等处理。因此，可以为视觉障碍者提供符合其要求的字幕信息的视觉效果。
此外，因本发明与电视机接收机等的显示装置是分体的，可将本发明安装在使用者身边，使用者在身边即可完成所有操作。
利用本发明可以将字幕信息合成声音，而且可依据条件改变音质后进行输出，不仅可以提供具有视觉效果的字幕信息，还可提供具有声音效果的字幕信息。为健康者以及残障者提供高质量的服务。
此外，利用本发明可实现依据关键词或规定的字符串，进行录像、存储互联网上的网页和自动接通电话等功能，尤其对视觉、听觉障碍者，能帮助他们完成这些活动。
尽管本发明已经参照附图和优选实施例进行了说明，但是，对于本领域的技术人员来说，本发明可以有各种更改和变化。本发明的各种更改、变化和等同物由权利要求书的内容涵盖。
附图标记说明
1   字幕提取装置
2   电视接收机
3   天线
1a  调谐部分
1b  字幕提取部分(字幕提取单元)
1c  文字识别部分(文字识别单元)
1d  识别字典DB
1e  输入输出部分(输入输出单元)
1f  显示部分(显示单元)
1g  文字处理部分(文字处理单元)
1h  声音合成部分(声音合成单元)
1i  扬声器
1j  声音DB
1k  颜色信息提取部分(颜色信息提取单元)
1l  关键词判断部分(关键词判断单元)
1m  关键词DB
1n  控制部分(控制单元)
1o  记录部分(记录单元)
1p  地址DB
10  盲文键盘(盲文输出单元)
11  盲文打印机(盲文输出单元)
12  录像机(录像单元)
13  打印机(打印单元)
14  互联网
15  电话网

Claims (20)

1.一种从视频信号中提取字幕信息的字幕提取装置，其特征在于包括：
字幕提取单元，其从实际播放或者重播的视频信号中提取叠印字幕；
文字识别单元，其将含在提取的叠印字幕中的一个或更多个字符进行实时识别，并输出包含与识别的一个或更多个字符相对应的字符代码列的文字信息；
显示单元，其按照所述文字信息显示所述一个或更多个字符；
声音合成单元，其将由所述文字识别单元识别的字符代码进行声音合成，并输出合成的声音信号；以及
颜色信息提取单元，其获取叠印字幕中的颜色信息，
其中，所述声音合成单元是根据由所述颜色信息提取单元取得的叠印字幕的颜色信息，或者根据由所述文字识别单元识别的、预先插入叠印字幕中的文字或记号，区分男女、成人、孩子、老人等，进行声音合成。
2.根据权利要求1所述的字幕提取装置，其特征在于，所述各单元全部内装在一个机箱里。
3.根据权利要求1所述的字幕提取装置，其特征在于，还包括输入输出装置，其可与外部设备与/或外部通信环境连接。
4.根据权利要求1所述的字幕提取装置，其特征在于，还包括文字处理单元，其将用于对所述识别的一个或更多个字符进行扩大、变形、上色等处理的附加信息添加在所述文字信息上。
5.根据权利要求4所述的字幕提取装置，其特征在于，与显示基于所述视频信号的视频内容的电视接收机等的显示装置是分体的。
6.根据权利要求1所述的字幕提取装置，其特征在于，所述声音合成单元可以以显示叠印字幕时输出的声音特征类似的特征进行声音合成。
7.根据权利要求3所述的字幕提取装置，其特征在于，其将所述文字信息提供到盲文输出单元上以输出盲文。
8.根据权利要求7所述的字幕提取装置，其特征在于，所述盲文输出单元具有盲文键盘。
9.根据权利要求7所述的字幕提取装置，其特征在于，所述盲文输出单元具有盲文打印机。
10.根据权利要求3所述的字幕提取装置，其特征在于，还包括判断单元，其通过检索由所述文字信息指定的关键词，自动确定出现该关键词的画面。
11.根据权利要求10所述的字幕提取装置，其特征在于，还包括控制单元，其将含有由所述判断单元查出的所述关键词的画面的出现时刻记录在记录单元上。
12.根据权利要求10所述的字幕提取装置，其特征在于，还包括控制单元，其将含有由所述判断单元查出的所述关键词的画面录制在录像单元上。
13.根据权利要求3所述的字幕提取装置，其特征在于，还包括控制单元，其响应查出的预先设定的字符串，控制用于输出文字信息的单元。
14.根据权利要求13所述的字幕提取装置，其特征在于，若所述预先设定的字符串是节目开始字符串及节目结束字符串，所述控制单元依据该字符串对录像单元下达预先设定节目录像或者节目录像的指令。
15.根据权利要求13所述的字幕提取装置，其特征在于，若所述预先设定的字符串是地址或邮政编码，所述控制单元将所述地址或邮政编码通过打印单元进行打印。
16.根据权利要求15所述的字幕提取装置，其特征在于，若所述预先设定的字符串是邮政编码，当查出所述邮政编码时，所述控制单元从与邮政编码相对应的地址数据库中检索并获得与该邮政编码对应的地址，并将获得的地址通过打印单元进行打印。
17.根据权利要求13所述的字幕提取装置，其特征在于，在可与网络连接的同时，若所述预先设定的字符串是URL，当查出所述URL时，所述控制单元存取与所述URL对应的网页，将所述网页的内容显示在所述显示单元上。
18.根据权利要求13所述的字幕提取装置，其特征在于，在可与电话连接的同时，如所述预先设定的字符串是电话号码，当查出所述电话号码时，所述控制单元呼叫所述电话号码的电话机。
19.一种由通过天线接收电视播放信号的电视图像接收机和字幕提取装置构成的系统，其特征在于，所述字幕提取装置包括：字幕提取单元，用于从所述电视播放信号的视频信号中提取叠印字幕；
文字识别单元，用于识别包含在已提取的叠印字幕中的一个或更多字符，并输出包含与所识别的一个或更多个字符相对应的字符代码列的文字信息；以及
显示单元，其按照所述文字信息显示所述一个或更多个字符；
声音合成单元，其将由所述文字识别单元识别的字符代码进行声音合成，并输出合成的声音信号；以及
颜色信息提取单元，其获取叠印字幕中的颜色信息，
其中，所述声音合成单元是根据由所述颜色信息提取单元取得的叠印字幕的颜色信息，或者根据由所述文字识别单元识别的、预先插入叠印字幕中的文字或记号，区分男女、成人、孩子、老人等，进行声音合成。
20.一种由电视重放机和字幕提取装置构成的系统，其特征在于，所述字幕提取装置包括：
字幕提取单元，用于从所述电视重放机输出的电视重放信号的视频信号中提取叠印字幕；
文字识别单元，用于识别包含在已提取的叠印字幕中的一个或更多个字符，并输出包含与所识别的一个或更多个字符相对应的字符代码列的文字信息；以及
显示单元，其按照所述文字信息显示所述一个或更多个字符；
声音合成单元，其将由所述文字识别单元识别的字符代码进行声音合成，并输出合成的声音信号；以及
颜色信息提取单元，其获取叠印字幕中的颜色信息，
其中，所述声音合成单元是根据由所述颜色信息提取单元取得的叠印字幕的颜色信息，或者根据由所述文字识别单元识别的、预先插入叠印字幕中的文字或记号，区分男女、成人、孩子、老人等，进行声音合成。
CNB031234739A 2002-05-16 2003-05-14 字幕提取装置 Expired - Fee Related CN1232107C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2002142188 2002-05-16
JP2002142188A JP3953886B2 (ja) 2002-05-16 2002-05-16 字幕抽出装置

Publications (2)

Publication Number Publication Date
CN1461146A CN1461146A (zh) 2003-12-10
CN1232107C true CN1232107C (zh) 2005-12-14

Family

ID=29267822

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB031234739A Expired - Fee Related CN1232107C (zh) 2002-05-16 2003-05-14 字幕提取装置

Country Status (4)

Country Link
US (1) US20040008277A1 (zh)
EP (1) EP1363455A3 (zh)
JP (1) JP3953886B2 (zh)
CN (1) CN1232107C (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102314874A (zh) * 2010-06-29 2012-01-11 鸿富锦精密工业（深圳）有限公司 文本到语音转换系统与方法

Families Citing this family (87)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1489818B1 (en) * 2002-03-27 2010-03-10 Mitsubishi Denki Kabushiki Kaisha Communication apparatus and communication method
US20040181817A1 (en) * 2003-03-12 2004-09-16 Larner Joel B. Media control system and method
WO2006009105A1 (ja) * 2004-07-20 2006-01-26 Matsushita Electric Industrial Co., Ltd. 映像処理装置およびその方法
GB2405018B (en) * 2004-07-24 2005-06-29 Photolink Electronic programme guide comprising speech synthesiser
US20060045346A1 (en) * 2004-08-26 2006-03-02 Hui Zhou Method and apparatus for locating and extracting captions in a digital image
JP4530795B2 (ja) * 2004-10-12 2010-08-25 株式会社テレビ朝日データビジョン 告知情報番組制作装置、方法、プログラム、及び告知情報番組放送システム
JP2006197420A (ja) * 2005-01-17 2006-07-27 Sanyo Electric Co Ltd 放送受信装置
JP4587821B2 (ja) * 2005-01-31 2010-11-24 三洋電機株式会社 映像再生装置
CN1870156B (zh) * 2005-05-26 2010-04-28 凌阳科技股份有限公司 盘片播放装置及其播放控制方法与数据分析方法
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
JP2007081930A (ja) * 2005-09-15 2007-03-29 Fujitsu Ten Ltd デジタルテレビジョン放送受信機
JP2007142955A (ja) * 2005-11-21 2007-06-07 Sharp Corp 映像合成装置及び映像合成装置の動作方法
KR100791517B1 (ko) 2006-02-18 2008-01-03 삼성전자주식회사 디지털 방송 수신 단말기가 디지털 방송으로부터 전화번호정보를 검출하는 장치 및 방법
JP4728841B2 (ja) * 2006-03-07 2011-07-20 日本放送協会 提示情報出力装置
JP2008022292A (ja) * 2006-07-13 2008-01-31 Sony Corp 出演者情報検索システム、出演者情報取得装置、出演者情報検索装置、および、その方法ならびにプログラム
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
GB0619972D0 (en) * 2006-10-10 2006-11-15 Ibm Method, apparatus and computer network for producing special effects to complement displayed video information
JP2008118232A (ja) * 2006-11-01 2008-05-22 Hitachi Ltd 映像再生装置
US7929764B2 (en) * 2007-06-15 2011-04-19 Microsoft Corporation Identifying character information in media content
CN101102419B (zh) * 2007-07-10 2010-06-09 北京大学 一种定位视频字幕区域的方法
US8645983B2 (en) * 2007-09-20 2014-02-04 Sony Corporation System and method for audible channel announce
US20090129749A1 (en) * 2007-11-06 2009-05-21 Masayuki Oyamatsu Video recorder and video reproduction method
US8621505B2 (en) * 2008-03-31 2013-12-31 At&T Intellectual Property I, L.P. Method and system for closed caption processing
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
KR20110100649A (ko) * 2008-12-15 2011-09-14 코닌클리케 필립스 일렉트로닉스 엔.브이. 음성을 합성하기 위한 방법 및 장치
EP2209308B1 (en) 2009-01-19 2016-01-13 Sony Europe Limited Television apparatus
CN101853381B (zh) * 2009-03-31 2013-04-24 华为技术有限公司 视频字幕信息获取方法及装置
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
CN103125113A (zh) 2010-09-01 2013-05-29 杉中顺子 视频输出设备、遥控终端以及程序
CN102567982A (zh) * 2010-12-24 2012-07-11 浪潮乐金数字移动通信有限公司 一种视频节目特定信息的提取系统及其方法、移动终端
JP2012138670A (ja) * 2010-12-24 2012-07-19 Clarion Co Ltd デジタル放送受信装置、デジタル放送受信装置の制御方法及び制御プログラム
US8931031B2 (en) * 2011-02-24 2015-01-06 Echostar Technologies L.L.C. Matrix code-based accessibility
JP5857449B2 (ja) * 2011-05-27 2016-02-10 ソニー株式会社 画像処理装置及び録画装置
JP5689774B2 (ja) * 2011-10-04 2015-03-25 日本電信電話株式会社 対話型情報発信装置、対話型情報発信方法、及びプログラム
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
CN103475831A (zh) * 2012-06-06 2013-12-25 晨星软件研发(深圳)有限公司 应用于显示装置的字幕控制方法与元件
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
TW201426529A (zh) * 2012-12-26 2014-07-01 Hon Hai Prec Ind Co Ltd 通訊設備及其播放方法
US10642574B2 (en) * 2013-03-14 2020-05-05 Apple Inc. Device, method, and graphical user interface for outputting captions
EP2988520B1 (en) 2013-04-17 2019-11-20 Panasonic Intellectual Property Management Co., Ltd. Video reception device, and information-display control method for video reception device
KR102061044B1 (ko) * 2013-04-30 2020-01-02 삼성전자 주식회사 수화 번역 및 화면 해설 서비스 방법 및 시스템
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
CN104392729B (zh) * 2013-11-04 2018-10-12 贵阳朗玛信息技术股份有限公司 一种动画内容的提供方法及装置
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
CN103984772B (zh) * 2014-06-04 2017-07-18 百度在线网络技术（北京）有限公司 文本检索字幕库生成方法和装置、视频检索方法和装置
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
KR102407630B1 (ko) * 2015-09-08 2022-06-10 삼성전자주식회사 서버, 사용자 단말 및 이들의 제어 방법.
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179588B1 (en) 2016-06-09 2019-02-22 Apple Inc. INTELLIGENT AUTOMATED ASSISTANT IN A HOME ENVIRONMENT
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US10820061B2 (en) 2016-10-17 2020-10-27 DISH Technologies L.L.C. Apparatus, systems and methods for presentation of media content using an electronic Braille device
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US20200134103A1 (en) * 2018-10-26 2020-04-30 Ca, Inc. Visualization-dashboard narration using text summarization

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2246273A (en) * 1990-05-25 1992-01-22 Microsys Consultants Limited Adapting teletext information for the blind
US5262860A (en) * 1992-04-23 1993-11-16 International Business Machines Corporation Method and system communication establishment utilizing captured and processed visually perceptible data within a broadcast video signal
US5481296A (en) * 1993-08-06 1996-01-02 International Business Machines Corporation Apparatus and method for selectively viewing video information
US5703655A (en) * 1995-03-24 1997-12-30 U S West Technologies, Inc. Video programming retrieval using extracted closed caption data which has been partitioned and stored to facilitate a search and retrieval process
US6061056A (en) * 1996-03-04 2000-05-09 Telexis Corporation Television monitoring system with automatic selection of program material of interest and subsequent display under user control
US5809471A (en) * 1996-03-07 1998-09-15 Ibm Corporation Retrieval of additional information not found in interactive TV or telephony signal by application using dynamically extracted vocabulary
US6240555B1 (en) * 1996-03-29 2001-05-29 Microsoft Corporation Interactive entertainment system for presenting supplemental interactive content together with continuous video programs
US6025837A (en) * 1996-03-29 2000-02-15 Micrsoft Corporation Electronic program guide with hyperlinks to target resources
US6088674A (en) * 1996-12-04 2000-07-11 Justsystem Corp. Synthesizing a voice by developing meter patterns in the direction of a time axis according to velocity and pitch of a voice
US6637032B1 (en) * 1997-01-06 2003-10-21 Microsoft Corporation System and method for synchronizing enhancing content with a video program using closed captioning
US6564383B1 (en) * 1997-04-14 2003-05-13 International Business Machines Corporation Method and system for interactively capturing organizing and presenting information generated from television programs to viewers
EP0893779B1 (en) * 1997-07-22 2003-06-18 Sony International (Europe) GmbH Videoviewing device providing an automatic internet access
JPH1196286A (ja) * 1997-09-22 1999-04-09 Oki Electric Ind Co Ltd 文字情報変換装置
US6366699B1 (en) * 1997-12-04 2002-04-02 Nippon Telegraph And Telephone Corporation Scheme for extractions and recognitions of telop characters from video data
US6295092B1 (en) * 1998-07-30 2001-09-25 Cbs Corporation System for analyzing television programs
US6198511B1 (en) * 1998-09-10 2001-03-06 Intel Corporation Identifying patterns in closed caption script
US6608930B1 (en) * 1999-08-09 2003-08-19 Koninklijke Philips Electronics N.V. Method and system for analyzing video content using detected text in video frames
US6938270B2 (en) * 1999-04-07 2005-08-30 Microsoft Corporation Communicating scripts in a data service channel of a video signal
US6460180B1 (en) * 1999-04-20 2002-10-01 Webtv Networks, Inc. Enabling and/or disabling selected types of broadcast triggers
US7493018B2 (en) * 1999-05-19 2009-02-17 Kwang Su Kim Method for creating caption-based search information of moving picture data, searching and repeating playback of moving picture data based on said search information, and reproduction apparatus using said method
KR100326400B1 (ko) * 1999-05-19 2002-03-12 김광수 자막지향 탐색정보 생성 및 탐색방법과, 이를 사용하는 재생장치
GB2352915A (en) * 1999-08-06 2001-02-07 Television Monitoring Services A method of retrieving text data from a broadcast image
JP2002010151A (ja) * 2000-06-26 2002-01-11 Matsushita Electric Ind Co Ltd 番組受信装置
US6823084B2 (en) * 2000-09-22 2004-11-23 Sri International Method and apparatus for portably recognizing text in an image sequence of scene imagery
US7050109B2 (en) * 2001-03-02 2006-05-23 General Instrument Corporation Methods and apparatus for the provision of user selected advanced close captions
US20030046075A1 (en) * 2001-08-30 2003-03-06 General Instrument Corporation Apparatus and methods for providing television speech in a selected language
US8261306B2 (en) * 2001-12-11 2012-09-04 Koninklijke Philips Electronics N.V. System for and method of shopping through television
US6804330B1 (en) * 2002-01-04 2004-10-12 Siebel Systems, Inc. Method and system for accessing CRM data via voice

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102314874A (zh) * 2010-06-29 2012-01-11 鸿富锦精密工业（深圳）有限公司 文本到语音转换系统与方法

Also Published As

Publication number Publication date
EP1363455A3 (en) 2004-04-07
JP3953886B2 (ja) 2007-08-08
JP2003333445A (ja) 2003-11-21
CN1461146A (zh) 2003-12-10
EP1363455A2 (en) 2003-11-19
US20040008277A1 (en) 2004-01-15

Similar Documents

Publication Publication Date Title
CN1232107C (zh) 字幕提取装置
JP3646707B2 (ja) 番組情報の取得装置および取得方法
CN1160962C (zh) 可选择语言的交互式电视节目导视器
CN1189024C (zh) 信息处理设备
CN1581282A (zh) 隐藏字幕控制装置及其所用的方法
CN1951090A (zh) 带广播接收功能的移动电话机
CN1812524A (zh) 使用集中式信号处理的集成多媒体信号处理系统
CN1176726A (zh) 用于显示电视节目及相关正文的方法与设备
CN1747486A (zh) 便携式终端和便携式终端的控制方法
CN1604639A (zh) 小型化的视频馈送产生及用户界面
CN1331522A (zh) 预定信息设置装置及其方法
CN1627807A (zh) 节目提取方法与节目提取装置
CN1602051A (zh) 生成带有浮动标题的视频内容的设备
CN1951118A (zh) 流再现装置
CN1192626A (zh) 记录和重放电视信号的方法和装置以及记录媒体
CN1219822A (zh) 剪取物显示方法及其显示设备
CN1897653A (zh) 广播发送机和接收机、发送广播信号和执行其预约的方法
CN1266667C (zh) 便携终端和覆盖输出方法
CN102668580B (zh) 显示装置、程序及记录有程序的计算机可读取的存储介质
CN1292627A (zh) 提供共享白板的增强视频节目设备和方法
CN1756321A (zh) 图像显示设备
CN1110816C (zh) 视频信号记录、重现、记录和重现装置与方法
CN1150764C (zh) 由信息服务者提供各种信息的方法和设备
JP2006324779A (ja) 字幕配信システム、字幕送信装置、字幕合成装置及び字幕配信方法
CN1549550A (zh) 一种智能信息服务器及控制方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20051214

Termination date: 20160514