JP3953886B2 - 字幕抽出装置 - Google Patents

字幕抽出装置 Download PDF

Info

Publication number
JP3953886B2
JP3953886B2 JP2002142188A JP2002142188A JP3953886B2 JP 3953886 B2 JP3953886 B2 JP 3953886B2 JP 2002142188 A JP2002142188 A JP 2002142188A JP 2002142188 A JP2002142188 A JP 2002142188A JP 3953886 B2 JP3953886 B2 JP 3953886B2
Authority
JP
Japan
Prior art keywords
character
unit
character string
caption
subtitle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002142188A
Other languages
English (en)
Other versions
JP2003333445A5 (ja
JP2003333445A (ja
Inventor
道博 長石
光▲穂▼ 山田
忠裕 坂井
俊宏 清水
直樹 河合
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Japan Broadcasting Corp
Original Assignee
Seiko Epson Corp
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp, Japan Broadcasting Corp filed Critical Seiko Epson Corp
Priority to JP2002142188A priority Critical patent/JP3953886B2/ja
Priority to US10/437,443 priority patent/US20040008277A1/en
Priority to EP03010686A priority patent/EP1363455A3/en
Priority to CNB031234739A priority patent/CN1232107C/zh
Publication of JP2003333445A publication Critical patent/JP2003333445A/ja
Publication of JP2003333445A5 publication Critical patent/JP2003333445A5/ja
Application granted granted Critical
Publication of JP3953886B2 publication Critical patent/JP3953886B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/033—Voice editing, e.g. manipulating the voice of the synthesiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/635—Overlay text, e.g. embedded captions in a TV program
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/009—Teaching or communicating with deaf persons
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4117—Peripherals receiving signals from specially adapted client devices for generating hard copies of the content, e.g. printer, electronic paper
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4135—Peripherals receiving signals from specially adapted client devices external recorder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4332—Content storage operation, e.g. storage operation in response to a pause request, caching operations by placing content in organized collections, e.g. local EPG data repository
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H04N21/4355—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reformatting operations of additional data, e.g. HTML pages on a television screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440236—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by media transcoding, e.g. video is transformed into a slideshow of still pictures, audio is converted into text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4782—Web browsing, e.g. WebTV
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/44504—Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/782—Television signal recording using magnetic recording on tape
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/025—Systems for the transmission of digital non-picture data, e.g. of text during the active part of a television frame
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/025—Systems for the transmission of digital non-picture data, e.g. of text during the active part of a television frame
    • H04N7/035—Circuits for the digital non-picture data signal, e.g. for slicing of the data signal, for regeneration of the data-clock signal, for error detection or correction of the data signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/775—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Computer Graphics (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Systems (AREA)
  • Image Analysis (AREA)
  • Studio Circuits (AREA)

Description

【０００１】
【発明の属する技術分野】
本発明は、テレビ、ビデオ等の映像信号から字幕情報を抽出しこの字幕情報を出力する字幕抽出装置に関する。
【０００２】
【従来の技術】
テレビ放送等の映像に挿入される字幕には有益な情報が多い。そこで、この字幕に含まれる情報を取り出して利用する試みが多数なされている。ＢＳデジタルやＣＳデジタルの放送では、画像以外に文字情報も送られているが、普及し始めた技術であり、まだ十分な情報が入っていないことが多い。また、現行放送では、字幕情報を文字放送の別データ（文字データ）として送る方法もあるが、現状ではあまり普及していない。
一方、映像の一部として埋め込まれている字幕スーパーは、製作者が容易に情報を挿入できる手段であり、多くの放送番組や、映像メディアにて普及している。従って、映像の一部として埋め込まれている字幕情報の利用は現時点で大変重要である。
【０００３】
字幕には、一般に映像の要約的な情報があるので，弱視者等の軽度の視覚障害者や聴覚障害者には重要な情報源である。そこで、文字放送において、字幕用の文字データ（字幕データ）を取り出し，別端末にてこの字幕の内容を拡大表示する装置が発明されている（例えば、特開２００１−０２４９６４号に開示の装置）。一方、字幕スーパーを基に、映像の検索や分類に利用する方法が検討されている。例えば、特開平０７−１９２００３号公報または特開平１０−３０８９２１号公報では、蓄積された映像に含まれる字幕を映像のインデックスとして用い映像の検索を行える技術が開示されている。また、特開平１０−０９２０５２号公報では、コマーシャルや番組の時間変更などの文字や画像のパターンを保持し、映像に含まれるコマーシャルのタイトルや番組の時間変更の文字パターンを抽出して、上記パターンと比較することで、コマーシャル（特定番組）を識別し、このコマーシャルをカットして録画したり飛ばし見を行える特定番組識別装置の技術が示されている。
【０００４】
【発明が解決しようとする課題】
しかし、字幕に含まれる情報の多様な利用が期待されるが、現に放送されたり再生されている映像に埋め込まれた字幕スーパーをリアルタイムに文字認識して、認識した字幕情報自体を多様に活用できるように提供する形態の方法・手段は提案されていない。
従来は画像検索やコマーシャルカットなどのために、字幕情報の利用方法が特化されており、汎用的な利用ができなかった。また、視聴者は、字幕スーパーの情報を基にいろいろな活動をすることがあるが（例えば、テレホンショッピングで、映された電話番号に電話をかけるなど）、現状では、特に視覚・聴覚障害者に対して、そのような活動を支援することができていない。
【０００５】
本発明は、上記の点に鑑みてなされたもので、映像に埋め込まれた字幕情報自体を提供することができ、さらにこの字幕情報から障害者等の活動を支援する字幕抽出装置を提供するものである。
【０００６】
【課題を解決するための手段】
本発明の字幕抽出装置は、映像信号から字幕情報を抽出する字幕抽出装置において、現に放送または再生されている映像信号から字幕スーパーを抽出する字幕抽出手段と、抽出した字幕スーパーに含まれる文字列をリアルタイムに認識し、認識した文字列に対応する文字コードの列を含む文字情報を出力する文字認識手段と、前記文字情報に基づき前記文字列を表示する表示手段と、を具備することを特徴としている。
【０００７】
これにより、映像に埋め込まれた字幕情報自体を、利用者に、リアルタイムに提供することができる。
【０００８】
また、本発明の字幕抽出装置において、前記各手段を全て１つの筐体に内蔵してもよい。
【０００９】
こうすることで、全ての機能が１つの筐体に収容され、利用者にとって扱い易いものとなる。
【００１０】
また、本発明の字幕抽出装置において、周辺機器および／または外部の通信環境と接続可能とする入出力手段をさらに備えてもよい。
【００１１】
こうすることで、周辺機器および／または外部の通信環境を利用できるようになる。
【００１２】
また、本発明の字幕抽出装置において、前記認識した文字に対し、拡大、変形、彩色等の加工を施すための付加情報を前記文字情報に付加する文字加工手段をさらに備えてもよい。
【００１３】
こうすることで、前記表示手段は、この文字加工手段により付加情報が付加された文字情報に基づき、拡大、変形、彩色等の加工がなされた文字列を表示するので、利用者にとって視認し易い形態で利用者に字幕情報を提供することができる。
【００１４】
また、本発明の字幕抽出装置が、前記映像信号による映像を表示するテレビ受像機等の表示装置とは別体であるようにしてもよい。
【００１５】
このように本発明の字幕抽出装置をテレビ受像機等の表示装置と別体とすることで、本発明の字幕抽出装置を利用者の手元に配置することができ、したがって、字幕情報を利用者の手元で出力することができ、利用者が軽度の視覚障害者である場合など、利用者の助けとなる。
【００１６】
また、本発明の字幕抽出装置において、前記文字認識手段にて認識された文字コードを音声合成し、合成した音声の信号を出力する音声合成手段をさらに備えてもよい。
【００１７】
このように、この音声合成手段を備えることで、利用者が重度の視覚障害者であっても、音声により字幕情報を提供することができる。
【００１８】
また、本発明の字幕抽出装置において、字幕スーパーの色情報を取得する色情報抽出手段をさらに備え、前記音声合成手段は、前記色情報抽出手段にて取得された字幕スーパーの色情報に基づくか、または、前記文字認識手段にて認識された、予め定められ字幕スーパーに挿入された文字・記号に基づいて、男女，大人，子ども，老人などの違いが分かるように音声合成してもよい。
【００１９】
こうすることで、合成される音声は、単なる無機質な音声ではなくなる。また、男女，大人，子ども，老人などの違いを、字幕スーパーの色の違いで、または特定の文字・記号で定義し、映像制作者側でこのような色または文字・記号を用いた字幕スーパーを挿入すると、本発明の字幕抽出装置では、男女，大人，子ども，老人などの違いを、合成する音声で表現することができ、字幕情報を視聴する際の利用者の助けとすることができる。
【００２０】
また、本発明の字幕抽出装置において、前記音声合成手段が、字幕スーパーが表示される際に出力される音声の特徴に類似する特徴をもたせた音声合成を行うようにしてもよい。
【００２１】
こうすることで、合成される音声は、単なる無機質な音声ではなくなるだけでなく、出演者の音声の特徴に類似するので、利用者は、自然な感覚で聴取することができる。
【００２２】
また、本発明の字幕抽出装置において、点字出力手段に前記文字情報を与え点字出力させるようにしてもよい。
【００２３】
このように字幕情報を点字出力することで、重度の視覚障害者の助けとなる。
【００２４】
また、本発明の字幕抽出装置において、前記点字出力手段が、点字キーボードであってもよい。
【００２５】
こうすることで、重度の視覚障害者の助けとなる。
【００２６】
また、本発明の字幕抽出装置において、前記点字出力手段が、点字プリンタであってもよい。
【００２７】
こうすることで、重度の視覚障害者の助けとなる。
【００２８】
また、本発明の字幕抽出装置において、前記文字情報から指定されたキーワードを検出することにより、該キーワードが出現するシーンを自動判定する判定手段をさらに備えてもよい。
【００２９】
こうすることで、所望のキーワードが出現するシーンを自動的に検出することができる。
【００３０】
また、本発明の字幕抽出装置において、前記判定手段にて前記キーワードが検出されたシーンの出現時刻を記録手段に記録させる制御手段を備えてもよい。
【００３１】
こうすることで、検出されたシーンを出現時刻により特定するための助けとなる。
【００３２】
また、本発明の字幕抽出装置において、前記判定手段にて前記キーワードが検出されたシーンを録画手段に録画させる制御手段を備えてもよい。
【００３３】
こうすることで、指定（登録）されたキーワードを含む映像があった場合、自動的に録画されるので、利用者が関心をもっていても見落としたり、見損なってしまう映像も視聴することができ、利用者にとって有益なものとなる。
【００３４】
また、本発明の字幕抽出装置において、予め定められた文字列の検出に応じて、文字情報を出力するための手段を制御する制御手段を備えてもよい。
【００３５】
こうすることで、文字情報を出力するための手段に対し、文字列の検出に応じた様々な制御を行うことができる。
【００３６】
また、本発明の字幕抽出装置において、前記予め定められた文字列は、番組開始文字列および番組終了文字列であって、前記制御手段が、該文字列に従って録画手段に番組録画予約または番組録画の命令を与えるようにしてもよい。
【００３７】
こうすることで、放送局側で字幕情報として上記文字列を挿入し、利用者側でこの字幕情報を利用することで、いわゆる録画設定の操作をせずに、番組を録画（または予約録画）することができる。
【００３８】
また、本発明の字幕抽出装置において、前記予め定められた文字列は、住所または郵便番号であって、前記制御手段が、該住所または郵便番号を印刷手段に印刷させるようにしてもよい。
【００３９】
字幕に表示される住所または郵便番号は、利用者にとって有用である場合があり、このように制御することで、表示された住所または郵便番号が自動的に印刷され、利用者にとって有益である。
【００４０】
また、本発明の字幕抽出装置において、前記予め定められた文字列は郵便番号であって、前記判定手段にて郵便番号が検出されると、前記制御手段が、該郵便番号に対応する住所を、郵便番号に対応づけられた住所のデータベースから検索して取得し、取得した住所を印刷手段に印刷させるようにしてもよい。
【００４１】
こうすることで、郵便番号の検出のみで、対応する住所が自動的に印刷され、利用者にとって有益である。
【００４２】
また、本発明の字幕抽出装置において、インターネット接続可能であるとともに、前記予め定められた文字列はＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）であって、前記判定手段にてＵＲＬが検出されると、前記制御手段が、該ＵＲＬに対応するホームページにアクセスして、該ホームページの内容を前記表示手段に表示させるようにしてもよい。
【００４３】
こうすることで、インターネット上の関連情報を自動的に参照できるようになる。
【００４４】
また、本発明の字幕抽出装置において、電話接続可能であるとともに、前記予め定められた文字列は電話番号であって、前記判定手段にて電話番号が検出されると、前記制御手段が、該電話番号の電話機を呼び出させるようにしてもよい。
【００４５】
字幕に表示される電話番号は、利用者にとって有用である場合があり（例えば、テレホンショッピングなど）、このように制御することで、表示された電話番号の相手に自動的に電話接続されるので、利用者にとって有益である。
【００４６】
【発明の実施の形態】
以下、本発明の実施の形態を、図面を参照して説明する。
図１は、本発明の一実施の形態である字幕抽出装置１の構成を示すブロック図であり、図２は、同字幕抽出装置１と他の機器との接続例を示す図である。
図２に示すように、本実施の形態の字幕抽出装置１は、テレビ受像機２等の表示装置と別体であり、この字幕抽出装置１に各種周辺機器が接続されるとともに、インターネットや電話網等の通信網に接続されている。
【００４７】
図１において、符号１ａは、放送受信信号／ビデオ再生信号を受信し、選択されたチャネル（または入力信号）の映像と音声の信号を分離・出力するチューナ部である。
符号１ｂは、字幕抽出部であり、チューナ部１ａ出力の映像信号から、字幕部分（字幕スーパー）を抽出する。字幕スーパーは、通常、映像の下部の部分にスーパーインポーズされており、本実施の形態ではこの部分を抽出する。そして、抽出した字幕情報をデジタル化して、下記の文字認識部１ｃおよび色情報抽出部１ｋに与える。なお、文字認識部１ｃに与えるデータは、字幕スーパー部分の輝度信号に対し、所定の閾値を基準に二値化したものを用いる。
【００４８】
符号１ｃは、文字認識部であり、字幕抽出部１ｂにて抽出された字幕部分に含まれる文字列をリアルタイムに文字認識し、認識した文字列に対応する文字コードの列を含む文字情報を出力する。なお、記号も文字の一種として認識する。この文字認識部１ｃでは、字幕抽出部１ｂにて抽出された字幕スーパー部分の中で、所定のレベル以上の輝度をもつ部分を文字とみなして、文字認識を行う。なお、画面全体から文字を認識するようにしてもよい。
符号１ｄは、文字認識部１ｃが文字認識をする際使用する辞書が格納される認識辞書ＤＢである。なお、文字認識部１ｃは、従来より知られている文字認識の技術を利用して実現できる。
【００４９】
符号１ｅは、周辺機器や外部の通信環境への接続をするための入出力部である。この入出力部１ｅは、周辺機器と接続するための入出力インターフェースとしての機能をもち、接続する周辺機器に応じて要求される規格を満足するものとする。また、電話網１５へ接続するための電話機の機能を備えている。また、インターネット１４に接続するためのＴＣＰ／ＩＰ規格に準拠する通信機能を備えている。また、入出力部１ｅは、字幕抽出装置１に内蔵される表示部１ｆへの表示制御も行うものとする。ここで周辺機器とは、点字キーボード１０、点字プリンタ１１、ビデオレコーダ１２、プリンタ１３等であり、通信環境（通信網）とは、インターネット１４や電話網１５である。なお、表示部１ｆは、液晶表示装置等の表示装置であり、さらにタッチパネル等の入力手段を備え、後述のキーワード等の入力設定を可能としている。
【００５０】
符号１ｇは、文字加工手段であり、文字認識部１ｃにて認識された文字列に含まれる文字に対し、拡大、変形、彩色等の加工をする場合には、そのための付加情報（所定のコード）を、文字認識部１ｃから出力される文字情報に付加する。ここで加工された文字は、表示部１ｆにて拡大、変形、彩色等がなされた状態で表示される。なお、一画面にすべての文字列が表示できない場合は、順次スクロールさせ表示する。
【００５１】
符号１ｈは、音声合成部であり、文字認識された字幕の文字列を音声合成しスピーカ１ｉから出力する。また、文字認識部１ｃにて認識された文字・記号で、予め定められた文字・記号（これらも下記のキーワードの一種であるとする）が字幕スーパーに挿入されている場合、このキーワードに基づいて、男女，大人，子ども，老人などの男女の別や年齢差の区別が分かるように音声合成する。この場合、下記のキーワード判定部１ｌから、当該キーワードが通知され、このキーワードに基づき上記のように音声合成するが、このキーワード自体は音声合成しない。また、下記の色情報抽出部１ｋから色情報を受けた場合は、予め色情報に対応して設定された音質を用いて（例えば、赤色の場合女性の音質を用い、黒色の場合は男性の音質を用いるなど）、上記と同様に音声合成をする。
【００５２】
また、字幕スーパーが表示される際に出力される音声の特徴に類似する特徴をもつ音質を用いて音声合成をしてもよい。この場合、入力される音声信号から音質の特徴（周波数成分等）を分析して、下記の音声ＤＢ・１ｊから、この音質に最も近い音質を選択し音声合成をする。この場合では、例えば、外国映画で、日本語の字幕が表示される際に出力されている音声が女優の声である場合、その声の特徴から女性の音質で音声合成することになる。すなわち、外国映画が、日本語で自動的に吹き替えがなされることになる。したがって、視覚障害者でも外国映画を楽しめ、健常者でも字幕をいちいち読まなくて済むようになる。
【００５３】
また、以上のように音質を変えることで、無機質になりがちな音声合成された音声に、多少なりとも個性を持たせることができる（単一の音質や無機質な音声では聞いていて疲れてしまう）。また、字幕スーパーの文字列の色や、所定の文字・記号は、番組制作者側で、意図的に選択・使用することができる。すなわち、番組制作者側で、字幕抽出装置１にて出力させる音質を明示的に指定することができる。例えば、ニュース、解説の字幕の音声合成による読み上げの際の音質を意図的に使い分けることができる。具体的には、子供番組では、若い女性の声の音質を用いたり、政治番組では、男性の声の音質を用いたりと、音質の使い分けをすることができる。また、字幕スーパーが表示される際に出力される音声の特徴をもとに音質を選択する場合では、番組制作者側で、字幕スーパーに音質を決定する上記所定の文字・記号を挿入する必要はなくなる。
なお、音声合成部１ｈは、従来より知られている音声合成の技術を利用して実現できる。
【００５４】
符号１ｊは、音声ＤＢ（データベース）であり、音声合成に用いる下記のデータが格納されている。この音声ＤＢ・１ｊには、予め、男女別、年齢別などに応じて決められた典型的な音質のデータ（音声を構成する周波数成分のデータ等）が複数登録されており、上記各条件に応じて音声合成する際の音質が決定される。または、字幕スーパーが表示される際に出力される音声の特徴に類似する特徴をもつ音質が選択される。なお、この音声ＤＢ・１ｊには、上記各条件等（キーワードや音声の特徴）と音質のデータとを対応づけるテーブルも格納されており、条件に応じて対応する音質のデータが選択される。
【００５５】
符号１ｋは、色情報抽出部であり、字幕抽出部１ｂにて抽出された字幕スーパー部分の文字列の色情報を抽出し音声合成部１ｈに与える。ここでは、色情報として、３原色の輝度分布を示す情報を用いる。
符号１ｌは、キーワード判定部であり、文字認識部１ｃにて認識された文字列の中に、キーワードＤＢ・１ｍに登録されたキーワードが存在するか否か判定し、当該キーワードが出現するシーンを自動判定する。そして、キーワードに応じて音声合成部１ｈまたは制御部１ｎに、当該キーワードと該当シーンが出現した旨を通知する。なお、キーワードＤＢ・１ｍには、下記の制御部１ｎがキーワード等（住所、郵便番号、ＵＲＬ、電話番号の別を含む）に応じて実行すべき制御処理の内容が各キーワードに対応付けられ記憶されている。
【００５６】
符号１ｎは、制御部であり、キーワード判定部１ｌにて所定のキーワードが検出され、キーワード判定部１ｌからキーワード等（住所、郵便番号、ＵＲＬ、電話番号の別を含む）の通知を受けると、このキーワードをもとにキーワードＤＢ・１ｍを参照し、下記のように対応する制御処理を実行する。
具体的には、制御部１ｎは、キーワードが検出されたシーンの出現時刻（開始時刻）を記録部１ｏに記録させる。また、キーワード判定部１ｌにて予め登録されたキーワードが検出されると、このキーワードが検出されたシーンを始まりとして所定の時間、ビデオレコーダ１２にその映像と音声を録画させる。または、キーワードが検出されたシーンから、検出したキーワードと異なる文字列が認識された時点までを録画せさる。このビデオ録画の一例を図４に示している。この例のキーワードは「ＴＡＲＯ」（タロー）であり、字幕スーパーに「ＴＡＲＯ」が表示されるとこれを検出し、この検出時（ＴＡＲＯの登場時）から所定の時間、この登場以降のシーンを録画させている。
【００５７】
また、番組開始文字列および番組終了文字列や、録画または録画予約の開始・終了を特定させる文字列がキーワードとして検出された場合は、この文字列に従ってビデオレコーダ１２に番組録画予約または番組録画の命令を与える。上記番組開始文字列としては、例えば番組名と「スタート」等の文字列を、また番組終了文字列としては、例えば番組名と「エンド」等を用いることができる。
また、住所または郵便番号がキーワードとして検出された場合、制御部１ｎは、この住所または郵便番号をプリンタ１３に印刷させる。また、郵便番号のみがキーワードとして検出された場合、この郵便番号をもとに符号１ｐに示す住所ＤＢを検索し対応する住所を取得して、取得した住所をプリンタ１３に印刷させる。なお、住所ＤＢ・１ｐは、郵便番号とこの郵便番号に対応する住所からなるデータベースである。また、ＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）がキーワードとして検出された場合、文字コードの列（文字情報）からＵＲＬの文字列を抽出し、入出力部１ｅに対し、このＵＲＬに対応するホームページにアクセスさせ、該当ホームページの内容を表示部１ｆに表示させる。
【００５８】
また、電話番号がキーワードとして検出された場合、同様に電話番号の文字列を抽出し、入出力部１ｅに対し、この電話番号の電話機を呼び出させる。なお、文字列が住所であるか、郵便番号であるかの判定は、住所や郵便番号として正規に使用される文字列から構成されているか否かで判定する。また、ＵＲＬであるか否かは、「ｈｔｔｐ：／／」ではじまり、所定の構造をもっているか否かで判定する。また、電話番号であるか否かは、文字列を構成する文字が数字であって、局番を区切るハイフンを含み、正規の局番が使用されている等を基準として判定する。
【００５９】
なお、認識辞書部ＤＢ・１ｄ、音声ＤＢ・１ｊ、キーワードＤＢ・１ｍ、記録部１ｏ、住所ＤＢ・１ｐは、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ハードディスク等の不揮発性の記録装置により構成されている。
また、文字認識部１ｃ、文字加工部１ｇ、音声合成部１ｈ、色情報抽出部１ｋ、キーワード判定部１ｌ、制御部１ｎは、メモリおよびＣＰＵ（中央処理装置）等により構成される処理部（図示せず）にて、各部の機能を実現するためのプログラム（図示せず）をそのメモリにロードして実行することによりその機能が実現されるものとする。
【００６０】
このように構成される字幕抽出装置１は、前述のようにテレビ受像機２等とは別体である。したがって、この字幕抽出装置１を利用者の手元に配置することができる。すなわち、本実施の形態の字幕抽出装置１を用いることで、映像にスーパーインポーズされた字幕情報を利用者の手元で出力（表示および音声出力）することがでる（図３参照）。また、字幕抽出装置１は、前述した様々な自動制御を実行するので、利用者（特に障害者など）の助けとなる。
【００６１】
次に、このように構成された本実施形態の字幕抽出装置１の概略動作について説明する。
【００６２】
字幕抽出装置１には、アンテナ３を介して受ける放送受信信号（または、ビデオ再生機（図示せず）からのビデオ再生信号）が、テレビ受像機２と同様に入力される。チューナ部１ａは、受信信号から、選択されたチャネル（または入力信号）の映像と音声の信号を分離・出力する。映像信号は、字幕抽出部１ｂに与えられ、音声信号は音声合成部１ｈに与えられる。
映像信号を受ける字幕抽出部１ｂは、映像に挿入された字幕スーパー部分を抽出し、デジタル化してこのデータを文字認識部１ｃと色情報抽出部１ｋに与える。
【００６３】
文字認識部１ｃは、字幕抽出部１ｂから受けた字幕のデータから、字幕としてスーパーインポーズされた文字列を認識し、その文字コードを文字加工部１ｇと、音声合成部１ｈと、キーワード判定部１ｌに与える。
文字加工部１ｇは、設定に応じて文字を加工（拡大、変形、彩色等）するための付加情報を文字コードからなる文字情報に付加する。そして、入出力部１ｅを介して表示部１ｆに加工した文字列を表示させる。
【００６４】
一方、キーワード判定部１ｌは、文字認識部１ｃから受ける文字コードの列の中に、登録されたキーワードを検出すると、このキーワードが挿入されたシーンを自動判定する（特定する）。そして、キーワードに応じて音声合成部１ｈまたは制御部１ｎに、当該キーワードと該当シーンが出現した旨を通知する。
他方、音声合成部１ｈは、文字認識部１ｃから受ける文字コードに基づき音声合成しスピーカ１ｉから出力するが、キーワード判定部１ｌから予め定められたキーワードを受けると、このキーワードに応じて、あるいは、この字幕に含まれる文字の色（この色情報は、色情報抽出部１ｋから与えられる）に応じて、音質を変え出力する。
また、制御部１ｎは、キーワード判定部１ｌからキーワード（所定の文字列）等を受けると、このキーワードに応じて前述のように定められた各種制御処理を実行する。
以上、字幕抽出装置１の動作について説明した。
【００６５】
なお、図１における文字認識部１ｃ、文字加工部１ｇ、音声合成部１ｈ、色情報抽出部１ｋ、キーワード判定部１ｌ、制御部１ｎの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより字幕抽出装置１における各処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【００６６】
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００６７】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００６８】
以上、この発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の構成等も含まれる。
【００６９】
【発明の効果】
以上、詳細に説明したように、本発明によれば、現に放送または再生されている映像信号から字幕スーパーを抽出し、抽出した字幕スーパーに含まれる文字列をリアルタイムに認識し、認識した文字列に対応する文字コードの列を含む文字情報を出力するので、認識した字幕の文字情報自体を汎用的に利用することができる。
また、本発明によれば、周辺機器や外部の通信環境を容易に利用することができる。
【００７０】
また、本発明によれば、認識した文字に対し、拡大、変形、彩色等の加工を施すための付加情報を前記文字情報に付加するので、利用者、特に視覚障害者等に対しても字幕情報を適切な形で提供することができる。
また、本発明によれば、テレビ受像機等の表示装置とは別体として構成されるので、本発明の字幕抽出装置を手元に配置することで、利用者は手元で全ての操作が可能である。
【００７１】
また、本発明によれば、字幕情報を音声合成し、さらに条件に応じて音質を変え出力するので、視覚による字幕情報の提供のみならず、音声によっても字幕情報を提供することができ、健常者にとっても障害者にとってもさらに有効なものとなる。
また、本発明によれば、キーワードあるいは所定の文字列に応じて、ビデオ録画や、インターネット上のホームページへのアクセスや、電話接続等を自動で行うので、特に、視覚・聴覚障害者に対して、その活動を支援することができる。
【図面の簡単な説明】
【図１】 本発明の一実施の形態である字幕抽出装置の構成を示すブロック図である。
【図２】 同実施形態の字幕抽出装置と他の機器との接続例を示す図である。
【図３】 同実施形態の字幕抽出装置の配置例を示す図である。
【図４】 同実施形態の字幕抽出装置によるビデオ録画の一例を説明する図である。
【符号の説明】
１…字幕抽出装置、２…テレビ受像機、３…アンテナ、１ａ…チューナ部、１ｂ…字幕抽出部（字幕抽出手段）、１ｃ…文字認識部（文字認識手段）、１ｄ…認識辞書ＤＢ、１ｅ…入出力部（入出力手段）、１ｆ…表示部（表示手段）、１ｇ…文字加工部（文字加工手段）、１ｈ…音声合成部（音声合成手段）、１ｉ…スピーカ、１ｊ…音声ＤＢ、１ｋ…色情報抽出部（色情報抽出手段）、１ｌ…キーワード判定部（判定手段）、１ｍ…キーワードＤＢ、１ｎ…制御部（制御手段）、１ｏ…記録部（記録手段）、１ｐ…住所ＤＢ、１０…点字キーボード（点字出力手段）、１１…点字プリンタ（点字出力手段）、１２…ビデオレコーダ（録画手段）、１３…プリンタ（印刷手段）、１４…インターネット、１５…電話網

Claims (10)

  1. 発声するべき音声の音質毎に色分けされた字幕スーパーが意図的に挿入された放送受信信号またはビデオ再生信号を受信して、映像信号と音声信号に分離して出力するチューナと、
    前記映像信号から前記字幕スーパーを抽出する字幕抽出手段と、
    抽出した前記字幕スーパーに含まれる文字列をリアルタイムに認識し、認識した前記文字列に対応する文字コードの列を含む文字情報を出力する文字認識手段と、
    前記認識した文字情報に対し、拡大、変形、彩色等の加工を施すための付加情報を付加する文字加工手段と、
    前記付加情報が付加された文字情報に基づき前記文字列を出力する出力手段と、
    前記出力手段から出力された前記文字列を表示する表示手段と、
    前記抽出された字幕スーパーの色情報を取得する色情報抽出手段と、
    前記色情報に対して予め設定されている音質を使用して、前記文字認識手段にて認識された文字コードを音声合成し、合成した音声の信号を出力する音声合成手段と、
    前記音声合成手段から出力された前記音声の信号を発音する発音手段と、
    を備えることを特徴とする字幕抽出装置。
  2. 前記出力手段は、点字出力手段に前記文字情報を与え点字出力させる点字キーボードであることを特徴とする請求項１に記載の字幕抽出装置。
  3. 前記出力手段は、点字プリンタであることを特徴とする請求項１に記載の字幕抽出装置。
  4. 前記文字情報から指定されたキーワードを検出することにより、該キーワードが出現するシーンを自動判定する判定手段と、
    前記判定手段にて前記キーワードが検出されたシーンの出現時刻を記録手段に記録させる記録制御手段と
    をさらに備えることを特徴とする請求項１に記載の字幕抽出装置。
  5. 前記判定手段にて前記キーワードが検出されたシーンを録画手段に録画させる録画制御手段を備える
    ことを特徴とする請求項４に記載の字幕抽出装置。
  6. 予め定められた番組開始文字列および番組終了文字列を検出し、該検出文字列に従って録画手段に番組録画予約または番組録画の命令を与える制御手段をさらに備えることを特徴とする請求項１に記載の字幕抽出装置。
  7. 予め定められた住所または郵便番号の文字列を検出し、該検出文字列を印刷手段に印刷させる制御手段をさらに備えることを特徴とする請求項１に記載の字幕抽出装置。
  8. 前記検出文字列が郵便番号である場合に、前記制御手段は、該郵便番号に対応する住所を、郵便番号に対応づけられた住所のデータベースから検索して取得し、取得した住所を前記印刷手段に印刷させることを特徴とする請求項７に記載の字幕抽出装置。
  9. インターネット接続可能であるとともに、予め定められたＵＲＬ（Uniform Resource Locator）の文字列が検出されると、該ＵＲＬに対応するホームページにアクセスして、該ホームページの内容を前記表示手段に表示させる制御手段をさらに備えることを特徴とする請求項１に記載の字幕抽出装置。
  10. 電話接続可能であるとともに、予め定められた電話番号の文字列が検出されると、該電話番号の電話機を呼び出させる制御手段をさらに備えることを特徴とする請求項１に記載の字幕抽出装置。
JP2002142188A 2002-05-16 2002-05-16 字幕抽出装置 Expired - Fee Related JP3953886B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2002142188A JP3953886B2 (ja) 2002-05-16 2002-05-16 字幕抽出装置
US10/437,443 US20040008277A1 (en) 2002-05-16 2003-05-13 Caption extraction device
EP03010686A EP1363455A3 (en) 2002-05-16 2003-05-13 Caption extraction device
CNB031234739A CN1232107C (zh) 2002-05-16 2003-05-14 字幕提取装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002142188A JP3953886B2 (ja) 2002-05-16 2002-05-16 字幕抽出装置

Publications (3)

Publication Number Publication Date
JP2003333445A JP2003333445A (ja) 2003-11-21
JP2003333445A5 JP2003333445A5 (ja) 2005-05-19
JP3953886B2 true JP3953886B2 (ja) 2007-08-08

Family

ID=29267822

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002142188A Expired - Fee Related JP3953886B2 (ja) 2002-05-16 2002-05-16 字幕抽出装置

Country Status (4)

Country Link
US (1) US20040008277A1 (ja)
EP (1) EP1363455A3 (ja)
JP (1) JP3953886B2 (ja)
CN (1) CN1232107C (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102061044B1 (ko) * 2013-04-30 2020-01-02 삼성전자 주식회사 수화 번역 및 화면 해설 서비스 방법 및 시스템

Families Citing this family (87)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003081878A1 (fr) * 2002-03-27 2003-10-02 Mitsubishi Denki Kabushiki Kaisha Appareil de communication et procede de communication
US20040181817A1 (en) * 2003-03-12 2004-09-16 Larner Joel B. Media control system and method
US7817856B2 (en) * 2004-07-20 2010-10-19 Panasonic Corporation Video processing device and its method
GB2405018B (en) * 2004-07-24 2005-06-29 Photolink Electronic programme guide comprising speech synthesiser
US20060045346A1 (en) * 2004-08-26 2006-03-02 Hui Zhou Method and apparatus for locating and extracting captions in a digital image
JP4530795B2 (ja) * 2004-10-12 2010-08-25 株式会社テレビ朝日データビジョン 告知情報番組制作装置、方法、プログラム、及び告知情報番組放送システム
JP2006197420A (ja) * 2005-01-17 2006-07-27 Sanyo Electric Co Ltd 放送受信装置
JP4587821B2 (ja) * 2005-01-31 2010-11-24 三洋電機株式会社 映像再生装置
CN1870156B (zh) * 2005-05-26 2010-04-28 凌阳科技股份有限公司 盘片播放装置及其播放控制方法与数据分析方法
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
JP2007081930A (ja) * 2005-09-15 2007-03-29 Fujitsu Ten Ltd デジタルテレビジョン放送受信機
JP2007142955A (ja) * 2005-11-21 2007-06-07 Sharp Corp 映像合成装置及び映像合成装置の動作方法
KR100791517B1 (ko) 2006-02-18 2008-01-03 삼성전자주식회사 디지털 방송 수신 단말기가 디지털 방송으로부터 전화번호정보를 검출하는 장치 및 방법
JP4728841B2 (ja) * 2006-03-07 2011-07-20 日本放送協会 提示情報出力装置
JP2008022292A (ja) * 2006-07-13 2008-01-31 Sony Corp 出演者情報検索システム、出演者情報取得装置、出演者情報検索装置、および、その方法ならびにプログラム
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
GB0619972D0 (en) * 2006-10-10 2006-11-15 Ibm Method, apparatus and computer network for producing special effects to complement displayed video information
JP2008118232A (ja) * 2006-11-01 2008-05-22 Hitachi Ltd 映像再生装置
US7929764B2 (en) * 2007-06-15 2011-04-19 Microsoft Corporation Identifying character information in media content
CN101102419B (zh) * 2007-07-10 2010-06-09 北京大学 一种定位视频字幕区域的方法
US8645983B2 (en) * 2007-09-20 2014-02-04 Sony Corporation System and method for audible channel announce
US20090129749A1 (en) * 2007-11-06 2009-05-21 Masayuki Oyamatsu Video recorder and video reproduction method
US8621505B2 (en) * 2008-03-31 2013-12-31 At&T Intellectual Property I, L.P. Method and system for closed caption processing
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US20110243447A1 (en) * 2008-12-15 2011-10-06 Koninklijke Philips Electronics N.V. Method and apparatus for synthesizing speech
EP2209308B1 (en) 2009-01-19 2016-01-13 Sony Europe Limited Television apparatus
CN101853381B (zh) * 2009-03-31 2013-04-24 华为技术有限公司 视频字幕信息获取方法及装置
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
CN102314874A (zh) * 2010-06-29 2012-01-11 鸿富锦精密工业（深圳）有限公司 文本到语音转换系统与方法
US20130169867A1 (en) 2010-09-01 2013-07-04 Junko Suginaka Video output device, remote control terminal, and program
CN102567982A (zh) * 2010-12-24 2012-07-11 浪潮乐金数字移动通信有限公司 一种视频节目特定信息的提取系统及其方法、移动终端
JP2012138670A (ja) * 2010-12-24 2012-07-19 Clarion Co Ltd デジタル放送受信装置、デジタル放送受信装置の制御方法及び制御プログラム
US8931031B2 (en) * 2011-02-24 2015-01-06 Echostar Technologies L.L.C. Matrix code-based accessibility
JP5857449B2 (ja) * 2011-05-27 2016-02-10 ソニー株式会社 画像処理装置及び録画装置
JP5689774B2 (ja) * 2011-10-04 2015-03-25 日本電信電話株式会社 対話型情報発信装置、対話型情報発信方法、及びプログラム
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
CN103475831A (zh) * 2012-06-06 2013-12-25 晨星软件研发(深圳)有限公司 应用于显示装置的字幕控制方法与元件
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
TW201426529A (zh) * 2012-12-26 2014-07-01 Hon Hai Prec Ind Co Ltd 通訊設備及其播放方法
US10642574B2 (en) * 2013-03-14 2020-05-05 Apple Inc. Device, method, and graphical user interface for outputting captions
JP6288476B2 (ja) * 2013-04-17 2018-03-07 パナソニックＩｐマネジメント株式会社 映像受信装置、及び、映像受信装置における情報表示制御方法
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
CN104392729B (zh) * 2013-11-04 2018-10-12 贵阳朗玛信息技术股份有限公司 一种动画内容的提供方法及装置
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
CN103984772B (zh) * 2014-06-04 2017-07-18 百度在线网络技术（北京）有限公司 文本检索字幕库生成方法和装置、视频检索方法和装置
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
KR102407630B1 (ko) * 2015-09-08 2022-06-10 삼성전자주식회사 서버, 사용자 단말 및 이들의 제어 방법.
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179309B1 (en) 2016-06-09 2018-04-23 Apple Inc Intelligent automated assistant in a home environment
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US10820061B2 (en) 2016-10-17 2020-10-27 DISH Technologies L.L.C. Apparatus, systems and methods for presentation of media content using an electronic Braille device
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US20200134103A1 (en) * 2018-10-26 2020-04-30 Ca, Inc. Visualization-dashboard narration using text summarization

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2246273A (en) * 1990-05-25 1992-01-22 Microsys Consultants Limited Adapting teletext information for the blind
US5262860A (en) * 1992-04-23 1993-11-16 International Business Machines Corporation Method and system communication establishment utilizing captured and processed visually perceptible data within a broadcast video signal
US5481296A (en) * 1993-08-06 1996-01-02 International Business Machines Corporation Apparatus and method for selectively viewing video information
US5703655A (en) * 1995-03-24 1997-12-30 U S West Technologies, Inc. Video programming retrieval using extracted closed caption data which has been partitioned and stored to facilitate a search and retrieval process
US6061056A (en) * 1996-03-04 2000-05-09 Telexis Corporation Television monitoring system with automatic selection of program material of interest and subsequent display under user control
US5809471A (en) * 1996-03-07 1998-09-15 Ibm Corporation Retrieval of additional information not found in interactive TV or telephony signal by application using dynamically extracted vocabulary
US6240555B1 (en) * 1996-03-29 2001-05-29 Microsoft Corporation Interactive entertainment system for presenting supplemental interactive content together with continuous video programs
US6025837A (en) * 1996-03-29 2000-02-15 Micrsoft Corporation Electronic program guide with hyperlinks to target resources
US6088674A (en) * 1996-12-04 2000-07-11 Justsystem Corp. Synthesizing a voice by developing meter patterns in the direction of a time axis according to velocity and pitch of a voice
US6637032B1 (en) * 1997-01-06 2003-10-21 Microsoft Corporation System and method for synchronizing enhancing content with a video program using closed captioning
US6564383B1 (en) * 1997-04-14 2003-05-13 International Business Machines Corporation Method and system for interactively capturing organizing and presenting information generated from television programs to viewers
EP0893779B1 (en) * 1997-07-22 2003-06-18 Sony International (Europe) GmbH Videoviewing device providing an automatic internet access
JPH1196286A (ja) * 1997-09-22 1999-04-09 Oki Electric Ind Co Ltd 文字情報変換装置
US6366699B1 (en) * 1997-12-04 2002-04-02 Nippon Telegraph And Telephone Corporation Scheme for extractions and recognitions of telop characters from video data
US6295092B1 (en) * 1998-07-30 2001-09-25 Cbs Corporation System for analyzing television programs
US6198511B1 (en) * 1998-09-10 2001-03-06 Intel Corporation Identifying patterns in closed caption script
US6608930B1 (en) * 1999-08-09 2003-08-19 Koninklijke Philips Electronics N.V. Method and system for analyzing video content using detected text in video frames
US6938270B2 (en) * 1999-04-07 2005-08-30 Microsoft Corporation Communicating scripts in a data service channel of a video signal
US6460180B1 (en) * 1999-04-20 2002-10-01 Webtv Networks, Inc. Enabling and/or disabling selected types of broadcast triggers
KR100326400B1 (ko) * 1999-05-19 2002-03-12 김광수 자막지향 탐색정보 생성 및 탐색방법과, 이를 사용하는 재생장치
US7493018B2 (en) * 1999-05-19 2009-02-17 Kwang Su Kim Method for creating caption-based search information of moving picture data, searching and repeating playback of moving picture data based on said search information, and reproduction apparatus using said method
GB2352915A (en) * 1999-08-06 2001-02-07 Television Monitoring Services A method of retrieving text data from a broadcast image
JP2002010151A (ja) * 2000-06-26 2002-01-11 Matsushita Electric Ind Co Ltd 番組受信装置
US6823084B2 (en) * 2000-09-22 2004-11-23 Sri International Method and apparatus for portably recognizing text in an image sequence of scene imagery
US7050109B2 (en) * 2001-03-02 2006-05-23 General Instrument Corporation Methods and apparatus for the provision of user selected advanced close captions
US20030046075A1 (en) * 2001-08-30 2003-03-06 General Instrument Corporation Apparatus and methods for providing television speech in a selected language
US8261306B2 (en) * 2001-12-11 2012-09-04 Koninklijke Philips Electronics N.V. System for and method of shopping through television
US6804330B1 (en) * 2002-01-04 2004-10-12 Siebel Systems, Inc. Method and system for accessing CRM data via voice

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102061044B1 (ko) * 2013-04-30 2020-01-02 삼성전자 주식회사 수화 번역 및 화면 해설 서비스 방법 및 시스템

Also Published As

Publication number Publication date
EP1363455A2 (en) 2003-11-19
CN1232107C (zh) 2005-12-14
JP2003333445A (ja) 2003-11-21
US20040008277A1 (en) 2004-01-15
EP1363455A3 (en) 2004-04-07
CN1461146A (zh) 2003-12-10

Similar Documents

Publication Publication Date Title
JP3953886B2 (ja) 字幕抽出装置
JP4127668B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP5173337B2 (ja) 要約コンテンツ生成装置およびコンピュータプログラム
US7221405B2 (en) Universal closed caption portable receiver
JP2003333445A5 (ja) 字幕抽出装置及びシステム
JP5135024B2 (ja) コンテンツのシーン出現を通知する装置、方法およびプログラム
JPWO2006048963A1 (ja) 字幕付き静止画コンテンツ作成装置、字幕付き静止画コンテンツ作成プログラム及び字幕付き静止画コンテンツ作成システム
JP2002112186A (ja) 電子番組ガイド受信装置
JP5197841B1 (ja) 映像再生装置及び映像再生方法
JP2006129122A (ja) 放送受信装置、放送受信方法、放送受信プログラム及びプログラム記録媒体
JP5202217B2 (ja) 放送コンテンツから時事性のあるキーワードを抽出する放送受信装置及びプログラム
JPH1169317A (ja) 情報再生装置および放送番組関連情報再生方法
WO2006022071A1 (ja) 映像表示装置及び映像表示方法
EP1661403B1 (en) Real-time media dictionary
JP5649769B2 (ja) 放送受信装置
EP1463059A2 (en) Recording and reproduction apparatus
JP2004362280A (ja) 放送番組蓄積装置
JP2004253923A (ja) 情報受信装置
JP2004134909A (ja) コンテンツ解説データ生成装置、その方法及びそのプログラム、並びに、コンテンツ解説データ提示装置、その方法及びそのプログラム
JP2006054517A (ja) 情報提示装置、方法及びプログラム
KR20050078894A (ko) 캡션 표시 방법 및 장치
KR100481539B1 (ko) 캡션정보를 이용한 원 클릭 정보검색 시스템 및 방법
JP2006317548A (ja) 教育用コンテンツ生成装置
JP3970080B2 (ja) 動画再生装置、動画再生方法及びそのコンピュータ・プログラム
JPH11250068A (ja) 情報処理装置および方法、並びに記録媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040715

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040715

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20040721

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070323

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070417

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070425

R150 Certificate of patent or registration of utility model

Ref document number: 3953886

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100511

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110511

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120511

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130511

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140511

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees