JP2003333445A - 字幕抽出装置 - Google Patents
字幕抽出装置Info
- Publication number
- JP2003333445A JP2003333445A JP2002142188A JP2002142188A JP2003333445A JP 2003333445 A JP2003333445 A JP 2003333445A JP 2002142188 A JP2002142188 A JP 2002142188A JP 2002142188 A JP2002142188 A JP 2002142188A JP 2003333445 A JP2003333445 A JP 2003333445A
- Authority
- JP
- Japan
- Prior art keywords
- character
- extraction device
- caption
- unit
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000605 extraction Methods 0.000 claims description 85
- 230000015572 biosynthetic process Effects 0.000 claims description 20
- 238000003786 synthesis reaction Methods 0.000 claims description 20
- 238000004891 communication Methods 0.000 claims description 13
- 230000002194 synthesizing effect Effects 0.000 claims description 11
- 230000002093 peripheral effect Effects 0.000 claims description 10
- 238000004040 coloring Methods 0.000 claims description 6
- 238000007639 printing Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 11
- 238000000034 method Methods 0.000 description 11
- 230000001771 impaired effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 244000205754 Colocasia esculenta Species 0.000 description 3
- 235000006481 Colocasia esculenta Nutrition 0.000 description 3
- 206010047571 Visual impairment Diseases 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 208000029257 vision disease Diseases 0.000 description 3
- 230000004393 visual impairment Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 101100325793 Arabidopsis thaliana BCA2 gene Proteins 0.000 description 1
- 102100033040 Carbonic anhydrase 12 Human genes 0.000 description 1
- 102100033029 Carbonic anhydrase-related protein 11 Human genes 0.000 description 1
- 101000867855 Homo sapiens Carbonic anhydrase 12 Proteins 0.000 description 1
- 101000867841 Homo sapiens Carbonic anhydrase-related protein 11 Proteins 0.000 description 1
- 101001075218 Homo sapiens Gastrokine-1 Proteins 0.000 description 1
- 208000010415 Low Vision Diseases 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 208000016354 hearing loss disease Diseases 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004303 low vision Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
- G10L13/033—Voice editing, e.g. manipulating the voice of the synthesiser
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/635—Overlay text, e.g. embedded captions in a TV program
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B21/00—Teaching, or communicating with, the blind, deaf or mute
- G09B21/009—Teaching or communicating with deaf persons
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/4104—Peripherals receiving signals from specially adapted client devices
- H04N21/4117—Peripherals receiving signals from specially adapted client devices for generating hard copies of the content, e.g. printer, electronic paper
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/4104—Peripherals receiving signals from specially adapted client devices
- H04N21/4135—Peripherals receiving signals from specially adapted client devices external recorder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
- H04N21/4332—Content storage operation, e.g. storage operation in response to a pause request, caching operations by placing content in organized collections, e.g. local EPG data repository
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
- H04N21/4334—Recording operations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
- H04N21/4355—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reformatting operations of additional data, e.g. HTML pages on a television screen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440236—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by media transcoding, e.g. video is transformed into a slideshow of still pictures, audio is converted into text
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
- H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4782—Web browsing, e.g. WebTV
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/488—Data services, e.g. news ticker
- H04N21/4884—Data services, e.g. news ticker for displaying subtitles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
- H04N5/44504—Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/78—Television signal recording using magnetic recording
- H04N5/782—Television signal recording using magnetic recording on tape
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/025—Systems for the transmission of digital non-picture data, e.g. of text during the active part of a television frame
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/025—Systems for the transmission of digital non-picture data, e.g. of text during the active part of a television frame
- H04N7/035—Circuits for the digital non-picture data signal, e.g. for slicing of the data signal, for regeneration of the data-clock signal, for error detection or correction of the data signal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/775—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Acoustics & Sound (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Television Systems (AREA)
- Image Analysis (AREA)
- Studio Circuits (AREA)
Abstract
ことができ、さらにこの字幕情報から障害者等の活動を
支援する字幕抽出装置を提供する。 【解決手段】 映像信号から字幕情報を抽出する字幕抽
出装置において、現に放送または再生されている映像信
号から字幕スーパーを抽出する字幕抽出手段(1b)
と、抽出した字幕スーパーに含まれる文字列をリアルタ
イムに認識し、認識した文字列に対応する文字コードの
列を含む文字情報を出力する文字認識手段(1c)と、
文字情報に基づき字幕スーパーに含まれる文字列を表示
する表示手段(1f)を備える。
Description
の映像信号から字幕情報を抽出しこの字幕情報を出力す
る字幕抽出装置に関する。
は有益な情報が多い。そこで、この字幕に含まれる情報
を取り出して利用する試みが多数なされている。BSデ
ジタルやCSデジタルの放送では、画像以外に文字情報
も送られているが、普及し始めた技術であり、まだ十分
な情報が入っていないことが多い。また、現行放送で
は、字幕情報を文字放送の別データ(文字データ)とし
て送る方法もあるが、現状ではあまり普及していない。
一方、映像の一部として埋め込まれている字幕スーパー
は、製作者が容易に情報を挿入できる手段であり、多く
の放送番組や、映像メディアにて普及している。従っ
て、映像の一部として埋め込まれている字幕情報の利用
は現時点で大変重要である。
るので,弱視者等の軽度の視覚障害者や聴覚障害者には
重要な情報源である。そこで、文字放送において、字幕
用の文字データ(字幕データ)を取り出し,別端末にて
この字幕の内容を拡大表示する装置が発明されている
(例えば、特開2001−024964号に開示の装
置)。一方、字幕スーパーを基に、映像の検索や分類に
利用する方法が検討されている。例えば、特開平07−
192003号公報または特開平10−308921号
公報では、蓄積された映像に含まれる字幕を映像のイン
デックスとして用い映像の検索を行える技術が開示され
ている。また、特開平10−092052号公報では、
コマーシャルや番組の時間変更などの文字や画像のパタ
ーンを保持し、映像に含まれるコマーシャルのタイトル
や番組の時間変更の文字パターンを抽出して、上記パタ
ーンと比較することで、コマーシャル(特定番組)を識
別し、このコマーシャルをカットして録画したり飛ばし
見を行える特定番組識別装置の技術が示されている。
る情報の多様な利用が期待されるが、現に放送されたり
再生されている映像に埋め込まれた字幕スーパーをリア
ルタイムに文字認識して、認識した字幕情報自体を多様
に活用できるように提供する形態の方法・手段は提案さ
れていない。従来は画像検索やコマーシャルカットなど
のために、字幕情報の利用方法が特化されており、汎用
的な利用ができなかった。また、視聴者は、字幕スーパ
ーの情報を基にいろいろな活動をすることがあるが(例
えば、テレホンショッピングで、映された電話番号に電
話をかけるなど)、現状では、特に視覚・聴覚障害者に
対して、そのような活動を支援することができていな
い。
で、映像に埋め込まれた字幕情報自体を提供することが
でき、さらにこの字幕情報から障害者等の活動を支援す
る字幕抽出装置を提供するものである。
は、映像信号から字幕情報を抽出する字幕抽出装置にお
いて、現に放送または再生されている映像信号から字幕
スーパーを抽出する字幕抽出手段と、抽出した字幕スー
パーに含まれる文字列をリアルタイムに認識し、認識し
た文字列に対応する文字コードの列を含む文字情報を出
力する文字認識手段と、前記文字情報に基づき前記文字
列を表示する表示手段と、を具備することを特徴として
いる。
自体を、利用者に、リアルタイムに提供することができ
る。
記各手段を全て1つの筐体に内蔵してもよい。
に収容され、利用者にとって扱い易いものとなる。
辺機器および/または外部の通信環境と接続可能とする
入出力手段をさらに備えてもよい。
外部の通信環境を利用できるようになる。
記認識した文字に対し、拡大、変形、彩色等の加工を施
すための付加情報を前記文字情報に付加する文字加工手
段をさらに備えてもよい。
字加工手段により付加情報が付加された文字情報に基づ
き、拡大、変形、彩色等の加工がなされた文字列を表示
するので、利用者にとって視認し易い形態で利用者に字
幕情報を提供することができる。
信号による映像を表示するテレビ受像機等の表示装置と
は別体であるようにしてもよい。
受像機等の表示装置と別体とすることで、本発明の字幕
抽出装置を利用者の手元に配置することができ、したが
って、字幕情報を利用者の手元で出力することができ、
利用者が軽度の視覚障害者である場合など、利用者の助
けとなる。
記文字認識手段にて認識された文字コードを音声合成
し、合成した音声の信号を出力する音声合成手段をさら
に備えてもよい。
とで、利用者が重度の視覚障害者であっても、音声によ
り字幕情報を提供することができる。
幕スーパーの色情報を取得する色情報抽出手段をさらに
備え、前記音声合成手段は、前記色情報抽出手段にて取
得された字幕スーパーの色情報に基づくか、または、前
記文字認識手段にて認識された、予め定められ字幕スー
パーに挿入された文字・記号に基づいて、男女,大人,
子ども,老人などの違いが分かるように音声合成しても
よい。
る無機質な音声ではなくなる。また、男女,大人,子ど
も,老人などの違いを、字幕スーパーの色の違いで、ま
たは特定の文字・記号で定義し、映像制作者側でこのよ
うな色または文字・記号を用いた字幕スーパーを挿入す
ると、本発明の字幕抽出装置では、男女,大人,子ど
も,老人などの違いを、合成する音声で表現することが
でき、字幕情報を視聴する際の利用者の助けとすること
ができる。
記音声合成手段が、字幕スーパーが表示される際に出力
される音声の特徴に類似する特徴をもたせた音声合成を
行うようにしてもよい。
る無機質な音声ではなくなるだけでなく、出演者の音声
の特徴に類似するので、利用者は、自然な感覚で聴取す
ることができる。
字出力手段に前記文字情報を与え点字出力させるように
してもよい。
で、重度の視覚障害者の助けとなる。
記点字出力手段が、点字キーボードであってもよい。
となる。
記点字出力手段が、点字プリンタであってもよい。
となる。
記文字情報から指定されたキーワードを検出することに
より、該キーワードが出現するシーンを自動判定する判
定手段をさらに備えてもよい。
するシーンを自動的に検出することができる。
記判定手段にて前記キーワードが検出されたシーンの出
現時刻を記録手段に記録させる制御手段を備えてもよ
い。
時刻により特定するための助けとなる。
記判定手段にて前記キーワードが検出されたシーンを録
画手段に録画させる制御手段を備えてもよい。
ワードを含む映像があった場合、自動的に録画されるの
で、利用者が関心をもっていても見落としたり、見損な
ってしまう映像も視聴することができ、利用者にとって
有益なものとなる。
め定められた文字列の検出に応じて、文字情報を出力す
るための手段を制御する制御手段を備えてもよい。
の手段に対し、文字列の検出に応じた様々な制御を行う
ことができる。
記予め定められた文字列は、番組開始文字列および番組
終了文字列であって、前記制御手段が、該文字列に従っ
て録画手段に番組録画予約または番組録画の命令を与え
るようにしてもよい。
て上記文字列を挿入し、利用者側でこの字幕情報を利用
することで、いわゆる録画設定の操作をせずに、番組を
録画(または予約録画)することができる。
記予め定められた文字列は、住所または郵便番号であっ
て、前記制御手段が、該住所または郵便番号を印刷手段
に印刷させるようにしてもよい。
利用者にとって有用である場合があり、このように制御
することで、表示された住所または郵便番号が自動的に
印刷され、利用者にとって有益である。
記予め定められた文字列は郵便番号であって、前記判定
手段にて郵便番号が検出されると、前記制御手段が、該
郵便番号に対応する住所を、郵便番号に対応づけられた
住所のデータベースから検索して取得し、取得した住所
を印刷手段に印刷させるようにしてもよい。
対応する住所が自動的に印刷され、利用者にとって有益
である。
ンターネット接続可能であるとともに、前記予め定めら
れた文字列はURL(Uniform Resourc
e Locator)であって、前記判定手段にてUR
Lが検出されると、前記制御手段が、該URLに対応す
るホームページにアクセスして、該ホームページの内容
を前記表示手段に表示させるようにしてもよい。
情報を自動的に参照できるようになる。
話接続可能であるとともに、前記予め定められた文字列
は電話番号であって、前記判定手段にて電話番号が検出
されると、前記制御手段が、該電話番号の電話機を呼び
出させるようにしてもよい。
って有用である場合があり(例えば、テレホンショッピ
ングなど)、このように制御することで、表示された電
話番号の相手に自動的に電話接続されるので、利用者に
とって有益である。
面を参照して説明する。図1は、本発明の一実施の形態
である字幕抽出装置1の構成を示すブロック図であり、
図2は、同字幕抽出装置1と他の機器との接続例を示す
図である。図2に示すように、本実施の形態の字幕抽出
装置1は、テレビ受像機2等の表示装置と別体であり、
この字幕抽出装置1に各種周辺機器が接続されるととも
に、インターネットや電話網等の通信網に接続されてい
る。
/ビデオ再生信号を受信し、選択されたチャネル(また
は入力信号)の映像と音声の信号を分離・出力するチュ
ーナ部である。符号1bは、字幕抽出部であり、チュー
ナ部1a出力の映像信号から、字幕部分(字幕スーパ
ー)を抽出する。字幕スーパーは、通常、映像の下部の
部分にスーパーインポーズされており、本実施の形態で
はこの部分を抽出する。そして、抽出した字幕情報をデ
ジタル化して、下記の文字認識部1cおよび色情報抽出
部1kに与える。なお、文字認識部1cに与えるデータ
は、字幕スーパー部分の輝度信号に対し、所定の閾値を
基準に二値化したものを用いる。
部1bにて抽出された字幕部分に含まれる文字列をリア
ルタイムに文字認識し、認識した文字列に対応する文字
コードの列を含む文字情報を出力する。なお、記号も文
字の一種として認識する。この文字認識部1cでは、字
幕抽出部1bにて抽出された字幕スーパー部分の中で、
所定のレベル以上の輝度をもつ部分を文字とみなして、
文字認識を行う。なお、画面全体から文字を認識するよ
うにしてもよい。符号1dは、文字認識部1cが文字認
識をする際使用する辞書が格納される認識辞書DBであ
る。なお、文字認識部1cは、従来より知られている文
字認識の技術を利用して実現できる。
の接続をするための入出力部である。この入出力部1e
は、周辺機器と接続するための入出力インターフェース
としての機能をもち、接続する周辺機器に応じて要求さ
れる規格を満足するものとする。また、電話網15へ接
続するための電話機の機能を備えている。また、インタ
ーネット14に接続するためのTCP/IP規格に準拠
する通信機能を備えている。また、入出力1eは、字幕
抽出装置1に内蔵される表示部1fへの表示制御も行う
ものとする。ここで周辺機器とは、点字キーボード1
0、点字プリンタ11、ビデオレコーダ12、プリンタ
13等であり、通信環境(通信網)とは、インターネッ
ト14や電話網15である。なお、表示部1fは、液晶
表示装置等の表示装置であり、さらにタッチパネル等の
入力手段を備え、後述のキーワード等の入力設定を可能
としている。
識部1cにて認識された文字列に含まれる文字に対し、
拡大、変形、彩色等の加工をする場合には、そのための
付加情報(所定のコード)を、文字認識部1cから出力
される文字情報に付加する。ここで加工された文字は、
表示部1fにて拡大、変形、彩色等がなされた状態で表
示される。なお、一画面にすべての文字列が表示できな
い場合は、順次スクロールさせ表示する。
された字幕の文字列を音声合成しスピーカ1iから出力
する。また、文字認識部1cにて認識された文字・記号
で、予め定められた文字・記号(これらも下記のキーワ
ードの一種であるとする)が字幕スーパーに挿入されて
いる場合、このキーワードに基づいて、男女,大人,子
ども,老人などの男女の別や年齢差の区別が分かるよう
に音声合成する。この場合、下記のキーワード判定部1
lから、当該キーワードが通知され、このキーワードに
基づき上記のように音声合成するが、このキーワード自
体は音声合成しない。また、下記の色情報抽出部1kか
ら色情報を受けた場合は、予め色情報に対応して設定さ
れた音質を用いて(例えば、赤色の場合女性の音質を用
い、黒色の場合は男性の音質を用いるなど)、上記と同
様に音声合成をする。
される音声の特徴に類似する特徴をもつ音質を用いて音
声合成をしてもよい。この場合、入力される音声信号か
ら音質の特徴(周波数成分等)を分析して、下記の音声
DB・1jから、この音質に最も近い音質を選択し音声
合成をする。この場合では、例えば、外国映画で、日本
語の字幕が表示される際に出力されている音声が女優の
声である場合、その声の特徴から女性の音質で音声合成
することになる。すなわち、外国映画が、日本語で自動
的に吹き替えがなされることになる。したがって、視覚
障害者でも外国映画を楽しめ、健常者でも字幕をいちい
ち読まなくて済むようになる。
無機質になりがちな音声合成された音声に、多少なりと
も個性を持たせることができる(単一の音質や無機質な
音声では聞いていて疲れてしまう)。また、字幕スーパ
ーの文字列の色や、所定の文字・記号は、番組制作者側
で、意図的に選択・使用することができる。すなわち、
番組制作者側で、字幕抽出装置1にて出力させる音質を
明示的に指定することができる。例えば、ニュース、解
説の字幕の音声合成による読み上げの際の音質を意図的
に使い分けることができる。具体的には、子供番組で
は、若い女性の声の音質を用いたり、政治番組では、男
性の声の音質を用いたりと、音質の使い分けをすること
ができる。また、字幕スーパーが表示される際に出力さ
れる音声の特徴をもとに音質を選択する場合では、番組
制作者側で、字幕スーパーに音質を決定する上記所定の
文字・記号を挿入する必要はなくなる。なお、音声合成
部1hは、従来より知られている音声合成の技術を利用
して実現できる。
あり、音声合成に用いる下記のデータが格納されてい
る。この音声DB・1jには、予め、男女別、年齢別な
どに応じて決められた典型的な音質のデータ(音声を構
成する周波数成分のデータ等)が複数登録されており、
上記各条件に応じて音声合成する際の音質が決定され
る。または、字幕スーパーが表示される際に出力される
音声の特徴に類似する特徴をもつ音質が選択される。な
お、この音声DB・1jには、上記各条件等(キーワー
ドや音声の特徴)と音質のデータとを対応づけるテーブ
ルも格納されており、条件に応じて対応する音質のデー
タが選択される。
出部1bにて抽出された字幕スーパー部分の文字列の色
情報を抽出し音声合成部1hに与える。ここでは、色情
報として、3原色の輝度分布を示す情報を用いる。符号
1lは、キーワード判定部であり、文字認識部1cにて
認識された文字列の中に、キーワードDB・1mに登録
されたキーワードが存在するか否か判定し、当該キーワ
ードが出現するシーンを自動判定する。そして、キーワ
ードに応じて音声合成部1hまたは制御部1nに、当該
キーワードと該当シーンが出現した旨を通知する。な
お、キーワードDB・1mには、下記の制御部1nがキ
ーワード等(住所、郵便番号、URL、電話番号の別を
含む)に応じて実行すべき制御処理の内容が各キーワー
ドに対応付けられ記憶されている。
定部1lにて所定のキーワードが検出され、キーワード
判定部1lからキーワード等(住所、郵便番号、UR
L、電話番号の別を含む)の通知を受けると、このキー
ワードをもとにキーワードDB・1mを参照し、下記の
ように対応する制御処理を実行する具体的には、制御部
1nは、キーワードが検出されたシーンの出現時刻(開
始時刻)を記録部1oに記録させる。また、キーワード
判定部1lにて予め登録されたのキーワードが検出され
ると、このキーワードが検出されたシーンを始まりとし
て所定の時間、ビデオレコーダ12にその映像と音声を
録画させる。または、キーワードが検出されたシーンか
ら、検出したキーワードと異なる文字列が認識された時
点までを録画せさる。このビデオ録画の一例を図4に示
している。この例のキーワードは「TARO」(タロ
ー)であり、字幕スーパーに「TARO」が表示される
とこれを検出し、この検出時(TAROの登場時)から
所定の時間、この登場以降のシーンを録画させている。
列や、録画または録画予約の開始・終了を特定させる文
字列がキーワードとして検出された場合は、この文字列
に従ってビデオレコーダ12に番組録画予約または番組
録画の命令を与える。上記番組開始文字列としては、例
えば番組名と「スタート」等の文字列を、また番組終了
文字列としては、例えば番組名と「エンド」等を用いる
ことができる。また、住所または郵便番号がキーワード
として検出された場合、制御部1nは、この住所または
郵便番号をプリンタ13に印刷させる。また、郵便番号
のみがキーワードとして検出された場合、この郵便番号
をもとに符号1pに示す住所DBを検索し対応する住所
を取得して、取得した住所をプリンタ13に印刷させ
る。なお、住所DB・1pは、郵便番号とこの郵便番号
に対応する住所からなるデータベースである。また、U
RL(Uniform Resource Locato
r)がキーワードとして検出された場合、文字コードの
列(文字情報)からURLの文字列を抽出し、入出力部
1eに対し、このURLに対応するホームページにアク
セスさせ、該当ホームページの内容を表示部1fに表示
させる。
れた場合、同様に電話番号の文字列を抽出し、入出力部
1eに対し、この電話番号の電話機を呼び出させる。な
お、文字列が住所であるか、郵便番号であるかの判定
は、住所や郵便番号として正規に使用される文字列から
構成されているか否かで判定する。また、URLである
か否かは、「http://」ではじまり、所定の構造
をもっているか否かで判定する。また、電話番号である
か否かは、文字列を構成する文字が数字であって、局番
を区切るハイフンを含み、正規の局番が使用されている
等を基準として判定する。
1j、キーワードDB・1m、記録部1o、住所DB・
1pは、EPROM(Erasable Progra
mmable Read−Only Memory)、ハ
ードディスク等の不揮発性の記録装置により構成されて
いる。また、文字認識部1c、文字加工部1g、音声合
成部1h、色情報抽出部1k、キーワード判定部1l、
制御部1nは、メモリおよびCPU(中央処理装置)等
により構成される処理部(図示せず)にて、各部の機能
を実現するためのプログラム(図示せず)をそのメモリ
にロードして実行することによりその機能が実現される
ものとする。
前述のようにテレビ受像機2等とは別体である。したが
って、この字幕抽出装置1を利用者の手元に配置するこ
とができる。すなわち、本実施の形態の字幕抽出装置1
を用いることで、映像にスーパーインポーズされた字幕
情報を利用者の手元で出力(表示および音声出力)する
ことがでる(図3参照)。また、字幕抽出装置1は、前
述した様々な自動制御を実行するので、利用者(特に障
害者など)の助けとなる。
字幕抽出装置1の概略動作について説明する。
受ける放送受信信号(または、ビデオ再生機(図示せ
ず)からのビデオ再生信号)が、テレビ受像機2と同様
に入力される。チューナ部1aは、受信信号から、選択
されたチャネル(または入力信号)の映像と音声の信号
を分離・出力する。映像信号は、字幕抽出部1bに与え
られ、音声信号は音声合成部1hに与えられる。映像信
号を受ける字幕抽出部1bは、映像に挿入された字幕ス
ーパー部分を抽出し、デジタル化してこのデータを文字
認識部1cと色情報抽出部1kに与える。
けた字幕のデータから、字幕としてスーパーインポーズ
された文字列を認識し、その文字コードを文字加工部1
gと、音声合成部1hと、キーワード判定部1lに与え
る。文字加工部1gは、設定に応じて文字を加工(拡
大、変形、彩色等)するための付加情報を文字コードか
らなる文字情報に付加する。そして、入出力部1eを介
して表示部1fに加工した文字列を表示させる。
部1cから受ける文字コードの列の中に、登録されたキ
ーワードを検出すると、このキーワードが挿入されたシ
ーンを自動判定する(特定する)。そして、キーワード
に応じて音声合成部1hまたは制御部1nに、当該キー
ワードと該当シーンが出現した旨を通知する。他方、音
声合成部1hは、文字認識部1cから受ける文字コード
に基づき音声合成しスピーカ1iから出力するが、キー
ワード判定部1lから予め定められたキーワードを受け
ると、このキーワードに応じて、あるいは、この字幕に
含まれる文字の色(この色情報は、色情報抽出部1kか
ら与えられる)に応じて、音質を変え出力する。また、
制御部1nは、キーワード判定部1lからキーワード
(所定の文字列)等を受けると、このキーワードに応じ
て前述のように定められた各種制御処理を実行する。以
上、字幕抽出装置1の動作について説明した。
加工部1g、音声合成部1h、色情報抽出部1k、キー
ワード判定部1l、制御部1nの機能を実現するための
プログラムをコンピュータ読み取り可能な記録媒体に記
録して、この記録媒体に記録されたプログラムをコンピ
ュータシステムに読み込ませ、実行することにより字幕
抽出装置1における各処理を行ってもよい。なお、ここ
でいう「コンピュータシステム」とは、OSや周辺機器
等のハードウェアを含むものとする。
媒体」とは、フレキシブルディスク、光磁気ディスク、
ROM、CD−ROM等の可搬媒体、コンピュータシス
テムに内蔵されるハードディスク等の記憶装置のことを
いう。さらに「コンピュータ読み取り可能な記録媒体」
とは、インターネット等のネットワークや電話回線等の
通信回線を介してプログラムが送信された場合のサーバ
やクライアントとなるコンピュータシステム内部の揮発
性メモリ(RAM)のように、一定時間プログラムを保
持しているものも含むものとする。
を記憶装置等に格納したコンピュータシステムから、伝
送媒体を介して、あるいは、伝送媒体中の伝送波により
他のコンピュータシステムに伝送されてもよい。ここ
で、プログラムを伝送する「伝送媒体」は、インターネ
ット等のネットワーク(通信網)や電話回線等の通信回
線(通信線)のように情報を伝送する機能を有する媒体
のことをいう。また、上記プログラムは、前述した機能
の一部を実現するためのものであっても良い。さらに、
前述した機能をコンピュータシステムにすでに記録され
ているプログラムとの組み合わせで実現できるもの、い
わゆる差分ファイル(差分プログラム)であっても良
い。
して詳述してきたが、具体的な構成はこの実施形態に限
られるものではなく、この発明の要旨を逸脱しない範囲
の構成等も含まれる。
よれば、現に放送または再生されている映像信号から字
幕スーパーを抽出し、抽出した字幕スーパーに含まれる
文字列をリアルタイムに認識し、認識した文字列に対応
する文字コードの列を含む文字情報を出力するので、認
識した字幕の文字情報自体を汎用的に利用することがで
きる。また、本発明によれば、周辺機器や外部の通信環
境を容易に利用することができる。
し、拡大、変形、彩色等の加工を施すための付加情報を
前記文字情報に付加するので、利用者、特に視覚障害者
等に対しても字幕情報を適切な形で提供することができ
る。また、本発明によれば、テレビ受像機等の表示装置
とは別体として構成されるので、本発明の字幕抽出装置
を手元に配置することで、利用者は手元で全ての操作が
可能である。
成し、さらに条件に応じて音質を変え出力するので、視
覚による字幕情報の提供のみならず、音声によっても字
幕情報を提供することができ、健常者にとっても障害者
にとってもさらに有効なものとなる。また、本発明によ
れば、キーワードあるいは所定の文字列に応じて、ビデ
オ録画や、インターネット上のホームページへのアクセ
スや、電話接続等を自動で行うので、特に、視覚・聴覚
障害者に対して、その活動を支援することができる。
構成を示すブロック図である。
続例を示す図である。
である。
の一例を説明する図である。
1a…チューナ部、1b…字幕抽出部(字幕抽出手
段)、1c…文字認識部(文字認識手段)、1d…認識
辞書DB、1e…入出力部(入出力手段)、1f…表示
部(表示手段)、1g…文字加工部(文字加工手段)、
1h…音声合成部(音声合成手段)、1i…スピーカ、
1j…音声DB、1k…色情報抽出部(色情報抽出手
段)、1l…キーワード判定部(判定手段)、1m…キ
ーワードDB、1n…制御部(制御手段)、1o…記録
部(記録手段)、1p…住所DB、10…点字キーボー
ド(点字出力手段)、11…点字プリンタ(点字出力手
段)、12…ビデオレコーダ(録画手段)、13…プリ
ンタ(印刷手段)、14…インターネット、15…電話
網
Claims (20)
- 【請求項1】 映像信号から字幕情報を抽出する字幕抽
出装置において、 現に放送または再生されている映像信号から字幕スーパ
ーを抽出する字幕抽出手段と、 抽出した字幕スーパーに含まれる文字列をリアルタイム
に認識し、認識した文字列に対応する文字コードの列を
含む文字情報を出力する文字認識手段と、 前記文字情報に基づき前記文字列を表示する表示手段
と、を具備することを特徴とする字幕抽出装置。 - 【請求項2】 前記各手段を全て1つの筐体に内蔵する
ことを特徴とする請求項1に記載の字幕抽出装置。 - 【請求項3】 周辺機器および/または外部の通信環境
と接続可能とする入出力手段をさらに備えることを特徴
とする請求項1に記載の字幕抽出装置。 - 【請求項4】 前記認識した文字に対し、拡大、変形、
彩色等の加工を施すための付加情報を前記文字情報に付
加する文字加工手段をさらに備えることを特徴とする請
求項1に記載の字幕抽出装置。 - 【請求項5】 前記映像信号による映像を表示するテレ
ビ受像機等の表示装置とは別体であることを特徴とする
請求項4に記載の字幕抽出装置。 - 【請求項6】 前記文字認識手段にて認識された文字コ
ードを音声合成し、合成した音声の信号を出力する音声
合成手段をさらに備えることを特徴とする請求項1に記
載の字幕抽出装置。 - 【請求項7】 字幕スーパーの色情報を取得する色情報
抽出手段をさらに備え、 前記音声合成手段は、 前記色情報抽出手段にて取得された字幕スーパーの色情
報に基づくか、または、前記文字認識手段にて認識され
た、予め定められ字幕スーパーに挿入された文字・記号
に基づいて、男女,大人,子ども,老人などの違いが分
かるように音声合成することを特徴とする請求項6に記
載の字幕抽出装置。 - 【請求項8】 前記音声合成手段は、 字幕スーパーが表示される際に出力される音声の特徴に
類似する特徴をもたせた音声合成を行うことを特徴とす
る請求項6に記載の字幕抽出装置。 - 【請求項9】 点字出力手段に前記文字情報を与え点字
出力させることを特徴とする請求項3に記載の字幕抽出
装置。 - 【請求項10】 前記点字出力手段は、点字キーボード
であることを特徴とする請求項9に記載の字幕抽出装
置。 - 【請求項11】 前記点字出力手段は、点字プリンタで
あることを特徴とする請求項9に記載の字幕抽出装置。 - 【請求項12】 前記文字情報から指定されたキーワー
ドを検出することにより、該キーワードが出現するシー
ンを自動判定する判定手段をさらに備えることを特徴と
する請求項3に記載の字幕抽出装置。 - 【請求項13】 前記判定手段にて前記キーワードが検
出されたシーンの出現時刻を記録手段に記録させる制御
手段を備えることを特徴とする請求項12に記載の字幕
抽出装置。 - 【請求項14】 前記判定手段にて前記キーワードが検
出されたシーンを録画手段に録画させる制御手段を備え
ることを特徴とする請求項12に記載の字幕抽出装置。 - 【請求項15】 予め定められた文字列の検出に応じ
て、文字情報を出力するための手段を制御する制御手段
を備えることを特徴とする請求項3に記載の字幕抽出装
置。 - 【請求項16】 前記予め定められた文字列は、番組開
始文字列および番組終了文字列であって、前記制御手段
は、該文字列に従って録画手段に番組録画予約または番
組録画の命令を与えることを特徴とする請求項15に記
載の字幕抽出装置。 - 【請求項17】 前記予め定められた文字列は、住所ま
たは郵便番号であって、前記制御手段は、該住所または
郵便番号を印刷手段に印刷させることを特徴とする請求
項15に記載の字幕抽出装置。 - 【請求項18】 前記予め定められた文字列は郵便番号
であって、前記判定手段にて郵便番号が検出されると、
前記制御手段は、該郵便番号に対応する住所を、郵便番
号に対応づけられた住所のデータベースから検索して取
得し、取得した住所を印刷手段に印刷させることを特徴
とする請求項17に記載の字幕抽出装置。 - 【請求項19】 インターネット接続可能であるととも
に、前記予め定められた文字列はURL(Unifor
m Resource Locator)であって、前記
判定手段にてURLが検出されると、前記制御手段は、
該URLに対応するホームページにアクセスして、該ホ
ームページの内容を前記表示手段に表示させることを特
徴とする請求項15に記載の字幕抽出装置。 - 【請求項20】 電話接続可能であるとともに、前記予
め定められた文字列は電話番号であって、前記判定手段
にて電話番号が検出されると、前記制御手段は、該電話
番号の電話機を呼び出させることを特徴とする請求項1
5に記載の字幕抽出装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002142188A JP3953886B2 (ja) | 2002-05-16 | 2002-05-16 | 字幕抽出装置 |
EP03010686A EP1363455A3 (en) | 2002-05-16 | 2003-05-13 | Caption extraction device |
US10/437,443 US20040008277A1 (en) | 2002-05-16 | 2003-05-13 | Caption extraction device |
CNB031234739A CN1232107C (zh) | 2002-05-16 | 2003-05-14 | 字幕提取装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002142188A JP3953886B2 (ja) | 2002-05-16 | 2002-05-16 | 字幕抽出装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2003333445A true JP2003333445A (ja) | 2003-11-21 |
JP2003333445A5 JP2003333445A5 (ja) | 2005-05-19 |
JP3953886B2 JP3953886B2 (ja) | 2007-08-08 |
Family
ID=29267822
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002142188A Expired - Fee Related JP3953886B2 (ja) | 2002-05-16 | 2002-05-16 | 字幕抽出装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20040008277A1 (ja) |
EP (1) | EP1363455A3 (ja) |
JP (1) | JP3953886B2 (ja) |
CN (1) | CN1232107C (ja) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006114972A (ja) * | 2004-10-12 | 2006-04-27 | Tv Asahi Data Vision Corp | 告知情報番組制作装置、方法、プログラム、及び告知情報番組放送システム |
JP2006197420A (ja) * | 2005-01-17 | 2006-07-27 | Sanyo Electric Co Ltd | 放送受信装置 |
JP2006211488A (ja) * | 2005-01-31 | 2006-08-10 | Sanyo Electric Co Ltd | 映像再生装置 |
JP2007081930A (ja) * | 2005-09-15 | 2007-03-29 | Fujitsu Ten Ltd | デジタルテレビジョン放送受信機 |
JP2007142955A (ja) * | 2005-11-21 | 2007-06-07 | Sharp Corp | 映像合成装置及び映像合成装置の動作方法 |
JP2007243438A (ja) * | 2006-03-07 | 2007-09-20 | Nippon Hoso Kyokai <Nhk> | 提示情報出力装置 |
JPWO2006009105A1 (ja) * | 2004-07-20 | 2008-05-01 | 松下電器産業株式会社 | 映像処理装置およびその方法 |
WO2012029140A1 (ja) | 2010-09-01 | 2012-03-08 | Suginaka Junko | 映像出力装置、リモコン端末及びプログラム |
JP2012512424A (ja) * | 2008-12-15 | 2012-05-31 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 音声合成のための方法および装置 |
JP2012138670A (ja) * | 2010-12-24 | 2012-07-19 | Clarion Co Ltd | デジタル放送受信装置、デジタル放送受信装置の制御方法及び制御プログラム |
JP2013080362A (ja) * | 2011-10-04 | 2013-05-02 | Nippon Telegr & Teleph Corp <Ntt> | 対話型情報発信装置、対話型情報発信方法、及びプログラム |
WO2014171046A1 (ja) * | 2013-04-17 | 2014-10-23 | パナソニック株式会社 | 映像受信装置、及び、映像受信装置における情報表示制御方法 |
Families Citing this family (77)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2003864B1 (en) * | 2002-03-27 | 2013-09-11 | Apple Inc. | Communication apparatus |
US20040181817A1 (en) * | 2003-03-12 | 2004-09-16 | Larner Joel B. | Media control system and method |
GB2405018B (en) * | 2004-07-24 | 2005-06-29 | Photolink | Electronic programme guide comprising speech synthesiser |
US20060045346A1 (en) * | 2004-08-26 | 2006-03-02 | Hui Zhou | Method and apparatus for locating and extracting captions in a digital image |
CN1870156B (zh) * | 2005-05-26 | 2010-04-28 | 凌阳科技股份有限公司 | 盘片播放装置及其播放控制方法与数据分析方法 |
US8677377B2 (en) | 2005-09-08 | 2014-03-18 | Apple Inc. | Method and apparatus for building an intelligent automated assistant |
KR100791517B1 (ko) | 2006-02-18 | 2008-01-03 | 삼성전자주식회사 | 디지털 방송 수신 단말기가 디지털 방송으로부터 전화번호정보를 검출하는 장치 및 방법 |
JP2008022292A (ja) * | 2006-07-13 | 2008-01-31 | Sony Corp | 出演者情報検索システム、出演者情報取得装置、出演者情報検索装置、および、その方法ならびにプログラム |
US9318108B2 (en) | 2010-01-18 | 2016-04-19 | Apple Inc. | Intelligent automated assistant |
GB0619972D0 (en) * | 2006-10-10 | 2006-11-15 | Ibm | Method, apparatus and computer network for producing special effects to complement displayed video information |
JP2008118232A (ja) * | 2006-11-01 | 2008-05-22 | Hitachi Ltd | 映像再生装置 |
US7929764B2 (en) * | 2007-06-15 | 2011-04-19 | Microsoft Corporation | Identifying character information in media content |
CN101102419B (zh) * | 2007-07-10 | 2010-06-09 | 北京大学 | 一种定位视频字幕区域的方法 |
US8645983B2 (en) * | 2007-09-20 | 2014-02-04 | Sony Corporation | System and method for audible channel announce |
US20090129749A1 (en) * | 2007-11-06 | 2009-05-21 | Masayuki Oyamatsu | Video recorder and video reproduction method |
US8621505B2 (en) * | 2008-03-31 | 2013-12-31 | At&T Intellectual Property I, L.P. | Method and system for closed caption processing |
US8996376B2 (en) | 2008-04-05 | 2015-03-31 | Apple Inc. | Intelligent text-to-speech conversion |
EP2209308B1 (en) * | 2009-01-19 | 2016-01-13 | Sony Europe Limited | Television apparatus |
CN101853381B (zh) * | 2009-03-31 | 2013-04-24 | 华为技术有限公司 | 视频字幕信息获取方法及装置 |
US10241752B2 (en) | 2011-09-30 | 2019-03-26 | Apple Inc. | Interface for a virtual digital assistant |
US10241644B2 (en) | 2011-06-03 | 2019-03-26 | Apple Inc. | Actionable reminder entries |
US9431006B2 (en) | 2009-07-02 | 2016-08-30 | Apple Inc. | Methods and apparatuses for automatic speech recognition |
US8682667B2 (en) | 2010-02-25 | 2014-03-25 | Apple Inc. | User profiling for selecting user specific voice input processing information |
CN102314874A (zh) * | 2010-06-29 | 2012-01-11 | 鸿富锦精密工业(深圳)有限公司 | 文本到语音转换系统与方法 |
CN102567982A (zh) * | 2010-12-24 | 2012-07-11 | 浪潮乐金数字移动通信有限公司 | 一种视频节目特定信息的提取系统及其方法、移动终端 |
US8931031B2 (en) * | 2011-02-24 | 2015-01-06 | Echostar Technologies L.L.C. | Matrix code-based accessibility |
JP5857449B2 (ja) * | 2011-05-27 | 2016-02-10 | ソニー株式会社 | 画像処理装置及び録画装置 |
US9280610B2 (en) | 2012-05-14 | 2016-03-08 | Apple Inc. | Crowd sourcing information to fulfill user requests |
CN103475831A (zh) * | 2012-06-06 | 2013-12-25 | 晨星软件研发(深圳)有限公司 | 应用于显示装置的字幕控制方法与元件 |
US9721563B2 (en) | 2012-06-08 | 2017-08-01 | Apple Inc. | Name recognition system |
US9547647B2 (en) | 2012-09-19 | 2017-01-17 | Apple Inc. | Voice-based media searching |
TW201426529A (zh) * | 2012-12-26 | 2014-07-01 | Hon Hai Prec Ind Co Ltd | 通訊設備及其播放方法 |
US10642574B2 (en) * | 2013-03-14 | 2020-05-05 | Apple Inc. | Device, method, and graphical user interface for outputting captions |
KR102061044B1 (ko) * | 2013-04-30 | 2020-01-02 | 삼성전자 주식회사 | 수화 번역 및 화면 해설 서비스 방법 및 시스템 |
WO2014197334A2 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for user-specified pronunciation of words for speech synthesis and recognition |
CN104392729B (zh) * | 2013-11-04 | 2018-10-12 | 贵阳朗玛信息技术股份有限公司 | 一种动画内容的提供方法及装置 |
US9430463B2 (en) | 2014-05-30 | 2016-08-30 | Apple Inc. | Exemplar-based natural language processing |
CN103984772B (zh) * | 2014-06-04 | 2017-07-18 | 百度在线网络技术(北京)有限公司 | 文本检索字幕库生成方法和装置、视频检索方法和装置 |
US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
US9668121B2 (en) | 2014-09-30 | 2017-05-30 | Apple Inc. | Social reminders |
US10567477B2 (en) | 2015-03-08 | 2020-02-18 | Apple Inc. | Virtual assistant continuity |
US9578173B2 (en) | 2015-06-05 | 2017-02-21 | Apple Inc. | Virtual assistant aided communication with 3rd party service in a communication session |
KR102407630B1 (ko) * | 2015-09-08 | 2022-06-10 | 삼성전자주식회사 | 서버, 사용자 단말 및 이들의 제어 방법. |
US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
US10671428B2 (en) | 2015-09-08 | 2020-06-02 | Apple Inc. | Distributed personal assistant |
US10366158B2 (en) | 2015-09-29 | 2019-07-30 | Apple Inc. | Efficient word encoding for recurrent neural network language models |
US11010550B2 (en) | 2015-09-29 | 2021-05-18 | Apple Inc. | Unified language modeling framework for word prediction, auto-completion and auto-correction |
US11587559B2 (en) | 2015-09-30 | 2023-02-21 | Apple Inc. | Intelligent device identification |
US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
US10049668B2 (en) | 2015-12-02 | 2018-08-14 | Apple Inc. | Applying neural network language models to weighted finite state transducers for automatic speech recognition |
US10223066B2 (en) | 2015-12-23 | 2019-03-05 | Apple Inc. | Proactive assistance based on dialog communication between devices |
US10446143B2 (en) | 2016-03-14 | 2019-10-15 | Apple Inc. | Identification of voice inputs providing credentials |
US9934775B2 (en) | 2016-05-26 | 2018-04-03 | Apple Inc. | Unit-selection text-to-speech synthesis based on predicted concatenation parameters |
US9972304B2 (en) | 2016-06-03 | 2018-05-15 | Apple Inc. | Privacy preserving distributed evaluation framework for embedded personalized systems |
US10249300B2 (en) | 2016-06-06 | 2019-04-02 | Apple Inc. | Intelligent list reading |
US10049663B2 (en) | 2016-06-08 | 2018-08-14 | Apple, Inc. | Intelligent automated assistant for media exploration |
DK179588B1 (en) | 2016-06-09 | 2019-02-22 | Apple Inc. | INTELLIGENT AUTOMATED ASSISTANT IN A HOME ENVIRONMENT |
US10490187B2 (en) | 2016-06-10 | 2019-11-26 | Apple Inc. | Digital assistant providing automated status report |
US10509862B2 (en) | 2016-06-10 | 2019-12-17 | Apple Inc. | Dynamic phrase expansion of language input |
US10586535B2 (en) | 2016-06-10 | 2020-03-10 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
US10067938B2 (en) | 2016-06-10 | 2018-09-04 | Apple Inc. | Multilingual word prediction |
US10192552B2 (en) | 2016-06-10 | 2019-01-29 | Apple Inc. | Digital assistant providing whispered speech |
DK179415B1 (en) | 2016-06-11 | 2018-06-14 | Apple Inc | Intelligent device arbitration and control |
DK201670540A1 (en) | 2016-06-11 | 2018-01-08 | Apple Inc | Application integration with a digital assistant |
DK179343B1 (en) | 2016-06-11 | 2018-05-14 | Apple Inc | Intelligent task discovery |
DK179049B1 (en) | 2016-06-11 | 2017-09-18 | Apple Inc | Data driven natural language event detection and classification |
US10043516B2 (en) | 2016-09-23 | 2018-08-07 | Apple Inc. | Intelligent automated assistant |
US10820061B2 (en) | 2016-10-17 | 2020-10-27 | DISH Technologies L.L.C. | Apparatus, systems and methods for presentation of media content using an electronic Braille device |
US10593346B2 (en) | 2016-12-22 | 2020-03-17 | Apple Inc. | Rank-reduced token representation for automatic speech recognition |
DK201770439A1 (en) | 2017-05-11 | 2018-12-13 | Apple Inc. | Offline personal assistant |
DK179745B1 (en) | 2017-05-12 | 2019-05-01 | Apple Inc. | SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT |
DK179496B1 (en) | 2017-05-12 | 2019-01-15 | Apple Inc. | USER-SPECIFIC Acoustic Models |
DK201770431A1 (en) | 2017-05-15 | 2018-12-20 | Apple Inc. | Optimizing dialogue policy decisions for digital assistants using implicit feedback |
DK201770432A1 (en) | 2017-05-15 | 2018-12-21 | Apple Inc. | Hierarchical belief states for digital assistants |
DK179549B1 (en) | 2017-05-16 | 2019-02-12 | Apple Inc. | FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES |
US20200134103A1 (en) * | 2018-10-26 | 2020-04-30 | Ca, Inc. | Visualization-dashboard narration using text summarization |
CN113450774B (zh) * | 2021-06-23 | 2024-05-31 | 网易(杭州)网络有限公司 | 一种训练数据的获取方法及装置 |
Family Cites Families (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2246273A (en) * | 1990-05-25 | 1992-01-22 | Microsys Consultants Limited | Adapting teletext information for the blind |
US5262860A (en) * | 1992-04-23 | 1993-11-16 | International Business Machines Corporation | Method and system communication establishment utilizing captured and processed visually perceptible data within a broadcast video signal |
US5481296A (en) * | 1993-08-06 | 1996-01-02 | International Business Machines Corporation | Apparatus and method for selectively viewing video information |
US5703655A (en) * | 1995-03-24 | 1997-12-30 | U S West Technologies, Inc. | Video programming retrieval using extracted closed caption data which has been partitioned and stored to facilitate a search and retrieval process |
US6061056A (en) * | 1996-03-04 | 2000-05-09 | Telexis Corporation | Television monitoring system with automatic selection of program material of interest and subsequent display under user control |
US5809471A (en) * | 1996-03-07 | 1998-09-15 | Ibm Corporation | Retrieval of additional information not found in interactive TV or telephony signal by application using dynamically extracted vocabulary |
US6025837A (en) * | 1996-03-29 | 2000-02-15 | Micrsoft Corporation | Electronic program guide with hyperlinks to target resources |
US6240555B1 (en) * | 1996-03-29 | 2001-05-29 | Microsoft Corporation | Interactive entertainment system for presenting supplemental interactive content together with continuous video programs |
US6088674A (en) * | 1996-12-04 | 2000-07-11 | Justsystem Corp. | Synthesizing a voice by developing meter patterns in the direction of a time axis according to velocity and pitch of a voice |
US6637032B1 (en) * | 1997-01-06 | 2003-10-21 | Microsoft Corporation | System and method for synchronizing enhancing content with a video program using closed captioning |
US6564383B1 (en) * | 1997-04-14 | 2003-05-13 | International Business Machines Corporation | Method and system for interactively capturing organizing and presenting information generated from television programs to viewers |
DE69722924T2 (de) * | 1997-07-22 | 2004-05-19 | Sony International (Europe) Gmbh | Videogerät mit automatischem Internetzugang |
JPH1196286A (ja) * | 1997-09-22 | 1999-04-09 | Oki Electric Ind Co Ltd | 文字情報変換装置 |
US6366699B1 (en) * | 1997-12-04 | 2002-04-02 | Nippon Telegraph And Telephone Corporation | Scheme for extractions and recognitions of telop characters from video data |
US6295092B1 (en) * | 1998-07-30 | 2001-09-25 | Cbs Corporation | System for analyzing television programs |
US6198511B1 (en) * | 1998-09-10 | 2001-03-06 | Intel Corporation | Identifying patterns in closed caption script |
US6608930B1 (en) * | 1999-08-09 | 2003-08-19 | Koninklijke Philips Electronics N.V. | Method and system for analyzing video content using detected text in video frames |
US6938270B2 (en) * | 1999-04-07 | 2005-08-30 | Microsoft Corporation | Communicating scripts in a data service channel of a video signal |
US6460180B1 (en) * | 1999-04-20 | 2002-10-01 | Webtv Networks, Inc. | Enabling and/or disabling selected types of broadcast triggers |
KR100326400B1 (ko) * | 1999-05-19 | 2002-03-12 | 김광수 | 자막지향 탐색정보 생성 및 탐색방법과, 이를 사용하는 재생장치 |
US7493018B2 (en) * | 1999-05-19 | 2009-02-17 | Kwang Su Kim | Method for creating caption-based search information of moving picture data, searching and repeating playback of moving picture data based on said search information, and reproduction apparatus using said method |
GB2352915A (en) * | 1999-08-06 | 2001-02-07 | Television Monitoring Services | A method of retrieving text data from a broadcast image |
JP2002010151A (ja) * | 2000-06-26 | 2002-01-11 | Matsushita Electric Ind Co Ltd | 番組受信装置 |
US6823084B2 (en) * | 2000-09-22 | 2004-11-23 | Sri International | Method and apparatus for portably recognizing text in an image sequence of scene imagery |
US7050109B2 (en) * | 2001-03-02 | 2006-05-23 | General Instrument Corporation | Methods and apparatus for the provision of user selected advanced close captions |
US20030046075A1 (en) * | 2001-08-30 | 2003-03-06 | General Instrument Corporation | Apparatus and methods for providing television speech in a selected language |
US8261306B2 (en) * | 2001-12-11 | 2012-09-04 | Koninklijke Philips Electronics N.V. | System for and method of shopping through television |
US6804330B1 (en) * | 2002-01-04 | 2004-10-12 | Siebel Systems, Inc. | Method and system for accessing CRM data via voice |
-
2002
- 2002-05-16 JP JP2002142188A patent/JP3953886B2/ja not_active Expired - Fee Related
-
2003
- 2003-05-13 EP EP03010686A patent/EP1363455A3/en not_active Withdrawn
- 2003-05-13 US US10/437,443 patent/US20040008277A1/en not_active Abandoned
- 2003-05-14 CN CNB031234739A patent/CN1232107C/zh not_active Expired - Fee Related
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4667381B2 (ja) * | 2004-07-20 | 2011-04-13 | パナソニック株式会社 | 映像処理装置およびその方法 |
JPWO2006009105A1 (ja) * | 2004-07-20 | 2008-05-01 | 松下電器産業株式会社 | 映像処理装置およびその方法 |
JP2006114972A (ja) * | 2004-10-12 | 2006-04-27 | Tv Asahi Data Vision Corp | 告知情報番組制作装置、方法、プログラム、及び告知情報番組放送システム |
JP4530795B2 (ja) * | 2004-10-12 | 2010-08-25 | 株式会社テレビ朝日データビジョン | 告知情報番組制作装置、方法、プログラム、及び告知情報番組放送システム |
JP2006197420A (ja) * | 2005-01-17 | 2006-07-27 | Sanyo Electric Co Ltd | 放送受信装置 |
JP4587821B2 (ja) * | 2005-01-31 | 2010-11-24 | 三洋電機株式会社 | 映像再生装置 |
JP2006211488A (ja) * | 2005-01-31 | 2006-08-10 | Sanyo Electric Co Ltd | 映像再生装置 |
JP2007081930A (ja) * | 2005-09-15 | 2007-03-29 | Fujitsu Ten Ltd | デジタルテレビジョン放送受信機 |
JP2007142955A (ja) * | 2005-11-21 | 2007-06-07 | Sharp Corp | 映像合成装置及び映像合成装置の動作方法 |
JP2007243438A (ja) * | 2006-03-07 | 2007-09-20 | Nippon Hoso Kyokai <Nhk> | 提示情報出力装置 |
JP4728841B2 (ja) * | 2006-03-07 | 2011-07-20 | 日本放送協会 | 提示情報出力装置 |
JP2012512424A (ja) * | 2008-12-15 | 2012-05-31 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 音声合成のための方法および装置 |
WO2012029140A1 (ja) | 2010-09-01 | 2012-03-08 | Suginaka Junko | 映像出力装置、リモコン端末及びプログラム |
JP2012138670A (ja) * | 2010-12-24 | 2012-07-19 | Clarion Co Ltd | デジタル放送受信装置、デジタル放送受信装置の制御方法及び制御プログラム |
JP2013080362A (ja) * | 2011-10-04 | 2013-05-02 | Nippon Telegr & Teleph Corp <Ntt> | 対話型情報発信装置、対話型情報発信方法、及びプログラム |
WO2014171046A1 (ja) * | 2013-04-17 | 2014-10-23 | パナソニック株式会社 | 映像受信装置、及び、映像受信装置における情報表示制御方法 |
JPWO2014171046A1 (ja) * | 2013-04-17 | 2017-02-16 | パナソニックIpマネジメント株式会社 | 映像受信装置、及び、映像受信装置における情報表示制御方法 |
US9699520B2 (en) | 2013-04-17 | 2017-07-04 | Panasonic Intellectual Property Management Co., Ltd. | Video receiving apparatus and method of controlling information display for use in video receiving apparatus |
Also Published As
Publication number | Publication date |
---|---|
US20040008277A1 (en) | 2004-01-15 |
EP1363455A3 (en) | 2004-04-07 |
CN1232107C (zh) | 2005-12-14 |
CN1461146A (zh) | 2003-12-10 |
EP1363455A2 (en) | 2003-11-19 |
JP3953886B2 (ja) | 2007-08-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2003333445A (ja) | 字幕抽出装置 | |
JP2003333445A5 (ja) | 字幕抽出装置及びシステム | |
JP2007150724A (ja) | 映像視聴支援システムおよび方法 | |
KR20040039432A (ko) | 다중 언어 필사 시스템 | |
JPH11134345A (ja) | 嗜好情報選択装置 | |
JP2009076970A (ja) | 要約コンテンツ生成装置およびコンピュータプログラム | |
JP2009239729A (ja) | コンテンツのシーン出現を通知する装置、方法およびプログラム | |
JP2009027428A (ja) | 録画再生装置及び録画再生方法 | |
US8264609B2 (en) | Caption presentation method and apparatus using same | |
JPH11252477A (ja) | 受信機 | |
JP5197841B1 (ja) | 映像再生装置及び映像再生方法 | |
EP3896985A1 (en) | Reception device and control method | |
JP2006129122A (ja) | 放送受信装置、放送受信方法、放送受信プログラム及びプログラム記録媒体 | |
JP6706591B2 (ja) | 放送受信機、通知方法、プログラム、及び記憶媒体 | |
JP4176506B2 (ja) | 情報受信装置 | |
CN114760523A (zh) | 音视频处理方法、装置、设备及存储介质 | |
JP2022127309A (ja) | 電子機器、システム、およびプログラム | |
US20090190031A1 (en) | Television apparatus and method for subtitle handling | |
JP3694582B2 (ja) | 受信装置 | |
KR102292552B1 (ko) | 장애인 시청권 향상을 위한 영상 동기화 시스템 | |
JPH11250068A (ja) | 情報処理装置および方法、並びに記録媒体 | |
JP2009060551A (ja) | 映像処理装置 | |
KR100977972B1 (ko) | 캡션 정보를 이용한 스크립트 생성기능을 갖는영상표시기기 및 그 제어방법 | |
JP2016213867A (ja) | 放送受信機、通知方法、プログラム、及び記憶媒体 | |
JP2002142197A (ja) | 番組情報を利用した番組録画システム及び方法並びに番組録画制御プログラムを記録した記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040715 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040715 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20040721 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061110 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061121 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070118 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070220 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070323 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070417 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070425 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 3953886 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100511 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110511 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120511 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130511 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140511 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |