JP2005526290A - ウィンドウズベースのグラフィックシステムにおける字幕スーパーシステム - Google Patents

ウィンドウズベースのグラフィックシステムにおける字幕スーパーシステム Download PDF

Info

Publication number
JP2005526290A
JP2005526290A JP2004506286A JP2004506286A JP2005526290A JP 2005526290 A JP2005526290 A JP 2005526290A JP 2004506286 A JP2004506286 A JP 2004506286A JP 2004506286 A JP2004506286 A JP 2004506286A JP 2005526290 A JP2005526290 A JP 2005526290A
Authority
JP
Japan
Prior art keywords
character
foreground
rendering
characters
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004506286A
Other languages
English (en)
Other versions
JP2005526290A5 (ja
JP4711676B2 (ja
Inventor
リンチ,デイヴィッド,ジョンストン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2005526290A publication Critical patent/JP2005526290A/ja
Publication of JP2005526290A5 publication Critical patent/JP2005526290A5/ja
Application granted granted Critical
Publication of JP4711676B2 publication Critical patent/JP4711676B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8146Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/08Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/22Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory
    • G09G5/24Generation of individual character patterns
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/22Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory
    • G09G5/24Generation of individual character patterns
    • G09G5/243Circuits for displaying proportional spaced characters or for kerning
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4314Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for fitting data in a restricted space on the screen, e.g. EPG data in a rectangular grid
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4884Data services, e.g. news ticker for displaying subtitles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4888Data services, e.g. news ticker for displaying teletext characters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/44504Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Generation (AREA)

Abstract

本発明は、ビデオ信号と受信された補助のデータ信号に含まれる文字の歪みを補正するための方法及び装置に関する。第一の文字と第二の文字の両者の後景及び前景を表す信号を生成することで歪みが補正される。第一の文字がイタリック体でレンダリングされているかが判定される。そうである場合、第一の文字の前景の色が再レンダリングされる。さらに、置き換えの文字が第一の文字について受信された場合、第一の文字がイタリック体でレンダリングされるかが判定される。そうである場合、第二の後続する文字の少なくとも一部の前景及び後景の色が再レンダリングされる。置き換えの文字の後景及び前景を表す信号が生成される。その後、第一の文字を重ね合わせする置き換えの文字の前景の色及び後景の色がレンダリングされる。

Description

本発明は、ビデオ信号処理システムにおける、字幕スーパーの文字情報のような補助情報の処理に関し、より詳細には、一方の文字のイタリック体のような属性又は形式から生じる別の文字のレンダリングに関する歪みの防止及び/又は補正のためのシステムに関する。
本出願は、2002年5月15日にDavid J. Lynchにより米国特許商標庁に提出された米国特許仮出願シリアル番号60/380,635号から取得される全ての利益に対する優先権を主張するものである。
たとえば、ハンドヘルド装置向けのMicrosoft Windows Compact Edition (Win CE)といったMicrosoft Windows32ビットプラットフォームアーキテクチャに基づいたユーザインタフェース(UI)システムは、文字列をプリント出力するために設計されるフォントシステム及びテキスト描画ルーチンを実現する。このタイプの文字生成機能を必要とするシステムの例は、ビデオ信号処理システムであり、このシステムは、EIA−608及びEIA−708規格に従い補助情報を処理するような、たとえば文字放送システム及び/又は字幕スーパーシステムといった補助情報処理機能を含んでいる。EIA−608規格は、NTSC (National Television Standard Committee)により設定される規格に従って構築されたテレビジョンにおいて使用されるブロードキャストビデオフォーマットであり、このNTSCは、4:3のアスペクト比を有するビデオスクリーンを定義している。EIA−708規格は、デジタルテレビジョン(DTV)の字幕のための規格である。DTVは、劇的により高い品質の画像を提供し、たとえば、映画シアターで見られるような、より広い16:9のアスペクト比のフォーマットでの表示を提供する。EIAは、Electronics Industries Allianceを意味し、米国電子産業の貿易機構連合である。
先に引用された規格に従う字幕スーパーは、重ね合わせされたビデオ画像、又はビデオ画像のトップに重ね合わせされるように見える表示のための文字を提供する。文字は、たとえば、聴覚障害者のユーザを支援するため、ビデオプログラムのオーディオ部分に対応するテキストの内容を提供するものである。米国における標準のテレビジョン信号である、NTSCのようなアナログテレビジョン信号について、テキストデータの文字列は、垂直ブランキング期間に存在する。そのデータは、ビデオデータが処理されるのと同時にスクリーンに表示するために抽出され、文字データに変換される。デジタルテレビジョン信号では、字幕データは、デジタルデータパケットの特定のグループ又はストリームとして含まれる場合がある。
信号のタイプ又はデータ伝達手段に関わらず、字幕データは、前景及び後景の色を有する字幕の文字を生成するために使用される。色特性に加えて、文字は、様式化することができるか、イタリック体であるような属性又は特定の形式を有している。イタリック体は、文字をフォーマットする特定のやり方である。たとえば、文字が右に傾斜される。字幕の文字は、たとえば、Windows text drawing routinesといったオペレーティングシステムのグラフィックディスプレイ機能を使用して一度に一つずつ表示するため、一度に一つずつ受信される。字幕システムは、文字列のアセンブリが必要とされないので、増加されるパフォーマンスを提供するため一度に一つずつ文字を処理する。連続する文字は、ディスプレイで一度に一つずつ表示される。
先に説明されたシステムが表示のためにイタリック体又は斜体の文字を生成するとき、イタリック体の属性又はフォーマットを通常の文字に加えることは、イタリック体の文字を幅においてシフト又は増加させ、1文字の表示のために割り当てられるよりも多くの表示エリアを占有させる。すなわち、イタリック体にされたとき、文字は、隣り合う文字に割り当てられたスペースすなわちセルに延びてオーバラップする。このように、1つの文字の属性又は形式は、たとえば隣り合う文字である別の文字のレンダリングに干渉し、他の文字のレンダリングに歪又は破壊する可能性がある。たとえば、文字は一度に一つずつ描画されるかレンダリングされるので、適切な後景で次の文字を描画することは、前の文字のセル又はスペースにおける文字の少なくとも1部をカットオフすなわちクリップされる。結果として、文字表示が歪んでいるように見える。
本発明は、記載された問題点を部分的に認識し、記載された問題点を解決するためのシステム及び方法を部分的に提供することを含んでいる。本発明の態様は、ビデオ信号に含まれる補助情報を処理する方法を含んでおり、本方法は、第一の文字と第二の文字を表すデータを備える文字データを生成するために補助情報を処理するステップ、該文字データに応答して第一の文字と第二の文字をレンダリングするステップと、第一の文字が予め決定された形式を示すかを判定するステップ、及び予め決定された形式を示す第一の文字に応答して第一の文字と第二の文字のうちの一方の一部を再レンダリングするステップを備えている。本発明の別の態様は、システム及び方法を含んでおり、表示されるべき次の文字の前景及び後景の色を示す信号を提供するステップ、及び隣り合う前の文字の前景の色のみを提供するステップを備えている。このことは、前の隣り合う文字がイタリック体の形式でレンダリングされるかを判定することに応じて実行される。本発明の別の態様は、予めレンダリングされた文字を置き換えるためのシステム及び方法を含んでいる。第一に、本発明は、置き換えられるべき文字の後にレンダリングされる隣り合う文字の前景及び後景の色を示す信号を生成し、該前景及び後景の色を再レンダリングする。好ましくは、隣り合う文字の隣の部分のみが再レンダリングされる。次いで、新たな文字の後景及び前景の色を示す信号が生成され、新たな文字の前景及び後景の色は、置き換えられるべき文字が前に表示されたディスプレイスクリーン上の位置でレンダリングされる。新たに置き換えられた文字の直前のイタリック体の文字がはっきりしない場合、テキストを補正するため、歪を補正するための前の方法が利用される。
本発明が更に完全に理解されるため、添付図面を参照して例を経由して説明される。
本発明のシステムは、表示のための補助データ信号を受けることができる文字レンダリング装置で実現される。装置は、セットトップボックス、メインフレーム及びパーソナルコンピュータ(PC)からデジタル電話に及ぶコンピュータ、たとえばPalm Pilot(登録商標)といったハンドヘルド装置、及びテレビ信号処理システム(たとえば、ディスプレイ装置(たとえば、TVセット)を含むテレビ信号受像機、又はディスプレイ装置(たとえば、セットトップボックス、VCR等)を含まないテレビ信号受像機)といった如何なる構成をもとる場合がある。この出願は、字幕データを処理する本発明のシステム及び方法の使用を含む例示的な実施の形態を開示する。しかし、本システム及び方法は、装置により受信された文字データを含む如何なる補助情報についても適用できる。かかる補助情報の他の例は、文字放送データ、Gemstarデータ等を含んでいる。さらに、本システムは、ディスプレイ装置を含み、ディスプレイ装置に供給される場合がある信号を生成する場合がある。
図1は、ボーダーライン12により示されるセルエリアを有する文字セル14内に位置される字幕文字10aにおける歪みを補正するためのシステム及び方法に関する進展を示している。図では、文字10a〜10c及びセルエリア16の後景は、黒及び白で示されているが、Win32グラフィック及びフォントは、他のグラフィック及び処理ソフトウェアプログラムと同様に、前景及び後景の両者を様々な他の色でレンダリングする場合がある。文字10aの背後のセルエリア16は、後景の色により典型的に満たされる。文字10aが図10bとして示されるイタリック体の形式でレンダリングされるとき、文字の前景の色の少なくとも一部13、すなわち文字10bは、セルエリア14を越えて隣のセルエリア15に延びる。すなわち、第一の文字の形式、すなわち参照符号10bのイタリック体は、第一の文字に第二のキャラクタ10cにより占有されるスペースと相互作用すなわち干渉させる。結果として、第一の文字のレンダリングに後続する第二のキャラクタのレンダリングは、第一の文字の腐敗又は破壊を生じさせる。本明細書に記載されるように、この破壊は、たとえば第一の文字がイタリック体である予め決定されたフォーマットを有するかを判定することに応答して、たとえば前景の一部である第一の文字の一部に関する再レンダリングにより除かれる。実際に、多くのイタリック体の文字は、該文字を隣り合うセルエリア15に延ばすか、曲げるグラフィックを生成する。
本明細書の開示は、ある文字の右への傾斜を示すイタリック体の文字を照会する。なお、本発明は、印刷された文字を処理することで文字がそのセルエリアを越えて隣り合う文字のセルエリアの部分を占有することにより生じる歪みを補正することに向けられることを理解されたい。傾きの方向は、重要ではなく、文字をイタリック体として照会することは重要なことではない。
文字は一度に一つずつレンダリング又は表示されるので、第二の文字10cのレンダリングにより、文字10bの延長13に関することなしに、第二の文字10cの後景及び/又は前景の色に覆わせ、これにより第二の文字10cのセルエリア15に延出又は突き出ている第一の文字10bの突出部分13を切り取らせる。
イタリック体の文字10bが割り当てられたセルエリア14を越えて第二の文字のセルエリア15に延びると仮定すると、第二すなわち次の文字10cがセルエリア15において後景の色17を有してレンダリングされるとき、文字10cの後景の色17は、前のイタリック体の文字10bの突出部分13を上書きする。さらに、後景の色17が使用されない状況では、割り当てられたセルエリア14の外に突き出るイタリック体又は傾斜された文字10bが通常の傾斜されない文字10dにより後続されるとき、文字10bの突出部分13の難読化が生じる場合がある。
イタリック体の文字10bを補正又は適切に表示するため、リアルタイムのオンラインシステムにとって全てのテキストを再レンダリングすることは、実際的ではない。これは、文字が受信されて表示されるリアルタイムの要件のためである。リアルタイムシステムでは、全ての表示されたテキストのエラー、ミスプリント、又は歪みを固定するために十分な時間が単に存在しない。このように、本発明の実施の形態のシステム及び方法は、図1に示される結果を生じるために、次の隣り合う文字10cの前景及び後景のレンダリングの後、イタリック体の文字10bの前景のみを表す信号を生成し、該前景のみを再レンダリングすることを備えている。
[後景を置き換えることのない文字の再レンダリング]
先に説明された問題を解決するための例示的な実施の形態のシステム及び方法は、図1、図2及び図3を参照してこれより説明される。図1は、本発明のシステム及び方法に従う文字の歪みを補正するための進展を例示している。図2は、本発明のシステム及び方法に係る補正ルーチン30に関するフローチャートである。図3は、図2の方法に従いシステムにより補正されるイタリック体により生じる歪みを有する2つの隣り合うテキスト文字を例示している。テキストが表示されるとき、第一の文字20の前景及び後景を表す信号は、図3を参照して示されるように、及びステップS30で説明されるように、ディスプレイでのレンダリングのために生成される。ステップS32では、その前景及び後景の色を含む次又は第二の文字22を示す信号は、第一の文字20隣のレンダリングのために生成される。ステップS34では、第二の文字22の直前の前の又は第一の文字20がイタリック体であるかが判定される。前の文字20の位置は、テキストがたとえば左から右に、右から左へ、上から下へ等とレンダリングされる方向に基づいている。
第一の文字20がイタリック体で印刷された場合、現在の文字の後景の色をレンダリングすることで、次の文字22のセルエリア24に突き出る第一の文字20の部分25が生じることが予想される。次の文字22のセルエリア24のエッジは、第一の文字22の突出する部分に交差する。ステップS36では、かかる難読性は、ディスプレイのその後景26を再レンダリングすることなしに、第一の文字20の前景を示す信号を生成することで補正される。第一の文字20の前景を示す生成された信号は、再レンダリングのために供給される。なお、判定ステップS32は、前の文字がイタリック体で印刷されていないと判定した場合、補正の動作行われる必要がないことを理解されたい。次いで、本方法は、ディスプレイ上のレンダリングのためにその後の隣り合う文字の前景と後景を示す信号の発生により継続する。その後、次の文字22は、第一の文字20として扱われ、この処理は、全てのテキストが表示されるまで継続する。
より詳細には、図3で例示される例に関して、システムは、“W”の文字20がイタリック体で印刷されていることを検出し、したがって、文字の右上部分23は、表示されたときにその後の隣の“M”の文字22により不正確にされる。補正ルーチン30は、“M”の文字22のレンダリングを制御し、次いで、“W”の文字20に関連されるセルエリア26の後景の色を再レンダリングすることなしに、前景の“W”の文字20を再レンダリングする。本発明の補正ルーチン30により、1文字を一度に一つずつ分析して表示することが可能であり、隣の文字のセルエリアに突き出るイタリック体で印刷されているか又は傾斜された文字のグラフィックなレンダリングに関する腐敗又は難読性が防止される。
[文字の置き換え]
本発明の代替的な実施の形態は、ディスプレイ上で文字を置き換えることを含む。EIA−608及び/又はEIA−708規格であるディスプレイでレンダリングされる文字は、修正することができる。文字は、文字の誤ったレンダリング、ミススペルの訂正等のような如何なる様々な理由のために修正される場合がある。文字の置き換えは、既存のシステムにおいて既にレンダリングされる文字を置き換えることを必要としている。たとえば、図4に示されるように、前にレンダリングされたイタリック体で印刷された文字“M”42をイタリック体以外で印刷された文字“M”42で置き換える進展40が示される。
この図からわかるように、はじめに、文字“M”42がイタリック体で印刷されているかが判定される。この文字がイタリック体で印刷されていると判定された場合、直後の文字、この例では“J”文字44がイタリック体で印刷された文字“M”42により生じた“J”文字44の後景46に残されている場合がある歪みを除くために再レンダリングされる必要がある。本発明のソリューションは、“J”文字44の後景46及び前景の色を表す信号を生成し、“J”文字44の後景46及び前景を再レンダリングすることにある。
本発明は、置き換えられる文字、この例ではイタリック体の文字“M”42の右に隣り合うセルの左半分の前景及び後景の再レンダリングを生じさせることで時間を節約する。例示的に、隣接するセルの再レンダリングは、破線の左に定義される“J”文字44の2分の1の幅の部分48を再レンダリングする。代替的に、隣接するセルの如何なる部分が再レンダリングされる場合がある。隣接するセルの再レンダリングは、2分の1のセルの幅に限定されない。さらに、右から左に読まれるHebrewのような他の言語について、セルのレンダリング及び再レンダリングは、本明細書で説明された反対の方向に実行される。
隣接するセルの半分のみを更新することで、隣接するセルに後続する文字にとって必要とされる連鎖作用の固定が防止される。連鎖作用は、文字42全体の再レンダリングがオーバフローし、文字42がイタリック体で印刷された場合に後続する文字を不正確にするときに生じる。このことは、文字42に後続する文字44が固定されることを必要とする。
置き換えられる文字42に続く文字44の補正の後、新たな文字50がレンダリングされ、新たな文字50に先行する文字52は、イタリック体で印刷されているかを判定するためにチェックされる。先に説明されたように、前のイタリック体で印刷された文字は、後続する文字がレンダリングされるとき、不正確にされる場合があり、したがって新たな文字が不正確にしないことを保証するため、図示されるようにその前景すなわち文字が再レンダリングされる。
図5は、図4で先に説明したように、文字の置き換えを実行する本発明の補正ルーチン60を例示している。ステップS62では、文字が置き換えられるべきか判定が行われる。文字が置き換えられるべきではない場合、文字の表示は、実現される表示プロセスに従って継続する。文字、たとえば図4に例示される置換の文字42が置き換えられるべきであると判定された場合、ステップS64で文字がイタリック体で印刷されているかが判定される。ステップS64で文字がイタリック体で印刷されるべきであると判定された場合、置換の文字42に続くセルの隣接する半分の後景及び前景を表す信号が生成され、ステップS66で説明されるように再レンダリングされる。ステップS64で置き換えられるべき文字がイタリック体で印刷されていないと判定された場合、たとえば、図4に示される文字50である置換の文字の後景及び前景を表す信号が生成され、ステップS68に述べられるようにスクリーンにレンダリングされる。
ステップS70では、再レンダリングされた文字50の左への文字52がイタリック体で印刷されているかに関する判定が行われる。判定が肯定的である場合、その文字の前景を表す信号が生成され、ステップS72で図3を参照して説明されたやり方と同様なやり方で再レンダリングされる。
図6に示される1つの例示的な実施の形態では、本発明のシステム100は、ビデオ信号78を受信するための受信機80を含んでいる。受信されたビデオ信号78は、信号プロセッサ82に送出される。受信されたビデオ信号78は、画像信号及び補助のデータ信号を含んでいる。補助のデータ信号は、ビデオ信号に重ね合わせされるべき字幕データのようなデータを含んでいる場合がある。
シグナルプロセッサ82は、補助のデータ信号を抽出し、ビデオ信号を処理する。次いで、ビデオ信号はビデオスーパーインポーズ装置86に通過される。シグナルプロセッサ82がビデオ信号にエンコードされる補助のデータを検出した場合、補助データ84は、ビデオ信号から分離され、補助データプロセッサ84に送出される。補助データプロセッサ84は、補助データ信号83のコンポーネントをデコードする。補助データ信号のコンポーネントは、表示のための文字又はビデオ信号に重ね合わせされる文字、文字がビデオ信号に重ね合わせされる位置、並びに文字のフォント及びフォントスタイルを少なくとも含んでいる。補助データ信号のデコードされたコンポーネントは、次いで、コンポジット信号を形成するため、ビデオ信号と補助データ信号とを結合するためにビデオスーパーインポーズ装置86に供給される。スーパーインポーズ装置86は、コンポジット信号の表示のため、図示されるようにビデオスクリーン88に接続される場合がある。
字幕の文字は、補助データ信号により定義されるディスプレイスクリーン88上の如何なる位置で表示することができる。それぞれのデータの文字は、後景としてのブラックボックスの内側にある白の前景の色、たとえば文字の色で一般に表示される。しかし、如何なる所望の前景及び後景の色は表示するために使用される場合がある。
ディスプレイスクリーンに文字を表示するとき、スーパーインポーズ装置86は、文字がイタリック体で印刷されているかを判定し、次いで図1〜図5を参照して本明細書で前に説明された方法に従って文字の表示を補正する。
ビデオスクリーン88は、テレビジョンセットにおけるように本発明のシステムと組み合わされる場合がある。代替的に、本システムは、補助データを含むコンポジット信号の表示のために個別のディスプレイ装置に信号を供給するために補助データ信号を処理するセットトップボックスとして動作することができる。
先の記載より、本発明のシステムは、文字を置き換え、たとえば字幕システムといった補助情報処理システムにおいてレンダリングされたテキストの表示をレンダリングするシステム及び方法を提供することで、従来技術の問題点を克服することができることがわかる。この場合、イタリック体で印刷された文字がビデオ表示装置で連続的に表示するために生成される。本発明の方法は、次の文字の後景及び前景の色を示す信号を生成し、次いで、隣の前の文字の前景の色のみを再レンダリングする。かかる点は、前の隣の文字がイタリック体で印刷される形式でレンダリングされているかを判定することに応じて実行される。
本発明は、前にレンダリングされた文字の置き換えを実行することができる。はじめに、本発明は、隣の文字の後景及び前景の色を示す信号を生成し、置き換えられるべき文字の後にレンダリングされる隣接する文字の前景及び後景の色を再レンダリングする。好ましくは、その後の隣接する文字の隣り合う部分のみが再レンダリングされる。次いで、新たな文字の前景及び後景の色を示す信号が生成され、置き換えられるべき文字を上書きするためにレンダリングされる。置き換えられた文字の直前のイタリック体で印刷された文字が不明確である場合、前の文字の前景のみが再レンダリングされてテキストを補正する。
なお、先に説明されたエレメントのそれぞれ、又は2つ以上のエレメントは、先に説明されたタイプとは異なる他のタイプの方法において有効なアプリケーションを見出す場合もある。
本発明の所定の斬新な特徴が図示及び記載され、添付された特許請求の範囲に指摘されているが、先の詳細に限定されることは意図されていない。これは、構成における各種の省略、変更、置換及び変形、例示される装置及びその動作における詳細は、本発明の精神から逸脱することなしに当業者により行われる。
本発明のシステム及び方法を使用したイタリック体の文字をレンダリングすることで生じる字幕テキストの表示に関する歪を補正に関する進展を示すブロック図である。 本発明のシステム及び方法に係るイタリック体の文字により生じた字幕テキストにおける歪を補正するためのステップを説明するフローチャートである。 本発明のシステム及び方法を使用して補正されたイタリック体の文字のレンダリングにより生じた歪を有する2つの隣り合うテキスト文字を例示する図である。 本発明のシステム及び方法の代替的な実施の形態に係る字幕テキストにおけるイタリック体の置き換えにより生じた歪、及び該歪の補正を示すブロック図である。 本発明のシステム及び方法に係る字幕テキストにおけるイタリック体の文字の置き換えステップを説明するフローチャートである。 字幕テキストの一部として表示されたイタリック体の文字により生じた歪を補正するために使用される本発明のシステムを示すブロック図である。

Claims (19)

  1. ビデオ信号に含まれる補助情報を処理する方法であって、
    第一の文字と第二の文字とを表すデータを備える文字データを生成するために該補助情報を処理するステップと、
    該文字データに応答して該第一の文字と該第二の文字をレンダリングするステップと、
    該第一の文字が予め決定された形式を示すかを判定するステップと、
    該予め決定された形式を示す該第一の文字に応答して、該第一の文字と該第二の文字の一方の一部を再レンダリングするステップと、
    を備えることを特徴とする方法。
  2. 該第一の文字と該第二の文字は、それぞれの前景領域とそれぞれの後景領域を備え、再レンダリングされる部分は、該前景の部分を備える、
    請求項1記載の方法。
  3. 該第一の文字及び該第二の文字は、該第一の文字と該第二の文字のレンダリングに応答して生成された画像において隣り合う、
    請求項2記載の方法。
  4. 該予め決定された形式は、イタリック体の形式を備え、再レンダリングするステップは、該第一の文字の前景領域の一部を再レンダリングするステップを備える、
    請求項3記載の方法。
  5. ビデオ信号と受信される補助データ信号に含まれるデータにより表される文字の歪みを補正する方法であって、
    第一の文字の後景及び前景を表す信号を供給するステップと、
    該第一の文字の後景及び前景をレンダリングするステップと、
    該第一の文字に隣り合う第二の後続する文字の後景及び前景を表す信号を供給するステップと、
    該第二の後続する文字の後景及び前景をレンダリングするステップと、
    該第一の文字がイタリック体でレンダリングされているかを判定するステップと、
    該第一の文字がイタリック体で印刷されているかの判定に応じて、該第一の文字の前景の色を再レンダリングするステップと、
    を備える方法。
  6. ディスプレイスクリーン上の表示のために該第一の文字と該第二の文字を供給するステップをさらに備える、
    請求項5記載の方法。
  7. 該第一の文字と該第二の文字は、EIA−608規格及びEIA−708規格のうちの少なくとも1つに従って表示される、
    請求項5記載の方法。
  8. 補助データ信号に含まれるデータにより表される文字を置き換える方法であって、
    第一の文字がイタリック体でレンダリングされているかを判定するステップと、
    第二の後続する文字の少なくとも一部の後景及び前景を表す信号を供給するステップと、
    該第一の文字がイタリック体で印刷されているかの判定に応答して該第一の文字に隣り合う該第二の後続する文字の少なくとも一部の前景の色及び後景の色を再レンダリングするステップと、
    置き換えの文字の後景及び前景を表す信号を供給するステップと、
    該第一の文字を重ね合わせする該置き換えの文字の前景の色及び後景の色をレンダリングするステップと、
    を備えることを特徴とする方法。
  9. 該第一の文字の後景及び前景を表す信号を供給するステップと、
    該第一の文字の後景及び前景をレンダリングするステップと、
    該第二の後続する文字の後景及び前景を表す信号を供給するステップと、
    該第二の後続する文字の後景及び前景をレンダリングするステップと、
    をさらに備える請求項8記載の方法。
  10. 該再レンダリングするステップは、該置き換えられるべき文字がイタリック体で印刷されているときにのみ実行される、
    請求項8記載の方法。
  11. 該第二の文字の反対の側にある該置き換える文字に隣り合う文字がイタリック体で印刷されているかを判定するステップをさらに備える、
    請求項8記載の方法。
  12. 隣の文字の前景を表す信号を供給するステップと、該隣の文字がイタリック体で印刷されていると判定されたとき、該隣の文字の前景の色を再レンダリングするステップと、
    をさらに備える請求項11記載の方法。
  13. 該再レンダリングするステップは、該置き換えの文字に隣り合う該第二の後続する文字の前景及び後景の多くとも半分をレンダリングする、
    請求項8記載の方法。
  14. ディスプレイスクリーン上の表示のために該文字を供給するステップをさらに備える、
    請求項8記載の方法。
  15. EIA−608規格及びEIA−708規格のうちの少なくとも1つに従って文字が表示される、
    請求項14記載の方法。
  16. 該ディスプレイスクリーンは、コンピューティング装置のモニタである、
    請求項14記載の方法。
  17. データにより表される文字の歪を補正する装置であって、
    文字データを有する補助情報を含む信号を受信する手段と、
    該信号から該補助情報と文字データとを抽出する手段と、
    該文字データを処理するための手段とを備え、
    該文字データは、後景の色と前景の色により表現される複数の文字を含み、該処理手段は、該複数の文字のそれぞれがイタリック体で印刷されているかを判定し、該複数の文字のそれぞれの前景の色を示す信号を生成し、該複数の文字のうちの後続する隣り合う1つのレンダリングの後、イタリック体で印刷されていると判定された該複数の文字のそれぞれの前景の色を再レンダリングする、
    ことを特徴とする装置。
  18. 該文字データは、字幕データを表す、
    請求項17記載の装置。
  19. 該受信された信号は画像信号を含み、該処理手段は、該画像信号に重ね合わせされる該複数の文字を表すコンポジット信号を生成するため、該画像信号を該複数の文字と結合する、
    請求項17記載の装置。


JP2004506286A 2002-05-15 2003-05-15 ビデオ信号に含まれる補助情報を処理する方法及びデータにより表される文字の歪みを補正する装置 Expired - Lifetime JP4711676B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US38063502P 2002-05-15 2002-05-15
US60/380,635 2002-05-15
PCT/US2003/015579 WO2003098925A1 (en) 2002-05-15 2003-05-15 Close captioning system in windows based graphics system

Publications (3)

Publication Number Publication Date
JP2005526290A true JP2005526290A (ja) 2005-09-02
JP2005526290A5 JP2005526290A5 (ja) 2006-04-27
JP4711676B2 JP4711676B2 (ja) 2011-06-29

Family

ID=29549991

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004506286A Expired - Lifetime JP4711676B2 (ja) 2002-05-15 2003-05-15 ビデオ信号に含まれる補助情報を処理する方法及びデータにより表される文字の歪みを補正する装置

Country Status (8)

Country Link
US (1) US7511761B2 (ja)
EP (1) EP1504594B1 (ja)
JP (1) JP4711676B2 (ja)
KR (1) KR101050031B1 (ja)
CN (1) CN100433807C (ja)
AU (1) AU2003229313A1 (ja)
MX (1) MXPA04011267A (ja)
WO (1) WO2003098925A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100565614B1 (ko) 2003-09-17 2006-03-29 엘지전자 주식회사 캡션 송수신 방법
JP2007119239A (ja) * 2005-10-31 2007-05-17 Toshiba Tec Corp タグ読み取り装置
US20080159713A1 (en) * 2006-12-28 2008-07-03 Mediatek Inc. Digital Video Recorder, Multimedia Storage Apparatus, And Method Thereof
JP2009177581A (ja) * 2008-01-25 2009-08-06 Necディスプレイソリューションズ株式会社 投射型表示装置および字幕表示方法
CN101668131B (zh) * 2008-09-04 2013-01-02 新奥特(北京)视频技术有限公司 一种基于虚拟容器的电视字幕编辑和播出方法
US8379801B2 (en) * 2009-11-24 2013-02-19 Sorenson Communications, Inc. Methods and systems related to text caption error correction
US9628865B2 (en) * 2012-09-10 2017-04-18 Apple Inc. Enhanced closed caption feature
US10289677B2 (en) * 2015-02-19 2019-05-14 Tribune Broadcasting Company, Llc Systems and methods for using a program schedule to facilitate modifying closed-captioning text
US9854329B2 (en) 2015-02-19 2017-12-26 Tribune Broadcasting Company, Llc Use of a program schedule to modify an electronic dictionary of a closed-captioning generator

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62258496A (ja) * 1986-05-02 1987-11-10 キヤノン株式会社 文字発生装置
JPH0378866A (ja) * 1989-08-23 1991-04-04 Matsushita Electric Ind Co Ltd ワードプロセッサ
JPH07149005A (ja) * 1993-11-29 1995-06-13 Matsushita Electric Ind Co Ltd 文書作成装置
JPH07225756A (ja) * 1994-02-11 1995-08-22 Brother Ind Ltd 文書処理装置

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4439761A (en) * 1981-05-19 1984-03-27 Bell Telephone Laboratories, Incorporated Terminal generation of dynamically redefinable character sets
JPH0293587A (ja) * 1988-09-30 1990-04-04 Hitachi Ltd 文字色設定方式
JPH02152382A (ja) * 1988-12-02 1990-06-12 Matsushita Electric Ind Co Ltd 文字放送受信装置
KR920010811B1 (ko) * 1990-05-10 1992-12-17 주식회사 금성사 텔레비젼 수상기에서의 데이타 편집.기억 방법및 그 장치
KR940008580B1 (ko) * 1991-01-28 1994-09-24 삼성전자 주식회사 호환성을 가지는 텔레텍스트의 디지탈 처리장치
US5680479A (en) * 1992-04-24 1997-10-21 Canon Kabushiki Kaisha Method and apparatus for character recognition
JPH05304641A (ja) * 1992-04-24 1993-11-16 Victor Co Of Japan Ltd テレビジョン受像機
JP2664611B2 (ja) * 1992-11-18 1997-10-15 三洋電機株式会社 クローズド・キャプションデコーダ及びこれを備えたテレビジョン受信機
FR2702619B1 (fr) * 1993-03-12 1995-04-28 Thomson Consumer Electronics Dispositif d'affichage de caractères dans un système vidéo.
US5375160A (en) * 1993-05-28 1994-12-20 Ledler Corporation Interface apparatus for effecting captioning and communications between a telephone line and a television
JPH07203396A (ja) * 1993-12-28 1995-08-04 Sony Corp 字幕データ復号化装置
US5537151A (en) * 1994-02-16 1996-07-16 Ati Technologies Inc. Close caption support with timewarp
WO1996002109A1 (en) * 1994-07-08 1996-01-25 Philips Electronics N.V. Method of transmitting teletext pages
JPH08262965A (ja) * 1995-03-20 1996-10-11 Mitsubishi Electric Corp 語学学習用ポーズ機能付きクローズドキャプションデコーダ
US5805153A (en) * 1995-11-28 1998-09-08 Sun Microsystems, Inc. Method and system for resizing the subtitles of a video
US6195078B1 (en) * 1996-08-21 2001-02-27 Thomson Licensing S.A. Parallel mode on-screen display system
JP3518306B2 (ja) * 1998-01-23 2004-04-12 松下電器産業株式会社 ビットマップ表示方法及び装置
JPH11219242A (ja) * 1998-02-02 1999-08-10 Hitachi Ltd ページ生成方法
FR2780804A1 (fr) * 1998-07-03 2000-01-07 Thomson Multimedia Sa Dispositif de controle de l'affichage de caracteres dans un systeme video
US6373526B1 (en) * 1999-03-19 2002-04-16 Sony Corporation Processing of closed caption in different formats
KR100631499B1 (ko) * 2000-01-24 2006-10-09 엘지전자 주식회사 디지털 티브이의 캡션 표시 방법
US6817027B1 (en) * 2000-03-31 2004-11-09 Matsushita Electric Industrial Co., Ltd. Display interface comprising a channel matrix
JP2003536330A (ja) * 2000-06-02 2003-12-02 トムソン ライセンシング ソシエテ アノニム 限られたコンピューティング・リソースを使用した、ビットマップ方式のオンスクリーン・ディスプレイによる補助情報処理方法およびシステム
JP4672856B2 (ja) * 2000-12-01 2011-04-20 キヤノン株式会社 マルチ画面表示装置及びマルチ画面表示方法
US20020075408A1 (en) * 2000-12-19 2002-06-20 Curreri Matthew R. Grid guide bookmarks
US20030227565A1 (en) * 2001-06-01 2003-12-11 Hamilton Thomas Herman Auxiliary information processing system with a bitmapped on-screen display using limited computing resources
US7165264B1 (en) * 2001-07-26 2007-01-16 Digeo, Inc. Client-side tool for splitting or truncating text strings for interactive television
US7853863B2 (en) * 2001-12-12 2010-12-14 Sony Corporation Method for expressing emotion in a text message
US7197715B1 (en) * 2002-03-29 2007-03-27 Digeo, Inc. System and method to provide customized graphical user interfaces via an interactive video casting network

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62258496A (ja) * 1986-05-02 1987-11-10 キヤノン株式会社 文字発生装置
JPH0378866A (ja) * 1989-08-23 1991-04-04 Matsushita Electric Ind Co Ltd ワードプロセッサ
JPH07149005A (ja) * 1993-11-29 1995-06-13 Matsushita Electric Ind Co Ltd 文書作成装置
JPH07225756A (ja) * 1994-02-11 1995-08-22 Brother Ind Ltd 文書処理装置

Also Published As

Publication number Publication date
KR20040106526A (ko) 2004-12-17
JP4711676B2 (ja) 2011-06-29
CN1663243A (zh) 2005-08-31
US7511761B2 (en) 2009-03-31
EP1504594A1 (en) 2005-02-09
KR101050031B1 (ko) 2011-07-19
US20050225674A1 (en) 2005-10-13
EP1504594B1 (en) 2013-07-10
WO2003098925A1 (en) 2003-11-27
MXPA04011267A (es) 2005-07-01
CN100433807C (zh) 2008-11-12
AU2003229313A1 (en) 2003-12-02

Similar Documents

Publication Publication Date Title
US9277183B2 (en) System and method for distributing auxiliary data embedded in video data
US6661467B1 (en) Subtitling transmission system
US8130320B2 (en) Method and system for identifying addressing data within a television presentation
JP4871635B2 (ja) デジタル放送受信装置及びその制御方法
WO2010041457A1 (ja) 映像出力装置及び映像出力方法
EP1237366A2 (en) Methods and apparatus for the provision of user selected advanced closed captions
US7672539B2 (en) Method and apparatus for scaling selected areas of a graphics display
CN112580302B (zh) 一种字幕校正方法及显示设备
JP2001346118A (ja) デジタルテレビ放送受信機における文字データの表示方法
JP4711676B2 (ja) ビデオ信号に含まれる補助情報を処理する方法及びデータにより表される文字の歪みを補正する装置
US20080256573A1 (en) Method and device for displaying a message on a screen of a television
US20050243211A1 (en) Broadcast receiving apparatus to display a digital caption and an OSD in the same text style and method thereof
US20030227565A1 (en) Auxiliary information processing system with a bitmapped on-screen display using limited computing resources
US20080150966A1 (en) Method and Apparatus for Scaling Graphics Images Using Multiple Surfaces
WO2001095617A2 (en) Auxiliary information processing system with a bitmapped on-screen display using limited computing resources
JP3589620B2 (ja) ビットマップデータ生成装置、および指示装置
JP4631258B2 (ja) 携帯機器
US20050162446A1 (en) Common on screen display size for multiple display formats
US20070035559A1 (en) Compositing external images into a multimedia rendering pipeline
JP2003023579A (ja) デジタル放送表示装置
KR100398866B1 (ko) 에이 티브이 시스템의 캡션 문자 처리 방법
KR19990081405A (ko) 자막 위치 제어 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060309

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060309

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090908

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20091207

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20091214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100308

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100810

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20101108

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20101115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110322

R150 Certificate of patent or registration of utility model

Ref document number: 4711676

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term