JP2003198975A - 映像表示装置 - Google Patents

映像表示装置

Info

Publication number
JP2003198975A
JP2003198975A JP2001394782A JP2001394782A JP2003198975A JP 2003198975 A JP2003198975 A JP 2003198975A JP 2001394782 A JP2001394782 A JP 2001394782A JP 2001394782 A JP2001394782 A JP 2001394782A JP 2003198975 A JP2003198975 A JP 2003198975A
Authority
JP
Japan
Prior art keywords
display
image data
character
dsp
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001394782A
Other languages
English (en)
Other versions
JP3945687B2 (ja
Inventor
Toyoji Horikawa
豊史 堀川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2001394782A priority Critical patent/JP3945687B2/ja
Publication of JP2003198975A publication Critical patent/JP2003198975A/ja
Application granted granted Critical
Publication of JP3945687B2 publication Critical patent/JP3945687B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Studio Circuits (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

(57)【要約】 【課題】 文字画像と映像が混在するテレビジョン信号
が入力されても、映像領域と文字領域を確実に分離し
て、文字画像を読み易い大きさで表示する。 【解決手段】 DSP2によって、AD変換器1からの
デジタル画像データを映像表示に適した倍率で拡大縮小
処理し、DSP3によって、位置選択スイッチ8で指定
された文字領域を文字表示に適した倍率で拡大縮小処理
する。各DSPによって処理されたデータをフレームメ
モリ4に蓄積し、合成手段5によって合成して、表示手
段6によって表示する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、映像表示装置に関
し、特に、携帯型テレビジョン装置、テレビジョン表示
機能を有する携帯情報端末装置等として用いられる映像
表示装置に関する。
【0002】
【従来の技術】携帯型テレビジョン装置、テレビジョン
表示機能を有する携帯情報端末装置等といった携帯型の
映像表示装置では、表示手段として、通常、液晶表示パ
ネルが用いられているが、外形上、小型化されているた
めに、解像度が低くなっている。テレビジョン映像、ビ
デオ映像等に代表される映像コンテンツにおいては、映
画の字幕、ニュース番組の解説等のように、映像中に文
字画像がしばしば挿入される。この場合、入力されるテ
レビジョン信号が全画面で一様に縮小されて液晶表示パ
ネルに表示されると、映像は問題無く目視できるが、映
像中に挿入された文字画像は、縮小されることによっ
て、文字情報として認識できない状態になることがあ
る。
【0003】特に、近年では、ワイドビジョン、クリア
ビジョン等のように、従来の0テレビジョン信号の帯域
内で、より高解像度のアナログテレビジョン信号が発信
されることがあり、このような場合に、解像度が低い携
帯型テレビジョン装置等では、文字情報を認識すること
が困難になる。
【0004】表示パネルの大型化、アスペクト比の変化
等に伴って、入力されたテレビジョン信号を拡大処理す
るために、例えば特開平7−107415号公報には、
補完フィルタによって画像データを拡大処理する際に、
映像画像データとは異なる拡大縮小率で文字画像データ
の拡大処理を行うことにより、または文字画像データの
拡大処理を行わないことによって、文字画像の劣化を防
ぐ方法が開示されている。
【0005】また、特開2000−41226号公報に
は、文字情報信号と画像信号とが分離した符号化画像信
号が入力された場合に、文字情報を、映像が表示される
サイズとは独立した任意のサイズで、マルチ画面に表示
する方法が開示されている。
【0006】また、特開平8−9281号公報には、文
字画像データを拡大処理する際に、表示パネルの解像
度、走査方法等によって拡大率を切り替えて処理を行
い、処理後の文字画像データを、その文字画像データが
含まれていた元の画像データに合成して表示する方法が
開示されている。
【0007】さらに、特開2001−134262号公
報には、画像データと文字データ(表示データ)とが分
離した形式で入力された場合に、文字領域と映像領域と
で拡大縮小率をそれぞれ任意に変更して拡大縮小処理を
行い、その後でそれぞれのデータを合成して表示する方
法が開示されている。また、この特開2001−134
262号公報には、画像データと文字データとが分離さ
れた形式で入力されない場合でも、何らかの手法によっ
て文字画像データと映像画像データとを分離して、文字
画像データと映像画像データとで拡大縮小率をそれぞれ
任意に変更して拡大縮小処理を行い、その後でそれぞれ
のデータを合成することが開示されている。
【0008】
【発明が解決しようとする課題】映像表示装置におい
て、文字画像データと映像画像データとが別々の信号と
して入力される場合には、それぞれのデータの拡大縮小
率を独立して制御することによって、映像が見易く、文
字も読み易い表示を得ることができる。しかしながら、
通常のテレビジョン信号では、字幕等の文字画像データ
と、映像画像データとが合成された状態で放送されてお
り、受信側で文字画像データと映像画像データとを自動
的に判別して2種類の信号に分離することは容易ではな
い。
【0009】さらに、字幕付き映画等では画面の右側部
分に縦方向に字幕が表示されるか、または画面の下側部
分に横方向に字幕が表示され、ニュース等では画面の下
側部分に横方向に番組の解説が表示される等というよう
に、映像コンテンツによって文字情報が表示される方法
が異なるため、文字画像データと映像画像データとを分
離することは容易ではない。
【0010】本発明は、このような従来技術の課題を解
決するためになされたものであり、文字画像データと映
像画像データとが混在しているテレビジョン信号が入力
された場合であっても、映像領域と文字領域とを確実に
分離して、文字画像を読み易い大きさで表示することが
でき、解像度が低い表示パネル、または小型の表示パネ
ルを用いた場合であっても、映像と共に文字を判別可能
に表示することができる映像表示装置を提供することを
目的とする。
【0011】
【課題を解決するための手段】本発明の映像表示装置
は、任意の拡大縮小率によってデジタル画像データを拡
大縮小処理する第1の信号処理器と、該第1の信号処理
器による拡大縮小率とは独立した任意の拡大縮小率によ
って、デジタル画像データにおける任意の領域を拡大縮
小処理する第2の信号処理器と、該第1の信号処理器お
よび該第2の信号処理器によって処理された画像データ
を蓄積するフレームメモリと、該フレームメモリから画
像データを読み出して、該第1の信号処理器によって処
理された画像データおよび該第2の信号処理器によって
処理された画像データが、表示手段における表示画面上
の異なる領域にそれぞれ表示されるように、画像データ
を合成する合成手段と、合成された画像データに基づい
て、表示画面上に画像を表示する表示手段と、該第2の
信号処理器によって処理されるデジタル画像データの領
域を指定するための指定手段と、該指定手段による指定
結果に基づいて、該第1の信号処理器、該第2の信号処
理器および該合成手段による処理を制御する制御装置
と、を具備しており、そのことにより上記目的が達成さ
れる。
【0012】上記構成によれば、指定手段によって、デ
ジタル画像データから文字領域を確実に切り出すことが
できる。映像画像データは、第1の信号処理器(以下、
第1のDSPと称する)によって任意のサイズに拡大縮
小処理され、解像度が低い表示パネル、小型の表示パネ
ル等を用いた場合でも、見易い映像を得ることができ
る。また、文字画像データは、第2の信号処理器(以
下、第2のDSPと称する)によって第1のDSPとは
独立した任意のサイズに拡大縮小され、読み易い文字表
示を得ることができる。第1のDSPによって処理され
た画像データと、第2のDSPによって処理された文字
画像データとは、合成手段によって合成されて、全画面
を拡大縮小した表示と、文字画像を拡大縮小した表示と
が表示手段に表示される。合成手段では、文字領域の縦
横比に応じて、縦長または横長の画像を合成することに
より、表示領域を有効に活用することができる。
【0013】前記指定手段は、デジタル画像データにお
ける予め定められた複数種類の領域から、任意の領域を
選択するための選択スイッチによって構成されていても
よい。
【0014】上記構成によれば、第2のDSPにて処理
が行われる領域を、選択スイッチにより指定することに
よって、デジタル画像データから文字領域を確実に切り
出すことができる。
【0015】前記指定手段は、前記表示手段の画面上で
任意の領域を指定するためのタッチパネルによって構成
されていてもよい。
【0016】上記構成によれば、第2のDSPにて処理
が行われる領域を、タッチパネルにより指定することに
よって、デジタル画像データから文字領域を確実に切り
出すことができる。また、予め領域を想定することがで
きないような文字情報が表示された場合でも、対応する
ことができる。
【0017】前記合成手段は、前記フレームメモリから
読み出した画像データに対して、画像方向を90度回転
させる回転手段を具備する構成とすることができる。
【0018】上記構成によれば、テレビジョン映像中で
縦方向に表示される文字画像を、横長の表示領域に表示
させることによって、表示領域を有効に活用することが
できる。
【0019】前記表示手段における画像表示方向を切り
替える表示方向切り替え手段をさらに具備する構成とす
ることができる。
【0020】上記構成によれば、表示手段における画像
表示方向を縦長または横長に固定するか、または第2の
DSPによる処理領域に応じて画像表示方向を切り替え
るかを、利用者が選択することができる。
【0021】
【発明の実施の形態】以下に、本発明の実施の形態につ
いて、図面に基づいて説明する。
【0022】図1は、本発明の一実施形態である映像表
示装置の構成を示すブロック図である。この映像表示装
置は、テレビジョン映像表示機能を有する携帯情報端末
装置であり、アナログデジタル(AD)変換器1を有し
ている。AD変換器1には、NTSC方式、PAL方式
等によるアナログテレビジョン信号が入力され、16ビ
ットの輝度/色差信号によって表されるデジタル画像デ
ータに変換される。なお、ビデオ装置によって記録され
たデジタル画像データが入力されて表示される場合に
は、AD変換器1によるアナログデジタル変換は行われ
ない。
【0023】デジタル画像データは、第1の信号処理器
(DSP2)および第2の信号処理器(DSP3)にそ
れぞれ入力される。第1のDSP2では、制御手段であ
るCPU7から入力される切り出し位置信号11aおよ
び拡大縮小率信号11bに従って、デジタル画像データ
に対して、任意の位置から任意の拡大縮小率によって拡
大縮小処理が行われる。また、第2のDSP3では、C
PU7から入力される切り出し位置信号12aおよび拡
大縮小率信号12bに従って、デジタル画像データに対
して、任意の位置から任意の拡大縮小率によって拡大縮
小処理が行われる。
【0024】ここで、第1のDSP2および第2のDS
P3によるデジタル画像データの切り出し、拡大縮小処
理については、一般的に用いられている手法を用いるこ
とができるので、詳細な説明は省略するが、本実施形態
では、AD変換器1から出力される垂直同期信号と水平
同期信号とに同期して、任意のタイミングから、デジタ
ル画像データをバイリニア補間方式によって処理するこ
とによって、拡大縮小データを作成している。バイリニ
ア補完方式とは、注目している画素位置周辺に配置され
ている4画素から補間データを作成する方法であり、第
1のDSP2および第2のDSP3にそれぞれ独立して
接続されているラインメモリを用いて、デジタル画像デ
ータを拡大縮小するための演算処理を行っている。な
お、図1では、ラインメモリを含む切り出し、拡大縮小
処理を行うための構成を含めて、第1のDSP2および
第2のDSP3としてまとめて表している。
【0025】CPU7には、位置選択スイッチ8および
表示方向スイッチ10が接続されている。利用者は、位
置選択スイッチ8および表示方向スイッチ10によっ
て、下記表1に示すように、表示手段6の表示画面にお
ける画像表示方向、デジタル画像データにおいて予め定
められた複数種類の領域のうち、第2のDSP3によっ
て処理される領域、および画像データを合成する方法と
合成画像が表示されるモード(表示モード)を選択する
ことができる。
【0026】
【表1】 表示方向スイッチ10は三端子構造であって、「縦モー
ド」、「横モード」、「オートモード」に切り替えられ
るようになっている。利用者は、表示方向スイッチ10
を切り替えることによって、表示手段6の表示画面にお
ける画像表示方向が縦方向に固定される「縦モード」、
画像表示方向が横方向に固定される「横モード」、およ
び表示モードに従って画像表示方向が縦方向または横方
向に切り替えられる「オートモード」のいずれかを選択
することができる。
【0027】また、位置選択スイッチ8も三端子構造で
あって、「プレビューモード」、「下方モード」、「右
方モード」に切り替えられるようになっている。利用者
は、位置選択スイッチ8によって、通常のテレビジョン
信号(デジタル画像データ)が表示画面に表示される
「プレビューモード」、表示画面の下方部分を第2のD
SP3によって処理される文字領域とする「下方モー
ド」、および表示画面の右方部分を第2のDSP3によ
って処理される文字領域とする「右方モード」のいずれ
かを選択することができる。通常は、プレビューモード
によってテレビジョン映像が視聴される。
【0028】さらに、位置選択スイッチ8および表示方
向スイッチ10によって、表示モードが選択される。こ
の表示モードに従って、CPU7から第2のDSP3に
対して切り出し位置信号12aが出力されて、第2のD
SP3による処理領域が決定される。また、第1のDS
P2には表示モードによらず、所定の切り出し位置信号
11aが出力される。また、CPU7から第1のDSP
2および第2のDSP3に対して拡大縮小率信号11b
および12bがそれぞれ出力されて、第1のDSP2お
よび第2のDSP3による拡大縮小処理が決定される。
さらに、CPU7から合成手段5に対して合成位置信号
13aおよび表示方向信号13bが出力されて、フレー
ムメモリ4から読み出されたデジタル画像データが表示
手段6の表示画面6a上に合成される位置、および表示
手段6における表示画面6aの画像表示方向が決定され
る。
【0029】例えば、位置選択スイッチ8によって「プ
レビューモード」が選択され、表示方向スイッチ10に
よって「縦モード」または「オートモード」が選択され
ると、表示モードは「プレビューモード1」となる。ま
た、位置選択スイッチ8によって「プレビューモード」
が選択され、表示方向スイッチ10によって「横モー
ド」が選択されると、表示モードは「プレビューモード
2」となる。
【0030】図2(a)は、表示モードが「プレビュー
モード1」である場合のTV信号映像の表示例を示し、
図2(b)は、表示モードが「プレビューモード2」で
ある場合のTV信号映像の表示例を示す。なお、表示方
向スイッチ10によって「オートモード」が選択された
場合には、「縦モード」と同様に、図2(a)に示す
「プレビューモード1」の画像が表示される。
【0031】本実施形態では、アナログテレビジョン信
号が水平360画素、垂直240画素(以下、(36
0,240)画素と表記する。なお、()内の第1項は
水平画素数、第2項は垂直画素数を示す)のデジタル画
像データ(以下、テレビジョン信号と称する)に変換さ
れる。また、表示手段6が(240,320)画素の液
晶表示パネルによって構成されている。
【0032】「プレビューモード1」では、図2(a)
に示すように、第1のDSP2によって(360、24
0)画素のテレビジョン信号が(240,176)画素
に縮小される。また、「プレビューモード2」では、図
2(b)に示すように、第1のDSP2によって(36
0、240)画素のテレビジョン信号が(320,24
0)画素に縮小される。また、第2のDSP3による処
理は行われない。
【0033】第1のDSP1によって処理されたデジタ
ル画像データは、一旦フレームメモリ4に蓄積され、フ
レームメモリ4に接続された合成手段5によって、表示
手段6における水平同期信号および垂直同期信号に同期
してフレームメモリ4から読み出される。そして、表示
手段6の表示画面6aに、図2(a)または図2(b)
に示すような表示画像が表示される。
【0034】また、位置選択スイッチ8によって「下方
モード」が選択され、表示方向スイッチ10によって
「縦モード」または「オートモード」が選択されると、
表示モードは「モード1」となる。例えばニュース番組
等においては、図3(a)に示すように、画面の下方領
域に、横方向にニューステロップ等の文字情報画像が
表示されることが多い。このような場合に、「モード
1」では、CPU7から第1のDSP2に対して、(3
60,240)画素のテレビジョン信号が(240,1
76)画素に縮小されるように、切り出し位置信号11
aおよび拡大縮小率信号11bが出力され、第1のDS
P2によってテレビジョン信号が縮小処理されてフレー
ムメモリ4に蓄積される。また、CPU7から第2のD
SP3に対して、テレビジョン信号において領域に示
した(45,180)画素の位置から(270,40)
画素分の領域((45,180)画素の位置から(31
5,220)画素の位置までの領域)が(240,4
0)画素に縮小されるように、切り出し位置信号12a
および拡大縮小率信号12bが出力され、第2のDSP
3によってテレビジョン信号が縮小処理されてフレーム
メモリ4に蓄積される。このとき、第1のDSP2およ
び第2のDSP3からのデータは、フレームメモリ4の
異なるアドレス領域にそれぞれ独立して格納される。
【0035】さらに、CPU7から合成手段5に対し
て、表示方向信号13bとして「縦」が出力され、合成
手段5によってフレームメモリ4から第1のDSP2お
よび第2のDSP3によって処理されたデータが、表示
手段6における水平同期信号および垂直同期信号に同期
してそれぞれフレームメモリ4から読み出される。そし
て、CPU7から出力される合成位置信号13aに従っ
て、図3(b)に示すように、第1のDSP2によって
処理された画像データが表示画面6aの領域2aに表示
され、第2のDSP3によって処理された画像データが
領域2aよりも下方の領域3aに表示されるように合成
され、表示手段6の表示画面に表示される。
【0036】また、位置選択スイッチ8によって「右方
モード」が選択され、表示方向スイッチ10によって
「縦モード」が選択されると、表示モードは「モード
2」となる。例えば映画等においては、図4(a)に示
すように、画面の右方領域に、縦方向に和訳等の文字
情報画像が表示されることが多い。このような場合に、
「モード2」では、CPU7から第1のDSP2への切
り出し位置信号11aおよび拡大縮小率信号11b、お
よび第1のDSP2による処理は「モード1」と同様で
あるが、CPU7から第2のDSP3に対しては、テレ
ビジョン信号において領域に示した(300,40)
画素から(340,200)画素までの領域が(40,
240)画素に拡大されるように、切り出し位置信号1
2aおよび拡大縮小率信号12bが出力され、第2のD
SP3によってテレビジョン信号が拡大処理されてフレ
ームメモリ4に蓄積される。
【0037】さらに、CPU7から合成手段5に対し
て、表示方向信号13bとして「縦モード」信号が出力
され、合成手段5によってフレームメモリ4から第1の
DSP2および第2のDSP3によって処理されたデー
タが、表示手段6における水平同期信号および垂直同期
信号に同期してそれぞれフレームメモリ4から読み出さ
れる。そして、CPU7からの合成位置信号13aに従
って、図4(b)に示すように、第1のDSP2によっ
て処理された画像データが表示画面6aの領域2aに表
示され、第2のDSP3によって処理された画像データ
が左回りに90度回転されて、領域2aよりも下方の領
域3aに表示されるように合成され、表示手段6の表示
画面に表示される。
【0038】また、位置選択スイッチ8によって「下方
モード」が選択され、表示方向スイッチ10によって
「横モード」が選択されると、表示モードは「モード
3」となる。通常、表示手段6では、画素を描画する方
向は一定であり、水平方向に1ライン描画した後、垂直
方向に1ライン下のラインを水平方向に描画するように
なっている。このため、表示画面を縦方向に配置して画
像を表示させるか、または横方向に配置して画像を表示
させるかによって、表示手段6における描画方向を90
度回転させる必要がある。これを実現するために、本実
施形態では、第1のDSP2および第2のDSP3によ
る処理画像データに対して、表示画面上で画像データが
90度回転された配置で表示されるように、合成手段5
で画像方向を90度回転させて表示手段6に出力するよ
うになっている。
【0039】例えば、図5(a)に示すように、画面の
下方領域に、横方向に文字情報画像が表示されている
場合に、「モード3」では、CPU7から第1のDSP
2への切り出し位置信号11aおよび拡大縮小率信号1
1b、および第1のDSP2による処理は「モード1」
と同様であるが、CPU7から第2のDSP3に対して
は、テレビジョン信号において領域に示した(45,
180)画素の位置から(270,40)画素の領域が
(300,40)画素に拡大されるように、切り出し位
置信号12aおよび拡大縮小率信号12bが出力され、
第2のDSP3によってテレビジョン信号が拡大処理さ
れてフレームメモリ4に蓄積される。
【0040】さらに、CPU7から合成手段5に対し
て、表示方向信号13bとして「横モード」信号が出力
され、合成手段5によってフレームメモリ4から第1の
DSP2および第2のDSP3によって処理されたデー
タが、表示手段6における水平同期信号および垂直同期
信号に同期してそれぞれフレームメモリ4から読み出さ
れる。そして、CPU7からの合成位置信号13aに従
って、第1のDSP2によって処理された画像データお
よび第2のDSP3によって処理された画像データが合
成され、表示手段6に出力される前に画像方向が90度
回転される。ここで、画像の位置関係を明瞭に説明する
ために、表示手段6の表示画面6aを横長に配置した場
合に、左上を(0,0)、右下を(319,239)と
すると、第1のDSP2による縮小画像は(32,3
2)画素の位置から(240,176)画素の領域2a
に表示され、第2のDSP3による拡大画像は領域2a
よりも下方の(32,190)画素の位置から(30
0,230)画素の領域3aに表示される。
【0041】また、位置選択スイッチ8によって「右方
モード」が選択され、表示方向スイッチ10によって
「横モード」または「オートモード」が選択されると、
表示モードは「モード4」となる。例えば、図6(a)
に示すように、画面の右方領域に、縦方向に文字情報
画像が表示されている場合、モード4では、CPU7か
ら第1のDSP2への切り出し位置信号11aおよび拡
大縮小率信号11b、および第1のDSP2による処理
は「モード1」と同様であるが、CPU7から第2のD
SP3に対しては、テレビジョン信号において領域に
示した(300,40)画素から(340,200)ま
での領域が(40,200)画素に拡大されるように、
切り出し位置信号12aおよび拡大縮小率信号12bが
出力され、第2のDSP3によってテレビジョン信号が
拡大処理されてフレームメモリ4に蓄積される。
【0042】さらに、CPU7から合成手段5に対し
て、表示方向信号13bとして「横モード」信号が出力
され、合成手段5によってフレームメモリ4から第1の
DSP2および第2のDSP3によって処理されたデー
タが、表示手段6における水平同期信号および垂直同期
信号に同期してそれぞれフレームメモリ4から読み出さ
れる。そして、CPU7からの合成位置信号13aに従
って、第1のDSP2によって処理された画像データ
と、第2のDSP3によって処理されたデータが合成さ
れ、「モード3」と同様に、表示手段6に出力される前
に画像が90度回転される。そして、第1のDSP2に
よる縮小画像は領域2aに表示され、第2のDSP3に
よる拡大画像は領域2aよりも右方の領域3aに表示さ
れる。
【0043】以上のように、CPU7は、(1)第1の
DSP2および第2のDSP3に対して、切り出し位置
信号11a、12aおよび拡大縮小率信号11b、12
bをそれぞれ出力すること、(2)位置選択スイッチ8
および表示方向スイッチ10に対する操作入力を検出す
ること、(3)合成手段5に対して合成位置信号13a
および表示方向信号13bを出力し、合成位置を指定す
ると共に縦横表示を指定すること、(4)後述するタブ
レットによる選択範囲を判定すること等を行っている。
映像表示装置に電源が投入されると、CPU7は、表示
方向スイッチ10への操作入力を検出して、「プレビュ
ーモード1」または「プレビューモード2」に移行す
る。「プレビューモード1」または「プレビューモード
2」では、CPU7は、利用者による表示方向スイッチ
10または位置選択スイッチ8、或いは後述するタッチ
パネル9へのタッチ操作を検出し続ける。
【0044】ところで、上記「モード2」においては、
第2のDSP3にて処理された文字画像が、合成手段5
によって単純に90度回転されているため、第1のDS
P2にて処理された映像画像を正面から見た場合に、文
字画像中に含まれる各文字の方向が90度回転して表示
される。そこで、合成手段5によって第2のDSP3に
て処理された文字画像データを90度回転させる代り
に、文字画像データを文字数によって分割して、1文字
ずつ画像方向を90度回転させ、文字方向を第1のDS
P2にて処理された映像画像データが表示される方向に
応じて縦方向または横方向に並べ替えることによって、
文字画像中に含まれる各文字を明瞭に見ることができ
る。
【0045】このような文字画像の並べ替え処理につい
て、図7を用いて説明する。この図7(a)は、図1に
おける合成手段5の構成の一部を示すブロック図であ
り、図7(b)はその処理例を示す図である。
【0046】この合成手段5は、文字抽出手段5aを有
しており、第2のDSP3にて処理されてフレームメモ
リ4に蓄積された文字画像データを読み出して、その文
字画像データに含まれる文字画像の文字数を抽出する。
例えば特開昭60−116081号公報に開示されてい
るように、画像を小領域に分割して、各小領域で水平方
向および垂直方向に濃度勾配を検出してヒストグラムを
算出し、算出されたヒストグラムの度数の分散を算出し
て所定のしきい値と比較することによって文字候補領域
を抽出し、抽出された文字候補領域の配置関係によっ
て、文字領域および文字画像データ中に含まれる文字画
像の文字数を抽出することができる。図7(b)の例で
は、「全国の本日の天気」という文字画像に対して8文
字が抽出される。
【0047】次に、抽出された文字数に従って、文字分
割手段5bによって文字画像データを分割し、分割され
た文字画像データのそれぞれに対して、文字回転手段5
cによって画像方向を90度回転させる。図7(b)の
例では、文字画像データが「全」、「国」、「の」、
「本」、・・・というように分割されて、各文字が左回
りに90度回転されている。
【0048】次に、文字並べ替え手段5dによって、画
像方向が回転された文字画像データを並べ替えて、縦方
向に文字が並んだ文章画像を横方向に表示し、横方向に
文字が並んだ文章画像を縦方向に表示することができ
る。図7(b)の例では、横方向の表示が縦方向に並べ
替えられている。
【0049】図8に、本発明の映像表示装置における他
の実施形態を示すブロック図である。この映像表示装置
は、図1に示すテレビジョン映像表示機能を有する携帯
情報端末装置に加えて、タッチパネル9がCPU7に接
続されており、第2のDSP2にて処理される文字領域
を位置選択スイッチ8によって選択する機能に加えて、
表示手段6の画面上に配置されたタブレットによって、
利用者が任意の領域を文字領域として指定することがで
きるようになっている。
【0050】位置選択スイッチ8によって文字領域を選
択する場合には、予め決められた画像領域から文字領域
を選択するため、映画の字幕、ニュースの解説等のよう
な所定の文字情報以外の文字情報、例えばテレビジョン
放送において頻繁に見られるデジタル時計表示、ニュー
ス速報等のように、予め想定されていない文字情報には
対応することができない。これに対して、図8に示す構
成では、利用者がタブレットにより、直接、文字領域の
範囲を指定することができるので、任意の文字情報に対
応することができる。なお、図8において、位置選択ス
イッチ8が設けられていない構成も可能である。また、
図1および図8において、表示方向スイッチ10が設け
られておらず、表示画面6aの画像表示方向が縦方向ま
たは横方向に固定されている構成も可能である。
【0051】例えば図9に示すように、表示画面6a上
に「プレビューモード1」または「プレビューモード
2」によってテレビジョン映像を表示させ、利用者がペ
ン9aにてペンタッチ・ドラッグを行って領域9bを指
定することによって、第2のDSP3にて処理される文
字領域を指定することができる。
【0052】CPU7は、指定された領域9bにおける
縦画素数と横画素数とを比較し、横画素数≧縦画素数で
あって、表示方向スイッチ10によって「縦モード」が
選択された場合には表示モードを「モード1」とし、横
画素数<縦画素数であって、表示方向スイッチ10によ
って「縦モード」が選択された場合には表示モードを
「モード2」とする。また、横画素数≧縦画素数であっ
て、表示方向スイッチ10によって「横モード」が選択
された場合には表示モードを「モード3」とし、横画素
数<縦画素数であって、表示方向スイッチ10によって
「横モード」が選択された場合には表示モードを「モー
ド4」とする。また、横画素数≧縦画素数であって、表
示方向スイッチ10によって「オートモード」が選択さ
れた場合には表示モードを「モード1」とし、横画素数
<縦画素数であって、表示方向スイッチ10によって
「オートモード」が選択された場合には表示モードを
「モード4」とする。
【0053】上述したように、位置選択スイッチ8によ
って領域を指定する場合には、予め決められた複数の領
域から選択された領域が指定されるため、CPU7から
第2のDSP3に出力される拡大縮小率信号12bが各
表示モード毎に一意に決定されていたが、タッチパネル
9によって領域を指定する場合には、領域を任意に指定
することができるため、CPU7から第2のDSP3に
出力される拡大縮小率信号12bは、下記式によって計
算される。なお、以下の各式において、RATXはテレ
ビジョン信号が(360,240)画素である場合の水
平方向の拡大縮小率を示し、RATYは垂直方向の拡大
縮小率を示す。また、(UX,UY)はタッチパネル9
によって指定された領域に含まれる画素数を示す。
【0054】モード1 RATX=UX/240 RATY=UY/40 モード2 RATX=UX/40 RATY=UY/240 モード3 RATX=UX/300 RATY=UY/40 モード4 RATX=UX/40 RATY=UY/200
【0055】
【発明の効果】以上詳述したように、本発明によれば、
位置選択スイッチ、タッチパネル等といった指定手段に
よって、文字画像データと映像画像データとが分離され
ていないデジタル画像データが入力された場合でも、文
字領域を確実に切り出すことができる。また、映像画像
データは、第1のDSPにて拡大縮小処理することによ
って見易い映像を得ることができ、文字画像データは、
第2のDSPにて拡大縮小処理することによって、読み
易い文字表示を得ることができる。特に、タッチパネル
等を用いることによって、様々な文字重畳形態に対応し
て文字領域を確実に切り出して読み易い文字表示を得る
ことができる。
【0056】また、合成手段によって、フレームメモリ
から読み出した画像データに対して画像方向を90度回
転させることによって、テレビジョン映像中で横方向に
表示される文字画像であっても、縦方向に表示される文
字画像であっても、いずれも読み易い状態で表示させる
ことができると共に、表示領域を有効に活用することが
できる。
【0057】また、文字画像データの文字数を抽出して
文字画像データを分割し、各文字画像データの画像方向
を90度回転させて並べ替えることによって、映像中で
縦方向に表示される文字画像であっても、横方向に表示
される文字画像であっても、映像に適した画像表示方向
に表示画面を配置した場合に、文字画像を見易い状態で
表示することができる。
【0058】さらに、表示方向切り替え手段によって、
表示手段の画像表示方向を縦長または横長に固定する
か、または第2のDSPによる処理領域に応じて画像表
示方向を切り替えるかを、利用者が選択することができ
る。
【図面の簡単な説明】
【図1】本発明の一実施形態である映像表示装置の概略
構成を示す機能ブロック図である。
【図2】(a)および(b)は、それぞれ、プレビュー
モードにおける表示例を示す模式図である。
【図3】(a)および(b)は、それぞれ、モード1に
おける、第1のDSP、第2のDSP、CPU、合成手
段および表示手段の動作を説明するための模式図であ
る。
【図4】(a)および(b)は、それぞれ、モード2に
おける、第1のDSP、第2のDSP、CPU、合成手
段および表示手段の動作を説明するための模式図であ
る。
【図5】(a)および(b)は、それぞれ、モード3に
おける、第1のDSP、第2のDSP、CPU、合成手
段および表示手段の動作を説明するための模式図であ
る。
【図6】(a)および(b)は、それぞれ、モード4に
おける、第1のDSP、第2のDSP、CPU、合成手
段および表示手段の動作を説明するための模式図であ
る。
【図7】(a)および(b)は、それぞれ、文字画像方
向を回転させて並べ替える処理について説明するための
図である。
【図8】本発明の他の実施形態である映像表示装置の概
略構成を示す機能ブロック図である。
【図9】タッチパネルを用いて文字領域を指定する処理
について説明するための模式図である。
【符号の説明】
1 AD変換器 2 第1のDSP 2a 第1のDSPによって処理されたデジタル画像デ
ータが表示される領域 3 第2のDSP 3a 第2のDSPによって処理されたデジタル画像デ
ータが表示される領域 4 フレームメモリ 5 合成手段 5a 文字抽出手段 5b 文字分割手段 5c 文字回転手段 5d 文字並べ替え手段 5e 合成手段 6 表示手段 6a 表示画面 7 CPU 8 位置選択スイッチ 9 タッチパネル 9a ペン 9b ペンタッチ・ドラッグによって指定される領域 10 表示方向スイッチ 11a、12a 切り出し位置信号 11b、12b 拡大縮小率信号 13a 合成位置信号 13b 表示方向信号
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G09G 5/26 G09G 5/26 G 5/32 640 5/32 640L 5/36 5/36 510M 510 H04N 5/262 5/377 5/278 H04N 5/262 G09G 5/36 520E 5/278 520L 520P Fターム(参考) 5C023 AA02 AA03 AA16 AA18 AA38 CA02 CA05 DA01 5C025 BA27 BA28 CA11 5C082 AA01 AA02 AA24 BA02 BA27 BA35 BA41 BB15 CA32 CA44 CA52 CA54 CA55 CB01 CB05 MM10 5E501 AB06 BA03 FB04 FB24

Claims (5)

    【特許請求の範囲】
  1. 【請求項1】 任意の拡大縮小率によって、デジタル画
    像データを拡大縮小処理する第1の信号処理器と、 該第1の信号処理器による拡大縮小率とは独立した任意
    の拡大縮小率によって、デジタル画像データにおける任
    意の領域を拡大縮小処理する第2の信号処理器と、 該第1の信号処理器および該第2の信号処理器によって
    処理された画像データを蓄積するフレームメモリと、 該フレームメモリから画像データを読み出して、該第1
    の信号処理器によって処理された画像データおよび該第
    2の信号処理器によって処理された画像データが、表示
    手段における表示画面上の異なる領域にそれぞれ表示さ
    れるように、画像データを合成する合成手段と、 合成された画像データに基づいて、表示画面上に画像を
    表示する表示手段と、 該第2の信号処理器によって処理されるデジタル画像デ
    ータの領域を指定するための指定手段と、 該指定手段による指定結果に基づいて、該第1の信号処
    理器、該第2の信号処理器および該合成手段による処理
    を制御する制御装置と、を具備する映像表示装置。
  2. 【請求項2】 前記指定手段は、デジタル画像データに
    おける予め定められた複数種類の領域から、任意の領域
    を選択するための選択スイッチによって構成されている
    請求項1に記載の映像表示装置。
  3. 【請求項3】 前記指定手段は、前記表示手段の画面上
    で任意の領域を指定するためのタッチパネルによって構
    成されている請求項1に記載の映像表示装置。
  4. 【請求項4】 前記合成手段は、前記フレームメモリか
    ら読み出した画像データに対して、画像方向を90度回
    転させる回転手段を具備する請求項1乃至請求項3のい
    ずれかに記載の映像表示装置。
  5. 【請求項5】 前記表示手段における画像表示方向を切
    り替える表示方向切り替え手段をさらに具備する請求項
    1乃至請求項4のいずれかに記載の映像表示装置。
JP2001394782A 2001-12-26 2001-12-26 映像表示装置 Expired - Fee Related JP3945687B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001394782A JP3945687B2 (ja) 2001-12-26 2001-12-26 映像表示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001394782A JP3945687B2 (ja) 2001-12-26 2001-12-26 映像表示装置

Publications (2)

Publication Number Publication Date
JP2003198975A true JP2003198975A (ja) 2003-07-11
JP3945687B2 JP3945687B2 (ja) 2007-07-18

Family

ID=27601404

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001394782A Expired - Fee Related JP3945687B2 (ja) 2001-12-26 2001-12-26 映像表示装置

Country Status (1)

Country Link
JP (1) JP3945687B2 (ja)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005084157A (ja) * 2003-09-05 2005-03-31 Nec Corp 文字認識装置及び方法、文字強調方法、表示装置及び携帯機器
JP2006030914A (ja) * 2004-07-21 2006-02-02 Toshiba Corp 情報処理装置および表示制御方法
JP2006041979A (ja) * 2004-07-28 2006-02-09 Matsushita Electric Ind Co Ltd テレビジョン受信機
JP2006080655A (ja) * 2004-09-07 2006-03-23 Nec Corp 携帯端末及びその制御方法、並びに携帯端末のためのコンピュータ・プログラム
WO2006112064A1 (ja) * 2005-03-31 2006-10-26 Sharp Kabushiki Kaisha 信号処理装置及び画像出力装置
JP2008046832A (ja) * 2006-08-15 2008-02-28 Fuji Xerox Co Ltd 画像処理システムおよび画像処理プログラム
JP2009069842A (ja) * 2008-10-30 2009-04-02 Sharp Corp 表示装置、その表示装置を備えた携帯電話装置、および画像表示プログラム
JP2009075604A (ja) * 2006-07-31 2009-04-09 Sharp Corp 表示装置、表示方法、表示プログラムおよびコンピュータ読み取り可能な記録媒体
CN101422029A (zh) * 2006-04-10 2009-04-29 斯特里米泽公司 用于渲染至少一个多媒体场景的方法
JP4792458B2 (ja) * 2005-02-28 2011-10-12 パナソニック株式会社 字幕表示装置
US8046713B2 (en) 2006-07-31 2011-10-25 Sharp Kabushiki Kaisha Display apparatus, method for display, display program, and computer-readable storage medium
US8077977B2 (en) 2006-08-15 2011-12-13 Fuji Xerox Co., Ltd. Image processing system, image processing method, computer readable medium and computer data signal
JP2012034037A (ja) * 2010-07-28 2012-02-16 Toshiba Corp 映像信号処理装置及び映像信号処理方法
US8300065B2 (en) 2003-08-21 2012-10-30 Samsung Electronics Co., Ltd. Rotatable display device and method of adjusting image on display screen of the same
JP2014010396A (ja) * 2012-07-02 2014-01-20 Alpine Electronics Inc 映像処理装置および異型サイズ画面での映像表示方法
JP2015092381A (ja) * 2006-09-06 2015-05-14 アップル インコーポレイテッド ヒューリスティックを適用することによりコマンドを決定するためのタッチスクリーン装置、方法及びグラフィックユーザインターフェイス
WO2015093113A1 (ja) * 2013-12-16 2015-06-25 三菱電機株式会社 映像処理装置及び映像表示装置
JP2015122813A (ja) * 2007-09-18 2015-07-02 トムソン ライセンシングThomson Licensing セットトップボックスのためのユーザインタフェース
JP2019121948A (ja) * 2018-01-09 2019-07-22 コニカミノルタ株式会社 表示装置、画像処理装置及びプログラム
US11169690B2 (en) 2006-09-06 2021-11-09 Apple Inc. Portable electronic device for instant messaging
US11194467B2 (en) 2019-06-01 2021-12-07 Apple Inc. Keyboard management user interfaces
US11467722B2 (en) 2007-01-07 2022-10-11 Apple Inc. Portable electronic device, method, and graphical user interface for displaying electronic documents and lists

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07107415A (ja) * 1993-10-08 1995-04-21 Hitachi Ltd テレビジョン信号処理装置
JPH089281A (ja) * 1994-06-24 1996-01-12 Hitachi Ltd テレビジョン信号処理装置
JPH09163260A (ja) * 1995-12-13 1997-06-20 Sony Corp テレビ受信機
JPH11196397A (ja) * 1997-12-26 1999-07-21 Canon Inc 表示装置及び通信システム
JPH11338449A (ja) * 1998-05-21 1999-12-10 Mitsubishi Electric Corp 拡大表示装置
JP2000041226A (ja) * 1998-07-21 2000-02-08 Toshiba Corp 番組情報受信装置と番組情報表示方法及び番組情報送信装置並びに番組情報送信方法
JP2001086475A (ja) * 1999-09-16 2001-03-30 Mega Chips Corp 画像表示装置および制御装置
JP2001134262A (ja) * 1999-11-08 2001-05-18 Canon Inc 画像表示装置及び方法並びに記憶媒体

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07107415A (ja) * 1993-10-08 1995-04-21 Hitachi Ltd テレビジョン信号処理装置
JPH089281A (ja) * 1994-06-24 1996-01-12 Hitachi Ltd テレビジョン信号処理装置
JPH09163260A (ja) * 1995-12-13 1997-06-20 Sony Corp テレビ受信機
JPH11196397A (ja) * 1997-12-26 1999-07-21 Canon Inc 表示装置及び通信システム
JPH11338449A (ja) * 1998-05-21 1999-12-10 Mitsubishi Electric Corp 拡大表示装置
JP2000041226A (ja) * 1998-07-21 2000-02-08 Toshiba Corp 番組情報受信装置と番組情報表示方法及び番組情報送信装置並びに番組情報送信方法
JP2001086475A (ja) * 1999-09-16 2001-03-30 Mega Chips Corp 画像表示装置および制御装置
JP2001134262A (ja) * 1999-11-08 2001-05-18 Canon Inc 画像表示装置及び方法並びに記憶媒体

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8300065B2 (en) 2003-08-21 2012-10-30 Samsung Electronics Co., Ltd. Rotatable display device and method of adjusting image on display screen of the same
JP4631258B2 (ja) * 2003-09-05 2011-02-16 日本電気株式会社 携帯機器
JP2005084157A (ja) * 2003-09-05 2005-03-31 Nec Corp 文字認識装置及び方法、文字強調方法、表示装置及び携帯機器
JP2006030914A (ja) * 2004-07-21 2006-02-02 Toshiba Corp 情報処理装置および表示制御方法
JP2006041979A (ja) * 2004-07-28 2006-02-09 Matsushita Electric Ind Co Ltd テレビジョン受信機
JP2006080655A (ja) * 2004-09-07 2006-03-23 Nec Corp 携帯端末及びその制御方法、並びに携帯端末のためのコンピュータ・プログラム
JP4792458B2 (ja) * 2005-02-28 2011-10-12 パナソニック株式会社 字幕表示装置
WO2006112064A1 (ja) * 2005-03-31 2006-10-26 Sharp Kabushiki Kaisha 信号処理装置及び画像出力装置
US8345161B2 (en) 2005-03-31 2013-01-01 Sharp Kabushiki Kaisha Signal processing device, and image output device
CN101422029B (zh) * 2006-04-10 2015-11-25 斯特里米泽公司 用于渲染至少一个多媒体场景的方法及无线通信终端
CN101422029A (zh) * 2006-04-10 2009-04-29 斯特里米泽公司 用于渲染至少一个多媒体场景的方法
US8046713B2 (en) 2006-07-31 2011-10-25 Sharp Kabushiki Kaisha Display apparatus, method for display, display program, and computer-readable storage medium
JP2009075604A (ja) * 2006-07-31 2009-04-09 Sharp Corp 表示装置、表示方法、表示プログラムおよびコンピュータ読み取り可能な記録媒体
US8077977B2 (en) 2006-08-15 2011-12-13 Fuji Xerox Co., Ltd. Image processing system, image processing method, computer readable medium and computer data signal
JP2008046832A (ja) * 2006-08-15 2008-02-28 Fuji Xerox Co Ltd 画像処理システムおよび画像処理プログラム
US11029838B2 (en) 2006-09-06 2021-06-08 Apple Inc. Touch screen device, method, and graphical user interface for customizing display of content category icons
US11169690B2 (en) 2006-09-06 2021-11-09 Apple Inc. Portable electronic device for instant messaging
JP2015092381A (ja) * 2006-09-06 2015-05-14 アップル インコーポレイテッド ヒューリスティックを適用することによりコマンドを決定するためのタッチスクリーン装置、方法及びグラフィックユーザインターフェイス
US11762547B2 (en) 2006-09-06 2023-09-19 Apple Inc. Portable electronic device for instant messaging
US9952759B2 (en) 2006-09-06 2018-04-24 Apple Inc. Touch screen device, method, and graphical user interface for customizing display of content category icons
US11972103B2 (en) 2007-01-07 2024-04-30 Apple Inc. Portable electronic device, method, and graphical user interface for displaying electronic documents and lists
US11467722B2 (en) 2007-01-07 2022-10-11 Apple Inc. Portable electronic device, method, and graphical user interface for displaying electronic documents and lists
JP2015122813A (ja) * 2007-09-18 2015-07-02 トムソン ライセンシングThomson Licensing セットトップボックスのためのユーザインタフェース
JP2009069842A (ja) * 2008-10-30 2009-04-02 Sharp Corp 表示装置、その表示装置を備えた携帯電話装置、および画像表示プログラム
JP2012034037A (ja) * 2010-07-28 2012-02-16 Toshiba Corp 映像信号処理装置及び映像信号処理方法
JP2014010396A (ja) * 2012-07-02 2014-01-20 Alpine Electronics Inc 映像処理装置および異型サイズ画面での映像表示方法
JP6049910B2 (ja) * 2013-12-16 2016-12-21 三菱電機株式会社 映像処理装置及び映像表示装置
WO2015093113A1 (ja) * 2013-12-16 2015-06-25 三菱電機株式会社 映像処理装置及び映像表示装置
JP2019121948A (ja) * 2018-01-09 2019-07-22 コニカミノルタ株式会社 表示装置、画像処理装置及びプログラム
JP7040023B2 (ja) 2018-01-09 2022-03-23 コニカミノルタ株式会社 表示装置及び画像処理装置
US11194467B2 (en) 2019-06-01 2021-12-07 Apple Inc. Keyboard management user interfaces
US11620046B2 (en) 2019-06-01 2023-04-04 Apple Inc. Keyboard management user interfaces
US11842044B2 (en) 2019-06-01 2023-12-12 Apple Inc. Keyboard management user interfaces

Also Published As

Publication number Publication date
JP3945687B2 (ja) 2007-07-18

Similar Documents

Publication Publication Date Title
JP3945687B2 (ja) 映像表示装置
JP4619397B2 (ja) テレビジョン装置
JP2001506451A (ja) 多画像表示における補助画像の近傍に補助情報を配置する方法および装置
US8717385B2 (en) Image display control apparatus
JP2002171457A (ja) マルチ画面表示装置、データ放送受信装置、マルチ画面表示方法、記憶媒体およびプログラム
JP2003338991A (ja) 画像表示装置及び画像表示方法
KR19980042031A (ko) 가변 해상도 스크린 디스플레이 시스템
JP4192476B2 (ja) 映像変換装置及び映像変換方法
JP6045405B2 (ja) 映像処理装置、表示装置、テレビジョン受信機及び映像処理方法
JP2001169199A (ja) 字幕補正回路及びその字幕補正方法
JPH07236100A (ja) ディスプレイ装置
JP2020162085A (ja) 映像処理装置及び画像合成方法
JPH10243363A (ja) 映像再生装置
JP2003198979A (ja) 動画像視聴装置
EP1848203A1 (en) Method and system for video image aspect ratio conversion
JP2002543458A (ja) 解像度がより低いディスプレイ上へのデータ表示方法
KR100488041B1 (ko) 데이타 방송 디스플레이 장치 및 그 방법
KR100645163B1 (ko) 휴대용 통신 단말기의 티브이 영상 부분확대 표시장치 및방법
JP2005084245A (ja) 表示装置
JP2003023579A (ja) デジタル放送表示装置
KR100499505B1 (ko) 디지털 tv에서의 포맷 변환 장치
JPH0646350A (ja) ディスプレイ装置
JP3548271B2 (ja) プロンプターの画像表示処理装置
JP2001268464A (ja) デジタルテレビ放送受信機
JP3290677B2 (ja) 多画面テレビジョン受像機

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040618

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061031

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070315

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070405

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070405

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100420

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110420

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120420

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120420

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130420

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130420

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees