JP2000181438A - 画像表示処理装置 - Google Patents

画像表示処理装置

Info

Publication number
JP2000181438A
JP2000181438A JP35228498A JP35228498A JP2000181438A JP 2000181438 A JP2000181438 A JP 2000181438A JP 35228498 A JP35228498 A JP 35228498A JP 35228498 A JP35228498 A JP 35228498A JP 2000181438 A JP2000181438 A JP 2000181438A
Authority
JP
Japan
Prior art keywords
display
format
image
load
yuv
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP35228498A
Other languages
English (en)
Other versions
JP3267256B2 (ja
Inventor
Tetsuya Ajisaka
哲矢 鯵坂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP35228498A priority Critical patent/JP3267256B2/ja
Publication of JP2000181438A publication Critical patent/JP2000181438A/ja
Application granted granted Critical
Publication of JP3267256B2 publication Critical patent/JP3267256B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Color Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Digital Computer Display Output (AREA)

Abstract

(57)【要約】 【課題】複数の表示フォーマットの中からコンピュータ
処理負荷に適合した表示フォーマットを適宜選択するこ
とで、動画像をスムーズに且つ良好な画質で表示するこ
とが可能とする画像表示処理装置の提供。 【解決手段】1フレーム分の動画像データの表示に要し
た時間を測定する手段と、前記測定時間を予め定められ
た閾値と比較判定し、前記比較判定結果に基づき、複数
の表示フォーマット変換手段(YUV4:2:0、YUV4:2:2、YU
V4:4:4)うちのいずれかをフレーム単位で選択する手段
と、を備え、前記コンピュータの負荷状況に応じて表示
フォーマットを切り替える。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、画像表示処理装置
に関し、特に圧縮動画像データを伸長して表示する画像
表示処理装置に関する。
【0002】
【従来の技術】コンピュータ上で、圧縮動画像データを
復号してディスプレイ装置に表示する場合、圧縮された
動画像データを画像復号部で伸長し、コンピュータでの
表示フォーマット、表示解像度に適合した画素数に変換
する処理が行われる。
【0003】動画像の表示フォーマットには、一般に、
YUVフォーマットが用いられている。YUVフォーマ
ットは、輝度信号Yに対する色差信号U、Vの比率(サ
ンプリング比、横方向の一ラインに含まれる輝度信号Y
と色差信号U、Vの3つの成分の比率)によって、YU
V4:2:0、YUV4:2:2、YUV4:4:4の
各フォーマットに区別される。例えば、YUV4:2:
0フォーマットは画質よりも表示速度を優先したフォー
マットであり、一方、YUV4:4:4フォーマットは
表示速度よりも画質の方を優先したフォーマットとなっ
ている。
【0004】図2は、代表的な表示フォーマットを模式
的に示したものであり、YUV4:2:0、YUV4:
2:2、YUV4:4:4の表示フォーマットをそれぞ
れ説明する図である。
【0005】図2を参照すると、4画素分あたり、YU
V4:2:0フォーマットでは、Yを4画素、Uおよび
Vをそれぞれ1画素ずつ持つ。Y、U、Vはそれぞれ8
ビットずつ持つため、1画素(pixel)あたりのビット
数は12(12bit/pixel)になる。同様に、YUV4:
2:2フォーマットでは、Yを4画素、UおよびVをそ
れぞれ2画素ずつ持つため、16bit/pixel、またYUV
4:4:4フォーマットでは、Y、U、Vすべて4画素
ずつ持つので、24bit/pixelのデータ量を持つことにな
る。1画素あたりのデータ量が多いほど、表示速度は低
下するが画質は向上する。
【0006】
【発明が解決しようとする課題】しかしながら、従来の
画像処理装置においては、コンピュータの負荷が重いと
きに、YUV4:2:2、YUV4:4:4フォーマットに
変換する場合、1フレームの処理時間が1/30秒を超
えてしまい、表示コマ落ち等が生じることになる。
【0007】なお、画像データの変換システムとして、
例えば特開平7−143475号公報には、各クライア
ントから入力した画像データが記憶装置に記憶され、他
のクライアントが画像データをアクセスするとき、画像
データ変換装置は、当該クライアントが有する表示解像
度、表示方式、表色系に適合したデータに変換処理を施
し、画像データをクライアントに供給する構成が開示さ
れている。しかしながら、上記公報記載されたシステム
には、表示解像度、表示方式、表色系の相違するクライ
アント間で画像データを共有可能とさせるものであり、
1つのクライアントコンピュータの処理負荷の変動に応
じて、適宜、表色系を動的に切り替えることは一切考慮
されていない。
【0008】したがって、本発明は、上記問題点に鑑み
てなされたものであって、その目的は、複数の表示フォ
ーマットの中から、時々刻々変動するコンピュータ処理
負荷に適合した表示フォーマットを適宜選択すること
で、動画像をスムーズに且つ良好な画質で表示すること
が可能とする画像表示処理装置を提供することにある。
【0009】
【課題を解決するための手段】前記目的を達成する本発
明は、動画像を画像表示する際のコンピュータの負荷状
態の計測する手段と、該計測された負荷状況に適合させ
て表示フォーマットを切り替えて表示する手段と、を備
える。
【0010】
【発明の実施の形態】本発明の実施の形態について説明
する。本発明は、1フレーム分の動画像データを復号処
理して表示するに要した時間を測定する手段と、前記測
定時間を予め定められた閾値と比較判定し、前記比較判
定結果に基づき、複数の表示フォーマット変換手段うち
のいずれかをフレーム単位で選択する手段と、を備え、
前記コンピュータの負荷状況に応じて表示フォーマット
を切り替えるように構成されている。このように、1フ
レームに画像表示に要する時間からコンピュータの負荷
を判断して、負荷の大きさに応じて、表示フォーマット
を切り替え、負荷が軽いときは画質を重視する画像表示
を行い、一方、負荷が軽いときは表示速度を重視する画
像表示を行うことを可能としたものである。
【0011】本発明の画像表示処理装置は、その好まし
い実施の形態において、図1を参照すると、記憶装置1
は、MPEG2(Moving Picture Coding Experts
Group 2)方式等で圧縮された動画像データ11を記
憶している。この圧縮動画像データ11は、画像復号処
理部22により復号される。復号された画像は、輝度情
報Yと、色差情報U、Vからなる。
【0012】この画像情報を、実際にディスプレイ装置
に表示する際、別の表示フォーマットへの変換処理が必
要になる。表示フォーマットは複数存在し、それぞれ画
質や表示速度の点で相違している。
【0013】画像情報を表示フォーマットへ変換する際
に、表示時間取得処理部23にて、1フレームを表示す
るのに必要な時間を取得し、この時間から、コンピュー
タの負荷を判断して、表示フォーマットを動的に切り替
え制御する。
【0014】通常時は、YUV4:2:2フォーマット
に、コンピュータの負荷が少なく処理に余裕があるとき
は、画質優先のYUV4:4:4フォーマット、コンピ
ュータの負荷が多くコマ落ちの可能性がある時は、表示
速度優先のYUV4:2:0フォーマットに変換する。
【0015】表示フォーマット変換済みの画像データ
は、フレームデータバッファ27に転送され、ディスプ
レイ装置3に表示される。
【0016】このように、コンピュータの負荷状況に応
じて、複数の表示フォーマットを使い分けることによ
り、コンピュータの負荷が軽いときは画質を重視して表
示をおこない、負荷が重いときは表示速度を重視して表
示することが可能になる。
【0017】
【実施例】本発明の実施例について図面を参照して以下
に説明する。図1は、本発明の一実施例の構成を示す図
である。図1を参照すると、本実施例は、圧縮動画像デ
ータを記憶する記憶装置1と、プログラム制御により動
作する画像データ処理装置2と、画像データを表示する
ディスプレイ装置3と、を含む。
【0018】記憶装置1は、MPEG2等の圧縮方式で
圧縮された動画像データ11を備えている。
【0019】画像デーダ処理装置2は、記憶装置1から
ロードされた圧縮データを確保する圧縮データバッファ
21と、圧縮された動画像データ11を復号する画像復
号処理部22と、1フレームの画像を表示するのに要し
た時間をタイマ等で取得する表示時間取得処理部23
と、表示速度優先の表示フォーマットに変換するYUV
4:2:0フォーマット変換処理部24、通常の表示フ
ォーマットに変換するYUV4:2:2フォーマット変
換処理部25、画質優先の表示フォーマットに変換する
YUV4:4:4フォーマット変換処理部26と、表示
する画像データを格納するフレームデータバッファ27
と、を備えている。
【0020】画像データ処理装置2で復号され選択され
た表示フォーマットに変換された画像データは、ディス
プレイ装置3で表示される。
【0021】図3は、本発明の一実施例の処理を説明す
るための流れ図である。図1乃至図3を参照して、本発
明の一実施例の動作について詳細に説明する。
【0022】図1を参照すると、記憶装置1は圧縮され
た動画像データ11を記憶している。この圧縮動画像デ
ータ11の復号されたデータは輝度情報Yと、色差情報
U、Vからなり、1秒間に30フレームの画像を表示す
ることによって動画像として再生される。動画像を実際
に表示する際には、この画像データを別の表示フォーマ
ットに変換する必要がある。
【0023】また前述したように、図2を参照すると、
4画素分あたり、YUV4:2:0フォーマットでは、
Yを4画素、UおよびVをそれぞれ1画素ずつ持ち、
Y、U、Vはそれぞれ8ビットずつ持つため12bit/p
ixel、YUV4:2:2フォーマットでは、Yを4画
素、UおよびVをそれぞれ2画素ずつ持つため16bit
/pixel、YUV4:4:4フォーマットでは、Y、
U、Vすべて4画素ずつ持つので、24bit/pixel、の
データ量を持つ。ここで、1画素あたりのデータ量が多
いほど、表示速度は低下するが画質は向上する。
【0024】本発明の一実施例では、画像表示処理を行
うコンピュータの負荷にあわせて表示フォーマットを動
的に切り替えるようにしたものであり、まず圧縮動画像
データ11を復元するにあたり、画像データを圧縮デー
タバッファ21にロードする(ステップS1)。
【0025】次に、画像復号処理部22により、圧縮動
画像データを復元する(ステップS1)。復元されたデ
ータは、輝度情報Yと色差情報U、Vからなっている。
【0026】次に1フレームを表示するのに要した時間
Tを表示時間取得処理部23にて取得する。この時間T
が1/30秒よりも大きい場合、1秒間に30フレーム
の画像を表示することができなくなるのでコマ落ちが発
生する。
【0027】本発明の一実施例では、前のフレームの表
示に要した時間Tと、あらかじめ定められた上限の閾値
A(1/30秒よりも大きな値)とを比較する(ステッ
プS3)。
【0028】T>Aである場合には(もしくは、TとA
の差が所定値よりも大の時)、表示処理に余裕がなく、
すなわち表示が追いつかずコマ落ちが生じるため、デー
タ量が少なく表示速度を優先するYUV4:2:0フォ
ーマット変換処理部24において表示フォーマットを変
換する(ステップS6)。
【0029】表示時間Tとあらかじめ定められた下限の
閾値B(1/30秒よりも小さい値)とを比較して、B
≦T≦Aである場合には、一般的な表示フォーマットで
あるYUV4:2:2フォーマット変換処理部25にて
変換する(ステップS7)。一方、T<Bである場合に
は(もしくはTとBとの差が所定値よりも小の時)、コ
ンピュータの処理に余裕があるため、データ量が多くて
も画質を優先するYUV4:4:4フォーマット変換処
理部26において高画質の表示フォーマットに変換する
(ステップS8)。
【0030】なお、前のフレームに対して表示フォーマ
ットが変更される場合には(ステップS4、S4′、S
4″のYES)、表示フォーマットを変換する前に、サ
ーフェイスの初期化をおこなう(ステップS5、S
5′、S5″)。
【0031】表示フォーマット変換された画像データ
は、フレームバッファ27に格納され(ステップS
9)、ディスプレイ装置3に表示される(ステップ1
0)。
【0032】
【発明の効果】以上説明したように、本発明によれば、
コンピュータにおける表示処理の負荷に応じて複数の表
示フォーマットを切り替えるように構成したことによ
り、コンピュータの負荷が軽い場合には画質を重視した
表示ができ、負荷が重い場合は表示速度を重視した表示
ができる、という効果を奏する。
【図面の簡単な説明】
【図1】本発明の一実施例の構成を示す図である。
【図2】表示フォーマットを説明するための模式図であ
る。
【図3】本発明の一実施例の処理を説明するための流れ
図である。
【符号の説明】
1 記憶装置 2 画像データ処理装置 3 ディスプレイ装置 21 圧縮データバッファ 22 画像復号処理部 23 表示時間処理部 24 YUV4:2:0フォーマット変換処理部 25 YUV4:2:2フォーマット変換処理部 26 YUV4:4:4フォーマット変換処理部 27 フレームデータバッファ

Claims (5)

    【特許請求の範囲】
  1. 【請求項1】動画像データを画像表示する際のコンピュ
    ータの負荷状態の計測する手段と、 該計測された負荷状況に適合させて表示フォーマットを
    切り替える手段と、を含むことを特徴とする画像表示処
    理装置。
  2. 【請求項2】1フレーム分の動画像データを復号処理し
    て表示するに要した時間を測定する手段と、 前記測定時間を予め定められた閾値と比較判定し、前記
    比較判定結果に基づき、複数の表示フォーマット変換手
    段うちのいずれか一つをフレーム単位で選択する手段
    と、 を備え、 負荷状況に応じて復号処理した動画像データの表示フォ
    ーマットを動的に切り替えることを特徴とする画像表示
    処理装置。
  3. 【請求項3】圧縮動画像データを復号する手段と、 1フレーム分の動画像データを表示するに要した時間を
    測定する手段と、 互いに異なる表示フォーマットに変換する複数の変換手
    段と、 前記測定時間を予め定められた閾値と比較判定し、前記
    比較判定結果に基づき、前記複数の変換手段のうちの一
    つをフレーム単位に選択する手段と、 を備え、 復号された動画像データを前記測定時間の大小に応じ
    て、選択された変換手段にて装置の処理負荷状況に適合
    した表示フォーマットに変換して表示する、ことを特徴
    とする画像表示処理装置。
  4. 【請求項4】前のフレーム表示に要した時間の測定値が
    予め定められた上限値と下限値で確定される範囲内にあ
    るか否かを比較判定し、前記上限値を超えている場合に
    は、データ量が少なく表示速度を優先する第1の表示フ
    ォーマット変換手段を選択し、下限値よりも小の場合に
    は、データ量が大で画質を優先する第2の表示フォーマ
    ット変換手段を選択して高画質の表示フォーマットに変
    換し、前記下限値と上限値の範囲内にあるときは、通常
    時の第3の表示フォーマット変換手段を選択する、こと
    を特徴とする請求項2又は3記載の画像表示処理装置。
  5. 【請求項5】MPEG2方式で圧縮された動画像につい
    て、前記測定値が前記下限値よりも小のときは、色情報
    を削減せず輝度信号と色差信号のデータ量が同じである
    YUV4:4:4フォーマット、前記測定値が前記上限
    値よりも大のときは、色情報を縦方向及び横方向半分に
    削減したYUV4:2:0フォーマット、前記下限値と
    上限値の範囲内にあるときは、色情報を横方向に半分に
    削減したYUV4:2:2フォーマットに変換する、こ
    とを特徴とする請求項4記載の画像表示処理装置。
JP35228498A 1998-12-11 1998-12-11 画像表示処理装置 Expired - Fee Related JP3267256B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP35228498A JP3267256B2 (ja) 1998-12-11 1998-12-11 画像表示処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP35228498A JP3267256B2 (ja) 1998-12-11 1998-12-11 画像表示処理装置

Publications (2)

Publication Number Publication Date
JP2000181438A true JP2000181438A (ja) 2000-06-30
JP3267256B2 JP3267256B2 (ja) 2002-03-18

Family

ID=18423021

Family Applications (1)

Application Number Title Priority Date Filing Date
JP35228498A Expired - Fee Related JP3267256B2 (ja) 1998-12-11 1998-12-11 画像表示処理装置

Country Status (1)

Country Link
JP (1) JP3267256B2 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002230580A (ja) * 2000-08-23 2002-08-16 Nintendo Co Ltd 再構成可能なピクセルフォーマットを有する組み込みフレームバッファを有するグラフィックスシステム
JP2003099020A (ja) * 2001-09-19 2003-04-04 Tietech Co Ltd 圧縮静止画像の表示方式
JP2005092203A (ja) * 2003-09-18 2005-04-07 Seiko Epson Corp Yuv表示バッファ
WO2005121929A1 (en) * 2004-06-14 2005-12-22 Samsung Electronics Co., Ltd. Display apparatus and display system using the same
JP2007108439A (ja) * 2005-10-13 2007-04-26 Renesas Technology Corp 表示駆動回路
JP2007133295A (ja) * 2005-11-14 2007-05-31 Epson Imaging Devices Corp 画像処理装置、および電子機器
WO2008044637A1 (fr) * 2006-10-10 2008-04-17 Nippon Telegraph And Telephone Corporation Procédés de codage et de décodage vidéo, leur dispositif, leur programme, et le support de stockage contenant le programme
JP2008257396A (ja) * 2007-04-03 2008-10-23 Canon Inc 映像表示装置、映像表示装置と通信可能な装置及びそれらの制御方法並びにそれらが接続されてなるシステム
JP2011171833A (ja) * 2010-02-16 2011-09-01 Fujitsu Ltd 動画再生装置、動画再生方法、および動画再生プログラム
DE102017003385A1 (de) 2016-04-13 2017-10-19 Fanuc Corporation Numerische Steuerung

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4683760B2 (ja) * 2000-08-23 2011-05-18 任天堂株式会社 再構成可能なピクセルフォーマットを有する組み込みフレームバッファを有するグラフィックスシステム
JP2002230580A (ja) * 2000-08-23 2002-08-16 Nintendo Co Ltd 再構成可能なピクセルフォーマットを有する組み込みフレームバッファを有するグラフィックスシステム
JP2003099020A (ja) * 2001-09-19 2003-04-04 Tietech Co Ltd 圧縮静止画像の表示方式
JP2005092203A (ja) * 2003-09-18 2005-04-07 Seiko Epson Corp Yuv表示バッファ
WO2005121929A1 (en) * 2004-06-14 2005-12-22 Samsung Electronics Co., Ltd. Display apparatus and display system using the same
JP2007108439A (ja) * 2005-10-13 2007-04-26 Renesas Technology Corp 表示駆動回路
JP2007133295A (ja) * 2005-11-14 2007-05-31 Epson Imaging Devices Corp 画像処理装置、および電子機器
WO2008044637A1 (fr) * 2006-10-10 2008-04-17 Nippon Telegraph And Telephone Corporation Procédés de codage et de décodage vidéo, leur dispositif, leur programme, et le support de stockage contenant le programme
US9055303B2 (en) 2006-10-10 2015-06-09 Nippon Telegraph And Telephone Corporation Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media for recording the programs
JP2008257396A (ja) * 2007-04-03 2008-10-23 Canon Inc 映像表示装置、映像表示装置と通信可能な装置及びそれらの制御方法並びにそれらが接続されてなるシステム
JP2011171833A (ja) * 2010-02-16 2011-09-01 Fujitsu Ltd 動画再生装置、動画再生方法、および動画再生プログラム
US8811804B2 (en) 2010-02-16 2014-08-19 Fujitsu Limited Methods and systems for reducing moving image data volume while maintaining luminance data of the moving image
DE102017003385A1 (de) 2016-04-13 2017-10-19 Fanuc Corporation Numerische Steuerung
JP2017191450A (ja) * 2016-04-13 2017-10-19 ファナック株式会社 数値制御装置
US10467990B2 (en) 2016-04-13 2019-11-05 Fanuc Corporation Numerical controller

Also Published As

Publication number Publication date
JP3267256B2 (ja) 2002-03-18

Similar Documents

Publication Publication Date Title
KR100597920B1 (ko) 데이터 처리 장치, 데이터 처리 방법, 및 그에 대한 기록매체
US7696988B2 (en) Selective use of LCD overdrive for reducing motion artifacts in an LCD device
US6941021B2 (en) Video conferencing
US5519436A (en) Static image background reference for video teleconferencing applications
US7646929B2 (en) Signal-transmitting system, data-transmitting apparatus and data-receiving apparatus
US6778187B1 (en) Methods and devices to process graphics and/or video data
JP3267256B2 (ja) 画像表示処理装置
EP1607934A2 (en) Blur reduction in liquid crystal displays by frame rate control
US7203236B2 (en) Moving picture reproducing device and method of reproducing a moving picture
US6728312B1 (en) Adaptive video decoding and rendering with respect to processor congestion
US20070122045A1 (en) System for scaling a picture unit from a first video resolution format to a second video resolution format
US6751404B1 (en) Method and apparatus for detecting processor congestion during audio and video decode
KR101169994B1 (ko) 알파 평면을 이용한 영상 데이터 처리 장치 및 방법
JP2002164790A (ja) 圧縮ストリーム復号化装置及び方法並びに記憶媒体
JPH09185361A (ja) 補間回路、グラフィックスコントローラ回路、圧縮ピクセルデータ生成回路、圧縮ピクセルデータ伸長回路、コンピュータシステム、アップスケール方法および圧縮ピクセルデータ生成方法
JP2000175199A (ja) 画像処理装置及び方法、並びに提供媒体
JPH0213990A (ja) グラフィック・メモリ装置
JP3776766B2 (ja) 画像データの変換方法および装置
EP0840522B1 (en) Improvements in or relating to image display systems
EP0647910A1 (en) Method and system for efficiently transmitting multimedia data in a distributed data processing system
JP3345475B2 (ja) 画像データの符号化方法及び復元方法並びに装置
JP2000259143A (ja) マルチウィンドウ制御装置
JPH10313403A (ja) 静止画撮像装置、カラー複写装置及び表示装置
JP3002619B2 (ja) 画像処理制御装置
JPH10340077A (ja) 画像表示装置

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20011211

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080111

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090111

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100111

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110111

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110111

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120111

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120111

Year of fee payment: 10

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120111

Year of fee payment: 10

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120111

Year of fee payment: 10

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130111

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130111

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130111

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140111

Year of fee payment: 12

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees