JP2008122423A - ヒストグラム調整装置 - Google Patents

ヒストグラム調整装置 Download PDF

Info

Publication number
JP2008122423A
JP2008122423A JP2008039961A JP2008039961A JP2008122423A JP 2008122423 A JP2008122423 A JP 2008122423A JP 2008039961 A JP2008039961 A JP 2008039961A JP 2008039961 A JP2008039961 A JP 2008039961A JP 2008122423 A JP2008122423 A JP 2008122423A
Authority
JP
Japan
Prior art keywords
histogram
image
luminance
pixel
plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008039961A
Other languages
English (en)
Other versions
JP4722953B2 (ja
Inventor
Kevin T Ivers
ケビン・ティー・イバース
Paul M Gerlach
ポール・エム・ガーラッチ
Daniel E Taylor
ダニエル・イー・テイラー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tektronix Inc
Original Assignee
Tektronix Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tektronix Inc filed Critical Tektronix Inc
Publication of JP2008122423A publication Critical patent/JP2008122423A/ja
Application granted granted Critical
Publication of JP4722953B2 publication Critical patent/JP4722953B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01RMEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R13/00Arrangements for displaying electric variables or waveforms
    • G01R13/02Arrangements for displaying electric variables or waveforms for displaying measured electric variables in digital form
    • G01R13/0218Circuits therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

【課題】オシロスコープに表示する画像用に形成するヒストグラムを作成し連続的に調整する。
【解決手段】ラスタ化入力画像を受ける手段と;装置の構成要素とデータの授受を行えるマイクロプロセッサと;ラスタ化入力画像を蓄積するラスタ・プレーンとしてのメモリ(32)と;ラスタ・プレーン内に含まれる画像データを、マップ・プレーン(65)としてのメモリに蓄積する画像データに変換する変換手段(61)と;マップ・プレーンに蓄積された画像データのヒストグラムを作成するヒストグラム収集器と;マップ・プレーンのピクセル輝度がヒストグラム内に略均等に分布するようにヒストグラム特性を調整するヒストグラム均等化関数手段(201)とを具えている。
【選択図】図7

Description

本発明は、一般に、オシロスコープの表示装置に関し、特に、ヒストグラムを用い且つ表示するオシロスコープ用のヒストグラムの調整装置に関する。
従来のオシロスコープは、ピクセル輝度のダイナミック・レンジが大きい内部画像から得た波形画像を表示できる。すなわち、オシロスコープが取り込んだ信号を処理して得た内部画像を、更に表示用に処理して、波形画像として表示している。内部画像のピクセル輝度の変動が大きいかもしれないが、この画像の実際の表示は、輝度範囲を制限しているので、内部画像内に含まれる情報の総てを完全に反映していない。かかる問題を有するオシロスコープの一例は、イゼリッジ等の米国特許第5986637号「強調したデューティ・サイクルで信号を観察するデジタル・オシロスコープ・アーキテクチャ」に記載されている。この米国特許に記載された装置では、まれで、異常で、非繰り返しの事象を検出し、最終的に表示するために、入力信号をアクティブにモニタする時間の割合を増やしている。
上述の米国特許は、取込み技術を改善するために、信号波形画像に組み込むための信号取込みの数を増やして、内部画像輝度のダイナミック・レンジをより広くすることを示している。しかし、既存の表示技術の制限から、この向上させたダイナミック・レンジを表示することができない。現在のオシロスコープは、ユーザに示す輝度のダイナミック・レンジは、典型的には、わずか16レベルである。これからのオシロスコープは、たぶん、64レベル以上(例えば、256レベル)の輝度レンジとなるであろう。
表示可能なダイナミック・レンジが制限されているので、望ましい目標は、内部波形画像から最大輝度変動及び最大信号情報を抽出することである。理想的には、利用可能だが限定された表示のダイナミック・レンジを自動的に且つ完全に用いる方法と、この方法を実現する機構とが必要である。ヒストグラムを均等化することは、画像のコントラストを増やして、ダイナミック・レンジを用いる既知の画像処理方法である。かかる画像処理の一例は、キムによる米国特許第5995656号「ロウパス・フィルタ及びヒストグラム均等化を用いた画像強調方法及びそのための装置」に記載されている。画像輝度のヒストグラムを平坦にするために画像の輝度を調整することにより、画像内に存在する輝度の全ダイナミック・レンジを最高に表すことができる。
輝度調整を行うことにより、同様な方法で従来表示していた類似の輝度の多くのピクセルを異なる輝度で表すことができる。ヒストグラムは、画像に現れる輝度の相対分布を表す。例えば、図1は、テレビジョン掃引信号から得た典型的な入力ヒストグラム35を示す。このヒストグラムは、横軸がピクセルの輝度値を表し、縦軸が各輝度値のピクセル数を表す。このヒストグラム35は、領域17、18、19及び20の如き一連の区切り、即ち、列(縦行)から成る。これら領域の各々は、画像内に存在し、可能性のあるピクセル輝度のサブセット又は範囲を示す。各ピクセルの輝度を試験し、適切なヒストグラム列、即ち「ビン」に割り当てる。これは、検出した輝度に一致する。画像内に輝度の分布が一様ならば、ビンのカウント値が同じなので、ヒストグラムは、「一様」又は「均等」である。図1で判るように、典型的なヒストグラム35は、不均一であり、測定したピクセルの輝度のほとんどは、ビン17、18及び19の付近でグループ分けされ、実際的には、領域20及びその先には、画像要素が存在しない。
図2は、図1の生の入力画像ヒストグラムに適用できる伝達関数32を表す。この伝達関数32は、多くのブレークポイント、即ち、遷移点21、22、23、24、25、26、27、38、30及び31を有する。この場合、これらの遷移点は、変化する傾斜の一連の線形伝達関数となる。入力画像を伝達関数32に適用することにより、図3に示す出力ヒストグラム33が得られる。輝度の分布を改善する一方、4、5、14及び15の如き領域が依然あり、これらは、比較的大きな量のデータを含む。一方、領域6、11、12及び16は、比較的小さな画像データを含んでいる。よって、略平坦な出力ヒストグラムが得られない。これは、個別のヒストグラム均等システムを用いる場合の典型である。図11は、典型的な従来のオシロスコープが表示する代表的な画像230を示す。例えば、領域233は、主として青色であり、領域234は、主として緑色である。また、わずかであるが、他の色も存在する。画像230が実際の被観察波形を表しているか、又は、主としてオシロスコープの信号処理回路のアーティファクトであるかについて、かかる画像の観察者が疑問を感じる。
広いダイナミック・レンジの画像を狭いダイナミック・レンジの表示に変換するために利用できるプログラマブル・マッピング機構が存在する。かかる技術は、例えば、ワックスマン等の米国特許第5909244号「低い可視光画像を含む画像のダイナミック・レンジ再マッピング用実時間適応デジタル画像処理」に記載されている。この装置は、線形マッピング又はガンマ補正マッピングを実現できる。
米国特許第5986637号明細書 米国特許第5995656号明細書 米国特許第5909244号明細書
本発明は、ヒストグラム均等化をオシロスコープの波形表示に適用する際の問題を改善したヒストグラム調整装置を提供することである。
本発明は、オシロスコープに表示する画像用に形成するヒストグラムを作成し連続的に調整する装置であって;ラスタ化入力画像を受ける手段と;装置の構成要素とデータの授受を行えるマイクロプロセッサと;ラスタ化入力画像を蓄積するラスタ・プレーンとしてのメモリ(32)と;ラスタ・プレーン内に含まれる画像データを、マップ・プレーン(65)としてのメモリに蓄積する画像データに変換する変換手段(61)と;マップ・プレーンに蓄積された画像データのヒストグラムを作成するヒストグラム収集器と;マップ・プレーンのピクセル輝度がヒストグラム内に略均等に分布するようにヒストグラム特性を調整するヒストグラム均等化関数手段(201)とを具えている。
本発明においては、表示輝度のダイナミック・レンジをより完全に利用する。これにより、ユーザは、ラスタ化画像(ラスタ化した画像;単に、ラスタ画像と呼ぶこともある)データの周波数又は大きさを示す複数ピクセルの間の輝度差をより簡単に識別できる。
本発明により、典型的には、ユーザは、表示スクリーン上に現れる安定状態の波形の総てを観察できる。本発明によらないで一層典型的な線形表示機能を用いた場合、表示スクリーン上の波形が不明瞭になる。広いダイナミック・レンジのラスタ化画像(ラスタ化された画像)から、表示装置のより狭いダイナミック・レンジにマッピングする際、ヒストグラム均等化アルゴリズムを適用する。
ダイナミック・レンジを小さくするマッパー(マッピング手段)用ハードウェアも用いて、入力画像及び既存のマッピング関数に基づいて表示出力画像のヒストグラムを計算する。発生されたヒストグラムは、出力画像の複数の輝度レベルと同じ多さの領域、即ち、ビンを有する。この技術は、ヒストグラムの情報内容を制限するが、入力画像のヒストグラムを取るよりも一層高速の計算が可能である。これは、本発明の顕著な特徴である。その限りにおいては、既存のヒストグラムを試験し、オリジナル画像に適用する新たなマッピング関数を計算して、ヒストグラム均等化を行う。オリジナルのマッピング関数は、最大入力画像ピクセル値に基づいた入力画像の線形マッピングとしてプログラムできる。出力画像のヒストグラムは、入力画像のヒストグラムの総ての情報を完全に表すことができないので、出力画像から発生した任意のマッピング関数は、ヒストグラムを正確に均等化できない。この理由により、多数のパスにおいて実行できるヒストグラム均等化関数調整アルゴリズムを開発した。各時点において、この関数は、新たな出力画像ヒストグラムを発生する。調整アルゴリズムは、オリジナルのマッピング関数を調整して、ヒストグラムを更に均等化しようとする。
入力画像を狭いダイナミック・レンジにマッピングすることは、ヒストグラム・データの収集と同時に行える。または、メモリへの書き込みを行うことなく、マッピングを行う。または、ヒストグラム情報の収集のみが生じる。ヒストグラム均等化関数調整アルゴリズムをオシロスコープ画像に適用して、マッピング関数の均等化特性を改善する。次に、新たなマッピング関数を、マッピングする次の画像に適用する。次の画像は、前の画像よりも小さいか、少なくとも同じ入力ヒストグラム特性を有していると仮定する。この仮定や、その後の画像のヒストグラム特性の予測により、処理時間を節約できる。これは、別のヒストグラム収集関数を実行する必要がないためである。典型的には、現在の画像のヒストグラム収集を行う一方、現在の画像を表示用にマッピングする。
表示用の一連の画像のヒストグラム特性が変化するとき、典型的には、画像から画像へのこれら変化は、非常にわずかである。ヒストグラム均等化関数調整アルゴリズムが、これら変化に続くので、表示すべきほとんどの出力画像に対して、適切なヒストグラム均等化関数を維持する。画像から画像に対して、画像の大きな変化があると(例えば、信号を付加したり、信号を除去したりすると)、このアルゴリズムは、完全に調整するために、いくつかの連続した画像を必要とする。
オシロスコープ画像用に用いる多くの他の一般の画像処理アルゴリズムと一緒に、本発明を良好に用いることができる。かかるアルゴリズムの例には、ヒストグラム特定、局部的ヒストグラム強調、画像減算、ハイ・ブースト(高周波補償)フィルタ、及びメディアン(中間周波数選択)フィルタがある。
図5は、本発明の第1実施例のブロック図である。ラスタ化された入力画像(ラスタ化入力画像)64は、画像マッパー(マッピング手段:変換手段)160により処理される。このマッパー160は、単位ピクセル当たりのビット数を、典型的には、32から8(又はそれ未満)に減らす。なお、ラスタ化画像は、ビット・マップ・プレーンの形式で蓄積されている。マッパー160は、入力ラスタ化画像64に現れる輝度のNビット/ピクセル(単位ピクセル当たりNビット)を、出力画像148の表示に利用できるnビット/ピクセル(nはN未満)に変換又は移す。マッピングされたラスタ化画像148をヒストグラム収集器110に供給する。コンピュータ・プログラム(ヒストグラム均等化関数手段)150は、コンピュータ(又はマイクロプロセッサ:図示せず)を制御して、画像の輝度レベルを処理して、画像内のピクセル分布を均等化する。本発明を主にソフトウェアで実現する場合、ヒストグラム収集器110は、コンピュータ・プログラム150と相互作用する適切なマイクロプロセッサと、メモリとにより主に構成されている。
図6は、本発明の第1実施例におけるソフトウェア(プログラム150を含む)の一部を説明する流れ図である。以下、この流れ図を参照して、図5の動作を説明する。プログラム150は、ステップ40にて開始し、出力ラスタ化画像148の輝度データを収集する。ステップ41において、出力画像148内に存在する最大輝度Iを識別する。ラスタ化画像148内に存在するマッピングされない輝度Pの総ては、しきい値レジスタ78に蓄積された複数のビンに分割される。なお、各ビンは、可能な表示輝度の領域を表す。ステップ42において、用いる各輝度ビンの大きさを最適化するために、最大輝度ピクセル及びゼロの間の輝度の数を、輝度の最大可能数として利用する。ステップ43において、各輝度ビンの所望輝度分解能、又は、そのレンジRを選択する。
可能な表示輝度の総てを捕獲するのに必要な輝度ビンの最大数Mは、ラスタ化画像148内で見つかった最大輝度Iの値と、各輝度ビンの所望輝度分解能又はレンジRとに応じて決まる。ステップ44では、式M=P/Rに応じて、輝度ビンの最大数を計算する。したがって、輝度ビンの分解能は、最大ピクセル輝度及びゼロの間の輝度の数を輝度ビンの総数で除算したものに等しい。ステップ45で、画像内に存在する非ゼロ輝度(ゼロでない輝度)の総数Zを測定(計算)する。各表示可能な輝度レベルに対してマッピングする可能な又は期待される輝度の数Eは、画像64内の非ゼロ輝度の総数を表示可能な輝度レベルの数(例えば、15と仮定する)で除算したものである。よって、ステップ46では、式E=Z/15を求める。
ステップ47は、各画像輝度要素(ラスタ画像ピクセル)を輝度ビンに割り当てる。この点において、画像輝度の実際の分布は未知である。各輝度ビンの実際のしきい値又は境界を決めるために、プログラムは、先ず、ステップ48にて、最大数のデータ要素(ピクセル)を含む輝度ビンを試験する(求める)。ステップ49において、プログラムは、次に少ない数のデータ要素を含む第1輝度ビンを検索する。ステップ50にて、表示可能な輝度レベル毎の輝度の期待数に遭遇したか、即ち、E個のピクセルを計数したかの判断の後にも、このステップ49が生じる。この輝度ビンに関連した輝度Bは、第1しきい値T1を確立する。代わりに、表から又は設計されたプロトコルに応じてしきい値Tを割り当てて、所望の形状又は特性を有するヒストグラムを作成できる(ステップ51)。マッピングするように残った利用可能輝度レベルPの総てを確立したしきい値Tに割り当てるまで(ステップ52)、又は、輝度ビン80(図5)に含まれる最終データに達するまで(ステップ53)、上述の検索を継続する。ステップ54で完成したヒストグラムは、次の連続する入力画像64に適用できる。最小から最大の輝度ビンまでを検索する際、輝度の期待数又は有望な数Eを1個の輝度ビンにわたって複数回見つけるか、又は、そのためにいくつかの輝度ビンが必要なことに留意されたい。
このしきい値定義方法の1つの欠点は、マッピングすべき画像ピクセルの最大するに対する不釣り合いに大きい値により、輝度ビンが比較的粗い出力画像148を形成するかもしれないことである。さらに、大きな数のピクセルが非常に類似した輝度レベルを有すると、単一の輝度ビンがこれらピクセルの総てを吸収するかもしれない。
これら2つの条件のいずれかにより、表示可能な輝度レベルの数に適切なより少ないしきい値を作成できる。上述の欠点を補償するために、コンピュータ・プログラム150は、大きな数の輝度ビンを用いなければならない。例えば、15個の表示可能な輝度レベルを効果的にマッピングすると共に、合理的なヒストグラム均等化を行うために、プログラム150は、5万個の輝度びんのオーダで作成できる。必要なメモリの実質的な容量により、本発明のこのソフトウェアを常時実現できない。
図4は、本発明の原理を適用したオシロスコープに用いる回路のブロック図を示す図である。本発明の実施例105は、ヒストグラム収集器110が用いるハードウェア上に大きな部分を占める。一方、簡単なソフトウェアにより、輝度ヒストグラムに基づいた補間輝度ビンしきい値を計算できる。このハードウェアに基づいた方法は、出力画像148をマッピングする度に実行する3つの段階に分割できる。第1段階は、輝度アルゴリズムを作成するためにマッピングすべき入力ラスタ画像64をプリマッピング(予めのマッピングの)走査をする。最大検出ピクセル輝度から得たデフォルト値により、輝度ビン境界を定義する。第2段階は、15個(例として)の初期マッピングしきい値のソフトウェア計算である。これらしきい値をプリマッピング・ハードウェアに送って、輝度ビットしきい値の次の繰り返しを改善できる。第3段階は、32ビットから8ビットまでにラスタ画像をマッピングできる。さらに、マッピング期間中、輝度ヒストグラムを再計算して、輝度ビンしきい値を再度改善できる。
ヒストグラム・データ収集及び均等化システム105は、オシロスコープのスクリーン上に表示を行うために、信号源64からの任意の適切なラスタ化データ(入力信号)により動作する。この信号データをアナログ・デジタル(A/D)変換器(ADC)231に供給する。デマルチプレクサ(DEMUX)232は、A/D変換器231からのデータを信号路108を介して受け、バス103を介してシステム105の残りの下流の構成要素に向けてデータを送る。本発明の第2実施例のブロック図である図7に示す如く、並列データ処理機能は、デシメータ(間引き手段:DMA)62、メモリ制御器107及び平面グラフィック・アダプタ36により実行される。メモリ制御器107は、ダイナミック・ランダム・アクセス・メモリ(DRAM)66に対するインタフェースである。このメモリ66は、A/D変換器231からのADCデータ・サンプル63を蓄積するのに用いる。なお、データ・サンプル63は、ブロックとして示す。デシメータ62は、A/D変換器231からの入力サンプル・ストリームを取り込んで、これらサンプルのいくつかを放棄して、必要なデータ・サンプル63を得る。
ラスタライザ(ラスタ化手段)60は、メモリ66内の循環バッファ内に蓄積されたデータ63のサンプル・ストリームから画像を導出する。データの各収集は、取込みと呼ばれる。ラスタライザ60は、記録ビューの圧縮により画像を作成する。この技術は、点の値を入力として求め、これら点の間に垂直ベクトルを描く。これを繰り返し実行するので、多くのサンプルを単一の列に圧縮する。図7に示すマッパー61が適用する伝達関数の効果を説明する図8に示すように、記録ビュー圧縮処理によって、これら列の出力の総てを収集を行って、ラスタ・プレーン32を生成する。先ず、画像の上から下まで、次に、画像の左から右までのラスタ・プレーン32をメモリ66内に設ける。この特定順序のプロトコルは、陰極線管や液晶表示器などの表示装置と両立性がない。それは、これら技術が左から右にと、上から下にスクリーンを走査する電子ビームの概念用に開発されたためである。マッパー(変換手段)61は、メモリ66内のラスタ・プレーン32を、列が主要なフォーマットから、行が主要なフォーマットに置き換える。
ラスタライザ60は、A/Dサンプル・データ63の2次元図形表現をランダム・アクセス・メモリ66の区画(ラスタ・プレーン32)に描く。なお、各ピクセル67(図7)の深さは、32ビットである。本発明に用いる粗いしきい値決定関数に用いるマッピングしきい値ロジックを説明する図10を参照する。マッパー61は、非線形マッピング関数(ヒストグラム均等化関数手段)201を適用してラスタ・プレーン・データ32を処理する。ここで、32ビット・ピクセル(例えば、ピクセル67)が8ビット・ピクセル(例えば、ピクセル68)にビット数を減らされる。この処理期間中、同様な輝度のピクセルは、ヒストグラム均等化の処理により分離され、新たな画像領域、即ち、マップ・プレーン65が形成される。32ビットのラスタ輝度領域70が、4ビット、6ビット又は8ビットのマップ輝度領域72になる。図4に示すように、デマルチプレックサ232は、画像データを、グラフィック・アダプタ(GA)36の如き画像履歴蓄積装置に転送する。グラフィック・アダプタ36は、マイクロプロセッサ及び表示ドライバ37と通信を行うのに用いるロジック装置である。メモリ制御器107(図7)は、DRAM66へのインタフェースである。必要なデータ帯域幅を維持する作用において、メモリ制御器107は、DRAM66に対するプリチャージ、チャージ保持及びリフレッシュの処理を行う。
次に、図9、図12、図13、図14及び図15を参照する。なお、図9は、図7に示すマッパーのブロック図であり、図12は、本発明が処理する画像に適用される粗い及び細かいしきい値決定関数の関係を説明するブロック図であり、図13は、図7に示すマッパーの詳細なブロック図であり、図14は、本発明で用いる粗いニブル・マッパー・ロジックのブロック図であり、図15は、本発明に用いる細かいニブルしきい値決定関数用のマッピングしきい値ロジックを説明する図である。マッパー61の主要機能は、ラスタ・プレーン32からの信号路に現れる単位ピクセル当たり32ビットの輝度しきい値を、マップ・プレーン65の256通りの利用可能な輝度レベルの各々にマッピングされる単位ピクセル輝度値当たり4ビット、6ビット又は8ビットの等しい数に変換することである。マッパー61は、常に、8ビット値を発生するが、この8ビット値から所望数の下位ビットを切り捨てて、結果的に4ビットや6ビットにする。これは、32ビット対8ビットの輝度ピクセルのマッピング処理期間中に、最大輝度変動及び最大利用可能な情報を抽出する。マッパー61は、マッピングされた総てのラスタ化入力画像64用のマッピングしきい値を計算する。図8は、ラスタ・プレーン32(ソース・プレーン)と、マップ・プレーン65(作成したプレーン)のグラフィック表現である。ラスタ・プレーン32及びマップ・プレーン65の比較により、マップ・プレーン65がメモリ66内で90度だけ回転されたことが判る。この90度の回転は、ラスタ・プレーン32において実行された伝達関数201の結果である。
32ビット対8ビットのマッピング操作は、2重ランクしきい値手段(2重ランク(マップ)ロジック手段)157が行う。マッパー61の2重ランク・ロジック手段157は、しきい値データを信号経路155に沿ってマッパー出力インタフェース158に伝送する。このマッパー出力インタフェース158は、任意の8ビット・データを4ビットに圧縮又はコンパクトにまとめて、この8ビット(又は4ビット)データを、信号経路163及び164を介して再整理バッファ161及び162に夫々書き込む。しきい値手段157は、マップ点読み出し手段226(図13)を含んでおり、このマップ点読み出し手段226は、メモリ制御器107を介してDRAM66から1つ又は2つの32ビット・ピクセル画像を受ける。この画像データは、粗いしきい値伝達関数手段201に伝送される。軸202(図10)の入力ピクセル67の32ビットの値は、8ビットの出力ピクセル68に変換され、この出力ピクセル68は、例えば、粗いニブル(マッピング)伝達関数201により軸200上の点209及び210の間に現れる。粗いマッピング関数201は、15個のプログラマブルしきい値を定義して、16個の可能な粗いニブル・コード220が、例えば、軸202上の遷移点(ブレークポイント:BP)203、204、205、206及び207を含む。本発明で用いる粗いニブル・マッパー・ロジックのブロック図である図14から判る如く、列230に現れる上側(上位ビット側)の4ビットは、非線形であり、木構造71の出力である。ヒストグラムしきい値203〜207及び32ビットのピクセル67は、関数201の入力となり、列230に現れる値をインデックスとして用いて、ヒストグラム・ビン・カウンタを増分する。各遷移点(例えば、BP7、BP3、BP11)は、マイクロプロセッサ又はデジタル信号プロセッサによりプログラムされた値と比較される。
図10に示す如く、残存値208は、演算子手段221(図12)により得られる。この手段221は、次の32ビットのピクセル値から、次の32ビット数よりも小さい最大の遷移点206を減算する。次に、線形関数手段212(図13)を用いて粗い余り208をマッピングして、軸に沿って現れる16個の導出した遷移点を用いて、細かいニブル・コード222を発生する。細かいニブル関数手段212用の16個の導出した遷移点は、例えば、選択した粗い遷移点206及び次に大きい粗い遷移点207の間のしきい値範囲を等しく分割することにより求める。
粗い伝達関数の手段201がゼロでないピクセルを処理する際は常に、マップ・プリマップ・カウンタ227(図13)は、そのピクセルによりどのしきい値領域が使用できるかを観察し、この計数値をマップ・レジスタ225に送る。細かいニブルしきい値関数手段212が処理した総ての非ゼロのピクセルは、8ビット・ピクセルの形式であり、これらピクセルは、マップ再整理バッファ段228により処理され(必要ならば、4ビットに切り捨てられ)、この値は、再整理バッファ161及び162に書き込まれる。再整理バッファ・ポッパー又はカウンタ229は、グラフィック・アダプタ36に関連したバス通信手段からのプロンプトを受け、このプロンプトに応答して、ポインタを空の再整理バッファ161又は162に進める。ポッパー又はカウンタ229は、2つのピクセル・モード設定に基づいて動作する。第1設定は、4、6又は8ビット・ピクセルのいずれかを選択し、第2モード設定は、4又は8ビット・パッキングのいずれかを選択する。ピクセルをグラフィック・アダプタ36に伝送する際に、ピクセル・モードは、各ピクセル67内のデータの大きさを決定し、ビット・パッキングは、ピクセルが何ビットを用いるかを決定する。
最初に、最大ピクセル輝度(MPI)に基づいて、16個のピクセル輝度しきい値又はビン(BIN0〜BIN15)の各々のレンジを次のようにプリセットする。
BIN15輝度レンジ=(14/15×MPI)<輝度<=MPI
BIN14輝度レンジ=(13/15×MPI)<輝度<=(14/15×MPI)
BIN13輝度レンジ=(12/15×MPI)<輝度<=(13/15×MPI)
BIN12輝度レンジ=(11/15×MPI)<輝度<=(12/15×MPI)
BIN11輝度レンジ=(10/15×MPI)<輝度<=(11/15×MPI)
BIN10輝度レンジ=(9/15×MPI)<輝度<=(10/15×MPI)
BIN9輝度レンジ=(8/15×MPI)<輝度<=(9/15×MPI)
BIN8輝度レンジ=(7/15×MPI)<輝度<=(8/15×MPI)
BIN7輝度レンジ=(6/15×MPI)<輝度<=(7/15×MPI)
BIN6輝度レンジ=(5/15×MPI)<輝度<=(6/15×MPI)
BIN5輝度レンジ=(4/15×MPI)<輝度<=(5/15×MPI)
BIN4輝度レンジ=(3/15×MPI)<輝度<=(4/15×MPI)
BIN3輝度レンジ=(2/15×MPI)<輝度<=(3/15×MPI)
BIN2輝度レンジ=(1/15×MPI)<輝度<=(2/15×MPI)
BIN1輝度レンジ=(0×MPI)<輝度<=(1/15×MPI)
BIN0輝度レンジ=(総て非ゼロの輝度)
プリセット・ビンしきい値によりラスタ化画像データ64をマッピングした後、次のステップでは、輝度ビン番号BIN15〜BIN1の実際の内容に基づいて、所望輝度レンジを計算する。輝度レンジの計算は、マップ・プリマップ(mapPreMap)カウンタ227(図13)が実行するプリマッピング・ステップにより開始する。このプリマッピング・ステップでは、全画像64内の32ビット輝度の総てを試験する。各輝度ビンは、その定義された輝度レンジ内に入る輝度の数を表す17ビット計数を維持する。1ビン内に画像の総てのピクセルが入った最悪の場合の計数から、17ビット値を得る。マップ・プリマップ・カウンタ227は、平均ビン計数値を決定する。この計数値は、[ビン0の計数]/15に等しく、ビン0計数は、非ゼロ輝度のピクセル数に等しい。マップ・レジスタ225内に存在する既存のヒストグラム輝度ビン計数値を平均ビン計数値と比較して、新たな輝度ビン・レンジを計算する。新たなしきい値の計算における目的は、各輝度ビン内に含まれるデータ点(ピクセル)の数を等しくすることである。ビン計数値を最適化できるCコードのサブルーチンの一例を以下に示す。
k = 0;
j = 0;
thrsh[0] =0;
thrsh[l5] = maxPix;
binSum =0;
for(i=l;i<16;i++) {
binSum += binCount[i];
while (binSum >= avgBinCnt) {
binSum = binSum - avgBinCnt;
newThrsh[j+l] = thrsh[k]
+ ((( binCount[i] - binSum)/binCount[i]) * (thrsh[k+l] - thrsh[k] ));
j++
}
k++;
}
ビン1〜ビン15のレンジは、マッピングしきい値により定義される。よって、14個のマッピングしきい値と、15個の輝度レンジとが存在する。ビン1用の下側レンジの境界は、ピクセル輝度の1単位である。ビン15用の上側レンジ境界は、ピクセル輝度のI単位の現在の最大ピクセル輝度である。上述のサブルーチンに示すように、このサブルーチンで生じるしきい値は、そのしきい値に関連した輝度ビン用の上側しきい値である。例えば、newThrsh[2]は、ビン2用のピクセル輝度の上側限界である。マッパー61は、上述の計算から得た14個のマッピングしきい値を抽出するので、その結果、1組の最適化したビンしきい値を粗いしきい値変換関数201として適用する。すなわち、このアルゴリズムは、ディフォルト・マッピングにより開始し、このディフォルト・マッピングは、ラスタ化入力画像64から、出力画像148用の15個(一例)の利用可能な表示カラーまでである。そして、このアルゴリズムは、32から8ビットに画像64をマッピングするが、各利用可能なカラー又は輝度を用いる回数を計数する。各ビンのカラーの数を用いてディフォルト・マッピングを調整するので、次の繰り返し期間中、各カラー又は輝度を、出力画像148内の回数と同じ数だけ用いる。
2重ランク・ロジック・プログラム手段157が実行するマッピング動作が生じると同時に、他の輝度ヒストグラムを計算する。最新の計算したヒストグラムから得たビン計数値を用いて、マップ・レジスタ237の輝度ビン・レンジを再度最適化する。結局、各プリマッピング又はマッピング段階の前に輝度ビン・レンジを設定し、以前のピクセル輝度ヒストグラム結果からビン・レンジを計算する。初期状態又は停止状態から開始する際、常にデフォルト値を用いる。本発明の別の実施例においては、ソフトウェア・プログラムがヒストグラム等級プロトコルを呼び出して、プリマッピングを再度繰り返し、ヒストグラムの作用により、以前の読み出しから、大きな最大ピクセル変化の如き予め定めた基準を達成する。本発明のヒストグラム均等化原理を用いたオシロスコープが表示する画像の図16に示すように、画像69を観察し、図11に示す画像240と比較することにより、本発明のヒストグラム均等化システムの作用が判る。青233及び緑234のピクセルが依然存在するが、赤241及び黄色151の如き追加のカラーが存在し、分解能及び精度が高まる。
上述の如く、本発明は、オシロスコープが表示する画像におけるピクセル輝度の分布を均一化する。主にソフトウェアを実行する際に、最大ピクセル輝度(I)がラスタ化入力画像内に存在し、最大利用可能な表示輝度(P)及び所望画像分解能(R)が入力変数となり、各ピクセルが割り当てられるビン又はしきい値の計算が可能となる。既存のピクセル輝度及びビンしきい値を繰り返し分析することにより、各ビン内のピクセルの数を最適化して、均等化したヒストグラムを形成する。ヒストグラム均等化システムの他の実施例では、ソフトウェアを用いて、ハードウェアに基づいたヒストグラム収集器を最適化している。単位ピクセル当たりNビットのラスタ化入力画像を、N対nのマッパー(Nビットをnビットにマッピングする手段)により処理する(N>n)。2重ランク・マップ・ロジック・サブルーチン手段は、粗いヒストグラム・ビン又はしきい値の第1組と、細かいしきい値又はニブルの第2組を形成する。細かいニブルの各々は、単一の粗いしきい値又はビン内に存在する16個の等間隔のビンである。ヒストグラム均等化関数調整アルゴリズムは、粗いしきい値の分布を連続的に試験し、遷移点を調整して、適正化されたヒストグラムを作成する。
上述の如く、本発明によれば、表示器に利用できる輝度の範囲にわたって既存の出力画像ピクセル輝度が略均等に分布するように、ヒストグラム内に存在する出力画像ピクセル輝度分布の境界を再定義することにより、表示の分解能及び精度を改善できる。
テレビジョン掃引信号の入力画像のヒストグラムの例を示す図である。 図1に示すヒストグラムにヒストグラム均等化を適用する入力対出力伝達関数の例を示す図である。 図2に示す伝達関数を適用した後のテレビジョン掃引心の出力画像のヒストグラムの例を示す図である。 本発明の原理を適用したオシロスコープに用いる手段のブロック図を示す図である。 本発明の第1実施例を用いたオシロスコープの一部のブロック図である。 本発明の第1実施例におけるソフトウェアの一部を説明する流れ図である。 本発明の第2実施例のブロック図である。 図7に示すマッパーが適用する伝達関数の効果を説明する図である。 図7に示すマッパーのブロック図である。 本発明に用いる粗いしきい値決定関数に用いるマッピングしきい値ロジックを説明する図である。 従来のオシロスコープの表示を示す図である。 本発明が処理する画像に適用される粗い及び細かいしきい値決定関数の関係を説明するブロック図である。 図7に示すマッパーの詳細なブロック図である。 本発明で用いる粗いニブル・マッパー・ロジックのブロック図である。 本発明に用いる細かいニブルしきい値決定関数用のマッピングしきい値ロジックを説明する図である。 本発明のヒストグラム均等化原理を用いたオシロスコープが表示する画像を示す図である。
符号の説明
32 伝達関数
34 デマルチプレックサ
36 グラフィック・アダプタ
37 表示ドライバ
60 ラスタライザ
61 マッパー(変換手段)
62 デシメータ
63 データ・サンプル
64 ラスタ化画像データ
65 マップ・プレーン
66 DRAM
78 しきい値レジスタ
80 輝度ビン
105 ヒストグラム・データ収集及び均等化システム
107 メモリ制御器
110 ヒストグラム収集器
148 出力画像
150 コンピュータ・プログラム(ヒストグラム均等化関数手段)
157 2重ランク・ロジック・プログラム手段
158 マッパー出力インタフェース
160 マッパー(変換手段)
161 再整理バッファ
162 再整理バッファ
201 非線形マッピング関数(ヒストグラム均等化関数手段)
212 細かいニブル関数手段
221 演算子手段
225 マップ・レジスタ
226 マップ点読み出し手段
227 マップ・プリマップ・カウンタ
228 マップ再整理バッファ段
229 再整理バッファ・ポッパー又はカウンタ
231 A/D変換器
232 デマルチプレックサ

Claims (2)

  1. オシロスコープに表示する画像用に形成するヒストグラムを作成し連続的に調整する装置であって、
    ラスタ化入力画像を受ける手段と、
    上記装置の構成要素とデータの授受を行うマイクロプロセッサと、
    上記ラスタ化入力画像を蓄積するラスタ・プレーンとしてのメモリと、
    上記ラスタ・プレーン内に含まれる画像データを、マップ・プレーンとしてのメモリに蓄積する画像データに変換する変換手段と、
    上記マップ・プレーンに蓄積された画像データのヒストグラムを作成するヒストグラム収集器と、
    上記マップ・プレーンのピクセル輝度が上記ヒストグラム内に略均等に分布するようにヒストグラム特性を調整するヒストグラム均等化関数手段と
    を具えたヒストグラム調整装置。
  2. 複数のピクセル輝度ビンを更に具え、上記変換手段により、各ビンが略均等な数のマップ・プレーンのピクセルを含むことを特徴とする請求項1のヒストグラム調整装置。
JP2008039961A 2002-02-12 2008-02-21 ヒストグラム調整装置 Expired - Lifetime JP4722953B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US35688302P 2002-02-12 2002-02-12
US60/356,883 2002-02-12
US10/338,206 2003-01-07
US10/338,206 US7139426B2 (en) 2002-02-12 2003-01-07 Histogram data collector for applying progressively adjusted histogram equalization to an oscilloscope image

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2003033823A Division JP4102214B2 (ja) 2002-02-12 2003-02-12 ヒストグラム収集装置

Publications (2)

Publication Number Publication Date
JP2008122423A true JP2008122423A (ja) 2008-05-29
JP4722953B2 JP4722953B2 (ja) 2011-07-13

Family

ID=27623218

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2003033823A Expired - Lifetime JP4102214B2 (ja) 2002-02-12 2003-02-12 ヒストグラム収集装置
JP2008039961A Expired - Lifetime JP4722953B2 (ja) 2002-02-12 2008-02-21 ヒストグラム調整装置
JP2008039962A Expired - Lifetime JP4709239B2 (ja) 2002-02-12 2008-02-21 ヒストグラム均等化方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2003033823A Expired - Lifetime JP4102214B2 (ja) 2002-02-12 2003-02-12 ヒストグラム収集装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2008039962A Expired - Lifetime JP4709239B2 (ja) 2002-02-12 2008-02-21 ヒストグラム均等化方法

Country Status (3)

Country Link
US (1) US7139426B2 (ja)
EP (1) EP1336852A3 (ja)
JP (3) JP4102214B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10423853B2 (en) 2016-02-25 2019-09-24 Canon Kabushiki Kaisha Information-processing apparatus and information-processing method for generating distribution of brightness-related value of image data

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8287800B2 (en) * 2002-12-20 2012-10-16 The Procter And Gamble Company Method for making a polymeric web exhibiting a soft and silky tactile impression
US8825896B2 (en) * 2003-06-16 2014-09-02 Interactic Holdings, Inc. Scalable distributed parallel access memory systems with internet routing applications
US7840067B2 (en) * 2003-10-24 2010-11-23 Arcsoft, Inc. Color matching and color correction for images forming a panoramic image
JP4250595B2 (ja) * 2004-02-16 2009-04-08 キヤノン株式会社 信号処理方法及び信号処理回路
US7589728B2 (en) * 2004-09-15 2009-09-15 Lecroy Corporation Digital oscilloscope display and method for image quality improvement
CA2485887A1 (en) 2004-10-25 2006-04-25 Athentech Technologies Inc. Adjustment of multiple data channels using relative strength histograms
US7512269B2 (en) * 2005-08-04 2009-03-31 Asaf Golan Method of adaptive image contrast enhancement
JP2009505469A (ja) * 2005-08-08 2009-02-05 エヌエックスピー ビー ヴィ デジタル画像処理におけるコントラストの設定方法およびこのための装置
US8055077B2 (en) * 2005-12-02 2011-11-08 Tektronix, Inc. R/T display compression preserving intensity information
US7773805B2 (en) * 2005-12-30 2010-08-10 Aptina Imaging Corporation Method and apparatus for flare cancellation for image contrast restoration
US7747066B2 (en) * 2006-03-15 2010-06-29 International Business Machines Corporation Z-axis optical detection of mechanical feature height
US8102396B2 (en) * 2006-07-17 2012-01-24 Tektronix, Inc. Apparatus and method for improved measurement speed in test and measurement instruments
US8806321B2 (en) * 2007-06-26 2014-08-12 Oracle International Corporation Interactive controls and information visualization using histogram equalization
JP4656457B2 (ja) * 2008-11-13 2011-03-23 Necアクセステクニカ株式会社 画像処理システム
CN103185820B (zh) * 2011-12-29 2016-08-10 北京普源精电科技有限公司 一种具有自动光标追踪功能的示波器
DE102012201619A1 (de) 2012-02-03 2013-08-08 Rohde & Schwarz Gmbh & Co. Kg Messvorrichtung und Verfahren zur automatischen Anpassung des Kontrastes in der Bildschirmdarstellung
US20150097839A1 (en) * 2013-10-07 2015-04-09 Tektronix, Inc. Stochastic rasterization of waveform trace displays
EP2990809B8 (en) * 2014-08-29 2018-10-24 Rohde & Schwarz GmbH & Co. KG Measuring device with a display memory having memory cells with a reduced number of bits and a corresponding method
US20160293144A1 (en) * 2015-03-31 2016-10-06 Tektronix, Inc. Intensity information display
CN106815814B (zh) * 2016-12-26 2021-10-26 杭州施强教育科技有限公司 一种应用于阅卷系统的图像污染处理方法
KR102273373B1 (ko) * 2018-05-08 2021-07-06 주식회사 딥바이오 특정 데이터 군집의 종단지점 탐색 방법 및 이를 위한 데이터 처리시스템
CN109801246B (zh) * 2019-01-10 2022-11-01 华侨大学 一种自适应阈值的全局直方图均衡方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04183177A (ja) * 1990-11-19 1992-06-30 Matsushita Electric Ind Co Ltd 累積ヒストグラム回路および補間回路および画質補正回路
JPH0512432A (ja) * 1991-06-18 1993-01-22 Nec Corp デイジタル画像表示装置
JPH0630246A (ja) * 1992-07-13 1994-02-04 Nec Eng Ltd サマリ画像作成方式
JPH08272954A (ja) * 1995-03-29 1996-10-18 Fujitsu Ltd 画像データ変換装置
JPH0965252A (ja) * 1995-06-16 1997-03-07 Mitsubishi Electric Corp 階調補正装置
JPH11327532A (ja) * 1998-04-03 1999-11-26 Tektronix Inc 入力ピクセル輝度値のマッピング方法
JP2000028646A (ja) * 1998-06-05 2000-01-28 Tektronix Inc 残像減衰方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5530454A (en) 1994-04-13 1996-06-25 Tektronix, Inc. Digital oscilloscope architecture for signal monitoring with enhanced duty cycle
US6463173B1 (en) 1995-10-30 2002-10-08 Hewlett-Packard Company System and method for histogram-based image contrast enhancement
US5909244A (en) 1996-04-15 1999-06-01 Massachusetts Institute Of Technology Real time adaptive digital image processing for dynamic range remapping of imagery including low-light-level visible imagery
KR0176601B1 (ko) 1996-05-21 1999-05-01 김광호 저역 필터링과 히스토그램 등화를 이용한 화질개선 방법 및 그 회로
US5929842A (en) 1996-07-31 1999-07-27 Fluke Corporation Method and apparatus for improving time variant image details on a raster display
GB2357649A (en) 1999-12-22 2001-06-27 Nokia Mobile Phones Ltd Image enhancement using inverse histogram based pixel mapping
US6545681B2 (en) * 2001-02-28 2003-04-08 Medson Ltd. Method of displaying a stream of digital data on display area of a predetermined size

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04183177A (ja) * 1990-11-19 1992-06-30 Matsushita Electric Ind Co Ltd 累積ヒストグラム回路および補間回路および画質補正回路
JPH0512432A (ja) * 1991-06-18 1993-01-22 Nec Corp デイジタル画像表示装置
JPH0630246A (ja) * 1992-07-13 1994-02-04 Nec Eng Ltd サマリ画像作成方式
JPH08272954A (ja) * 1995-03-29 1996-10-18 Fujitsu Ltd 画像データ変換装置
JPH0965252A (ja) * 1995-06-16 1997-03-07 Mitsubishi Electric Corp 階調補正装置
JPH11327532A (ja) * 1998-04-03 1999-11-26 Tektronix Inc 入力ピクセル輝度値のマッピング方法
JP2000028646A (ja) * 1998-06-05 2000-01-28 Tektronix Inc 残像減衰方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10423853B2 (en) 2016-02-25 2019-09-24 Canon Kabushiki Kaisha Information-processing apparatus and information-processing method for generating distribution of brightness-related value of image data
US10997454B2 (en) 2016-02-25 2021-05-04 Canon Kabushiki Kaisha Information-processing apparatus and information-processing method for generating waveform information of input image data

Also Published As

Publication number Publication date
JP2008122424A (ja) 2008-05-29
EP1336852A3 (en) 2004-05-06
JP4722953B2 (ja) 2011-07-13
US7139426B2 (en) 2006-11-21
JP4102214B2 (ja) 2008-06-18
US20030152266A1 (en) 2003-08-14
EP1336852A2 (en) 2003-08-20
JP4709239B2 (ja) 2011-06-22
JP2003270270A (ja) 2003-09-25

Similar Documents

Publication Publication Date Title
JP4722953B2 (ja) ヒストグラム調整装置
US7072521B1 (en) System and method for the compression and quantitative measurement of movement from synchronous video
US5929842A (en) Method and apparatus for improving time variant image details on a raster display
EP0901636B2 (en) Digital oscilloscope display and method therefor
US5550963A (en) Graded display of digitally compressed waveforms
KR100703139B1 (ko) 이상 파형에 대한 반응
JP3375062B2 (ja) ベクトル変換方法
KR20000005945A (ko) 이상파형의검출
KR100720013B1 (ko) 래스터 디스플레이 디지털 오실로스코프에서 래스터 메모리의 내용에 잔상 감쇠를 제공하는 방법
JP3610273B2 (ja) デジタル試験測定機器の調整方法及び装置
KR100559354B1 (ko) 가변 휘도 래스터라이저로부터 가변 휘도 또는 컬러 표시장치로의 픽셀 당비트 수 감소 방법
CA2130164A1 (en) Digital image processing apparatus
JPH11326388A (ja) デジタル・オシロスコ―プにおけるラスタライザの利用性を最大化する方法
JP3563639B2 (ja) ラスタ走査型デジタル信号取込み及び波形表示装置の動作方法
KR100559351B1 (ko) 가변 휘도 또는 컬러 디스플레이 및 가변 휘도 래스터라이저를 가진 디지털 오실로스코프에서 드문 사건 강조 방법
US11763777B2 (en) Image display device, image display system, image display method, and computer program for providing a low-luminance grayscale standard display function (GSDF) display
CN115689926A (zh) 色彩校正方法、装置、电子设备及存储介质
CN111728589A (zh) 一种基于医学红外热成像系统的彩色图像文件形成方法
CN111887891A (zh) 一种医疗超声设备图像显示的校正方法及系统
JP3571250B2 (ja) ラスタライザの機能維持方法
US11678067B1 (en) System and method for maintaining pixel intensity when rounding
US8045064B2 (en) Contrast control apparatus and method
JP4741224B2 (ja) 波形表示装置
Shijian et al. A new pseudo-coloring coding method for DPX image
EP3081946A1 (en) Intensity information display

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110308

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110318

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110405

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110406

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140415

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250