JP2005515412A - 媒体分類のためのクラスタ重み付きモデリング - Google Patents

媒体分類のためのクラスタ重み付きモデリング Download PDF

Info

Publication number
JP2005515412A
JP2005515412A JP2003559772A JP2003559772A JP2005515412A JP 2005515412 A JP2005515412 A JP 2005515412A JP 2003559772 A JP2003559772 A JP 2003559772A JP 2003559772 A JP2003559772 A JP 2003559772A JP 2005515412 A JP2005515412 A JP 2005515412A
Authority
JP
Japan
Prior art keywords
media
medium
input
image
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003559772A
Other languages
English (en)
Other versions
JP2005515412A5 (ja
JP4498743B2 (ja
Inventor
ガオ,ジュン
アレン,ロス・アール
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HP Inc
Original Assignee
Hewlett Packard Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Co filed Critical Hewlett Packard Co
Publication of JP2005515412A publication Critical patent/JP2005515412A/ja
Publication of JP2005515412A5 publication Critical patent/JP2005515412A5/ja
Application granted granted Critical
Publication of JP4498743B2 publication Critical patent/JP4498743B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B41PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
    • B41JTYPEWRITERS; SELECTIVE PRINTING MECHANISMS, i.e. MECHANISMS PRINTING OTHERWISE THAN FROM A FORME; CORRECTION OF TYPOGRAPHICAL ERRORS
    • B41J11/00Devices or arrangements  of selective printing mechanisms, e.g. ink-jet printers or thermal printers, for supporting or handling copy material in sheet or web form
    • B41J11/009Detecting type of paper, e.g. by automatic reading of a code that is printed on a paper package or on a paper roll or by sensing the grade of translucency of the paper

Landscapes

  • Ink Jet (AREA)
  • Accessory Devices And Overall Control Thereof (AREA)
  • Handling Of Sheets (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

確率的入出力システムを使用して、プリンタ用途において媒体(18)を分類する。確率的入出力システムは、少なくとも2つのパラメータを使用して、入力パラメータに対し同時従属性を有する出力を生成する。入力パラメータは、あり得る媒体の異なる種別(タイプおよび/またはグループ)の特質となるテクスチャの特徴を画像化する(26、28および32)ことから得られる画像関連測定値に関連する。出力は、格納された基準情報(62)と対象となる未知の媒体に特有の情報との相関における最適な一致である。非常に正確な分類結果を生成するために、クラスタ重み付きモデリング技法を使用する。画像化プロセス内では、グレイジング角照明(すなわち、画像化されている表面の法線に対して少なくとも45度の角度で光を導入する)が、未知の媒体の構造的な特徴(たとえば、紙繊維)を識別するために十分なコントラストを提供するが、鏡面反射測定値が得られる場合、非グレイジング照明を使用してもよい。

Description

本発明は、包括的には、媒体を分類する方法およびシステムに関し、より詳細には、プリント材料を付着させる媒体のタイプを分類することに関する。このため、本発明は、インクジェットプリントおよび湿式または乾式電子写真プリントを含む用途において使用することができる。
インクを付着させる前に、再生紙、光沢紙または他の何らかの媒体タイプであるとプリント媒体を分類することには利点がある。分類をすることにより、用紙に適合するプリントモードにプリンタを設定することができ、プリント品質が低下しない。プリントモードにおいては、ピクセル位置毎のインク滴の数、プリントプロセス中のインクカートリッジによるパスの数およびカラーマップの選択等の、ラスタ画像処理技法と書込みシステムパラメータとの両方に影響を与える可能性があるプリントパラメータが設定される。また、プリント媒体の分類により、プリントエンジンに対する損傷の発生が低減する可能性もある。たとえば、インクジェット透過フィルムによっては、その上のコーティングが、市販の電子写真プリンタのフューザローラ上で溶解する可能性があり、それによりフューザローラを交換する必要のある損傷がもたらされる。
多くのプリントドライバでは、ユーザには、プリント媒体を手動で特定することができるようにされている。このため、ユーザに対する選択を可能にするプリントドライバダイアログボックスを提示する場合がある。しかしながら、この機能はしばしばユーザによって無視される。可能な媒体のリストから媒体を選択する代りに、ユーザは、普通紙・標準モードのデフォルト設定を受け入れる場合がある。結果として、ユーザがプリンタに高価な写真媒体(フォト媒体)を挿入した場合であっても、標準モードが選択されている場合、結果としての画像は標準レベルに達しない。
ユーザの介入を必要とすることなく特有のタイプの使用される媒体に対し最適なプリントモードをプリンタが採用するための1つのあり得るシステムは、プリント媒体の一部の上かまたはプリント媒体を支持する保持器(たとえば、用紙トレイ)の上のバーコードを利用する。Austin他に対する米国特許第5,488,223号は、バーコードを検出するとプリントパラメータを自動的に選択するシステムおよび方法を記載している。プリンタは、媒体タイプを識別しプリント速度、プリントヘッド圧力および噴射時間等のプリントパラメータを設定するために使用されるバーコードスキャナを有する。
プリント媒体タイプを自動的に分類する別の手法では、透過率を検知することおよび反射率を検知することのうちの一方または両方が利用される。たとえば、紙上で測定されるようにおよそ40μmのピクセルサイズで拡散および鏡面反射を検知する、媒体タイプ検出器を使用する場合がある。媒体タイプが異なると、2つの反射率の値の比が異なることとなる。この手法を実施するために、反射率比のルックアップテーブルを有するデータベースを使用して、比をプリント媒体の異なるタイプと相関させる。
従来技術による手法は、それらの意図された目的に対し適度に作用するが、必要なものは、高レベルの精度および低レベルの複雑さで媒体タイプを安価に識別する自動化された方法およびシステムである。
[発明の要約]
少なくとも2つの入力パラメータと、入力パラメータに対し同時従属性(joint dependency)を有する出力とを有する、確率的入出力システムを生成することによって媒体分類を達成する。この確率的入出力システムは、異なる種別の媒体において特質となるテクスチャの特徴を画像化して得られた画像関連測定値に対して入力パラメータが関連付けされる、多次元構成とされる。出力は、格納された基準入力情報と、対象となる未知の媒体を画像化することによって得られる入力情報との相関において、最も一致するものである。
一実施形態では、この確率的入出力システムは、テクスチャ依存ベクトル(x)を媒体分類識別情報出力(y)に関連付ける。画像関連測定値を、適切な照明の入射角度での複数の異なる照明源の各々に対し平均と標準偏差とを計算することによって得てもよい。しかしながら、他の測定値を代りに用いることもできる。予備トレーニング手続きにおいて、各媒体種別の複数のサンプルに対し、測定された平均と標準偏差とのうちから平均と標準偏差とを計算して、基準としてルックアップテーブルに格納してもよい。媒体種別は、液滴量およびピクセル毎の液滴の数等、同様の記録特性と所望のプリントパラメータとに基づいて媒体タイプがグループ化される「グループ」とすることもできる。グループではなく、むしろ媒体種別は別個の媒体タイプであってもよい。
トレーニング手続きに続いて、対象となる未知の媒体を画像化し入力パラメータを確定すると、格納された基準と未知の媒体に関する情報との間の距離に応じて媒体分類を特定してもよい。このため、本手法を、クラスタ重み付きモデリング(cluster-weighted modeling、CWM)と呼んでもよい。このクラスタ重み付きモデリングでは、入力テクスチャ依存ベクトルを多次元データ分布にマッピングすることにより、同時確率密度が確立される。同時確率密度を使用して、データ分布内の確率クラスタを定義する。そして、確率クラスタを異なる媒体種別に関連付ける。
テクスチャの特徴を画像化することにより十分な情報を得るために、分類センサの選択および動作は重要である。いくつかの紙や透過フィルムの表面テクスチャは、グレイジング角照明(grazing angle illumination)を使用して最も容易に画像化することができるが、他の照明手法を使用してより容易に識別することができる他の媒体もある。たとえば、表面の特徴が非グレイジング角で照明される場合に、識別されるべきさまざまな媒体が各々区別可能な鏡面反射パターンを呈する用途など、いくつかの用途では、鏡面反射測定を可能とする照明が好ましい場合がある。「グレイジング角照明」という用語は、画像化されている媒体の表面に対して46度未満(すなわち、表面法線から45度以上)の入射角度を有する照明として定義する。好ましくは、入射角度は、表面法線から45度から75度までの範囲である。媒体タイプは、異なるタイプごとの特質となる、紙繊維等の特徴を備えた表面テクスチャを有している。すなわち、プリント媒体の各タイプは、媒体を分類するために使用してもよい特質としての表面テクスチャを有する。媒体タイプを示す表面の特徴は、およそ5μmとおよそ100μmとの間の範囲のサイズを有する傾向がある。イメージングセンサは、単一ピクセルを有してもピクセルのラインを有してもよいが、好ましくは、ピクセルの2次元アレイを採用する。
対象となる媒体の未プリント領域にわたる複数のサンプルから得られる測定されたグレイレベル値を収集することによって、表面テクスチャを識別することができる。媒体表面にわたって単一ピクセルセンサをスキャンし異なる位置での測定値を記録することにより、あるいは直線状または2次元アレイを使用することにより、複数のサンプルを得ることができる。ピクセル数が多くなることの利点は、単一表面領域にわたる複数のサンプルを使用して必要な情報を得ることができ、それによりセンサとプリント媒体との間の相対移動が必要でなくなる点にある。これにより、媒体が入力トレイ内で静止している間に、媒体分類を行うことができる。
一実施態様では、分類センサは、媒体の平面の法線に沿った光軸を有しており、異なる波長を有する複数の照明源(たとえば、緑および青の発光ダイオード(LED))によって照明される表面の画像を取り込む。グレイジング角照明を使用することにより、表面の特徴には媒体表面に沿った影ができる。いくつかのLEDを順次照明して、ピクセル測定値をその照明光源ごとに取得することもできる。表面法線に対して45度の入射角度で緑および青を用い、表面法線に対して75度の角度で赤および赤外線を用いるといったように、異なる入射角度で複数の照明源を使用することにより、より正確な分類を達成してもよい。トレーニングを使用して、異なる媒体タイプおよび/またはグループのルックアップテーブルを確立してもよい。
グレイジング角照明を介して入手可能な表面情報を収集することに追加してまたはその代替として鏡面反射情報が収集される場合、異なる媒体タイプおよび/またはグループの鏡面反射特性に対してルックアップテーブルを確立してもよい。必要なサンプルがより少ない用途によっては、鏡面情報を得るために非グレイジング照明が有利である。
クラスタ重み付きモデリングを使用することにより、媒体分類の問題に対する信頼性の高い解決法が提供される。照明源が緑および青のLEDであり入力パラメータが平均(μ)および標準偏差(σ)である用途において、未知の媒体が画像化されると、μとσとの値の新たな集合が確定される。クラスタ重み付きモデリングでは、入力ベクトルxj
j=|μgreenσgreenμblueσblue
として定義され、出力ベクトル(この場合、スカラーy)は媒体識別情報である。各未知の入力ベクトルxjを予測器に与え、予測器は、トレーニングベクトル対のセットからp(y,xj)(すなわち、xjに対するyの従属性に対する同時確率密度)を計算する。
本発明の利点は、プリント媒体を分類する低コストの信頼性の高い方法が、本方法を従来のプリンタ内で完全に実施することができるようにする規模で提供される、ということである。別法として、プリンタとプリンタをサポートするコンピュータとの間で処理を共有してもよい。方法およびシステムは、プリント媒体の表面テクスチャを微視的に画像化することによって動作し得る。たとえば、画像化される表面の特徴は、5μmから100μmまでの範囲にあってもよい。
[詳細な説明]
本発明は、未知の媒体を複数の所定の異なる媒体種別のうちの1つに関連付ける確率的入出力システムを利用する。関連付けは、特定の媒体の特質となる表面テクスチャを分類することに基づく。本発明は、他の用途に使用してもよいが、インク等のプリント材料を付着させる未知の媒体を分類するために特に適している。この用途では、媒体の分類を使用してプリントパラメータを設定する。
本発明を実行するために、クラスタ重み付きモデル(cluster-weighting model(CWM))フレームワークを使用してもよい。CWMアルゴリズムは既知であるが、媒体分類の技術分野において既知の手法ではない。したがって、Bernd SchonerおよびNeil GershenfeldによるNon-linear Dynamics and Statisticsの第15章、第365〜385頁の「Cluster-Weighted Modeling: Probabilistic Time Series Prediction, Characterization and Synthesis」と題された出版物の記載に従う形式で、背景を下に示す。
[クラスタ重み付きモデリングの背景]
クラスタ重み付きモデリングは、入力される特徴と目標データとの集合の確率密度推定に基づいて予測を形成するために使用することができる。適切にトレーニングされたCWMは、影響の領域に従ってデータ空間のサブセットであるクラスタを定義する。異なるクラスタの影響は、ガウシアンの基底項によって重み付けされる。しかしながら、各クラスタは、線形回帰関数等の単純なアルゴリズム的モデルを表す。すなわち、CWMは非線形モデルであるが、従来の線形分析は局所モデル内で適用可能である。
まず、入力される特徴(x)の集合を選択し、目標ベクトル(y)の出力を識別する。後述する媒体を分類する用途において、入力される特徴は画像に関連した特徴(たとえば、平均値および標準偏差値)であり、yは媒体のスカラー識別情報である。トレーニングプロセス中、ベクトル対
Figure 2005515412
の集合を使用する。xへのyの従属性に対する同時密度p(y,x)を、ベクトルのトレーニングセットから確定する。そして、xが与えられた場合の予測されたy(y|x)とxが与えられた場合のyの予測された共分散(Py|x)とを確定することが可能である。
同時密度を、クラスタ(cm)において展開することができる。クラスタの各々は、入力影響領域と出力分布:
Figure 2005515412
とを有する。
非線形システムモデリングは、線形係数βΘmを用いるモデルを使用し非線形基底関数f(x)を使用する。
Figure 2005515412
代替として、モデルは非線形の内部に係数を有してもよい。
Figure 2005515412
CWMでは、クラスタはEq.1を満足する局所モデルであり、大域モデルはEq.2を満足する。局所パラメータは、局所共分散行列の特異値分解逆行列においてフィッティングされる。大域的重み付けを確定する残りのクラスタパラメータを、データセットが与えられ初期条件が与えられた場合にモデル尤度を最大化する反復探索である、期待値最大化(expectation-maximization(EM))アルゴリズムの変形を使用して得る。クラスタパラメータに対する開始値を、用途に基づいて選択してもよく、あるいはランダムに選択してもよい。そして、期待値ステップ(expectation step)(Eステップ)を実施することができる。
期待値ステップは、クラスタをデータ点に関連付ける事後確率を評価することを含む。事後確率は、特定のデータ(y,x)によって特定のクラスタ(cm)が生成される確率(p)、すなわち、データ点に対するクラスタの正規化された信頼度を提供する。それにより、
Figure 2005515412
となり、ここで、クラスタは、分母にある和を通じて相互作用し、そのクラスタによって最もよく説明されるデータの専用のものとなる。
次のステップは、最大化ステップである。このステップでは、データの尤度を最大化するクラスタパラメータを見つける。クラスタ重みに対し、これを
Figure 2005515412
によって確定する。最大化ステップは、密度にわたる積分を密度から引き出される変数にわたる平均によって近似することができるという結論から得られる。
次の計算は、各クラスタに対する予期された平均入力、つまりクラスタ平均の推定値:
Figure 2005515412
を確定することである。
出力ベクトルyをEq.6の第2行に導入することにより、入力空間内のクラスタ位置と出力空間における入出力システムの性能との両方に基づいて推定を行うことができる。すなわち、クラスタを、データが説明される位置とモデルがいかに適切にデータを説明するかとの両方に基づいて定義することができる。所与のp(cm)に対し、任意の関数θ(x)のクラスタ重み付き期待値を、
Figure 2005515412
と定義する。
クラスタ重み付き期待値を使用して、クラスタ重み付き共分散行列:
[Pmij=〈(xi−μi)(xj−μj)〉m (Eq.8)
を計算することができる。
局所モデルを更新するために、パラメータ:
Figure 2005515412
に関して全尤度関数の対数の導関数をとることによってモデルパラメータを見つける。
単一出力yと単一係数βmとの場合には、
Figure 2005515412
となる。Eq.1をEq.9と組合わせると、βmを更新する式:
Figure 2005515412
が得られる。モデルパラメータのセット全体に対し、Eq.11を
Figure 2005515412
まで拡張する。ここで、
[Bmij=〈fi(x,βm)・fj(x,βm)〉m (Eq.13)
[Amij=〈yi・fj(x,βm)〉m
である。最後の計算として、異なるモデルに関連する出力共分散行列を、
y,m=〈[y−〈y|x〉]2m
=〈[y−f〈x,βm〉]・[y−f(x,βm)]Tm (Eq.14)
によって推定することができる。まとめると、CWMプロセスは、複数のステップを含む。第1のステップは、初期化条件とクラスタ値とを選択することである。この第1のステップを、用途に適合させてもよく、あるいはこれは本質的に準ランダムであってもよい。第2のステップは、データp(y,x|cm)の確率を評価することである。そして、クラスタ(cm|y,x)の事後確率を見つける。
更新ステップにおいて、複数の計算を実行する。更新には、(1)クラスタ重みp(cm)と、(2)入力平均
Figure 2005515412
に対するクラスタ重み付き期待値と、(3)分散
Figure 2005515412
または共分散
Figure 2005515412
と、(4)最尤モデルパラメータ
Figure 2005515412
と、(5)出力分散
Figure 2005515412
と、を再計算することが含まれる。そして、プロセスは、データの確率を評価する第2のステップに戻る。ループは、全データ尤度がそれ以上増大しなくなるまで続く。
[媒体分類の実際的な用途]
図1を参照すると、本発明の媒体分類機能を利用するプリンタ10が、本体12とヒンジカバー14とを有するように示されている。媒体分類を、他の用途においておよび湿式および乾式電子写真プリンタ等の他のプリンタにおいて採用してもよいため、図示するプリンタは、単に、本発明を使用してもよい装置の例である。プリンタ10は、従来の装置とすることができるインクジェットプリントヘッド16を含む。当該技術分野において既知であるように、インクジェットプリントヘッドは、一枚の紙等の媒体上にインクの液滴を噴射するように個々にトリガされる複数のノズルを有する。図1において、プリンタは、未だ指定されていない媒体のシート18を含む。このシートは、プリントプロセス中にインクジェットプリントヘッドの真下の領域に一枚ずつ移動される。
プリント媒体のシート18を、用紙経路に沿って一方向に進め、インクジェットプリントヘッドは、シートの移動に対して垂直な方向にシートにわたって横方向に移動する。インクジェットプリントヘッドを、トレイ移送レール22に沿って前後に移動するキャリッジ20に取り付ける。可撓性ケーブル24は、キャリッジのコンポーネントを図示しないプリントエンジンに接続する。可撓性ケーブルは、電源ライン、クロックライン、制御ラインおよびデータラインを含む。
プリンタ10のトレイのところに、イメージャ26が組み込まれている。後により完全に説明するように、イメージャ26によってプリンタはプリント媒体のタイプを確定することができ、それに従って、実現可能な最良のプリント品質を得るために、プリントエンジンのパラメータを調整することができる。さらに、いくつかのタイプの透過フィルムまたはいくつかの用紙の存在の識別情報を使用して、プリンタに対する損傷を防止することができる。たとえば、インクジェット透過フィルムによっては、その上のコーティングが、電子写真プリンタのフューザローラ上で溶解する可能性があり、フューザローラを取り替える必要のある損傷がもたらされる。
入力トレイ30内に収容される媒体に関する画像情報を得るために、イメージャ26を使用する。イメージャは、単一ピクセルかまたはピクセルのラインから形成されるセンサ28を有していることができる。しかしながら、好ましい実施形態は、ピクセルの2次元アレイを利用する。センサのピクセルのサイズに応じて、光学系は、ピクセル上にシートの表面の指定された領域を結像させる。通常、媒体表面の視野領域は、5μmからおよそ100μmまでの範囲(10μmから40μmが好ましい)の辺を有する正方形である。しかしながら、図2のイメージャ26の例では、センサ28を矩形であるように示す。
図1のシート18の表面テクスチャを、シートの未プリント領域にわたって複数のサンプルによって得られる測定されたグレイレベル値の集まりによって特徴付けることができる。シート表面にわたって単一ピクセルセンサをスキャンして異なる位置で測定値を取ることによって、複数のサンプルを得ることもできる。しかしながら、図2のラインセンサまたは2次元センサ28を使用することの利点は、センサと媒体との間の相対的な移動を必要とすることなく、シートの表面の領域にわたり複数のサンプルを得ることができる、ということである。これは、入力トレイ30内でプリント媒体を分類する機構を簡略化するために有用である。
図1の代替態様として、センサ(単一ピクセル、ラインピクセルまたはエリアピクセル)は、シートがトレイ30から用紙経路上に供給されるにしたがい、プリント媒体の複数のサンプルを蓄積してもよく、あるいは、センサを、用紙経路に沿った位置に配置してもよい。ここで、センサを適所に固定することもでき、あるいはイメージャを移動させるスキャンキャリッジに取り付けることもできる。図3は、イメージャ32がプリントヘッドキャリッジ20に取り付けられる実施形態を示す。この実施形態に関らず、目的は、表面テクスチャの変化を評価するために、異なる位置において複数のサンプルを蓄積することである。概して、目的は、サンプルの数を増加させることによりサンプリング統計を向上させることである。
図2の画像センサ28は、好ましくは、プリント媒体上の視野38の平面に対する法線に沿ってその光軸34を有する。光軸に沿って光学要素36を配置することにより拡大を可能にするが、拡大レベルは1つであってもよい。図2は、1枚の用紙であり得るプリント媒体の上面に沿った視野38を示す。結像光学系に遮断フィルタを付加することにより、背景照明の望ましくない波長の光がセンサ28に到達しないようにすることができる。
重要ではないが、図2の実施形態は、複数の照明源40および42を有する。2つの照明源は、各照明下でピクセル測定を可能にするように連続的に照明される緑および青のLEDであり得る。
照明サブアセンブリの各々には、その光源40または42と、集光レンズ44または46と、円柱レンズ48または50と、プリズム52または54とがある。円柱レンズの機能は、関連する照明源40または42からの通常円形のビーム断面を高アスペクト比の楕円形に変換することにより、視野38のアスペクト比によりよく一致させることである。したがって、センサ28が正方形形状を有する場合、円柱レンズによるビームの再構成は必要でない。プリズムを使用して、ビームを、プリント媒体上への所望の入射角度に偏向させる。入射角度は、グレイジング角照明(すなわち、プリント媒体の表面の法線に対して少なくとも45度である照明)を提供する。表面法線からの45度から75度までの範囲の入射角度が好ましいが、グレイジング角照明の代りにまたはそれに加えて、鏡面反射情報を得る非グレイジング角照明が好ましい用途もある。一例として、緑LEDは表面法線に対して45度の光を提供してもよく、赤LEDは75度の光を提供する。グレイジング角照明の不都合は、小型化によって、および領域変形等の要因からプリント媒体の局所傾斜からもたらされる潜在的な方向・反射効果によって課される、機械的干渉の制約がある、ということである。照明に対し、結像光学系の被写界深度よりわずかに深い被写界深度を提供することが有益である。この設計はまた、照明とサブアセンブリとの間の位置合せ誤差に適応するために、視野38の周辺を越えて照明の十分な余裕を提供しなければならない。
後により完全に説明するように、ピクセルデータのグレイレベル値の平均とそれらの標準偏差とを、異なる波長および異なる入射角度の照明下の微視的な表面テクスチャの画像から導出する。平均値は媒体の平均反射率であり、標準偏差は媒体のテクスチャ粗さの測定値を表す。図2のイメージャ26を使用すると、グレイジング角照明のために、紙繊維または画像化されているプリント媒体に固有の他の構造的特徴から影が生じる。当然ながら、透過シートは紙繊維を含まないが、しばしばかかる媒体の特質となる、熱により生じる表面の特徴を含む。
ここで図4を参照すると、システムは、照明源40および42とセンサ28との動作を確定する画像化コントローラ56を有する。センサの出力を、画像処理コンポーネント58に向ける。このコンポーネント58内では従来の画像処理を実施する。グレイレベル値を、入力ベクトル導出コンポーネント60に出力する。このコンポーネントは、本発明である確率的入出力システムの入力ベクトルを確定する。緑および青の照明源下でサンプルが取り出される実施形態における各入力ベクトル(xj)を
Figure 2005515412
として定義してもよい。入力ベクトルを、ルックアップテーブル64にアクセスする予測器62で受け取る。トレーニングプロセス中、さまざまなタイプの媒体からのデータサンプルを得て、各光源に対する平均と標準偏差とを関連する入射角度に対して計算する。そして、各媒体タイプに対する平均および標準偏差のうち平均(μ)と標準偏差(σ)とを計算しルックアップテーブル64に格納する。その後、未知の媒体を画像化する場合、新たな情報のμおよびσの新たなセットを計算する。ルックアップテーブルに格納された基準セットからの新たなセットの距離を確定する。そして、距離の何らかの関数により媒体タイプおよび/またはグループを識別する。最も単純な形態では、目的は、最小距離を見つけることである。この最も単純な解決法は、CWM処理において媒体タイプの数と同じ数のクラスタを使用することにいくらか似ている。この最も単純な手法は、媒体データ群(clouds)が比較的対称的であり非特異である場合、満足のいく結果を提供する。しかしながら、媒体分類の多くの用途において、μ/σデータ群は、それらの影響領域において対称的でも非特異でもない。かかる用途では、CWMフレームワークは好ましい。この手法に関らず、予測器62は、媒体の指標をプリントコントローラ66に提供し、プリントコントローラ66はそれに従ってプリントパラメータを設定する。
ここで、図5を参照してプロセスについて説明する。ステップ68において、システムを初期化する。初期化には、イメージャの較正と、確率的入出力システムの初期構成を提供することとが含まれる。一用途では、光学系を、媒体表面におよそ20μmから25μmの光学的ぼけサイクルで8平方μmのピクセル解像度を達成することを確実にするように設計し焦点合せする。センサの較正に関し、任意の画像センサおよびデータ収集システムに関連するいくつかのノイズ源がある。可能な場合はノイズを低減させるべきである。主なノイズ源は、(1)センサ電子ノイズ(暗電流)と、(2)センサ光子ショットノイズと、(3)ピクセル毎の変動と、(4)照明源によってもたらされる照明不均一性とである。最初の2つのノイズ源は本質的にランダムであり、それを平均化によって有効に低減することができる。測定に対するそれらの影響は、適切な照明レベルを選択することにより、小さくなる。センサのピクセル毎のノイズは、固定の高空間周波数ノイズであり、照明不均一性は、固定の低空間周波数効果である。これらの2つのノイズの潜在的な影響は重大である。それらの効果を低減する方法には、いくつかの輝度レベルで照明される白色タイルを画像化してサンプルを取り出すことがある。高周波数効果と低周波数効果とを分離し、平均照明によって決まる値を有する訂正ルックアップテーブル(図示せず)を、個々のピクセル出力にアドレス指定する際に使用する。
任意に、初期化ステップ68は、サンプリングされるプリント媒体の各シートを支持する黒色タイルを提供することを含んでもよい。これにより、複数のシートを貫通する可能性のある光の効果が無くなる。結果として、トレーニングプロセス中に、より一貫した最適化されたサンプリング環境が提供される。トレーニングプロセスで使用されるタイルの光学吸収特性が、実際の測定中にもたらされるものと同じであることが重要である。具合の良いことに、黒色タイルを、非反射型チャンバへの開口と置き換えることができ、それは同様の結果をもたらすはずである。
本アルゴリズムは局所尤度最大で終わることを保証するのみであるため、初期化ステップ68では、クラスタを任意に初期化するべきではない。トレーニング時間を節約しデータのより優れた収束を提供するために、クラスタを、それらの最終位置に予測できる可能な限り近くに配置しなければならない。初期クラスタ位置を選択する方法を、最初に初期クラスタ確率として1/N(Nはクラスタの数)を選択することによって実施してもよい。次のサブステップは、トレーニングセットからクラスタと同程度の多くの点をランダムに選択し、これらの点を用いてクラスタ入力機構とクラスタ出力機構とを初期化することである。残りの出力係数は、ゼロに設定しなければならない。そして、データセットのサイズと空間寸法とを、初期クラスタ分散として使用することができる。正規化に関し、任意のデータ値により確率が非常に小さくなる可能性があるため、トレーニングセットを、平均が0、分散が1となるように正規化することが必要である場合がある。
特定の用途に対しいくつのクラスタが最適であるかに関しいかなるルールもない。クラスタの数は、識別可能な出力の数、この場合は媒体種別の数より多くなければならない。しかしながら、クラスタの数が多ければ識別力が優れているとは限らない。小さいクラスタの数が多すぎる場合は、特に異なる媒体種別に属する多くの小さいクラスタにより領域が占められる場合、帰属関係を確立することが困難である可能性がある。それは、クラスタの数が一定である場合に予測値ステップと最大化ステップ(上記参照)との間のトレーニング反復の数にも当てはまる。したがって、クラスタの数およびトレーニングの数が増加する反復探索を経験的に実施し確定してもよい。たとえば、7つの類似する媒体のサンプルの場合、24のクラスタと23の反復とが最適であると判断され、このときに正確さが最高の分類重みが得られた。図6のCWMデータ空間に24のクラスタの簡略化したものを示す。
図5のステップ70において、確率的入出力システムを、図6に示すもののようなモデルを提供するようにトレーニングする。トレーニングプロセス中、ベクトルの対
Figure 2005515412
のセットを使用して、局所モデル(クラスタ)がy=βm・xを満足するCWM入出力モデルを提供する。その後、図4の予測器62に未知の入力ベクトルxjを与えると、予測器は、トレーニングされたCWMモデルに従ってp(y,xj)を計算することにより媒体種別のすべてに関するその入力ベクトルの確率を提供する。上述したように、媒体分類を、1つのタイプの媒体または媒体タイプのグループの一方または両方に関連付けてもよい。未知の媒体が特定の媒体グループに属する確率を、その媒体グループに属する異なる媒体タイプに対し確率のすべてを付加することにより確定することができる。
ステップ70におけるトレーニングプロセスは、特に異なる媒体サンプルのすべてを収集するプロセスにおいて、時間がかかるとともに計算負荷が高い。各媒体タイプに対し、媒体分布(すなわち、「媒体群」)の信頼性の高い推定を提供するために数千個の入力ベクトルを得る場合がある。それは、必要な統計的計算および行列処理のために計算負荷が高い。幸いなことに、このプロセスは、オフラインで、しかも、特定のプリンタに対しては、使用される媒体タイプ/グループのすべてに対して一度だけ行なえば、実施することができる。このため、新たな媒体タイプまたは新たな媒体グループが導入された場合かまたはイメージャに対して変更が行われた場合にのみ、トレーニングプロセスを更新する。
プリンタとそのホストコンピュータとの間に双方向通信が存在しホストに適切なソフトウェアがインストールされている場合、各新たな媒体分類に対してプリンタをトレーニングすることが実際的である。この場合、追加の媒体分類に対するトレーニングを、プリンタがアイドル状態である時間中に行うことができる。媒体分類センサは、ホストコンピュータに対し、処理し新たな媒体タイプサンプルと関連付けるために生ピクセルデータを提供する。
プリンタ内で媒体分類解決法を完全に実施することが可能である。この場合、プリンタ資源は、特定のプリントアルゴリズムを行うためにラスタ画像データを最適化する何らかの画像処理能力を有していなければならない。しかしながら、プリンタとそのホストコンピュータとが処理において協働してもよい。
クラスタパラメータのサイズを、入力および出力の寸法によって確定する。したがって、図4のルックアップテーブル64の記憶のための要件を、クラスタの数と入出力ベクトルの対の寸法とによって確定する。ルックアップテーブルは、およそ数キロバイトで、相対的に小さくてもよい。したがって、媒体センサを有するプリンタにおいてCWMを完全に実施するためには、現行のメモリ規格に対して極めて小さい、数キロバイトのフットプリントを有していなければならない。
図5のトレーニングステップ70の後に、システムは完全に使用可能となる。ステップ72において、特定のタイプの用紙等の未知の媒体に対し、図2および図4のセンサ28を使用して画像化する。ステップ74において、画像データから入力ベクトルxjを導出する。ステップ76に示すように、媒体タイプを分類するために、結果としての入力ベクトルをルックアップテーブル64内に格納されたデータと整合する。ステップ78において、識別された媒体タイプに基づき、液滴サイズ等のプリントパラメータをプリントコントローラ66によって調整することができる。
本発明を、(1)紙繊維等のテクスチャの特徴を特徴づける微視的な画像化と、(2)グレイジング角照明と、(3)測定値によって特徴付けられる媒体種別に画像関連測定値を整合させるためにCWM技法を使用することと、(4)整合に基づいてプリントパラメータを調整することとの組合せであるものとして説明し例示した。しかしながら、なんらかの変更は予め考慮されている。たとえば、プロセスを、液滴サイズ等のプリントパラメータが考慮されない用途において使用してもよい。さらに、上述したように、グレイジング角照明に加えてまたはその代わりとして非グレイジング角照明を使用してもよい。このため、本発明は、その好ましい実施形態に限定されるものではない。
本発明の媒体分類機能を有し、その機能が用紙トレイレベルで実施されるプリンタの斜視図である。 図1のイメージャの斜視図である。 プリントヘッドキャリッジレベルで媒体分類機能を有するプリンタの斜視図である。 図1のプリンタのコンポーネントのブロック図である。 本発明を実施するステップのプロセスフローである。 データのクラスタを示すデータ空間の例である。

Claims (10)

  1. 少なくとも2つの入力パラメータと、該入力パラメータに対し同時従属性を有する出力とを有する確率的入出力システムを生成するステップであって、前記入力パラメータは、媒体の異なる種別の特質となるテクスチャの特徴を画像化することにより得られる画像関連測定値に関連付けされており、前記出力は媒体種別の識別情報である、確率的入出力システムを生成するステップ(68)と、
    対象となる媒体のテクスチャの特徴に関する画像情報を得るよう前記対象となる媒体を画像化するステップであって、前記テクスチャの特徴は、前記対象となる媒体の構造に関連するものである、対象となる媒体を画像化するステップ(72)と、
    前記画像情報から前記画像関連測定値を求めるステップ(74)と、
    前記画像情報から求められた前記画像関連測定値を前記入力パラメータとして使用するステップを含み、前記対象となる媒体を、ある選択された前記媒体種別に関連付けるように前記確率的入出力システムを採用するステップ(76)と
    を含んでなる、媒体(18)を分類する方法。
  2. 前記確率的入出力システムを生成するステップ(68)は、テクスチャ依存ベクトル(x)を媒体識別情報出力(y)に関連付けるステップ(70)を含み、前記入力パラメータは前記テクスチャ依存ベクトルのパラメータである、請求項1に記載の媒体を分類する方法。
  3. 前記確率的入出力システムを生成するステップ(68)は、前記媒体種別の反射率の平均値(μ)と前記反射率の標準偏差(σ)とを前記入力パラメータとして使用するステップを含む、請求項2に記載の媒体を分類する方法。
  4. 前記対象となる媒体上にプリント材料を付着させるためのプリントパラメータを設定するステップであって、該プリントパラメータの設定を前記確率的入出力システムの前記出力に基づくものとするステップを含む、プリントパラメータを設定するステップ(78)をさらに含む請求項1に記載の媒体を分類する方法。
  5. 前記確率的入出力システムを生成する前記ステップ(68)は、
    前記媒体種別の各々の複数のサンプルを画像化するステップ(28)と、
    画像が形成される前記サンプルの各々に対し前記画像関連測定値を計算するステップ(58)と、
    前記画像関連測定値に関連する前記入力パラメータに基づいて多次元データ分布において前記サンプルの各々をマッピングするステップであって、それにより、該マッピングによって確立された同時確率密度を使用して前記データ分布内の確率クラスタを定義するクラスタ重み付きモデル(CWM)を形成する、前記サンプルの各々をマッピングするステップ(60)と、
    前記確率クラスタを前記媒体種別に関連付けるステップ(62)と
    を含むものである、請求項1に記載の媒体を分類する方法。
  6. 前記確率クラスタを関連付ける前記ステップは、前記確率クラスタを前記媒体種別と相関させるルックアップテーブルを形成するステップ(62)を含む、請求項5に記載の媒体を分類する方法。
  7. 基準テクスチャ依存ベクトル(x)と媒体識別情報(y)との間の相関を示すクラスタ重み付きモデリング(CWM)データの記憶域を有し、前記テクスチャ依存ベクトルはさまざまな媒体の特質となる表面テクスチャを示すものである、メモリ(62)と、
    前記さまざまな媒体を格納し処理するように構成された媒体の格納および供給システム(10)と、
    該媒体格納および供給するシステムに関して位置決めされ、それによって格納され処理される媒体(18)の画像情報を取り込むイメージャ(26、28および32)と、
    前記画像情報を処理して前記媒体に特有のテクスチャ依存ベクトル(60)を導出するように構成されたプロセッサ(58)と、
    該プロセッサおよび前記メモリと協働し、前記導出されたテクスチャ依存ベクトルと前記基準テクスチャ依存ベクトルとの相関に基づき特定のプリントパラメータを選択し、該特定のプリントパラメータは前記媒体上の記録マークに特有である、プリント選択コントローラ(66)と
    を具備してなる、媒体を分類するシステム。
  8. 前記イメージャ(26、28および32は、前記媒体格納および供給システム(10)のトレイ(30)内の前記媒体を画像化するように配置される、請求項7に記載の媒体を分類するシステム。
  9. 前記イメージャ(26、28および32は、前記媒体(18)の特質となる表面の特徴を検出するために十分な解像度を有する、請求項7に記載の媒体を分類するシステム。
  10. 前記プロセッサ(58)は、前記画像情報から平均値と標準偏差値とを求めるように構成される、請求項7に記載の媒体を分類するシステム。
JP2003559772A 2002-01-15 2003-01-09 媒体分類のためのクラスタ重み付きモデリング Expired - Fee Related JP4498743B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/050,346 US6894262B2 (en) 2002-01-15 2002-01-15 Cluster-weighted modeling for media classification
PCT/US2003/000713 WO2003059630A1 (en) 2002-01-15 2003-01-09 Cluster-weighted modeling for media classification

Publications (3)

Publication Number Publication Date
JP2005515412A true JP2005515412A (ja) 2005-05-26
JP2005515412A5 JP2005515412A5 (ja) 2006-02-16
JP4498743B2 JP4498743B2 (ja) 2010-07-07

Family

ID=21964731

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003559772A Expired - Fee Related JP4498743B2 (ja) 2002-01-15 2003-01-09 媒体分類のためのクラスタ重み付きモデリング

Country Status (6)

Country Link
US (1) US6894262B2 (ja)
EP (1) EP1465775B1 (ja)
JP (1) JP4498743B2 (ja)
AU (1) AU2003202278A1 (ja)
DE (1) DE60336297D1 (ja)
WO (1) WO2003059630A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005055445A (ja) * 2003-08-05 2005-03-03 Samsung Electronics Co Ltd 画像形成のためのメディア判別方法及び装置
US7952715B2 (en) 2007-03-20 2011-05-31 Seiko Epson Corporation Printing device, method of controlling printing device, and recording medium

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6931350B2 (en) * 2003-08-28 2005-08-16 Hewlett-Packard Development Company, L.P. Regression-clustering for complex real-world data
US7397945B2 (en) * 2003-11-20 2008-07-08 Hewlett-Packard Development Company, L.P. Method and system of image segmentation using regression clustering
DE102004003613B4 (de) * 2004-01-25 2015-01-08 grapho metronic Meß- und Regeltechnik GmbH Vorrichtung und Erfassung eines Bildes von einem vorbestimmten Ausschnitt eines in Bewegung befindlichen Druckerzeugnisses
US7813581B1 (en) 2005-05-06 2010-10-12 Fitzpatrick Ben G Bayesian methods for noise reduction in image processing
US7860344B1 (en) 2005-05-06 2010-12-28 Stochastech Corporation Tracking apparatus and methods using image processing noise reduction
US7787145B2 (en) * 2006-06-29 2010-08-31 Lexmark International, Inc. Methods for improving print quality in a hand-held printer
US7715740B2 (en) * 2007-04-16 2010-05-11 Kabushiki Kaisha Toshiba Image forming apparatus with a laser record medium detecting device
US20090102793A1 (en) * 2007-10-22 2009-04-23 Microsoft Corporation Optical mouse
US8847888B2 (en) * 2007-12-18 2014-09-30 Microsoft Corporation Optical mouse with limited wavelength optics
US20090160773A1 (en) * 2007-12-20 2009-06-25 Microsoft Corporation Optical mouse
US20090160772A1 (en) * 2007-12-20 2009-06-25 Microsoft Corporation Diffuse optics in an optical mouse
US9481186B2 (en) 2011-07-14 2016-11-01 Datamax-O'neil Corporation Automatically adjusting printing parameters using media identification
JP5825070B2 (ja) * 2011-11-21 2015-12-02 セイコーエプソン株式会社 印刷装置、および印刷方法
EP2819848B1 (en) 2012-03-02 2017-06-28 Océ-Technologies B.V. Dot detection method and colour image reproduction apparatus
US9676216B2 (en) 2014-03-27 2017-06-13 Datamax-O'neil Corporation Systems and methods for automatic printer configuration
JP2015221509A (ja) * 2014-05-22 2015-12-10 セイコーエプソン株式会社 印刷装置、及び印刷方法
US9367005B2 (en) * 2014-06-04 2016-06-14 Lexmark International, Inc. Imaging device and method for determining operating parameters

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03202707A (ja) * 1989-12-29 1991-09-04 Canon Inc 基板実装検査装置
JPH03204089A (ja) * 1989-12-29 1991-09-05 Canon Inc 画像処理方法
JPH11344450A (ja) * 1998-06-03 1999-12-14 Hitachi Ltd 教示用データ作成方法並びに欠陥分類方法およびその装置
JP2000200356A (ja) * 1999-01-08 2000-07-18 Hitachi Ltd 欠陥分類方法およびその装置
JP2000301805A (ja) * 1999-03-05 2000-10-31 Hewlett Packard Co <Hp> 記録媒体の識別装置及び識別方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07209202A (ja) * 1994-01-21 1995-08-11 Canon Inc 表面状態検査装置、該表面状態検査装置を備える露光装置及び該露光装置を用いてデバイスを製造する方法
US5488223A (en) * 1994-09-13 1996-01-30 Intermec Corporation System and method for automatic selection of printer control parameters
US5724259A (en) * 1995-05-04 1998-03-03 Quad/Tech, Inc. System and method for monitoring color in a printing press
US5929432A (en) * 1996-05-30 1999-07-27 Kabushiki Kaisha Toshiba Solid state image sensing device and image sensor using the same
EP0920617A1 (de) * 1996-08-20 1999-06-09 Zellweger Luwa Ag Verfahren und vorrichtung zur erkennung von fehlern in textilen flächengebilden
DE19718122A1 (de) * 1997-04-29 1998-11-05 Giesecke & Devrient Gmbh Vorrichtung zur Detektion von eigenschaften eines Blattguts mit reflektiertem Licht
US6650779B2 (en) * 1999-03-26 2003-11-18 Georgia Tech Research Corp. Method and apparatus for analyzing an image to detect and identify patterns
US6594391B1 (en) * 1999-09-03 2003-07-15 Lucent Technologies Inc. Method and apparatus for texture analysis and replicability determination
EP1231565A1 (en) * 2001-02-09 2002-08-14 GRETAG IMAGING Trading AG Image colour correction based on image pattern recognition, the image pattern including a reference colour
US6517180B2 (en) * 2001-03-27 2003-02-11 Hewlett-Packard Company Dot sensing, color sensing and media sensing by a printer for quality control
US6826300B2 (en) * 2001-05-31 2004-11-30 George Mason University Feature based classification

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03202707A (ja) * 1989-12-29 1991-09-04 Canon Inc 基板実装検査装置
JPH03204089A (ja) * 1989-12-29 1991-09-05 Canon Inc 画像処理方法
JPH11344450A (ja) * 1998-06-03 1999-12-14 Hitachi Ltd 教示用データ作成方法並びに欠陥分類方法およびその装置
JP2000200356A (ja) * 1999-01-08 2000-07-18 Hitachi Ltd 欠陥分類方法およびその装置
JP2000301805A (ja) * 1999-03-05 2000-10-31 Hewlett Packard Co <Hp> 記録媒体の識別装置及び識別方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005055445A (ja) * 2003-08-05 2005-03-03 Samsung Electronics Co Ltd 画像形成のためのメディア判別方法及び装置
US7952715B2 (en) 2007-03-20 2011-05-31 Seiko Epson Corporation Printing device, method of controlling printing device, and recording medium

Also Published As

Publication number Publication date
EP1465775B1 (en) 2011-03-09
AU2003202278A1 (en) 2003-07-30
DE60336297D1 (de) 2011-04-21
WO2003059630A1 (en) 2003-07-24
US20030132366A1 (en) 2003-07-17
US6894262B2 (en) 2005-05-17
EP1465775A1 (en) 2004-10-13
JP4498743B2 (ja) 2010-07-07

Similar Documents

Publication Publication Date Title
JP4498743B2 (ja) 媒体分類のためのクラスタ重み付きモデリング
JP4486366B2 (ja) 記録媒体の識別装置および方法
US6291829B1 (en) Identification of recording medium in a printer
US6975949B2 (en) Full width array scanning spectrophotometer
US20040146202A1 (en) Image processing apparatus, image processing method, image processing program, printed matter inspection apparatus, printed matter inspection method and printed matter inspection program
US7865124B2 (en) Pre-scanning printer with paper fingerprinting
EP3223249B1 (en) Paper currency fold recognition apparatus and method
US20070076074A1 (en) Method and apparatus for print medium determination
JP2022058434A (ja) 印刷装置、機械学習装置、機械学習方法、印刷制御プログラム
WO2007044979A1 (en) Imaging methods, imaging device calibration methods, imaging devices, and hard imaging device sensor assemblies
CN111209822A (zh) 一种热红外图像的人脸检测方法
US6750442B2 (en) Use of spectral sensors for automatic media identification and improved scanner correction
US20100111548A1 (en) Method and apparatus for media thickness measurement in an image production device
JPH0848438A (ja) 被記録媒体判別装置および方法、該判別装置を備えたインクジェット記録装置および情報処理システム
US20060176526A1 (en) Method for calibration of a laser thermal halftone printer
US11772401B2 (en) Methods for printing images on substrates and corresponding systems
US8503733B2 (en) Show-through measurement system and method for inks on media
US7848561B2 (en) Determining capability of an on-line sensor
JP3045777B2 (ja) プリンタまたは撮像システムの性能を評価する方法および装置
US20220024136A1 (en) Reflective Coating for Material Calibration
JP4936074B2 (ja) 特徴抽出方法
US20060034544A1 (en) Distinctness of image processing
MXPA01007998A (es) Deteccion astigmatica de hoja de suministro del medio de impresion.
JP2001199555A (ja) 印刷媒体供給シート検知方法と装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051221

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081001

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090309

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090925

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100125

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20100128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100316

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100414

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130423

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130423

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130423

Year of fee payment: 3

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130423

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130423

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140423

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees