JP2015022335A - 画像読み取り装置、画像処理装置およびプログラム - Google Patents

画像読み取り装置、画像処理装置およびプログラム Download PDF

Info

Publication number
JP2015022335A
JP2015022335A JP2013147650A JP2013147650A JP2015022335A JP 2015022335 A JP2015022335 A JP 2015022335A JP 2013147650 A JP2013147650 A JP 2013147650A JP 2013147650 A JP2013147650 A JP 2013147650A JP 2015022335 A JP2015022335 A JP 2015022335A
Authority
JP
Japan
Prior art keywords
data
document
hough transform
image
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013147650A
Other languages
English (en)
Other versions
JP6107493B2 (ja
Inventor
山田 健二
Kenji Yamada
健二 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP2013147650A priority Critical patent/JP6107493B2/ja
Publication of JP2015022335A publication Critical patent/JP2015022335A/ja
Application granted granted Critical
Publication of JP6107493B2 publication Critical patent/JP6107493B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Editing Of Facsimile Originals (AREA)
  • Image Analysis (AREA)
  • Image Input (AREA)
  • Image Processing (AREA)
  • Facsimile Scanning Arrangements (AREA)

Abstract

【課題】ハフ変換を利用して原稿の傾斜角度を得る場合に、ハフ変換によって得られたデータを記憶させるメモリの容量を低減する。
【解決手段】スキュー量演算部54は、検出用画像データDdからエッジ検出データDeを作成するエッジ検出処理部541、エッジ検出データDeを記憶するエッジ検出データ記憶部542、エッジ検出データDeにハフ変換を施してハフ変換データDhを得るハフ変換処理部543、エッジ検出データDeからオフセット設定データDoを得るオフセット設定部544、ハフ変換データDhにオフセット設定データDoを適用しオフセット済ハフ変換データDiを得るオフセット処理部545、オフセット済ハフ変換データDiを記憶するハフ変換データ記憶部546およびオフセット済ハフ変換データDiから原稿スキュー角度θmを決定する原稿スキュー角度決定部547を有する。
【選択図】図6

Description

本発明は、画像読み取り装置、画像処理装置およびプログラムに関する。
公報記載の従来技術として、原稿1ページ分の画像を読み取った後、この原稿1ページ分の読み取り画像データに2値化処理を施し、生成された2値画像データに対してハフ変換を施し、ハフ変換によって得られたハフ空間データから、この読み取り画像データの原稿スキュー角度を算出するようにした画像処理装置が存在する(特許文献1参照)。
特開2002−84420号公報
本発明は、ハフ変換を利用して原稿の傾斜角度を得る場合に、ハフ変換によって得られたデータを記憶させるメモリの容量を低減することを目的とする。
請求項1記載の発明は、搬送される原稿の画像を読み取る読み取り手段と、前記読み取り手段が読み取る読み取り画像データにエッジ検出処理を施してエッジ画像データを作成する検出手段と、前記エッジ画像データにハフ変換を施すことで、角度θおよび距離ρを用いたθρパラメータ空間で表現されるハフ変換データを作成する変換手段と、前記ハフ変換データにおける前記距離ρの範囲を予測する予測手段と、前記ハフ変換データから、前記予測手段によって予測された前記距離ρの範囲を抽出して抽出済ハフ変換データを作成する抽出手段と、前記抽出済ハフ変換データを記憶する記憶手段と、前記記憶手段から読み出した前記抽出済ハフ変換データに基づいて、前記原稿の傾斜角度を決定する決定手段と、前記読み取り画像データに対し、前記傾斜角度を用いた傾き補正を施す補正手段とを含む画像読み取り装置である。
請求項2記載の発明は、前記予測手段は、前記検出手段にて作成された前記エッジ画像データから取得した前記原稿の端部の位置に基づいて当該端部の基準値を設定し、当該基準値に基づいて前記距離ρの範囲を予測することを特徴とする請求項1記載の画像読み取り装置である。
請求項3記載の発明は、前記予測手段は、前記角度θの範囲を制限し、前記基準値と前記角度θの範囲とに基づいて前記距離ρの範囲を予測することを特徴とする請求項2記載の画像読み取り装置である。
請求項4記載の発明は、読み取り対象となる前記原稿の大きさを検知する検知手段をさらに備え、前記予測手段は、前記検知手段にて検知された前記原稿の大きさに基づいて当該原稿における端部の基準位置を設定し、当該基準位置に基づいて前記距離ρの範囲を予測することを特徴とする請求項1記載の画像読み取り装置である。
請求項5記載の発明は、搬送される原稿の画像を読み取って得られる読み取り画像データにエッジ検出処理を施してエッジ画像データを作成する検出手段と、前記エッジ画像データにハフ変換を施すことで、角度θおよび距離ρを用いたθρパラメータ空間で表現されるハフ変換データを作成する変換手段と、前記ハフ変換データにおける前記距離ρの範囲を予測する予測手段と、前記ハフ変換データから、予測された前記距離ρの範囲を抽出して抽出済ハフ変換データを作成する抽出手段と、前記抽出済ハフ変換データを記憶する記憶手段と、前記記憶手段から読み出した前記抽出済ハフ変換データに基づいて、前記原稿の傾斜角度を決定する決定手段とを含む画像処理装置である。
請求項6記載の発明は、コンピュータに、搬送される原稿の画像を読み取って得られる読み取り画像データにエッジ検出処理を施してエッジ画像データを作成する機能と、前記エッジ画像データにハフ変換を施すことで、角度θおよび距離ρを用いたθρパラメータ空間で表現されるハフ変換データを作成する機能と、前記ハフ変換データにおける前記距離ρの範囲を予測する機能と、前記ハフ変換データから、予測された前記距離ρの範囲を抽出して抽出済ハフ変換データを作成する機能と、前記抽出済ハフ変換データをメモリに記憶させる機能と、前記メモリから読み出した前記抽出済ハフ変換データに基づいて、前記原稿の傾斜角度を決定する機能とを実現させるプログラムである。
請求項1記載の発明によれば、本構成を有していない場合と比較して、ハフ変換を利用して原稿の傾斜角度を得る場合に、ハフ変換によって得られたデータを記憶させるメモリの容量を低減することができる。
請求項2記載の発明によれば、本構成を有していない場合と比較して、抽出済ハフ変換データに傾斜角度の解が含まれる可能性を高めることができる。
請求項3記載の発明によれば、本構成を有していない場合と比較して、抽出済ハフ変換データに傾斜角度の解が含まれる可能性をさらに高めることができる。
請求項4記載の発明によれば、本構成を有していない場合と比較して、抽出済ハフ変換データに傾斜角度の解が含まれる可能性を高めることができる。
請求項5記載の発明によれば、本構成を有していない場合と比較して、ハフ変換を利用して原稿の傾斜角度を得る場合に、ハフ変換によって得られたデータを記憶させるメモリの容量を低減することができる。
請求項6記載の発明によれば、本構成を有していない場合と比較して、ハフ変換を利用して原稿の傾斜角度を得る場合に、ハフ変換によって得られたデータを記憶させるメモリの容量を低減することができる。
本実施の形態が適用される画像読み取り装置の全体構成の一例を示す図である。 読み取り対象となる原稿の構成を説明するための図である。 制御・画像処理ユニットの機能ブロック図である。 信号処理部の機能ブロック図である。 (a)は読み取り画像データを説明するための図であり、(b)は検出用画像データを説明するための図である。 スキュー量演算部の機能ブロック図である。 オフセット設定部の機能ブロック図である。 (a)(b)は、オフセット設定部に入力されてくるエッジ検出データの一例を示す図である。 オフセット設定データ作成部が作成するオフセット設定データの作成手法の一例を示す図である。 (a)〜(c)は、オフセット処理部における処理の内容を説明するための図である。
以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
図1は、本実施の形態が適用される画像読み取り装置の全体構成の一例を示す図である。
この画像読み取り装置は、積載された原稿束から原稿Mを順次搬送する原稿送り装置10と、スキャンによって原稿の画像を読み取るスキャナ装置40とを備えている。
原稿送り装置10は、複数枚の原稿Mからなる原稿束を積載する原稿収容部11、この原稿収容部11の下方に設けられ、読み取りが終了した原稿Mを積載する排紙収容部12を備える。また、原稿送り装置10は原稿収容部11の原稿Mを取り出して搬送する取り出しロール13を備える。さらに、取り出しロール13の原稿搬送方向下流側には、原稿Mを1枚ずつに捌く捌き機構14が設けられる。原稿Mが搬送される搬送路15には、原稿搬送方向上流側から順に、第1搬送ロール16、第2搬送ロール17、第3搬送ロール18および第4搬送ロール19が設けられる。これらのうち、第1搬送ロール16および第2搬送ロール17は、スキャナ装置40による読み取り位置に向けて原稿Mを送り出す。第3搬送ロール18は、読み取り位置を通過することによりスキャナ装置40にて読み込まれた原稿Mをさらに下流に搬送する。そして、第4搬送ロール19は、読み込まれた原稿Mをさらに搬送するとともに排紙収容部12に排出する。
また、読み取り位置には、図中手前側から奥側に向かって伸び白色の板状部材にて構成され、読み取り位置を通過する原稿Mの背景ともなる反射板20が設けられている。この反射板20は、シェーディング補正用の白基準としても用いられる。
また、原稿送り装置10は、原稿収容部11に収容される原稿の幅(主走査方向の長さ)を検知する、検出手段の一例としての原稿幅検知センサ21を備えている。
一方、スキャナ装置40は、上述した原稿送り装置10を開閉可能に支持すると共に、この原稿送り装置10を装置フレーム41によって支え、また、原稿Mの画像読み取りを行う。このスキャナ装置40は、筐体を形成する装置フレーム41、画像を読み込むべき原稿Mが静止させた状態で置かれる第1プラテンガラス42A、反射板20の下方に設けられ、原稿送り装置10によって搬送される原稿Mを読み取るための光の開口部を構成する第2プラテンガラス42Bを備えている。
また、スキャナ装置40は、第2プラテンガラス42Bの下に静止し、あるいは第1プラテンガラス42Aの全体にわたってスキャンして画像を読み込むフルレートキャリッジ43、フルレートキャリッジ43から得られた光を結像部へ供給するハーフレートキャリッジ45を備えている。ここで、フルレートキャリッジ43は、原稿Mに光を照射する光源装置44A(白色光源)および光源装置44Aからの光を原稿Mに向けて反射する光源ミラー44Bと、原稿Mから得られた反射光を受光する第1ミラー46Aとを備えている。一方、ハーフレートキャリッジ45は、第1ミラー46Aから得られた光を結像部へ提供する第2ミラー46Bおよび第3ミラー46Cを有している。
さらにまた、スキャナ装置40は、結像用レンズ47および受光部48を備えている。これらのうち、結像用レンズ47は、第3ミラー46Cから得られた光学像を光学的に縮小する。また、受光部48は、結像用レンズ47によって結像された光学像を光電変換する。つまり、スキャナ装置40では、所謂縮小光学系を用いて受光部48に像を結像させている。また、本実施の形態では、受光部48として、主走査方向に沿って設けられた赤色用、緑色用および青色用の各撮像素子列を、副走査方向に並べて配置したものを用いている。これにより、読み取り手段の一例としての受光部48を用いて、原稿Mに形成された画像をフルカラー画像として読み取るようになっている。
そして、スキャナ装置40は、制御・画像処理ユニット49をさらに備える。この制御・画像処理ユニット49は、受光部48から入力される原稿Mの画像データに各種画像処理を施す。また、制御・画像処理ユニット49は、読み取り装置の読み取り動作における各部の動作を制御する。
例えば第1プラテンガラス42Aに置かれた原稿Mの画像を読み取る固定読み取りモードでは、フルレートキャリッジ43とハーフレートキャリッジ45とが、2:1の割合で矢印方向に移動する。このとき、フルレートキャリッジ43に設けられた光源装置44Aからの光が、原稿Mの被読み取り面に照射される。そして、原稿Mからの反射光が第1ミラー46A、第2ミラー46B、および第3ミラー46Cの順に反射されて結像用レンズ47に導かれる。結像用レンズ47に導かれた光は、受光部48の受光面に結像される。受光部48を構成する各色用の撮像素子列はそれぞれ1次元のセンサで構成されており、1ライン分を同時に処理している。このライン方向(読み取りの主走査方向)と交差する方向(読み取りの副走査方向)にフルレートキャリッジ43およびハーフレートキャリッジ45を移動させ、原稿Mの次の1ラインを読み取る。これを原稿Mの全体に亘って実行することで、1ページの原稿読み取りを完了させる。
一方、原稿送り装置10によって搬送される原稿Mの画像を読み取る搬送読み取りモードでは、副走査方向に搬送される原稿Mがこの第2プラテンガラス42Bの上を通過する。このとき、フルレートキャリッジ43およびハーフレートキャリッジ45は、図1に示す実線の位置に停止した状態におかれる。そして、搬送されてくる原稿Mの1ライン目の反射光が、第1ミラー46A、第2ミラー46B、および第3ミラー46Cを経て結像用レンズ47にて結像され、受光部48によって画像が読み込まれる。すなわち、受光部48によって主走査方向の1ライン分を同時に処理した後、原稿送り装置10によって搬送される原稿Mの次の主走査方向の1ライン分が読み込まれる。そして、原稿Mの先端が第2プラテンガラス42Bの読み取り位置に到達した後、この原稿Mの後端が第2プラテンガラス42B上の読み取り位置を通過することによって、原稿Mを主走査方向1ラインずつ順次読み取ることで、副走査方向に亘って1ページの原稿読み取りが完了する。
なお、本実施の形態の画像読み取り装置では、搬送読み取りモードにおいて、搬送路15内に供給されてきた原稿Mを、搬送路15内で一時的に停止させることなく、そのまま排紙収容部12に向けて搬送するようになっている。すなわち、この画像読み取り装置では、原稿Mを搬送している最中には、特に原稿Mの位置合わせを行っていない。
本実施の形態の画像読み取り装置では、固定読み取りモードおよび搬送読み取りモードのそれぞれにおける標準的な読み取り解像度が、600dpi(主走査方向)×600dpi(副走査方向)に設定されている。
図2は、図1に示す画像読み取り装置において読み取り対象となる原稿Mの構成を説明するための図である。
この例において、原稿Mは長方形状を呈するようになっており、原稿Mの短辺側が主走査方向FSに沿い、且つ、原稿Mの長辺側が副走査方向SSに沿うようになっている。ただし、原稿Mの長辺側が主走査方向FSに沿い、且つ、原稿Mの短辺側が副走査方向SSに沿う場合もあり得る。なお、以下の説明においては、原稿Mのうち、副走査方向SSの上流側となる辺を原稿前端Mtと呼び、副走査方向SSの下流側となる辺を原稿後端Mbと呼び、原稿Mの被読み取り面(図中手前側を向く面)の左側となる辺を原稿左端Mlと呼び、原稿Mの被読み取り面の右側となる辺を原稿右端Mrと呼ぶ。
図3は、図1に示す制御・画像処理ユニット49の機能ブロック図である。この制御・画像処理ユニット49は、受光部48に設けられた赤色用撮像素子列、緑色用撮像素子列および青色用撮像素子列(すべて図示せず)から入力されてくる読み取り画像データに処理を施す信号処理部50と、原稿送り装置10およびスキャナ装置40の動作を制御する制御部70とを備えている。なお、信号処理部50の詳細については後述する。
制御部70は、読み取りコントローラ71、受光部ドライバ72、光源ドライバ73、スキャンドライバ74および搬送機構ドライバ75を有している。
読み取りコントローラ71は、各種原稿読み取りの制御等を含め、図1に示す原稿送り装置10およびスキャナ装置40の全体を制御する。
受光部ドライバ72は、図1に示す受光部48(赤色用撮像素子列、緑色用撮像素子列および青色用撮像素子列)による画像データの取り込み動作を制御する。
光源ドライバ73は、点灯信号を出力し、原稿の読み取りタイミングに合わせて図1に示す光源装置44Aの点灯・消灯を制御する。
スキャンドライバ74は、スキャナ装置40におけるモータのオン/オフなどを行い、図1に示すフルレートキャリッジ43およびハーフレートキャリッジ45によるスキャン動作を制御する。
搬送機構ドライバ75は、図1に示す原稿送り装置10におけるモータの制御、各種ロール、クラッチ、およびゲートの切り替え動作等を制御する。
これらの各種ドライバからは、原稿送り装置10およびスキャナ装置40に対して制御信号が出力され、かかる制御信号に基づいて、これらの動作制御が可能となる。読み取りコントローラ71は、ホストシステムからの制御信号や、例えば自動選択読み取り機能に際して検出されるセンサ出力、UI(図示せず)を介して受け付けたユーザからの選択等に基づいて、読み取りモードを設定し、原稿送り装置10およびスキャナ装置40を制御している。この読み取りモードとしては、上述した、固定読み取りモードおよび搬送読み取りモード等が挙げられる。
図4は、図3に示す信号処理部50の機能ブロック図である。
本実施の形態の信号処理部50は、画像前処理部51と、出力先設定部52と、読み取り画像データ記憶部53と、スキュー量演算部54と、スキュー補正処理部55と、画像後処理部56とを有している。
画像前処理部51は、受光部48から入力されてくるアナログの読み取り画像データに、ゲイン調整、A(アナログ)/D(デジタル)変換、シェーディング補正およびギャップ補正などの前処理を施し、デジタル化された読み取り画像データDrとして出力する。
出力先設定部52は、画像前処理部51から入力されてくる読み取り画像データDrを読み取り画像データ記憶部53に出力するとともに、これと並行して、この読み取り画像データDrの一部を、原稿Mのスキュー量を検出するための検出用画像データDdとしてスキュー量演算部54に出力する。
ここで、図5(a)は出力先設定部52から読み取り画像データ記憶部53に出力される読み取り画像データDrを説明するための図であり、図5(b)は出力設定部52からスキュー量演算部54に出力される検出用画像データDdを説明するための図である。なお、図5に示す読み取り画像データDrおよび検出用画像データDdは、同じ原稿Mを読み取った結果に基づいて得られたものを例示している。
まず、図5(a)に示す読み取り画像データDrについて説明を行う。
本実施の形態の読み取り画像データDr、読み取り対象となる原稿Mよりも広く且つ原稿Mの被読み取り面すなわち原稿前端Mt、原稿後端Mb、原稿左端Mlおよび原稿右端Mrを全て含むように、その対象領域が設定されている。なお、読み取り画像データDrおける原稿Mの外側は、図1に示す反射板20を読み取った領域となる。そして、この例においては、反射板20と原稿Mとの反射率の違いにより、原稿Mにおける各端部位置を検出できるようになっている。また、この例では、図5(a)における左側が主走査方向FSの上流側となっており、図5(a)における上側が副走査方向SSの上流側となっている。したがって、読み取り画像データDrは、副走査方向SSの上流側から下流側(図中上側から下側)に向かって、主走査方向FSに1ライン分ずつ、順次取得されていくことになる。
なお、図5(a)は、主走査方向FSおよび副走査方向SSに対し、原稿Mが図中右側に傾斜(スキュー)した状態で読み込まれた場合を例示している。このため、原稿Mの原稿前端Mtおよび原稿後端Mbは、主走査方向FSに対して傾いており、原稿Mの原稿左端Mlおよび原稿右端Mrは、副走査方向SSに対して傾いている。
次に、図5(b)に示す検出用画像データDdについて説明を行う。
検出用画像データDdは、図5(a)に示す読み取り画像データDrのうち、副走査方向SS上流側であって原稿Mの被読み取り面の一部を含むように、その対象領域が設定されている(図中に実線で示す)。ここで、本実施の形態では、検出用画像データDdが、原稿Mにおける原稿前端Mtの全て、原稿左端Mlにおける副走査方向SS上流側の一部および原稿右端Mrにおける副走査方向SS上流側の一部を含み、且つ、原稿左端Mlにおける副走査方向SS下流側の一部および原稿右端Mrにおける副走査方向SS下流側の一部と、原稿後端Mbの全てとを含まないようになっている(図中に破線で示す)。
では、図4に戻って説明を続ける。
読み取り画像データ記憶部53は、出力先設定部52から入力されてくる読み取り画像データDrを記憶する。なお、読み取り画像データ記憶部53は、例えばRAM(Random Access Memory)で構成されている。
また、スキュー量演算部54は、出力先設定部52から入力されてくる検出用画像データDdに各種演算処理を施すことにより、この検出用画像データDdの元となった原稿Mのスキュー量である原稿スキュー角度θmを出力する。なお、スキュー量演算部54の詳細については後述する。
補正手段の一例としてのスキュー補正処理部55は、読み取り画像データ記憶部53から読み出した1ページ分の原稿Mの読み取り画像データDrに対し、スキュー量演算部54から入力されてくる、この原稿Mに対応する原稿スキュー角度θmを用いたスキュー補正(画像データの回転)を実行し、得られたスキュー補正済画像データDjを出力する。
画像後処理部56は、スキュー補正処理部55から入力されてくるスキュー補正済画像データDjに対し、必要に応じて、色空間を変換する処理や拡大・縮小処理等を施し、得られた出力画像データDkを、図1に示す画像読み取り装置の外部に設けられた機器(プリンタやコンピュータ装置等)に出力する。
なお、信号処理部50を構成する各部の機能は、ソフトウェアとハードウェア資源とが協働することにより実現される。すなわち、信号処理部50に設けられた図示しないCPU(Central Processing Unit)が、信号処理部50における各機能を実現するプログラムを、例えばハードディスク等の外部記憶装置からメインメモリに読み込んで、これらの各機能を実現する。ただし、これに限られるものではなく、例えばASIC(Application Specific Integrated Circuit)やFPGA(Field-Programmable Gate Array)等を用いて、信号処理部50を構成する各部の機能を実現するようにしてもかまわない。
図6は、図4に示すスキュー量演算部54の機能ブロック図である。
本実施の形態のスキュー量演算部54は、エッジ検出処理部541と、エッジ検出データ記憶部542と、ハフ変換処理部543と、オフセット設定部544と、オフセット処理部545と、ハフ変換データ記憶部546と、原稿スキュー角度決定部547とを有する。
検出手段の一例としてのエッジ検出処理部541は、出力先設定部52(図4参照)から入力されてくる、読み取り画像データDrから得られた検出用画像データDdに対しエッジ(原稿Mにおける端部)を検出する処理を施し、得られたエッジ画像データの一例としてのエッジ検出データDeを出力する。なお、検出用画像データDdが赤の画像データ、緑の画像データおよび青の画像データを含む場合には、エッジ検出処理を施す前に、これら3色の画像データを単色化する処理が施される。なお、これに代えて、赤の画像データ、緑の画像データおよび青の画像データのうちのいずれか1色(例えば緑)の画像データを選択するようにしてもよい。また、エッジ検出処理を施す前に、検出用画像データDdの解像度を低下させる処理を施すようにしてもかまわない。
エッジ検出データ記憶部542は、エッジ検出処理部541から入力されてくるエッジ検出データDeを記憶する。なお、エッジ検出データ記憶部542は、例えばRAMで構成される。
変換手段の一例としてのハフ変換処理部543は、エッジ検出データ記憶部542から読み出したエッジ検出データDeに対しハフ変換を実行し、得られたハフ変換データDhを出力する。この例において、ハフ変換処理部543は、xy画像空間で定義されるエッジ検出データDeを、距離ρおよび垂角θで規定されるθρパラメータ空間へと変換することで、ハフ変換データDhを得ている。
予測手段の一例としてのオフセット設定部544は、エッジ検出処理部541から入力されてくるエッジ検出データDeに基づき、このエッジ検出データDeをハフ変換して得られるハフ変換データDhにおける距離ρの範囲を予測し、予測結果としてのオフセット設定データDoを出力する。なお、オフセット設定部544の詳細については後述する。
抽出手段の一例としてのオフセット処理部545は、ハフ変換処理部543から入力されてくるハフ変換データDhに対し、オフセット設定部544から入力されてくるオフセット設定データDoを用いたオフセット処理を施し、得られた抽出済ハフ変換データの一例としてのオフセット済ハフ変換データDiを出力する。
記憶手段の一例としてのハフ変換データ記憶部546は、オフセット処理部545から入力されてくるオフセット済ハフ変換データDiを記憶する。なお、ハフ変換データ記憶部546は、例えばRAMで構成される。
決定手段の一例としての原稿スキュー角度決定部547は、ハフ変換データ記憶部546から読み出したオフセット済ハフ変換データDiに基づいて、このオフセット済ハフ変換データDiの元となった原稿Mの原稿スキュー角度θmを決定し、スキュー補正処理部55(図4参照)に出力する。また、原稿スキュー角度決定部547は、傾斜角度の一例としての原稿スキュー角度θmを決定するにあたり、必要に応じて、オフセット設定部544から入力されてくるオフセット設定データDoを利用する。
図7は、図6に示すオフセット設定部544の機能ブロック図である。
本実施の形態のオフセット設定部544は、エッジ検出処理部541(図6参照)から入力されてくるエッジ検出データDeに基づいて、後述するオフセットを設定するための基準値を示すオフセット基準値データDsを決定するオフセット基準値決定部5441と、オフセット基準値決定部5441から入力されてくるオフセット基準値データDsに基づいて、オフセット処理部545(図6参照)においてハフ変換データDhにオフセット処理を施す際に用いられるオフセット設定データDoを作成するオフセット設定データ作成部5442とを備えている。
次に、図6および図7を参照しつつ、画像読み取り動作においてスキュー量演算部54が実行する処理の手順について説明を行う。
この処理では、まず、エッジ検出処理部541が、出力先設定部52(図4参照)から入力されてくる検出用画像データDdに基づいてエッジ検出データDeを作成する。そして、得られたエッジ検出データDeは、エッジ検出データ記憶部542とオフセット設定部544とに出力される。
次に、エッジ検出データ記憶部542は、エッジ検出処理部541から入力されてくるエッジ検出データDeを記憶する。次いで、ハフ変換処理部543は、エッジ検出データ記憶部542から読み出したエッジ検出データDeにハフ変換を施してハフ変換データDhを得る。そして、得られたハフ変換データDhは、オフセット処理部545に出力される。
一方、オフセット設定部544では、オフセット基準値決定部5441が、エッジ検出処理部541から入力されてくるエッジ検出データDeに基づいてオフセット基準値データDsを作成し、オフセット設定データ作成部5442が、オフセット基準値決定部5441から入力されてくるオフセット基準値データDsに基づいてオフセット設定データDoを作成する。そして、得られたオフセット設定データDoは、オフセット処理部545と原稿スキュー角度決定部547とに出力される。
続いて、オフセット処理部545は、ハフ変換処理部543から入力されてくるハフ変換データDhに対し、オフセット設定部544(より具体的にはオフセット設定データ作成部5442)から入力されてくるオフセット設定データDoを用いたオフセット処理を施し、オフセット済ハフ変換データDiを得る。このとき、オフセット処理部545は、同じエッジ検出データDeに基づいて得られたハフ変換データDhとオフセット設定データDoとを用いて、オフセット済ハフ変換データDiを作成する。そして、得られたオフセット済ハフ変換データDiはハフ変換データ記憶部546に出力される。次いで、ハフ変換データ記憶部546は、オフセット処理部545から入力されてくるオフセット済ハフ変換データDiを記憶する。
それから、原稿スキュー角度決定部547は、ハフ変換データ記憶部546から読み出したオフセット済ハフ変換データDiに基づき、原稿Mの原稿スキュー角度θmを決定する。このとき、原稿スキュー角度決定部547は、原稿スキュー角度θmの決定にあたって、オフセット設定部544から入力されてくるオフセット設定データDoを参照する。そして、得られた原稿スキュー角度θmがスキュー補正処理部55(図4参照)に出力されることにより、1枚の原稿Mに対する処理を完了する。
では、具体例を挙げつつ、上述した画像読み取り動作においてオフセット設定部544が実行する各種処理について説明を行う。
図8は、図7に示すオフセット設定部544に入力されてくるエッジ検出データDeの一例を示す図である。ここで、図8(a)は搬送方向に対し左側に傾いた原稿Mを読み取って得られたエッジ検出データDeを、また、図8(b)は搬送方向に対し右側に傾いた原稿Mを読み取って得られたエッジ検出データDeを、それぞれ示している。
上述したように、オフセット設定部544に設けられたオフセット基準値決定部5441は、入力されてくるエッジ検出データDeに基づいてオフセット基準値データDsを作成する。
このとき、オフセット基準値決定部5441は、エッジ検出データDeより、原稿Mの原稿前端Mtの基準となる前端基準位置Stと、原稿Mの原稿左端Mlの基準となる左端基準位置Slと、原稿Mの原稿右端Mrの基準となる右端基準位置Srとを決定する。そして、オフセット基準値決定部5441は、決定した前端基準位置St、左端基準位置Slおよび右端基準位置Srを、オフセット基準値データDsとしてオフセット設定データ作成部5442に出力する。
オフセット基準値決定部5441は、これら前端基準位置St、左端基準位置Slおよび右端基準位置Srを、それぞれ、以下に示す手順に従って決定する。
ここで、エッジ検出データDeでは、原稿Mが存在しない背景部分と原稿Mが存在する原稿部分(特に、原稿Mのエッジが存在するエッジ部分)とで画像の濃度が異なっている。例えば、読み取り時における原稿Mの背景を白色としておけば、原稿Mの色は、白色よりもやや濃い色を示すこととなるため、背景部分と原稿部分との区別が可能である。このとき、エッジ検出データDeにおいて画像の濃度が大きく変化する前後の画素に着目することにより、原稿前端Mtに対応するエッジ画素、原稿左端Mlに対応するエッジ画素そして原稿右端Mrに対応するエッジ画素を検出することができる。
そして、オフセット基準値決定部5441は、エッジ検出データDeを構成する各エッジ画素のうち、副走査方向SSにおいて最上流側(前側)となるエッジ画素の位置を、前端基準位置Stとして決定する。また、オフセット基準値決定部5441は、エッジ検出データDeを構成する各エッジ画素のうち、主走査方向FSにおいて最上流側(左側)となるエッジ画素の位置を、左端基準位置Slとして決定する。さらに、オフセット基準値決定部5441は、エッジ検出データDeを構成する各エッジがそのうち、主走査方向FSにおいて最下流側(右側)となるエッジ画素の位置を、右端基準位置Srとして決定する。
これにより、例えば図8(a)に示したように原稿Mが左側に傾いている場合には、原稿右端Mrにおける副走査方向SSの最上流側(原稿前端Mtと原稿右端Mrとの交点)が前端基準位置Stとなり、原稿左端Mlにおける副走査方向SSの最上流側(原稿前端Mtと原稿左端Mlとの交点)が左端基準位置Slとなり、原稿右端Mrにおける副走査方向SSの最下流側が右端基準位置Srとなる。
一方、例えば図8(b)に示したように原稿Mが右側に傾いている場合には、原稿左端Mlにおける副走査方向SSの最上流側(原稿前端Mtと原稿左端Mlとの交点)が前端基準位置Stとなり、原稿左端Mlにおける副走査方向SSの最下流側が左端基準位置Slとなり、原稿右端Mrにおける副走査方向SSの最上流側(原稿前端Mtと原稿右端Mrとの交点)が右端基準位置Srとなる。
図9は、オフセット基準値決定部5441が決定したオフセット基準値データDsに基づき、図7に示すオフセット設定データ作成部5442が作成するオフセット設定データDoの作成手法の一例を示す図である。なお、図9は、搬送方向に対し左側に傾いた原稿Mを読み取って得られたエッジ検出データDe(図8(b)に対応)を例示している。
また、図9においては、副走査方向SSをxy画像空間におけるx座標として、主走査方向FSをxy画像空間におけるy座標として、それぞれ示している。
なお、図9には、原稿左端Mlに関連する各要素を例示している。
オフセット設定データ作成部5442は、オフセット基準値データDs(前端基準位置St、左端基準位置Slおよび右端基準位置Sr)に基づき、ハフ変換処理部543から出力されるハフ変換データDhにおいて、原稿前端Mt、原稿左端Mlおよび原稿右端Mrがそれぞれとり得る距離ρの範囲を予測する。
ここで、本実施の形態の画像読み取り装置では、例えば搬送読み取りモードにおける原稿Mの原稿スキュー角度θmの範囲が、予め決められた範囲(例えば±3°)となるように、その各部品の公差や各機構の精度等が定められている。このため、読み取り対象となる原稿Mの大きさ(サイズ)および向きと、エッジ検出データDeにおけるこの原稿Mの各端部(ここでは原稿前端Mt、原稿左端Mlおよび原稿右端Mr)の位置を把握できれば、ハフ変換データDhにおいて各端部が存在する距離ρの範囲を予測することが可能である。
オフセット設定データ作成部5442は、左端基準位置Slを通過する状態となり得る原稿Mのうち、原稿スキュー角度θmが0°となっているときの原稿左端Mlの位置を左端第1位置Ml1に設定する。次に、オフセット設定データ作成部5442は、左端基準位置Slを通過する状態となり得る原稿Mのうち、原稿Mが最も左側に傾いているとき(θa=−3°)の原稿左端Mlの位置を左端第2位置Ml2に設定し、原稿Mが最も右側に傾いているとき(θb=+3°)の原稿左端Mlの位置を左端第3位置Ml3に設定する。
そして、オフセット設定データ作成部5442は、左端第1位置Ml1をハフ変換して得られる左端基準距離ρlstdと、左端第2位置Ml2をハフ変換して得られる左端最小距離(左端オフセット距離)ρlminと、左端第3位置Ml3をハフ変換して得られる左端最大距離ρlmaxとを求める。
また、オフセット設定データ作成部5442は、同じ手順にて、前端基準位置Stに基づいて前端基準距離ρtstdと前端最小距離(前端オフセット距離)ρtminと前端最大距離ρtmaxとを求め、さらに、右端基準位置Srに基づいて右端基準距離ρrstdと右端最小距離(右端オフセット距離)ρrminと右端最大距離ρrmaxとを求める。
その後、オフセット設定データ作成部5442は、得られた前端基準距離ρtstd、前端最小距離ρtmin、前端最大距離ρtmax、左端基準距離ρlstd、左端最小距離plmin、左端最大距離ρlmax、右端基準距離ρrstd、右端最小距離ρrminおよび右端最大距離ρrmaxを、オフセット設定データDoとして、オフセット処理部545に出力する。
図10は、図6に示すオフセット処理部545における処理の内容を説明するための図である。ここで、図10(a)は原稿前端Mtに対応する処理内容を示しており、図10(b)は原稿左端Mlに対応する処理内容を示しており、図10(c)は原稿右端Mrに対応する処理内容を示している。また、図10(a)〜(c)のそれぞれは、ハフ変換処理部543からオフセット処理部545に入力されてくるハフ変換データDhと、オフセット設定部544からオフセット処理部545に入力されてくるオフセット設定データDo(前端基準距離ρtstd、前端最小距離ρtmin、前端最大距離ρtmax、左端基準距離ρlstd、左端最小距離ρlmin、左端最大距離ρlmax、右端基準距離ρrstd、右端最小距離ρrminおよび右端最大距離ρrmax)との関係を示している。なお、図10(a)〜(c)は、xy画像空間をθρパラメータ空間にハフ変換して得られた座標系を示しており、それぞれにおいて、横軸は角度θ(°)であり、縦軸は距離ρ(a.u.)である。
本実施の形態では、ハフ変換において投票が行われ、図10(a)〜(c)のそれぞれにしめすθρ座標において複数の正弦波状のパターンが現れる。そして、各々において投票数が最も多かった位置に対応する角度θが、原稿スキュー角度決定部547(図6参照)において、原稿スキュー角度θmとして決定される。
本実施の形態では、オフセット処理部545が、ハフ変換処理部543から入力されてくるハフ変換データDhに対し、オフセット設定部544から入力されてくるオフセット設定データDoを用いてオフセットの設定を行い、得られたオフセット済ハフ変換データDiを出力する。
例えば図10(a)に示す例では、オフセット処理部545が、原稿前端Mtに対応するハフ変換データDhのうち、距離ρが前端最小距離ρtmin以上且つ前端最大距離ρtmax以下となる範囲(ρtmin≦ρ≦ρtmax)だけを抽出して、オフセット済ハフ変換データDiを作成する。
また、例えば図10(b)に示す例では、オフセット処理部545が、原稿左端Mlに対応するハフ変換データDhのうち、距離ρが左端最小距離ρlmin以上且つ左端最大距離ρlmax以下となる範囲(ρlmin≦ρ≦ρlmax)だけを抽出して、オフセット済ハフ変換データDiを作成する。
さらに、例えば図10(c)に示す例では、オフセット処理部545が、原稿右端Mrに対応するハフ変換済データDhのうち、距離ρが右端最小距離ρrmin以上且つ右端最大距離ρrmaxとなる範囲(ρrmin≦ρ≦ρrmax)だけを抽出して、オフセット済ハフ変換データDiを作成する。
ここで、本実施の形態では、原稿Mの読み取り結果に基づいて得られるエッジ検出データDeに基づいてこの原稿Mにおける各端部の位置を予測し、この予測結果に基づいてオフセット設定データDoを求めている。このため、例えば図10(a)に示す例では、ハフ変換データDhのうち前端最小距離ρtmin以上且つ前端最大距離ρtmax以下となる範囲に、投票数が最も多かった座標が存在するようになっている。また、例えば図10(b)に示す例では、ハフ変換データDhのうち左端最小距離ρlmin以上且つ左端最大距離ρlmax以下となる範囲に、投票数が最も多かった座標が存在するようになっている。さらに、例えば図10(c)に示す例では、ハフ変換データDhのうち右端最小距離ρrmin以上且つ右端最大距離ρrmax以下となる範囲に、投票数が最も多かった位置が座標するようになっている。
本実施の形態のスキュー量演算部54では、その後、ハフ変換データ記憶部546が、オフセット処理部545から出力されたオフセット済ハフ変換データDiを記憶し、原稿スキュー角度決定部547が、ハフ変換データ記憶部546から読み出したオフセット済ハフ変換データDiに基づいて原稿Mの原稿スキュー角度θmを決定する。
ここで、上述したハフ変換データDhをそのままハフ変換データ記憶部546に記憶させるとともに、原稿スキュー角度決定部547が、ハフ変換データ記憶部546から読み出したハフ変換データDhに基づいて原稿Mの原稿スキュー角度θmを決定することも可能である。しかしながら、この場合には、原稿スキュー角度θmの決定において必要となるデータ(投票数が多い座標に関するデータ)の他に、実際には原稿スキュー角度θmの決定において不要なデータ(距離ρが小さすぎるものや大きすぎるもの)が存在することになってしまい、ハフ変換データ記憶部546に必要なメモリ容量が増大することになってしまう。また、データ容量の増大に伴い、原稿スキュー角度決定部547における原稿スキュー角度θmの決定に要する時間も増加する。
これに対し、本実施の形態では、原稿Mの読み取り結果に基づいて、xy画像空間において原稿Mの各端部が存在しうる範囲を予測するとともに、この予測結果に基づいてxy画像空間をハフ変換して得られるρθパラメータ空間において、この原稿Mに対応する距離ρが存在しうる範囲を予測し、ハフ変換データDhからρが存在しうる範囲を抽出して得られたオフセット済ハフ変換データDiをハフ変換データ記憶部546に記憶させるようにしたので、ハフ変換データ記憶部546に必要なメモリ容量の増大を抑制することができる。
また、オフセット済ハフ変換データDiは、上述したように距離ρがとり得る範囲を予測した結果に基づいて得られているので、ハフ変換データDhに対し、抽出によって容量が低減されたオフセット済ハフ変換データDiから、原稿スキュー角度θmを求めることが可能となる。
なお、ここでは、対象となる原稿Mの読み取りに伴って得られたエッジ検出データDeに基づいて、この原稿Mに対応する前端基準位置St、左端基準位置Slおよび右端基準位置Srを決定していたが、これに限られるものではない。例えば原稿送り装置10に設けられた原稿幅検知センサ21による検知結果に基づいて、前端基準位置St、左端基準位置Slおよび右端基準位置Srの位置を予測するものであってもかまわない。
また、本実施の形態では、エッジ検出データDeをハフ変換して得られたハフ変換データDhに対してオフセット処理を施すことにより、容量が低減されたオフセット済ハフ変換データDiを得るようにしていたが、ハフ変換データDhの容量を低減する手法はこれに限られない。例えば、エッジ検出データDeに先にオフセット処理を施してからハフ変換を施すようにしてもよい。
10…原稿送り装置、40…スキャナ装置、48…受光部、49…制御・画像処理ユニット、50…信号処理部、51…画像前処理部、52…出力先設定部、53…読み取り画像データ記憶部、54…スキュー量演算部、55…スキュー補正処理部、56…画像後処理部、70…制御部、541…エッジ検出処理部、542…エッジ検出データ記憶部、543…ハフ変換処理部、544…オフセット設定部、545…オフセット処理部、546…ハフ変換データ記憶部、547…原稿スキュー角度決定部

Claims (6)

  1. 搬送される原稿の画像を読み取る読み取り手段と、
    前記読み取り手段が読み取る読み取り画像データにエッジ検出処理を施してエッジ画像データを作成する検出手段と、
    前記エッジ画像データにハフ変換を施すことで、角度θおよび距離ρを用いたθρパラメータ空間で表現されるハフ変換データを作成する変換手段と、
    前記ハフ変換データにおける前記距離ρの範囲を予測する予測手段と、
    前記ハフ変換データから、前記予測手段によって予測された前記距離ρの範囲を抽出して抽出済ハフ変換データを作成する抽出手段と、
    前記抽出済ハフ変換データを記憶する記憶手段と、
    前記記憶手段から読み出した前記抽出済ハフ変換データに基づいて、前記原稿の傾斜角度を決定する決定手段と、
    前記読み取り画像データに対し、前記傾斜角度を用いた傾き補正を施す補正手段と
    を含む画像読み取り装置。
  2. 前記予測手段は、前記検出手段にて作成された前記エッジ画像データから取得した前記原稿の端部の位置に基づいて当該端部の基準値を設定し、当該基準値に基づいて前記距離ρの範囲を予測することを特徴とする請求項1記載の画像読み取り装置。
  3. 前記予測手段は、前記角度θの範囲を制限し、
    前記基準値と前記角度θの範囲とに基づいて前記距離ρの範囲を予測することを特徴とする請求項2記載の画像読み取り装置。
  4. 読み取り対象となる前記原稿の大きさを検知する検知手段をさらに備え、
    前記予測手段は、前記検知手段にて検知された前記原稿の大きさに基づいて当該原稿における端部の基準位置を設定し、当該基準位置に基づいて前記距離ρの範囲を予測することを特徴とする請求項1記載の画像読み取り装置。
  5. 搬送される原稿の画像を読み取って得られる読み取り画像データにエッジ検出処理を施してエッジ画像データを作成する検出手段と、
    前記エッジ画像データにハフ変換を施すことで、角度θおよび距離ρを用いたθρパラメータ空間で表現されるハフ変換データを作成する変換手段と、
    前記ハフ変換データにおける前記距離ρの範囲を予測する予測手段と、
    前記ハフ変換データから、前記予測手段によって予測された前記距離ρの範囲を抽出して抽出済ハフ変換データを作成する抽出手段と、
    前記抽出済ハフ変換データを記憶する記憶手段と、
    前記記憶手段から読み出した前記抽出済ハフ変換データに基づいて、前記原稿の傾斜角度を決定する決定手段と
    を含む画像処理装置。
  6. コンピュータに、
    搬送される原稿の画像を読み取って得られる読み取り画像データにエッジ検出処理を施してエッジ画像データを作成する機能と、
    前記エッジ画像データにハフ変換を施すことで、角度θおよび距離ρを用いたθρパラメータ空間で表現されるハフ変換データを作成する機能と、
    前記ハフ変換データにおける前記距離ρの範囲を予測する機能と、
    前記ハフ変換データから、予測された前記距離ρの範囲を抽出して抽出済ハフ変換データを作成する機能と、
    前記抽出済ハフ変換データをメモリに記憶させる機能と、
    前記メモリから読み出した前記抽出済ハフ変換データに基づいて、前記原稿の傾斜角度を決定する機能と
    を実現させるプログラム。
JP2013147650A 2013-07-16 2013-07-16 画像読み取り装置、画像処理装置およびプログラム Expired - Fee Related JP6107493B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013147650A JP6107493B2 (ja) 2013-07-16 2013-07-16 画像読み取り装置、画像処理装置およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013147650A JP6107493B2 (ja) 2013-07-16 2013-07-16 画像読み取り装置、画像処理装置およびプログラム

Publications (2)

Publication Number Publication Date
JP2015022335A true JP2015022335A (ja) 2015-02-02
JP6107493B2 JP6107493B2 (ja) 2017-04-05

Family

ID=52486776

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013147650A Expired - Fee Related JP6107493B2 (ja) 2013-07-16 2013-07-16 画像読み取り装置、画像処理装置およびプログラム

Country Status (1)

Country Link
JP (1) JP6107493B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017092562A (ja) * 2015-11-04 2017-05-25 キヤノン株式会社 画像読取装置、画像読取方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008187313A (ja) * 2007-01-29 2008-08-14 Fuji Xerox Co Ltd 画像情報管理システム、画像情報管理装置、画像形成装置、画像情報管理プログラム及び画像形成プログラム
JP2012048289A (ja) * 2010-08-24 2012-03-08 Isuzu Motors Ltd 直線検知装置
JP2013105276A (ja) * 2011-11-11 2013-05-30 Pfu Ltd 画像処理装置、直線検出方法及びコンピュータプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008187313A (ja) * 2007-01-29 2008-08-14 Fuji Xerox Co Ltd 画像情報管理システム、画像情報管理装置、画像形成装置、画像情報管理プログラム及び画像形成プログラム
JP2012048289A (ja) * 2010-08-24 2012-03-08 Isuzu Motors Ltd 直線検知装置
JP2013105276A (ja) * 2011-11-11 2013-05-30 Pfu Ltd 画像処理装置、直線検出方法及びコンピュータプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017092562A (ja) * 2015-11-04 2017-05-25 キヤノン株式会社 画像読取装置、画像読取方法

Also Published As

Publication number Publication date
JP6107493B2 (ja) 2017-04-05

Similar Documents

Publication Publication Date Title
JP5574655B2 (ja) 画像処理装置、画像処理装置の制御方法及びプログラム
US20120300265A1 (en) Scanning apparatus having image correction funciton
JP2020149148A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP2009267652A (ja) 画像処理装置、画像読取装置及び画像処理プログラム
US9060086B2 (en) Image forming apparatus, image forming apparatus control method, and storage medium
JP2011147027A (ja) 画像読取装置および画像読取システム
JP6191291B2 (ja) 画像読み取り装置、画像処理装置およびプログラム
US10880449B2 (en) Image reading apparatus and image reading method
JP6607019B2 (ja) 原稿の傾き量検出装置および画像処理装置
JP4513622B2 (ja) 画像読取装置
JP6107493B2 (ja) 画像読み取り装置、画像処理装置およびプログラム
JP2013115728A (ja) 画像処理装置、画像処理方法及びプログラム
JP2006197445A (ja) 画像処理装置
JP2008028522A (ja) 画像読み取り装置
JP2007266961A (ja) 画像読取装置、画像読取方法、画像読取プログラム、および記録媒体
US20160094755A1 (en) Image processing device generating combined imaged data by using first image data and second image data
JP2022012616A (ja) 画像読取装置
JP2009284190A (ja) 画像読み取り装置および画像読み取りシステム
JP2017169039A (ja) 画像読取装置、制御方法及び制御プログラム
EP3510757B1 (en) Transparent platen with chamfered egress edge
JP4855017B2 (ja) 原稿サイズ検知装置、画像読み取り装置及び画像形成装置
JP2001358914A (ja) 画像読取装置
JP6274175B2 (ja) 画像読取装置および画像形成装置
JPH11177775A (ja) 原稿検出装置
JP2017201755A (ja) 読取装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160218

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170220

R150 Certificate of patent or registration of utility model

Ref document number: 6107493

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees