JP2013058937A - 画像処理装置、画像処理方法、画像処理プログラム及び画像処理システム - Google Patents

画像処理装置、画像処理方法、画像処理プログラム及び画像処理システム Download PDF

Info

Publication number
JP2013058937A
JP2013058937A JP2011196458A JP2011196458A JP2013058937A JP 2013058937 A JP2013058937 A JP 2013058937A JP 2011196458 A JP2011196458 A JP 2011196458A JP 2011196458 A JP2011196458 A JP 2011196458A JP 2013058937 A JP2013058937 A JP 2013058937A
Authority
JP
Japan
Prior art keywords
candidate
edge point
edge
image
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011196458A
Other languages
English (en)
Other versions
JP5755089B2 (ja
Inventor
Akira Iwayama
暁 岩山
Toshihide Suzumura
俊英 鈴村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PFU Ltd
Original Assignee
PFU Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PFU Ltd filed Critical PFU Ltd
Priority to JP2011196458A priority Critical patent/JP5755089B2/ja
Priority to US13/543,286 priority patent/US8861054B2/en
Priority to CN201210325822.8A priority patent/CN103079026B/zh
Publication of JP2013058937A publication Critical patent/JP2013058937A/ja
Application granted granted Critical
Publication of JP5755089B2 publication Critical patent/JP5755089B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/243Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Facsimile Scanning Arrangements (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Input (AREA)

Abstract

【課題】原稿を読み取った画像データにフレアが発生した場合における原稿領域のエッジの検出精度を向上する。
【解決手段】画像処理装置10は、原稿領域を含む画像データを入力する入力部と、画像データの所定方向と平行なラインに沿って画像データの2値化画像を所定検出パターンで走査することにより、原稿領域の境界線を構成するエッジ点の第1候補を検出する第1候補検出部51と、ラインに沿って隣接する画素同士の微分値に基づいてエッジ点の第2候補を検出する第2候補検出部52と、第1候補よりも第2候補の方が原稿領域の内側に位置する場合に、第2候補をエッジ点と決定し、そうでない場合に第1候補をエッジ点と決定するエッジ点決定部53を備える。
【選択図】図16

Description

本明細書で論じられる実施態様は、画像処理装置、画像処理方法、画像処理プログラム、及び画像処理システムに関する。
原稿を読み取って得られる画像データから原稿領域を検出する画像処理装置が知られている。例えば、画像処理装置は、原稿領域を含む画像を取得し、取得した画像に基づいてエッジ候補画素の座標値を検出し、検出したエッジ候補画素の座標値に基づいて原稿領域の傾きを算出し、検出したエッジ候補画素の座標値に基づいてエッジ端候補画素の座標値を抽出する。そして画像処理装置は、算出した原稿領域の傾きおよび抽出したエッジ端候補画素の座標値に基づいてエッジに対応する直線を算出し、算出したエッジに対応する直線に基づいて原稿領域の傾きを補正すると共に、当該直線に基づいて画像から原稿領域を切り出す。
他の例として、原稿領域を抽出する動作において、画素の微分値と閾値を比較して読み取り対象か否かを判定する画像処理装置が知られている。
また、イメージセンサより出力される画像データを処理する画像読取装置が知られている。画像読取装置は、濃度変化量が閾値より高い画素を原稿端点と推定される候補点として検出する原稿領域検出手段と、候補点の位置に基づいて原稿端の位置を示す原稿端点を認定する原稿領域補正手段とを備える。原稿領域検出手段は、対象画素の周辺画素の画像濃度に基づいて、対象画素の濃度変化量を演算する濃度変化量演算手段と、対象画素から走査方向、又は逆走査方向のいずれか一方向に連続する所定数画素の濃度を所定のスライスレベルで2値化したときの各画素の値が一致すると、当該対象画素を候補点として検出する判定手段を備える。判定手段は、濃度変化量が、閾値未満であり第二の閾値以上とみなされた対象画素において、当該対象画素から走査方向、又は逆走査方向のいずれか一方向に連続する所定数の画素の濃度を所定のスライスレベルで2値化したときに、当該各画素における2値化後の値が一致する場合、当該対象画素を仮候補点として検出する。
また、原稿エッジを検出する原稿サイズ検出装置が知られている。原稿サイズ検出装置は、注目画素と所定画素数前の画素から等間隔おいた複数の画素とのそれぞれの差分をとる第1の演算手段と、その第1の演算手段により得られた各差分と閾値とを比較し、すべての差分が閾値を越える場合を検出する第1の比較手段と、その第1の比較手段の比較の結果すべての差分が閾値を越えていた場合にその注目画素位置を仮エッジとし、その状態が所定回数続いた場合に前記仮エッジ位置を原稿エッジとして検出する第1のエッジ検出手段とを有する第1の原稿エッジ検出手段と、注目画素と前画素との差分をとる第2の演算手段と、その第2の演算手段により得られた差分が閾値を越える場合を検出する第2の比較手段と、注目画素から所定画素前までの範囲内で閾値を越えている回数が所定回数以上あった場合には、注目画素の位置を原稿エッジとし、この動作を主走査方向にわたって行い、最終的に原稿エッジ位置として更新された位置を原稿エッジとする第2のエッジ検出手段とを有する第2の原稿エッジ検出手段と、前記第1および第2の原稿エッジ検出手段により検出された2つの原稿エッジ位置の内大きいほうを原稿エッジとしてサイズ検出を行うサイズ判別手段とを備える。
特開2009−218953号公報 特開2010−263434号公報 特開2002−252747号公報 特開平10−224563号公報
画像読取装置で原稿を読み取った画像データの中から原稿領域を検出する際、原稿領域とそれ以外の背景領域の間の境界で生じる明度変化を検出することにより、原稿領域と背景領域の境界であるエッジを検出することができる。
画像読取装置に設けられた原稿の裏当ての明度と原稿の明度との差が大きい場合は、原稿を読み取った画像データにおいてエッジの周辺にフレアが発生する場合がある。フレアとは、読み取り画像に明度差が大きい部分が存在すると、暗部又は明部内の明度が一定にならず、暗部からの距離に応じて明部の明度が漸減する、又は明部からの距離に応じて暗部の明度が漸増する現象である。フレアは、画像センサが本来読み取るべき位置からの反射光だけでなく、その他の位置からの反射光(迷光)も画像センサに入射するために生じる。フレアが発生すると、原稿領域と背景領域の境界が滲んで見えるため、フレア発生時に本来のエッジよりも外側の位置がエッジとして誤検出されることがある。
また、エッジの誤検出にはフレア以外の他の事象が原因となって生じるものがある。このような原因の一例として縦筋ノイズがある。縦筋ノイズとは、画像読取装置による原稿の副走査方向に沿って伸びる線状のノイズである。縦筋ノイズは、例えばADF(automatic document feeder)装置が搭載されたスキャナにおいて、読み取り部や裏当て部の汚れによって生じることがある。したがって、フレア発生時のエッジ検出精度の改善にあたっては、フレア以外の要因がある場合におけるエッジ判定への影響が少ないことが望ましい。
開示の装置及び方法は、フレア発生時におけるエッジの検出精度を向上することを目的とする。
装置の一観点によれば、原稿領域を含む画像データを入力する入力部と、画像データの所定方向と平行なラインに沿って前記画像データの2値化画像を所定検出パターンで走査することにより、前記原稿領域の境界線を構成するエッジ点の第1候補を検出する第1候補検出部と、ラインに沿って隣接する画素同士の微分値に基づいてエッジ点の第2候補を検出する第2候補検出部と、第1候補よりも前記第2候補の方が前記原稿領域の内側に位置する場合に、前記第2候補をエッジ点と決定し、そうでない場合に前記第1候補をエッジ点と決定するエッジ点決定部を備える画像処理装置が与えられる。
装置の他の一観点によれば、画像読取装置と、該画像読取装置との間の通信により該画像読取装置が読み込む画像を受信するコンピュータ装置とを有する画像処理システムが与えられる。画像処理システムは、画像読取装置により読み込まれる画像データの所定方向と平行なラインに沿って前記画像データの2値化画像を所定検出パターンで走査することにより、前記画像データに含まれる原稿領域の境界線を構成するエッジ点の第1候補を検出する第1候補検出部と、ラインに沿って隣接する画素同士の微分値に基づいてエッジ点の第2候補を検出する第2候補検出部と、第1候補よりも前記第2候補の方が前記原稿領域の内側に位置する場合に、前記第2候補をエッジ点と決定し、そうでない場合に前記第1候補をエッジ点と決定するエッジ点決定部を備える。
方法の一観点によれば、原稿領域を含んだ画像データを取得する画像取得ステップと、画像データの所定方向と平行なラインに沿って前記画像データの2値化画像を所定検出パターンで走査することにより、前記原稿領域の境界線を構成するエッジ点の第1候補を検出する第1候補検出ステップと、ラインに沿って隣接する画素同士の微分値に基づいてエッジ点の第2候補を検出する第2候補検出ステップと、第1候補よりも前記第2候補の方が前記原稿領域の内側に位置する場合に、前記第2候補をエッジ点と決定し、そうでない場合に前記第1候補をエッジ点と決定するエッジ点決定ステップを含む画像処理方法が与えられる。
コンピュータプログラムの一観点によれば、制御部を備えた情報処理装置に実行させるための画像処理プログラムが与えられる。画像処理プログラムは、前記制御部に実行させるための、原稿領域を含んだ画像データを取得する画像取得ステップと、画像データの所定方向と平行なラインに沿って前記画像データの2値化画像を所定検出パターンで走査することにより、前記原稿領域の境界線を構成するエッジ点の第1候補を検出する第1候補検出ステップと、ラインに沿って隣接する画素同士の微分値に基づいてエッジ点の第2候補を検出する第2候補検出ステップと、第1候補よりも前記第2候補の方が前記原稿領域の内側に位置する場合に、前記第2候補をエッジ点と決定し、そうでない場合に前記第1候補をエッジ点と決定するエッジ点決定ステップを含む。
本件開示の装置又は方法によれば、フレア発生時におけるエッジの検出精度が向上する。
画像処理システムのハードウエア構成図である。 (A)は原稿のエッジ部分の画像の模式図であり、(B)は画素の明度変化の説明図である。 微少ノイズ発生時の画素の明度変化の説明図である。 (A)はフレア発生時のエッジ部分の画像の模式図であり、(B)は画素の明度変化の説明図である。 (A)は縦筋ノイズ発生時の画像の模式図であり、(B)は画素の明度変化の説明図である。 画像処理システムの処理の一例の説明図である。 (A)は第1候補及び第2候補の検出例を示す図であり、(B)はエッジ点決定処理によるエッジ点の決定結果を示す図であり、(C)はノイズ除去処理によるノイズ除去結果を示す図である。 (A)〜(C)は、パターンマッチング処理の一例の説明図である。 微分演算処理の一例の説明図である。 (A)〜(D)は、エッジ部分の画素の明度変化、2値化信号、微分値及び微分値の合計値の説明図である。 (A)〜(D)は、微少ノイズ発生時の画素の明度変化、2値化信号、微分値及び微分値の合計値の説明図である。 (A)〜(D)は、フレア発生時の画素の明度変化、2値化信号、微分値及び微分値の合計値の説明図である。 (A)〜(D)は、縦筋ノイズ発生時の画素の明度変化、2値化信号、微分値及び微分値の合計値の説明図である。 (A)〜(C)は、エッジ点決定処理の例の説明図である。 ノイズ除去処理の第1例の説明図である。 画像処理制御部の構成例の一例を示す図である。 パターンマッチング処理部の処理の一例の説明図である。 微分演算処理部の処理の一例の説明図である。 エッジ点決定処理部の処理の一例の説明図である。 ノイズ除去処理部の処理の一例の説明図である。 (A)及び(B)は、走査される対象画素の説明図である。 (A)及び(B)は、ノイズ除去処理の第2例及び第3例の説明図である。
<1.ハードウエア構成>
以下、添付する図面を参照して本発明の実施例について説明する。図1は、画像処理システムのハードウエア構成図である。画像処理システム1は、画像読取装置10及びコンピュータ装置30を備える。画像読取装置10は、2次元の原稿を読み取って、この原稿に対応する画像信号を生成する。画像読取装置10は、例えば、複数の光源で露光された2次元原稿を走査して読み取る画像読取装置であってよい。このような、例えば画像読取装置の例として、例えばフィーダスキャナ、フラットベッドスキャナ、ハンディスキャナ等の各種スキャナ装置が挙げられる。
コンピュータ装置30は、有線又は無線の通信回線を介して画像読取装置10との間で通信が可能であり、この通信回線を経由して画像読取装置10が読み取った原稿の画像信号を画像読取装置10から受信する。
画像読取装置10は、CPU(Central Processing Unit: 中央処理ユニット)11、メモリ12、イメージセンサ13、AFE(Analog Front-End Processor)14と、シェーディング処理部15と、ブロックバッファ16を備える。また、画像読取装置10は、画像処理制御部17と、画像メモリ18と、調停部19と、入力部20と、出力部21と、インタフェース(I/F)22とバス23を備える。
CPU11は、メモリ12に格納されたコンピュータプログラムに従い画像読取装置10の動作を制御する。ある実施例では、CPU11は、画像読取装置10が読み取る原稿画像の画像処理を行ってもよい。メモリ12にはこのような画像処理用のコンピュータプログラムが格納されてもよい。メモリ12には、CPU11により実行されるコンピュータプログラムや、このコンピュータプログラムの実行の際に使用されるデータが格納される。メモリ12は、プログラムを記憶するための非揮発性記憶装置や、データを一次的に記憶するための揮発性メモリを含んでいてよい。
イメージセンサ13は、2次元の原稿を撮像して、原稿に対応する画像信号を出力する。イメージセンサ13は、例えば、1次元又は2次元に配列されたCCD(Charge Coupled Device)センサやCMOS(Complementary Metal Oxide Semiconductor)センサ等の撮像素子と、この撮像素子に原稿の像を結像する光学系を備える。AFE14は、イメージセンサ13から出力される画像信号に対して増幅やその他の信号処理を施した後、処理された画像信号をシェーディング処理部15へ入力する。
シェーディング処理部15は、AFE14から受信した画像信号を、画像データとしてブロックバッファ16に収容し、この画像データにシェーディング処理を施した後に、画像処理制御部17に出力する。画像処理制御部17は、シェーディング処理が施された後の画像データに所定の画像処理を施し、画像データを画像メモリ18に格納する。他の実施例においてシェーディング処理部15は、シェーディング処理が施された後の画像データを画像メモリ18に格納し、画像処理制御部17は、画像メモリ18から画像データを入力してもよい。調停部19は、画像処理制御部17が画像処理の際に行うメモリ12に対するアクセスと、CPU11によるメモリ12へのアクセスとが競合しないように、これらのアクセスを調停する。
ある実施例では、シェーディング処理部15、画像処理制御部17及び調停部19は、論理回路として画像読取装置10に実装されてよい。論理回路は、例えば、LSI(large scale integration)やASIC(Application Specific Integrated Circuit)、FPGA(Field-Programming Gate Array)等であってよい。他の実施例では、シェーディング処理部15、画像処理制御部17及び調停部19は、CPUやDSP(digital signal processor)等のプロセッサと、このプロセッサが実行するプログラムを格納するメモリを含む電子回路として画像読取装置10に実装されてよい。
入力部20は、ユーザによる入力操作を受け付ける入力装置である。入力部20は、例えば、ボタン、スクロールホイール、キーパッド、キーボード、ポインティングデバイス、タッチパネル等であってよい。出力部21は、画像読取装置10から各種情報をユーザに提示するための出力装置である。例えば、出力部21は、ユーザに提示する情報を利用者に可視的に表示する表示デバイスであってよい。出力部21は、発光素子や、液晶ディスプレイ、有機エレクトロルミネッセンスディスプレイ等の表示装置であってよい。または、出力部21は、音声信号を出力するスピーカやその駆動回路であってよい。
I/F22は、画像読取装置10とコンピュータ装置30との間の有線及び/又は無線による通信インタフェースである。画像読取装置10は、読み取った原稿の画像データをI/F22を介してコンピュータ装置30へ送信することが可能である。画像読取装置10は、画像読取装置10の動作に関する設定情報や指示をI/F22を介してコンピュータ装置30から受信する。ある実施例では、画像読取装置10は、コンピュータ装置30により処理が施された画像データをI/F22を介して受信してよい。CPU11、シェーディング処理部15、画像処理制御部17、画像メモリ18、調停部19、入力部20、出力部21及びI/F22は、バス23によって電気的に接続されている。
一方、コンピュータ装置30は、CPU31と、補助記憶装置32と、メモリ33と、入力部34と、出力部35と、媒体読取部36と、I/F37とバス38を備える。CPU31は、補助記憶装置32に格納されたコンピュータプログラムを実行することにより、コンピュータプログラムに応じた情報処理を実行する。ある実施例では、CPU31は、画像読取装置10により読み取られた原稿画像の画像処理を行ってもよい。補助記憶装置32にはこのような画像処理用のコンピュータプログラムが格納されてもよい。補助記憶装置32は、コンピュータプログラムを記憶するための、不揮発性記憶装置や、読み出し専用メモリ(ROM: Read Only Memory)やハードディスクなどを含んでいてもよい。
メモリ33には、CPU31が現在実行中のプログラムや、このプログラムによって一時的に使用されるデータが記憶される。メモリ33は、ランダムアクセスメモリ(RAM: Random Access Memory)を含んでいてよい。入力部34は、ユーザによる入力操作を受け付ける入力装置である。入力部34は、例えば、キーパッド、キーボード、ポインティングデバイス、タッチパネル等であってよい。
出力部35は、コンピュータ装置30によって処理された信号を出力する出力装置である。例えば、出力部35は、コンピュータ装置30によって処理された情報を利用者に可視的に表示する表示デバイスであってよい。出力部35は、例えば、液晶ディプレイ、CRT(Cathode Ray Tube)ディスプレイ、有機エレクトロルミネッセンスディスプレイなどの表示装置であってよい。または、出力部35は、音声信号を出力するスピーカやその駆動回路であってよい。
媒体読取部36は、コンピュータに読み取り可能な可搬型記録媒体に記憶されたデータを読み取る入力装置である。媒体読取部36は、例えばCD−ROMドライブ装置やDVD−ROMドライブ装置、フレキシブルディスクドライブ装置、CD−Rドライブ装置や、DVD−Rドライブ装置、MOドライブ装置、フラッシュメモリ装置へのアクセス装置であってよい。
I/F37は、画像読取装置10とコンピュータ装置30との間の有線及び/又は無線による通信インタフェースである。コンピュータ装置30は、画像読取装置10が読み取った原稿の画像データを、I/F37を経由して受信することが可能である。コンピュータ装置30は、画像読取装置10の動作に関する設定情報や指示をI/F37を介して画像読取装置10へ送信する。CPU31、補助記憶装置32、メモリ33、入力部34、出力部35、媒体読取部36及びI/F37は、バス38によって電気的に接続されている。
<2.第1実施例>
<2.1. 概要説明>
次に、図2の(A)及び図2の(B)〜図15を参照して、画像処理システム1により実施される処理の一例について説明する。以下、原稿領域と背景領域のエッジが検出される画像データについて説明する。図2の(A)は原稿のエッジ部分の画像の模式図である。画像データ40は、原稿領域rと背景領域bkを含む。原稿領域rは、画像読取装置10のイメージセンサ13が読み取った原稿画像により占められる領域であり、背景領域bkは、画像データ40中の原稿領域r以外の領域である。
符号egは原稿領域rと背景領域bkとの間のエッジの位置を示す。図示する通り画像データ40の原稿領域rと背景領域bkとの間の明度差は大きく、原稿領域r及び背景領域bkはそれぞれ画像データ40の暗部と明部となる。図4の(A)及び図5の(A)に示す原稿のエッジ部分の画像においても同様である。
図2の(B)は、図2の(A)に示す画素ラインLにおける画素の明度変化の説明図である。図2の(A)の例では、エッジegにおいてフレアは生じておらず、エッジeg周辺の原稿領域r内及び背景領域bk内においてそれぞれ明度はほぼ一定であり、エッジegの位置で、背景領域bkと原稿領域rとの間の明瞭な明度変化を生じる。なお、以下の説明において画素ラインを単に「ライン」と表記することがある。
図3は、微少ノイズ発生時の画素の明度変化の説明図である。図3の例は、図2の(A)に示す画像データ40が背景領域bkにおいて微少ノイズを含む場合を示す。微少ノイズの存在によってラインLの位置p1の画素と周囲の画素との間の明度差が低減されている。
図4の(A)はフレア発生時のエッジ部分の画像の模式図である。フレアの発生により原稿領域rと背景領域bkとの境界が滲んでいる。図4の(B)は、図4の(A)に示すラインLにおける画素の明度変化の説明図である。原稿領域rと背景領域bkとの境界が滲んでいるため、エッジegの位置の周辺において背景領域bkから原稿領域rへと移動するにつれて明度が漸減し、エッジegの位置における明度変化が小さくなっている。
図5の(A)は縦筋ノイズ発生時のエッジ部分の画像の模式図である。画像データ40は、背景領域bkにおいて縦筋ノイズnを含む。図5の(B)は、図5の(A)に示すラインLにおける画素の明度変化の説明図である。縦筋ノイズnは、ある程度の幅を持ち、ラインL上の画素p1とp2との間の範囲を占めている。縦筋ノイズn部分とその外側の部分の間の明度差は大きいため、背景領域bkにおいて発生した縦筋ノイズnはエッジとして誤検出されることがある。
<2.1.1 全体処理>
続いて、画像処理システム1による全体処理の例を説明する。図6は、画像処理システムにより画像データから原稿領域の画像を切り出す処理の一例の説明図である。ステップS100において画像処理システム1は、画像データを入力する。ステップS101において画像処理システム1は、画像データにおいてエッジ点を走査する走査方向を、画像読取装置10による画像読み取り時の主走査方向に設定する。
ステップS102において画像処理システム1は、走査方向に沿う複数の走査ラインにおいてパターンマッチング処理によりエッジ点の第1候補を検出する。走査ラインは、画像データ中でエッジ点を検出するために、画素が走査される画素ラインである。走査ラインは1画素以上の間隔を隔てて配列されてもよく、または、間隔をあけずに連続して配列されてもよい。
また、画像処理システム1は、走査方向に沿う複数の走査ラインにおいて微分演算処理によりエッジ点の第2候補を検出する。パターンマッチング処理及び微分演算処理の内容は後述する。なお、パターンマッチング処理及び微分演算処理は、並列に実行されてもよく、また異なる時期にパターンマッチング処理及び微分演算処理を実行する場合には、どちらを先に実行してもよい。
図7の(A)は、第1候補及び第2候補の検出例を示す。図7の(A)において矩形rは画像データにおける原稿領域の範囲を示し、直線L1〜L8は走査ラインを示す。p11〜p18は走査ラインL1〜L8で検出される第1候補を示し、p21〜p28は走査ラインL1〜L8で検出される第2候補を示す。図7の(B)及び図7の(C)においても同様である。
図6のステップS103において画像処理システム1は、エッジ点決定処理を実行する。エッジ点決定処理において画像処理システム1は、各走査ラインで検出された第1候補及び第2候補のうちいずれか一方をエッジ点として決定する。エッジ点決定処理の内容は後述する。なお、画像処理システム1は、パターンマッチング処理及び微分演算処理を実行するのと並列して、検出済みの第1候補及び第2候補からエッジ点を決定するエッジ点決定処理を実行するパイプライン処理を行ってもよい。
図7の(B)は、エッジ点決定処理によるエッジ点の決定結果を示す。例えば、走査ラインL1で検出される第1候補p11及び第2候補p21のうち、第1候補p11がエッジ点として決定される。また、走査ラインL2で検出される第1候補p12及び第2候補p22のうち、第2候補p22がエッジ点として決定される。
図6のステップS104において画像処理システム1は、ノイズ除去処理を実行する。ノイズ除去処理において画像処理システム1は、エッジ点決定処理によって決定されたそれぞれのエッジ点がノイズであるか否かを判断し、ノイズと判断されたエッジ点を除去する。ノイズ除去処理は後述する。なお、画像処理システム1は、エッジ点決定処理によりエッジ点を決定するのと並列して、決定済みのエッジ点についてノイズ除去処理を実行するパイプライン処理を行ってもよい。図7の(C)は、ノイズ除去処理によるノイズの除去結果を示す。ノイズ除去処理によって、走査ラインL6上及びL7上のエッジ点p16及びp17が除去される。
図6のステップS105において画像処理システム1は、画像読取装置10による画像読み取り時の主走査方向及び副走査方向の両方で、エッジ点の走査を行ったか否かを判断する。両方の走査方向でエッジ点の走査を行った場合(ステップS105:Y)には、処理はステップS107へ進む。副走査方向でエッジ点の走査を行っていない場合(ステップS105:N)には、処理はステップS106へ進む。ステップS106において画像処理システム1は、エッジ点の走査方向を、画像読取装置10の副走査方向に設定する。その後、処理はS102に戻り、処理S102〜S105を繰り返す。
ステップS107において画像処理システム1は、境界線決定処理を実行する。境界線決定処理において画像処理システム1は、上記ステップS100〜S106によって決定されたエッジ点に基づいて原稿領域のエッジを決定する。ステップS108において画像処理システム1は、画像切出処理を実行する。画像切出処理において画像処理システム1は、ステップS107の境界線決定処理で決定したエッジの位置で、画像データから原稿領域の画像を切り出す。その後に処理は終了する。
なお、図6の例では、画像読取装置10の主走査方向に沿ってエッジ点の走査を行った後に副走査方向に沿ってエッジ点の走査を行った。これに代えて、副走査方向に沿ってエッジ点の走査を行った後に主走査方向に沿ってエッジ点の走査を行ってもよい。また、主走査方向に沿うエッジ点の走査と副走査方向に沿うエッジ点の走査とを並列して行ってもよい。
<2.1.2 パターンマッチング処理>
次に、図6のステップS102で実行されるパターンマッチング処理について説明する。パターンマッチング処理において画像処理システム1は、所定の2値化閾値T1で入力された画像データを2値化する。画像処理システム1は、走査ライン上において注目画素を移動させて走査ライン上の各画素を走査し、注目画素がエッジ点であるか否かを判断する。
注目画素がエッジ点であるか否かの判断において画像処理システム1は、注目画素を含む被検査画素群とエッジ検出用のフィルタパターンとを比較する。図8の(A)は、被検査画素群の一例を示す図である。図8の(A)において点線で区切られる方眼は画像データの各画素の位置を示し、方眼内の数値は走査ライン上の画素値の2値化信号を示す。画素pは注目画素を示し、一点鎖線で囲われた範囲にある画素群tgは、注目画素pについて定めた被検査画素群である。
被検査画素群tgは、注目画素pを含みかつ走査方向sdに沿って複数個配列される画素の集合である。図示の例では、被検査画素群tgは、注目画素pに連続して走査方向に沿って一列に配列される複数の画素の集合である。なお、図8の(A)に示す被検査画素群tgは説明のための例示である。したがって、実装される装置の仕様に応じて被検査画素群を変更してよい。
図8の(B)及び図8の(C)は、フィルタパターンの一例であり、それぞれ走査方向sdが画像読取装置10の主走査方向である場合の左辺検出用及び右辺検出用のパターンである。画像処理システム1は、被検査画素群tgがフィルタパターンと一致した場合に、注目画素がエッジ点の第1候補として判断する。
<2.1.3 微分演算処理>
次に、図6のステップS102で実行される微分演算処理について説明する。図9は、微分演算処理の一例の説明図である。図9の矩形p1〜p7は、ある走査ライン上の画素を示し、矩形内の数値は各画素の画素値を示す。例えば、画素p1〜p7…の画素値は、それぞれ「218」、「210」、「224」、「54」、「61」、「58」、「47」…である。
画像処理システム1は、走査ライン上において注目画素を移動させて走査ライン上の各画素を走査し、注目画素がエッジ点であるか否かを判断する。注目画素がエッジ点であるか否かの判断において画像処理システム1は、注目画素を含んだ被検査画素群に含まれる隣接画素同士の差分を、被検査画素群に含まれる画素の微分値として算出する。
被検査画素群は、注目画素を含みかつ走査方向に沿って複数個配列される画素の集合である。図9に示す例においては、注目画素が画素p4であるとき、画素p1〜p7からなる集合を被検査画素群として定めてよい。このような被検査画素群は、注目画素p4に連続して走査方向に沿って一列に配列される複数の画素p1〜p7の集合である。なお、本例の被検査画素群は説明のための例示である。実装される装置の仕様に応じて被検査画素群を変更してよい。
図9に示す例の場合、画像処理システム1は、被検査画素群に含まれる隣接画素p2及びp1の間の差分、p3及びp2の間の差分、p4及びp3の間の差分、p5及びp4の間の差分、p6及びp5の間の差分、p7及びp6の間の差分を算出する。これらの差分値は、図9に示すとおり、それぞれ「−8」、「14」、「−170」、「7」、「−3」及び「−11」である。
次に、画像処理システム1は、被検査画素群に含まれる画素の微分値「−8」、「14」、「−170」、「7」、「−3」及び「−11」の合計値Σを算出する。図9に示す例の場合、これらの合計値Σは「−171」である。画像処理システム1は、注目画素p4について算出した合計値の絶対値|Σ|が、所定の検出閾値T2を超えるとき注目画素p4をエッジの第2候補として検出する。
<2.1.4 第1候補及び第2候補の検出例>
以下、図2の(B)、図3、図4の(B)及び図5の(B)を参照して説明した、エッジ部分の画像、ノイズ発生時の画像、フレア発生時の画像、及び縦筋ノイズ発生時の画像において、どのように第1候補及び第2候補が検出されるかを例示する。
図10の(A)は、図2の(B)と同様のエッジ部分の画素の明度変化を示す。図10の(B)は、図10の(A)の画素値を2値化閾値T1によって2値化した2値化信号を示す。図10の(A)に示す明度変化では、背景領域と原稿領域との間のエッジegの位置で明瞭な明度変化を生じるため、2値化信号の値はエッジegの位置で変化する。このため、パターンマッチング処理ではエッジegの位置がエッジ点の第1候補として検出される。
図10の(C)は、図10の(A)の画素値について微分演算処理において演算される微分値を示す。図10の(D)は被検査画素群に含まれる微分値の合計値の絶対値|Σ|を示す。図10の(C)の微分値は、明瞭な明度変化が生じるエッジ位置egで顕著な極小値を生じる。このため、被検査画素群の中心画素の微分値が極小値となるとき、被検査画素群中の微分値の合計値の絶対値|Σ|はある程度の大きさを持つ極大値を生じる。したがって微分演算処理では、合計値の絶対値|Σ|と検出閾値T2との比較により、エッジegの位置がエッジ点の第2候補として検出される。
図11の(A)は、図3と同様の微少ノイズ発生時の画素の明度変化を示す。図11の(B)は、図11の(A)の画素値を2値化閾値T1によって2値化した2値化信号である。図11の(A)に示す明度変化では、微少ノイズが存在するp1及びp2間の画素と周囲の画素との間の明度差が大きいため、2値化信号の値は画素p1及びp2において一時的に変化する。しかし、画素p1及びp2間の長さがフィルタパターン長に比べて十分小さければ、ノイズ部分の2値化信号はフィルタパターンと一致しない。このため、このような微少ノイズの場合、パターンマッチング処理では誤検出が生じない。
図11の(C)は、図11の(A)の画素値について微分演算処理において演算される微分値を示す。図11の(D)は被検査画素群に含まれる微分値の合計値の絶対値|Σ|を示す。図11の(C)の微分値は、画素p1及びp2において極小値と極大値を生じる。しかし、画素p1及びp2間の長さが被検査画素群の長さに比べて十分小さければ、被検査画素群内において極小値と極大値が互いに相殺し合う。このため、被検査画素群中の微分値の合計値の絶対値|Σ|の極大値は小さくなる。したがって、微少ノイズの場合には、微分演算処理でも誤検出が生じない。
図12の(A)は、図4の(B)と同様のフレア発生時の画素の明度変化を示す。図12の(B)は、図12の(A)の画素値を2値化閾値T1によって2値化した2値化信号である。図12の(A)に示す明度変化では、エッジegの位置の周辺において背景領域bkから原稿領域rへと移動するにつれて明度が漸減する。このため、原稿領域rのエッジegの位置よりも外側の位置p1で明度が2値化閾値T1よりも低くなる。この結果、パターンマッチング処理では、位置p1がエッジ点の第1候補として誤検出される。
図12の(C)は、図12の(A)の画素値について微分演算処理において演算される微分値を示す。図12の(D)は被検査画素群に含まれる微分値の合計値の絶対値|Σ|を示す。フレア発生時でも依然としてエッジ位置egにおける明度変化はその周囲と比べて顕著に大きい。したがって図12の(C)の微分値は、明瞭な明度変化が生じるエッジegの位置で顕著な極小値を生じる。このため微分演算処理では、フレア発生時でもエッジegの位置がエッジ点の第2候補として検出される。
図13の(A)は、図5の(B)と同様の縦筋ノイズ発生時の画素の明度変化を示す。図13の(B)は、図13の(A)の画素値を2値化閾値T1によって2値化した2値化信号である。図13の(A)に示す明度変化では、縦筋ノイズが存在するp1及びp2間の画素と周囲の画素との間の明度差が大きいため、2値化信号の値は画素p1及びp2において変化する。しかし、画素p1及びp2間の長さがフィルタパターン長に比べて十分小さければ、ノイズ部分の2値化信号はフィルタパターンと一致しない。このため、縦筋ノイズの場合、パターンマッチング処理では誤検出が生じない。
図13の(C)は、図13の(A)の画素値について微分演算処理において演算される微分値を示す。図13の(D)は被検査画素群に含まれる微分値の合計値の絶対値|Σ|を示す。図13の(C)の微分値は、画素p1及びp2において極小値と極大値を生じる。図11の(C)に示す微少ノイズの場合と比べて、縦筋ノイズの場合には、極小値と極大値が生じる画素p1とp2の間隔が大きい。したがって、画素p1及びp2間の長さが被検査画素群の長さに比べて大きくなり、被検査画素群内において極小値と極大値が相殺しない。このため、被検査画素群中の微分値の合計値の絶対値|Σ|の極大値がある程度大きくなる。したがって、微分演算処理では、縦筋ノイズの画素p1及びp2の位置を第2候補として誤検出してしまうことがある。
以上、第1候補を検出するパターンマッチング処理の特徴と第2候補を検出する微分演算処理の特徴を比較すると、以下の通りとなる。
(1)フレアが発生していない場合には、第1候補及び第2候補は正しいエッジ位置を示す。
(2)微少ノイズは、第1候補及び第2候補として誤検出されない。
(3)フレア発生時には、第2候補は正しいエッジ位置を示すが、第1候補は正しいエッジ位置よりも外側の位置を示すことがある。
(4)縦筋ノイズ発生時には、第1候補としては誤検出されないが第2候補として誤検出されることがある。
<2.1.5 エッジ点決定処理>
続いて、図6のステップS103において実行されるエッジ点決定処理を説明する。図14の(A)及び図14の(B)は、エッジ点決定処理の第1例の説明図である。図14の(A)及び図14の(B)において矩形rは画像データにおける原稿領域の範囲を示し、直線Lは画像読取装置10の主走査方向に沿った走査ラインを示す。p11及びp12は左辺及び右辺の第1候補を示し、p21及びp22は左辺及び右辺の第2候補を示す。図14の(C)においても同様である。なお、画像読取装置10の副走査方向に沿う方向に走査ラインを設定した場合にも処理は同様である。
上記「2.1.4(3)」の通り、フレア発生時には、第1候補は第2候補よりも外側の位置を示すことがある。したがって、図14の(A)に示すように第2候補の位置が第1候補よりも外側の場合にはフレア発生時ではないため、画像処理システム1は、第1候補をエッジ点として決定する。一方、図14の(B)に示すように第2候補の位置が第1候補よりも内側の場合にはフレア発生時と考えられるため、画像処理システム1は、第2候補をエッジ点として決定する。
このように、第2候補の位置が第1候補よりも内側の場合にのみ第2候補をエッジ点として選択することにより、例えば背景領域の縦筋ノイズ等の、フレア以外の要因によって誤検出された第2候補を、エッジ点として採用することが防止される。
図14の(C)は、エッジ点決定処理の第2例の説明図である。フレア発生によって第1候補の位置が正しいエッジ位置を示す第2候補の位置よりも外側にずれても、そのズレ量は、ある程度の範囲以下であると考えられる。したがって、画像処理システム1は、第2候補の位置が第1候補よりも内側にあり、且つ第1候補と第2候補との間隔が所定距離Td1以内である場合に、第2候補をエッジ点として決定し、そうでない場合には第1候補をエッジ点として決定する。例えば、図14の(C)に示す場合では、左辺の第1候補p11と、その内側にある第2候補p21との間の間隔が所定距離Td1以内であるため、第2候補p21がエッジ点として決定される。また右辺の第1候補p12と、その内側にある第2候補p22との間の間隔が所定距離Td1を超えるため、第1候補p12がエッジ点として決定される。このように、エッジ点として採用される第2候補の位置の範囲をさらに限定することにより、フレア以外の要因によって誤検出された第2候補をエッジ点が判断される機会を低減できる。
なお、パターンマッチング処理及び微分演算処理における画素の走査が、一定の走査方向に向かって実行される場合がある。例えば、画像読取装置10が原稿を走査しながら画素データを順次生成し、生成された部分から順次エッジの第1候補及び第2候補が検出される場合がある。
例えば主走査方向において、原稿の左側から右側に向けて画素データが順次生成される場合において、パターンマッチング処理及び微分演算処理は、原稿の走査により画素データが生成されるのに伴って、順次生成される画素を走査する場合がある。この場合、エッジ点決定処理において画像処理システム1は、左辺のエッジを決定する際に、先に検出した第1候補の後に、第1候補から所定距離Td1以内の範囲で第2候補が検出される場合に、第2候補をエッジ点として決定してよい。第1候補から所定距離Td1以上の画素を走査しても第2候補が検出されない場合には、第1候補をエッジ点として検出してよい。
右辺のエッジを決定する際に画像処理システム1は、先に検出した第2候補の後に、第2候補から所定距離Td1以内の範囲で第1候補が検出される場合に、第2候補をエッジ点として決定する。第2候補から所定距離Td1以内の範囲で第1候補が検出されなければ、第2候補を破棄し、その後に検出された第1候補をエッジ点として決定する。
<2.1.6 ノイズ除去処理>
続いて、図6のステップS104において実行されるノイズ除去処理を説明する。ノイズ除去処理において画像処理システム1は、各走査ラインで検出されたエッジ点をそれぞれ注目する。注目エッジ点の検出ラインに隣接する隣接ラインで検出された他のエッジ点と注目エッジ点との間の距離が所定距離Td2よりも大きい場合には、画像処理システム1は、注目エッジ点がノイズであると判断し、原稿領域のエッジ点から注目エッジ点を除去する。
図15は、ノイズ除去処理の第1例の説明図である。図15において矩形rは画像データにおける原稿領域の範囲を示し、直線L1〜L5は走査ラインを示し、p1〜p5は走査ラインL1〜L5で検出されるエッジ点を示す。走査ラインL2は、走査ラインL1及びL3に隣接する。また、走査ラインL4は、走査ラインL3及びL5に隣接する。
いま、エッジ点p1、p2、p3、p4及びp5の順に注目する。注目エッジ点が、エッジ点p2及びp5であるとき、これら注目エッジ点p2及びp5は、直前に注目した隣接ラインのエッジ点p1及びp4から所定距離Td2の範囲内にあるため、ノイズとして除去されない。一方で、注目エッジ点が、エッジ点p3及びp4であるとき、これら注目エッジ点p3及びp4は、直前に注目した隣接ラインのエッジ点p2及びp3から所定距離Td2の範囲外にあるため、ノイズとして除去される。
<2.2. 装置構成>
続いて、画像処理制御部17の構成について説明する。図16は、画像処理制御部17の構成例の一例を示す図である。画像処理制御部17は、画像入力部50、パターンマッチング処理部51、微分演算処理部52、エッジ点決定処理部53、ノイズ除去処理部54、境界線決定部55、画像切出部56を備える。なお、図16は、以下の説明に関係する機能を中心として示している。このため、画像処理制御部17は図示の構成要素以外の他の構成要素を含んでいてよい。エッジ点記憶部57に格納されるエッジ点の座標データは、メモリ12に格納される。
他の実施例では、画像入力部50、パターンマッチング処理部51、微分演算処理部52、エッジ点決定処理部53、ノイズ除去処理部54、境界線決定部55、画像切出部56により行われる処理の一部又は全部を、画像処理制御部17に代わってCPU11が実行してもよい。また他の実施例では、これらの処理の一部又は全部をコンピュータ装置30のCPU31によって実行してもよい。コンピュータ装置30は、エッジ点記憶部57としてメモリ33にエッジ点の座標データを記憶してもよい。
これらの情報処理をCPU31に実行させるコンピュータプログラムは、機械可読記録媒体に記録され、媒体読取部36がこれを読み取ることにより補助記憶装置32にインストールされてもよい。また、このコンピュータプログラムは、図示しないネットワークインタフェースを介してネットワークからダウンロードされ、補助記憶装置32にインストールされてもよい。
画像入力部50は、画像データを入力する。パターンマッチング処理部51は、上記「2.1.2」のパターンマッチング処理を実行することによりエッジ点の第1候補を検出する。微分演算処理部52は、上記「2.1.3」の微分演算処理を実行することによりエッジ点の第2候補を検出する。
エッジ点決定処理部53は、上記「2.1.5」のエッジ点決定処理を実行することにより、第1候補及び第2候補のうちいずれか一方を原稿領域のエッジ点として決定する。エッジ点決定処理部53は、決定したエッジ点の座標データをエッジ点記憶部57に保持する。ノイズ除去処理部54は、上記「2.1.6」のノイズ除去処理を実行することにより、エッジ点決定処理部53が決定した各エッジ点がノイズであるか否かを判断し、ノイズと判断されたエッジ点の座標データを、エッジ点記憶部57から除去する。
境界線決定部55は、ノイズ除去処理部54によるノイズ除去処理後に残ったエッジ点に基づいて、原稿領域のエッジを決定する。画像切出部56は、境界線決定部55が決定したエッジの位置で、画像データから原稿領域の画像を切り出す。
続いて、パターンマッチング処理部51、微分演算処理部52、エッジ点決定処理部53及びノイズ除去処理部54による処理について説明する。なお、以下の説明では、画像読取装置10の主走査方向に沿ってエッジ点の走査を行う場合について説明する。副走査方向に沿ってエッジ点の走査を行う場合の処理も同様である。
<2.2.1 パターンマッチング処理部>
図17は、1本の走査ラインにおけるパターンマッチング処理部51の処理の一例の説明図である。ステップS200においてパターンマッチング処理部51は、2値化閾値T1を決定する。ステップS201においてパターンマッチング処理部51は、画像データを入力する。ステップS202においてパターンマッチング処理部51は、2値化閾値T1で画像データを2値化する。
ステップS203においてパターンマッチング処理部51は、走査ライン上の所定の走査開始位置へ注目画素の位置を設定する。ステップS204においてパターンマッチング処理部51は、注目画素について定められる被検査画素群と比較するフィルタパターンを決定する。この場合、左辺検出用パターンを使用する。
ステップS205においてパターンマッチング処理部51は、注目画素について定められる被検査画素群とフィルタパターンとが一致するか否かを判断する。被検査画素群とフィルタパターンが一致する場合(ステップS205:Y)には、処理はステップS207へ進む。被検査画素群とフィルタパターンが一致しない場合(ステップS205:N)には、処理はステップS206へ進む。ステップS206においてパターンマッチング処理部51は、注目画素の位置を右方向へ1画素ずらし、処理をステップS205に戻す。
ステップS207においてパターンマッチング処理部51は、ステップS205におけるパターンの一致が、現在の走査ラインでの最初の一致であるか否かを判断する。ステップS205における一致が最初の一致である場合(ステップS207:Y)には、処理はステップS208へ進む。ステップS205における一致が最初の一致でない場合(ステップS207:N)には、処理はステップS209へ進む。
ステップS208においてパターンマッチング処理部51は、注目画素を左辺の第1候補PtLと判断し、第1候補PtLをメモリ12に記憶する。その後、パターンマッチング処理部51は、処理をステップS204に戻す。ステップS204においてパターンマッチング処理部51は、使用するフィルタパターンを右辺検出用パターンに変更し、その後に処理をステップS205へ進める。
ステップS209においてパターンマッチング処理部51は、ステップS205におけるパターンの一致が、現在の走査ラインでの最後の一致であるか否かを判断する。例えばパターンマッチング処理部51は、ステップS205におけるパターンの一致が最後の一致であるか否かを以下のように判定してよい。ステップS205におけるパターンの一致の後に、被検査画素群とフィルタパターンが一致することなく注目画素が走査終了位置へ至った場合には、パターンマッチング処理部51は最後の一致だと判断する。反対に、ステップS205におけるパターンの一致の後に、注目画素が走査終了位置へ至る途中で被検査画素群とフィルタパターンが再び一致した場合には、前者の一致は最後の一致でないと判断する。ステップS205における一致が最後の一致である場合(ステップS209:Y)には、処理はステップS210へ進む。ステップS205における一致が最後の一致でない場合(ステップS209:N)には、処理はステップS206へ進む。
ステップS210においてパターンマッチング処理部51は、注目画素を右辺の第1候補PtRと判断し、第1候補PtRをメモリ12に記憶する。その後、処理が終了する。
<2.2.2 微分演算処理部>
次に、微分演算処理部52の処理を説明する。図18は、1本の走査ラインにおける微分演算処理部52の処理の一例の説明図である。ステップS300において微分演算処理部52は、検出閾値T2を決定する。ステップS301において微分演算処理部52は、画像データを入力する。ステップS302において微分演算処理部52は、走査ライン上の所定の走査開始位置へ注目画素の位置を設定する。
ステップS303において変数iの値が「1」に設定される。ステップS304において微分演算処理部52は、注目画素について定められる被検査画素群に含まれる画素の微分値を算出する。ステップS305において微分演算処理部52は、被検査画素群に含まれる微分値の合計値Σを算出する。
ステップS306において微分演算処理部52は、合計値の絶対値|Σ|が、検出閾値T2を超えるか否かを判断する。絶対値|Σ|が検出閾値T2を超える場合(ステップS306:Y)には、処理はステップS307に進む。絶対値|Σ|が検出閾値T2を超えない場合(ステップS306:N)には、ステップS307がスキップされ、処理はステップS309へ進む。
ステップS307において微分演算処理部52は、注目画素を第2候補と判断する。微分演算処理部52は、第i個目の第2候補Diをメモリ12に記憶し、それまでに本走査ラインで検出及び記憶された第1個目〜第(i−1)個目の第2候補D1〜D(i−1)に追加する。ステップS308において微分演算処理部52は変数iを1つ増加させた後に、処理をステップS309へ進める。ステップS309において微分演算処理部52は、注目画素が走査ライン上の走査終了位置に至ったか否かを判断する。注目画素が走査終了位置に至った場合(ステップS309:Y)には、処理が終了する。注目画素が走査終了位置に至っていない場合(ステップS309:N)には、処理はステップS310へ進む。ステップS310において微分演算処理部52は、注目画素の位置を右方向へ1画素ずらし、処理をステップS304に戻す。
<2.2.3 エッジ点決定処理部>
次に、エッジ点決定処理部53の処理を説明する。図19は、1本の走査ラインにおけるエッジ点決定処理部53の処理の一例の説明図である。ステップS400においてエッジ点決定処理部53は、所定距離Td1を決定する。所定距離Td1は、第1候補PtL及びPtRより内側の第2候補Dが第1候補PtL及びPtRにどの程度近ければエッジ点と判断するかを定める。
ステップS401においてエッジ点決定処理部53は、左辺の第1候補PtLの内側かつ所定距離Td1の範囲内に第2候補Dが存在するか否かを判断する。第1候補PtLの内側かつ所定距離Td1の範囲内に第2候補Dが存在する場合(ステップS401:Y)には、処理はS402へ進み、そうでない場合(ステップS401:N)には処理はS403に進む。
ステップS402においてエッジ点決定処理部53は、第1候補PtLの内側かつ所定距離Td1の範囲内に存在する第2候補Dを左辺のエッジ点に定める。エッジ点決定処理部53は、決定した左辺のエッジ点をエッジ点記憶部57に記憶する。その後処理はステップS404へ進む。ステップS403においてエッジ点決定処理部53は、第1候補PtLを左辺のエッジ点に定める。エッジ点決定処理部53は、決定した左辺のエッジ点をエッジ点記憶部57に記憶する。その後処理はステップS404へ進む。
ステップS404においてエッジ点決定処理部53は、右辺の第1候補PtRの内側かつ所定距離Td1の範囲内に第2候補Dが存在するか否かを判断する。第1候補PtRの内側かつ所定距離Td1の範囲内に第2候補Dが存在する場合(ステップS404:Y)には、処理はS405へ進み、そうでない場合(ステップS404:N)には処理はS406に進む。
ステップS405においてエッジ点決定処理部53は、第1候補PtRの内側かつ所定距離Td1の範囲内に存在する第2候補Dを右辺のエッジ点に定める。エッジ点決定処理部53は、決定した右辺のエッジ点をエッジ点記憶部57に記憶する。その後処理は終了する。ステップS406においてエッジ点決定処理部53は、第1候補PtRを右辺のエッジ点に定める。エッジ点決定処理部53は、決定した右辺のエッジ点をエッジ点記憶部57に記憶する。その後処理は終了する。
<2.2.4 ノイズ除去処理部>
次に、ノイズ除去処理部54の処理を説明する。図20は、ノイズ除去処理部54の処理の一例の説明図である。ステップS500においてノイズ除去処理部54は、所定距離Td2を決定する。所定距離Td2は、隣接するラインで検出されたエッジ点間がどれだけ離れたらノイズと判断するかを定める。
ステップS501においてノイズ除去処理部54は、エッジ点決定処理部53が決定したエッジ点から注目エッジ点を選択する。ステップS502においてノイズ除去処理部54は、注目エッジ点が検出された走査ラインの隣接ラインで検出された他のエッジ点と注目エッジ点との距離が所定距離Td2よりも大きいか否かを判断する。他のエッジ点と注目エッジ点が所定距離Td2よりも大きい場合(ステップS502:Y)には、処理はステップS503へ進む。他のエッジ点と注目エッジ点が所定距離Td2以下の場合(ステップS502:N)には、処理はステップS504へ戻る。
ステップS503においてノイズ除去処理部54は、注目エッジ点に関する座標データをエッジ点記憶部57から除去する。その後処理はステップS505へ進む。ステップS504においてノイズ除去処理部54は、注目エッジ点を原稿領域のエッジを構成するエッジ点として確定する。その後処理はステップS505へ進む。
ステップS505においてノイズ除去処理部54は、ステップS501〜S504で全てのエッジ点を処理したか否かを判断する。全てのエッジ点が処理された場合(ステップS505:Y)には、処理は終了する。処理されていないエッジ点がある場合(ステップS505:N)には、処理はステップS506へ進む。ステップS506においてノイズ除去処理部54は、未処理のエッジ点を注目画素として選択する。その後処理は、ステップS502へ進む。
<2.3. 実施例の効果>
本実施例によれば、フレア発生時におけるエッジ検出に好適な微分演算処理が用いられることにより、フレア発生時におけるエッジの検出精度が向上する。さらに、本実施例によれば、微分演算処理で検出される第2候補と、他の検出処理(実施例ではパターンマッチング処理)で検出される第1候補の位置関係によって、フレアの発生を判定し、フレア発生時に微分演算処理による検出結果を使用する。このため、フレア以外の要因によって微分演算処理が誤検出を生じる可能性を低減する。
また、本実施例によれば、第1候補及び第2候補から選んだエッジ点が誤検出された座標であっても、ノイズ除去処理が、エッジ点間の連続性を判断することでノイズとして除去する。これにより、エッジ点の誤検出数をさらに低減することが可能となる。
なお、エッジ点の検出において走査する画素の密度をより高め、かつ走査対象の画素をより増やすことによって、エッジ点の検出精度を高めることができる。しかし走査対象画素が増大すると、画素情報を格納するメモリ容量、検出処理及び消費電力が増大する。これらの問題を避けるためには、走査対象の画素を間引くことが考えられる。
図21の(A)及び図21の(B)は、走査対象の画素が間引かれた場合の走査される対象画素の説明図である。点線で区切られる方眼は各画素の位置を示し、一点鎖線rは、画像データ中の原稿領域のエッジの位置を示す。また直線L1〜L7は、画素を走査してエッジ点を検出する走査ラインであり、走査ラインL1〜L4は主走査方向に沿って延び、走査ラインL5〜L7は副走査方向に沿って延びる。また実線の矩形は走査対象の画素を示す。
図21の(A)の例では、走査ラインは複数の画素を隔てて配列され、1つの走査ライン内でも複数画素おきに離間した画素でエッジが検出される。このため例えば、走査ラインL2上の原稿領域rのエッジ点p2は、走査対象画素p3の位置で検出される。また、走査ラインL6及びL7上の原稿領域rのエッジ点p1及びp4は、走査対象画素p3及びp5の位置で検出される。このため図21の(A)の例では、間引かれた画素数に応じた大きさの位置誤差が生じる。
図21の(B)の例は、走査ラインは複数の画素を隔てて配列されるが、1つの走査ライン内では連続する画素でエッジが検出される。このため、例えば、走査ラインL2上の原稿領域rのエッジ点p2、走査ラインL6及びL7上の原稿領域rのエッジ点p1及びp4は、それぞれ元の位置p2、p1及びp4で検出される。このため図21の(B)の例では、画像データの画素密度に応じた位置誤差しか生じない。したがって、図21の(B)のように走査対象画素を間引くことによって、検出位置の精度を保ったまま、メモリ容量、検出処理及び消費電力を低減することができる。
<3.他の実施例>
続いて、画像処理制御部17の他の実施例について説明する。図22の(A)は、ノイズ除去処理部54におけるノイズ除去処理の第2例の説明図である。ノイズ除去処理部54は、注目エッジ点と隣接ラインのエッジ点とを通る直線と、走査ラインに直交する方向とのなす角度が所定角度よりも大きい場合に、注目エッジ点がノイズと判断する。例えばノイズ除去処理部54は、注目画素p2と直前に注目した隣接ラインのエッジ点p1とを通る直線L1と、走査ラインに直交する方向rdとのなす角度θ1が、所定角度よりも大きいか否かを判断する。角度θ1が所定角度以下であれば、ノイズ除去処理部54は注目画素p2をノイズとして除去せずに原稿領域のエッジ点として確定する。
一方で、ノイズ除去処理部54は、注目画素p3と直前に注目した隣接ラインのエッジ点p2とを通る直線L2と、方向rdとのなす角度θ2が、所定角度よりも大きいか否かを判断する。角度θ2が所定角度よりも大きければ、ノイズ除去処理部54は注目画素p3をノイズとして除去する。
本処理によってもノイズ除去処理部54は、誤検出されたエッジ点を除去することができる。なお、走査ライン間の間隔が予め判っている場合には、走査ラインに沿った座標軸方向におけるエッジ点の座標値によって、隣接ラインのエッジ点を通る直線と方向rdとのなす角度が所定角度を超えるか否かを判断してよい。
図22の(B)は、ノイズ除去処理部54におけるノイズ除去処理の第3例の説明図である。ノイズ除去処理部54は、複数の走査ラインで決定されたエッジ点p1〜p7に基づいて原稿領域rの境界線BLの近似直線ALを算出する。ノイズ除去処理部54は、例えばハフ変換や最小二乗法により近似直線ALを算出してよい。ノイズ除去処理部54は、近似直線ALと、注目エッジ点との間の距離が所定長より長い場合に、注目エッジ点をノイズであると判断する。例えばノイズ除去処理部54は、近似直線ALから所定長以下の距離d1の位置にあるエッジ点p2をノイズとして除去せずに原稿領域のエッジ点として確定する。一方でノイズ除去処理部54は、近似直線ALから所定長より大きい距離d2の位置にあるエッジ点p5をノイズとして除去する。
本処理によってもノイズ除去処理部54は、誤検出されたエッジ点を除去することができる。なお、図15を参照して説明したノイズ除去処理の第1例では、注目エッジ点との間の距離が判断される隣接ラインのエッジ点がノイズであると、エッジ近くで検出された注目エッジ点もノイズとして除去されることがある。図15に示すエッジ点p4は、原稿領域rのエッジ近くで検出されているが、隣接ラインのエッジ点p3がノイズであるためエッジ点p3とp4の距離が大きくなりノイズとして検出される。ノイズ除去処理の第2例でも同様の現象が生じる。
ノイズ除去処理の第3例によれば、隣接ラインのエッジ点との位置関係に関わらず注目エッジ点がノイズであるか否かを判断する。このため、隣接ラインのエッジ点p3がノイズであることによって注目エッジ点がノイズと誤判定されることが防止される。
1 画像処理システム
10 画像読取装置
17 画像処理制御部
30 コンピュータ装置
50 画像入力部
51 パターンマッチング処理部
52 微分演算処理部
53 エッジ点決定処理部
54 ノイズ除去処理部

Claims (10)

  1. 原稿領域を含む画像データを入力する入力部と、
    前記画像データの所定方向と平行なラインに沿って前記画像データの2値化画像を所定検出パターンで走査することにより、前記原稿領域の境界線を構成するエッジ点の第1候補を検出する第1候補検出部と、
    前記ラインに沿って隣接する画素同士の微分値に基づいてエッジ点の第2候補を検出する第2候補検出部と、
    前記第1候補よりも前記第2候補の方が前記原稿領域の内側に位置する場合に、前記第2候補をエッジ点と決定し、そうでない場合に前記第1候補をエッジ点と決定するエッジ点決定部と、
    を備えることを特徴とする画像処理装置。
  2. 前記エッジ点決定部は、前記第1候補よりも前記第2候補の方が前記原稿領域の内側に位置し、且つ前記第1候補と前記第2候補との間隔が所定長以下である場合に、前記第2候補をエッジ点と決定し、そうでない場合に前記第1候補をエッジ点と決定することを特徴とする、請求項1に記載の画像処理装置。
  3. 第1のラインで決定されたエッジ点と、該第1のラインに隣接する第2のラインで決定されたエッジ点との間の距離が所定長より長い場合に、前記第2のラインで決定されたエッジ点をノイズであると判断するノイズ判断部を備えることを特徴とする請求項1又は2に記載の画像処理装置。
  4. 第1のラインで決定されたエッジ点及び該第1のラインに隣接する第2のラインで決定されたエッジ点を通る直線と、ラインに直交する方向とのなす角度が所定角度よりも大きい場合に、前記第2のラインで決定されたエッジ点をノイズであると判断するノイズ判断部を備えることを特徴とする請求項1又は2に記載の画像処理装置。
  5. 複数のラインで決定されたエッジ点に基づいて定められる前記原稿領域の境界線の近似直線と、あるエッジ点との間の距離が所定長より長い場合に、前記あるエッジ点をノイズであると判断するノイズ判断部を備えることを特徴とする請求項1又は2に記載の画像処理装置。
  6. 前記第2候補検出部は、注目画素を含み且つ前記ラインに沿って連続する複数画素中に含まれる画素について演算した前記微分値の合計値に基づいて、前記注目画素を第2候補として検出するか否かを判断することを特徴とする請求項1〜5のいずれか一項に記載の画像処理装置。
  7. 前記第1候補検出部及び前記第2候補検出部がエッジ点を検出する複数のラインは1画素以上の間隔を隔てて配置され、
    前記第1候補検出部及び前記第2候補検出部が各ラインにおいてエッジ点を検出する画素は、ラインに沿って連続して配置される画素である、
    ことを特徴とする請求項1〜6のいずれか一項に記載の画像処理装置。
  8. 原稿領域を含んだ画像データを取得する画像取得ステップと、
    前記画像データの所定方向と平行なラインに沿って前記画像データの2値化画像を所定検出パターンで走査することにより、前記原稿領域の境界線を構成するエッジ点の第1候補を検出する第1候補検出ステップと、
    前記ラインに沿って隣接する画素同士の微分値に基づいてエッジ点の第2候補を検出する第2候補検出ステップと、
    前記第1候補よりも前記第2候補の方が前記原稿領域の内側に位置する場合に、前記第2候補をエッジ点と決定し、そうでない場合に前記第1候補をエッジ点と決定するエッジ点決定ステップと、
    を含むことを特徴とする画像処理方法。
  9. 制御部を備えた情報処理装置に実行させるための画像処理プログラムであって、
    前記制御部に実行させるための、
    原稿領域を含んだ画像データを取得する画像取得ステップと、
    前記画像データの所定方向と平行なラインに沿って前記画像データの2値化画像を所定検出パターンで走査することにより、前記原稿領域の境界線を構成するエッジ点の第1候補を検出する第1候補検出ステップと、
    前記ラインに沿って隣接する画素同士の微分値に基づいてエッジ点の第2候補を検出する第2候補検出ステップと、
    前記第1候補よりも前記第2候補の方が前記原稿領域の内側に位置する場合に、前記第2候補をエッジ点と決定し、そうでない場合に前記第1候補をエッジ点と決定するエッジ点決定ステップと、
    を含むことを特徴とする画像処理プログラム。
  10. 画像読取装置と、該画像読取装置との間の通信により該画像読取装置が読み込む画像を受信するコンピュータ装置とを有する画像処理システムであって、
    前記画像読取装置により読み込まれる画像データの所定方向と平行なラインに沿って前記画像データの2値化画像を所定検出パターンで走査することにより、前記画像データに含まれる原稿領域の境界線を構成するエッジ点の第1候補を検出する第1候補検出部と、
    前記ラインに沿って隣接する画素同士の微分値に基づいてエッジ点の第2候補を検出する第2候補検出部と、
    前記第1候補よりも前記第2候補の方が前記原稿領域の内側に位置する場合に、前記第2候補をエッジ点と決定し、そうでない場合に前記第1候補をエッジ点と決定するエッジ点決定部と、
    を備えることを特徴とする画像処理システム。
JP2011196458A 2011-09-08 2011-09-08 画像処理装置、画像処理方法、画像処理プログラム及び画像処理システム Active JP5755089B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011196458A JP5755089B2 (ja) 2011-09-08 2011-09-08 画像処理装置、画像処理方法、画像処理プログラム及び画像処理システム
US13/543,286 US8861054B2 (en) 2011-09-08 2012-07-06 Image processing apparatus, image processing method, computer readable medium and image processing system
CN201210325822.8A CN103079026B (zh) 2011-09-08 2012-09-05 图像处理装置、图像处理方法以及图像处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011196458A JP5755089B2 (ja) 2011-09-08 2011-09-08 画像処理装置、画像処理方法、画像処理プログラム及び画像処理システム

Publications (2)

Publication Number Publication Date
JP2013058937A true JP2013058937A (ja) 2013-03-28
JP5755089B2 JP5755089B2 (ja) 2015-07-29

Family

ID=47829631

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011196458A Active JP5755089B2 (ja) 2011-09-08 2011-09-08 画像処理装置、画像処理方法、画像処理プログラム及び画像処理システム

Country Status (3)

Country Link
US (1) US8861054B2 (ja)
JP (1) JP5755089B2 (ja)
CN (1) CN103079026B (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015012430A (ja) * 2013-06-28 2015-01-19 ブラザー工業株式会社 画像読取装置
US10230867B2 (en) 2016-12-19 2019-03-12 Pfu Limited Image processing apparatus, rectangle region detection method, and computer-readable, non-transitory medium
JP2020178192A (ja) * 2019-04-16 2020-10-29 株式会社リコー エッジ検出装置、傾き補正装置、読取装置、画像処理装置およびエッジ検出方法

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11321772B2 (en) 2012-01-12 2022-05-03 Kofax, Inc. Systems and methods for identification document processing and business workflow integration
US9165188B2 (en) * 2012-01-12 2015-10-20 Kofax, Inc. Systems and methods for mobile image capture and processing
US10783615B2 (en) 2013-03-13 2020-09-22 Kofax, Inc. Content-based object detection, 3D reconstruction, and data extraction from digital images
US10127636B2 (en) 2013-09-27 2018-11-13 Kofax, Inc. Content-based detection and three dimensional geometric reconstruction of objects in image and video data
KR102037445B1 (ko) * 2013-07-17 2019-10-28 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. 화상독취장치 및 그의 세로줄 보정 방법
US9760788B2 (en) 2014-10-30 2017-09-12 Kofax, Inc. Mobile document detection and orientation based on reference object characteristics
CN104933720B (zh) * 2015-06-25 2017-08-25 哈尔滨工业大学 一种基于视觉的sop元件定位和缺陷检测方法
US10467465B2 (en) 2015-07-20 2019-11-05 Kofax, Inc. Range and/or polarity-based thresholding for improved data extraction
US10242285B2 (en) 2015-07-20 2019-03-26 Kofax, Inc. Iterative recognition-guided thresholding and data extraction
CN105260713B (zh) * 2015-10-09 2019-06-28 东方网力科技股份有限公司 一种车道线检测方法和装置
JP6200040B1 (ja) * 2016-06-17 2017-09-20 株式会社Pfu 画像処理装置、画像処理方法、および、プログラム
JP6786973B2 (ja) * 2016-09-08 2020-11-18 ブラザー工業株式会社 画像解析装置
JP6870247B2 (ja) * 2016-09-08 2021-05-12 ブラザー工業株式会社 画像解析装置
JP6918482B2 (ja) * 2016-12-16 2021-08-11 キヤノン株式会社 画像読取装置
JP2019102047A (ja) * 2017-11-28 2019-06-24 Thk株式会社 画像処理装置、移動ロボットの制御システム、移動ロボットの制御方法
US10803350B2 (en) 2017-11-30 2020-10-13 Kofax, Inc. Object detection and image cropping using a multi-detector approach
JP6542407B1 (ja) * 2018-02-16 2019-07-10 株式会社東芝 読取システム、読取方法、プログラム、及び記憶媒体
JP6873074B2 (ja) * 2018-03-12 2021-05-19 株式会社Pfu 画像処理装置、制御方法及び制御プログラム
JP7271873B2 (ja) * 2018-08-20 2023-05-12 コニカミノルタ株式会社 検査装置、画像形成装置及び検査方法
JP7185477B2 (ja) * 2018-10-12 2022-12-07 株式会社Pfu 画像処理装置、制御方法及び制御プログラム
CN109858324B (zh) * 2018-12-10 2022-10-21 西南石油大学 语言图文识别系统及其实现方法
US11399108B2 (en) * 2020-05-21 2022-07-26 Kyocera Document Solutions Inc. Image reading apparatus capable of determining whether missing part of document image occurs based on edge shape of at least one of leading and trailing edges of document image
US11508052B2 (en) * 2020-09-10 2022-11-22 Argo AI, LLC Systems and methods for quantifying light flares in images

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06162190A (ja) * 1992-11-25 1994-06-10 Eastman Kodak Japan Kk 書類辺縁検出装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3584658B2 (ja) 1997-02-07 2004-11-04 富士ゼロックス株式会社 原稿サイズ検知装置
US7102786B2 (en) 2000-10-05 2006-09-05 Matsushita Electric Industrial Co., Ltd. Image reading apparatus and processing apparatus
JP3928772B2 (ja) 2000-10-05 2007-06-13 松下電器産業株式会社 画像読取装置及び処理装置
JP5042917B2 (ja) 2007-07-12 2012-10-03 株式会社リコー 画像処理装置およびプログラム
JP5002497B2 (ja) 2008-03-11 2012-08-15 株式会社Pfu 画像処理装置、画像処理方法および画像処理プログラム
JP5462522B2 (ja) 2009-05-07 2014-04-02 キヤノン株式会社 画像処理装置、画像処理方法、当該画像処理方法をコンピュータに実現させるためのプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06162190A (ja) * 1992-11-25 1994-06-10 Eastman Kodak Japan Kk 書類辺縁検出装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015012430A (ja) * 2013-06-28 2015-01-19 ブラザー工業株式会社 画像読取装置
US10230867B2 (en) 2016-12-19 2019-03-12 Pfu Limited Image processing apparatus, rectangle region detection method, and computer-readable, non-transitory medium
JP2020178192A (ja) * 2019-04-16 2020-10-29 株式会社リコー エッジ検出装置、傾き補正装置、読取装置、画像処理装置およびエッジ検出方法
JP7211238B2 (ja) 2019-04-16 2023-01-24 株式会社リコー エッジ検出装置、傾き補正装置、読取装置、画像処理装置およびエッジ検出方法

Also Published As

Publication number Publication date
CN103079026B (zh) 2015-11-04
US8861054B2 (en) 2014-10-14
US20130063788A1 (en) 2013-03-14
JP5755089B2 (ja) 2015-07-29
CN103079026A (zh) 2013-05-01

Similar Documents

Publication Publication Date Title
JP5755089B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム及び画像処理システム
JP6021557B2 (ja) 画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム
JP5766073B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム及び画像処理システム
JP5865113B2 (ja) 画像処理装置、画像処理システム、画像処理方法及び画像処理プログラム
JP5698396B1 (ja) 画像読取装置、画像読取方法、および、プログラム
JP5440580B2 (ja) 読取装置及びプログラム
KR20090101356A (ko) 결함 검출 장치 및 결함 검출 방법
US10074551B2 (en) Position detection apparatus, position detection method, information processing program, and storage medium
JP2020061720A (ja) 画像処理装置、制御方法及び制御プログラム
JP5693418B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム及び画像処理システム
JP5811773B2 (ja) 画像読取装置
JP6246379B2 (ja) 画像処理装置、画像処理方法、画像読取装置、及びプログラム
JP2007189577A (ja) コンピュータプログラム、画像入力装置、画像入力システムおよび画像入力方法
JP5516539B2 (ja) 読取装置及びプログラム
JP2007141167A (ja) 車線検出装置、車線検出方法、及び車線検出プログラム
US11665296B2 (en) Image reading device
JP2001317919A (ja) 回路パターン線幅計測方法および回路パターン線幅計測装置
JP2017201755A (ja) 読取装置
JP2017163411A (ja) 画像処理装置、情報処理装置、および画像処理方法
JP6950237B2 (ja) コンピュータプログラム及び画像処理装置
JP2007312233A (ja) 画像処理装置及びプログラム
JP2002185798A (ja) 画像処理装置
JP2012244261A (ja) 画像処理装置
JPH0896131A (ja) 図形検出方法及び装置
JP2004139307A (ja) 図形認識装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131008

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140818

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140930

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150428

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150526

R150 Certificate of patent or registration of utility model

Ref document number: 5755089

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150