JP2013025436A - 画像処理装置及びプログラム - Google Patents

画像処理装置及びプログラム Download PDF

Info

Publication number
JP2013025436A
JP2013025436A JP2011157636A JP2011157636A JP2013025436A JP 2013025436 A JP2013025436 A JP 2013025436A JP 2011157636 A JP2011157636 A JP 2011157636A JP 2011157636 A JP2011157636 A JP 2011157636A JP 2013025436 A JP2013025436 A JP 2013025436A
Authority
JP
Japan
Prior art keywords
image
symbol
comparison
noise
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011157636A
Other languages
English (en)
Other versions
JP5830996B2 (ja
Inventor
Junichi Takeda
隼一 武田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP2011157636A priority Critical patent/JP5830996B2/ja
Priority to US13/366,873 priority patent/US9047535B2/en
Publication of JP2013025436A publication Critical patent/JP2013025436A/ja
Application granted granted Critical
Publication of JP5830996B2 publication Critical patent/JP5830996B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/16Image preprocessing
    • G06V30/164Noise filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10008Still image; Photographic image from scanner, fax or copier
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30176Document
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Character Input (AREA)

Abstract

【課題】画像に含まれる記号又は記号の一部がノイズとして除去されることを防止する。
【解決手段】画像処理装置(10)の画像取得手段(30)は、記号を含む画像(50)を取得する。ノイズ検出手段(32)は、画像(50)のノイズを検出する。比較画像取得手段(34)は、ノイズ検出手段(32)によりノイズとして検出された画像(50)の検出領域と比較される比較画像(70)を取得する。除去手段(38)は、検出領域と比較画像(70)との比較結果に基づいて、検出領域のうち、画像(50)に含まれる記号又は記号の一部がノイズとして検出された領域を除く領域を、画像(50)から除去する。
【選択図】図2

Description

本発明は、画像処理装置及びプログラムに関する。
従来、文字等の記号を含む画像のノイズを除去することが行われている。例えば、特許文献1には、低濃度の画素を除去することによって地肌除去を行うとともに、線分検出処理を行うことによって、画像のノイズを除去する技術が記載されている。また例えば、特許文献2には、高速フーリエ変換を行うことによって画像のノイズを除去する技術が記載されている。また例えば、特許文献3には、斑状ノイズ辞書を用いてパターンマッチングを行うことによって、画像のノイズを除去する技術が記載されている。
特開平11−331606号公報 特開2000−293630号公報 特開2010−244472号公報
本発明の目的は、画像に含まれる記号又は記号の一部がノイズとして除去されることを防止することである。
上記目的を達成するために、請求項1に記載の発明は、記号を含む画像を取得する画像取得手段と、前記画像のノイズを検出するノイズ検出手段と、前記ノイズ検出手段によりノイズとして検出された前記画像の検出領域と比較される比較画像を取得する比較画像取得手段と、前記検出領域と前記比較画像との比較結果に基づいて、前記検出領域のうち、前記画像に含まれる記号又は記号の一部がノイズとして検出された領域を除く領域を、前記画像から除去する除去手段と、を含むことを特徴とする画像処理装置である。
また、請求項2に記載の発明は、前記比較画像取得手段は、記号又は記号の一部を示す前記比較画像を記憶する比較画像記憶手段から前記比較画像を取得し、前記除去手段は、前記検出領域のうち、前記比較画像と類似する領域を除く領域を、前記画像から除去する、ことを特徴とする請求項1に記載の画像処理装置である。
また、請求項3に記載の発明は、前記比較画像は、当該比較画像が示す記号が属する言語種別を示す情報に関連付けられて記憶され、前記除去手段は、前記検出領域と、前記画像に含まれる記号の言語種別に関連付けられた前記比較画像と、を比較する、ことを特徴とする請求項2に記載の画像処理装置である。
また、請求項4に記載の発明は、前記比較画像は、当該比較画像が示す記号の大きさに関する情報に関連付けられて記憶され、前記除去手段は、前記検出領域と、前記画像に含まれる記号の大きさに基づいて大きさが変更された前記比較画像と、を比較する、ことを特徴とする請求項2又は3に記載の画像処理装置である。
また、請求項5に記載の発明は、前記比較画像は、前記検出領域の位置と前記画像に含まれる記号の位置との位置関係に関する情報に関連付けられて記憶され、前記除去手段は、前記検出領域と、当該検出領域の位置と前記画像に含まれる記号の位置との位置関係に関連付けられた前記比較画像と、を比較する、ことを特徴とする請求項2〜4の何れか一項に記載の画像処理装置である。
また、請求項6に記載の発明は、前記画像処理装置は、前記検出領域に基づいて前記比較画像を生成する比較画像生成手段を更に含み、前記比較画像取得手段は、前記比較画像生成手段により生成される比較画像を取得し、前記除去手段は、前記検出領域のうち前記比較画像と類似しない領域を除く領域を、前記画像から除去する、ことを特徴とする請求項1〜5の何れか一項に記載の画像処理装置である。
また、請求項7に記載の発明は、前記除去手段は、前記検出領域のうち、前記画像に含まれる記号に対応する領域内の前記検出領域と、前記比較画像と、を比較する、ことを特徴とする請求項1〜6の何れか一項に記載の画像処理装置である。
また、請求項8に記載の発明は、コンピュータを、記号を含む画像を取得する画像取得手段、前記画像のノイズを検出するノイズ検出手段、前記ノイズ検出手段によりノイズとして検出された前記画像の検出領域と比較される比較画像を取得する比較画像取得手段、前記検出領域と前記比較画像との比較結果に基づいて、前記検出領域のうち、前記画像に含まれる記号又は記号の一部がノイズとして検出された領域を除く領域を、前記画像から除去する除去手段、として機能させるためのプログラムである。
請求項1及び8に記載の発明によれば、画像に含まれる記号又は記号の一部がノイズとして除去されることを防止することができる。
請求項2に記載の発明によれば、ノイズとして除去されることを防止する記号又は記号の一部を予め定めておくことができる。
請求項3に記載の発明によれば、比較画像のうち、画像に含まれる記号の言語種別に対応する比較画像のみを画像と比較させ、パターンマッチングのための処理負荷を軽減することができる。
請求項4に記載の発明によれば、画像に含まれる記号の大きさに応じた最適な大きさの比較画像を用いてパターンマッチングを行うことができる。
請求項5に記載の発明によれば、比較画像のうち、検出領域の位置に応じた比較画像のみを画像と比較させ、パターンマッチングのための処理負荷を軽減することができる。
請求項6に記載の発明によれば、比較画像を予め用意する手間を省くことができる。
請求項7に記載の発明によれば、記号又は記号の一部がノイズとして検出される可能性の高い検出領域のみを比較画像と比較させ、パターンマッチングのための処理負荷を軽減することができる。
本発明に係る画像処理装置のハードウェア構成を示す図である。 画像処理装置の機能ブロック図である。 記号を含む画像の一例を示す図である。 画像のノイズを第1の方法で検出する場合の説明図である。 画像のノイズを第2の方法で検出する場合の説明図である。 画像のノイズを第3の方法で検出する場合の説明図である。 検出領域が画像から除去された場合の一例を示す図である。 比較画像記憶部の記憶内容の一例を示す図である。 除去部が生成する画像の一例を示す図である。 画像処理装置が実行する処理を示すフロー図である。 検出領域を識別するデータの一例を示す図である。 実施形態1のS5において行われる処理を示す図である。 実施形態2における画像処理装置の機能ブロック図である。 比較画像の生成方法を説明するための説明図である。 実施形態2のS5において実行される処理を示す図である。
[1.実施形態1]
以下、本発明を実施するための好適な実施の形態(以下、実施形態という)を、図面に従って説明する。
[1−1.画像処理装置のハードウェア構成]
図1は、本発明に係る画像処理装置のハードウェア構成を示す図である。図1に示すように、画像処理装置10は、制御部12、記憶部14、及び通信部16を含んで構成される。なお、画像処理装置10は、パーソナルコンピュータ等のコンピュータによって実現されるようにすればよい。画像処理装置10は、図1に示す構成の他にも、操作部や表示部等を含んで構成されるようにしてもよい。
制御部12は、CPUを含んで構成される。制御部12は、記憶部14に記憶されたプログラムを実行して画像処理装置10の各部を制御する。
記憶部14は、ハードディスクやRAM等の各種メモリにより構成される。記憶部14は、例えば、制御部12により実行されるプログラムを記憶する記憶媒体である。他にも例えば、記憶部14は、制御部12の作業メモリとしても用いられる。なお、記憶部14としては、種々のメモリが適用可能である。例えば、半導体メモリ等の記憶装置によって、記憶部14が実現されるようにしてもよい。
通信部16は、画像処理装置10に接続される外部装置とデータ通信を行うためのものである。本実施形態において記憶部14に記憶されることとして説明するプログラムや各種データは、通信部16を介して外部装置から取得されるようにしてもよい。
本実施形態においては、画像処理装置10は、通信部16を介して画像読取装置20とデータ通信可能に接続される。画像読取装置20は、スキャナ等を含んで構成される。画像読取装置20は、紙文書等の走査対象物を光学的走査することにより、走査対象物の画像を生成する。画像読取装置20により得られた画像を示すデータは、通信部16を介して画像処理装置10に入力される。
[1−2.画像処理装置において実現される機能]
図2は、画像処理装置10の機能ブロック図である。図2に示すように、画像処理装置10は、画像取得部30、ノイズ検出部32、比較画像取得部34、比較画像記憶部36、及び除去部38を含む。図2に示す各機能は、記憶部14に記憶されたプログラムが、制御部12により実行されることによって実現される。
[1−2−1.画像取得部]
画像取得部30は、例えば、制御部12及び通信部16を主として実現される。画像取得部30は、記号を含む画像を取得する。当該画像は、記号の背景部分にノイズ(例えば、網点状のノイズ)を含む画像であり、例えば、画像読取装置20が走査対象物(例えば、記号が印刷又は手書きされた記録媒体)を光学的に読み取ることによって生成される画像である。画像取得部30は、例えば、記号を含む画像を示す画像データ(例えば、ビットマップ形式のデータ)を、画像読取装置20から取得する。
図3は、記号を含む画像の一例を示す図である。図3に示すように、画像50には、走査対象物に形成された記号列52,54と、当該記号列52,54の背景部分にあるノイズNと、が含まれる。本実施形態における「記号」とは、文字(例えば、アルファベットや漢字等)及び符号(例えば、句読点等)を含む意であり、文章又は単語の構成要素である。ノイズNは、例えば、記号列52,54の領域以外の領域(背景の領域)に存在する網点状のノイズである。別の言い方をすれば、画像50は、記号列52,54の周囲に網点状のノイズNが存在する画像ともいえる。
[1−2−2.ノイズ検出部]
ノイズ検出部32は、例えば、制御部12を主として実現される。ノイズ検出部32は、画像50のノイズを検出する。ノイズ検出部32は、所定形状のノイズを検出するためのノイズ検出処理(例えば、網点状のノイズの検出処理)を実行することによって、画像50のノイズを検出する。ノイズ検出部32により実行されるノイズ検出処理は、公知の種々のノイズ検出処理であってもよい。
本実施形態においては、ノイズ検出部32は、連結している画素に同じラベルを付加することで複数の領域をグループとして分類するラベリング処理を施すことによって、画像50のノイズを検出する一例を説明する。例えば、当該ラベリング処理によって生成されるラベルサイズ(上記複数の領域の各々のサイズ)の頻度分布に基づいて、画像50のノイズが検出される。
例えば、ノイズ検出部32は、ラベルサイズの頻度分布に基づいて定まる閾値以下のラベルサイズの要素(画素)を、ノイズとして検出する。例えば、以下の3つのノイズ検出処理の何れかが実行されることによって、画像50のノイズが検出される。
[第1の方法]
図4は、画像50のノイズを第1の方法で検出する場合の説明図である。図4に示すように、ラベリング処理により生成される頻度分布曲線F(s)が参照されて、最高頻度FmaxのラベルサイズSが特定される。第1の方法においては、最高頻度FmaxのラベルサイズS以下のラベルサイズの要素が、ノイズとして検出される。
[第2の方法]
図5は、画像50のノイズを第2の方法で検出する場合の説明図である。図5に示すように、ラベリング処理により生成される頻度分布曲線F(s)が参照されて、最高頻度FmaxのラベルサイズS以上のラベルサイズのうち、最初に頻度が0となるラベルサイズS(即ち、ラベルサイズがS以上であり、かつ、頻度が0となるラベルサイズのうち、最小のラベルサイズ)以下の要素が、ノイズとして検出される。
[第3の方法]
図6は、画像50のノイズを第3の方法で検出する場合の説明図である。図6に示すように、ラベリング処理により生成される頻度分布曲線F(s)が参照されて、最高頻度FmaxのラベルサイズSに基づいて定まる閾値(例えば、ラベルサイズSから所定サイズだけ大きく又は小さくしたラベルサイズS)以下のラベルサイズの要素が、ノイズとして判定される。
上記のように、ラベルサイズが閾値以下の要素がノイズとして検出されるので、ノイズNの他にも、例えば、記号列52,54の一部が、背景部分のノイズとみなされて検出されることになる。例えば、「.(ピリオド)」や「,(コンマ)」のような符号の他にも、アルファベットの「i」や「j」のような文字の「.」の部分等が、ノイズとして検出される。即ち、記号列52,54の構成要素(記号又は記号の一部)のうち、検出対象のノイズNの形状と似ている要素が、ノイズとして検出される。
以降、記号列52,54の構成要素のうちノイズとして検出されるものを、「小型記号要素」という。図3に示す画像50の例では、例えば、記号列52に対応する小型記号要素52a,52b,52cと、記号列54に対応する小型記号要素54a,54b,54cと、がノイズとして検出される。
このように、一般的なノイズ検出処理が画像50に施されると、ノイズNだけではなく、小型記号要素がノイズとして検出される。したがって、ノイズ検出部32がノイズとして検出した検出領域(即ち、ノイズNと小型記号要素に対応する画素)を、そのまま画像50から除去した場合には、記号列52,54の一部が欠けてしまうことがある。
図7は、検出領域が画像50から除去された場合の一例を示す図である。検出領域は、ノイズNと小型記号要素とを含んでなるため、画像50から検出領域を除去した画像(以降、検出領域除去画像60という)は、図3に示す画像50と、ノイズN及び小型記号要素と、の差分画像となる。
図7に示すように、記号列52,54に含まれる小型記号要素52a,52b,52c,54a,54b,54cが、ノイズとみなされるため画像50から除去される。即ち、検出領域をそのまま画像50から除去すると、記号列52,54の一部が欠けた検出領域除去画像60が生成されてしまう。本実施形態においては、これら小型記号要素は、後述の除去部38の処理により、ノイズとして除去されないように制限(抑止)される。
[1−2−3.比較画像取得部、比較画像記憶部]
比較画像取得部34は、例えば、制御部12を主として実現される。比較画像取得部34は、ノイズ検出部32によりノイズとして検出された画像50の検出領域と比較される比較画像を取得する。即ち、比較画像は、検出領域との比較対象となる画像であり、例えば、小型記号要素を示す画像又はノイズを示す画像である。
本実施形態においては、比較画像取得部34は、記号又は記号の一部(即ち、小型記号要素)を示す比較画像を記憶する比較画像記憶部36から比較画像を取得する。比較画像記憶部36は、例えば、記憶部14を主として実現される。即ち、本実施形態においては、比較画像は、ノイズとして誤検出される記号の要素を示す画像であるともいえる。
図8は、比較画像記憶部36の記憶内容の一例を示す図である。図8に示すように、例えば、比較画像70の画像データを含む辞書データが比較画像記憶部36に記憶される。例えば、辞書データには、比較画像70に関する各種情報が、当該比較画像70と関連付けられて記憶される。
例えば、比較画像70は、当該比較画像が示す記号が属する言語種別(文字体系)を示す情報に関連付けられて記憶される。例えば、言語種別を示す情報としては、記号の間隔が一定でないアルファベット系言語(英語やフランス語等)や、記号の間隔が一定である漢字系言語(日本語や中国語等)を示す情報が格納される。本実施形態においては、画像50に含まれる記号列52,54の記号の間隔に基づいて、当該記号列52,54の記号の言語種別が特定される。
例えば、記号列52,54の記号の間隔が一定でない場合には、当該記号がアルファベット系言語であると判定され、記号列52,54の記号の間隔が一定である場合には、当該記号が漢字系言語であると判定される。記号の間隔が一定であるか否かは、記号列52,54に含まれる記号の間隔のずれ(ばらつき)が基準量以上であるか否かが判定されることによって判定される。
また例えば、比較画像70は、当該比較画像70が示す記号の大きさに関する情報に関連付けられて記憶される。比較画像70が示す記号の大きさに関する情報としては、小型記号要素のフォントサイズを示す情報や、小型記号要素の高さを示す情報が格納される。
また、比較画像70は、例えば、検出領域の位置と画像50に含まれる記号の位置との位置関係に関する情報に関連付けられて記憶される。当該位置関係に関する情報としては、例えば、検出領域の周囲にある記号(例えば、検出領域に隣接する記号)と、当該検出領域と、の位置関係を示す情報が格納される。
なお、比較画像記憶部36の記憶内容は、上記の例に限られない。他にも例えば、比較画像70が、小型記号要素のフォント種別を示す情報に関連付けられて記憶されるようにしてもよい。
[1−2−4.除去部]
除去部38は、例えば、制御部12を主として実現される。除去部38は、検出領域(例えば、ノイズNと小型記号要素)と比較画像70との比較結果に基づいて、検出領域のうち、画像50に含まれる記号又は記号の一部(例えば、記号列52,54の構成要素)がノイズとして検出された領域(例えば、小型記号要素の画素)を除く領域(例えば、ノイズNの画素)を、画像から除去する。
除去部38は、検出領域と比較画像70とのパターンマッチングを行い、検出領域と比較画像70とが類似するか否かを判定することによって、当該検出領域が、ノイズNであるか、小型記号要素であるか、を判定する。即ち、除去部38は、検出領域と比較画像70とのパターンマッチングを行うことによって、検出領域から小型記号要素を抽出し、当該小型記号要素がノイズとして除去されることを制限(抑止)する。
本実施形態においては、除去部38は、検出領域のうち比較画像70と類似する領域を除く領域を、画像50から除去する。即ち、除去部38は、検出領域のうち比較画像70と類似しない領域を、画像50から除去する。
例えば、除去部38は、検出領域と、小型記号要素を示す比較画像70と、を比較することによって、両者の類似度を算出する。類似度は、2つの画像が類似する程度を示す指標であり、例えば、2つの画像の各画素の画素値の差に基づいて算出される。類似度が基準範囲(例えば、基準値以上)であるか否かに基づいて、2つの画像が類似するか否かが判定される。
実施形態1においては、検出領域と比較画像70との類似度が基準範囲である場合、当該検出領域は、比較画像70が示す小型記号要素に似ているので、小型記号要素であると判定される。一方、検出領域と比較画像70との類似度が基準範囲でない場合、当該検出領域は、比較画像70が示す小型記号要素に似ていないので、ノイズNであると判定される。
また、本実施形態においては、除去部38は、検出領域と、画像50に含まれる記号の言語種別に関連付けられた比較画像70と、を比較する。例えば、除去部38は、画像50に含まれる記号(例えば、記号列52,54の記号)の間隔を検出することによって、当該記号の言語種別を特定する。
具体的には、まず、図7に示す検出領域除去画像60に記号検出処理が施され、記号列52,54に対応する矩形状の記号領域62,64が検出される。そして、記号領域62,64内に含まれる記号の間隔が検出される。例えば、各記号に対応する画素間隔が取得されることによって、記号の間隔が検出される。次いで、記号の間隔が所定範囲であるか否かに基づいて、当該記号の言語種別が特定される。この特定された言語種別に関連付けられた比較画像70が、検出領域とのパターンマッチングの対象となる。
また、本実施形態においては、除去部38は、検出領域と、画像に含まれる記号の大きさに基づいて大きさが変更された比較画像70と、を比較する。例えば、記号領域62,64の高さが参照されることによって、記号列52,54の行高が特定される。当該行高が示す記号の大きさに合うように、比較画像70の大きさが変更されて、パターンマッチングが実行される。
また、本実施形態においては、除去部38は、検出領域と、当該検出領域の位置と画像50に含まれる記号の位置との位置関係に関連付けられた比較画像70と、を比較する。例えば、記号領域62,64内に含まれる検出領域の位置と、当該検出領域の周囲の記号(例えば、検出領域の隣にある記号)と、の位置関係に関連付けられた比較画像70が比較される。このように、本実施形態においては、比較画像記憶部36に記憶された比較画像70のうち、検出領域の位置に関連付けられた比較画像70のみが、パターンマッチングの対象となる。
また、本実施形態においては、除去部38は、検出領域のうち、画像に含まれる記号に対応する領域内の検出領域と、比較画像70と、を比較する。例えば、記号領域62,64を記号の大きさに基づいて拡張した拡張領域66,68内の検出領域のみがパターンマッチングの対象となる。拡張領域66,68は、それぞれ、記号領域62,64を含む領域ともいえる。
上記のように、本実施形態においては、検出領域のうち、比較画像70と類似する領域が小型記号要素と判定され、画像50から除去されないように制限される。即ち、除去部38は、画像50からノイズNのみを除去した画像を生成する。
図9は、除去部38が生成する画像の一例を示す図である。図9に示すように、除去部38が生成する画像(以降、ノイズ除去画像80という。)は、図3に示す比較画像70と、ノイズNと、の差分画像となる。ノイズ除去画像80は、検出領域除去画像60(図7)に比べて、小型記号要素52a,52b,52c,54a,54b,54cが除去されないため、記号列52,54の一部が欠けずに、ノイズNのみが画像50から除去される。
[1−3.画像処理装置において実行される処理]
図10は、画像処理装置10が実行する処理を示すフロー図である。制御部12は、記憶部14に記憶されたプログラムに従って、図10に示す処理を実行する。
図10に示すように、まず、制御部12は、通信部16を介して、画像読取装置20から画像50を取得する(S1)。なお、画像読取装置20から画像50を受信しない場合には、本処理が終了されるようにしてもよい。
制御部12は、S1において取得した画像50を記憶部14に記憶させる(S2)。制御部12は、画像50にラベリング処理を施し、ラベルサイズの頻度分布(図4〜図6参照)を作成する(S3)。S3においては、まず、画像50の各画素にラベル番号が割り当てられる。次いで、ラベル番号を同じとする画素数がカウントされることによって、ラベルサイズの頻度分布が作成される。ラベルサイズの頻度分布を示すデータは、記憶部14に一時的に記憶される。
なお、ラベル数(例えば、ラベル番号の最大値)が閾値以上であるか否かが判定され、ラベル数が閾値以上である場合には、S4の処理に移行し、ラベル数が閾値以上でない場合には、図3に示すような網点状のノイズNが含まれない画像50であるとして、本処理が終了するようにしてもよい。
制御部12は、S3において作成されたラベルサイズの頻度分布に基づいて、画像50のノイズを検出する(S4)。例えば、S4においては、先述した第1の方法〜第3の方法の何れかによって、ノイズが検出される。S4において検出された検出領域を識別するデータ(例えば、検出領域に含まれる画素の位置を示すデータ)は、記憶部14に一時的に記憶される。なお、S4においては、小型記号要素であるか否かが判定されるので、S4においては、ノイズの候補が検出されるともいえる。
図11は、検出領域を識別するデータの一例を示す図である。図11に示すように、例えば、各検出領域の位置を識別する情報(例えば、画素の座標等)と、当該検出領域の属性を示す情報と、が関連付けられて記憶される。属性とは、ノイズであるか小型記号要素であるかを識別するための情報である。S4の時点では、例えば、全ての検出領域がノイズの属性となるようにしてもよい。
制御部12は、画像50の検出領域と比較画像70とのパターンマッチングを行う(S5)。
図12は、実施形態1のS5において行われる処理を示す図である。図12に示すように、制御部12は、S1で取得した画像50から、S4で検出された検出領域を除去した検出領域除去画像60を生成する(S101)。S101において生成される検出領域除去画像60は、画像50から、検出領域の画素が除去された差分画像(図7参照)となる。
制御部12は、S101において生成された検出領域除去画像60に含まれる記号列52,54の記号領域62,64を検出する(S102)。S102においては、検出領域除去画像60に記号検出処理が施されることによって、記号列52,54の画素が特定されて記号領域62,64が検出される。
制御部12は、S102において検出された記号領域62,64の行高から、記号列52,54の記号の大きさを検出する(S103)。例えば、行高の画素数と記号の大きさとを対応付けたデータが用意されているようにしてもよい。この場合、記号列52,54の行高の画素数に対応付けられた大きさが、それぞれ記号列52,54の大きさとして検出される。なお、記号領域62,64の行高自体が、記号の大きさとして用いられるようにしてもよい。
制御部12は、S102において検出された記号領域62,64を、S103において検出された記号列52の記号の大きさに応じた距離だけ拡張した拡張領域66,68を検出領域除去画像60に設定する(S104)。
以降、拡張領域66,68内の検出領域と比較画像70とのパターンマッチングが実行される。まず、拡張領域66内の検出領域についてパターンマッチングが実行される。
制御部12は、拡張領域66内の各記号の間隔を検出する(S105)。即ち、拡張領域66に含まれる記号列52の各記号の画素間隔が取得される。
制御部12は、拡張領域66内の各記号の間隔のばらつきに基づいて、記号列52の言語種別を特定する(S106)。例えば、間隔のばらつきが閾値以上であれば、分かち書きのアルファベット系言語とされる。一方、間隔のばらつきが閾値未満であれば、漢字系言語とされる。
制御部12は、S103において判定された記号列52の大きさに基づいて、S106で特定された言語種別に関連付けられた比較画像70の大きさを調整する(S107)。例えば、比較画像70の大きさと、記号列52,54の大きさと、に基づいて、比較画像70の大きさが変更される。
具体的には、比較画像70の大きさが、記号列52の大きさに合うように、比較画像70が拡大又は縮小される。例えば、比較画像70の大きさが10ポイントであり、記号列52の記号の大きさが8ポイントである場合、比較画像70の大きさが80%に縮小される。S107において調整された比較画像70は、記憶部14のRAM等に一時的に記憶される。
制御部12は、拡張領域66内の検出領域のうち、これから比較画像70と比較する検出領域の位置と、当該検出領域の周囲にある記号の位置と、の位置関係を特定する(S108)。例えば、検出領域が、当該検出領域に隣接する記号から見て上にあるか下にあるかが特定される。
制御部12は、S108において特定された位置関係に関連付けられた比較画像70と、検出領域と、を比較して類似度を算出する(S109)。S109において算出された類似度は、記憶部14に一時的に記憶される。複数の比較画像70と検出領域とが比較された場合には、これら複数の比較画像70の各々に対応する類似度が記憶されることになる。
制御部12は、S109において算出された類似度が基準範囲であるか否かを判定する(S110)。S109において、複数の比較画像70と検出領域とが比較された場合、類似度が基準範囲となるものが一つでもあるか否かが判定される。例えば、パターンマッチングされた比較画像70のうち、類似度が基準範囲のものが一つでもあれば、S110において、類似度が基準範囲であると判定される。
類似度が基準範囲であると判定された場合(S110;Y)、即ち、検出領域と比較画像70が似ている場合、制御部12は、検出領域の属性を小型記号要素とする(S111)。例えば、図11のデータが示す検出領域の属性が変更される。
一方、類似度が基準範囲であると判定されない場合(S110;N)、即ち、検出領域と比較画像70が似ていない場合、制御部12は、検出領域の属性をノイズとする(S112)。
制御部12は、拡張領域66内の全ての検出領域をパターンマッチングしたか否かを判定する(S113)。全ての検出領域についてパターンマッチングを行ったと判定されない場合(S113;N)、処理はS108に戻る。即ち、拡張領域66内の次の検出領域についてパターンマッチングが行われる。
一方、全ての拡張領域についてパターンマッチングを行ったと判定された場合(S113;Y)、制御部12は、全ての拡張領域66,68についてパターンマッチングを行ったか否かを判定する(S114)。
全ての拡張領域66,68についてパターンマッチングを行ったと判定されない場合(S114;N)、処理は、S105に戻る。例えば、拡張領域66についてのパターンマッチングが行われた後に、拡張領域68についてのパターンマッチングが行われる。一方、全ての拡張領域66,68についてパターンマッチングを行ったと判定された場合(S114;Y)、処理は、S6に移行する。
図10に戻り、制御部12は、検出領域のうち、属性が「ノイズ」の検出領域のみを、画像50から除去したノイズ除去画像80を生成して記憶部14に記憶させ(S6)、処理は終了する。即ち、検出領域のうち小型記号要素と判定されたものは、画像50から除去されないように制限される。
[1−4.実施形態1のまとめ]
実施形態1に係る画像処理装置10は、ノイズとして検出された検出領域を、小型記号要素を示す比較画像70とパターンマッチングさせることによって、当該検出領域が、本当にノイズであるか、それとも小型記号要素であるかを判定する。画像処理装置10は、小型記号要素であると判定された検出領域については、画像50から除去されないように制限し、小型記号要素がノイズとして除去されてしまうことを防止する。別の言い方をすれば、画像処理装置10は、画像50からノイズNだけを正確に除去し、画像50に含まれる記号列52,54の抽出の精度を向上させる。
また、画像処理装置10は、小型記号要素を示す比較画像70を記憶して、ノイズとして除去されることを防止する小型記号要素を予め定義する。
また、画像処理装置10は、予め用意した比較画像70のうち、画像50に含まれる記号の言語種別に対応する比較画像70のみを画像50と比較させ、パターンマッチングのための処理負荷を軽減する。
また、画像処理装置10は、記号列52,54の記号の大きさに応じて比較画像70の大きさを変更して、画像50に含まれる記号の大きさに応じた最適な大きさの比較画像70を用いてパターンマッチングを行う。
また、画像処理装置10は、予め用意した比較画像70のうち、検出領域の位置に応じた比較画像70のみを画像50と比較させ、パターンマッチングのための処理負荷を軽減する。
また、画像処理装置10は、画像50のうち、拡張領域66,68内の検出領域のみを比較画像と比較させ、パターンマッチングのための処理負荷を軽減する。
[2.実施形態2]
実施形態1においては、小型記号要素を示す比較画像70がパターンマッチングに用いられる場合を説明した。検出領域がノイズであるか小型記号要素であるかを判定する方法は、比較画像を用いたパターンマッチングにより行われるようにすればよく、この判定方法は、実施形態1の例に限られない。実施形態2においては、ノイズを示す比較画像70を検出領域と比較し、比較画像70と似ていない検出領域を小型記号要素とする場合を説明する。
なお、実施形態2における画像処理装置10のハードウェア構成は、実施形態1と同様であるので、説明を省略する。
[2−1.実施形態2の機能ブロック]
図13は、実施形態2における画像処理装置の機能ブロック図である。図13に示すように、実施形態2においては、比較画像生成部40が実現される。
比較画像生成部40は、検出領域に基づいて比較画像70を生成する。実施形態2の比較画像取得部34は、比較画像生成部40により生成される比較画像70を取得する。例えば、画像50のうち検出領域を含む画像が、比較画像70として使用される。即ち、ノイズを示す比較画像70が、画像50に基づいて生成される。
図14は、比較画像70の生成方法を説明するための説明図である。例えば、拡張領域66,68内の検出領域は小型記号要素の可能性があるので、ここでは、拡張領域66,68外の検出領域が比較画像70として使用される例を説明する。例えば、画像50のうち、拡張領域66,68外の検出領域を含む領域が切り出されることによって、比較画像70が生成される。
実施形態2の除去部38は、検出領域のうち比較画像70と類似しない領域を除く領域を、画像50から除去する。即ち、実施形態2の除去部38は、検出領域のうち比較画像70と類似する領域を、画像50から除去する。
例えば、除去部38は、検出領域と、ノイズを示す比較画像70と、の類似度を算出する。類似度の算出方法自体は、実施形態1と同様である。類似度が基準範囲である場合、検出領域と比較画像70とが似ているので、当該検出領域が、ノイズであると判定される。一方、類似度が基準範囲でない場合、検出領域と比較画像70とが似ていないので、当該検出領域が、小型記号要素であると判定される。
[2−2.画像処理装置において実行される処理]
実施形態2においては、図10と同様の処理が実行される。ただし、S5における処理が実施形態1とは異なる。
図15は、実施形態2のS5において実行される処理を示す図である。図15に示すように、S201〜S204は、それぞれ、S101〜S104と同様であるので説明を省略する。
制御部12は、拡張領域66,68外の検出領域に基づいて比較画像70を生成する(S205)。例えば、画像50のうち、拡張領域66,68外の検出領域を含む領域が切り出されることによって、比較画像70が生成される。当該比較画像70は、記憶部14に記憶される。
制御部12は、S204において生成された比較画像70を取得し、当該比較画像70と、拡張領域66,68内の検出領域と、を比較して類似度を算出する(S206)。S206において算出された類似度は、記憶部14に一時的に記憶される。
制御部12は、S109において算出された類似度が基準範囲であるか否かを判定する(S207)。類似度が基準範囲であると判定された場合(S207;Y)、即ち、検出領域と比較画像70が似ている場合、制御部12は、検出領域の属性をノイズとする(S208)。
一方、類似度が基準範囲であると判定されない場合(S207;N)、即ち、検出領域と比較画像70が似ていない場合、制御部12は、検出領域の属性を小型記号要素とする(S209)。
制御部12は、拡張領域66,68内の全ての検出領域をパターンマッチングしたか否かを判定する(S210)。全ての検出領域をパターンマッチングしたと判定されない場合(S210;N)、処理は、S206に戻る。一方、全ての検出領域をパターンマッチングしたと判定された場合(S210;Y)、処理は、S6に移行する。
[2−3.実施形態2のまとめ]
実施形態2に係る画像処理装置10は、ノイズとして検出された検出領域を、ノイズを示す比較画像70とパターンマッチングさせることによって、当該検出領域が、本当にノイズであるか、それとも小型記号要素であるかを判定する。画像処理装置10は、小型記号要素であると判定された検出領域については、画像50から除去しないように制限し、小型記号要素がノイズとして除去されてしまうことを防止する。また、画像処理装置10は、比較画像70を動的に生成し、比較画像70を予め用意する手間が省かれる。
なお、本発明は、上記の実施形態に限定されるものではない。本発明の趣旨を逸脱しない範囲で、適宜変更可能である。
[3.変形例]
(1)例えば、実施形態においては、画像読取装置20から通信部16を介して画像50の画像データを取得する場合を説明したが、画像50は、記憶部14や外部メモリ等に記憶されていてもよい。即ち、画像取得部30は、画像50を記憶する手段又は画像50を生成する手段から画像を取得するようにすればよい。
(2)また例えば、実施形態においては、ノイズ検出部32が、第1の方法〜第3の方法の何れかのノイズ検出処理を実行する場合を説明したが、他の方法によってノイズ検出処理が実行されるようにしてもよい。例えば、第1の方法〜第3の方法の2つ又は3つを組み合わせるようにしてもよい。他にも例えば、記号領域62,64に基づいて記号の大きさを検出し、当該記号の大きさに基づいて決定される閾値(例えば、記号の大きさの0.5倍)以下のラベルサイズの要素がノイズとして検出されるようにしてもよい。また例えば、記号列52,54の背景としてのノイズ以外にも、画像読取装置20による走査対象物の光学的走査により発生するノイズが検出されるようにしてもよい。
(3)また例えば、実施形態2においては、ノイズを示す比較画像70を画像50に基づいて動的に生成する場合を説明したが、ノイズを示す比較画像70が予め記憶部14に記憶されるようにしてもよい。即ち、網点状のノイズ以外にも種々のノイズパターンを定義した画像データが記憶部14に記憶されているようにしてもよい。この場合、比較画像取得部34は、ノイズを示す比較画像70を記憶する記憶部14から当該比較画像70を取得することになる。
(4)また例えば、実施形態2においては、ノイズを示す比較画像70と検出領域との類似度が所定範囲であるか否かに基づいて、当該検出領域が小型記号要素であるか否かが判定される場合を説明したが、他の方法によって、検出領域が小型記号要素であるか否かが判定されるようにしてもよい。例えば、全ての検出領域と比較画像70との類似度を算出することによって生成される類似度の分布に基づいて、検出領域が小型記号要素であるか否かが判定されるようにしてもよい。この場合、当該分布が2極化している場合には、一方を小型記号要素として、他方をノイズとするようにしてもよい。
(5)また例えば、実施形態1と実施形態2とを組み合わせるようにしてもよい。例えば、実施形態1及び実施形態2の両方の判定方法で小型記号要素と判定される検出領域を小型記号要素としてもよいし、実施形態1又は実施形態2の何れかの判定方法で小型記号要素と判定される検出領域を小型記号要素としてもよい。
他にも例えば、実施形態1における類似度が所定範囲ではなかった検出領域(例えば、類似度が第1閾値よりも小さい検出領域)について、類似度が当該所定範囲とは異なる範囲である場合(例えば、類似度が、第1閾値よりも低い第2閾値以上である場合)、この検出領域について、実施形態2の方法を実行するようにしてもよい。
他にも例えば、実施形態2における類似度が所定範囲ではなかった検出領域(例えば、類似度が第3閾値よりも大きい検出領域)について、類似度が当該所定範囲とは異なる範囲である場合(例えば、類似度が、第3閾値よりも高い第4閾値以下である場合)、この検出領域について、実施形態1の方法を実行するようにしてもよい。
(6)また例えば、実施形態1においては、比較画像70が、言語種別を示す情報、記号の大きさに関する情報、及び位置関係に関する情報に関連付けられて記憶される一例を説明したが、比較画像70は、これらの情報に関連付けられていなくてもよい。また、実施形態1及び実施形態2においては、拡張領域66,68内の検出領域についてパターンマッチングをする一例を説明したが、画像50内の全ての検出領域についてパターンマッチングをするようにしてもよい。
10 画像処理装置、12 制御部、14 記憶部、16 通信部、20 画像読取装置、30 画像取得部、32 ノイズ検出部、34 比較画像取得部、36 比較画像記憶部、38 除去部、40 比較画像生成部、50 画像、52,54 記号列、52a,52b,52c,54a,54b,54c 小型記号要素、60 検出領域除去画像、62,64 記号領域、66,68 拡張領域、70 比較画像、80 ノイズ除去画像。

Claims (8)

  1. 記号を含む画像を取得する画像取得手段と、
    前記画像のノイズを検出するノイズ検出手段と、
    前記ノイズ検出手段によりノイズとして検出された前記画像の検出領域と比較される比較画像を取得する比較画像取得手段と、
    前記検出領域と前記比較画像との比較結果に基づいて、前記検出領域のうち、前記画像に含まれる記号又は記号の一部がノイズとして検出された領域を除く領域を、前記画像から除去する除去手段と、
    を含むことを特徴とする画像処理装置。
  2. 前記比較画像取得手段は、記号又は記号の一部を示す前記比較画像を記憶する比較画像記憶手段から前記比較画像を取得し、
    前記除去手段は、前記検出領域のうち、前記比較画像と類似する領域を除く領域を、前記画像から除去する、
    ことを特徴とする請求項1に記載の画像処理装置。
  3. 前記比較画像は、当該比較画像が示す記号が属する言語種別を示す情報に関連付けられて記憶され、
    前記除去手段は、
    前記検出領域と、前記画像に含まれる記号の言語種別に関連付けられた前記比較画像と、を比較する、
    ことを特徴とする請求項2に記載の画像処理装置。
  4. 前記比較画像は、当該比較画像が示す記号の大きさに関する情報に関連付けられて記憶され、
    前記除去手段は、前記検出領域と、前記画像に含まれる記号の大きさに基づいて大きさが変更された前記比較画像と、を比較する、
    ことを特徴とする請求項2又は3に記載の画像処理装置。
  5. 前記比較画像は、前記検出領域の位置と前記画像に含まれる記号の位置との位置関係に関する情報に関連付けられて記憶され、
    前記除去手段は、
    前記検出領域と、当該検出領域の位置と前記画像に含まれる記号の位置との位置関係に関連付けられた前記比較画像と、を比較する、
    ことを特徴とする請求項2〜4の何れか一項に記載の画像処理装置。
  6. 前記画像処理装置は、
    前記検出領域に基づいて前記比較画像を生成する比較画像生成手段を更に含み、
    前記比較画像取得手段は、前記比較画像生成手段により生成される比較画像を取得し、
    前記除去手段は、前記検出領域のうち前記比較画像と類似しない領域を除く領域を、前記画像から除去する、
    ことを特徴とする請求項1〜5の何れか一項に記載の画像処理装置。
  7. 前記除去手段は、前記検出領域のうち、前記画像に含まれる記号に対応する領域内の前記検出領域と、前記比較画像と、を比較する、
    ことを特徴とする請求項1〜6の何れか一項に記載の画像処理装置。
  8. コンピュータを、
    記号を含む画像を取得する画像取得手段、
    前記画像のノイズを検出するノイズ検出手段、
    前記ノイズ検出手段によりノイズとして検出された前記画像の検出領域と比較される比較画像を取得する比較画像取得手段、
    前記検出領域と前記比較画像との比較結果に基づいて、前記検出領域のうち、前記画像に含まれる記号又は記号の一部がノイズとして検出された領域を除く領域を、前記画像から除去する除去手段、
    として機能させるためのプログラム。
JP2011157636A 2011-07-19 2011-07-19 画像処理装置及びプログラム Active JP5830996B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011157636A JP5830996B2 (ja) 2011-07-19 2011-07-19 画像処理装置及びプログラム
US13/366,873 US9047535B2 (en) 2011-07-19 2012-02-06 Image processing apparatus, image processing method, and computer readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011157636A JP5830996B2 (ja) 2011-07-19 2011-07-19 画像処理装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2013025436A true JP2013025436A (ja) 2013-02-04
JP5830996B2 JP5830996B2 (ja) 2015-12-09

Family

ID=47555798

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011157636A Active JP5830996B2 (ja) 2011-07-19 2011-07-19 画像処理装置及びプログラム

Country Status (2)

Country Link
US (1) US9047535B2 (ja)
JP (1) JP5830996B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200019603A1 (en) * 2018-07-13 2020-01-16 Microsoft Technology Licensing, Llc Systems, methods, and computer-readable media for improved table identification using a neural network

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63106087A (ja) * 1986-10-23 1988-05-11 Hitachi Ltd 光学文字読取装置
JPH05135204A (ja) * 1991-11-13 1993-06-01 Sumitomo Electric Ind Ltd 文字認識装置
JP2004139428A (ja) * 2002-10-18 2004-05-13 Toshiba Corp 文字認識装置
JP2006106903A (ja) * 2004-09-30 2006-04-20 Toshiba Corp 画像処理装置
JP2008117126A (ja) * 2006-11-02 2008-05-22 Denso Corp 文字認識装置及び文字認識方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2973944B2 (ja) * 1996-06-26 1999-11-08 富士ゼロックス株式会社 文書処理装置および文書処理方法
JPH11331606A (ja) 1998-03-15 1999-11-30 Ricoh Co Ltd 画像処理装置
JP2000293630A (ja) 1999-04-09 2000-10-20 Ntt Data Corp 網掛け除去機能付きの文字認識装置および網掛け除去方法
JP2009182512A (ja) * 2008-01-29 2009-08-13 Ricoh Co Ltd 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
JP5222776B2 (ja) 2009-04-09 2013-06-26 日立オムロンターミナルソリューションズ株式会社 画像処理装置及び方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63106087A (ja) * 1986-10-23 1988-05-11 Hitachi Ltd 光学文字読取装置
JPH05135204A (ja) * 1991-11-13 1993-06-01 Sumitomo Electric Ind Ltd 文字認識装置
JP2004139428A (ja) * 2002-10-18 2004-05-13 Toshiba Corp 文字認識装置
JP2006106903A (ja) * 2004-09-30 2006-04-20 Toshiba Corp 画像処理装置
JP2008117126A (ja) * 2006-11-02 2008-05-22 Denso Corp 文字認識装置及び文字認識方法

Also Published As

Publication number Publication date
JP5830996B2 (ja) 2015-12-09
US9047535B2 (en) 2015-06-02
US20130022278A1 (en) 2013-01-24

Similar Documents

Publication Publication Date Title
CA2116600C (en) Methods and apparatus for inferring orientation of lines of text
JP5508359B2 (ja) 文字認識装置、文字認識方法及びプログラム
JPS61267177A (ja) 文書画像追加情報の蓄積方法
US7796817B2 (en) Character recognition method, character recognition device, and computer product
JPH08305803A (ja) 文字テンプレートセット学習マシン動作方法
US20150095022A1 (en) List recognizing method and list recognizing system
JPH11120293A (ja) 文字認識/修正方式
US11080464B2 (en) Correction techniques of overlapping digital glyphs
CN111340020B (zh) 一种公式识别方法、装置、设备及存储介质
JP7244223B2 (ja) 電子文書における強調テキストの識別
US9934429B2 (en) Storage medium, recognition method, and recognition apparatus
JP2011065643A (ja) 文字認識方法及び文字認識装置
US9330311B1 (en) Optical character recognition
US10984277B2 (en) Image analysis apparatus, image analysis method, and non-transitory computer readable medium
JP5830996B2 (ja) 画像処理装置及びプログラム
JP6310155B2 (ja) 文字認識装置、文字認識方法及び文字認識プログラム
KR20160053544A (ko) 후보 문자의 추출 방법
Shanjana et al. Character segmentation in Malayalam Handwritten documents
US9405997B1 (en) Optical character recognition
JP5039659B2 (ja) 文字認識方法及び文字認識装置
JP6609181B2 (ja) 文字属性推定装置、及び文字属性推定プログラム
JP5298830B2 (ja) 画像処理プログラム、画像処理装置及び画像処理システム
JP6127685B2 (ja) 情報処理装置、プログラム、及び形状認識方法
Rao et al. Font and size identification in Telugu printed document
JP2004005761A (ja) キーワード抽出・検索装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140619

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150410

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150929

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151012

R150 Certificate of patent or registration of utility model

Ref document number: 5830996

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350