JP2013026839A

JP2013026839A - 画像処理プログラムおよび画像処理装置

Info

Publication number: JP2013026839A
Application number: JP2011159984A
Authority: JP
Inventors: Akira Koizumi; 明小泉
Original assignee: SHIMODA OA SYSTEM CORP
Current assignee: SHIMODA OA SYSTEM CORP
Priority date: 2011-07-21
Filing date: 2011-07-21
Publication date: 2013-02-04

Abstract

【課題】
汎用の画像読取装置を用いた場合であっても、名刺やカード等の小紙片類の画像化等を容易に行うことのできる画像処理プログラムおよび画像処理装置を提供する。
【解決手段】
画像取得部１００が取得した画像中の図形の輪郭線を輪郭抽出処理部１０２で抽出し、頂点抽出処理部１０４が、輪郭抽出処理部１０２で抽出された輪郭線を構成する最長の直線を長辺とし、該輪郭線の全てを領域内に含む矩形領域の各頂点の座標を抽出し、画像切出処理部１０５が、頂点抽出処理部１０４で抽出された座標に基づいて画像取得部１００が取得した画像から矩形画像を切り出し、切り出された矩形画像を直立補正処理部１０６が直立するように補正し、天地判定処理部１０７が直立させた矩形画像の天地を判定して正方向に回転させる。
【選択図】図３

Description

本発明は、画像処理プログラムおよび画像処理装置に関し、特に、小紙片等の比較的小さな原稿を読み取って得た画像に対して処理を施す画像処理プログラムおよび画像処理装置に関する。

近年、コンピュータ等の情報処理装置の性能向上や普及状況に伴い、様々な情報が、情報処理装置により取り扱い可能な形態で用いられている。

このような情報には、キーボード等の入力装置から人手により入力されたものや、音声や画像として入力されたものを加工したもの等がある。例えば、名刺やカード等に印刷された情報は、スキャナ等の画像読取装置で名刺やカード等を読み取って画像化し、当該画像にＯＣＲ（optical character reader）処理等を施すことで、情報処理装置により取り扱い可能な形態に加工される。

名刺やカード等を画像読取装置で読み取る場合には、名刺やカード等をその方向や位置が適切となるように画像読取装置の原稿台に載置する必要があるが、名刺やカード等に対応した自動原稿送り装置を設けた原稿読取装置も提案されている（例えば、特許文献１参照）。

特開２０１１−８６９８８号公報

前述のように、名刺やカード等を画像読取装置で読み取る場合には、これらの読み取りに対応した画像読取装置を利用するか、名刺やカード等をその方向や位置が適切となるように画像読取装置の原稿台に載置する必要があった。

そこで、本発明は、汎用の画像読取装置を用いた場合であっても、名刺やカード等の小紙片類の画像化等を容易に行うことのできる画像処理プログラムおよび画像処理装置を提供することを目的とする。

上述した目的を達成するため、請求項１の発明は、任意の方向に並べられた小紙片類に基づいて生成された画像を処理する画像処理プログラムであって、前記画像中の図形の輪郭線を抽出する輪郭抽出処理と、前記輪郭抽出処理で抽出された輪郭線を構成する最長の直線を長辺とし、該輪郭線の全てを領域内に含む矩形領域の各頂点の座標を抽出する頂点抽出処理と、前記頂点抽出処理で抽出された座標に基づいて前記画像から矩形画像を切り出す画像切出処理と、前記画像切出処理で切り出された矩形画像を直立させる直立補正処理と、前記直立補正処理で直立させた矩形画像の天地を判定し、該判定結果に応じて該矩形画像を正方向に回転させる天地判定処理とをコンピュータに実行させることを特徴とする。

また、請求項２の発明は、任意の方向に並べられた小紙片類に基づいて生成された画像を処理する画像処理装置であって、前記画像中の図形の輪郭線を抽出する輪郭抽出手段と、前記輪郭抽出手段で抽出された輪郭線を構成する最長の直線を長辺とし、該輪郭線の全てを領域内に含む矩形領域の各頂点の座標を抽出する頂点抽出手段と、前記頂点抽出手段で抽出された座標に基づいて前記画像から矩形画像を切り出す画像切出手段と、前記画像切出手段で切り出された矩形画像を直立させる直立補正手段と、前記直立補正手段で直立させた矩形画像の天地を判定し、該判定結果に応じて該矩形画像を正方向に回転させる天地判定手段とを具備することを特徴とする。

本発明によれば、任意の方向や位置に配置された名刺やカード等の小紙片類を含む画像から、各小紙片類を示す画像を切り出して、その向きを揃えることが可能となる。その結果、小紙片類を読み取って画像を生成する際に、小紙片類の方向や位置が適切となるように画像読取装置の原稿台に載置する必要等が無くなる。

画像処理装置と画像読取装置の接続例を示した図である。画像処理装置１の構成例を示した図である。画像処理装置１の機能的な構成の例を示すブロック図である。画像処理装置１が処理対象とする画像を説明するための図である。輪郭抽出処理部１０２の処理の流れを示すフローチャートである。輪郭線抽出処理を説明するための図である。輪郭線抽出処理を説明するための図である。頂点抽出処理部１０４による処理の流れを示すフローチャートである。認識処理において表示する画面の例を示した図である。

以下、本発明に係る画像処理プログラムおよび画像処理装置の一実施の形態について、添付図面を参照して詳細に説明する。

図１は、画像処理装置と画像読取装置の接続例を示した図である。同図に示すように、画像処理装置１は、画像読取装置２と接続されている。この接続は、画像読取装置２が原稿を読み取って生成した画像を、画像処理装置１に渡すことができればよく、ＵＳＢ（Universal Serial Bus）等によるローカル接続や、ＬＡＮ（Local Area Network）等によるネットワーク接続を利用することができる。

なお、画像処理装置１は、必ずしも画像読取装置２と接続される必要は無く、画像読取装置２で生成された画像を、記憶媒体等を介して、画像処理装置１に入力するようにしてもよい。

次に、画像処理装置１の構成について説明する。画像処理装置１は、汎用のコンピュータ等の情報処理装置を画像処理プログラムにしたがって動作させることで実現されるものであり、その構成は、例えば、図２に示すようなものとなる。

図２に示すように、画像処理装置１は、演算部１０と記憶部１１、一時記憶部１２、画像読取装置接続部１３、記憶装置接続部１４、記憶装置１５、入力装置接続部１６、入力装置１７、表示装置接続部１８、表示装置１９を有している。

演算部１０は、演算処理を行うもので、例えば、ＣＰＵ（Central Processing Unit）等のプロセッサに相当する。記憶部１１は、情報等を記憶するもので、例えば、ＲＯＭ（Read Only Memory）、不揮発性メモリ(Nonvolatile Memory)等のメモリに相当する。一時記憶部１２は、情報等を一時的に記憶するもので、例えば、ＲＡＭ（Random Access Memory）等のメモリに相当する。画像読取装置接続部１３は、画像読取装置２を接続するインタフェイスとなるもので、例えば、ＵＳＢのインタフェイス、ＬＡＮインタフェイス等である。記憶装置接続部１４は、記憶装置１５を接続するためのインタフェイスであり、記憶装置１５は、情報等を記憶するもので、例えば、磁気ディスクに相当する。入力装置接続部１６は、入力装置１７を接続するためのインタフェイスであり、入力装置１７は、情報等を入力するもので、キーボードやポインティングデバイス等に相当するものである。表示装置接続部１８は、表示装置１９を接続するためのインタフェイスであり、表示装置２０は、情報等を表示するもので、モニタディスプレイ等に相当するものである。

続いて、画像処理装置１の機能的な構成について説明する。図３は、画像処理装置１の機能的な構成の例を示すブロック図である。

同図に示すように、画像処理装置１は、画像取得部１００と、前処理部１０１、輪郭抽出処理部１０２、結合処理部１０３、頂点抽出処理部１０４、画像切出処理部１０５、直立補正処理部１０６、天地判定処理部１０７、認識処理部１０８、変換処理部１０９の各機能部を有している。これら各機能部は、コンピュータ等の情報処理装置を画像処理プログラムにしたがって動作させることで実現される。この画像処理プログラムは、記録媒体に記録して配布したり、ネットワーク等を利用した通信により配信することが可能なものである。

画像取得部１００は、処理対象となる画像を画像読取装置２から取得する。前処理部１０１は、画像取得部１００が取得した画像を複製する。輪郭抽出処理部１０２は、前処理部１０１が複製した画像から、当該画像中の輪郭線を抽出する。結合処理部１０３は、輪郭抽出処理部１０２が抽出した輪郭線に囲まれた図形の面積が予め定めた下限値よりも小さく、かつ、予め定めた範囲内に別の輪郭線に囲まれた図形が存在する場合には、これらを結合する。なお、結合処理部１０３は、結合により当該部分の面積が予め定めた上限値よりも大きくなる場合は、結合を行わない。

頂点抽出処理部１０４は、輪郭抽出処理部１０２が抽出した輪郭線に囲まれた図形と、結合処理部１０３が結合した図形の各頂点を抽出し、抽出した各頂点の座標を特定する。画像切出処理部１０５は、前処理部１０１が複製した画像の元となる元画像、つまり、画像取得部１００が取得した画像から、頂点抽出処理部１０４が特定した各頂点の座標にしたがって、部分画像を切り出す。直立補正処理部１０６は、画像切出処理部１０５が切り出した部分画像のそれぞれを、直立するように補正する。天地判定処理部１０７は、直立補正処理部１０６により補正された部分画像の向き（天地）を判定し、その向きが正方向でなければ、その向きを補正する。認識処理部１０８は、部分画像にＯＣＲ（Optical Character Reader）処理等を施し、部分画像中の文字等を認識する。変換処理部１０９は、認識処理部１０８による認識結果と部分画像を、予め指定された形式、例えば、名刺管理を行うアプリケーションプログラムや、画像管理を行うアプリケーションプログラム等に対応する形式に変換し、その結果を記憶装置１５に保存する。

次に、画像処理装置１の各機能部による処理の詳細を、画像処理装置１による画像処理の流れとともに説明する。

最初に、画像処理装置１が処理対象とする画像について説明する。画像処理装置１が処理対象とする画像は、名刺やカード等の小紙片類を読み取ることで生成される画像である。この画像は、例えば、図４（ａ）に示すように、画像読取装置２の原稿台２０の上に、名刺３−１、名刺３−２等の複数の名刺を並べた状態で、画像読取装置２を動作させることで得られるものである。このとき、名刺３−１、名刺３−２等は、その向きを任意のまま並べることができる。ただし、複数の名刺が重なることが無いように留意する必要がある。なお、画像処理装置１が処理対象とする画像は、名刺やカード等を並べて読み取ったものに限らず、他のどのような小紙片類、例えば、メモや葉書等を並べて読み取ったものであってもよい。

また、画像読取装置２を動作させる際には、原稿台２０の上に名刺３−１、名刺３−２等の複数の名刺を並べ、さらに、その上から黒色または類似する色のシート等を重ねる必要がある。

これにより、画像読取装置２で生成された画像は、図４（ｂ）に示すように、黒色等を背景とした複数の名刺が含まれる画像となり、この画像が画像取得部１００により取得されることとなる。

なお、画像処理装置１が処理対象とする画像は、必ずしも、画像読取装置２で生成された画像である必要は無く、例えば、黒色等の台上に並べられた名刺やカード等を、ディジタルカメラ等で撮影することで生成された画像であってもよい。

続いて、画像取得部１００が取得した画像に対して、前処理部１０１が、前処理を施す。前処理部１０１が施す前処理は、画像取得部１００が取得した画像の複製であり、前処理部１０１が複製した画像は、輪郭抽出部１０２等の処理に用いられる。なお、以下では、便宜上、画像取得部１００が取得した画像を元画像と称し、前処理部１０１が複製した画像を複製画像と称する。

次に、前処理部１０１が複製した複製画像に対して、輪郭抽出処理部１０２が、名刺等の輪郭線を抽出するための処理を施す。図５は、輪郭抽出処理部１０２の処理の流れを示すフローチャートである。

輪郭抽出処理部１０２は、処理を開始すると、最初に、複製画像を２値化し（ステップ２０１）、各画素が１ビットで表現される２値画像に、複製画像を変換する。

続いて、輪郭抽出処理部１０２は、２値化した複製画像から外枠を除去する外枠除去処理を行う（ステップ２０２）。外枠とは、画像読取装置２の枠消し機能により生じる白枠（図４（ｂ）参照）であり、外枠除去処理は、この白枠の各画素を、黒画素に変換するものである。

次に、輪郭抽出処理部１０２は、外枠除去処理が施された複製画像から、名刺等の輪郭線、つまり、白画素の塊の輪郭線を抽出する（ステップ２０３）。ここで、輪郭線抽出処理について説明する。図６および図７は、輪郭線抽出処理を説明するための図である。ここでは、輪郭線抽出処理を施す複製画像は、図６（ａ）に示す８×８画素のもので、白画素の塊が１つ存在するものとする。なお、図６および図７中の斜線を施した正方形は黒画素を示し、他の正方形は、白画素を示す。また、正方形内に円を描画しているものは、輪郭線として抽出された画素を示すものである。

輪郭線抽出処理では、輪郭抽出処理部１０２は、まず、ラスタスキャンによる白画素の有無の確認、つまり、図６（ａ）中の左上の画素Ｐ１１から画素Ｐ１２の方向に順に画素Ｐ１８まで白画素の有無を確認し、画素Ｐ１８までに白画素が無ければ、次段の画素Ｐ２１から、同様に白画素の有無を確認する。その結果、画素Ｐ２５が白画素であるので、この画素Ｐ２５を始点として、輪郭線の追跡を開始する。

輪郭線の追跡では、処理対象の画素の周りの８画素を反時計方向に順に確認する。処理対象が画素Ｐ２５である場合には、その周りの８画素のうち、直前に処理対象であった画素Ｐ２４から反時計方向に隣接する画素Ｐ３４を始点として白画素の確認を行う（図６（ｂ）参照）。そして、最初に白画素であることが確認された画素、この場合、画素Ｐ３４を輪郭線の進行方向とする。

続いて、画素Ｐ３４を処理対象として、その周りの８画素のうち、直前に処理対象であった画素Ｐ２５から反時計方向に隣接する画素Ｐ２４を始点として白画素の確認を行う（図６（ｃ）参照）。この場合、画素Ｐ２４、画素Ｐ２３、画素Ｐ３３、画素Ｐ４３の順に白画素であるか否かの確認を行い、最初に白画素であることが確認された画素Ｐ４３を輪郭線の進行方向とする。

そして、同様の処理を行い、画素Ｐ４３における輪郭線の進行方向を画素Ｐ５２（図６（ｄ）参照）、画素Ｐ５２における輪郭線の進行方向を画素Ｐ６２（図６（ｅ）参照）、画素Ｐ６２における輪郭線の進行方向を画素Ｐ７３（図７（ａ）参照）、画素Ｐ７３における輪郭線の進行方向を画素Ｐ７４（図７（ｂ）参照）、といったように、輪郭線の追跡を行い、輪郭線の進行方向として特定した画素が始点であった画素Ｐ２５となった場合に、輪郭線の追跡を終了する（図７（ｃ）参照）。

輪郭線の追跡が終了すると、輪郭抽出処理部１０２は、別の白画素の塊の有無を確認するため（図７（ｃ）では存在しない）、始点とした画素Ｐ２５の次の画素からラスタスキャンを再開する。ただし、図７（ｃ）に示した例では、画素Ｐ２５の次の画素である画素Ｐ２６は、輪郭線として確認済みであるため、画素Ｐ２７からラスタスキャンを再開する。

そして、全ての白画素の塊について、輪郭線の追跡を行うと、輪郭抽出処理部１０２は、ノイズ除去処理を行う（ステップ２０４）。ノイズ除去処理は、白画素の塊の大きさ、つまり、輪郭線に囲まれた画素の大きさが、予め定めた一定の大きさ以下である場合に、これをノイズとして除去する処理であり、除去した画素は、以後、黒画素（背景）として処理される。このノイズ除去処理が終了すると、輪郭抽出処理部１０２による輪郭の抽出処理が終了する。

次に、輪郭抽出処理部１０２が抽出した輪郭線に基づいて、結合処理部１０３が結合処理を行う。結合処理は、輪郭抽出処理部１０２が抽出した輪郭線に囲まれた図形の面積が予め定めた下限値よりも小さい場合に、当該図形を最も距離が近い別の輪郭線に囲まれた図形と結合する。なお、結合処理部１０３は、結合により、その結合結果となる図形の面積が予め定めた上限値よりも大きくなる場合は、結合を行わない。これらの上限値や下限値は、処理対象である名刺やカード等の面積に応じて決定される値である。また、抽出した輪郭線に囲まれた図形の面積が予め定めた下限値よりも小さい場合でも、別の輪郭線に囲まれた図形が予め定めた範囲内に存在しない場合にも結合は行わない。

なお、当然のことではあるが、結合処理は、予備的な処理であり、画像取得部１００が取得した画像の質が一定以上である場合などでは、輪郭抽出処理部１０２が抽出した輪郭線に囲まれた図形の面積が予め定めた下限値よりも小さくなる可能性が低くなる。したがって、結合処理部１０３を省略することも可能である。

次に、輪郭抽出処理部１０２が抽出した輪郭線に囲まれた図形と結合処理部１０３が結合した図形を対象として、頂点抽出処理部１０４が、頂点抽出処理を行う。頂点抽出処理は、輪郭抽出処理部１０２が抽出した輪郭線に囲まれた図形と結合処理部１０３が結合した図形の各頂点を抽出し、その座標を特定する処理である。図８は、頂点抽出処理部１０４による処理の流れを示すフローチャートである。

頂点抽出処理部１０４は、処理を開始すると、まず、対象となる図形の輪郭線に対し、その直線毎にハフ変換を施し（ステップ３０１）、その結果から最長となる直線を特定する（ステップ３０２）。

続いて、頂点抽出処理部１０４は、特定した直線がｘ軸（水平方向の軸）となるように、複製画像に対して回転変換を施す（ステップ３０３）。なお、ここでは、横書きの名刺を想定しているため、最長の直線がｘ軸となるように回転変換を施しているが、最長の直線がｙ軸（ｘ軸に直交する軸）となるように回転変換を施してもよい。

そして、当該図形のｘ座標の最大値と最小値、ｙ座標の最大値と最小値に基づいて、矩形となる画像を抽出し（ステップ３０４）、抽出した矩形の各頂点の座標を特定する（ステップ３０５）。

各頂点の座標を特定すると、頂点抽出処理部１０４は、ステップ３０３で回転変換を施した複製画像に対して、当該回転変換の逆変換を施して、複製画像の座標系を元の状態に戻す（ステップ３０６）。

なお、ステップ３０１からステップ３０６の処理は、輪郭抽出処理部１０２が抽出した輪郭線に囲まれた図形と結合処理部１０３が結合した図形のうち、１つの図形に対する処理であるから、輪郭抽出処理部１０２が抽出した輪郭線に囲まれた図形と結合処理部１０３が結合した図形の全てに対して同様の処理を施す。

次に、頂点抽出処理部１０４が特定した頂点の座標に基づいて、画像切出処理部１０５が、元画像から矩形画像を部分画像として切り出す。

続いて、画像切出処理部１０５が切り出した部分画像のそれぞれに対して、直立補正処理部１０６が直立補正処理を施す。この直立補正処理は、例えば、矩形の長手方向が水平方向となるように、部分画像のそれぞれに回転処理を施す処理である。なお、矩形の長手方向が水平方向となるようにしているのは、元画像が横書きの名刺に基づいて生成された場合を想定しているからであり、矩形の短手方向が水平方向となるように、回転処理を施しても良い。

次に、直立補正処理部１０６が補正を行った部分画像のそれぞれに対して、天地判定処理部１０７が天地判定処理を行う。天地判定処理は、部分画像の向きを判定し、その向きが正方向でなければ、その向きを補正するものである。部分画像の向きの判定は、例えば、そのままの部分画像と、１８０度回転させた部分画像の両者に対して、ＯＣＲ処理を施し、文字の認識の可否に応じて部分画像の向きが正方向であるか否かを判定することができる。また、そのままの部分画像、９０度回転させた部分画像、１８０度回転させた部分画像、２７０度回転させた部分画像のそれぞれに対して同様の処理を行うことにより、例えば、直立補正処理部１０６が矩形の長手方向が水平方向となるように補正した場合でも、縦書きの名刺に基づいて生成された部分画像を正方向に補正することができる。もちろん、縦書きの名刺と横書きの名刺の両者が混在している場合にも対応することが可能となる。

次に、天地判定処理部１０７が天地判定処理を施した部分画像のそれぞれに対して、認識処理部１０８が認識処理を施す。認識処理は、部分画像に対してＯＣＲ処理を施すことにより行い、その結果を、例えば、図９に示すような画面で、表示装置１９に表示させ、認識結果の訂正の受け付け等も行う。図９に示す画面４００は、欄４０１、欄４０２、欄４０３、欄４０４により構成されている。

欄４０１は、元画像から切り出された全ての部分画像のそれぞれから認識した結果を、一覧表示する欄である。欄４０２は、部分画像のうち、選択されたものを表示する欄であり、この欄４０２に表示する部分画像は、入力装置１７の操作により変更可能である。欄４０３は、元画像を表示する欄である。欄４０４は、欄４０２に表示されている部分画像から認識された結果を表示する欄であり、その認識事項を、入力装置１７の操作により訂正可能としている。

なお、画面４００の構成は、適宜変更可能であり、また、データベース等と組み合わせることにより、認識事項の分類等も認識処理として行うことも可能となる。

最後に、認識処理部１０８が認識処理を行った結果と部分画像を、変換処理部１０９が、予め指定された形式、例えば、名刺管理を行うアプリケーションプログラムや、画像管理を行うアプリケーションプログラム等に対応する形式に変換し、その結果を記憶装置１５に保存する。

ところで、画像処理装置１は、必ずしも認識処理部１０８と変換処理部１０９を有している必要は無く、天地判定処理部１０７が天地判定処理を施した部分画像を記憶装置１５に保存し、これを別のアプリケーションプログラム等で利用する構成とすることも可能である。

なお、画像処理装置１の各機能部、例えば、天地判定処理部１０７、認識処理部１０８等は、他のアプリケーションソフトウェアが提供する機能を、ＡＰＩ（Application Program Interface）等を介して利用することで実現することもできる。

１画像処理装置
２画像読取装置
３−１、３−２名刺
１０演算部
１１記憶部
１２一時記憶部
１３画像読取装置接続部
１４記憶装置接続部
１５記憶装置
１６入力装置接続部
１７入力装置
１８表示装置接続部
１９表示装置
２０原稿台
１００画像取得部
１０１前処理部
１０２輪郭抽出処理部
１０３結合処理部
１０４頂点抽出処理部
１０５画像切出処理部
１０６直立補正処理部
１０７天地判定処理部
１０８認識処理部
１０９変換処理部
４００画面
４０１、４０２、４０３、４０４欄
Ｐ１１〜Ｐ７４画素

Claims

任意の方向に並べられた小紙片類に基づいて生成された画像を処理する画像処理プログラムであって、
前記画像中の図形の輪郭線を抽出する輪郭抽出処理と、
前記輪郭抽出処理で抽出された輪郭線を構成する最長の直線を長辺とし、該輪郭線の全てを領域内に含む矩形領域の各頂点の座標を抽出する頂点抽出処理と、
前記頂点抽出処理で抽出された座標に基づいて前記画像から矩形画像を切り出す画像切出処理と、
前記画像切出処理で切り出された矩形画像を直立させる直立補正処理と、
前記直立補正処理で直立させた矩形画像の天地を判定し、該判定結果に応じて該矩形画像を正方向に回転させる天地判定処理と
をコンピュータに実行させることを特徴とする画像処理プログラム。
任意の方向に並べられた小紙片類に基づいて生成された画像を処理する画像処理装置であって、
前記画像中の図形の輪郭線を抽出する輪郭抽出手段と、
前記輪郭抽出手段で抽出された輪郭線を構成する最長の直線を長辺とし、該輪郭線の全てを領域内に含む矩形領域の各頂点の座標を抽出する頂点抽出手段と、
前記頂点抽出手段で抽出された座標に基づいて前記画像から矩形画像を切り出す画像切出手段と、
前記画像切出手段で切り出された矩形画像を直立させる直立補正手段と、
前記直立補正手段で直立させた矩形画像の天地を判定し、該判定結果に応じて該矩形画像を正方向に回転させる天地判定手段と
を具備することを特徴とする画像処理装置。