JP2016062123A - 画像処理装置および画像処理方法 - Google Patents
画像処理装置および画像処理方法 Download PDFInfo
- Publication number
- JP2016062123A JP2016062123A JP2014187032A JP2014187032A JP2016062123A JP 2016062123 A JP2016062123 A JP 2016062123A JP 2014187032 A JP2014187032 A JP 2014187032A JP 2014187032 A JP2014187032 A JP 2014187032A JP 2016062123 A JP2016062123 A JP 2016062123A
- Authority
- JP
- Japan
- Prior art keywords
- edge
- noise
- image
- pixel
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
【解決手段】S502で撮影画像からエッジ画素を抽出したエッジ画像を作成する。S503,S504でエッジ画像において隣接する複数のエッジ画素からなる連結画素塊の外接矩形を作成する。S505,S506,S508で、外接矩形の特性に基づき、連結画素塊がノイズ相当であるか否かを判定し、連結画素塊がノイズである場合に、S509でエッジ画像から連結画素塊を除去する。このように連結画素塊が除去されたエッジ画像から文書の領域を検出する。
【選択図】図5
Description
本実施形態では、文書の撮影画像からエッジ画像を作成し、該エッジ画像から、文書の辺を構成するエッジでないと推定されるノイズに相当するエッジ画素を除去してから、文書の辺を検出することで、文書領域を高精度に検出する。
図1は、本実施形態における画像処理装置の構成を示す図である。本実施形態の画像処理装置は、撮影された画像データの入力を行う画像入力部101と、CPU102、RAM103、記憶部104、を有する。CPU102は画像データに本実施形態のエッジ抽出処理を施す画像処理プログラムを実行、制御し、RAM103は該プログラムを実行する際のワークメモリやデータの一時保存などに利用される。該プログラムやデータは、記憶部104に格納される。なお、図1に示す画像処理装置の構成は一例にすぎず、さらに他の構成要素を含んでいてもよい。また、外部の汎用コンピュータなどを用いて画像処理を実行してもよいし、電子回路上で画像処理を実行してもよい。さらに、画像入力部101に入力する画像データは撮像画像に限らず、人工的に作成された画像でもよい。
図2は、本実施形態の画像処理装置による紙面検出処理の概要を示す図である。図2(a)は画像入力部101によって取得される撮影画像データの例であり、複数枚の紙面が配置されている。この撮影画像データに対して本実施形態による紙面検出処理を施すと、図2(b)に示すように各紙面の領域を表す四角形が得られる。以下、このような紙面と背景との境界を表す直線が成す四角形の領域を、紙面領域と称する。
S301におけるエッジ検出処理について、図4〜7を用いて詳細に説明する。図4は、本実施形態の画像処理装置においてエッジ検出処理を行う際の機能構成を示す図であり、図5は、本実施形態のエッジ検出処理を示すフローチャートである。まずS501で撮影画像入力部401が、処理対象画像を入力する。次にS502でエッジ画像作成部402が、入力画像からエッジ画素を抽出したエッジ画像を作成する。このエッジ画像の作成には、cannyのエッジ検出等、周知の手法を用いるとする。そしてS503で連結画素塊作成部403が、S502で作成されたエッジ画像から連結画素塊を作成する。ここで連結画素塊とは、エッジ画素が8近傍で連結している画素集合のことである。そしてS504で外接矩形作成部404が、S503で作成された連結画素塊のそれぞれに外接する矩形を作成する。ここで作成された矩形が、エッジを構成する領域となる。この時点では、例えば図2(a)に示す入力画像であれば、紙面と背景の境界による紙面端エッジと、背景のテクスチャや文書中の文字によるノイズとすべきエッジ、の両方が存在している。撮影画像から紙面領域を検出する際には、このノイズとすべきエッジを除去して紙面端エッジのみを抽出することが望ましい。
S303における線分検出処理について、図8のフローチャートを用いて詳細に説明する。まずS801で、S502で得たエッジ画像とS302で得た直線群に基づき、線分検出用のエッジ画素群を取得する。S301で得られるエッジ画像は、精度良く直線を検出するためにノイズ除去が行われている。しかしながら本実施形態における線分検出では、直線近傍にあるエッジ画素をもとに線分を生成するため、直線近傍のエッジ画素はノイズとして除去されていないことが望ましい。そこでS801では、S502で得たエッジ画像において各直線から距離N1以内にあるエッジ画素を、S301で得たエッジ画像に加え、このエッジ画像を線分検出用のエッジ画素群として、以降の処理で用いる。なお、距離N1としては、例えば2mmに相当する画素数を用いる。
ここで、S803,S805における線分フィッティング処理について、図9のフローチャートを用いて詳細に説明する。まずS901で、処理対象の線分(線分1)の信頼度を、[線分長]×[分離度]/[平均二乗誤差]によって定める。ここで[線分長]は、処理対象の線分の長さである。[分離度]は、線分の両面の輝度がどれだけ分離しているかを表す指標であり、以下の式(1)によって定義される。
m1は領域1の平均輝度値、m2は領域2の平均輝度値
mは領域1+領域2の平均輝度値
siは画素iの輝度値
式(1)において領域1は、該線分を一辺とする幅wの領域とし、領域2は、該線分を一辺とする領域1と重ならない幅wの領域とする。
ここで図12を用いて、S804における線分マージ処理を説明する。図12(a)には、マージ対象となる2線分1201,1202と、両線分の端点1201a,1201b,1202a,1202bを示す。線分マージ処理では、図12(b)〜(e)に示すように、まず端点1201aまたは1202aと、端点1201bまたは1202bを端点とする候補線分1203〜1206を求める。次にこれらの候補線分についてS901と同様の信頼度を求め、最も信頼度が高くなる候補線分をマージ結果として出力する。
以下、S304における四角形生成処理について、図13を用いて詳細に説明する。図13(a)は、S303で得られた線分1301〜1305を示している。まず、各線分間の端点間距離を求める。図13(a)から得られる端点間距離の一覧を図13(b)に示す。図13(b)では、後述する閾値Tより小さい端点間距離の値を下線付き太字で示している。ここでは端点間距離を、点p(xp,yp)と点q(xq,yq)から得る((xp−xq)2+(yp−yq)2)の平方根とした。これを例えば、端点間距離をmax(点pが属する線分長,点qが属する線分長)で正規化してもよい。また、[点pが属する線分]と[点qが属する線分]を延長して得る交点を点rとして、[点pと点r間距離]+[点qと点r間距離]の和を点pと点q間の距離としてもよい。
以下、S305における紙面領域選択処理について、図15を用いて詳細に説明する。ここでは説明上、紙面領域候補を四角形として説明するが、対象の形状は四角形に限らず、角と辺から構成される多角形であればよい。
mは領域の平均輝度値
siは画素iの輝度値
紙面領域候補と近傍領域について、図16を用いて説明する。破線の四角形1601は、S301〜S304の処理で得られた紙面領域の候補となる四角形である。1602は、四角形1601を外側に所定サイズ分拡大した四角形であり、1603は四角形1601を内側に所定サイズ分縮小した四角形である。四角形1602から紙面領域候補の四角形1601を減算した領域が、辺近傍領域の外部領域であり、四角形1601から四角形1603を減算した領域が、辺近傍の内部領域である。
SmはS1505で求めた分割領域の各辺の内外分離度の平均
νaはS1502で求めた紙面領域候補Oの外部分散値
νmはS1505で求めた分割領域の各角の外部分散値の平均
図17に示す分割領域の例では、1721〜1732が辺に位置する分割領域であり、1733〜1736が角に位置する分割領域である。そして辺ごとの平均とはすなわち、分割領域1721〜1724の平均と、分割領域1725,1726の平均と、分割領域1727〜1730の平均と、分割領域1731,1732の平均である。
以下、上記S1505における分割領域の評価値の算出処理について、図18のフローチャートを用いて説明する。まずS1801で、S902で作成した分割領域B1〜Bmを順次、処理対象の分割領域Bとして、S1802〜S1806の処理を繰り返す。それぞれの分割領域Bに対する処理は独立しているため、最終的に得られる結果は処理の順序により変動しない。したがって、それぞれの分割領域Bの処理を並列に行ってもよい。
以下、図19に、図17に示す紙面領域候補(1601)に対して、S1503〜S1505により算出した評価値の例を示す。表1901において、分割領域1721〜1732については、辺部としてS1803,S1804において算出した分離度が、評価値として記載されている。また分割領域1733〜1736については、角部としてS1805,S1806において算出した外部領域の分散値が、評価値として記載されている。また、各辺の評価値の平均が、各辺平均S1,S2,S3,S4として記載されている。図19に示す評価値をもとに、S1506で(3)式を用いて当該紙面領域候補の確度のスコアを計算すると0.0013となる。この場合、S1507でスコアが閾値(0.0010)以上であると判定され、S1508へ進んで該紙面領域候補1601は紙面領域として選択される。
<第2の実施形態>
以下、本発明にかかる第2実施形態について説明する。第2実施形態では、図23の文書2301に示すような表罫線を多く持つ文書を処理対象として、ノイズ除去を行う例を示す。このような文書においては、境界領域から得られるエッジとノイズである表罫線から得られるエッジは類似しているため、第1実施形態のように連結画素塊の外接矩形を比較するだけでは、ノイズの除去を適切に行うことができない。そこで第2実施形態ではさらに、エッジ近傍における画素情報の傾向の違いを利用して、境界領域の候補を抽出する。すなわち、表罫線を挟んだ2領域の組み合わせと、文書の境界領域を挟んだ2領域の組み合わせとでは、異なる傾向を持ちやすいことを利用する。ここでは、画素情報として輝度値を利用する例を示す。
第2実施形態では、S301のエッジ検出処理として、第1実施形態の図5に示す第1のノイズ除去処理の後に、図22に示す第2のノイズ除去処理を行う例を示した。しかしながらこの場合、境界領域である直線のエッジ上にノイズが乗る、もしくは直線エッジにノイズが隣接している場合には、以下のような不具合が生じる。すなわち、エッジ画素塊の外接矩形ごとに処理を行う第1のノイズ除去処理を先に行うと、直線とノイズを合わせたものが連結画素塊となるため、直線ごと除去されてしまう恐れがある。したがってこの場合には、第2のノイズ除去処理を先に行った後、第1のノイズ除去処理を行うようにする。これにより、まずは第2のノイズ除去処理によって画素ごとのノイズ除去判定が行われるため、境界領域である直線エッジは残り、該直線エッジの上もしくは隣接しているノイズのみが除去される。この状態で第1のノイズ除去処理を行うことで、境界領域である直線エッジについてはノイズと判定されることはない。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムを読み出して実行する処理である。また、そのプログラムをコンピュータ可読な記録媒体に記録して提供してもよい。
Claims (15)
- 文書を撮影した撮影画像からエッジ画素を抽出したエッジ画像を作成するエッジ画像作成手段と、
前記文書の辺を構成するエッジでないと推定されるノイズに相当するエッジ画素を前記エッジ画像から除去するノイズ除去手段と、を有し、
前記ノイズ除去されたエッジ画像から前記文書の辺を検出することを特徴とする画像処理装置。 - 前記ノイズ除去手段は、
隣接する複数のエッジ画素を連結した画素集合を作成する作成手段と、
前記画素集合の外接矩形の特性に基づいて前記画素集合がノイズ相当か否かを判定する第1ノイズ判定手段と、
前記エッジ画像から、ノイズ相当と判定された前記画素集合を除去する除去手段と、
を有することを特徴とする請求項1に記載の画像処理装置。 - 前記ノイズ除去手段は、
エッジ画素が属するエッジを挟む2つの近傍領域内の画素情報に基づき、当該エッジ画素がノイズ相当か否かを判定する第2ノイズ判定手段と、
前記エッジ画像から、ノイズ相当と判定されたエッジ画素を除去する除去手段と、
を有することを特徴とする請求項1に記載の画像処理装置。 - 前記ノイズ除去手段は、
隣接する複数のエッジ画素を連結した画素集合の外接矩形の特性に基づいて前記画素集合がノイズ相当か否かを判定し、ノイズ相当と判定された前記画素集合を前記エッジ画像から除去する第1ノイズ除去手段と、
エッジ画素が属するエッジを挟む2つの近傍領域内の画素情報に基づいて前記エッジ画素がノイズ相当か否かを判定し、ノイズ相当と判定されたエッジ画素を前記エッジ画像から除去する第2ノイズ除去手段と、
を有することを特徴とする請求項1に記載の画像処理装置。 - 前記第1ノイズ除去手段による処理後の前記エッジ画像に対し、前記第2のノイズ除去手段による処理を行うことを特徴とする請求項4に記載の画像処理装置。
- 前記第2ノイズ除去手段による処理後の前記エッジ画像に対し、前記第1のノイズ除去手段による処理を行うことを特徴とする請求項4に記載の画像処理装置。
- 前記第1ノイズ判定手段は、前記外接矩形の長辺長が第1の閾値以下であれば、前記画素集合がノイズ相当と判定することを特徴とする請求項2、4乃至6のいずれか1項に記載の画像処理装置。
- 前記第1ノイズ判定手段は、前記外接矩形の縦横比が第2の閾値以上であれば、前記画素集合はノイズ相当でないと判定することを特徴とする請求項2、4乃至7のいずれか1項に記載の画像処理装置。
- 前記第1ノイズ判定手段は、前記外接矩形の縦横比が前記第2の閾値未満であり、かつ前記外接矩形に含まれるエッジ画素の密度が第3の閾値以上であれば、前記画素集合がノイズ相当と判定することを特徴とする請求項8に記載の画像処理装置。
- 前記第2ノイズ判定手段は、前記2つの近傍領域のそれぞれにおける輝度の分布に基づいて、エッジ画素がノイズ相当か否かを判定することを特徴とする請求項3乃至6のいずれか1項に記載の画像処理装置。
- 前記第2ノイズ判定手段は、前記2つの近傍領域の一方における最大輝度値と他方における最小輝度値の差と、前記一方における最小輝度値と前記他方における最大輝度値の差のうち、絶対値の大きい方の値が第4の閾値以下であれば、エッジ画素がノイズ相当と判定することを特徴とする請求項10に記載の画像処理装置。
- 前記第2ノイズ判定手段は、前記エッジ画素が属するエッジが前記撮影画像における上下または左右のいずれかの方向であるとして、前記2つの近傍領域を決定することを特徴とする請求項10または11に記載の画像処理装置。
- 文書を撮影した撮影画像からエッジ画素を抽出したエッジ画像を作成し、
前記文書の辺を構成するエッジでないと推定されるノイズに相当するエッジ画素を前記エッジ画像から除去し、
前記ノイズ除去されたエッジ画像から前記文書の辺を検出することを特徴とする画像処理方法。 - コンピュータ装置で実行されることにより、該コンピュータ装置を請求項1乃至12のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
- 請求項14に記載のプログラムを記憶したことを特徴とするコンピュータ可読な記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014187032A JP6543025B2 (ja) | 2014-09-12 | 2014-09-12 | 画像処理装置および画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014187032A JP6543025B2 (ja) | 2014-09-12 | 2014-09-12 | 画像処理装置および画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016062123A true JP2016062123A (ja) | 2016-04-25 |
JP6543025B2 JP6543025B2 (ja) | 2019-07-10 |
Family
ID=55797761
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014187032A Active JP6543025B2 (ja) | 2014-09-12 | 2014-09-12 | 画像処理装置および画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6543025B2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018160217A (ja) * | 2017-03-24 | 2018-10-11 | 株式会社Screenホールディングス | 画像処理方法および画像処理装置 |
JP2019050030A (ja) * | 2018-11-21 | 2019-03-28 | ウォンテッドリー株式会社 | 画像抽出装置、画像抽出装置の制御方法及びプログラム |
JP2020035215A (ja) * | 2018-08-30 | 2020-03-05 | 株式会社Pfu | 画像処理装置及び画像処理方法 |
JP6749519B1 (ja) * | 2019-04-10 | 2020-09-02 | 楽天株式会社 | 多角形検出装置、多角形検出方法、及び多角形検出プログラム |
CN111754450A (zh) * | 2019-07-16 | 2020-10-09 | 北京京东乾石科技有限公司 | 确定物体数量的方法、装置、设备和计算机可读介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001127998A (ja) * | 1999-10-25 | 2001-05-11 | Fuji Xerox Co Ltd | 画像処理装置および画像処理方法 |
JP2002135623A (ja) * | 2000-10-18 | 2002-05-10 | Yamaha Corp | ノイズ除去装置及びノイズ除去方法並びにコンピュータ読み取り可能な記録媒体 |
JP2013041315A (ja) * | 2011-08-11 | 2013-02-28 | Fujitsu Ltd | 画像認識装置および画像認識方法 |
-
2014
- 2014-09-12 JP JP2014187032A patent/JP6543025B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001127998A (ja) * | 1999-10-25 | 2001-05-11 | Fuji Xerox Co Ltd | 画像処理装置および画像処理方法 |
JP2002135623A (ja) * | 2000-10-18 | 2002-05-10 | Yamaha Corp | ノイズ除去装置及びノイズ除去方法並びにコンピュータ読み取り可能な記録媒体 |
JP2013041315A (ja) * | 2011-08-11 | 2013-02-28 | Fujitsu Ltd | 画像認識装置および画像認識方法 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018160217A (ja) * | 2017-03-24 | 2018-10-11 | 株式会社Screenホールディングス | 画像処理方法および画像処理装置 |
JP7112181B2 (ja) | 2017-03-24 | 2022-08-03 | 株式会社Screenホールディングス | 画像処理方法および画像処理装置 |
JP2020035215A (ja) * | 2018-08-30 | 2020-03-05 | 株式会社Pfu | 画像処理装置及び画像処理方法 |
JP2019050030A (ja) * | 2018-11-21 | 2019-03-28 | ウォンテッドリー株式会社 | 画像抽出装置、画像抽出装置の制御方法及びプログラム |
JP6749519B1 (ja) * | 2019-04-10 | 2020-09-02 | 楽天株式会社 | 多角形検出装置、多角形検出方法、及び多角形検出プログラム |
CN111754450A (zh) * | 2019-07-16 | 2020-10-09 | 北京京东乾石科技有限公司 | 确定物体数量的方法、装置、设备和计算机可读介质 |
CN111754450B (zh) * | 2019-07-16 | 2024-04-05 | 北京京东乾石科技有限公司 | 确定物体数量的方法、装置、设备和计算机可读介质 |
Also Published As
Publication number | Publication date |
---|---|
JP6543025B2 (ja) | 2019-07-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6543025B2 (ja) | 画像処理装置および画像処理方法 | |
US8649599B2 (en) | Image processing apparatus, image processing method, and program | |
US8805077B2 (en) | Subject region detecting apparatus | |
JP4528309B2 (ja) | オブジェクト検出方法、オブジェクト検出装置、およびオブジェクト検出プログラム | |
US10748023B2 (en) | Region-of-interest detection apparatus, region-of-interest detection method, and recording medium | |
JP5974589B2 (ja) | 画像処理装置およびプログラム | |
EP3563345B1 (en) | Automatic detection, counting, and measurement of lumber boards using a handheld device | |
JP2016505186A (ja) | エッジ保存・ノイズ抑制機能を有するイメージプロセッサ | |
US8923610B2 (en) | Image processing apparatus, image processing method, and computer readable medium | |
CN104463161A (zh) | 使用自动图像修补的彩色文档图像分割和二值化 | |
CN103548056A (zh) | 图像处理装置、摄像装置以及图像处理方法 | |
KR102226845B1 (ko) | 지역적 이진화를 이용한 오브젝트 인식 시스템 및 그 방법 | |
JP5822303B2 (ja) | 指紋品質評価装置、指紋品質評価方法、指紋品質評価プログラム | |
JP6272219B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
CN110321887B (zh) | 文档图像处理方法、文档图像处理装置及存储介质 | |
US9978123B2 (en) | Computer-readable storage medium storing image processing program, image processing device, and image processing method | |
Schäfer et al. | Depth and intensity based edge detection in time-of-flight images | |
JP6272220B2 (ja) | 画像処理装置および画像処理方法 | |
JP7027043B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN115410191A (zh) | 文本图像识别方法、装置、设备和存储介质 | |
CN115880228A (zh) | 多缺陷合并方法、装置、计算机设备及存储介质 | |
Dutta et al. | Segmentation of meaningful text-regions from camera captured document images | |
JP2011170554A (ja) | 物体認識装置、物体認識方法及び物体認識プログラム | |
CN112712091A (zh) | 图像特征区域检测方法 | |
Gao et al. | Segmentation-enhanced saliency detection model based on distance transform and center bias |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170830 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180817 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180903 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181018 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190315 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190507 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190517 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190614 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6543025 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |