JP2017126221A - 画像処理プログラム、画像処理装置、および画像処理方法 - Google Patents

画像処理プログラム、画像処理装置、および画像処理方法 Download PDF

Info

Publication number
JP2017126221A
JP2017126221A JP2016005514A JP2016005514A JP2017126221A JP 2017126221 A JP2017126221 A JP 2017126221A JP 2016005514 A JP2016005514 A JP 2016005514A JP 2016005514 A JP2016005514 A JP 2016005514A JP 2017126221 A JP2017126221 A JP 2017126221A
Authority
JP
Japan
Prior art keywords
background
area
region
edge
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016005514A
Other languages
English (en)
Other versions
JP6662052B2 (ja
Inventor
悟 牛嶋
Satoru Ushijima
悟 牛嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2016005514A priority Critical patent/JP6662052B2/ja
Publication of JP2017126221A publication Critical patent/JP2017126221A/ja
Application granted granted Critical
Publication of JP6662052B2 publication Critical patent/JP6662052B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

【課題】背景でない領域を背景として誤抽出することを低減し、飛び地になっている背景を抽出すること。【解決手段】画像に含まれる被写体領域の外側背景を特定し、前記外側背景の色と類似し且つ所定のサイズ以上の領域である背景候補領域を特定し、前記背景候補領域と前記被写体領域との第1の境界線と、前記外側背景と前記被写体領域との第2の境界線との距離に基づいて、前記被写体領域が所定形状であるか否か判定し、前記被写体領域が前記所定形状である場合、前記背景候補領域を背景領域に設定する。【選択図】図3

Description

本発明は、画像処理プログラム、画像処理装置、および画像処理方法に関する。
一般的にチラシやポスター等の印刷物には、宣伝を行う商品の画像が掲載されている。このような印刷物の作成には、画像編集ソフトやDesktop publishing(DTP)ソフト等が用いられる。画像編集ソフト等を用いた印刷物の作成では、例えば、商品のみの画像を文字等がレイアウトされた他の画像に貼り付ける処理が行われる。そのため、画像編集ソフトで貼り付け等の編集する前に、素材画像として商品のみの画像を作成する。
素材画像は、商品(所望の被写体)とともに背景が写っている画像(以下「元の画像」ともいう)から商品部分の領域を切り出して作成する。元の画像から商品部分の領域を切り出す方法には、画像処理装置(コンピュータ)のオペレータがマウス等の入力装置を用いて切り出す領域を指定する方法と、コンピュータが元の画像における背景部分を自動的に判定して切り出す方法とがある。
画像における背景部分を自動的に判定する方法の1つとして、背景内に被写体が存在する被写体存在画像における周縁部の画素の色情報に基づいて背景部分を特定する方法が知られている(例えば、特許文献1参照)。
特開2010−211255号公報 特開平07−334676号公報
商品とともに背景が写っている元画像は、多くの場合、ほぼ一色の背景で撮影される。このため、画像の各画素について近接画素と色が近い場合に同一グループとする領域抽出を全画素に対して行い、抽出した領域の中で画像端に接している画素数が最も多い領域を背景と判断することで、商品の外側の背景を自動で抽出することができる。
しかし、バッグやコップの取っ手の内側の領域のように背景が飛び地になっている場合には、外側の背景を抽出する方法と同じ方法では飛び地の背景を抽出することは困難である。
また、特許文献1記載の方法を用いた場合、飛び地の背景領域を自動で抽出することは可能だが、色と画素数のみからの判断しているため、背景ではない領域を誤って抽出する場合がある。
一つの側面において、本発明は、背景でない領域を背景として誤抽出することを低減し、飛び地になっている背景を抽出することを目的とする。
実施の形態に係る画像処理プログラムは、コンピュータに、画像に含まれる被写体領域の外側背景を特定し、前記外側背景の色と類似し且つ所定のサイズ以上の領域である背景候補領域を特定させる。
前記画像処理プログラムは、前記コンピュータに、前記背景候補領域と前記被写体領域との第1の境界線と、前記外側背景と前記被写体領域との第2の境界線との距離に基づいて、前記被写体領域が所定形状であるか否か判定し、前記被写体領域が前記所定形状である場合、前記背景候補領域を背景領域に設定させる。
実施の形態に係る画像処理プログラムによれば、背景で無い領域を背景として誤抽出することを低減し、飛び地になっている背景を抽出することができる。
飛び地の背景領域の例を示す図である。 背景領域の誤抽出の例を示す図である。 実施の形態に係る画像処理装置の機能的構成を示す図である。 第1の実施の形態に係る画像処理方法のフローチャートである。 処理対象の画像の一例を示す図である。 グルーピングされた領域を示す画像である。 画像端座標リストを示す図である。 カウント結果を示す図である。 外側背景領域を示す図である。 背景候補領域を示す図である。 背景候補領域判定処理の詳細なフローチャートである。 背景候補領域の輪郭線を示す図である。 外側背景領域の輪郭線を示す図である。 背景候補領域および外側背景領域の輪郭点を示す図である。 背景候補領域の輪郭点と背景候補領域内を通らずに最短距離で直線を結べる外側背景領域の輪郭点とを線で結んだ図である。 第1の輪郭点と第2の輪郭点との間の直線区間の画素の抽出処理のフローチャートである。 第1の輪郭点と第2の輪郭点との間の直線区間の画素の抽出処理により算出される画素の例を示す図である。 算出した距離に対する背景候補領域の輪郭点の数を示すヒストグラムを示す図である。 選出された背景候補領域の輪郭点と該背景候補領域の輪郭点に対応する外側背景領域の輪郭点を示す図である。 選出された背景候補輪郭点が最も長く連続する区間、および当該背景候補輪郭点に対応する外側背景輪郭点の区間を説明する図である。 背景2値画像を示す図である。 第2の実施の形態に係る画像処理方法のフローチャートである。 エッジ検出とグループ化を説明する図である。 エッジの検出方法を説明する図である。 エッジグループリストを示す図である。 エッジグループによる背景候補領域判定処理の詳細なフローチャートである。 背景候補領域の輪郭線を示す図である。 エッジグループ番号に対応する投票箱の投票数を示す図である。 情報処理装置(コンピュータ)の構成図である。
図1は、飛び地の背景領域の例を示す図である。
図1では、左側の入力画像11の商品の外側の背景(外側背景領域)を抽出する場合を説明する。
入力画像11は、背景となるテーブルの上に被写体(商品)であるバッグが置かれた画像を示している。入力画像11の周縁部(バッグの周囲)にはテーブルが写っている。また、バッグの取っ手の内側にもテーブルが写っている。
入力画像11の各画素について近接画素と色が近い場合に同一グループとする領域抽出を全画素に対して行い、抽出した領域の中で画像端に接している画素数が最も多い領域を背景と判断することで、商品の外側の背景(外側背景領域)が抽出される。
図1の右側に、外側背景領域の抽出結果(外側背景抽出結果)12を示す。外側背景抽出結果12では、背景として抽出された外側背景領域は斜線で示している。外側背景抽出結果12において、バッグの取っ手の内側の背景領域(飛び地背景)は白色で示している。バッグの取っ手の内側の領域のような飛び地背景は、外側の背景を抽出する方法と同じ方法では抽出することは困難である。
次に、背景領域を誤抽出した場合の例を説明する。
図2は、背景領域の誤抽出の例を示す図である。
図2では、左側の入力画像21の背景領域を抽出する場合を説明する。
入力画像21は、背景となるテーブルの上に被写体(商品)である盆、茶椀、茶碗が置かれた皿、菓子、楊枝が入れられた袋、および菓子と楊枝が入れられた袋が置かれた皿が写った画像を示している。入力画像11の周縁部(盆の周囲)にはテーブルが写っている。
例えば、特許文献1に記載の方法で、背景領域を抽出した場合、抽出結果は図2の右側に示す背景抽出結果22のようになる。
背景抽出結果22では、背景として抽出された領域は斜線で示している。背景抽出結果22において、本来背景でない茶椀の一部、楊枝が入れられた袋、および盆に描かれた模様の一部が背景領域として抽出されている。このように、特許文献1に記載のような、色と画素数のみに基づいて背景領域を抽出する方法では、誤抽出が発生する場合がある。
以下、図面を参照しながら実施の形態について説明する。
図3は、実施の形態に係る画像処理装置の機能的構成を示す図である。
画像処理装置100は、処理部110および記憶部120を備える。
処理部110は、処理対象の画像の背景領域を抽出し、処理対象の画像における背景領域を表す背景2値画像の生成処理等を行う。背景2値画像は、背景の領域の画素値を1、背景以外(非背景)の領域の画素値を0とする2値画像である。
記憶部120は、デジタルカメラで撮像した画像やスキャナで読み込んだ画像のデータ、背景2値画像のデータ等を記憶する。
処理部110は、入力部111、抽出部112、及び出力部113を備える。
入力部111は、記憶部120から画像を読み出し、抽出部112に入力する。
抽出部112は、入力された画像について背景領域を抽出し、背景2値画像を生成する。
出力部113は、抽出部112により処理された背景2値画像のデータを記憶部120に出力し、記憶部120に格納する。
図4は、第1の実施の形態に係る画像処理方法のフローチャートである。
尚、第1の実施の形態に係る画像処理方法において、予め記憶部120には、図5に示す画像301等の入力画像が記憶されているものとする。画像301は、背景となるテーブルの上に被写体(商品)である取っ手を含むバッグが置かれた画像である。画像301の周縁部(バッグの周囲)およびバッグの取っ手の内側には、背景であるテーブルが写っている。
先ず入力部111は、記憶部120から処理対象に指定された入力画像を読み出して、抽出部112に入力する。
ステップS201において、抽出部112は、入力画像から領域を抽出(特定)し、被写体領域の外側の背景領域(外側背景領域)を抽出(特定)する。詳細には、先ず抽出部112は、入力画像の全画素について、各画素と隣接画素の輝度、彩度、色相の差を算出し、算出した差が閾値以下であれば同一のグループとなるようにグルーピングする。グルーピングされた画素のグループがそれぞれ領域となる。隣接画素は、ある画素(着目画素)を中心とし、着目画素の上下左右、右上、左上、右下、及び左下に隣り合っている画素である。すなわち、ある画素に対する隣接画素は8個ある。グルーピングされた各領域を示すと、例えば、図6のようになる。図6では、3つの領域(領域1〜3)にグルーピングされている。
抽出部112は、図7に示すような画像端座標リストを取得する。画像端座標リストには、入力画像の端(上辺、右辺、下辺、左辺)の座標が記載されている。例えば、入力画像のサイズが横640画素、縦480画素である場合、入力画像における左端上、右端上、左端下、及び右端下の座標はそれぞれ、[0,0]、[639,0]、[0,479]、及び[639,479]である。よって、640×480画素の入力画像の画像端座標リストには、図7に示すような上辺の画素の座標、右辺の画素の座標、下辺の画素の座標、及び左辺の画素の座標の合計2236個の座標が記載されている。尚、画像端座標リストは、入力部111が入力画像を読み出したときに作成して記憶部120に格納しておいてもよいし、ステップS201において、抽出部112が作成してもよい。
抽出部112は、画像端座標リストの全座標について、各座標の画素に割り当てられた領域番号を取得し、領域番号毎に画素数をカウントする。例えば、図6に示したグルーピングの結果に対してカウントを行うと、図8に示すようなカウント結果が得られる。図8のカウント結果では、領域番号1の画素数が2236個、領域番号2〜3の画素数が0個となっている。
抽出部112は、カウントした数が最も多い領域番号に対応する領域を被写体の外側の背景領域(外側背景領域)として判定(設定)し、抽出する。例えば、図8のカウント結果では領域番号1の画素数が一番多い。そのため、図8のカウント結果に対して、領域番号1に対応する領域1が外側背景領域として抽出される。例えば、図5に示す入力画像301の外側背景領域は、図9に示すようになる。図9において、外側背景領域は黒色で表示され、外側背景領域以外の領域は白色で表示されている。
ステップS202において、抽出部112は、外側背景領域以外の各領域について、背景候補領域に該当するか判定し、背景候補領域を抽出(特定)する。詳細には、抽出部112は、外側背景領域の色、判定対象の領域の色、および当該領域の面積(画素数)に基づいて、背景候補領域に該当するか判定し、背景候補領域を抽出(特定)する。例えば、抽出部112は、外側背景領域(領域1)の画素値の平均と領域2の画素値の平均値との差分を算出し、差分が第1の所定値以下の場合、領域2の色は外側背景領域の色と近いと判定する。領域2の色が外側背景領域の色と近い場合、抽出部112は、領域2の画素数が第2の所定値以上であるか否か判定し、第2の所定値以上であれば、領域2を背景候補領域であると判定する。第2の所定値は、例えば、入力画像301の画素数のX(例えば5)%である。抽出部112は、領域3について、同様に背景候補領域に該当するか否か判定する。ここでは、入力画像301において、領域2は背景候補領域ではないと判定され、領域3は背景候補領域であると判定される。外側背景領域でも背景候補領域でもない領域2は、被写体領域となる。図10は、背景候補領域を示す図である。図10において、背景候補領域である領域3は、灰色で示されている。
ステップS203において、抽出部112は、未判定の背景候補領域があるか否か判定する。未判定の背景候補領域がある場合、抽出部112は、未判定の背景候補領域のうちの1つを処理対象の背景候補領域とし、制御はステップS204に進む。未判定の背景候補領域がない場合、制御はステップS208に進む。
ステップS204において、抽出部112は、処理対象の背景候補領域に対して背景候補領域判定処理を行う。以下、背景候補領域判定処理の詳細について説明する。
図11は、背景候補領域判定処理の詳細なフローチャートである。図11は、図4のステップS204に対応する。
ここでは、図6に示す領域3を背景候補領域、外側背景領域を領域1とした場合の背景候補領域判定処理の例を説明する。
ステップS211において、抽出部112は、背景候補領域および外側背景領域の輪郭線を抽出(検出)する。詳細には、抽出部112は、背景候補領域と被写体領域との境界線と、外側背景領域と被写体領域との境界線との境界線を抽出(検出)する。これにより、図12に示すような背景候補領域(領域3)の輪郭線、図13に示すような外側背景領域(領域1)の輪郭線が抽出される。背景候補領域(領域3)の輪郭線は、背景候補領域(領域3)と被写体領域との境界線に相当する。また、外側背景領域(領域1)の輪郭線は、外側背景領域と被写体領域との境界線に相当する。
ステップS212において、抽出部112は、背景候補領域および外側背景領域の輪郭線上に点(以下、輪郭点と表記する)を配置する。図14に、背景候補領域および外側背景領域の輪郭点を示す。輪郭点は、例えば、輪郭線上の全ての画素に配置しても良いし、輪郭線上に1画素おきのように所定の間隔毎に配置しても良い。
ステップS213において、抽出部112は、背景候補領域の輪郭点から背景候補領域内を通らずに最短距離で直線を結べる外側背景領域の輪郭点、および該背景候補領域の輪郭点と該外側背景領域の輪郭点との距離を算出する。尚、抽出部112は、全ての背景候補領域の輪郭点それぞれに対して、背景候補領域内を通らずに最短距離で直線を結べる外側背景領域の輪郭点と該外側背景領域の輪郭点との距離を算出する。図15に背景候補領域の輪郭点と背景候補領域内を通らずに最短距離で直線を結べる外側背景領域の輪郭点とを線で結んだ図を示す。
背景候補領域の輪郭点から背景候補領域内を通らずに最短距離で直線を結べる外側背景領域の輪郭点、および該背景候補領域の輪郭点と該外側背景領域の輪郭点との距離の算出方法について説明する。
ここで、第1の輪郭点と第2の輪郭点とを直線で結んだ場合の直線区間の画素の算出方法について説明する。例えば、第1の輪郭点は背景候補領域の輪郭点に相当し、第2の輪郭点は外側背景領域の輪郭点に相当する。
図16は、第1の輪郭点と第2の輪郭点との間の直線区間の画素の抽出処理のフローチャートである。
図16では、第1の輪郭点のX,Y座標を[X1,Y1]、第2の輪郭点のX,Y座標を[X2,Y2]とする。
ステップS231において、抽出部112は、X差分=X2-X1、Y差分=Y2-Y1を算出する。
ステップS232において、抽出部112は、X差分の絶対値がY差分の絶対値未満であるか否か判定する。X差分の絶対値がY差分の絶対値未満の場合、制御はステップS233に進み、X差分の絶対値がY差分の絶対値以上の場合、制御はステップS243に進む。
ステップS233において、抽出部112は、X増分=X差分/Y差分の絶対値を算出する。
ステップS234において、抽出部112は、Y差分が0以上であるか否か判定する。Y差分が0以上の場合、制御はステップS235に進み、Y差分が0未満の場合、制御はステップS236に進む。
ステップS235において、抽出部112は、Y増分を1に設定する。
ステップS236において、抽出部112は、Y増分を−1に設定する。
ステップS237において、抽出部112は、Xの値をX1、Yの値をY1,Indexの値を1に設定する。
ステップS238において、抽出部112は、Yの値がY2であるか否か判定する。Yの値がY2の場合、処理は終了し、Yの値がY2でない場合、制御はステップS239に進む。
ステップS239において、抽出部112は、第1の輪郭点と第2の輪郭点との間の直線区間の画素のうち、Index番目の画素の座標を[X,Y]とする。
ステップS240において、抽出部112は、XにX増分加算し、YにY増分加算し、Indexを1インクリメントする。
ステップS243において、抽出部112は、Y増分=Y差分/X差分の絶対値を算出する。
ステップS244において、抽出部112は、X差分が0以上であるか否か判定する。X差分が0以上の場合、制御はステップS245に進み、X差分が0未満の場合、制御はステップS246に進む。
ステップS245において、抽出部112は、X増分を1に設定する。
ステップS246において、抽出部112は、X増分を−1に設定する。
ステップS247において、抽出部112は、Xの値をX1、Yの値をY1,Indexの値を1に設定する。
ステップS248において、抽出部112は、Xの値がX2であるか否か判定する。Xの値がX2の場合、処理は終了し、Xの値がX2でない場合、制御はステップS249に進む。
ステップS249において、抽出部112は、第1の輪郭点と第2の輪郭点との間の直線区間の画素のうち、Index番目の画素の座標を[X,Y]とする。
ステップS250において、抽出部112は、XにX増分加算し、YにY増分加算し、Indexを1インクリメントする。
抽出部112は、ステップS239またはS249で算出したIndex番目の画素の座標が背景候補領域の画素である場合、第2の輪郭点は、第1の輪郭点から背景候補領域を通って直線を結べる第2の輪郭点であると判定する。このように、背景候補領域内を通らずに最短距離で直線を結べるか否かは、図16の抽出処理の結果を用いて判定する。
また、第1の輪郭点と第2の輪郭点との間の直線区間の画素の抽出処理の終了時のIndexの値が第1の輪郭点と第2の輪郭点との間の距離(画素数)となる。
抽出部112は、背景候補領域のある輪郭点から背景候補領域内を通らずに最短距離で直線を結べる外側背景領域の輪郭点を算出する場合、背景候補領域のある輪郭点を第1の輪郭点、外側背景領域の輪郭点のそれぞれを第2の輪郭点として、図16の抽出処理を行う。抽出部112は、算出した背景候補領域のある輪郭点から外側背景領域の輪郭点のそれぞれへの直線区間の各画素において、抽出処理終了時のIndexの値が一番小さく(すなわち最短距離)且つステップS239またはS249で算出したIndex番目の画素の座標が背景候補領域の画素を含んでいない場合に対応する第2の輪郭点を背景候補領域のある輪郭点から背景候補領域内を通らずに最短距離で直線を結べる外側背景領域の輪郭点とする。
図17は、第1の輪郭点と第2の輪郭点との間の直線区間の画素の抽出処理により算出される画素の例を示す図である。
図17の画像351〜354において、輪郭点A,Bは、背景候補領域の輪郭点であり、輪郭点C,D,Eは、外側背景領域の輪郭点である。また、図17の画像351〜354において、非背景領域の画素は灰色で示されている。画像352の輪郭点AとBの間の矢印、画像353の輪郭点BとCの間の矢印、および画像354の輪郭点BとEの間の矢印は、それぞれ図16の抽出処理で算出される第1の輪郭点と第2の輪郭点との間の直線区間の各画素を示す。
画像352において、背景候補領域の輪郭点Aから見ると、外側背景領域の輪郭線Cが元も輪郭点Aに近く且つ輪郭点Aから輪郭点Cへの直線区間が途中で背景候補領域内を通らない。従って、背景候補領域の輪郭点Aから背景候補領域内を通らずに最短距離で直線を結べる外側背景領域の輪郭点は、輪郭点Cとなる。
画像353において、背景候補領域の輪郭点Bから見ると輪郭点Eより輪郭点Dの方が近いが、図16の抽出処理により算出される輪郭点Bと輪郭点Dを直線で結んだ場合の直線区間の画素は、矢印で示されるような画素となり、途中に背景候補領域を含んでしまう。従って、外側背景領域の輪郭点Dは、背景候補領域の輪郭点Bから背景候補領域内を通らずに最短距離で直線を結べる外側背景領域の輪郭点とはならない。
一方、画像354において、図16の抽出処理により算出される輪郭点Bと輪郭点Eを直線で結んだ場合の直線区間の画素は、矢印で示されるような画素となり、途中に背景候補領域を含んでいない。
図11に戻り説明を続ける。
ステップS214において、抽出部112は、算出した距離に対する背景候補領域の輪郭点の数を示すヒストグラムを生成し、輪郭点の数が最大の距離から所定の範囲を有効な距離範囲とする。図18は、算出した距離に対する背景候補領域の輪郭点の数を示すヒストグラムである。図18において、外側背景領域の輪郭点との距離がNである背景候補領域の輪郭点の数が最大となっている。抽出部112は、例えば、背景候補領域の輪郭点の数が距離がNである背景候補領域の輪郭点の数の10分の1以上である距離Nを含む範囲を有効な距離範囲とする。
ステップS215において、抽出部112は、有効な距離範囲に含まれる背景候補領域の輪郭点と該背景候補領域の輪郭点に対応する外側背景領域の輪郭点を選出する。背景候補領域の輪郭点に対応する外側背景領域の輪郭点とは、当該背景候補領域の輪郭点から背景候補領域内を通らずに最短距離で直線を結べる外側背景領域の輪郭点である。図19に
選出された背景候補領域の輪郭点と該背景候補領域の輪郭点に対応する外側背景領域の輪郭点を示す。尚、図19において、選出された背景候補領域の輪郭点と該背景候補領域の輪郭点に対応する外側背景領域の輪郭点は線で結ばれている。尚、背景候補領域の輪郭点を背景候補輪郭点、外側背景領域の輪郭点を外側背景輪郭点と表記する場合がある。
ステップS216において、抽出部112は、選出された背景候補輪郭点が最も長く連続する区間、および当該背景候補輪郭点に対応する外側背景輪郭線の区間を抽出する。図20は、選出された背景候補輪郭点が最も長く連続する区間、および当該背景候補輪郭点に対応する外側背景輪郭点の区間を説明する図である。図20において、選出された背景候補輪郭点が最も長く連続する区間は、輪郭点1から輪郭点2までの区間である。また、背景候補輪郭点が最も長く連続する区間の背景候補輪郭点に対応する外側背景輪郭線の区間は、輪郭点3から輪郭点4までの区間となる。
ステップS217において、抽出部112は、選出された背景候補輪郭点と対応する外側背景輪郭点との距離の平均(以下、平均距離と表記する)を算出する。また、抽出部112は、選出された背景候補輪郭点が最も長く連続する区間の端から端までの輪郭線上の距離(以下、内側距離と表記)を算出する。また、抽出部112は、選出された背景候補輪郭点が最も長く連続する区間に対応する外側背景輪郭点の区間の端から端までの輪郭線上の距離(以下、外側距離と表記)を算出する。抽出部112は、図20において、選出された背景候補輪郭点が最も長く連続する区間の輪郭線上の距離として、輪郭点1から輪郭点2までの輪郭線上の距離を算出する。抽出部112は、図20において、当該背景候補輪郭点に対応する外側背景輪郭点の輪郭線上の距離として、輪郭点3から輪郭点4までの輪郭線上の距離を算出する。
ステップS218において、抽出部112は、条件A:内側距離が平均距離に対し十分に長い、および条件B:内側距離が外側距離とほぼ同じ長さである、を満たすか否か判定する。例えば、抽出部112は、内側距離が平均距離のn倍(例えば、2倍)以上である場合、内側距離が平均距離に対し十分に長いと判定する。例えば、抽出部112は、内側距離が外側距離のp倍(例えば、0.7倍)以上且つq倍(例えば2倍)以下の場合、内側距離が外側距離とほぼ同じ長さであると判定する。
ステップS219において、条件Aおよび条件Bの両方を満たす場合、制御はステップS220に進み、条件Aおよび条件Bのいずれかを満たさない場合、制御はステップS221に進む。
ステップS220において、抽出部112は、背景候補領域は背景らしいと判定する。すなわち、抽出部112は、図20において、輪郭点1から輪郭点2までの区間と輪郭点3から輪郭点4までの区間で挟まれる領域の形状は細長く、バッグ等の取っ手(手で持つ部分)らしいと判定する。このように、条件Aおよび条件Bの両方を満たす場合、輪郭点1から輪郭点2までの区間と輪郭点3から輪郭点4までの区間で挟まれる領域の形状は、細長いと考えられ、バッグ等の取っ手に相当すると考えられる。飛び地背景になっている領域は、バッグ等の取っ手のように細長い部分の内側であることが多い。よって、輪郭点1から輪郭点2までの区間と輪郭点3から輪郭点4までの区間で挟まれる領域の形状が細長い場合に、当該領域と接する背景候補領域は背景であると考えられる。
ステップS221において、抽出部112は、背景候補領域は背景ではないらしいと判定する。すなわち、抽出部112は、図20において、輪郭点1から輪郭点2までの区間と輪郭点3から輪郭点4までの区間で挟まれる領域の形状は、細長くは無く、バッグ等の取っ手ではないと判定する。
図4に戻り説明を続ける。
ステップS205において、背景候補領域判定処理において背景らしいと判定された場合、制御はステップS206に進み、背景らしいと判定されていない場合、制御はステップS207に進む。
ステップS206において、抽出部112は、処理対象の背景候補領域を背景領域であると判定し、処理対象の背景候補領域を背景領域に設定する。
ステップS207において、抽出部112は、処理対象の背景候補領域を背景領域でないと判定し、処理対象の背景候補領域を非背景領域に設定する。
ステップS208において、抽出部112は、背景2値画像を出力する。背景2値画像は、背景として設定された領域の画素値を1、背景以外(非背景)の領域の画素値を0とする2値画像である。図21は、背景2値画像を示す図である。図21の背景2値画像において、背景領域は斜線、非背景領域は黒色で表示されている。図21に示すように、バッグの周囲だけでなく、バッグの取っ手の内側の飛び地も背景領域として設定されている。抽出部112は、背景2値画像を、出力部113に出力する。また、出力部113は、抽出部112から受け取った背景2値画像を記憶部120に出力し、格納する。
尚、抽出部112は、ステップS208において背景2値画像を出力する代わりに、背景2値画像のデータを用いて、入力画像から背景領域を除去した画像(被写体の画像)を生成して出力してもよい。
第1の実施の形態に係る画像処理方法によれば、背景でない領域を背景として誤抽出することを低減し、飛び地になっている背景を抽出することができる。
次に、エッジグループによる背景候補領域判定処理をさらに行う第2の実施の形態について説明する。
第2の実施の形態に係る画像処理方法のフローチャートである。
先ず入力部111は、記憶部120から処理対象に指定された入力画像を読み出して、抽出部112に入力する。
ステップS301において、抽出部112は、入力画像から領域を抽出(特定)し、被写体の外側の背景領域(外側背景領域)を抽出(特定)する。尚、ステップS301の処理は、第1の実施の形態のステップS201の処理と同様なため、詳細な説明は省略する。
ステップS302において、抽出部112は、外側背景領域以外の各領域について、背景候補領域に該当するか判定し、背景候補領域を抽出(特定)する。尚、ステップS302の処理は、第1の実施の形態のステップS202の処理と同様なため、詳細な説明は省略する。
ステップS303において、抽出部112は、入力画像のエッジを検出し、検出したエッジのグループ化を行う。ここで、エッジ検出とグループ化の詳細について図23〜図25を用いて説明する。
図23は、エッジ検出とグループ化を説明する図である。図24は、エッジの検出方法を説明する図である。図25は、エッジグループリストを示す図である。第2の実施の形態の画像処理方法において、例えば、図23に示す画像401を入力画像として用いる。画像401は、背景となるテーブルの上に被写体(商品)である取っ手を含むバッグが置かれた画像である。画像401の周縁部(バッグの周囲)およびバッグの取っ手の内側には、背景であるテーブルが写っている。
先ず、抽出部112は、入力画像(画像401)をグレースケール化し、グレースケール画像(輝度画像)403を生成する。抽出部112は、グレースケール画像403の全画素について、各画素の横(X)方向勾配fxと縦(Y)方向勾配fyを算出する。ある画素の横(X)方向勾配fxは、以下のように求められる。横(X)方向勾配fxを求める画素とその隣接画素の各画素値に図24に示すような横(X)方向勾配フィルタFLxを乗算し、各画素に対する乗算結果を合計した値を、求める画素の横(X)方向勾配fxとする。同様に、縦(Y)方向勾配fyは、以下のように求められる。縦(Y)方向勾配fyを求める画素とその隣接画素の各画素値に図24に示すような縦(Y)方向勾配フィルタFLyを乗算し、各画素に対する乗算結果を合計した値を、求める画素の縦(Y)方向勾配fyとする。
次に、抽出部112は、グレースケール画像403の全画素について、各画素の横(X)方向勾配fxと画素の縦(Y)方向勾配fyとから各画素の勾配の大きさ(エッジ強度)fxyを算出する。勾配の大きさfxyは、fxy=((fx)+(fy)1/2により算出される。
また、抽出部112は、各画素の横(X)方向勾配fxと画素の縦(Y)方向勾配fyとから各画素のエッジ方向(勾配方向)θを算出する。エッジ方向θは、θ=tan−1((fy)/(fx))により算出される。このエッジ方向θは、後述のエッジのグループ化時に用いられる。
次に、抽出部112は、勾配の大きさfxyが閾値以上である画素をエッジとして判定(検出)する。以下、エッジとして判定された画素は、エッジ画素またはエッジと呼ぶ。エッジの検出結果を示すと、例えば、図23のエッジ検出結果404のようになる。エッジ検出結果404では、エッジ画素は白、エッジ画素以外は黒で表示している。
尚、エッジの検出方法は上述の方法に限られず、任意の方法を用いることができる。
次に、抽出部112は、各エッジ画素の隣接関係及びエッジ方向に基づいて、連接する複数のエッジ画像を1グループとするグループ化を行う。抽出部112は、各エッジ画素について、隣接する2個のエッジ画素のエッジ方向の差が所定の閾値(例えば、30度)以下となる複数のエッジ画素を1つのグループとする。例えば、エッジ画素1とエッジ画素1に隣接するエッジ画素2のエッジ方向の差が閾値以下とすると、エッジ画素1とエッジ画素2は、同じエッジグループとしてグループ化される。さらに、エッジ画素2とエッジ画素2に隣接するエッジ画素3のエッジ方向の差が閾値以下とすると、エッジ画素2とエッジ画素3は、同じエッジグループとする。ここで、エッジ画素1とエッジ画素2は同じエッジグループであるため、エッジ画素1とエッジ画素3も同じエッジグループとなり、連接するエッジ画素1〜3が同じエッジグループとしてグループ化される。この際、エッジ画像1のエッジ方向とエッジ画像3のエッジ方向との差は閾値より大きくても構わない。図23にエッジ画素をグループ化した結果405と、その一部領域を拡大した図を示す。グループ化した結果405の下に示す拡大図では、同一のエッジグループを楕円で囲んで示しており、楕円1405−1、1405−2、1405−3のそれぞれに囲まれたエッジ画素は、同一のエッジグループである。楕円1405−1、1405−2、1405−3のそれぞれに囲まれたエッジ画素のグループには、例えば、グループ番号1,12,22がそれぞれ割り当てられている。
また、抽出部112は、エッジ画素をグループ化するステップS303の処理において、エッジグループリストを作成する。エッジグループリストは、エッジグループの数と同じ数だけ作成される。すなわち、グループ化処理においてM個のエッジグループが生成された場合、抽出部112は、図25に示すようなM個のエッジグループリスト411−i(i=1〜M)を作成する。エッジグループリスト411−iには、各エッジグループに含まれるエッジ画素の座標が記載されている。例えば、エッジグループリスト411−1は、エッジグループ[1]に含まれるN個のエッジ画素[1]〜[N]の座標が記載されている。エッジグループリスト411−iにおいて、エッジ画素の座標は、隣接するエッジ画素の座標が前後に記載されるようになっている。例えば、エッジグループリスト411−1において、1番目に記載されているエッジ画素[1]の座標の次(すなわち2番目)に、エッジ画素[1]と隣接するエッジ画素[2]の座標が記載されている。
ステップS304において、抽出部112は、未判定の背景候補領域があるか判定する。未判定の背景候補領域がある場合、抽出部112は、未判定の背景候補領域のうちの1つを処理対象の背景候補領域とし、制御はステップS305に進む。未判定の背景候補領域がない場合、制御はステップS311に進む。
ステップS305において、抽出部112は、処理対象の背景候補領域に対して背景候補領域判定処理を行う。背景候補領域判定処理の詳細は、図11で述べたとおりであるので、説明は省略する。
ステップS306において、背景候補領域判定処理において背景らしいと判定された場合、制御はステップS207に進み、背景らしいと判定されていない場合、制御はステップS310に進む。
ステップS307において、抽出部112は、エッジグループによる背景候補領域判定処理を行う。ここで、エッジグループによる背景候補領域判定処理の詳細について説明する。
図26は、エッジグループによる背景候補領域判定処理の詳細なフローチャートで。図26は、図22のステップS307に対応する。
ステップS321において、抽出部112は、変数としてエッジグループ番号それぞれに対応する投票箱を用意し、各投票箱の投票数(投票箱の値)をゼロにセットする。
ステップS322において、抽出部112は、処理対象の背景候補領域の輪郭線を抽出(検出)する。これにより、図27に示すような背景候補領域の輪郭線が抽出される。抽出部112は、輪郭線上の画素に1から順に番号を割り当てる。
ステップS323において、抽出部112は、変数Indexを1に設定する。
ステップS324において、抽出部112は、Indexの値が輪郭線の背景候補領域の輪郭線の画素数以下であるか否か判定する。Indexの値が輪郭線の背景候補領域の輪郭線の画素数以下である場合、制御はステップS325に進み、Indexの値が輪郭線の背景候補領域の輪郭線の画素数より大きい場合、制御はステップS327に進む。
ステップS325において、抽出部112は、輪郭線のIndex番の画素から最も距離が近いエッジ画素を抽出し、そのエッジ画素が属するエッジグループ番号に対応する投票箱の投票数に1加算する。図28は、エッジグループ番号に対応する投票箱の投票数を示す図である。例えば、図28において、エッジグループ番号1に対応する投票箱の投票数は100となっており、エッジグループ番号12、22に対応する投票箱の投票数は0となっている。
ステップS326において、抽出部112は、Indexを1インクリメントする。
ステップS327において、抽出部112は、投票数が多い上位N(例えば3)位まで投票箱の投票数の合計を算出する。
ステップS328において、抽出部112は、ステップS327で算出した投票数の合計が背景候補領域の輪郭線の画素数のM(例えば75)%以上であるか否か判定する。投票数の合計が背景候補領域の輪郭線の画素数のM%以上である場合、制御はステップS329に進み、投票数の合計が背景候補領域の輪郭線の画素数のM%未満である場合、制御はステップS330に進む。投票数の合計が背景候補領域の輪郭線の画素数のM%以上である場合、背景候補領域はエッジの連なりに囲まれていると考えられる。
ステップS329において、抽出部112は、抽出部112は、背景候補領域は背景らしいと判定する。
ステップS330において、抽出部112は、背景候補領域は背景ではないらしいと判定する。
図22に戻り説明を続ける。
ステップS308において、エッジグループによる背景候補領域判定処理において背景らしいと判定された場合、制御はステップS309に進み、背景らしいと判定されていない場合、制御はステップS310に進む。
ステップS309において、抽出部112は、処理対象の背景候補領域を背景領域であると判定し、処理対象の背景候補領域を背景領域に設定する。
ステップS310において、抽出部112は、処理対象の背景候補領域を背景領域でないと判定し、処理対象の背景候補領域を非背景領域に設定する。
ステップS311において、抽出部112は、背景2値画像を出力する。尚、抽出部112は、ステップS311において背景2値画像を出力する代わりに、背景2値画像のデータを用いて、入力画像から背景領域を除去した画像(被写体の画像)を生成して出力してもよい。
第2の実施の形態に係る画像処理方法によれば、背景でない領域を背景として誤抽出することを低減し、飛び地になっている背景を抽出することができる。
第2の実施の形態に係る画像処理方法によれば、バッグ等の取っ手にはエッジが表れると考えられるため、エッジグループによる背景候補領域判定処理を行うことで、取っ手であるか否かを正しく判定できる可能性が向上し、飛び地になっている背景を正しく抽出できる可能性が向上する。
図29は、情報処理装置(コンピュータ)の構成図である。
実施の形態の画像処理装置101は、例えば、図29に示すような情報処理装置1によって実現される。
情報処理装置1は、CPU2、メモリ3、入力部4、出力部5、記憶部6、記録媒体駆動部7、及びネットワーク接続部8を備え、それらはバス9により互いに接続されている。
CPU2は、情報処理装置1全体を制御する中央処理装置である。CPU2は、処理部110に対応する。
メモリ3は、プログラム実行の際に、記憶部6(あるいは可搬記録媒体10)に記憶されているプログラムあるいはデータを一時的に格納するRead Only Memory(ROM)やRandom Access Memory(RAM)等のメモリである。CPU2は、メモリ3を利用してプログラムを実行することにより、上述した各種処理を実行する。
この場合、可搬記録媒体10等から読み出されたプログラムコード自体が実施の形態の機能を実現する。
入力部4は、例えば、キーボード、マウス、タッチパネル等である。
出力部5は、例えば、ディスプレイ、プリンタ等である。
記憶部6は、例えば、磁気ディスク装置、光ディスク装置、テープ装置等である。情報処理装置1は、記憶部6に、上述のプログラムとデータを保存しておき、必要に応じて、それらをメモリ3に読み出して使用する。
メモリ3及び記憶部6は、記憶部120に対応する。
記録媒体駆動部7は、可搬記録媒体10を駆動し、その記録内容にアクセスする。可搬記録媒体としては、メモリカード、フレキシブルディスク、Compact Disk Read Only Memory(CD−ROM)、光ディスク、光磁気ディスク等、任意のコンピュータ読み取り可能な記録媒体が用いられる。ユーザは、この可搬記録媒体10に上述のプログラムとデータを格納しておき、必要に応じて、それらをメモリ3に読み出して使用する。
ネットワーク接続部8は、Local Area Network(LAN)やWide Area Network(WAN)等の任意の通信ネットワークに接続され、通信に伴うデータ変換を行う。
以上の実施の形態に関し、さらに以下の付記を開示する。
(付記1)
画像に含まれる被写体領域の外側背景を特定し、
前記外側背景の色と類似し且つ所定のサイズ以上の領域である背景候補領域を特定し、
前記背景候補領域と前記被写体領域との第1の境界線と、前記外側背景と前記被写体領域との第2の境界線との距離に基づいて、前記被写体領域が所定形状であるか否か判定し、
前記被写体領域が前記所定形状である場合、前記背景候補領域を背景領域に設定する
処理をコンピュータに実行させる画像処理プログラム。
(付記2)
前記被写体領域が所定形状であるか否か判定する処理は、
前記背景候補領域の前記第1の境界線上に複数の第1の輪郭点を配置し、前記外側背景の前記第2の境界線上に複数の第2の輪郭点を配置し、
前記複数の第1の輪郭点のそれぞれにおいて、前記背景候補領域を通らずに最短の直線で結べる前記複数の第2の輪郭点との最短距離を算出し、
算出した前記複数の第1の輪郭点のそれぞれの前記複数の第2の輪郭点との前記最短距離の分布に基づいて、前記複数の第1の輪郭点から有効な複数の第1の輪郭点を選出し、前記有効な複数の第1の輪郭点のそれぞれと前記背景候補領域を通らずに最短の直線で結べる前記複数の第2の輪郭点のうちの有効な複数の第2の輪郭点を選出し、
前記有効な複数の第1の輪郭点と前記有効な複数の第2の輪郭点との距離の平均 、前記背景候補領域の前記第1の境界線上の前記有効な複数の第1の輪郭点が存在する区間の一方の端から他方の端までの第1の距離 、および前記外側背景の前記第2の境界線上の前記有効な複数の第2の輪郭点が存在する区間の一方の端から他方の端までの第2の距離を算出し、
前記平均、前記第1の距離、および前記第2の距離に基づいて、前記背景候補領域が背景であるか否か判定することを特徴とする付記1記載の画像処理プログラム。
(付記3)
前記背景候補領域が背景であるか否か判定する処理は、前記第1の距離が前記平均の第1の所定値倍以上であり、且つ前記第2の距離が前記第1の距離の第2の所定値倍以上且つ第3の所定値倍以内である場合、前記背景候補領域が背景であると判定することを特徴とする付記2記載の画像処理プログラム。
(付記4)
前記画像におけるエッジを示すエッジ画素を検出し、前記エッジ画素の勾配方向に基づいて連接する複数の前記エッジ画素を1グループとして複数のエッジグループを生成し、
前記背景候補領域の前記第1の境界線の複数の輪郭画素のそれぞれにおいて、最も距離が近い前記エッジ画素が属するエッジグループを特定し、
前記複数のエッジグループのうち、特定されたエッジグループの回数の多い順に、特定された回数が一番多いエッジグループから所定番目のエッジグループまでの特定された回数の合計を算出し、
前記合計に基づいて、前記背景候補領域が背景であるか否か判定する、
処理をさらに前記コンピュータに実行させることを特徴とする付記2または3記載の画像処理プログラム。
(付記5)
前記合計に基づいて、前記背景候補領域が背景であるか否か判定する処理は、前記合計が前記背景候補領域の前記第1の境界線の前記複数の輪郭画素の数の第4の所定倍以上である場合に、前記背景候補領域が背景であると判定することを特徴とする付記4記載の画像処理プログラム。
(付記6)
画像に含まれる被写体領域の外側背景を特定し、前記外側背景の色と類似し且つ所定のサイズ以上の領域である背景候補領域を特定し、前記背景候補領域と前記被写体領域とのの第1の境界線と、前記外側背景と前記被写体領域との第2の境界線との距離に基づいて、前記被写体領域が所定形状であるか否か判定し、前記被写体領域が前記所定形状である場合、前記背景候補領域を背景領域に設定する処理部
を備える画像処理装置。
(付記7)
前記処理部は、
前記背景候補領域の前記第1の境界線上に複数の第1の輪郭点を配置し、前記外側背景の前記第2の境界線上に複数の第2の輪郭点を配置し、
前記複数の第1の輪郭点のそれぞれにおいて、前記背景候補領域を通らずに最短の直線で結べる前記複数の第2の輪郭点との最短距離を算出し、
算出した前記複数の第1の輪郭点のそれぞれの前記複数の第2の輪郭点との前記最短距離の分布に基づいて、前記複数の第1の輪郭点から有効な複数の第1の輪郭点を選出し、前記有効な複数の第1の輪郭点のそれぞれと前記背景候補領域を通らずに最短の直線で結べる前記複数の第2の輪郭点のうちの有効な複数の第2の輪郭点を選出し、
前記有効な複数の第1の輪郭点と前記有効な複数の第2の輪郭点との距離の平均 、前記背景候補領域の前記第1の境界線上の前記有効な複数の第1の輪郭点が存在する区間の一方の端から他方の端までの第1の距離、および前記外側背景の前記第2の境界線上の前記有効な複数の第2の輪郭点が存在する区間の一方の端から他方の端までの第2の距離を算出し、
前記平均、前記第1の距離、および前記第2の距離に基づいて、前記背景候補領域が背景であるか否か判定することを特徴とする付記6記載の画像処理装置。
(付記8)
前記処理部は、前記第1の距離が前記平均の第1の所定値倍以上であり、且つ前記第2の距離が前記第1の距離の第2の所定値倍以上且つ第3の所定値倍以内である場合、前記背景候補領域が背景であると判定することを特徴とする付記7記載の画像処理装置。
(付記9)
前記処理部は、
前記画像におけるエッジを示すエッジ画素を検出し、前記エッジ画素の勾配方向に基づいて連接する複数の前記エッジ画素を1グループとして複数のエッジグループを生成し、
前記背景候補領域の前記第1の境界線の複数の輪郭画素のそれぞれにおいて、最も距離が近い前記エッジ画素が属するエッジグループを特定し、
前記複数のエッジグループのうち、特定されたエッジグループの回数の多い順に、特定された回数が一番多いエッジグループから所定番目のエッジグループまでの特定された回数の合計を算出し、
前記合計に基づいて、前記背景候補領域が背景であるか否か判定する、
ことを特徴とする付記7または8記載の画像処理装置。
(付記10)
前記処理部は、前記合計が前記背景候補領域の前記第1の境界線の前記複数の輪郭画素の数の第4の所定倍以上である場合に、前記背景候補領域が背景であると判定することを特徴とする付記9記載の画像処理装置。
(付記11)
画像処理装置が実行する画像処理方法であって、
画像に含まれる被写体領域の外側背景を特定し、
前記外側背景の色と類似し且つ所定のサイズ以上の領域である背景候補領域を特定し、
前記背景候補領域と前記被写体領域との第1の境界線と、前記外側背景と前記被写体領域との第2の境界線との距離に基づいて、前記被写体領域が所定形状であるか否か判定し、
前記被写体領域が前記所定形状である場合に、前記背景候補領域を背景領域に設定する
処理を備える画像処理方法。
(付記12)
前記被写体領域が所定形状であるか否か判定する処理は、
前記背景候補領域の前記第1の境界線上に複数の第1の輪郭点を配置し、前記外側背景の前記第2の境界線上に複数の第2の輪郭点を配置し、
前記複数の第1の輪郭点のそれぞれにおいて、前記背景候補領域を通らずに最短の直線で結べる前記複数の第2の輪郭点との最短距離を算出し、
算出した前記複数の第1の輪郭点のそれぞれの前記複数の第2の輪郭点との前記最短距離の分布に基づいて、前記複数の第1の輪郭点から有効な複数の第1の輪郭点を選出し、前記有効な複数の第1の輪郭点のそれぞれと前記背景候補領域を通らずに最短の直線で結べる前記複数の第2の輪郭点のうちの有効な複数の第2の輪郭点を選出し、
前記有効な複数の第1の輪郭点と前記有効な複数の第2の輪郭点との距離の平均、前記背景候補領域の前記第1の境界線上の前記有効な複数の第1の輪郭点が存在する区間の一方の端から他方の端までの第1の距離、および前記外側背景の前記第2の境界線上の前記有効な複数の第2の輪郭点が存在する区間の一方の端から他方の端までの第2の距離を算出し、
前記平均、前記第1の距離、および前記第2の距離に基づいて、前記背景候補領域が背景であるか否か判定することを特徴とする付記11記載の画像処理方法。
(付記13)
前記前記背景候補領域が背景であるか否か判定する処理は、前記第1の距離が前記平均の第1の所定値倍以上であり、且つ前記第2の距離が前記第1の距離の第2の所定値倍以上且つ第3の所定値倍以内である場合、前記背景候補領域が背景であると判定することを特徴とする付記12記載の画像処理方法。
(付記14)
前記画像におけるエッジを示すエッジ画素を検出し、前記エッジ画素の勾配方向に基づいて連接する複数の前記エッジ画素を1グループとして複数のエッジグループを生成し、
前記背景候補領域の前記第1の境界線の複数の輪郭画素のそれぞれにおいて、最も距離が近い前記エッジ画素が属するエッジグループを特定し、
前記複数のエッジグループのうち、特定されたエッジグループの回数の多い順に、特定された回数が一番多いエッジグループから所定番目のエッジグループまでの特定された回数の合計を算出し、
前記合計に基づいて、前記背景候補領域が背景であるか否か判定する、
処理をさらに備えることを特徴とする付記12または13記載の画像処理方法。
(付記15)
前記合計に基づいて、前記背景候補領域が背景であるか否か判定する処理は、前記合計が前記背景候補領域の前記第1の境界線の前記複数の輪郭画素の数の第4の所定倍以上である場合に、前記背景候補領域が背景であると判定することを特徴とする付記14記載の画像処理方法。
100 画像処理装置
110 処理部
111 入力部
112 抽出部
113 出力部
120 記憶部

Claims (7)

  1. 画像に含まれる被写体領域の外側背景を特定し、
    前記外側背景の色と類似し且つ所定のサイズ以上の領域である背景候補領域を特定し、
    前記背景候補領域と前記被写体領域との第1の境界線と、前記外側背景と前記被写体領域との第2の境界線との距離に基づいて、前記被写体領域が所定形状であるか否か判定し、
    前記被写体領域が前記所定形状である場合、前記背景候補領域を背景領域に設定する
    処理をコンピュータに実行させる画像処理プログラム。
  2. 前記被写体領域が所定形状であるか否か判定する処理は、
    前記背景候補領域の前記第1の境界線上に複数の第1の輪郭点を配置し、前記外側背景の前記第2の境界線上に複数の第2の輪郭点を配置し、
    前記複数の第1の輪郭点のそれぞれにおいて、前記背景候補領域を通らずに最短の直線で結べる前記複数の第2の輪郭点との最短距離を算出し、
    算出した前記複数の第1の輪郭点のそれぞれの前記複数の第2の輪郭点との前記最短距離の分布に基づいて、前記複数の第1の輪郭点から有効な複数の第1の輪郭点を選出し、前記有効な複数の第1の輪郭点のそれぞれと前記背景候補領域を通らずに最短の直線で結べる前記複数の第2の輪郭点のうちの有効な複数の第2の輪郭点を選出し、
    前記有効な複数の第1の輪郭点と前記有効な複数の第2の輪郭点との距離の平均、前記背景候補領域の前記第1の境界線上の前記有効な複数の第1の輪郭点が存在する区間の一方の端から他方の端までの第1の距離、および前記外側背景の前記第2の境界線上の前記有効な複数の第2の輪郭点が存在する区間の一方の端から他方の端までの第2の距離を算出し、
    前記平均、前記第1の距離、および前記第2の距離に基づいて、前記背景候補領域が背景であるか否か判定することを特徴とする請求項1記載の画像処理プログラム。
  3. 前記前記背景候補領域が背景であるか否か判定する処理は、前記第1の距離が前記平均の第1の所定値倍以上であり、且つ前記第2の距離が前記第1の距離の第2の所定値倍以上且つ第3の所定値倍以内である場合、前記背景候補領域が背景であると判定することを特徴とする請求項2記載の画像処理プログラム。
  4. 前記画像におけるエッジを示すエッジ画素を検出し、前記エッジ画素の勾配方向に基づいて連接する複数の前記エッジ画素を1グループとして複数のエッジグループを生成し、
    前記背景候補領域の前記第1の境界線の複数の輪郭画素のそれぞれにおいて、最も距離が近い前記エッジ画素が属するエッジグループを特定し、
    前記複数のエッジグループのうち、特定されたエッジグループの回数の多い順に、特定された回数が一番多いエッジグループから所定番目のエッジグループまでの特定された回数の合計を算出し、
    前記合計に基づいて、前記背景候補領域が背景であるか否か判定する、
    処理をさらに前記コンピュータに実行させることを特徴とする請求項2または3記載の画像処理プログラム。
  5. 前記合計に基づいて、前記背景候補領域が背景であるか否か判定する処理は、前記合計が前記背景候補領域の前記第1の境界線の前記複数の輪郭画素の数の第4の所定倍以上である場合に、前記背景候補領域が背景であると判定することを特徴とする請求項4記載の画像処理プログラム。
  6. 画像に含まれる被写体領域の外側背景を特定し、前記外側背景の色と類似し且つ所定のサイズ以上の領域である背景候補領域を特定し、前記背景候補領域と前記被写体領域とのの第1の境界線と、前記外側背景と前記被写体領域との第2の境界線との距離に基づいて、前記被写体領域が所定形状であるか否か判定し、前記被写体領域が前記所定形状である場合、前記背景候補領域を背景領域に設定する処理部
    を備える画像処理装置。
  7. 画像処理装置が実行する画像処理方法であって、
    画像に含まれる被写体領域の外側背景を特定し、
    前記外側背景の色と類似し且つ所定のサイズ以上の領域である背景候補領域を特定し、
    前記背景候補領域と前記被写体領域との第1の境界線と、前記外側背景と前記被写体領域との第2の境界線との距離に基づいて、前記被写体領域が所定形状であるか否か判定し、
    前記被写体領域が前記所定形状である場合に、前記背景候補領域を背景領域に設定する
    処理を備える画像処理方法。
JP2016005514A 2016-01-14 2016-01-14 画像処理プログラム、画像処理装置、および画像処理方法 Active JP6662052B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016005514A JP6662052B2 (ja) 2016-01-14 2016-01-14 画像処理プログラム、画像処理装置、および画像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016005514A JP6662052B2 (ja) 2016-01-14 2016-01-14 画像処理プログラム、画像処理装置、および画像処理方法

Publications (2)

Publication Number Publication Date
JP2017126221A true JP2017126221A (ja) 2017-07-20
JP6662052B2 JP6662052B2 (ja) 2020-03-11

Family

ID=59365000

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016005514A Active JP6662052B2 (ja) 2016-01-14 2016-01-14 画像処理プログラム、画像処理装置、および画像処理方法

Country Status (1)

Country Link
JP (1) JP6662052B2 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08138051A (ja) * 1994-11-15 1996-05-31 Hiroshi Kuyama 図形等の形状特性解析方法
JPH11194014A (ja) * 1998-01-05 1999-07-21 Kubota Corp 果菜類の計測装置
JP2000348173A (ja) * 1999-06-04 2000-12-15 Matsushita Electric Ind Co Ltd 唇抽出方法
JP2002159478A (ja) * 2000-08-14 2002-06-04 Siemens Corporate Res Inc ラジオグラフィックイメージでの解剖学的ランドマークを自動検出する方法、及び、機器によって読み出し可能なプログラムストレージデバイス
JP2006313544A (ja) * 2005-05-02 2006-11-16 Pixart Imaging Inc オブジェクトの特徴差異を用いた複数のオブジェクトを含む動画像の画像認識方法及び該方法を使用するシステム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08138051A (ja) * 1994-11-15 1996-05-31 Hiroshi Kuyama 図形等の形状特性解析方法
JPH11194014A (ja) * 1998-01-05 1999-07-21 Kubota Corp 果菜類の計測装置
JP2000348173A (ja) * 1999-06-04 2000-12-15 Matsushita Electric Ind Co Ltd 唇抽出方法
JP2002159478A (ja) * 2000-08-14 2002-06-04 Siemens Corporate Res Inc ラジオグラフィックイメージでの解剖学的ランドマークを自動検出する方法、及び、機器によって読み出し可能なプログラムストレージデバイス
JP2006313544A (ja) * 2005-05-02 2006-11-16 Pixart Imaging Inc オブジェクトの特徴差異を用いた複数のオブジェクトを含む動画像の画像認識方法及び該方法を使用するシステム

Also Published As

Publication number Publication date
JP6662052B2 (ja) 2020-03-11

Similar Documents

Publication Publication Date Title
US10896349B2 (en) Text detection method and apparatus, and storage medium
JP5274495B2 (ja) 文書画像サイズ変更方法
US8965127B2 (en) Method for segmenting text words in document images
JP3950777B2 (ja) 画像処理方法、画像処理装置および画像処理プログラム
JP2008148298A (ja) 画像における異なった内容の領域を識別する方法、画像における異なった内容の領域を識別する装置、および画像における異なった内容の領域を識別するコンピュータ・プログラムを具現するコンピュータ読み取り可能な媒体
CN105719243A (zh) 图像处理装置和方法
JP2016162420A (ja) 注目領域検出装置、注目領域検出方法及びプログラム
JP2019220014A (ja) 画像解析装置、画像解析方法及びプログラム
JP4565396B2 (ja) 画像処理装置および画像処理プログラム
CN111738252A (zh) 图像中的文本行检测方法、装置及计算机系统
US9141854B2 (en) Method and apparatus for generating structure of table included in image
CN109948605B (zh) 一种针对小目标的图片增强方法及装置
JP6662052B2 (ja) 画像処理プログラム、画像処理装置、および画像処理方法
JP6613625B2 (ja) 画像処理プログラム、画像処理装置、及び画像処理方法
JP2002175532A (ja) 画像処理装置、画像処理方法および画像処理プログラムを記録した記憶媒体
JP5489894B2 (ja) 画像処理装置及び画像処理プログラム
JP5233739B2 (ja) 画像処理装置、画像読取装置及び画像形成装置
CN111563181A (zh) 数字图像文件查询方法、装置及可读存储介质
JP2021056796A (ja) 構造認識システム、構造認識装置、構造認識方法、及びプログラム
US20120194883A1 (en) Character detection apparatus, character detection method, and computer-readable storage medium
JP6111796B2 (ja) 画像処理装置およびコンピュータプログラム
JP7377661B2 (ja) 画像の意味的領域分割装置、領域検知感度向上方法、及びプログラム
JP5825142B2 (ja) 画像処理装置、画像処理方法およびコンピュータープログラム
CN117911321A (zh) 一种图文混排图像的评测方法、装置、设备和存储介质
JPH10222688A (ja) 画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180912

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190723

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190730

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190823

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190823

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190823

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200127

R150 Certificate of patent or registration of utility model

Ref document number: 6662052

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150