JP2012003358A - 背景判別装置、方法及びプログラム - Google Patents

背景判別装置、方法及びプログラム Download PDF

Info

Publication number
JP2012003358A
JP2012003358A JP2010135643A JP2010135643A JP2012003358A JP 2012003358 A JP2012003358 A JP 2012003358A JP 2010135643 A JP2010135643 A JP 2010135643A JP 2010135643 A JP2010135643 A JP 2010135643A JP 2012003358 A JP2012003358 A JP 2012003358A
Authority
JP
Japan
Prior art keywords
background
image
block
probability
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010135643A
Other languages
English (en)
Other versions
JP4967045B2 (ja
Inventor
Masajiro Iwasaki
雅二郎 岩崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yahoo Japan Corp
Original Assignee
Yahoo Japan Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yahoo Japan Corp filed Critical Yahoo Japan Corp
Priority to JP2010135643A priority Critical patent/JP4967045B2/ja
Publication of JP2012003358A publication Critical patent/JP2012003358A/ja
Application granted granted Critical
Publication of JP4967045B2 publication Critical patent/JP4967045B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

【課題】主たるオブジェクトと背景とを精度よく判別する。
【解決手段】画像中央から離れるほど背景の可能性が高いなど画像の部分ごとに背景である確率を設定し、画像から特徴量の共通性によるクラスタリングで分割した領域について、領域内に分布する前記確率の平均値を算出しそれを基に背景かを判別することにより、オブジェクトや背景の色や形などに拘わらず、主たるオブジェクトと背景を精度よく判別することができる。学習用データに基づいて、画像のジャンルごとに背景確率分布を予め生成し背景の判別に活用することにより判別精度が一層改善できる。
【選択図】図9

Description

本発明は、コンピュータを用いた画像処理に関する。
近年、インターネットのウェブサイトなどにおいて、ユーザの指定した画像に類似した画像をコンピュータで検索し結果を表示する、いわゆる類似画像検索のサービスが提案されている。類似画像検索では、画像に含まれる色や形などの特徴を表す情報(「特徴量」と呼ぶ)を用いるが、画像に写っている物体などの対象物(「オブジェクト」とも呼ぶ)に注目した類似画像検索を行う場合、背景領域の特徴量が検索精度を低下させる問題がある。
そのため、画像から背景領域を判別・除去することで背景の影響を抑制し、検索精度の向上を図る技術が提案されている。この種の技術では、画像中の部分毎の特徴量をクラスタリングすることによって、特徴量が似通った範囲をそれぞれ独立した領域として抽出する。また、部分や領域について、その特徴量を基に背景か否かを判別する手法の例として、特許文献1では、空の青や芝生の緑など背景となる特定色の部分を背景と判別したり(段落0067)、画像を分割した領域ごとに、線や濃淡のパターンなどの特徴量を基に背景か判別する例を示している(段落0068)。
特開平9−138470号公報
しかし、上記のようにクラスタリングを用いると、画像におけるオブジェクトや背景の種類や写り方によっては、独立した領域が複数抽出され、そのなかから主たるオブジェクトを認識するのが困難な場合が多いという課題があった。
例えば、特許文献1では、部分や領域の色形などの特徴量如何で背景かを判別するが、オブジェクトの色や形などが必ずしも背景とかけ離れているとは限らない。逆に、オブジェクトの周囲に位置している他のオブジェクトや背景が、必ずしも特定の色や質感で写っているとも限らない。さらに、空や植物以外の何らかの物体(オブジェクト)ではあるが、画像の意図する主なオブジェクトとの関係では、背景としての位置付けに過ぎない場合も多い。
以上のように、クラスタリングでオブジェクトなど複数の領域が抽出されるような画像の場合には、主たるオブジェクトと背景とを適切に判別して抽出等の処理を行うことは困難であった。
上記の課題に対し、本発明の目的は、主たるオブジェクトと背景とを精度よく判別することである。
上記の目的をふまえ、本発明の一態様(1)は、画像内の背景を判別する背景判別装置であって、判別の対象とする元画像のブロック毎に特徴量を抽出する特徴量抽出手段と、抽出された前記ブロックの特徴量に基づいてブロックをクラスタリングすることにより、前記画像を複数の領域に分割する分割手段と、画像の各ブロック毎に背景である確率を設定する設定手段と、分割された前記領域に対応する位置の前記ブロック毎に設定されている前記確率の平均値を前記領域毎に算出し、この平均値に基づいて各領域が背景であるか否かを判別する判別手段と、を備えることを特徴とする。
本発明の他の態様(5)は、上記態様を方法のカテゴリで捉えたもので、画像内の背景をコンピュータが判別する背景判別方法であって、コンピュータが、判別の対象とする元画像のブロック毎に特徴量を抽出する特徴量抽出ステップと、コンピュータが、抽出された前記ブロックの特徴量に基づいてブロックをクラスタリングすることにより、前記画像を複数の領域に分割する分割ステップと、コンピュータが、画像の各ブロック毎に背景である確率を設定する設定ステップと、コンピュータが、分割された前記領域に対応する位置の前記ブロック毎に設定されている前記確率の平均値を前記領域毎に算出し、この平均値に基づいて各領域が背景であるか否かを判別する判別ステップと、を含むことを特徴とする。
本発明の他の態様(6)は、上記態様をコンピュータ・プログラムのカテゴリで捉えたもので、画像内の背景をコンピュータに判別させる背景判別プログラムであって、コンピュータに、判別の対象とする元画像のブロック毎に特徴量を抽出させ、コンピュータに、抽出された前記ブロックの特徴量に基づいてブロックをクラスタリングさせることにより、前記画像を複数の領域に分割させ、コンピュータに、画像の各ブロック毎に背景である確率を設定させ、コンピュータに、分割された前記領域に対応する位置の前記ブロック毎に設定されている前記確率の平均値を前記領域毎に算出させ、この平均値に基づいて各領域が背景であるか否かを判別させることを特徴とする。
このように、画像中央から離れるほど背景の可能性が高いなど画像の部分ごとに背景である確率を設定し、画像から特徴量の共通性によるクラスタリングで分割した領域について、領域内に分布する前記確率の平均値を算出する。この平均値は、画像中の各領域が背景である度合いを表すため、この平均値を基に背景かを判別することにより、オブジェクトや背景の色や形などに拘わらず、主たるオブジェクトと背景を精度よく判別することができる。
本発明の他の態様(2)は、上記いずれかの態様において、学習用データとしてジャンルごとの画像を記憶している学習用データ記憶手段を有し、前記設定手段は、画像のブロックごとに背景である確率を対応付けたデータである背景確率分布を、前記学習用データ記憶手段に記憶されている前記学習用データを用いてジャンルごとに予め生成して所定の確率分布記憶手段に記憶させ、前記確率分布記憶手段に記憶されている前記背景確率分布に基づいて前記元画像の各ブロック毎に背景である確率を設定することを特徴とする。
このように、学習用データに基づいて、画像のジャンルごとに背景確率分布を予め生成し背景の判別に活用することにより判別精度が一層改善できる。
本発明の他の態様(3)は、上記いずれかの態様において、前記設定手段は、前記ジャンル毎の前記背景である確率の分布を、二次元正規分布に関する係数を用いて表現することを特徴とする。
このように、背景確率分布を二次元正規分布(ガウス分布)を用いて表現し、ジャンルごとに平均値や偏差などの係数を設定することにより、ジャンル毎の背景確率分布を容易にかつ少ないデータ量で記憶することが可能となる。
本発明の他の態様(4)は、上記いずれかの態様において、前記特徴量抽出手段は、前記元画像の全画素に対応する前記ブロック毎に前記特徴量を抽出し、分割された前記各領域ごとに、その領域に含まれる各ブロックの特徴量に基づいて、領域の代表特徴量を算出し、元画像から抽出したブロック毎の前記特徴量がいずれの領域の前記代表特徴量に最も類似するかを判定し、最も類似する領域が背景と判別されているかに基づいて、その画素が背景かを判別する画素判定手段を有することを特徴とする。
このように、全画素から特徴量を抽出するが、クラスタリング対象とする特徴量は間引いたり複数画素のブロック単位として処理負荷を軽減する。一方、クラスタリング結果の領域ごとに代表特徴量を算出し、この代表特徴量と画素ごとの特徴量との類似性により各画素についても背景か判別する。これにより、クラスタリング負荷の抑制による処理の効率化と、領域境界付近の画素も含む判別精度が両立できる。
なお、上記の各態様とは異なるカテゴリ(装置に対し方法、方法に対しプログラムなど)や、以下に説明するさらに具体的な各態様も本発明に含まれる。異なるカテゴリについては、「手段」を「ステップ」のように適宜読み替えるものとする。
本発明によれば、主たるオブジェクトと背景とを精度よく判別することができる。
本発明の実施形態の構成を示す機能ブロック図。 本発明の実施形態で用いる情報(データ)を例示する図。 本発明の実施形態における処理手順を示すフローチャート。 本発明の実施形態における背景確率分布を示す概念図。 本発明の実施形態における特徴量抽出の一例を表す概念図。 本発明の実施形態における特徴量抽出の一例を表す概念図。 本発明の実施形態における元画像の一例を示す図。 本発明の実施形態における領域を示す概念図。 本発明の実施形態における領域と背景確率分布の関係を示す概念図。 本発明の実施形態における領域ごとの背景確率の平均値を白っぽさで示す概念図。 本発明の実施形態において背景を除去した画像を示す図。
次に、本発明を実施するための形態(「実施形態」と呼ぶ)について、図に沿って説明する。なお、背景技術や課題などで既に述べた内容と共通の前提事項については適宜省略する。
〔1.構成〕
本実施形態は、図1(構成図)に示すように、画像内の背景を判別する背景判別装置1(以下「本装置1」又は「本装置」と呼ぶ)に関する。本装置1は、通信ネットワークN経由で端末Tに類似画像検索サービスを提供する機能を持つサーバを兼ねるが、そのような機能を兼ねず背景の判別だけの装置としてもよい。
本装置1は、一般的なコンピュータの構成として少なくとも、CPUなどの演算制御部6と、外部記憶装置(HDD等)や主メモリ等の記憶装置7と、通信ネットワークN(インターネット、携帯電話網、LANなど)との通信手段8(LANアダプタなど)と、を有する。また、端末Tは、ユーザの用いるパーソナル・コンピュータ(PC)、スマートフォンや携帯電話端末装置といった情報処理装置で、その数は問わない。
そして、本装置1では、記憶装置7に予め記憶(インストール)した図示しない所定のコンピュータ・プログラムが演算制御部6を制御することで、図1に示す各手段などの要素(11,12,13など)を実現する。これら各要素のうち、情報の記憶手段は、記憶装置7において各種のデータベース(「DB」とも表す)やファイル、配列等の変数、各種スタックやレジスタ、システム設定値など任意の形式で実現できる。
このような記憶手段のうち、元画像記憶手段11は、背景を判別する対象とする画像である元画像(例えば類似画像検索の候補として特徴量などの情報を蓄積しておく多数の画像など)を記憶しておく手段である。また、学習用データ記憶手段12は、背景である確率を画像中の各ブロック毎に設定するのに用いる学習用データとして、ジャンルごとの画像を記憶している手段である。なお、記憶手段以外の各手段は、以下のような情報処理の機能・作用を実現・実行する処理手段である。
〔2.作用〕
上記のような本装置1において、背景を判別する処理手順を図3のフローチャートに示す。
〔2−1.背景確率分布の生成〕
ここで、設定手段13は、画像の各ブロック毎に背景である確率(「背景確率」と呼ぶこととする)を設定するが、本実施形態における背景確率の設定は、背景の判別(図3)に先立って、画像全体における背景確率の分布(「背景確率分布」と呼ぶこととする)を、画像のジャンル(例えば、人物、商品、風景など)ごとに予め定める処理と、背景の判別時に背景確率分布を適用することで個々の元画像のブロック毎に背景確率を設定する処理と、からなる。ここで、背景確率分布の例を図4の概念図に示す。この例では、破線の同心円で示すように、黒っぽい部分ほど主たるオブジェクトである確率が高く背景確率が低く、逆に、周囲の白っぽい色の部分ほど背景確率が高い。
このような背景確率分布を求めるには、画像の端の方が背景である確率が高いことを前提として、画像中の座標ごとに何らかの適宜な計算式又は手動設定などで得てもよいが、本実施形態では、画像のジャンルごとに、人手により背景を判別し背景部分のみを抽出したサンプル画像を学習用データとして学習用データ記憶手段12に予め多数用意した上で、それらを統計処理することで各ピクセルの背景の確率を算出する。
すなわち、設定手段13は、画像のブロックごとに背景である確率を対応付けたデータである背景確率分布を、学習用データ記憶手段12に記憶されている学習用データを用いてジャンルごとに予め生成し、所定の確率分布記憶手段14に記憶させる。背景確率分布を得るための統計処理としては、画像上の画素やブロック、座標などごとに、そのジャンルの学習用データにおいてその部分が背景となっている割合を集計すればよい。
〔2−2.背景確率分布の一例〕
上記のように、設定手段13が生成して記憶しておく背景確率分布の表現形式は自由であるが、その一例として、ジャンル毎の背景確率分布を、二次元正規分布に関する係数を用いて表現することができる。すなわち、まず、背景確率は、基本的に画像の中心ほど低く辺縁部ほど高いので、主たるオブジェクトである確率(仮に「対象確率」と呼ぶ)と逆であり、背景確率と対象確率は足して1になるいわゆる補数の関係にある。
そこで、補数である対象確率で説明すると、対象確率は、画像中心ほど高く、三次元空間上ならば画像のx軸、y軸平面上で、z軸(対象確率)方向に盛り上がる山形を描く二次元正規分布をとる。この場合、画像の横方向をx軸、縦方向をy軸とすると、画像の中心付近が二次元正規分布の山形の頂点となる平均値にあたる。
例えば、x,yの分散をσ ,σ とし、相関係数をσxyとし、二次元正規分布の密度関数における指数部を「−c/2」と表すと、密度関数は相似な楕円を表し、楕円上の点(x,y)を全て二次元正規分布の密度関数で
Figure 2012003358
と表すことができる。
但し、背景確率に利用する場合はx,yの相関はないと仮定することができるので、相関係数を0とすると背景確率分布は
Figure 2012003358
のように表される。なお、σ ,σ や、指数部に含まれる平均μ,μは、識別結果より適当な値を決めてもよいし、平均は画像の中心座標としてもよい。
以上のような二次元正規分布を用いて、背景確率分布を対象確率との補数関係に関連付けて表す場合、ジャンル毎の係数としては、例えば、確率(山形)の中心となる中心座標をx軸方向やy軸方向の平均値などで画像中で任意の位置に設定したり、確率の集中度を分散、標準偏差などで設定することにより、ジャンルに応じた背景確率分布のパターンを表して記憶しておくことができる(例えば図2)。
〔2−3.特徴量の抽出〕
以上のように背景確率分布が生成され、記憶されている前提で、背景を判別して抽出する処理手順(図3)について説明する。まず、特徴量抽出手段15が、元画像記憶手段11から、背景判別の対象とする元画像(「対象画像」又は単に「画像」とも呼ぶこととする)をブロックに分割し、分割した画像のブロック毎に特徴量を計算などで抽出する(ステップS11)。ここで抽出する特徴量は、カラーヒストグラムやテクスチャ特徴量など一般的なものでよい。
また、特徴量抽出の基礎とするブロックとしては、個々の画素をそのままブロックとしてもよいが、図5に例示するように、例えば画素G1を中心とするブロックB1から特徴量C1を抽出し、隣の画素G2を中心とするブロックB2から特徴量C2を抽出、のように複数のピクセルを単位とする窓のようなブロックの範囲をずらしていきながらそれぞれの位置で特徴量を抽出すれば、特徴量の情報量が充実し判別精度の向上が期待できる。
なお、この後行うクラスタリングの負荷が過大になることを防ぐには、図5の例のように全画素に対応して特徴量を抽出する場合は抽出対象とする画素を間引くか、又は、図6に例示するように所定数の画素をまとめたブロックB11やB12などを単位に特徴量C11やC12などを抽出すればよい。これらの対応により、クラスタリングの対象となる特徴量を削減して処理負荷を抑制し、処理速度の向上が見込める。
〔2−4.特徴量に基づくクラスタリング〕
続いて、分割手段16が、上記のように抽出されたブロックの特徴量に基づいてブロックをクラスタリングして同一クラスタに属するブロック群ごとに領域(「部分領域」とも呼ぶこととする)を生成することにより、画像を複数の領域に分割する(ステップS12)。この特徴量のクラスタリングは特徴量空間内で行い、クラスタリングした特徴量ごとに、元画像中における領域として配置するが、その例を以下に示す。
例えば、図7のような元画像を基に、特徴量を抽出してクラスタリングした結果、図8に示すような領域R1からR5に分割されたとする。この例で、領域R2は、領域R1,R3,R4,R5を除いた残る領域である。なお、特徴量空間では同一のクラスタであっても、対応するブロックの位置やまとまりなどによっては、画像上では独立した領域になる可能性がある。また、図7以降の説明では、符号R1〜R5で各領域を示すが、実装上は、各領域を識別するID、ラベル、番号などの識別情報やその順序については、例えばクラスタリング直後はクラスタリングにおける順序などであるものを、画像中の位置順に振り直すなど、適宜付け直しすればよい。
〔2−5.確率の平均値の算出と背景の判別〕
さらに、判別手段17は、分割された領域に対応する位置のブロック毎に設定されている確率の平均値を領域毎に算出する。この処理では、判別手段17は、まず、確率分布記憶手段14に記憶されている背景確率分布のうち、その対象画像と同一ジャンルに対応する背景確率分布を選択する(ステップS13)。そして、判別手段17は、その背景確率分布に基づいて即ちその背景確率分布のサイズを対象画像に合わせて拡大縮小し(ステップS14)、それを対象画像に当てはめることで、部分領域ごとに含まれる画像の各ブロック毎に対応する背景確率を求め、その平均値を算出する(ステップS15)。
例えば、図4に示した背景確率分布と、図8に示した各部分領域を、図9に示すようにサイズを合わせて重ね合わせ、背景確率のうち各領域における個々のブロックと重なる背景確率の平均値を求めれば、例えば図10に例示するように、部分領域ごとの背景確率の平均値が得られる。図10では、白っぽいほど背景確率が高いものとする。
そして、判別手段17は、上記のように各部分領域ごとに算出された背景確率の平均値に基づいて各領域が背景であるか否かを判別し、背景領域を抽出する(ステップS16)。このように判別、抽出した背景領域を元画像から除去すれば、オブジェクトの特徴を精度よく表した類似画像検索用の画像が得られる。
領域が背景であるか否かの判別基準としては、例えば、予め閾値を決定しておき、領域の背景確率の平均値がその閾値を超えた場合(図10の例では、白に近い場合)にその領域を背景と判断することが考えられる。他にも例えば、個別具体的な画像に応じ、領域間における背景確率の平均値のギャップや差の比率などが所定値以上開いている場合に、それを背景か否かの区切りとしたり、画像の面積のうち、所定の割合が背景となるように、個別の元画像に応じて平均値の閾値を求めるなどしてもよい。
以上のような処理によって、例えば、図7の元画像を基に、図10に示した領域R4とR5以外の領域R1,R2,R3が背景と判別された場合、それらに該当する立ち木などの画像部分を除去し、領域R4とR5に該当する建物2棟だけが残った図11のような画像を、処理の結果とする。このような処理の結果の画像は、例えば判別手段17が結果記憶手段18に記憶させ、端末Tからの類似画像検索要求を受けた検索エンジンなどの類似画像検索手段19が、画像同士の比較による検索処理の対象として利用する。
〔3.効果〕
本実施形態では、以上のように、画像中央から離れるほど背景の可能性が高いなど画像の部分ごとに背景である確率を設定し(例えば図4、図9)、画像から特徴量の共通性によるクラスタリングで分割した領域について(例えば図8)、領域内に分布する前記確率の平均値を算出しそれを基に背景かを判別することにより(例えば図10)、オブジェクトや背景の色や形などに拘わらず、主たるオブジェクトと背景を精度よく判別することができる。これにより、画像中のオブジェクトの特徴を精度よく表すことで、類似画像検索の精度を高めることができる。
特に、本実施形態では、学習用データに基づいて、画像のジャンルごとに背景確率分布を予め生成し背景の判別に活用することにより判別精度が一層改善できる。
また、本実施形態では、背景確率分布を二次元正規分布(ガウス分布)を用いて表現し、ジャンルごとに平均値や偏差などの係数を設定することにより(例えば図2)、ジャンル毎の背景確率分布を容易にかつ少ないデータ量で記憶することが可能となる。
〔4.第2実施形態〕
上記実施形態(以下「第1実施形態」と呼ぶ)に対し、背景判別の手法を更に改良することで処理の精度と効率を両立させる例を第2実施形態として示す。すなわち、図5の例において特徴量を抽出する対象の画素を間引いたり、また、図6に例示したように特徴量をブロック単位に抽出することで特徴量を削減した場合、元画像の画素単位に背景か否かを判定する処理をさらに加えれば、処理効率を維持しつつ、特に領域間の境界付近における判定精度を改善することができる。
この場合、特徴量抽出手段15は、背景の判別対象とする元画像から、全画素に対応するブロック毎に特徴量を抽出する一方、画素判定手段20は、分割された各領域ごとに、その領域に含まれる各ブロックの特徴量に基づいて、領域の代表特徴量を算出する。各領域の代表特徴量は、例えば、特徴量ベクトルの平均をとって求めることができる。
そして、画素判定手段20は、元画像から抽出したブロック毎の各特徴量がいずれの領域の代表特徴量に最も類似するかを判定し、最も類似する領域が背景と判別されているかに基づいて、その画素が背景かを判別する。すなわち、画素判定手段20は、最も類似する領域が背景領域と判定されていれば、その画素を背景と判定し、そうでなければ背景ではないと判定する。これにより、処理の精度と効率が両立できる。
以上のように、第2実施形態では、全画素から特徴量を抽出するが、クラスタリング対象とする特徴量は間引いたり複数画素のブロック単位として処理負荷を軽減する。一方、クラスタリング結果の領域ごとに代表特徴量を算出し、この代表特徴量と画素ごとの特徴量との類似性により各画素についても背景か判別する。これにより、クラスタリング負荷の抑制による処理の効率化と、領域境界付近の画素も含む判別精度が両立できる。
なお、画素がどの領域と類似するかの基準としては、上記のような領域の代表特徴量と画素の特徴量との類似性以外にも、各領域の背景確率の平均値と、元画像の各画素の特徴量と、の類似度を用いることもできる。即ち、元画像の各画素の特徴量が、領域の背景確率の平均値と類似している場合には、その画素が背景であると判定する。
〔5.他の実施形態〕
なお、上記各実施形態は例示に過ぎず、本発明は、以下に例示するものやそれ以外の他の実施態様も含むものである。例えば、ブロック毎の背景確率の設定について、ジャンル毎の背景確率分布を予め用意することは必須ではなく、ある固定された背景確率の基準に基づいて個々の元画像を構成するブロック毎に背景確率を計算して設定してもよい。
また、手段などの各要素は、コンピュータの演算制御部に限らず、ワイヤードロジック等に基づく電子回路など他の情報処理機構で実現してもよい。また、各構成図、データや画像、画面などの図、フローチャートの図などは例示に過ぎず、各要素の有無、その順序や具体的内容などは適宜変更可能である。例えば、本発明の装置は、サーバなどの装置を複数用いて実現してもよく、個々の記憶手段を別個独立のサーバ装置やシステムで実現する構成も一般的である。また、機能によっては、外部のプラットフォーム等をAPI(アプリケーション・プログラム・インタフェース)やネットワークコンピューティング(いわゆるクラウドなど)で呼び出して実現するなど、構成は柔軟に変更できる。
1 背景判別装置
6 演算制御部
7 記憶装置
8 通信手段
11 元画像記憶手段
12 学習用データ記憶手段
13 設定手段
14 確率分布記憶手段
15 特徴量抽出手段
16 分割手段
17 判別手段
18 結果記憶手段
19 類似画像検索手段
B1,B2,B11,B12 ブロック
C1,C2,C11,C12 特徴量
G,G1,G2 画素
N 通信ネットワーク
R1〜R5 領域
T 端末

Claims (6)

  1. 画像内の背景を判別する背景判別装置であって、
    判別の対象とする元画像のブロック毎に特徴量を抽出する特徴量抽出手段と、
    抽出された前記ブロックの特徴量に基づいてブロックをクラスタリングすることにより、前記画像を複数の領域に分割する分割手段と、
    画像の各ブロック毎に背景である確率を設定する設定手段と、
    分割された前記領域に対応する位置の前記ブロック毎に設定されている前記確率の平均値を前記領域毎に算出し、この平均値に基づいて各領域が背景であるか否かを判別する判別手段と、
    を備えることを特徴とする背景判別装置。
  2. 学習用データとしてジャンルごとの画像を記憶している学習用データ記憶手段を有し、
    前記設定手段は、
    画像のブロックごとに背景である確率を対応付けたデータである背景確率分布を、前記学習用データ記憶手段に記憶されている前記学習用データを用いてジャンルごとに予め生成して所定の確率分布記憶手段に記憶させ、
    前記確率分布記憶手段に記憶されている前記背景確率分布に基づいて前記元画像の各ブロック毎に背景である確率を設定する
    ことを特徴とする請求項1記載の背景判別装置。
  3. 前記設定手段は、前記背景である確率の分布を、二次元正規分布に関する係数を用いて表現することを特徴とする請求項1又は2記載の背景判別装置。
  4. 前記特徴量抽出手段は、前記元画像の全画素に対応する前記ブロック毎に前記特徴量を抽出し、
    分割された前記各領域ごとに、その領域に含まれる各ブロックの特徴量に基づいて、領域の代表特徴量を算出し、元画像から抽出したブロック毎の前記特徴量がいずれの領域の前記代表特徴量に最も類似するかを判定し、最も類似する領域が背景と判別されているかに基づいて、その画素が背景かを判別する画素判定手段を有する
    ことを特徴とする請求項1から3のいずれか一項に記載の背景判別装置。
  5. 画像内の背景をコンピュータが判別する背景判別方法であって、
    コンピュータが、判別の対象とする元画像のブロック毎に特徴量を抽出する特徴量抽出ステップと、
    コンピュータが、抽出された前記ブロックの特徴量に基づいてブロックをクラスタリングすることにより、前記画像を複数の領域に分割する分割ステップと、
    コンピュータが、画像の各ブロック毎に背景である確率を設定する設定ステップと、
    コンピュータが、分割された前記領域に対応する位置の前記ブロック毎に設定されている前記確率の平均値を前記領域毎に算出し、この平均値に基づいて各領域が背景であるか否かを判別する判別ステップと、
    を含むことを特徴とする背景判別方法。
  6. 画像内の背景をコンピュータに判別させる背景判別プログラムであって、
    コンピュータに、判別の対象とする元画像のブロック毎に特徴量を抽出させ、
    コンピュータに、抽出された前記ブロックの特徴量に基づいてブロックをクラスタリングさせることにより、前記画像を複数の領域に分割させ、
    コンピュータに、画像の各ブロック毎に背景である確率を設定させ、
    コンピュータに、分割された前記領域に対応する位置の前記ブロック毎に設定されている前記確率の平均値を前記領域毎に算出させ、この平均値に基づいて各領域が背景であるか否かを判別させる
    ことを特徴とする背景判別プログラム。
JP2010135643A 2010-06-15 2010-06-15 背景判別装置、方法及びプログラム Active JP4967045B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010135643A JP4967045B2 (ja) 2010-06-15 2010-06-15 背景判別装置、方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010135643A JP4967045B2 (ja) 2010-06-15 2010-06-15 背景判別装置、方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2012003358A true JP2012003358A (ja) 2012-01-05
JP4967045B2 JP4967045B2 (ja) 2012-07-04

Family

ID=45535290

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010135643A Active JP4967045B2 (ja) 2010-06-15 2010-06-15 背景判別装置、方法及びプログラム

Country Status (1)

Country Link
JP (1) JP4967045B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106156700A (zh) * 2015-03-31 2016-11-23 北京数码视讯科技股份有限公司 一种图像处理中人体特征的提取方法及装置
US9721151B2 (en) 2013-07-16 2017-08-01 Samsung Electronics Co., Ltd. Method and apparatus for detecting interfacing region in depth image
CN113837998A (zh) * 2021-08-19 2021-12-24 佛山科学技术学院 一种基于深度学习的图片自动调整对齐的方法及装置
WO2023088029A1 (zh) * 2021-11-17 2023-05-25 北京字跳网络技术有限公司 一种封面生成方法、装置、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002312787A (ja) * 2001-04-13 2002-10-25 Sony Corp 画像処理装置および画像処理方法、記録媒体、並びにプログラム
JP2004062605A (ja) * 2002-07-30 2004-02-26 Fuji Photo Film Co Ltd シーン識別方法および装置ならびにプログラム
JP2007102307A (ja) * 2005-09-30 2007-04-19 Seiko Epson Corp 画像に表現された被写体の特定

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002312787A (ja) * 2001-04-13 2002-10-25 Sony Corp 画像処理装置および画像処理方法、記録媒体、並びにプログラム
JP2004062605A (ja) * 2002-07-30 2004-02-26 Fuji Photo Film Co Ltd シーン識別方法および装置ならびにプログラム
JP2007102307A (ja) * 2005-09-30 2007-04-19 Seiko Epson Corp 画像に表現された被写体の特定

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9721151B2 (en) 2013-07-16 2017-08-01 Samsung Electronics Co., Ltd. Method and apparatus for detecting interfacing region in depth image
CN106156700A (zh) * 2015-03-31 2016-11-23 北京数码视讯科技股份有限公司 一种图像处理中人体特征的提取方法及装置
CN106156700B (zh) * 2015-03-31 2019-06-18 北京数码视讯科技股份有限公司 一种图像处理中人体特征的提取方法及装置
CN113837998A (zh) * 2021-08-19 2021-12-24 佛山科学技术学院 一种基于深度学习的图片自动调整对齐的方法及装置
WO2023088029A1 (zh) * 2021-11-17 2023-05-25 北京字跳网络技术有限公司 一种封面生成方法、装置、设备及介质

Also Published As

Publication number Publication date
JP4967045B2 (ja) 2012-07-04

Similar Documents

Publication Publication Date Title
US20190188528A1 (en) Text detection method and apparatus, and storage medium
US9530045B2 (en) Method, system and non-transitory computer storage medium for face detection
EP2974261A2 (en) Systems and methods for classifying objects in digital images captured using mobile devices
WO2014160426A1 (en) Classifying objects in digital images captured using mobile devices
JP2008148298A (ja) 画像における異なった内容の領域を識別する方法、画像における異なった内容の領域を識別する装置、および画像における異なった内容の領域を識別するコンピュータ・プログラムを具現するコンピュータ読み取り可能な媒体
WO2015107722A1 (ja) 検出制御装置、プログラム、検出システム、記憶媒体及び検出制御方法
CN110399842B (zh) 视频处理方法、装置、电子设备及计算机可读存储介质
CN109903210B (zh) 水印的去除方法、装置和服务器
CN108280190A (zh) 图像分类方法、服务器及存储介质
CN112651953B (zh) 图片相似度计算方法、装置、计算机设备及存储介质
WO2021159802A1 (zh) 图形验证码识别方法、装置、计算机设备及存储介质
CN116168351B (zh) 电力设备巡检方法及装置
US8953877B2 (en) Noise estimation for images
JP4967045B2 (ja) 背景判別装置、方法及びプログラム
CN106682670B (zh) 一种台标识别方法及系统
JP2013105373A (ja) データ取得装置、方法及びプログラム
JP5027201B2 (ja) テロップ文字領域検出方法,テロップ文字領域検出装置およびテロップ文字領域検出プログラム
WO2024016632A1 (zh) 亮点定位方法、亮点定位装置、电子设备及存储介质
CN111444362A (zh) 恶意图片拦截方法、装置、设备和存储介质
CN113840135B (zh) 色偏检测方法、装置、设备及存储介质
JP2016081472A (ja) 画像処理装置、画像処理方法及びプログラム
CN114511862A (zh) 表格识别方法、装置及电子设备
CN114399670A (zh) 一种5g消息中图片内文字实时提取的管控方法
JP6580201B2 (ja) 被写体検出装置、被写体検出方法及びプログラム
CN114201999A (zh) 异常账号的识别方法、系统、计算设备及存储介质

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120110

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20120201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120307

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120327

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120402

R150 Certificate of patent or registration of utility model

Ref document number: 4967045

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150406

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250