JP2012133607A - 画像処理装置、画像処理方法及びプログラム - Google Patents
画像処理装置、画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP2012133607A JP2012133607A JP2010285315A JP2010285315A JP2012133607A JP 2012133607 A JP2012133607 A JP 2012133607A JP 2010285315 A JP2010285315 A JP 2010285315A JP 2010285315 A JP2010285315 A JP 2010285315A JP 2012133607 A JP2012133607 A JP 2012133607A
- Authority
- JP
- Japan
- Prior art keywords
- image
- subject
- background
- color
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/74—Circuits for processing colour signals for obtaining special effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/162—Segmentation; Edge detection involving graph-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
Abstract
【解決手段】サーバ3であって、背景と被写体とが混在する被写体存在画像の複数の画像領域の代表色と所定の一色とを比較する類似度算出部306eと、この比較結果に基づいて、被写体存在画像から被写体が含まれる領域を抽出するための抽出用背景色からなる抽出用背景画像を生成する背景画像生成部306gと、生成された抽出用背景色に基づいて、被写体存在画像内で被写体を構成する被写体構成領域及び背景を構成する背景構成領域をそれぞれ特定する被写体領域特定部306i及び背景領域特定部306hとを備えている。
【選択図】図4
Description
背景と被写体とが存在する被写体存在画像を取得する取得手段と、この取得手段により取得された被写体存在画像内で複数の画像領域を特定する第1の特定手段と、この第1の特定手段により特定された各画像領域の代表色と所定の一色とを比較する比較手段と、この比較手段による比較結果に基づいて、前記被写体存在画像から被写体が含まれる領域を抽出するための抽出用背景色を生成する生成手段と、この生成手段により生成された抽出用背景色に基づいて、前記被写体存在画像内で被写体を構成する被写体構成領域及び背景を構成する背景構成領域をそれぞれ特定する第2の特定手段と、を備えたことを特徴としている。
前記被写体存在画像を複数の画像領域に分割する分割手段を更に備え、前記第1の特定手段は、前記分割手段により分割された複数の画像領域を特定対象として特定することを特徴としている。
前記取得手段により取得された被写体存在画像の背景の色を一色で推定する推定手段を更に備え、前記比較手段は、前記推定手段により推定された前記背景の色を前記所定の一色として、前記第1の特定手段により特定された各画像領域の代表色との類似度を算出することを特徴としている。
前記推定手段は、更に、前記被写体存在画像の複数の領域の各々について、他の領域の代表色との類似度が所定の判定値以上であるか否かを判定し、前記所定の判定値以上であると判定された回数が最も多い領域の代表色を前記背景の色として推定することを特徴としている。
前記第2の特定手段は、更に、前記推定手段により他の領域の色との類似度が所定の判定値以上であると判定された回数が最も多い領域を、前記背景構成領域として特定することを特徴としている。
前記推定手段は、更に、前記複数の領域の色のばらつき量を算出し、算出されたばらつき量が所定値以下である領域の各々について、他の領域の色との類似度が所定の判定値以上であるか否かを判定し、前記所定の判定値以上であると判定された回数が最も多い領域の色を前記背景の色として推定することを特徴としている。
前記比較手段による比較の結果、各画像領域に係る類似度合が所定の判定値よりも大きいか否かを判定する判定手段を更に備え、前記生成手段は、前記判定手段により画像領域の類似度が所定の判定値よりも大きいと判定されると、当該画像領域に対応する領域については当該画像領域の背景色に基づいて前記抽出用背景色を生成し、一方、前記判定手段により画像領域の類似度が所定の判定値以下であると判定されると、当該画像領域に対応する領域については前記推定手段により推定された前記背景の色に基づいて前記抽出用背景色を生成することを特徴としている。
前記第2の特定手段により特定された前記被写体構成領域及び前記背景構成領域に基づいて、前記被写体存在画像から被写体が含まれる領域を抽出する抽出手段を更に備えることを特徴としている。
画像処理装置を用いた画像処理方法であって、背景と被写体とが存在する被写体存在画像を取得する処理と、この取得された被写体存在画像内で複数の画像領域を特定する処理と、この特定された各画像領域の代表色と所定の一色とを比較する処理と、この比較する処理による比較結果に基づいて、前記被写体存在画像から被写体が含まれる領域を抽出するための抽出用背景色を生成する処理と、この生成された抽出用背景色に基づいて、前記被写体存在画像内で被写体を構成する被写体構成領域及び背景を構成する背景構成領域をそれぞれ特定する処理と、を含むことを特徴としている。
画像処理装置のコンピュータを、背景と被写体とが存在する被写体存在画像を取得する取得手段、この取得手段により取得された被写体存在画像内で複数の画像領域を特定する第1の特定手段、この第1の特定手段により特定された各画像領域の代表色と所定の一色とを比較する比較手段、この比較手段による比較結果に基づいて、前記被写体存在画像から被写体が含まれる領域を抽出するための抽出用背景色を生成する生成手段、この生成手段により生成された抽出用背景色に基づいて、前記被写体存在画像内で被写体を構成する被写体構成領域及び背景を構成する背景構成領域をそれぞれ特定する第2の特定手段、として機能させることを特徴としている。
図1は、本発明を適用した実施形態1の被写体切り抜きシステム100の概略構成を示すブロック図である。
図1に示すように、実施形態1の被写体切り抜きシステム100は、撮像装置1と、ユーザ端末2と、サーバ3とを備え、ユーザ端末2とサーバ3とが所定の通信ネットワークNを介して各種情報を送受信可能に接続されている。
ここで、図2は、撮像装置1の概略構成を示すブロック図である。
図2に示すように、撮像装置1は、レンズ部101と、電子撮像部102と、ユニット回路部103と、撮像制御部104と、画像処理部105と、表示部106と、記録媒体制御部107と、バッファメモリ108と、プログラムメモリ109と、操作入力部110と、中央制御部111とを備えている。
なお、記録媒体Mは、例えば、不揮発性メモリ(フラッシュメモリ)等により構成されるが、一例であってこれに限られるものではなく、適宜任意に変更可能である。
また、中央制御部111は、操作入力部110から出力され入力された操作信号に基づいて、撮像装置1の各部を制御する。具体的には、中央制御部111は、操作入力部110のシャッタボタンの所定操作に従って出力された記録指示信号が入力されると、プログラムメモリ109に記憶されている所定のプログラムに従って、撮像制御部104により電子撮像部102及びユニット回路部103の駆動タイミングを制御して静止画像を撮影する処理を実行する。この静止画像の撮影によりバッファメモリ108に格納された1フレーム分のYUVデータは、画像処理部105にてJPEG方式等により圧縮され符号化されて、記録媒体Mに静止画像データとして記録される。
ユーザ端末2は、例えば、パーソナルコンピュータ等により構成され、サーバ3により開設されるWebページ(例えば、被写体抽出用ページ)にアクセスして、被写体存在画像P1の画像データをサーバ3に送信する。
図3に示すように、ユーザ端末2は、具体的には、中央制御部201と、通信制御部202と、表示部203と、記録媒体制御部204と、操作入力部205等を備えている。
RAMは、例えば、CPUにより実行される処理プログラム等を展開するためのプログラム格納領域や、入力データや上記処理プログラムが実行される際に生じる処理結果等を格納するデータ格納領域などを備える。
ROMは、コンピュータ読み取り可能なプログラムコードの形態で格納されたプログラム、具体的には、ユーザ端末2で実行可能なシステムプログラム、当該システムプログラムで実行可能な各種処理プログラムや、これら各種処理プログラムを実行する際に使用されるデータ等を記憶する。
具体的には、表示部203は、例えば、サーバ3から送信され通信制御部202により受信されたWebページ(例えば、被写体抽出用ページ)のページデータに基づいて、対応するWebページを表示画面に表示する。
そして、通信制御部202は、入力された被写体存在画像P1の画像データをサーバ3に所定の通信ネットワークNを介して送信する。
サーバ3は、Web(World Wide Web)サーバ3としてインターネット上にWebページ(例えば、被写体抽出用ページ)を開設する機能を具備するものであり、ユーザ端末2からのアクセスに応じて当該ユーザ端末2にWebページのページデータを送信する。また、サーバ3は、画像処理装置として、背景と被写体とが混在する被写体存在画像P1の複数の画像領域A、…の色と所定の一色との類似度を算出し、算出された類似度に基づいて、被写体存在画像P1から被写体が含まれる領域Dを抽出するための抽出用の背景色、ここでは抽出用の背景色からなる画像である抽出用背景画像P4(図9(d)参照)を生成する。そして、サーバ3が、生成された抽出用背景画像P4に基づいて、被写体存在画像P1内で被写体を構成する被写体構成領域Cs及び背景を構成する背景構成領域Cbをそれぞれ特定する。
図4に示すように、サーバ3は、具体的には、中央制御部301と、記憶部302と、表示部303と、通信制御部304と、被写体検出部305と、被写体切抜部306等を備えて構成されている。
RAMは、例えば、CPUにより実行される処理プログラム等を展開するためのプログラム格納領域や、入力データや上記処理プログラムが実行される際に生じる処理結果等を格納するデータ格納領域などを備える。
ROMは、コンピュータ読み取り可能なプログラムコードの形態で格納されたプログラム、具体的には、サーバ3で実行可能なシステムプログラム、当該システムプログラムで実行可能な各種処理プログラムや、これら各種処理プログラムを実行する際に使用されるデータ等を記憶する。
即ち、被写体検出部305は、ユーザ端末2から所定の通信ネットワークNを介して送信され通信制御部304により受信した被写体存在画像P1の画像データ(YUVデータ)を取得して、当該画像データに対して、例えば、顔検出処理、エッジ検出処理、特徴抽出処理等の各種画像処理を行って特定の被写体が含まれる領域D(例えば、顔領域等)を検出する。具体的には、被写体検出部305は、例えば、顔検出処理、エッジ検出処理、特徴抽出処理等の各種画像処理によって特定の被写体の候補となる候補領域を抽出し、抽出された候補領域の中で所定の識別条件を満たすものを特定の被写体として検出する。
なお、所定の識別条件としては、例えば、「ヒトの顔」や「動物」などの形状を基準とするものや、画角全体の画像に対する割合(例えば、半分以上であるか)などの大きさを基準とするものや、明度や彩度が高く鮮やかな(派手な)色合いであるか否かや肌色であるか否かなどの色調を基準とするもの等が挙げられる。
なお、顔検出処理やエッジ検出処理や特徴抽出処理は、公知の技術であるので、ここでは詳細な説明を省略する。
即ち、画像取得部306aは、ユーザ端末2から所定の通信ネットワークNを介して送信され通信制御部304により受信した被写体存在画像P1(図8(a)参照)のYUVデータを取得する。また、画像取得部306aは、被写体存在画像P1のYUVデータを水平(x軸)方向及び垂直(y軸)方向ともに所定の比率で縮小した縮小画像(例えば、VGAサイズの画像等)のYUVデータを生成しても良い。
即ち、画像分割部306bは、被写体存在画像P1のYUVデータに基づいて、当該被写体存在画像P1全体を水平方向及び垂直方向がそれぞれ所定画素からなる複数の画像領域A、…に分割する。具体的には、画像分割部306bは、例えば、画像取得部306aにより生成された被写体存在画像P1の縮小画像のYUVデータに基づいて、当該縮小画像を4つの画像領域A、…(図9(b)参照)に分割する。
なお、画像分割部306bは、被写体存在画像P1の低解像度の画像データを分割するようにしたが、高解像度の画像データを分割しても良い。また、分割数として、4つを例示したが、一例であってこれに限られるものではなく、分割数は適宜任意に変更可能である。さらに、画像分割部306bは、被写体存在画像P1の分割を所定回数行っても良く、複数(例えば、4つ)に分割された画像領域Aの各々をさらに所定数の画像領域に分割しても良い。
即ち、画像領域特定部306cは、画像取得部306aにより取得された被写体存在画像P1内で所定の特定条件に従って複数の画像領域A、…を特定する。具体的には、画像領域特定部306cは、画像分割部306bにより分割された被写体存在画像P1の複数の画像領域A、…を、類似度算出部306eによる所定の一色との類似度の算出に係る特定対象として特定する。
なお、画像領域特定部306cは、画像分割部306bにより分割された複数の画像領域A、…を特定対象とするようにしたが、これに限られるものではなく、特定対象となる画像領域Aは適宜任意に変更可能である。例えば、人の胸から上のバストショットを撮像した被写体存在画像P1から被写体領域Dを抽出するバストショット抽出モードが設定されている場合には、画像領域特定部306cは、被写体存在画像P1を所定の表示領域に表示した状態で、上側の画像境界から下側に所定範囲内の画像領域や、左上隅部や右上隅部から所定範囲内の画像領域を特定対象として特定しても良い。
即ち、背景色推定部306dは、画像取得部306aにより取得された被写体存在画像P1のYUVデータに基づいて所定の演算処理を行って、当該被写体存在画像P1の背景の色を一色で推定する。具体的には、背景色推定部306dは、被写体存在画像P1の縮小画像のYUVデータを取得して、当該縮小画像全体を水平方向及び垂直方向がそれぞれ所定画素(例えば、20画素等)からなる複数のブロック(領域)B、…に分割する(図8(b)参照)。そして、背景色推定部306dは、各ブロックB内の複数の画素の画素値に基づいて所定の演算を行って、当該ブロックBの代表色(例えば、平均色等)を算出する。また、背景色推定部306dは、各ブロックB内の複数の画素の画素値及び代表色に基づいて所定の演算を行って、各ブロックB内の色のばらつき量(例えば、分散、標準偏差等)を算出する。
そして、背景色推定部306dは、複数のブロックB、…の各々について、ブロックB内の色のばらつき量が所定値以下であるか否かを判定し、色のばらつき量が所定値以下であるブロックBを特定する。その後、背景色推定部306dは、特定された各ブロックBについて、当該ブロックBの代表色と他のブロックBの代表色との類似度(例えば、輝度情報及び色差情報の各々についてのユークリッド空間における距離等)が所定の判定値以上であるか否かを判定し、所定の判定値以上であると判定されたブロックBについては投票する。そして、背景色推定部306dは、最も投票数の多いブロックBの代表色、即ち、所定の判定値以上であると判定された回数が最も多いブロックBの代表色を背景色として推定する(図8(c)参照)。
図8(c)にあっては、推定された背景色が全画面に亘って一様に形成された画像P2を模式的に表している。
具体的には、背景色推定部306dは、被写体存在画像P1の縮小画像のYUVデータに基づいて画像分割部306bにより分割された各画像領域A(図9(a)参照)全体を水平方向及び垂直方向がそれぞれ所定画素(例えば、20画素等)からなる複数のブロックB、…(領域)に分割する(図9(b)参照)。そして、背景色推定部306dは、各画像領域Aの各ブロックB内の複数の画素の画素値に基づいて所定の演算を行って、当該ブロックBの代表色(例えば、平均色等)及び各ブロックB内の色のばらつき量(例えば、分散、標準偏差等)を算出する。そして、背景色推定部306dは、各画像領域Aの複数のブロックB、…の中で、色のばらつき量が所定値以下であるブロックBを特定し、特定された各ブロックBについて、各画像領域A内の他のブロックBの代表色との類似度(例えば、輝度情報及び色差情報の各々についてのユークリッド距離等)が所定の判定値以上であると判定されたブロックBについて投票する。そして、背景色推定部306dは、最も投票数の多いブロックBの代表色、即ち、所定の判定値以上であると判定された回数が最も多いブロックBの代表色を各画像領域Aの色として推定する(図9(c)参照)。
図9(c)にあっては、各画像領域Aについて推定された色が一様に形成された画像P3を模式的に表している。また、各画像領域Aの色は、単位面積あたりのドット数を異ならせることによって色分けされた状態を模式的に表している。
なお、背景色推定部306dによる各画像領域Aの色の推定方法は、一例であってこれに限られるものではなく、上記の背景色の推定方法と同様に適宜任意に変更可能である。
即ち、類似度算出部306eは、画像領域特定部306cにより特定された各画像領域Aの色と所定の一色との類似度を算出する。具体的には、類似度算出部306eは、背景色推定部306dにより推定された背景色(図8(c)参照)と、各画像領域Aの色(図9(c)参照)との類似度(例えば、輝度情報及び色差情報の各々についてのユークリッド距離等)を算出する。
なお、所定の一色として、背景色推定部306dにより推定された被写体存在画像P1の背景色を例示したが、一例であってこれに限られるものではなく、適宜任意に変更可能である。即ち、各画像領域Aの色との類似度の判定用に用いられる色であれば如何なる色であっても良く、例えば、類似度算出部306eは、各画像領域Aの色の平均色を算出し、当該平均色を所定の一色として類似度の判定用に用いても良い。
即ち、類似度判定部306fは、類似度算出部306eにより算出された被写体存在画像P1の各画像領域Aの色と背景色(所定の一色)との類似度が所定の判定値よりも大きいか否かを判定する。
即ち、背景画像生成部306gは、類似度算出部306eにより算出された被写体存在画像P1の各画像領域Aの色と背景色(所定の一色)との類似度に基づいて、抽出用背景画像P4を生成する。具体的には、背景画像生成部306gは、被写体存在画像P1の各画像領域Aの代表色と背景色との比較結果、つまり、類似度判定部306fによる判定結果に応じて、抽出用背景画像P4における各画像領域Aに対応する領域の色を特定して、抽出用背景画像P4を生成する。例えば、背景画像生成部306gは、被写体存在画像P1の複数の画像領域A、…のうち、類似度算出部306eにより算出された背景色との類似度が所定の判定値よりも大きいと判定された画像領域Aについては、抽出用背景画像P4における当該画像領域Aに対応する領域の色として、背景色推定部306dにより特定された画像領域Aの色を採用して、抽出用背景画像P4を生成する。その一方で、背景画像生成部306gは、類似度算出部306eにより算出された背景色との類似度が所定の判定値以下であると判定された画像領域Aについては、抽出用背景画像P4における当該画像領域Aに対応する領域の色として背景色を採用して、抽出用背景画像P4を生成する(図9(d)参照)。例えば、図9(d)に示すように、背景画像生成部306gは、被写体存在画像P1を分割した4つの画像領域A、…のうち、左側二つの画像領域Aについては、背景色との類似度が所定の判定値よりも大きいと判定して、抽出用背景画像P4における当該画像領域Aに対応する領域の色として当該画像領域Aの色を採用する。その一方で、背景画像生成部306gは、被写体存在画像P1を分割した4つの画像領域A、…のうち、右側二つの画像領域Aについては、背景色との類似度が所定の判定値以下であると判定して、抽出用背景画像P4における当該画像領域Aに対応する領域の色として背景色を採用する。
なお、図9(d)にあっては、各画像領域Aの色は、単位面積あたりのドット数を異ならせることによって色分けされた状態を模式的に表している。
即ち、背景領域特定部306hは、背景画像生成部306gにより生成された抽出用背景画像P4に基づいて、被写体存在画像P1内で背景を構成する背景構成領域Cb(図12(a)参照)を特定する。具体的には、背景領域特定部306hは、被写体存在画像P1の縮小画像のYUVデータ及び抽出用背景画像P4のYUVデータに基づいて、縮小画像と抽出用背景画像P4との間で対応する各画素の輝度情報及び色差情報の各々について差分を算出した後、輝度情報及び色差情報の各差分の値に対して所定の重み付け(例えば、Y:U:V=1:4:4程度)を行って一次元の差分情報を生成する。
その後、背景領域特定部306hは、生成した差分情報を所定の分析方法(例えば、判別分析法等)を用いて分析し、被写体存在画像P1内で背景に対応する正解領域(シード)を構成する背景構成領域Cbの判定用の第1閾値を設定する。例えば、背景領域特定部306hは、判別分析法によって、複数の差分情報を二つに区分した場合にクラス間分散が最大となる閾値を算出し、当該閾値よりも小さい差分情報の中での中央値(Median)を第1閾値として設定する。なお、背景構成領域Cbの判定用の第1閾値の設定方法は、一例であってこれに限られるものではなく、適宜任意に変更可能であり、例えば、判別分析法の結果に基づいてガウシアン混合分布を生成し、当該分布の谷部を背景と被写体との境目として第1閾値を設定しても良い。
そして、背景領域特定部306hは、差分情報が第1閾値以下の画素であって、背景画像生成部306gによる抽出用背景画像P4の生成に用いられたブロックBを抽出用背景画像P4のサポート領域として背景構成領域Cbに特定する。即ち、背景領域特定部306hは、背景色推定部306dによる背景色や各画像領域Aの色の推定にて、他のブロックBの代表色との類似度が所定の判定値以上であると判定された回数が最も多いブロックB、つまり、投票数の最も多いブロックBを背景構成領域Cbに特定する。ここで、本推定方法は一例であり、差分情報が第1閾値以下の画素を背景構成領域Csとして特定しても良い。
また、図12(a)にあっては、被写体存在画像P1の背景構成領域Cb以外の領域に斜線を付して表し、背景構成領域Cbを白抜きの状態で表している。
即ち、被写体領域特定部306iは、背景画像生成部306gにより生成された抽出用背景画像P4に基づいて、被写体存在画像P1内で被写体を構成する被写体構成領域Cs(図12(b)参照)を特定する。具体的には、被写体領域特定部306iは、被写体存在画像P1の縮小画像のYUVデータ及び抽出用背景画像P4のYUVデータに基づいて、縮小画像と抽出用背景画像P4との間で対応する各画素の輝度情報及び色差情報の各々について差分を算出した後、輝度情報及び色差情報の各差分の値に対して所定の重み付け(例えば、Y:U:V=1:4.5:4.5程度)を行って一次元の差分情報を生成する。
その後、被写体領域特定部306iは、生成した差分情報を所定の分析方法(例えば、判別分析法等)を用いて分析し、被写体存在画像P1内で被写体に対応する正解領域(シード)を構成する被写体構成領域Csの判定用の閾値を設定する。例えば、被写体領域特定部306iは、判別分析法によって、複数の差分情報を二つに区分した場合にクラス間分散が最大となる閾値を算出し、当該閾値よりも大きい差分情報の中での中央値(Median)を判定用の閾値として設定する。なお、被写体構成領域Csの判定用の閾値の設定方法は、一例であってこれに限られるものではなく、適宜任意に変更可能であり、例えば、判別分析法の結果に基づいてガウシアン混合分布を生成し、当該分布の谷部よりも差分情報の大きい領域を利用して判定用の閾値を設定しても良い。
そして、被写体領域特定部306iは、差分情報が判定用の閾値よりも大きい画素を被写体構成領域Csとして特定する。
また、図12(b)にあっては、被写体存在画像P1の被写体構成領域Cs以外の領域に斜線を付して表し、被写体構成領域Csを白抜きの状態で表している。
即ち、被写体抽出部306jは、被写体領域特定部306i及び背景領域特定部306hにより特定された被写体構成領域Cs及び背景構成領域Cbに基づいて、二値画像を生成する二値画像生成部306kを具備しており、当該二値画像生成部306kにより生成された二値画像に基づいて、被写体存在画像P1から被写体が含まれる領域Dを抽出する。
そして、二値画像生成部306kは、三値画像P5について所定のエネルギー関数を設定し、設定したエネルギー関数を最小にするパラメータを算出することで、未確定領域Cuを構成する各画素の画素値を特定する。
例えば、エネルギー最小化の手法として、グラフカットアルゴリズムを利用する場合、二値画像生成部306kは、被写体存在画像P1の被写体構成領域Cs及び背景構成領域Cbに対応する領域の色情報(輝度情報及び色差情報)に従ってガウシアン混合分布を生成し、当該ガウシアン混合分布に基づいて、未確定領域Cuの各画素について被写体尤度及び背景尤度を算出する。ここで、被写体尤度は、対象画素が被写体にどれだけ近いか、即ち、対象画素が被写体を構成する画素であると推定した場合の尤もらしさ(確率)を数値で表したものであり、同様に、背景尤度は、対象画素が背景にどれだけ近いか、即ち、対象画素が背景を構成する画素であると推定した場合の尤もらしさを数値で表したものである。
このようにして、二値画像生成部306kは、被写体領域Dの画素値を「1」とし、背景領域の画素値を「0」とする二値画像を生成する。
ここで、抽出用画像としては、例えば、被写体存在画像P1の各画素について、被写体画像を所定の背景に対してアルファブレンディングする際の重みをアルファ値(0≦α≦1)として表したアルファマップMが挙げられる。
具体的には、被写体抽出部306jは、例えば、二値画像に対して細かいノイズや手ぶれによる相違が存在する領域を除去するための収縮処理を行って所定値よりも小さい画素集合や手ぶれによる細線画素集合を除外した後、同じ連結成分を構成する画素集合に同じ番号を付けるラベリング処理を行い、その後、収縮分を修正するための膨張処理を行う。また、被写体抽出部306jは、例えば、被写体部分として特定した最大面積の画素集合内でラベリング処理を行って、当該被写体部分の構成画素のラベル数に対して所定の割合以下のラベル数の背景領域に対応する画素集合の各画素の画素値を、被写体部分に対応する画素値に変更して、被写体部分に置き換える穴埋め処理を行う。
その後、被写体抽出部306jは、上記の被写体部分に対応する最大面積の画素集合の画素値が「1」、背景領域に対応するその他の部分の画素値が「0」である二値画像に対してローパスフィルタを施して境界部分に中間値を生じさせることで、各々の領域について所定のアルファ値を生成する。これにより、被写体領域Dのアルファ値が「1」となり、被写体存在画像P1の所定の背景に対する透過度が0%となる。一方、被写体の背景部分のアルファ値が「0」となり、当該被写体存在画像P1の所定の背景に対する透過度が100%となる。
なお、図15(b)にあっては、アルファマップMにおける被写体領域Dを「白抜き」で、背景領域を「黒塗り」で表している。
ここで、図5は、被写体画像生成処理に係る動作の一例を示すフローチャートであり、図6は、被写体画像生成処理における被写体切抜処理に係る動作の一例を示すフローチャートである。
なお、以下の説明にあっては、撮像装置1により生成された被写体存在画像P1の画像データが記録された記録媒体Mがユーザ端末2の記録媒体制御部204に装着されているものとする。
サーバ3の通信制御部304によって、ユーザ端末2から送信されたアクセス指示が受信されると、中央制御部301のCPUは、被写体抽出用ページのページデータを通信制御部304により所定の通信ネットワークNを介してユーザ端末2に送信させる(ステップS2)。
そして、ユーザ端末2の通信制御部202によって、被写体抽出用ページのページデータが受信されると、表示部203は、当該被写体抽出用ページのページデータに基づいて、所定の被写体抽出用ページを表示画面に表示する。
ここで、抽出用背景画像P4の生成が成功したと判定されると(ステップS52;YES)、被写体切抜部306の背景領域特定部306hは、被写体存在画像P1内で背景を構成する背景構成領域Cbを特定する背景領域特定処理(図10参照;詳細後述)を行う(ステップS53)。続けて、被写体切抜部306の被写体領域特定部306iは、被写体存在画像P1内で被写体を構成する被写体構成領域Csを特定する被写体領域特定処理(図11参照;詳細後述)を行う(ステップS54)。
ここで、被写体画像の生成が成功したと判定されると(ステップS6;YES)、中央制御部301のCPUは、生成された被写体切り抜き画像P6の画像データを通信制御部304により所定の通信ネットワークNを介してユーザ端末2に送信させる(ステップS7)。
そして、ユーザ端末2の通信制御部202によって、被写体切り抜き画像P6の画像データが受信されると(ステップS8)、表示部203は、当該被写体切り抜き画像P6の画像データに基づいて、被写体画像を表示画面に表示する(ステップS9)。
そして、ユーザ端末2の通信制御部202によって、サーバ3から送信された被写体画像生成の失敗に係る所定の画面の表示指示が受信されると、表示部203は、当該被写体画像生成の失敗に係る所定の画面を表示画面に表示する(ステップS11)。
図7は、背景生成処理に係る動作の一例を示すフローチャートである。
具体的には、背景色推定部306dは、被写体存在画像P1の縮小画像のYUVデータに基づいて、当該縮小画像全体を水平方向及び垂直方向がそれぞれ所定画素(例えば、20画素等)からなる複数のブロックB、…に分割する(図8(b)参照)。そして、背景色推定部306dは、各ブロックB内の複数の画素の画素値に基づいて所定の演算を行って、当該ブロックBの代表色を算出するとともに、各ブロックB内の色のばらつき量を算出する。
続けて、背景色推定部306dは、複数のブロックB、…の各々について色のばらつき量が所定値以下であるか否かを判定し、色のばらつき量が所定値以下であるブロックBをそれぞれ特定する(ステップS63)。その後、背景色推定部306dは、特定された各ブロックBについて、他のブロックBの代表色との類似度が所定の判定値以上であるか否かを判定し、所定の判定値以上であると判定されたブロックBについては投票する(ステップS64)。
ここで、投票された数が所定数以上であると判定されると(ステップS65;YES)、背景色推定部306dは、所定の判定値以上であると判定された回数が最も多いブロックB(最多投票数のブロックB)の代表色を抽出用背景画像P4の全体色(背景色)として特定する(ステップS66;図8(c)参照)。
一方、ステップS65にて、投票された数が所定数以上でないと判定されると(ステップS65;NO)、被写体切抜部306は、抽出用背景画像P4の生成を失敗として(ステップS67)、背景生成処理を終了させる。
続けて、背景色推定部306dは、各画像領域Aの複数のブロックB、…の各々について色のばらつき量が所定値以下であるか否かを判定し、色のばらつき量が所定値以下であるブロックBをそれぞれ特定する。その後、背景色推定部306dは、特定された各ブロックBについて、他のブロックBの代表色との類似度が所定の判定値以上であるか否かを判定し、所定の判定値以上であると判定されたブロックBについては投票する(ステップS70)。
ここで、投票された数が所定数以上であると判定されると(ステップS71;YES)、背景色推定部306dは、所定の判定値以上であると判定された回数が最も多いブロックB(最多投票数のブロックB)の代表色を各画像領域Aの色として特定する(ステップS72;図9(c)参照)。
続けて、被写体切抜部306の類似度算出部306eは、各画像領域Aの色について背景色との類似度(例えば、輝度情報及び色差情報の各々についてのユークリッド距離等)を算出して、類似度判定部306fは、算出された各画像領域Aの色と背景色との類似度が所定の判定値よりも大きいか否かを判定する(ステップS73)。
また、ステップS71にて、投票された数が所定数以上でない(ステップS71;NO)と判定された画像領域Aについても、背景画像生成部306gは、抽出用背景画像P4における当該画像領域Aに対応する領域の色として背景色を採用する(ステップS75)。
これにより、背景生成処理を終了する。
図10は、背景領域特定処理に係る動作の一例を示すフローチャートである。
続けて、背景領域特定部306hは、差分情報が第1閾値以下の画素であって、背景画像生成部306gによる抽出用背景画像P4の生成に用いられたブロックBを抽出用背景画像P4のサポート領域として背景構成領域Cbに特定する(ステップS83;図12(a)参照)。具体的には、背景領域特定部306hは、背景色推定部306dによる背景色や各画像領域Aの色の推定にて、他のブロックBの代表色との類似度が所定の判定値以上であると判定された回数が最も多いブロックB、つまり、投票数の最も多いブロックBを背景構成領域Cbに特定する。
続けて、背景領域特定部306hは、被写体検出部305による顔検出処理の結果に従って、被写体存在画像P1内で背景構成領域Cbである可能性の高い縁領域を特定する(ステップS85)。具体的には、顔検出処理の結果、顔領域が検出された場合、背景領域特定部306hは、例えば、被写体存在画像P1の上側画像境界や左右両側の画像境界から所定範囲(例えば、20画素等)内を縁領域として、背景構成領域Cbである可能性の高い縁領域として特定する。
なお、背景構成領域Cbである可能性の高い縁領域の特定に、被写体検出部305による顔検出処理の結果を考慮するようにしたが、例えば、人の胸から上のバストショットを撮像した被写体存在画像P1から被写体領域Dを抽出するバストショット抽出モードが設定されている場合には、被写体存在画像P1の上側画像境界や左右両側の画像境界から所定範囲内の画素について背景構成領域Cbとして特定するようにしても良い。
次に、背景領域特定部306hは、特定された各ブロックBの代表色の中で、抽出用背景画像P4の色(背景色や各画像領域Aの色)との類似度を算出し、最も類似する代表色を特定する(ステップS87)。次に、背景領域特定部306hは、特定された代表色と抽出用背景画像P4の背景色との差分を算出して(ステップS88)、当該差分に基づいて、被写体存在画像P1内で背景に対応する正解領域を構成する背景構成領域Cbの判定用の第2閾値を設定する(ステップS89)。
ここで、第2閾値は、第1閾値よりも判定度が緩い値であり、例えば、背景構成領域Cbである可能性の高い縁領域を構成するブロックBのうち、抽出用背景画像P4の色との差分がステップS87にて特定された代表色と抽出用背景画像P4の背景色との色差以下のブロックBを背景構成領域Cbとする程度に設定される。また、ステップS82における第1閾値の設定の際に算出された、複数の差分情報を二つに区分した場合にクラス間分散が最大となる閾値を第2閾値として設定しても良い。
或いは、ステップS87で特定した代表色と縁領域の色の差が、所定値以下の領域を背景構成領域Cbに追加しても良い。
これにより、背景領域特定処理を終了する。
図11は、被写体領域特定処理に係る動作の一例を示すフローチャートである。
被写体切抜部306の被写体領域特定部306iは、被写体存在画像P1の縮小画像のYUVデータ及び抽出用背景画像P4のYUVデータに基づいて、縮小画像と抽出用背景画像P4との間で対応する各画素の輝度情報及び色差情報の各々について差分を算出する(ステップS101)。その後、被写体領域特定部306iは、算出された輝度情報及び色差情報の各差分の値に対して所定の重み付けを行って一次元の差分情報を生成する。
続けて、被写体領域特定部306iは、差分情報が判定用の閾値よりも大きい画素を特定する。
次に、被写体存在画像P1の縮小画像を分割した複数のブロックB、のうち、注目するブロックB内の色のばらつき(分散)が所定値よりも大きいブロックBを特定し、特定したブロック内で、差分情報が判定用の閾値より大きい画素を被写体構成領域Csとして特定する(ステップS103;図12(b)参照)。
或いは、差分情報が判定用閾値より大きい画素を被写体構成領域Csとし、更に色のばらつきが大きいブロックBを追加しても良い。
続けて、被写体検出部305は、顔領域の検出に成功したか否かを判定し(ステップS105)、顔領域の検出に成功したと判定されると(ステップS105;YES)、被写体領域特定部306iは、検出された顔領域を被写体構成領域Csとして追加特定する(ステップS106)。このとき、被写体領域特定部306iは、必ずしも顔領域全体を被写体構成領域Csとして特定する必要はなく、顔領域の所定方向(例えば、水平方向)については、実際に検出された顔領域よりも所定の割合小さくなるような領域を設定しても良い。また、被写体領域特定部306iは、被写体存在画像P1内で顔領域よりも下側の領域を被写体構成領域Csとして特定しても良い。
一方、ステップS105にて、顔領域の検出に成功していないと判定されると(ステップS105;NO)、被写体切抜部306は、ステップS106をスキップして、被写体領域特定処理を終了させる。
図13は、被写体抽出処理に係る動作の一例を示すフローチャートであり、図14は、被写体抽出処理における抽出結果判定処理に係る動作の一例を示すフローチャートである。
具体的には、二値画像生成部306kは、被写体存在画像P1における被写体構成領域Cs及び背景構成領域Cb以外の領域を、被写体であるか背景であるか未確定の未確定領域Cuとして、例えば、被写体構成領域Csの画素値を「1」とし、背景構成領域Cbの画素値を「0」とし、未確定領域Cuの画素値を「0.5」とする三値画像P5を生成する。そして、二値画像生成部306kは、被写体存在画像P1の被写体構成領域Cs及び背景構成領域Cbに対応する領域の色情報(輝度情報及び色差情報)に従ってガウシアン混合分布を生成し、当該ガウシアン混合分布に基づいて、未確定領域Cuの各画素について被写体尤度及び背景尤度を算出する(ステップS111)。
具体的には、二値画像生成部306kは、所定のエネルギー関数のデータ項に、被写体構成領域Cs及び背景構成領域Cb、未確定領域Cuの各画素に係る被写体尤度及び背景尤度を設定するとともに、エネルギー関数の平滑化項に、未確定領域Cuの各画素について周囲画素(例えば、隣接する画素)に対する色差情報の差分を設定する。その後、二値画像生成部306kは、設定したエネルギー関数を最小にするパラメータを算出し、未確定領域Cuを構成する各画素について、被写体領域Dに対応する画素値「1」とするか背景領域に対応する画素値「0」とするかを特定する。
具体的には、被写体抽出部306jは、例えば、二値画像に対して細かいノイズや手ぶれによる相違が存在する領域を除去するための収縮処理を行って所定値よりも小さい画素集合や手ぶれによる細線画素集合を除外した後、同じ連結成分を構成する画素集合に同じ番号を付けるラベリング処理を行い、その後、収縮分を修正するための膨張処理を行う。また、被写体抽出部306jは、例えば、被写体部分として特定した最大面積の画素集合内でラベリング処理を行って、当該被写体部分の構成画素のラベル数に対して所定の割合以下のラベル数の背景領域に対応する画素集合の各画素の画素値を、被写体部分に対応する画素値に変更して、被写体部分に置き換える穴埋め処理を行う。
その後、被写体抽出部306jは、上記の被写体部分に対応する最大面積の画素集合の画素値が「1」、背景領域に対応するその他の部分の画素値が「0」である二値画像に対してローパスフィルタを施して境界部分に中間値を生じさせることで、各々の領域について所定のアルファ値を生成してアルファマップM(図15(b)参照)を生成する。
具体的には、被写体切抜部306は、被写体存在画像P1の全ての画素について、アルファ値が0の画素については、透過させ、アルファ値が0<α<1の画素については、所定の単一色とブレンディングを行い、アルファ値が1の画素については、何もせずに所定の単一色に対して透過させないようにする。なお、アルファマップMの縁部分には、合成階調がつけられているため、切り出された被写体領域Dと単一色画像P7(背景)との境界部分がはっきりしていない自然な感じとなる。
また、生成された被写体切り抜き画像P6の画像データは、抽出用画像であるアルファマップMと対応付けて記憶部302に記憶される。
ここで、抽出結果判定処理について、図14を参照して説明する。
ここで、顔検出が成功していると判定されると(ステップS121;YES)、被写体切抜部306は、被写体切り抜き画像P6の被写体領域D内に顔領域が含まれているか否かを判定する(ステップS122)。
ここで、被写体領域Dが被写体切り抜き画像P6の画像境界に所定の割合以上かかっていないと判定されると(ステップS123;NO)、被写体切抜部306は、被写体領域Dが被写体切り抜き画像P6の下側画像境界にかかっているか否かを判定する(ステップS124)。
ここで、被写体領域Dの大きさが被写体切り抜き画像P6全体に対して所定の割合以下でないと判定されると(ステップS125;NO)、被写体切抜部306は、被写体画像の生成が成功であるとして(ステップS126)、抽出結果判定処理を終了する。
一方、ステップS125にて、被写体領域Dの大きさが被写体切り抜き画像P6全体に対して所定の割合以下であると判定されると(ステップS125;YES)、被写体切抜部306は、被写体画像の生成が失敗であるとして(ステップS127)、抽出結果判定処理を終了する。
ここで、被写体領域Dが被写体切り抜き画像P6の左右両側の画像境界にかかっていないと判定されると(ステップS128;NO)、被写体切抜部306は、処理をステップS125に移行して、上記と同様に、被写体領域Dの大きさが被写体切り抜き画像P6全体に対して所定の割合以下であるか否かを判定する(ステップS125)。その一方で、被写体領域Dが被写体切り抜き画像P6の左右両側の画像境界にかかっていると判定されると(ステップS128;YES)、被写体切抜部306は、処理をステップS127に移行して、被写体画像の生成が失敗であるとする(ステップS127)。
また、ステップS121にて、顔検出が成功していないと判定された場合にも(ステップS121;NO)、被写体切抜部306は、処理をステップS125に移行して、上記と同様の処理を行う(ステップS125)。
これにより、被写体抽出処理を終了する。
そして、生成された抽出用背景色(抽出用背景画像P4)に基づいて、被写体存在画像P1内で被写体構成領域Cs及び背景構成領域Cbをそれぞれ特定するので、被写体や背景を構成する正解領域(シード)の指定を、予めユーザによる操作部の所定操作に基づいて行う必要がなくなり、被写体存在画像P1内での被写体構成領域Cs及び背景構成領域Cbの指定を自動的に行うことができる。
さらに、他のブロックBの色との類似度が所定の判定値以上であると判定された回数が最も多いブロックBを、背景構成領域Cbとして特定するので、被写体存在画像P1の背景色の推定に用いられたブロックBを背景構成領域Cbとして適正に特定することができる。
また、複数のブロックBの色のばらつき量が所定値以下であるブロックBの各々について、他のブロックBの色との類似度が所定の判定値以上であるか否かを判定するので、被写体存在画像P1を構成する複数のブロックBのうち、色のばらつき量の少ないブロックBのみを用いて被写体存在画像P1の背景色(所定の一色)を推定することができ、当該背景色の推定を適正に行うことができる。
図16は、本発明を適用した実施形態2の撮像装置201の概略構成を示すブロック図である。
なお、実施形態2の撮像装置201は、以下に詳細に説明する以外の点で上記実施形態1の撮像装置1と略同様の構成をなし、詳細な説明は省略する。
即ち、被写体切抜部113の類似度算出部306eは、背景と被写体とが混在する被写体存在画像P1の複数の画像領域A、…の色と所定の一色との類似度を算出し、背景画像生成部306gは、算出された類似度に基づいて、被写体存在画像P1から被写体が含まれる領域Dを抽出するための抽出用背景画像P4を生成する。そして、背景領域特定部306h及び被写体領域特定部306iは、生成された抽出用背景画像P4に基づいて、被写体存在画像P1内で被写体を構成する被写体構成領域Cs及び背景を構成する背景構成領域Cbをそれぞれ特定する。
また、被写体検出部112は、被写体存在画像P1から特定の被写体を検出する。
例えば、上記実施形態1、2にあっては、被写体切抜部306(113)に画像分割部306b、背景色推定部306d、被写体抽出部306jを具備するようにしたが、画像分割部306bや背景色推定部306dや被写体抽出部306jを具備するか否かは適宜任意に変更可能である。
つまり、ユーザ端末2は、背景と被写体とが混在する被写体存在画像P1の複数の画像領域A、…の色と所定の一色との類似度を算出し、算出された類似度に基づいて、被写体存在画像P1から被写体が含まれる領域Dを抽出するための抽出用背景画像P4を生成し、生成された抽出用背景画像P4に基づいて、被写体存在画像P1内で被写体を構成する被写体構成領域Cs及び背景を構成する背景構成領域Cbをそれぞれ特定するようにしても良い。
なお、被写体切り抜き画像P6や被写体合成画像の画像データには、ユーザによる所定の改変を禁止する制御情報を埋め込むようにしても良い。
即ち、プログラムを記憶するプログラムメモリ(図示略)に、取得処理ルーチン、第1の特定処理ルーチン、比較処理ルーチン、生成処理ルーチン、第2の特定処理ルーチンを含むプログラムを記憶しておく。そして、取得処理ルーチンにより中央制御部301(111)のCPUを、背景と被写体とが存在する被写体存在画像P1を取得する取得手段として機能させるようにしても良い。また、第1の特定処理ルーチンにより中央制御部301のCPUを、取得手段により取得された被写体存在画像P1内で複数の画像領域A、…を特定する第1の特定手段として機能させるようにしても良い。また、比較処理ルーチンにより中央制御部301のCPUを、第1の特定手段により特定された各画像領域Aの代表色と所定の一色とを比較する比較手段として機能させるようにしても良い。また、生成処理ルーチンにより中央制御部301のCPUを、比較手段による比較結果に基づいて、被写体存在画像P1から被写体が含まれる領域Dを抽出するための抽出用背景色を生成する生成手段として機能させるようにしても良い。また、第2の特定処理ルーチンにより中央制御部301のCPUを、生成手段により生成された抽出用背景色に基づいて、被写体存在画像P1内で被写体を構成する被写体構成領域Cs及び背景を構成する背景構成領域Cbをそれぞれ特定する第2の特定手段として機能させるようにしても良い。
1、201 撮像装置
2 ユーザ端末
3 サーバ
301 中央制御部
304 通信制御部
305 被写体検出部
306 被写体切抜部
306a 画像取得部
306b 画像分割部
306c 画像領域特定部
306d 背景色推定部
306e 類似度算出部
306f 類似度判定部
306g 背景画像生成部
306h 背景領域特定部
306i 被写体領域特定部
306j 被写体抽出部
M 記録媒体
N 通信ネットワーク
Claims (10)
- 背景と被写体とが存在する被写体存在画像を取得する取得手段と、
この取得手段により取得された被写体存在画像内で複数の画像領域を特定する第1の特定手段と、
この第1の特定手段により特定された各画像領域の代表色と所定の一色とを比較する比較手段と、
この比較手段による比較結果に基づいて、前記被写体存在画像から被写体が含まれる領域を抽出するための抽出用背景色を生成する生成手段と、
この生成手段により生成された抽出用背景色に基づいて、前記被写体存在画像内で被写体を構成する被写体構成領域及び背景を構成する背景構成領域をそれぞれ特定する第2の特定手段と、
を備えたことを特徴とする画像処理装置。 - 前記被写体存在画像を複数の画像領域に分割する分割手段を更に備え、
前記第1の特定手段は、
前記分割手段により分割された複数の画像領域を特定対象として特定することを特徴とする請求項1に記載の画像処理装置。 - 前記取得手段により取得された被写体存在画像の背景の色を一色で推定する推定手段を更に備え、
前記比較手段は、
前記推定手段により推定された前記背景の色を前記所定の一色として、前記第1の特定手段により特定された各画像領域の代表色との類似度を算出することを特徴とする請求項1又は2に記載の画像処理装置。 - 前記推定手段は、更に、
前記被写体存在画像の複数の領域の各々について、他の領域の代表色との類似度が所定の判定値以上であるか否かを判定し、前記所定の判定値以上であると判定された回数が最も多い領域の代表色を前記背景の色として推定することを特徴とする請求項3に記載の画像処理装置。 - 前記第2の特定手段は、更に、
前記推定手段により他の領域の色との類似度が所定の判定値以上であると判定された回数が最も多い領域を、前記背景構成領域として特定することを特徴とする請求項4に記載の画像処理装置。 - 前記推定手段は、更に、
前記複数の領域の色のばらつき量を算出し、算出されたばらつき量が所定値以下である領域の各々について、他の領域の色との類似度が所定の判定値以上であるか否かを判定し、前記所定の判定値以上であると判定された回数が最も多い領域の色を前記背景の色として推定することを特徴とする請求項4又は5に記載の画像処理装置。 - 前記比較手段による比較の結果、各画像領域に係る類似度合が所定の判定値よりも大きいか否かを判定する判定手段を更に備え、
前記生成手段は、
前記判定手段により画像領域の類似度が所定の判定値よりも大きいと判定されると、当該画像領域に対応する領域については当該画像領域の背景色に基づいて前記抽出用背景色を生成し、一方、前記判定手段により画像領域の類似度が所定の判定値以下であると判定されると、当該画像領域に対応する領域については前記推定手段により推定された前記背景の色に基づいて前記抽出用背景色を生成することを特徴とする請求項3〜6の何れか一項に記載の画像処理装置。 - 前記第2の特定手段により特定された前記被写体構成領域及び前記背景構成領域に基づいて、前記被写体存在画像から被写体が含まれる領域を抽出する抽出手段を更に備えることを特徴とする請求項1〜7の何れか一項に記載の画像処理装置。
- 画像処理装置を用いた画像処理方法であって、
背景と被写体とが存在する被写体存在画像を取得する処理と、
この取得された被写体存在画像内で複数の画像領域を特定する処理と、
この特定された各画像領域の代表色と所定の一色とを比較する処理と、
この比較する処理による比較結果に基づいて、前記被写体存在画像から被写体が含まれる領域を抽出するための抽出用背景色を生成する処理と、
この生成された抽出用背景色に基づいて、前記被写体存在画像内で被写体を構成する被写体構成領域及び背景を構成する背景構成領域をそれぞれ特定する処理と、
を含むことを特徴とする画像処理方法。 - 画像処理装置のコンピュータを、
背景と被写体とが存在する被写体存在画像を取得する取得手段、
この取得手段により取得された被写体存在画像内で複数の画像領域を特定する第1の特定手段、
この第1の特定手段により特定された各画像領域の代表色と所定の一色とを比較する比較手段、
この比較手段による比較結果に基づいて、前記被写体存在画像から被写体が含まれる領域を抽出するための抽出用背景色を生成する生成手段、
この生成手段により生成された抽出用背景色に基づいて、前記被写体存在画像内で被写体を構成する被写体構成領域及び背景を構成する背景構成領域をそれぞれ特定する第2の特定手段、
として機能させることを特徴とするプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010285315A JP5201203B2 (ja) | 2010-12-22 | 2010-12-22 | 画像処理装置、画像処理方法及びプログラム |
CN201110427696.2A CN102542568B (zh) | 2010-12-22 | 2011-12-19 | 图像处理装置及图像处理方法 |
US13/333,048 US8660344B2 (en) | 2010-12-22 | 2011-12-21 | Image processing apparatus, image processing method, and recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010285315A JP5201203B2 (ja) | 2010-12-22 | 2010-12-22 | 画像処理装置、画像処理方法及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2012133607A true JP2012133607A (ja) | 2012-07-12 |
JP2012133607A5 JP2012133607A5 (ja) | 2012-09-27 |
JP5201203B2 JP5201203B2 (ja) | 2013-06-05 |
Family
ID=46316888
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010285315A Active JP5201203B2 (ja) | 2010-12-22 | 2010-12-22 | 画像処理装置、画像処理方法及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US8660344B2 (ja) |
JP (1) | JP5201203B2 (ja) |
CN (1) | CN102542568B (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014027355A (ja) * | 2012-07-24 | 2014-02-06 | Casio Comput Co Ltd | 複数画像を利用したオブジェクト検索装置、方法、およびプログラム |
JP2015041254A (ja) * | 2013-08-22 | 2015-03-02 | 大日本印刷株式会社 | Trimap生成装置、Trimap生成方法、及びプログラム |
JP2015186224A (ja) * | 2014-03-26 | 2015-10-22 | 大日本印刷株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP2016045744A (ja) * | 2014-08-22 | 2016-04-04 | カシオ計算機株式会社 | 画像処理装置、画像処理方法、およびプログラム |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4947136B2 (ja) | 2009-12-25 | 2012-06-06 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
KR20140026978A (ko) * | 2012-08-24 | 2014-03-06 | 삼성전자주식회사 | 콘텐트에 포함된 이미지를 이용해 영상을 디스플레이 하는 전자 기기 및 그 전자 기기의 영상 디스플레이 방법 |
JP5865856B2 (ja) * | 2013-02-27 | 2016-02-17 | 京セラドキュメントソリューションズ株式会社 | 画像処理装置及びこれを備えた画像形成装置 |
JP6395423B2 (ja) * | 2014-04-04 | 2018-09-26 | キヤノン株式会社 | 画像処理装置、制御方法及びプログラム |
US9977495B2 (en) * | 2014-09-19 | 2018-05-22 | Utherverse Digital Inc. | Immersive displays |
US10015504B2 (en) * | 2016-07-27 | 2018-07-03 | Qualcomm Incorporated | Compressing image segmentation data using video coding |
CN109272526B (zh) * | 2017-07-17 | 2021-11-02 | 北京京东尚科信息技术有限公司 | 图像处理方法、系统及电子设备 |
TWI660633B (zh) * | 2018-04-13 | 2019-05-21 | 瑞昱半導體股份有限公司 | 基於膚色資訊的白平衡校正方法及其影像處理裝置 |
GB2588656B (en) * | 2019-10-31 | 2023-01-04 | Sony Interactive Entertainment Inc | Image processing system and method |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006350553A (ja) * | 2005-06-14 | 2006-12-28 | Kyoto Univ | 対応点探索方法、相互標定方法、3次元画像計測方法、対応点探索装置、相互標定装置、3次元画像計測装置、対応点探索プログラム及び対応点探索プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6141433A (en) * | 1997-06-19 | 2000-10-31 | Ncr Corporation | System and method for segmenting image regions from a scene likely to represent particular objects in the scene |
US6973212B2 (en) | 2000-09-01 | 2005-12-06 | Siemens Corporate Research, Inc. | Graph cuts for binary segmentation of n-dimensional images from object and background seeds |
US7352882B2 (en) * | 2003-08-14 | 2008-04-01 | Siemens Medical Solutions Usa, Inc. | System and method for determining compactness in images |
EP1973074A4 (en) * | 2006-01-10 | 2011-03-16 | Panasonic Corp | COLOR CORRECTION DEVICE AND METHOD, DYNAMIC CAMERA COLOR CORRECTION DEVICE, AND VIDEO SEARCH DEVICE USING THE SAME |
CN100531374C (zh) * | 2007-07-12 | 2009-08-19 | 上海交通大学 | 结合色度偏差和亮度偏差的视频运动目标检测方法 |
US8326029B1 (en) * | 2008-03-21 | 2012-12-04 | Hewlett-Packard Development Company, L.P. | Background color driven content retrieval |
-
2010
- 2010-12-22 JP JP2010285315A patent/JP5201203B2/ja active Active
-
2011
- 2011-12-19 CN CN201110427696.2A patent/CN102542568B/zh active Active
- 2011-12-21 US US13/333,048 patent/US8660344B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006350553A (ja) * | 2005-06-14 | 2006-12-28 | Kyoto Univ | 対応点探索方法、相互標定方法、3次元画像計測方法、対応点探索装置、相互標定装置、3次元画像計測装置、対応点探索プログラム及び対応点探索プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Non-Patent Citations (2)
Title |
---|
CSNG201000530018; 松尾賢治: 'Grabcut適用結果の形状類似性に着目した対話不要の画像領域分割' 情報処理学会研究報告 平成21年度6 [DVD-ROM] 情報処理学会研究報告 コンピュータビジョン , 20100415, pp.1-8, 社団法人情報処理学会 * |
JPN6012050788; 松尾賢治: 'Grabcut適用結果の形状類似性に着目した対話不要の画像領域分割' 情報処理学会研究報告 平成21年度6 [DVD-ROM] 情報処理学会研究報告 コンピュータビジョン , 20100415, pp.1-8, 社団法人情報処理学会 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014027355A (ja) * | 2012-07-24 | 2014-02-06 | Casio Comput Co Ltd | 複数画像を利用したオブジェクト検索装置、方法、およびプログラム |
CN103577520A (zh) * | 2012-07-24 | 2014-02-12 | 卡西欧计算机株式会社 | 目标检索装置、目标检索方法以及计算机可读取记录介质 |
JP2015041254A (ja) * | 2013-08-22 | 2015-03-02 | 大日本印刷株式会社 | Trimap生成装置、Trimap生成方法、及びプログラム |
JP2015186224A (ja) * | 2014-03-26 | 2015-10-22 | 大日本印刷株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP2016045744A (ja) * | 2014-08-22 | 2016-04-04 | カシオ計算機株式会社 | 画像処理装置、画像処理方法、およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP5201203B2 (ja) | 2013-06-05 |
US8660344B2 (en) | 2014-02-25 |
US20120163712A1 (en) | 2012-06-28 |
CN102542568B (zh) | 2014-12-03 |
CN102542568A (zh) | 2012-07-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5201203B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP4973098B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
US8970722B2 (en) | Image processing apparatus and method of controlling the same | |
US7620218B2 (en) | Real-time face tracking with reference images | |
US8687888B2 (en) | Region specification method, region specification apparatus, recording medium, server, and system | |
US8295544B2 (en) | Image processing apparatus, image capturing apparatus, image processing method, and program | |
US8269850B2 (en) | Signal processing method and signal processing system | |
JP2010088105A (ja) | 撮像装置および方法、並びにプログラム | |
JP2010045613A (ja) | 画像識別方法および撮像装置 | |
JP2005303991A (ja) | 撮像装置、撮像方法、及び撮像プログラム | |
US9332196B2 (en) | Image processing device, method and program | |
JP5504990B2 (ja) | 撮像装置、画像処理装置及びプログラム | |
JP4971785B2 (ja) | 画像処理装置及び方法、及び撮像装置 | |
JP5509621B2 (ja) | 画像処理装置、カメラおよびプログラム | |
JP5212451B2 (ja) | 領域特定方法、領域特定装置、プログラム、サーバ及びシステム | |
JP5234086B2 (ja) | 領域特定方法、領域特定装置、プログラム、サーバ及びシステム | |
JP2013149285A (ja) | 撮像装置および方法、並びにプログラム | |
JP5131399B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2008172395A (ja) | 撮像装置、画像処理装置、方法およびプログラム | |
US20220408013A1 (en) | DNN Assisted Object Detection and Image Optimization | |
JP2008147714A (ja) | 画像処理装置およびその方法 | |
JP5747591B2 (ja) | データ生成装置、データ生成方法、印刷方法、プログラム及び印刷システム | |
JP2010197968A (ja) | 合焦評価装置、カメラおよびプログラム | |
JP2012222509A (ja) | 画像処理装置及び画像処理プログラム | |
JP2006173661A (ja) | 画像処理方法、システム、装置及びプログラム並びにディジタルカメラ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120808 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120808 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20120809 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20120920 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121002 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121203 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130115 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130128 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5201203 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160222 Year of fee payment: 3 |