JP2012109823A - 被写体領域特定方法、被写体領域特定装置及びプログラム - Google Patents
被写体領域特定方法、被写体領域特定装置及びプログラム Download PDFInfo
- Publication number
- JP2012109823A JP2012109823A JP2010257389A JP2010257389A JP2012109823A JP 2012109823 A JP2012109823 A JP 2012109823A JP 2010257389 A JP2010257389 A JP 2010257389A JP 2010257389 A JP2010257389 A JP 2010257389A JP 2012109823 A JP2012109823 A JP 2012109823A
- Authority
- JP
- Japan
- Prior art keywords
- subject
- image
- specifying
- area
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
【解決手段】背景と被写体とが存在する被写体存在画像から被写体が含まれる被写体領域を特定して抽出するサーバ3であって、所定の表示領域に表示される被写体存在画像にて、任意に境界線を指定する境界線指定部305と、境界線により区分される複数の区分領域から、各区分領域の縁部を構成する被写体存在画像の画像境界の画素数が、当該縁部の全画素数に対して所定の割合以上となる領域を特定する領域特定部308と、特定された領域を基準として、被写体存在画像における複数の区分領域の中から被写体領域を特定する被写体抽出部309とを備えている。
【選択図】図4
Description
また、複数の輪郭線を連結しても完全な閉曲線が形成されない場合には、最寄りの不連続点どうしを直線や所定の曲線で自動的に連結して閉曲線を形成するため、ユーザ所望の対象物が適正に囲まれない虞もあり、この場合には、輪郭線を再度指定し直さなければならないといった問題が生じてしまう。一方、輪郭線が完全な閉曲線で形成されていない状態では、画像における輪郭線により区分される複数の領域の中で、いずれの領域を抽出するかを指定しなければならないといった問題もある。
背景と被写体とが存在する被写体存在画像から被写体が含まれる被写体領域を特定する被写体領域特定方法であって、任意に指定された境界線により区分される複数の区分領域から、各区分領域の縁部を構成する前記被写体存在画像の画像境界の画素数が、当該縁部の全画素数に対して所定の割合以上となる領域を特定する領域特定ステップと、この領域特定ステップにより特定された前記領域を基準として、前記被写体存在画像における前記複数の区分領域の中から前記被写体領域を特定する被写体領域特定ステップと、を含むことを特徴としている。
前記被写体領域特定ステップは、前記被写体存在画像における前記複数の区分領域から前記領域特定ステップにより特定された前記領域を除外して、前記被写体領域を特定することを特徴としている。
前記被写体存在画像の複数の画像境界のうち、所定の表示領域に表示された状態の当該被写体存在画像における下側画像境界を特定する境界特定ステップを更に備え、前記領域特定ステップは、更に、前記被写体存在画像における前記複数の区分領域で、前記境界特定ステップにより特定された下側画像境界を構成する画素数を計数せずに所定の演算を行って、前記領域を特定することを特徴としている。
前記被写体存在画像から被写体の顔を検出する検出ステップを更に備え、前記境界特定ステップは、更に、前記被写体存在画像の複数の画像境界のうち、前記検出ステップにより検出された被写体の顔の向きに対して下側となる画像境界を前記下側画像境界として特定することを特徴としている。
前記被写体存在画像から被写体の顔を検出する検出ステップを更に備え、前記被写体領域特定ステップは、更に、前記検出ステップによる検出結果を基準として、前記被写体存在画像における前記複数の区分領域の中から前記被写体領域を特定することを特徴としている。
前記被写体領域特定ステップは、更に、前記被写体存在画像における前記複数の区分領域の中で、前記検出ステップにより検出された被写体の顔の向きに対して下側の画像境界を最も多く含む区分領域を、前記被写体領域として特定することを特徴としている。
前記被写体領域特定ステップは、更に、前記被写体存在画像における前記複数の区分領域の中で、前記検出ステップにより検出された被写体の顔を含む区分領域を、前記被写体領域として特定することを特徴としている。
被写体となる人の胸から上を撮像した前記被写体存在画像から前記被写体領域を特定するための所定のモードを設定する設定ステップを更に備え、前記設定ステップにより前記所定のモードが設定された場合に、前記領域特定ステップにより前記領域を特定する処理と、前記被写体領域特定ステップにより前記被写体領域を特定する処理とを行うことを特徴としている。
前記被写体領域特定ステップは、更に、前記被写体存在画像から特定された前記被写体領域を抽出する処理を行うことを特徴としている。
背景と被写体とが存在する被写体存在画像から被写体が含まれる被写体領域を特定する被写体領域特定方法であって、境界線を任意に指定する指定ステップと、前記被写体存在画像における前記境界線により区分される複数の区分領域の中から、各区分領域の縁部を構成する画素のうち、当該被写体存在画像の下側画像境界を構成する画素を計数せずに、前記被写体存在画像の画像境界の画素の数が最も少ない区分領域を、被写体領域として特定する特定ステップと、を含むことを特徴としている。
背景と被写体とが存在する被写体存在画像から被写体が含まれる被写体領域を特定する被写体領域特定装置であって、所定の表示領域に表示される前記被写体存在画像にて、任意に境界線を指定する指定手段と、この指定手段により指定された境界線により区分される複数の区分領域から、各区分領域の縁部を構成する前記被写体存在画像の画像境界の画素数が、当該縁部の全画素数に対して所定の割合以上となる領域を特定する領域特定手段と、この領域特定手段により特定された前記領域を基準として、前記被写体存在画像における前記複数の区分領域の中から前記被写体領域を特定する被写体領域特定手段と、を備えることを特徴としている。
背景と被写体とが存在する被写体存在画像から被写体が含まれる被写体領域を特定する被写体領域特定装置のコンピュータを、所定の表示領域に表示される前記被写体存在画像にて、任意に境界線を指定する指定手段、この指定手段により指定された境界線により区分される複数の区分領域から、各区分領域の縁部を構成する前記被写体存在画像の画像境界の画素数が、当該縁部の全画素数に対して所定の割合以上となる領域を特定する領域特定手段、この領域特定手段により特定された前記領域を基準として、前記被写体存在画像における前記複数の区分領域の中から前記被写体領域を特定する被写体領域特定手段、として機能させることを特徴としている。
図1は、本発明を適用した一実施形態の被写体切り抜きシステム100の概略構成を示すブロック図である。
具体的には、図1に示すように、被写体切り抜きシステム100は、撮像装置1と、ユーザ端末2と、サーバ3とを備え、ユーザ端末2とサーバ3とが所定の通信ネットワークNを介して各種情報を送受信可能に接続されている。
ここで、図2は、撮像装置1の概略構成を示すブロック図である。
図2に示すように、撮像装置1は、レンズ部101と、電子撮像部102と、ユニット回路部103と、撮像制御部104と、画像処理部105と、表示部106と、記録媒体制御部107と、バッファメモリ108と、プログラムメモリ109と、操作入力部110と、中央制御部111とを備えている。
なお、記録媒体Mは、例えば、不揮発性メモリ(フラッシュメモリ)等により構成されるが、一例であってこれに限られるものではなく、適宜任意に変更可能である。
また、中央制御部111は、操作入力部110から出力され入力された操作信号に基づいて、撮像装置1の各部を制御する。具体的には、中央制御部111は、操作入力部110のシャッタボタンの所定操作に従って出力された記録指示信号が入力されると、プログラムメモリ109に記憶されている所定のプログラムに従って、撮像制御部104により電子撮像部102及びユニット回路部103の駆動タイミングを制御して静止画像を撮影する処理を実行する。この静止画像の撮影によりバッファメモリ108に格納された1フレーム分のYUVデータは、画像処理部105にてJPEG方式等により圧縮され符号化されて、記録媒体Mに静止画像データとして記録される。
ユーザ端末2は、例えば、パーソナルコンピュータ等により構成され、サーバ3により開設されるWebページ(例えば、被写体抽出用ページ)にアクセスして、当該Webページ上で被写体存在画像P1における境界線Lの指定指示を入力する。
図3に示すように、ユーザ端末2は、具体的には、中央制御部201と、通信制御部202と、表示部203と、記録媒体制御部204と、操作入力部205等を備えている。
RAMは、例えば、CPUにより実行される処理プログラム等を展開するためのプログラム格納領域や、入力データや上記処理プログラムが実行される際に生じる処理結果等を格納するデータ格納領域などを備える。
ROMは、コンピュータ読み取り可能なプログラムコードの形態で格納されたプログラム、具体的には、ユーザ端末2で実行可能なシステムプログラム、当該システムプログラムで実行可能な各種処理プログラムや、これら各種処理プログラムを実行する際に使用されるデータ等を記憶する。
具体的には、表示部203は、例えば、サーバ3から送信され通信制御部202により受信されたWebページ(例えば、被写体抽出用ページ)のページデータに基づいて、対応するWebページを表示画面に表示する。
そして、通信制御部202は、入力された被写体存在画像P1の画像データをサーバ3に所定の通信ネットワークNを介して送信する。
具体的には、操作入力部205は、ユーザによる所定操作に基づいて、被写体切り抜き処理(後述)の際に表示部203の表示画面に表示されている被写体存在画像P1にて境界線Lを構成する複数の点の座標(x, y)の設定指示を入力する。例えば、操作入力部205は、ユーザによるマウスの所定操作に基づいて被写体存在画像P1上に描画された境界線Lを構成する複数の点の座標の設定指示を入力する。そして、操作入力部205は、当該操作に応じた所定の設定信号を中央制御部201のCPUに出力する。
CPUは、操作入力部205から出力され入力された設定信号を通信制御部202により所定の通信ネットワークNを介してサーバ3に送信させる。
サーバ3は、Web(World Wide Web)サーバ3としてインターネット上にWebページ(例えば、被写体抽出用ページ)を開設する機能を具備するものであり、ユーザ端末2からのアクセスに応じて当該ユーザ端末2にWebページのページデータを送信する。また、サーバ3は、被写体抽出装置として、ユーザ端末2から出力された境界線Lの複数の点の座標(x, y)の設定指示の入力に基づいて境界線Lを指定し、被写体存在画像P1における境界線Lにより区分される複数の区分領域A、…の中から、被写体が含まれる被写体領域Asを特定する。
図4に示すように、サーバ3は、具体的には、中央制御部301と、記憶部302と、表示部303と、通信制御部304と、境界線指定部305と、顔検出部306と、画像境界特定部307と、領域特定部308と、被写体抽出部309等を備えて構成されている。
RAMは、例えば、CPUにより実行される処理プログラム等を展開するためのプログラム格納領域や、入力データや上記処理プログラムが実行される際に生じる処理結果等を格納するデータ格納領域などを備える。
ROMは、コンピュータ読み取り可能なプログラムコードの形態で格納されたプログラム、具体的には、サーバ3で実行可能なシステムプログラム、当該システムプログラムで実行可能な各種処理プログラムや、これら各種処理プログラムを実行する際に使用されるデータ等を記憶する。
具体的には、通信制御部304は、例えば、被写体切り抜き処理(後述)にてユーザ端末2から所定の通信ネットワークNを介して送信された被写体存在画像P1における境界線Lを構成する複数の点の座標の設定信号を受信して、当該設定信号を中央制御部301のCPUに出力する。
即ち、被写体切り抜き処理にて、境界線指定部305は、ユーザ端末2から所定の通信ネットワークNを介して送信され通信制御部304により受信した被写体存在画像P1の画像データ及び当該被写体存在画像P1上に描画された境界線Lを構成する複数の点の座標の設定信号に基づいて、当該被写体存在画像P1上にて複数の点の座標を指定し、これら複数の点どうしを連結して境界線Lを指定する。
なお、境界線Lは、ある領域を完全に囲む閉じられた形態であっても良いし、当該被写体存在画像P1の画像境界Bの異なる位置に境界線Lの始点及び終点が存するような形態(図7(b)参照)であっても良い。
このように、境界線指定部305は、指定手段として、被写体存在画像P1にて境目をなす境界線Lを指定する。
即ち、顔検出部306は、ユーザ端末2から所定の通信ネットワークNを介して送信され通信制御部304により受信した被写体存在画像P1の画像データを取得して、当該画像データに対して所定の顔検出処理を行って顔領域を検出する。
また、顔検出処置にあっては、被写体としての人以外の顔、例えば、動物の顔などの顔領域を検出しても良い。なお、顔検出処理は、公知の技術であるので、ここでは詳細な説明を省略する。
このように、顔検出部306は、検出手段として、被写体存在画像P1から被写体の顔を検出する。
即ち、画像境界特定部307は、ユーザ端末2から所定の通信ネットワークNを介して送信され通信制御部304により受信した被写体存在画像P1の画像データを取得して、当該画像データにおける上下左右の4つの画像境界Bt、Bd、Bl、Brの中で、ユーザ端末2の表示部203等の所定の表示領域に表示された状態の当該被写体存在画像P1にて下側となる下側画像境界Bdを特定する。具体的には、画像境界特定部307は、被写体存在画像P1の複数の画像境界B、…のうち、顔検出部306により検出された被写体の顔領域の顔の向きに対して下側となる画像境界Bを下側画像境界Bdとして特定する。
つまり、被写体存在画像P1が、例えば、被写体となる人の胸から上のバストショットを撮像した画像である場合、画像境界特定部307は、被写体存在画像P1の上下左右の4つの画像境界Bt、Bd、Bl、Brの中で、人の顔よりも下側の画像領域が重なる画像境界Bを下側画像境界Bdとして特定する。
また、画像境界特定部307は、例えば、被写体存在画像P1にExifタグ情報として付加されている当該被写体存在画像P1の撮像の際の画像の向きに関する情報を取得して、当該被写体存在画像P1の下側画像境界Bdを特定しても良い。
このように、画像境界特定部307は、境界特定手段として、被写体存在画像P1の複数の画像境界B、…のうち、所定の表示領域に表示された状態の当該被写体存在画像P1における下側画像境界Bdを特定する。
即ち、領域特定部308は、被写体存在画像P1の複数の画像境界B、…と境界線Lにより区分される複数の区分領域A、…を特定し、各区分領域Aの縁部を構成する画素数を算出する。例えば、図7(b)に示すように、領域特定部308は、被写体存在画像P1の上下左右の4つの画像境界Bt、Bd、Bl、Brと境界線Lにより区分される区分領域Aとして、左区分領域Al、右区分領域Ar及び中区分領域Amを特定する。また、領域特定部308は、特定された複数の区分領域A、…の各々の縁部に沿う複数の画素を合計した全画素数をそれぞれ算出する。
そして、領域特定部308は、複数の区分領域A、…、即ち、左区分領域Al、右区分領域Ar及び中区分領域Amの中から、各区分領域Aの縁部を構成する画像境界Bの画素数が当該縁部の全画素数に対して所定の割合(例えば、40%等)以上となる領域Acを特定する。例えば、左区分領域Alの場合、左側画像境界Blと、上側画像境界Btの左側の一部分と、下側画像境界Bdの左側の一部分と、被写体の向かって左半身に沿って描画されている境界線Lの一部分のそれぞれの画素数を加算した値が全画素数となり、領域特定部308は、左側画像境界Blと上側画像境界Btの左側の一部分と下側画像境界Bdの左側の一部分のそれぞれの画素数を加算した値が全画素数に対して所定の割合以上となるか否かを判定する。同様に、領域特定部308は、右区分領域Ar、中区分領域Amについても判定する。
このとき、領域特定部308は、領域Acを特定しても良い。即ち、領域特定部308は、被写体存在画像P1における複数の区分領域A、…の中で、下側画像境界Bd以外の画像境界Bであって、各区分領域Aの縁部を構成する画像境界Bの画素数が当該縁部の全画素数(下側画像境界Bdの画素数を加算してもしなくても良い)に対して所定の割合以上となる所定領域Acを特定しても良い。
ここで、例えば、図7(b)に示すように、左区分領域Al及び右区分領域Arについては、領域特定部308は、各区分領域Aの縁部を構成する画像境界Bの画素数が縁部の全画素数に対して所定の割合以上であると判定して、当該左区分領域Al及び右区分領域Arを所定領域Acとして特定する。
このように、領域特定部308は、領域特定手段として、被写体存在画像P1における境界線Lにより区分される複数の区分領域A、…から、各区分領域Aの縁部を構成する被写体存在画像P1の画像境界Bの画素数が当該縁部の全画素数に対して所定の割合以上となる所定領域Acを特定する。
即ち、被写体抽出部309は、領域特定部308により特定された所定領域Acを基準として、被写体存在画像P1における複数の区分領域A、…の中から被写体領域Asを特定する。具体的には、被写体抽出部309は、被写体存在画像P1の複数の区分領域A、…の中で、領域特定部308により特定された領域Ac(例えば、左区分領域Al、右区分領域Ar等)を被写体領域Asの候補領域から除外して、被写体領域Asを特定する。
このとき、被写体抽出部309は、顔検出部306による検出結果を基準として、被写体存在画像P1の複数の区分領域A、…の中から被写体領域Asを特定しても良い。具体的には、被写体抽出部309は、被写体存在画像P1の複数の区分領域A、…の中で、顔検出部306により検出された被写体の顔の向きに対して下側の画像境界Bdを構成する画素を最も多く含む区分領域A(例えば、中区分領域Am等)を、被写体領域Asとして特定しても良い。
例えば、図7(b)に示すように、被写体抽出部309は、被写体存在画像P1の複数の区分領域A、…の中で、領域Acとしての左区分領域Al及び右区分領域Arを被写体領域Asの候補から除外し、さらに、下側画像境界Bdの構成画素を最も多く含む中区分領域Amを、被写体領域Asとして特定する。そして、被写体抽出部309は、後述する所定の抽出方法に従って被写体領域Asを抽出して、被写体画像を生成する。
被写体抽出部309は、先ず、被写体存在画像P1の左区分領域Al及び右区分領域Arが背景であると推定して、当該左区分領域Al及び右区分領域Arの各画素の画素値に基づいて所定の演算を行って、被写体の背景色を所定の単一色として推定する。そして、被写体抽出部309は、所定の単一色の背景用画像と被写体存在画像P1との間で対応する各画素の差分情報(例えば、相違度マップ等)を生成する。
その後、被写体抽出部309は、生成した差分情報の各画素の画素値を所定の閾値と比較して二値化した後、細かいノイズや手ぶれによる相違が存在する領域を除去するための収縮処理を行って所定値よりも小さい画素集合や手ぶれによる細線画素集合を除外する。そして、被写体抽出部309は、同じ連結成分を構成する画素集合に同じ番号を付けるラベリング処理を行って面積が最大の画素集合を被写体部分とする。その後、被写体抽出部309は、収縮分を修正するための膨張処理を行った後、被写体部分内のみのラベリング処理を行うことで被写体部分ラベルに対して所定の割合以下のラベルの画素集合を被写体部分に置き換えることで穴埋めも行う。
その後、被写体抽出部309は、生成された抽出用画像(アルファマップ)に基づいて、被写体存在画像P1の各画素のうち、アルファ値が1の画素を所定の単一色画像P3に対して透過させずに、且つ、アルファ値が0の画素を透過させるように、被写体画像を所定の単一色画像P3と合成して被写体切り抜き画像P2の画像データを生成する。
なお、被写体抽出部309は、被写体領域Asの特定後、当該被写体領域Asを抽出するようにしたが、必ずしも被写体領域Asの抽出を行う必要はない。即ち、被写体領域Asの特定と抽出とを独立して行う専用のロジック回路をそれぞれ設けても良い。
ここで、図5及び図6は、被写体切り抜き処理に係る動作の一例を示すフローチャートである。また、図7(a)〜図7(c)は、被写体切り抜き処理に係る画像の一例を模式的に示す図である。
なお、以下の説明にあっては、撮像装置1により生成された被写体存在画像P1の画像データが記録された記録媒体Mがユーザ端末2の記録媒体制御部204に装着されているものとする。
サーバ3の通信制御部304によって、ユーザ端末2から送信されたアクセス指示が受信されると、中央制御部301のCPUは、被写体抽出用ページのページデータを通信制御部304により所定の通信ネットワークNを介してユーザ端末2に送信させる(ステップS2)。
そして、ユーザ端末2の通信制御部202によって、被写体抽出用ページのページデータが受信されると、表示部203は、当該被写体抽出用ページのページデータに基づいて、所定の被写体抽出用ページを表示画面に表示する。
そして、サーバ3の通信制御部304は、ユーザ端末2から送信された被写体存在画像P1の画像データを受信する(ステップS5)。
ステップS6の判定処理は、境界線Lの始点の第1座標が入力されたと判定されるまで(ステップS6;YES)、繰り返し実行される。
そして、ステップS6にて、境界線Lの始点の第1座標が入力されたと判定されると(ステップS6;YES)、中央制御部201のCPUは、操作入力部205から出力され入力された第1座標の設定指示信号を通信制御部202により所定の通信ネットワークNを介してサーバ3に送信させる(ステップS7)。
次に、ユーザ端末2の中央制御部201は、ユーザによる操作入力部205の所定操作に基づいて、表示部203の表示画面に表示されている被写体存在画像P1にて境界線Lの終点の座標(第2座標)が入力されたか否かを判定する(ステップS9)。即ち、中央制御部201は、ユーザによるマウスの所定操作に基づいて被写体存在画像P1上に連続して描画される境界線Lを構成する複数の点の座標のうち、最後に描画された点を終点として、その終点の第2座標が入力されたか否かを判定する。
ステップS9の判定処理は、境界線Lの終点の第2座標が入力されたと判定されるまで(ステップS9;YES)、繰り返し実行され、ユーザによるマウスの所定操作に基づいてユーザ端末2からサーバ3に被写体存在画像P1上に連続して描画される境界線Lを構成する複数の点の座標が順次送信される。
そして、ステップS9にて、境界線Lの終点の第2座標が入力されたと判定されると(ステップS9;YES)、中央制御部201のCPUは、操作入力部205から出力され入力された第2座標の設定指示信号を通信制御部202により所定の通信ネットワークNを介してサーバ3に送信させる(ステップS10)。
続けて、境界線指定部305は、被写体存在画像P1上に連続して描画された境界線Lを構成する複数の点の座標を連結して、始点から終点まで連続した境界線Lを指定する(ステップS12)。
続けて、画像境界特定部307は、被写体存在画像P1の複数の画像境界B、…のうち、下側画像境界Bdを特定する(ステップS14)。具体的には、画像境界特定部307は、被写体存在画像P1の画像データを取得して、当該画像データにおける上下左右の4つの画像境界Bt、Bd、Bl、Brのうち、顔検出部306により検出された被写体の顔領域の顔の向きに対して下側となる画像境界Bを下側画像境界Bdとして特定する。なお、ステップS13において顔領域が検出されなかった場合は、単純にユーザ端末2の表示部203に表示されている被写体存在画像P1の下側の画像境界を下側画像境界Bdとしても良い。
続けて、領域特定部308は、特定された複数の区分領域A、…、即ち、左区分領域Al、右区分領域Ar及び中区分領域Amの中から、各区分領域Aの縁部を構成する画像境界Bの画素数が当該縁部の全画素数に対して所定の割合(例えば、40%等)以上となる領域Acを特定する(ステップS16)。例えば、領域特定部308は、左区分領域Al及び右区分領域Arの各々の縁部を構成する画像境界Bの画素数が各縁部の全画素数に対して所定の割合以上であると判定して、当該左区分領域Al及び右区分領域Arを領域Acとして特定する。
その後、被写体抽出部309は、生成されたアルファマップを用いて被写体存在画像P1から被写体領域Asを切り出して、所定の単一色画像P3と合成して被写体切り抜き画像P2(図7(c)参照)の画像データを生成する(ステップS19)。具体的には、被写体抽出部309は、被写体存在画像P1の全ての画素について、アルファ値が0の画素については、透過させ、アルファ値が0<α<1の画素については、所定の単一色とブレンディングを行い、アルファ値が1の画素については、何もせずに所定の単一色に対して透過させないようにする。なお、アルファマップの縁部分には、合成階調がつけられているため、切り出された被写体領域Asと単一色画像P3(背景)との境界部分がはっきりしていない自然な感じとなる。
また、生成された被写体切り抜き画像P2の画像データは、抽出用画像であるアルファマップと対応付けて記憶部302に記憶される。
そして、ユーザ端末2の通信制御部202によって、被写体切り抜き画像P2の画像データが受信されると(ステップS21)、表示部203は、当該被写体切り抜き画像P2の画像データに基づいて、被写体画像を表示画面に表示する(ステップS22)。
これにより、被写体切り抜き処理を終了する。
このように、被写体領域Asの特定を簡便に、且つ、適正に行うことができる。
即ち、例えば、境界線Lが完全に閉じられた形態で形成されていない場合に、当該境界線Lと被写体存在画像P1の下側画像境界Bdとによって囲まれた領域を被写体領域としても、被写体が画像中心よりも左右の何れか一側にずれて左右の何れか一側の画像境界にかかっていると、境界線Lを完全に閉じられた形態とすることができずに被写体領域の特定を適正に行えないといった問題が生じる。また更に、境界線Lが完全に閉じられた形態で形成されていない場合に、当該境界線Lと被写体存在画像P1の画像境界Bとによって囲まれた領域を被写体存在領域として特定しようとしても、そのような領域が複数存在する場合、被写体領域の特定を適正に行えないといった問題が生じる。
これに対して、被写体存在画像P1における複数の区分領域A、…の中で、当該被写体存在画像P1における下側画像境界Bdを構成する画素数を計数せずに所定の演算を行って領域Acを特定し、当該領域Acを基準として被写体存在画像P1における複数の区分領域A、…の中から被写体領域Asを特定することで、境界線Lを完全に閉じられた形態としなくても被写体領域Asの特定を適正に行うことができる。
さらに、被写体存在画像P1の複数の画像境界B、…のうち、顔検出処理により検出された被写体の顔の向きに対して下側となる画像境界Bを被写体存在画像P1における下側画像境界Bdとして特定することで、下側画像境界Bdの特定を適正に行うことができ、被写体存在画像P1における複数の区分領域A、…の中で領域Ac及び被写体領域Asの特定を適正に行うことができる。
例えば、上記実施形態にあっては、被写体存在画像P1に対して顔検出処理を行って、検出された顔を基準として、被写体存在画像P1の下側画像境界Bdの特定や被写体領域Asの特定を行うようにしたが、人の胸から上のバストショットを撮像した被写体存在画像P1から被写体領域Asを特定する場合には、必ずしも顔検出部306による顔検出処理を行う必要はない。
ここで、図8に示す被写体切り抜き処理は、図5の被写体切り抜き処理の各処理に続けて行われる処理であり、図5の被写体切り抜き処理の各処理の詳細な説明は省略する。
ここで、バストショット抽出モードの設定指示が入力されたと判定されると(ステップS51;YES)、中央制御部201のCPUは、操作入力部205から出力され入力された設定指示信号を通信制御部202により所定の通信ネットワークNを介してサーバ3に送信させる(ステップS52)。
一方、ステップS51にて、バストショット抽出モードの設定指示が入力されていないと判定されると(ステップS51;NO)、中央制御部201のCPUは、ステップS52の処理をスキップする。
その後、中央制御部301のCPUは、バストショット抽出モードが設定済みであるか否かを判定し(ステップS54)、バストショット抽出モードが設定済みであると判定されると(ステップS54;YES)、中央制御部301のCPUは、ステップS13の処理をスキップして、処理をステップS14に移行させる。
このステップS14では、画像境界特定部307は、被写体存在画像P1の画像データを取得して、当該被写体存在画像P1にExifタグ情報として付加されている画像の向きに関する情報に基づいて、当該画像データにおける下側画像境界Bdを特定する。
なお、ステップS14以降の処理(ステップS15〜S22)は、上記実施形態と同様であり、その詳細な説明は省略する。
つまり、ユーザ端末2は、表示部203に表示された被写体存在画像P1にて境目をなす境界線Lを指定することで、被写体存在画像P1における境界線Lにより区分される複数の区分領域A、…の中から、被写体領域Asの特定の基準となる領域Acを特定し、特定された領域Acを基準として、被写体存在画像P1における複数の区分領域A、…の中から被写体領域Asを特定するようにしても良い。
なお、被写体切り抜き画像P2や被写体合成画像の画像データには、ユーザによる所定の改変を禁止する制御情報を埋め込むようにしても良い。
即ち、プログラムを記憶するプログラムメモリ(図示略)に、指定処理ルーチン、領域特定処理ルーチン、被写体領域特定処理ルーチンを含むプログラムを記憶しておく。そして、指定処理ルーチンにより中央制御部301のCPUを、所定の表示領域に表示される被写体存在画像P1にて、任意に境界線Lを指定する指定手段として機能させるようにしても良い。また、領域特定処理ルーチンにより中央制御部301のCPUを、指定手段により指定された境界線Lにより区分される複数の区分領域A、…から、各区分領域Aの縁部を構成する被写体存在画像P1の画像境界Bの画素数が、当該縁部の全画素数に対して所定の割合以上となる領域Acを特定する領域特定手段として機能させるようにしても良い。また、被写体領域特定処理ルーチンにより中央制御部301のCPUを、領域特定手段により特定された領域Acを基準として、被写体存在画像P1における複数の区分領域A、…の中から被写体領域Asを特定する被写体領域特定手段として機能させるようにしても良い。
1 撮像装置
2 ユーザ端末
203 表示部
3 サーバ
301 中央制御部
304 通信制御部
305 境界線指定部
306 顔検出部
307 画像境界特定部
308 領域特定部
309 被写体抽出部
M 記録媒体
N 通信ネットワーク
Claims (12)
- 背景と被写体とが存在する被写体存在画像から被写体が含まれる被写体領域を特定する被写体領域特定方法であって、
任意に指定された境界線により区分される複数の区分領域から、各区分領域の縁部を構成する前記被写体存在画像の画像境界の画素数が、当該縁部の全画素数に対して所定の割合以上となる領域を特定する領域特定ステップと、
この領域特定ステップにより特定された前記領域を基準として、前記被写体存在画像における前記複数の区分領域の中から前記被写体領域を特定する被写体領域特定ステップと、
を含むことを特徴とする被写体領域特定方法。 - 前記被写体領域特定ステップは、
前記被写体存在画像における前記複数の区分領域から前記領域特定ステップにより特定された前記領域を除外して、前記被写体領域を特定することを特徴とする請求項1に記載の被写体領域特定方法。 - 前記被写体存在画像の複数の画像境界のうち、所定の表示領域に表示された状態の当該被写体存在画像における下側画像境界を特定する境界特定ステップを更に備え、
前記領域特定ステップは、更に、
前記被写体存在画像における前記複数の区分領域で、前記境界特定ステップにより特定された下側画像境界を構成する画素数を計数せずに所定の演算を行って、前記領域を特定することを特徴とする請求項1又は2に記載の被写体領域特定方法。 - 前記被写体存在画像から被写体の顔を検出する検出ステップを更に備え、
前記境界特定ステップは、更に、
前記被写体存在画像の複数の画像境界のうち、前記検出ステップにより検出された被写体の顔の向きに対して下側となる画像境界を前記下側画像境界として特定することを特徴とする請求項3に記載の被写体領域特定方法。 - 前記被写体存在画像から被写体の顔を検出する検出ステップを更に備え、
前記被写体領域特定ステップは、更に、
前記検出ステップによる検出結果を基準として、前記被写体存在画像における前記複数の区分領域の中から前記被写体領域を特定することを特徴とする請求項1〜4の何れか一項に記載の被写体領域特定方法。 - 前記被写体領域特定ステップは、更に、
前記被写体存在画像における前記複数の区分領域の中で、前記検出ステップにより検出された被写体の顔の向きに対して下側の画像境界を最も多く含む区分領域を、前記被写体領域として特定することを特徴とする請求項5に記載の被写体領域特定方法。 - 前記被写体領域特定ステップは、更に、
前記被写体存在画像における前記複数の区分領域の中で、前記検出ステップにより検出された被写体の顔を含む区分領域を、前記被写体領域として特定することを特徴とする請求項5に記載の被写体領域特定方法。 - 被写体となる人の胸から上を撮像した前記被写体存在画像から前記被写体領域を特定するための所定のモードを設定する設定ステップを更に備え、
前記設定ステップにより前記所定のモードが設定された場合に、前記領域特定ステップにより前記領域を特定する処理と、前記被写体領域特定ステップにより前記被写体領域を特定する処理とを行うことを特徴とする請求項1〜7の何れか一項に記載の被写体領域特定方法。 - 前記被写体領域特定ステップは、更に、
前記被写体存在画像から特定された前記被写体領域を抽出する処理を行うことを特徴とする請求項1〜8の何れか一項に記載の被写体領域特定方法。 - 背景と被写体とが存在する被写体存在画像から被写体が含まれる被写体領域を特定する被写体領域特定方法であって、
境界線を任意に指定する指定ステップと、
前記被写体存在画像における前記境界線により区分される複数の区分領域の中から、各区分領域の縁部を構成する画素のうち、当該被写体存在画像の下側画像境界を構成する画素を計数せずに、前記被写体存在画像の画像境界の画素の数が最も少ない区分領域を、被写体領域として特定する特定ステップと、
を含むことを特徴とする被写体領域特定方法。 - 背景と被写体とが存在する被写体存在画像から被写体が含まれる被写体領域を特定する被写体領域特定装置であって、
所定の表示領域に表示される前記被写体存在画像にて、任意に境界線を指定する指定手段と、
この指定手段により指定された境界線により区分される複数の区分領域から、各区分領域の縁部を構成する前記被写体存在画像の画像境界の画素数が、当該縁部の全画素数に対して所定の割合以上となる領域を特定する領域特定手段と、
この領域特定手段により特定された前記領域を基準として、前記被写体存在画像における前記複数の区分領域の中から前記被写体領域を特定する被写体領域特定手段と、
を備えることを特徴とする被写体領域特定装置。 - 背景と被写体とが存在する被写体存在画像から被写体が含まれる被写体領域を特定する被写体領域特定装置のコンピュータを、
所定の表示領域に表示される前記被写体存在画像にて、任意に境界線を指定する指定手段、
この指定手段により指定された境界線により区分される複数の区分領域から、各区分領域の縁部を構成する前記被写体存在画像の画像境界の画素数が、当該縁部の全画素数に対して所定の割合以上となる領域を特定する領域特定手段、
この領域特定手段により特定された前記領域を基準として、前記被写体存在画像における前記複数の区分領域の中から前記被写体領域を特定する被写体領域特定手段、
として機能させることを特徴とするプログラム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010257389A JP5234086B2 (ja) | 2010-11-18 | 2010-11-18 | 領域特定方法、領域特定装置、プログラム、サーバ及びシステム |
US13/295,403 US8687888B2 (en) | 2010-11-18 | 2011-11-14 | Region specification method, region specification apparatus, recording medium, server, and system |
CN201110365020.5A CN102567729B (zh) | 2010-11-18 | 2011-11-17 | 区域特定方法、区域特定装置、服务器及系统 |
CN201410188426.4A CN103996190B (zh) | 2010-11-18 | 2011-11-17 | 区域特定方法、区域特定装置及系统、服务器及记录介质 |
US13/908,370 US8670616B2 (en) | 2010-11-18 | 2013-06-03 | Region specification method, region specification apparatus, recording medium, server, and system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010257389A JP5234086B2 (ja) | 2010-11-18 | 2010-11-18 | 領域特定方法、領域特定装置、プログラム、サーバ及びシステム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2012109823A true JP2012109823A (ja) | 2012-06-07 |
JP2012109823A5 JP2012109823A5 (ja) | 2012-09-27 |
JP5234086B2 JP5234086B2 (ja) | 2013-07-10 |
Family
ID=46494964
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010257389A Active JP5234086B2 (ja) | 2010-11-18 | 2010-11-18 | 領域特定方法、領域特定装置、プログラム、サーバ及びシステム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5234086B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019054411A (ja) * | 2017-09-15 | 2019-04-04 | 大日本印刷株式会社 | 画像トリミングシステム、トリミング装置、端末、およびプログラム |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000048213A (ja) * | 1998-07-31 | 2000-02-18 | Canon Inc | 画像処理装置及び方法、記録媒体 |
JP2002245441A (ja) * | 2001-02-14 | 2002-08-30 | Mitsubishi Electric Corp | 人物像抽出装置 |
-
2010
- 2010-11-18 JP JP2010257389A patent/JP5234086B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000048213A (ja) * | 1998-07-31 | 2000-02-18 | Canon Inc | 画像処理装置及び方法、記録媒体 |
JP2002245441A (ja) * | 2001-02-14 | 2002-08-30 | Mitsubishi Electric Corp | 人物像抽出装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019054411A (ja) * | 2017-09-15 | 2019-04-04 | 大日本印刷株式会社 | 画像トリミングシステム、トリミング装置、端末、およびプログラム |
JP6992348B2 (ja) | 2017-09-15 | 2022-01-13 | 大日本印刷株式会社 | 画像トリミングシステム、トリミング装置、端末、およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP5234086B2 (ja) | 2013-07-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5201203B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP4840426B2 (ja) | 電子機器、ぼけ画像選別方法及びプログラム | |
JP5413002B2 (ja) | 撮像装置および方法、並びにプログラム | |
US8564679B2 (en) | Image processing apparatus, image processing method and program | |
US8687888B2 (en) | Region specification method, region specification apparatus, recording medium, server, and system | |
US8582891B2 (en) | Method and apparatus for guiding user with suitable composition, and digital photographing apparatus | |
US8441554B2 (en) | Image capturing apparatus capable of extracting subject region from captured image | |
JP2005303991A (ja) | 撮像装置、撮像方法、及び撮像プログラム | |
US8712207B2 (en) | Digital photographing apparatus, method of controlling the same, and recording medium for the method | |
JP5504990B2 (ja) | 撮像装置、画像処理装置及びプログラム | |
JP5655668B2 (ja) | 撮像装置、画像処理方法及びプログラム | |
US8891833B2 (en) | Image processing apparatus and image processing method | |
US20170163887A1 (en) | Image processing apparatus, image processing method, and program | |
JP5212451B2 (ja) | 領域特定方法、領域特定装置、プログラム、サーバ及びシステム | |
JP5234086B2 (ja) | 領域特定方法、領域特定装置、プログラム、サーバ及びシステム | |
JP5733588B2 (ja) | 画像処理装置および方法、並びにプログラム | |
JP6332864B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2006128793A (ja) | 撮像装置、及びその制御方法 | |
JP2011182014A (ja) | 撮像装置、撮像処理方法及びプログラム | |
JP5131399B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6512208B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2016129281A (ja) | 画像処理装置 | |
JP5493839B2 (ja) | 撮像装置、画像合成方法及びプログラム | |
JP2021125828A (ja) | 画像処理装置および画像処理方法 | |
JP2012123721A (ja) | 画像処理装置及び画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120808 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120808 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20120809 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20120827 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121106 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121220 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130129 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130207 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130226 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130311 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5234086 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160405 Year of fee payment: 3 |