JP2004248020A

JP2004248020A - 画像処理装置および画像処理システム

Info

Publication number: JP2004248020A
Application number: JP2003036475A
Authority: JP
Inventors: Shunichiro Nonaka; 俊一郎野中
Original assignee: Fuji Photo Film Co Ltd
Current assignee: Fujifilm Holdings Corp
Priority date: 2003-02-14
Filing date: 2003-02-14
Publication date: 2004-09-02

Abstract

【課題】簡単な構成でより高画質な画像合成を実現できる画像処理装置および画像処理システムを提供する。
【解決手段】背景画像変化サーバー２１６は、画像データ１００を人物領域１００Ａと背景領域１００Ｂとに分割する際にぼかし処理を施すので、人物領域１００Ａが複雑な形状にならず背景領域１００Ｂと背景画像１１０とを違和感なく差し換えることができる。人物領域１００Ａの推定抽出成功率である確信度を導入して人物領域１００Ａと背景領域１００Ｂとの分割が成功したか否かを判断し、確信度が所定の閾値以下である場合には人物領域１００Ａと背景領域１００Ｂとの分割失敗と判断し当該合成画像の出力が禁止される。不自然な画像等をユーザに提供しないことでサービス品質の低下を抑えることができる。背景画像変化サーバー２１６はネットワークを介してユーザにサービスを提供する。
【選択図】図４

Description

【０００１】
【発明の属する技術分野】
本発明は画像処理装置および画像処理システムに係り、特に人物などの対象物画像と背景画像を合成する画像合成技術に関する。
【０００２】
【従来の技術】
入力された画像から人物領域と背景領域に分割し、背景領域のみを違和感なく別の画像に差し替える技術は世の中でよく用いられている。一般的な背景画像合成技術にはクロマキー技術と呼ばれる技術があり、テレビジョンや映画の特殊技法としてよく用いられている。
【０００３】
クロマキー技術は、クロマキーバックと呼ばれる均一な青色の背景の前で被写体を撮影し、他のテレビカメラで背景となるシーンを撮影する。被写体の写っている映像の青色部分には合成する背景を出力し、それ以外の部分には背景にはめ込む被写体の映像を出力することによって背景と被写体を合成する。
【０００４】
特許文献１に開示された人物画像背景合成装置は、人物領域、背景領域、境界領域に対象画像を分割し、境界領域内画素の濃淡値および背景からの距離に基づいて人物領域と背景領域との合成を行う。
【０００５】
【特許文献１】
特開平７−２７４０６７号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、人物領域と背景領域とを正確に分割することは非常に難しく、特に、背景が人物と似た色である場合や背景が複雑である場合には、人物と背景を正確に分割できず、人物と別の背景を合成した際に違和感のある合成画像になってしまう。
【０００７】
また、クロマキー技術の場合、背景の除去を行い人物領域の特定をするためには、撮影を行う背景の色が画像全体で均一であり、照明によって色むらのない必要がある。
【０００８】
特許文献１に開示された人物画像背景合成装置では、入力された画像を、人物領域、背景領域、境界領域の３領域に分ける必要があり、そのために処理が煩雑になってしまう。また、境界領域が画質劣化の要因となる等の問題があった。
【０００９】
本発明はこのような事情を鑑みてなされたもので、簡単な構成でより高画質な画像合成を実現できる画像処理装置および画像処理システムを提供することを目的とする。
【００１０】
【課題を解決するための手段】
前記目的を達成するために本発明に係る画像処理装置は、画像データを入力する画像データ入力手段と、前記画像データ入力手段により入力された画像から対象物領域と背景領域とを分割する領域分割手段と、前記領域分割手段により分割された対象物領域と背景領域との境界部分をぼかすように信号処理を行うぼかし処理手段と、背景画像データを入力する背景画像入力手段と、前記ぼかし処理手段により前記境界部分にぼかし処理が施された前記対象物領域と前記背景画像入力手段から入力された前記背景画像データとを合成し合成画像を生成する合成手段と、前記合成手段により合成された合成画像を出力する出力手段と、を備えたことを特徴としている。
【００１１】
本発明によれば、１つの画像を対象物領域と背景領域に分割し、対象物領域と画像領域の境界にぼかし処理を施すようにしたので、対象物領域が複雑な形状として抽出されず、背景領域と他の背景画像とを違和感なく差し換えることができる。
【００１２】
対象物には、人物、動物、植物、建物等が含まれており、形状や輪郭、色に特徴を持っていることが好ましい。
【００１３】
ぼかし処理手段は、前記領域分割手段により分割された対象物領域と背景領域とを区別する階調処理を施す手段と、領域分割手段により分割された対象物領域と背景領域との境界部分に平滑化処理およびぼかしフィルタ処理を施すフィルタ処理手段とを含む態様がある。階調処理には二値化処理が含まれている。
【００１４】
本発明の一態様に係る画像処理装置は、前記対象物領域と前記背景領域との分割推定成功率を表す確信度を算出する確信度算出手段を備えたことを特徴としている。
【００１５】
また、前記確信度算出手段により求められた確信度の情報を出力する確信度出力手段を備えたことを特徴としている。
【００１６】
なお、確信度算出手段および確信度出力手段は前記領域分割手段に包含されていてもよい。
【００１７】
画像解析による対象物領域と背景領域の分割は必ずしも成功するとは限らず、画像の内容によって対象物領域と背景領域の分割を失敗することがある。そのために、確信度を算出し、この情報により対象物領域と背景領域との分割が成功か否かを推定することができる。確信度が低いときには何らかの対策を行うよう処理を切り換えることが好ましい。
【００１８】
確信度には、確信度を数値で表す態様や成功あるいは失敗といった情報形式で表す形態がある。
【００１９】
確信度を出力する確信度出力手段に代えて、人物領域と背景領域との分割が成功したかあるいは失敗したか何れかを表す情報を出力する情報出力手段を設けてもよい。さらに、確信度出力手段と情報出力手段とを両方備えてもよい。
【００２０】
また、前記目的を達成するために本発明に係る画像処理システムは、対象物を含む画像データをネットワーク経由で送出する通信手段を備えた通信端末と、前記ネットワーク経由で前記通信端末から送られてきた画像データを処理する画像処理サーバと、から構成される画像処理システムであって、前記画像処理サーバは、前記通信端末から前記ネットワーク経由で画像データを受け入れる画像データ入力手段と、前記画像データ入力手段により入力された画像から対象物領域と背景領域とを分割する領域分割手段と、前記領域分割手段により分割された対象物領域と背景領域との境界部分をぼかすように信号処理を行うぼかし処理手段と、背景画像データを入力する背景データ入力手段と、前記ぼかし処理手段により前記境界部分にぼかし処理が施された前記対象物領域と前記背景画像入力手段から入力された前記背景データとを合成し合成画像を生成する合成手段と、前記合成手段により合成された合成画像を前記ネットワーク経由で提供する提供手段と、を備えたことを特徴としている。
【００２１】
本発明によれば、通信端末を有するユーザは、画像処理サーバとネットワーク上で画像データのやりとりを行うことができるので、様々なユーザが本画像処理システムを利用して、画像の背景をいろいろな背景に差し換えて楽しむことができる。なお、画像処理サーバは，単一のコンピュータで構成されていてもよいし、複数のコンピュータで構築されたシステムであってもよい。
【００２２】
画像データ入力手段と画像データ出力手段は、ネットワーク接続によりデータの送受信を行う通信手段で兼用できる。通信手段には受信手段および送信手段が含まれている。
【００２３】
画像処理サーバで生成された合成画像は、ネットワーク経由で画像データ発信元の通信端末に提供されてもよいし、他の通信端末に提供されてもよい。
【００２４】
前記通信端末は、被写体の光学像を電気信号に変換し、得られた信号から画像データを生成する撮像手段を備え、前記撮像手段で撮像した画像データを前記画像処理サーバに伝送し得る。
【００２５】
本発明の一態様によれば、前記画像処理サーバは、前記対象物領域と前記背景領域との分割推定成功率を表す確信度を算出する確信度算出手段と、前記確信度算出手段により算出された確信度の情報を出力する確信度出力手段を備えたことを特徴としている。
【００２６】
背景変化画像とともに確信度の情報が提供されるとき、これら情報を受け取った端末において、確信度が低い場合には、不自然な画像等の品質の低い画像をユーザに提供しないことで、サービス品質の低下を抑えることができる。
【００２７】
確信度の情報は、制御部などの画像処理サーバ内の回路ブロックに出力されてもよいし、前記合成画像ともに、通信端末など外部に提供されてもよい。前記外部には、通信端末経由で接続されるネットワークを含んでいる。
【００２８】
また、前記画像処理サーバは、前記確信度算出手段で算出された確信度が予め定められたしきい値よりも低い場合には前記合成画像の出力を禁止する制御を行う出力制御手段を備える態様がある。
【００２９】
かかる態様によれば、確信度が設定されたしきい値以下である場合には、人物領域と背景領域との分割を失敗したと判断し、当該人物領域を使用して生成された合成画像の出力が禁止される。したがって、不自然な画像等の品質の低い画像をユーザに提供しないことで、サービス品質の低下を抑えることができる。
【００３０】
合成画像の出力を禁止する形態には、画像処理サーバ内で合成処理を禁止する形態や画像合成後に出力を禁止する形態がある。さらに、画像処理サーバは合成画像と確信度とを提供して、受信端末側で確信度を判断して表示禁止する形態や、画像処理サーバから禁止制御情報を送る形態でもよい。
【００３１】
禁止制御情報には、エラーメッセージが含まれていてもよい。また、画像変換サーバ側からはコードを送出し、通信端末側でコードをメッセージに変換してもよい。
【００３２】
本発明の他の態様によれば、前記通信端末は、前記画像処理サーバで生成された画像を受信し、該受信した画像データに基づいて画像内容を表示する表示手段を備えたことを特徴としている。
【００３３】
本発明のさらに他の態様によれば、前記通信端末は、前記確信度算出手段で算出された確信度が予め定められたしきい値よりも低い場合に、前記合成画像を前記表示手段に表示させない制御を行う表示制御手段を有することを特徴としている。
【００３４】
領域分割の確信度が低い場合、すなわち、対象物抽出処理の精度が低いと推定される場合には、精度の低い処理結果画像を出力しないことにより、全体のサービス品質を向上させることができる。
【００３５】
前記通信端末は、前記確信度算出手段で算出された確信度が予め定められたしきい値よりも低い場合に、前記表示手段に警告を表示する制御を行う警告制御手段を有することを特徴としている。
【００３６】
確信度が低い場合に、不出来な画像を提示するよりはむしろ、画像データの送信元であるユーザに対して警告を行い、別の画像の送信を促すことによりサービス品質を向上させる。
【００３７】
警告の形態は、文字情報やコード、記号による形態でもよいし、当該通信端末が音声出力手段を備え、音声による警告を行ってもよい。
【００３８】
【発明の実施の形態】
以下、添付図面に従って本発明に係る画像処理装置および画像処理システムの好ましい実施の形態について説明する。
【００３９】
［第１実施形態］
図１は本発明の第１実施形態に係る背景画像変換装置の画像合成機能を説明するブロック図である。
【００４０】
デジタルスチルカメラ（以下ＤＳＣと記載）等により撮影された画像データ１００は、画像データ入力部１０２を介して背景画像変換装置１０に入力される。画像データ入力部１０２には、メディアインターフェイスの他にＵＳＢインターフェイス、赤外線通信（ＩｒＤＡ）インターフェイス、イーサネットインターフェイスおよび無線通信インターフェイスを用いてもよく、何れのインターフェイスを適用するかは、画像データ１００が記録されている媒体や画像データ１００の記録形式により、ユーザによって適宜選択される。
【００４１】
背景画像変換装置１０に入力された画像データ１００は人物領域抽出部１０４によって人物領域１００Ａおよび背景領域１００Ｂに分割される。
【００４２】
まず、画像データ内の顔パーツを抽出するために特徴抽出処理が行われる。特徴抽出処理ではウェーブレット変換を行い適切な位置と周波数のウェーブレット係数を取り出して量子化する。予め多数のサンプル画像から同様の特徴抽出処理を行い作成しておいた顔パーツ辞書データとの間でマッチング処理を行い、顔パーツを抽出する。
【００４３】
顔パーツが抽出された位置を顔と判定し、色、テクスチャによる分割処理が施される。これは、似た色やテクスチャの領域をまとめて分割する処理を行い、例えば、目の座標を含む肌色領域を顔領域としたり、目の座標のやや上にあり黒、茶色の領域を髪領域としたりして人物領域１００Ａを分割する。また、目の位置および人物と背景の境界線（エッジ）の平均的な位置関係を示す人物領域辞書データと、画像データ１００から得られた人物領域１００Ａと背景領域１００Ｂとのエッジとのマッチング処理を行い、人物領域１００Ａと背景領域１００Ｂとのエッジを求める。
【００４４】
また、画像内の高周波成分から人物と背景のエッジを抽出するエッジ抽出フィルタ処理を施し、人物領域１００Ａおよび背景領域１００Ｂに分割することも可能である。
【００４５】
さらに、人物領域１００Ａを輝度最大値、背景領域１００Ｂを輝度ゼロとするグレイスケール画像（実際には二値画像）１００Ｃが作成される。
【００４６】
人物領域抽出部１０４で生成されたグレイスケール画像１００Ｃは、ぼかしフィルタ処理部１０６においてぼかしフィルタ処理が施される。
【００４７】
ぼかしフィルタ処理部１０６では人物領域抽出部１０４で抽出されたエッジにローパスフィルタをかけ、人物ではあり得ない複雑なエッジや不連続なエッジを変化の少ないなだらかなエッジにする処理が行われる。
【００４８】
さらに、ぼかしフィルタ処理を施された画像データ１００にはαチャンネル処理が施される。
【００４９】
人物領域１００Ａのデータは１００％使用し、背景領域１００Ｂのデータは１００％透過させる処理が行われる。また、人物領域１００Ａと背景領域１００Ｂとのエッジは５０％から７０％程度のデータを透過させる処理が行われ、αチャンネル画像（二値画像）が生成される。
【００５０】
上述のとおり生成されたαチャンネル画像は、画像合成部１０８に送られ、別途用意された背景画像データ１１０をベースに合成され、背景変化画像データ１１２が生成される。
【００５１】
背景画像データ１１０は背景画像データ入力部１１４を介して背景画像変換装置１０に入力され、ノイズ除去、伸張および所定の処理を施された後、画像合成部１０８においてαチャンネル画像と合成されて背景変化画像データ１１２となる。
【００５２】
上記のとおり生成された背景変化画像データ１１２は、ユーザによって選択された出力形態に対応した画像処理（形式変換処理、圧縮処置等）を施され、画像データ出力部１１６を介して背景画像変換装置１０の外部に出力される。
【００５３】
出力形態には、プリンタに画像を出力する形態、ＰＣカードやＣＤ−ＲＯＭ等の外部記録媒体および背景画像変換装置１０の内蔵ハードディスクにファイル形式で記録する形態がある。また、通信手段を介して他の装置に転送する形態も考えられる。接続形態は有線、無線を問わない。
【００５４】
画像データ１００および背景変化画像データ１１２の圧縮形式にはＪＰＥＧ形式やビットマップ（ＢＭＰ）形式がよく用いられるが、その他の形式でもよい。
【００５５】
背景画像データ１１０は、背景画像変換装置１０に設けられた大容量記録媒体に予め記録されていてもよい。
【００５６】
上述した背景画像変換装置１０は、下記に示すハードウエア構成のＰＣ（パーソナルコンピュータ）で実現できる。
【００５７】
また、背景画像変換装置１０はＰＣの他に、画像加工サービス用サーバ、セルフサービスプリント装置、プリンタ、ＤＳＣ、カメラ付き携帯電話、ＰＤＡ等に適用可能である。
【００５８】
図２は本発明の第１実施形態に係る背景画像変換装置のブロック図である。
【００５９】
この背景画像変換装置１０はＰＣであり、ＣＰＵ１２０により統括制御され、ＣＰＵ１２０にはバス１２２を介して、実行プログラムや各種データが記録されているＲＯＭ１２４、データを一時記憶するＲＡＭ１２６が接続されている。
【００６０】
また、外部および内蔵機器との入出力インターフェイスであるＵＳＢＩ／Ｆ１２８、メディアカードＩ／Ｆ１３０、パラレルＩ／Ｆ１３２、赤外線通信（ＩｒＤＡ）Ｉ／Ｆ１３４および通信Ｉ／Ｆが備えられている。
【００６１】
ＵＳＢＩ／Ｆ１２８は、ＵＳＢ接続可能な周辺機器を接続するインターフェイスである。ＵＳＢ接続では、背景画像変換装置の電源を切らずに接続した周辺機器を認識できるホットプラグ機能を備えている。また、プリンタやスキャナー、ＣＤ−ＲＯＭドライブ等の周辺機器だけでなくＤＳＣやＭＤプレーヤー等を接続することができるので、ＵＳＢＩ／Ｆ１２８は複数備えると便利である。ＵＳＢＩ／Ｆの他に、ＲＳ２３２Ｃ、ＩＥＥＥ１３９４等、他の規格のシリアルインターフェイスを備えてもよい。
【００６２】
メディアＩ／Ｆ１３０を介してカードスロット１３６が設けられており、記録媒体に記録されているデータを背景画像変換装置１０に取り込むことができる。
【００６３】
記録媒体には、ｘＤ‐ＰｉｃｔｕｒｅＣａｒｄ、スマートメディア（商標）、コンパクトフラッシュ（商標）等に代表される半導体メモリカード、磁気ディスク、光ディスク、光磁気ディスクなど種々の媒体を用いることができる。
【００６４】
メディアＩ／Ｆ１３０は異なる規格に対応したものを備えると便利である。また、同じ規格のメディアＩ／Ｆを複数備えてもよい。
【００６５】
パラレルＩ／Ｆ１３２はパラレル通信によりデータの送受信が行われる周辺機器を接続するインターフェイスである。パラレルＩ／Ｆにはセントロニクスインターフェイス、ＳＣＳＩインターフェイス、ＩＤＥインターフェイス等がある。セントロニクスインターフェイスには主にプリンタが接続され、ＳＣＳＩインターフェイスおよびＩＤＥインターフェイスにはハードディスク、ＭＯ、ＣＤ−ＲＯＭドライブなどが接続される。
【００６６】
本実施形態では、背景画像変換装置はＩＤＥインターフェイスを介して内蔵型ハードディスク１３８を備えている。内蔵型ハードディスク１３８には図１で説明した画像変換プログラムがインストールされている。
【００６７】
ＩＤＥインターフェイスの他にＳＣＳＩインターフェイスを備えると、種々の周辺機器を６台まで接続できるので便利である。
【００６８】
赤外線通信Ｉ／Ｆ１３４は赤外線通信によりデータの送受信が行われる外部装置用インターフェイスである。赤外線通信機能を持つ外部装置には、ノートＰＣ、ＰＤＡ、携帯電話等がある。
【００６９】
通信Ｉ／Ｆ１３５は、既存のＬＡＮやインターネットへ接続するためのインターフェイスである。通信Ｉ／Ｆには無線通信インターフェイスやイーサネットインターフェイス等があり、既存のＬＡＮやインターネットを経由して画像データの送受信や背景画像の取得ができる。
【００７０】
また、背景画像変換装置１０には、モニタＩ／Ｆ１４０を介してＣＲＴモニタやＬＣＤモニタ等の表示装置１４２を接続可能である。表示装置１４２は背景画像変換装置１０に内蔵されていてもよいし背景画像変換装置の外部にあってもよい。表示装置１４２にはＣＲＴモニタ、ＬＣＤモニタに代えて、有機ＬＥなど、他の方式の表示装置を用いてもよい。
【００７１】
ユーザは、操作部（ユーザＩ／Ｆ）１４４を介して背景画像変換装置１０に文字や記号を入力することができる。さらに操作部１４４を介して画像処理プログラムの実行指示やプロクラム変更、中止等の指示を背景画像変換装置１０に与えることができる。
【００７２】
操作部１４４には、キーボード、マウス、ジョイスティック等の操作手段の他に、音声認識型入力手段や表示装置１４２と一体化したタッチパネル式表示装置などが含まれる。
【００７３】
上述した外部インターフェイスの何れかを介して背景画像変換装置１０に入力された画像データは、ノイズ除去等の所定の入力処理を施されて、一旦、ＲＡＭ１２６に記憶される。
【００７４】
ＲＡＭ１２６に記憶された画像データは、操作部１４４を介してユーザにより選択されたプログラムに従い、画像処理部１４６によって画像処理を施される。画像処理部１４６は画像処理機能を強化したマイクロコンピュータ（ＤＳＰ）、メモリ、画像処理専用ＬＳＩ等を含んだ構成になっている。
【００７５】
画像処理が完了した画像データは再度ＲＡＭ１２６に記録され、プリント、データ転送、データ表示など、操作部１４４を介して行われるユーザの指示に従って、ＲＡＭ１２６から読み出される。
【００７６】
本実施形態において、ＵＳＢＩ／Ｆ１２８、ＰＣカードＩ／Ｆ１３０（カードスロット１３６）およびＩｒＤＡＩ／Ｆ１３４は図１に示した画像データ入力部および背景画像データ入力部に相当する。
【００７７】
また、パラレルＩ／Ｆ１３２に接続されたＣＤ−ＲＯＭドライブを介して、ＣＤ−ＲＯＭに記録された背景画像データを取得することも可能である。
【００７８】
また、ＣＰＵ１２０および画像処理部１４６は、図１に示した人物領域抽出部１０４、ぼかしフィルタ処理部１０６および画像合成部１０８が相当し、モニタＩ／Ｆ１３８（表示装置１４２）、ＵＳＢＩ／Ｆ１２８（ＵＳＢ対応プリンタ、ＵＳＢ対応記録装置）、およびパラレルＩ／Ｆ１３２（セントロニクス対応プリンタ）が図１に示した画像データ出力部１１６に相当する。
【００７９】
上記の如く構成された背景画像変換装置では、画像データ１００を人物領域１００Ａと背景領域１００Ｂに分割し、人物領域１００Ａと背景領域１００Ｂの境界（エッジ）にはぼかしフィルタ処理を施した後、背景画像データ入力部より入力された背景画像データ１１０をベースに人物領域１００Ａを合成するように構成したので、人物領域１００Ａの抽出に多少のエラーがあった場合にも、違和感なく人物を含む画像データ１００のうち背景領域１００Ｂを別の背景画像データ１１０に置き換える処理が可能になる。
【００８０】
［第２実施形態］
上述した背景画像変換装置１０をネットワーク接続した形態を以下に示す。図３は第２実施形態に係る背景画像変換システムの構成図である。
【００８１】
本実施形態の背景画像変換システム２００は、ＤＳＣ等の撮影装置を用いてユーザによって撮影された画像の背景を、他に用意された背景画像と差し換えて、ユーザに提供する画像処理システムである。
【００８２】
背景画像変換システム２００は、ＤＳＣ２０２と接続可能なユーザ側の通信端末（ＰＣ）２０４（符号２０６はＤＳＣ２０２と通信端末２０４のユーザ）、撮像機能と通信端末機能を備えたカメラ付き携帯電話（以下携帯電話と記載）２０８（符号２１０は携帯電話２０８のユーザ）、大容量記録装置（ストレージ）２１２、サーバコンピュータ２１４を備えた背景画像変化サーバ２１６と、ユーザに提供される画像をプリントするプリント装置２１８およびプリント装置２１８のネットワーク端末（ＰＣ）２２０を備えたプリントステーション２２２とを含んでいる。また、ユーザは２０６、２１０の他に、図３に図示しない複数のユーザがいる。
【００８３】
これら通信端末２０４、携帯電話２０８と背景画像変化サーバ２１６とプリントステーション２２２とがインターネットやＬＡＮ（ローカルエリアネットワーク）などのネットワーク２２４を介して互いに通信可能に接続されている。
【００８４】
なお、ここで言うネットワークとは、コンピュータシステム、端末、データ通信設備を相互に接続したものをいう。接続は、専用回線、公衆回線などのような有線で接続されていても良いし、通信衛星などを通じて無線で接続されていてもよいし、それらの複合形態で接続されていても良い。いわゆるインターネットやＬＡＮなどもネットワークに含まれる。
【００８５】
撮像装置には、ＤＳＣ、カメラ付き携帯電話の他に、静止画撮影可能なデジタルビデオカメラ、カメラ付きノート型パーソナルコンピュータの他にスキャナーやファクシミリ等が含まれる。上述した撮影装置は、直接または通信端末を介して間接的にネットワークに接続できる。
【００８６】
ＤＳＣ２０２は、図示しないが、撮影レンズや絞りなどを含む光学系、前記光学系を介して入射した被写体の光学像を電気信号に変換する撮像素子（ＣＣＤ）、ＣＣＤから取り込まれた画像信号に所定の信号処理を施す画像処理手段、画像データを記憶するメモリ、レリーズボタン等の操作手段、画像表示を行うＬＣＤモニタ、ストロボ調光測光手段、これらの制御を行う制御手段等を含む構成となっている。
【００８７】
シリアルインターフェイス（ＵＳＢ）および赤外線通信（ＩｒＤＡ）インターフェイスやＢｌｕｅｔｏｏｔｈ等の無線インターフェイスを介して、外部の各種機器に対して記憶手段に格納されたデータを転送でき、また、外部の各種機器からデータ（情報）を受信することもできるようになっている。
【００８８】
本実施形態では、ＤＳＣ２０２と通信端末２０４とはＵＳＢを介して接続され、ＤＳＣ２０２から通信端末２０４へ画像データの転送を行い、通信端末２０４はイーサネット（イーサネットに準拠した通信手段を含む）を介してネットワーク２２４に接続される。
【００８９】
また、携帯電話２０８のカメラ部分は、撮影レンズを含む光学撮像手段、光学像を電気信号に変換するＣＣＤ、ＣＣＤから取り込まれた画像信号に所定の処理を施す信号処理手段、画像データを記録するメモリ、シャッターボタン等の操作手段、画像表示を行うＬＣＤモニタおよびこれらを統括制御する制御手段を含む構成になっている。
【００９０】
携帯電話２０８は携帯電話網２２６を介してネットワーク２２４に接続されている。カメラ機能を用いて撮影した画像データは、携帯電話網２２６およびネットワーク２２４を介して背景画像変化サーバ２１６に転送可能である。なお、携帯電話網２２６にはインターネット網が含まれている。
【００９１】
プリントステーション２１８は、通信端末２２０を介して送られてくる画像データの印刷を行うプリント装置２１８を備えている。プリント装置２１８は背景画像変化サーバ２１６と直接接続されていてもよいし、他のネットワークを介して接続されていてもよい。
【００９２】
通信端末２０４、携帯電話２０８、プリント装置２１８および通信端末２２０には、画像データを一覧表示する画像ビューアソフトがインストールされている。このビューアソフトは、選択した画像の画像サイズを変換する画像サイズ変換機能、適宜のアスペクト比で切り取るトリミング機能、画像ファイルのフォーマット変換機能等の画像操作に関する各種機能を有しており、各ユーザが必要な機能を選択してインストールすることができる。また、画像ビューアソフトはプリント装置２１８および通信端末２２０の少なくとも何れか一方にインストールされていればよい。
【００９３】
通信端末２０４、携帯電話２０８、プリント装置２１８および通信端末２２０には少なくとも画像データを一覧表示する機能がインストールされている。
【００９４】
図４は背景画像変化サーバ２１６の機能を説明するブロック図である。図４中図１と同一または類似する部分には同一の符号を付し、その説明は省略する。
【００９５】
背景画像変化サーバ２１６では、ネットワーク２２４を介してユーザから転送された画像データ１００から人物領域抽出部１０４にて人物領域１００Ａと背景領域１００Ｂに分割し、ぼかしフィルタ処理部１０６を経て、人物領域１００Ａを抽出する。
【００９６】
予め、背景画像変化サーバ２１６にはいくつかの背景画像データが準備されており、前記背景画像データの中からユーザによって選択された背景画像データ１１０と、画像データ１００から抽出された人物領域１００Ａとを、画像合成部１０８にて合成し、背景変化画像データ１１２を生成する。
【００９７】
前述のとおり生成された背景変化画像データ１１２は画像データ出力部１１６より出力される。
【００９８】
背景画像データ１１０はユーザ側で用意し、ユーザから背景画像変化サーバ２１６に提供してもよい。
【００９９】
背景画像変化サーバ２１６に準備されている背景画像データをユーザが選択する形態は、画像データ１００にユーザ要求情報を添付する形態でもよいし、画像データとは別にユーザ要求情報を当該ユーザから背景画像変化サーバに送信する形態でもよい。
【０１００】
画像データ１００において背景が複雑な場合や背景色が肌色である場合には、人物領域の抽出に失敗するケースがある。背景画像変化サーバ２１６では人物抽出が成功したか否かを判断するために確信度が算出されている。以下に、確信度を求める流れを説明する。
【０１０１】
確信度は、図４に示した人物領域抽出部１０４において人物領域１００Ａと背景領域１００Ｂに分割する処理の中で算出される。
【０１０２】
図５は、図４に示した人物領域１００Ａと背景領域１００Ｂに分割する際の、顔座標検出部３００のブロック図である。
【０１０３】
図４に示した画像データ１００が入力されると、図５の特徴抽出処理部３０２では顔パーツ抽出のために特徴抽出処理が行われる。特徴抽出処理ではウェーブレット変換を行い、適切な位置と周波数のウェーブレット係数を取り出して量子化される。
【０１０４】
また、事前に多数のサンプル画像から前述した特徴抽出処理と同様の処理で求めた顔パーツ辞書データ３０４を予め用意し、マッチング処理部３０６において、特殊抽出処理を施された画像データと顔パーツ辞書データとのマッチング処理を行う。
【０１０５】
一致度算出部３０８では、特徴抽出処理を施された画像データと顔パーツ辞書データとの一致度が算出される。
【０１０６】
一致度判定部３１０において、当該一致度が設定されたしきい値を超えるときには、当該一致度が最も高い画像上の位置に顔パーツがあると判定され、当該一致度が設定されたしきい値を超えていないときには対象の顔パーツが存在しないと判定する。対象の顔パーツが存在しないときには（一致度小に相当）、顔パーツ座標不定情報が提供される。
【０１０７】
顔パーツ座標確定部３１２では、一致度判定部３１０にて「顔パーツがある」と判定されたときには（一致度大に相当）、画像内における当該顔パーツの座標を確定させ、顔パーツ座標が提供される。
【０１０８】
図６は、図４に示した人物領域抽出部１０４内の確信度提供部３２０を抜粋したブロック図である。
【０１０９】
図４に示した画像データ１００は、図５に示した顔座標検出部３００によって、上述したように顔部分の検出が行われる。
【０１１０】
図６の領域分割部３２２では、顔部分検出の結果、顔部分と判定された位置（座標）を用いて、似た色やテクスチャをまとめて分割する領域分割処理を行う。「目の座標を含む肌色領域」を顔領域、「目のやや上にあり、黒、茶色などの領域」を髪領域とするように人物に含まれる構成要素を検出して人物と背景との境界線（エッジ）を検出する。
【０１１１】
一方、多くに人物領域画像から、目の位置および人物と背景との境界線の平均的な位置関係示す人物領域辞書データ３２４を事前に作成しておく。
【０１１２】
確信度算出部３２６では、当該画像データをもとに求められた人物と背景との境界線と、人物領域辞書データ３２４にある人物と背景との境界線の平均的な位置関係との一致度を算出する。前記一致度は、目、髪、肩などの位置関係が平均的なほど高い値になる。このように求められた一致度が人物領域抽出における確信度である。
【０１１３】
判定部３２８では、求められた一致度が設定されたしきい値を超えていないときには画像データ内に人物領域は存在しないと判定され（確信度小に相当）、人物領域不定のため確信度が提供される。
【０１１４】
当該一致度が、設定されたしきい値を超えたときには（確信度大に相当）、最も一致度が高い領域を人物領域とする。二値化部３３０において、人物候補領域は二値化され、図４に示したぼかしフィルタ処理部１０６に送られる。
【０１１５】
図７は、図４乃至図６に示した画像分割合成による画像の推移および確信度の関係を示した図である。
【０１１６】
原画像４００は、図４に示した人物領域抽出部１０４において、人物領域と背景領域に分割される。また、図６に示した確信度算出部３２６において確信度が算出される。
【０１１７】
符号４０２は、確信度が設定されたしきい値を超えている場合の人物領域抽出画像である。人物領域が抽出されているので、ユーザが指定した背景画像と合成され、合成画像４０４がユーザに提供される。
【０１１８】
一方、符号４０６は、確信度が設定されたしきい値を超えていない場合の人物領域抽出画像である。人物領域と背景領域の境界線が複雑な形状であるために、人物領域が特定できない。したがって、人物領域を抽出できないために、画像合成は行われない。この場合、「処理ができません。背景を変えて撮影してください」という画像処理ができないため再撮影を促すメッセージがユーザに提供される。
【０１１９】
図８には上述したメッセージの表示例を示す。このユーザは、カメラ付き携帯電話（以下携帯電話と記載）５００を通信端末として使用している。携帯電話５００の機能は図３に示した携帯電話２０８と同じであるので説明を省略する。
【０１２０】
携帯電話５００に備えられた表示装置（ＬＣＤモニタ）５０２には、「処理できません。背景を変えて撮影してください。」というメッセージ５０４が表示される。
【０１２１】
図９は、本発明の第２実施形態に係る背景画像変換システムの制御の流れを示したフローチャートである。図９ではユーザは携帯電話を通信端末として使用している。
【０１２２】
ユーザは、通信端末（ＰＣ、携帯電話）を介して、原画像データを背景画像変化サーバ２１６に送出する（ステップＳ１０）。
【０１２３】
背景画像変化サーバ２１６ではサーバコンピュータ２１４が原画像データを受信する（ステップＳ１２）。受信された原画像データは、図４に示した人物領域抽出部１０４において人物領域と背景領域に分割される（図９のステップＳ１４）。また、図６に示した確信度算出部３２６において確信度が算出され（ステップＳ１６）、判定部３２８において人物領域が抽出されたか否かが判定される（図９のステップＳ１８）。
【０１２４】
確信度が、設定されたしきい値より大きい場合には（ＹＥＳ判定）、予め背景画像変化サーバ２１６（図４）に用意された背景画像の中からユーザが選択した背景画像と、ユーザから送出された原画像データの人物領域とを合成し（図９のステップＳ２０）、合成画像を原画像データ発信元ユーザへ返信して（ステップＳ２２）、背景画像変化サーバ２１６の処理を終了する（ステップＳ２４）。
【０１２５】
ステップＳ１８において、確信度が、設定されたしきい値より小さい場合には（ＮＯ判定）、ユーザから送られた画像から人物領域は抽出できないと判定され、図４の背景画像変化サーバ２１６はサーバコンピュータ２１４を介して、原画像データの発信元のユーザに画像処理ができないので再撮影を促すメッセージを返信する（図９のステップＳ２６）。ステップＳ２６において元画像データの発信元ユーザにメッセージを返信すると、背景画像変化サーバ２１６の処理を終了する（ステップＳ２４）。
【０１２６】
一方、ユーザ側では、ステップＳ１０において原画像データを図４の背景画像変化サーバ２１６に送出すると、背景画像変化サーバ２１６から返信される情報を受信したか否かを監視する（図９のステップＳ２８）。
【０１２７】
ステップＳ２８において、図４の背景画像変化サーバ２１６から返信される情報を受信しない場合には（ＮＯ判定）、背景画像変化サーバ２１６から返信される情報の受信待ちを継続し、背景変化サーバ２１６から情報を受信した場合には（ＹＥＳ判定）、受信した情報がメッセージであるか否かを判定する（図９のステップＳ３０）。受信した情報がメッセージでない場合には（ＮＯ判定）、受信した情報は合成画像であり、携帯電話の表示装置に当該合成画像が表示され（ステップＳ３４）、ユーザ側の制御が終了する（ステップＳ３８）。
【０１２８】
ステップＳ２８において、受信した情報がメッセージである場合（ＹＥＳ判定）、携帯電話の表示装置にはメッセージが表示され（ステップＳ３６）、ユーザ側の制御が終了される（ステップＳ３８）。
【０１２９】
ステップＳ２８において背景画像変化サーバ２１６から返信される情報は、合成画像あるいはメッセージの少なくとも何れか一方でよい。
【０１３０】
本実施形態では、元画像データから人物領域の抽出が失敗したときに、背景画像変化サーバ２１６から、処理ができない旨のメッセージをユーザに返信する形態を例示したが、人物領域の抽出に成功したときにも、画像合成に成功した旨のメッセージをユーザに返信してもよい。
【０１３１】
背景画像変化サーバ２１６において画像合成に関わる処理が終了すると、画像合成処理の結果を示したＥメールが画像送信元のユーザに配信される。画像合成が成功したときには、ユーザは背景画像変化サーバ２１６から指定されたサイトにアクセスして、そこから合成画像をダウンロードできる。
【０１３２】
また、ユーザが所定のサイトにアクセスして画像合成の結果を確認する形態も考えられる。
【０１３３】
ユーザが合成画像を確認した後、プリント用紙やシール等にプリントを希望する場合に、画像を確認したサイトからプリント形状や数量を指定することができる。当該サイトはユーザから合成画像のプリント注文を受注すると、ユーザが指定したプリントステーション（ラボ、セルフ操作式プリントマシン等）にユーザが指定したとおりプリント指示を送る。
【０１３４】
ユーザは指定したプリントステーションに行き、注文したプリント画像を受け取ることができる。また、ユーザが注文したプリント画像の宅配を指定したときには、プリントステーションから配送サービスを介して、プリント画像がユーザに配送される。
【０１３５】
プリント代金の課金方法は、サイト上で電子決済を行う形態、プリント画像と引き換えに代金を支払う形態、サイト使用料と合わせてサイト運営者が代金を徴収する形態が考えられる。サイト上での電子決済にはクレジットカードによる決済を含んでいる。セルフ操作式プリントマシンでは、代金を挿入するとプリント画像が提供される形態もある。
【０１３６】
図３に示した背景画像変化サーバ２１６は、主として画像処理を行う画像処理サーバと、主として通信管理、サイト管理、メール配信等を行う管理サーバとから構成されていてもよい。
【０１３７】
上記の如く構成された背景画像変換システム２００では、ユーザが撮影した原画像を、ネットワーク２２４を介して背景画像変化サーバ２１６に送出し、予め背景画像変化サーバ２１６に用意された背景画像データの中からユーザが好みの背景画像データを選択すると、背景画像変化サーバ２１６では、原画像から人物領域を抽出して、ユーザが選択した背景画像データと合成した合成画像をユーザに返信する。ユーザは撮影した画像を様々な背景に変えて楽しむことができる。
【０１３８】
原画像から人物領域を抽出することは難しい技術であるために、抽出に失敗するケースもある。原画像４００から人物領域の抽出が成功したか失敗したかを判断する指標として確信度を導入している。人物領域抽出の際に確信度を算出し、確信度が設定されたしきい値を超えるときには抽出が成功したと判断され合成画像４０４が生成される。また、確信度が設定されたしきい値を超えないときには、抽出が失敗したと判断され、ユーザには合成画像が提供されず、画像合成処理ができない旨のメッセージがユーザに提供される。したがって、確信度が低い処理画像については、ユーザに提供しないシステムとすることで、ユーザに不快感を与えないサービスを提供することができる。
【０１３９】
【発明の効果】
本発明によれば、１つの画像を対象物領域と背景領域に分割し、対象物領域と画像領域の境界にぼかし処理を施すようにしたので、対象物領域が複雑な形状として抽出されず、背景領域と他の背景画像とを違和感なく差し換えることができる。
【０１４０】
ユーザは通信端末を介してネットワーク上で画像変換サーバと画像データのやりとりを行うことができるので、様々なユーザが本画像処理システムを利用し、画像の背景をいろいろな背景に差し換えて楽しむことができる。
【０１４１】
人物領域の推定抽出成功率である確信度を導入すると、対象物領域と背景領域との分割が成功したか失敗したかが分かるので、元の画像が対象物領域と背景領域とに分割できるか否かをユーザに明示するために、確信度をユーザに提供するとよい。確信度に代えて、対象物領域と背景領域との分割が成功したかあるいは失敗したか何れかを表すメッセージをユーザに提供してもよい。確信度が設定されたしきい値以下である場合には、対象物領域と背景領域との分割を失敗したと判断し、当該対象物領域を使用して生成された合成画像の出力が禁止され、不自然な画像等の品質の低い画像をユーザに提供しないことで、サービス品質の低下を抑えることができる。
【図面の簡単な説明】
【図１】本発明の第１実施形態に係る背景画像変換装置の画像合成機能を説明するブロック図
【図２】本発明の第１実施形態に係る背景画像変換装置のブロック図
【図３】本発明の第２実施形態に係る背景画像変換システムの構成図
【図４】画像変化サーバの機能を説明するブロック図
【図５】顔座標検出部のブロック図
【図６】確信度提供部のブロック図
【図７】画像合成および確信度の関係を示した図
【図８】メッセージの表示例を示した図
【図９】本発明の第２実施形態に係る背景画像変換システムの制御の流れを示したフローチャート
【符号の説明】
１０…背景画像変換装置、１０２…画像データ入力部、１０４…人物領域抽出部、１０６…ぼかしフィルタ処理部、１０８…画像合成部、１１４…背景画像データ入力部、１１６…画像データ出力部、２００…背景画像変換システム、２０２…カメラ、２１４…サーバコンピュータ、２１６…背景画像変化サーバ、３２６…確信度算出部、３２８…判定部、５０２…表示装置、５０４…メッセージ

Claims

画像データを入力する画像データ入力手段と、
前記画像データ入力手段により入力された画像から対象物領域と背景領域とを分割する領域分割手段と、
前記領域分割手段により分割された対象物領域と背景領域との境界部分をぼかすように信号処理を行うぼかし処理手段と、
背景画像データを入力する背景画像入力手段と、
前記ぼかし処理手段により前記境界部分にぼかし処理が施された前記対象物領域と前記背景画像入力手段から入力された前記背景画像データとを合成し合成画像を生成する合成手段と、
前記合成手段により合成された合成画像を出力する出力手段と、
を備えたことを特徴とする画像処理装置。
前記対象物領域と前記背景領域との分割推定成功率を表す確信度を算出する確信度算出手段を備えたことを特徴とする請求項１記載の画像処理装置。
前記確信度算出手段により求められた確信度の情報を出力する確信度出力手段を備えたことを特徴とする請求項２記載の画像処理装置。
対象物を含む画像データをネットワーク経由で送出する通信手段を備えた通信端末と、前記ネットワーク経由で前記通信端末から送られてきた画像データを処理する画像処理サーバと、から構成される画像処理システムであって、
前記画像処理サーバは、前記通信端末から前記ネットワーク経由で画像データを受け入れる画像データ入力手段と、
前記画像データ入力手段により入力された画像から対象物領域と背景領域とを分割する領域分割手段と、
前記領域分割手段により分割された対象物領域と背景領域との境界部分をぼかすように信号処理を行うぼかし処理手段と、
背景画像データを入力する背景データ入力手段と、
前記ぼかし処理手段により前記境界部分にぼかし処理が施された前記対象物領域と前記背景画像入力手段から入力された前記背景データとを合成し合成画像を生成する合成手段と、
前記合成手段により合成された合成画像を前記ネットワーク経由で提供する提供手段と、
を備えたことを特徴とする画像処理システム。
前記画像処理サーバは、前記対象物領域と前記背景領域との分割推定成功率を表す確信度を算出する確信度算出手段と、
前記確信度算出手段により算出された確信度の情報を出力する確信度出力手段を備えたことを特徴とする請求項４記載の画像処理システム。
前記画像処理サーバは、前記確信度算出手段で算出された確信度が予め定められたしきい値よりも低い場合には前記合成画像の出力を禁止する制御を行う出力制御手段を備えたことを特徴とする請求項５記載の画像処理システム。
前記通信端末は、前記画像処理サーバで生成された画像を受信し、該受信した画像データに基づいて画像内容を表示する表示手段を備えたことを特徴とする請求項５または６記載の画像処理システム。
前記通信端末は、前記確信度算出手段で算出された確信度が予め定められたしきい値よりも低い場合に、前記合成画像を前記表示手段に表示させない制御を行う表示制御手段を有することを特徴とする請求項７記載の画像処理システム。
前記通信端末は、前記確信度算出手段で算出された確信度が予め定められたしきい値よりも低い場合に、前記表示手段に警告を表示する制御を行う警告制御手段を有することを特徴とする請求項７または８記載の画像処理システム。