JP2015041254A - Ｔｒｉｍａｐ生成装置、Ｔｒｉｍａｐ生成方法、及びプログラム - Google Patents

Abstract

【課題】適切にクロマキー処理を実行するためのＴｒｉｍａｐを全自動で生成するＴｒｉｍａｐ生成装置等を提供する。【解決手段】クロマキー合成装置１００のＴｒｉｍａｐ生成部１３は、被写体を撮影した原画像３０の入力を受付け（Ｓ１０１）、頭頂部及び顎の位置の入力を受付ける（Ｓ１０２）。Ｔｒｉｍａｐ生成部１３は、原画像３０の各画素を前景領域と背景領域と未知領域とに分類して、Ｔｒｉｍａｐを生成する（Ｓ１０３）。Ｔｒｉｍａｐ生成部１３は、前景領域更新処理を実行し（Ｓ１０４）、未知領域の画素の色が前景領域の画素に基づいて生成した色ヒストグラムに存在する場合に、前景領域に更新する色ヒストグラム判定処理を実行する（Ｓ１０５）。Ｔｒｉｍａｐ生成部１３は、マトリクス内カウンタ処理、及び膨張処理を実行して（Ｓ１０６、Ｓ１０７）、アルファマスク生成部１４にて使用するＴｒｉｍａｐ５２を生成する。【選択図】図４

Description

本発明は、被写体画像を自動的に前景領域と背景領域と未知領域とに分類するＴｒｉｍａｐ生成装置等に関するものである。

証明写真ボックスのサービスには、撮影した画像を対象にした様々な画像加工サービス（背景合成、美肌補正等）が存在し、その１つとしてクロマキー処理がある。クロマキー処理とは、単色の背景で撮影した被写体画像から被写体画像領域（以下、前景領域と表記）を抽出して、任意の背景画像に合成する処理である。

クロマキー処理には、色情報に基づく前景領域抽出手法が適用されるのが一般的である。色情報に基づく前景領域抽出手法として、非特許文献１〜３に記載の技術が知られている。

非特許文献１には、グレー画像を対象にして、所望の画像領域に前景領域を表すマーカー、及びそれ以外の領域（背景領域）を表すマーカーを予めユーザが付与し、付与されたマーカーに基づいて、グラフカット（Graph Cuts）により前景領域を抽出する技術が記載されている。

非特許文献２には、カラー画像を対象にして、グラフカットを応用して前景領域を抽出する技術が記載されている。

非特許文献３には、原画像を前景領域、背景領域、前景領域と背景領域のいずれに属すか不明の未知領域の３つの領域に分類したマップ（以下、Ｔｒｉｍａｐと表記）を予め作成し、未知領域における前景画像領域の画素、背景領域の画素の混合比率（以下、α値と表記）を推定することで、前景領域を抽出する技術が記載されている。

Y.Boykov, M. Jolly, "Interactive graph cuts for optimal boundary and regionsegmentation of objects in N-Dimages", ICCV, 2001 C.Rother, V. Kolmogorov, A. Blake, "Grabcut - interactive foreground extractionusing iterated graph cuts",SIGGRAPH, 2004 C.Rhemann, C. Rother, A. Rav-Acha, T. Sharp, "High Resolution Matting viaInteractive Trimap Segmentation",CVPR, 2008

しかしながら、非特許文献１〜３に記載の技術では、前景領域、背景領域等の領域指定を手作業で入力する必要があり、証明写真ボックス等の無人機器へそのまま適用するのは困難である。

また、仮に自動でＴｒｉｍａｐを作成するとしても、前景領域に背景色に類似する色が含まれている場合に、その領域が背景領域と判定されることや、被写体に背景の色が透き通る物体（レース、カーテン等）が含まれる場合、前景領域と背景領域の区別が困難であることがあった。

本発明は、前述した問題点に鑑みてなされたもので、その目的とすることは、適切にクロマキー処理を実行するためのＴｒｉｍａｐを全自動で生成するＴｒｉｍａｐ生成装置等を提供することである。

前述の課題を解決するために第１の発明は、単一の背景色で被写体を撮影した原画像を構成する各画素を、背景領域と、前記被写体の部分である前景領域と、前記背景領域又は前記前景領域のいずれに属するか不明の未知領域とに分類した３値画像であるＴｒｉｍａｐを生成するＴｒｉｍａｐ生成装置であって、原画像を入力する原画像入力手段と、前記背景色に基づいて、入力した前記原画像のＴｒｉｍａｐを生成する画像領域分類手段と、前記Ｔｒｉｍａｐの前景領域に対応する前記原画像の色ヒストグラムに基づいて、前記Ｔｒｉｍａｐを更新する色ヒストグラム判定手段と、を備えることを特徴とするＴｒｉｍａｐ生成装置である。
第１の発明のＴｒｉｍａｐ生成装置によれば、原画像の前景領域中に、背景と類似する色が存在する場合や、背景が透き通る領域が存在する場合においても、適切にクロマキー合成処理を実行することが可能なＴｒｉｍａｐを自動的に生成することができる。

前記被写体は、ほぼ胸のラインより上の人物であって、前記原画像における肌色領域を特定することによって顔領域を特定するとともに、当該顔領域の幅から胸元領域を特定し、前記画像領域分類手段の生成した前記Ｔｒｉｍａｐにおける前記顔領域及び前記胸元領域に対応する画素を、前記前景領域に更新する前景領域更新手段を、さらに備えることが望ましい。
これにより、原画像において明らかに前景領域とされるべき領域を、確実に前景領域とすることができるとともに、色ヒストグラム判定手段に適切な色ヒストグラムを生成させることができる。

前記色ヒストグラム判定手段は、前記Ｔｒｉｍａｐの前記前景領域に対応する前記原画像の画素値の色ヒストグラムを生成する色ヒストグラム生成手段と、前記Ｔｒｉｍａｐの前記未知領域に対応する前記原画像の各画素値について、色ヒストグラム上に存在する色番号と一致するか否かを判定する判定手段と、一致する場合は、前記Ｔｒｉｍａｐにおいて、前記未知領域を構成する当該画素を前記前景領域に更新する第１の更新手段と、を備えることが望ましい。
これにより、未知領域において、前景領域に一致する色を持つ画素を前景領域とすることができる。

前記色ヒストグラム生成手段は、前記Ｔｒｉｍａｐの前記前景領域に対応する前記原画像の画素であって、ほぼ胸のラインより上の人物である前記被写体の顎のラインより下の画素の画素値の前記色ヒストグラムを生成することが望ましい。
これにより、被写体である人物の服の領域や首の領域を正しく前景領域とすることができる。

前記色ヒストグラム生成手段は、生成した色ヒストグラム上に存在する色番号のうち、当該色番号に属する画素数の少ない色番号を、前記色ヒストグラムから除外することが望ましい。
これにより、当該原画像中の前景領域に存在するノイズを除外する効果が期待できる。

前記色ヒストグラム判定手段が更新した前記Ｔｒｉｍａｐに対して、前記未知領域を構成する各画素を中心とした所定の大きさのマトリクスを生成し、生成された前記マトリクス内に存在する画素を、前記前景領域、前記背景領域、及び前記未知領域のいずれに属するかを判定して、それぞれの領域ごとの画素数をカウントするマトリクス内カウンタ手段と、カウントされた前記前景領域の画素数が、カウントされた前記未知領域の画素数より多い場合に、前記Ｔｒｉｍａｐにおいて、当該マトリクスの中心の画素を前記前景領域に更新する第２の更新手段と、をさらに備えることが望ましい。
これにより、前景領域に囲まれた（内部にある）未知領域を前景領域とすることができる。

前記第２の更新手段は、前記マトリクス内カウンタ手段の生成した前記マトリクス内において、前記背景領域に属する画素が１以上カウントされた場合には、当該マトリクスの中心画素を変更しないことが望ましい。
これにより、背景領域に接する未知領域を、前景領域としないようにすることができる。

更新された前記Ｔｒｉｍａｐの前記未知領域に対して、所定回数膨張処理を施して、前記未知領域を膨張させる膨張手段を、さらに備えることが望ましい。
これにより、未知領域を膨張させることができ、結果として、より適切に合成画像を生成することができる。

第２の発明は、コンピュータが行う、単一の背景色で被写体を撮影した原画像を構成する各画素を、背景領域と、前記被写体の部分である前景領域と、前記背景領域又は前記前景領域のいずれに属するか不明の未知領域とに分類した３値画像であるＴｒｉｍａｐを生成するＴｒｉｍａｐ生成方法であって、原画像を入力する原画像入力ステップと、前記背景色に基づいて、入力した前記原画像のＴｒｉｍａｐを生成する画像領域分類ステップと、前記Ｔｒｉｍａｐの前景領域に対応する前記原画像の色ヒストグラムに基づいて、前記Ｔｒｉｍａｐを更新する色ヒストグラム判定ステップと、を含むことを特徴とするＴｒｉｍａｐ生成方法である。
第２の発明のＴｒｉｍａｐ生成方法によれば、原画像の前景領域中に、背景と類似する色が存在する場合や、背景が透き通る領域が存在する場合においても、適切にクロマキー合成処理を実行することが可能なＴｒｉｍａｐを自動的に生成することができる。

第３の発明は、コンピュータを、単一の背景色で被写体を撮影した原画像を構成する各画素を、背景領域と、前記被写体の部分である前景領域と、前記背景領域又は前記前景領域のいずれに属するか不明の未知領域とに分類した３値画像であるＴｒｉｍａｐを生成するＴｒｉｍａｐ生成装置として機能させるためのプログラムであって、前記コンピュータを、原画像を入力する原画像入力手段、前記背景色に基づいて、入力した前記原画像のＴｒｉｍａｐを生成する画像領域分類手段、前記Ｔｒｉｍａｐの前景領域に対応する前記原画像の色ヒストグラムに基づいて、前記Ｔｒｉｍａｐを更新する色ヒストグラム判定手段、として機能させるためのプログラムである。
第３の発明のプログラムによれば、原画像の前景領域中に、背景と類似する色が存在する場合や、背景が透き通る領域が存在する場合においても、適切にクロマキー合成処理を実行することが可能なＴｒｉｍａｐを自動的に生成することができる。

本発明によって、適切にクロマキー処理を実行するためのＴｒｉｍａｐを全自動で生成するＴｒｉｍａｐ生成装置等を提供することができる。

本実施形態に係るクロマキー合成装置のハードウエアの構成例を示すブロック図 本実施形態に係るクロマキー合成装置の機能構成例を示すブロック図 クロマキー合成装置の記憶部が保持するデータの一例 Ｔｒｉｍａｐ生成処理の流れを示すフローチャート 原画像を説明する図 前景領域更新処理の流れを示すフローチャート 前景領域更新処理を説明する図 色ヒストグラム判定処理の流れを示すフローチャート 色ヒストグラム判定処理実行前のＴｒｉｍａｐを示す図 色ヒストグラム判定処理実行後のＴｒｉｍａｐを示す図 マトリクス内カウンタ処理の流れを示すフローチャート マトリクス内カウンタ処理を説明する図 膨張処理実行後のＴｒｉｍａｐを示す図 アルファマッティング処理を説明する図 アルファマスクを示す図

以下、図面に基づいて、本発明の好適な実施形態について詳細に説明する。

図１は、本発明の実施形態に係るクロマキー合成装置１００を実現するコンピュータのハードウエア構成図である。コンピュータは、図１に示すように、例えば、制御部２１、記憶部２２、メディア入出力部２３、通信制御部２４、入力部２５、表示部２６、周辺機器Ｉ／Ｆ部２７等が、バス２８を介して接続されて構成される。

制御部２１は、ＣＰＵ（Central
Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等により構成される。
ＣＰＵは、記憶部２２、ＲＯＭ、記憶媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス２８を介して接続された各装置を駆動制御し、クロマキー合成装置１００が行う後述する処理を実現する。ＲＯＭは、不揮発性メモリであり、コンピュータのブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持する。ＲＡＭは、揮発性メモリであり、ロードしたプログラムや、データ等を一時的に保持すると共に、制御部２１が各処理を行うために使用するワークエリアを備える。

記憶部２２は、ＨＤＤ（Hard
Disk Drive）等であり、制御部２１が実行するアプリケーションプログラムや、プログラム実行に必要なデータ、ＯＳ（Operating System）等が格納されている。これらのプログラムコードは、制御部２１により必要に応じて読み出されてＲＡＭに移され、ＣＰＵに読み出されて実行される。

メディア入出力部２３は、例えば、ＣＤドライブ、ＤＶＤドライブ、ＭＯドライブ、フロッピー（登録商標）ディスクドライブ、等のメディア入出力装置であり、原画像等のデータの入出力を行う。
通信制御部２４は、通信制御装置、通信ポート等を有し、コンピュータとネットワーク間の通信を媒介する通信インターフェースであり、ネットワークを介して、他の装置間との通信制御を行う。

入力部２５は、データ入力を行い、例えば、キーボード、マウスなどのポインティングデバイス、テンキーなどの入力装置を有する。入力されたデータを制御部２１へ出力する。
表示部２６は、例えば、ＣＲＴモニタ、液晶パネル等のディスプレイ装置と、ディスプレイ装置と連携して表示処理を実行するための論理回路（ビデオアダプタ等）で構成され、制御部２１の制御により入力された表示情報をディスプレイ装置上に表示させる。
尚、入力部２５と表示部２６は、それらの機能が一体化した、例えば、タッチパネル付ディスプレイであっても良い。

周辺機器Ｉ／Ｆ部（インターフェース）２７は、コンピュータに周辺機器を接続させるためのポートであり、周辺機器Ｉ／Ｆ部２７を介してコンピュータは周辺機器とのデータの送受信を行う。周辺機器Ｉ／Ｆ部２７は、ＵＳＢやＩＥＥＥ１３９４やＲＳ−２３２Ｃ等で構成されており、通常複数の周辺機器Ｉ／Ｆを有する。周辺機器との接続形態は、有線、無線を問わない。
バス２８は、各装置間の制御信号、データ信号等の授受を媒介する経路である。

図２は、本実施形態におけるクロマキー合成装置１００の機能構成例を示すブロック図である。図２に示すように、クロマキー合成装置１００は、原画像入力部１１、頭頂部及び顎の位置入力部１２、Ｔｒｉｍａｐ生成部１３、アルファマスク生成部１４、背景画像合成部１５、画像出力部１６等で構成される。

クロマキー合成装置１００は、Ｔｒｉｍａｐ生成部１３によって原画像入力部１１から入力された原画像のＴｒｉｍａｐを生成し、アルファマスク生成部１４によってアルファマスクと前景画像を生成し、背景合成部１５によって合成画像を生成する。

原画像入力部１１は、例えば、ブルーバック、グリーンバック等の概ね単一色の背景で被写体を撮影した原画像をクロマキー合成装置１００に入力する。
原画像は、証明写真ボックス等の撮影場所で人物等の被写体を撮影することによって得られ、メディア入出力部２３や入力部２５、ネットワークを介して通信制御部２４から入力されてもよく、その方法は問わない。

頭頂部及び顎の位置入力部１２は、入力された原画像に基づいて、主に入力部２５により、頭頂部及び顎の位置の座標値等の情報が入力される。

Ｔｒｉｍａｐ生成部１３は、記憶部２２に記憶されているアプリケーションをＲＡＭに読み出して、制御部２１が実行することにより、実現される。
Ｔｒｉｍａｐ生成部１３は、原画像入力部１１により入力された原画像に対して、頭頂部及び顎の位置入力部１２により入力された情報、記憶部２２に記憶されているデータ（図３参照）等を使用して、原画像の各画素を背景領域、前景領域、未知領域のいずれかに分類したＴｒｉｍａｐを生成する。Ｔｒｉｍａｐ生成部１３の実行するＴｒｉｍａｐ生成処理の詳細は、後述する。

アルファマスク生成部１４は、記憶部２２に記憶されているアプリケーションをＲＡＭに読み出して、制御部２１が実行することにより、実現される。
アルファマスク生成部１４は、原画像入力部１１により入力された原画像と、Ｔｒｉｍａｐ生成部１３から取得したＴｒｉｍａｐを元に、原画像の各画素のα値を算出し、アルファマスクと前景画像とを生成する。アルファマスク生成部１４の実行する処理は、非特許文献４に記載の処理に基づくものである。詳細は後述する。
＜非特許文献４＞ Eduardo
S.L.Gastal, Manuel M.Oliveira, Shared Sampli-ng for Real-Time Alpha Matting,
Computer Graphics Forum Volume 29(2010),
November 2
Proceedings of Eurographics 2010, pp.575-584

背景合成部１５は、記憶部２２に記憶されているアプリケーションをＲＡＭに読み出して、制御部２１が実行することにより、実現される。
背景合成部１５は、アルファマスク生成部１４から取得した前景画像と、記憶部２２に記憶されている背景画像を、アルファマスク生成部１３により生成されたアルファマスクに応じて合成し、合成画像を生成する。背景合成部１５の実行する処理は、後述する。

画像出力部１６は、画像合成部１６にて合成された合成画像を、表示部２６等により出力する。

なお、本発明のＴｒｉｍａｐ生成装置は、本実施形態におけるクロマキー合成装置１００の機能における少なくとも原画像入力部１１、頭頂部及び顎の位置入力部１２、Ｔｒｉｍａｐ生成部１３の機能によって実現されるものである。

図３は、クロマキー合成装置１００の記憶部２２が保持するデータの一例を示す図である。

記憶部２２が保持するデータとして、例えば、原画像入力部１１から入力される原画像の画像データ２２ａ、原画像の背景色２２ｂ、後述するＴｒｉｍａｐ生成処理にて使用するマトリクスサイズ２２ｃ及び未知領域の膨張処理回数２２ｄ、Ｔｒｉｍａｐ生成部１３により生成されるＴｒｉｍａｐ２２ｅ、アルファマスク生成部１４により生成されるアルファマスク２２ｆ及び前景画像２２ｇ、背景画像合成部１５にて使用する背景画像２２ｈ、Ｔｒｉｍａｐ生成部１３及びアルファマスク生成部１４が実行する処理にて使用する各種パラメータ２２ｉである。

背景色２２ｂとは、原画像の背景として使用されるブルーバック等の背景色の代表色であり、ＲＧＢ値あるいはＨＳＶ表色系等の色相／彩度／明度の組み合わせで指定される。

[Ｔｒｉｍａｐ生成処理]
続いて、クロマキー合成装置１００の制御部２１（Ｔｒｉｍａｐ生成部１３）が実行するＴｒｉｍａｐ生成処理について、図４〜図１３を参照して説明する。Ｔｒｉｍａｐ生成処理とは、原画像のＴｒｉｍａｐを自動で生成する処理である。

図４は、Ｔｒｉｍａｐ生成処理の流れを示すフローチャートである。
クロマキー合成装置１００の制御部２１（Ｔｒｉｍａｐ生成部１３）は、原画像入力部１１から原画像の入力を受付ける(ステップＳ１０１)。

図５は、原画像３０の一例を示す図である。
図５に示すように、原画像３０はブルーバック等を背景３０ｂとした被写体(人物)３０ａを撮影した写真の画像データである。ここでは、写真を全体に漫画化してある。背景３０ｂの代表色（背景色２２ｂ）は、記憶部２２に記憶されている。

ここで、被写体３０ａの一部（例えば、破線で囲む部分３０ｃ）に背景３０ｂと類似の色が含まれているとする。その場合、従来手法ではＴｒｉｍａｐのその領域が背景領域と判定されてしまい、生成された合成画像の被写体の一部の色が抜けてしまうことがあった。本実施形態のＴｒｉｍａｐ生成処理を実行することで、前景領域（被写体３０ａ）内の背景３０ｂに類似する色領域においても、前景領域と判定してＴｒｉｍａｐを生成することが可能であり、これにより適切な合成画像を得ることができる。

クロマキー合成装置１００の制御部２１（Ｔｒｉｍａｐ生成部１３）は、頭頂部及び顎の位置入力部１２から、頭頂部の位置及び顎の位置の座標値の入力を受付ける(ステップＳ１０２)。

クロマキー合成装置１００の制御部２１（Ｔｒｉｍａｐ生成部１３）は、画像領域分類処理を実行する（ステップＳ１０３）。

画像領域分類処理とは、原画像３０の各画素の色と背景色２２ｂとを比較して、原画像３０の各画素を背景領域、未知領域、前景領域のいずれかに分類してＴｒｉｍａｐを生成する処理である。

クロマキー合成装置１００は、原画像３０を構成する全ての画素を入力し、各画素の色が背景色２２ｂと類似していれば当該画素を背景領域に分類し、背景色２２ｂとやや類似していれば当該画素を未知領域に分類し、背景色２２ｂと類似していなければ当該画素を前景領域に分類する。色の類似性は、例えば、色空間上の距離によって判断される。背景領域とみなす色範囲の許容量、及び未知領域とみなす色範囲の許容量は予め設定されている。

クロマキー合成装置１００の制御部２１（Ｔｒｉｍａｐ生成部１３）は、前景領域更新処理を実行する（ステップＳ１０４）。

前景領域更新処理とは、被写体３０ａの肌の色を特定して原画像３０から肌領域を抽出して前景領域とみなす領域を特定し、ステップＳ１０３にて生成したＴｒｉｍａｐのうち、特定された領域内の画素を全て前景領域に更新する処理である。詳細は後述する。

クロマキー合成装置１００の制御部２１（Ｔｒｉｍａｐ生成部１３）は、色ヒストグラム判定処理を実行する（ステップＳ１０５）。

色ヒストグラム判定処理とは、ステップＳ１０４にて生成したＴｒｉｍａｐ内の前景領域の画素に基づいて色ヒストグラムを生成し、未知領域の各画素の画素値が色ヒストグラム上に存在するか否かを判定し、存在する場合には当該画素を前景領域に更新する処理である。詳細は後述する。

クロマキー合成装置１００の制御部２１（Ｔｒｉｍａｐ生成部１３）は、マトリクス内カウンタ処理を実行する（ステップＳ１０６）。

マトリクス内カウンタ処理とは、ステップＳ１０５にて生成したＴｒｉｍａｐ内の未知領域の各画素に対し、当該画素を中心としたマトリクスサイズ２２ｃ（図３参照）のマトリクスを配置し、マトリクス内において、前景領域の画素数の占める割合が未知領域の画素数の占める割合よりも多ければ、当該画素を前景領域に更新する処理である。詳細は後述する。

クロマキー合成装置１００の制御部２１（Ｔｒｉｍａｐ生成部１３）は、ステップＳ１０６にて生成したＴｒｉｍａｐ内の未知領域の画素に対して、膨張処理を実行してＴｒｉｍａｐを生成し（ステップＳ１０７）、生成したＴｒｉｍａｐを記憶部２２に記憶して、処理を終了する。

膨張処理とは、未知領域の画素の周辺の、背景領域又は前景領域の画素を未知領域とする処理であり、例えば、未知領域の各画素を中心として、任意の定数によって囲まれる画素領域（例えば、３×３画素、５×５画素）内の画素を、未知領域とする処理である。

クロマキー合成装置１００の制御部２１（Ｔｒｉｍａｐ生成部１３）は、記憶部２２に記憶される未知領域の膨張処理回数２２ｄに応じて、所定回数膨張処理を繰り返す。尚、膨張回数の値が大きい程、演算時間が増大し、高精度な結果が得られる。

以上の様に、クロマキー合成装置１００は、原画像の入力を受付け、画像領域分類処理を実行して、原画像を前景領域、背景領域、未知領域に分類するＴｒｉｍａｐを生成する。そして、クロマキー合成装置１００は、生成したＴｒｉｍａｐに対して前景領域更新処理、色ヒストグラム判定処理、マトリクス内カウンタ処理を実行することで、Ｔｒｉｍａｐ内の未知領域に属する画素を前景領域に更新し、膨張処理を施してＴｒｉｍａｐを生成する。

[前景領域更新処理]
続いて、クロマキー合成装置１００が、図４のステップＳ１０４にて実行する前景領域更新処理について、図６と図７を参照して説明する。

図６は、前景領域更新処理の流れを示すフローチャートである。
クロマキー合成装置１００の制御部２１（Ｔｒｉｍａｐ生成部１３）は、原画像３０の被写体３０ａの肌の代表色を特定する（ステップＳ２０１）。クロマキー合成装置１００は、被写体３０ａの目の位置を元に鼻領域付近を推定し、その領域を肌の代表色とする（その領域の平均値を肌の代表色としてもよい）。

クロマキー合成装置１００の制御部２１（Ｔｒｉｍａｐ生成部１３）は、肌の代表色と原画像３０の各画素の画素値のマハラノビス距離を測定し、距離が所定値以内の画素を、被写体３０ａの肌色部分である肌マスクとして抽出する。（ステップＳ２０２）。

図７の（ａ）に、原画像３０から肌マスク３２ａを抽出した肌マスク画像３２を示す。
肌マスクを抽出する処理の詳細は、特許文献１に記載されている。
＜特許文献１＞ 特許第５０２９５４５号

クロマキー合成装置１００の制御部２１（Ｔｒｉｍａｐ生成部１３）は、顔の左右幅を取得する（ステップＳ２０３）。

図７の（ｂ）に、取得された顔の左右幅を示す。肌マスク３２ａの左端（左耳）３３ａから右端（右耳）３３ｂまでの距離が左右幅である。

クロマキー合成装置１００の制御部２１（Ｔｒｉｍａｐ生成部１３）は、顔の左右の中心点より上部と下部にそれぞれ楕円の半分を生成する（ステップＳ２０４）。

クロマキー合成装置１００の制御部２１は、図７の（ｂ）に示すように、肌マスク３２ａの左右幅３３ａ、３３ｂから顔の中心線３４と、顔の中心点３６を取得し、顔の中心線３４から肌マスク３２ａの左端３３ａ(右端３３ｂ)までの距離に対する所定の割合（図７の（ｂ）に示す例では、３分の２）を顔中心領域の左端３７ａ（右端３７ｂ）とする。

クロマキー合成装置１００の制御部２１は、ステップＳ１０２にて入力を受付けた頭頂部の位置及び顎の位置の座標値から肌マスク３２ａの上端３５ａ、顎の位置３５ｂを取得する。
顔の中心点３６の上部に、短軸の長さが顔中心領域の左右幅３７ａ、３７ｂで、
長軸の半分の長さが顔の中心点３６から肌マスク３２ａの上端３５ａである楕円の上半分３８ａを描く。
顔の中心点３６の下部に、短軸の長さが顔中心領域の左右幅３７ａ、３７ｂで、長軸の半分の長さが顔の中心点３６から肌マスク３２ａの顎の位置３５ｂである楕円の下半分３８ｂを描く。

クロマキー合成装置１００の制御部２１（Ｔｒｉｍａｐ生成部１３）は、ステップＳ１０３にて生成したＴｒｉｍａｐに対し、ステップＳ２０４にて生成した楕円部３８ａ、３８ｂで囲まれる領域内の画素を前景領域に更新する（ステップＳ２０５）。

クロマキー合成装置１００は、図７の（ｃ）に示すように、楕円の上半分３８ａと下半分３８ｂで囲まれる領域内の画素を、全て前景領域に更新する。

クロマキー合成装置１００の制御部２１（Ｔｒｉｍａｐ生成部１３）は、ステップＳ２０５にて生成したＴｒｉｍａｐに対し、被写体３０ａの胸元領域の画素を前景領域に更新して（ステップＳ２０５）、前景領域更新処理後のＴｒｉｍａｐとし、記憶部２２に記憶し、処理を終了する。

図７の（ｃ）に示すように、クロマキー合成装置１００は、肌マスク３２ａの顎の位置３５ｂから所定のピクセル数下げた位置を胸元領域の上端３９とする。胸元領域４１とは、顔中心領域の左右幅３７ａ、３７ｂと、胸元領域の上端３９と肌マスク画像３２の下端とによって囲まれる領域である。クロマキー合成装置１００は、胸元領域４１内の画素を、全て前景領域に更新する。

[色ヒストグラム判定処理]
次に、クロマキー合成装置１００が、図４のステップＳ１０５にて実行する色ヒストグラム判定処理について、図８から図１０を参照して説明する。

図８は、色ヒストグラム判定処理の流れを示すフローチャートである。
クロマキー合成装置１００の制御部２１（Ｔｒｉｍａｐ生成部１３）は、ステップＳ１０４にて生成したＴｒｉｍａｐのうち、顎の位置から下の領域に対して、前景領域に属する画素を抽出する（ステップＳ３０１）。

図９に、色ヒストグラム判定処理実行前のＴｒｉｍａｐ４４を示す。Ｔｒｉｍａｐ４４とは、原画像３０に対して前景領域更新処理（ステップＳ１０４）を施して生成したものである。Ｔｒｉｍａｐ４４は、背景領域を黒色、前景領域を白色、未知領域を灰色で表現する。Ｔｒｉｍａｐ４４内に、肌マスク３２ａの顎の位置３５ｂから下の領域４４ａを示す。クロマキー合成装置１００は、領域４４ａ内画素のうち、前景領域に属する画素を抽出する。

クロマキー合成装置１００の制御部２１（Ｔｒｉｍａｐ生成部１３）は、ステップＳ３０１にて抽出した画素に対応する原画像３０の画素の画素値を入力して、色ヒストグラムを生成する（ステップＳ３０２）。
ここで画素値とは、原画像３０の各画素の色を表す値であり、例えば、ＲＧＢ値あるいはＨＳＶ表色系等の色相／彩度／明度の組み合わせで表される。色ヒストグラムの横軸は色のレベルを示す色番号であり、例えば、輝度レベルを０〜２５５で表し、縦軸はそのレベルに存在する画素数（度数）を示す。

クロマキー合成装置１００の制御部２１（Ｔｒｉｍａｐ生成部１３）は、ステップＳ３０２にて生成した色ヒストグラムから、度数の少ない色番号を除去する（ステップＳ３０３）。除去するか否か判断するための度数の閾値は、予め設定されている。

クロマキー合成装置１００の制御部２１（Ｔｒｉｍａｐ生成部１３）は、ステップＳ１０４にて生成したＴｒｉｍａｐのうち、顎の位置から下の領域４４ａの未知領域の画素に対応する原画像３０の画素の画素値を入力する（ステップＳ３０４）。

クロマキー合成装置１００の制御部２１（Ｔｒｉｍａｐ生成部１３）は、ステップＳ３０４にて入力した画素の画素値が、ステップＳ３０３にて生成した色ヒストグラム上に存在する色番号と一致するか否かを判定する（ステップＳ３０５）。

一致する場合は（ステップＳ３０５のＹＥＳ）、クロマキー合成装置１００の制御部２１（Ｔｒｉｍａｐ生成部１３）は、ステップＳ１０４にて生成したＴｒｉｍａｐに対し、入力した画素を前景領域に更新する（ステップＳ３０６）。一致しない場合は（ステップＳ３０５のＮＯ）、クロマキー合成装置１００の制御部２１（Ｔｒｉｍａｐ生成部１３）は、ステップＳ３０７に進む。

クロマキー合成装置１００の制御部２１（Ｔｒｉｍａｐ生成部１３）は、ステップＳ１０４にて生成したＴｒｉｍａｐのうち、顎の位置から下の領域４４ａにおける未知領域の画素を全て入力済みであるか否かを判定する（ステップＳ３０７）。入力済みでない場合には（ステップＳ３０７のＮＯ）、クロマキー合成装置１００の制御部２１（Ｔｒｉｍａｐ生成部１３）は、ステップＳ３０４に戻る。入力済みである場合には（ステップＳ３０７のＹＥＳ）、クロマキー合成装置１００の制御部２１（Ｔｒｉｍａｐ生成部１３）は、原画像３０の色ヒストグラム判定処理実行後のＴｒｉｍａｐとして、記憶部２２に記憶して、処理を終了する。

なお、前述の色ヒストグラム判定処理のステップＳ３０５において、入力した画素の画素値が、生成した色ヒストグラム上に存在する色番号と一致するか否か判定するとしたが、色番号と類似する（色番号の近傍にある）か否かを判定してもよい。

図１０に、色ヒストグラム判定処理実行後のＴｒｉｍａｐ４５を示す。Ｔｒｉｍａｐ４５と色ヒストグラム判定処理実行前のＴｒｉｍａｐ４４（図９参照）を比較すると、Ｔｒｉｍａｐ４４は、被写体３３ａの洋服部分に未知領域を示す灰色部分が多いのに対し、Ｔｒｉｍａｐ４５は、被写体３３ａの洋服部分に前景領域を示す白色部分が多い。これにより、被写体３３ａ領域のうち背景色と類似する色領域についても、前景領域として設定されたことがわかる。

[マトリクス内カウンタ処理]
次に、クロマキー合成装置１００が、図４のステップＳ１０６にて実行するマトリクス内カウンタ処理について、図１１から図１３を参照して説明する。

図１１は、マトリクス内カウンタ処理の流れを示すフローチャートである。
クロマキー合成装置１００の制御部２１（Ｔｒｉｍａｐ生成部１３）は、ステップＳ１０５にて生成したＴｒｉｍａｐ（図１０のＴｒｉｍａｐ４５）のうち、未知領域に属する画素を入力する（ステップＳ４０１）。

クロマキー合成装置１００の制御部２１（Ｔｒｉｍａｐ生成部１３）は、ステップＳ１０５にて生成したＴｒｉｍａｐ上に、ステップＳ４０１にて入力した画素を中心とした記憶部２２に記憶するマトリクスサイズ（ピクセルサイズ）２２ｃのマトリクスを生成する（ステップＳ４０２）。

図１２の（ａ）に、注目画素５０を中心とした３×３ピクセルサイズのマトリクスの例を示す。ピクセル内の“Ｆ”は、前景領域の画素であることを示し、ピクセル内の“Ｕ”は、未知領域の画素であることを示す。注目画素５０とは、ステップＳ４０１にて入力した画素である。

クロマキー合成装置１００の制御部２１（Ｔｒｉｍａｐ生成部１３）は、ステップＳ４０２にて生成したマトリクス内に、背景領域の画素があるか否かを判定する（ステップＳ４０３）。背景領域の画素がある場合には（ステップＳ４０３のＹＥＳ）、クロマキー合成装置１００の制御部２１（Ｔｒｉｍａｐ生成部１３）は、ステップＳ４０７に進む。

背景領域の画素がない場合には（ステップＳ４０３のＮＯ）、クロマキー合成装置１００の制御部２１（Ｔｒｉｍａｐ生成部１３）は、ステップＳ４０２にて生成したマトリクス内の未知領域（Ｕ）の画素数（ピクセル数）と前景領域（Ｆ）の画素数（ピクセル数）をカウントする。

図１２の（ａ）に示す例では、マトリクス内の未知領域（Ｕ）の画素数は３ピクセルであり、前景領域（Ｆ）の画素数は６ピクセルである。

クロマキー合成装置１００の制御部２１（Ｔｒｉｍａｐ生成部１３）は、未知領域（Ｕ）の画素数と前景領域（Ｆ）の画素数を比較し（ステップＳ４０５）、未知領域（Ｕ）の画素数の方が多い、または同数の場合には（ステップＳ４０５のＮＯ）、ステップＳ４０７に進む。
前景領域（Ｆ）の画素数の方が多い場合には（ステップＳ４０５のＹＥＳ）、クロマキー合成装置１００の制御部２１（Ｔｒｉｍａｐ生成部１３）は、ステップＳ４０１にて入力した画素（注目画素５０）を前景領域（Ｆ）に更新する（ステップＳ４０６）。

図１２の（ａ）に示す例では、前景領域（Ｆ）の方が多いので、図１２の（ｂ）に、注目画素５０を未知領域（Ｕ）から前景領域（Ｆ）に更新した後のマトリクスを示す。

クロマキー合成装置１００の制御部２１（Ｔｒｉｍａｐ生成部１３）は、Ｔｒｉｍａｐ４５の未知領域に属する全ての画素を入力済みであるか否かを判定する（ステップＳ４０７）。入力済みで無い場合には（ステップＳ４０７のＮＯ）、クロマキー合成装置１００の制御部２１（Ｔｒｉｍａｐ生成部１３）は、ステップＳ４０１に戻る。入力済みである場合には（ステップＳ４０７のＹＥＳ）、クロマキー合成装置１００の制御部２１（Ｔｒｉｍａｐ生成部１３）は、原画像３０のマトリクス内カウンタ処理実行後のＴｒｉｍａｐとして、記憶部２２に記憶して処理を終了する。

図１３は、マトリクス内カウンタ処理実行後のＴｒｉｍａｐに、膨張処理（図４のステップＳ１０７）を施したＴｒｉｍａｐ５２である。Ｔｒｉｍａｐ５２は、クロマキー合成装置１００のＴｒｉｍａｐ生成部１３が、Ｔｒｉｍａｐ生成処理を実行して生成した原画像３０のＴｒｉｍａｐ５２である。Ｔｒｉｍａｐ５２は、アルファマスク生成部１４にて使用される。

［アルファマッティング処理］
続いて、クロマキー合成装置１００のアルファマスク生成部１４が実行するアルファマッティング処理（非特許文献４参照）について、図１４を参照して説明する。

アルファマッティング処理とは、原画像３０と、原画像３０のＴｒｉｍａｐ５２から、原画像３０の前景画像と、原画像３０のアルファマスクとを生成する処理である。

クロマキー合成装置１００のアルファマスク生成部１４は、原画像３０を、Ｔｒｉｍａｐ５２に基づいて、前景領域と背景領域と未知領域とに分割する。原画像３０における未知領域の各画素の色は、アルファマッティング処理によって特定された前景領域の画素の色と背景領域の画素の色が混合した色によってモデル化される。未知領域の画素における混合比率のうち、前景領域の画素の色の比率をα値（０≦α≦１）で表す。以下、前景領域をＴｆ、前景領域に属する画素をＦと表記し、背景領域をＴｂ、背景領域に属する画素をＢと表記し、未知領域をＴｕと表記することとする。

クロマキー合成装置１００のアルファマスク生成部１４は、未知領域の各画素に対して、当該画素近傍の前景領域の画素と、当該画素近傍の背景領域の画素をサンプリングし、サンプリングされた画素の組み合わせの中から、最適な組み合わせ（Ｆ、Ｂ）とα値を推定する。クロマキー合成装置１００のアルファマスク生成部１４は、前景画像とアルファマスクを生成する。前景画像とは、前景領域の画素の色成分と、未知領域の各画素において選択された前景領域の画素の色成分を有する画像である。アルファマスクとは、前景領域に属する画素に対応する画素に対して「１」をラベル付し、背景領域に属する画素に対応する画素に対して「０」をラベル付し、未知領域に属する画素に対応する画素に対して算出されたα値（０≦α≦１）をラベル付した画像である。

まず、画素ｐ∈Ｔｕに対して、画素ｐの近傍の背景領域の画素と前景領域の画素をサンプリングする。画素ｐを起点として、任意のサンプリング回数（以下、ｋｇとも表記）に対応するＦと、ｋｇに対応するＢを探索する。画素ｐ∈Ｔｕに対して、サンプリングされたＦとＢの組合せの中から、画素ｐに対する最適なＦとＢの組合せを選択することとなる。

図１４に示す画素ｐ∈Ｔｕを起点とする矢印６０ａ、６０ｂ、６０ｃ、６０ｄは、画素ｐに対する前景領域と背景領域のサンプルを探索する経路である。探索された前景領域の画素を黒塗りの四画形で表し、背景領域の画素を黒塗りの丸印で表す。
矢印６０ａ、６０ｂ、６０ｃ、６０ｄ上に存在する前景領域の画素と背景領域の画素の中で、画素ｐから最短距離となる前景領域の１つの画素と、画素ｐから最短距離となる背景領域の１つの画素とがサンプリングされる。

図１４に示すように、画素ｐを起点として、２π／ｋｇに対応する角度毎に、前景領域と背景領域のサンプルが探索される。ｋｇの値が大きい程、サンプリング回数が増大する。そのため、画素ｐに対して最終的に選択される前景領域の画素と背景領域の組み合わせ（Ｆ、Ｂ）の精度が高まるが、演算時間が増大する。

同様にして、図１４に示す画素ｑ∈Ｔｕを起点とする矢印６１ａ、６１ｂ、６１ｃ、６１ｄは、画素ｑに対する前景領域と背景領域のサンプルを探索する経路である。探索された前景領域の画素を白抜きの四画形で表し、背景領域の画素を白抜きの丸印で表す。

続いて、クロマキー合成装置１００のアルファマスク生成部１４は、サンプリングされた前景領域の画素と背景領域の画素の様々な組み合わせを、様々な混合比率で混合する。そして、画素ｐの色をモデル化するのに最も適当な前景領域の画素（色成分）と背景領域の画素（色成分）の組み合わせと混合比率を選択する。

クロマキー合成装置１００のアルファマスク生成部１４は、背景領域の各画素のα値を０とし、前景領域の各画素のα値を１とし、未知領域の各画素のα値を選択した混合比率とし、α値を画素値とする画像であるアルファマスクを生成する。

図１５に、アルファマッティング処理によって生成された原画像３０のアルファマスク７０を示す。アルファマスク７０は、α＝０である画素を白色、α＝１である画素を黒色、０＜α＜１である画素を中間色で示す。

クロマキー合成装置１００のアルファマスク生成部１４は、前景領域の画素の色成分と、未知領域の各画素に選択された前景領域の画素の色成分を有する画像である前景画像を生成する。

［背景合成処理］
クロマキー合成装置１００の背景合成部１５は、アルファマッティング処理によって生成された前景画像とアルファマスク７０とから、前景画像領域を切り抜いて、所望の背景画像に合成する。クロマキー合成装置１００の背景合成部１５は、各画素（各色成分）において、Ｐ＝α・Ｆ＋（１−α）・Ｂを算出して、画素値を決定する。Ｐとは合成後画像の画素値であり、αとはアルファマスク画像のα値であり、Ｆとは前景画像の画素値であり、Ｂとは所望の背景画像の画素値である。背景合成部１５は、生成された合成画像を画像出力部１６に出力する。

以上説明したように、クロマキー合成装置１００は、原画像の前景領域中に、背景と類似する色が存在する場合や、レース、カーテン等の背景が透き通る領域が存在する場合においても、正確に領域指定されたＴｒｉｍａｐを自動で生成し、これにより、適切な合成画像を生成することが可能となる。

人手を介してＴｒｉｍａｐを生成する必要が無いため、例えば、証明写真ボックスなどの無人機器において、利用者を被写体とする原画像と、利用者の所望の背景画像を自動的にクロマキー合成して提供することが可能となる。

以上、添付図面を参照しながら、本発明に係るクロマキー合成装置１００等の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される

１００………クロマキー合成装置
１１………原画像入力部
１２………頭頂部及び顎の位置入力部
１３………Ｔｒｉｍａｐ生成部
１４………アルファマスク生成部
１５………背景画像合成部
１６………画像出力部
２１………制御部
２２………記憶部
２３………メディア入出力部
２４………通信制御部
２５………入力部
２６………表示部
２７………周辺機器Ｉ／Ｆ部
３０………原画像
３２………肌マスク画像
４５………原画像３０に色ヒストグラム判定処理を施したＴｒｉｍａｐ
５２………Ｔｒｉｍａｐ生成処理によって生成した原画像３０のＴｒｉｍａｐ
７０………原画像３０のアルファマスク

Claims (10)

1. 単一の背景色で被写体を撮影した原画像を構成する各画素を、背景領域と、前記被写体の部分である前景領域と、前記背景領域又は前記前景領域のいずれに属するか不明の未知領域とに分類した３値画像であるＴｒｉｍａｐを生成するＴｒｉｍａｐ生成装置であって、
   原画像を入力する原画像入力手段と、
   前記背景色に基づいて、入力した前記原画像のＴｒｉｍａｐを生成する画像領域分類手段と、
   前記Ｔｒｉｍａｐの前景領域に対応する前記原画像の色ヒストグラムに基づいて、前記Ｔｒｉｍａｐを更新する色ヒストグラム判定手段と、
   を備えることを特徴とするＴｒｉｍａｐ生成装置。
2. 前記被写体は、ほぼ胸のラインより上の人物であって、
   前記原画像における肌色領域を特定することによって顔領域を特定するとともに、当該顔領域の幅から胸元領域を特定し、前記画像領域分類手段の生成した前記Ｔｒｉｍａｐにおける前記顔領域及び前記胸元領域に対応する画素を、前記前景領域に更新する前景領域更新手段を、さらに備える
   ことを特徴とする請求項１に記載のＴｒｉｍａｐ生成装置。
3. 前記色ヒストグラム判定手段は、
   前記Ｔｒｉｍａｐの前記前景領域に対応する前記原画像の画素値の色ヒストグラムを生成する色ヒストグラム生成手段と、
   前記Ｔｒｉｍａｐの前記未知領域に対応する前記原画像の各画素値について、色ヒストグラム上に存在する色番号と一致するか否かを判定する判定手段と、
   一致する場合は、前記Ｔｒｉｍａｐにおいて、前記未知領域を構成する当該画素を前記前景領域に更新する第１の更新手段と、を備える
   ことを特徴とする請求項１又は請求項２に記載のＴｒｉｍａｐ生成装置。
4. 前記色ヒストグラム生成手段は、
   前記Ｔｒｉｍａｐの前記前景領域に対応する前記原画像の画素であって、ほぼ胸のラインより上の人物である前記被写体の顎のラインより下の画素の画素値の前記色ヒストグラムを生成する
   ことを特徴とする請求項３に記載のＴｒｉｍａｐ生成装置。
5. 前記色ヒストグラム生成手段は、
   生成した色ヒストグラム上に存在する色番号のうち、当該色番号に属する画素数の少ない色番号を、前記色ヒストグラムから除外する
   ことを特徴とする請求項３または請求項４に記載のＴｒｉｍａｐ生成装置。
6. 前記色ヒストグラム判定手段が更新した前記Ｔｒｉｍａｐに対して、前記未知領域を構成する各画素を中心とした所定の大きさのマトリクスを生成し、生成された前記マトリクス内に存在する画素を、前記前景領域、前記背景領域、及び前記未知領域のいずれに属するかを判定して、それぞれの領域ごとの画素数をカウントするマトリクス内カウンタ手段と、
   カウントされた前記前景領域の画素数が、カウントされた前記未知領域の画素数より多い場合に、前記Ｔｒｉｍａｐにおいて、当該マトリクスの中心の画素を前記前景領域に更新する第２の更新手段と、をさらに備える
   ことを特徴とする請求項１乃至請求項５のいずれかに記載のＴｒｉｍａｐ生成装置。
7. 前記第２の更新手段は、
   前記マトリクス内カウンタ手段の生成した前記マトリクス内において、前記背景領域に属する画素が１以上カウントされた場合には、当該マトリクスの中心画素を変更しない
   ことを特徴とする請求項６に記載のＴｒｉｍａｐ生成装置。
8. 更新された前記Ｔｒｉｍａｐの前記未知領域に対して、所定回数膨張処理を施して、前記未知領域を膨張させる膨張手段を、さらに備える
   ことを特徴とする請求項１から請求項７のいずれか１項に記載のＴｒｉｍａｐ生成装置。
9. コンピュータが行う、単一の背景色で被写体を撮影した原画像を構成する各画素を、背景領域と、前記被写体の部分である前景領域と、前記背景領域又は前記前景領域のいずれに属するか不明の未知領域とに分類した３値画像であるＴｒｉｍａｐを生成するＴｒｉｍａｐ生成方法であって、
   原画像を入力する原画像入力ステップと、
   前記背景色に基づいて、入力した前記原画像のＴｒｉｍａｐを生成する画像領域分類ステップと、
   前記Ｔｒｉｍａｐの前景領域に対応する前記原画像の色ヒストグラムに基づいて、前記Ｔｒｉｍａｐを更新する色ヒストグラム判定ステップと、
   を含むことを特徴とするＴｒｉｍａｐ生成方法。
10. コンピュータを、単一の背景色で被写体を撮影した原画像を構成する各画素を、背景領域と、前記被写体の部分である前景領域と、前記背景領域又は前記前景領域のいずれに属するか不明の未知領域とに分類した３値画像であるＴｒｉｍａｐを生成するＴｒｉｍａｐ生成装置として機能させるためのプログラムであって、
    前記コンピュータを、
    原画像を入力する原画像入力手段、
    前記背景色に基づいて、入力した前記原画像のＴｒｉｍａｐを生成する画像領域分類手段、
    前記Ｔｒｉｍａｐの前景領域に対応する前記原画像の色ヒストグラムに基づいて、前記Ｔｒｉｍａｐを更新する色ヒストグラム判定手段、
    として機能させるためのプログラム。

Images