JP2018097415A - 画像処理装置、画像処理方法、画像処理システムおよびプログラム - Google Patents

Abstract

【課題】より高い精度を実現しつつより速い処理速度でMatting処理を行なうことができ、精度と処理速度とを両立させることができる画像処理装置等を提供できる。【解決手段】画像の画像情報を取得する画像情報取得部１１と、画像情報から第１の領域または第２の領域であることを示す二値で表された二値画像を生成する二値画像生成部１２と、二値画像を使用して、第１の領域および第２の領域の境界部で未知領域を設定する未知領域設定部１３と、画像中の特定の領域における代表色を取得する代表色取得部１４と、未知領域において、代表色を基に第１の領域の度合いを表す多値の画素値を求める多値画像生成部１６と、を備える画像処理装置１０。【選択図】図２

Description

本発明は、画像処理装置、画像処理方法、画像処理システム、プログラムに関する。

画像から特定領域を切り出す処理は、特定領域の特性を解析、または特定領域をデザインするなど、画像編集や加工の分野では欠かせないものの１つである。特定領域を切り出す方法としては、様々なアプローチが考えられるが、例えば、グラフカット（GraphCut）法が公知の代表手法として挙げられる。
特定領域の切り出しの結果は、通常、前景と後景の二値画像で表すことができる。しかしながら、衣類や人物の髪などで境界が曖昧な領域を完全に切り出すことは困難である。特に髪の領域や透過を表す領域などは前景と後景とが混ざり、区別が困難である部分がある。このため、切り出した領域をマスクとして用いて、特定領域の色調整や質感の制御などの画像処理を行った場合、段差を生じるなど結果が不自然になることがある。

この段差を解消するために、境界をぼかすなどの処理を行い、境界の内側から外側に向かって階調を生成することで、多値のマスクを作成する従来手法が存在する。また他の方法として、前景と後景に分離された二値画像の境界部において前景の度合いを表す画素値を多値で表わすMatting処理を行なうことがある。

特許文献１には、矩形エリア外の画像に基づいて、背景用ガウス混合モデルが作成され、各背景用ガウス分布に関して、矩形エリア内の画像に対する寄与度が算出され、寄与度に応じた重み値を用いて各背景用ガウス分布を修正することにより、修正後の背景用ガウス混合モデルが生成される画像処理方法が記載されている。

また特許文献２には、領域指定部において、操作者が画面上で人物画像における人物の顔の領域を指定すると、補正対象領域抽出部が領域の色情報等に基づいて肌領域および頭髪領域からなる補正対象領域を抽出し、マスク作成部が補正対象領域にのみ補正の効果を及ぼすための、領域の境界をぼかしたマスク画像を作成し、画像合成部は、画像補正部で画像全体が補正された全体補正画像ともとの人物画像とを、対応する画素毎にマスク画像が表す重みで合成して、補正対象領域のみが境界をぼかしながら補正された補正済画像を得る画像補正方法が記載されている。

さらに特許文献３には、拡張トライマップ画像生成部は、入力画像のラベル＝１の前景画像領域画素とラベル＝０の背景画像領域画素からなる２値画像から、その境界に所定幅のラベル＝−１の未確定領域画素を設定した３値画像を生成し、アルファマスク画像生成部は、入力画像と３値画像よりアルファマスク画像を生成し、トライマップ画像更新部は、アルファマスク画像のうち、透明度が、最小値でも、最大値でもない画素とその近傍の画素を未確定領域を示すラベル＝−１に更新し、トライマップ画像を更新し、収束判定部は、更新前後のトライマップ画像が同一のとき、トライマップ画像を出力部より出力する画像処理装置が記載されている。

特開２０１５−１７６１６３号公報 特開２００６−３３８３７７号公報 特開２０１０−６６８０２号公報

Matting処理を行なうときには、前景（第１の領域）と後景（第２の領域）との境界部の未知領域に対する前景成分および後景成分を予測する。即ち、Matting処理を行なうときには、前景と後景との境界部において、前景や後景に相当する画素値を予測する処理が必要となる。このとき前景成分への係数が、前景の度合いを表す画像（Matting画像）となる。
しかしながら、Matting処理を精度よく行なおうとすると、処理構造が複雑になり装置への実装が困難になりやすく、また処理速度が低下することがある。
本発明は、より高い精度を実現しつつより速い処理速度でMatting処理を行なうことができ、精度と処理速度とを両立させることができる画像処理装置等を提供することを目的とする。

請求項１に記載の発明は、画像の画像情報を取得する画像情報取得部と、前記画像情報から第１の領域または第２の領域であることを示す二値で表された二値画像を生成する二値画像生成部と、前記二値画像を使用して、前記第１の領域および前記第２の領域の境界部で未知領域を設定する未知領域設定部と、前記画像中の特定の領域における代表色を取得する代表色取得部と、前記未知領域において、前記代表色を基に前記第１の領域の度合いを表す多値の画素値を求める多値画像生成部と、を備える画像処理装置である。
請求項２に記載の発明は、前記代表色と前記未知領域中の画素の画素値との色距離を求める色距離算出部をさらに備え、前記多値画像生成部は、前記色距離を基に多値の画素値を求めることを特徴とする請求項１に記載の画像処理装置である。
請求項３に記載の発明は、前記代表色取得部は、前記特定の領域として前記第１の領域における代表色を取得することを特徴とする請求項１または２に記載の画像処理装置である。
請求項４に記載の発明は、前記代表色取得部は、前記第１の領域に属する画素の画素値の特徴量を基に前記代表色を取得することを特徴とする請求項３に記載の画像処理装置である。
請求項５に記載の発明は、前記未知領域設定部は、前記第１の領域および前記第２の領域の境界部の画素を中心として二値の画素値の設定を解除するフィルタを適用することで前記未知領域を設定することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置である。
請求項６に記載の発明は、画像の画像情報を取得する画像情報取得工程と、前記画像情報から第１の領域または第２の領域であることを示す二値で表された二値画像を生成する二値画像生成工程と、前記二値画像を使用して、前記第１の領域および前記第２の領域の境界部で未知領域を設定する未知領域設定工程と、前記画像中の特定の領域における代表色を取得する代表色取得工程と、前記未知領域において、前記代表色を基に前記第１の領域の度合いを表す多値の画素値を求める多値画像生成工程と、を含む画像処理方法である。
請求項７に記載の発明は、画像を表示する表示装置と、前記表示装置に表示される前記画像の画像情報に対し画像処理を行なう画像処理装置と、を備え、前記画像処理装置は、前記画像情報を取得する画像情報取得部と、前記画像情報から第１の領域または第２の領域であることを示す二値で表された二値画像を生成する二値画像生成部と、前記二値画像を使用して、前記第１の領域および前記第２の領域の境界部で未知領域を設定する未知領域設定部と、前記画像中の特定の領域における代表色を取得する代表色取得部と、前記未知領域において、前記代表色を基に前記第１の領域の度合いを表す多値の画素値を求める多値画像生成部と、を備える画像処理システムである。
請求項８に記載の発明は、コンピュータに、画像の画像情報を取得する画像情報取得機能と、前記画像情報から第１の領域または第２の領域であることを示す二値で表された二値画像を生成する二値画像生成機能と、前記二値画像を使用して、前記第１の領域および前記第２の領域の境界部で未知領域を設定する未知領域設定機能と、前記画像中の特定の領域における代表色を取得する代表色取得機能と、前記未知領域において、前記代表色を基に前記第１の領域の度合いを表す多値の画素値を求める多値画像生成機能と、を実現させるプログラムである。

請求項１の発明によれば、より高い精度を実現しつつより速い処理速度でMatting処理を行なうことができ、精度と処理速度とを両立させることができる画像処理装置を提供できる。
請求項２の発明によれば、ユーザの意図に沿った多値画像が生成しやすくなる。
請求項３の発明によれば、第１の領域の度合いを表す多値画像を求めるのがより容易になる。
請求項４の発明によれば、ユーザが特定の領域を指定する負担を軽減することができる。
請求項５の発明によれば、未知領域の設定がより容易になる。
請求項６の発明によれば、より高い精度を実現しつつより速い処理速度でMatting処理を行なうことができ、精度と処理速度とを両立させることができる画像処理方法を提供できる。
請求項７の発明によれば、画像処理がより容易に行える画像処理システムが提供できる。
請求項８の発明によれば、より高い精度を実現しつつより速い処理速度でMatting処理を行なうことができ、精度と処理速度とを両立させることができる機能をコンピュータにより実現できる。

本実施の形態における画像処理システムの構成例を示す図である。 第１の実施形態における画像処理装置の機能構成例を表すブロック図である。 （ａ）は、画像処理を行なう前の画像であり、画像情報取得部が取得した画像情報に基づき表示装置に表示した原画像を示している。（ｂ）は、二値画像生成部で原画像の処理を行った後の二値画像である。 図３（ａ）の画像に実際にシード１およびシード２を与えた例を示している。 （ａ）〜（ｂ）は、加重について説明した図である。 （ａ）〜（ｂ）は、加重を決定する方法について示した図である。 （ａ）〜（ｂ）は、未知領域設定部が、未知領域を設定する処理について示した図である。 （ａ）〜（ｂ）は、二値画像に対し前景および後景の境界部で未知領域を設定した場合を示している。 ユーザが原画像上で特定の領域を指定する場合を示した図である。 （ａ）は、ユーザが原画像上で特定の領域を複数指定する場合を示した図である。（ｂ）は、色指定マスク画像について示した図である。（ｃ）は、統合色指定マスク画像について示した図である。 （ａ）〜（ｃ）は、未知領域中の各画素に対し、色距離を求める方法を示した図である。 （ａ）〜（ｂ）は、未知領域中の各画素に対し、色距離を求める方法を示した図である。 （ａ）〜（ｂ）は、未知領域中の各画素に対し、色距離を求める方法を示した図である。 （ａ）〜（ｃ）は、関数ｆの例について示した図である。 （ａ）〜（ｃ）は、二値画像生成部が生成した二値画像と多値画像生成部が生成した多値画像とを比較した図である。 前景の領域に属する画素の画素値から特徴量を抽出する方法の第１の例を示した図である。 前景の領域に属する画素の画素値から特徴量を抽出する方法の第２の例を示した図である。 第１の実施形態および第２の実施形態における画像処理装置の動作について説明したフローチャートである。 画像処理装置のハードウェア構成を示した図である。

以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。

＜画像処理システム全体の説明＞
図１は、本実施の形態における画像処理システム１の構成例を示す図である。
図示するように本実施の形態の画像処理システム１は、表示装置２０に表示される画像の画像情報に対し画像処理を行なう画像処理装置１０と、画像処理装置１０により作成された画像情報が入力され、この画像情報に基づき画像を表示する表示装置２０と、画像処理装置１０に対しユーザが種々の情報を入力するための入力装置３０とを備える。

画像処理装置１０は、例えば、所謂汎用のパーソナルコンピュータ（ＰＣ）である。そして、画像処理装置１０は、ＯＳ（Operating System）による管理下において、各種アプリケーションソフトウェアを動作させることで、画像情報の作成等が行われるようになっている。

表示装置２０は、表示画面２１に画像を表示する。表示装置２０は、例えばＰＣ用の液晶ディスプレイ、液晶テレビあるいはプロジェクタなど、加法混色にて画像を表示する機能を備えたもので構成される。したがって、表示装置２０における表示方式は、液晶方式に限定されるものではない。なお、図１に示す例では、表示装置２０内に表示画面２１が設けられているが、表示装置２０として例えばプロジェクタを用いる場合、表示画面２１は、表示装置２０の外部に設けられたスクリーン等となる。

入力装置３０は、キーボードやマウス等で構成される。入力装置３０は、画像処理を行なうためのアプリケーションソフトウェアの起動、終了や、詳しくは後述するが、画像処理を行なう際に、ユーザが画像処理装置１０に対し画像処理を行なうための指示を入力するのに使用する。

画像処理装置１０および表示装置２０は、ＤＶＩ（Digital Visual Interface）を介して接続されている。なお、ＤＶＩに代えて、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）やDisplayPort等を介して接続するようにしてもかまわない。
また画像処理装置１０と入力装置３０とは、例えば、ＵＳＢ（Universal Serial Bus）を介して接続されている。なお、ＵＳＢに代えて、ＩＥＥＥ１３９４やＲＳ−２３２Ｃ等を介して接続されていてもよい。

このような画像処理システム１において、表示装置２０には、まず最初に画像処理を行なう前の画像である原画像が表示される。そしてユーザが入力装置３０を使用して、画像処理装置１０に対し画像処理を行なうための指示を入力すると、画像処理装置１０により原画像の画像情報に対し画像処理がなされる。この画像処理の結果は、表示装置２０に表示される画像に反映され、画像処理後の画像が再描画されて表示装置２０に表示されることになる。この場合、ユーザは、表示装置２０を見ながらインタラクティブに画像処理を行なうことができ、より直感的に、またより容易に画像処理の作業を行える。

なお本実施の形態における画像処理システム１は、図１の形態に限られるものではない。例えば、画像処理システム１としてタブレット端末を例示することができる。この場合、タブレット端末は、タッチパネルを備え、このタッチパネルにより画像の表示を行なうとともにユーザの指示が入力される。即ち、タッチパネルが、表示装置２０および入力装置３０として機能する。また同様に表示装置２０および入力装置３０を統合した装置として、タッチモニタを用いることもできる。これは、上記表示装置２０の表示画面２１としてタッチパネルを使用したものである。この場合、画像処理装置１０により画像情報が作成され、この画像情報に基づきタッチモニタに画像が表示される。そしてユーザは、このタッチモニタをタッチ等することで画像処理を行なうための指示を入力する。

＜画像処理装置の説明＞
［第１の実施形態］
次に画像処理装置１０の第１の実施形態について説明を行なう。
第１の実施形態では、後述する代表色をユーザが指定する場合について説明する。

図２は、第１の実施形態における画像処理装置１０の機能構成例を表すブロック図である。なお図２では、画像処理装置１０が有する種々の機能のうち第１の実施形態に関係するものを選択して図示している。
図示するように本実施の形態の画像処理装置１０は、画像情報取得部１１と、二値画像生成部１２と、未知領域設定部１３と、代表色取得部１４と、色距離算出部１５と、多値画像生成部１６と、画像情報出力部１７とを備える。

画像情報取得部１１は、画像処理を行なう画像の画像情報を取得する。即ち、画像情報取得部１１は、画像処理を行なう前の原画像の画像情報を取得する。この画像情報は、表示装置２０で表示を行なうための、例えば、ＲＧＢ（Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ）のビデオデータ（ＲＧＢデータ）である。

二値画像生成部１２は、画像情報から前景（第１の領域）または後景（第２の領域）であることを示す二値で表された二値画像を生成する。
図３（ａ）〜（ｂ）は、二値画像生成部１２が行なう処理について示した図である。
ここで図３（ａ）は、画像処理を行なう前の画像であり、画像情報取得部１１が取得した画像情報に基づき表示装置２０に表示した原画像Ｇ１を示している。この原画像Ｇ１は、人物と、人物の背後に写る背景とからなる写真画像である。そしてここでは前景を人物の髪の部分とし、後景として髪以外の部分としたときに、前景である髪の部分を切り出す場合を考える。このとき前景は、髪であるため前景と後景との境界は、曖昧である。
また図３（ｂ）は、二値画像生成部１２で原画像Ｇ１の処理を行った後の二値画像Ｇ１’である。
ここでは、画像情報取得部１１が取得した画像情報を、前景である髪の部分を、例えば、「１」とし、髪以外の後景の部分を「０」とすることで二値化し、二値画像Ｇ１’としたものである。なお画像Ｇ１’は、原画像Ｇ１から前景を切り出す二値マスク画像と考えることもできる。

二値画像生成部１２が、画像情報を二値化するには、以下の方法を使用することができる。
この場合、ユーザは、前景の髪の部分と後景の髪以外の部分との境界を挟み、前景と後景とで代表となる軌跡をそれぞれ与える。この軌跡は、入力装置３０により入力することができる。具体的には、入力装置３０がマウスであった場合は、マウスを操作して表示装置２０で表示している図３（ａ）の画像をドラッグし軌跡を描く。また入力装置３０がタッチパネルであった場合は、ユーザの指やタッチペン等により表示画面をなぞりスワイプすることで同様に軌跡を描く。なお軌跡ではなく、点として与えてもよい。即ち、前景と後景とで代表となる位置を示す情報を与えればよい。また以後、この軌跡等の情報を「シード」と言うことがある。また前景に対して与える軌跡等の情報を「シード１」、後景に対して与える軌跡等の情報を「シード２」と言うことがある。

図４は、図３（ａ）の画像Ｇ１に実際にシード１およびシード２を与えた例を示している。
図示するように画像Ｇ１に対し、前景である人物の髪の部分にはシード１が設定され、後景である髪以外の部分にはシード２が設定されている。

そして二値画像生成部１２は、このシード１およびシード２を基にして領域拡張方法により、それぞれの領域を拡張する。
本実施の形態の領域拡張方法ではシード１やシード２に属する画素の画素値を、周囲の画素へ画素値の伝搬をすることで画素値を決める。この方法として、画素が持つ強さの伝搬により、領域を拡張していく原理が適用できる。

具体的には、以下の方法を応用することができる。この方法は、特開２０１６−００６６４５号公報に記載された方法である。
例えばシードが与えられた画素にラベルを設ける。この場合、前景においてシード１が与えられた画素に対しては、ラベル１を設定し、後景においてシード２が与えられた画素に対しては、ラベル２を設定する。そしてシードが与えられた画素には強さ１を設定しておき、シードが与えられた画素から、まだシードが与えられていない画素に対して、強さを伝搬していきながら、かつ、強さ同士を比較しながら強い方のラベルが採用されていく方法がある。この方法によれば、前景と後景とのそれぞれに与えられたシードからそれぞれのラベルを有する画素がその領域を拡張していき、最終的に前景と後景に分離される。
このとき１つの画素から隣接する画素への強さの影響度として加重を考える。そして例えば、この１つの画素から隣接する画素へ強さを伝搬する際には、１つの画素の持つ強さと加重を乗じ、乗じた値が隣接画素の強さになるように行なうことを基本とする。このとき「強さ」は、ラベルに対応する前景や後景に属する強さであり、ある画素がラベルに対応する前景や後景に属する可能性の大きさを表す。強さが大きいほどその画素がラベルに対応する前景や後景に属する可能性が高く、強さが小さいほどその画素がラベルに対応する前景や後景に属する可能性が低い。
また「加重」については、次のように考えることができる。

図５−１（ａ）〜（ｂ）は、加重について説明した図である。
図５−１（ａ）では、対象画素Ｔに対して加重を決定する隣接画素Ｒを示している。この場合、隣接画素Ｒは、対象画素Ｔに隣接する８画素である。そして加重は、原画像の画素情報を用いて決定される。つまり対象画素Ｔに対する隣接画素Ｒへの加重は、画素値が近いものほどより大きく、画素値が遠いものほどより小さくなるように決められる。画素値が近いか否かは、例えば、画素値（例えば、ＲＧＢ値）のユークリッド距離などを使用して決めることができる。

例えば、対象画素Ｔの画素値をＰ_０＝（Ｒ_０、Ｇ_０、Ｂ_０）とし、隣接画素Ｒの画素値をＰ_ｉ＝（Ｒ_ｉ、Ｇ_ｉ、Ｂ_ｉ）とすると、ＲＧＢ値のユークリッド距離ｄ_ｉは、下記数１式で定義できる。

またＲＧＢ値のユークリッド距離ｄ_ｉの代わりに下記数２式に示したＹＣｂＣｒ値を使用したユークリッド距離ｄ_ｉ ^ｗを考えてもよい。数２式は、対象画素Ｔの画素値が、Ｐ_０＝（Ｙ_０、Ｃｂ_０、Ｃｒ_０）であり、隣接画素Ｒの画素値が、Ｐ_ｉ＝（Ｙ_ｉ、Ｃｂ_ｉ、Ｃｒ_ｉ）であったときのユークリッド距離ｄ_ｉ ^ｗを示している。また数２式のユークリッド距離ｄ_ｉ ^ｗは、重み係数Ｗ_Ｙ、Ｗ_Ｃｂ、Ｗ_Ｃｒを使用した重みづけユークリッド距離となっている。

さらに画素値は、３成分からなるものに限定されるものではない。例えば、ｎ次元色空間を使用し、ｎ個の色成分によるユークリッド距離ｄ_ｉ ^ｗを考えてもよい。
例えば、下記数３式は、色成分が、Ｘ_１、Ｘ_２、…、Ｘ_ｎである場合である。そして数３式は、対象画素Ｔの画素値が、Ｐ_０＝（Ｘ_１０、Ｘ_２０、…、Ｘ_ｎ０）であり、隣接画素Ｒの画素値が、Ｐ_ｉ＝（Ｘ_１ｉ、Ｘ_２ｉ、…、Ｘ_ｎｉ）であったときのユークリッド距離ｄ_ｉ ^ｗを示している。なお数３式のユークリッド距離ｄ_ｉ ^ｗも重み係数Ｗ_Ｘ１、Ｗ_Ｘ２、…、Ｗ_Ｘｎを使用した重みづけユークリッド距離となっている。

図５−１（ｂ）では、対象画素Ｔに対して決められる加重の大きさを図示している。ここでは、対象画素Ｔに対して決められる加重がより大きい隣接画素Ｒについては、より太い線で示し、対象画素Ｔに対して決められる加重がより小さい隣接画素Ｒについては、より細い線で示している。

なおユークリッド距離ｄ_ｉから加重を決定するのは、具体的には以下の方法で行なっている。
図５−２（ａ）〜（ｂ）は、加重を決定する方法について示した図である。図５−２（ａ）〜（ｂ）において、横軸は、ユークリッド距離ｄ_ｉを表し、縦軸は、加重を表す。
このユークリッド距離ｄ_ｉは、強さを与えられた画素とその画素の周辺に位置する画素との間で決まる画素値のユークリッド距離ｄ_ｉである。そして例えば、図５−２（ａ）に図示するように非線形の単調減少関数を定め、ユークリッド距離ｄ_ｉに対し、この単調減少関数により決まる値を加重とする。
つまりユークリッド距離ｄ_ｉが小さいほど、加重はより大きくなり、ユークリッド距離ｄ_ｉが大きいほど、加重はより小さくなる。
なお単調減少関数は、図５−２（ａ）のような形状のものに限られるものではなく、単調減少関数であれば特に限られるものではない。よって図５−２（ｂ）のような線形の単調減少関数であってもよい。またユークリッド距離ｄ_ｉの特定の範囲で線形であり、他の範囲で非線形であるような区分線形の単調減少関数であってもよい。

以上のように、強さの伝搬と強さの比較により、結果的に「ラベル」が伝搬され領域を分離することができる。この場合、ラベルと強さが伝搬し、領域の切り分けを行なうと考えることができる。そして二値画像生成部１２は、前景であるラベル１が付与された領域の画素値を「１」とし、後景であるラベル２が付与された領域の画素値を「０」とすることで二値画像を生成することができる。なお、領域分離については、グラフカットなどの他の手法を用いても構わない。

未知領域設定部１３は、二値画像の中から多値画像としたい領域を抽出し、画素値が決定していない画像領域である未知領域を設定する。
この未知領域は、二値画像における前景と後景の境界部の周囲の画像領域となる。よって未知領域設定部１３は、二値画像Ｇ１’を使用して、前景および後景の境界部で未知領域Ｍを設定する。これは、前景および後景の境界部で画素に付与されていたラベルをリセットする、と言うこともできる。

本実施の形態では、未知領域設定部１３は、二値画像Ｇ１’の中で隣接画素の画素値が異なる画素に対し、未知領域Ｍを設定するフィルタを適用する。具体的には、未知領域設定部１３は、前景および後景の境界部の画素を中心として二値の画素値の設定を解除する（ラベルをリセットする）フィルタを適用することで未知領域Ｍを設定する。

図６（ａ）〜（ｂ）は、未知領域設定部１３が、未知領域Ｍを設定する処理について示した図である。
このうち図６（ａ）は、未知領域Ｍを設定するフィルタを示している。このフィルタは、フィルタ内部にある各画素のうち前景および後景の画素を含む場合に、中心画素に対して未知領域Ｍが設定される。図６（ａ）のように、前景と後景の境界に未知領域Ｍを設定することができる。またフィルタの大きさは、例えば、１０画素×１０画素である。

図６（ｂ）は、このフィルタを使用して未知領域Ｍを設定した後について示した図である。図６（ｂ）で示すように図６（ａ）で図示した画素値が「１」と「０」との境界部において未知領域Ｍが設定される。

図７（ａ）〜（ｂ）は、二値画像Ｇ１’に対し前景および後景の境界部で未知領域Ｍを設定した場合を示している。
このうち図７（ａ）は、図３（ｂ）と同様の図であり、二値画像Ｇ１’を示している。
また図７（ｂ）は、前景および後景の境界部で未知領域Ｍを設定した場合の未知領域設定画像Ｇ_Ｍを示している。図示するように前景である髪の部分と後景である髪以外の部分との境界部に、未知領域設定部１３で設定した未知領域Ｍが適用される。

代表色取得部１４は、画像中の特定の領域における代表色を取得する。この画像は、原画像Ｇ１である。そしてこの特定の領域は、前景であり、第１の実施形態ではこの領域をユーザが指定する。

図８は、ユーザが原画像Ｇ１上で特定の領域を指定する場合を示した図である。
図示するようにユーザは、表示装置２０で表示している原画像Ｇ１を確認しながら、入力装置３０を操作し、切り抜きたい領域（この場合、前景である髪の部分）をクリックまたはタップすることで、その画素を代表色として選択する。代表色はユーザが選択した１画素、またはその周辺画素の情報を用いても構わない。このとき、前景の領域のみを用いることで、ユーザが後景を選択しても代表色として決定しないようにすることで、ユーザの誤操作を防ぐことができる。

図９（ａ）は、ユーザが原画像Ｇ１上で特定の領域を複数指定する場合を示した図である。
この場合、図９（ａ）に示すようにユーザは、切り抜きたい領域（この場合、前景である髪の部分）として、３箇所を選択している。このように選択した代表色を平均して用いてもよいし、複数の代表色を用いてもよい。複数の代表色を用いる方法については後述する。なお、本実施の形態では、３個の代表色を用いたが、その数は、特に限られるものではなく、いくつでもよい。

色距離算出部１５は、代表色取得部１４が取得した代表色と未知領域Ｍ中の画素との色距離を求める。ここでは例として、ＨＳＶ色空間のＶを用いた場合を例に取り説明する。

図１０（ａ）〜（ｃ）、図１１（ａ）〜（ｂ）、および図１２（ａ）〜（ｂ）は、未知領域Ｍ中の各画素に対し、色距離を求める方法を示した図である。
このうち図１０（ａ）は、図７（ｂ）と同様の図であり、未知領域Ｍを設定したときの未知領域設定画像Ｇ_Ｍを示す。また図１０（ｂ）は、未知領域Ｍの中で人物の頭部付近を拡大した図である。また図１０（ｃ）は、未知領域Ｍの中で髪の毛先部分を拡大した図である。
図１０（ｂ）および図１０（ｃ）において、暗いほど画素値が小さく、明るいほど画素値が大きいことを示している。また、白い太線より外側が前景の領域、黒い太線より外側が後景の領域を示しており、両太線の内側が未知領域Ｍである。

図１１（ａ）は、図１０（ｂ）に示した各画素のＶの値を示す。また図１１（ｂ）は、図１０（ｃ）に示した各画素のＶの値を示す。
そして代表色取得部１４が取得した代表色をＶ_ｄとすると、位置（ｉ、ｊ）における画素のＶの値との差ΔＶ（ｉ、ｊ）は、以下の数４式で表すことができる。即ち、ΔＶ（ｉ、ｊ）は、位置（ｉ、ｊ）における画素のＶと代表色Ｖ_ｄとの色距離を表す。

図１２（ａ）は、図１０（ｂ）に示した各画素について、代表色Ｖ_ｄを０．２としたときのΔＶ（ｉ、ｊ）の値を示す。また図１２（ｂ）は、図１０（ｃ）に示した各画素について、代表色Ｖ_ｄを０．２としたときのΔＶ（ｉ、ｊ）の値を示す。
この色距離ΔＶ（ｉ、ｊ）の分布から分かるように、図１２（ａ）の場合は、急激に色が変化する領域であるため、色距離ΔＶ（ｉ、ｊ）の変化も急激に変化となる。一方で、図１２（ｂ）の場合は、前景と後景との領域の境界が曖昧なため、毛先の形状に合わせてΔＶ（ｉ、ｊ）の変化も緩やかな変化となる。

以上が、１個の代表色を用いた場合である。
また、髪や洋服などの同一の領域でも光の当たり方などによって色が大きく異なる場合がある。そのため複数の代表色を取得し、これを統合してもよい。
図９に戻り、複数の代表色を用いる場合について示す。ここでは一例として、ＨＳＶ色空間のＶを用いた場合を例に取り説明する。ここで前述の図９（ａ）で選択した３個の代表色をＶ_ｄ1、Ｖ_ｄ2、Ｖ_ｄ3とすると、位置（ｉ、ｊ）における画素のＶの値との差ΔＶ₁（ｉ、ｊ）、ΔＶ₂（ｉ、ｊ）、ΔＶ₃（ｉ、ｊ）は、以下の数５式、数６式、数７式で表すことができる。即ち、ΔＶ₁（ｉ、ｊ）、ΔＶ₂（ｉ、ｊ）、ΔＶ₃（ｉ、ｊ）は、位置（ｉ、ｊ）における画素のＶと代表色Ｖ_ｄ1、Ｖ_ｄ2、Ｖ_ｄ3との色距離を表し、これを図９（ｂ）に示すように色指定マスク画像と呼ぶ。

数５式、数６式、数７式で算出したΔＶ₁（ｉ、ｊ）、ΔＶ₂（ｉ、ｊ）、ΔＶ₃（ｉ、ｊ）を統合することで、図９（ｃ）で示す統合色指定マスク画像を生成する。統合色指定マスク画像をΔＶ’（ｉ、ｊ）とすると、以下の数８式で表すことができる。

数８式に示したように、各画素で、ΔＶ₁（ｉ、ｊ）、ΔＶ₂（ｉ、ｊ）、ΔＶ₃（ｉ、ｊ）のうち最も高い値をΔＶ’（ｉ、ｊ）として用いることができ、これが複数の代表色を考慮した色距離となる。なお、ΔＶ₁（ｉ、ｊ）、ΔＶ₂（ｉ、ｊ）、ΔＶ₃（ｉ、ｊ）の平均を用いても構わない。なお、本実施の形態では、３個の代表色を用いたが、その数は、特に限られるものではなく、いくつでもよい。

多値画像生成部１６は、未知領域Ｍにおいて、代表色を基に前景（第１の領域）の度合いを表す多値の画素値を求める。さらに具体的には、多値画像生成部１６は、代表色を基に求めた色距離を基に多値の画素値を求める。そして多値画像生成部１６は、多値の画素値による多値画像Ｇ１”を生成する。

未知領域Ｍの画素値Ｃは、例えばＣの周辺にある前景の領域（ラベル１）のついた画素値をＦ、後景の領域（ラベル２）の画素値をＢとしてペアを選んだときＣは、以下の数９式で表すことができる。

ここでαは、０≦α≦１であり、前景の度合いを表すパラメータである。数９式よりα＝１ならばＣ＝Ｆとなり、前景のラベル１に属する画素となる。またα＝０ならばＣ＝Ｂとなるので、後景のラベル２に属する画素となる。そして０＜α＜１では、その中間の属性を有する画素となる。即ち、αは、前景の領域と後景の領域のブレンド率であると言うこともできる。そしてαが大きいほど前景の度合いが大きくなるとともに後景の度合いが小さくなり、αが小さいほど前景の度合いが小さくなるとともに後景の度合いが大きくなる。

多値画像生成部１６は、色距離算出部１５で算出した色距離を使用して未知領域Ｍ中の各画素に対するブレンド率αを求める。そして多値画像生成部１６は、未知領域Ｍの画素値をブレンド率αとする。これにより多値画像生成部１６は、多値画像Ｇ１”を生成する。この多値画像Ｇ１”において、図７（ｂ）の未知領域設定画像Ｇ_Ｍにおいて前景となった部分の画素の画素値は１となる。また図７（ｂ）の未知領域設定画像Ｇ_Ｍにおいて後景となった部分の画素の画素値は０となる。また図７（ｂ）の未知領域設定画像Ｇ_Ｍにおいて未知領域Ｍとなった部分の画素値はブレンド率αとなり、画素値は、０以上１以下となる。
ブレンド率αは、例えば、以下の数１０式により算出することができる。

ここでα（ｉ、ｊ）は、位置（ｉ、ｊ）におけるブレンド率αの値を示す。またｆは、色距離ΔＶ（ｉ、ｊ）からα（ｉ、ｊ）を求めるための関数である。関数ｆは、単調減少関数である。即ち、色距離が小さい（前景の色との相違がより小さい）ほど、ブレンド率αは、より大きくなり、前景の度合いが大きくなるとともに後景の度合いは小さくなる。対して、色距離が大きい（前景の色との相違がより大きい）ほど、ブレンド率αは、より小さくなり、前景の度合いが小さくなるとともに後景の度合いは大きくなる。

図１３（ａ）〜（ｃ）は、関数ｆの例について示した図である。
ここで横軸は、ΔＶ（ｉ、ｊ）（図では、ΔＶとして図示）を表し、縦軸は、α（ｉ、ｊ）（図では、αとして図示）を表す。
このうち図１３（ａ）は、関数ｆを線形の単調減少関数とした場合を示している。ただし線形である場合に限られるものではなく、図１３（ｂ）や図１３（ｃ）のように関数ｆを非線形の単調減少関数としてもよい。また特定の範囲で線形であり、他の範囲で非線形であるような区分線形の単調減少関数であってもよい。さらに連続的にブレンド率αが減少する場合のみならず、ΔＶ（ｉ、ｊ）の増加に伴い、ブレンド率αが一定となる範囲があってもよい。

図１４（ａ）〜（ｃ）は、二値画像生成部１２が生成した二値画像Ｇ１’と多値画像生成部１６が生成した多値画像Ｇ１”とを比較した図である。
このうち図１４（ａ）は、図３（ｂ）と同様の図であり、二値画像Ｇ１’の全体図を示している。ただしここでは、説明をよりわかりやすくするため、前景に属する画素値が「１」の画素を白色とし、後景に属する画素値が「０」の画素を黒色としている。また図１４（ｂ）は、図１４（ａ）の毛先部分を拡大した図である。さらに図１４（ｃ）は、図１４（ｂ）と同じ箇所を多値画像Ｇ１”の場合で示した図である。ここでは、前景に属する画素値が「１」の画素を白色とし、後景に属する画素値が「０」の画素を黒色とするとともに、０と１との中間の画素値を有する画素は、グレーとしている。
図１４（ｂ）と図１４（ｃ）とを比較するとわかるように、二値画像Ｇ１’では境界の判断が難しかった領域付近を、多値画像Ｇ１”とすることで、曖昧な状態を表現することができる。そして多値画像Ｇ１”は、前景と後景との境界部における曖昧な領域を多値で表すマスクとして使用することができる。そしてこのマスクにより原画像Ｇ１から前景である髪の部分を切り出すことができる。このようにこのマスクは、衣類や人物の髪など境界が曖昧な領域を切り出すのに有効である。

画像情報出力部１７は、以上のように画像処理がなされた後の多値画像の画像情報を出力する。画像処理がなされた後の画像情報は、表示装置２０に送られる。そして表示装置２０にてこの画像情報に基づき画像が表示される。この場合、多値画像生成部１６が生成した多値画像が表示装置２０に表示される。またこの多値画像を利用したマスクにより原画像Ｇ１から前景を切り出した画像を表示してもよい。

［第２の実施形態］
次に画像処理装置１０の第２の実施形態について説明を行なう。
第２の実施形態では、代表色取得部１４が、代表色をいわば自動的に生成する場合について説明する。

第２の実施形態における画像処理装置１０の機能構成例は、図２に示した場合と同様である。そして第２の実施形態は、第１の実施形態に比較して、代表色取得部１４の動作が異なり、他は同様である。
よって以下、第２の実施形態における代表色取得部１４の動作について主に説明を行なう。

第２の実施形態において代表色取得部１４は、前景に属する画素の画素値から特徴量を抽出する。そして代表色取得部１４は、この特徴量を基に代表色を取得する。
図１５は、前景の領域に属する画素の画素値から特徴量を抽出する方法の第１の例を示した図である。
図１５では、前景の領域に属する画素の画素値としてＨＳＶ色空間のＶを用い、前景の領域に属する画素のＶの値からヒストグラムを作成した例を示している。
図１５で横軸は、Ｖの値を表し、縦軸は、頻度（画素数）を表す。
代表色取得部１４は、このヒストグラムを使用して、特徴量を抽出し、それを代表色とする。例えば、代表色取得部１４は、Ｖの平均値Ｖ_ａｖｅを代表色とすることができる。また例えば、代表色取得部１４は、Ｖの固定値Ｖ_ｆｉｘを設定し、これを代表色とすることができる。さらに例えば、代表色取得部１４は、Ｖの最頻値Ｖ_ｍｏｄを代表色とすることができる。

図１６は、前景の領域に属する画素の画素値から特徴量を抽出する方法の第２の例を示した図である。
図１６では、図１５と同様のヒストグラムを用い、特徴量として平均値Ｖ_ａｖｅを抽出する。また平均値Ｖ_ａｖｅより予め定められた値だけ小さい（暗い）Ｖ値であるＶ_Ｌを特徴量として抽出する。さらに平均値Ｖ_ａｖｅより予め定められた値だけ大きい（明るい）Ｖ値であるＶ_Ｈを特徴量として抽出する。つまりここでは複数の代表色を抽出する。そしてこのように選択した代表色を平均して用いてもよいし、複数の代表色を用いてもよい。複数の代表色を用いる方法については前述した通りである。

次に画像処理装置１０の動作について説明を行なう。
図１７は、第１の実施形態および第２の実施形態における画像処理装置１０の動作について説明したフローチャートである。

まず画像情報取得部１１が、画像処理を行なう原画像Ｇ１の画像情報としてＲＧＢデータを取得する（ステップ１０１）。

次に二値画像生成部１２が、画像情報を前景または後景であることを示す二値で表された二値画像を生成する（ステップ１０２）。その結果、図３（ｂ）に示すような二値画像Ｇ１’が生成される。

次に未知領域設定部１３が、二値画像を使用して、前景および後景の境界部で未知領域Ｍを設定する（ステップ１０３）。この処理は、図６で示したような未知領域Ｍを設定するフィルタを使用することで行なう。その結果、図７（ｂ）で示すような未知領域Ｍが設定される。

そして代表色取得部１４が、画像中の特定の領域における代表色を取得する（ステップ１０４）。この特定の領域は、第１の実施形態では、ユーザが指定し、代表色取得部１４は、これから代表色を取得する。また第２の実施形態では、図１５、図１６に示したように、前景の領域に属する画素の画素値から特徴量を抽出し、これから代表色を決定する。

次に色距離算出部１５が、代表色取得部１４が取得した代表色と未知領域Ｍ中の各画素の色距離を算出する（ステップ１０５）。

そして多値画像生成部１６が、未知領域Ｍにおいて、色距離からブレンド率αを求め、前景の度合いを表す多値画像の画素値を求める。これにより多値画像生成部１６は、前景の度合いを表す多値画像を生成する（ステップ１０６）。

さらに画像情報出力部１７が、以上のように画像処理がなされた後の多値画像の画像情報を出力する（ステップ１０７）。

以上説明した画像処理装置１０によれば、未知領域Ｍを設定した後、未知領域Ｍ中の画素の画素値を色距離から求め、多値画像を生成する。この方法によれば、より高い精度を実現しつつより速い処理速度でMatting処理を行なうことができ、精度と処理速度とを両立させることができる。

なお以上説明した画像処理装置１０で行われる処理は、画像の画像情報を取得する画像情報取得工程と、画像情報から前景（第１の領域）または後景（第２の領域）であることを示す二値で表された二値画像を生成する二値画像生成工程と、二値画像を使用して、前景（第１の領域）および後景（第２の領域）の境界部で未知領域を設定する未知領域設定工程と、画像中の特定の領域における代表色を取得する代表色取得工程と、未知領域において、代表色を基に前景（第１の領域）の度合いを表す多値の画素値を求める多値画像生成工程と、を含む画像処理方法として捉えることもできる。

＜画像処理装置のハードウェア構成例＞
次に、画像処理装置１０のハードウェア構成について説明する。
図１８は、画像処理装置１０のハードウェア構成を示した図である。
画像処理装置１０は、上述したようにパーソナルコンピュータ等により実現される。そして図示するように、画像処理装置１０は、演算手段であるＣＰＵ（Central Processing Unit）９１と、記憶手段であるメインメモリ９２、およびＨＤＤ（Hard Disk Drive）９３とを備える。ここで、ＣＰＵ９１は、ＯＳ（Operating System）やアプリケーションソフトウェア等の各種プログラムを実行する。また、メインメモリ９２は、各種プログラムやその実行に用いるデータ等を記憶する記憶領域であり、ＨＤＤ９３は、各種プログラムに対する入力データや各種プログラムからの出力データ等を記憶する記憶領域である。
さらに、画像処理装置１０は、外部との通信を行なうための通信インターフェース（以下、「通信Ｉ／Ｆ」と表記する）９４を備える。

＜プログラムの説明＞
ここで以上説明を行った本実施の形態における画像処理装置１０が行なう処理は、例えば、アプリケーションソフトウェア等のプログラムとして用意される。

よって本実施の形態で、画像処理装置１０が行なう処理は、コンピュータに、画像の画像情報を取得する画像情報取得機能と、画像情報から前景（第１の領域）または後景（第２の領域）であることを示す二値で表された二値画像を生成する二値画像生成機能と、二値画像を使用して、前景（第１の領域）および後景（第２の領域）の境界部で未知領域を設定する未知領域設定機能と、画像中の特定の領域における代表色を取得する代表色取得機能と、未知領域において、代表色を基に前景（第１の領域）の度合いを表す多値の画素値を求める多値画像生成機能と、を実現させるプログラムとして捉えることもできる。

なお、本実施の形態を実現するプログラムは、通信手段により提供することはもちろん、ＣＤ−ＲＯＭ等の記録媒体に格納して提供することも可能である。

以上、本実施の形態について説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、種々の変更または改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。

１…画像処理システム、１０…画像処理装置、１１…画像情報取得部、１２…二値画像生成部、１３…未知領域設定部、１４…代表色取得部、１５…色距離算出部、１６…多値画像生成部、１７…画像情報出力部、２０…表示装置、３０…入力装置

Claims (8)

1. 画像の画像情報を取得する画像情報取得部と、
   前記画像情報から第１の領域または第２の領域であることを示す二値で表された二値画像を生成する二値画像生成部と、
   前記二値画像を使用して、前記第１の領域および前記第２の領域の境界部で未知領域を設定する未知領域設定部と、
   前記画像中の特定の領域における代表色を取得する代表色取得部と、
   前記未知領域において、前記代表色を基に前記第１の領域の度合いを表す多値の画素値を求める多値画像生成部と、
   を備える画像処理装置。
2. 前記代表色と前記未知領域中の画素の画素値との色距離を求める色距離算出部をさらに備え、
   前記多値画像生成部は、前記色距離を基に多値の画素値を求めることを特徴とする請求項１に記載の画像処理装置。
3. 前記代表色取得部は、前記特定の領域として前記第１の領域における代表色を取得することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記代表色取得部は、前記第１の領域に属する画素の画素値の特徴量を基に前記代表色を取得することを特徴とする請求項３に記載の画像処理装置。
5. 前記未知領域設定部は、前記第１の領域および前記第２の領域の境界部の画素を中心として二値の画素値の設定を解除するフィルタを適用することで前記未知領域を設定することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
6. 画像の画像情報を取得する画像情報取得工程と、
   前記画像情報から第１の領域または第２の領域であることを示す二値で表された二値画像を生成する二値画像生成工程と、
   前記二値画像を使用して、前記第１の領域および前記第２の領域の境界部で未知領域を設定する未知領域設定工程と、
   前記画像中の特定の領域における代表色を取得する代表色取得工程と、
   前記未知領域において、前記代表色を基に前記第１の領域の度合いを表す多値の画素値を求める多値画像生成工程と、
   を含む画像処理方法。
7. 画像を表示する表示装置と、
   前記表示装置に表示される前記画像の画像情報に対し画像処理を行なう画像処理装置と、
   を備え、
   前記画像処理装置は、
   前記画像情報を取得する画像情報取得部と、
   前記画像情報から第１の領域または第２の領域であることを示す二値で表された二値画像を生成する二値画像生成部と、
   前記二値画像を使用して、前記第１の領域および前記第２の領域の境界部で未知領域を設定する未知領域設定部と、
   前記画像中の特定の領域における代表色を取得する代表色取得部と、
   前記未知領域において、前記代表色を基に前記第１の領域の度合いを表す多値の画素値を求める多値画像生成部と、
   を備える画像処理システム。
8. コンピュータに、
   画像の画像情報を取得する画像情報取得機能と、
   前記画像情報から第１の領域または第２の領域であることを示す二値で表された二値画像を生成する二値画像生成機能と、
   前記二値画像を使用して、前記第１の領域および前記第２の領域の境界部で未知領域を設定する未知領域設定機能と、
   前記画像中の特定の領域における代表色を取得する代表色取得機能と、
   前記未知領域において、前記代表色を基に前記第１の領域の度合いを表す多値の画素値を求める多値画像生成機能と、
   を実現させるプログラム。

Images