JP2002150284A - 画像内の主対象を強調するためのディジタル画像処理システム及び方法 - Google Patents

Abstract

(57)【要約】 【課題】 本発明は、画像内の主対象を強調する、画素
を有する画像を処理する自動化された方法を提供するこ
とを目的とする。 【解決手段】画素を有する画像を自動的に変更するシス
テムと方法が開示される。画像は領域にセグメント化さ
れ、そして、領域の種々の特徴が抽出され、そして、信
頼性ファクタ又は信頼値を計算するのに使用される。信
頼値は、どのように画素が変更されるかを規定するのに
使用される信頼マップに集められる。画素の種々の色と
概観値は、画像の主対象を強調するために、所定の方法
で変更される。強調はバイナリーの形式で又は、値のグ
ラディエントとして与えられる。主対象が強調される
か、又は、２次又は背景対象が強調されるかのいずれか
である。システムを、種々のコンピュータシステムで実
行できる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画素よりなる画像
を処理する方法に関し、特に、画像内の主対象を強調す
るための画像画素の処理に関する。

【０００２】

【従来の技術】動画産業内では、動画の個々の画像又は
フレームの主対象を手動で識別しそして、所望の強調効
果を得るためにカラー値を操作することが知られてい
る。この処理は、手動で行われそして、通常は画像又は
フレームを画素にディジタル化しそして、コンピュータ
端末のグラフィックユーザインターフェースを使用し
て、手動で、注目する対象の輪郭を描くことを必要とす
る。そして、画像画素は、ある所定の方法で背景に関し
て識別された物体を変更することにより、修正される。
最近の動画では、背景をぼかす又は背景を黒又は白に変
更する効果が使用されている。この技術の結果は、動
画”Ｐｌｅａｓａｎｔｖｉｌｌｅ”で見ることができ
る。この手動の処理は，非常に手がかかり、そしてそれ
ゆえに、実行するのにコストがかかる。それにも関わら
ず、効果は非常に望ましいので、動画プロデューサは、
これらの効果を有する画像を作るのに喜んで投資をす
る。

【０００３】良好な芸術的効果に使用するために考えら
れる幾つかの他の同様な効果がある。しかしながら、効
果が望ましくても、手動の労力が必要とされ、そのよう
な技術の使用を非常に制限する。もちろんこれらの効果
は、アマチェア又はプロの写真家によるスチル写真で使
用するのも望ましい。そのような使用は、コストと手動
の技術の不便さにより制限される。静止画の場合には、
画像を操作する手動の労力だけで無く、そのような操作
を行うことができるソフトウェアの使用方法を覚える努
力もある。そのような画像操作が規則的に行えない場合
には、ユーザは、画像を操作したい各々が、ある量の再
学習をする。

【０００４】

【発明が解決しようとする課題】従って、従来技術内に
は、画像内の主対象を強調する、画素を有する画像を処
理する自動化された方法に関しての要求がある。

【０００５】

【課題を解決するための手段】その従来技術内の要求
は、本発明のシステムと方法により取り組まれる。本発
明は、画像の主対象を自動的に識別し、そして、前記主
対象を強調するために画素値を変更することにより、画
素を有する画像を修正するシステム及び方法を含む。こ
れは、他の技術の中で、主対象内の画素値を変更し又
は、背景内又は両方の画素値を変更することにより達成
される。

【０００６】主対象を識別する処理は、均一な画像の特
性に基づいて、画像を複数の領域に分割するステップを
有する。そして、複数の領域の各々の特徴のレベルを計
算し、そして、信頼値を、一部である画像の特徴のレベ
ルに対応する画素に割り当てる。セグメント化に使用さ
れる画像の特性は、色又はテクスチャ等である。

【０００７】特徴のレベルは、領域の特徴又は領域の特
徴の組合せに比例するとして計算される。領域の特徴
は、構造的、語義的、又は、時々に考えられ得るよう
な、他の領域的特徴でも良い。信頼値は領域が画像の主
対象である可能性に従って順番が付される。

【０００８】本発明の他の実施例では、システムと方法
は、以下のルーチンを通して、画素を有する画像を修正
する。第１に、画像内の複数の領域の位置を示す値を含
む主対象信頼マップを自動的に発生し、主対象信頼マッ
プは領域の１つに関連する少なくとも１つの第１の信頼
値を含み、そして、信頼値は、関連する領域が画像の主
対象であるという確率に関連する。次に、関連する信頼
値に関連する複数の領域内の画素値を変更する。

【０００９】更なる実施例では、システムと方法は、主
対象領域と背景領域を識別するしきい値信頼値を決定
し、そして、背景領域内の画素を非飽和にする。非飽和
ステップは、背景領域内の画素に対する輝度値を計算し
且つ、背景領域内の画素のカラー値をそれぞれの輝度値
で置き換えることにより行われてもよい。

【００１０】更なる実施例では、システムと方法は、各
画素の飽和値を計算しそして、関連する信頼値に従って
画素飽和値を変更する。

【００１１】更なる実施例では、システムと方法は、主
対象領域と背景領域を識別するしきい値信頼値を決定
し、そして、主対象領域内の画素の飽和値を向上させ
る。

【００１２】更なる実施例では、システムと方法は、主
対象領域と背景領域を識別するしきい値信頼値を決定
し、そして、背景領域内の各画素の飽和値を計算しそし
て、関連する信頼値に従って背景領域内の画素飽和値を
変更する。

【００１３】更なる実施例では、システムと方法は、主
対象領域と背景領域を識別するしきい値信頼値を決定
し、そして、主対象領域内の各画素の飽和値を計算しそ
して、関連する信頼値に従って主対象域内の画素飽和値
を変更する。

【００１４】更なる実施例では、システムと方法は、各
画素に対する輝度値を計算し、そして、関連する信頼値
に従って、画素輝度値を変更する。

【００１５】更なる実施例では、システムと方法は、主
対象領域と背景領域を識別するしきい値信頼値を決定
し、そして、関連する信頼値に従って、主対象領域内の
画素輝度値を変更する。

【００１６】更なる実施例では、システムと方法は、主
対象領域と背景領域を識別するしきい値信頼値を決定
し、そして、関連する信頼値に従って、主対象領域内の
画素輝度値を変更する。

【００１７】更なる実施例では、システムと方法は、各
画素に対するヒュー値を計算し、そして、関連する信頼
値に従って、画素ヒュー値を変更する。

【００１８】更なる実施例では、システムと方法は、主
対象領域と背景領域を識別するしきい値信頼値を決定
し、そして、関連する信頼値に従って、主対象領域内の
画素ヒュー値を変更する。

【００１９】更なる実施例では、システムと方法は、主
対象領域と背景領域を識別するしきい値信頼値を決定
し、そして、関連する信頼値に従って、主対象領域内の
画素ヒュー値を変更する。

【００２０】更なる実施例では、システムと方法は、主
対象領域と背景領域を識別するしきい値信頼値を決定
し、そして、主対象領域内の画素ヒュー値を反転する。

【００２１】更なる実施例では、システムと方法は、主
対象領域と背景領域を識別するしきい値信頼値を決定
し、そして、主対象領域内の画素ヒュー値を反転する。

【００２２】更なる実施例では、システムと方法は、各
画素に対してぼかし値を計算しそして、関連する信頼値
に従って画素ぼかし値を変更する。

【００２３】更なる実施例では、システムと方法は、主
対象領域と背景領域を識別するしきい値信頼値を決定
し、そして、関連する信頼値に従って背景領域内の画素
ぼかし値を変更する。

【００２４】本発明のこれらのそして他の特徴、目的及
び、特徴と優位点は、図を参照して、以下の好適な実施
例の説明と請求項を美津子とにより更に明らかに理解さ
れよう。

【００２５】

【発明の実施の形態】本発明は、特定のアプリケーショ
ンに関する例示的な実施例を参照して説明するが、本発
明はこれに制限されないことは理解されるべきである。
個々に提供される技術にアクセスできる当業者は、その
範囲内で及び本発明が大きな有用性を持つ更なる領域内
で、更なる変更、アプリケーション及び、実施例を理解
するであろう。

【００２６】本発明は、画像の主対象を自動的に検出
し、且つ画像の対象を強調するために変更された画像を
発生するために、画像内の画素の値を自動的に変更する
方法を有する。この自動化は、人手の仲介の必要を除去
する基本的な優位点を提供する。

【００２７】画像の主対象が強調されることが可能な幾
つかの方法があり、以下に説明する。主対象は、主対象
が元の色飽和のレベルのままで、背景色の色飽和を黒又
は白に減少することにより強調されることが可能であ
る。背景は、もとの色飽和のレベルのままで、主対象の
色飽和が向上されると強調効果を発生する。又は、主対
象と背景の飽和を変更することの組合せも使用できる。

【００２８】本発明では、主対象は背景から、単なる２
値で区別されない。むしろ、画像内の特定の領域が主対
象又は、背景対象であるかの信頼性に関連する、信頼値
（重要性マップ）のグラディエントが計算される。グラ
ディエント又は”連続的な値の”主対象信頼マップを使
用することにより、強調は、主対象に与えられ、それに
より、主対象から背景への滑らかな変化が発生し、これ
により、主対象強調から生じる欠陥が近くできなくなり
そして、従って見る者にあまり不快でない。

【００２９】信頼値のグラディエントがあるので、しき
い値は、背景から主対象を分離するの又は、主対象、２
次対象及び、背景対象のような、複数のレベルを設定す
るのに選択されることが可能である。画像飽和レベル又
は、他の画素特性を３又はそれ以上のレベルに設定で
き、それによりこれらの領域の各々を異なる方法で強調
するということは理解される。例として、主対象は向上
された飽和レベルを有し、２次対象は通常の飽和レベル
を有し、そして、その部分が黒又は白で描かれる背景は
ゼロの飽和レベルを有することができる。

【００３０】信頼値のグラディエントの他の優位な使用
では、画像はしきい値により部分に分割される必要はな
いが、しかし、信頼値の各グラディエントステップはそ
れ自身の部分となる。このように、画素値は、望ましい
強調がこのグラディエントに従う、画像を発生するこれ
らのグラディエントに従って調整されても良い。例は、
最も高い信頼値が割り当てられた画素が飽和を向上する
ように変更され、そして、中間の信頼値が割り当てられ
た画素は、最も低い信頼値を有する画素がゼロを有する
まで、各々が徐々に飽和レベルが減少される画像であ
る。以下に更に完全に説明するように、本発明のこの優
位点は、信頼性値の定義が、画像の主対象が実際にはな
んであるかに関して画像の特定の見る者が有しうる、対
象とされる解釈からいくらか異なるという可能性を緩和
するのに重要である。

【００３１】本発明に従って、飽和レベル調整は、主対
象を強調するために、画像を変更するのは１方向であ
る。ディジタル画像では、画素値を幾つかの方法で定義
することができる。原色値赤色、緑色及び、青色が使用
でき、又は、ヒュー（ｈｕｅ）、飽和（ｓａｔｕｒａｔ
ｉｏｎ）及び、輝度（ｌｕｍｉｎａｎｃｅ）値が使用で
きる。他のシステムは画素値を定義するのに考えること
ができる。変換計算はこれらのシステム間を変換するの
に使用される。そのような変換は、

【００３２】

【数１】 により表現され、ここで、ｒ、ｇ及び、ｂはそれぞれ赤
色、緑色及び、青色を表す。

【００３３】本発明は、バイナリーの形で、主対象を強
調するために又は、前述のグラディエントアプローチに
従って、これらの値の又は、これらの値の組合せの調整
を意図する。例として、主対象は、変更された画像内の
輝度のレベルを増加することにより、強調される。同様
に、背景部分はそれらの輝度のレベルを減少することに
より、強調が減少される。

【００３４】ヒューへの調整に関し、主対象は、信頼値
に従ってそのヒューを調整することにより、強調される
ことが可能である。ヒューは主対象中で反転され、主対
象を強調する正／負効果を生成する。また、信頼値に従
って、ヒュー値が変更される。

【００３５】図１を参照し、主対象信頼値がどのように
画像内の画素に割り当てられるかを示すフロー図を示
す。要約すると、複数の画素により記述される画像が、
ステップ２で入力される。画像は、色の分析又は、各領
域のテクスチャの分析により、最初にステップ４で均一
領域にセグメント化される。ステップ６では、画像の構
造的又は語義的特徴を含みうる、特徴が抽出される。処
理はステップ８で、一部に、抽出された特徴情報に基づ
いて、信頼計算を行い、そして、ステップ１０で信頼値
を画素に割り当てる。同じ信頼値は、各領域内の全ての
画素に割り当てられる。結果の情報は、ステップ１２で
画像に対する、信頼マップ内に集められる。従って、信
頼マップは、領域の位置データと共に、領域毎に画像内
の全ての画素に対する信頼値内にデータを有する。

【００３６】主対象検出の問題が発生し、そして、本発
明の譲受人に譲渡されたに共に未決定の特許出願の主題
である。第３者オブザーバそれぞれからの民生形式の写
真画像内の主対象検出のシステムが開発され、そして、
１９９８年１２月３１日に米国特許商標庁に出願された
米国特許出願番号０９／２２３，８６０に開示されてい
る。その内容は参照によりここに組み込まれる。

【００３７】主対象検出は、画像内で異なる対象に関連
する異なる領域に対する、特徴又は相対的な重要性の測
定値を提供する。これは、画像内の画素に割り当てられ
た前述の信頼値のグラディエントである。

【００３８】人間のオブサーバが主対象検出のタスクを
どのように行うかを反映する、コンピュータビジョンの
分野の従来技術では、物体認識と、認識された物体の語
義的意味に従ってシーンの内容を決定することを介し
た、問題解決経路を必要とする。

【００３９】本発明及び参照により組み込まれた引用に
関して、主対象検出システムは、利用できるならばいつ
でも統合された語義情報を伴なう主として低レベルの視
覚特徴によって構成される。この主対象検出システム
は、領域のセグメント化、知覚的グループ化、特徴抽出
及び、確率的推論を含む、幾つかのサブタスクを有す
る。特に、広い種類の視覚的突出特性を表す為に、多く
の数の特徴が画像内の各セグメント化された領域に対し
て抽出され、そして、それらは、調整可能な、拡張可能
な確率ネットワークに入力され、連続する値をを含む信
頼マップを発生する。

【００４０】主対象検出を使用して、主対象に属する領
域は、一般的には、画像内の背景クラッターから分離さ
れる。このように、主対象の選択的な強調又は、背景の
強調の減少が可能となる。自動的な対象強調は、特定の
量のシーンの理解無しに、均一な背景を含む必要のな
い、未制約画像に対しては不可能であると考えられてい
た、重要な動作である。コンテンツ−ドリブンの対象強
調がない場合には、従来のシステムは、主対象であるア
ウトラインに手動でマスクを発生することに依ってい
る。この手動の手順は、面倒でありそして、映画製作ス
タジオで使用されてきた。しかし、民生用の、商用の大
量の写真現像に対して、手動の手順を使用するのは現実
的でない。

【００４１】再び、図１を参照すると、入力画像は、色
とテクスチャのような、均一特性の幾つかの領域にセグ
メント化される。領域は、２つの独立のしかし相補的な
特徴形式；構造的な特徴と語義的な特徴、の項目の特徴
に関して評価される。例えば、人間の肌又は顔の認識は
語義に関し一方、何が突出しているかの決定は一般的に
は構造的に分類される。構造的な特徴に関し、低レベル
の視覚的特徴の組みと、幾何学的な特徴の組みが抽出さ
れる。語義的な特徴に関し、写真画内で頻繁に見られる
キーとなる主題は、検出される。両形式の特徴からの証
拠は、主対象の最終的な信頼マップを発生するために、
ベイズネットベース（Ｂａｙｅｓ ｎｅｔ−ｂａｓｅ
ｄ）の推論エンジンを使用して統合される。ベイズネッ
トに関してはＪ．Ｐｅａｒｌ，知的システム内の確率的
推論（ＰｒｏｂａｂｉｌｉｓｔｉｃＲｅａｓｏｎｉｎｇ
ｉｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍ）、Ｍ
ｏｒｇａｎ Ｋａｕｆｍａｎ，サンフランシスコ、Ｃ
Ａ、１９８８を参照し、その内容は参照によりここに組
み込まれる。

【００４２】１つの構造的な特徴は、中心性である。位
置に関して、主対象は、画像の周辺ではなく、中心付近
に配置されがちであり、従って、高度の中心性は、領域
が画像の主対象であることを示す。しかし、中心性は、
領域が直接的に画像の中心であることを意味する必要は
ない。実際に、プロの写真家は主対象を、いわゆる黄金
分割又は３分の１規則の、画像を３分の１に分割するラ
イン及びラインの交差点に沿って配置しがちである。

【００４３】そのサイズと領域の形状の指示なしに、領
域の中心のみでは、全体の画像に関して領域の位置を示
すのに不充分であるということを理解すべきである。中
心性の測定は所定の領域にわたって確率密度関数（ＰＤ
Ｆ）の積分を計算することにより定義される。ＰＤＦ
は、”グランドトゥルース”データから得られ、全体の
トレイニングセットにわたってグランドトゥルースマッ
プを合計することにより、主対象領域が手動で輪郭化さ
れそして１の値によりマークが付されそして、背景領域
はゼロによりマークが付される。ＰＤＦは、位置に関す
る主対象の分散を表す。中心性測定は、完全に中心でな
い、所定の領域の各画素が、領域の中心性の測定値から
位置に依る変化の度合いに貢献するように工夫される。
中心性（ｃｅｎｔｒａｌｉｔｙ）測定値は以下のように
定義される。

【００４４】

【数２】 ここで、（ｘ，ｙ）は領域Ｒ内の画素、Ｎ_Ｒは領域Ｒ内
の画素数である。

【００４５】向きが未知である場合には、ＰＤＦは、垂
直及び水平の両方向に関して画像の中心に関して対称で
ある。向きが既知である場合には、ＰＤＦは、水平方向
に画像の中心に関して対称であるが、しかし、垂直方向
には対称でなく、この結果、向きに依存する中心性測定
値となる。

【００４６】他の構造的な特徴は境界性である。多くの
背景領域は、１つ又はそれ以上の画像境界に接していが
ちである。従って、画像境界にその輪郭の大きな量を有
する領域は、背景にそして、主対象に属する可能性が高
い。２つの測定値が、領域の境界性を特徴付けるのに使
用される。それらは、領域が交差する画像境界の数（以
後”境界性１（ｂｏｒｄｅｒｎｅｓｓ１）”と呼ぶ）
と、画像境界に沿った領域の周囲の割合（以後”境界性
２（ｂｏｒｄｅｒｎｅｓｓ２）”と呼ぶ）を有する。

【００４７】向きが未知の場合には、境界性１は、所定
の領域を６つのカテゴリーのうちの１つに配置するのに
使用される。これは、領域が接する画像境界の数と形に
より決定される。領域内の少なくとも１つの画素が画像
の境界の固定の距離内にあるときには、領域は境界と接
する。距離は、画像のより短い寸法の部分として表現さ
れる。境界性１に関する６つのカテゴリーは、無し、１
境界、２境界、２つの面する境界、領域に接する３つ又
は４つの境界である。領域が更に境界とコンタクトを有
するならば、領域が主対象でない確率が増加する。

【００４８】画像の向きが既知である場合には、境界性
の特徴は、一番上の境界と接する領域が、下の境界と接
する領域よりも背景である可能性が高いという事実を考
慮するために再度定義される。これは、領域が接してい
る画像境界の数と形により決定される境界性１に対する
１２のカテゴリーとなる。上述からの”接している”の
定義を使用して、画像が真直ぐに立ったシーン内の物体
に向けられているときには、画像の１つの境界は位置に
従って”トップ”、”ボトム”、“左”、”右”とラベ
ルが付される。

【００４９】第２の境界の特徴、境界性２は、画像境界
上の領域の周囲の部分として定義される。この部分は、
真に、２分の１を超えることはできない。そのようにす
ると、領域は、負の領域を有し又は、領域の部分が画像
領域の外側に存在し、これは、任意の画像に対して知ら
れていない。そのような部分は２分の１を超えることは
できず、以下の定義は特徴値をゼロから１の範囲に正規
化するのに使用される。

【００５０】

【数３】 語義的特徴の１つは、人間の肌である。２０００画像に
わたる写真画像データベースの研究から、７０％以上の
写真画像は人間が写っておりそして、約同数の画像がそ
の中に相当な大きさの顔が写っている。このように、肌
色階調は画像内で一般的である。確かに、人間は、写真
内の、単一の最も重要な対象である。従って、肌色階調
の存在を効果的に検出できるアルゴリズムは、画像内の
主対象を識別するのに有益である。

【００５１】本発明では、肌色検出アルゴリズムは、カ
ラー画像のセグメント化と、特定のクロミナンス空間内
の予め定められた肌色分散Ｐ（ｓｋｉｎ｜ｃｈｒｏｍｉ
ｎａｎｃｅ）を使用する。当業者には、異なる民族間の
最大の変化は輝度方向にそってであり、そして、照明源
の影響もおもに輝度方向にそってであることが知られて
いる。このように、所定の領域が、確定されたクロミナ
ンス空間内にある場合には、可能性は輝度のレベルに関
わらず肌色である。１９９６年、日本写真科学技術協会
ジャーナル（Ｊｏｕｒｎａｌ ｏｆ Ｓｏｃｉｅｔｙ
ｏｆ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｓｃｉｅｎｃｅ ａ
ｎｄ Ｔｅｃｈｎｏｌｏｇｙ ｏｆ Ｊａｐａｎ）Ｖｏ
ｌ．５９、Ｎｏ．１の第２１２−２２ページにＬｅｅに
よる”物理学と精神物理学に基づくカラー画像量子化
（Ｃｏｌｏｒ ｉｍａｇｅ ｑｕａｎｔｉｚａｔｉｏｎ
ｂａｓｅｄ ｏｎ ｐｈｙｓｉｃｓ ａｎｄ ｐｓｙ
ｃｈｏｐｈｉｓｉｃｓ）”を参照し、参照によりここに
組み込まれる。肌色領域分類は、予め定義されたクロミ
ナンス空間内にあるならば、セグメント化された領域の
平均色に従って最大確率に基づいている。しかしなが
ら、領域が肌色であるか否かに関する判断は、主とし
て、バイナリー１である。肌色信頼値のグラディエント
を使用することは、ある程度、肌色を識別し且つ、高い
信頼値を割り当てる目的とは、矛盾する。この問題を打
ち消すために、肌色の確率は、Ｓ字状信頼関数を介して
信頼出力にマップされ、これは、”ソフト“しきい値化
操作として働く。Ｓ字状信頼関数は、当業者には理解さ
れる。

【００５２】所定の領域が主対象か否かの決定に関して
は、タスクは、次の確率に基づいて、画像内の所定の領
域が主対象であることの可能性を決定することである。

【００５３】

【数４】 本発明の例示的な実施例では、画像内の各領域に対して
アクティブな、１つのベイズネットがある。従って、確
率的推定は、（画像毎の代わりに）領域毎に基づいて行
われる。

【００５４】例示的な実施例では、主対象検出アルゴリ
ズムの出力は、各々が主対象である可能性（又は信頼
性）の降順にランク付けされたセグメント化された領域
のリストである。このリストは、各領域が配置され且つ
領域の主対象の信頼性に比例する信頼値を割り当てられ
た信頼マップに容易く変換されることが可能である。従
って、このマップは主対象信頼マップと呼ばれる。信頼
マップ内で使用されている信頼値のグラディエントのた
めに、信頼マップは所定の主対象の位置を単に示すバイ
ナリーマップ以上のものである。関連する可能性も各領
域に添付され、それにより、大きな値を有する領域は、
高い信頼性又は信頼性を有する領域に対応し、主対象の
一部である。

【００５５】ある程度、この信頼マップは、主対象検出
のようなタスクを実行するために、人間に関する固有の
不確実性を反映する。これは、バイナリーの主対象決定
の問題を示す。各オブザーバの対象の知覚は、主対象検
出アルゴリズムの明らかな正確さに影響する。従って、
何が正しいかは各オブザーバの意見にのみ保持され、そ
の意見はオブザーバ毎に変わるので、主対象を正確に正
しく検出するのは不可能である。しかし、バイナリーの
判断は、望まれるときには、信頼マップに適切なしきい
値を使用して容易く得ることが可能である。ここで、し
きい値以上の信頼値を有する領域は、主対象として任意
に画定され、そして、しきい値以下のものは、背景領域
と任意に画定される。

【００５６】本発明の幾つかの実施例では、主対象強調
の決定のために、信頼値のグラディエントを有する主対
象信頼マップは、バイナリー化されたバージョンのマッ
プの代わりに、特定のオブザーバに視覚的に不快である
悪い判断を行うことを避けるために使用される。本発明
のこの特徴は、強調処理は、オブザーバからオブザーバ
に比較されるように、主対象が不正確に識別されたとい
う感覚を徐々に緩和するという、その実質的な優位点を
認識する。さらに、主対象の信頼値のグラディエントを
使用することは、主対象と背景の不正確な決定により発
生された歪を隠すことに役立つ。含むべきか含まないべ
きかのバイナリーの判断は、一旦行われると、誤りに対
する余地が少ない。例えば、主対象の部分が最も高い信
頼性に割り当てられない場合にさえも、主対象の残り
を、（バイナリーに対して）緩やかな飽和強調処理で、
飽和と混合の近いレベルを維持し、知覚されにくい。言
いかえると、何を含むか／除外するかに関する望ましく
ないバイナリー判断が行われる場合には、間違いを正す
ことに頼ることはできない。従って、強調の結果は、自
動主対象検出アルゴリズムとバイナリー判断を得るのに
使用されるしきい値の強さに敏感になる。グラディエン
ト値化主対象信頼マップで、各領域又はオブジェクトは
強調される又は強調が減少される可能性に関連する。更
に２次主対象は、主対象信頼マップ内の中間的な信頼値
により示され、そして、信頼値の降順に従って幾らか強
調され、一方、最も信頼値の高い主対象は、最も強調さ
れる。

【００５７】図２を参照し、本発明の第１の例示的な実
施例のフロー図を示す。ステップ１４では、画素を有す
る画像は、前述のように画像に対してステップ１６で信
頼マップを発生する処理に入力される。信頼マップは、
ステップ１８で、画素色値の選択された特性の修正のた
めの基準として働く。修正された画像はステップ２０で
出力される。

【００５８】本発明は、どの画素色特性も、主対象信頼
マップの生成中に発生された信頼値のグラディエントに
従って変更されることが可能であるということを意図し
ている。色定義に対するヒュー、飽和及び、輝度モデル
では、ヒュー、飽和及び、輝度が変更される。最も高い
信頼値を有する領域内の画素は、最も低い信頼値を有す
る領域内の画素として、極端に反対の程度に変更され
る。２つの極値の間にある全てのこれらの領域は、２つ
の極値の間の連続に落ちる画素修正を有する。本発明
は、ゼロから２５５の範囲の２５６の離散的な信頼値を
考慮する。しかし、どの数又は離散信頼値も使用でき、
且つ、ディジタルコンピュータ内の計算とデータ蓄積の
性質により、２のべき乗が好ましいと理解されよう。

【００５９】例として、且つ制限なく、信頼マップ値に
比例する画素飽和値の修正を説明する。同様な分析はヒ
ュー又は、輝度パラメータの何れかに対しても適切であ
ろうことは理解される。カラーディジタル画像は、ディ
ジタルカメラ、従来のフィルムカメラ、又は、画像又は
グラフィック発生ソフトプロを実行するコンピュータか
ら直接的に形成されても良い。従来のフィルムカメラの
場合には、フィルムはディジタルスキャナを使用して、
フィルム画像のディジタル表現を発生するために走査さ
れる。大多数の情況では、画像は３色又は、赤、緑、青
色モデルで生成される。従ってそのような画像内の画素
値は、

【００６０】

【数５】 により記述できる。

【００６１】色変換により、従来技術で既知のように、
赤、青、緑色モデルはヒュー、飽和、輝度モデルに、変
換

【００６２】

【数６】 を通して変換される。

【００６３】制御関数は後続の強調変換の比例を決定す
る。制御関数の例は、

【００６４】

【数７】

【００６５】

【数８】 ここで、ｆ_０は、所定のオフセットである。従って、強
調変換は：

【００６６】

【数９】 である。

【００６７】強調変換が完了すると、ヒュー、飽和及
び、輝度は、あか、青、緑色値に変換され、それによ
り、データは、電子ディスプレイ、プリント又は、別の
実体への他の通信のような後続する処理に対して準備が
完了される。逆色変換は、

【００６８】

【数１０】 である。

【００６９】図３を参照し、本発明の第２の例示的な実
施例のフロー図を示す。ステップ２２では、画素を有す
る画像が処理に入力され、これは、前述のように、主対
象信頼マップをステップ２４で発生する。しきい値信頼
値はステップ２６で計算される。しきい値は、合理的な
レベルで主対象と背景を分離する合理的な値を選択する
ために、任意に設定もされ、又は、経験的なデータから
得られる。例示の実施例では、信頼値はゼロから１の範
囲である。背景は通常は画像領域の大部分を占めるの
で、２つの間の平均点を選択することは、背景主題を含
み過ぎそうである。

【００７０】ステップ２８で、計算されたしきい値に対
して比較されるような信頼マップ値に基づいて、バイナ
リーマップが発生される。バイナリーマップは、バイナ
リーの形式で、各領域を主対象又は背景の何れかとして
識別する。ステップ３０で、バイナリーマップは、メジ
アンフィルタ動作を採用することにより、分離された小
領域の形式の、欠陥及び他の矛盾が修復される。メジア
ンフィルタ動作は、当業者には理解される。

【００７１】ステップ３２で、画素のある予め選択され
た特性がバイナリーマップに従って修正される。ステッ
プ３４で、強調された主対象を有する画像は、処理から
出力される。

【００７２】ステップ３２で、修正処理内で、幾つかの
予め選択された特性が使用されるのは。例として、そし
て、制限されないが、背景飽和の予め定められた選択さ
れた特性がこの例示的な実施例を完全にするのに使用さ
れる。

【００７３】色変換は、最初に全体が像に対して、

【００７４】

【数１１】 により達成される。

【００７５】次に、背景領域として識別された領域内の
各画素に対する輝度値が計算される。色値は強調変換：

【００７６】

【数１２】 に従って、これらの画素に対する輝度値で置換される 最後に逆色変換：

【００７７】

【数１３】 が与えられる。

【００７８】図４を参照し、本発明の第３の例示的な実
施例のフロー図を示す。ステップ３６では、画素を有す
る画像は、処理に入力され、これは、前述のように、ス
テップ３８で、主対象信頼マップを発生する。背景しき
い値と主対象しきい値が、ステップ４０で計算される。
このステップは、２つのしきい値がある、前の例示的な
実施例と異なる。背景しきい値は、背景であると考えら
れる領域に対して最大信頼値を設定する。同様に、主対
象しきい値は、主対象であると考えられる領域に対して
最小信頼値を設定する。背景しきい値と主対象しきい値
の間にある信頼値に関連する領域は、背景でも主対象で
もなく、そして、強調関数内で別に扱われる。むしろこ
れらの領域は２次主対象と呼ばれる。

【００７９】ステップ４２で、領域が背景領域、２次対
象領域又は、主対象領域が示された各領域に、３つの値
のうちの１つを割り当てる、マップが発生される。ステ
ップ４４で、画像内の画素のある予め選択された特性が
ステップ４２で形成されたマップに従って修正される。
最後にステップ４６で、強調された画像が、後続の処理
又は使用のために出力される。

【００８０】ステップ４４で、いくつの予め選択された
特性をも修正処理で使用できることは明らかである。例
により、そして、制限されず、色飽和の予め定められた
特性がこの例示の実施例を更に完全にするのに使用され
る。

【００８１】最初に色変換が、

【００８２】

【数１４】 のように計算される。

【００８３】信頼値（ｂｅｌｉｅｆ ｖａｌｕｅ）は、
制御関数

【００８４】

【数１５】

【００８５】

【数１６】 に従って計算された信頼値に従って再度マップされる。
ここで、ｆ_０は予め定められたオフセットである。

【００８６】そして、

【００８７】

【数１７】

【００８８】

【数１８】 ごとに再マップされる。

【００８９】この変換で、最小信頼値は背景しきい値
（ｔｈｒｅｓｈｏｌｄ ｖａｌｕｅ）よりも小さい信頼
値を伴なう全ての領域に対して設定される。同様に、主
対象しきい値よりも大きい信頼値を有する領域は、最大
信頼値画設定され、主対象のこれらの領域に、過度に飽
和された領域として再度マップされることを発生する。
２つのしきい値の間にある残りの領域は、それらの元の
信頼値を維持し、そして、それに従ってマップされる。

【００９０】信頼値に関して再度マップされた全ての画
素は、新たな色値

【００９１】

【数１９】 を割り当てるように強調変換が処理される。

【００９２】そして、最後に、出力を発生するために逆
色変換が行われ、主対象強調された画像は、

【００９３】

【数２０】 である。

【００９４】主対象を強調するために、画像内の画素の
色特性を変更するのに加えて、画像の他の観点は、同様
な強調効果を達成するために変更されることが可能であ
る。これは、制限はされないが、領域焦点、フィールド
の領域深さ、領域コントラスト及び、領域シャープネス
を含む。例として、そして、制限されず、以下は、ぼか
し効果が与えられず焦点の合った状態のままの主対象を
強調する目的で、背景領域を焦点外にぼかすことに関す
る説明である。

【００９５】領域をぼかす処理は、信頼マップに対し
て、背景しきい値と主対象しきい値を決定するステップ
と、画像内の各画素に対するぼかし値を計算し、そし
て、背景のシャープさを減少しそれにより背景をぼかし
ながら、主対象画素のシャープさを維持し又は増加する
ように、ディジタル画像内の画素のぼかし値を信頼値に
従って修正するステップとを有する。

【００９６】画素のぼかし値は、現在の画素を中心とし
て３ｘ３画素のサイズのぼかしカーネルを使用して計算
される。全画素のぼかし値は、カーネルとオリジナル画
像を畳み込むことにより得られる。当業者は、低域通過
フィルタ特性を有し且つ所望の効果を得るためのどのよ
うなサイズののカーネルを選択することが可能である。
３ｘ３ぼかしカーネルの場合には、（１／１６に正規化
された）好適なぼかし値マトリクスは、

【００９７】

【数２１】 である。

【００９８】本発明で開示された処理は、一般的には、
コンピュータにより自動的に行われる。これは、一般的
にはディジタル画像処理を扱う技術の領域と一貫性があ
る。このように、どの種類のコンピュータシステム及び
実行も、本発明を達成するのに使用されることが可能で
ある。

【００９９】ディジタル画像のソースは、内部メモリに
画像を蓄積し又は、ディジタル画像を転送するために取
り外し可能なＲＡＭを有し、又は、フロッピー（登録商
標）ディスク、ＣＤ−ＲＯＭのような蓄積媒体を使用
し、又は、他のディジタルコンピュータへのケーブルイ
ンターフェースを使用する、ディジタルカメラから由来
してもよい。ディジタル画像は、従来のカメラで露光さ
れそして従来の方法で処理された従来のフィルムの走査
から由来してもよい。ディジタル画像は、コンピュータ
の使用を通して全体的に人間が作っても良い。どの場合
でも、１つ又はそれ以上のディジタル画像を含むディジ
タルファイルは、最終的に処理するためのディジタルコ
ンピュータ内のメモリ内に転送される。

【０１００】本発明の重要な特徴は、高レベルの自動化
と強調処理でのユーザ入力の一般的な削除である。作ら
れるべき唯一の選択は、何の種類の強調が望まれている
かに関してである。背景を、黒と白又は、主対象を過度
の飽和に変える、又は、主対象をネガティブ画像に反転
する、又は、主対象を明るくする等である。何れの場合
にも、主対象、２次対象及び、背景対象の識別は、自動
化される。画素データを変換しそして、強調関数と変換
を与える処理もである。入力及び出力手順は同様に自動
化される。

【０１０１】物理的な実行は強調処理を実行するソフト
ウェアアプリケーションを実行するパーソナルコンピュ
ータ上で可能である。ユーザは、１つ又はそれ以上のデ
ィジタル画像を、パーソナルコンピュータへ転送し、そ
して、それらを、コンピュータメモリ内又はマスストレ
ージ装置へ蓄積する。強調関数の形式は、パーソナルコ
ンピュータの中央処理ユニットにより行われ、そして、
結果の強調された画像は、別のファイルとして、コンピ
ュータメモリ内又はマスストレージ装置内に蓄積され
る。一旦蓄積されると、画像は見るためにディスプレイ
に出力され、又は、他の装置に転送され又は、プリンタ
で印刷される。

【０１０２】同様に、ソフトウェアアプリケーション
は、付加された価値の特徴を形成するために、他のソフ
トウェアアプリケーション内の特徴として実行されるこ
とが可能である。例えば、広範囲の手動の写真編集機能
を可能とする、いくつかの商業的に入手可能なディジタ
ル画像編集プログラムがある。そのようなソフトウェア
アプリケーションは、そのようなソフトウェアへの新た
な特徴として統合された自動化された強調処理を有する
ことから利益を受けよう。

【０１０３】他の実施例では、強調処理は、ユーザがデ
ィジタルファイルを供給する、集中されたコンピュータ
システム上で実行されることが可能である。例えば、デ
ィジタル画像ファイルは、インターネットを介して、強
調処理がおこなわれる集中化されたプロセッサへ転送さ
れる。かわりに、ユーザは蓄積媒体を送り、そして、集
中化されたコンピュータ位置で、オペレータは、ユーザ
のディジタルファイルをコンピュータのメモリに転送す
ることが可能である。結果の強調されたファイルは、イ
ンターネットを介して戻され、又は、印刷のためにディ
ジタル画像プリンタに送られる。結果の印刷された画像
はユーザへ送られる。

【０１０４】更にローカル化された商用のアプローチで
は、コンピュータを、キオスク又はミニラボ機械内に配
置することができる。消費者は、それらのディジタル画
像を、前述の方法の１つで送りそして、キオスク又はミ
ニラボ機械は、強調処理を行いそして内部プリンタで写
真プリントを作成する。現像されたプリントは、消費者
に送られる。ユーザは、１つ又はそれ以上改善されたバ
ージョンを受けるだけでなく強調されていないプリント
を受けることも選択できる。

【０１０５】現在ある写真プリントを強調することも有
益である。例えば、ユーザは家族写真アルバムから１つ
又はそれ以上のプリントを選択し、そして、これらのプ
リントを、前述のコンピュータシステムの１つにより、
強調された形式で、強調された走査し且つ印刷すること
が可能である。

【０１０６】アプリケーションでは、画像は非常に変わ
る数の均一領域を有しても良い。これは、均一の背景を
伴なうきつく切り取られた顔写真から、非常に多くの画
像要素を伴なう遠景の風景／町の景観に及ぶ。コンピュ
ータは、そのような繰返しの分析タスクを扱うように唯
一に資格が与えられる。図５を参照し、本発明による例
示のディジタル画像処理の概略図を示す。ディジタル画
像４８は、幾つかの領域を有する。一般的には、この例
で、フレームを埋めているのは、空５０とグランド５８
である。空５０には雲５２がある。木５４はグランド５
８に立っている。テント５６は、自動車６０の一部と共
に視界内である。男性６２と女性６４は、前景に犬６８
と共に立っている。強調のためにこの画像を処理する主
な問題は、主対象は何かという問題である。主観的観点
から、２人の人間であるということが可能である。他で
は、これは、キャンプサイトの写真であるといえる。更
に他には、風景写真である。正しく主対象であるという
ことは非常にこの主観的な質問に依存している。

【０１０７】本発明のそれぞれの観点から、画像４８
は、既に均一の色又はテクスチャの領域に従ってセグメ
ント化されている。図５の概略の性質はこれを表す。男
性と女性の顔７０と７６は、語義的品質の肌により識別
される。男性の服７２と７４の構造的関係はそれらを顔
７０と結びつける。同様に女性の服７８は顔７６と結び
付けられる。彼女の足８０は、肌色階調か又は服を着て
いる。これらの領域は、全てが本発明の下で比較的高い
信頼値を受ける。境界の制約の下で、各々が画像の３つ
の境界に接するので、空５０とグランド５８は、比較的
低い信頼値が割り当てられる。自動車６０は、２つの境
界に接しているので、第２の低い信頼値を受ける。次に
高い信頼値は、１つの境界に接しているので、雲５２に
割り当てられる。これは、木５４、テント５６及び、犬
６８をそのままで残し、これは、全て、２次対象値と呼
ばれる、中間値が割り当てられる。犬は、その色により
僅かに高い信頼値を受け、又は、人間の領域に近く近接
しているかどうかは構造的に関連しているということを
発生する。

【０１０８】この分析から、高いものから低いものへ順
番に、人間６２と６４、犬６８，テント及び木５６と５
４及び、雲５２、自動車６０そして最後に空とグランド
５２と５８へ、信頼値は割り当てられる。色飽和を調整
する強調アルゴリズムが選択されそして、背景と主対象
に２つのしきい値を使用するとすると、強調された画像
は以下のように現れる。人間６２と６４及び、おそらく
犬６８は、過度に飽和された色が現れる。車６０、テン
ト５６、木５４及び、雲５２はそれらの元の色を保持
し、そして、グランド５８と空５０は、減少された飽和
形式、おそらく黒又は白が現れる。

【０１０９】上述のそれぞれの主観的オブザーバからこ
れを得て、これを２人の人のポートレイトと考える人は
満足し、画像内の人間は本発明の処理によりはっきりと
強調される。これをキャンプサイトの画像であると考え
るオブザーバは、キャンプサイトの基本的な要素；テン
ト５６、木５４と、人間、犬及び、車がカラーで描かれ
るので、適切に満足する。おそらく、この画像を風景と
考えるオブザーバは、あまり満足しないが、しかし、風
景画像でも、減少された飽和の要素、空とグランドは幾
らか重要性が減少される。これは、本発明は、主対象を
非常に効率的に強調する機能として、特に複数のオブザ
ーバが所定の画像に関して有する主観的な差に関して働
く。

【０１１０】

【発明の効果】本発明は、画像内の主対象を強調する、
画素を有する画像を処理する自動化された方法を提供で
きる。

【図面の簡単な説明】

【図１】本発明の主対象信頼マップを発生させるステッ
プのフローチャートを示す図である。

【図２】第１の実施例に従った本発明の方法のステップ
のフローチャートを示す図である。

【図３】代わりの実施例に従った本発明の方法のステッ
プのフローチャートを示す図である。

【図４】更なる代わりの実施例に従った本発明の方法の
ステップのフローチャートを示す図である。

【図５】本発明のを説明するのに使用される写真の概略
を示す図である。

【符号の説明】

２，４，６，８，１０、１２ ステップ １４、１６、１８，２０ ステップ ２２，２４，２６，２８，３０、３２、３４ ステップ ３６、３８，４０、４２，４４，４６ ステップ ４８ ディジタル画像４８ ５０ 空 ５２ 雲 ５４ 木 ５６ テント ５８ グランド ６０ 自動車 ６２ 男性 ６４ 女性 ６８ 犬 ７０ 男性の顔 ７６ 女性の顔 ７２、７４ 男性の服 ７８ 女性の服 ８０ 足

フロントページの続き (72)発明者 ロバート ティー グレイ アメリカ合衆国 ニューヨーク 14617 ロチェスター フランクランド・ロード 225 Ｆターム(参考） 5B057 AA20 BA30 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC03 CE17 DA08 DA16 DB02 DB06 DB09 DC25 DC30 DC36 5C021 PA01 RA06 XA35 XB02 XB16 5C066 AA11 CA21 GA01 GB03 HA00 HA03 KE01 5C077 LL16 MP08 PP03 PP27 PP28 PP51 PP65 PP68 PQ12 RR11 TT09 5L096 AA02 AA06 BA20 DA01 FA15 FA46 GA51

Claims (1)

【特許請求の範囲】
1. 【請求項１】 画素を有する画像を修正するシステムで
   あって、 画像の主対象を自動的に識別する手段と、 前記主対象を強調するために画素値を変更するための手
   段とを有するシステム。