JP2003271971A

JP2003271971A - ディジタルカラー画像信号における照度変化のリアルタイムの識別と補償のための方法

Info

Publication number: JP2003271971A
Application number: JP2003026434A
Authority: JP
Inventors: Ingo Feldmann; フェルトマンインゴ; Peter Kauff; カウフペーター; Oliver Schreer; シュレーアオリヴァー; Ralf Tanger; タンガーラルフ
Original assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Current assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date: 2002-02-03
Filing date: 2003-02-03
Publication date: 2003-09-26
Also published as: GB0302426D0; GB2386277A; DE10204500A1; US20030152285A1

Abstract

(57)【要約】【課題】画像内容の中で急速な動きの形状部において
局所的に際立った陰影領域が引き起こす急速な照度変化
の補償がリアルタイムで実施できるように改善を行うこ
と。【解決手段】急激な変化を伴う局所的に限定されたブ
ライトダウン/アップ領域の識別をＹＵＶ色空間におい
て実施し、色度差分を近似する比較すべき画素ベクトル
の角度差分を求めて評価することをベースに一定の色度
のもとで目下の画素の明度と彩度のみを変化させるブラ
イトダウン/アップ領域の出現に基づき目下の画素成分
が線形に低減/増加する仮定のもとで、３つの成分Ｙ,
Ｕ,Ｖから合成される目下の画素が初期値と原点の間の
直線上に存在し、目下の画素の可変の彩度はＹＵＶ色空
間の原点を通る直線上の原点までの間隔により、目下の
画素の可変の明度はルミナンス成分の関与分により、目
下の画素の一定の色度はＹＵＶ色空間における直線の角
度により近似される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、輝度とクロミナン
スの色成分を有しかつ色度、彩度、明度の色成分を有す
る色空間から変換されたＹＵＶ色空間における目下の画
素と対応する画像背景の一定の基準画素との間の画素毎
の成分と閾値に依存したカラー画像信号の比較によっ
て、既知の静的な画像背景から画像前景としてのビデオ
オブジェクトを分離させるための、ディジタルカラー画
像信号における照度変化のリアルタイムの識別と補償の
ための方法に関している。

【０００２】

【従来の技術】ビデオデータの後処理の分野において
は、ビデオシーンから前景画像と背景画像を相互に分離
させる必要性が生じ得る。この過程は、“分離（セパレ
ーション）”とも称され、例えば“セグメント化（セグ
メンテーション）”によって行うことができる。これに
対する一例として“ビデオ会議シナリオ”が挙げられ、
ここでは前景画像における会議参加者がビデオオブジェ
クトとしてそこから切離して伝送するために背景画像か
ら分離される。それに対してその他のリアルタイムのセ
グメント化方法では、既知の基準画像である背景画像
と、ビデオシーケンスの目下の検証すべき画像との間で
差分画像（差分に基づくセグメント化）を作成する。そ
れによって得られた情報に基づいて、前景領域と背景領
域を相互に区別する二進（白黒）の差分マスクが形成さ
れる。このマスクを用いれば、セグメント化の結果とし
て、背景から分離される前景オブジェクトが作成でき、
このオブジェクトがその後の後続処理にかけられる。し
かしながらこの場合に問題となることは、基準の背景画
像に関して目下の検証すべき画像内の照度変化を判明す
ることである。

【０００３】目下の画像における照度変化は、影や既存
の照明源のレリースによって引き起こされる。その際に
は目下の関係において画像シーンの通常の照明状態に比
べて陰りのある部分（シャドウ部分）や明るすぎる部分
（ブライトアップ部分）が検出される。従って実施すべ
き補償は、それぞれの目下の検証される画像領域をより
明るくまたはより暗くして“通常の状態”に戻すことで
ある。さらに大域的な照度変化と局所的な照度変化の間
で区別をつけることである。照度における大域的変化と
は、例えば太陽に雲がさしかかることによって引き起こ
される。これによりシーン全体は連続的に緩やかな移行
を伴って暗くなるブライトダウン（Verdunklungen）を
生じる（以下ではこれを大域的ブライトダウンとも称
す）。このようなブライトダウンや、例えば雲が再び太
陽から離れることによって再び明るくなるブライトアッ
プ（Aufhellung）（以下ではこれを大域的ブライトアッ
プとも称す）は、数秒レベルの比較的長い期間に亘って
起こる。毎秒２５の画像による通常の画像周波数のもと
では、この種の照度における変化は、“緩慢”に段階付
けられる。目下の画像に対して緩慢な影響を伴う大域的
照度変化は、公知の補償方法によればリアルタイムに補
償調整が可能である。しかしながら局所的な照度変化は
この大域的な照度変化とは明らかに異なる。従ってこの
局所的な照度変化を以下では一般的に、“局所的ブライ
トダウン(Abschattung)”と（これは前記大域的ブライ
トダウンに相対するものである）、“局所的ブライトア
ップ(Aufhellung)”と（これは大域的ブライトアップに
相対するものである）称するものとする。このブライト
ダウンないしブライトアップは、局所的な狭い範囲に限
定され、それに応じてそのつどの背景に対して不連続な
輪郭を有する。これらは直接的な照明源、例えばスタジ
オ照明ライトによって生じる。この場合ここで述べてお
きたいことは、太陽も直接的な照明源として使える入射
光を持ち合わせていることであり、局所的な明暗が現れ
得る。直接的な照明源は、ビデオオブジェクトと相互作
用して例えば会議参加者の身振りによって画像に急速な
照度変化を生じさせる。それにより会議参加者の腕の領
域には、腕や手の動きによって急速に変化する強い陰影
領域が可逆的な形態で該当する画像領域に現れる。それ
により、当該領域においては例えば２５Ｈｚの画像周波
数のもとで、画像毎に強い光度差に基づく画像内容の大
きな変化が現れる。これは例えば公知のＹＵＶ色空間内
で直接処理する差分ベースのセグメント化手法によって
補正することができない。この手法では、そのような領
域が基準−背景画像よりも大きな光度差に基づいて誤っ
た形でビデオオブジェクトに属する前景として評価され
てしまい、そのため差分マスクの中でそのような領域は
間違って分離されてしまう。

【０００４】そのような公知の差分ベースのセグメント
化手法は（これは本発明が身近な従来技術としての出発
点としている）、ドイツ連邦共和国特許出願 DE 199 41
644A1 明細書に記載されている。この、既知の定常的
な画像背景のもとでのビデオオブジェクトのリアルタイ
ムなセグメント化手法には、静的な背景に関する前景オ
ブジェクトのセグメント化が含まれている。適応的な閾
値バッファの使用によって、大域的で連続的、かつ画像
周波数に関して緩慢に生じる照度変化が識別され補償さ
れている。この公知の方法では、目下のセグメント化す
べき画像と基準−背景記憶画像との比較操作に基づいて
いる。この基準背景メモリは、本来の方法の開始時点か
ら初期化されている。それに対しては、カメラノイズを
補償するために、ビデオカメラの複数の画像が平均化さ
れる。本来のセグメント化は、ＹＵＶ色空間の個々の構
成要素の別個の差分画像によって行われ、引続きＹＵＶ
色空間における３つの構成要素に割当てられた所定の閾
値に依存した多数決論理に従った結果の論理結合によっ
て処理がなされる。その際のセグメント化処理の結果
は、そのまま前景に対するマスク値を形成する。すなわ
ち、前景画像に対する３つの閾値処理のうちの少なくと
も２つを決定すれば、つまりそれぞれの差分が相応する
閾値よりも大きいものを２つ決定すれば、ビデオシーン
における前景オブジェクトに対するショート“ビデオオ
ブジェクト”となる。そうでなければ、“背景”に対す
る平均値がセットされる。そのようにして形成されたセ
グメント化マスクは、引続き形態に従ったフィルタ処理
で後処理される。この後処理されたセグメント化の結果
は、適応する閾値バッファの実際化のために用いられ
る。しかしながら突発的に生じて急激に変化する照度変
化は、このような公知の適応化処理方法を用いても不完
全な補償しかできない。

【０００５】公知の陰影検出手法（Schattendetektions
verfahren）の詳細な説明に入る前に、まずここで使用
される“色空間”に関する概念の基本的な説明を行う。
なおこれに関する公知文献としては１９７８年に“Ｒ.O
ldenbourg”社（ミュンヘン/ウィーン）から発刊された
“H.Lang”による教則本“Farbmetrik und Farbfernseh
ens(特にＩ巻とＶ巻）”が参照される。そこではこの
“色空間”が、可視表示のための種々異なる色成分によ
って可能な表示として定義されている。すなわち３つの
原色（赤、緑、青）の成分係数としての３つの色値（色
度ないし色調）の混合から得られる“色刺激値（Farbva
lenz)”の定義から出発して、色度（Farbwert)が色刺激
値の空間的表示のための色度座標として把握される。す
なわちＲＧＢ色空間である。ここでは座標系の原点を通
る直線上の複数の点において同じ色合いの色刺激値が同
じ色度成分で表わされる。これらはその明度によって区
別される。それにより一定の色相と一定の彩度のもとで
の明度変化は、当該色空間の中で座標系の原点を通る直
線上の移動を意味する。色の識別のために重要なこと
は、人の視覚に重要な感度特性となる、“色度”“彩
度”“明度”である。それによりこの感度特性に従って
対応付けられた色空間（色度に対する“Hue”と、彩度
に対する“Sturation”と、明度に対する“Value”から
なるHSV-色空間）が得られる。これは定量的な自然測色
系であり、いずれにせよ極座標を用いて表わされる。

【０００６】ビデオ画像の伝送のもとでの高い効果と
は、技術的な周辺条件を示す。これは肉眼による色感度
にマッチした色空間の変換（コーディング）を技術に基
づく色空間において効果的に行うことである。テレビ画
像およびビデオ画像の伝送の際には、ＹＵＶ色空間が用
いられる。これは“クロミナンス−ルミナンス−色空
間”とも称されており、相応する矩形の座標系を有する
別の一次刺激系が含まれている。この場合２つの差分色
度UおよびＹが把握され、これらは一次刺激値のブルー
（Ｕ）とレッド（Ｖ）の成分からなり、色刺激値の“ク
ロミナンス”の概念のもとで称され、それに対してＹは
色刺激値の“ルミナンス（輝度）”と称される。これら
は輝度値係数で評価される全ての３つの一次刺激値から
なる。この一次刺激値からなるビデオ画像は、ＹＵＶ色
空間においてそのクロミナンス成分とルミナンス成分に
分解される。しかしながらこの場合“クロミナンス”の
概念は、色度（chromaticity)とは著しく違う。ＹＵＶ
色空間では、同じ色度（１つの色度は２つの色度成分に
よって特徴付けられる）で、異なる輝度の色刺激値が、
原点を通る直線上に存在する。ここでは色度は原点から
の方向性を表わす。しかしながら色度、彩度、明度の主
旨の上での１つの色の解釈（例えばＨＳＩ/ＨＳＶ色空
間において）は、ＹＵＶ値からは直接伝送ないし読出し
されるのではなく、ここでは通常は、技術に起因する色
空間から肉眼に起因する色空間への逆変換が例えばＨＳ
Ｉ/ＨＳＶ色空間において行われる。

【０００７】“陰影検出”のテーマに対しては、公知文
献Ｉ、すなわち“G.S.K Fung”らによる“Effective Mo
ving Cast Shadow Detection for Monocular Color Ima
ge Sequences(ICIAP 2001, Plermo, Italy, Sept.200
1)”からは、屋外での写真撮影の場合での非定常的な未
知の背景における可動オブジェクトのセグメント化に基
づく陰影識別が開示されている。このセグメント化は、
ＨＬＳ−色空間において行われている。これは前述した
ＨＳＶ−色空間に類似しており、この場合でも色成分
“Ｌ(Lumiosity)”が明度と比較される。シェーディン
グすなわちは陰影化は、この公知手法のもとでもその特
性において不変のカラーのもとで基準画像のブライトダ
ウンとみなされる。いずれにせよ一定のクロミナンスが
陰影の中で認められ、このことは輝度としてクロミナン
スの定義の際には修正できない。輝度は陰影領域におい
てストレートに低減する。そのため、この論旨において
は、“クロミナンス”の概念を前述した“色度”の概念
とすることから出発する必要があり、これはオブジェク
トにおいてまだ色を生じさせる陰影の場合にコンスタン
トにみなすことである。従ってこの公知手法のもとでは
オブジェクトのセグメント化がグラジエント形成によっ
て行われる。“R.Cucchiara”らによる公知文献II“Det
ecting Objects, Shadows and Ghosts in Video Stream
s by ExploitingColor and Motion Information(ICIAP
2001, Plermo, Italy, Sept.2001)”からは、シャドウ
特性の特徴付けのためのＨＳＶ色空間の利用が公知であ
る。ＲＧＢ色空間における画素色度の可変の強度と飽和
度のもとでの色度の不変性の受けれ（Konstanzannahm
e）は、“W. Skarbek”らによる公知文献III“Colour I
mage Segmentation-A survey(Technical Report 94-32,
FB 13, Technische Universtaet Berlin, Oktober 199
4,15頁”に記載されている。ここでのカラー画像のセグ
メント化に関する展望は、“フォンシェーディングモデ
ル”と称され、これは例えばコンピュータゲーム開発の
際のバーチャルリアリティにおいての陰影による反射性
表面の形成のために用いられている。この場合は、“シ
ャドーイング”と“シェーディング”の間で平行性ない
し類似性が引かれ、該当する想定部が証明される。その
際に事前に陰影に該当する表現部は同じような手法で現
れるブライトアップ部分に移行できる。

【０００８】しかしながら本発明による識別および補償
方法に対しては、前景におけるビデオ画像データの処理
のもとで即時性が成り立ち、それに伴って多くの技術的
周辺条件が考慮されなければならないので、変換におけ
る技術的な基礎としてのＹＵＶ色空間における急速な照
度変動の影響の特徴付けが行われる。それ故に、即時性
を伴い緩慢な大域的照度変化の適応補償による差分ベー
スのセグメント化方法が記載されている先に述べたドイ
ツ連邦共和国特許出願 DE 199 41 644 A1 明細書がさら
に参照される。しかしながらこの方法で実施されてい
る、緩慢に現れる照度変化の補償方法によれば、セグメ
ント化の際の処理結果に限度があり、十分な満足度で達
成できるものとはいいがたい。

【０００９】

【特許文献１】ドイツ連邦共和国特許出願 DE 199 41 6
44 A1

【非特許文献１】１９７８年“Ｒ.Oldenbourg”社（ミ
ュンヘン/ウィーン在中）発行の“H.Lang”による教則
本“Farbmetrik und Farbfernsehens(特にＩ巻とＶ巻）

【非特許文献２】“G.S.K Fung”らによる公知文献Ｉ
“Effective Moving Cast Shadow Detection for Monoc
ular Color Image Sequences(ICIAP 2001, Plermo, Ita
ly, Sept.2001)”

【非特許文献３】“R.Cucchiara”らによる公知文献II
“Detecting Objects, Shadows and Ghosts in Video S
treams by Exploiting Color and Motion Information
(ICIAP 2001, Plermo, Italy, Sept.2001)”

【非特許文献４】“W. Skarbek”らによる公知文献III
“Colour Image Segmentation-A survey(Technical Rep
ort 94-32, FB 13, Technische Universtaet Berlin, O
ktober 1994,15頁”

【００１０】

【発明が解決しようとする課題】それ故に本発明の課題
は、冒頭に述べた形式の方法において、画像内容の中で
急速な動きの形状部において局所的に際立った陰影（シ
ェーディング）が引き起こす急速な照度変化の補償がリ
アルタイムで実施できるように改善を行うことであり、
さらに処理結果の品質の点でも十分に満足のいく結果が
得られるように向上させることである。また本発明によ
る方法の実行においても簡単でかつ特に出現する照度変
動による悪影響を受けにくく、技術的な面でも実現がた
やすく、またコスト的にも有利に実現できるように改善
することである。

【００１１】

【課題を解決するための手段】前記課題は本発明によ
り、急激な変化を伴う局所的に限定されたブライトダウ
ン領域またはブライトアップ領域の識別を、直接的にＹ
ＵＶ色空間において実施し、色度差分を近似する、目下
の画素と基準画素の間の比較すべき画素ベクトルの角度
差分を求めて評価することをベースにして、一定の色度
のもとで目下の画素の明度と彩度のみを変化させるブラ
イトダウン領域またはブライトアップ領域の出現に基づ
いて目下の画素のＹ，Ｕ、Ｖ成分が線形に低減または増
加するという仮定のもとで、３つの成分Ｙ，Ｕ，Ｖから
合成される目下の画素が照度変動に入る前の初期値とＹ
ＵＶ座標系原点との間の直線上に存在し、この場合目下
の画素の可変の彩度は、ＹＵＶ色空間の原点を通る直線
上の原点までのその間隔によって近似され、目下の画素
の可変の明度は、ルミナンス成分の関与分によって近似
され、そして目下の画素の一定の色度は、ＹＵＶ色空間
における直線の角度によって近似されるようにして解決
される。

【００１２】

【発明の実施の形態】本発明の識別及び補償方法によれ
ば、物理的な色パラメータがＹＵＶ色空間における技術
的な色パラメータによって直接的に近似処理される。こ
の新たな方法の利点は、急激な照度変化の検出とそれに
伴う局所的陰影（ブライトダウン/ブライトアップ）識
別のためのＹＵＶ色空間の様々な特性の直接的利用の中
に存在している。画素の直感的な色成分である色度、彩
度、明度は、当該方法を用いて得られたＹＵＶ値から直
接近似処理される。それにより、一方では色空間変換
（コーディング）の省略による所要計算時間が短縮さ
れ、もう一方では使用している近似処理によっても計算
時間が節約できる。これはそれまでの長い計算手順に比
べて計算ステップが少ないこととそれに伴って計算速度
も早くなるからである。ただし、出現するパラメータ変
数の領域における近似は、次のように適切に選択されな
ければならない。すなわち本発明による識別及び補償方
法が、大量の画像データ量のもとであったとしてもリア
ルタイムの迅速な検出にもかかわらず高い品質を達成す
るように選択されなければならない。本発明によるＹＵ
Ｖ色空間内で実施される陰影領域（ブライトダウン部分
/ブライトアップ部分）の識別と補償は、ＹＵＶ色空間
の比較すべき画素ベクトルの角度差を求めることをベー
スにしている。この簡単な手法の基礎としていること
は、一般的な出発点において、比較すべき２つの画、す
なわち背景画像と目下の前景画像の色度の差分のみを考
慮することである。その際にこれらの色度差分がＹＵＶ
色空間にて角度差分によって近似される。さらに次のよ
うな事実が有効に利用され転換される。すなわち広い領
域の中で照度変化が生じた場合には画素の色度は変化し
ないこと、そしてこの照度変化は、明度と彩度の低下だ
けを引き起こすことである。それにより、ブライトアッ
プやブライトダウンなどの陰影現象が現れた際に１つの
画素（ここでいう画素とは表示装置自体の中にある画素
としてではなく画素の色刺激値という方向性で常に理解
されたい）がその位置をＹＵＶ色空間の原点を通る直線
上で変化する。この関係においてはもちろんそのような
ブライトダウンやブライトアップだけが完璧に検出でき
るというだけでなく、明度や彩度が低下もしくは増加し
てもあるいは輝度が低下もしくは増加したとしてもオブ
ジェクト上の本来の色度値は形成されることを述べてお
く。ほとんど黒色のブライトダウン部分（シャドウ部
分）やほとんど白色のブライトアップ部分は、画素の色
度も変化させ、そのまますぐに検出できるものでもな
い。本発明による識別および補償方法によれば、画素の
一定の色度がＹＵＶ色空間に存在する直線の角度によっ
て近似される。この直線は、目下の画素の三次元的色点
とＹＵＶ色空間の原点を通って延在している。それによ
り画像前景における目下の画素と画像背景における既知
の基準画素との間の色度差は、３Ｄ色点をとおる相応の
２つの直線の間の角度差として表すことができる。従っ
てこれは結論を見つけだすために（前景/背景）予め定
められた角度閾値と比較される。彩度は、本発明による
方法の場合、直線上の目下の画素の３Ｄ色点と原点との
間の間隔として近似され、明度は所属のルミナンス成分
によって近似される。

【００１３】ＹＵＶ色空間に存在する直線は、立体角に
よって定められる。これは座標系の２つの平面内に投影
された直線の角度を求めることによって算出できる。さ
らなる計算時間を節約する手段はここでは、常に１つの
平面内に投影された直線の１つの角度だけを観察するこ
とを意味する。処理すべきすべての画素のもとでのこの
均一的な観察方式によってここでは許容され得る角度算
出の簡単化が色度変化の分析のためのさらなる近似ステ
ップによって成り立つ。それにより目下の各画素毎の色
度差分の検出のために色空間平面のうちの１つの角度だ
けを求め、差分形成により同じ平面内の所属の基準画素
の角度と比較するだけでよい。

【００１４】本発明による方法のさらに別の有利な実施
例は、従属請求項に記載されている。これらにはまず第
１に本発明の方法をより簡単にすることによってさらに
高速にする実施例と、付加情報の使用によりさらに良好
にする実施例が含まれている。これらの改善例によれ
ば、陰影部分すなわちブライトダウン部分やブライトア
ップ部分が簡単につぎのことによって識別される。すな
わち比較すべき２つの画素の彩度と明度の違いにもかか
わらず著しい色変化が生じないことによってである。さ
らに明度の変化がブライトダウン（シャドウ）の場合に
は負となるはずである。なぜなら陰は、いつでも画像を
暗くするからである。それに類似してブライトアップの
場合には明度変化が常に正になるはずである。色度の近
似に対しては、求めるべき角度の平面を形成している２
つの色成分の比がそのつど使用される。この場合は２つ
の値のうちの小さい方が大きい方によって除算される。
本発明による補償方法とセグメント化方法との統合によ
って、著しく良好なセグメント化マスクが作成できる。
ブライトダウン部分またはブライトアップ部分は、従来
のセグメント化方法ではセグメント化マスクのエラーに
作用していた。相応の識別および補償モジュールを用い
ることによって、１つのシーンのブライトダウンまたは
ブライトアップした前景領域の検出前にセグメント化モ
ジュールの後処理を行うことができる。これによって後
処理の際のさらなる高速化が達成される。背景として識
別された領域は、陰影領域に関する後処理が不要であ
る。そして事前のセグメント化やその他の画像処理手法
なしの完全な画像処理が、急速に変化する局所的なブラ
イトダウンないしブライトアップの付加的な検出を可能
にする。以下では重複を避けるために、さらなる説明に
関して特定の実施例が参照される。

【００１５】

【実施例】次に本発明を図面に基づき以下の明細書で説
明する。この場合、局所的に限定した突発的なブライト
ダウンのケースで説明を行う。なぜなら実際にはこのケ
ースの方が画像シーンの通常状態に対してブライトアッ
プの場面よりも頻繁に生じるからである。しかしながら
本発明はもちろんブライトアップのケースにおいても同
じような処理が可能である。本発明による方法には、ブ
ライトアップ部分だけでなくブライトダウン部分識別と
補償も含まれる。

【００１６】図１には定常的な画像背景ＢＧが示されて
おり、これは空間的にかつ時間的に一定した基準の背景
として本発明による方法に用いられる。この場合この背
景は色と形状において特徴付けられた個々の画素Ｐ_ｉか
らなる構造的に構成された平面であり、これは視覚的に
マッチした色成分としてその色度、彩度、明度が既にわ
かっており、ピクセル毎に基準メモリの中にファイルさ
れている。図２には、会議参参加者の目下の画像が、既
に既知の画像背景ＢＧの前方で画像前景ＦＧ内にビデオ
オブジェクトＶＯとして示されている。ここで明らかな
ことはテーブルＴＡと会議参加者ＶＯの腕と手の領域
に、明らかに暗くなっている画像領域が画像背景ＢＧの
一部のように識別できることである。このブライトダウ
ン画像ＳＨは、図２には詳細には示されていないスタジ
オ照明によって会議参加者の身振りに伴って引き起こさ
れるものである。例えば画像背景の初期化の際に光の反
射が背景画像内の反射に基づいて現れたような場合に
は、ブライトアップ部分が出現するであろう。この場合
も“通常”の基準背景画像からずれた偏差となり、この
偏差は、検出の際に大きく明度の異なった、矛盾のない
前景として認識されてしまう。このようなケースでも補
償が必要である。

【００１７】図３には、従来技法として、局所的な陰影
領域（ブライトアップ/ブライトダウン）の考慮なしで
のセグメント化方式による会議参加者ＶＯの分離画像が
示されている。ここで明らかなことは、公知の差分ベー
スのセグメント化方法によれば、ブライトダウン領域
（シャドウ領域）ＳＨが、既知の基準背景ＢＧよりも明
らかに大きな明度差に基づき前景ＦＧとして認識され、
相応に浮き上がってしまうことである。それにより誤っ
たセグメント化が発生してしまう。それとの比較として
図４には、本発明による識別および補償方法に結び付け
られたセグメント化が示されている。ここではシャドウ
領域ＳＨが当該会議参加者ＶＯに所属しない領域として
識別され、既知の背景ＢＧに相応に対応付けられてい
る。それにより、ここでは会議参加者の輪郭に相応した
正確な分離が完成している。図５には、目下のビデオ画
像の２進化された、つまり白と黒の画素に分けられた、
セグメントマスクＳＭが示されている。このマスクは本
発明による識別及び補償方法の導入のもとで、ＹＵＶ色
空間において局所的に迅速に変化する照度変化の考慮の
もとでリアルタイムに作成されたものである。会議参加
者ＶＯの輪郭は、詳細かつ正確に識別することができ
る。図６には、例えば先の公知文献である DE 19941 64
4 A1 明細書から公知のセグメント化方法ＳＶへの本発
明による手法の可能な導入ないし結合ＩＮがブロック図
で示されている。この結合は、データ信号流において、
静的画像背景と目下の画像との間の差分形成に基づいた
セグメント化が、画像の前景と背景の間の最初の違いに
基づいて推論される従来の手法に置き換わるものであ
る。計算時間のさらなる低減に対しては、事前に画像前
景ＦＧとして識別された画素のみを本発明による識別及
び補償方法において画素毎に、既知の画像背景ＢＧと比
較する。この場合技術的な基礎とするＹＵＶ色空間にお
ける近似−分析が、人の視覚を基礎にした色空間への時
間のかかる変換手段なしで、実施される。この結果に応
じて、事前に誤って認識された画素が画像背景ＢＧに割
り当てられる。この補正されたセグメント化結果は、そ
の後さらなる後続処理を施すことが可能である。例えば
セグメント化方法ＳＶにおける適応化フィードバック系
に供給してもよい。

【００１８】図７には、ＹＵＶ色空間の略図的な座標系
が示されている。クロミナンス平面は、２つのクロミナ
ンス軸ＵとＶによって広げられている。輝度軸Ｙは空間
に開いている。これらのＹ,Ｕ,Ｖは、技術的に定められ
た色度であり、これらは自然の色度に対する直接的な結
び付きは有していないが、しかしながら変換方程式によ
る換算が可能である。この換算には非常に時間的なコス
トがかかり、特に処理すべき画像データの量が大量にな
る場合には、リアルタイムの実施ができなくなってしま
う。そのため本発明による識別および補償方法において
はこれを省略し、自然ベースの色度を技術ベースの色度
によって近似している。その場合自然ベースの色空間に
おいてわかっている想定は、同じような形式で技術ベー
スの色空間に移行される。この手法の許容性は、本発明
による方法の抜きん出た結果によって実証される（図４
参照）。

【００１９】ＹＵＶ色空間において図７によれば、目下
の画素の色特性に相当する画素Ｐ_ｉの動きが座標系の原
点を通る直線ＳＬ_ｉ上で表されている。ＹＵＶ色空間
は、種々異なる輝度（ルミナンスＹ）のもとでの同じ色
度（クロミナンス成分Ｕ，Ｖ）の箇所を結びつける直線
である。視覚に起因する直角のＨＳＶ色空間では、３つ
の色成分で合成される画素が、ブライトアップないしブ
ライトダウンによる陰影部分を一定の色度で表すが、し
かしながら彩度と明度は変化する。それに類似してはい
るが本発明による方法のもとでは、ＹＵＶ色空間におけ
る直線ＳＬ_ｉ上で目下の画素Ｐ_ｉのシフトが用いられ
る。この場合色度は、ＹＵＶ色空間においては一般に立
体角によって、図示の実施例の場合ではクロミナンス平
面Ｕ，Ｖ内へ投影される直線ＳＬ_ｉと水平方向のクロミ
ナンス軸Ｕの間の角度αによって近似される。彩度は、
直線ＳＬ_ｉ上の画素Ｐ_ｉと原点までの間隔ａで近似さ
れ、明度は、ルミナンス軸Ｙ上の成分ｂで近似される。

【００２０】図８には、ＹＵＶ色空間のクロミナンス平
面が示されている。ここではこの色空間内で表示可能な
色刺激値が、多角形、６角形内に存在している。２つの
直線ＳＬ_１，ＳＬ_２上で２つの画素Ｐ_１，Ｐ_２が角度α
_１とα_２で示されている。この場合インデックスi＝
１，２は、目下の画像（１）と基準背景（２）を表す。
角度α_２′は、ＵＶ平面の直角に対する角度α_２の補角
を表している（特定化の際に必要）。ここにおいて画素
Ｐ_１とＰ_２は、その色度において差がないか少ない、す
なわち２つの直線ＳＬ_１,ＳＬ_２が相上下してあるいは
非常に接近して存在しているならば（角度差分−閾値Δ
αの設定に依存して）、ブライトダウン作用もしくはブ
ライトアップ作用による画像変化が存在している。この
ような場合には、本発明による識別及び補償方法によっ
て、目下の画素Ｐ_１を背景に算入することが決定され
る。それに対して色度差分が存在する場合には、異なっ
ているとみなされるオブジェクトであり、目下の画素Ｐ
_１は、前景に算入される。これらの２つの画素Ｐ_１とＰ
_２の色度差は、クロミナンス平面Ｕ,Ｖ内の角度差分α
_１−α_２によって近似される。この手法は陰影部すなわ
ちブライトダウンないしブライトアップ部分の識別に対
しても同じように当てはまる。

【００２１】角度差分α_１−α_２の算出に対しては、当
該実施例においてはまず角度α_１,α_２が所属のＵ,Ｖ値
から確定されなければならない。基本的には、平面内の
角度αは以下の式、 α＝arctan（ν/μ）によって得られる。角度算出に必要なarctan演算は、本
発明による識別および補償方法においては、計算時間の
さらなる短縮のためにも近似され得る。それに対してこ
こでは成分Ｕ/ＶまたはＶ/Ｕの比が次のように利用され
る。すなわち２つの成分のうちの常に大きい方が小さい
方によって除算されるように利用される。この場合は、
どの値が比較のために用いられるかが決定される。いず
れにせよ目下の画像に対しても基準画像に対しても同じ
手法が用いられる。目下の画像と対応する基準画像に対
して異なる商が生じる場合には、２つの画素にとって優
先度に沿った決定がなされる。それ故にこれは信頼性が
高く良好な結果に結び付く。なぜなら同じ色度が非常に
密に相並んで存在し、それに伴って近似の際には極僅か
なエラーしか生じない。しかしながら決定に誤りがあっ
た場合には、間違ったarctan−形成が行われる。しかし
ながら包含的にみれば、平面内の２つの画素は相互に非
常に離れて存在し、大きな角度差が生じるので、近似の
エラーも影響を及ぼすことはない。つまり本発明による
識別および補償方法では、量的な違いではなく、定性的
な違いが色度において求められている。

【００２２】この直接的な商形成による近似は、テーラ
ー級数−近似から導出され得る。このarctan演算の近似
の０次および１次項は以下の式、

【００２３】

【数１】

【００２４】のように書かれる。｜ｘ｜＜１（ｘは任意
の数値）に対しても以下のように近似がなされる。

【００２５】

【数２】

【００２６】しかしながら本発明による識別補償方法に
おいては、２つの角度の間の差分α _１−α_２のみが着目
されるだけなので、｜α_１｜＞１の場合には、角度α_ｉ
＝Ｖ _ｉ/Ｕ_ｉの代わりに補角α_ｉ′＝（９０゜−α_ｉ）
が用いられる（前述の説明参照）。このα_ｉ′に対して
は、前期実施例に相応して以下の関係、

【００２７】

【数３】

【００２８】が成り立つ。なぜなら｜Ｖ/Ｕ｜＞１に対
してはＵ/Ｖ≦１が成り立ち、これはＵ/Ｖ＜１としてみ
なされるからである。

【００２９】それにより本発明による方法では、所要の
角度差分が、クロミナンス平面内で相応する軸セクショ
ンＵ，Ｖの簡単な商形成によって近似可能となる。この
場合は常に大きい方の値が小さい方の値によって除算さ
れる。同じようなことは、ＹＵＶ色空間の別の２つの平
面内への直線の投影に対しても当てはまる。

【００３０】このような当該方法をさらに簡単化する特
定変化例の他にも、さらなる変化例として付加的なさら
なる閾値や入手可能なさらなる情報が考慮されてもよ
い。それにより、本発明の方法を品質を落とすことなく
簡単にさせ、処理すべき画像が大量である時のリアルタ
イム性においてもさらに向上させることのできる複合的
な決定スキーマが得られる。さらなる別の実施例として
まず１つには、陰影が形成されるケースでの次のような
事実の利用である。すなわち陰影が画像を暗くしている
ケース、つまり目下の画素Ｐ_１と基準背景メモリからの
相応する画素Ｐ_２に対するルミナンス値Ｙ_１,Ｙ_２の差
分がゼロよりも小さい領域が専ら目下の画像において陰
であり得るという事実である。つまりブライトダウンの
陰影領域においては、 ΔＹ＝Ｙ_１−Ｙ_２＜０が成り立つ。この場合ΔＹは負となる。ブライトアップ
の領域においても同じようなことが成り立つが、この場
合は、 ΔＹ＝Ｙ_１−Ｙ_２＞０である。この場合のΔＹは正である。別の例では、本発
明による識別及び補償方法の安定化に対して付加的な閾
値、特にクロミナンス閾値εが、ＵないしＶに対する最
小ないし最大のクロミナンス値として取り入れられ、さ
らにルミナンス閾値Ｙ_ｍｉｎないしＹ_ｍａｘがルミナン
スＹの最小ないし最大値として取り入れられてもよい。
他の平面内への直線の投影のもとでは、それぞれの軸に
相応に適応する閾値が取り入れられる。

【００３１】図９には、本発明による識別及び補償方法
を用いて専ら陰影領域を検出するための完全な決定スキ
ーマが示されている。この方法では、計算コストの高く
なる角度演算や非常に少ない明度に対するセグメント化
エラーが排除されている。それにより、非常に少ない計
算時間しか必要としない結果が得られている。ここでは
角度差分α_１−α_２による色度差分の近似と角度差分閾
値Δαとの比較の他に、さらに付加的なルミナンス情報
ΔＹが利用され、２つのさらなる閾値εとＹ_ｍ _ｉｎが取
り入れられている。

【００３２】この決定スキーマＤＳの入力側には、当該
実施例では予めセグメント化された従来のセグメントマ
スクが入力される。このマスクからは、画像前景におけ
るビデオオブジェクトとして分離された画素のみが検証
される（図９では“Object”と記載されている）。まず
最初に求められたルミナンス差分ΔＹ＝Ｙ_１−Ｙ_２が、
予め定められた負の閾値Ｙ_ｍｉｎと比較される。それに
より、所定の最大明度よりも下（より小さいという趣旨
で）の画素差分値のみが利用されることが保証される。
ルミナンス閾値Ｙ_ｍｉｎは負であるので、このことは、
使用されるルミナンス差分の絶対値が常に、最小閾値の
所定の絶対値よりも大きいことを意味する。その他にも
この負のルミナンス閾値Ｙ_ｍｉｎは、目下の画素の処理
が陰影領域からのものであろうことを保証する。なぜな
らこのようなケースでは常にΔＹが負となるからであ
る。定義毎に陰影が画像を“より暗く”している、つま
りその明度が低下している。そのようなケースでは、十
分な検証が行われる。それ以外では、この過程が中断さ
れ、目下の処理された画素値が維持され前景としてマー
キングされる（同じようなことは画像ブライトアップ部
分の識別に対してもあてはまる）。

【００３３】決定スキーマにおける次のステップは、２
つのクロミナンス成分Ｕ，Ｖのうちのどちらを色度近似
の際の分母ないし分子にたてるべきかを決定する。それ
に対して２つの成分のそれぞれ大きい方の絶対値は、色
度近似の前にまず最小のクロミナンス閾値εと比較され
る。これはクロミナンス成分Ｕ，Ｖに対する最大の上限
を設定する。それに従って色度近似は、｜Δ(Ｕ/Ｖ)｜
または｜Δ(Ｖ/Ｕ)｜の比によって形成される。この場
合以下の関係式、 |Δ(U/V)| =|{U_{（目下の画像）}/V_{（目下の画像）}}-{U_{（基準背景メモリ} _）/V_{（基準背景メモ} _リ _） }| もしくは |Δ(V/U)| =|{ V_{（目下の画像）}/U_{（目下の画像）}}-{ V_{（基準背景メモリ} _）/U_{（基準背景メモリ} _）}| が成り立つ。

【００３４】ここでのインデックス“目下の画像”には
“１”、インデックス“基準背景メモリ”には“２”で
ある。この演算の結果は、角度差分閾値Δαと比較され
る。この結果が閾値Δαよりも小さい場合には、目下の
処理されたそして事前に“object(前景）”としてマー
キングされた画素は、ここにおいて陰影領域の画素とし
て識別され（図９では“shadow”で表されている）、背
景としてマーキングされることによって補正される。こ
の補正された画素は、その後では例えばセグメント化方
法の適応フィードバック系に供給され、そこから最終的
なセグメントマスクが形成されてもよい。

【００３５】本発明による識別および補償方法を用いれ
ば、陰影領域が次のことによって識別される。すなわ
ち、比較すべき２つの画素（基準背景画像と目下の画
像）の彩度と明度の差にもかかわらず、色度において実
質的な変化は生じないことによって識別される。さらに
明度の変化が負であるべき場合は、陰影が常に画像を暗
くする。色度の近似に対しては、そのつど２つのＵ，Ｖ
成分の比が用いられ、この場合２つの値の小さい方が常
に大きい方によって除算されなければならない（２つの
値の等しい場合にはこれが値１となる）。

【図面の簡単な説明】

【図１】ビデオ会議参加者の撮影図と基準背景画像を示
したものである。

【図２】ビデオ会議参加者の撮影図と前景としてのビデ
オオブジェクトを伴った目下の画像を示した図である。

【図３】図２によるビデオオブジェクトを陰影領域識別
なしでセグメント化して表したものである。

【図４】図２によるビデオオブジェクトを陰影領域識別
ありでセグメント化して表したものである。

【図５】ＹＵＶ色空間における陰影領域識別の後で図２
によるビデオオブジェクトの２進化によるセグメントマ
スクを表した図である。

【図６】本発明による識別および保証方法をセグメント
化方法に結合させる様子を示した図である。

【図７】ＹＵＶ色空間を表した図である。

【図８】ＹＵＶ色空間におけるクロミナンス平面を表し
た図である。

【図９】本発明による識別および保証方法に対する最適
化された決定スキーマを陰影領域検出のケースで表した
図である。

【符号の説明】

ａ原点から直線ＳＬi上のＰiまでの間隔ｂルミナンス軸Ｙ上のＰiの成分ＢＧ画像背景ＤＳ決定スキーマＨＳＶ視覚に基づく色空間（色度、彩度、明度）ｉ画素インデックスＩＮセグメント化方法への統合部 object 画像前景Ｐi 画素（色空間内の刺激値）ＳＨ陰影部 shadow 画像背景ＳＬ直線ＳＭセグメントマスクＳＶセグメント化方法ＴＡテーブルＵ水平方向のクロミナンス成分Ｖ直交方向のクロミナンス成分ＶＯビデオオブジェクトＹルミナンス成分Ｙmin 最小ルミナンス閾値Ｙmax 最大ルミナンス閾値ＹＵＶ技術ベース色空間（クロミナンス、ルミナン
ス） α 投影直線ＳＬと色空間軸の間の角度 Δα 角度差閾値 α′ 捕角 ε クロミナンス閾値 ΔＹルミナンス差分１画像前景内の“目下の画像”に対するインデッ
クス２画像背景に対するインデックス

───────────────────────────────────────────────────── フロントページの続き (72)発明者ペーターカウフドイツ連邦共和国ベルリンヨアヒム− フリードリヒ−シュトラーセ 13 (72)発明者オリヴァーシュレーアドイツ連邦共和国ベルリンアカーツィエンシュトラーセ 14 (72)発明者ラルフタンガードイツ連邦共和国ベルリンクローンベルガーシュトラーセ 13 Ｆターム(参考） 5C066 AA01 AA11 CA05 EA07 EA13 EE02 GA04 KE17 5L096 AA02 AA06 CA02 FA02 FA14 FA15 GA38 MA03

Claims

【特許請求の範囲】

【請求項１】輝度（Ｙ）とクロミナンス（Ｕ,Ｖ）の
色成分を有しかつ色度、彩度、明度の色成分を有する色
空間から変換されたＹＵＶ色空間における目下の画素と
対応する画像背景の一定の基準画素との間の画素毎の成
分と閾値に依存したカラー画像信号の比較によって、既
知の静的な画像背景から画像前景としてのビデオオブジ
ェクトを分離させるための、ディジタルカラー画像信号
における照度変化のリアルタイムの識別と補償のための
方法において、急激な変化を伴う局所的に限定されたブライトダウン領
域またはブライトアップ領域の識別を、直接的にＹＵＶ
色空間において実施し、色度差分を近似する、目下の画素（Ｐ_１）と基準画素
（Ｐ_２）の間の比較すべき画素ベクトルの角度差分を求
めて評価することをベースにして、一定の色度のもとで
目下の画素（Ｐ_１）の明度と彩度のみを変化させるブラ
イトダウン領域またはブライトアップ領域の出現に基づ
いて目下の画素（Ｐ_１）のＹ，Ｕ、Ｖ成分が線形に低減
または増加するという仮定のもとで、３つの成分Ｙ，
Ｕ，Ｖから合成される目下の画素（Ｐ_ｉ）が照度変動に
入る前の初期値とＹＵＶ座標系原点との間の直線（ＳＬ
_１）上に存在し、この場合目下の画素（Ｐ_ｉ）の可変の
彩度は、ＹＵＶ色空間の原点を通る直線（ＳＬ_１）上の
原点までのその間隔（ａ）によって近似され、目下の画
素（Ｐ_１）の可変の明度は、ルミナンス成分（Ｙ）の関
与分（ｂ）によって近似され、そして目下の画素
（Ｐ_１）の一定の色度は、ＹＵＶ色空間における直線
（ＳＬ_１）の角度によって近似されるようにしたことを
特徴とする方法。
【請求項２】空間内の比較すべき画素ベクトルの角度
差分は、平面内の角度差分（α_１−α_２）によって近似
され、この場合、目下の画素（Ｐ1）ないし基準画素
（Ｐ2）を通るそれぞれの直線（ＳＬ_１,ＳＬ_２）の投影
の間の角度（α1，α2）は、ＹＵＶ色空間内の３つの平
面のうちの１つに存在し、それぞれの平面（Ｕ，Ｖ）を
形成する２つの軸（Ｕ）の一方に存在する、請求項１記
載のリアルタイムの識別および補償方法。
【請求項３】特定例として近似が次のような付加情
報、すなわち目下の画素（Ｐ_１）と基準画素（Ｐ_２）の
間のルミナンス値（ΔＹ)の差分をブライトダウン領域
の出現の際にはゼロよりも小さくし、ブライトアップ領
域の出現の際にはゼロよりも大きくするような画素（Ｐ
_１）からの領域のみが、ブライトダウンないしブライト
アップ領域であり得る、という付加情報を用いて行われ
る、請求項１記載のリアルタイムの識別および補償方
法。
【請求項４】さらなる特定例として当該の方法の安定
化のために付加的な閾値が導入される、請求項１から３
いずれか１項記載のリアルタイムの識別および補償方
法。
【請求項５】ＵＶ平面内の角度近似のもとで、クロミ
ナンス閾値（ε）が、水平方向クロミナンス成分（Ｕ）
に対する最小のクロミナンス値として導入され、および
/または直交方向のクロミナンス成分（Ｖ）とルミナン
ス閾値（Ｙ_ｍ _ｉｎ）がクロミナンス（Ｙ）の最小値とし
て導入される、請求項２から４いずれか１項記載のリア
ルタイムの識別および補償方法。
【請求項６】付加的な特定例として平面（ＵＶ）内に
投影される直線（ＳＬ）の角度（α）を２つの軸（Ｕ）
のうち、当該平面（ＵＶ）内の画素（Ｐ_１）の成分の商
（Ｕ/Ｖ）からのarctan形成から定められる一方に対し
て、当該商（Ｕ/Ｖ）自体もしくはその逆値（Ｖ/Ｕ）に
よって、２つの成分（Ｕ,Ｖ）の間の大きさの比に依存
して、常に小さい方の値が大きい方の値によって除算さ
れる形態で近似される、請求項２から５いずれか１項記
載のリアルタイムの識別および補償方法。
【請求項７】前期特定例は、共通の決定スキーマ（Ｄ
Ｓ）に統合されている、請求項３から６いずれか１項記
載のリアルタイムの識別および補償方法
【請求項８】前期方法を差分ベースのセグメント化方
法（ＳＶ）への補足としてカラー画像信号毎に後処理ス
テップとして統合し、その際にセグメント化方法内で画
像前景（ＶＯ）におけるビデオオブジェクトに割当てら
れる画素のみを目下の画素として処理する、請求項１か
ら７いずれか１項記載のリアルタイムの識別および補償
方法。