JP2019102008A - 領域判定装置及びそのプログラム - Google Patents
領域判定装置及びそのプログラム Download PDFInfo
- Publication number
- JP2019102008A JP2019102008A JP2017235718A JP2017235718A JP2019102008A JP 2019102008 A JP2019102008 A JP 2019102008A JP 2017235718 A JP2017235718 A JP 2017235718A JP 2017235718 A JP2017235718 A JP 2017235718A JP 2019102008 A JP2019102008 A JP 2019102008A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- area
- pixel value
- background
- determination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
Abstract
【課題】領域判定精度を向上させた領域判定装置を提供する。【解決手段】映像合成装置１は、映像記憶部１０と、各画素の画素値を直線にフィッティングする直線近似部２０と、背景モデルを生成する背景モデル生成部３０と、背景モデルを記憶する背景モデル記憶部４０と、背景モデルを更新する背景モデル更新部５０と、背景モデルを用いて、撮影映像の被写体領域、影領域、半影領域及び背景領域を判定する判定部６０と、部品映像記憶部７０と、映像合成部８０とを備える。【選択図】図１
Description
本発明は、領域判定装置及びそのプログラムに関する。
従来より、背景差分法は、固定カメラの映像から、動いている被写体と背景とを分離する手法として知られている。背景差分法の基本原理は、予め撮影した背景のみの映像と現在の映像との間で座標毎の画素値の差分値を求め、その大きさを基準として、背景領域であるか被写体領域（動物体領域）であるかを判定するものである。この基本原理では、被写体が背景に落とした影により、影部分が背景でないと誤判定されることがあり、領域判定精度が低下する。
そこで、従来の背景差分法を拡張した手法が提案されている（非特許文献１，２）。非特許文献１に記載の手法は、背景モデルをデータベース化し、背景の各画素に複数の背景モデルを持たせるものである。この手法は、背景モデルを追加することや、背景モデルの闊値（ボックス）を拡大することで、明るさが変化する場合、木の葉が揺れる場合、ある座標の画素が別の被写体に表す場合にも対応できる。また、非特許文献２に記載の手法は、明度変化を統計的に処理することで、被写体が背景に落とす影にも対応できる。
Kyungnam Kim, Thanarat H.Chalidabhongse, David Harwood, Larry Davis,"Real-time foreground-background segmentation using codebook model," AVSS '09 Sixth IEEE International Conference on Advanced Video and Signal Based Survei11ance, PP,454
森田順也，岩井儀雄，谷内田正彦，"室内における背景と物体の分離"，情報処理学会研究報告 CVIM, PP9-16,2002
しかし、非特許文献１，２に記載の手法は、照明の色温度が変化すること、つまり、時間の経過に伴って環境光の色が変化することを考慮しておらず、領域判定精度が低下するという問題がある。
そこで、本発明は、領域判定精度を向上させた領域判定装置及びそのプログラムを提供することを課題とする。
前記した課題に鑑みて、本発明に係る領域判定装置は、動いている被写体を固定カメラで撮影した所定時間分の撮影映像に含まれる被写体領域、影領域、半影領域及び背景領域を判定する領域判定装置であって、直線近似部と、背景モデル生成部と、背景モデル更新部と、被写体領域判定部と、影領域判定部と、半影領域判定部と、背景領域判定部とを備える構成とした。
かかる構成によれば、領域判定装置は、直線近似部によって、所定時間分の学習映像から各時刻で同一座標の画素の画素値を取得し、取得した当該同一座標の画素毎に、各時刻の画素の画素値を直交ＲＧＢ色空間内の直線で近似する。
そして、領域判定装置は、背景モデル生成部によって、学習映像の画素毎に、直交ＲＧＢ色空間の原点を始点として予め設定した環境光反射ベクトル、及び、環境光反射ベクトルの終点から直線を延長した位置までの主光源反射ベクトルからなる背景モデルを生成する。
そして、領域判定装置は、背景モデル生成部によって、学習映像の画素毎に、直交ＲＧＢ色空間の原点を始点として予め設定した環境光反射ベクトル、及び、環境光反射ベクトルの終点から直線を延長した位置までの主光源反射ベクトルからなる背景モデルを生成する。
ここで、被写体領域が日向に位置する場合、反射光は、重み付けた主光源反射ベクトルと環境光反射ベクトルで表される（但し、重み係数は、０〜１の間で照明条件に応じて変化）。一方、被写体領域が日陰に位置する場合、反射光は、環境光反射ベクトルのみで表される。そして、これら反射光の強度が、撮影映像の被写体輝度に影響を及ぼす。例えば、被写体領域が日向から日陰に移動すると、反射光は、重み付けた主光源反射ベクトルと環境光反射ベクトルとを加えたものから環境光反射ベクトルに変化し、環境光反射ベクトルが支配的となる。
背景モデルとは、主光源反射ベクトルや環境光反射ベクトルを用いて、照明条件による色や輝度の変動をモデル化したものである。
照明条件には、例えば、日向や日陰といった影の有無、光の入射角の変化、天候の変化、主光源の遮蔽の有無といったものが含まれる。
照明条件には、例えば、日向や日陰といった影の有無、光の入射角の変化、天候の変化、主光源の遮蔽の有無といったものが含まれる。
領域判定装置は、背景モデル更新部によって、各時刻の撮影映像から同一座標の画素を観測画素として取得し、取得した観測画素の画素値うち、原点に最も近い画素値に直線上で最寄の画素値を最近画素値、及び、原点から最も遠い画素値に直線上で最寄の画素値を最遠画素値として更新する。
このように、領域判定装置は、照明条件の変化に対して頑健となるように背景モデルを更新（学習）する。
このように、領域判定装置は、照明条件の変化に対して頑健となるように背景モデルを更新（学習）する。
領域判定装置は、被写体領域判定部によって、観測画素の画素値が、主光源反射ベクトル上で最近画素値と最遠画素値との間の背景判定基準線分から予め設定した距離以上離れる場合、観測画素を被写体領域の画素と判定する。
そして、領域判定装置は、影領域判定部によって、最近画素値から原点までの基準方向で原点から所定距離の基準位置を予め設定し、観測画素の画素値が、環境光反射ベクトル又は主光源反射ベクトルで基準位置から最近画素値までの範囲に含まれる場合、観測画素を影領域の画素と判定する。
そして、領域判定装置は、影領域判定部によって、最近画素値から原点までの基準方向で原点から所定距離の基準位置を予め設定し、観測画素の画素値が、環境光反射ベクトル又は主光源反射ベクトルで基準位置から最近画素値までの範囲に含まれる場合、観測画素を影領域の画素と判定する。
領域判定装置は、半影領域判定部によって、基準方向で最近画素値から所定距離の半影判定位置を予め設定し、観測画素の画素値が、背景判定基準線分上で最近画素値から半影判定位置までの範囲に含まれる場合、観測画素を半影領域の画素と判定する。
領域判定装置は、背景領域判定部によって、観測画素の画素値が、背景判定基準線分上で半影判定位置から最遠画素値までの範囲に含まれる場合、観測画素を背景領域の画素と判定する。
このように、領域判定装置は、更新した背景モデルを用いることで、領域判定精度を向上させることができる。
領域判定装置は、背景領域判定部によって、観測画素の画素値が、背景判定基準線分上で半影判定位置から最遠画素値までの範囲に含まれる場合、観測画素を背景領域の画素と判定する。
このように、領域判定装置は、更新した背景モデルを用いることで、領域判定精度を向上させることができる。
本発明によれば、以下のような優れた効果を奏する。
本発明に係る領域判定装置は、主光源反射ベクトル及び環境光反射ベクトルを用いて、照明条件による色や輝度の変動をモデル化する。そして、領域判定装置は、背景モデルを更新し、その背景モデルを用いることで、領域判定精度を向上させることができる。
本発明に係る領域判定装置は、主光源反射ベクトル及び環境光反射ベクトルを用いて、照明条件による色や輝度の変動をモデル化する。そして、領域判定装置は、背景モデルを更新し、その背景モデルを用いることで、領域判定精度を向上させることができる。
以下、本発明の各実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の手段及び同一の処理には同一の符号を付し、説明を省略した。
（第１実施形態）
［映像合成装置の概略］
図１を参照し、本発明の第１実施形態に係る映像合成装置（領域判定装置）１の概略について説明する。
スポーツ競技において、時間の経過とともに、選手がどのようにフィールドで移動したか、どのように体を捌いたのかといったことを、番組の視聴者に直感的に伝えることが困難である。特に、選手の動きが速い場合、この問題は顕著となる。
［映像合成装置の概略］
図１を参照し、本発明の第１実施形態に係る映像合成装置（領域判定装置）１の概略について説明する。
スポーツ競技において、時間の経過とともに、選手がどのようにフィールドで移動したか、どのように体を捌いたのかといったことを、番組の視聴者に直感的に伝えることが困難である。特に、選手の動きが速い場合、この問題は顕著となる。
この問題に対処すべく、番組制作においては、カメラワークやスローモーションでの表示などの工夫が行われている。その工夫の一つが、連続写真風に表示するマルチモーションという手法である。このマルチモーションは、固定カメラの撮影映像から、動いている被写体を切り出し、背景映像に、時間経過により得られる被写体を合成することで、被写体の動きを直感的に理解できるように表示する。
しかし、従来の背景差分法では、影領域の判定精度が不十分で、違和感のあるマルチモーション表現に留まっていた。そこで、本実施形態では、映像合成装置１をマルチモーションに適用することとして説明する。特に屋外における競技場でのスポーツ競技では、広く上に開けた施設であり、日中、主光源である太陽が支配的である半面、天空光が一様な青空や曇などで単純な環境光となることが多く、映像合成装置１には好条件である。
映像合成装置１は、ビデオカメラ２で撮影した撮影映像の被写体領域、影領域、半影領域及び背景領域を判定するものである。
ビデオカメラ（固定カメラ）２は、動いている被写体を同一画角で撮影するものである。このビデオカメラ２は、姿勢及びズームを変更せずに被写体を撮影し、図１に示すように、その撮影映像を映像合成装置１に出力する。
ビデオカメラ（固定カメラ）２は、動いている被写体を同一画角で撮影するものである。このビデオカメラ２は、姿勢及びズームを変更せずに被写体を撮影し、図１に示すように、その撮影映像を映像合成装置１に出力する。
＜被写体領域、影領域、半影領域、背景領域＞
図２を参照し、撮影映像の被写体領域、影領域、半影領域及び背景領域について説明する。
図２に示すように、ビデオカメラ２で屋外の被写体９０を撮影する場合を考える。このとき、主光源が光源９１となり、環境光が天空光となる。
図２を参照し、撮影映像の被写体領域、影領域、半影領域及び背景領域について説明する。
図２に示すように、ビデオカメラ２で屋外の被写体９０を撮影する場合を考える。このとき、主光源が光源９１となり、環境光が天空光となる。
ここで、被写体９０を撮影する際、光源９１による影ができる。この影は、周囲の半影領域９２と、半影領域９２より中心側に位置する影領域９３とを有する。
被写体領域とは、被写体９０の領域のことである。
半影領域９２とは、被写体９０の影が薄い領域のことである。
影領域９３とは、被写体９０の影が濃い領域のことである。
背景領域とは、被写体領域、半影領域９２及び影領域９３以外の領域のことである。
被写体領域とは、被写体９０の領域のことである。
半影領域９２とは、被写体９０の影が薄い領域のことである。
影領域９３とは、被写体９０の影が濃い領域のことである。
背景領域とは、被写体領域、半影領域９２及び影領域９３以外の領域のことである。
［映像合成装置の構成］
図１に戻り、映像合成装置１の構成について説明する。
図１に示すように、映像合成装置１は、映像記憶部１０と、直線近似部２０と、背景モデル生成部３０と、背景モデル記憶部４０と、背景モデル更新部５０と、判定部６０と、部品映像記憶部７０と、映像合成部８０とを備える。
図１に戻り、映像合成装置１の構成について説明する。
図１に示すように、映像合成装置１は、映像記憶部１０と、直線近似部２０と、背景モデル生成部３０と、背景モデル記憶部４０と、背景モデル更新部５０と、判定部６０と、部品映像記憶部７０と、映像合成部８０とを備える。
映像記憶部１０は、ビデオカメラ２から入力された所定時間分の撮影映像を記憶するデータベースである。例えば、映像記憶部１０としては、一般的なＨＤＤ(Hard Disk Drive)、ＳＳＤ(Solid State Drive)等の記憶装置があげられる。
また、映像記憶部１０は、撮影映像Ｖ（図７）と共に、学習映像Ｆを記憶してもよい。本実施形態では、映像記憶部１０は、図３に示すように、時刻ｔ＝１，２，３，…，Ｔの学習映像Ｆ（Ｆ１，Ｆ２，Ｆ３，…，ＦＴ）を記憶する。
また、映像記憶部１０は、撮影映像Ｖ（図７）と共に、学習映像Ｆを記憶してもよい。本実施形態では、映像記憶部１０は、図３に示すように、時刻ｔ＝１，２，３，…，Ｔの学習映像Ｆ（Ｆ１，Ｆ２，Ｆ３，…，ＦＴ）を記憶する。
学習映像Ｆとは、後記する背景モデルを生成するための映像のことである。ここで、学習映像Ｆは、水平方向にｘ個、垂直方向にｙ個の画素Ｐ（ｊ，ｋ）で構成されている。このｊ，ｋは、それぞれ、学習映像Ｆｔの水平座標及び垂直座標を表す（但し、０≦ｊ≦ｘ−１、０≦ｋ≦ｙ−１）。
なお、学習映像は、特に制限されないが、処理簡略化のため、撮影映像と同一画素数の映像とすることが好ましい。例えば、ビデオカメラ２がスポーツ競技を撮影した映像の一部を学習映像Ｆとし、残りを撮影映像としてもよい。
なお、学習映像は、特に制限されないが、処理簡略化のため、撮影映像と同一画素数の映像とすることが好ましい。例えば、ビデオカメラ２がスポーツ競技を撮影した映像の一部を学習映像Ｆとし、残りを撮影映像としてもよい。
直線近似部２０は、映像記憶部１０に記憶されている学習映像から各時刻で同一座標の画素の画素値を取得し、取得した同一座標の画素毎に、各時刻の画素の画素値を直交ＲＧＢ色空間内の直線で近似するものである。そして、直線近似部２０は、近似した直線を背景モデル生成部３０に出力する。
なお、直線近似部２０の詳細は、後記する。
なお、直線近似部２０の詳細は、後記する。
背景モデル生成部３０は、直線近似部２０から入力された直線を用いて、背景モデルを生成するものである。そして、背景モデル生成部３０は、生成した背景モデルを背景モデル記憶部４０に書き込む。
＜背景モデル及びその生成＞
図４〜図６を参照し、背景モデル及びその生成について説明する（適宜図１参照）。
背景モデルＭは、図４に示すように、環境光反射ベクトルＥＶ、及び、主光源反射ベクトルＭＶで構成されている。この背景モデルＭは、学習映像Ｆの画素Ｐ毎に生成するので、画素Ｐと同数のｘ×ｙ個存在する。画素Ｐ（ｊ，ｋ）の背景モデルをＭ（ｊ，ｋ）とする。図４の背景モデルＭ（０，０）は、学習映像Ｆ１，…，ＦＴの画素Ｐ１（０，０），…，ＰＴ（０，０）に対応する。また、図５の背景モデルＭ（ｊ，ｋ）は、学習映像Ｆ１，…，ＦＴの画素Ｐ１（ｊ，ｋ），…，ＰＴ（ｊ，ｋ）に対応する。
図４〜図６を参照し、背景モデル及びその生成について説明する（適宜図１参照）。
背景モデルＭは、図４に示すように、環境光反射ベクトルＥＶ、及び、主光源反射ベクトルＭＶで構成されている。この背景モデルＭは、学習映像Ｆの画素Ｐ毎に生成するので、画素Ｐと同数のｘ×ｙ個存在する。画素Ｐ（ｊ，ｋ）の背景モデルをＭ（ｊ，ｋ）とする。図４の背景モデルＭ（０，０）は、学習映像Ｆ１，…，ＦＴの画素Ｐ１（０，０），…，ＰＴ（０，０）に対応する。また、図５の背景モデルＭ（ｊ，ｋ）は、学習映像Ｆ１，…，ＦＴの画素Ｐ１（ｊ，ｋ），…，ＰＴ（ｊ，ｋ）に対応する。
直交ＲＧＢ色空間は、直交する３軸で画素のＲＧＢ値を表す３次元の色空間であり、原点Ｏが黒色を表している。
環境光反射ベクトルＥＶは、直交ＲＧＢ色空間の原点Ｏを始点として予め設定したベクトルである。この環境光反射ベクトルＥＶは、環境光のみの反射光ベクトルである。ここで、直線近似部２０が求めた直線から原点Ｏに線分を伸ばし、その線分と原点Ｏとを結んだ方向が、環境光反射ベクトルＥＶの方向となる。
環境光反射ベクトルＥＶは、直交ＲＧＢ色空間の原点Ｏを始点として予め設定したベクトルである。この環境光反射ベクトルＥＶは、環境光のみの反射光ベクトルである。ここで、直線近似部２０が求めた直線から原点Ｏに線分を伸ばし、その線分と原点Ｏとを結んだ方向が、環境光反射ベクトルＥＶの方向となる。
主光源反射ベクトルＭＶＯは、直交ＲＧＢ色空間の原点Ｏから、直線近似部２０が求めた直線だけ延長した位置までのベクトルである。この主光源反射ベクトルＭＶ０は、主光源のみの反射光ベクトルである。
また、主光源反射ベクトルＭＶは、主光源反射ベクトルＭＶＯの始点を環境光反射ベクトルＥＶの終点に移動させたベクトルである。
また、主光源反射ベクトルＭＶは、主光源反射ベクトルＭＶＯの始点を環境光反射ベクトルＥＶの終点に移動させたベクトルである。
図６（ａ）及び図６（ｂ）に示すように、背景モデルＭは、直交ＲＧＢ色空間の原点Ｏを始点とする環境光反射ベクトルＥＶと、環境光反射ベクトルＥＶの終点に連結した主光源反射ベクトルＭＶとからなる。ここで、環境光反射ベクトルＥＶと、主光源反射ベクトルＭＶと、原点Ｏ及び主光源反射ベクトルＭＶの終点を結ぶ直線（破線で図示）とで囲まれた領域（ハッチングで図示）に着目する。すると、背景モデルＭでは、照明条件に応じて物体反射光Ｌがこの領域内を移動する（つまり、物体反射光Ｌの画素がこの領域内の画素値となる）。このように、背景モデルＭは、主光源反射ベクトルＭＶ及び環境光反射ベクトルＥＶを用いて、照明条件による色や輝度の変動をモデル化したものである。
以下、背景モデルＭの生成について説明する。
直線近似部２０は、学習映像Ｆから各時刻で同一座標の画素Ｐの画素値を取得し、取得した同一座標の画素Ｐ毎に、各時刻の画素Ｐの画素値を直交ＲＧＢ色空間内の直線で近似する。
直線近似部２０は、学習映像Ｆから各時刻で同一座標の画素Ｐの画素値を取得し、取得した同一座標の画素Ｐ毎に、各時刻の画素Ｐの画素値を直交ＲＧＢ色空間内の直線で近似する。
例えば、直線近似部２０は、図３の学習映像Ｆ１，…，ＦＴのそれぞれから、左上画素Ｐ１（０，０），…，ＰＴ（０，０）の画素値を取得する。そして、直線近似部２０は、取得した全ての左上画素Ｐ（０，０）の画素値を直線にフィッティング（近似）する。例えば、フィッティングの手法としては、最小二乗法をあげることができる。
また、直線近似部２０は、図３の学習映像Ｆ１，…，ＦＴのそれぞれから、画素Ｐ１（ｊ，ｋ），…，ＰＴ（ｊ，ｋ）の画素値を取得する。そして、直線近似部２０は、取得した全ての画素Ｐ（ｊ，ｋ）の画素値を最小二乗法により直線にフィッティングする。
続いて、背景モデル生成部３０は、学習映像Ｆの画素Ｐ毎に、環境光反射ベクトルＥＶ、及び、環境光反射ベクトルＥＶの終点から直線を延長した位置までの主光源反射ベクトルＭＶからなる背景モデルＭを生成する。具体的には、背景モデル生成部３０は、環境光反射ベクトルＥＶの終点に主光源反射ベクトルＭＶを連結させて、画素Ｐ（０，０）の背景モデルＭ（０，０）を生成する。さらに、背景モデル生成部３０は、画素Ｐ（０，０）と同様、画素Ｐ（ｊ，ｋ）の背景モデルＭ（ｊ，ｋ）を生成する。
なお、直線近似部２０及び背景モデル生成部３０は、学習映像Ｆの全画素Ｐに対して処理を行う。
なお、直線近似部２０及び背景モデル生成部３０は、学習映像Ｆの全画素Ｐに対して処理を行う。
図１に戻り、映像合成装置１の構成について、説明を続ける。
背景モデル記憶部４０は、背景モデルＭを記憶するデータベースである。例えば、背景モデル記憶部４０としては、一般的なＨＤＤ、ＳＳＤ等の記憶装置があげられる。
背景モデル更新部５０は、背景モデル記憶部４０に記憶されている背景モデルＭを更新するものである。
背景モデル記憶部４０は、背景モデルＭを記憶するデータベースである。例えば、背景モデル記憶部４０としては、一般的なＨＤＤ、ＳＳＤ等の記憶装置があげられる。
背景モデル更新部５０は、背景モデル記憶部４０に記憶されている背景モデルＭを更新するものである。
＜背景モデルの更新＞
図７，図８を参照し、背景モデルＭの更新について説明する（適宜図１参照）。
背景モデル更新部５０は、図７に示すように、映像記憶部１０に記憶されている時刻ｔ＝１，２，３，…，Ｔの学習映像Ｖ（Ｖ１，Ｖ２，Ｖ３，…，ＶＴ）から、同一座標（ｊ，ｋ）の画素を観測画素Ｑ１（ｊ，ｋ），Ｑ２（ｊ，ｋ），Ｑ３（ｊ，ｋ），…，ＱＴ（ｊ，ｋ）として取得する。
図７，図８を参照し、背景モデルＭの更新について説明する（適宜図１参照）。
背景モデル更新部５０は、図７に示すように、映像記憶部１０に記憶されている時刻ｔ＝１，２，３，…，Ｔの学習映像Ｖ（Ｖ１，Ｖ２，Ｖ３，…，ＶＴ）から、同一座標（ｊ，ｋ）の画素を観測画素Ｑ１（ｊ，ｋ），Ｑ２（ｊ，ｋ），Ｑ３（ｊ，ｋ），…，ＱＴ（ｊ，ｋ）として取得する。
そして、背景モデル更新部５０は、取得した観測画素Ｑ（ｊ，ｋ）の画素値うち、背景モデルＭ（ｊ，ｋ）において、最近画素値Ｑｍｉｎ及び最遠画素値Ｑｍａｘを更新する。この最近画素値Ｑｍｉｎ及び最遠画素値Ｑｍａｘは、後記する背景判定基準線分を主光源反射ベクトルＭＶに設定するときの基準になる。
ここで、時刻ｔ＝１の観測画素Ｑ１（ｊ，ｋ）が原点Ｏに近い側の端点に最寄の画素値を有し、時刻ｔ＝２の観測画素Ｑ２（ｊ，ｋ）が原点Ｏから遠い側の端点に最寄の画素値を有する場合を考える。この場合、背景モデル更新部５０は、図８に示すように、背景モデル記憶部４０の背景モデルＭ（ｊ，ｋ）について、観測画素Ｑ１（ｊ，ｋ）の画素値を最近画素値Ｑｍｉｎとして更新する。さらに、背景モデル更新部５０は、観測画素Ｑ２（ｊ，ｋ）の画素値を最遠画素値Ｑｍａｘとして更新する。
その後、背景モデル更新部５０は、観測画素Ｑ（ｊ，ｋ）を判定部６０に出力する。
なお、背景モデル更新部５０は、撮影映像Ｖの全観測画素Ｑに対して処理を行う。
なお、背景モデル更新部５０は、撮影映像Ｖの全観測画素Ｑに対して処理を行う。
図１に戻り、映像合成装置１の構成について、説明を続ける。
判定部６０は、背景モデル記憶部４０の背景モデルＭを参照し、観測画素Ｑ（ｊ，ｋ）が、被写体領域、影領域、半影領域又は背景領域の何れに属するか判定するものである。図１に示すように、判定部６０は、被写体領域判定部６１と、影領域判定部６３と、半影領域判定部６５と、背景領域判定部６７とを備える。
判定部６０は、背景モデル記憶部４０の背景モデルＭを参照し、観測画素Ｑ（ｊ，ｋ）が、被写体領域、影領域、半影領域又は背景領域の何れに属するか判定するものである。図１に示すように、判定部６０は、被写体領域判定部６１と、影領域判定部６３と、半影領域判定部６５と、背景領域判定部６７とを備える。
＜被写体領域の判定＞
被写体領域判定部６１は、図８に示すように、観測画素Ｑ（ｊ，ｋ）の画素値が、背景判定基準線分ＢＬから予め設定した距離Ｄ１以上離れる場合、観測画素Ｑ（ｊ，ｋ）を被写体領域の画素と判定するものである。この背景判定基準線分ＢＬは、主光源反射ベクトルＭＶ上で最近画素値Ｑｍｉｎと最遠画素値Ｑｍａｘとの間の線分である。
被写体領域判定部６１は、図８に示すように、観測画素Ｑ（ｊ，ｋ）の画素値が、背景判定基準線分ＢＬから予め設定した距離Ｄ１以上離れる場合、観測画素Ｑ（ｊ，ｋ）を被写体領域の画素と判定するものである。この背景判定基準線分ＢＬは、主光源反射ベクトルＭＶ上で最近画素値Ｑｍｉｎと最遠画素値Ｑｍａｘとの間の線分である。
つまり、被写体領域判定部６１は、観測画素Ｑ（ｊ，ｋ）の画素値が、背景判定基準線分ＢＬから距離Ｄ１までの範囲αから外れる場合、観測画素Ｑ（ｊ，ｋ）を被写体領域の画素と判定する。
なお、図８では、範囲αを矩形状の領域として図示したが、ＲＧＢ色空間内において、この範囲αは、背景判定基準線分ＢＬを中心とした円筒形状の領域となる。
なお、図８では、範囲αを矩形状の領域として図示したが、ＲＧＢ色空間内において、この範囲αは、背景判定基準線分ＢＬを中心とした円筒形状の領域となる。
観測画素Ｑ（ｊ，ｋ）が被写体領域の場合、被写体領域判定部６１は、観測画素Ｑ（ｊ，ｋ）と、観測画素Ｑ（ｊ，ｋ）が被写体領域であることを示すフラグ（例えば、‘１’）とを関連付けて、部品映像記憶部７０に書き込む。
観測画素Ｑ（ｊ，ｋ）が被写体領域の画素でない場合、判定部６０は、観測画素Ｑ（ｊ，ｋ）が影領域の画素であるかを判定する。
このようにして、被写体領域判定部６１は、被写体領域の観測画素Ｑ（ｊ，ｋ）を、はずれ値として背景領域の判定処理から除外する。
観測画素Ｑ（ｊ，ｋ）が被写体領域の画素でない場合、判定部６０は、観測画素Ｑ（ｊ，ｋ）が影領域の画素であるかを判定する。
このようにして、被写体領域判定部６１は、被写体領域の観測画素Ｑ（ｊ，ｋ）を、はずれ値として背景領域の判定処理から除外する。
＜影領域の判定＞
影領域判定部６３は、図９に示すように、観測画素Ｑ（ｊ，ｋ）の画素値が、環境光反射ベクトルＥＶ又は主光源反射ベクトルＭＶで基準位置ＳＰから最近画素値Ｑｍｉｎまでの範囲に含まれる場合、観測画素Ｑ（ｊ，ｋ）を影領域の画素と判定するものである。
影領域判定部６３は、図９に示すように、観測画素Ｑ（ｊ，ｋ）の画素値が、環境光反射ベクトルＥＶ又は主光源反射ベクトルＭＶで基準位置ＳＰから最近画素値Ｑｍｉｎまでの範囲に含まれる場合、観測画素Ｑ（ｊ，ｋ）を影領域の画素と判定するものである。
まず、影領域判定部６３は、最近画素値Ｑｍｉｎから原点Ｏまでの基準方向ＳＤに沿って、原点Ｏから所定距離Ｌ１に基準位置ＳＰを設定する。この距離Ｌ１は、経験則により任意に設定可能である。
ここで、影領域、半影領域又は背景領域を判定する際、ビデオカメラ２のノイズや画素値が離散的であることから、観測画素Ｑ（ｊ，ｋ）の画素値が、環境光反射ベクトルＥＶ又は主光源反射ベクトルＭＶの上から外れることがある。そこで、影領域判定部６３は、観測画素Ｑ（ｊ，ｋ）の画素値が、環境光反射ベクトルＥＶ又は主光源反射ベクトルＭＶから予め設定した距離Ｄ２以内の場合、観測画素Ｑ（ｊ，ｋ）を影領域の画素と判定することとした（但し、距離Ｄ１＞距離Ｄ２）。
つまり、影領域判定部６３は、観測画素Ｑ（ｊ，ｋ）の画素値が、基準方向ＳＤに沿って基準位置ＳＰから最近画素値Ｑｍｉｎまでの間、かつ、環境光反射ベクトルＥＶ又は主光源反射ベクトルＭＶから距離Ｄ２までの範囲β１に含まれる場合、観測画素Ｑ（ｊ，ｋ）を影領域の画素と判定する。
なお、図９では、範囲β１〜β３を矩形状の領域として図示したが、ＲＧＢ色空間内において、この範囲β１〜β３は、環境光反射ベクトルＥＶや主光源反射ベクトルＭＶを中心とした円筒形状の領域となる。
観測画素Ｑ（ｊ，ｋ）が影領域の画素の場合、影領域判定部６３は、観測画素Ｑ（ｊ，ｋ）と、この観測画素Ｑ（ｊ，ｋ）が影領域であることを示すフラグ（例えば、‘２’）とを関連付けて、部品映像記憶部７０に書き込む。
観測画素Ｑ（ｊ，ｋ）が影領域の画素でない場合、判定部６０は、観測画素Ｑ（ｊ，ｋ）が半影領域の画素であるかを判定する。
観測画素Ｑ（ｊ，ｋ）が影領域の画素でない場合、判定部６０は、観測画素Ｑ（ｊ，ｋ）が半影領域の画素であるかを判定する。
＜半影領域の判定＞
半影領域判定部６５は、観測画素Ｑ（ｊ，ｋ）の画素値が、背景判定基準線分ＢＬ上で最近画素値Ｑｍｉｎから半影判定位置までの範囲に含まれる場合、観測画素Ｑ（ｊ，ｋ）を半影領域の画素と判定するものである。
半影領域判定部６５は、観測画素Ｑ（ｊ，ｋ）の画素値が、背景判定基準線分ＢＬ上で最近画素値Ｑｍｉｎから半影判定位置までの範囲に含まれる場合、観測画素Ｑ（ｊ，ｋ）を半影領域の画素と判定するものである。
まず、半影領域判定部６５は、基準方向ＳＤに沿って、最近画素値Ｑｍｉｎから所定距離Ｌ２の半影判定位置ＨＰを予め設定する。この距離Ｌ２は、経験則により任意に設定可能である。
また、半影領域判定部６５は、影領域判定部６３と同様、背景判定基準線分ＢＬから距離Ｄ２以内の場合、観測画素Ｑ（ｊ，ｋ）を半影領域の画素と判定する。
つまり、半影領域判定部６５は、観測画素Ｑ（ｊ，ｋ）の画素値が、基準方向ＳＤに沿って最近画素値Ｑｍｉｎから半影判定位置ＨＰまでの間、かつ、背景判定基準線分ＢＬから距離Ｄ２までの範囲β２に含まれる場合、観測画素Ｑ（ｊ，ｋ）を半影領域の画素と判定する。
つまり、半影領域判定部６５は、観測画素Ｑ（ｊ，ｋ）の画素値が、基準方向ＳＤに沿って最近画素値Ｑｍｉｎから半影判定位置ＨＰまでの間、かつ、背景判定基準線分ＢＬから距離Ｄ２までの範囲β２に含まれる場合、観測画素Ｑ（ｊ，ｋ）を半影領域の画素と判定する。
観測画素Ｑ（ｊ，ｋ）が半影領域の画素の場合、半影領域判定部６５は、観測画素Ｑ（ｊ，ｋ）と、この観測画素Ｑ（ｊ，ｋ）が半影領域であることを示すフラグ（例えば、‘３’）とを関連付けて、部品映像記憶部７０に書き込む。
観測画素Ｑ（ｊ，ｋ）が半影領域の画素でない場合、判定部６０は、観測画素Ｑ（ｊ，ｋ）が背景領域の画素であるかを判定する。
観測画素Ｑ（ｊ，ｋ）が半影領域の画素でない場合、判定部６０は、観測画素Ｑ（ｊ，ｋ）が背景領域の画素であるかを判定する。
＜背景領域の判定＞
背景領域判定部６７は、観測画素Ｑ（ｊ，ｋ）の画素値が、背景判定基準線分ＢＬ上で半影判定位置から最遠画素値Ｑｍａｘまでの範囲に含まれる場合、観測画素Ｑ（ｊ，ｋ）を背景領域の画素と判定するものである。
背景領域判定部６７は、観測画素Ｑ（ｊ，ｋ）の画素値が、背景判定基準線分ＢＬ上で半影判定位置から最遠画素値Ｑｍａｘまでの範囲に含まれる場合、観測画素Ｑ（ｊ，ｋ）を背景領域の画素と判定するものである。
ここで、背景領域判定部６７は、影領域判定部６３と同様、背景判定基準線分ＢＬから距離Ｄ２以内の場合、観測画素Ｑ（ｊ，ｋ）を背景領域の画素と判定する。
つまり、背景領域判定部６７は、観測画素Ｑ（ｊ，ｋ）の画素値が、基準方向ＳＤに沿って半影判定位置ＨＰから最遠画素値Ｑｍａｘまでの間、かつ、背景判定基準線分ＢＬから距離Ｄ２までの範囲β３に含まれる場合、観測画素Ｑ（ｊ，ｋ）を背景領域の画素と判定する。
つまり、背景領域判定部６７は、観測画素Ｑ（ｊ，ｋ）の画素値が、基準方向ＳＤに沿って半影判定位置ＨＰから最遠画素値Ｑｍａｘまでの間、かつ、背景判定基準線分ＢＬから距離Ｄ２までの範囲β３に含まれる場合、観測画素Ｑ（ｊ，ｋ）を背景領域の画素と判定する。
観測画素Ｑ（ｊ，ｋ）が背景領域の画素の場合、背景領域判定部６７は、観測画素Ｑ（ｊ，ｋ）と、この観測画素Ｑ（ｊ，ｋ）が背景領域であることを示すフラグ（例えば、‘４’）とを関連付けて、部品映像記憶部７０に書き込む。
なお、判定部６０は、座標（ｊ，ｋ）の観測画素Ｑだけでなく、撮影映像Ｖの全観測画素Ｑに対して処理を行うことは言うまでもない。
なお、判定部６０は、座標（ｊ，ｋ）の観測画素Ｑだけでなく、撮影映像Ｖの全観測画素Ｑに対して処理を行うことは言うまでもない。
＜領域判定の具体例＞
図１０を参照し、判定部６０による領域判定の具体例を説明する（適宜図１参照）。
図１０（ａ）に示すように、撮影映像Ｖ（Ｖ１，Ｖ２，Ｖ３）では、被写体９０が左から右に動いている。そこで、この撮影映像Ｖで同一座標の観測画素Ｑ（Ｑ１，Ｑ２，Ｑ３）が、どのように領域判定されるか説明する。
図１０を参照し、判定部６０による領域判定の具体例を説明する（適宜図１参照）。
図１０（ａ）に示すように、撮影映像Ｖ（Ｖ１，Ｖ２，Ｖ３）では、被写体９０が左から右に動いている。そこで、この撮影映像Ｖで同一座標の観測画素Ｑ（Ｑ１，Ｑ２，Ｑ３）が、どのように領域判定されるか説明する。
影領域判定部６３は、図１０（ｂ）に示すように、観測画素Ｑ１が範囲β１に含まれるので、観測画素Ｑ１を影領域の画素と判定する。
被写体領域判定部６１は、観測画素Ｑ２が、範囲α，β１〜β３の何れにも含まれないので、観測画素Ｑ２を被写体領域の画素と判定する。
背景領域判定部６７は、観測画素Ｑ３が範囲β３に含まれるので、観測画素Ｑ３を背景領域の画素と判定する。
なお、図１０（ｂ）では、図面を見やすくするため、背景モデルＭの一部を図示した。
被写体領域判定部６１は、観測画素Ｑ２が、範囲α，β１〜β３の何れにも含まれないので、観測画素Ｑ２を被写体領域の画素と判定する。
背景領域判定部６７は、観測画素Ｑ３が範囲β３に含まれるので、観測画素Ｑ３を背景領域の画素と判定する。
なお、図１０（ｂ）では、図面を見やすくするため、背景モデルＭの一部を図示した。
図１に戻り、映像合成装置１の構成について、説明を続ける。
部品映像記憶部７０は、判定部６０の判定結果として、撮影映像Ｖの観測画素Ｑの画素値と、この観測画素Ｑの領域を示すフラグとを記憶するデータベースである。言い換えるなら、部品映像記憶部７０は、撮影映像Ｖを、被写体領域、影領域、半影領域、背景領域等の部品映像毎に分割して記憶する。例えば、部品映像記憶部７０としては、一般的なＨＤＤ、ＳＳＤ等の記憶装置があげられる。
部品映像記憶部７０は、判定部６０の判定結果として、撮影映像Ｖの観測画素Ｑの画素値と、この観測画素Ｑの領域を示すフラグとを記憶するデータベースである。言い換えるなら、部品映像記憶部７０は、撮影映像Ｖを、被写体領域、影領域、半影領域、背景領域等の部品映像毎に分割して記憶する。例えば、部品映像記憶部７０としては、一般的なＨＤＤ、ＳＳＤ等の記憶装置があげられる。
映像合成部８０は、部品映像記憶部７０に記憶された撮影映像Ｖを合成し、マルチモーション映像を生成するものである。そして、映像合成部８０は、生成したマルチモーション映像を出力する。
＜映像合成の具体例＞
図１１を参照し、映像合成の具体例について説明する（適宜図１参照）。
映像合成部８０は、図１１（ａ−１）の撮影映像Ｖ１，Ｖ２の背景領域、半影領域、影領域、被写体領域の順で上書き合成することで、マルチモーション映像を生成する。
図１１を参照し、映像合成の具体例について説明する（適宜図１参照）。
映像合成部８０は、図１１（ａ−１）の撮影映像Ｖ１，Ｖ２の背景領域、半影領域、影領域、被写体領域の順で上書き合成することで、マルチモーション映像を生成する。
被写体領域と半影領域及び影領域とについては、異なる時間で抽出された重複部分が生じる。そこで、映像合成部８０は、図１１（ａ−２）の被写体領域と、図１１（ａ−３）の半影領域及び影領域を分離する。そして、映像合成部８０は、半影領域の画素の画素値を加重平均し、背景領域に合成する。さらに、映像合成部８０は、影領域の画素の画素値を加重平均し、背景領域に合成する。最後に、映像合成部８０は、被写体領域を時間順に背景領域に合成する。これにより、図１１（ａ−４）に示すように、影領域の前後関係に不整合が生じることがなく、視聴者に違和感を与えることがない。
一方、従来手法では、図１１（ｂ−２）に示すように半影領域や影領域を分離しないので、図１１（ｂ−３）に示すように、被写体９０の前面に影が合成されるといった影領域の前後関係に不整合が生じ、視聴者に違和感を与えてしまう。
［映像合成装置の動作］
図１２を参照し、映像合成装置１の動作について説明する（適宜図１参照）。
ここでは、学習映像Ｆ及び撮影映像Ｖが映像記憶部１０に記憶されていることとする。
図１２を参照し、映像合成装置１の動作について説明する（適宜図１参照）。
ここでは、学習映像Ｆ及び撮影映像Ｖが映像記憶部１０に記憶されていることとする。
図１２に示すように、直線近似部２０は、時刻１，…，Ｔの学習映像Ｆから同一座標の画素Ｐの画素値を取得する（ステップＳ１）。
直線近似部２０は、取得した同一座標の画素Ｐ毎に、各時刻の画素Ｐの画素値を直交ＲＧＢ色空間内の直線で近似する。そして、背景モデル生成部３０は、直線近似部２０が近似した直線を用いて、背景モデルＭを生成する（ステップＳ２）。
直線近似部２０は、取得した同一座標の画素Ｐ毎に、各時刻の画素Ｐの画素値を直交ＲＧＢ色空間内の直線で近似する。そして、背景モデル生成部３０は、直線近似部２０が近似した直線を用いて、背景モデルＭを生成する（ステップＳ２）。
映像合成装置１は、カウンタｉが１，…，Ｔの間、ステップＳ３〜Ｓ１０までの処理を繰り返す（ステップＳ３）。
映像合成装置１は、映像記憶部１０から、時刻ｉの撮影映像Ｖを読み出す（ステップＳ４）。
映像合成装置１は、カウンタｊが１，…の間、ｘ、カウンタｋが１，…，ｙの間、ステップＳ５〜Ｓ９までの処理を繰り返す（ステップＳ５）。なお、ｘ，ｙは、それぞれ、予め設定した撮影映像Ｖの水平最大画素数、垂直最大画素数である。
映像合成装置１は、映像記憶部１０から、時刻ｉの撮影映像Ｖを読み出す（ステップＳ４）。
映像合成装置１は、カウンタｊが１，…の間、ｘ、カウンタｋが１，…，ｙの間、ステップＳ５〜Ｓ９までの処理を繰り返す（ステップＳ５）。なお、ｘ，ｙは、それぞれ、予め設定した撮影映像Ｖの水平最大画素数、垂直最大画素数である。
背景モデル更新部５０は、時刻ｉの撮影映像Ｖから座標（ｊ，ｋ）の観測画素Ｑを取得する（ステップＳ６）。
背景モデル更新部５０は、観測画素Ｑ（ｊ，ｋ）の背景モデルＭにおいて、最近画素値及び最遠画素値を更新する（ステップＳ７）。
背景モデル更新部５０は、観測画素Ｑ（ｊ，ｋ）の背景モデルＭにおいて、最近画素値及び最遠画素値を更新する（ステップＳ７）。
判定部６０は、観測画素Ｑ（ｊ，ｋ）が、被写体領域、影領域、半影領域又は背景領域の何れか判定する。
具体的には、被写体領域判定部６１は、観測画素Ｑ（ｊ，ｋ）の画素値が範囲α（図８）から外れる場合、観測画素Ｑ（ｊ，ｋ）を被写体領域の画素と判定する。
また、影領域判定部６３は、観測画素Ｑ（ｊ，ｋ）の画素値が範囲β１（図９）に含まれる場合、観測画素Ｑ（ｊ，ｋ）を影領域の画素と判定する。
そして、半影領域判定部６５は、観測画素Ｑ（ｊ，ｋ）の画素値が範囲β２（図９）に含まれる場合、観測画素Ｑ（ｊ，ｋ）を半影領域の画素と判定する。
さらに、背景領域判定部６７は、観測画素Ｑ（ｊ，ｋ）の画素値が範囲β３（図９）に含まれる場合、観測画素Ｑ（ｊ，ｋ）を背景領域の画素と判定する（ステップＳ８）。
具体的には、被写体領域判定部６１は、観測画素Ｑ（ｊ，ｋ）の画素値が範囲α（図８）から外れる場合、観測画素Ｑ（ｊ，ｋ）を被写体領域の画素と判定する。
また、影領域判定部６３は、観測画素Ｑ（ｊ，ｋ）の画素値が範囲β１（図９）に含まれる場合、観測画素Ｑ（ｊ，ｋ）を影領域の画素と判定する。
そして、半影領域判定部６５は、観測画素Ｑ（ｊ，ｋ）の画素値が範囲β２（図９）に含まれる場合、観測画素Ｑ（ｊ，ｋ）を半影領域の画素と判定する。
さらに、背景領域判定部６７は、観測画素Ｑ（ｊ，ｋ）の画素値が範囲β３（図９）に含まれる場合、観測画素Ｑ（ｊ，ｋ）を背景領域の画素と判定する（ステップＳ８）。
映像合成装置１は、カウンタｊ，ｋをインクリメントする（ステップＳ９）。
映像合成装置１は、カウンタｉをインクリメントする（ステップＳ１０）。
映像合成部８０は、撮影映像の背景領域、半影領域、影領域、被写体領域の順で上書き合成することで、マルチモーション映像を生成する（ステップＳ１１）。
映像合成装置１は、カウンタｉをインクリメントする（ステップＳ１０）。
映像合成部８０は、撮影映像の背景領域、半影領域、影領域、被写体領域の順で上書き合成することで、マルチモーション映像を生成する（ステップＳ１１）。
［作用・効果］
以上のように、映像合成装置１は、主光源反射ベクトルＭＶ及び環境光反射ベクトルＥＶを用いて、照明条件による色や輝度の変動を、背景モデルＭとしてモデル化する。そして、映像合成装置１は、背景モデルＭの性質により背景モデルＭを更新し、その背景モデルＭを用いることで、領域判定精度を向上させることができる。
以上のように、映像合成装置１は、主光源反射ベクトルＭＶ及び環境光反射ベクトルＥＶを用いて、照明条件による色や輝度の変動を、背景モデルＭとしてモデル化する。そして、映像合成装置１は、背景モデルＭの性質により背景モデルＭを更新し、その背景モデルＭを用いることで、領域判定精度を向上させることができる。
すなわち、映像合成装置１は、時間の経過に伴って環境光の色が変化することの影響を背景モデルＭに逐次更新する。そして、映像合成装置１は、頑健に被写体領域の抽出を可能とするので、合成映像の品質を向上させることができる。さらに、映像合成装置１は、背景領域や影領域の抽出精度の向上により、映像表現の自由度を拡大することができる。
（第２実施形態）
［映像合成装置の構成］
図１３を参照し、本発明の第２実施形態に係る映像合成装置１Ｂの構成について、第１実施形態と異なる点を説明する。
映像合成装置１Ｂは、外部で映像合成を行うための合成情報を生成する点が、第１実施形態と異なる。
［映像合成装置の構成］
図１３を参照し、本発明の第２実施形態に係る映像合成装置１Ｂの構成について、第１実施形態と異なる点を説明する。
映像合成装置１Ｂは、外部で映像合成を行うための合成情報を生成する点が、第１実施形態と異なる。
図１３に示すように、映像合成装置１Ｂは、映像記憶部１０と、直線近似部２０と、背景モデル生成部３０と、背景モデル記憶部４０と、背景モデル更新部５０と、判定部６０と、部品映像記憶部７０と、映像合成部８０と、合成情報生成部８１とを備える。
なお、合成情報生成部８１以外の各手段は、第１実施形態と同様のため、説明を省略する。
なお、合成情報生成部８１以外の各手段は、第１実施形態と同様のため、説明を省略する。
合成情報生成部８１は、背景モデル生成部３０に記憶されている背景モデルＭを参照し、灰色世界仮説を前提として、合成情報を生成するものである。そして、合成情報生成部８１は、生成した合成情報を外部（例えば、映像処理装置）に出力する。
なお、灰色世界仮説とは、物体の平均色が灰色になるという仮説のことである。
なお、灰色世界仮説とは、物体の平均色が灰色になるという仮説のことである。
＜合成情報の生成＞
図１４を参照し、合成情報の生成について説明する（適宜図１参照）。
ここでは、説明を簡易にするため、異なる３座標の観測画素Ｑ１〜Ｑ３の背景モデルＭを扱うこととする。
図１４を参照し、合成情報の生成について説明する（適宜図１参照）。
ここでは、説明を簡易にするため、異なる３座標の観測画素Ｑ１〜Ｑ３の背景モデルＭを扱うこととする。
合成情報生成部８１は、図１４（ａ）に示すように、それぞれの背景モデルＭから背景判定基準線分ＢＬ１〜ＢＬ３を抽出し、同一の直交ＲＧＢ色空間に配置する。ここで、背景判定基準線分ＢＬ１〜ＢＬ３の端点をそれぞれ、最近画素値Ｑｍｉｎ１〜Ｑｍｉｎ３、最遠画素値Ｑｍａｘ１〜Ｑｍａｘ３とする。
次に、合成情報生成部８１は、図１４（ｂ）に示すように、最遠画素値Ｑｍａｘ１〜Ｑｍａｘ３を、最遠画素値Ｑｍａｘ１〜Ｑｍａｘ３の平均位置に合わせるように背景判定基準線分ＢＬ１〜ＢＬ３を移動させる。そして、合成情報生成部８１は、移動後の背景判定基準線分ＢＬ１〜ＢＬ３において、最近画素値Ｑｍｉｎ１〜Ｑｍｉｎ３の平均を求める。
次に、合成情報生成部８１は、図１４（ｃ）に示すように、最近画素値Ｑｍｉｎ１〜Ｑｍｉｎ３の平均ＱＡｖｅを求め、この平均ＱＡｖｅが始点となるように背景判定基準線分ＢＬ１〜ＢＬ３を移動させる。そして、合成情報生成部８１は、移動後の背景判定基準線分ＢＬ１〜ＢＬ３において、最遠画素値Ｑｍａｘ１〜Ｑｍａｘ３の平均を求める。
次に、合成情報生成部８１は、原点Ｏから、求めた最近画素値Ｑｍｉｎ１〜Ｑｍｉｎ３の平均までのベクトルを環境光ベクトルとして生成する。さらに、合成情報生成部８１は、原点Ｏから最遠画素値Ｑｍａｘ１〜Ｑｍａｘ３の平均までのベクトルを主光源ベクトルとして生成する。
［映像合成装置の動作］
図１５を参照し、映像合成装置１Ｂの動作について説明する（適宜図１３参照）。
なお、ステップＳ１〜Ｓ１１の処理は、第１実施形態と同様のため、説明を省略する。
図１５を参照し、映像合成装置１Ｂの動作について説明する（適宜図１３参照）。
なお、ステップＳ１〜Ｓ１１の処理は、第１実施形態と同様のため、説明を省略する。
図１５に示すように、合成情報生成部８１は、背景モデル生成部３０に記憶されている背景モデルＭを参照し、合成情報を生成する。
具体的には、合成情報生成部８１は、最遠画素値Ｑｍａｘを同一位置に合わせたときの最近画素値Ｑｍｉｎの平均、及び、最近画素値Ｑｍｉｎの平均ＱＡｖｅを始点とした最遠画素値Ｑｍａｘの平均を求める。そして、合成情報生成部８１は、原点Ｏから最近画素値Ｑｍｉｎの平均までの環境光ベクトル、及び、原点Ｏから最遠画素値Ｑｍａｘの平均までの主光源ベクトルを合成情報として生成する（ステップＳ１２）。
具体的には、合成情報生成部８１は、最遠画素値Ｑｍａｘを同一位置に合わせたときの最近画素値Ｑｍｉｎの平均、及び、最近画素値Ｑｍｉｎの平均ＱＡｖｅを始点とした最遠画素値Ｑｍａｘの平均を求める。そして、合成情報生成部８１は、原点Ｏから最近画素値Ｑｍｉｎの平均までの環境光ベクトル、及び、原点Ｏから最遠画素値Ｑｍａｘの平均までの主光源ベクトルを合成情報として生成する（ステップＳ１２）。
［作用・効果］
以上のように、映像合成装置１Ｂは、第１実施形態と同様、領域判定精度を向上させることができる。さらに、映像合成装置１Ｂは、灰色世界仮説を前提として合成情報を生成するので、外部で映像合成を行う場合でも、領域判定精度を向上させることができる。
以上のように、映像合成装置１Ｂは、第１実施形態と同様、領域判定精度を向上させることができる。さらに、映像合成装置１Ｂは、灰色世界仮説を前提として合成情報を生成するので、外部で映像合成を行う場合でも、領域判定精度を向上させることができる。
（変形例）
以上、本発明の各実施形態を詳述してきたが、本発明は前記した各実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
以上、本発明の各実施形態を詳述してきたが、本発明は前記した各実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
前記した各実施形態では、背景領域が変化しないことを想定しているが、本発明は、背景領域が変化する場合（例えば、木の葉が揺れる場合）にも適用することができる。
この場合、直線近似部は、学習映像の各画素の画素値をクラスタリングし、クラスタ毎に最小二乗法によるフィッティングを行う。ここで、クラスタリングの手法としては、例えば、Mean Shift法があげられ、処理時間を短縮できるので、K-means法、X-means法等を用いることが好ましい。
その後、被写体領域判定部、影領域判定部、半影領域判定部及び背景領域判定部は、クラスタ毎の直線に対して判定を行えばよい。
この場合、直線近似部は、学習映像の各画素の画素値をクラスタリングし、クラスタ毎に最小二乗法によるフィッティングを行う。ここで、クラスタリングの手法としては、例えば、Mean Shift法があげられ、処理時間を短縮できるので、K-means法、X-means法等を用いることが好ましい。
その後、被写体領域判定部、影領域判定部、半影領域判定部及び背景領域判定部は、クラスタ毎の直線に対して判定を行えばよい。
前記した各実施形態では、映像合成装置を独立したハードウェアとして説明したが、本発明は、これに限定されない。例えば、本発明は、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、前記した映像合成装置として協調動作させる
映像合成プログラムで実現することもできる。このプログラムは、通信回線を介して配布してもよく、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。
映像合成プログラムで実現することもできる。このプログラムは、通信回線を介して配布してもよく、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。
本発明は、動画コンテンツの映像合成に利用することができる。また、本発明は、監視カメラによる移動物体の検知や統計情報抽出の前処理に利用することができる。
１，１Ｂ 映像合成装置（領域判定装置）
２ ビデオカメラ（固定カメラ）
１０ 映像記憶部
２０ 直線近似部
３０ 背景モデル生成部
４０ 背景モデル記憶部
５０ 背景モデル更新部
６０ 判定部
６１ 被写体領域判定部
６３ 影領域判定部
６５ 半影領域判定部
６７ 背景領域判定部
７０ 部品映像記憶部
８０ 映像合成部
８１ 合成情報生成部
９０ 被写体
９１ 光源
９２ 半影領域
９３ 影領域
２ ビデオカメラ（固定カメラ）
１０ 映像記憶部
２０ 直線近似部
３０ 背景モデル生成部
４０ 背景モデル記憶部
５０ 背景モデル更新部
６０ 判定部
６１ 被写体領域判定部
６３ 影領域判定部
６５ 半影領域判定部
６７ 背景領域判定部
７０ 部品映像記憶部
８０ 映像合成部
８１ 合成情報生成部
９０ 被写体
９１ 光源
９２ 半影領域
９３ 影領域
Claims (6)
- 動いている被写体を固定カメラで撮影した所定時間分の撮影映像に含まれる被写体領域、影領域、半影領域及び背景領域を判定する領域判定装置であって、
所定時間分の学習映像から各時刻で同一座標の画素の画素値を取得し、取得した当該同一座標の画素毎に、前記各時刻の画素の画素値を直交ＲＧＢ色空間内の直線で近似する直線近似部と、
前記学習映像の画素毎に、前記直交ＲＧＢ色空間の原点を始点として予め設定した環境光反射ベクトル、及び、前記環境光反射ベクトルの終点から前記直線を延長した位置までの主光源反射ベクトルからなる背景モデルを生成する背景モデル生成部と、
各時刻の前記撮影映像から同一座標の画素を観測画素として取得し、取得した当該観測画素の画素値うち、前記背景モデルにおいて、前記直線で前記原点に近い側の端点に最寄の画素値を最近画素値、及び、前記直線で前記原点から遠い側の端点に最寄の画素値を最遠画素値として更新する背景モデル更新部と、
前記観測画素の画素値が、前記主光源反射ベクトル上で前記最近画素値と前記最遠画素値との間の背景判定基準線分から予め設定した距離以上離れる場合、前記観測画素を前記被写体領域の画素と判定する被写体領域判定部と、
前記最近画素値から前記原点までの基準方向で前記原点から所定距離の基準位置を予め設定し、前記観測画素の画素値が、前記環境光反射ベクトル又は前記主光源反射ベクトルで前記基準位置から前記最近画素値までの範囲に含まれる場合、前記観測画素を前記影領域の画素と判定する影領域判定部と、
前記基準方向で前記最近画素値から所定距離の半影判定位置を予め設定し、前記観測画素の画素値が、前記背景判定基準線分上で前記最近画素値から前記半影判定位置までの範囲に含まれる場合、前記観測画素を前記半影領域の画素と判定する半影領域判定部と、
前記観測画素の画素値が、前記背景判定基準線分上で前記半影判定位置から前記最遠画素値までの範囲に含まれる場合、前記観測画素を前記背景領域の画素と判定する背景領域判定部と、
を備えることを特徴とする領域判定装置。 - 前記影領域判定部は、前記観測画素の画素値が、前記基準位置から前記最近画素値までの範囲に含まれ、前記環境光反射ベクトル又は前記主光源反射ベクトルから予め設定した距離以内の場合、前記観測画素を前記影領域の画素と判定することを特徴とする請求項１に記載の領域判定装置。
- 前記半影領域判定部は、前記観測画素の画素値が、前記最近画素値から前記半影判定位置までの範囲に含まれ、前記背景判定基準線分から予め設定した距離以内の場合、前記観測画素を前記半影領域の画素と判定することを特徴とする請求項１又は請求項２に記載の領域判定装置。
- 前記背景領域判定部は、前記観測画素の画素値が、前記半影判定位置から前記最遠画素値までの範囲に含まれ、前記背景判定基準線分から予め設定した距離以内の場合、前記観測画素を前記背景領域の画素と判定することを特徴とする請求項１から請求項３の何れか一項に記載の領域判定装置。
- 前記最遠画素値を当該最遠画素値の平均に合わせたときの各背景判定基準線分の最近画素値の平均を求め、前記最近画素値の平均を始点とした各背景判定基準線分の最遠画素値の平均を求め、前記原点から前記最近画素値の平均までの環境光ベクトル、及び、前記原点から前記最遠画素値の平均までの主光源ベクトルを表した合成情報を生成する合成情報生成部、をさらに備えることを特徴とする請求項１から請求項４の何れか一項に記載の領域判定装置。
- コンピュータを、請求項１から請求項５の何れか一項に記載の領域判定装置として機能させるための領域判定プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017235718A JP2019102008A (ja) | 2017-12-08 | 2017-12-08 | 領域判定装置及びそのプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017235718A JP2019102008A (ja) | 2017-12-08 | 2017-12-08 | 領域判定装置及びそのプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2019102008A true JP2019102008A (ja) | 2019-06-24 |
Family
ID=66977005
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017235718A Pending JP2019102008A (ja) | 2017-12-08 | 2017-12-08 | 領域判定装置及びそのプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2019102008A (ja) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080031526A1 (en) * | 2006-08-03 | 2008-02-07 | Tandent Vision Science, Inc. | Methods for discriminating moving objects in motion image sequences |
-
2017
- 2017-12-08 JP JP2017235718A patent/JP2019102008A/ja active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080031526A1 (en) * | 2006-08-03 | 2008-02-07 | Tandent Vision Science, Inc. | Methods for discriminating moving objects in motion image sequences |
Non-Patent Citations (2)
| Title |
|---|
| "揺れと影に頑健な屋外背景差分法の提案", 電子情報通信学会技術研究報告 VOL.116 NO.366, JPN6021044291, 8 December 2016 (2016-12-08), ISSN: 0004634394 * |
| DAWEI LI, LIHONG XU, AND ERIK D. GOODMAN: "Illumination-Robust Foreground Detection in a Video Surveillance System", IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, vol. 23, no. 10, JPN7021004785, 29 January 2013 (2013-01-29), US, pages 1637 - 1650, XP011528515, ISSN: 0004634395, DOI: 10.1109/TCSVT.2013.2243649 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11238644B2 (en) | Image processing method and apparatus, storage medium, and computer device | |
| US8698913B2 (en) | Color correction device, color correction method, dynamic camera color correction device, and video search device using the same | |
| US11765321B2 (en) | Intelligent video surveillance system and method | |
| WO2019128507A1 (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| US10824910B2 (en) | Image processing method, non-transitory computer readable storage medium and image processing system | |
| JP2014178957A (ja) | 学習データ生成装置、学習データ作成システム、方法およびプログラム | |
| JP5263694B2 (ja) | 物体位置推定用情報作成装置、物体位置推定用情報作成方法およびプログラム | |
| US20180357819A1 (en) | Method for generating a set of annotated images | |
| US20210248427A1 (en) | Method and system of neural network object recognition for image processing | |
| US10992902B2 (en) | Aspect ratio conversion with machine learning | |
| JP2014089626A (ja) | 画像検出装置及び制御プログラム並びに画像検出方法 | |
| GB2467804A (en) | Method and system for foreground detection using multi-modality fusion graph cut | |
| JP2008501172A (ja) | 画像比較方法 | |
| KR20090087670A (ko) | 촬영 정보 자동 추출 시스템 및 방법 | |
| US11676252B2 (en) | Image processing for reducing artifacts caused by removal of scene elements from images | |
| JP2018124890A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
| CN111402412A (zh) | 数据采集方法及装置、设备、存储介质 | |
| US11812154B2 (en) | Method, apparatus and system for video processing | |
| KR20130024007A (ko) | 영상 촬영 장치 및 그 제어 방법 | |
| JP7092615B2 (ja) | 影検出装置、影検出方法、影検出プログラム、学習装置、学習方法、及び学習プログラム | |
| JP2016058840A (ja) | 撮像装置、画像処理装置、撮像方法及びプログラム | |
| EP2807631B1 (en) | Device and method for detecting a plant against a background | |
| JP2019102008A (ja) | 領域判定装置及びそのプログラム | |
| KR20180069312A (ko) | 라이트 필드 동영상을 이용한 물체 추적 방법 및 장치 | |
| WO2019085496A1 (en) | Feedback based scanning system and methods |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201026 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211029 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211109 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220105 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220607 |