JP2011210139A - 画像処理装置および方法、並びにプログラム - Google Patents
画像処理装置および方法、並びにプログラム Download PDFInfo
- Publication number
- JP2011210139A JP2011210139A JP2010079183A JP2010079183A JP2011210139A JP 2011210139 A JP2011210139 A JP 2011210139A JP 2010079183 A JP2010079183 A JP 2010079183A JP 2010079183 A JP2010079183 A JP 2010079183A JP 2011210139 A JP2011210139 A JP 2011210139A
- Authority
- JP
- Japan
- Prior art keywords
- image
- background
- background image
- unit
- reference background
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Abandoned
Links
- 238000012545 processing Methods 0.000 title claims abstract description 61
- 238000000034 method Methods 0.000 title claims description 72
- 238000006243 chemical reaction Methods 0.000 claims abstract description 82
- 238000001514 detection method Methods 0.000 claims description 72
- 241001465754 Metazoa Species 0.000 claims description 40
- 238000003672 processing method Methods 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 abstract description 46
- 230000008569 process Effects 0.000 description 51
- 230000008859 change Effects 0.000 description 35
- 238000005286 illumination Methods 0.000 description 20
- 239000013598 vector Substances 0.000 description 15
- 210000000746 body region Anatomy 0.000 description 9
- 238000000605 extraction Methods 0.000 description 7
- 210000000056 organ Anatomy 0.000 description 7
- 239000000284 extract Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
【課題】撮像状態により入力画像が変化しても高い精度で前景画像となる対象物のみを抽出する。
【解決手段】背景画像格納部29は、基準背景画像を格納する。対象物検出部25は、撮像部21により撮像された撮像画像から対象物を検出し、検出された対象物マスクを推定する。背景差分画像生成部22は、撮像画像と基準背景画像との画素間の差分からなる背景差分画像を生成する。特徴量変換式計算部84は、基準背景画像と対象物マスクの領域を除いた背景差分画像との対応する画素間の画素値の関係式からなる変換式色を算出する。色変換部は、色変換式に基づいて、基準背景画像の画素値を変換し、色変換更新画像を生成する。基準背景更新部27は、色変換更新画像により基準背景画像を置換して更新する。本発明は、画像処理装置に適用することができる。
【選択図】図3
【解決手段】背景画像格納部29は、基準背景画像を格納する。対象物検出部25は、撮像部21により撮像された撮像画像から対象物を検出し、検出された対象物マスクを推定する。背景差分画像生成部22は、撮像画像と基準背景画像との画素間の差分からなる背景差分画像を生成する。特徴量変換式計算部84は、基準背景画像と対象物マスクの領域を除いた背景差分画像との対応する画素間の画素値の関係式からなる変換式色を算出する。色変換部は、色変換式に基づいて、基準背景画像の画素値を変換し、色変換更新画像を生成する。基準背景更新部27は、色変換更新画像により基準背景画像を置換して更新する。本発明は、画像処理装置に適用することができる。
【選択図】図3
Description
本発明は、画像処理装置および方法、並びにプログラムに関し、特に、前景画像からなる対象物を入力画像から正確に抽出できるようにした画像処理装置および方法、並びにプログラムに関する。
カメラ等により撮像された入力画像から、前景画像からなり対象物となる動物体領域を抽出する技術が一般に普及している。
これらの技術のうち、予め動きのない基準背景画像を撮像しておき、基準背景画像とカメラで撮像している画像との差分を画素毎に求めることで、動物体領域だけが抽出される背景差分画像生成処理は、簡単、かつ高速に動物体領域を抽出できる方法として、幅広く利用されている。
例えば、カメラの撮像位置からみて手前に存在する人物のみを抽出し、背景領域にCG(Computer Graphics)等により生成された画像を合成することで、テレビジョン電話器に人物を表示する際、人物の背景となる住環境を写すことなく人物のみをテレビジョン電話器の表示部に表示させる技術が提案されている(特許文献1参照)。
より詳細には、図1で示されるように、差分計算部1は、予め撮像された基準背景画像f1と、その後に撮像した画像f2とで、画素毎に画素値の差分を計算する。そして、差分計算部1は、差分値が所定の閾値よりも小さい値については画素値をゼロ、すなわち、背景を削除することで、動物体領域のみを残した背景差分画像f3を生成する。
しかしながら、図2の入力画像f5で示されるように、輝度の増減、および照明色温度などの照明条件の変化、または、絞り、ゲイン、ホワイトバランスなどのカメラパラメータの変化があった場合、動物体領域以外の領域についても、変化が生じることになる。このため、図2で示されるように、基準背景画像f1と入力画像f5との画素間の画素値の差分値が所定の閾値よりも小さくならず、動物体領域のみを抽出することができなくなり、背景画像も残った画像f6のような状態となることがあった。
このような問題を解決すべく、照明条件の変動などに強い背景差分画像生成処理技術として、注目画素と周辺の画素との輝度の増減関係を求め、その関係の差分値を評価値にすることによって動物体領域を抽出する技術が提案されている(非特許文献1参照)。この技術によれば、照明変動によっても近傍画素間の明度の関係が変化しにくいため、ロバストな背景差分画像を抽出することが可能となっている。
また、照明条件等が徐々に変化する場合に対応する技術として、GMM(Gaussian Mixture Model)を用いた背景差分画像生成処理が提案されている。また、撮像された入力画像と基準背景画像との背景差分画像の生成処理を行うと共に、複数フレーム間の対応する画素値を比較し、変化が急激である場合、基準背景画像の画素値を更新せず、変化が緩やかである場合、所定の比率で撮像された入力画像の画素値に近づくよう、基準背景画像の画素値を変化させ、照明条件が緩やかに変化する場合であっても頑健な背景差分画像の生成処理を実現する技術が開示されている(特許文献2参照)。
さらに、複数枚の、照明条件等の異なる背景画像群をあらかじめ取得しておき、被写体が存在すると推定される予測領域と、それ以外の非予測領域に分割し、非予測領域の画像の特性に近い背景画像を背景画像群から選ぶことで、照明条件の変化に対応できるようにする技術が提案されている(特許文献3参照)。
また、急激な照明変動が発生した場合を自動的に判別する方法として、背景差分画像の前景の大きさが所定の大きさ以上になった場合、破綻したと判別するという技術が開示されている(非特許文献2参照)。これは、急激な照明変動が発生した場合、背景差分が破綻して、背景差分画像である前景画像が肥大するという前提に基づいたものである。
佐藤, 金子, 五十嵐, 周辺増分符号相関画像に基づくロバスト物体検出及び分離、電子情報通信学会論文誌、Vol.J80-D-II, No.12, pp.2585-2594, Dec. 2001.
Toyama, et al, "Wallflower: Principles and practice of background maintenance", ICCV1999, Corfu, Greece.
しかしながら、非特許文献1に記載の技術では、テクスチャの少ない対象に対しては、照明変動や画素ノイズによって近傍画素間の関係が崩れ、誤検出が発生し易くなることがあった。
また、非特許文献2に記載の技術では、前景のサイズが所定の大きさよりも大きく、例えば、画面全体の70%に達した場合、破綻しているとみなすものとすれば、例えば、人物が画面を大きく占める場合などでは、破綻していないにも拘らず、破綻したものと誤認してしまうことがあった。
また、特許文献2に記載の技術では、緩やかな変化には対応できるものの、急激な変化が発生した場合、その領域に動物体が存在すると仮定しているため、急激な照明変動に対しては有効ではなかった。
さらに、特許文献3に記載の技術では、前景となる対象物が存在しえない部分の情報から、前景となり得る背景の推定を行うことで、急激な照明条件の変化にも対応できるが、複数枚の照明条件が異なった背景画像を予め取得しておく必要があった。
本発明はこのような状況に鑑みてなされたものであり、特に、撮像状態により入力画像が変化しても高い精度で前景画像となる対象物のみを抽出できるようにするものである。
本発明の一側面の画像処理装置は、基準背景画像を格納する基準背景格納手段と、前記入力画像から対象物を検出し、検出された対象物の概略位置及び形状を推定する推定手段と、前記入力画像と前記基準背景画像との差分値からなる背景差分画像を生成する背景差分画像生成手段と、前記推定手段により推定された対象物の領域を除いた前記背景差分画像と前記基準背景画像との対応する画素間の画素値の関係式を算出する算出手段と、前記関係式に基づいて、前記基準背景画像の画素値を変換し、画素値変換背景画像を生成する変換手段と、前記画素値変換背景画像により置換して前記基準背景画像を更新する背景画像更新手段とを含む。
前記算出手段には、前記基準背景画像と前記推定手段により推定された対象物の領域を除いた前記背景差分画像との対応する画素間の画素値を用いて最小二乗法により関係式を算出させるようにすることができる。
前記対象物検出手段には、人物を対象物として検出する人物検出手段と、動物を対象物として検出する動物検出手段と、車両を対象物として検出する車両検出手段とを含ませるようにすることができる。
前記人物検出手段には、前記入力画像より人物の顔画像を検出する顔検出手段と、前記顔検出手段により検出された顔画像に基づいて、推定される前記人物の体の存在する位置とサイズから体マスクを推定する体マスク推定手段を含ませるようにすることができる。
本発明の一側面の画像処理方法は、基準背景画像を格納する基準背景格納手段と、前記入力画像から対象物を検出し、検出された対象物の概略位置及び形状を推定する推定手段と、前記入力画像と前記基準背景画像との差分値からなる背景差分画像を生成する背景差分画像生成手段と、前記推定手段により推定された対象物の領域を除いた前記背景差分画像と前記基準背景画像との対応する画素間の画素値の関係式を算出する算出手段と、前記関係式に基づいて、前記基準背景画像の画素値を変換し、画素値変換背景画像を生成する変換手段と、前記画素値変換背景画像により置換して前記基準背景画像を更新する背景画像更新手段とを含む画像処理装置の画像処理方法であって、前記基準背景格納手段における、前記基準背景画像を格納する基準背景格納ステップと、前記推定手段における、前記入力画像から対象物を検出し、検出された対象物の概略位置及び形状を推定する推定ステップと、前記背景差分画像生成手段における、前記入力画像と前記基準背景画像との差分値からなる背景差分画像を生成する背景差分画像生成ステップと、前記算出手段における、前記推定ステップの処理により推定された対象物の領域を除いた前記背景差分画像と前記基準背景画像との対応する画素間の画素値の関係式を算出する算出ステップと、前記変換手段における、前記関係式に基づいて、前記基準背景画像の画素値を変換し、画素値変換背景画像を生成する変換ステップと、前記背景画像更新手段における、前記画素値変換背景画像により置換して前記基準背景画像を更新する背景画像更新ステップとを含む。
本発明の一側面のプログラムは、基準背景画像を格納する基準背景格納手段と、前記入力画像から対象物を検出し、検出された対象物の概略位置及び形状を推定する推定手段と、前記入力画像と前記基準背景画像との差分値からなる背景差分画像を生成する背景差分画像生成手段と、前記推定手段により推定された対象物の領域を除いた前記背景差分画像と前記基準背景画像との対応する画素間の画素値の関係式を算出する算出手段と、前記関係式に基づいて、前記基準背景画像の画素値を変換し、画素値変換背景画像を生成する変換手段と、前記画素値変換背景画像により置換して前記基準背景画像を更新する背景画像更新手段とを含む画像処理装置を制御するコンピュータに、前記基準背景格納手段における、前記基準背景画像を格納する基準背景格納ステップと、前記推定手段における、前記入力画像から対象物を検出し、検出された対象物の概略位置及び形状を推定する推定ステップと、前記背景差分画像生成手段における、前記入力画像と前記基準背景画像との差分値からなる背景差分画像を生成する背景差分画像生成ステップと、前記算出手段における、前記推定ステップの処理により推定された対象物の領域を除いた前記背景差分画像と前記基準背景画像との対応する画素間の画素値の関係式を算出する算出ステップと、前記変換手段における、前記関係式に基づいて、前記基準背景画像の画素値を変換し、画素値変換背景画像を生成する変換ステップと、前記背景画像更新手段における、前記画素値変換背景画像により置換して前記基準背景画像を更新する背景画像更新ステップとを含む処理を実行させる。
本発明の一側面においては、基準背景画像が格納され、前記入力画像から対象物が検出され、検出された対象物の概略位置及び形状が推定され、前記入力画像と前記基準背景画像との差分値からなる背景差分画像が生成され、推定された対象物の領域が除かれた前記背景差分画像と前記基準背景画像との対応する画素間の画素値の関係式が算出され、前記関係式に基づいて、前記基準背景画像の画素値が変換され、画素値変換背景画像が生成され、前記画素値変換背景画像により置換して前記基準背景画像が更新される。
本発明の画像処理装置は、独立した装置であっても良いし、画像処理を行うブロックであっても良い。
本発明の一側面によれば、撮像状態により入力画像が変化しても高い精度で前景画像となる対象物のみを抽出することが可能となる。
[画像処理装置の構成例]
図3は、本発明を適用した画像処理装置のハードウェアの一実施の形態の構成例を示している。図1の画像処理装置1は、撮像された入力画像より前景となる対象物の位置および形状を特定し、対象物の領域のみを抽出するものである。
図3は、本発明を適用した画像処理装置のハードウェアの一実施の形態の構成例を示している。図1の画像処理装置1は、撮像された入力画像より前景となる対象物の位置および形状を特定し、対象物の領域のみを抽出するものである。
画像処理装置1は、撮像部21、背景差分画像生成部22、出力部23、破綻判定部24、対象物検出部25、破綻種別特定部26、基準背景更新部27、基準背景画像取得部28、背景画像格納部29、および動作モード切替部30を備えている。
撮像部21は、基本的に撮像方向、および焦点位置などが固定された状態のままで、画像を撮像し、撮像した撮像画像を背景差分画像生成部22、破綻判定部24、対象物検出部25、基準背景更新部27、および基準背景画像取得部28に供給する。
背景差分画像生成部22は、撮像部21からの撮像画像と、背景画像格納部29に格納されている背景画像との各画素間の画素値の差分絶対値を求める。そして、背景差分画像生成部22は、差分絶対値が所定値よりも高い画素については、撮像画像の画素値とし、それ以外の画素は画素値をゼロ、または最大画素値とした背景差分画像を生成して、出力部23、および破綻判定部24に供給する。すなわち、この処理により、対象物の無い背景画像が背景画像格納部29に格納されているとすれば、理想的には、撮像画像内に対象物が存在すれば、対象物の領域の画素値のみが抽出された画像が背景差分画像として求められることになる。
出力部23は、背景差分画像生成部22より供給されてくる背景差分画像を出力し、例えば、図示せぬ記録媒体に記録させたり、または、図示せぬ表示部などに表示させる。
対象物検出部25は、撮像画像内に存在する対象物を検出し、対象物の画像(対象物を構成する画素からなる領域の情報)として破綻判定部24、破綻種別特定部26、および基準背景更新部27に供給する。より詳細には、対象物検出部25は、人物検出部41、動物検出部42、および車両検出部43を備えており、それぞれ対象物として、人物、動物、および車両の画像を検出する。そして、対象物検出部25は、撮像画像内における、人物、動物、および車両の画像を対象物として検出し、検出した対象物の領域の画像を対象物マスクとして破綻判定部24、破綻種別特定部26、および基準背景更新部27に供給する。
人物検出部41は、顔検出部41aおよび体推定部41bを備えている。顔検出部41aは、撮像画像内における人物の顔画像を検出する。体推定部41bは、顔検出部41aにより検出された顔画像の位置、および大きさから体の存在する領域を推定する。そして、人物検出部41は、顔画像の領域と、推定された体の領域とを併せて体マスクを検出結果として生成する。動物検出部42は、動物特徴量検出部42a、および動物体推定部42bを供えている。動物特徴量検出部42aは、動物の顔画像、および4本の足などの画像と、その位置および大きさを特徴量として抽出する。動物体推定部42bは、動物の顔画像の位置、および4本の足の画像からなる特徴量に基づいて、対象物としての動物の体の存在する領域、および大きさを推定する。そして、動物検出部42は、動物の顔画像の領域、および推定した体の領域とを併せて動物体マスクを検出結果として生成する。車両検出部43は、車輪検出部43a、および車体推定部43bを備えている。車輪検出部43aは、画像より車両の車輪となる領域の位置および大きさの情報を検出する。車体推定部43bは、検出された車輪の領域の位置および大きさの情報に基づいて、車体の領域の位置および大きさを推定する。車両検出部43は、推定された車体の領域と車輪の領域とを併せて車体マスクを検出結果として生成する。
尚、図3の対象物検出部25においては、検出する対象物の例として、人物、動物、および車両といった画像を検出するものを例としているが、その他の対象物を検出できるようにしてもよい。
破綻判定部24は、背景差分画像、および対象物マスクの大きさに基づいて、背景差分画像の大きさが対象物マスクの大きさよりも極端に大きいか否かに基づいて、背景差分画像生成部22の背景差分画像生成処理が破綻しているか否かを判定する。そして、破綻判定部24は、判定結果を破綻種別特定部26に供給する。
破綻種別特定部26は、破綻判定部24の破綻判定結果、背景画像格納部29に格納されている基準背景画像、対象物検出部25からの対象物マスク、および撮像画像に基づいて、破綻がないという結果を含めた、破綻の種別を特定する。そして、破綻種別特定部26は、特定した破綻の種別の情報を基準背景更新部27に供給する。
より詳細には、破綻種別特定部26は、破綻種別決定部61、および色変化計算部62を備えている。色変化計算部62は、対象物マスクの領域を除く撮像画像と基準背景画像とのそれぞれの画素値の平均、または色相の変化を計算し、計算結果を色特徴量の差分値として破綻種別決定部61に供給する。破綻種別決定部61は、破綻判定部24の判定結果が破綻ありで、かつ、色特徴量の差分値が所定の閾値よりも大きいとき、撮像画像内の照明の大きな変化やホワイトバランスの変化に起因する色破綻であるとして破綻種別を決定する。また、破綻種別決定部61は、破綻判定部24の判定結果が破綻ありで、かつ、色特徴量の差分値が所定の閾値よりも大きくないとき、撮像画像を撮像する撮像部21の撮像範囲のずれに起因するずれ破綻であるとして破綻種別を決定する。さらに、破綻種別決定部61は、破綻判定部24の判定結果が破綻なしのとき、破綻が発生していないという情報を、破綻種別を特定する情報として決定する。すなわち、破綻種別特定部26は、破綻判定結果、対象物マスク、基準背景画像、および撮像画像に基づいて、背景差分画像生成処理が、破綻していない、色破綻による破綻が発生している、または、ずれ破綻による破綻が発生しているの3種類のいずれかを特定する。
基準背景更新部27は、破綻種別特定部26からの破綻種別の情報に基づいて、対象物マスクの情報、背景画像記憶部29に記憶された基準背景画像、および撮像画像より、基準背景画像を更新して、背景画像格納部29に格納させる。より詳細には、基準背景更新部27は、グローバルモーション推定部81、動き補償変換部82、選択部83、特徴量変換式計算部84、および色変換部85を備えている。
グローバルモーション推定部81は、対象物マスクの領域を除いた基準背景画像と撮像画像との情報から、撮像部21の撮像方向のずれの方向と大きさを示すグローバルモーションを動きベクトルとして推定し、動き補償変換部82に供給する。動き補償変換部82は、動きベクトルに基づいて、今現在背景画像格納部29に格納されている基準背景画像および撮像画像から基準背景画像の更新画像である動き補償画像を生成し、選択部83に供給する。特徴量変換式計算部84は、対象物マスクを除く撮像画像および今現在背景画像格納部29に格納されている基準背景画像における対応する画素間の色変化を示す変換式を、最小二乗法により求めて、求めた変換式を色変換部85に供給する。色変換部85は、特徴量変換式計算部84により求められた変換式を用いて、背景画像格納部29に格納されている基準背景画像の各画素の画素値を変換して、基準背景画像の更新画像である色変換画像を生成して選択部83に供給する。選択部83は、動き補償変換部82より供給されてくる動き補償画像、色変換部85より供給されてくる色変換画像、および撮像画像のいずれかを破綻種別特定部26より供給されてくる破綻種別に基づいて選択する。そして、選択部83は、選択した画像で、背景画像格納部29に格納されている基準背景画像を置換することにより基準背景画像を更新する。
基準背景画像取得部28は、基準背景画像を初期登録するとき、撮像部21より供給されてくる画像を基準背景画像とみなして、背景画像格納部29に格納させる。
動作モード切替部30は、画像処理装置11の動作モードを制御するものであり、基準背景画像格納モード、背景差分画像抽出モード、および背景画像更新モードの3種類の動作モードを切り替える。尚、図3においては、動作モード切替部30は、撮像部21、出力部23、および基準背景画像取得部28のみにその動作のオン、またはオフを制御するための矢印が表記されている。しかしながら、実際には、動作モード切替部30は、撮像部21乃至背景画像格納部29の全てを各動作モードごとにオン、またはオフに制御する。したがって、実際には、全ての構成に対して矢印を引くべきであるが、構成が複雑になりすぎるため、省略して表記している。
[基準背景画像登録処理]
次に、図4のフローチャートを参照して、基準背景画像登録処理について説明する。
次に、図4のフローチャートを参照して、基準背景画像登録処理について説明する。
ステップS11において、動作モード切替部30は、基準背景画像登録モードとするため、その動作に必要とされる撮像部21、基準背景画像取得部28、および背景画像格納部29をオンに制御し、その他の構成については、オフに制御する。尚、この基準背景画像登録モードは、図示せぬ操作部を画像処理装置11のユーザが操作するとき発生する操作信号に基づいて設定される動作モードである。したがって、この動作モードとされる場合、基準背景画像としたい画像であって、以降の動作により対象物を抽出しようとする画像が撮像可能な状態に撮像部21がユーザにより設定されていることが前提となる。
ステップS12において、撮像部21は、固定された撮像方向を撮像し、撮像した画像を撮像画像として基準背景画像取得部28に供給する。
ステップS13において、基準背景画像取得部28は、撮像部21より供給されてきた撮像画像を基準背景画像として取得し、背景画像格納部29に格納させる。
以上の処理により、以降の処理において基準となる背景画像が背景画像格納部29に格納されることになる。
[背景差分画像抽出処理]
次に、図5のフローチャートを参照して、背景差分画像抽出処理について説明する。尚
、この処理は、上述した基準背景画像登録処理により背景画像格納部29に基準背景画像が格納されていることが前提となる。
次に、図5のフローチャートを参照して、背景差分画像抽出処理について説明する。尚
、この処理は、上述した基準背景画像登録処理により背景画像格納部29に基準背景画像が格納されていることが前提となる。
ステップS21において、動作モード切替部30は、背景差分画像抽出モードとするため、その動作に必要とされる撮像部21、背景差分画像生成部22、出力部23、背景画像格納部29をオンに制御し、その他の構成については、オフに制御する。
ステップS22において、撮像部21は、基準背景画像を撮像した状態と同一の状態に固定された撮像方向を撮像し、撮像した撮像画像を背景差分画像生成部22に供給する。
ステップS23において、背景差分画像生成部22は、背景画像格納部29に格納されている基準背景画像を読み出す。
ステップS24において、背景差分画像生成部22は、基準背景画像と撮像画像との画素毎に、画素値の差分を求め、求められた差分値と所定の閾値とを比較する。そして、背景差分画像生成部22は、所定の閾値よりも小さい場合、その画素の画素値をゼロ、または最高画素値とし、差分値が所定の閾値よりも高い場合、その画素の画素値を撮像画像の画素の画素値とすることで、背景差分画像を生成し、出力部23に供給する。
ステップS25において、出力部23は、背景差分画像を図示せぬ表示部に表示したり、図示せぬ記録媒体に記憶させる。
以上の処理により、理想的には図1の基準背景画像f1が背景画像格納部29に格納されており、図1の撮像画像f2が撮像された場合、背景差分画像f3で示されるような、対象物である人物のみが抽出された画像が生成されることになる。
[基準背景画像更新処理]
次に、図6のフローチャートを参照して、基準背景画像更新処理について説明する。
次に、図6のフローチャートを参照して、基準背景画像更新処理について説明する。
ステップS41において、動作モード切替部30は、基準背景画像更新モードとするため、その動作に必要とされない出力部23、および基準背景画像取得部28をオフに制御し、その他の構成については、オンに制御する。
ステップS42において、撮像部21は、基準背景画像を撮像した状態と同一の状態に固定された撮像方向を撮像し、撮像した撮像画像を背景差分画像生成部22、破綻判定部24、対象物検出部25、破綻種別特定部26、および基準背景更新部27に供給する。
ステップS43において、背景差分画像生成部22は、背景画像格納部29に格納されている基準背景画像を読み出す。
ステップS44において、背景差分画像生成部22は、基準背景画像と撮像画像との画素毎に、画素値の差分を求め、求められた差分値と所定の閾値とを比較する。そして、背景差分画像生成部22は、所定の閾値よりも小さい場合、その画素の画素値をゼロ、または最高画素値とし、差分値が所定の閾値よりも高い場合、その画素の画素値を撮像画像の画素の画素値とすることで、背景差分画像を生成し、破綻判定部24に供給する。
ステップS45において、対象物検出部25は、対象物検出処理を実行し、対象物である人物、動物、および車体の有無を検出し、検出した場合、検出結果である対象物マスクを破綻判定部24、破綻種別特定部26、および基準背景更新部27に供給する。
[対象物検出処理]
ここで、図7のフローチャートを参照して、対象物検出処理について説明する。
ここで、図7のフローチャートを参照して、対象物検出処理について説明する。
ステップS61において、対象物検出部25は、撮像画像に対してラプラシアンフィルタ処理やソーベルフィルタ処理を施すことにより、エッジ画像を抽出する。
ステップS62において、人物検出部41は、顔検出部41aを制御して、エッジ画像より形状により顔画像を構成し得る器官を抽出する。より詳細には、顔検出部41aは、エッジ画像より顔を構成する目、鼻、口、または耳といった器官の構成を、その形状に基づいて検索して抽出する。
ステップS63において、人物検出部41は、顔検出部41aを制御して、顔画像を構成する器官が抽出されたか否かを判定させる。ステップS63において、器官が抽出された場合、ステップS64において、人物検出部41は、顔検出部41aを制御して、抽出された器官の位置、配置、および大きさなどから顔画像の領域を特定させ、さらに、矩形状の顔画像を特定させる。すなわち、例えば、図8の画像F1で示されるように、人物が含まれている撮像画像の場合、図8の画像F2における顔画像(顔マスク)KMが特定される。尚、この図8で示される矩形状の顔画像については、以降において顔マスクKMと称するものとする。
ステップS65において、人物検出部41は、体推定部41bを制御して、特定された矩形状の顔画像の位置から、その人物の体の領域を推定させる。すなわち、図8の画像F2の場合、顔マスクKMが特定されることにより、顔マスクKMの位置、大きさ、および方向に基づいて、体推定部41bは、体の領域の形状、大きさ、および位置を推定する。
ステップS66において、人物検出部41は、体推定部41bにより推定された体の領域と、顔マスクKMとを合わせた領域とから、対象物としての人物が撮像されている領域を含む人物の体マスクMを対象物マスクとして生成する。そして、人物検出部41は、対象物として人物が検出されたことを示す体マスクMからなる対象物マスクを破綻判定部24、破綻種別特定部26、および基準背景更新部27に供給する。
尚、ステップS63において、器官が抽出されなかったと判定された場合、撮像画像には人物の領域が存在しないものとみなされ、ステップS64乃至S66の処理はスキップされる。
ステップS67において、動物検出部42は、動物特徴量検出部42aを制御して、エッジ画像より、動物を構成し得る特徴量を抽出する。すなわち、動物特徴量とは、例えば、動物を構成する顔画像の目、鼻、口、および耳といった器官、4本の足、または尻尾など、形状に基づいて、対象物である動物を構成し得る特徴量を検出する。
ステップS68において、動物検出部42は、動物特徴量検出部42aを制御して、動物特徴量が抽出されたか否かを判定する。ステップS68において、動物特徴量が抽出された場合、ステップS69において、動物検出部42は、動物体推定部42bを制御して、検出された動物特徴量に基づいて、撮像画像内における動物の頭部を含む体の領域の形状、大きさ、および位置を推定させる。
ステップS70において、動物検出部42は、動物体推定部42bにより推定された動物の頭部を含む体の領域となる範囲を動物の対象物マスクとして生成する。そして、動物検出部42は、対象物として動物が検出されたことを示す対象物マスクを破綻判定部24、破綻種別特定部26、および基準背景更新部27に供給する。
尚、ステップS68において、動物特徴量が抽出できなかったと判定された場合、撮像画像には動物の領域が存在しないものとみなされ、ステップS69,S70の処理はスキップされる。
ステップS71において、車両検出部43は、車輪検出部43aを制御して、エッジ画像より、車両の特徴量である車輪の画像を検出させる。
ステップS72において、車両検出部43は、車輪検出部43aを制御して、車輪の画像を検出することができたか否かを判定する。ステップS72において、車輪を検出することができたと判定された場合、ステップS73において、車両検出部43は、車体推定部43bを制御して、検出された車輪の画像の位置、および大きさから車体の領域の位置、および大きさを推定させる。
ステップS74において、車両検出部43は、車体推定部43bにより推定された車体の領域の範囲を対象物を車両としたときの対象物マスクを生成する。そして、車両検出部43は、対象物として車両が検出されたことを示す対象物マスクを破綻判定部24、破綻種別特定部26、および基準背景更新部27に供給する。
尚、ステップS72において、車輪が検出できないと判定された場合、撮像画像には車両の領域が存在しないものとみなされ、ステップS73,S74の処理はスキップされる。
すなわち、以上の処理により、対象物として人物、動物、および車両の全て、またはそれらのいずれかが検出された場合、それらに対応する対象物マスクが生成されて、破綻判定部24、破綻種別特定部26、および基準背景更新部27に供給される。尚、以上においては、対象物として人物、動物、および車両を検出する例について説明してきたが、それ以外の対象物を検出するようにしてもよい。
ここで、図6のフローチャートの説明に戻る。
ステップS45において、対象物検出処理が実行されると、ステップS46において、破綻判定部24は、対象物検出部25より対象物マスクが供給されてきたか否かに基づいて、対象物が検出されたか否かを判定する。ステップS45において、対象物が検出されなかった場合、基準背景画像更新処理は、終了する。すなわち、この場合、対象物マスクが検出されず、その後の処理において基準背景画像の更新が必要であか否かを判定することができないので、基準背景画像は更新されることなく、処理は終了する。また、ステップS45において、対象物マスクが検出されると、対象物が検出されたものとみなされて、処理は、ステップS47に進む。
ステップS47において、破綻判定部24は、対象物検出処理により検出された対象物マスクの面積Sbと、差分背景画像の差分結果として画素値がゼロとはなっていない領域の面積との面積比を求める。すなわち、破綻判定部24は、対象物マスクの面積Sbと、差分背景画像の差分結果として画素値がゼロとはなっていない領域である、実質的に差分背景画像によりマスクとして求められる領域の面積Sとの面積比R(=S/Sb)を求める。
ステップS48において、破綻判定部24は、面積比Rが所定の閾値よりも大きいか否かを判定する。すなわち、対象物マスクSの大きさは、対象物が人物である場合、図8の画像F1が入力画像のとき、図8の画像F2の対象物マスクMで示されるように、人物H(図3)の領域そのものよりも若干広い範囲が求められる。これに対して、背景差分画像が、理想的な状態で求められる場合、マスク画像は、図8の画像F3で示されるように、事実上人物Hの領域のみとなる。従って、図8の画像F2で示されるように、対象物検出処理により求められる対象物マスクMの面積Sに対して、画像F3の人物Hの面積Sbは小さくなるため、面積比Rは、1より大きな所定の閾値より小さな値となるべきである。しかしながら、背景差分画像に何らかの破綻が生じると、本来人物Hの領域のみに求められるべき領域が、背景となるべき画像から現れてくることとなるため、例えば、図8の画像F4で示されるように、破綻領域Z1,Z2で示される領域が現れて、これら全てが背景差分画像により求められるマスク領域の面積として求められる。この結果、背景差分画像として求められる領域の面積Sbは極端に大きくなり、結果として、破綻した場合、面積比Rは、極端に小さな値となる。従って、この面積比Rが所定の閾値よりも大きければ、背景差分画像生成処理による破綻は生じていないと判定することができる。
そこで、ステップS48において、破綻判定部24は、面積比Rが所定の閾値よりも大きいとき、破綻が生じていないものとみなし、処理は、ステップS55に進み、破綻種別特定部26に対して、破綻が発生していないことを通知する。この場合、破綻が生じていないため、基準背景画像の更新をする必要がないため、処理は、終了する。
また、ステップS48において、破綻判定部24は、面積比Rが所定の閾値よりも大きくないとき、破綻が生じているものとみなし、処理は、ステップS49に進み、破綻種別特定部26に対して、破綻が発生していることを通知する。
ステップS50において、破綻種別特定部26は、破綻が生じているものとみなし、破綻の種別を特定するため、破綻種別特定処理を実行し、発生した破綻の種別を特定する。
[破綻種別特定処理]
ここで、図9のフローチャートを参照して、破綻種別特定処理について説明する。
ここで、図9のフローチャートを参照して、破綻種別特定処理について説明する。
ステップS91において、色変化計算部62は、撮像部21により撮像される画像の撮像環境である照明条件やカラーパラメータの変化の有無に基づいた破綻であるか否かを判定するため、対象物マスクを除く領域における撮像画像、および基準背景画像の色特徴量の変化を計算する。より詳細には、色変化計算部62は、撮像画像、および基準背景画像のうち、対象物マスクを除く領域における各画素について、その近傍の画素を含む平均値を求める。より詳細には、色変化計算部62は、例えば、撮像画像、および基準背景画像の各画素について、各画素を含み、水平方向および垂直方向に隣接する画素からなる合計5画素の平均値を求める。さらに、色変化計算部62は、撮像画像、および基準背景画像の各画素の近傍の画素の平均値の全画像内における平均値を各画像における色特徴量として求め、破綻種別決定部61に供給する。
ステップS92において、破綻種別決定部61は、撮像画像における色特徴量と基準背景画像における色特徴量との差分絶対値を求め、その差分絶対値が所定の閾値よりも大きいか否かを判定する。すなわち、撮像部21により撮像される環境における照明条件やパラーパラメータなどが変化すると、色特徴量は変化することが考えられるため、撮像画像と基準背景画像との色特徴量の差分絶対値は所定の閾値よりも大きく変化すると考えられる。そこで、ステップS92において、色特徴量の差分絶対値が所定の閾値よりも大きい場合、ステップS93において、破綻種別決定部61は、破綻種別を、照明条件またはカラーパラメータの変化に起因する背景差分画像生成処理の破綻、すなわち、色破綻であるものと決定する。尚、色特徴量については、上述した各画素の近傍の平均値を用いるだけでなく、例えば、各画素の色相を求めるようにして、撮像画像と基準背景画像との色相の変化を用いて色破綻が生じているか否かを判定するようにしてもよい。
一方、ステップS92において、撮像画像と基準背景画像との色特徴量の差分絶対値が所定の閾値よりも大きくない場合、処理は、ステップS94に進む。
ステップS94において、破綻種別決定部61は、破綻種別を、撮像部21の撮像位置がずれることによる背景差分画像生成処理の破綻、すなわち、ずれ破綻であるものと決定する。
以上の処理により、破綻種別決定部61は、色特徴量の変化を求めることにより、撮像部21により撮像される環境の照明条件の変化に伴う色破綻であるか、または、撮像部21の撮像方向のずれに起因して発生するずれ破綻であるかのいずかを特定する。
すなわち、図10の画像F11で示される基準背景画像に対して、図8の画像F1で示されるような照明条件の変化や撮像方向のずれなどが生じない場合、人物Hを含む画像が撮像されたとき、図10の画像F14で示されるような対象物マスクMが求められる。この場合、対象物マスクMを除く範囲においては、基準背景画像との変化は生じないので、例えば、図8の画像F4で示されるような破綻は生じない。
一方、図10の画像F12で示されるように、撮像部21により撮像される画像の照明条件が変化した状態で人物Hを含む撮像画像が撮像されると、対象物マスクMを除く背景差分画像においては、照明条件の変化に伴って背景差分画像において対象物と異なる背景部分が現れることになる。このため、背景差分画像を求めると、図8の画像F4で示されるような破綻が生じる恐れがある。
さらに、図10の画像F13で示されるように、撮像部21の撮像方向がずれることにより、対象物である人物および背景が人物H’(画像F12参照)のように左にずれている。このような場合、画像F16で示されるように、対象物マスクMを除く範囲における画像に人物H’が含まれると共に、背景となる山の位置もずれる。この結果、背景差分画像を求めると、図8の画像F4で示されるような破綻が生じる恐れがある。
以上のような比較により、画像F12,F15は、照明条件が変化するため、基準背景画像F11との間には、対象物マスクM以外の領域において、色特徴量の差分絶対値に大きな変化が生じる。これに対して、画像F13,F16で示されるように、撮像部21の撮像方向が変化するだけであれば、色特徴量による差分絶対値には大きな変化がない。このような特性の違いに基づいて、破綻種別を特定することができる。
ここで、図6のフローチャートの説明に戻る。
ステップS50において、破綻種別が特定されると、ステップS51において、基準背景更新部27は、更新背景画像生成処理を実行し、破綻種別毎に対応した基準背景画像の更新に用いられる更新背景画像を生成する。
[更新背景画像生成処理]
ここで、図11のフローチャートを参照して、更新背景画像生成処理について説明する。
ここで、図11のフローチャートを参照して、更新背景画像生成処理について説明する。
ステップS101において、基準背景更新部27は、色変換更新画像生成処理を実行し、色変換更新画像を生成する。
[色変換更新画像生成処理]
ここで、図12のフローチャートを参照して、色変換更新画像生成処理について説明する。
ここで、図12のフローチャートを参照して、色変換更新画像生成処理について説明する。
ステップS121において、基準背景更新部27は、特徴量変換式計算部84を制御して、撮像画像、および背景画像格納部29に格納されている基準背景画像のうち、対象物マスクを除く領域の画素を用いて、特徴量変換式を計算させ、色変換部85に供給する。
ここで、特徴量変換式とは、例えば、以下の式(1)で示される。
ここで、rdiは、例えば、図13の上部で示される撮像画像F21における対象物マスクMの領域を除いた画素の画素値であり、rsiは、図13の下部で示される基準背景画像F22における対象物マスクMの領域を除いた画素の画素値である。また、a,bは、それぞれ特徴量変換式の係数(線形近似係数)であり、iは、それぞれの対応する画素を識別する識別子である。
すなわち、式(1)で示される特徴量変換式は、図13で示されるように、対象物マスクの領域を除いた、基準背景画像の各画素の画素値rsiを撮像画像の各画素の画素値rdiに変換させる式である。従って、特徴量変換式計算部84は、係数a,bを求めることにより特徴量変換式を求めることができる。
より詳細には、特徴量変換式を求めるには、式(1)を変形した以下の式(2)を最小にする係数a,bが求められばよいことになる。
ここで、Nは、画素数を示す変数である。すなわち、式(2)は、対象物マスクの領域を除いた、基準背景画像の各画素の画素値rsiを特徴量変換式に代入した値と、撮像画像の各画素の画素値rdiとの差分を、全画素について積算した値を示している。
そこで、特徴量変換式計算部84は、撮像画像、および基準背景画像のうち、対象物マスクを除く領域の対応する各画素を用いて、最小二乗法により以下の式(3)で示されるように係数a,bを求める。
すなわち、特徴量変換式計算部84は、上述した係数a,bを式(3)で示されるような計算により求めて、特徴量変換式を計算する。尚、以上においては、線形近似関数を用いた特徴量変換式を求める例について説明してきたが、対象物マスクの領域を除いた、基準背景画像の各画素の画素値を撮像画像の各画素の画素値に変換できる式であればよいので、他の近似関数を用いるようにしてもよい。例えば、他項近似関数を用いて特徴量変換式を求めるようにしてもよい。
ステップS122において、色変換部85は、求められた特徴量変換式を用いて、基準背景画像の全画素を色変換して、色変換更新画像を生成し、選択部83に供給する。
以上の処理により、照明条件の変化やホワイトバランスなどのカラーパラメータの変化により基準背景画像に対して撮像画像が変化してしまうようなことがあっても、それらの変化に対応して基準背景画像を更新させる、色変換更新画像を生成することが可能となる。このため、上述した色破綻に起因する背景差分画像生成処理における破綻を抑制することが可能となる。
ここで、図11のフローチャートの説明に戻る。
ステップS101において、色変換更新画像生成処理により色変換更新画像が生成されると、ステップS102において、基準背景更新部27は、動き補償更新画像生成処理を実行して、動き補償更新画像を生成する。
[動き補償更新画像生成処理]
ここで、図14のフローチャートを参照して、動き補償更新画像生成処理について説明する。
ここで、図14のフローチャートを参照して、動き補償更新画像生成処理について説明する。
ステップS141において、基準背景更新部27は、グローバルモーション推定部81を制御して、撮像画像、および基準背景画像における、対象物マスク以外の領域の画素間のブロックマッチングにより、グローバルモーションを動きベクトルVとして求める。そして、グローバルモーション推定部81は、求めた動きベクトルVを動き補償変換部82に供給する。すなわち、グローバルモーションは、撮像部21が、基準背景画像となる画像を撮像した後、パン、チルト、およびズームのいずれか、または、それらの組み合わせの変化に起因して生じるずれの大きさを示すものであり、ここでは、動きベクトルVとして求められる。
動きベクトルVとして求められるグローバルモーションは、撮像画像と基準背景画像との対象物マスク以外の領域の画素値を用いて、それらの画像をアフィン変換させるときに用いられるパラメータにより求められる。より具体的には、動きベクトルVは、以下の式(4)で示されるアフィン変換に用いられる変換式により求められる。
ここで、x’i,y’iは、撮像画像上の対象物マスク以外の領域の画素位置(x’i,y’i)を示すパラメータであり、iは、各画素を識別する識別子である。また、xi,yiは、基準背景画像上の対象物マスク以外の領域の画素位置(xi,yi)を示すパラメータである。尚、同一の識別子iが用いられる撮像画像上の画素(x’i,y’i)と、基準背景画像上の画素(xi,yi)とは、ブロックマッチングにより検索された画素同士である。そして、ベクトルVは、以下の式(5)で示されるような行列式である。
ここで、a1乃至a6は、それぞれ係数である。
すなわち、グローバルモーション推定部81は、撮像画像および基準背景画像のうち、対象物マスクの領域以外の画素を用いて、ブロックマッチングで検索された画素間の関係から式(4)を用いて、最小二乗法により係数a1乃至a6を求める。このような処理により、グローバルモーション推定部81は、撮像部21の撮像方向のずれに起因して生じるずれを示す動きベクトルVを求める。換言すれば、このずれを示すグローバルモーションとしての動きベクトルは、撮像画像上の各画素を始点とし、ブロックマッチングにより一致が認められた基準背景画像上の画素を終点とする複数のベクトルが統計処理されることにより求められる。
ステップS142において、動き補償変換部82は、撮像画像上の垂直方向を表現するカウンタyを0に初期化する。
尚、以降においては、動き補償更新画像の各画素はg(x,y)とし、背景基準画像上の各画素は、画素f(x,y)とし、撮像画像上の各画素はh(x,y)として表現するものとする。また、基準背景画像の画素f(x,y)における動きベクトルVは、動きベクトルV(vx,vy)と定義する。ここで、vx,vyは、それぞれ上述した式(4)により求められる。
ステップS143において、動き補償変換部82は、基準背景画像上の水平方向を表現するカウンタxを0に初期化する。
ステップS144において、動き補償変換部82は、基準背景画像の画素f(x,y)に対応する動きベクトルにより変換される画素位置(x−vx,y−vy)が、基準背景画像内に存在する座標であるか否かを判定する。
ステップS144において、例えば、変換される画素位置が基準背景画像内に存在する場合、ステップS145において、動き補償変換部82は、動き補償更新画像の画素g(x,y)を基準背景画像における画素f(x−vx,y−vy)で置換する。
一方、ステップS144において、例えば、変換される画素位置が基準背景画像内に存在しない場合、ステップS146において、動き補償変換部82は、変換後の動き補償更新画像の画素g(x,y)を、撮像画像における画素h(x,y)で置換する。
ステップS147において、動き補償変換部82は、カウンタxを1インクリメントし、処理は、ステップS148に進む。
ステップS148において、動き補償変換部82は、カウンタxが基準背景画像の水平方向の画素数よりも大きな値となったか否かを判定し、水平方向の画素数よりも大きな値ではない場合、処理は、ステップS144に戻る。すなわち、ステップS148において、カウンタxが基準背景画像の水平方向の画素数よりも大きな値となるまで、ステップS144乃至S148の処理が繰り返される。
そして、ステップイS148において、カウンタxが基準背景画像の水平方向の画素数よりも大きな値となった場合、ステップS149において、動き補償変換部82は、カウンタyを1インクリメントする。そして、ステップS150において、動き補償変換部82は、カウンタyが、基準背景画像の水平方向の画素数よりも大きいか否かを判定し、例えば、大きくない場合、処理は、ステップS143に戻る。すなわち、カウンタyが、基準背景画像の垂直方向の画素数よりも大きくなるまで、ステップS143乃至S150の処理を繰り返す。
そして、ステップS150において、カウンタyが、基準背景画像の垂直方向の画素数よりも大きくなったと判定された場合、ステップS151において、動き補償変換部82は、画素g(x,y)からなる動き補償更新画像を選択部83に出力する。そして、処理は終了する。
すなわち、基準背景画像の各画素について、ステップS144において、変換される画素位置が基準背景画像内に存在する場合とは、例えば、図15の画像F52における水平方向の位置Q(基準背景画像の右端の位置)よりも左側の範囲の場合である。この場合、変換される画素は、元の基準背景画像内に存在する。このため、ずれに対応した動き補償更新画像の画素g(x,y)の各画素は、いずれの画素も動きベクトルVに対応する位置に移動された画素f(x−vx,y−vy)により、図15の画像F53で示されるように置換されて変換される。
一方、基準背景画像の各画素について、ステップS144において、例えば、変換される画素位置が基準背景画像内に存在しない場合とは、例えば、図15の画像F52における水平方向の位置Q(基準背景画像の右端の位置)より右側の範囲の場合である。この場合、変換される画素が、元の基準背景画像内に存在しないことになる。このため、ずれに対応した動き補償更新画像の画素g(x,y)の各画素は、同位置の撮像画像の画素h(x,y)により、図15の画像F54で示されるように置換されて変換される。
そして、これらの処理が全画素に対して施されることにより、図15の画像F55で示されるような撮像部21の撮像方向のずれに対応した動き補償更新画像が生成される。すなわち、画像F52で示されるように、撮像方向のずれにより背景基準画像F51の点線で示される山の稜線B2が、実線で示される稜線B1のように全体として左方向にシフトした撮像画像に対応するように動き補償更新画像F55が求められる。
ここで、図6のフローチャートの説明に戻る。
ステップS52において、基準背景更新部27は、選択部83を制御して、破綻種別が色破綻であったか否かを判定させる。ステップS52において、例えば、色破綻であった場合、ステップS53において、選択部83は、背景画像格納部29に格納されている基準背景画像を色変換部85より供給されてきた色変換更新画像で置換して基準背景画像を更新する。
一方、ステップS52において、色破綻ではない場合、すなわち、ずれ破綻である場合、ステップS54において、選択部83は、背景画像格納部29に格納されている基準背景画像を動き補償変換部82より供給されてきた動き補償変換更新画像で置換して基準背景画像を更新する。
以上の処理により、撮像画像と基準背景画像との差分により生成される背景差分画像の生成処理において、撮像画像の照明条件やカラーパラメータなどの変化により生じる色破綻に対して、色変換更新画像を生成し、基準背景画像を更新することが可能となる。また、撮像画像の撮像方向がずれることにより生じるずれ破綻に対して、動き補償更新画像を生成し、基準背景画像を更新することが可能となる。さらに、色破綻、または、ずれ破綻といった破綻の種別を特定することが可能となる。結果として、破綻の種別に対応して、基準背景画像を更新することが可能となったので、背景差分画像を生成することで、前景を構成する対象物のみを高い精度で抽出することが可能となる。
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
図16は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)1001を内蔵している。CPU1001にはバス1004を介して、入出力インタ-フェイス1005が接続されている。バス1004には、ROM(Read Only Memory)1002およびRAM(Random Access Memory)1003が接続されている。
入出力インタ-フェイス1005には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部1006、処理操作画面や処理結果の画像を表示デバイスに出力する出力部1007、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部1008、LAN(Local Area Network)アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部1009が接続されている。また、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む)、光磁気ディスク(MD(Mini Disc)を含む)、もしくは半導体メモリなどのリムーバブルメディア1011に対してデータを読み書きするドライブ1010が接続されている。
CPU1001は、ROM1002に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア1011から読み出されて記憶部1008にインストールされ、記憶部1008からRAM1003にロードされたプログラムに従って各種の処理を実行する。RAM1003にはまた、CPU1001が各種の処理を実行する上において必要なデータなども適宜記憶される。
尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
11 画像処理装置, 21 撮像部, 22 背景差分画像生成部, 23 出力部, 24 破綻判定部, 25 対象物検出部, 26 破綻種別特定部, 27 基準背景更新部, 28 基準背景画像取得部, 29 背景画像格納部, 30 動作モード切替部
Claims (6)
- 基準背景画像を格納する基準背景格納手段と、
前記入力画像から対象物を検出し、検出された対象物の概略位置及び形状を推定する推定手段と、
前記入力画像と前記基準背景画像との差分値からなる背景差分画像を生成する背景差分画像生成手段と、
前記推定手段により推定された対象物の領域を除いた前記背景差分画像と前記基準背景画像との対応する画素間の画素値の関係式を算出する算出手段と、
前記関係式に基づいて、前記基準背景画像の画素値を変換し、画素値変換背景画像を生成する変換手段と、
前記画素値変換背景画像により置換して前記基準背景画像を更新する背景画像更新手段と
を含む画像処理装置。 - 前記算出手段は、前記基準背景画像と前記推定手段により推定された対象物の領域を除いた前記背景差分画像との対応する画素間の画素値を用いて最小二乗法により関係式を算出する
請求項1に記載の画像処理装置。 - 前記対象物検出手段は、
人物を対象物として検出する人物検出手段と、
動物を対象物として検出する動物検出手段と、
車両を対象物として検出する車両検出手段とを含む
請求項1に記載の画像処理装置。 - 前記人物検出手段は、
前記入力画像より人物の顔画像を検出する顔検出手段と、
前記顔検出手段により検出された顔画像に基づいて、推定される前記人物の体の存在する位置とサイズから体マスクを推定する体マスク推定手段を含む
請求項3に記載の画像処理装置。 - 基準背景画像を格納する基準背景格納手段と、
前記入力画像から対象物を検出し、検出された対象物の概略位置及び形状を推定する推定手段と、
前記入力画像と前記基準背景画像との差分値からなる背景差分画像を生成する背景差分画像生成手段と、
前記推定手段により推定された対象物の領域を除いた前記背景差分画像と前記基準背景画像との対応する画素間の画素値の関係式を算出する算出手段と、
前記関係式に基づいて、前記基準背景画像の画素値を変換し、画素値変換背景画像を生成する変換手段と、
前記画素値変換背景画像により置換して前記基準背景画像を更新する背景画像更新手段と
を含む画像処理装置の画像処理方法であって、
前記基準背景格納手段における、前記基準背景画像を格納する基準背景格納ステップと、
前記推定手段における、前記入力画像から対象物を検出し、検出された対象物の概略位置及び形状を推定する推定ステップと、
前記背景差分画像生成手段における、前記入力画像と前記基準背景画像との差分値からなる背景差分画像を生成する背景差分画像生成ステップと、
前記算出手段における、前記推定ステップの処理により推定された対象物の領域を除いた前記背景差分画像と前記基準背景画像との対応する画素間の画素値の関係式を算出する算出ステップと、
前記変換手段における、前記関係式に基づいて、前記基準背景画像の画素値を変換し、画素値変換背景画像を生成する変換ステップと、
前記背景画像更新手段における、前記画素値変換背景画像により置換して前記基準背景画像を更新する背景画像更新ステップと
を含む画像処理方法。 - 基準背景画像を格納する基準背景格納手段と、
前記入力画像から対象物を検出し、検出された対象物の概略位置及び形状を推定する推定手段と、
前記入力画像と前記基準背景画像との差分値からなる背景差分画像を生成する背景差分画像生成手段と、
前記推定手段により推定された対象物の領域を除いた前記背景差分画像と前記基準背景画像との対応する画素間の画素値の関係式を算出する算出手段と、
前記関係式に基づいて、前記基準背景画像の画素値を変換し、画素値変換背景画像を生成する変換手段と、
前記画素値変換背景画像により置換して前記基準背景画像を更新する背景画像更新手段と
を含む画像処理装置を制御するコンピュータに、
前記基準背景格納手段における、前記基準背景画像を格納する基準背景格納ステップと、
前記推定手段における、前記入力画像から対象物を検出し、検出された対象物の概略位置及び形状を推定する推定ステップと、
前記背景差分画像生成手段における、前記入力画像と前記基準背景画像との差分値からなる背景差分画像を生成する背景差分画像生成ステップと、
前記算出手段における、前記推定ステップの処理により推定された対象物の領域を除いた前記背景差分画像と前記基準背景画像との対応する画素間の画素値の関係式を算出する算出ステップと、
前記変換手段における、前記関係式に基づいて、前記基準背景画像の画素値を変換し、画素値変換背景画像を生成する変換ステップと、
前記背景画像更新手段における、前記画素値変換背景画像により置換して前記基準背景画像を更新する背景画像更新ステップと
を含む処理を実行させるプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010079183A JP2011210139A (ja) | 2010-03-30 | 2010-03-30 | 画像処理装置および方法、並びにプログラム |
US13/052,938 US20110243451A1 (en) | 2010-03-30 | 2011-03-21 | Image processing apparatus and method, and program |
CN2011100762976A CN102208016A (zh) | 2010-03-30 | 2011-03-23 | 图像处理设备和方法、以及程序 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010079183A JP2011210139A (ja) | 2010-03-30 | 2010-03-30 | 画像処理装置および方法、並びにプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011210139A true JP2011210139A (ja) | 2011-10-20 |
JP2011210139A5 JP2011210139A5 (ja) | 2013-03-28 |
Family
ID=44696838
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010079183A Abandoned JP2011210139A (ja) | 2010-03-30 | 2010-03-30 | 画像処理装置および方法、並びにプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20110243451A1 (ja) |
JP (1) | JP2011210139A (ja) |
CN (1) | CN102208016A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013106169A (ja) * | 2011-11-14 | 2013-05-30 | Casio Comput Co Ltd | 画像合成装置、及びプログラム |
WO2013114803A1 (ja) * | 2012-01-30 | 2013-08-08 | 日本電気株式会社 | 画像処理装置及びその画像処理方法、並びにコンピュータ・プログラム、および画像処理システム |
CN103475800A (zh) * | 2013-09-25 | 2013-12-25 | 北京智诺英特科技有限公司 | 图像序列中前景的检测方法和装置 |
JP2019092076A (ja) * | 2017-11-15 | 2019-06-13 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP7547080B2 (ja) | 2020-05-18 | 2024-09-09 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
Families Citing this family (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9041853B2 (en) * | 2010-12-01 | 2015-05-26 | Nec Casio Mobile Communications, Ltd. | Mobile terminal, method of image processing, and program |
US10691219B2 (en) | 2012-01-17 | 2020-06-23 | Ultrahaptics IP Two Limited | Systems and methods for machine control |
US9679215B2 (en) | 2012-01-17 | 2017-06-13 | Leap Motion, Inc. | Systems and methods for machine control |
US9501152B2 (en) | 2013-01-15 | 2016-11-22 | Leap Motion, Inc. | Free-space user interface and control using virtual constructs |
US8693731B2 (en) | 2012-01-17 | 2014-04-08 | Leap Motion, Inc. | Enhanced contrast for object detection and characterization by optical imaging |
US11493998B2 (en) | 2012-01-17 | 2022-11-08 | Ultrahaptics IP Two Limited | Systems and methods for machine control |
US8638989B2 (en) | 2012-01-17 | 2014-01-28 | Leap Motion, Inc. | Systems and methods for capturing motion in three-dimensional space |
US9070019B2 (en) | 2012-01-17 | 2015-06-30 | Leap Motion, Inc. | Systems and methods for capturing motion in three-dimensional space |
JP5978639B2 (ja) * | 2012-02-06 | 2016-08-24 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム、及び記録媒体 |
CN102800105B (zh) * | 2012-06-28 | 2014-09-17 | 西安电子科技大学 | 基于运动矢量的目标检测方法 |
US10678259B1 (en) * | 2012-09-13 | 2020-06-09 | Waymo Llc | Use of a reference image to detect a road obstacle |
US20140133753A1 (en) * | 2012-11-09 | 2014-05-15 | Ge Aviation Systems Llc | Spectral scene simplification through background subtraction |
US9459697B2 (en) | 2013-01-15 | 2016-10-04 | Leap Motion, Inc. | Dynamic, free-space user interactions for machine control |
US9702977B2 (en) | 2013-03-15 | 2017-07-11 | Leap Motion, Inc. | Determining positional information of an object in space |
US9916009B2 (en) | 2013-04-26 | 2018-03-13 | Leap Motion, Inc. | Non-tactile interface systems and methods |
JP6157242B2 (ja) * | 2013-06-28 | 2017-07-05 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
US10281987B1 (en) | 2013-08-09 | 2019-05-07 | Leap Motion, Inc. | Systems and methods of free-space gestural interaction |
US10846942B1 (en) | 2013-08-29 | 2020-11-24 | Ultrahaptics IP Two Limited | Predictive information for free space gesture control and communication |
US9632572B2 (en) | 2013-10-03 | 2017-04-25 | Leap Motion, Inc. | Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation |
US9996638B1 (en) | 2013-10-31 | 2018-06-12 | Leap Motion, Inc. | Predictive information for free space gesture control and communication |
JP2016038889A (ja) | 2014-08-08 | 2016-03-22 | リープ モーション, インコーポレーテッドLeap Motion, Inc. | モーション感知を伴う拡張現実 |
CN106331700B (zh) * | 2015-07-03 | 2019-07-19 | 华为技术有限公司 | 参考图像编码和解码的方法、编码设备和解码设备 |
EP3282392B1 (en) * | 2015-08-28 | 2021-09-29 | Veoneer Sweden AB | Vision system and method for a motor vehicle |
US10424072B2 (en) * | 2016-03-01 | 2019-09-24 | Samsung Electronics Co., Ltd. | Leveraging multi cues for fine-grained object classification |
US10579860B2 (en) | 2016-06-06 | 2020-03-03 | Samsung Electronics Co., Ltd. | Learning model for salient facial region detection |
CN106570832A (zh) * | 2016-10-31 | 2017-04-19 | 北京尚水信息技术股份有限公司 | 一种基于最小值背景差分的piv图像处理方法 |
US10438072B2 (en) | 2017-02-27 | 2019-10-08 | Echelon Corporation | Video data background tracking and subtraction with multiple layers of stationary foreground and background regions |
CN108961302B (zh) * | 2018-07-16 | 2021-03-02 | Oppo广东移动通信有限公司 | 图像处理方法、装置、移动终端及计算机可读存储介质 |
JP7233873B2 (ja) * | 2018-09-19 | 2023-03-07 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
JP2020053774A (ja) * | 2018-09-25 | 2020-04-02 | 株式会社リコー | 撮像装置および画像記録方法 |
CN112312178B (zh) * | 2020-07-29 | 2022-08-30 | 上海和煦文旅集团有限公司 | 一种多媒体展厅的多媒体影像处理系统 |
CN112613456A (zh) * | 2020-12-29 | 2021-04-06 | 四川中科朗星光电科技有限公司 | 一种基于多帧差分图像累积的小目标检测方法 |
CN113947523B (zh) * | 2021-10-18 | 2022-06-14 | 杭州研极微电子有限公司 | 一种背景图像的替换方法和装置 |
GB2622770A (en) * | 2022-09-20 | 2024-04-03 | Thales Holdings Uk Plc | Image processor |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63187889A (ja) * | 1987-01-30 | 1988-08-03 | Nippon Telegr & Teleph Corp <Ntt> | テレビ電話撮像装置 |
JP3123587B2 (ja) * | 1994-03-09 | 2001-01-15 | 日本電信電話株式会社 | 背景差分による動物体領域抽出方法 |
US6044166A (en) * | 1995-01-17 | 2000-03-28 | Sarnoff Corporation | Parallel-pipelined image processing system |
US6301382B1 (en) * | 1996-06-07 | 2001-10-09 | Microsoft Corporation | Extracting a matte of a foreground object from multiple backgrounds by triangulation |
US6678413B1 (en) * | 2000-11-24 | 2004-01-13 | Yiqing Liang | System and method for object identification and behavior characterization using video analysis |
US7336296B2 (en) * | 2003-10-10 | 2008-02-26 | International Business Machines Corporation | System and method for providing position-independent pose estimation |
US8150155B2 (en) * | 2006-02-07 | 2012-04-03 | Qualcomm Incorporated | Multi-mode region-of-interest video object segmentation |
US8086006B2 (en) * | 2007-09-21 | 2011-12-27 | Siemens Aktiengesellschaft | Method and system for evaluating image segmentation based on visibility |
CN101464952A (zh) * | 2007-12-19 | 2009-06-24 | 中国科学院自动化研究所 | 基于轮廓的异常行为识别方法 |
CN100545867C (zh) * | 2008-04-22 | 2009-09-30 | 北京航空航天大学 | 航拍交通视频车辆快速检测方法 |
JP2009265827A (ja) * | 2008-04-23 | 2009-11-12 | Sanyo Electric Co Ltd | 対象物検出装置及び方法、対象物検出システム、プログラム |
TW201005673A (en) * | 2008-07-18 | 2010-02-01 | Ind Tech Res Inst | Example-based two-dimensional to three-dimensional image conversion method, computer readable medium therefor, and system |
US8634635B2 (en) * | 2008-10-30 | 2014-01-21 | Clever Sys, Inc. | System and method for stereo-view multiple animal behavior characterization |
JP4727737B2 (ja) * | 2009-02-24 | 2011-07-20 | 三菱重工業株式会社 | 放射線治療装置制御装置および目的部位位置計測方法 |
US8306333B2 (en) * | 2009-12-17 | 2012-11-06 | National Tsing Hua University | Method and system for automatic figure segmentation |
JP2011211628A (ja) * | 2010-03-30 | 2011-10-20 | Sony Corp | 画像処理装置および方法、並びにプログラム |
-
2010
- 2010-03-30 JP JP2010079183A patent/JP2011210139A/ja not_active Abandoned
-
2011
- 2011-03-21 US US13/052,938 patent/US20110243451A1/en not_active Abandoned
- 2011-03-23 CN CN2011100762976A patent/CN102208016A/zh active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013106169A (ja) * | 2011-11-14 | 2013-05-30 | Casio Comput Co Ltd | 画像合成装置、及びプログラム |
US8717449B2 (en) | 2011-11-14 | 2014-05-06 | Casio Computer Co., Ltd. | Image synthesizing apparatus, image recording method, and recording medium |
WO2013114803A1 (ja) * | 2012-01-30 | 2013-08-08 | 日本電気株式会社 | 画像処理装置及びその画像処理方法、並びにコンピュータ・プログラム、および画像処理システム |
CN103475800A (zh) * | 2013-09-25 | 2013-12-25 | 北京智诺英特科技有限公司 | 图像序列中前景的检测方法和装置 |
JP2019092076A (ja) * | 2017-11-15 | 2019-06-13 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP7122815B2 (ja) | 2017-11-15 | 2022-08-22 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP7547080B2 (ja) | 2020-05-18 | 2024-09-09 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
CN102208016A (zh) | 2011-10-05 |
US20110243451A1 (en) | 2011-10-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2011210139A (ja) | 画像処理装置および方法、並びにプログラム | |
JP2011211628A (ja) | 画像処理装置および方法、並びにプログラム | |
KR102153607B1 (ko) | 영상에서의 전경 검출 장치 및 방법 | |
JP6631179B2 (ja) | 前景画像分割方法及び装置、プログラム、並びに記録媒体 | |
US8289402B2 (en) | Image processing apparatus, image pickup apparatus and image processing method including image stabilization | |
US9674441B2 (en) | Image processing apparatus, image processing method, and storage medium | |
KR20150114437A (ko) | 화상처리장치 및 화상처리방법 | |
JP2016085742A (ja) | 前景画像分割方法及び前景画像分割装置 | |
CN105095853B (zh) | 图像处理装置及图像处理方法 | |
JP7391542B2 (ja) | 画像処理システム、画像処理方法、およびプログラム | |
JP2006318474A (ja) | 画像シーケンス内のオブジェクトを追跡するための方法及び装置 | |
JP7444179B2 (ja) | 画像処理システム、画像処理方法および画像処理プログラム | |
KR102201297B1 (ko) | 다중 플로우 기반 프레임 보간 장치 및 방법 | |
JP5163429B2 (ja) | 動きベクトル検出装置、その処理方法およびプログラム | |
KR101624801B1 (ko) | 전경 물체 추출을 위한 매팅 방법 및 이를 수행하는 장치 | |
JP2007034733A (ja) | 対象物領域検出装置、方法およびプログラム | |
JP5310485B2 (ja) | 画像処理方法及び装置並びにプログラム | |
JP2004348273A (ja) | 画像処理方法、画像処理装置、画像処理プログラム | |
CN101710426B (zh) | 一种深度图像跟踪方法 | |
JP2015138399A (ja) | 画像処理装置、画像処理方法、及びコンピュータプログラム | |
JP6178646B2 (ja) | 撮像装置及び像振れ補正処理方法 | |
JP2008053875A (ja) | 画像処理装置および方法、プログラム、並びにプログラム格納媒体 | |
JP2012014535A (ja) | 物体領域抽出システム、方法、及び、プログラム | |
JPH10320566A (ja) | 画像処理装置、画像処理方法及びその方法を記憶した記憶媒体 | |
JP2011150594A (ja) | 画像処理装置および方法、並びにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130207 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130207 |
|
A762 | Written abandonment of application |
Free format text: JAPANESE INTERMEDIATE CODE: A762 Effective date: 20130415 |