JP2013246601A - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP2013246601A JP2013246601A JP2012119199A JP2012119199A JP2013246601A JP 2013246601 A JP2013246601 A JP 2013246601A JP 2012119199 A JP2012119199 A JP 2012119199A JP 2012119199 A JP2012119199 A JP 2012119199A JP 2013246601 A JP2013246601 A JP 2013246601A
- Authority
- JP
- Japan
- Prior art keywords
- image
- moving object
- input
- unit
- background
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
【課題】陽炎などの自然界の大気要因によって生じる事象による画像画質の劣化を改善し、良好な画質を得ることができる画像処理装置を提供する。
【解決手段】対象領域を撮影する撮像装置と、前記撮像装置で撮影した映像を処理する画像処理装置において、撮像装置から逐次入力される入力画像に基づいて、背景画像を作成する背景画像作成部１と、入力画像に含まれる移動物体を検出する移動物体抽出部２と、入力画像中の移動物体に対応する領域と背景画像に基づいて、当該入力画像を補正する動き補正部３と、を備え、移動物体抽出部２は、トレーニング期間中に移動物体を検出した領域を背景領域とみなし、トレーニング期間終了後に、背景領域以外の領域で移動物体の検出を行う。
【選択図】図１
【解決手段】対象領域を撮影する撮像装置と、前記撮像装置で撮影した映像を処理する画像処理装置において、撮像装置から逐次入力される入力画像に基づいて、背景画像を作成する背景画像作成部１と、入力画像に含まれる移動物体を検出する移動物体抽出部２と、入力画像中の移動物体に対応する領域と背景画像に基づいて、当該入力画像を補正する動き補正部３と、を備え、移動物体抽出部２は、トレーニング期間中に移動物体を検出した領域を背景領域とみなし、トレーニング期間終了後に、背景領域以外の領域で移動物体の検出を行う。
【選択図】図１
Description
本発明は、カメラなどによって撮影された映像の画質を改善する装置に関し、特に、陽炎による揺らぎを補正する画像処理装置に関する。
昨今、カメラなどを用いて或る被写体を撮影し、撮影した画像を画像処理して画質劣化を改善する（画質を復元する）ことで、被写体を良好に知覚できるようにする方法が数多く提案されている。
例えば、特許文献１には、入力画像と背景像との差分処理により連続フレーム画像中から動物体領域を抽出する背景差分による動物体領域抽出方法に関する発明が開示されている。
また、例えば、特許文献２には、物体を監視する監視領域を含む領域の定期的な撮像によって得られる画像における監視領域内の背景像を推定する背景像推定方法に関する発明が開示されている。
また、例えば、特許文献３には、時系列画像の対応する画素について、画素値のヒストグラムの最頻値に関する値を画素値とする画像を、移動体認識用背景画像として生成する背景画像生成方法に関する発明が開示されている。
また、例えば、特許文献２には、物体を監視する監視領域を含む領域の定期的な撮像によって得られる画像における監視領域内の背景像を推定する背景像推定方法に関する発明が開示されている。
また、例えば、特許文献３には、時系列画像の対応する画素について、画素値のヒストグラムの最頻値に関する値を画素値とする画像を、移動体認識用背景画像として生成する背景画像生成方法に関する発明が開示されている。
本発明は、陽炎などの自然界の大気要因によって生じる事象による画像画質の劣化を改善し、良好な画質を得ることができる画像処理装置を提供することを目的とする。
本発明の画像処理装置は、対象領域を撮影する撮像装置と、前記撮像装置で撮影した映像を処理する画像処理装置において、前記撮像装置から逐次入力される入力画像に基づいて、背景画像を作成する背景画像作成部と、入力画像に含まれる移動物体を検出する移動物体抽出部と、入力画像中の移動物体に対応する領域と背景画像に基づいて、当該入力画像を補正する動き補正部と、を備え、前記移動物体抽出部は、トレーニング期間中に移動物体を検出した領域を背景領域とみなし、トレーニング期間終了後に、背景領域以外の領域で移動物体の検出を行う、ことを特徴とする。
また、本発明の画像処理装置は、対象領域を撮影する撮像装置と、前記撮像装置で撮影した映像を処理する画像処理装置において、前記撮像装置から逐次入力される入力画像に基づいて、背景画像を作成する背景画像作成部と、入力画像と背景画像をブロックマッチング法により比較して、基準のオプティカルフローを計算する第１のオプティカルフロー計算部と、連続するフレーム間で入力画像同士を勾配法により比較して、差分のオプティカルフローを計算する第２のオプティカルフロー計算部と、基準のオプティカルフローに差分のオプティカルフローを加算することで、補正フローを計算する補正フロー計算部と、基準のオプティカルフロー又は補正フローと入力画像と背景画像に基づいて、当該入力画像を補正する動き補正部と、を備えたことを特徴とする。
また、本発明の画像処理装置は、対象領域を撮影する撮像装置と、前記撮像装置で撮影した映像を処理する画像処理装置において、前記撮像装置から逐次入力される入力画像に基づいて、背景画像を作成する背景画像作成部と、入力画像に含まれる移動物体を検出する移動物体抽出部と、入力画像中の移動物体に対応する領域と背景画像に基づいて、当該入力画像を補正する動き補正部と、入力画像について発生したシーン・チェンジを検出するシーン・チェンジ検出部と、を備え、前記動き補正部は、シーン・チェンジが検出された場合に、入力画像の補正結果として当該入力画像を出力する、ことを特徴とする。
本発明の画像処理装置によれば、陽炎などの自然界の大気要因によって生じる事象による画像画質の劣化を改善し、良好な画質を得ることができる。
本発明に係る実施例を、図面を参照して説明する。
なお、以下の各実施例では、カメラなどの撮像装置による監視装置に備えられる画像処理装置を例に説明する。すなわち、監視装置は、例えば、監視カメラなどの撮像装置、撮像装置からの画像データを入力して本発明に係る画像処理を実行する画像処理装置、撮像装置から入力した画像データ（入力画像）や画像処理装置から出力された画像データ（背景画像、補正画像）を入力して映像として出力する画像出力部を備える。画像出力部は、映像表示部を備えたモニタ装置などで構成できる。画像処理装置は、マイクロコンピュータを備え、メモリに記憶されたプログラムを実行して各種演算を行い、以下説明する各機能を実現する。
なお、以下の各実施例では、カメラなどの撮像装置による監視装置に備えられる画像処理装置を例に説明する。すなわち、監視装置は、例えば、監視カメラなどの撮像装置、撮像装置からの画像データを入力して本発明に係る画像処理を実行する画像処理装置、撮像装置から入力した画像データ（入力画像）や画像処理装置から出力された画像データ（背景画像、補正画像）を入力して映像として出力する画像出力部を備える。画像出力部は、映像表示部を備えたモニタ装置などで構成できる。画像処理装置は、マイクロコンピュータを備え、メモリに記憶されたプログラムを実行して各種演算を行い、以下説明する各機能を実現する。
図１には、実施例１に係る画像処理装置の基本的な内部ブロックの例を示してある。
実施例１に係る画像処理装置は、基本構成として、背景画像作成部１、移動体抽出部２、動き補正部３を有する。
背景画像作成部１は、逐次入力（時系列に入力）される入力画像の平滑化を行い、背景画像を出力する。背景画像の作り方については、後述する。
移動物体抽出部２は、入力画像から移動物体を抽出し、移動物体に該当する座標（例えば、移動物体の検出箇所は画素値２５５、背景領域は画素値０を格納）を出力する。移動物体に該当する座標の詳細については、後述する。
動き補正部３は、移動物体に該当する座標に対応した、入力画像の画素を、背景画像上に貼り付ける（動き補正する）。補正結果の画像は、補正画像として出力される。
以上の動作により、入力画像における背景部の陽炎補正を実現できる。
実施例１に係る画像処理装置は、基本構成として、背景画像作成部１、移動体抽出部２、動き補正部３を有する。
背景画像作成部１は、逐次入力（時系列に入力）される入力画像の平滑化を行い、背景画像を出力する。背景画像の作り方については、後述する。
移動物体抽出部２は、入力画像から移動物体を抽出し、移動物体に該当する座標（例えば、移動物体の検出箇所は画素値２５５、背景領域は画素値０を格納）を出力する。移動物体に該当する座標の詳細については、後述する。
動き補正部３は、移動物体に該当する座標に対応した、入力画像の画素を、背景画像上に貼り付ける（動き補正する）。補正結果の画像は、補正画像として出力される。
以上の動作により、入力画像における背景部の陽炎補正を実現できる。
図２には、移動物体抽出部２から出力する移動物体に該当する座標の例を示してある。
図２は、画像サイズが７２０×４８０ｐｉｘｅｌの場合の例である。このように、入力画像の各画素に対応した検出フラグ（０：背景領域、２５５：移動物体）を用意する。そして、背景領域に対応する座標の検出フラグに画素値０を格納し、移動物体の検出箇所に対応する座標の検出フラグに画素値２５５を格納する。すなわち、移動物体の領域と背景領域とを区別する二値画像を作成する。図２の例では、画素値２５５になっている９画素が、移動物体であること（当該画素部分の領域に移動物体が検出されたこと）を示している。
図２は、画像サイズが７２０×４８０ｐｉｘｅｌの場合の例である。このように、入力画像の各画素に対応した検出フラグ（０：背景領域、２５５：移動物体）を用意する。そして、背景領域に対応する座標の検出フラグに画素値０を格納し、移動物体の検出箇所に対応する座標の検出フラグに画素値２５５を格納する。すなわち、移動物体の領域と背景領域とを区別する二値画像を作成する。図２の例では、画素値２５５になっている９画素が、移動物体であること（当該画素部分の領域に移動物体が検出されたこと）を示している。
背景画像作成部１の動作について図３を用いて説明する。
図３（ａ）に示すように、或る時刻ｔに入力された入力画像Ｆt（ｘ，ｙ）と重みｒが、
乗算器３２によって乗算され、ｒ×Ｆt（ｘ、ｙ）が得られる。また、遅延部３０内に格納されている時刻ｔ−１に作られた背景画像Ｒt-1（ｘ，ｙ）と重み（１−ｒ）が、乗算器３３によって乗算され、（１−ｒ）×Ｒt-1（ｘ，ｙ）が得られる。次に、ｒ×Ｆt（ｘ、ｙ）と（１−ｒ）×Ｒt-1（ｘ，ｙ）が、加算器３１によって重み付け加算され、時刻ｔの背景画像Ｒt（ｘ，ｙ）が作られる。つまり、遅延部３０に対する入力データが作られる。この時点では、時刻ｔの背景画像Ｒt（ｘ，ｙ）は遅延部３０に格納されていないため、背景画像作成部１の外部から、背景画像として使うことができない。ここでｒは重みであり、０から１の間の値を取る定数である。
その後、図３（ｂ）に示すように、時刻ｔの背景画像Ｒt（ｘ，ｙ）を遅延部３０に格納する。この時点でようやく、時刻ｔの背景画像Ｒt（ｘ，ｙ）は、背景画像作成部１の外部から、背景画像として使うことができる。遅延部３０は、１フレームの時間間隔分だけ画像を保持する。したがって、背景画像作成部１で作成される背景画像は、（式１）のように表わされる。
図３（ａ）に示すように、或る時刻ｔに入力された入力画像Ｆt（ｘ，ｙ）と重みｒが、
乗算器３２によって乗算され、ｒ×Ｆt（ｘ、ｙ）が得られる。また、遅延部３０内に格納されている時刻ｔ−１に作られた背景画像Ｒt-1（ｘ，ｙ）と重み（１−ｒ）が、乗算器３３によって乗算され、（１−ｒ）×Ｒt-1（ｘ，ｙ）が得られる。次に、ｒ×Ｆt（ｘ、ｙ）と（１−ｒ）×Ｒt-1（ｘ，ｙ）が、加算器３１によって重み付け加算され、時刻ｔの背景画像Ｒt（ｘ，ｙ）が作られる。つまり、遅延部３０に対する入力データが作られる。この時点では、時刻ｔの背景画像Ｒt（ｘ，ｙ）は遅延部３０に格納されていないため、背景画像作成部１の外部から、背景画像として使うことができない。ここでｒは重みであり、０から１の間の値を取る定数である。
その後、図３（ｂ）に示すように、時刻ｔの背景画像Ｒt（ｘ，ｙ）を遅延部３０に格納する。この時点でようやく、時刻ｔの背景画像Ｒt（ｘ，ｙ）は、背景画像作成部１の外部から、背景画像として使うことができる。遅延部３０は、１フレームの時間間隔分だけ画像を保持する。したがって、背景画像作成部１で作成される背景画像は、（式１）のように表わされる。
Ｒt（ｘ，ｙ）＝ｒ×Ｆt（ｘ、ｙ）＋（１−ｒ）×Ｒt-1（ｘ，ｙ）
・・・（式１）
・・・（式１）
（式１）は、指数移動平均（Ｅｘｐｏｎｅｎｔｉａｌ Ｍｏｖｉｎｇ Ａｖｅｒａｇｅ）と呼ばれ、逐次入力される入力画像の高周波成分の低減（平均化）の効果がある。ここで、重みｒを、例えば、ｒ＝０．０１（１／１００）とすると、背景画像に対して最後に重み付け加算した入力画像は、１００フレームの入力画像を平均化したと同等の重みが課せられる。すなわち、逐次入力される入力画像に対して、背景画像作成部１をその都度実行すると、重みｒで示されるフレーム数の入力画像を平均化した画像として収束する。この画像を背景画像と呼び、背景画像は、入力画像中の移動する物体、揺らぎなどが取り除かれており、動きのない画像となる。なお、背景画像を参照画像と呼ぶこともある。
次に、移動物体抽出部２の動作を説明するに先立ち、従来方式による移動物体の検出方法１，２について、例えば、森と道路の境界部分といった場所において移動物体を抽出する場合を例に検討する。
従来方式による移動物体の検出方法１について説明する。
或る画素の輝度値について時間方向のヒストグラムを求めると、移動物体未検出時は、図４（ａ）のように、標準偏差の値が小さくなり、移動物体検出時は、図４（ｂ）のように、標準偏差の値が大きくなる。そこで、或るしきい値を用意しておいて、標準偏差の値がしきい値を超えれば移動物体であると判断し、標準偏差の値がしきい値を超えなければ背景領域であると判断する。
しかしながら、図５のように、森と道路の境界部分では元々標準偏差の値が大きく、しきい値を大きくする必要があるため、移動物体が出現してもこれを検出することができない。
或る画素の輝度値について時間方向のヒストグラムを求めると、移動物体未検出時は、図４（ａ）のように、標準偏差の値が小さくなり、移動物体検出時は、図４（ｂ）のように、標準偏差の値が大きくなる。そこで、或るしきい値を用意しておいて、標準偏差の値がしきい値を超えれば移動物体であると判断し、標準偏差の値がしきい値を超えなければ背景領域であると判断する。
しかしながら、図５のように、森と道路の境界部分では元々標準偏差の値が大きく、しきい値を大きくする必要があるため、移動物体が出現してもこれを検出することができない。
従来方式による移動物体の検出方法２について説明する。
或る画素の輝度値について時間方向のヒストグラムを求めた結果、森に相当する部分と道路に相当する部分の２つ分かれた分布が生じたとする。移動物体未検出時は、図６（ａ）のように、いずれの分布においても標準偏差の値が小さくなり、移動物体検出時は、図ｂ（ｂ）のように、一方の分布において標準偏差の値が大きくなる。そこで、或るしきい値を用意しておいて、いずれかの分布の標準偏差の値がしきい値を超えれば移動物体であると判断し、いずれかの分布の標準偏差の値もしきい値を超えなければ背景領域であると判断する。
しかしながら、森と道路の境界部分では、図５のように、実際には分布が明確に２つに分かれない場合があるため、移動物体が出現してもこれを検出することができない。
或る画素の輝度値について時間方向のヒストグラムを求めた結果、森に相当する部分と道路に相当する部分の２つ分かれた分布が生じたとする。移動物体未検出時は、図６（ａ）のように、いずれの分布においても標準偏差の値が小さくなり、移動物体検出時は、図ｂ（ｂ）のように、一方の分布において標準偏差の値が大きくなる。そこで、或るしきい値を用意しておいて、いずれかの分布の標準偏差の値がしきい値を超えれば移動物体であると判断し、いずれかの分布の標準偏差の値もしきい値を超えなければ背景領域であると判断する。
しかしながら、森と道路の境界部分では、図５のように、実際には分布が明確に２つに分かれない場合があるため、移動物体が出現してもこれを検出することができない。
このような事情を鑑み、実施例１で提案する画像処理装置では、以下の構成例（１−１）又は構成例（１−２）に示すような動作を行うようにした。すなわち、通常動作の前にトレーニングを行い、このトレーニング期間に検出した領域は背景と判断し、それ以外の領域（誤検出しなかった領域）で移動物体の検出を行うようにした。
図７には、構成例（１−１）に係る画像処理装置の内部ブロックの例を示してある。
構成例（１−１）では、移動物体抽出部２に、ヒストグラム処理部４、しきい値判定処理部５、移動物体に該当する座標の修正処理部６を設けた。
ヒストグラム処理部４は、入力画像の各画素に対して、輝度値について時間方向のヒストグラムを計算して、これから標準偏差を求める。
しきい値判定処理部５は、入力画像の各画素の輝度値をしきい値（ヒストグラム処理部４で求めた標準偏差から計算）と比較して、入力画像の各画素の輝度値がしきい値より大きい場合は、移動物体と判断し、入力画像の各画素の輝度値がしきい値より小さい場合は、背景領域と判断する。このとき、移動物体に該当する座標を更新（例えば、移動物体の検出箇所は画素値２５５、背景領域は画素値０を格納）する。なお、しきい値と同じ輝度値の画素を移動物体と判断するか背景領域と判断するかは任意である。
移動物体に該当する座標の修正処理部６は、入力画像と移動物体に該当する座標を用いて、移動物体に該当する座標を修正する。どのような修正を行うかについては、後述する。
構成例（１−１）では、移動物体抽出部２に、ヒストグラム処理部４、しきい値判定処理部５、移動物体に該当する座標の修正処理部６を設けた。
ヒストグラム処理部４は、入力画像の各画素に対して、輝度値について時間方向のヒストグラムを計算して、これから標準偏差を求める。
しきい値判定処理部５は、入力画像の各画素の輝度値をしきい値（ヒストグラム処理部４で求めた標準偏差から計算）と比較して、入力画像の各画素の輝度値がしきい値より大きい場合は、移動物体と判断し、入力画像の各画素の輝度値がしきい値より小さい場合は、背景領域と判断する。このとき、移動物体に該当する座標を更新（例えば、移動物体の検出箇所は画素値２５５、背景領域は画素値０を格納）する。なお、しきい値と同じ輝度値の画素を移動物体と判断するか背景領域と判断するかは任意である。
移動物体に該当する座標の修正処理部６は、入力画像と移動物体に該当する座標を用いて、移動物体に該当する座標を修正する。どのような修正を行うかについては、後述する。
図８には、構成例（１−１）に係る画像処理装置の動作フローの例を示してある。
構成例（１−１）に係る画像処理装置では、背景画像の作成ステップＳ２０において、背景画像作成部１が、逐次入力される入力画像から背景画像を作成する。
また、ヒストグラム処理ステップＳ２１において、ヒストグラム処理部４が、入力画像の各画素に対して標準偏差を計算する。次に、しきい値判別処理ステップＳ２２において、しきい値判別処理部５が、入力画像の各画像の輝度値としきい値（標準偏差から計算）の比較を行い、これに基づいて移動物体に該当する座標を更新する。次に、移動物体に該当する座標の修正処理ステップＳ２３において、移動物体に該当する座標の修正処理部６が、移動物体に該当する座標を修正する。
その後、動き補正ステップＳ２４において、動き補正部３が、移動物体に該当する座標に対応した、入力画像の画素を、背景画像上に貼り付ける（動き補正する）。
構成例（１−１）に係る画像処理装置では、背景画像の作成ステップＳ２０において、背景画像作成部１が、逐次入力される入力画像から背景画像を作成する。
また、ヒストグラム処理ステップＳ２１において、ヒストグラム処理部４が、入力画像の各画素に対して標準偏差を計算する。次に、しきい値判別処理ステップＳ２２において、しきい値判別処理部５が、入力画像の各画像の輝度値としきい値（標準偏差から計算）の比較を行い、これに基づいて移動物体に該当する座標を更新する。次に、移動物体に該当する座標の修正処理ステップＳ２３において、移動物体に該当する座標の修正処理部６が、移動物体に該当する座標を修正する。
その後、動き補正ステップＳ２４において、動き補正部３が、移動物体に該当する座標に対応した、入力画像の画素を、背景画像上に貼り付ける（動き補正する）。
図９には、構成例（１−２）に係る画像処理装置の内部ブロックの例を示してある。
構成例（１−２）では、移動物体抽出部２に、差分画像作成部７、ヒストグラム処理部４、しきい値判定処理部５、移動物体に該当する座標の修正処理部６を設けた。
差分画像作成部７は、入力画像と背景画像の差分画像を作成する。
ヒストグラム処理部４は、入力画像の各画素に対して、輝度値について時間方向のヒストグラムを計算して、これから標準偏差を求める。
しきい値判定処理部５は、差分画像の各画素の輝度値をしきい値（ヒストグラム処理部４で求めた標準偏差から計算）と比較して、差分画像の各画素の輝度値がしきい値より大きい場合は、移動物体と判断し、差分画像の各画素の輝度値がしきい値より小さい場合は、背景領域と判断する。このとき、移動物体に該当する座標を更新（例えば、移動物体の検出箇所は画素値２５５、背景領域は画素値０を格納）する。なお、しきい値と同じ輝度値の画素を移動物体と判断するか背景領域と判断するかは任意である。
移動物体に該当する座標の修正処理部６は、入力画像と移動物体に該当する座標を用いて、移動物体に該当する座標を修正する。どのような修正を行うかについては、後述する。
構成例（１−２）では、移動物体抽出部２に、差分画像作成部７、ヒストグラム処理部４、しきい値判定処理部５、移動物体に該当する座標の修正処理部６を設けた。
差分画像作成部７は、入力画像と背景画像の差分画像を作成する。
ヒストグラム処理部４は、入力画像の各画素に対して、輝度値について時間方向のヒストグラムを計算して、これから標準偏差を求める。
しきい値判定処理部５は、差分画像の各画素の輝度値をしきい値（ヒストグラム処理部４で求めた標準偏差から計算）と比較して、差分画像の各画素の輝度値がしきい値より大きい場合は、移動物体と判断し、差分画像の各画素の輝度値がしきい値より小さい場合は、背景領域と判断する。このとき、移動物体に該当する座標を更新（例えば、移動物体の検出箇所は画素値２５５、背景領域は画素値０を格納）する。なお、しきい値と同じ輝度値の画素を移動物体と判断するか背景領域と判断するかは任意である。
移動物体に該当する座標の修正処理部６は、入力画像と移動物体に該当する座標を用いて、移動物体に該当する座標を修正する。どのような修正を行うかについては、後述する。
図１０には、構成例（１−２）に係る画像処理装置の動作フローの例を示してある。
構成例（１−２）に係る画像処理装置では、背景画像の作成ステップＳ２０において、背景画像作成部１が、逐次入力される入力画像から背景画像を作成する。
また、差分画像の作成ステップＳ２５において、差分画像作成部７が、入力画像と背景画像の差分画像を作成する。次に、ヒストグラム処理ステップＳ２１において、ヒストグラム処理部４が、入力画像の各画素に対して標準偏差を計算する。次に、しきい値判別処理ステップＳ２２において、しきい値判別処理部５が、差分画像の各画像の輝度値としきい値（標準偏差から計算）の比較を行い、これに基づいて移動物体に該当する座標を更新する。次に、移動物体に該当する座標の修正処理ステップＳ２３において、移動物体に該当する座標の修正処理部６が、移動物体に該当する座標を修正する。
その後、動き補正ステップＳ２４において、動き補正部３が、移動物体に該当する座標に対応した、入力画像の画素を、背景画像上に貼り付ける（動き補正する）。
構成例（１−２）に係る画像処理装置では、背景画像の作成ステップＳ２０において、背景画像作成部１が、逐次入力される入力画像から背景画像を作成する。
また、差分画像の作成ステップＳ２５において、差分画像作成部７が、入力画像と背景画像の差分画像を作成する。次に、ヒストグラム処理ステップＳ２１において、ヒストグラム処理部４が、入力画像の各画素に対して標準偏差を計算する。次に、しきい値判別処理ステップＳ２２において、しきい値判別処理部５が、差分画像の各画像の輝度値としきい値（標準偏差から計算）の比較を行い、これに基づいて移動物体に該当する座標を更新する。次に、移動物体に該当する座標の修正処理ステップＳ２３において、移動物体に該当する座標の修正処理部６が、移動物体に該当する座標を修正する。
その後、動き補正ステップＳ２４において、動き補正部３が、移動物体に該当する座標に対応した、入力画像の画素を、背景画像上に貼り付ける（動き補正する）。
図１１には、構成例（１−１）及び構成例（１−２）に共通の、移動物体に該当する座標の修正処理部６の内部ブロックの例を示してある。
移動物体に該当する座標の修正処理部６は、トレーニング処理部８、収縮・膨張処理部９、水平エッジ計算部１０、エリア限定部１１、誤検出履歴１２を有する。
移動物体に該当する座標の修正処理部６は、トレーニング処理部８、収縮・膨張処理部９、水平エッジ計算部１０、エリア限定部１１、誤検出履歴１２を有する。
トレーニング処理部８は、トレーニング期間中は移動物体が出現しないものとみなして、移動物体に該当する座標について、誤検出履歴１２を更新（例えば、移動物体の検出箇所は画素値２５５、背景領域は画素値０を格納）する。
トレーニング期間の終了後、つまり通常動作中は、誤検出履歴１２を調べて、トレーニング期間中に誤検出したエリアは背景領域として扱い、誤検出していない領域についてのみ、移動物体の検出処理を行う。
この時点において、移動物体に該当する座標（画像）は、例えば、図１３（ｂ）のように、誤検出した箇所もあれば、移動物体を検出した箇所もあり、または正しく移動物体を検出できていない箇所もある。
トレーニング期間の終了後、つまり通常動作中は、誤検出履歴１２を調べて、トレーニング期間中に誤検出したエリアは背景領域として扱い、誤検出していない領域についてのみ、移動物体の検出処理を行う。
この時点において、移動物体に該当する座標（画像）は、例えば、図１３（ｂ）のように、誤検出した箇所もあれば、移動物体を検出した箇所もあり、または正しく移動物体を検出できていない箇所もある。
このようなことを考慮して、収縮・膨張処理部９は、移動物体に該当する座標（画像）に対して、最初に収縮処理を行うことで、誤検出した箇所を消し、次に膨張処理を行うことで、移動物体を検出した箇所を大きくする。要するに、虫食い状態になっている移動物体に該当する座標（画像）に対して、おおまかな検出面積を確保しようというものである。
この時点において、移動物体に該当する座標（画像）は、検出面積を確保したのであるが、入力画像と背景画像によっては、例えば、車の窓ガラス部分の背景と、背景画像の背景が同じような画像となる場合があり、この部分では、移動物体を検出することは困難である。
このようなことを考慮して、水平エッジ計算部１０は、入力画像に対して水平方向のエッジ検出を行い、エッジ検出画像を出力する。
エリア限定部１１は、移動物体に該当する座標（画像）とエッジ検出画像を用いて、水平方向のエッジを含むエリアを移動物体であると判断し、移動物体に該当する座標（画像）を更新する。
このようにすることで、上述した窓ガラス部分を含む車であっても、正しく移動物体であると検出することができる。
エリア限定部１１は、移動物体に該当する座標（画像）とエッジ検出画像を用いて、水平方向のエッジを含むエリアを移動物体であると判断し、移動物体に該当する座標（画像）を更新する。
このようにすることで、上述した窓ガラス部分を含む車であっても、正しく移動物体であると検出することができる。
図１２には、移動物体に該当する座標の修正処理部の動作フローの例を示してある。
最初のＮフレームをトレーニング期間とし、これ以降のフレームを通常動作とする。
まず、トレーニング処理ステップＳ２６において、トレーニング処理部８が、以下の処理を行う。
すなわち、現在のフレームがＮフレーム以内であればトレーニング期間であると判断し（Ｔ２１）、次に、過去、その画素で移動物体を検出していない、且つ今回移動物体であると誤検出であると誤検出したかを調べる（Ｔ２２）。その結果、ＹＥＳ（新たな誤検出有り）であれば、誤検出履歴１２を更新し（Ｔ２３）、ＮＯ（新たな誤検出無し）であれば、何もしない。なお、トレーニング中なので、強制的に背景領域と判断する（Ｔ２６）。つまり、移動物体に該当する座標（画像）に画素値０を格納する。
最初のＮフレームをトレーニング期間とし、これ以降のフレームを通常動作とする。
まず、トレーニング処理ステップＳ２６において、トレーニング処理部８が、以下の処理を行う。
すなわち、現在のフレームがＮフレーム以内であればトレーニング期間であると判断し（Ｔ２１）、次に、過去、その画素で移動物体を検出していない、且つ今回移動物体であると誤検出であると誤検出したかを調べる（Ｔ２２）。その結果、ＹＥＳ（新たな誤検出有り）であれば、誤検出履歴１２を更新し（Ｔ２３）、ＮＯ（新たな誤検出無し）であれば、何もしない。なお、トレーニング中なので、強制的に背景領域と判断する（Ｔ２６）。つまり、移動物体に該当する座標（画像）に画素値０を格納する。
また、現在のフレームがＮフレーム以降であれば、トレーニング期間後、つまり通常動作中であると判断し（Ｔ２１）、過去、（誤検出履歴１２を用いて）その画素で移動物体を誤検出したかを調べて（Ｔ２４）、ＹＥＳ（誤検出した）であれば、強制的に背景領域と判断する（Ｔ２５）。つまり、移動物体に該当する座標（画像）に画素値０を格納する。一方、ＮＯ（誤検出しなかった）であれば、何もしない。
その後、収縮・膨張処理ステップＳ２７において、収縮・膨張処理部９が、移動物体に該当する座標（画像）に対して、収縮・膨張処理を行う。次に、水平エッジ計算ステップＳ２８において、水平エッジ計算部１０が、入力画像に対して水平方向のエッジ検出を行い、エッジ検出画像を出力する。次に、エリア限定処理ステップＳ２９において、エリア限定部１１が、水平方向のエッジを含むエリアを移動物体であると判断し、移動物体に該当する座標（画像）を更新する。
図１３には、従来方式の場合の移動物体に該当する座標（画像）の例を示してある。図１３（ａ）は入力画像であり、図１３（ｂ）は移動物体検出エリアである。
図１３（ｂ）によれば、従来方式では、森と道路の境界部分で、移動物体であると誤検出していることがわかる。
図１３（ｂ）によれば、従来方式では、森と道路の境界部分で、移動物体であると誤検出していることがわかる。
図１４には、実施例１で提案した手法を用いた場合の移動物体に該当する座標（画像）の例を示してある。図１４（ａ）は入力画像であり、図１４（ｂ）は移動物体検出エリアである。
図１４（ｂ）によれば、従来方式と比べて、森と道路の境界部分における誤検出が減っていることがわかる。
図１４（ｂ）によれば、従来方式と比べて、森と道路の境界部分における誤検出が減っていることがわかる。
図１５には、誤検出履歴１２の例を示してある。
現在のフレームがＮフレーム以内であればトレーニング期間であるため、フレーム番号が進むに従って、誤検出した場所を誤検出履歴１２に追記していき、Ｎフレームになった時点で誤検出履歴１２は完成である。なお、図１５において、画素値０は誤検出無しであり、画素値２５５は誤検出有りである。
図１５の例では、１フレーム目は誤検出がなく、２フレーム目は座標（ｘ、ｙ）＝（２、２）に誤検出があり、３フレーム目は座標（ｘ、ｙ）＝（３、３）に誤検出があり、４フレーム目は座標（ｘ、ｙ）＝（３、４）に誤検出があり、これらの誤検出の情報を誤検出履歴１２に追記していくことで、Ｎフレームの時点で誤検出履歴１２が完成している。
なお、カメラのパン、チルト、ズームなどにより、画像のシーンが大幅に変わった場合は、シーン・チェンジ検出を行い、再度トレーニングを実施する必要がある。
現在のフレームがＮフレーム以内であればトレーニング期間であるため、フレーム番号が進むに従って、誤検出した場所を誤検出履歴１２に追記していき、Ｎフレームになった時点で誤検出履歴１２は完成である。なお、図１５において、画素値０は誤検出無しであり、画素値２５５は誤検出有りである。
図１５の例では、１フレーム目は誤検出がなく、２フレーム目は座標（ｘ、ｙ）＝（２、２）に誤検出があり、３フレーム目は座標（ｘ、ｙ）＝（３、３）に誤検出があり、４フレーム目は座標（ｘ、ｙ）＝（３、４）に誤検出があり、これらの誤検出の情報を誤検出履歴１２に追記していくことで、Ｎフレームの時点で誤検出履歴１２が完成している。
なお、カメラのパン、チルト、ズームなどにより、画像のシーンが大幅に変わった場合は、シーン・チェンジ検出を行い、再度トレーニングを実施する必要がある。
以上のようにすることで、陽炎の揺らぎが発生している、背景領域の境界部分において、背景領域を移動物体であると誤検出する領域を減らすという結果を提供できるようになる。
以上の実施例１の特徴を纏めると次のようになる。
（１） 対象領域を撮影する撮像装置と、前記撮像装置で撮影した映像を処理する画像処理装置において、前記撮像装置から逐次入力される入力画像に基づいて、背景画像を作成する背景画像作成部と、入力画像に含まれる移動物体を検出する移動物体抽出部と、入力画像中の移動物体に対応する領域と背景画像に基づいて、当該入力画像を補正する動き補正部と、を備え、前記移動物体抽出部は、トレーニング期間中に移動物体を検出した領域を背景領域とみなし、トレーニング期間終了後に、背景領域以外の領域で移動物体の検出を行うことを特徴とする。
（２） また、（１）の前記移動物体抽出部は、入力画像の各画素について、時間方向のヒストグラムから標準偏差を求めるヒストグラム処理部と、入力画像の各画素と標準偏差に応じたしきい値とを比較して移動物体の領域を検出するしきい値判別処理部と、を有することを特徴とする。
（３） また、（１）の前記移動物体抽出部は、入力画像と背景画像の差分画像を作成する差分画像作成部と、差分画像の各画素について、時間方向のヒストグラムから標準偏差を求めるヒストグラム処理部と、差分画像の各画素と標準偏差に応じたしきい値とを比較して移動物体の領域を検出するしきい値判別処理部と、を有することを特徴とする。
（４） また、（２）（３）の前記移動物体抽出部は、トレーニング期間中に移動物体を検出した領域を背景領域とみなし、トレーニング期間終了後に、背景領域以外の領域で移動物体の検出を行った結果に基づいて、入力画像中の移動物体の領域と背景領域とを区別する二値画像を作成して出力することを特徴とする。
（５） また、（４）の前記移動物体抽出部は、二値画像に対して収縮処理を行った後に膨張処理を行った結果を、移動物体の検出結果として出力することを特徴とする。
（６） また、（４）（５）の前記移動物体抽出部は、二値画像における移動物体の領域のうち、入力画像から検出した水平方向のエッジを含む領域を移動物体と判定し、当該判定結果を反映する更新を行なった二値画像を、移動物体の検出結果として出力することを特徴とする。
（１） 対象領域を撮影する撮像装置と、前記撮像装置で撮影した映像を処理する画像処理装置において、前記撮像装置から逐次入力される入力画像に基づいて、背景画像を作成する背景画像作成部と、入力画像に含まれる移動物体を検出する移動物体抽出部と、入力画像中の移動物体に対応する領域と背景画像に基づいて、当該入力画像を補正する動き補正部と、を備え、前記移動物体抽出部は、トレーニング期間中に移動物体を検出した領域を背景領域とみなし、トレーニング期間終了後に、背景領域以外の領域で移動物体の検出を行うことを特徴とする。
（２） また、（１）の前記移動物体抽出部は、入力画像の各画素について、時間方向のヒストグラムから標準偏差を求めるヒストグラム処理部と、入力画像の各画素と標準偏差に応じたしきい値とを比較して移動物体の領域を検出するしきい値判別処理部と、を有することを特徴とする。
（３） また、（１）の前記移動物体抽出部は、入力画像と背景画像の差分画像を作成する差分画像作成部と、差分画像の各画素について、時間方向のヒストグラムから標準偏差を求めるヒストグラム処理部と、差分画像の各画素と標準偏差に応じたしきい値とを比較して移動物体の領域を検出するしきい値判別処理部と、を有することを特徴とする。
（４） また、（２）（３）の前記移動物体抽出部は、トレーニング期間中に移動物体を検出した領域を背景領域とみなし、トレーニング期間終了後に、背景領域以外の領域で移動物体の検出を行った結果に基づいて、入力画像中の移動物体の領域と背景領域とを区別する二値画像を作成して出力することを特徴とする。
（５） また、（４）の前記移動物体抽出部は、二値画像に対して収縮処理を行った後に膨張処理を行った結果を、移動物体の検出結果として出力することを特徴とする。
（６） また、（４）（５）の前記移動物体抽出部は、二値画像における移動物体の領域のうち、入力画像から検出した水平方向のエッジを含む領域を移動物体と判定し、当該判定結果を反映する更新を行なった二値画像を、移動物体の検出結果として出力することを特徴とする。
図１６には、実施例２に係る画像処理装置の基本的な内部ブロックの例を示してある。
実施例２に係る画像処理装置は、背景画像作成部４０、オプティカルフロー計算部（ブロックマッチング法）４１、動き補正部４２、オプティカルフロー計算部（勾配法）４３、補正フロー計算部４４、メモリ４５，４６を有する。
本例の画像処理装置は、基準フロー計算時の場合と基準フロー計算時でない場合とで、オプティカルフローを算出する動作が異なる。ここで、オプティカルフローは、２つの画像間での局所的な動きの分布を表す。すなわち、オプティカルフローを用いることで、入力画像上の注目画素において、陽炎による揺らぎ（動きベクトル）がどの程度発生しているかを推定することができる。
実施例２に係る画像処理装置は、背景画像作成部４０、オプティカルフロー計算部（ブロックマッチング法）４１、動き補正部４２、オプティカルフロー計算部（勾配法）４３、補正フロー計算部４４、メモリ４５，４６を有する。
本例の画像処理装置は、基準フロー計算時の場合と基準フロー計算時でない場合とで、オプティカルフローを算出する動作が異なる。ここで、オプティカルフローは、２つの画像間での局所的な動きの分布を表す。すなわち、オプティカルフローを用いることで、入力画像上の注目画素において、陽炎による揺らぎ（動きベクトル）がどの程度発生しているかを推定することができる。
［基準フロー計算時の場合］
図１７には、基準フロー計算時の場合の動作例を示してある。
最初に、背景画像作成部４０が、逐次入力（時系列に入力）される入力画像から背景画像を作成する。
また、入力画像は、メモリ４５へ格納される。
オプティカルフロー計算部（ブロックマッチング法）４１は、入力画像と背景画像をブロックマッチング法により比較し、オプティカルフロー（基準フロー）を計算する。この基準フローはメモリ４６へ格納される。ここで、ブロックマッチング法では、参照画像（ここでは背景画像）の局所的なブロックのパターン（テンプレート）が、入力画像中でどの位置にあるかを２つの画像の局所領域（例えば、縦１０画素、横１０画素）の類似度に基づいて探す処理（これをテンプレートマッチング処理と言う）を行う。
動き補正部４２は、上述した基準フローを用いて、入力画像（部分画像）を動かし、背景画像上に貼り付ける（動き補正する）。
図１７には、基準フロー計算時の場合の動作例を示してある。
最初に、背景画像作成部４０が、逐次入力（時系列に入力）される入力画像から背景画像を作成する。
また、入力画像は、メモリ４５へ格納される。
オプティカルフロー計算部（ブロックマッチング法）４１は、入力画像と背景画像をブロックマッチング法により比較し、オプティカルフロー（基準フロー）を計算する。この基準フローはメモリ４６へ格納される。ここで、ブロックマッチング法では、参照画像（ここでは背景画像）の局所的なブロックのパターン（テンプレート）が、入力画像中でどの位置にあるかを２つの画像の局所領域（例えば、縦１０画素、横１０画素）の類似度に基づいて探す処理（これをテンプレートマッチング処理と言う）を行う。
動き補正部４２は、上述した基準フローを用いて、入力画像（部分画像）を動かし、背景画像上に貼り付ける（動き補正する）。
［基準フロー計算時でない場合］
図１８には、基準フロー計算時でない場合の動作例を示してある。
最初に、背景画像作成部４０が、逐次入力（時系列に入力）される入力画像から背景画像を作成する。
また、入力画像は、メモリ４５へ格納される。
オプティカルフロー計算部（勾配法）４３は、入力画像（現在のフレーム）と入力画像（メモリ４５に格納されている１フレーム前のフレーム）を勾配法により比較し、すなわち、連続するフレーム間で入力画像同士を勾配法により比較し、オプティカルフロー（差分フロー）を計算する。ここで、勾配法では、或る注目画素（例えば、縦横１０画素間隔の位置の画素）の輝度値の空間的な勾配と２フレームの画像の輝度値の差分から、動きベクトルを計算する。
補正フロー計算部４４は、メモリ４６に格納されている基準フローを読み出し、基準フローに差分フローを加算して、補正フローを計算する。
動き補正部４２は、上述した補正フローを用いて、入力画像（部分画像）を動かし、背景画像上に貼り付ける（動き補正する）。
図１８には、基準フロー計算時でない場合の動作例を示してある。
最初に、背景画像作成部４０が、逐次入力（時系列に入力）される入力画像から背景画像を作成する。
また、入力画像は、メモリ４５へ格納される。
オプティカルフロー計算部（勾配法）４３は、入力画像（現在のフレーム）と入力画像（メモリ４５に格納されている１フレーム前のフレーム）を勾配法により比較し、すなわち、連続するフレーム間で入力画像同士を勾配法により比較し、オプティカルフロー（差分フロー）を計算する。ここで、勾配法では、或る注目画素（例えば、縦横１０画素間隔の位置の画素）の輝度値の空間的な勾配と２フレームの画像の輝度値の差分から、動きベクトルを計算する。
補正フロー計算部４４は、メモリ４６に格納されている基準フローを読み出し、基準フローに差分フローを加算して、補正フローを計算する。
動き補正部４２は、上述した補正フローを用いて、入力画像（部分画像）を動かし、背景画像上に貼り付ける（動き補正する）。
図１９には、実施例２に係る画像処理装置の動作フローの例を示してある。
実施例２に係る画像処理装置では、背景画像作成ステップＳ４７において、背景画像作成部４０が、逐次入力される入力画像から背景画像を作成する。また、入力画像のメモリ格納ステップＳ５４において、入力画像がメモリ４５へ格納される。
実施例２に係る画像処理装置では、背景画像作成ステップＳ４７において、背景画像作成部４０が、逐次入力される入力画像から背景画像を作成する。また、入力画像のメモリ格納ステップＳ５４において、入力画像がメモリ４５へ格納される。
その後、（ａ）基準フロー計算時の場合は、オプティカルフロー算出ステップＳ４８において、オプティカルフロー計算部（ブロックマッチング法）４１が、入力画像と背景画像を比較してオプティカルフロー（基準フロー）を計算する。その後、基準フローのメモリ格納ステップＳ４９において、基準フローがメモリ４６へ格納される。そして、動き補正ステップＳ５０において、動き補正部４２が、基準フローを用いて動き補正を行う。
一方、（ｂ）基準フロー計算時でない場合は、オプティカルフロー算出ステップＳ５１において、オプティカルフロー計算部（勾配法）４３が、入力画像（現在のフレーム）と入力画像（１フレーム前のフレーム）を比較してオプティカルフロー（差分フロー）を計算する。また、メモリからの基準フローの読み出しステップＳ５２において、メモリ４６から基準フローが読み出される。その後、補正フロー計算ステップＳ５３において、補正フロー計算部４４が、基準フローに差分フローを加算して補正フローを計算する。そして、動き補正ステップＳ５０において、動き補正部４２が、補正フローを用いて動き補正を行う。
一方、（ｂ）基準フロー計算時でない場合は、オプティカルフロー算出ステップＳ５１において、オプティカルフロー計算部（勾配法）４３が、入力画像（現在のフレーム）と入力画像（１フレーム前のフレーム）を比較してオプティカルフロー（差分フロー）を計算する。また、メモリからの基準フローの読み出しステップＳ５２において、メモリ４６から基準フローが読み出される。その後、補正フロー計算ステップＳ５３において、補正フロー計算部４４が、基準フローに差分フローを加算して補正フローを計算する。そして、動き補正ステップＳ５０において、動き補正部４２が、補正フローを用いて動き補正を行う。
以上のようにすることで、陽炎などの自然界の大気要因によって生じる事象による画像画質の劣化を改善し、良好な画質を得ることができる。
以上の実施例２の特徴を纏めると次のようになる。
（１） 対象領域を撮影する撮像装置と、前記撮像装置で撮影した映像を処理する画像処理装置において、前記撮像装置から逐次入力される入力画像に基づいて、背景画像を作成する背景画像作成部と、入力画像と背景画像をブロックマッチング法により比較して、基準のオプティカルフローを計算する第１のオプティカルフロー計算部と、連続するフレーム間で入力画像同士を勾配法により比較して、差分のオプティカルフローを計算する第２のオプティカルフロー計算部と、基準のオプティカルフローに差分のオプティカルフローを加算することで、補正フローを計算する補正フロー計算部と、基準のオプティカルフロー又は補正フローと入力画像と背景画像に基づいて、当該入力画像を補正する動き補正部と、を備えたことを特徴とする。
（２） また、（１）の前記動き補正部は、基準のオプティカルフローの計算時の場合は、基準のオプティカルフローを用いて入力画像を動かした後に背景画像上に貼り付けることで、入力画像を補正し、基準のオプティカルフローの計算時でない場合は、補正フローを用いて入力画像を動かした後に背景画像上に貼り付けることで、入力画像を補正することを特徴とする。
（３） また、（１）（２）の前記第２のオプティカルフロー計算部及び前記補正フロー計算部は、基準のオプティカルフローの計算時でない場合に動作することを特徴とする。
（１） 対象領域を撮影する撮像装置と、前記撮像装置で撮影した映像を処理する画像処理装置において、前記撮像装置から逐次入力される入力画像に基づいて、背景画像を作成する背景画像作成部と、入力画像と背景画像をブロックマッチング法により比較して、基準のオプティカルフローを計算する第１のオプティカルフロー計算部と、連続するフレーム間で入力画像同士を勾配法により比較して、差分のオプティカルフローを計算する第２のオプティカルフロー計算部と、基準のオプティカルフローに差分のオプティカルフローを加算することで、補正フローを計算する補正フロー計算部と、基準のオプティカルフロー又は補正フローと入力画像と背景画像に基づいて、当該入力画像を補正する動き補正部と、を備えたことを特徴とする。
（２） また、（１）の前記動き補正部は、基準のオプティカルフローの計算時の場合は、基準のオプティカルフローを用いて入力画像を動かした後に背景画像上に貼り付けることで、入力画像を補正し、基準のオプティカルフローの計算時でない場合は、補正フローを用いて入力画像を動かした後に背景画像上に貼り付けることで、入力画像を補正することを特徴とする。
（３） また、（１）（２）の前記第２のオプティカルフロー計算部及び前記補正フロー計算部は、基準のオプティカルフローの計算時でない場合に動作することを特徴とする。
実施例３の説明に先立ち、従来方式によるシーン・チェンジについて説明する。
図２０には、従来方式によるシーン・チェンジ（通常のシーンチェンジ）の例を示してある。
この例では、シーン・チェンジが発生すると、背景画像は基本的にはシーン・チェンジの前のままであり、すなわち現在の入力画像に適した背景画像ではなく、移動物体の抽出はできないため、背景画像ができるＭフレーム後まで、補正画像は画質劣化したままである。
このような事情を鑑み、実施例３で提案する画像処理装置では、以下の構成例（３−１）又は構成例（３−２）に示すような動作を行うようにした。
図２０には、従来方式によるシーン・チェンジ（通常のシーンチェンジ）の例を示してある。
この例では、シーン・チェンジが発生すると、背景画像は基本的にはシーン・チェンジの前のままであり、すなわち現在の入力画像に適した背景画像ではなく、移動物体の抽出はできないため、背景画像ができるＭフレーム後まで、補正画像は画質劣化したままである。
このような事情を鑑み、実施例３で提案する画像処理装置では、以下の構成例（３−１）又は構成例（３−２）に示すような動作を行うようにした。
図２１には、構成例（３−１）に係る画像処理装置によるシーン・チェンジ（通常のシーンチェンジ）の例を示してある。
この例では、シーン・チェンジが発生すると、正しい背景画像ができあがるまでは、移動物体の抽出はできないため、入力画像をそのまま補正画像とする。これにより、シーン・チェンジが発生してから背景画像ができるＭフレーム後までの間の補正画像の画質を、従来方式に比べて向上させることができる。そして、背景画像ができたＭフレーム後は、移動物体の抽出を行い、これを背景画像に貼り付けた画像を補正画像とする。
この例では、シーン・チェンジが発生すると、正しい背景画像ができあがるまでは、移動物体の抽出はできないため、入力画像をそのまま補正画像とする。これにより、シーン・チェンジが発生してから背景画像ができるＭフレーム後までの間の補正画像の画質を、従来方式に比べて向上させることができる。そして、背景画像ができたＭフレーム後は、移動物体の抽出を行い、これを背景画像に貼り付けた画像を補正画像とする。
図２２には、構成例（３−１）に係る画像処理装置の内部ブロックの例を示してある。
構成例（３−１）に係る画像処理装置は、背景画像作成部６０、移動体抽出部６１、動き補正部６２、シーン・チェンジ検出部６３を有する。
背景画像作成部６０は、逐次入力（時系列に入力）される入力画像の平滑化を行い、背景画像を出力する。
移動物体抽出部６１は、入力画像から移動物体を抽出し、移動物体に該当する座標（例えば、移動物体の検出箇所は画素値２５５、背景領域は画素値０を格納）を出力する。
動き補正部６２は、移動物体に該当する座標に対応した、入力画像の画素を、背景画像上に貼り付ける（動き補正する）。補正結果の画像は、補正画像として出力される。
以上の動作により、入力画像における背景部の陽炎補正を実現できる。
構成例（３−１）に係る画像処理装置は、背景画像作成部６０、移動体抽出部６１、動き補正部６２、シーン・チェンジ検出部６３を有する。
背景画像作成部６０は、逐次入力（時系列に入力）される入力画像の平滑化を行い、背景画像を出力する。
移動物体抽出部６１は、入力画像から移動物体を抽出し、移動物体に該当する座標（例えば、移動物体の検出箇所は画素値２５５、背景領域は画素値０を格納）を出力する。
動き補正部６２は、移動物体に該当する座標に対応した、入力画像の画素を、背景画像上に貼り付ける（動き補正する）。補正結果の画像は、補正画像として出力される。
以上の動作により、入力画像における背景部の陽炎補正を実現できる。
更に、構成例（３−１）に係る画像処理装置では、シーン・チェンジ検出部６３が、例えば、特開平１０−２９４９２３号公報に記載されているように、入力画像（第１のフレーム画像）と入力画像（第２のフレーム画像）との特定のブロックの間の類似度を検出して、その類似度が任意のしきい値未満の場合に、入力画像（第３のフレーム画像）のブロックまで変化を判定することにより、変化する領域の面積が画面の半分未満になるシーン・チェンジの検出もれや、被写体の動きやカメラ操作などの画面内での激しい動きやフラッシュなどの一時的な変化による過剰検出を抑制して、高精度なシーン・チェンジ検出を行う。或いは、入力画像と背景画像の類似度を同様に調べる。
なお、シーン・チェンジ検出部６３は、シーン・チェンジを検出すると、重み変更命令を背景画像作成部６０に送るが、これについては後述する。
なお、シーン・チェンジ検出部６３は、シーン・チェンジを検出すると、重み変更命令を背景画像作成部６０に送るが、これについては後述する。
また、シーン・チェンジ検出部６３は、シーン・チェンジが起きていることを検出した場合は、シーン・チェンジ有無信号の値を１にして、動き補正部６２に送る。ここで、シーン・チェンジ有無信号は、値が０であればシーン・チェンジ無しを表し、値が１であればシーン・チェンジ有りを表す。
動き補正部６２は、シーン・チェンジ有無信号の値をチェックして、この値が１であれば、シーン・チェンジ有りと判断して、入力画像を補正画像とする。一方、シーン・チェンジ有無信号の値が０であれば、シーン・チェンジ無しと判断して、抽出した移動物体を背景画像に貼り付け、これを補正画像とする。
動き補正部６２は、シーン・チェンジ有無信号の値をチェックして、この値が１であれば、シーン・チェンジ有りと判断して、入力画像を補正画像とする。一方、シーン・チェンジ有無信号の値が０であれば、シーン・チェンジ無しと判断して、抽出した移動物体を背景画像に貼り付け、これを補正画像とする。
図２３には、構成例（３−１）に係る画像処理装置の動作フローの例を示してある。
構成例（３−１）に係る画像処理装置では、背景画像の作成ステップＳ６５において、背景画像作成部６０が、逐次入力される入力画像から背景画像を作成する。また、シーン・チェンジ検出処理ステップＳ６６において、シーン・チェンジ検出部６３が、シーン・チェンジの検出を行う。また、移動物体抽出処理ステップＳ６７において、移動物体抽出部６１が、入力画像に含まれる移動物体の検出を行う。
その後、動き補正処理ステップＳ６８において、動き補正部６２が、シーン・チェンジの有無に応じた動作を行う。すなわち、シーン・チェンジ検出部６３からのシーン・チェンジ有無信号に基づいてシーン・チェンジの有無を判定し（Ｔ６１）、シーン・チェンジが有る場合は、入力画像を補正画像とし（Ｔ６３）、シーン・チェンジが無い場合は、抽出した移動物体を背景画像に貼り付け、これを補正画像とする。
構成例（３−１）に係る画像処理装置では、背景画像の作成ステップＳ６５において、背景画像作成部６０が、逐次入力される入力画像から背景画像を作成する。また、シーン・チェンジ検出処理ステップＳ６６において、シーン・チェンジ検出部６３が、シーン・チェンジの検出を行う。また、移動物体抽出処理ステップＳ６７において、移動物体抽出部６１が、入力画像に含まれる移動物体の検出を行う。
その後、動き補正処理ステップＳ６８において、動き補正部６２が、シーン・チェンジの有無に応じた動作を行う。すなわち、シーン・チェンジ検出部６３からのシーン・チェンジ有無信号に基づいてシーン・チェンジの有無を判定し（Ｔ６１）、シーン・チェンジが有る場合は、入力画像を補正画像とし（Ｔ６３）、シーン・チェンジが無い場合は、抽出した移動物体を背景画像に貼り付け、これを補正画像とする。
図２４には、構成例（３−１）に係る背景画像作成部６０の例を示してある。
本例の背景画像作成部６０では、図３に示した背景画像作成部１と同様に、乗算器７１により重みｒ倍した入力画像と、乗算器７２により重み（１−ｒ）倍した過去の背景画像（ラッチ７４に格納されていた背景画像）とを、加算部７３により重み付け加算し、その結果の画像を、新しい背景画像として、ラッチ（遅延部）７４に格納する。
更に、制御部７６は、シーン・チェンジ検出部６３から送られた重み変更命令を受け取ると、例えば、入力画像の重みｒの値（重みｒ部７７に格納された値）を０．００１から１．０に変更して、過去の背景画像の重み（１−ｒ）の値（重みｒ−１部７８に格納された値）を０．９９９から０．０に変更する。つまり、背景画像の初期値を入力画像とすることで、現在の入力画像をベースとした背景画像を作るということである。また、制御部７６は、次のフレームからは、入力画像の重みｒの値を１．０から０．００１に戻して、背景画像を作る。
なお、この例では、ラッチ７４の初期値は０（黒画像）であるため、背景画像は、フレーム番号が進むにつれ、黒画像から、徐々に揺らぎの無い画像となる。
本例の背景画像作成部６０では、図３に示した背景画像作成部１と同様に、乗算器７１により重みｒ倍した入力画像と、乗算器７２により重み（１−ｒ）倍した過去の背景画像（ラッチ７４に格納されていた背景画像）とを、加算部７３により重み付け加算し、その結果の画像を、新しい背景画像として、ラッチ（遅延部）７４に格納する。
更に、制御部７６は、シーン・チェンジ検出部６３から送られた重み変更命令を受け取ると、例えば、入力画像の重みｒの値（重みｒ部７７に格納された値）を０．００１から１．０に変更して、過去の背景画像の重み（１−ｒ）の値（重みｒ−１部７８に格納された値）を０．９９９から０．０に変更する。つまり、背景画像の初期値を入力画像とすることで、現在の入力画像をベースとした背景画像を作るということである。また、制御部７６は、次のフレームからは、入力画像の重みｒの値を１．０から０．００１に戻して、背景画像を作る。
なお、この例では、ラッチ７４の初期値は０（黒画像）であるため、背景画像は、フレーム番号が進むにつれ、黒画像から、徐々に揺らぎの無い画像となる。
図２５には、構成例（３−１）に係る背景画像作成部６０の他の例を示してある。
本例の背景画像作成部６０の基本的な動作は、図２４に示した背景画像作成部６０と同様である。
ここで、本例の背景画像作成部６０には、ラッチ７４への入力を入力画像（Ａ側）又は加算部７３の出力（Ｂ側）のいずれかに切り替えるセレクタ７５を設けてある。
この例では、電源起動時は、セレクタ７５はＡ側になっているため、ラッチ７４の初期値は入力画像であり、背景画像は、入力画像と同じである。その後は、制御部７６が、セレクタ７５をＢ側に切り替えることにより、背景画像は、フレーム番号が進むにつれ、入力画像から、徐々に揺らぎの無い画像となる。
すなわち、図２４では黒画像を背景画像の初期値としたのに対し、図２５では入力画像を背景画像の初期とした。
本例の背景画像作成部６０の基本的な動作は、図２４に示した背景画像作成部６０と同様である。
ここで、本例の背景画像作成部６０には、ラッチ７４への入力を入力画像（Ａ側）又は加算部７３の出力（Ｂ側）のいずれかに切り替えるセレクタ７５を設けてある。
この例では、電源起動時は、セレクタ７５はＡ側になっているため、ラッチ７４の初期値は入力画像であり、背景画像は、入力画像と同じである。その後は、制御部７６が、セレクタ７５をＢ側に切り替えることにより、背景画像は、フレーム番号が進むにつれ、入力画像から、徐々に揺らぎの無い画像となる。
すなわち、図２４では黒画像を背景画像の初期値としたのに対し、図２５では入力画像を背景画像の初期とした。
図２６には、構成例（３−１）に係る画像処理装置によるシーン・チェンジ（移動物体に起因するシーンチェンジ）の例を示してある。
この例では、実際にはシーン・チェンジが発生していないのに、移動物体の出現をシーン・チェンジとして判断してしまうと、再び陽炎補正ができるのは、Ｍフレーム後になることを示している。
この対応策として、下記の構成例（３−２）が挙げられる。
この例では、実際にはシーン・チェンジが発生していないのに、移動物体の出現をシーン・チェンジとして判断してしまうと、再び陽炎補正ができるのは、Ｍフレーム後になることを示している。
この対応策として、下記の構成例（３−２）が挙げられる。
図２７には、構成例（３−２）に係る画像処理装置によるシーン・チェンジ（移動物体に起因するシーンチェンジ）の例を示してある。
この例では、実際にはシーン・チェンジが発生していないのに、移動物体の出現をシーン・チェンジとして判断してしまっても、移動物体が通り過ぎた後の入力画像と、シーン・チェンジ検出前背景格納用ラッチに格納されているシーン・チェンジ検出前の背景画像をフレーム毎に比較（例えば、各画像のヒストグラム同士を比較）していき、或るフレーム（図２７ではフレームＮ＋１０）で本当はシーン・チェンジしていないことがわかれば、その次のフレーム（図２７ではフレームＮ＋１１）で背景画像を元に戻す。つまり、入力画像中の移動物体に起因するシーン・チェンジの誤検出の場合には、背景画像をシーン・チェンジ検出前の背景画像にする。これにより、Ｍフレームの経過を待つことなく、直ぐに陽炎補正を行うことができる。
この例では、実際にはシーン・チェンジが発生していないのに、移動物体の出現をシーン・チェンジとして判断してしまっても、移動物体が通り過ぎた後の入力画像と、シーン・チェンジ検出前背景格納用ラッチに格納されているシーン・チェンジ検出前の背景画像をフレーム毎に比較（例えば、各画像のヒストグラム同士を比較）していき、或るフレーム（図２７ではフレームＮ＋１０）で本当はシーン・チェンジしていないことがわかれば、その次のフレーム（図２７ではフレームＮ＋１１）で背景画像を元に戻す。つまり、入力画像中の移動物体に起因するシーン・チェンジの誤検出の場合には、背景画像をシーン・チェンジ検出前の背景画像にする。これにより、Ｍフレームの経過を待つことなく、直ぐに陽炎補正を行うことができる。
図２８には、構成例（３−２）に係る画像処理装置によるシーン・チェンジ（通常のシーンチェンジ）の例を示してある。
この例では、通常のシーン・チェンジが発生した場合は、移動物体が通り過ぎた後の入力画像と、シーン・チェンジ検出前の背景画像をフレーム毎に比較（例えば、各画像のヒストグラム同士を比較）していき、或るフレーム（図２７ではフレームＮ＋１０）で本当にシーン・チェンジを検出したことがわかれば、その次のフレーム（図２７ではフレームＮ＋１１）でシーン・チェンジ検出前背景格納用ラッチに、現在の背景画像を格納する。
この例では、通常のシーン・チェンジが発生した場合は、移動物体が通り過ぎた後の入力画像と、シーン・チェンジ検出前の背景画像をフレーム毎に比較（例えば、各画像のヒストグラム同士を比較）していき、或るフレーム（図２７ではフレームＮ＋１０）で本当にシーン・チェンジを検出したことがわかれば、その次のフレーム（図２７ではフレームＮ＋１１）でシーン・チェンジ検出前背景格納用ラッチに、現在の背景画像を格納する。
図２９には、構成例（３−２）に係る画像処理装置の内部ブロックの例を示してある。
構成例（３−２）に係る画像処理装置は、背景画像作成部６０、移動体抽出部６１、動き補正部６２、シーン・チェンジ検出部６３、シーン・チェンジ検出前背景格納用ラッチ６４を有する。
背景画像作成部６０は、逐次入力（時系列に入力）される入力画像の平滑化を行い、背景画像を出力する。
移動物体抽出部６１は、入力画像から移動物体を抽出し、移動物体に該当する座標（例えば、移動物体の検出箇所は画素値２５５、背景領域は画素値０を格納）を出力する。
動き補正部６２は、移動物体に該当する座標に対応した、入力画像の画素を、背景画像上に貼り付ける（動き補正する）。補正結果の画像は、補正画像として出力される。
以上の動作により、入力画像における背景部の陽炎補正を実現できる。
構成例（３−２）に係る画像処理装置は、背景画像作成部６０、移動体抽出部６１、動き補正部６２、シーン・チェンジ検出部６３、シーン・チェンジ検出前背景格納用ラッチ６４を有する。
背景画像作成部６０は、逐次入力（時系列に入力）される入力画像の平滑化を行い、背景画像を出力する。
移動物体抽出部６１は、入力画像から移動物体を抽出し、移動物体に該当する座標（例えば、移動物体の検出箇所は画素値２５５、背景領域は画素値０を格納）を出力する。
動き補正部６２は、移動物体に該当する座標に対応した、入力画像の画素を、背景画像上に貼り付ける（動き補正する）。補正結果の画像は、補正画像として出力される。
以上の動作により、入力画像における背景部の陽炎補正を実現できる。
また、シーン・チェンジ検出部６３は、シーン・チェンジ検出を行い、シーン・チェンジを検出すると、重み変更命令を背景画像作成部６０に送る。
ここまでは、構成例（３−１）と同様である。
構成例（３−２）では、シーン・チェンジ検出部６３は、更に、フレーム番号が進み、本当はシーン・チェンジしていないことがわかると、初期値変更命令を背景画像作成部６０に送る。
背景画像作成部６０は、シーン・チェンジ検出部６３から初期値変更命令が送られてくると、シーン・チェンジ検出前背景格納用ラッチ６４に格納されていた背景画像を、ラッチ７４に格納する。つまり、背景画像を、シーン・チェンジ前の背景画像に戻す。
ここまでは、構成例（３−１）と同様である。
構成例（３−２）では、シーン・チェンジ検出部６３は、更に、フレーム番号が進み、本当はシーン・チェンジしていないことがわかると、初期値変更命令を背景画像作成部６０に送る。
背景画像作成部６０は、シーン・チェンジ検出部６３から初期値変更命令が送られてくると、シーン・チェンジ検出前背景格納用ラッチ６４に格納されていた背景画像を、ラッチ７４に格納する。つまり、背景画像を、シーン・チェンジ前の背景画像に戻す。
図３０には、構成例（３−２）に係る画像処理装置の動作フローの例を示してある。
構成例（３−１）に係る画像処理装置では、背景画像の作成ステップＳ６５において、背景画像作成部６０が、逐次入力される入力画像から背景画像を作成する。また、シーン・チェンジ検出処理ステップＳ６６において、シーン・チェンジ検出部６３が、シーン・チェンジを検出する。また、移動物体抽出処理ステップＳ６７において、移動物体抽出部６１が、入力画像に含まれる移動物体を検出する。
その後、動き補正処理ステップＳ６８において、動き補正部６２が、シーン・チェンジが有る場合は、入力画像を補正画像とし、シーン・チェンジが無い場合は、抽出した移動物体を背景画像に貼り付け、これを補正画像とする。
また、重み変更処理ステップＳ６９において、背景画像作成部６０の制御部７６が、重み変更命令に応じて、入力画像の重みｒの値と、過去の背景画像の重み（１−ｒ）の値を変更する。
構成例（３−１）に係る画像処理装置では、背景画像の作成ステップＳ６５において、背景画像作成部６０が、逐次入力される入力画像から背景画像を作成する。また、シーン・チェンジ検出処理ステップＳ６６において、シーン・チェンジ検出部６３が、シーン・チェンジを検出する。また、移動物体抽出処理ステップＳ６７において、移動物体抽出部６１が、入力画像に含まれる移動物体を検出する。
その後、動き補正処理ステップＳ６８において、動き補正部６２が、シーン・チェンジが有る場合は、入力画像を補正画像とし、シーン・チェンジが無い場合は、抽出した移動物体を背景画像に貼り付け、これを補正画像とする。
また、重み変更処理ステップＳ６９において、背景画像作成部６０の制御部７６が、重み変更命令に応じて、入力画像の重みｒの値と、過去の背景画像の重み（１−ｒ）の値を変更する。
そして、復帰処理ステップＳ７０において、本当のシーン・チェンジか否かに応じた動作を行う。すなわち、シーン・チェンジ検出部６３が、現在の背景画像と、シーン・チェンジ検出前背景格納用ラッチ６４に格納してある背景画像の、パラメータの差が所定のしきい値以下であるか否かを判定する（Ｔ７１）。パラメータの差がしきい値以下でない場合は、シーン・チェンジは移動物体による一時的なものだったと判断して（Ｔ７２）、背景画像作成部６０のラッチ７４に、シーン・チェンジ検出前背景格納用ラッチ６４に格納されていた背景画像を格納する（Ｔ７３）。一方、パラメータの差がしきい値以下の場合は、本当にシーン・チェンジしていると判断して（Ｔ７４）、シーン・チェンジ検出前背景格納用ラッチ６４に、現在の背景画像を格納する（Ｔ７５）。
図３１には、構成例（３−２）に係る背景画像作成部６０の例を示してある。
本例の背景画像作成部６０の基本的な動作は、図２４に示した背景画像作成部６０と同様である。
ここで、本例の背景画像作成部６０には、ラッチ７４への入力を入力画像（Ａ側）又は加算部７３の出力（Ｂ側）又はシーン・チェンジ検出前背景格納用ラッチ６４の出力（Ｃ側）のいずれかに切り替えるセレクタ７５を設けてある。
この例では、電源起動時は、セレクタ７５はＡ側になっているため、ラッチ７４の初期値は入力画像であり、背景画像は、入力画像と同じである。その後は、制御部７６が、セレクタ７５をＢ側に切り替えることにより、背景画像は、フレーム番号が進むにつれ、入力画像から、徐々に揺らぎの無い画像となる。これに加えて、制御部７６が、シーン・チェンジ検出部６３からの初期値変更命令に応じて、セレクタ７５をＣ側に切り替えることにより、シーン・チェンジ検出前の背景画像に戻すことができる。
本例の背景画像作成部６０の基本的な動作は、図２４に示した背景画像作成部６０と同様である。
ここで、本例の背景画像作成部６０には、ラッチ７４への入力を入力画像（Ａ側）又は加算部７３の出力（Ｂ側）又はシーン・チェンジ検出前背景格納用ラッチ６４の出力（Ｃ側）のいずれかに切り替えるセレクタ７５を設けてある。
この例では、電源起動時は、セレクタ７５はＡ側になっているため、ラッチ７４の初期値は入力画像であり、背景画像は、入力画像と同じである。その後は、制御部７６が、セレクタ７５をＢ側に切り替えることにより、背景画像は、フレーム番号が進むにつれ、入力画像から、徐々に揺らぎの無い画像となる。これに加えて、制御部７６が、シーン・チェンジ検出部６３からの初期値変更命令に応じて、セレクタ７５をＣ側に切り替えることにより、シーン・チェンジ検出前の背景画像に戻すことができる。
以上のようにすることで、陽炎などの自然界の大気要因によって生じる事象による画像画質の劣化を改善し、良好な画質を得ることができ、更に、シーン・チェンジに起因する画質の劣化を効果的に抑制することができる。
以上の実施例３の特徴を纏めると次のようになる。
（１） 対象領域を撮影する撮像装置と、前記撮像装置で撮影した映像を処理する画像処理装置において、前記撮像装置から逐次入力される入力画像に基づいて、背景画像を作成する背景画像作成部と、入力画像に含まれる移動物体を検出する移動物体抽出部と、入力画像中の移動物体に対応する領域と背景画像に基づいて、当該入力画像を補正する動き補正部と、入力画像について発生したシーン・チェンジを検出するシーン・チェンジ検出部と、を備え、前記動き補正部は、シーン・チェンジが検出された場合に、入力画像の補正結果として当該入力画像を出力することを特徴とする。
（２） また、（１）の前記画像処理装置は、シーン・チェンジ検出前の背景画像を格納するシーン・チェンジ検出前背景格納用ラッチを有し、前記シーン・チェンジ検出部は、シーン・チェンジの検出後に入力画像とシーン・チェンジ検出前の背景画像を比較して、入力画像中の移動物体に起因するシーン・チェンジの誤検出か否かを判定し、誤検出である場合には、背景画像をシーン・チェンジ検出前の背景画像に戻し、誤検出でない場合には、その時点の背景画像をシーン・チェンジ検出前背景格納用ラッチに格納することを特徴とする。
（３） また、（１）（２）の前記背景画像作成部は、入力画像に第１重みを乗じた結果と過去の背景画像に第２重みを乗じた結果とを重み付け加算して背景画像を作成し、シーン・チェンジが検出された場合には、第１重みと第２重みを変更することを特徴とする。
（４） また、（３）の前記背景画像作成部は、第１重みとして、０から１の間の値をとるαを用い、第２重みとして、１−αを用い、シーン・チェンジが検出された場合には、第１重みを１、第２重みを０にすることを特徴とする。
（５） また、（４）の前記背景画像作成部は、シーン・チェンジが検出されたフレームについて、第１重みを１、第２重みを０にし、次のフレームから、第１重みをα、第２重みを１−αに戻すことを特徴とする。
（１） 対象領域を撮影する撮像装置と、前記撮像装置で撮影した映像を処理する画像処理装置において、前記撮像装置から逐次入力される入力画像に基づいて、背景画像を作成する背景画像作成部と、入力画像に含まれる移動物体を検出する移動物体抽出部と、入力画像中の移動物体に対応する領域と背景画像に基づいて、当該入力画像を補正する動き補正部と、入力画像について発生したシーン・チェンジを検出するシーン・チェンジ検出部と、を備え、前記動き補正部は、シーン・チェンジが検出された場合に、入力画像の補正結果として当該入力画像を出力することを特徴とする。
（２） また、（１）の前記画像処理装置は、シーン・チェンジ検出前の背景画像を格納するシーン・チェンジ検出前背景格納用ラッチを有し、前記シーン・チェンジ検出部は、シーン・チェンジの検出後に入力画像とシーン・チェンジ検出前の背景画像を比較して、入力画像中の移動物体に起因するシーン・チェンジの誤検出か否かを判定し、誤検出である場合には、背景画像をシーン・チェンジ検出前の背景画像に戻し、誤検出でない場合には、その時点の背景画像をシーン・チェンジ検出前背景格納用ラッチに格納することを特徴とする。
（３） また、（１）（２）の前記背景画像作成部は、入力画像に第１重みを乗じた結果と過去の背景画像に第２重みを乗じた結果とを重み付け加算して背景画像を作成し、シーン・チェンジが検出された場合には、第１重みと第２重みを変更することを特徴とする。
（４） また、（３）の前記背景画像作成部は、第１重みとして、０から１の間の値をとるαを用い、第２重みとして、１−αを用い、シーン・チェンジが検出された場合には、第１重みを１、第２重みを０にすることを特徴とする。
（５） また、（４）の前記背景画像作成部は、シーン・チェンジが検出されたフレームについて、第１重みを１、第２重みを０にし、次のフレームから、第１重みをα、第２重みを１−αに戻すことを特徴とする。
以上の実施形態では、カメラなどの撮像による監視装置を例に説明したが、これに限定されず、各種撮像装置の画像処理装置として適用することができる。
また、本発明を具体的な実施形態により説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を逸脱しない範囲で変更して実施することができる。
また、本発明を具体的な実施形態により説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を逸脱しない範囲で変更して実施することができる。
本発明は、上記説明した監視装置に限らず、各種撮像装置における陽炎による画像劣化の防止に広く利用できる。
１…背景画像作成部、 ２…移動物体抽出部、 ３…動き補正部、 ４…ヒストグラム処理部、 ５…しきい値判別処理部、 ６…移動物体に該当する座標の修正処理部、 ７…差分画像作成部、 ８…トレーニング処理部、 ９…収縮・膨張処理部、 １０…水平エッジ計算部、 １１…エリア限定部、 １２…誤検出履歴。
３０…遅延部、 ３１…加算器、 ３２…乗算器、 ３３…乗算器。
４０…背景画像作成部、 ４１…オプティカルフロー計算部（ブロックマッチング法）、 ４２…動き補正部、 ４３…オプティカルフロー計算部（勾配法）、 ４４…補正フロー計算部、 ４５…メモリ、 ４６…メモリ。
６０…背景画像作成部、 ６１…移動物体抽出部、 ６２…動き補正部、 ６３…シーン・チェンジ検出部、 ６４…シーン・チェンジ検出前背景格納用ラッチ。
７１…乗算器、 ７２…乗算器、 ７３…加算器、 ７４…ラッチ、 ７５…セレクタ、 ７６…制御部、 ７７…入力画像の重みｒ、 ７８…過去の背景画像の重み（１−ｒ）、 ７９…ディレイ、 ８０…加算器、 ８１…乗算器、 ８２…乗算器。
Ｓ２０…背景画像の作成ステップ、 Ｓ２１…ヒストグラム処理ステップ、 Ｓ２２…しきい値判別処理ステップ、 Ｓ２３…移動物体に該当する座標の修正処理ステップ、 Ｓ２４…動き補正ステップ、 Ｓ２５…差分画像の作成ステップ、 Ｓ２６…トレーニング処理ステップ、 Ｓ２７…収縮・膨張処理ステップ、 Ｓ２８…水平エッジ計算ステップ、 Ｓ２９…エリア限定処理ステップ。
Ｓ４７…背景画像作成ステップ、 Ｓ４８…オプティカルフロー計算ステップ（ブロックマッチング法）、 Ｓ４９…基準フローのメモリ格納ステップ、 Ｓ５０…動き補正ステップ、 Ｓ５１…オプティカルフロー計算ステップ（勾配法）、 Ｓ５２…メモリからの基準フローの読み出しステップ、 Ｓ５３…基準フロー計算ステップ、 Ｓ５４…入力画像のメモリ格納ステップ。
Ｓ６５…背景画像の作成ステップ、 Ｓ６６…シーン・チェンジ検出処理ステップ、 Ｓ６７…移動物体抽出処理ステップ、 Ｓ６８…動き補正処理ステップ、 Ｓ６９…重み変更処理ステップ、 Ｓ７０…復帰処理ステップ。
３０…遅延部、 ３１…加算器、 ３２…乗算器、 ３３…乗算器。
４０…背景画像作成部、 ４１…オプティカルフロー計算部（ブロックマッチング法）、 ４２…動き補正部、 ４３…オプティカルフロー計算部（勾配法）、 ４４…補正フロー計算部、 ４５…メモリ、 ４６…メモリ。
６０…背景画像作成部、 ６１…移動物体抽出部、 ６２…動き補正部、 ６３…シーン・チェンジ検出部、 ６４…シーン・チェンジ検出前背景格納用ラッチ。
７１…乗算器、 ７２…乗算器、 ７３…加算器、 ７４…ラッチ、 ７５…セレクタ、 ７６…制御部、 ７７…入力画像の重みｒ、 ７８…過去の背景画像の重み（１−ｒ）、 ７９…ディレイ、 ８０…加算器、 ８１…乗算器、 ８２…乗算器。
Ｓ２０…背景画像の作成ステップ、 Ｓ２１…ヒストグラム処理ステップ、 Ｓ２２…しきい値判別処理ステップ、 Ｓ２３…移動物体に該当する座標の修正処理ステップ、 Ｓ２４…動き補正ステップ、 Ｓ２５…差分画像の作成ステップ、 Ｓ２６…トレーニング処理ステップ、 Ｓ２７…収縮・膨張処理ステップ、 Ｓ２８…水平エッジ計算ステップ、 Ｓ２９…エリア限定処理ステップ。
Ｓ４７…背景画像作成ステップ、 Ｓ４８…オプティカルフロー計算ステップ（ブロックマッチング法）、 Ｓ４９…基準フローのメモリ格納ステップ、 Ｓ５０…動き補正ステップ、 Ｓ５１…オプティカルフロー計算ステップ（勾配法）、 Ｓ５２…メモリからの基準フローの読み出しステップ、 Ｓ５３…基準フロー計算ステップ、 Ｓ５４…入力画像のメモリ格納ステップ。
Ｓ６５…背景画像の作成ステップ、 Ｓ６６…シーン・チェンジ検出処理ステップ、 Ｓ６７…移動物体抽出処理ステップ、 Ｓ６８…動き補正処理ステップ、 Ｓ６９…重み変更処理ステップ、 Ｓ７０…復帰処理ステップ。
Claims (3)
- 対象領域を撮影する撮像装置と、前記撮像装置で撮影した映像を処理する画像処理装置において、
前記撮像装置から逐次入力される入力画像に基づいて、背景画像を作成する背景画像作成部と、
入力画像に含まれる移動物体を検出する移動物体抽出部と、
入力画像中の移動物体に対応する領域と背景画像に基づいて、当該入力画像を補正する動き補正部と、を備え、
前記移動物体抽出部は、トレーニング期間中に移動物体を検出した領域を背景領域とみなし、トレーニング期間終了後に、背景領域以外の領域で移動物体の検出を行う、
ことを特徴とする画像処理装置。 - 対象領域を撮影する撮像装置と、前記撮像装置で撮影した映像を処理する画像処理装置において、
前記撮像装置から逐次入力される入力画像に基づいて、背景画像を作成する背景画像作成部と、
入力画像と背景画像をブロックマッチング法により比較して、基準のオプティカルフローを計算する第１のオプティカルフロー計算部と、
連続するフレーム間で入力画像同士を勾配法により比較して、差分のオプティカルフローを計算する第２のオプティカルフロー計算部と、
基準のオプティカルフローに差分のオプティカルフローを加算することで、補正フローを計算する補正フロー計算部と、
基準のオプティカルフロー又は補正フローと入力画像と背景画像に基づいて、当該入力画像を補正する動き補正部と、
を備えたことを特徴とする画像処理装置。 - 対象領域を撮影する撮像装置と、前記撮像装置で撮影した映像を処理する画像処理装置において、
前記撮像装置から逐次入力される入力画像に基づいて、背景画像を作成する背景画像作成部と、
入力画像に含まれる移動物体を検出する移動物体抽出部と、
入力画像中の移動物体に対応する領域と背景画像に基づいて、当該入力画像を補正する動き補正部と、
入力画像について発生したシーン・チェンジを検出するシーン・チェンジ検出部と、を備え、
前記動き補正部は、シーン・チェンジが検出された場合に、入力画像の補正結果として当該入力画像を出力する、
ことを特徴とする画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012119199A JP2013246601A (ja) | 2012-05-25 | 2012-05-25 | 画像処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012119199A JP2013246601A (ja) | 2012-05-25 | 2012-05-25 | 画像処理装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2013246601A true JP2013246601A (ja) | 2013-12-09 |
Family
ID=49846321
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012119199A Pending JP2013246601A (ja) | 2012-05-25 | 2012-05-25 | 画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2013246601A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140320682A1 (en) * | 2011-12-09 | 2014-10-30 | Hitachi Kokusai Electric Inc. | Image processing device |
| WO2020230340A1 (ja) * | 2019-05-13 | 2020-11-19 | 株式会社マイクロネット | 顔認識システム、顔認識方法及び顔認識プログラム |
-
2012
- 2012-05-25 JP JP2012119199A patent/JP2013246601A/ja active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140320682A1 (en) * | 2011-12-09 | 2014-10-30 | Hitachi Kokusai Electric Inc. | Image processing device |
| US9191589B2 (en) * | 2011-12-09 | 2015-11-17 | Hitachi Kokusai Electric Inc. | Image processing device |
| WO2020230340A1 (ja) * | 2019-05-13 | 2020-11-19 | 株式会社マイクロネット | 顔認識システム、顔認識方法及び顔認識プログラム |
| JP2020187479A (ja) * | 2019-05-13 | 2020-11-19 | 株式会社マイクロネット | 顔認識システム、顔認識方法及び顔認識プログラム |
| US11455828B2 (en) | 2019-05-13 | 2022-09-27 | Micronet Co., Ltd. | Face recognition system, face recognition method and face recognition program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8289402B2 (en) | Image processing apparatus, image pickup apparatus and image processing method including image stabilization | |
| US10769798B2 (en) | Moving object detection apparatus, moving object detection method and program | |
| US8089515B2 (en) | Method and device for controlling auto focusing of a video camera by tracking a region-of-interest | |
| KR102153607B1 (ko) | 영상에서의 전경 검출 장치 및 방법 | |
| US9191589B2 (en) | Image processing device | |
| KR101747216B1 (ko) | 표적 추출 장치와 그 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록 매체 | |
| KR101071352B1 (ko) | 좌표맵을 이용한 팬틸트줌 카메라 기반의 객체 추적 장치 및 방법 | |
| EP2180695B1 (en) | Apparatus and method for improving frame rate using motion trajectory | |
| CN112184759A (zh) | 一种基于视频的运动目标检测与跟踪方法及系统 | |
| US10051274B2 (en) | Image processing apparatus, method of calculating information according to motion of frame, and storage medium | |
| US20140037212A1 (en) | Image processing method and device | |
| US10410358B2 (en) | Image processing with occlusion and error handling in motion fields | |
| CN106251348B (zh) | 一种面向深度相机的自适应多线索融合背景减除方法 | |
| KR20180102639A (ko) | 화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램 및 기억 매체 | |
| CN112509003A (zh) | 解决目标跟踪框漂移的方法及系统 | |
| KR101396838B1 (ko) | 다수의 모션 모델을 선택적으로 이용하는 영상 안정화 방법 및 시스템 | |
| JP5927051B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP2014110020A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| JP2013246601A (ja) | 画像処理装置 | |
| US10880457B2 (en) | Image processing apparatus, image capturing apparatus, image processing method, and storage medium | |
| JP5927053B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| US20140307075A1 (en) | Imaging apparatus and control method thereof | |
| US11495006B2 (en) | Object detection method for static scene and associated electronic device | |
| JP7435298B2 (ja) | 物体検出装置および物体検出方法 | |
| JP2011259044A (ja) | 画像処理装置、方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20140730 |