JP2014081704A - 飛来物体を検出する画像処理方法、画像処理装置及び画像処理プログラム - Google Patents

Abstract

【課題】手間をかけることなく且つ処理に長時間を要することなく監視対象区域への移動体の進入を検出することができるようにする。
【解決手段】撮像装置を用いて監視対象区域を撮影し（Ｓ１）、当該撮影によって得られた撮像画像のデータであって予め定められた処理単位時間に亘って時系列で連続する撮像画像のデータを用いて処理単位時間の間における画素座標(ｘ，ｙ)毎の輝度値の最大値を画素値Ｈ(ｘ，ｙ)とする高輝度画像Ｈ及び輝度値の最小値を画素値Ｌ(ｘ，ｙ)とする低輝度画像Ｌを作成し（Ｓ２−１）、高輝度画像Ｈと低輝度画像Ｌとの画素座標(ｘ，ｙ)毎の画素値の差分値であるＭax[Ｈ(ｘ，ｙ)−Ｌ(ｘ，ｙ)，０]を画素値Ｓ(ｘ，ｙ)とする差分画像Ｓを作成し（Ｓ３）、当該差分画像Ｓを二値変換して飛来する移動体の移動軌跡基本画像Ｓ_bを作成する（Ｓ４）ようにした。
【選択図】図１

Description

本発明は、飛来物体を検出する画像処理方法、画像処理装置及び画像処理プログラムに関する。さらに詳述すると、本発明は、監視対象区域へ飛来する輝度の低い移動体の進入を検出する技術及び監視対象区域へ飛来する輝度の低い移動体の進入回数を計測する技術に関する。

移動体の進入の有無を監視する対象区域が多数存在したり、監視時間が長時間・長期間に及んだりする場合には、人的資源の制約などの事情から撮像機器や処理装置などを用いて機械的・自動的に移動体の進入の有無を判断できることが望ましいことが多い。

監視対象区域への移動体の進入を検知する従来の仕組みとしては、例えば、侵入物監視装置と、侵入物監視エリアを監視できる位置に設置される映像監視装置と、これらの侵入物監視装置及び映像監視装置との間を接続する通信回線とを具備し、映像監視装置は侵入物監視エリア内を撮像する監視カメラ及び映像監視盤を備え、映像監視盤は、監視カメラにより撮像された対象物映像イメージと予め記憶した対象物想定イメージとを比較照合してほぼ一致した場合に侵入物監視装置側に警報信号を送信する警報信号発信器と、侵入物監視装置側から対象物映像イメージデータ要求信号を受信することによって対象物映像イメージデータ信号を侵入物監視装置側へ送信する対象物映像イメージデータ生成手段とを備え、侵入物監視装置は、映像監視装置側から送信される警報信号を受信することによって警報を出す警報器と、映像監視装置側にて撮像された対象物映像イメージと対象物想定イメージとが侵入物監視装置側にてほぼ一致したと判断された場合に侵入物監視装置側へ対象物映像イメージデータ要求信号を送信することができるように設けられるモニタ画面とを備え、侵入物監視装置側にて上記対象物映像イメージデータ信号を受信することによってモニタ画面に対象物映像イメージデータを表示するものがある（特許文献１）。

特開２００６−１１９７６１

しかしながら、特許文献１の移動体の進入を検知する仕組みでは、移動体のイメージを予め記憶させておく必要があるところ、移動体が監視対象区域に進入する方向が特定されない場合には移動体のあらゆる方向からの多数のイメージを予め準備する必要があり、コスト並びに多大な手間と時間とがかかるという問題がある。特に、鳥などの飛来物体を記録して多数のイメージを予め準備するには、多大な手間と時間とがかかるという問題がある。したがって、鳥などの飛来物体の検知に対しては、特許文献１の仕組みは汎用性が高いとは言えない。

そこで、本発明は、例えば移動体のイメージを予め準備するなどの手間をかけることなく、さらに、処理に長時間を要することなく、監視対象区域への飛来物体等の移動体の進入を検出することができ、また、監視対象区域への飛来物体等の移動体の進入回数を計測することができる画像処理方法、画像処理装置及び画像処理プログラムを提供することを目的とする。

ここで、本発明では、撮像装置の撮影範囲の背景よりも輝度が低い飛来物体等の移動体の移動軌跡を検出対象とする。なお、本発明では、撮影範囲の背景の多くの部分よりも輝度が低い移動体であれば検出することができ、撮影範囲の背景の一部に検出対象とする移動体と同程度の輝度である物体若しくは検出対象とする移動体よりも輝度の低い物体があっても構わない。

かかる目的を達成するため、本発明の飛来物体を検出する画像処理方法は、監視対象区域の撮影によって得られた撮像画像のデータであって予め定められた処理単位時間に亘って時系列で連続する撮像画像のデータを用いて処理単位時間の間における画素座標(ｘ，ｙ)毎の輝度値の最大値を画素値Ｈ(ｘ，ｙ)とする高輝度画像及び輝度値の最小値を画素値Ｌ(ｘ，ｙ)とする低輝度画像を作成し、高輝度画像と低輝度画像との画素座標(ｘ，ｙ)毎の画素値の差分値であるＭax[Ｈ(ｘ，ｙ)−Ｌ(ｘ，ｙ)，０]を画素値とする差分画像を作成し、当該差分画像を二値変換して飛来する移動体の移動軌跡画像を作成するようにしている。

また、本発明の飛来物体を検出する画像処理装置は、監視対象区域の撮影によって得られた撮像画像のデータであって予め定められた処理単位時間に亘って時系列で連続する撮像画像のデータを記憶装置から読み込む手段と、処理単位時間の間における画素座標(ｘ，ｙ)毎の輝度値の最大値を画素値Ｈ(ｘ，ｙ)とする高輝度画像及び輝度値の最小値を画素値Ｌ(ｘ，ｙ)とする低輝度画像を作成する手段と、高輝度画像と低輝度画像との画素座標(ｘ，ｙ)毎の画素値の差分値であるＭax[Ｈ(ｘ，ｙ)−Ｌ(ｘ，ｙ)，０]を画素値とする差分画像を作成する手段と、差分画像を二値変換して飛来する移動体の移動軌跡画像を作成する手段とを有するようにしている。

また、本発明の飛来物体を検出する画像処理プログラムは、監視対象区域の撮影によって得られた撮像画像のデータであって予め定められた処理単位時間に亘って時系列で連続する撮像画像のデータを記憶装置から読み込む手段、処理単位時間の間における画素座標(ｘ，ｙ)毎の輝度値の最大値を画素値Ｈ(ｘ，ｙ)とする高輝度画像及び輝度値の最小値を画素値Ｌ(ｘ，ｙ)とする低輝度画像を作成する手段、高輝度画像と低輝度画像との画素座標(ｘ，ｙ)毎の画素値の差分値であるＭax[Ｈ(ｘ，ｙ)−Ｌ(ｘ，ｙ)，０]を画素値とする差分画像を作成する手段、差分画像を二値変換して飛来する移動体の移動軌跡画像を作成する手段としてコンピュータを機能させるようにしている。

したがって、本発明の飛来物体を検出する画像処理方法、画像処理装置及び画像処理プログラムによると、予め定められた時間区分での時系列連続画像群における高輝度画像と低輝度画像とを対比することによって移動軌跡画像を作成するようにしているので、処理内容としては簡便に、したがって機器の計算負荷を抑えながらも撮像画像からの移動体の抽出が高い精度で行われる。

本発明の飛来物体を検出する画像処理方法、画像処理装置及び画像処理プログラムによると、また、一台の撮像装置で撮像した画像から移動体の検出及び監視対象区域への移動体の進入回数の計測を行うことができ、特別の撮像装置や複数台の撮像装置を用いる必要がない。

また、本発明の飛来物体を検出する画像処理方法は、低輝度画像の画素座標(ｘ，ｙ)毎の輝度値として選択された画素値を有する元の撮像画像の時刻識別子ｔの値を画素値Ｔ(ｘ，ｙ)に変換して記録した時刻画像を更に作成し、当該時刻画像の画素座標(ｘ，ｙ)毎の画素値Ｔ(ｘ，ｙ)として出現する撮像画像の時刻識別子ｔの値別の出現頻度に基づく所定の条件を時刻画像における画素値Ｔ(ｘ，ｙ)としての撮像画像の時刻識別子ｔの値が満たしている画素座標(ｘ，ｙ)は飛来する移動体の移動軌跡であるとして移動軌跡画像に飛来する移動体の移動軌跡を追加して移動軌跡補完画像を作成するようにすることもできる。また、本発明の飛来物体を検出する画像処理装置は、低輝度画像の画素座標(ｘ，ｙ)毎の輝度値として選択された画素値を有する元の撮像画像の時刻識別子ｔの値を画素値Ｔ(ｘ，ｙ)に変換して記録した時刻画像を作成し、さらに、時刻画像の画素座標(ｘ，ｙ)毎の画素値Ｔ(ｘ，ｙ)として出現する撮像画像の時刻識別子ｔの値別の出現頻度に基づく所定の条件を時刻画像における画素値Ｔ(ｘ，ｙ)としての撮像画像の時刻識別子ｔの値が満たしている画素座標(ｘ，ｙ)は飛来する移動体の移動軌跡であるとして移動軌跡画像に飛来する移動体の移動軌跡を追加して移動軌跡補完画像を作成する手段を有するようにすることもできる。また、本発明の飛来物体を検出する画像処理プログラムは、低輝度画像の画素座標(ｘ，ｙ)毎の輝度値として選択された画素値を有する元の撮像画像の時刻識別子ｔの値を画素値Ｔ(ｘ，ｙ)に変換して記録した時刻画像を作成する手段、時刻画像の画素座標(ｘ，ｙ)毎の画素値Ｔ(ｘ，ｙ)として出現する撮像画像の時刻識別子ｔの値別の出現頻度に基づく所定の条件を時刻画像における画素値Ｔ(ｘ，ｙ)としての撮像画像の時刻識別子ｔの値が満たしている画素座標(ｘ，ｙ)は飛来する移動体の移動軌跡であるとして移動軌跡画像に飛来する移動体の移動軌跡を追加して移動軌跡補完画像を作成する手段としてもコンピュータを機能させるようにすることもできる。これらの場合には、時刻画像を用いて移動軌跡画像を補完するようにしているので、高輝度画像と低輝度画像との対比のみでは捉えきれない移動体の移動軌跡が検出される。

また、本発明の飛来物体を検出する画像処理方法は、移動軌跡画像または移動軌跡補完画像における飛来する移動体の移動軌跡の現出状況に応じて処理単位時間の間における監視対象区域への飛来する移動体の進入の有無を判断することもできる。また、本発明の飛来物体を検出する画像処理装置は、移動軌跡画像または移動軌跡補完画像における飛来する移動体の移動軌跡の現出状況に応じて処理単位時間の間における監視対象区域への飛来する移動体の進入の有無を判断する手段を更に有するようにすることもできる。また、本発明の飛来物体を検出する画像処理プログラムは、移動軌跡画像または移動軌跡補完画像における飛来する移動体の移動軌跡の現出状況に応じて処理単位時間の間における監視対象区域への飛来する移動体の進入の有無を判断する手段としてもコンピュータを機能させるようにすることもできる。これらの場合には、監視対象区域への飛来する移動体の進入回数の計測において上述のような作用が発揮される。

また、本発明の飛来物体を検出する画像処理方法、画像処理装置、画像処理プログラムでは、検出対象とする飛来する移動体として烏を選択する（言い換えると、烏を対象にする）ようにしても良い。これらの場合には、烏は撮影範囲の背景の多くの部分よりも輝度が低い移動体となり得るので、烏の検出や監視対象区域への烏の進入回数の計測において上述のような作用が発揮される。

本発明の飛来物体を検出する画像処理方法、画像処理装置及び画像処理プログラムによれば、処理内容としては簡便に、したがって機器の計算負荷を抑えながらも撮像画像からの移動体の抽出を高い精度で行うことができるので、処理時間を短縮して速報性を高めて画像処理技術としての汎用性の向上を図ることが可能になる。

また、本発明の飛来物体を検出する画像処理方法、画像処理装置及び画像処理プログラムによれば、特別の撮像装置や複数台の撮像装置を用いる必要がないので、計測のために必要な機器の構築にかかる費用を低減させることが可能になり、画像処理技術としての汎用性を高めることが可能になる。

また、本発明の飛来物体を検出する画像処理方法、画像処理装置及び画像処理プログラムによれば、高輝度画像と低輝度画像との対比のみでは捉えきれない移動体の移動軌跡を検出することができるので、これも極端に複雑な処理ではなく処理時間の増大や速報性を損なうことを回避しながらも撮像画像からの移動体の抽出をより一層高い精度で行うことができ、画像処理技術としての信頼性の向上を図ることが可能になる。

また、本発明の飛来物体を検出する画像処理方法、画像処理装置及び画像処理プログラムによれば、監視対象区域への飛来する移動体の進入回数の計測において上述のような作用効果を発揮することができるので、監視対象区域への移動体の進入回数の計測を目的とする画像処理技術としての汎用性及び信頼性の向上を図ることが可能になる。

また、本発明の飛来物体を検出する画像処理方法、画像処理装置及び画像処理プログラムによれば、監視対象を烏として、当該烏の検出及び監視対象区域への烏の進入回数の計測において上述のような作用効果を発揮することができる。

本発明の飛来物体を検出する画像処理方法の実施形態の一例を説明するフローチャートである。 実施形態の飛来物体を検出する画像処理方法を飛来物体を検出する画像処理プログラムを用いて実施する場合の当該プログラムによって実現される飛来物体を検出する画像処理装置の機能ブロック図である。 実施例１における撮像画像の一例を示す図である。 実施例１における輝度別画像のうち高輝度画像の一例を示す図である。 実施例１における輝度別画像のうち低輝度画像の一例を示す図である。 実施例１における時刻画像の一例を示す図である。 実施例１における差分画像の一例を示す図である。 実施例１における飛翔軌跡画像の一例を示す図である。 実施例１における烏の進入回数の計測結果を示す図である。

以下、本発明の構成を図面に示す実施の形態の一例に基づいて詳細に説明する。

図１及び図２に、本発明の飛来物体を検出する画像処理方法、画像処理装置及び画像処理プログラムの実施形態の一例を示す。

本実施形態の飛来物体を検出する画像処理方法は、図１に示すように、撮像装置を用いて監視対象区域を撮影し（Ｓ１）、当該撮影によって得られた撮像画像のデータであって予め定められた処理単位時間に亘って時系列で連続する撮像画像のデータを用いて処理単位時間の間における画素座標(ｘ，ｙ)毎の輝度値の最大値を画素値Ｈ(ｘ，ｙ)とする高輝度画像Ｈ及び輝度値の最小値を画素値Ｌ(ｘ，ｙ)とする低輝度画像Ｌを作成し（Ｓ２−１）、また、低輝度画像Ｌの画素座標(ｘ，ｙ)毎の輝度値として選択された画素値を有する元の撮像画像の時刻識別子ｔの値を画素値Ｔ(ｘ，ｙ)に変換して記録した時刻画像Ｔを作成し（Ｓ２−２）、高輝度画像Ｈと低輝度画像Ｌとの画素座標(ｘ，ｙ)毎の画素値の差分値であるＭax[Ｈ(ｘ，ｙ)−Ｌ(ｘ，ｙ)，０]を画素値Ｓ(ｘ，ｙ)とする差分画像Ｓを作成し（Ｓ３）、当該差分画像Ｓを二値変換して移動体、具体的には撮像装置の撮影範囲の背景よりも輝度が低い飛来する移動体の移動軌跡基本画像Ｓ_bを作成し（Ｓ４）、さらに、時刻画像Ｔの画素座標(ｘ，ｙ)毎の画素値Ｔ(ｘ，ｙ)として出現する撮像画像の時刻識別子ｔの値別の出現頻度Ｈist[Ｔ(ｘ，ｙ)]に基づく所定の条件を時刻画像Ｔにおける画素値Ｔ(ｘ，ｙ)としての撮像画像の時刻識別子ｔの値が満たしている画素座標(ｘ，ｙ)は前記飛来する移動体の移動軌跡であるとして移動軌跡基本画像Ｓ_bに移動体の移動軌跡を追加して移動軌跡補完画像Ｓ_cを作成し（Ｓ５）、当該移動軌跡補完画像Ｓ_cのノイズを除去し（Ｓ６）、そして、ノイズ除去後の移動軌跡補完画像における移動体の移動軌跡の現出状況に応じて処理単位時間の間における監視対象区域への飛来する移動体の進入の有無を判断する（Ｓ７）ようにしている。

また、本実施形態の飛来物体を検出する画像処理装置は、撮像装置を用いての監視対象区域の撮影によって得られた撮像画像のデータであって予め定められた処理単位時間に亘って時系列で連続する撮像画像のデータを記憶装置としてのデータサーバ(１６)から読み込む手段(１１ａ)と、処理単位時間の間における画素座標(ｘ，ｙ)毎の輝度値の最大値を画素値Ｈ(ｘ，ｙ)とする高輝度画像Ｈ及び輝度値の最小値を画素値Ｌ(ｘ，ｙ)とする低輝度画像Ｌを作成すると共に低輝度画像Ｌの画素座標(ｘ，ｙ)毎の輝度値として選択された画素値を有する元の撮像画像の時刻識別子ｔの値を画素値Ｔ(ｘ，ｙ)に変換して記録した時刻画像Ｔを作成する手段(１１ｂ)と、高輝度画像Ｈと低輝度画像Ｌとの画素座標(ｘ，ｙ)毎の画素値の差分値であるＭax[Ｈ(ｘ，ｙ)−Ｌ(ｘ，ｙ)，０]を画素値Ｓ(ｘ，ｙ)とする差分画像Ｓを作成する手段(１１ｃ)と、差分画像Ｓを二値変換して移動体、具体的には撮像装置の撮影範囲の背景よりも輝度が低い飛来する移動体の移動軌跡基本画像Ｓ_bを作成する手段(１１ｄ)と、時刻画像Ｔの画素座標(ｘ，ｙ)毎の画素値Ｔ(ｘ，ｙ)として出現する撮像画像の時刻識別子ｔの値別の出現頻度Ｈist[Ｔ(ｘ，ｙ)]に基づく所定の条件を時刻画像Ｔにおける画素値Ｔ(ｘ，ｙ)としての撮像画像の時刻識別子ｔの値が満たしている画素座標(ｘ，ｙ)は前記飛来する移動体の移動軌跡であるとして移動軌跡基本画像Ｓ_bに移動体の移動軌跡を追加して移動軌跡補完画像Ｓ_cを作成する手段(１１ｅ)と、移動軌跡補完画像Ｓ_cのノイズを除去する手段(１１ｆ)と、ノイズ除去後の移動軌跡補完画像における移動体の移動軌跡の現出状況に応じて処理単位時間の間における監視対象区域への飛来する移動体の進入の有無を判断する手段(１１ｇ)とを有する。

さらに、本実施形態の飛来物体を検出する画像処理プログラムは、撮像装置を用いての監視対象区域の撮影によって得られた撮像画像のデータであって予め定められた処理単位時間に亘って時系列で連続する撮像画像のデータを記憶装置から読み込む手段(１１ａ)、処理単位時間の間における画素座標(ｘ，ｙ)毎の輝度値の最大値を画素値Ｈ(ｘ，ｙ)とする高輝度画像Ｈ及び輝度値の最小値を画素値Ｌ(ｘ，ｙ)とする低輝度画像Ｌを作成する手段(１１ｂ)、低輝度画像Ｌの画素座標(ｘ，ｙ)毎の輝度値として選択された画素値を有する元の撮像画像の時刻識別子ｔの値を画素値Ｔ(ｘ，ｙ)に変換して記録した時刻画像Ｔを作成する手段(１１ｂ)と、高輝度画像Ｈと低輝度画像Ｌとの画素座標(ｘ，ｙ)毎の画素値の差分値であるＭax[Ｈ(ｘ，ｙ)−Ｌ(ｘ，ｙ)，０]を画素値Ｓ(ｘ，ｙ)とする差分画像Ｓを作成する手段(１１ｃ)と、差分画像Ｓを二値変換して移動体、具体的には撮像装置の撮影範囲の背景よりも輝度が低い飛来する移動体の移動軌跡基本画像Ｓ_bを作成する手段(１１ｄ)と、時刻画像Ｔの画素座標(ｘ，ｙ)毎の画素値Ｔ(ｘ，ｙ)として出現する撮像画像の時刻識別子ｔの値別の出現頻度Ｈist[Ｔ(ｘ，ｙ)]に基づく所定の条件を時刻画像Ｔにおける画素値Ｔ(ｘ，ｙ)としての撮像画像の時刻識別子ｔの値が満たしている画素座標(ｘ，ｙ)は前記飛来する移動体の移動軌跡であるとして移動軌跡基本画像Ｓ_bに移動体の移動軌跡を追加して移動軌跡補完画像Ｓ_cを作成する手段(１１ｅ)と、移動軌跡補完画像Ｓ_cのノイズを除去する手段(１１ｆ)と、ノイズ除去後の移動軌跡補完画像における移動体の移動軌跡の現出状況に応じて処理単位時間の間における監視対象区域への飛来する移動体の進入の有無を判断する手段(１１ｇ)としてコンピュータを機能させる。

そして、飛来物体を検出する画像処理方法の実行にあたっては、まず、撮像装置を用いて監視対象区域の撮影が行われる（Ｓ１）。

本発明では、撮像素子を備えて画素毎の少なくとも輝度値を時系列で連続して把握・出力することができる撮像装置（具体的には例えばＣＣＤ方式のデジタルビデオカメラやＣＭＯＳ方式のデジタルビデオカメラ）を用い、当該撮像装置が適当な場所に固定されて監視対象区域の撮影が行われる。なお、本発明では画素毎の輝度値を利用するので、画素毎の少なくとも輝度値が把握（言い換えると、算出）できれば良く、撮像画像自体はグレースケール画像であっても、カラー画像であっても、どちらでも構わない。

なお、本発明の処理内容に鑑みると、撮像装置の撮影速度(フレームレート)は３０〔fps〕以上であることが好ましいものの、例えば検出対象とする移動体の想定される移動速度がそれほど速くない場合などには３０〔fps〕未満であっても構わない。

ここで、本発明は、撮像された画像において輝度が低い物体として記録されている移動体を抽出する処理を行う。このため、本発明では、検出対象として想定する移動体よりも輝度が低い面的な物体、例えば黒い壁や濃い影などの面的な黒い物体が撮影範囲に多く含まれないようにする。すなわち、監視対象区域の撮影に当たっては、検出対象として想定する移動体よりも輝度が高いものが背景として撮影範囲の多くの部分を占めることがないように撮像装置の固定位置及び撮影方向が調整される。また、太陽光によって明るさが確保されている時間帯に撮像された画像のデータを処理の対象とする。さらに、特に飛来物体を検出するためには、飛来物体の飛行経路と想定される若しくは飛行経路になり得る範囲が撮像されるように撮像装置の固定位置及び撮影方向が調整される。

次に、Ｓ１の処理によって得られた撮像画像のデータを用いて高輝度画像と低輝度画像との作成が行われる（Ｓ２−１）。

ここで、本発明の飛来物体を検出する画像処理方法におけるＳ２以降の処理は本発明の飛来物体を検出する画像処理装置によって実行され得る。

そして、本発明の飛来物体を検出する画像処理方法におけるＳ２以降の処理及びこれら処理を実行する画像処理装置は、本発明の飛来物体を検出する画像処理プログラムをコンピュータ上で実行することによっても実現され得る。本明細書では、飛来物体を検出する画像処理プログラムをコンピュータ上で実行することによってＳ２以降の処理を実行する画像処理装置が実現されると共に画像処理方法におけるＳ２以降の処理が実行される場合を説明する。

画像処理プログラム１７を実行するためのコンピュータ１０（本実施形態では、画像処理装置１０でもある）の全体構成を図２に示す。このコンピュータ１０（画像処理装置１０）は、制御部１１、記憶部１２、入力部１３、表示部１４及びメモリ１５を備え相互にバス等の信号回線によって接続されている。また、コンピュータ１０には記憶装置としてのデータサーバ１６がバス等の信号回線によって接続されており、その信号回線を介してデータや制御指令等の信号の送受信（即ち出入力）が相互に行われる。

制御部１１は記憶部１２に記憶されている画像処理プログラム１７によってコンピュータ１０全体の制御並びに撮像画像からの移動体の検出及び監視対象区域への移動体の進入回数の計測に係る演算を行うものであり、例えばＣＰＵ（中央演算処理装置）である。

記憶部１２は少なくともデータやプログラムを記憶可能な装置であり、例えばハードディスクである。

メモリ１５は制御部１１が種々の制御や演算を実行する際の作業領域であるメモリ空間となるものであり、例えばＲＡＭ(Ｒandom Ａccess Ｍemory の略)である。

入力部１３は少なくとも作業者の命令を制御部１１に与えるためのインターフェイスであり、例えばキーボードである。

表示部１４は制御部１１の制御によって文字や図形等の描画・表示を行うものであり、例えばディスプレイである。

そして、本実施形態では、上述のＳ１の処理において撮像され取得された時系列で連続する撮像画像のデータであって画素毎の少なくとも輝度値を含むデータが画像データベース１８としてデータサーバ１６に格納(保存)される。

そして、コンピュータ１０（本実施形態では、画像処理装置１０でもある）の制御部１１には、画像処理プログラム１７を実行することにより、Ｓ１の処理において撮像された画像のデータであって予め定められた処理単位時間に亘って時系列で連続する撮像画像のデータを記憶装置としてのデータサーバ１６から読み込む処理を行うデータ読込部１１ａ、処理単位時間の間における画素座標(ｘ，ｙ)毎の輝度値の最大値を画素値Ｈ(ｘ，ｙ)とする高輝度画像Ｈ及び輝度値の最小値を画素値Ｌ(ｘ，ｙ)とする低輝度画像Ｌを作成する処理並びに低輝度画像Ｌの画素座標(ｘ，ｙ)毎の輝度値として選択された画素値を有する元の撮像画像の時刻識別子ｔの値を画素値Ｔ(ｘ，ｙ)に変換して記録した時刻画像Ｔを作成する処理を行う輝度別画像作成部１１ｂ、高輝度画像Ｈと低輝度画像Ｌとの画素座標(ｘ，ｙ)毎の画素値の差分値であるＭax[Ｈ(ｘ，ｙ)−Ｌ(ｘ，ｙ)，０]を画素値Ｓ(ｘ，ｙ)とする差分画像Ｓを作成する処理を行う差分画像作成部１１ｃ、差分画像Ｓを二値変換して移動体、具体的には撮像装置の撮影範囲の背景よりも輝度が低い飛来する移動体の移動軌跡基本画像Ｓ_bを作成する処理を行う移動軌跡画像作成部１１ｄ、時刻画像Ｔの画素座標(ｘ，ｙ)毎の画素値Ｔ(ｘ，ｙ)として出現する撮像画像の時刻識別子ｔの値別の出現頻度Ｈist[Ｔ(ｘ，ｙ)]に基づく所定の条件を時刻画像Ｔにおける画素値Ｔ(ｘ，ｙ)としての撮像画像の時刻識別子ｔの値が満たしている画素座標(ｘ，ｙ)は前記飛来する移動体の移動軌跡であるとして移動軌跡基本画像Ｓ_bに移動体の移動軌跡を追加して移動軌跡補完画像Ｓ_cを作成する処理を行う補完画像作成部１１ｅ、移動軌跡補完画像Ｓ_cのノイズを除去する処理を行うノイズ除去部１１ｆ、ノイズ除去後の移動軌跡補完画像における移動体の移動軌跡の現出状況に応じて処理単位時間の間における監視対象区域への飛来する移動体の進入の有無を判断する処理を行う進入回数計測部１１ｇとが構成される。

画像処理プログラム１７が実行されることによる具体的な処理としては、まず、コンピュータ１０（画像処理装置１０）の制御部１１に構成されたデータ読込部１１ａが撮像画像のデータの読み込みを行う。

具体的には、データ読込部１１ａは、Ｓ１の処理において撮像され取得されてデータサーバ１６に格納されている画像データベース１８に記録されている時系列で連続する撮像画像のデータ（以下、連続画像データと呼ぶ）をデータサーバ１６から読み込む。そして、データ読込部１１ａは読み込んだ連続画像データをメモリ１５に記憶させる。なお、データ読込部１１ａは、時系列連続画像における画像毎の時刻識別子ｔとして１からの連続番号を時系列順に画像毎に付与するようにし、連続画像データを構成する各画像をこの時刻識別子ｔの値と対応づけてメモリ１５に記憶させる。

続いて、制御部１１の輝度別画像作成部１１ｂが輝度別の画像として高輝度画像及び低輝度画像の作成を行う。

具体的には、輝度別画像作成部１１ｂは、データ読込部１１ａによってメモリ１５に記憶された連続画像データをメモリ１５から読み込み、当該連続画像データを用い、予め定められた処理単位時間の間における画素毎に最も明るい（即ち、最も大きい）輝度値を記録した高輝度画像Ｈを数式１−１に従って作成すると共に画素毎に最も暗い（即ち、最も小さい）輝度値を記録した低輝度画像Ｌを数式１−２に従って作成する。

ここに、Ｈ(ｘ，ｙ)：高輝度画像の画素座標(ｘ，ｙ)の画素値(輝度値)，
Ｌ(ｘ，ｙ)：低輝度画像の画素座標(ｘ，ｙ)の画素値(輝度値)，
ｔ：連続画像における画像毎の時刻識別子，
ｔ₁：処理対象とする連続画像中の画像時刻識別子の開始値，
ｔ₂：処理対象とする連続画像中の画像時刻識別子の終了値，
ｆ(ｘ，ｙ，ｔ)：時刻識別子ｔの画像の画素座標(ｘ，ｙ)での輝度値
をそれぞれ表す。
また、Ｍax[ｆ(ｘ，ｙ，ｔ)]は与えられたｔの範囲内におけるｆ(ｘ，ｙ，ｔ)の最大値を抽出する関数を表し、Ｍin[ｆ(ｘ，ｙ，ｔ)]は与えられたｔの範囲内におけるｆ(ｘ，ｙ，ｔ)の最小値を抽出する関数を表す。

処理単位時間は、Ｓ２（即ち、Ｓ２−１及び２−２のこと。以下同じ）からＳ６までの処理を一連として適用する、連続画像群を区切るための時間区分である。処理単位時間の長さは、特定の長さに限定されるものではなく、具体的には例えば数十秒から数分間程度の範囲で設定されることが考えられる。

数式１−１によって算出される値を画素毎の画素値として有する画像は、処理単位時間中の画素座標(ｘ，ｙ)毎の最大輝度値を寄せ集め組み合わせて作成される画像であるので、輝度の低い移動体が処理単位時間中に撮影範囲に進入したとしても当該移動体の像が反映されない画像になる。

一方で、数式１−２によって算出される値を画素毎の画素値として有する画像は、処理単位時間中の画素座標(ｘ，ｙ)毎の最小輝度値を寄せ集め組み合わせて作成される画像であるので、輝度の低い移動体が処理単位時間中に撮影範囲に進入した場合には当該移動体の像が反映された画像になる。具体的には、輝度の低い移動体の移動状況が移動の軌跡として映り込んだ画像になる。

なお、Ｓ１の処理によって得られた撮像画像がグレースケール画像である場合もカラー画像である場合もそれら撮像画像のデータを適切な方法によって輝度値に変換して数式１によって高輝度画像Ｈ及び低輝度画像Ｌを作成する。なお、画像データ（画素毎の画素値）から輝度値を計算する方法自体は周知の技術であるのでここでは詳細については省略する。

また、処理対象とする連続画像中の画像時刻識別子の開始値ｔ₁及び終了値ｔ₂の値はＳ２からＳ６までの処理を一連として適用する連続画像群を区切るための時間区分である処理単位時間に関係する値であるところ、画像データベース１８に記録されている連続画像データが処理単位時間で元より区切られて別々のデータファイルになっているのであればＳ１の処理においてファイル毎に読み込むと共にＳ２−Ｓ６の処理をファイル毎に行うようにすれば良く、或いは、画像データベース１８に記録されている連続画像データが処理単位時間で区切られていないのであれば予め指定された処理単位時間分に該当する画像枚数を区切りとしてＳ１の処理においてデータを読み込むと共にＳ２−Ｓ６の処理を行うようにすれば良い。なお、Ｓ１の処理における監視対象区域の撮影で用いた撮像装置の撮影速度(フレームレート)をＲ_F〔fps〕とすると共に処理単位時間（時間区分）をｍ秒間とすると、処理対象とする連続画像の枚数ｎ＝Ｒ_F×ｍであり、画像の時刻識別子の開始値ｔ₁から終了値ｔ₂までの画像枚数が[Ｒ_F×ｍ]枚になるように画像の時刻識別子ｔ₁及びｔ₂の値を指定しながらＳ１の処理においてデータを読み込むと共に、[Ｒ_F×ｍ]枚の連続画像群に対してＳ２からＳ６までの処理が一連として適用される。

そして、輝度別画像作成部１１ｂは、画素座標(ｘ，ｙ)毎のＨ(ｘ，ｙ)の値を高輝度画像Ｈとしてメモリ１５に記憶させると共に、画素座標(ｘ，ｙ)毎のＬ(ｘ，ｙ)の値を低輝度画像Ｌとしてメモリ１５に記憶させる。

また、Ｓ２−１の処理と並行して時刻画像の作成が行われる（Ｓ２−２）。

具体的には、輝度別画像作成部１１ｂは、数式１−２による低輝度画像Ｌの作成と同時に、数式２に従い、低輝度画像Ｌの画素座標(ｘ，ｙ)の輝度値として選択された画素値を有する（即ち、最小輝度値の画素値を有する）元の画像の時刻識別子ｔの値を画素値に変換して記録した時刻画像Ｔを作成する。

ここに、Ｔ(ｘ，ｙ)：時刻画像の画素座標(ｘ，ｙ)の画素値を表す。

なお、時刻画像Ｔの画素毎の画素値は実際には連続画像における画像毎の時刻識別子ｔの値であるが、この時刻識別子ｔは、連続画像群の各画像に時系列で順番に付与される値であって時間に関係する値であり、また、画像が撮像された現実の時刻に対応する値であることを考慮し、画素座標(ｘ，ｙ)毎の時刻識別子ｔの値からなるデータ群のことを時刻画像Ｔと呼ぶ。

そして、輝度別画像作成部１１ｂは、画素座標(ｘ，ｙ)毎のＴ(ｘ，ｙ)の値を時刻画像Ｔとしてメモリ１５に記憶させる。

次に、Ｓ２−１の処理によって作成された高輝度画像Ｈと低輝度画像Ｌとを用いて差分画像の作成が行われる（Ｓ３）。ただし、差分が負の場合には０とする。

具体的には、差分画像作成部１１ｃは、Ｓ２−１の処理においてメモリ１５に記憶された高輝度画像Ｈとしての画素座標(ｘ，ｙ)毎のＨ(ｘ，ｙ)の値と低輝度画像Ｌとしての画素座標(ｘ，ｙ)毎のＬ(ｘ，ｙ)の値とをメモリ１５から読み込み、数式３に従って画素座標(ｘ，ｙ)毎に高輝度画像Ｈにおける輝度値と低輝度画像Ｌにおける輝度値との差分を計算する。ただし、差分が負の場合には０とする。

ここに、Ｓ(ｘ，ｙ)：差分画像の画素座標(ｘ，ｙ)の画素値，
Ｈ(ｘ，ｙ)：高輝度画像の画素座標(ｘ，ｙ)の画素値(輝度値)，
Ｌ(ｘ，ｙ)：低輝度画像の画素座標(ｘ，ｙ)の画素値(輝度値)
をそれぞれ表す。
また、Ｍax[Ｈ(ｘ，ｙ)−Ｌ(ｘ，ｙ)，０]は「Ｈ(ｘ，ｙ)−Ｌ(ｘ，ｙ)」と「０」とのうちの大きい方を抽出する関数を表す。

数式３によって算出される値を画素毎の画素値として有する画像は、処理単位時間に亘って撮影範囲への移動体の進入がなく輝度値に大きな変化がない場合には高輝度画像Ｈにおける画素値Ｈ(ｘ，ｙ)と低輝度画像Ｌにおける画素値Ｌ(ｘ，ｙ)との間に大きな差がないのでこれらの画素値の差分値であるＳ(ｘ，ｙ)の値が小さくなる。

一方で、処理単位時間中に輝度の低い移動体が撮影範囲に進入して撮像されたことによって輝度値が一時的に低下した場合には撮像部分(画素)における高輝度画像Ｈにおける画素値Ｈ(ｘ，ｙ)と低輝度画像Ｌにおける画素値Ｌ(ｘ，ｙ)との間に大きな差が生じることになるのでこれらの画素値の差分値であるＳ(ｘ，ｙ)の値が大きくなる。すなわち、輝度の低い移動体の移動の軌跡にかかる画素座標(ｘ，ｙ)での差分値Ｓ(ｘ，ｙ)が他の画素座標での差分値Ｓよりも大きくなる。

そして、差分画像作成部１１ｃは、画素座標(ｘ，ｙ)毎のＳ(ｘ，ｙ)の値を差分画像Ｓとしてメモリ１５に記憶させる。

次に、Ｓ３の処理によって作成された差分画像Ｓを用いて移動体の移動軌跡についての基本画像の作成が行われる（Ｓ４）。

具体的には、移動軌跡画像作成部１１ｄは、Ｓ３の処理においてメモリ１５に記憶された差分画像Ｓとしての画素座標(ｘ，ｙ)毎のＳ(ｘ，ｙ)の値をメモリ１５から読み込み、数式４に従って画素座標(ｘ，ｙ)毎にＳ(ｘ，ｙ)の値を二値に変換する。

ここに、Ｓ_b(ｘ，ｙ)：移動軌跡基本画像の画素座標(ｘ，ｙ)の画素値，
Ｓ(ｘ，ｙ)：差分画像の画素座標(ｘ，ｙ)の画素値，
α：二値変換の閾値
をそれぞれ表す。

ここで、二値変換の閾値αは、差分画像Ｓから低輝度の移動体のみを抽出するための基準となる値（具体的には輝度値）である。二値変換の閾値αの値は、特定の値に限定されるものではなく、Ｓ１の処理において撮像され取得された連続画像データにおける画像全体の傾向や検出対象とする移動体の特徴（具体的には、移動体の黒さの程度に基づいて想定される撮像された移動体の像の輝度）などに基づいて適宜設定される。例えば、Ｓ３までの処理によって得られた差分画像Ｓにおける画素座標(ｘ，ｙ)毎のＳ(ｘ，ｙ)の値の平均値や分布の特性などに基づいて検出対象とする移動体の検出に適切な値を適宜調節・設定することが考えられる。

数式４を用いた処理により、差分画像Ｓに基づき、処理単位時間に亘って移動体の映り込みがないために輝度値に大きな変化がなくＳ(ｘ，ｙ)の値が小さい画素の画素値は０となり、一方で、移動体の映り込みがあったために輝度値が大きく変化してＳ(ｘ，ｙ)の値が大きい画素（即ち、移動体の移動の軌跡にかかる画素）の画素値は１となる。

以上の処理により、撮影範囲に移動体が進入した場合には当該移動体の移動の軌跡が現出している画像が作成される。なお、上述の処理内容から明らかな通り、Ｓ４の処理の結果として得られる画像においては、移動体が抽出されている画像であって移動体の移動の軌跡が現出している画像では画素値として１が出現し、移動体が抽出されていない画像であって移動体の移動の軌跡が現出していない画像では全ての画素値が０(ゼロ)である。

そして、移動軌跡画像作成部１１ｄは、画素座標(ｘ，ｙ)毎のＳ_b(ｘ，ｙ)の値を移動軌跡基本画像Ｓ_bとしてメモリ１５に記憶させる。

ここで、Ｓ４の処理における閾値αを用いた二値への変換処理では、撮像画像のうち輝度が低い（即ち、黒い）面的な背景がある部分(画素)では輝度の低い移動体と背景との輝度の差が小さくなり、移動体の移動軌跡を良好に検出することができない場合もある。

このため、必要に応じ、Ｓ４までの処理による移動軌跡の検出に特に大きく寄与した撮像画像の前後の撮像画像のデータを用いて移動体の移動軌跡を補完した画像を作成する（Ｓ５）ようにしても良い。

具体的には、補完画像作成部１１ｅは、Ｓ２−２の処理においてメモリ１５に記憶された時刻画像Ｔとしての画素座標(ｘ，ｙ)毎のＴ(ｘ，ｙ)の値をメモリ１５から読み込み、数式５に従って画素座標(ｘ，ｙ)毎にＳ_b(ｘ，ｙ)の値の更新を行う。

ここに、Ｓ_c(ｘ，ｙ)：移動軌跡補完画像の画素座標(ｘ，ｙ)の画素値，
Ｓ_b(ｘ，ｙ)：移動軌跡基本画像の画素座標(ｘ，ｙ)の画素値，
Ｔ(ｘ，ｙ)：時刻画像の画素座標(ｘ，ｙ)の画素値，
ｔ_max：Ｈist[Ｔ(ｘ，ｙ)]の値が最大である画像毎の時刻識別子ｔの値，
δ₁，δ₂：補完範囲の閾値
をそれぞれ表す。
また、Ｈist[Ｔ(ｘ，ｙ)]は、時刻画像Ｔにおける画素座標(ｘ，ｙ)毎のＴ(ｘ，ｙ)の値（即ち、画像毎の時刻識別子ｔの値）の出現頻度を表す関数である。

ここで、補完範囲の閾値δ₁，δ₂は、移動軌跡基本画像としては抽出されなかった移動体の移動の軌跡に該当する画素（厳密には、移動体の移動の軌跡に該当する蓋然性が高い画素）を移動体の移動軌跡であるとして補完的に追加するか否かを判定するための指針となる値（具体的には撮像画像の枚数）である。補完範囲の閾値δ₁，δ₂の値は、特定の値に限定されるものではなく、画像毎の時刻識別子ｔの値別の出現頻度Ｈist[ｔ]の分布特性や検出対象とする移動体の移動速度などに基づいて適宜設定される。例えば、検出対象とする移動体の移動速度を考慮すると撮影範囲を横切って通過するのに要する時間が３秒程度であると想定され、また、画像毎の時刻識別子ｔの値別の出現頻度Ｈist[ｔ]の分布の拡がりを分析すると出現頻度Ｈist[ｔ]が最大である画像識別値ｔ_maxの前後１．５秒の範囲に出現頻度Ｈist[ｔ]の大半が入っている場合には、実時間１．５秒に対応する撮像画像の枚数に基づいて補完範囲の閾値δ₁，δ₂の値を設定することが考えられる。なお、補完範囲の閾値δ₁とδ₂との間の関係は、δ₁＝δ₂でも良いし、δ₁≠δ₂でも良い。

数式５を用いた処理により、撮像画像において実際に移動体の軌跡に該当する画素座標(ｘ，ｙ)における画素値(輝度値)であって低輝度画像Ｌの画素座標(ｘ，ｙ)の画素値Ｌ(ｘ，ｙ)として選択されているものの、当該画素座標(ｘ，ｙ)における背景の輝度値が低いことから高輝度画像Ｈにおける画素座標(ｘ，ｙ)の画素値Ｈ(ｘ，ｙ)との差分値Ｓ(ｘ，ｙ)が小さいためにＳ４の処理の結果として二値変換値Ｓ_b(ｘ，ｙ)＝０になっている画素が、移動体の移動軌跡の画素であるとして補充されることが期待される。なお、数式５に示すように、移動体の移動軌跡の画素としての補充に関係のない画素については、Ｓ４の処理において決定された二値変換値Ｓ_b(ｘ，ｙ)のままである。

そして、補完画像作成部１１ｅは、画素座標(ｘ，ｙ)毎のＳ_c(ｘ，ｙ)の値を移動軌跡補完画像Ｓ_cとしてメモリ１５に記憶させる。

さらに、Ｓ５の処理によって作成された移動軌跡補完画像Ｓ_cに対してノイズの除去を行う（Ｓ６）ようにしても良い。

具体的には、ノイズ除去部１１ｆは、Ｓ５の処理においてメモリ１５に記憶された移動軌跡補完画像Ｓ_cとしての画素座標(ｘ，ｙ)毎のＳ_c(ｘ，ｙ)の値をメモリ１５から読み込み、孤立点などのノイズを除去する。孤立点などのノイズを除去する方法は特定の方法に限定されるものではなく、そして、ノイズ除去方法自体は種々のものが周知であるのでここでは詳細については省略する。具体的には例えば、画素値＝０で囲まれている画素値＝１の画素の画素値を０にする方法がある。

以上の処理により、処理対象とした処理単位時間における一枚の移動軌跡画像が作成される。そして、処理単位時間として区切られた時間区分に従ってＳ２からＳ６までの処理を繰り返すことによって処理単位時間として区切られた時間区分毎に一枚ずつの移動軌跡画像が作成される。

そして、ノイズ除去部１１ｆは、画素座標(ｘ，ｙ)毎のＳ_c(ｘ，ｙ)の値をベースとしてノイズを除去した後の画素座標(ｘ，ｙ)毎の画素値を、移動軌跡画像（移動軌跡補完処理及びノイズ除去処理後）として、処理対象とした処理単位時間（時間区分）の時刻識別子と対応づけてメモリ１５に記憶させる。さらに、必要に応じ、ノイズ除去部１１ｆは、移動軌跡画像（移動軌跡補完処理及びノイズの除去処理後）の画素値データを、例えば記憶部１２やデータサーバ１６に格納される移動軌跡画像データファイルに処理単位時間（時間区分）毎に蓄積するように記録して保存する。

続いて、本実施形態では更に、Ｓ６までの処理によって作成された移動軌跡画像を利用して監視対象区域への移動体の進入回数の計測が行われる（Ｓ７）。

本発明では、Ｓ６までの処理によって作成された処理単位時間（時間区分）毎の移動軌跡画像における画素値が１である画素の出現状況によって撮影範囲（言い換えると、監視対象区域）への移動体の進入の有無を判断する。

具体的には、或る処理単位時間の移動軌跡画像における画素値１の画素数が進入判断閾値γ未満である場合には当該処理単位時間には監視対象区域に移動体は進入していないと判断し、一方で、画素値１の画素数が進入判断閾値γ以上である場合には当該処理単位時間に監視対象区域に移動体が進入したと判断する。

したがって、例えば、処理単位時間を１分間としてＳ２からＳ６までの処理を６０回繰り返すことによって得られた６０枚の移動軌跡画像の各々について画素値１の画素数と進入判断閾値γとを対比して監視対象区域への移動体の進入の有無を判断することにより、１時間における監視対象区域への移動体の進入回数を計測することができる。

ここで、進入判断閾値γは、移動軌跡画像において移動体の移動軌跡が現出しているか否かを判断するための指針となる値（具体的には画素数）である。進入判断閾値γは、特定の値に限定されるものではなく、Ｓ１の処理において用いた撮像手段の解像度（即ち、撮像画像の画素数）を考慮すると共に撮像画像における移動体の像を構成する画素数の想定などに基づいて適宜設定される。例えば、監視対象区域を撮影した撮像画像における、当該監視対象区域内に存在する移動体が撮影された場合の当該移動体の像を構成する最小画素数（想定される画素数）の１．５倍や２倍などに設定することが考えられる。

また、上述のＳ７の処理である監視対象区域への移動体の進入回数の計測を行う場合には、当該監視対象区域を撮影している撮影範囲を移動体が横切って通過するのに要する時間と移動体の出現頻度とを考慮して処理単位時間を設定することが望ましい。

すなわち、移動体が撮影範囲を横切って通過するのに要する時間が例えば３秒程度が多いと想定される場合に処理単位時間を２秒間とすると、一つの移動体の通過が二回の処理単位時間に跨がる可能性が高まり、一回の進入であるにもかかわらず複数の移動軌跡画像に移動軌跡が現出することになり、結果的に移動体の進入回数を複数回とカウントしてしまい計測精度が低下する。

一方、移動体が撮影範囲を横切って通過するのに要する時間が例えば３秒程度が多いと想定され且つ移動体の出現頻度が例えば３分間に一回程度が多いと想定される場合に処理単位時間を１０分間とすると、一つの処理単位時間内に複数の移動体が通過する可能性が高まり、複数回の進入であるにもかかわらず一枚のみの移動軌跡画像に移動軌跡が現出することになり、結果的に移動体の進入回数を一回とカウントしてしまい計測精度が低下する。

本実施形態では具体的な処理として、進入回数計測部１１ｇは、Ｓ６の処理においてメモリ１５に記憶された或いは記憶部１２若しくはデータサーバ１６に格納される移動軌跡画像データファイルに記録され保存された処理単位時間毎の移動軌跡画像データのうち監視対象区域への移動体進入回数の計測対象時間帯に該当する処理単位時間のデータをメモリ１５或いは記憶部１２若しくはデータサーバ１６から読み込む。

続いて、進入回数計測部１１ｇは、移動体の進入回数Ｎを初期化（即ち、Ｎ＝０）した上で、処理単位時間毎の移動軌跡画像別に画素値１の画素数が進入判断閾値γ以上であるか否かを判断し、進入判断閾値γ以上である場合には移動体の進入回数Ｎに１を加える。この処理を、移動体進入回数の計測対象時間帯に該当するとして読み込んだ処理単位時間毎の移動軌跡画像の各々に対して繰り返し行う。

なお、計測対象時間帯が複数ある場合には、これら計測対象時間帯別に上述の処理を繰り返し行う。

そして、進入回数計測部１１ｇは、Ｓ７の処理による計測結果として、移動体進入回数Ｎの値を、必要な場合には計測対象時間帯と対応づけて、表示部１４に表示したり、例えば記憶部１２やデータサーバ１６に計測結果データファイルとして保存したりする。

そして、制御部１１は、撮像画像からの移動体の検出及び監視対象区域への移動体の進入回数の計測の処理を終了する（ＥＮＤ）。

以上の構成を有する本発明の飛来物体を検出する画像処理方法、画像処理装置及び画像処理プログラムによれば、予め定められた時間区分での時系列連続画像群における高輝度画像Ｈと低輝度画像Ｌとを対比することによって移動軌跡画像を作成するようにしているので、処理内容としては簡便に、したがって機器の計算負荷を抑えながらも撮像画像からの移動体の抽出を高い精度で行うことができ、処理時間を短縮して速報性を高めて画像処理技術としての汎用性の向上を図ることが可能になる。さらに、時刻画像Ｔを用いて移動軌跡画像を補完するようにすることもできるので、この場合には、高輝度画像Ｈと低輝度画像Ｌとの対比のみでは捉えきれない移動体の移動軌跡を検出することができるので、これも極端に複雑な処理ではなく処理時間の増大や速報性を損なうことを回避しながらも撮像画像からの移動体の抽出をより一層高い精度で行うことができ、画像処理技術としての信頼性の向上を図ることが可能になる。

また、本発明の飛来物体を検出する画像処理方法、画像処理装置及び画像処理プログラムによれば、従来の画像処理において見られるような時系列で連続する撮像画像のフレーム間差分やフレーム間隔をあけた時間差分を用いていないので、フレーム間差分や時間差分において生じる、雲による日射変化や監視対象区域(撮影範囲)における背景の僅かな変化などが原因となって背景に映り込んでいる物体等を数多く抽出してしまうという問題を回避することができ、撮像画像からの移動体の抽出精度を高めて画像処理技術としての汎用性を高めることが可能になる。他にも、本発明によれば、従来の画像処理において見られるような粒子追跡法による移動軌跡検出処理のように複数枚の画像を比較して粒子に見立てた画素の移動方向と速度とを計算するものでもないので、粒子追跡法において生じる、日射変化や背景変化の雑音で粒子に見立てた画素の輝度値がランダムに変化するために撮影条件を限定しなければ安定的に抽出することができないという問題も回避することができ、撮像画像からの移動体の抽出精度を高めて画像処理技術としての汎用性を高めることが可能になる。さらに、本発明では、一台の撮像装置で撮像した画像から移動体の検出及び監視対象区域への移動体の進入回数の計測を行うことができ、特別の撮像装置や複数台の撮像装置を用いる必要がないので、計測のために必要な機器の構築にかかる費用を低減させることが可能になり、画像処理技術としての汎用性を高めることが可能になる。

なお、上述の形態は本発明の好適な形態の一例ではあるが本発明の実施の形態がこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変形実施可能である。例えば、上述の実施形態では撮像画像のデータが蓄積される記憶手段をデータサーバ１６としているが、記憶部１２でも良いし、他の記憶装置を用いるようにしても良い。また、撮像画像のデータを記憶装置に一旦蓄積することなく、撮像装置からコンピュータ１０（画像処理装置１０）に直接入力し、入力されたデータから処理を順次行うようにしても良い。

また、上述の実施形態では時刻画像Ｔを作成し（Ｓ２−２）当該時刻画像Ｔを活用して移動軌跡補完画像Ｓ_cを作成する（Ｓ５）ようにしているが、これら画像Ｔ，Ｓ_cの作成は本発明において必須の処理ではない。すなわち、監視対象区域の撮影範囲に輝度が低い面的な物体が無い若しくは多くない場合には、輝度の低い移動体と背景との輝度の差が撮像画像全体に亘って大きく、高輝度画像Ｈと低輝度画像Ｌとの対比のみによって移動体の移動軌跡を良好に検出することができるので、時刻画像Ｔを活用しての移動軌跡補完画像の作成はしなくても良い。

また、上述の実施形態ではＳ５の処理において数式５に従って移動軌跡補完画像Ｓ_cを作成するようにしているが、下記の数式６に従って画素座標(ｘ，ｙ)毎にＳ_b(ｘ，ｙ)の値の更新を行って移動軌跡補完画像を作成するようにしても良い。

ここに、Ｓ_c(ｘ，ｙ)：移動軌跡補完画像の画素座標(ｘ，ｙ)の画素値，
Ｓ_b(ｘ，ｙ)：移動軌跡基本画像の画素座標(ｘ，ｙ)の画素値，
β：補完採否の閾値
をそれぞれ表す。
また、Ｈist[Ｔ(ｘ，ｙ)]は、時刻画像Ｔにおける画素座標(ｘ，ｙ)毎のＴ(ｘ，ｙ)の値（即ち、画像毎の時刻識別子ｔの値）の出現頻度を表す関数である。

ここで、補完採否の閾値βは、移動軌跡基本画像としては抽出されなかった移動体の移動の軌跡に該当する画素（厳密には、移動体の移動の軌跡に該当する蓋然性が高い画素）を移動体の移動軌跡であるとして補完的に追加するか否かを判定するための指針となる値（具体的には時刻画像Ｔにおける画素数）である。補完採否の閾値βの値は、特定の値に限定されるものではなく、画像毎の時刻識別子ｔの値別の出現頻度Ｈist[ｔ]の傾向などに基づいて適宜設定される。例えば、画像毎の時刻識別子ｔの値別の出現頻度Ｈist[ｔ]の平均値や最小値・最大値や中間値或いは分布の特性などに基づいて移動体の軌跡の補完に適切な値を適宜調節・設定することが考えられる。

また、上述の実施形態では移動軌跡補完画像Ｓ_c（上述のようにＳ５の処理を行わない場合には移動軌跡基本画像Ｓ_bである）に対してノイズを除去する（Ｓ６）ようにしているが、移動軌跡画像に対するノイズの除去は本発明において必須の処理ではない。すなわち、移動軌跡画像におけるノイズの存在が問題にならない場合などにはノイズの除去はしなくても良い。なお、監視対象区域への移動体の進入回数の計測（Ｓ７）を行う場合には、進入判断閾値γの値を適切に調整することによってノイズの影響を排除した移動体の進入回数の計測を行うようにすることもできるので、この場合には特に移動軌跡画像に対するノイズの除去はしなくても良い。

また、上述の実施形態では監視対象区域への移動体の進入回数を計測する（Ｓ７）ようにしているが、移動体の進入回数の計測は本発明において必須の処理ではない。すなわち、監視対象区域に移動体が進入したという事態の検出が目的である場合などには、移動体の進入回数の計測はしなくても良い。

本発明の飛来物体を検出する画像処理方法を実際の移動体の検出及び監視対象区域への移動体の進入回数の計測に適用した実施例を図３から図８を用いて説明する。なお、本実施例では、飛来物体を検出する画像処理プログラムをコンピュータ上で実行することによって画像処理装置が実現されると共に画像処理方法における処理が実行される場合を説明する。

本実施例では、撮影範囲を短時間で通過する黒い物体が烏であると仮定して監視対象区域に飛翔して進入する烏を検出対象とし、移動軌跡として烏の飛翔軌跡を検出するようにした。

なお、烏の巣が停電事故の原因となることから、電力会社では巡視によって無人変電所構内や営業所地域でカラスの営巣状況を監視している。無人変電所などの監視箇所は営業所から離れた場所に数多くあるため、巡視員が一箇所の監視に割り当てられる時間には制限がある。そのため、監視カメラによる画像を使ってカラスの飛来状況を連続的に把握して巡視の補助として活用することが望まれている。具体的には、巣の作成に先がけての烏の下見状況や枝等の運び込み頻度などを計測し、飛来頻度の高い場所を注意喚起箇所として巡視員に情報提供することが望まれている。しかしながら現在のところ、監視カメラで撮影した映像から烏の飛来を検出し、その検出結果を巡視に役立つ形で出力する仕組みは存在していない。以上の事情にも因り、監視対象区域を変電所とすると共に検出対象を烏として移動体の検出及び監視対象区域への移動体の進入回数の計測を機械的・自動的に行うことは意義が大きい。

本実施例では、撮像装置として解像度３５万画素（横７３０×縦４８０画素）のＣＣＤ方式デジタルカラービデオカメラ（フレームレート：３０〔fps〕）を用いて監視対象区域である変電所の撮影を行った（Ｓ１）。

ここで、烏は監視対象区域に飛翔して進入することが想定されると共に、変電所内の各種の施設や設備が撮影範囲に多く含まれると面的な黒い撮像が多くなって輝度の低い移動体の検出に影響を与えるので、カメラを固定した位置から仰角で、烏の飛翔高度と想定される範囲の空中を撮影範囲として撮影を行った。なお、撮影時間帯は午前６時から午後６時までとした。撮像画像の一例を図３に示す。

そして、本実施例では、上記撮影によって得られた連続画像データを、コンピュータの記憶装置としてのハードディスクに画像データベースとして保存した。

次に、Ｓ１の処理によって得られた撮像画像のデータを用いて数式１−１に従って高輝度画像Ｈを作成すると共に数式１−２に従って低輝度画像Ｌを作成し（Ｓ２−１）、さらに、数式２に従って時刻画像Ｔを作成した（Ｓ２−２）。

ここで、本実施例では、処理単位時間を１分とした。したがって、処理単位時間当たりの連続画像の枚数ｎ＝３０〔fps〕×６０〔秒〕＝１８００枚の連続画像群に対してＳ２からＳ６までの処理を一連として適用した。また、連続画像における画像毎の時刻識別子ｔの値は１〜１８００である。

高輝度画像Ｈの一例を図４Ａに示すと共に低輝度画像Ｌの一例を図４Ｂに示す。また、時刻画像Ｔの一例を図５に示す。

低輝度画像Ｌの一例である図４Ｂから、画像右端の下端寄りの位置から左へ進行してその後に上昇する烏の飛翔軌跡が低輝度画像Ｌの一部として選択されていることが確認される。

なお、図５に示す時刻画像Ｔの一例は、画像毎の時刻識別子ｔの値（具体的には１〜１８００）を輝度値（具体的には０〜２５５）に変換して表示させたものである。そして、図５において烏の飛翔軌跡部分(画素)の輝度が高くなっているのは、処理単位時間の終盤に烏が飛翔したために烏の飛翔が撮像された画像の時刻識別子ｔの値が大きく、したがって輝度値が大きくなって輝度が高くなっているためである。

次に、Ｓ２−１の処理によって作成された高輝度画像Ｈと低輝度画像Ｌとを用いて数式３に従って差分画像Ｓを作成した（Ｓ３）。

差分画像Ｓの一例を図６に示す。

次に、Ｓ３の処理によって作成した差分画像Ｓを用いて烏の飛翔軌跡についての基本画像Ｓ_bを作成した（Ｓ４）。

本実施例では、差分画像Ｓの画素毎の輝度値を０〜２５５階調にすると共に二値変換の閾値α＝５０とし、差分画像Ｓの画素毎の輝度値を数式４に従って二値変換して飛翔軌跡の基本画像Ｓ_bを作成した。

また、本実施例では、Ｓ４までの処理による飛翔軌跡の検出に特に大きく寄与した撮像画像の前後の撮像画像のデータを用いて烏の飛翔軌跡を補完した画像Ｓ_cを作成した（Ｓ５）。

本実施例では、数式６に従って飛翔軌跡補完画像Ｓ_cを作成した。なお、補完採否の閾値β＝５０とした。

さらに、本実施例では、Ｓ５の処理によって作成された飛翔軌跡補完画像Ｓ_cに対してノイズの除去を行った（Ｓ６）。

飛翔軌跡基本画像Ｓ_bに対して飛翔軌跡の補完処理（Ｓ５）及びノイズの除去処理（Ｓ６）を行った後の飛翔軌跡画像の一例を図７に示す。

人の目視による撮像画像の検分の結果、図７中の白い部分はいずれも烏の飛翔軌跡であることが確認された。なお、図７の下側の途切れ途切れの白い部分も、設備の間を低空で飛行した烏の飛翔軌跡であることが確認された。この結果から、本発明の飛来物体を検出する画像処理方法によって移動体の検出を非常に良好な精度で行えることが確認された。

本実施例では、続けて、Ｓ６までの処理によって作成された飛翔軌跡画像に基づいて監視対象区域である変電所への烏の進入回数を計測した（Ｓ７）。

本実施例では、撮影時間帯である午前６時から午後６時までに撮像された連続画像群に対して処理単位時間（時間区分）を１分として上述の処理を繰り返し行って処理単位時間毎の飛翔軌跡画像を作成し、これら飛翔軌跡画像別に画素値１の画素数が進入判断閾値γ以上である場合に烏の進入回数Ｎに１を加えることによって変電所への烏の進入回数を計測した。なお、進入判断閾値γ＝１００とした。

午前６時から午後６時までについて１時間毎に烏の進入回数Ｎを計測して図８に示す結果が得られた。図８に示す結果は人が手作業によって計測した回数と良好に合致しており、この結果から、本発明の飛来物体を検出する画像処理方法によって監視対象区域への移動体の進入回数の計測を非常に良好な精度で行えることが確認された。

なお、本実施例では監視対象区域を変電所としているために電線等が撮影範囲に含まれて当該電線等の風による揺れが撮像され、また、午前６時から午後６時までの日射変化や天候変化による設備壁面の明暗変化が撮像されるものの、本発明の処理によればこのような背景の変化によっては検出処理は影響を受けないことが確認された。すなわち、本発明によれば、背景の変化に影響を受けることなく、検出対象の抽出処理を良好に行うことが可能であることが確認された。

なお、本実施例では、監視対象区域に飛翔する烏を検出対象として移動軌跡として烏の飛翔軌跡を検出するようにしているが、本発明において検出対象として想定するものは烏に限られるものではなく、撮像された画像において輝度が低い物体として記録されている移動体、より具体的には、撮影範囲の多くの部分を占める背景よりも輝度が低い物体として記録されている移動体を検出対象とすることができる。

１０ 画像処理装置
１７ 画像処理プログラム

Claims (12)

1. 監視対象区域の撮影によって得られた撮像画像のデータであって予め定められた処理単位時間に亘って時系列で連続する撮像画像のデータを用いて前記処理単位時間の間における画素座標(ｘ，ｙ)毎の輝度値の最大値を画素値Ｈ(ｘ，ｙ)とする高輝度画像及び輝度値の最小値を画素値Ｌ(ｘ，ｙ)とする低輝度画像を作成し、前記高輝度画像と前記低輝度画像との前記画素座標(ｘ，ｙ)毎の画素値の差分値であるＭax[Ｈ(ｘ，ｙ)−Ｌ(ｘ，ｙ)，０]を画素値とする差分画像を作成し、当該差分画像を二値変換して飛来する移動体の移動軌跡画像を作成することを特徴とする飛来物体を検出する画像処理方法。
2. 前記低輝度画像の前記画素座標(ｘ，ｙ)毎の輝度値として選択された画素値を有する元の撮像画像の時刻識別子ｔの値を画素値Ｔ(ｘ，ｙ)に変換して記録した時刻画像を更に作成し、当該時刻画像の前記画素座標(ｘ，ｙ)毎の画素値Ｔ(ｘ，ｙ)として出現する前記撮像画像の時刻識別子ｔの値別の出現頻度に基づく所定の条件を前記時刻画像における画素値Ｔ(ｘ，ｙ)としての前記撮像画像の時刻識別子ｔの値が満たしている前記画素座標(ｘ，ｙ)は前記飛来する移動体の移動軌跡であるとして、前記移動軌跡画像に前記飛来する移動体の移動軌跡を追加して移動軌跡補完画像を作成することを特徴とする請求項１記載の飛来物体を検出する画像処理方法。
3. 前記移動軌跡画像または前記移動軌跡補完画像における前記飛来する移動体の移動軌跡の現出状況に応じて前記処理単位時間の間における前記監視対象区域への前記飛来する移動体の進入の有無を判断することを特徴とする請求項１または２記載の飛来物体を検出する画像処理方法。
4. 前記飛来する移動体が烏であることを特徴とする請求項１から３のいずれか一つに記載の飛来物体を検出する画像処理方法。
5. 監視対象区域の撮影によって得られた撮像画像のデータであって予め定められた処理単位時間に亘って時系列で連続する撮像画像のデータを記憶装置から読み込む手段と、前記処理単位時間の間における画素座標(ｘ，ｙ)毎の輝度値の最大値を画素値Ｈ(ｘ，ｙ)とする高輝度画像及び輝度値の最小値を画素値Ｌ(ｘ，ｙ)とする低輝度画像を作成する手段と、前記高輝度画像と前記低輝度画像との前記画素座標(ｘ，ｙ)毎の画素値の差分値であるＭax[Ｈ(ｘ，ｙ)−Ｌ(ｘ，ｙ)，０]を画素値とする差分画像を作成する手段と、前記差分画像を二値変換して飛来する移動体の移動軌跡画像を作成する手段とを有することを特徴とする飛来物体を検出する画像処理装置。
6. 前記低輝度画像の前記画素座標(ｘ，ｙ)毎の輝度値として選択された画素値を有する元の撮像画像の時刻識別子ｔの値を画素値Ｔ(ｘ，ｙ)に変換して記録した時刻画像を作成し、さらに、前記時刻画像の前記画素座標(ｘ，ｙ)毎の画素値Ｔ(ｘ，ｙ)として出現する前記撮像画像の時刻識別子ｔの値別の出現頻度に基づく所定の条件を前記時刻画像における画素値Ｔ(ｘ，ｙ)としての前記撮像画像の時刻識別子ｔの値が満たしている前記画素座標(ｘ，ｙ)は前記飛来する移動体の移動軌跡であるとして前記移動軌跡画像に前記飛来する移動体の移動軌跡を追加して移動軌跡補完画像を作成する手段を有することを特徴とする請求項５記載の飛来物体を検出する画像処理装置。
7. 前記移動軌跡画像または前記移動軌跡補完画像における前記飛来する移動体の移動軌跡の現出状況に応じて前記処理単位時間の間における前記監視対象区域への前記飛来する移動体の進入の有無を判断する手段を更に有することを特徴とする請求項５または６記載の飛来物体を検出する画像処理装置。
8. 前記飛来する移動体が烏であることを特徴とする請求項５から７のいずれか一つに記載の飛来物体を検出する画像処理装置。
9. 監視対象区域の撮影によって得られた撮像画像のデータであって予め定められた処理単位時間に亘って時系列で連続する撮像画像のデータを記憶装置から読み込む手段、前記処理単位時間の間における画素座標(ｘ，ｙ)毎の輝度値の最大値を画素値Ｈ(ｘ，ｙ)とする高輝度画像及び輝度値の最小値を画素値Ｌ(ｘ，ｙ)とする低輝度画像を作成する手段、前記高輝度画像と前記低輝度画像との前記画素座標(ｘ，ｙ)毎の画素値の差分値であるＭax[Ｈ(ｘ，ｙ)−Ｌ(ｘ，ｙ)，０]を画素値とする差分画像を作成する手段、前記差分画像を二値変換して飛来する移動体の移動軌跡画像を作成する手段としてコンピュータを機能させることを特徴とする飛来物体を検出する画像処理プログラム。
10. 前記低輝度画像の前記画素座標(ｘ，ｙ)毎の輝度値として選択された画素値を有する元の撮像画像の時刻識別子ｔの値を画素値Ｔ(ｘ，ｙ)に変換して記録した時刻画像を作成する手段、前記時刻画像の前記画素座標(ｘ，ｙ)毎の画素値Ｔ(ｘ，ｙ)として出現する前記撮像画像の時刻識別子ｔの値別の出現頻度に基づく所定の条件を前記時刻画像における画素値Ｔ(ｘ，ｙ)としての前記撮像画像の時刻識別子ｔの値が満たしている前記画素座標(ｘ，ｙ)は前記飛来する移動体の移動軌跡であるとして前記移動軌跡画像に前記飛来する移動体の移動軌跡を追加して移動軌跡補完画像を作成する手段としてもコンピュータを機能させることを特徴とする請求項９記載の飛来物体を検出する画像処理プログラム。
11. 前記移動軌跡画像または前記移動軌跡補完画像における前記飛来する移動体の移動軌跡の現出状況に応じて前記処理単位時間の間における前記監視対象区域への前記飛来する移動体の進入の有無を判断する手段としてもコンピュータを機能させることを特徴とする請求項９または１０記載の飛来物体を検出する画像処理プログラム。
12. 前記飛来する移動体が烏であることを特徴とする請求項９から１１のいずれか一つに記載の飛来物体を検出する画像処理プログラム。

Images