JP2015179438A - 画像処理装置、移動速度判定方法、および移動速度判定プログラム - Google Patents

Abstract

【課題】撮像されているオブジェクトの移動速度が正常であるか、異常であるかの判定が簡単に行え、且つ、撮像装置の設置にかかる作業者の負担を低減する。【解決手段】画像処理装置１は、撮像装置１０が対象エリアを撮像した動画像が動画像入力部２に入力される。画像処理部３は、動画像入力部２に入力された動画像にかかるフレーム画像を処理し、対象エリア内におけるオブジェクトの移動を追跡する。また、画像処理部３は、追跡したオブジェクトについて、フレーム画像上におけるオブジェクトの大きさ、およびフレーム画像間におけるオブジェクトの位置の変化量に基づき、そのオブジェクトの移動速度が正常であるかどうかを判定する。【選択図】図１

Description

この発明は、防犯カメラ等で撮像した動画像に撮像されているオブジェクトの移動速度が正常であるかどうかを判定する技術に関する。

従来、空港、駅、ショッピングセンター、街角等、不特定多数の人が集まる様々な場所に防犯カメラが設置されている。

また、カメラで撮像した動画像を処理し、特異な行動をとった不審者等の人物（以下、単に不審者と言う。）を検出することも検討されている。例えば、カメラで撮像した動画像を処理し、撮像されている人の行動の特徴量として、その人の移動速度、移動方向、頭の高さ等を検出し、その人が不審者であるかどうかを判定するものがある（特許文献１参照）。

なお、特許文献１は、処理対象のカメラ画像（動画像）が、防犯カメラの撮像画像ではなく、車載カメラである。

特開２０１３− ８８８７０号公報

しかしながら、防犯カメラで撮像した動画像を処理し、撮像されている人（以下、対象者と言う。）の移動速度を算出するには、フレーム画像上における対象者の位置を実空間上の位置に変換し、実空間上における対象者の移動量を検出しなければならない。フレーム画像上における対象者の移動量が同じであっても、防犯カメラと対象者との距離によって、実空間上での移動量は異なる。このため、実空間上における対象者の移動速度を算出する処理にかかる演算量が多く、移動速度が正常であるか、異常であるかの判定にかかる処理負荷が大きかった。

また、防犯カメラを設置する毎に、その防犯カメラで撮像されるフレーム画像上の位置と、実空間上の位置と、を対応付けるパラメータを設定しなければならず、防犯カメラの設置にかかる作業も煩雑であった。

この発明の目的は、撮像されているオブジェクトの移動速度が正常であるか、異常であるかの判定が簡単に行え、且つ、撮像装置の設置にかかる作業者の負担を低減することができる技術を提供することにある。

この発明の動画像処理装置は、上記目的を達するために、以下のように構成している。

動画像入力部には、撮像装置が対象エリアを撮像した動画像が入力される。オブジェクト追跡部は、動画像入力部に入力された動画像にかかるフレーム画像を処理し、対象エリア内におけるオブジェクトの移動を追跡する。そして、移動速度判定部が、オブジェクト追跡部に追跡されたオブジェクトについて、フレーム画像上におけるオブジェクトの大きさ、およびフレーム画像間におけるオブジェクトの位置の変化量に基づき、そのオブジェクトの移動速度が正常であるかどうかを判定する。

フレーム画像上におけるオブジェクトの大きさは、このオブジェクトと撮像装置との距離に応じて変化する。また、フレーム画像上におけるオブジェクトの位置の変化量は、実空間上におけるオブジェクトの移動量に応じて変化する。したがって、実空間上におけるオブジェクトの移動量を用いなくても、フレーム画像上におけるオブジェクトの大きさと、フレーム画像上における位置の変化量を用いて、そのオブジェクトの移動速度が正常であるかどうかを適正に判定することができる。また、実空間上におけるオブジェクトの移動量を算出しないので、装置本体の処理負荷を低減し、装置本体のコストダウンを図ることができる。さらに、撮像装置の設置時に、その撮像装置で撮像されるフレーム画像上の位置と、実空間上の位置と、を対応付けるパラメータを設定する必要が無く、撮像装置の設置にかかる作業も簡単に行える。

また、移動速度判定部は、フレーム画像間におけるオブジェクトの位置の変化量として、フレーム画像上での水平方向の位置の変化量と、フレーム画像上での垂直方向の位置の変化量とを用いる構成としてもよいし、そのオブジェクトの位置の変化量として、
（（フレーム画像上での水平方向の変化量）²＋（フレーム画像上での垂直方向の変化量）²）^1/2
を用いてもよい。

また、フレーム画像上におけるオブジェクトの大きさ別に、フレーム画像間におけるオブジェクトの位置の変化量を集計部で集計し、その集計結果に基づき、移動速度判定部がオブジェクトの移動速度が正常であるかどうかの判定に用いる、フレーム画像上におけるオブジェクトの大きさと、フレーム画像間におけるオブジェクトの位置の変化量との関係を定める構成としてもよい。

このように構成すれば、対象エリアの環境に応じて、対象エリアを移動するオブジェクトの移動速度が正常であるかどうかを判定する判定基準を定めることができる。

また、オブジェクト追跡部は、動画像入力部に入力された動画像にかかる全てのフレーム画像を処理対象フレーム画像として、上述のオブジェクトの移動の追跡を行ってもよいし、動画像入力部に入力された動画像から、予め定めた間隔で抽出したフレーム画像を処理対象フレーム画像として、上述のオブジェクトの移動の追跡を行ってよい。処理対象フレーム画像を抽出する間隔については、動画像入力部に入力された動画像のフレームレートに応じて定めればよい。また、この間隔は、時間間隔で定めてもよいし、フレーム間隔で定めてもよい。

また、オブジェクト追跡部は、時間的に連続する３つの処理対象フレーム画像を用い、これら３つの処理対象フレーム画像間で撮像されているオブジェクトを同定し追跡する構成としてもよい。例えば、時間的に連続する３つの処理対象フレーム画像の中で、時間的に中間に位置しない２つの処理対象フレーム画像間における、撮像されているオブジェクトの類似度に基づいて、これら３つの処理対象フレーム画像間で撮像されているオブジェクトを同定してもよい。例えば、時間的に連続する３つの処理対象フレーム画像の中で、時間的に中間に位置する処理対象フレーム画像上で複数のオブジェクトが重なっているとき、時間的に中間に位置しない２つの処理対象フレーム画像間における、撮像されているオブジェクトの類似度に基づいて、これら３つの処理対象フレーム画像間で撮像されているオブジェクトを同定してもよい。これにより、処理対象フレーム画像間におけるオブジェクトの対応付けが精度よく行える。

この発明によれば、撮像されているオブジェクトの移動速度が正常であるか、異常であるかの判定が簡単に行え、且つ、撮像装置の設置にかかる作業者の負担を低減することができる。

画像処理装置の主要部の構成を示すブロック図である。 画像処理部の機能構成を示す図である。 オブジェクトマップを示す図である。 処理対象フレーム画像上におけるオブジェクトの大きさ、および位置を説明する図である。 判定基準テーブルを示す図である。 追跡処理を示すフローチャートである。 同定処理を示すフローチャートである。 時間的に連続する処理対象フレーム画像に撮像されている人を対応付ける処理を説明する図である。 時間的に連続する３つの処理対象フレーム画像に撮像されている人を対応付ける処理を説明する図である。 時間的に連続する３つの処理対象フレーム画像に撮像されている人を対応付ける処理を説明する図である。 時間的に連続する３つの処理対象フレーム画像に撮像されている人を対応付ける処理を説明する図である。 時間的に連続する３つの処理対象フレーム画像に撮像されている人を対応付ける処理を説明する図である。 判定基準設定処理を示すフローチャートである。 処理対象フレーム画像上における水平方向の変化量を集計した頻度分布を示す図である。 速度異常者検出処理を示すフローチャートである。

以下、この発明の実施形態である画像処理装置について説明する。

図１は、この例にかかる画像処理装置の主要部の構成を示すブロック図である。この例にかかる画像処理装置１は、動画像入力部２と、画像処理部３と、出力部４と、を備えている。この例にかかる画像処理装置１は、防犯カメラ等の撮像装置１０で撮像した動画像を処理し、この動画像に撮像されている人の移動速度が正常であるか、異常であるかを判定するとともに、その判定結果を上位装置に出力する。

動画像入力部２には、撮像装置１０が接続されている。撮像装置１０は、動画像を撮像するビデオカメラである。撮像装置１０は、例えば不特定多数の人が集まる場所（空港、駅、ショッピングセンター、街角等）に設置された防犯カメラである。動画像入力部２には、撮像装置１０が撮像した動画像にかかるフレーム画像が時系列に入力される。撮像装置１０のフレームレートは、数フレーム／ｓｅｃ（３〜５フレーム／ｓｅｃ）の比較的低いものであってもよい。撮像装置１０の撮像エリアが、この発明で言う対象エリアに相当する。

なお、動画像入力部２は、ＵＳＢメモリや、ＳＤメモリカード、ＤＶＤ等のメディアに記録されている動画像ファイルを入力する構成であってもよい。この場合、撮像装置１０が撮像した動画像を一旦メディアに記録し、そのメディアに記録した動画像ファイルを動画像入力部２に入力する。

画像処理部３は、動画像入力部２に入力された動画像にかかるフレーム画像を処理し、撮像されている人（オブジェクト）の移動を追跡するとともに、この追跡した人の移動速度が正常であるか、異常であるかを判定する。また、画像処理部３は、移動速度が正常であるか、異常であるかの判定に用いる判定基準の設定を行う。画像処理部３の詳細については、後述する。

なお、画像処理部３が処理するフレーム画像（以下、処理対象フレーム画像と言う。）は、動画像入力部２に入力された動画像にかかる全てのフレーム画像でなくてもよい。具体的には、画像処理部３は、動画像入力部２に入力された動画像にかかる全てのフレーム画像を処理対象フレーム画像として処理してもよいし、動画像入力部２に入力された動画像から予め定めた間隔で抽出したフレーム画像を処理対象フレーム画像として処理してもよい（ここで抽出しなかったフレーム画像については後述する処理を行わない。）。また、この処理対象フレーム画像を抽出する間隔は、動画像入力部２に入力された動画像のフレームレートに応じて定めればよく、時間間隔で設定してもよいし、フレーム間隔で設定してもよい。

この画像処理部３が、この発明にかかる移動速度判定方法を実行するコンピュータを備える。また、この発明にかかる移動速度判定プログラムは、画像処理部３が備えるコンピュータにインストールされる。

出力部４は、画像処理部３において移動速度が異常であると判定された人を上位装置に通知する。具体的には、画像処理部３が追跡した人の移動速度が異常であると判定すると、出力部４が上位装置に対してその旨を通知する。上位装置は、例えば警備室等に設置された表示灯やスピーカによって、移動速度が異常である人が検出されたことを警備員等に報知する。

図２は、画像処理部の機能構成を示すブロック図である。画像処理部３は、オブジェクト検出機能部３１と、オブジェクト同定機能部３２と、オブジェクトマップ作成機能部３３と、移動速度判定機能部３４と、集計機能部３５と、判定基準設定機能部３６と、を備えている。

オブジェクト検出機能部３１は、撮像装置１０が撮像した動画像にかかるフレーム画像から抽出した処理対象フレーム画像毎に、その処理対象フレーム画像に撮像されている人をオブジェクトとして検出する。上述したように、処理対象フレーム画像は、動画像入力部２に入力された動画像にかかる全てのフレーム画像であってもよいし、動画像入力部２に入力された動画像から予め定めた間隔で抽出したフレーム画像であってもよい。オブジェクト検出機能部３１は、例えば公知の背景差分方式、フレーム画像間差分方式により、撮像されている人を検出する。背景差分方式や、フレーム画像間差分方式によるオブジェクトの検出については公知であるので、ここでは説明を省略する。オブジェクト検出機能部３１は、検出した人に仮ＩＤを付与する。

オブジェクト同定機能部３２は、時間的に連続する複数の処理対象フレーム画像を用いて、これらの処理対象フレーム画像に撮像されている人を対応付ける同定処理を行う。この同定処理の詳細については、後述する。オブジェクト同定機能部３２は、この同定により、オブジェクト検出機能部３１が仮ＩＤを付与した人が、すでに本ＩＤを付与した人であるか、この時点では本ＩＤを付与していない人であるかを判断する。オブジェクト同定機能部３２は、すでに本ＩＤを付与している人であれば、仮ＩＤを本ＩＤに置き換える。一方、オブジェクト同定機能部３２は、本ＩＤを付与していない人であれば、仮ＩＤを新たに付与する本ＩＤに置き換える。この場合、実質的に仮ＩＤを本ＩＤに置き換えてもよいし、この仮ＩＤを本ＩＤにしてもよい。

オブジェクトマップ作成機能部３３は、図３に示すオブジェクトマップを生成する。オブジェクトマップは、図３に示すように、処理対象フレーム画像毎に、オブジェクト検出機能部３１が検出した人の本ＩＤに、その処理対象フレーム画像上における大きさＳと、その処理対象フレーム画像における位置（ｘ，ｙ）とを対応付けて登録したものである。例えば、図３に示すオブジェクトマップの例では、処理対象フレーム画像Ｎｏ．ｔ_n-1である処理対象フレーム画像に、本ＩＤがＡ１２３４５６である人と、Ａ１２３４５７である人が撮像されていたことを示している。また、本ＩＤがＡ１２３４５６である人は、処理対象フレーム画像上における大きさＳがＳａ１であり、処理対象フレーム画像上における位置（ｘ，y）が（ｘ_a1，y_a1）であったことを示している。また、本ＩＤがＡ１２３４５７である人は、処理対象フレーム画像上における大きさＳがＳｂ１であり、処理対象フレーム画像上における位置（ｘ，y）が（ｘ_b1，y_b1）であったことを示している。

なお、撮像装置１０が撮像した動画像にかかるフレーム画像（処理対象フレーム画像として抽出されなかったフレーム画像）が、時間的に連続する処理対象フレーム画像の間、例えば、処理対象フレーム画像Ｎｏ．ｔ_n-1と、処理対象フレーム画像Ｎｏ．ｔ_nと、の間に存在することもある。

また、他の処理対象フレーム画像Ｎｏ．ｔ_n、処理対象フレーム画像Ｎｏ．ｔ_n+1、処理対象フレーム画像Ｎｏ．ｔ_n+2についても、オブジェクト検出機能部３１が検出した人の本ＩＤに、その処理対象フレーム画像上における大きさＳと、その処理対象フレーム画像上における位置とが対応付けて登録されている。

図４は、人Ａ，および人Ｂが撮像されている処理対象フレーム画像を示す図である。図４に示すように、この例では、オブジェクト検出機能部３１によって検出された人を囲む矩形領域の高さ（処理対象フレーム画像上における垂直方向の長さＳＡ、ＳＢ）を、検出された人の大きさＳとしてオブジェクトマップに登録している。また、図４に示すように、この矩形領域（検出された人を囲む矩形領域）の左下の角を、検出された人の位置（ｘ，y）にしてオブジェクトマップに登録している。検出された人の位置は、処理対象フレーム画像上における水平方向の位置Ｘａ、Ｘｂと、処理対象フレーム画像上における垂直方向の位置Ｙａ、Ｙｂと、で示される。

なお、検出された人を囲む矩形領域の面積を、検出された人の大きさにしてもよいし、処理対象フレーム画像上における、この矩形領域の右下の角や重心を検出された人の位置にしてもよい。

したがって、本ＩＤが付与された人は、このオブジェクトマップにより、処理対象フレーム画像上における大きさＳが得られるとともに、時間経過にともなう位置（ｘ，ｙ）の変化が得られる。すなわち、本ＩＤが付与された人については、処理対象フレーム画像上における移動経路（すなわち撮像装置１０の撮像エリア内における移動経路）をオブジェクトマップから得ることができ、オブジェクトの追跡が行える。

オブジェクト検出機能部３１、オブジェクト同定機能部３２、およびオブジェクトマップ作成機能部３３が、この発明で言うオブジェクト追跡部に相当する構成である。

移動速度判定機能部３４は、後述する判定基準設定機能部３６により設定された判定基準を用い、追跡している人の移動速度が正常であるか、異常であるかを判定する。

なお、ここで言う、移動速度が異常であるとは、一般的な人に比べて移動速度がある程度以上速い人だけでなく、一般的な人に比べて移動速度がある程度以上遅い人も含まれる。

集計機能部３５は、上述のオブジェクトマップを用いて、時間的に連続する処理対象フレーム画像間において、処理対象フレーム画像上における人の位置の変化量を集計する。この集計は、処理対象フレーム画像上における人の大きさＳで複数段階に区分して行う。

同じ人であっても、その人と、撮像装置１０との距離が短くなるにつれて、処理対象フレーム画像上における大きさＳが大きくなる。また、実空間上における移動距離が同じであっても、その移動場所と、撮像装置１０との距離が短くなるにつれて、処理対象フレーム画像上における変化量が大きくなる。すなわち、集計機能部３５は、処理対象フレーム画像上での人の大きさＳを複数段階に区分して集計することによって、処理対象フレーム画像上における人の位置の変化量の集計を撮像装置１０と人との距離で区分して行う。

集計機能部３５は、検出された人の大きさＳで区分した段階毎に、オブジェクトマップを参照して、時間的に連続する２つの処理対象フレーム画像間における、処理対象フレーム画像上での人の水平方向の変化量の分布、および処理対象フレーム画像上での人の垂直方向の変化量の分布を集計する。水平方向の変化量は、時間的に連続する２つの処理対象フレーム画像において、人の水平方向の検出位置の差分の絶対値である。また、垂直方向の変化量は、時間的に連続する２つの処理対象フレーム画像において、人の垂直方向の検出位置の差分の絶対値である。この集計機能部３５が、この発明で言う集計部に相当する。

判定基準設定機能部３６は、集計機能部３５の集計結果に基づき、処理対象フレーム画像上における人の大きさ別に、処理対象フレーム画像上における水平方向の正常変化量の範囲、および処理対象フレーム画像上における水平方向の正常変化量の範囲を対応付けた判定基準を設定する。図５は、判定基準設定機能部３６により判定基準が設定された判定基準テーブルを示す図である。図５に示す判定基準テーブルの例では、処理対象フレーム画像上における大きさＳの範囲がＳ０〜Ｓ１である人にかかる判定基準は、水平方向の変化量がＸ１〜Ｘ２の範囲であり、且つ垂直方向の変化量がＹ１〜Ｙ２の範囲である人について、移動速度が正常であると判定する設定である。図５において示す、処理対象フレーム画像上における大きさＳの範囲の他の例についても、同様である。この判定基準設定機能部３６が、この発明で言う判定基準設定部に相当する。

なお、画像処理部３は、特に図示していないが、上述のオブジェクト検出処理を行うための画像メモリや、図３に示したオブジェクトマップ、および図５に示した判定基準テーブルを記憶するメモリを有している。

次に、この例にかかる画像処理装置１の動作について説明する。この例にかかる画像処理装置１は、以下に示す追跡処理、判定基準設定処理、および速度異常者検出処理を行う。追跡処理は、図３に示したオブジェクトマップに、処理対象フレーム画像に撮像されていた人について、この処理対象フレーム画像上における大きさＳ、および位置（ｘ、ｙ）を登録する処理である。判定基準設定処理は、図５に示した判定基準テーブルを設定する処理である。速度異常者検出処理は、撮像装置１０の撮像エリア内における移動速度が異常である人を検出する処理である。

図６は、追跡処理を示すフローチャートである。画像処理装置１は、画像処理部３が今回処理する処理対象フレーム画像を決定する（ｓ１）。ｓ１では、動画像入力部２に入力された動画像（撮像装置１０が撮像した動画像）から、予め定められている間隔に基づいて抽出した処理対象フレーム画像であって、その時点において未処理である時間的に最もはやい処理対象フレーム画像（直前に処理した処理対象フレーム画像に対して、時間的に直後に位置する処理対象フレーム画像）を、今回処理する処理対象フレーム画像に決定する。

画像処理部３は、オブジェクト検出機能部３１において、ｓ１で決定した処理対象フレーム画像に撮像されているオブジェクト（人）を検出する（ｓ２）。ｓ２では、公知の背景差分方式や、フレーム間差分方式により撮像されている人を検出し、検出した人に対して仮ＩＤを付与する。画像処理部３は、オブジェクト同定機能部３２において、ｓ２で検出した人と、この時点ですでに検出されていた人と対応づける同定処理を行う（ｓ３）。

図７は、このｓ３にかかる同定処理を示すフローチャートである。オブジェクト同定機能部３２は、ｓ２で検出した人毎に、その特徴量を抽出する（ｓ１１）。ｓ１１では、処理対象フレーム画像上における検出した人のＲＧＢの輝度値を特徴量として抽出してもよいし、目、鼻、口等の顔部品の形状や色等を特徴量として抽出してもよい。

オブジェクト同定機能部３２は、前回の処理対象フレーム画像（すなわち、今回の処理対象フレーム画像に対して、時間的に直前の処理対象フレーム画像）に撮像されていた人と、ｓ２で検出した人と、の対応付けを行う（ｓ１２）。ｓ１２では、ｓ２で検出した人毎に、その人についてｓ１１で抽出した特徴量と、前回の処理対象フレーム画像に撮像されていたそれぞれの人の特徴量（この特徴量は、前回の処理対象フレーム画像における同定処理で検出されている。）と、の類似度を算出する。例えば、図８に示すように、前回の処理対象フレーム画像において、人Ａ，人Ｂ、および人Ｃが検出されており、今回の処理対象フレーム画像において、人ａ、人ｂ、および人ｃが検出された場合、人ａについて、人Ａ，人Ｂ、および人Ｃのそれぞれについて特徴量の類似度を算出する。同様に、人ｂについても、人Ａ，人Ｂ、および人Ｃのそれぞれについて特徴量の類似度を算出し、人ｃについても、人Ａ，人Ｂ、および人Ｃのそれぞれについて特徴量の類似度を算出する。

オブジェクト同定機能部３２は、ｓ２で検出した人毎に、特徴量の類似度が予め定めた閾値よりも大きい人に対応付ける。このとき、特徴量の類似度が予め定めた閾値よりも大きい人が複数人いれば、その類似度が最大であった人に対応付ける。また、特徴量の類似度が予め定めた閾値よりも大きい人がいなければ、その人については前回の処理対象フレーム画像に撮像されていた人と対応付けない。

ｓ１２で前回の処理対象フレーム画像に撮像されていた人に対応付けた人は、仮ＩＤを破棄し、今回対応付けた人に付与されている本ＩＤを設定する。また、ｓ１２で対応付けた前回の処理対象フレーム画像に撮像されていた人に本ＩＤが付与されていなければ（仮ＩＤを保持していれば）、これらの仮ＩＤを破棄して、新たに生成した本ＩＤを設定する。また、ｓ１２で前回の処理対象フレーム画像に撮像されていた人と対応付けられなかった人は、その人に付与されている仮ＩＤを保持する。仮ＩＤを保持する人は、前回の処理対象フレーム画像の撮像タイミングから、今回の処理対象フレーム画像の撮像タイミングまでの間に、撮像装置１０の撮像エリア内に進入した人や、前回の処理対象フレーム画像に対する処理で適正に検出されなかった人等である。

オブジェクト同定機能部３２は、２段階同定フラグがオンされているか、オフされているかを判定する（ｓ１３）。この２段階同定フラグは、後述するように、前回の処理対象フレーム画像に撮像されていた人の中に、本ＩＤが付与されていない（仮ＩＤを保持している。）人がいる場合や、前々回の処理対象フレーム画像に撮像されていた人の中に、前回の処理対象フレーム画像に撮像されていた人に対応付けられなかった人がいる場合にオンされている。

オブジェクト同定機能部３２は、２段階同定フラグがオンされていると、今回の処理対象フレーム画像に撮像されていた人であって、この時点において本ＩＤが付与されていない人（ｓ１２で前回の処理対象フレーム画像に撮像されていた人に対応付けされなかった人）について、前々回の処理対象フレーム画像に撮像されていた人との対応付けを行う（ｓ１４）。ｓ１４では、前々回の処理対象フレーム画像に撮像されていた人であっても、前回の処理対象フレーム画像に撮像されていた人と対応付けされている人については、このｓ１４にかかる処理の対象外である。言い換えれば、前々回の処理対象フレーム画像に撮像されていた人であって、前回の処理対象フレーム画像に撮像されていた人と対応付けされなかった人が対象である。このｓ１４にかかる処理も、上述したｓ１２と同様に、特徴量の類似度を算出し、対応付けを行う。

オブジェクト同定機能部３２は、今回の処理対象フレーム画像に撮像されている人の中に、仮ＩＤを保持している人がいるかどうか、および、前回の処理対象フレーム画像に撮像されていた人の中に、今回の処理対象フレーム画像に撮像されていた人が対応付けられなかった人がいるかどうかを判定する（ｓ１５、ｓ１６）。

オブジェクト同定機能部３２は、今回の処理対象フレーム画像に撮像されている人の中に、仮ＩＤを保持している人がおらず、且つ、前回の処理対象フレーム画像に撮像されていた人の中に、今回の処理対象フレーム画像に撮像されていた人に対応付けられなかった人がいなければ、２段階同定フラグをオフに設定し（ｓ１７）、その他の場合に、２段階同定フラグをオンに設定し（ｓ１８）、この同定処理を終了する。

上述の同定処理を、具体的な例で説明する。まず、前々回の処理対象フレーム画像の撮像タイミングから、前回の処理対象フレーム画像の撮像タイミングまでの間に、撮像装置１０の撮像エリア内に人Ｃが進入した図９に示す場合を例にして説明する。図９に示す各処理対象フレーム画像に撮像されている、人Ａは同一人物である。同様に、人Ｂも同一人物であり、人Ｃも同一人物である。

図９において、人Ｃは前回の処理対象フレーム画像に対する同定処理で前々回の処理対象フレーム画像に撮像されていたいずれの人にも対応付けられない。したがって、前回の処理対象フレーム画像に対する同定処理が完了した時点で、人Ｃは仮ＩＤを保持した状態（本ＩＤが付与されていない状態）である。すなわち、前回の処理対象フレーム画像に対する同定処理のｓ１８で２段階同定フラグがオンに設定される。

図９に示す今回の処理対象フレーム画像に対する同定処理のｓ１２で、今回の処理対象フレーム画像に撮像されている人Ｃが、前回の処理対象フレーム画像に撮像されている人Ｃに対応付けられた時点で、この人Ｃに対して本ＩＤが付与される。

したがって、任意のタイミングで撮像装置１０の撮像エリア内に進入してきた人Ｃに対して本ＩＤを付与し、追跡処理を適正に開始できる。

なお、図９に示す例では、今回の処理対象フレーム画像に撮像されている人Ａは、前回の処理対象フレーム画像に撮像されている人Ａに対応付けられ、今回の処理対象フレーム画像に撮像されている人Ｂは、前回の処理対象フレーム画像に撮像されている人Ｂに対応付けられる。

次に、図１０に示す、前々回の処理対象フレーム画像の撮像タイミングから、前回の処理対象フレーム画像の撮像タイミングまでの間に、撮像装置１０の撮像エリア内から撮像エリア外へ、人Ｃが退出した場合を例にして説明する。図１０に示す各処理対象フレーム画像に撮像されている、人Ａは同一人物である。同様に、人Ｂも同一人物であり、人Ｃも同一人物である。

図１０において、前々回の処理対象フレーム画像に撮像されている人Ｃは、前回の処理対象フレーム画像に対する同定処理で前回の処理対象フレーム画像に撮像されていた人に対応付けられない。このため、前回の同定処理のｓ１８で２段階同定フラグがオンに設定される。そして、図１０に示す今回の処理対象フレーム画像に対する同定処理のｓ１２で、今回の処理対象フレーム画像に撮像されている人Ａは、前回の処理対象フレーム画像に撮像されている人Ａに対応付けられ、今回の処理対象フレーム画像に撮像されている人Ｂは、前回の処理対象フレーム画像に撮像されている人Ｂに対応付けられる。一方、同定処理のｓ１４で、前々回の処理対象フレーム画像に撮像されている人Ｃは、今回の処理対象フレーム画像に撮像されている人と対応付けられない。

したがって、撮像装置１０の撮像エリア内から撮像エリア外へ退出した人Ｃに対する追跡処理が適正に終了できる。

一方で、上述の図１０の説明において、撮像装置１０の撮像エリア内から退出したとした、人Ｃが実際には撮像エリア内から退出しておらず、図１１に示すように、前回の処理対象フレーム画像に対するオブジェクト検出処理において、何らかの原因で人Ｃが適正に検出されていなかった場合、この人Ｃは、今回の処理対象フレーム画像に撮像されているので、今回の処理対象フレーム画像に対する同定処理のｓ１２で、前回の処理対象フレーム画像に撮像されていたいずれの人にも対応付けられない。しかし、この人Ｃは、今回の処理対象フレーム画像に対する同定処理のｓ１４で、前々回の処理対象フレーム画像に撮像されていた人Ｃに対応付けられる。したがって、一時的に見失った人（ｓ２のオブジェクト検出処理において、何らかの原因で適正に検出できなかった人）に対する追跡処理を適正に継続できる。

さらに、図１２に示すように、前回の処理対象フレーム画像において、人Ａと人Ｂとが重なったため、前回の処理対象フレーム画像に対する同定処理で、前回の処理対象フレーム画像に重なって撮像されている人Ａ、人Ｂを、前々回の処理対象フレーム画像に撮像されていた人Ａ、および人Ｂに対応付けられなかった場合について説明する。この場合、前回の同定処理のｓ１８で２段階同定フラグがオンに設定される。

図１２に示す例では、今回の処理対象フレーム画像に対する同定処理のｓ１４で、今回の処理対象フレーム画像に撮像されている人Ａが、前々回の処理対象フレーム画像に撮像されている人Ａに対応付けられ、且つ今回の処理対象フレーム画像に撮像されている人Ｂが、前々回の処理対象フレーム画像に撮像されている人Ｂに対応付けられる。

したがって、人が処理対象フレーム画像上で重なる等して、前回の処理対象フレーム画像に撮像されていた人との対応付けが適正に行えない状態が生じても、それらの人に対する追跡処理を適正に継続できる。

なお、図９〜図１２において示す３つの処理対象フレーム画像は、時間的に連続する３つの処理対象フレーム画像である。

また、上記の例では、処理対象フレーム画像間における、検出した人の対応付けを、検出した人の特徴量を用いて行うとしたが、移動方向等を用いて行うようにしてもよい。

画像処理部３のオブジェクトマップ作成機能部３３が、ｓ３にかかる同定処理を完了すると、今回検出した人毎に、図３に示したオブジェクトマップに処理対象フレーム画像上の大きさＳ、および処理対象フレーム画像の位置を登録し（ｓ４）、ｓ１に戻る。

このように、この例にかかる画像処理装置１では、図７に示した同定処理、特にｓ１４にかかる処理を実行することによって、一時的に見失ったオブジェクト（この例では、人）や、処理対象フレーム画像上で重なったオブジェクトについても、適正に追跡できる。

次に、この例にかかる画像処理装置１の判定基準設定処理について説明する。この判定基準設定処理は、毎日午前０時等の適当なタイミングで実行する。図１３は、判定基準設定処理を示すフローチャートである。

集計機能部３５は、オブジェクトマップ作成機能部３３が作成したオブジェクトマップを参照し、処理対象フレーム画像上おける検出された人の大きさＳを区分した段階毎に、時間的に連続する２つの処理対象フレーム画像間における検出された人の処理対象フレーム画像上における水平方向の変化量の分布、および検出された人の処理対象フレーム画像上における垂直方向の変化量の分布を集計する（ｓ２１）。図１４は、ある大きさＳについて、水平方向の変化量を集計した集計結果を示す図である。図１４における横軸が水平方向の変化量であり、縦軸が頻度（オブジェクトマップから抽出された抽出数）である。

判定基準設定機能部３６は、集計機能部３５の集計結果に基づき、処理対象フレーム画像上おける検出された人の大きさＳを区分した段階毎に、時間的に連続する２つの処理対象フレーム画像間における検出された人の処理対象フレーム画像上における水平方向の変化量の正常範囲、および検出された人の処理対象フレーム画像上における垂直方向の変化量の正常範囲を決定する（ｓ２２）。ｓ２２で決定する正常範囲は、図１４に示すように、ピークを略中心にして、６０％〜７０％の変化量が含まれる範囲を正常範囲に決定する。

判定基準設定機能部３６は、ｓ２２で処理対象フレーム画像上おける検出された人の大きさＳを区分した段階毎に、時間的に連続する２つの処理対象フレーム画像間における検出された人の処理対象フレーム画像上における水平方向の変化量の正常範囲、および検出された人の処理対象フレーム画像上における垂直方向の変化量の正常範囲を決定すると、これを図５に示した判定基準テーブルに設定し（ｓ２３）、本処理を終了する。

なお、この例では、判定基準テーブルに、水平方向の変化量、および垂直方向の変化量を個別に設定するとしたが、時間的に連続する２つの処理対象フレーム画像間における検出された人の位置の変化量である、
（（水平方向の変化量）²＋（垂直方向の変化量）²）^1/2
を設定する構成にしてもよい。

次に、速度異常者検出処理について説明する。図１５は、速度異常者検出処理を示すフローチャートである。この速度異常者検出処理は、オブジェクトマップ作成機能部３３が上述の追跡処理でｓ４を実行する毎に行う。具体的には、移動速度判定機能部３４は、オブジェクトマップ作成機能部３３が上述の追跡処理のｓ４で、図３に示したオブジェクトマップに処理対象フレーム画像上の大きさＳ、および処理対象フレーム画像上の位置を登録した人（以下、判定対象者と言う。）について、この速度異常者検出処理を実行する。

移動速度判定機能部３４は，図５に示した判定基準テーブルから、判定対象者の処理対象フレーム画像上の大きさＳに応じた水平方向の変化量の正常範囲、および垂直方向の変化量の正常範囲を読み出す（ｓ３１）。

移動速度判定機能部３４は、判定対象者について、オブジェクトマップを参照し、処理対象フレーム画像上における水平方向変化量、および処理対象フレーム画像上における垂直方向の変化量を算出する（ｓ３２）。ｓ３２では、この判定対象者について、時間的に最新の２つの処理対象フレーム画像上における位置を用いる。

移動速度判定機能部３４は、ｓ３２で算出した処理対象フレーム画像上における水平方向の変化量が正常範囲であるか、およびｓ３２で算出した処理対象フレーム画像上における垂直方向の変化量が正常範囲であるかを判定する（ｓ３３、ｓ３４）。移動速度判定機能部３４は、ｓ３２で算出した処理対象フレーム画像上における水平方向の変化量が正常範囲であり、且つ、ｓ３２で算出した処理対象フレーム画像上における垂直方向の変化量が正常範囲であれば、速度異常者でないと判定する（ｓ３５）。一方、移動速度判定機能部３４は、ｓ３２で算出した処理対象フレーム画像上における水平方向の変化量、または処理対象フレーム画像上における垂直方向の変化量の少なくとも一方が正常範囲でなければ、速度異常者であると判定する（ｓ３６）。

なお、図１５は、１人の判定対象者に対して速度異常者であるかどうかを判定する処理を示しており、判定対象者が複数人存在するときには、判定対象者毎に、図１５に示す処理を繰り返す。

画像処理装置１は、移動速度判定機能部３４が判定対象者について、ｓ３６で速度異常者であると判定すると、出力部４からその旨を上位装置に通知する。

このように、この画像処理装置１は、撮像装置１０が撮像した動画像から抽出した処理対象フレーム画像を処理して検出した人について、その人の実空間上の位置を算出することなく、速度異常者であるかどうかを判定する。したがって、画像処理装置の処理負荷が大幅に低減でき、装置本体のコストダウンが図れる。また、撮像装置１０の設置時に、撮像される処理対象フレーム画像上の位置と、実空間上の位置と、を対応付けるパラメータを設定する必要が無く、撮像装置１０の設置作業が簡単に行える。

また、この画像処理装置１は、図１３に示した判定基準設定処理により、図５に示した判定基準テーブルに設定された判定基準を用いて、速度異常者であるかどうかを判定する。したがって、撮像装置１０の撮像エリアの環境に応じて、速度異常者であるかどうかを適正に判定することができる。

また、上記の例では、画像処理装置１は、移動速度判定機能部３４が判定対象者について、ｓ３６で速度異常者であると判定すると、出力部４からその旨を上位装置に通知するとしたが、端末装置からの要求に応じて、ｓ３６で速度異常者であると判定した判定対象者が撮像されている部分の動画像を端末装置に送信するようにしてもよい。動画像入力部２に入力された動画像において、ｓ３６で速度異常者であると判定した判定対象者が撮像されている部分は、図３に示したオブジェクトマップから得られる。具体的には、ｓ３６で速度異常者であると判定した判定対象者の本ＩＤを用いて、オブジェクトマップを検索することにより、この本ＩＤにかかる判定対象者が最初に撮像されていた処理対象フレーム画像と、最後に撮像されていた処理対象フレーム画像とを特定することができる。画像処理装置１は、速度異常者であると判定した判定対象者が最初に撮像されていた処理対象フレーム画像の直前の処理フレーム画像から、最後に撮像されていた処理対象フレーム画像の直後の処理対象フレーム画像までの動画部分（この間に位置する全てのフレーム画像）を端末装置に送信する。

また、画像処理装置１は、ｓ３６で速度異常者であると判定した判定対象者毎に、その判定対象者（速度異常者）が撮像されているフレーム画像を端末装置に送信し、端末装置において、動画像の送信を画像処理装置１に要求する速度異常者の選択が簡単に行えるようにしてもよい。具体的には、オペレータが、端末装置において速度異常者が撮像されているいずれかのフレーム画像を選択すると、端末装置が選択されたフレーム画像に撮像されている速度異常者が撮像されている動画像の送信を画像処理装置１に要求する構成にしてもよい。

また、上記の例では、検出対象のオブジェクトを人としたが、車両等の他の種類の移動体であってもよい。

１−画像処理装置
２−動画像入力部
３−画像処理部
４−出力部
１０−撮像装置
３１−オブジェクト検出機能部
３２−オブジェクト同定機能部
３３−オブジェクトマップ作成機能部
３４−移動速度判定機能部
３５−集計機能部
３６−判定基準設定機能部

Claims (9)

1. 撮像装置が対象エリアを撮像した動画像が入力される動画像入力部と、
   前記動画像入力部に入力された動画像にかかるフレーム画像を処理し、前記対象エリア内におけるオブジェクトの移動を追跡するオブジェクト追跡部と、
   前記オブジェクト追跡部が追跡したオブジェクトについて、フレーム画像上におけるオブジェクトの大きさ、およびフレーム画像間におけるオブジェクトの位置の変化量に基づき、そのオブジェクトの移動速度が正常であるかどうかを判定する移動速度判定部と、を備えた画像処理装置。
2. 前記移動速度判定部は、フレーム画像間におけるオブジェクトの位置の変化量として、フレーム画像上での水平方向の位置の変化量と、フレーム画像上での垂直方向の位置の変化量とを用いる、請求項１に記載の画像処理装置。
3. フレーム画像上におけるオブジェクトの大きさ別に、フレーム画像間におけるオブジェクトの位置の変化量を集計する集計部と、
   前記集計部が集計した集計結果に基づき、前記移動速度判定部がオブジェクトの移動速度が正常であるかどうかの判定に用いる、フレーム画像上におけるオブジェクトの大きさと、フレーム画像間におけるオブジェクトの位置の変化量との関係を定める判定基準設定部と、を備えた請求項１、または２に記載の画像処理装置。
4. 前記オブジェクト追跡部は、前記動画像入力部に入力された動画像から、予め定めた間隔で抽出したフレーム画像を処理対象フレーム画像として処理し、前記対象エリア内におけるオブジェクトの移動を追跡する、請求項１〜３のいずれかに記載の画像処理装置。
5. 前記オブジェクト追跡部は、時間的に連続する３つの前記処理対象フレーム画像を用い、これら３つの前記処理対象フレーム画像間で撮像されているオブジェクトを同定し追跡する、請求項４に記載の画像処理装置。
6. 前記オブジェクト追跡部は、時間的に連続する３つの前記処理対象フレーム画像の中で、時間的に中間に位置しない２つの前記処理対象フレーム画像間における、撮像されているオブジェクトの類似度に基づいて、これら３つの前記処理対象フレーム画像間で撮像されているオブジェクトを同定する、請求項５に記載の画像処理装置。
7. 前記オブジェクト追跡部は、時間的に連続する３つの前記処理対象フレーム画像の中で、時間的に中間に位置する前記処理対象フレーム画像上で複数のオブジェクトが重なっているとき、時間的に中間に位置しない２つの前記処理対象フレーム画像間における、撮像されているオブジェクトの類似度に基づいて、これら３つの前記処理対象フレーム画像間で撮像されているオブジェクトを同定する、請求項５に記載の画像処理装置。
8. 動画像入力部に入力された、対象エリアを撮像装置で撮像した動画像にかかるフレーム画像を処理し、前記対象エリア内におけるオブジェクトの移動を追跡するオブジェクト追跡ステップと、
   前記オブジェクト追跡ステップが追跡したオブジェクトについて、フレーム画像上におけるオブジェクトの大きさ、およびフレーム画像間におけるオブジェクトの位置の変化量に基づき、そのオブジェクトの移動速度が正常であるかどうかを判定する移動速度判定ステップと、を備えた移動速度判定方法。
9. 動画像入力部に入力された、対象エリアを撮像装置で撮像した動画像にかかるフレーム画像を処理し、前記対象エリア内におけるオブジェクトの移動を追跡するオブジェクト追跡ステップと、
   前記オブジェクト追跡ステップが追跡したオブジェクトについて、フレーム画像上におけるオブジェクトの大きさ、およびフレーム画像間におけるオブジェクトの位置の変化量に基づき、そのオブジェクトの移動速度が正常であるかどうかを判定する移動速度判定ステップと、を備えたコンピュータに実行させる移動速度判定プログラム。

Images