JP2008048075A

JP2008048075A - 動き検出装置及び動き検出方法

Info

Publication number: JP2008048075A
Application number: JP2006220551A
Authority: JP
Inventors: Kiyousuke Tokoro; 協助所
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 2006-08-11
Filing date: 2006-08-11
Publication date: 2008-02-28

Abstract

【課題】ＣＰＵリソースに対し過大な処理負荷をかけずに動き検出を行うことができる動き検出装置などを提供する。
【解決手段】複数の画像フレームそれぞれを複数のブロックに分割する分割手段１０１と、分割されたブロックごとにブロックの輝度値を代表する代表輝度値を算出する算出手段１０２と、ブロックごとに算出された代表輝度値を有する第１の画像フレームと、算出手段によりブロックごとに算出された代表輝度値を有する第２の画像フレームとの間の対応するブロックの代表輝度値の差分値を求めて、ブロックごとに二値化した二値化画像フレームを生成する生成手段１０３と、生成された二値化画像フレームにおける二値化画像の重心位置を算出し、重心位置よりも上方の位置を中心として二値化画像フレーム内の重心位置よりも上方の範囲を動き検出範囲として決定する決定手段１０５とを備える。
【選択図】図１

Description

本発明は、画像を用いた監視システムにおいて侵入者などの移動体を検出する動き検出装置及び動き検出方法に関する。

近年、工業プラントなどの施設だけでなく、学校や小規模な商業施設、オフィスにおいてもセキュリティ対策として監視システムの需要が高まっている。その場合、極めて厳重な監視体制が要求されるような施設ではモニタ画像を常時監視するための設備と人員を配置させるが、学校や小規模な商業施設、オフィスではそのような態勢をとることは困難である。よって、監視カメラから得られる画像信号から侵入者などの物体の動きを検出し、その動き検出中にのみＶＴＲ（Video Tape Recorder）や、ハードディスク、ＤＶＤ（Digital Versatile Disc）などの記録媒体に記録する記録装置に自動録画をさせたり、自動的にアラームを発生させたりすることが行われている。

そして、記録装置には、複数の監視カメラからの映像をハードディスクのような高速の記録媒体に同時にデジタル記録することができるような製品が主流になってきている。ハードディスクの容量は年率約１．９倍で年々増加傾向にあり、それに伴う記録密度の向上により転送速度も年々増している。また、記録装置の主要構成部品であるＣＰＵは、年率１．５〜１．６倍程度でそのクロック周波数が上がり年々高速になっている。監視カメラからの映像も、NTSC（National Television Standards Committee）の解像度（SIF換算で３５２×２４０ドット）やQVGA（Quarter VGA（Video Graphics Array）：３２０×２４０ドット）から、VGA（６４０×４８０ドット）やSVGA（Super VGA：８００×６００ドット）、あるいはハイビジョン品質（垂直解像度１０００TV本以上、水平解像度８００TV本以上)の高画質が求められ始め、また監視システムあたりの監視カメラの設置台数も増える傾向にあり、扱う映像の情報量も増大している。

監視システムの初期投資を抑えるために、記録装置をデジタル化しても既存のアナログ監視カメラを有効活用するために、アナログとデジタルが混在する監視システムが組まれることが多く、そのため画像の動き検出機能は記録装置に組み込まれることも多い。しかし、扱う映像の情報量が増えているため、画像の動き検出機能が記録装置に組み込まれることを考えると、年々ハードディスクの転送速度が向上しＣＰＵの処理能力が向上しても、記録装置としての本来の機能、すなわち映像の記録に処理能力のほとんどを割かねばならず、付加的機能としての動き検出にその処理能力を割くことが困難な面も多い。

また、伝送路のデジタル化とそのために必要な符号化技術は、ローカル・エリア・ネットワーク（LAN）やバーチャル・プライベート・ネットワーク（VPN）などのネットワーク・インフラストラクチュアを利用できるようにし、監視システムの施工や管理を容易にした反面、どうしても符号化と復号の際に演算処理が介在するため、実際に監視カメラが映す映像とネットワークを介して伝送された符号を再現した映像とに遅延が生じる。最近は、画像処理により監視カメラを自動的にPTZ（パン・チルト・ズーム）制御しようとする方法も普及しており、そのような技術が下記の特許文献１に記載されている。
特開平６−２１７３１６号公報（段落００１１、図１）特開平１１−３９４９５号公報（段落００１６）

しかしながら、特許文献１に記載された技術のように、映像の変化をネットワーク越しに検出し、変化した部分をPTZ制御で追尾しようとしても、動体を検出した時点で、その検出された情報はこの時間遅延により古いものとなっており、動体が立ち去ったあとを空しく映すだけになってしまうことも多いため、記録装置側ではなく、監視カメラに近く、伝送遅延の生じないような箇所に動体検出を設置すること（できれば監視カメラに内蔵すること）が望まれるが、このような場合も動体検出に必要なＣＰＵリソースの軽減が必要となることが多い。

本発明は、上記課題を解決するためのものであり、ＣＰＵリソースに対して過大な処理負荷をかけずに動き検出を行うことができる動き検出装置及び動き検出方法を提供することを目的とする。なお、監視システムに適用される負荷の軽い画像の動き検出装置として、例えば上記の特許文献２に記載された技術がある。特許文献２に記載された技術は、簡易な動き検出方式を用いた画像監視装置に係るものであり、画像フレームをブロックに分割してブロックごとの輝度値又は色データの平均値を求め、現フレームの平均値と数フレーム前の平均値とを各フレームの対応する分割ブロック同士で比較して差分値を求め、その差分値が設定値以上である場合に動きがあると判断するものである。

上記目的を達成するために、本発明によれば、時系列的に構成された複数の画像フレームから画像内の物体の動きを検出する動き検出装置において、前記複数の画像フレームそれぞれを複数のブロックに分割する分割手段と、前記分割されたブロックごとに、ブロック内の各画素の輝度値に基づき前記ブロックの輝度値を代表する代表輝度値を算出する算出手段と、前記算出手段によりブロックごとに算出された代表輝度値を有する第１の画像フレームと、前記第１の画像フレームより過去のフレームであって、前記算出手段によりブロックごとに算出された代表輝度値を有する第２の画像フレームとの間の対応するブロックの代表輝度値の差分値を求めて、ブロックごとに二値化した二値化画像フレームを生成する生成手段と、前記生成された二値化画像フレームにおける二値化画像の重心位置を算出し、前記重心位置よりも上方の位置を中心として前記二値化画像の前記重心位置よりも上方の範囲を動き検出範囲として決定する決定手段とを備え、前記決定された動き検出範囲内について前記画像内の物体の動きを検出することを特徴とする動き検出装置が提供される。この構成により、ＣＰＵリソースに対して過大な処理負荷をかけずに動き検出を行うことができる。

また、本発明によれば、時系列的に構成された複数の画像フレームから画像内の物体の動きを検出する動き検出方法において、前記複数の画像フレームそれぞれを複数のブロックに分割する分割ステップと、前記分割されたブロックごとに、ブロック内の各画素の輝度値に基づき前記ブロックの輝度値を代表する代表輝度値を算出する算出ステップと、前記算出ステップによりブロックごとに算出された代表輝度値を有する第１の画像フレームと、前記第１の画像フレームより過去のフレームであって、前記算出ステップによりブロックごとに算出された代表輝度値を有する第２の画像フレームとの間の対応するブロックの代表輝度値の差分値を求めて、ブロックごとに二値化した二値化画像フレームを生成する生成ステップと、前記生成された二値化画像フレームにおける二値化画像の重心位置を算出し、前記重心位置よりも上方の位置を中心として前記二値化画像の前記重心位置よりも上方の範囲を動き検出範囲として決定する決定ステップとを有し、前記決定された動き検出範囲内について前記画像内の物体の動きを検出することを特徴とする動き検出方法が提供される。この構成により、ＣＰＵリソースに対して過大な処理負荷をかけずに動き検出を行うことができる。

本発明の動き検出装置及び動き検出方法は、上記構成を有し、ＣＰＵリソースに対して過大な処理負荷をかけずに動き検出を行うことができる。具体的には、粗い動体検出を行い、そこで検出された動体の上半分だけを切り出し、それを次のステップのより詳細な動体検出をする手段に渡すことで後段の処理負荷を半減させることができる。

以下、本発明の実施の形態に係る動き検出装置について図１から図７を用いて説明する。図１は本発明の実施の形態に係る動き検出装置の構成の一例を示す構成図である。図２ａは本発明の実施の形態における撮影された映像を構成する時間的に連続する複数の画像フレームのうちの１つの画像フレームを示す図である。図２ｂは本発明の実施の形態における撮影された映像を構成する時間的に連続する複数の画像フレームのうちの１つの画像フレームを示す図である。図２ｃは本発明の実施の形態における撮影された映像を構成する時間的に連続する複数の画像フレームのうちの１つの画像フレームを示す図である。図２ｄは本発明の実施の形態における撮影された映像を構成する時間的に連続する複数の画像フレームのうちの１つの画像フレームを示す図である。図３ａは本発明の実施の形態における二値化された画像フレームのうちの１つの画像フレームを示す図である。図３ｂは本発明の実施の形態における二値化された画像フレームのうちの１つの画像フレームを示す図である。図３ｃは本発明の実施の形態における二値化された画像フレームのうちの１つの画像フレームを示す図である。

図４ａは本発明の実施の形態における二値化された画像に基づくクローズアップ範囲の１つを示す図である。図４ｂは本発明の実施の形態における二値化された画像に基づくクローズアップ範囲の１つを示す図である。図４ｃは本発明の実施の形態における二値化された画像に基づくクローズアップ範囲の１つを示す図である。図５は本発明の実施の形態におけるコンビニエンス・ストア内の様子を示した模式図である。図６ａは本発明の実施の形態におけるフレーム間の差分映像の最も左の画素と右の画素が切り出し範囲に収まるような方法を説明するための図である。図６ｂは本発明の実施の形態におけるフレーム間の差分映像の最も左の画素と右の画素が切り出し範囲に収まるような方法を説明するための他の図である。図６ｃは本発明の実施の形態におけるフレーム間の差分映像の最も左の画素と右の画素が切り出し範囲に収まるような方法を説明するための他の図である。図７は本発明の実施の形態におけるソフトウェア・コードのリスト１及びリスト２を示す図である。

まず、コンビニエンス・ストア（以下、店とも言う）で撮影された映像を構成する時間的に連続する複数の画像フレームの一例を図２ａ〜図２ｄに示す。これらは、高解像度のカラーカメラで撮影された各フレームを３２×３２ブロックの輝度情報に縮退したものである。この例では輝度情報を使用しているが、もちろん色情報を用いても構わない。

これらの映像からフレーム間差分を計算し、それを二値化すると図３ａ〜図３ｃに示すような画像（フレーム間差分二値画像）が得られる。この例の映像は、図５の模式図に示すように、画面の中央に買い物を終えた被写体の人物１０がおり、店舗の壁面１１は多くのコンビニエンス・ストアがそうであるようにガラス張りになっており、そこにガラス扉１２が設置されている。ガラス扉１２の向こうに店外の歩行者１３が映っている。この例の図３ａ〜図３ｃに示すフレーム間差分二値画像（以下、単に二値画像又は二値化画像とも言う）から分かるように、店を出ようとしている被写体の人物１０と店外の歩行者１３に動きがある。一方、図５に示すように店の奥には雑誌を立ち読みしている者１４がいるが、立ち読みをしている者にはほとんど動きがないため、図３ａ〜図３ｃに示す二値画像には現れない。

なお、図３ａ〜図３ｃには参考のため、得られた二値画像のＸ成分、Ｙ成分それぞれの輝度のヒストグラムをも合わせて示しているが、このヒストグラムの作成は実際には必要とせず、なくてもよい。また、監視目的で動きの検出を必要としないもの、例えば防犯目的の場合には、天井でゆっくりと回るタイプの扇風機、商品の展示台でアイキャッチ（サインや看板など目を引く広告など）のための動きを伴うもの、電光掲示板など、それらが監視カメラの視野にある場合は、それらの映っている領域をマスクする演算を二値化の前又は後に施しても構わない。

次に、上述のように、得られた二値画像の重心点の座標（g_x、g_y）を以下に示す式（１）から式（３）により算出する。なお、ｍ（ｘ、ｙ）は座標（ｘ、ｙ）の二値化された輝度差分値を示し、例えば時間的に異なるフレーム間の同一ブロック内にある複数の画素の輝度値の平均値などの差分の絶対値が、閾値を超えたか否かで二値化されたものである。

複数のΣ（シグマ）演算記号が式（１）から式（３）にあるが、ソフトウェア・コードとしては、例えば図７に示すリスト１のように実装でき、演算ループは２段で演算量はさほど多くない。なお、リスト１は、フレーム間に差がない場合、式（１）、すなわち式（２）及び式（３）の分母が０となり、g_xとg_yの値は不定（リスト１のソフトウェア・コードがzero divided error）となるが、これは説明のためのサンプルであり、フレーム間に差がない場合については考慮していない。ここで、リスト１のループ演算を図７に示すリスト２のように改良する。

二値化された輝度差分値ｍ（ｘ、ｙ）は０か１の値しか採り得ないので、リスト２は変数topが関わるステートメントを除きリスト１と等価である。図３ａのフレーム間差分二値画像（二値化画像）３０１が処理対象の場合、リスト２の変数topが関わる処理は、図３ａに示すような走査３０４でリスト２の処理を終えると、変数topには動きのあった最も上のブロックの座標が保持される。なお、この例では座標原点を画像の左上としている。

この３２×３２ブロックの映像の座標（g_x、（top＋g_y）／２）に相当する点が映像の中心となるよう、機械的なPTZ機構あるいは電子的なトリミング操作に対しパン・チルト角を制御し、さらに、少なくともg_y−topの範囲が視野となるようズーミングを行えば、図５の歩行者１０の上半身をクローズアップできる。フレーム間差分二値画像３０１〜３０３を基に、上記の手法で求めたクローズアップ範囲を図４の画像フレーム４０１〜４０３に示す。実際には３２×３２ブロックに縮退する前の映像に対し、このようなクローズアップ処理を施すことにより高解像度の映像を得ることができる。

なお、上記の例では重心点を算出する例を説明したが、その代わりにフレーム差分画像の中心あるいは統計的中央値でもよく、それよりも上方をズームアップ範囲と設定することが本発明の特徴である。また、ズーム範囲をg_yとtopを例にとってｙ座標系から算出したが、ｘ座標系を基準に求めてもよい。例えば、図６ａ〜図６ｃに示すように、フレーム間差分映像の最も左の画素と右の画素が切り出し範囲に収まるような方法をとることも考えられる。

以上、フレーム間差分を前後のフレームを例にとって説明したが、これは数フレーム離れていてもよく、例えば５フレームごとの処理とすればフレームごとに処理する場合よりも負荷を五分の一に軽減でき、また、比較対象のフレームを事前に学習した背景のみのフレームとしてとってもよい。

次に、本発明の実施の形態に係る動き検出装置の一例について図１を用いて説明する。図１に示すように、動き検出装置は、例えば、分割手段１０１、算出手段１０２、生成手段１０３、判断手段１０４、決定手段１０５、検出手段１０６から構成されている。なお、動き検出装置の構成要素はこれに限られるものではなく、他の要素を含むことも可能である。

分割手段１０１は、複数の画像フレームそれぞれを複数のブロックに分割するものである。具体的には、上述したように画像フレームを３２×３２のブロックに分割する。算出手段１０２は、分割手段１０１によって分割されたブロック内の画素の輝度値に基づいて、ブロックごとにブロックの輝度値を代表する輝度値を算出するものである。具体的には、上述したように算出手段１０２は、分割された各ブロックに含まれる画素の輝度値の平均値を各ブロックの輝度値とするために輝度値の平均値を算出する。

生成手段１０３は、算出手段１０２によってブロックごとに算出された輝度値を有する第１の画像フレーム（例えば、現時点での画像フレーム）と、第１の画像フレームより過去の画像フレームであって、算出手段１０２によってブロックごとに算出された輝度値を有する第２の画像フレーム（例えば、現時点の画像フレームから数えて５つ前の画像フレーム）との間の対応するブロックの輝度値の差分値に基づいて、ブロックごとに二値化された二値化画像フレーム（上述した図３ａ〜図３ｃに示す画像フレーム）を生成するものである。

判断手段１０４は、生成手段１０３によって生成された二値化画像フレームの各ブロックの値が所定の値（例えば、「０」と「１」で二値化された場合の「１」など）であるか否かを判断するものである。具体的には、上述したように、判断手段１０４は図３ａに示すような走査３０４をして、「０」か「１」で二値化された値のうち、例えば「１」の値を有するブロックに当たったか否かを判断する。

決定手段１０５は、画像フレーム中における位置と画像フレーム中における所定の基準位置とに基づいて動き検出を行う範囲を決定するものである。具体的には、上述したように、決定手段１０５は、３２×３２ブロックの映像の座標（g_x、（top＋g_y）／２）に相当する点を映像の中心としてg_y−topの範囲を動き検出の範囲と決定する。これにより、図５の人物１０の上半身をクローズアップすることができる。

検出手段１０６は、第１の画像フレームにおける決定された動き検出を行う範囲のブロックの輝度値と、当該範囲のブロックに対応する第２の画像フレームにおけるブロックの輝度値との差分値が所定の閾値以上である場合に、動きがあったものとみなして動きを検出するものである。これにより、動き検出を行う範囲を減らすことができ、処理負荷を抑えることができる。または、第１及び第２の画像フレームにおける動き検出範囲内の画素ごとの輝度値の差分値を求めて動き検出を行うようにしてもよい。これにより、上記のように推定された動き検出範囲内での細かい検出結果を得ることができる。

以上説明したように、本発明の動き検出装置によれば、極めて軽い負荷で動き検出が可能となるのみでなく、多くの場合、人の上半身がズームアップされ、監視映像の被写体の顔画像を鮮明に捉えることができる。

また、人ごみの中からあらかじめリストされている人物を探すような顔貌（顔つき）認識アプリケーションの前処理として利用すれば、人ごみの中から顔の位置を特定するためのテンプレート・マッチング操作は、入力画像全体ではなく、動きのあった部分のさらに半分の領域のみに施すだけで済むようになり、顔貌認識アプリケーション全体の負荷を結果的に軽減できる。

また、負荷の軽い動き検出の手段にありがちな誤報（誤った異常検出アラームの発呼）抑制のために、その後に（後段に）更に精度の高い動き検出を設ける場合であっても、その後段の高精度の動き検出の手段への入力は、上述した実施の形態で述べたような方法で切り出した、動きの上半分のみを入力することで後段の負荷を軽くすることができる。なお、精度を高める工夫として、出願人は、例えば特開2005-56406を開示している。これは、照明状態の変化やフリッカーなどの影響、背景の検出不要な動きを排除するとともに、多様な画像監視用途に応じてユーザの監視したい対象物の動きを精度良く検出する画像の動き検出装置を提供しようとするものである。

本発明に係る動き検出装置及び動き検出方法は、ＣＰＵリソースに対して過大な処理負荷をかけずに動き検出を行うことができるため、画像を用いた監視システムにおいて侵入者などの移動体を検出する動き検出装置及び動き検出方法などに有用である。

本発明の実施の形態に係る動き検出装置の構成の一例を示す構成図である。本発明の実施の形態における撮影された映像を構成する時間的に連続する複数の画像フレームのうちの１つの画像フレームを示す図である。本発明の実施の形態における撮影された映像を構成する時間的に連続する複数の画像フレームのうちの１つの画像フレームを示す図である。本発明の実施の形態における撮影された映像を構成する時間的に連続する複数の画像フレームのうちの１つの画像フレームを示す図である。本発明の実施の形態における撮影された映像を構成する時間的に連続する複数の画像フレームのうちの１つの画像フレームを示す図である。本発明の実施の形態における二値化された画像フレームのうちの１つの画像フレームを示す図である。本発明の実施の形態における二値化された画像フレームのうちの１つの画像フレームを示す図である。本発明の実施の形態における二値化された画像フレームのうちの１つの画像フレームを示す図である。本発明の実施の形態における二値化された画像に基づくクローズアップ範囲の１つを示す図である。本発明の実施の形態における二値化された画像に基づくクローズアップ範囲の１つを示す図である。本発明の実施の形態における二値化された画像に基づくクローズアップ範囲の１つを示す図である。本発明の実施の形態におけるコンビニエンス・ストア内の様子を示した模式図である。本発明の実施の形態におけるフレーム間の差分映像の最も左の画素と右の画素が切り出し範囲に収まるような方法を説明するための図である。本発明の実施の形態におけるフレーム間の差分映像の最も左の画素と右の画素が切り出し範囲に収まるような方法を説明するための他の図である。本発明の実施の形態におけるフレーム間の差分映像の最も左の画素と右の画素が切り出し範囲に収まるような方法を説明するための他の図である。本発明の実施の形態におけるソフトウェア・コードのリスト１及びリスト２を示す図である。

符号の説明

１０人物
１１店舗の壁面
１２ガラス扉
１３店外の歩行者
１４雑誌を立ち読みしている者
１０１分割手段
１０２算出手段
１０３生成手段
１０４判断手段
１０５決定手段
１０６検出手段
３０１、３０２、３０３フレーム間差分二値画像（二値化画像）
３０４走査
４０１、４０２、４０３画像フレーム

Claims

時系列的に構成された複数の画像フレームから画像内の物体の動きを検出する動き検出装置において、
前記複数の画像フレームそれぞれを複数のブロックに分割する分割手段と、
前記分割されたブロックごとに、ブロック内の各画素の輝度値に基づき前記ブロックの輝度値を代表する代表輝度値を算出する算出手段と、
前記算出手段によりブロックごとに算出された代表輝度値を有する第１の画像フレームと、前記第１の画像フレームより過去のフレームであって、前記算出手段によりブロックごとに算出された代表輝度値を有する第２の画像フレームとの間の対応するブロックの代表輝度値の差分値を求めて、ブロックごとに二値化した二値化画像フレームを生成する生成手段と、
前記生成された二値化画像フレームにおける二値化画像の重心位置を算出し、前記重心位置よりも上方の位置を中心として前記二値化画像の前記重心位置よりも上方の範囲を動き検出範囲として決定する決定手段とを備え、
前記決定された動き検出範囲内について前記画像内の物体の動きを検出することを特徴とする動き検出装置。
時系列的に構成された複数の画像フレームから画像内の物体の動きを検出する動き検出方法において、
前記複数の画像フレームそれぞれを複数のブロックに分割する分割ステップと、
前記分割されたブロックごとに、ブロック内の各画素の輝度値に基づき前記ブロックの輝度値を代表する代表輝度値を算出する算出ステップと、
前記算出ステップによりブロックごとに算出された代表輝度値を有する第１の画像フレームと、前記第１の画像フレームより過去のフレームであって、前記算出ステップによりブロックごとに算出された代表輝度値を有する第２の画像フレームとの間の対応するブロックの代表輝度値の差分値を求めて、ブロックごとに二値化した二値化画像フレームを生成する生成ステップと、
前記生成された二値化画像フレームにおける二値化画像の重心位置を算出し、前記重心位置よりも上方の位置を中心として前記二値化画像の前記重心位置よりも上方の範囲を動き検出範囲として決定する決定ステップとを有し、
前記決定された動き検出範囲内について前記画像内の物体の動きを検出することを特徴とする動き検出方法。