JP2014027442A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

画像処理装置、画像処理方法、およびプログラム Download PDF

Info

Publication number
JP2014027442A
JP2014027442A JP2012165427A JP2012165427A JP2014027442A JP 2014027442 A JP2014027442 A JP 2014027442A JP 2012165427 A JP2012165427 A JP 2012165427A JP 2012165427 A JP2012165427 A JP 2012165427A JP 2014027442 A JP2014027442 A JP 2014027442A
Authority
JP
Japan
Prior art keywords
image
feature amount
similarity
determination unit
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012165427A
Other languages
English (en)
Inventor
Soji Masako
創志 真子
Takanobu Ujisato
隆信 氏郷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2012165427A priority Critical patent/JP2014027442A/ja
Priority to CN201310306145.XA priority patent/CN103581620A/zh
Priority to US13/946,089 priority patent/US20140029855A1/en
Publication of JP2014027442A publication Critical patent/JP2014027442A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19606—Discriminating between target movement or movement in an area of interest and other non-signicative movements, e.g. target movements induced by camera shake or movements of pets, falling leaves, rotating fan
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】より簡単な構成で、環境ノイズの誤検出を削減することができるようにする。
【解決手段】差異領域検出部は、入力画像の差異領域を検出する。類似性判定部は、検出された差異領域の画像である差異領域画像の特徴量を計算し、計算された差異領域画像の特徴量と、誤検出のテンプレート画像の特徴量の類似性を判定することにより、差異領域画像が誤検出か否かを判定する。本技術は、例えば、監視カメラシステムの画像処理装置に適用できる。
【選択図】図１

Description

本技術は、画像処理装置、画像処理方法、およびプログラムに関し、特に、より簡単な構成で、環境ノイズの誤検出を削減することができるようにする画像処理装置、画像処理方法、およびプログラムに関する。
従来、監視装置で物体を検知するための手法として、いま撮影して得られたリアルタイム画像を、それより少し前に撮影した過去画像と比較して差分を検出し、２枚の画像で異なる領域を抽出する差分検出法が用いられている（例えば、特許文献１参照）。
しかしながら、このような差分検出法では、波のゆらぎや木の葉の動きなど、本来検出したくない環境ノイズも検出してしまうという問題があった。
そこで、特許文献２では、環境ノイズの影響を排除するために、同一エリアを撮影した複数枚の過去画像から背景画像を生成し、リアルタイム画像と、生成した背景画像との差分を検出する方法が提案されている。
特開２００６−０１４２１５号公報 特開２０００−１５６８５２号公報
しかしながら、特許文献２のような手法では、背景画像を生成するために、短時間に連続撮影した複数枚の過去画像が必要となり、低フレームレートの監視カメラで撮影する場合や、一台の監視カメラで広域の範囲を移動させながら撮影する場合などには不向きである。また、広域の範囲を監視対象とした場合には、背景画像を生成、保持するために多くのメモリが必要になる。
本技術は、このような状況に鑑みてなされたものであり、より簡単な構成で、環境ノイズの誤検出を削減することができるようにするものである。
本技術の一側面の画像処理装置は、入力画像の差異領域を検出する差異領域検出部と、検出された前記差異領域の画像である差異領域画像の特徴量を計算し、計算された前記差異領域画像の特徴量と、誤検出のテンプレート画像の特徴量の類似性を判定することにより、前記差異領域画像が誤検出か否かを判定する類似性判定部とを備える。
本技術の一側面の画像処理方法は、画像処理装置が、入力画像の差異領域を検出し、検出された前記差異領域の画像である差異領域画像の特徴量を計算し、計算された前記差異領域画像の特徴量と、誤検出のテンプレート画像の特徴量の類似性を判定することにより、前記差異領域画像が誤検出か否かを判定するステップを含む。
本技術の一側面のプログラムは、コンピュータを、入力画像の差異領域を検出する差異領域検出部と、検出された前記差異領域の画像である差異領域画像の特徴量を計算し、計算された前記差異領域画像の特徴量と、誤検出のテンプレート画像の特徴量の類似性を判定することにより、前記差異領域画像が誤検出か否かを判定する類似性判定部として機能させるためのものである。
本技術の一側面においては、入力画像の差異領域が検出され、検出された前記差異領域の画像である差異領域画像の特徴量が計算され、計算された前記差異領域画像の特徴量と、誤検出のテンプレート画像の特徴量の類似性が判定することにより、前記差異領域画像が誤検出か否かが判定される。
なお、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
本技術の一側面によれば、より簡単な構成で、環境ノイズの誤検出を削減することができるようにする。
本技術が適用された監視カメラシステムの第１の実施の形態の構成例を示すブロック図である。 領域分割処理の例を示す図である。 位置の近傍性の判定を説明する図である。 同時生起確率行列Ｐの計算方法を説明する図である。 同時生起確率行列Ｐの計算方法を説明する図である。 同時生起確率行列Ｐの計算方法を説明する図である。 テクスチャ特徴量の類似性の判定式を説明する図である。 テクスチャ特徴量の類似性の判定式を説明する図である。 テクスチャ特徴量の類似性の判定式を説明する図である。 テクスチャ特徴量の類似性の判定式を説明する図である。 テクスチャ特徴量の類似性の判定式を説明する図である。 テクスチャ特徴量の類似性の判定式を説明する図である。 物体検出処理について説明するフローチャートである。 特徴量の種類による検出精度の比較を説明する図である。 特徴量の種類による検出精度の比較を説明する図である。 特徴量の種類による検出精度の比較を説明する図である。 特徴量の種類による検出精度の比較を説明する図である。 特徴量の種類による検出精度の比較を説明する図である。 特徴量の種類による検出精度の比較を説明する図である。 監視カメラシステムの第２の実施の形態について説明する図である。 第２の実施の形態における同時生起確率行列Ｐのパラメータである距離ｄを説明する図である。 本技術が適用されたコンピュータの一実施の形態の構成例を示すブロック図である。
以下、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（カメラの撮影範囲が固定である場合の実施の形態）
２．第２の実施の形態（カメラの撮影方向が移動し広範囲な撮影を行う場合の実施の形態）
＜１．第１の実施の形態＞
［監視カメラシステムの構成例］
図１は、本技術が適用された監視カメラシステムの第１の実施の形態の構成例を示している。
図１の監視カメラシステムは、監視対象エリアを撮影するカメラ（監視カメラ）１と、カメラ１により撮影された画像を処理する画像処理装置２とで構成される。
カメラ１は、例えば、監視対象エリアを所定のフレームレートで撮影し、その撮影した画像を画像処理装置２に出力する。カメラ１は、例えば、フルHDサイズ（1920×1080）の解像度の撮影画像を画像処理装置２に出力する。画像処理装置２は、カメラ１から入力される撮影画像（入力画像）を用いて画像中の物体を検出する処理を実行する。画像処理装置２は、物体を画像中に検出した場合に、その旨を、音声、画像等で出力（アラーム出力）する。
画像処理装置２は、撮影画像取得部１１、差異領域検出部１２、類似性判定部１３、テンプレート画像特徴量記憶部１４、および、アラーム出力部１５により構成される。また、類似性判定部１３は、位置近傍性判定部２１、テクスチャ類似性判定部２２、および色類似性判定部２３を有している。
撮影画像取得部１１は、バッファ１１Aを有し、カメラ１から供給される撮影画像を、バッファ１１Aに一定期間保持する。
撮影画像取得部１１は、カメラ１から供給された撮影画像のうち、撮影時刻の最も新しい画像（以下、リアルタイム画像という。）と、それよりひとつ前に撮影された画像（以下、過去画像という。）のセットを、差異領域検出部１２と類似性判定部１３に供給する。
差異領域検出部１２は、撮影時刻の異なる２枚の画像を比較し、対応する画素どうしの輝度値（画素値）の差分が所定の閾値以上である画素の連なりを一つの領域として抽出する。そして、差異領域検出部１２は、抽出された領域を矩形で囲んだ領域を差異領域とし、検出された１以上の差異領域を示す情報を、類似性判定部１３の位置近傍性判定部２１に供給する。
類似性判定部１３は、差異領域検出部１２で検出された１以上の差異領域（の画像）のそれぞれについて、誤検出のテンプレート画像と、特徴量の類似性を判定することにより、検出された差異領域が誤検出であるかどうかを判定する。そして、検出された差異領域が誤検出ではないと判定された場合、類似性判定部１３は、差異領域が検出されたことを示す情報をアラーム出力部１５に供給する。なお、誤検出のテンプレート画像の特徴量は、後述するように、テンプレート画像特徴量記憶部１４に予め記憶（登録）されている。
類似性判定部１３は、位置、テクスチャ、及び色の３種類の特徴量について、差異領域とテンプレート画像とを比較し、全ての特徴量が類似すると判定した場合に、差異領域が誤検出であると判定する。
類似性判定部１３において、位置の特徴量については、位置近傍性判定部２１が類似性の判定を行い、テクスチャの特徴量については、テクスチャ類似性判定部２２が類似性の判定を行い、色の特徴量については、色類似性判定部２３が類似性の判定を行う。位置近傍性判定部２１、テクスチャ類似性判定部２２、色類似性判定部２３それぞれが行う類似性の判定処理の詳細については後述する。
テンプレート画像特徴量記憶部１４には、誤検出のテンプレート画像の位置、テクスチャ、及び色の３種類の特徴量が、予め登録されている。テンプレート画像特徴量記憶部１４は、複数のテンプレート画像について、各特徴量を記憶している。
なお、テンプレート画像特徴量記憶部１４には、テンプレート画像の特徴量ではなく、テンプレート画像（誤検出の画像）そのものを記憶し、類似性判定部１３で、テンプレート画像の特徴量をその都度計算するようにしてもよい。しかし、予め計算した特徴量を記憶することで、計算時間やメモリ容量を削減することができる。
アラーム出力部１５は、類似性判定部１３から、差異領域が検出されたことを示す情報が供給された場合、差異領域が検出されたことを示すアラーム（警告）を出力する。アラームは、例えば、警報などの音声でもよいし、警告表示の画像などでもよい。また、アラーム出力部１５は、検出された差異領域の位置情報や画像情報を、ネットワークを介して、他の装置に送信するものでもよい。すなわち、本実施の形態において、アラームの態様は限定されない。
図１の監視カメラシステムは、以上のように構成されている。
次に、類似性判定部１３が行う類似性判定処理の詳細について説明する。
［位置近傍性判定部２１による位置近傍性判定処理］
初めに、位置近傍性判定部２１による位置近傍性判定処理について説明する。
位置近傍性判定部２１は、差異領域検出部１２で検出された差異領域が、テンプレート画像の近傍位置にあるか否かを判定し、近傍位置にあると判定された場合、差異領域はテンプレート画像と位置の類似性があると判定する。以下、位置近傍性判定部２１の位置近傍性判定処理を、さらに詳しく説明する。
初めに、位置近傍性判定部２１は、前処理として、撮影画像取得部１１から供給されるリアルタイム画像の画素サイズを小さくする縮小処理を実行する。例えば、位置近傍性判定部２１は、フルHDサイズ（1920×1080）のリアルタイム画像を、XGA(1024×768)、または、SVGA(800×600)など）に縮小する。
次に、位置近傍性判定部２１は、縮小処理後のリアルタイム画像に対して、同程度の色（類似色）を有する領域ごとに分割する領域分割処理を行う。この領域分割処理を行う前に、前処理として、リアルタイム画像の縮小処理を行っているので、リアルタイム画像が、局所的な色分布により、必要以上に細かく領域分割されてしまうことが防止されるとともに、領域分割処理を高速に行うことができる。
領域分割処理には、公知の各種の手法を適宜採用することができる。例えば、Mean-shift法（D. Comaniciu, and P. Meer, "Mean Shift Analysis and Applications", The Proceedings of the Seventh IEEE International Conference on Computer Vision, 1197-1203 vol2, 1999）による領域分割などを用いることができる。
図２は、領域分割処理の例を示している。
例えば、図２Aに示される画像が、縮小処理後のリアルタイム画像を示しており、このリアルタイム画像に対して、位置近傍性判定部２１が領域分割処理を行った結果、図２Bの太線の実線で示されるように、領域が分割される。分割された各領域は、例えば、図２Cに示されるように、同一の領域に属する各画素が、領域ごとに一意に割り振られた同一の番号を有する分割領域フラグ画像によって、識別される。
次に、位置近傍性判定部２１は、領域分割処理結果を用いて、次のようにして、差異領域の位置の近傍性の判定を行う。
リアルタイム画像は、領域分割処理により、例えば、図３に示されるように、３つの領域Area1,Area2,Area3に分割されているものとする。また、差異領域検出部１２では、２つの差異領域Def1と差異領域Def2が検出され、テンプレート画像特徴量記憶部１４には、テンプレート画像Tp1の位置が記憶されているものとする。
差異領域Def1は、図３に示されるように、テンプレート画像Tp1と同一の領域に存在する。この場合、位置近傍性判定部２１は、差異領域Def1はテンプレート画像と位置の近傍性がある（位置の特徴量が類似する）と判定する。
一方、差異領域Def2については、差異領域Def2が検出された領域Area3に存在するテンプレート画像は、テンプレート画像特徴量記憶部１４に記憶されていない。したがって、この場合、位置近傍性判定部２１は、差異領域Def2については、テンプレート画像と位置の近傍性がない（位置の特徴量が類似しない）と判定する。
［テクスチャ類似性判定部２２によるテクスチャ類似性判定処理］
次に、テクスチャ類似性判定部２２が行うテクスチャ類似性判定処理の詳細について説明する。
テクスチャ類似性判定部２２は、検出された１以上の差異領域のそれぞれについて、差異領域内の一定の位置関係にある２画素の輝度値（画素値）の関係を集計した同時生起確率行列Ｐを計算し、計算した同時生起確率行列Ｐを用いたテクスチャの特徴量（テクスチャ特徴量）を計算する。そして、テクスチャ類似性判定部２２は、差異領域のテクスチャ特徴量が、テンプレート画像のテクスチャ特徴量と類似するかどうかを判定する。
初めに、同時生起確率行列Ｐの計算について説明する。
ある差異領域について、同時生起確率行列Ｐを計算するためには、図４Aに示すように、領域内の所定の画素ｉと、その画素ｉに対して、距離ｄおよび角度θだけ離れた位置関係にある画素ｊとの輝度値の関係に着目する。ここで、ある画素ｉに対して、距離ｄおよび角度θだけ離れた位置関係をδ＝（ｄ，θ）で表す。
テクスチャ類似性判定部２２は、画素ｉの輝度値がｇ１、画素ｊの輝度値がｇ２である場合に、図４Bに示すように、画素ｉの輝度値を行方向、画素ｊの輝度値を列方向とする行列の（ｇ１，ｇ２）の要素を１だけカウントアップする処理を、領域内のδ＝（ｄ，θ）の位置関係を有する全ての画素に対して行う。
この場合、図４Bに示される行列の縦と横のサイズは、画素の輝度値の階調数Ｑに等しいものとなるが、テクスチャ類似性判定部２２は、リアルタイム画像の元の階調数（例えば、２５６階調）の輝度値をそのまま用いるのではなく、例えば、１６階調や４階調などに階調数を落とした輝度値を用いる。
縦横のサイズが４×４画素で、階調数Ｑを４階調（Ｑ＝４）に落とした後の各画素の輝度値が、図５Aに示す値を有する差異領域の場合の行列の作成について説明する。
図５Aの差異領域に対して、δ＝（１，０°）の位置関係を有する画素について行列を作成する場合、図５Bの矢印で示されるように、画素ｉから画素ｊへの方向（ｉ→ｊ）と、画素ｊから画素ｉへの方向（ｊ→ｉ）の計２４通りの輝度値の関係に注目する。これらの輝度値の関係に対して上述したカウントアップ処理を行うと、δ＝（１，０°）の位置関係を有する２画素の輝度値の関係を表す行列が、図５Cに示すように計算される。そして、図５Cに示されるカウントアップ処理結果の行列を、全要素の和が１となるように正規化することで、同時生起確率行列Ｐを作成することができる。
図６は、図５Aに示した差異領域において、δ＝（１，０°）の位置関係を有する画素間の同時生起確率行列Ｐと、δ＝（１，９０°）の位置関係を有する画素間の同時生起確率行列Ｐを示している。なお、以下では、同時生起確率行列Ｐの要素（ｉ，ｊ）をＰijで表す。
以上のようにして、ある差異領域について、同時生起確率行列Ｐが計算されると、テクスチャ類似性判定部２２は、計算した差異領域の同時生起確率行列Ｐを用いて、以下の式（１）および式（２）により、画像コントラストｆContrastと、画像エントロピーｆEntropyの２つの統計量を求める。
Figure 2014027442
 画像コントラストｆContrastは、画像の各画素間の明るさのばらつきの大きさを表す統計量であり、画像エントロピーｆEntropyは、画像の均一性を表す統計量である。
画像コントラストｆContrastと画像エントロピーｆEntropyの各統計量は、１つの同時生起確率行列Ｐごとに求められる。したがって、例えば、１つの差異領域に対応するリアルタイム画像と過去画像のそれぞれについて、δ＝（２，０°）、δ＝（２，４５°）、δ＝（２，９０°）、δ＝（２，１３５°）の４つの位置関係について、同時生起確率行列Ｐを計算したとすると、２画像×４つの位置関係×２つの統計量＝１６個の統計量が求められる。テクスチャ類似性判定部２２は、１つの差異領域に対して、以上のようにして求めた所定の次元数（上記の例では１６次元）のベクトルを、１つの差異領域のテクスチャ特徴量（ベクトル）とする。
テンプレート画像特徴量記憶部１４には、複数のテンプレート画像のそれぞれについて、テンプレート画像決定時に、同様の方法で求めたテクスチャ特徴量が記憶されている。
そして、テクスチャ類似性判定部２２は、テンプレート画像のテクスチャ特徴量Xと、差異領域のテクスチャ特徴量Yのi番目の対応する要素xiとyiが、以下の条件式を満たしているか否かを判定する。
Figure 2014027442
すなわち、テクスチャ類似性判定部２２は、差異領域のテクスチャ特徴量ベクトルの要素yiが、テンプレート画像のテクスチャ特徴量ベクトルの要素（xi−Ｃ）とxi／ｒの小さい方の値から、テンプレート画像のテクスチャ特徴量ベクトルの要素（xi＋Ｃ）とｒxiの大きい方の値までの間に含まれるか否かを、差異領域のテクスチャ特徴量ベクトルの全ての要素について判定する。
ここで、式（３）のパラメータＣとｒは、後述するように事前のサンプルデータにより予め決定された定数である。なお、（xi−Ｃ）が負となる場合には、（xi−Ｃ）は、０に置き換えられる。
図７乃至図１２を参照して、テンプレート画像と差異領域のテクスチャ特徴量の類似性の判定式を、式（３）とした理由について説明する。
図７は、異なる監視対象エリアを撮影した３つの撮影画像から検出された複数の差異領域それぞれのテクスチャ特徴ベクトルのうち、δ＝（２，０°）、δ＝（２，９０°）の画像コントラストｆContrastの成分（要素）を抜き出して２次元平面上にプロットした図である。
図８は、図７と同一のテクスチャ特徴ベクトルのうち、δ＝（２，０°）、δ＝（２，９０°）の画像エントロピーｆEntropyの成分（要素）を抜き出して２次元平面上にプロットした図である。
図７Aおよび図８Aは、カメラ１から、晴天時昼間に、所定方向に1km程度離れた場所を撮影した撮影画像のデータであり、環境ノイズとして「木の葉の揺れ」を含んでいる。
図７Aおよび図８Aにおいて、四角形（□）のプロットは、監視対象エリアを撮影して得られた複数の差異領域のうち、画像処理装置２において本来検知すべき物体（例えば、人や車など）を示している。一方、バツ（×）のプロットは、監視対象エリアを撮影して得られた複数の差異領域のうち、環境ノイズである「木の葉の揺れ」による誤検出を示している。
図７Bおよび図８Bは、カメラ１から、晴天時昼間に、所定方向に500m程度離れた場所を撮影した撮影画像のデータであり、環境ノイズとして「草の揺れ」を含んでいる。
図７Bおよび図８Bにおいて、四角形（□）のプロットは、監視対象エリアを撮影して得られた複数の差異領域のうち、画像処理装置２において本来検知すべき物体（例えば、人や車など）を示している。一方、バツ（×）のプロットは、監視対象エリアを撮影して得られた複数の差異領域のうち、環境ノイズである「草の揺れ」による誤検出を示している。
図７Cおよび図８Cは、カメラ１から、曇天時夕方に、所定方向に1km程度離れた場所を撮影した撮影画像のデータであり、環境ノイズとして「川の水面の揺れ」を含んでいる。
図７Cおよび図８Cにおいて、四角形（□）のプロットは、監視対象エリアを撮影して得られた複数の差異領域のうち、画像処理装置２において本来検知すべき物体（例えば、人や車など）を示している。一方、バツ（×）のプロットは、監視対象エリアを撮影して得られた複数の差異領域のうち、環境ノイズである「川の水面の揺れ」による誤検出を示している。
図７および図８の各図において、誤検出を示すバツ（×）のプロットのうちの一つが、誤検出のテンプレート画像のテクスチャ特徴量として、テンプレート画像特徴量記憶部１４に登録されることになる。
したがって、類似性を判定する判定式としては、図７および図８の各図において、テンプレート画像特徴量記憶部１４に登録されているバツ（×）のプロットを基準としたときに、他のバツ（×）のプロットを多く含み、四角形（□）のプロットをできるだけ含まないような判定式を設定できることが望ましい。
そこで、図７および図８の各図において、誤検出を示すバツ（×）のプロットについて共通の特徴が言えないか検討する。
図７および図８の各図において、誤検出を示すバツ（×）のプロットの分布の中心値は、小さいものから大きいものまでさまざまである。例えば、図７Aのバツ（×）のプロットの分布の中心値は、２．５付近にあり、図７Bのバツ（×）のプロットの分布の中心値は、３０ないし４０付近にあり、図７Aのバツ（×）のプロットの分布の中心値は、０．２５付近にある。
また、誤検出を示すバツ（×）のプロットの分布のばらつき（分散）も、図７Aや図７Cのように小さいものもあるし、図７Bのように大きいものもある。
しかし、誤検出を示すバツ（×）のプロットの分布のばらつきは、バツ（×）のプロットの値にある程度比例する関係にあると考えられる。すなわち、バツ（×）のプロットの値が、図７Aの０ないし５や、図７Cの０ないし１ように小さい値である場合には、バツ（×）のプロットの分布のばらつきも小さく、図７Bの３０ないし４０のように大きい値である場合には、バツ（×）のプロットの分布のばらつきも大きい。図８についても同様のことが言える（図８では、分布のばらつきが大きいように見えるが、値そのものが小さい）。
そこで、図９に示すように、テンプレート画像特徴量記憶部１４に登録されているテンプレート画像のテクスチャ特徴量ベクトルの要素xiを基準としたときに、そこから差分Ｃで設定される範囲（xi−Ｃ≦yi≦xi＋Ｃ）と、倍率ｒで設定される範囲（（xi／ｒ）≦yi≦ｒxi）を考え、そのどちらかに含まれるものについては、同種の誤検出であるとして除外すればよいと考えられる。
式（３）は、図９に示した差分Ｃと倍率ｒで設定される２つの範囲のうち、最小値側を、（xi−Ｃ）と（xi／ｒ）のうちの小さい方で設定し、最大値側を、（xi＋Ｃ）と（ｒxi）のうちの大きい方で設定した式となっている。
次に、式（３）のパラメータＣとｒの決定方法について説明する。
多数のサンプル画像を用意して、用意した各サンプル画像で、パラメータＣとｒを所定の値に設定して検出された差異領域を正常検出と誤検出に分類し、誤検出の除去数と正常検出の誤除去数を集計する処理を、パラメータＣとｒを様々な値に変更して繰り返す。そして、設定したパラメータＣとｒごとの誤検出の除去数と正常検出の誤除去数を比較することにより、最適なパラメータＣとｒが決定される。なお、テンプレート画像の個数は一定とする。
設定したパラメータＣとｒごとの誤検出の除去数と正常検出の誤除去数は、図１０に示すように、正常検出の誤除去数の最悪値を横軸、誤検出の除去数の平均値を縦軸として２次元平面上にプロットされる。正常検出の誤除去数の最悪値を横軸、誤検出の除去数の平均値を縦軸としたときの各パラメータのプロットは、各パラメータでの除去性能を表し、Ｃの値ごとに折れ線状に分布し、２次元平面のY軸上の高い場所に位置するパラメータほど、除去性能が良いことになる。Ｃは、０．５から１．０程度の値、ｒは、１．５から２．５程度の値が、経験上良好である。
図１１は、図７および図８で示した３つの異なる撮影画像について、テンプレート画像の登録数を２０個で統一し、パラメータＣとｒを様々に変化させたときの除去性能分布を示している。図１１Aが、図７Aおよび図８Aで使用した撮影画像に対応し、図１１Bが、図７Bおよび図８Bで使用した撮影画像に対応し、図１１Cが、図７Cおよび図８Cで使用した撮影画像に対応する。
図７Aおよび図８Aで使用した、環境ノイズとして「木の葉の揺れ」を含む撮影画像で、パラメータＣとｒを様々に変化させた場合、パラメータでの除去性能は、図１１Aに示されるようになり、パラメータの最適値は、ｒ＝２．１，Ｃ＝２．０である。
図７Bおよび図８Bで使用した、環境ノイズとして「草の揺れ」を含む撮影画像で、パラメータＣとｒを様々に変化させた場合、パラメータでの除去性能は、図１１Bに示されるようになり、パラメータの最適値は、ｒ＝２．５，Ｃ＝０．７５である。
図７Cおよび図８Cで使用した、環境ノイズとして「川の水面の揺れ」を含む撮影画像で、パラメータＣとｒを様々に変化させた場合、パラメータでの除去性能は、図１１Cに示されるようになり、パラメータの最適値は、ｒ＝２．０，Ｃ＝０．７５である。
したがって、異なる環境ノイズを含む撮影画像では、パラメータの最適値も完全には一致しない。しかし、検知処理としては、一つのパラメータで統一的に処理することが望ましいので、そのようなパラメータを次に検討する。除去性能は、正常検出の誤除去数の最悪値がゼロで、誤検出の除去数が最大であることが望ましいが、それらの両立が難しい場合、本来検知すべき物体を見逃すことは避けるべきであるので、正常検出の誤除去数がゼロであることを優先すればよい。
そこで、図１１Cのパラメータの最適値であるｒ＝２．０，Ｃ＝０．７５について、図１１Aと図１１Bで使用した撮影画像について除去性能を調べる。
図１２Aは、図１１AのY軸付近の拡大図であり、図１２Bは、図１１BのY軸付近の拡大図を示している。
図１２A（図１１A）で使用した撮影画像で、パラメータをｒ＝２．０，Ｃ＝０．７５にした場合には、ｒ＝２．１，Ｃ＝２．０のときよりも誤検出の除去数は少し劣るが、正常検出の誤除去数の最悪値はゼロを維持しており、除去性能が良好であることが分かる。
図１２B（図１１B）で使用した撮影画像で、パラメータをｒ＝２．０，Ｃ＝０．７５にした場合には、ｒ＝２．５，Ｃ＝０．７５のときよりも誤検出の除去数は少し劣るが、正常検出の誤除去数の最悪値はゼロを維持しており、除去性能が良好であることが分かる。
以上から、「木の葉の揺れ」、「草の揺れ」、「川の水面の揺れ」など様々な環境ノイズに対応する共通のパラメータとして、ｒ＝２．０，Ｃ＝０．７５を決定することができる。
以上のようにして決定されたパラメータを用いた式（３）の判定式の条件が、差異領域のテクスチャ特徴量ベクトルの全ての要素について満たされた場合、テクスチャ類似性判定部２２は、テンプレート画像と差異領域のテクスチャ特徴量は類似すると判定する。
［色類似性判定部２３による色類似性判定処理］
次に、色類似性判定部２３が行う色類似性判定処理について説明する。
色類似性判定部２３は、差異領域のリアルタイム画像をYUV色空間に変換して、差異領域のUとVの２次元ヒストグラムを作成する。そして、色類似性判定部２３は、差異領域のUとVの２次元ヒストグラムと、テンプレート画像のUとVの２次元ヒストグラムの類似性を判定する。
具体的には、差異領域の２次元ヒストグラムをベクトルｖ、テンプレート画像の２次元ヒストグラムをベクトルｗで表すと、色類似性判定部２３は、差異領域とテンプレート画像のヒストグラムどうしの類似度を、以下の相関係数ｄ（ｖ，ｗ）で求める。
Figure 2014027442
 分母の｜・｜は絶対値を表し、｜ｖ｜＝（ｖ1 2＋ｖ2 2＋・・・ｖk 2）1/2、｜ｗ｜＝（ｗ1 2＋ｗ2 2＋・・・ｗk 2）1/2である。また、分子の<ｖ，ｗ>は、ベクトルｖとベクトルｗの内積を表す。なお、テンプレート画像の２次元ヒストグラムのベクトルｗは、テンプレート画像特徴量記憶部１４に記憶されている。
差異領域とテンプレート画像の色が類似すると判定するための閾値αを、例えば、０．７≒cos45°などに設定し、色類似性判定部２３は、相関係数ｄ（ｖ，ｗ）が閾値α以下である場合、差異領域とテンプレート画像は、色の特徴量に関して、類似性があると判定する。
ここで、YUV色空間に変換後の差異領域とテンプレート画像のUとVの値は、例えば、３２階調に区切った値とするなどして、ヒストグラムの相関係数の計算をより簡単にすることができる。
［物体検出処理のフローチャート］
次に、図１３のフローチャートを参照して、画像処理装置２の物体検出処理について説明する。この処理は、例えば、カメラ１から、リアルタイム画像が供給されたときに開始される。
初めに、ステップＳ１において、撮影画像取得部１１は、カメラ１から入力された、撮影時刻の最も新しい撮影画像であるリアルタイム画像を取得し、バッファ１１Aに一定期間記憶する。なお、バッファ１１Aに記憶する期間は、例えば、いま取得した撮影画像を、過去画像として出力するまでの間とすることができる。
ステップＳ２において、撮影画像取得部１１は、カメラ１から入力されたリアルタイム画像と、そのひとつ前にカメラ１から入力された過去画像のセットを、差異領域検出部１２と類似性判定部１３に供給する。
ステップＳ３において、差異領域検出部１２は、撮影画像取得部１１から供給されたリアルタイム画像と過去画像を比較し、対応する画素どうしの画素値の差分が所定の閾値以上である差異領域を検出する。差異領域は、一般には、複数検出され、検出された差異領域を示す情報は、類似性判定部１３に供給される。
ステップＳ４において、類似性判定部１３の位置近傍性判定部２１は、撮影画像取得部１１から供給されたリアルタイム画像を縮小し、縮小後のリアルタイム画像を、同程度の色を有する領域ごとに分割する領域分割処理を実行する。
ステップＳ５において、位置近傍性判定部２１は、差異領域検出部１２で検出された差異領域のなかから、所定の一つを選択する。
ステップＳ６において、位置近傍性判定部２１は、テンプレート画像特徴量記憶部１４に記憶されているテンプレート画像の位置情報に基づいて、選択した差異領域と近傍位置にあるテンプレート画像を検索する。
ステップＳ７において、位置近傍性判定部２１は、図３を参照して説明した方法により、選択した差異領域と近傍位置にあるテンプレート画像があるか否かを判定する。
ステップＳ７で、選択した差異領域と近傍位置にあるテンプレート画像がないと判定された場合、処理はステップＳ８に進み、位置近傍性判定部２１は、差異領域が検出されたことを示す情報をアラーム出力部１５に供給する。アラーム出力部１５は、位置近傍性判定部２１からの情報に基づいて、差異領域が検出されたことを示すアラームを出力する。
一方、ステップＳ７で、選択した差異領域と近傍位置にあるテンプレート画像があると判定された場合、処理はステップＳ９に進み、類似性判定部１３のテクスチャ類似性判定部２２は、選択した差異領域のテクスチャ特徴量（ベクトル）を計算する。
そして、ステップＳ１０において、テクスチャ類似性判定部２２は、選択した差異領域と、近傍位置にあると判定されたテンプレート画像のテクスチャ特徴量が類似するか否かを判定する。
具体的には、テクスチャ類似性判定部２２は、選択した差異領域の近傍位置にあると判定されたテンプレート画像のテクスチャ特徴量ベクトルを、テンプレート画像特徴量記憶部１４から取得する。そして、テクスチャ類似性判定部２２は、選択した差異領域の特徴量ベクトルと、近傍位置にあると判定されたテンプレート画像のテクスチャ特徴量ベクトルの全ての要素が、式（３）の判定式を満たすか否かを判定する。テクスチャ特徴量ベクトルの全ての要素が式（３）の判定式を満たす場合、選択した差異領域と、近傍位置にあると判定されたテンプレート画像のテクスチャ特徴量は、類似すると判定される。
ステップＳ１０で、選択した差異領域と、近傍位置にあると判定されたテンプレート画像のテクスチャ特徴量が類似しないと判定された場合、処理は、上述したステップＳ８に進む。したがって、この場合も、差異領域が検出されたことを示すアラームがアラーム出力部１５から出力される。
一方、ステップＳ１０で、選択した差異領域と、近傍位置にあると判定されたテンプレート画像のテクスチャ特徴量が類似すると判定された場合、処理はステップＳ１１に進み、色類似性判定部２３は、選択した差異領域の色特徴量を計算する。具体的には、色類似性判定部２３は、選択した差異領域のリアルタイム画像をYUV色空間に変換して、選択した差異領域のUとVの２次元ヒストグラムを作成する。
そして、ステップＳ１２において、色類似性判定部２３は、選択した差異領域と、近傍位置にあって、テクスチャ特徴量も類似すると判定されたテンプレート画像の色特徴量が類似するか否かを判定する。
具体的には、色類似性判定部２３は、選択した差異領域の近傍位置にあり、かつテクスチャ特徴量が類似すると判定されたテンプレート画像の色特徴量（UとVの２次元ヒストグラム）をテンプレート画像特徴量記憶部１４から取得する。そして、色類似性判定部２３は、選択した差異領域の色特徴量としての２次元ヒストグラムｖと、近傍位置にあって、テクスチャ特徴量も類似すると判定されたテンプレート画像の色特徴量としての２次元ヒストグラムｗの相関係数ｄ（ｖ，ｗ）を計算する。そして、色類似性判定部２３は、計算した相関係数ｄ（ｖ，ｗ）が、予め設定した閾値α以下であるか否かを判定し、閾値α以下である場合に、色特徴量が類似すると判定する。
ステップＳ１２で、選択した差異領域と、近傍位置にあって、テクスチャ特徴量も類似すると判定されたテンプレート画像の色特徴量が類似しないと判定された場合、処理は、上述したステップＳ８に進む。したがって、この場合も、差異領域が検出されたことを示すアラームがアラーム出力部１５から出力される。
一方、ステップＳ１２で、選択した差異領域と、近傍位置にあって、テクスチャ特徴量も類似すると判定されたテンプレート画像の色特徴量が類似すると判定された場合、処理はステップＳ１３に進む。
ステップＳ１３において、色類似性判定部２３は、選択した差異領域は、テンプレート画像特徴量記憶部１４に記憶されているテンプレート画像と同種の誤検出（領域）であると判定し、選択した差異領域についてアラーム出力しない。
上述したステップＳ８、または、ステップＳ１３のあと、処理はステップＳ１４に進み、類似性判定部１３は、差異領域検出部１２で検出された全ての差異領域を選択したかを判定する。
ステップＳ１４で、差異領域検出部１２で検出された全ての差異領域を選択していないと判定された場合、処理はステップＳ５に戻り、上述したステップＳ５ないしＳ１４の処理が繰り返される。すなわち、差異領域検出部１２で検出された差異領域のうち、まだ選択されていない差異領域が選択され、テンプレート画像特徴量記憶部１４に記憶されているテンプレート画像と、位置、テクスチャ、及び色の各特徴量が類似するかが判定される。
一方、ステップＳ１４で、差異領域検出部１２で検出された全ての差異領域を選択したと判定された場合、図１３の処理は終了する。
以上の物体検出処理によれば、テンプレート画像特徴量記憶部１４に記憶されているテンプレート画像の特徴量を用いて、検出された差異領域が、位置、テクスチャ、及び色の各特徴量の点で、誤検出のテンプレート画像と類似するかが判定される。誤検出のテンプレート画像と類似すると判定された差異領域については、アラーム出力から除外される。これにより、「木の葉の揺れ」、「草の揺れ」、「川の水面の揺れ」などの環境ノイズの誤検出を削減することができ、監視カメラシステムの検出精度を向上させることができる。
画像処理装置２では、環境ノイズの誤検出を削減するために、一定枚数のテンプレート画像の特徴量を記憶しておけばよいので、多数の過去画像を記憶しておく必要がない。したがって、上述した特許文献２の手法などよりも、より簡易な構成で、検出精度の高い監視システムを実現できる。
上述した実施の形態では、位置、テクスチャ、及び色の３つの特徴量を全て用いてテンプレート画像と同種の誤検出か否かを判定したが、３つの特徴量の一つまたは二つを用いて誤検出判定した場合との検出精度の比較結果を、図１４乃至図１９に示す。
図１４乃至図１９の横軸は、テンプレート画像の（特徴量の）登録数を表し、縦軸は、正常検出の誤除去数の最悪値および誤検出の除去数の平均値を表す。図中のプロットのうち、バツ（×）のプロットは、正常検出の誤除去数の最悪値を示し、プラス（＋）のプロットは、誤検出の除去数の平均値を示している。
図１４は、テンプレート画像と同種の誤検出か否かの判定を、テクスチャの特徴量のみを用いて行った場合の検出精度を示している。
図１５は、テンプレート画像と同種の誤検出か否かの判定を、位置とテクスチャの２つの特徴量を用いて行った場合の検出精度を示している。
図１６は、テンプレート画像と同種の誤検出か否かの判定を、テクスチャと色の２つの特徴量を用いて行った場合の検出精度を示している。
図１７は、テンプレート画像と同種の誤検出か否かの判定を、位置、テクスチャ、および色の３つの特徴量を用いて行った場合の検出精度を示している。
図１４乃至図１７を参照すると、位置、テクスチャ、および色の３つの特徴量を用いて誤検出判定を行うことで、正常検出の誤除去数をより少なく（ゼロに）することができる。
図１４乃至図１７は、図７Aおよび図８Aで使用した、環境ノイズとして「木の葉の揺れ」を含む撮影画像に対して、誤検出判定に用いる特徴量を変えて比較した結果であるが、図７Bおよび図８Bで使用した撮影画像と、図７Cおよび図８Cで使用した撮影画像については、位置、テクスチャ、および色の３つの特徴量を用いて誤検出判定を行った場合の結果についてのみ示す。
図１８は、図７Bおよび図８Bで使用した、環境ノイズとして「草の揺れ」を含む撮影画像に対して、テンプレート画像と同種の誤検出か否かの判定を、位置、テクスチャ、および色の特徴量を用いて行った場合の検出精度を示している。
図１９は、図７Cおよび図８Cで使用した、環境ノイズとして「川の水面の揺れ」を含む撮影画像に対して、テンプレート画像と同種の誤検出か否かの判定を、位置、テクスチャ、および色の特徴量を用いて行った場合の検出精度を示している。
図１８および図１９で使用した撮影画像においても、位置、テクスチャ、および色の３つの特徴量を用いて誤検出判定を行うことで、正常検出の誤除去数をより少なく（ゼロに）することができている。
＜２．第２の実施の形態＞
次に、監視カメラシステムの第２の実施の形態について説明する。
上述した第１の実施の形態では、カメラ１が、位置、向き、角度などを固定して、常時同一の撮影範囲を監視対象エリアとして撮影した場合について説明した。
第２の実施の形態では、図２０に示すように、カメラ１が、ズーム機構（望遠機構）を有するとともに、水平方向および垂直方向に移動可能であり、一回の撮影で得られる単位画像を水平方向および垂直方向につなぎ合わせてパノラマ画像を構成することで、広域かつ遠距離を撮影範囲とするカメラであることを想定する。例えば、カメラ１が、最大で周囲２７０度の範囲を監視対象エリアとし、５ｋｍ先の車や１ｋｍ先の人物を検出する性能を備えるようにすることができる。
カメラ１が、上述のような広範囲を監視対象エリアとする場合には、差異領域として誤検出されやすい物体（例えば、木の葉の揺れ）が同一でも、物体が遠い距離にある場合と、近い距離にある場合とで、テクスチャ特徴量の値やばらつき方が大きく異なると考えられる。
そこで、画像処理装置２のテクスチャ類似性判定部２２は、テクスチャ特徴量の類似性判定において、同時生起確率行列Ｐを計算するときの画素ｉと画素ｊの位置関係を表すパラメータである距離ｄの値を、カメラ１から監視対象エリアまでの距離に応じて変更する。具体的には、図２１に示すように、カメラ１から監視対象エリアまでの距離が遠くなるほど、距離ｄの値を小さな値に設定する。これにより、遠い距離にある場合と近い距離にある場合の両方で、テンプレート画像として登録したものと同じ種類の誤検出を、統一的に除去することが可能となる。
カメラ１から監視対象エリアまでの距離は、カメラ１が設置されている高さＨ、カメラ１の俯角β、およびズーム倍率Ｚから、推定することができる。したがって、テクスチャ類似性判定部２２は、高さＨ、カメラ１の俯角β、およびズーム倍率Ｚに対応して、同時生起確率行列Ｐを計算するときの距離ｄを記憶させたテーブルを保持し、テーブルを参照して、設置情報として記憶されているカメラ１の高さＨと、現在の俯角βおよびズーム倍率Ｚに応じて、距離ｄを変更する。
なお、カメラ１は、通常、一度所定の位置に設置したら、監視を止める場合などを除いて基本的に固定される。したがって、カメラ１の高さＨは固定値と考えることもできるので、設置場所のカメラ１の高さＨを考慮して、カメラ１の俯角βおよびズーム倍率Ｚのみに対応させた距離ｄのテーブルを保持してもよい。
なお、反対に、同時生起確率行列Ｐを計算するときの距離ｄの値を、カメラ１から監視対象エリアまでの距離に拘らず一定とすることで、遠い距離にある場合と近い距離にある場合とで、誤検出の設定を変えることができる。例えば、テンプレート画像と同種の誤検出を、遠い距離では検出するが、近い距離では未検出とする、などの設定をすることができる。
誤検出のテンプレート画像を、「木の葉の揺れ」、「草の揺れ」、「川の水面の揺れ」などの誤検出の種類や、監視対象エリアまでの距離などでグループ化したとき、各グループで、テクスチャ特徴量の値とばらつきの大きさの比率は同程度になることも多いと推察される。したがって、テクスチャ特徴量の類似性判定の閾値は、テンプレート画像ごとに細かく設定せずに同じ値を採用しても良好な除去性能が得られると考えられる。
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図２２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、入力部１０６、出力部１０７、記憶部１０８、通信部１０９、及びドライブ１１０が接続されている。
入力部１０６は、キーボード、マウス、マイクロホンなどよりなる。出力部１０７は、ディスプレイ、スピーカなどよりなる。記憶部１０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１０９は、ネットワークインタフェースなどよりなる。ドライブ１１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体１１１を駆動する。
以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータでは、プログラムは、リムーバブル記録媒体１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。
なお、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる場合はもちろん、必ずしも時系列的に処理されなくとも、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで実行されてもよい。
本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、上述した複数の実施の形態の全てまたは一部を組み合わせた形態を採用することができる。
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
なお、本技術は以下のような構成も取ることができる。
（１）
入力画像の差異領域を検出する差異領域検出部と、
検出された前記差異領域の画像である差異領域画像の特徴量を計算し、計算された前記差異領域画像の特徴量と、誤検出のテンプレート画像の特徴量の類似性を判定することにより、前記差異領域画像が誤検出か否かを判定する類似性判定部と
を備える画像処理装置。
（２）
前記類似性判定部は、前記差異領域画像の特徴量として、画像内の輝度値の同時生起確率行列を用いたテクスチャ特徴量を計算し、前記テクスチャ特徴量の類似性を判定する
前記（１）に記載の画像処理装置。
（３）
前記テクスチャ特徴量は、画像内の画素間の明るさのばらつきの大きさを表す統計量と、画像の均一性を表す統計量で構成される
前記（２）に記載の画像処理装置。
（４）
前記類似性判定部は、前記差異領域画像の前記テクスチャ特徴量のベクトルの要素が、前記テンプレート画像のテクスチャ特徴量のベクトルの対応する要素の所定の範囲内に入っているか否かを判定することにより、特徴量の類似性を判定する
前記（２）または（３）に記載の画像処理装置。
（５）
前記類似性判定部は、前記同時生起確率行列を計算するときの２画素間の距離を決定する距離パラメータを、前記入力画像を撮影した撮像装置から撮影対象の物体までの距離情報に応じて変化させる
前記（２）乃至（４）のいずれかに記載の画像処理装置。
（６）
前記距離情報は、前記撮像装置の設置情報、俯角、およびズーム倍率に応じて決定される
前記（５）に記載の画像処理装置。
（７）
前記誤検出のテンプレート画像の特徴量を記憶するテンプレート画像特徴量記憶部をさらに備える
前記（１）乃至（６）のいずれかに記載の画像処理装置。
（８）
前記類似性判定部は、前記特徴量の類似性の判定として、さらに、前記差異領域画像と前記テンプレート画像の位置の近傍性を判定する
前記（１）乃至（７）のいずれかに記載の画像処理装置。
（９）
前記類似性判定部は、前記特徴量の類似性の判定として、さらに、前記差異領域画像と前記テンプレート画像の色の類似性を判定する
前記（１）乃至（８）のいずれかに記載の画像処理装置。
（１０）
前記入力画像は、監視カメラで撮影されて入力された画像である
前記（１）乃至（９）のいずれかに記載の画像処理装置。
（１１）
画像処理装置が、
入力画像の差異領域を検出し、
検出された前記差異領域の画像である差異領域画像の特徴量を計算し、計算された前記差異領域画像の特徴量と、誤検出のテンプレート画像の特徴量の類似性を判定することにより、前記差異領域画像が誤検出か否かを判定する
ステップを含む画像処理方法。
（１２）
コンピュータを、
入力画像の差異領域を検出する差異領域検出部と、
検出された前記差異領域の画像である差異領域画像の特徴量を計算し、計算された前記差異領域画像の特徴量と、誤検出のテンプレート画像の特徴量の類似性を判定することにより、前記差異領域画像が誤検出か否かを判定する類似性判定部
として機能させるためのプログラム。
１ カメラ， ２ 画像処理装置， １１ 撮影画像取得部， １２ 差異領域検出部， １３ 類似性判定部， １４ テンプレート画像特徴量記憶部， １５ アラーム出力部， ２１ 位置近傍性判定部， ２２ テクスチャ類似性判定部， ２３ 色類似性判定部

Claims (12)

  1. 入力画像の差異領域を検出する差異領域検出部と、
    検出された前記差異領域の画像である差異領域画像の特徴量を計算し、計算された前記差異領域画像の特徴量と、誤検出のテンプレート画像の特徴量の類似性を判定することにより、前記差異領域画像が誤検出か否かを判定する類似性判定部と
    を備える画像処理装置。
  2. 前記類似性判定部は、前記差異領域画像の特徴量として、画像内の輝度値の同時生起確率行列を用いたテクスチャ特徴量を計算し、前記テクスチャ特徴量の類似性を判定する
    請求項１に記載の画像処理装置。
  3. 前記テクスチャ特徴量は、画像内の画素間の明るさのばらつきの大きさを表す統計量と、画像の均一性を表す統計量で構成される
    請求項２に記載の画像処理装置。
  4. 前記類似性判定部は、前記差異領域画像の前記テクスチャ特徴量のベクトルの要素が、前記テンプレート画像のテクスチャ特徴量のベクトルの対応する要素の所定の範囲内に入っているか否かを判定することにより、特徴量の類似性を判定する
    請求項２に記載の画像処理装置。
  5. 前記類似性判定部は、前記同時生起確率行列を計算するときの２画素間の距離を決定する距離パラメータを、前記入力画像を撮影した撮像装置から撮影対象の物体までの距離情報に応じて変化させる
    請求項２に記載の画像処理装置。
  6. 前記距離情報は、前記撮像装置の設置情報、俯角、およびズーム倍率に応じて決定される
    請求項５に記載の画像処理装置。
  7. 前記誤検出のテンプレート画像の特徴量を記憶するテンプレート画像特徴量記憶部をさらに備える
    請求項１に記載の画像処理装置。
  8. 前記類似性判定部は、前記特徴量の類似性の判定として、さらに、前記差異領域画像と前記テンプレート画像の位置の近傍性を判定する
    請求項２に記載の画像処理装置。
  9. 前記類似性判定部は、前記特徴量の類似性の判定として、さらに、前記差異領域画像と前記テンプレート画像の色の類似性を判定する
    請求項２に記載の画像処理装置。
  10. 前記入力画像は、監視カメラで撮影されて入力された画像である
    請求項１に記載の画像処理装置。
  11. 画像処理装置が、
    入力画像の差異領域を検出し、
    検出された前記差異領域の画像である差異領域画像の特徴量を計算し、計算された前記差異領域画像の特徴量と、誤検出のテンプレート画像の特徴量の類似性を判定することにより、前記差異領域画像が誤検出か否かを判定する
    ステップを含む画像処理方法。
  12. コンピュータを、
    入力画像の差異領域を検出する差異領域検出部と、
    検出された前記差異領域の画像である差異領域画像の特徴量を計算し、計算された前記差異領域画像の特徴量と、誤検出のテンプレート画像の特徴量の類似性を判定することにより、前記差異領域画像が誤検出か否かを判定する類似性判定部
    として機能させるためのプログラム。
JP2012165427A 2012-07-26 2012-07-26 画像処理装置、画像処理方法、およびプログラム Pending JP2014027442A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012165427A JP2014027442A (ja) 2012-07-26 2012-07-26 画像処理装置、画像処理方法、およびプログラム
CN201310306145.XA CN103581620A (zh) 2012-07-26 2013-07-19 图像处理设备、图像处理方法及程序
US13/946,089 US20140029855A1 (en) 2012-07-26 2013-07-19 Image processing apparatus, image processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012165427A JP2014027442A (ja) 2012-07-26 2012-07-26 画像処理装置、画像処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
JP2014027442A true JP2014027442A (ja) 2014-02-06

Family

ID=49994956

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012165427A Pending JP2014027442A (ja) 2012-07-26 2012-07-26 画像処理装置、画像処理方法、およびプログラム

Country Status (3)

Country Link
US (1) US20140029855A1 (ja)
JP (1) JP2014027442A (ja)
CN (1) CN103581620A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020031393A (ja) * 2018-08-24 2020-02-27 セコム株式会社 対象検知装置、画像処理装置、対象検知方法、画像処理方法、及びプログラム
JP2021044728A (ja) * 2019-09-12 2021-03-18 三菱電機インフォメーションシステムズ株式会社 通知判定装置、通知判定方法及び通知判定プログラム

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3001669B1 (en) 2013-05-22 2018-03-14 Sony Semiconductor Solutions Corporation Image processing apparatus, image processing method and program
EP3798444A1 (en) * 2014-08-21 2021-03-31 IdentiFlight International, LLC Avian detection system and method
US20160055399A1 (en) 2014-08-21 2016-02-25 Identiflight, Llc Graphical display for bird or bat detection and identification
CN104700534B (zh) * 2014-12-31 2017-10-31 大亚湾核电运营管理有限责任公司 核电厂监控系统的报警方法、装置及系统
CN104700524B (zh) * 2014-12-31 2018-02-13 大亚湾核电运营管理有限责任公司 多机组核电基地的综合安保响应系统及装置
CN105336074A (zh) * 2015-10-28 2016-02-17 小米科技有限责任公司 报警方法及装置
US11545013B2 (en) 2016-10-26 2023-01-03 A9.Com, Inc. Customizable intrusion zones for audio/video recording and communication devices
US10891839B2 (en) * 2016-10-26 2021-01-12 Amazon Technologies, Inc. Customizable intrusion zones associated with security systems
EP3540691B1 (en) * 2018-03-14 2021-05-26 Volvo Car Corporation Method of segmentation and annotation of images
CN111046911A (zh) * 2019-11-13 2020-04-21 泰康保险集团股份有限公司 一种图像处理方法和装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100450793B1 (ko) * 2001-01-20 2004-10-01 삼성전자주식회사 영역 분할된 영상의 영역 특징치 정합에 기초한객체추출장치 및 그 방법
CN100477745C (zh) * 2002-08-09 2009-04-08 夏普株式会社 图像合成装置和图象合成方法
CN1711557A (zh) * 2002-11-19 2005-12-21 皇家飞利浦电子股份有限公司 使用样板预测的图像分段
US20060170769A1 (en) * 2005-01-31 2006-08-03 Jianpeng Zhou Human and object recognition in digital video
US8498480B2 (en) * 2009-02-25 2013-07-30 The United States Of America, As Represented By The Secretary Of The Navy Computationally efficient method for image segmentation with intensity and texture discrimination

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020031393A (ja) * 2018-08-24 2020-02-27 セコム株式会社 対象検知装置、画像処理装置、対象検知方法、画像処理方法、及びプログラム
JP7194534B2 (ja) 2018-08-24 2022-12-22 セコム株式会社 対象検知装置、画像処理装置、対象検知方法、画像処理方法、及びプログラム
JP2021044728A (ja) * 2019-09-12 2021-03-18 三菱電機インフォメーションシステムズ株式会社 通知判定装置、通知判定方法及び通知判定プログラム

Also Published As

Publication number Publication date
US20140029855A1 (en) 2014-01-30
CN103581620A (zh) 2014-02-12

Similar Documents

Publication Publication Date Title
JP2014027442A (ja) 画像処理装置、画像処理方法、およびプログラム
US11470241B2 (en) Detecting facial expressions in digital images
US8150103B2 (en) Background modeling with feature blocks
US8508599B2 (en) Motion vector detection apparatus, motion vector detection method, and image capturing apparatus
JP2023526207A (ja) フレーム中の標的物体を一定のサイズに維持すること
CN106709895B (zh) 图像生成方法和设备
WO2014004901A1 (en) Unsupervised learning of feature anomalies for a video surveillance system
KR20150032630A (ko) 촬상 시스템에 있어서의 제어방법, 제어장치 및 컴퓨터 판독 가능한 기억매체
CN111462155B (zh) 移动侦测方法、装置、计算机设备和存储介质
KR20150112713A (ko) 영상분석 서버를 통한 미래 발생범죄 예측 시스템
KR20140095333A (ko) 영상에서 객체 추적 방법 및 장치
US8923552B2 (en) Object detection apparatus and object detection method
JP2020149641A (ja) 物体追跡装置および物体追跡方法
Hassan et al. Enhanced people counting system based head-shoulder detection in dense crowd scenario
KR101485512B1 (ko) 객체 행동패턴의 해마 신경망 학습을 이용한 미래범죄 발생확률 우선순위 이벤트 cctv 영상처리 방법
WO2018037479A1 (ja) 画像処理装置、ステレオカメラ装置及び画像処理方法
US8433139B2 (en) Image processing apparatus, image processing method and program for segmentation based on a degree of dispersion of pixels with a same characteristic quality
JP6235302B2 (ja) 監視カメラ及び画像監視装置
KR101210866B1 (ko) 회전줌 카메라 기반 평균이동 알고리즘을 이용한 객체추적 시스템
Hu et al. Gray spot detection in surveillance video using convolutional neural network
Dammalapati et al. An efficient criminal segregation technique using computer vision
KR101426039B1 (ko) 얼굴/물체 인식을 위한 특징점 검출 장치 및 방법
CN116778418A (zh) 一种顾及监控观测尺度和人群密度的自适应人数统计方法
Langner et al. Image processing in side scan sonar images for object detection and classification
CN113111711A (zh) 一种基于双线性和空间金字塔的池化方法