JP2010193438A - パラメータ設定方法及び該方法を用いた監視装置 - Google Patents

パラメータ設定方法及び該方法を用いた監視装置 Download PDF

Info

Publication number
JP2010193438A
JP2010193438A JP2010011125A JP2010011125A JP2010193438A JP 2010193438 A JP2010193438 A JP 2010193438A JP 2010011125 A JP2010011125 A JP 2010011125A JP 2010011125 A JP2010011125 A JP 2010011125A JP 2010193438 A JP2010193438 A JP 2010193438A
Authority
JP
Japan
Prior art keywords
monitoring
parameters
parameter
monitoring condition
condition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010011125A
Other languages
English (en)
Other versions
JP5202551B2 (ja
Inventor
Kazunari Iwanaga
一成 岩永
Miyuki Fujii
幸 藤井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Kokusai Electric Inc
Original Assignee
Hitachi Kokusai Electric Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Kokusai Electric Inc filed Critical Hitachi Kokusai Electric Inc
Priority to JP2010011125A priority Critical patent/JP5202551B2/ja
Publication of JP2010193438A publication Critical patent/JP2010193438A/ja
Application granted granted Critical
Publication of JP5202551B2 publication Critical patent/JP5202551B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/40Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/94Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945User interactive design; Environments; Toolboxes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】画像中の物体を検出する画像処理パラメータと、誤検出との関連がわかりにくく、パラメータの調整には熟練が要る。
【解決手段】監視装置において監視条件に対応したパラメータをグルーピングしておき、グルーピングした各グループ内のパラメータの適切な値を監視条件の度合いに応じて予め決定しておき押しボタンなどのユーザインタフェース部品で、実装された指示装置により監視条件及びその度合いを選択することで、該監視条件に対応したグループに属するパラメータをまとめて瞬時に変更することを可能とし、煩雑性と熟練性を排除したパラメータ調整を実現する。
【選択図】図3

Description

本発明は、監視対象となる領域(監視対象領域)の映像を監視する監視装置に係り、特に映像から物体を検出するアルゴリズムによって用られる複数のパラメータを、GUI(グラフィカルユーザインタフェース)によって容易に調整できるパラメータ設定方法に関する。
例えば、テレビジョンカメラ(TVカメラ)等の撮像装置を用いて、監視対象領域内に侵入する物体を監視することが行われている。また、監視員による有人監視ではなく、装置或いはシステムが自動的に監視を行う技術が検討されている。
監視対象領域内に侵入する物体を自動的に検出する技術の一例として、背景差分法と呼ばれる方法を用いた監視技術が従来広く用いられている。図4に背景差分法の一例を示す。背景差分法による物体検出方法は、撮像装置等から得られる入力画像401と検出すべき物体が映っていない基準となる背景画像402との輝度(或いは、画素値)の差分を算出し、得られた差分画像403において該差分値を所定の閾値(しきい値)で二値化し、二値化画像404上に表れた差分の大きい領域に検出すべき物体が存在する或いはその可能性があるとして監視を行なう。
検出すべき物体を監視する方法として、背景差分法以外にも、異なる時刻に得られた複数の入力画像の差分を用いるフレーム間差分や、2つの画像間の局所部分の動きを算出することで画像内の動きの流れを検出するオプティカルフロー法などがあり、監視対象領域の監視条件に応じて適切な方法が実装される。さらに、検出した領域の周辺を継続的にパターン探索することなどにより、当該検出領域の移動を追跡し、軌跡を得る。追跡している物体の速度や大きさを見て、人や車などといった該物体の種類を認識できる。
監視装置では、侵入してきた物体を見逃してしまうことや、木の揺れの動きなどを侵入してきた物体と間違って誤検出してしまうことがしばしば問題となるが、パラメータを入力画像に合わせて調整することで、各画像処理アルゴリズムの精度が向上し、見逃しや誤検出などの問題を軽減することができる。例えば背景差分におけるしきい値、追跡におけるパターン探索の範囲の広さなどを可変のパラメータとし、周辺環境の条件に合わせてパラメータを与えることで高い処理精度を実現する。また、吹雪などの悪天候で、検出すべき物体と背景との輝度差の差分が小さい時、差分法のしきい値を低く調整する事で、検出の精度を高める事が出来る。
特開2005−062924号公報 特開2008−017476号公報 特開2006−114953号公報
従来の監視装置では、前述の通り、周辺環境の条件などに合わせて、パラメータを調整する必要があるが、パラメータは処理が複雑化するほど数も増え、パラメータの細かい調整は非常に煩雑であることや、アルゴリズムに関する十分な知識と熟練性が必要となる問題がある。また1つのパラメータの設定の致命的な誤りは、その他のパラメータをいくら最適化しても性能が得られないという結果を招き、試行錯誤による設定は困難である。
本発明は、このような従来の事情に鑑み、なされたもので、監視装置における1つ以上のパラメータについて、GUIを用いて、監視条件に合わせた調整が可能なパラメータ設定方法、及び監視装置を提供することを目的とする。
上記目的を達成するため、本発明に係るパラメータ設定方法及び監視装置では、監視領域を撮像する撮像装置と、該撮像装置で撮影した入力画像を処理して該監視領域の物体を抽出し、抽出した物体が検出すべき物体か否かを判定して監視領域中の物体を検出する物体検出装置と、前記パラメータを調整する設定装置と、該物体検出装置の検出結果に基づいて出力画像を表示する表示装置を有する。
本発明の一側面による監視装置は、
監視領域を撮像する撮像手段と、
前記撮像装置からの入力画像からオブジェクトを抽出し該オブジェクトが検出すべき物体か否かを判定する監視アルゴリズムを実行する画像処理手段と、
前記撮像装置からの入力画像の特徴と検出すべき物体を指定する情報(属性)とを含む複数の監視条件の各々に応じて前記監視アルゴリズムで用いられる複数のパラメータの値を一括して表示画面上で自動または手動で設定する設定手段と、を有し、
前記複数のパラメータは前記複数の監視条件に対応するパラメータであって、該複数のパラメータは、前記監視条件の各々に基づいてグループ分け(grouping)されて、各監視条件に対応するグループ内の各パラメータの適切な値が予めパラメータデータベース(213)に記録されていて、前記監視装置はさらに、
前記設定手段によって設定される監視条件に応じてパラメータデータベースの対応するグループ内のパラメータの全てまたは一部の値に基づいて前記監視アルゴリズムで用いる前記パラメータを適切な値に変更する手段を有する。
好ましくは、前記入力画像は、少なくとも草木揺れの度合い、日照変化の度合い、映像ノイズの度合い、交通量の度合いの内の少なくとも1つで特徴付けられ、前記複数の監視条件は該少なくとも1つの入力画像の特徴の分割された複数の度合いの内の1つの指定を含む。
好ましくは、前記パラメータデータベースは、少なくとも2つ以上の前記検出すべき物体の情報同士の関連を示す情報を保持し、該パラメータの値の内の少なくとも1つが変更されると、それに連動してパラメータデータベースに記録された関連のある検出すべき物体の情報の値も自動的に調整される。
好ましくは、前記調整手段はGUI(グラフィカルユーザインタフェース)を含み、各監視条件に対応する監視アルゴリズムで用いるパラメータの適切な値はGUI画面上のGUI部品(GUI components)に関連付けられており、前記GUI画面には監視条件が視認できる表示がなされており、前記GUI部品を操作することで、直ちに該GUIに関連付けられた前記パラメータを変更することが可能である。
好ましくは、前記複数のパラメータは、平滑化、間引き、2値化しきい値、収縮と膨張、パターン検索範囲、オブジェクトの幅、オブジェクトの高さ、オブジェクトの移動速度、背景更新率のパラメータの内の少なくとも2つを含む。
本発明の別の側面による、撮像装置からの入力画像からオブジェクトを抽出し該オブジェクトが検出すべき物体か否かを判定する画像処理手段で実行される監視アルゴリズムで用いる複数のパラメータの値の設定方法は、
前記撮像装置からの入力画像の特徴と検出すべき物体(図3の318、319、320,321)を指定する情報とを含む複数の監視条件に対応する前記複数のパラメータを、前記監視条件の各々に基づいてグループ分け(grouping)して、各監視条件に対応するグループ内の各パラメータの適切な値を予めパラメータデータベース(213)に記録し、
前記複数の監視条件の各々に応じて前記監視アルゴリズムで用いる複数のパラメータの値を一括して表示画面上で自動または手動で設定し(109、215;110、216)、
前記設定された監視条件の情報に応じてパラメータデータベースの対応するグループ内のパラメータの全てまたは一部の値に基づいて前記監視アルゴリズムで用いる前記パラメータを適切な値に変更する(212)。
すなわち、該監視装置において、主観的な監視条件の各々に関連する複数のパラメータをグルーピングしておき、さらにグルーピングした各グループ内のパラメータの適切な値をあらかじめ決定しておき、押しボタンなどのGUIなどで実装された指示装置により監視条件を選択することで、該監視条件に対応したグループに属するパラメータをまとめて瞬時に変更することを可能とし、煩雑性と熟練性を排除したパラメータ調整を可能とした。
なお、特許文献1は三次元物体認識装置およびその設定方法に関し、三次元物体認識装置の認識処理に用いるパラメータの可否確認および設定を容易化することを目的として、次のような方法を開示している。すなわち、撮像装置に用いるパラメータの可否確認および設定を容易化するために、撮像装置と道路面との相対的位置関係(設置高さ、俯角、法角)から定まる三次元座標系に基づき三次元モデルを生成し、この三次元モデルを撮像画像に重ねて表示して、三次元モデルと撮像画像とを対比することにより、画像間のずれが一目でわかり、パラメータが適切か否かを容易に判断することが開示されているが、パラメータ調整が必要と判断した場合には、パラメータ確認画面でパラメータの入力または変更をおこなうことはできるが、パラメータを変更するたびに三次元モデルの再計算が実行され、ユーザは、そのつど更新される三次元モデルを確認しながら、パラメータを調整することが記載されている。一方、本願は、監視条件に対応したパラメータをグルーピングしておき、さらにグルーピングした各グループ内のパラメータの適切な値をあらかじめ決定しておき、押しボタンなどのGUIなどで実装された指示装置により監視条件を選択することで、該監視条件に対応したグループに属するパラメータをまとめて瞬時に変更するように構成することについては特許文献1には記載されていない。
また、特許文献2は、カメラのパラメータ値を構成するための方法および装置に関し、異なる場所に配置された、監視カメラ等の複数のカメラから得られる画像を見易くするために、カメラからの入力データのパラメータ値を再構成する方法が開示されている。すなわち、複数のカメラからイメージデータを取得し、複数のカメラからのイメージデータをバッファリングして、バッファリングされたイメージデータを表示する。複数のカメラの第1の部分集合に関する少なくとも一つのパラメータ値を変更する。その後、少なくとも一つの変更されたパラメータ値を、複数のカメラの第1の部分集合に伝送し、複数のカメラの第2の部分集合からの変更されたイメージデータを取得する。複数のカメラの第2の部分集合に関するバッファリングされたイメージデータを、複数のカメラの第2の部分集合に関する前記変更されたイメージデータに置き換え、最後に複数のカメラに関する保存されたイメージデータを表示するというものである。
また、特許文献3は、撮像装置に関し、撮像機能の標準設定値とユーザが変更した設定値とをディスプレイ上で判別することができるようにする技術に関するものである。
本発明に係るパラメータ設定方法及び監視装置によると、ユーザや管理者などが設定装置に実装されたGUIにより、監視目的や入力画像の映像的特徴などの監視条件を入力することで、あらかじめ各監視条件に関連付けてプリセットしてあった適切なパラメータ値に変更することが可能となり、監視装置の設置や追加、使用条件の変更などに伴うパラメータ調整作業の煩雑さや専門性が削減され、より効率的な監視装置の運用が可能となる。
本発明の実施例の構成を説明するための図。 本発明の実施例の動作を説明するためのフローチャート。 本発明によるパラメータ設定の方法を説明するための一例の図。 従来より広く用いられている差分法の流れを示した図。 本発明によるパラメータ設定の方法を説明するための一例の図。 本発明によるパラメータ設定の方法を説明するための一例の図。 本発明によるパラメータ設定の方法を説明するための入力映像の一例の図。 本発明によるパラメータ設定の方法を説明するための入力映像の一例の図。 本発明の一実施例で用いるパラメータデータベースのテーブル構造の一例の図。 本発明の別の実施例で用いるパラメータデータベースのテーブル構造の一例の図。 図10のパラメータデータベースが有する補償テーブルの一例の図。
以下、本発明に係るパラメータ設定方法及び関し装置の実施例について図面を参照して説明する。
図1は、本発明に係る監視装置の構成を示す図であり、監視装置は、撮像装置101と、映像入力回路102と、画像処理プロセッサ103と、プログラムメモリ104と、ワークメモリ105と、外部I/F回路106と、映像出力回路107と、バス108と、指示装置109と、表示装置110を具備している。
撮像装置101は、監視の対象となる領域を撮像し、撮像された時系列画像(動画像)は、入力画像として映像入力回路102を介してワークメモリ105へ記録される。画像処理プロセッサ103は、プログラムメモリ104に記録されているプログラムに従って、ワークメモリ105内に記録された入力画像を処理し、その処理結果を映像出力回路107を介して表示装置110へ表示する。また、画像処理プロセッサ103は、外部I/F回路106を介して入力される。例えばマウス、キーボードなどの指示装置109を使ったオペレータからの指示に基づいて前記プログラムのパラメータを変更・修正しながら前記入力画像を処理をする。また、映像入力回路102と、画像処理プロセッサ103と、プログラムメモリ104と、ワークメモリ105と、外部I/F回路106と、映像出力回路107は、バス108に接続されている。
図2には、本実施例の画像処理プロセッサ103で実行されるプログラムの処理のフローチャートを示してある。図2では、説明を分かりやすくするため、処理ステップ201〜212以外にも、ワークメモリ105に記録されるパラメータのデータベース213及び背景画像214と、指示装置109と、表示装置110を併せて図示し、点線で示す矢印はデータの流れを表している。
画像入力ステップ201では、撮像装置101で撮像した映像の最新の(現在の)1フレームを、映像入力回路102を介してワークメモリ105へ転送する。
次に、設定判定ステップ202では、前回このステップを実行した以降に、指示装置109から外部I/F回路106を介してオペレータの設定指示があった場合には、パラメータ設定処理ステップ212へ分岐し、指示がなかった場合には、入力画像補正ステップ203へ分岐する。
入力画像補正ステップ203では、入力画像の雑音の除去や処理量の低減などを目的として入力画像を補正する。ここでは、例えば入力画像の平滑化及び画素の間引きなどを、指示装置109からの指示に応じてパラメータデータベース213から読み出されたパラメータに従って実施する。平滑化には、例えばメディアンフィルタや平均化フィルタを用いる。
差分処理ステップ204では、画像入力ステップ201で入力した入力画像401(図4参照)とワークメモリ105内に記録されている背景画像214との画素毎の差分を計算し、差分画像403を得る。
次に、二値化処理ステップ205では、差分画像403の各画素の値と所定のしきい値(例えば20、1画素8ビットと仮定)を比較し、しきい値以上の画素を真(255)、しきい値未満の画素を偽(0)とする変換を行い、二値化画像404を得る。前記しきい値は、指示装置109からの指示によりパラメータ設定処理212によってパラメータデータベース213から読み出されて与えられる。
次に膨張・収縮処理ステップ206では、二値化画像404の雑音の除去を目的として、特定の画素の4近傍もしくは8近傍にひとつでも画素値“255”となる画素が存在したら、該画素を画素値“255”とする膨張Expansion(Dilation)処理、及び特定の画素の4近傍もしくは8近傍にひとつでも画素値“0”となる画素が存在する場合に、該画素を画素値“0”とする収縮Reduction(Erosion)処理を実施する。あるいは、膨張・収縮処理を組み合わせたオープニング処理やクロージング処理などを実施する。該ステップで実施する処理の種類及び各処理を実施する回数などは、パラメータ設定処理212によってパラメータデータベース213から読み出されて与えられる。
ラベリング処理ステップ207では、二値化画像303中の“255”のかたまりに番号を付け、各かたまりを区別して処理できるようにする。このかたまり或いはかたまりの外接矩形内の領域をROI(Region of Interest)と呼ぶ。
追跡処理ステップ208では、ラベリングした各かたまりの存在するROIの周辺を、前後のフレーム間でパターン探索し、位置と形状あるいは大きさ等がほぼ一致したROIを前後のフレームで同一とみなし、該ROIを追跡する。パターン探索の範囲及びパターン一致の判定基準などは、パラメータ設定処理212によってパラメータデータベース213から読み出されて与えられる。
認識処理ステップ209では、追跡したROIの種類を認識し、該ROIを監視対象として検出するべきかどうかを判別する。認識処理ではROIの大きさや移動速度などを基準とし、例えば、人を幅0.3m〜1m、高さ1m〜2m、速度0.1m/s〜5m/s、車を幅1m〜5m、高さ1m〜5m、速度1m/s〜20m/sなどと定義し、例えば監視領域内に、幅0.5m、高さ1.7m、速度1m/sのROIが存在した時、該ROIは”人”であると認識される。また、定義した条件に合致しないROIはノイズとみなし、検出の対象としない。検出すべきオブジェクトの種類、及びその判定基準はパラメータ設定処理212によってパラメータデータベース213から読み出されて与えられる。
背景更新処理ステップ210では、画像入力ステップ201で得られた入力画像を用いてワークメモリ105内に記録している背景画像214を更新する。更新には、例えば、背景画像214と入力画像の画素毎の移動平均などの方法を用いて新しい背景画像214を作成する事で、監視環境の天候変化などの照度変化に追従して、背景画像214を常に最新の状態に保つ事が出来る。該ステップでの背景の更新率などは、パラメータ設定処理212によってパラメータデータベース213から読み出されて与えられる。
処理結果表示ステップ211では、認識処理ステップ209において検出すべき物体であると判定されたROIの種類と位置、及び該ROIを追跡した軌跡などの判定結果を、例えば表示装置110に表示する。処理結果表示ステップ211が終了すると、画像入力ステップ201へ戻る。
一方、設定判定ステップ202で、指示装置109から外部I/F回路106を介してオペレータの設定指示があったと判定された場合に分岐する先のパラメータ設定処理ステップ212では、まず、該ステップが初めて実行されたか(監視条件設定画面300を開く操作かどうか)判定し、初めての場合は図3に示すような監視条件設定画面(ウィンドウ)300を表示装置110に表示し、オペレータの設定指示を受け付けられるようにする。次に、設定判定ステップ202での判定根拠となった設定指示を解釈し、ワークメモリ105内に記録されているパラメータデータベース213から該設定指示に一致するものを見つけ、変更すべき複数のパラメータを読み出して、入力画像補正ステップ203〜背景更新処理ステップ210で利用できるように設定を行う。一例として、これらのステップ(或いはそのステップの親タスク)がアクセス可能な(共有の)メモリ領域に各パラメータを格納する。
図9に、パラメータデータベース213のテーブル構造を示す。
パラメータデータベース213は、例えば、入力画像補正処理ステップ203における平滑化処理の実施の有無や種類、平滑化処理を実施する範囲の画素の数、及び間引き率、二値化処理ステップ205におけるしきい値、膨張・収縮処理ステップ206の実施の有無及びその種類、追跡処理ステップ208におけるパターン探索の範囲を表す画素数、認識処理ステップ209における検出すべき物体の幅、高さ、速度などのパラメータを含み、テーブルでは横軸に割り当てられる。これらのパラメータは、監視環境や検出すべき対象物などの人が感覚的に理解できる主観的な監視条件(監視条件グループ)に応じて、パラメータ数よりも少ない数のグループに分類されて(属して)いる。
テーブルの縦軸が監視条件グループであり、草木揺れの有無、日照変化の有無、映像ノイズの有無、人通り(交通)の多さ、及び、検出対象オブジェクトに分類される。これらの監視条件に付けられる名前は、どのような条件のときに変更すべきか、或いは変更による監視装置の挙動の変化などが明確に理解できるようになっている。これらの条件は、基本的に人がその映像を見ることで視覚的に知覚でき、映像を特徴付ける事項或いは検出すべき物体を規定する事項であると言え、また不適切な設定により物体の見逃しや誤検出の原因になりやすい条件でもある。
各監視条件グループには、度合い(指標)又は細目を選択して、その条件を変えられるようにするため、複数のパラメータが格納される。テーブルの縦軸と横軸で特定される箇所に、各パラメータの値が格納される。テーブルの1行分のパラメータセットも監視条件(狭義)と呼ぶ。各監視条件において、N.C.(Not Changed)となっているパラメータは、その監視条件グループに属して(分類されて)おらず、その監視条件グループに関する設定指示があっても変更されないことを意味する。
図3の説明に戻ると、301〜305に監視条件の名前を記載している。
各監視条件301〜305のそれぞれ右に並べて配置されたボタン306〜321は、図8のパラメータデータベース213の2列目と関連付けられており、当該ボタンの押下により変更されるべきパラメータ及びその値は、パラメータデータベース213から直接読み出せる。このようにして、監視条件に対する操作を受け付け、監視条件グループに属する複数のパラメータをまとめて変更する。
例えば、監視条件グループ“草木揺れの有無”301で示された条件は、入力画像中の草木の揺れなどによる誤検出などを抑制することを目的とした項目であり、二値化処理ステップ205におけるしきい値(256段階での輝度差)や追跡処理ステップ208におけるパターン探索の範囲(画素数)などのパラメータの変更を必要とし、草木揺れが標準的に存在する場合は該パラメータの値をそれぞれ“15”、“20”とし、ボタン“標準”307に関連付けられている。同様に草木の揺れが非常に強い場合は、“30”、“15”としてボタン“強”308に関連付けられており、屋内など草木の揺れが存在しない場合では“5”、“30”としてボタン“弱”306に関連付けられている。すなわち、草木の揺れは、遠くから撮影されれば差分画像において大抵は大きな画素値にならないので、しきい値を大きくすることで排除できる。またパターン探索の範囲は、速く移動する検出対象オブジェクトを追跡する必要がなければ、狭くすることで外乱に影響されにくくなる。
ユーザは、入力画像の草木の揺れの強さを見て、図3のGUI上のボタン306〜308より条件に合ったボタンを一つ選択した後OKボタン322を押すことで、或いはボタン306〜308を押した時点で、速やかにパラメータである前記しきい値及びパターン探索の範囲の両方をそれぞれのボタン306〜308に関連付けられた値に変更することができる。ボタン306〜308を押した時点でパラメータを変更するのであれば、設定判定ステップ202での分岐条件はこのボタン306〜308の押下であり、一方、OKボタン322を契機にパラメータを変更するのであれば、分岐条件はこのOKボタン322の押下であり、パラメータ設定処理ステップ212ではキューイングされていた前回以降の操作(或いは現在のボタンの押下状態)を取得する。
他の監視条件グループについても“草木揺れの有無”301と同様に、変更すべきパラメータと該パラメータの値を関連付けられており、例えば、“日照変化の有無”302は、背景更新処理ステップにおける背景の更新率が対応しており、例えば日照変化が非常に場合は、背景更新率を0.1フレーム毎秒とし、ボタン“強”311に関連付けられており、標準としてボタン”標準”310には、背景更新率0.01フレーム毎秒、ボタン“無し”309には0.001フレーム毎秒がそれぞれ関連付けられている。
また、“映像ノイズの有無”303では、例えば、入力画像補正ステップ203における平滑化処理の実施の有無及びその係数、また膨張・収縮処理の実施の有無及びその種類と関連があり、例えば、ボタン“標準”310では、例えば平滑化として3×3のメディアンフィルタの実施フラグを有効とし、膨張・収縮処理の実施フラグはオフとし、ボタン“強”311では、例えば平滑化として3×3のメディアンフィルタの実施フラグを有効とし、4画素近傍の収縮処理と膨張処理を順に1回ずつ掛けるオープニング処理の実施フラグを有効とし、ボタン“無し”310では、平滑化及び膨張・収縮処理の全ての実施フラグを無効とする。
また、同様に“人通り(交通量)の多さ”304では、例えば入力画像補正ステップ203における画素の間引きの実施の有無及び間引く量、背景更新処理ステップ210における背景更新率を変更することで、人や車などの通行量が多いときの処理量を軽減する。
これらのボタン306〜317の押下は、対応するパラメータの上書きによる変更を引き起こすだけでよく、過去のボタン306〜320への操作(ボタンの選択状態)は必ずしも記憶しない。例えば“日照変化の有無”302を“強”と設定した後、“人通り(交通量)の多さ”304を“大”に設定すると、後の設定が優先されて、背景更新率が0.001になる。
“検出対象オブジェクト”305では、例えば歩行者や二輪や四輪などの内、ユーザが検出したい種類のオブジェクトのみを1つ或いは複数選択し、物体認識処理ステップ209においてインタフェース上で選択された種類のオブジェクトのみを検出して、表示装置に表示するなどする。例えば、歩行者を幅0.3m〜1m、高さ1m〜2m、速度0.1m/s〜5m/s、四輪を幅1m〜5m、高さ1m〜5m、速度1m/s〜20m/s、二輪を幅0.5m〜2.5m、高さ1m〜2m、速度1m/s〜20m/sと定義している時、例えばボタン“歩行者”318と“四輪”320の両方を選択してOKボタン322を押下した場合、上述した歩行者と四輪のどちらか片方の定義に当てはまる大きさと速度のオブジェクトのみを検出する。つまり、“検出対象オブジェクト”305に限って、過去のボタン318〜321への操作(ボタンの選択状態)が記憶され、任意の複数のボタンを押された状態にすることができる。
また、ボタン“その他”321については、例えばユーザによって任意のパラメータ値を直接入力できる項目とし、例えばボタン“その他”321を押下すると、例えば図5に示す設定インタフェース500が表示される。ここで、例えばユーザが船舶を検出対象とすることを所望するとき、設定インタフェース500にオブジェクトの幅や高さ、速度などをパラメータとして入力することで、船舶を検出するパラメータ設定を作ることができ、例えば、図6に示すように、オブジェクト名の欄501に“船舶”と入力し、高さ下限の欄502に”1”m、高さ上限の欄503に“10”m、幅下限の欄504に“3”m、幅上限の欄505に“100”m、速度下限の欄506に“0.5”m、速度上限の欄507に“10”mと入力してOKボタン508を押下することで、入力条件に沿った検出が可能となる。
以上のように、本パラメータ設定処理ステップでは、“草木の揺れの有無”301や“映像ノイズの有無”302などの、監視条件グループに対応した各アルゴリズムのパラメータの適切な値(一意に定まる絶対値)を予め決定しておき、各監視条件グループに対応したボタン306〜321を押す事で、直ちに複数のパラメータを各監視条件グループに適応した値にまとめて変更する事ができる。そして表示装置216に表示されるROIの外接矩形やその軌跡などから、パラメータ変更の結果がその場で観察できる。
例えば、図7に示す入力映像701に対して本例の監視装置を適用し、侵入してくる歩行者及び車両を発見したい場合、入力映像701は屋外の映像で大きく写る木702や草703が映っており、草木の揺れによる誤検出の発生が懸念されるため、監視条件設定画面300における“草木揺れの有無”301は、“強”308を選択する。また、“日照変化の有無”302については、屋外の標準的な映像であるため、“標準”310を選択し、“映像ノイズの有無”303については、黒色の映像ノイズ704が散見されるため、“強”314とし、“人通りの多さ”は草むらで大量の人が通行することは想定しにくいので“標準”315とし、“検出対象オブジェクト”305については、ここで検出したいオブジェクトが歩行者と車両であるので、“歩行者”318、“二輪”319、“四輪”320の3つを選択して、OKボタン322を押す。入力画像701を処理する時の監視条件設定の一例を図8に示す。
なお、図3や図8のようなユーザインタフェースのほか、エキスパートのために、従来と同様にパラメータに直接数値を与えるインタフェースも備えられる。ただし、パラメータデータベース213自体は変更されない。
またある1つのパラメータが複数の監視条件グループに属している場合、一律に後の設定を優先するのではなく、グループ同士の優先順位を規定しても良い。
本実施例の監視装置は、パラメータデータベースに、絶対値のパラメータを格納する代わりに、標準値と相関係数を格納するようにした点などで、実施例1と異なる。
本実施例の監視装置のパラメータデータベース241のテーブル構造が、図10に示される。
各パラメータは、特定の監視条件グループとは無関係に、標準値を有し(2行目)、監視条件グループごとに、相関係数が規定されている。
一方、ユーザインタフェースにおいても、実施例1のボタン306〜317に代えて、監視条件グループごとにスライダーを設ける。スライダは左右に位置を変えられるつまみを有し、つまみの位置に応じ例えば−1から1までの範囲の数値を取得できる。本例では、左端が無し、中央が標準、右端が強(最強)に対応付けられる。
各パラメータは、監視条件グループ毎のスライダ数値と相関係数の積の和と、標準値を加算して得る。
本実施例では、監視条件を相関係数を介してパラメータへ反映させることを基本にし、実施例1のような優先順位を設けていない。そのため設定を元に戻すことが容易になり、細かい調整には好都合である。しかし、予期しないような各監視条件の組み合わせによっては、望ましくないパラメータとなる可能性がある。
そのため、ある2つ以上のパラメータ同士で監視処理結果に及ぼす影響に関連がある場合、該パラメータの値の内1つ以上を一定値を超えて変更すると、連動して関連のある該パラメータの他の値も変更(修正)されるようにして、関連パラメータを自動調整できるようにしてもよい。自動調整は、スライダ式のユーザインタフェースか、エキスパートインターフェースに関わらず、パラメータが一定値を超えたときに行われる。
図11は、本実施例のパラメータデータベース241が有する補償テーブルの一例である。
補償テーブルは、最上列の各パラメータについて、それ以上大きくなったときに補償を行う補償下限値と、それより小さくなったときに補償を行う補償上限値と、他のパラメータへの補償比と、を保持している。補償比は、最上列のパラメータが補償下限値より1超えたときに、他のパラメータが補償される量であり、図10における各パラメータの上限値と下限値との差で正規化されている。
例えば、検出対象と背景のコントラストの低い映像では、エキスパートインタフェースを用いて二値化しきい値を低く設定することで見逃しを抑制できるが、二値化しきい値を低く設定したことに対する副次的な効果として、入力画像の映像ノイズなどが誤検出されやすくなるデメリットがある。一方で、この映像ノイズによる誤検出は、膨張・収縮処理206においてオープニング処理を掛けることで排除できる。
そこで、例えば二値化しきい値がコントラスト“15”以下に下げられた場合、自動的に連動して、膨張収縮処理206における少なくとも4近傍の(3*3のカーネルの)オープニング処理が実施されるように設定される。既に4近傍のオープニングが設定されていれば、さらに強いオープニングに修正される。
尚、これまで説明した実施例1や2において、パラメータ設定処理ステップで扱う監視条件(グループ)、及び変更するパラメータの種類、パラメータの値は、ユーザにより自由にプリセットできるようにしてもよい。また、図3に示したGUIは押しボタンにより監視条件(グループ)を選択する形を取ったが、その他のGUI部品、例えばチェックボックスやラジオボタン、プルダウンメニューなどで監視条件を選択する形式、スライダーを用いて段階的に監視条件の度合いを選択する形式、及びウィザードによる対話形式などで実施できるようにしてもよい。
101…撮像装置、102…映像入力回路、103…画像処理プロセッサ、104…プログラムメモリ、105…ワークメモリ、106…外部I/F回路、107…映像出力回路、108…通信路、109…指示装置、110…表示装置、
201…画像入力、202…設定判定、203…入力画像補正、204…差分処理、205…二値化処理、206…膨張収縮処理、207…ラベリング処理、208…追跡処理、209…認識処理、210…背景更新処理、211…処理結果表示、212…パラメータ設定処理、213…パラメータデータベース、214…背景画像、109…指示装置、110…表示装置、
300…監視条件設定画面、301…監視条件“草木の揺れの有無”、302…監視条件“日照変化の有無”、303…監視条件“映像ノイズの有無”、304…監視条件“人通り(交通量)の多さ”、305…監視条件“検出対象オブジェクト”、306…ボタン“無し”、307…ボタン“標準”、308…ボタン“強”、309…ボタン“無し”、310…ボタン“標準”、311…ボタン“強”、312…ボタン“無し”、313…ボタン“標準”、314…ボタン“強”、315…ボタン“標準”、316…ボタン“中”、317…ボタン“大”、318…ボタン“歩行者”、319…ボタン“二輪”、320…ボタン“四輪”、321…ボタン“その他”、322…OKボタン、
401…入力画像、402…背景画像、403…差分画像、404…二値化画像、
500…設定ウィンドウ、501…オブジェクト名の欄、502…高さ下限の欄、503…高さ上限の欄、504…幅下限の欄、505…幅上限の欄、506…速度下限の欄、507…速度上限の欄、508…OKボタン、509…キャンセルボタン、
701…入力映像の例、702…木、703…草、704…映像ノイズ。

Claims (5)

  1. 監視領域を撮像する撮像装置と、
    前記撮像装置からの入力画像からオブジェクトを抽出し、該オブジェクトが検出すべき物体か否かを判定する監視アルゴリズムを、複数のパラメータを用いて実行する画像処理手段と、
    前記撮像装置からの入力画像の特徴と検出すべき物体を指定する情報とを含む複数の監視条件グループを規定し、前記複数のパラメータを、前記複数の監視条件グループに属するか否かによってマトリクス状に対応付け、監視条件グループに属する各パラメータを適切に与える値を保持するパラメータデータベースと、
    前記複数の監視条件グループ毎に条件の度合い、指標或いは細目を操作可能に表示する表示装置と、
    前記表示装置の表示に基づくユーザからの操作を受ける指示装置と、
    パラメータデータベースを参照して、該操作をされた1つの該監視条件グループに属する前記複数のパラメータの値を、一括して変更する設定手段と、を有する監視装置。
  2. 前記入力画像は、人の視覚により知覚できる、草木揺れ、日照変化、映像ノイズ、交通量の内の少なくとも2つの特徴によって特徴付けられ、
    前記複数の監視条件グループは、該少なくとも2つの特徴にそれぞれ対応し、
    前記複数のパラメータは、平滑化、間引き、2値化しきい値、収縮と膨張、パターン検索範囲、オブジェクトの幅、オブジェクトの高さ、オブジェクトの移動速度、背景更新率のパラメータの内の少なくとも2つを含むことを特徴とする請求項1記載の監視装置。
  3. 前記表示装置はGUI(グラフィカルユーザインタフェース)を有し、各監視条件グループついて、該監視条件グループの名前と、前記条件の度合い、指標或いは細目のGUI部品とを並べて表示し、
    前記パラメータ指示装置が前記GUI部品への操作を受け付けると、前記設定手段は直ちに該操作されたGUIに関連付けられた前記パラメータを変更することを特徴とする請求項2記載の監視装置。
  4. 前記GUI部品は、対応する前記監視条件グループについて前記条件の度合い、指標或いは細目を離散的に指定するものであり、
    前記パラメータデータベースは、前記離散化された前記条件の度合い、指標或いは細目によって一意に定まる前記パラメータのセットを保持するものであり、
    前記調整手段は、操作をされた該GUI部品に対応する監視条件グループに属する前記複数のパラメータの値を、前記パラメータデータベースから読み出した該記パラメータのセットで以って、一括して変更することを特徴とする請求項3記載の監視装置。
  5. 入力画像から物体を検出する監視装置の画像処理アルゴリズムで用いられる複数のパラメータの値の設定方法であって、
    前記入力画像の特徴と検出すべき物体を指定する情報とを含む複数の監視条件グループを規定し、前記複数のパラメータを、前記複数の監視条件グループに属するか否かによってマトリクス状に対応付け、監視条件グループに属する各パラメータを適切に与える値をパラメータデータベースに保持しておき、
    前記複数の監視条件グループ毎に条件の度合い、指標或いは細目を操作可能に表示装置に表示し、
    前記表示装置の表示に基づいてユーザが指示装置にした操作を受け付け、
    該操作があったときに、前記画像処理アルゴリズムのルーチンから分岐し、パラメータデータベースを参照して、該操作をされた1つの該監視条件グループに属する前記複数のパラメータの値を、一括して変更することを特徴とするパラメータ設定方法。
JP2010011125A 2009-01-23 2010-01-21 パラメータ設定方法及び該方法を用いた監視装置 Active JP5202551B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010011125A JP5202551B2 (ja) 2009-01-23 2010-01-21 パラメータ設定方法及び該方法を用いた監視装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009013189 2009-01-23
JP2009013189 2009-01-23
JP2010011125A JP5202551B2 (ja) 2009-01-23 2010-01-21 パラメータ設定方法及び該方法を用いた監視装置

Publications (2)

Publication Number Publication Date
JP2010193438A true JP2010193438A (ja) 2010-09-02
JP5202551B2 JP5202551B2 (ja) 2013-06-05

Family

ID=42353862

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010011125A Active JP5202551B2 (ja) 2009-01-23 2010-01-21 パラメータ設定方法及び該方法を用いた監視装置

Country Status (2)

Country Link
US (1) US8587652B2 (ja)
JP (1) JP5202551B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013186571A (ja) * 2012-03-06 2013-09-19 Sharp Corp 電気機器
JP2013186635A (ja) * 2012-03-07 2013-09-19 Hitachi Kokusai Electric Inc 物体検知装置、物体検知方法及びプログラム
JP2016015116A (ja) * 2014-06-12 2016-01-28 パナソニックIpマネジメント株式会社 画像認識方法、カメラシステム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5202551B2 (ja) * 2009-01-23 2013-06-05 株式会社日立国際電気 パラメータ設定方法及び該方法を用いた監視装置
US9285987B2 (en) * 2009-08-31 2016-03-15 Kyocera Mita Corporation Operating device and image forming apparatus with display format receiver for receiving instructions from a user for selecting a display format
US8891870B2 (en) * 2012-11-09 2014-11-18 Ge Aviation Systems Llc Substance subtraction in a scene based on hyperspectral characteristics
EP3051796A4 (en) * 2013-09-26 2017-05-31 Mitsubishi Electric Corporation Monitoring camera, monitoring system, and motion determination method
US9521377B2 (en) * 2013-10-08 2016-12-13 Sercomm Corporation Motion detection method and device using the same
JP2019213020A (ja) * 2018-06-04 2019-12-12 ソニーセミコンダクタソリューションズ株式会社 撮像装置および撮像制御方法
CN112153329A (zh) * 2020-08-17 2020-12-29 浙江大华技术股份有限公司 事件监测的配置方法、系统、计算机设备和存储介质
EP3979618A1 (en) * 2020-10-01 2022-04-06 Axis AB A method of configuring a camera

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000156852A (ja) * 1998-11-18 2000-06-06 Hitachi Ltd 監視装置
JP2002312769A (ja) * 2001-04-16 2002-10-25 Matsushita Electric Ind Co Ltd 監視装置及びそのパラメータ設定方法
JP2003087772A (ja) * 2001-09-10 2003-03-20 Fujitsu Ltd 画像制御装置
JP2006311545A (ja) * 2002-08-13 2006-11-09 Hitachi Kokusai Electric Inc 物体検出システムのメンテナンス方法
JP2008154100A (ja) * 2006-12-19 2008-07-03 Sharp Corp 撮像装置、サーバ、その制御プログラムおよび該制御プログラムを記録したコンピュータ読取り可能な記録媒体、イベント管理システムならびに制御方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10150656A (ja) * 1996-09-20 1998-06-02 Hitachi Ltd 画像処理装置及び侵入者監視装置
US6061055A (en) * 1997-03-21 2000-05-09 Autodesk, Inc. Method of tracking objects with an imaging device
US7035430B2 (en) * 2000-10-31 2006-04-25 Hitachi Kokusai Electric Inc. Intruding object detection method and intruding object monitor apparatus which automatically set a threshold for object detection
US7382896B2 (en) * 2002-08-13 2008-06-03 Hitachi Kokusai Electric Inc. Object detection method and apparatus which perform object detection using set parameters
JP4311107B2 (ja) 2003-08-08 2009-08-12 オムロン株式会社 三次元物体認識装置およびその設定方法
JP2006114953A (ja) 2004-10-12 2006-04-27 Hitachi Kokusai Electric Inc 撮像装置
JP5202551B2 (ja) * 2009-01-23 2013-06-05 株式会社日立国際電気 パラメータ設定方法及び該方法を用いた監視装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000156852A (ja) * 1998-11-18 2000-06-06 Hitachi Ltd 監視装置
JP2002312769A (ja) * 2001-04-16 2002-10-25 Matsushita Electric Ind Co Ltd 監視装置及びそのパラメータ設定方法
JP2003087772A (ja) * 2001-09-10 2003-03-20 Fujitsu Ltd 画像制御装置
JP2006311545A (ja) * 2002-08-13 2006-11-09 Hitachi Kokusai Electric Inc 物体検出システムのメンテナンス方法
JP2008154100A (ja) * 2006-12-19 2008-07-03 Sharp Corp 撮像装置、サーバ、その制御プログラムおよび該制御プログラムを記録したコンピュータ読取り可能な記録媒体、イベント管理システムならびに制御方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013186571A (ja) * 2012-03-06 2013-09-19 Sharp Corp 電気機器
JP2013186635A (ja) * 2012-03-07 2013-09-19 Hitachi Kokusai Electric Inc 物体検知装置、物体検知方法及びプログラム
JP2016015116A (ja) * 2014-06-12 2016-01-28 パナソニックIpマネジメント株式会社 画像認識方法、カメラシステム

Also Published As

Publication number Publication date
US8587652B2 (en) 2013-11-19
US20100188505A1 (en) 2010-07-29
JP5202551B2 (ja) 2013-06-05

Similar Documents

Publication Publication Date Title
JP5202551B2 (ja) パラメータ設定方法及び該方法を用いた監視装置
RU2718413C2 (ru) Устройство обработки информации, устройство формирования изображений, способы управления для них и энергонезависимый машиночитаемый носитель хранения данных
AU2012340862B2 (en) Geographic map based control
EP2954499B1 (en) Information processing apparatus, information processing method, program, and information processing system
CN104966304B (zh) 基于卡尔曼滤波与非参数背景模型的多目标检测跟踪方法
US7860272B2 (en) Motion characterisation
TWI478833B (zh) 調校車用影像裝置之方法及其系統
US10445887B2 (en) Tracking processing device and tracking processing system provided with same, and tracking processing method
EP2196967B1 (en) Methods and apparatus for adaptively streaming video data based on a triggering event
US9135510B2 (en) Method of processing sensor data for navigating a vehicle
JP2016085487A (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
KR20150067680A (ko) 차량용 제스처 인식 시스템 및 그 방법
CN114140745A (zh) 施工现场人员属性检测方法、系统、装置及介质
JP3857558B2 (ja) 物体追跡方法及び装置
JP2004312402A (ja) 道路監視システム,道路監視装置
JP5710230B2 (ja) 監視システムおよび監視方法
US20130027549A1 (en) Method and device for video surveillance
TWI479432B (zh) 攝影機的異常偵測方法
US20140003670A1 (en) Vehicle surroundings monitoring device
JP4836878B2 (ja) 画像識別表示装置及び画像識別表示方法
JP2012169826A (ja) 画像処理装置、画像表示システム及び画像処理方法
US20140055462A1 (en) Method of defining image surveillance region
CN113255500A (zh) 一种车辆随意变道检测的方法及装置
US9197822B1 (en) Array augmented parallax image enhancement system and method
US11785342B2 (en) Method of activating an object-specific action

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120330

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121010

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121018

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130212

R150 Certificate of patent or registration of utility model

Ref document number: 5202551

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160222

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250