JP2009027651A - 監視システム、監視カメラ、監視方法および監視プログラム - Google Patents
監視システム、監視カメラ、監視方法および監視プログラム Download PDFInfo
- Publication number
- JP2009027651A JP2009027651A JP2007191436A JP2007191436A JP2009027651A JP 2009027651 A JP2009027651 A JP 2009027651A JP 2007191436 A JP2007191436 A JP 2007191436A JP 2007191436 A JP2007191436 A JP 2007191436A JP 2009027651 A JP2009027651 A JP 2009027651A
- Authority
- JP
- Japan
- Prior art keywords
- parameter
- setting information
- image processing
- image
- parameter setting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】本発明は、天候等の環境変化があっても撮影処理および画像処理を適切に行うことができるようにする。
【解決手段】本発明は、パラメータ設定情報解析部140が、パラメータ設定情報収集部310によって収集された天候等の環境変化に対応したパラメータ設定情報をネットワーク400を介して取得し、これに基づいて、画像データ生成部110が画像データを生成するときに必要な画像データ生成パラメータ、および画像処理部が画像データに対して画像処理を施すときに必要な画像処理パラメータを生成し、画像データ生成部110および画像処理部120にそれぞれ供給する。
【選択図】図1
【解決手段】本発明は、パラメータ設定情報解析部140が、パラメータ設定情報収集部310によって収集された天候等の環境変化に対応したパラメータ設定情報をネットワーク400を介して取得し、これに基づいて、画像データ生成部110が画像データを生成するときに必要な画像データ生成パラメータ、および画像処理部が画像データに対して画像処理を施すときに必要な画像処理パラメータを生成し、画像データ生成部110および画像処理部120にそれぞれ供給する。
【選択図】図1
Description
本発明は、監視システム、監視カメラ、監視方法および監視プログラムに関し、例えば、環境変化に対応して最適なパラメータ調整を行い、画像処理を行う監視システムに適用して好適なものである。
従来、画像処理などを用いて、監視対象を自動検知し、カウンティングを行う監視システムでは、システムの運用開始時にパラメータの設定を行っているが、環境変化に対して随時適切なパラメータの設定を行うことにより、より精度の高い検出結果が得られるようにしている。
また、監視装置による動体の検知に必要な監視情報パラメータ(閾値、マスク領域など)の調整を、遠隔地にいるオペレータが適切に行うことができるようにしたものがある(例えば、特許文献1参照)。
また、カメラから得られる情報の他に、検出対象である人にタグを持たせることにより、そのタグから得られる人物の属性情報を利用して、検出精度を向上させるようにしたものがある(例えば、特許第3927980号(国際公開番号WO2003/092291)参照)。
特開2006−311545公報
特許第3927980号公報
ところでかかる構成の監視システムにおいては、ネットワークを介して天候等の環境情報を収集・分析し、カメラによる撮像時のパラメータや画像処理におけるパラメータを自動的に設定するということはできないため、環境変化に対してロバストな撮像処理および画像処理を実現することができないという問題があった。
本発明は以上の点を考慮してなされたもので、天候などの環境が変化しても適切に監視対象を撮像し、画像処理を行うことができる監視システムを提案しようとするものである。
かかる課題を解決するため本発明においては、所定の第1のパラメータに基づいて画像を撮像し、撮像された上記画像に対して第2のパラメータに基づいて画像処理を行い、上記第1のパラメータおよび第2のパラメータの元になるパラメータ設定情報を収集し、上記パラメータ設定情報から上記第1のパラメータおよび上記第2のパラメータを生成し、画像処理された上記画像に基づいて、所定の判定処理を行う。
これにより、例えば、環境変化に対応したパラメータ設定情報を収集し、第1のパラメータおよび第2のパラメータを生成して、画像の撮像および画像処理を適切に行って判定処理を精度良く行うことができる。
本発明によれば、天候などの環境が変化しても、監視対象を適切に撮像し、画像処理を施すことにより、監視対象の認識精度を向上させうる監視システムを実現することができる。
以下、図面について、本発明の一実施の形態を詳述する。
(1)監視システムの全体構成
図1において、1は、全体として本発明の監視システムを構成する処理ブロックを示している。本処理ブロックにおいて、画像データ生成部110は、画像(映像)を撮影し、撮影した画像に対応する画像データを生成し、出力するようになされている。画像処理部120は、画像データ生成部110によって生成された画像データに対して所定の画像処理を施し、画像および画像に関する情報からなる画像処理メタデータを生成し、出力するようになされている。例えば、画像データに対して動体検知処理等の画像処理を実行するようになされている。画像処理結果判定部130は、画像処理部120による画像処理の結果として出力された画像処理メタデータに基づき、後述する閾値や動体検知枠等の情報を元に、画像の中に出現する人の数をカウントする人数カウントなどの後処理を行い、処理結果として、仮想的に設定した仮想線を通過する人数を得るようになされている。
図1において、1は、全体として本発明の監視システムを構成する処理ブロックを示している。本処理ブロックにおいて、画像データ生成部110は、画像(映像)を撮影し、撮影した画像に対応する画像データを生成し、出力するようになされている。画像処理部120は、画像データ生成部110によって生成された画像データに対して所定の画像処理を施し、画像および画像に関する情報からなる画像処理メタデータを生成し、出力するようになされている。例えば、画像データに対して動体検知処理等の画像処理を実行するようになされている。画像処理結果判定部130は、画像処理部120による画像処理の結果として出力された画像処理メタデータに基づき、後述する閾値や動体検知枠等の情報を元に、画像の中に出現する人の数をカウントする人数カウントなどの後処理を行い、処理結果として、仮想的に設定した仮想線を通過する人数を得るようになされている。
パラメータ設定情報収集部310−1乃至310−N(Nは任意の自然数)は、画像の撮影および画像処理に必要な各種パラメータの設定に必要なパラメータ設定情報の収集および設定を行うようになされている。以下では、パラメータ設定情報収集部310−1乃至310−Nを区別する必要がない場合には適宜、パラメータ設定情報収集部310と記載する。パラメータの設定に必要なパラメータ設定情報は、天候、気温、時刻などの情報である。パラメータ設定情報収集部310は、独自に設置したセンサなどから天候に関する情報を得ることができるようになされている。また、例えば天候情報を発信しているWebサーバ等に接続し、そこから天候に関する情報を収集するようにしても良い。
パラメータ設定情報収集部310が得たパラメータ設定情報を、自らパラメータ設定情報解析部140へプッシュ(PUSH)するか、または、パラメータ設定情報解析部140がパラメータ設定情報収集部310からパラメータ設定情報を回収することにより、パラメータ設定情報解析部140は、ネットワーク400を介して、パラメータ設定情報を得るようになされている。
パラメータ設定情報解析部140は、上記のようにして得たパラメータ設定情報に基づき、例えば、雨天の場合、後述するように、画像処理部120に、動体検知で用いる適切な閾値wthを設定する。また、好天の場合、例えば、画像データ生成部110に対して可視光以外のライトをオン(ON)するよう指示し、ライト点灯時の適切な閾値ithを画像処理部120に設定する。これらのパラメータの設定により、後述するように、画像処理結果判定部130により、より精度良く仮想線を通過した通過人数がカウントされ、人数カウント値が求められる。
なお、ここで、適切な閾値とは、オペレータが画像データ生成部110の設置時に、設置現場においてライトオン(ON)状態で監視対象を撮影する場合に最もふさわしい閾値として求めたものである。或いは、統計的に的確に人数カウント値を求めることができる閾値としてもよい。或いは、また、学習により的確な人数カウント値を求めることができる閾値としてもよい。パラメータ設定情報の取得および変更は適時行われ、閾値もパラメータ設定情報に従って適時変更される。
図2は、図1に示した監視システムの実施例を示している。1は全体として本発明の監視システムを示し、監視カメラ100−1,100−2と、クライアント端末200と、情報収集サーバ300−1,300−2とから構成され、それぞれインターネット等のネットワーク400で接続されている。監視カメラ100−1,100−2は、それぞれ同一の構成であるので、以下ではそれらを区別する必要がない場合には適宜、監視カメラ100と記載する。同様に、情報収集サーバ300−1,300−2は、それぞれ同一の構成であるので、以下ではそれらを区別する必要がない場合には適宜、情報収集サーバ300と記載する。
監視カメラ100は、図1を参照して上述した、画像データ生成部110、および画像処理部120を有し、画像データ生成部110において、撮像した画像(映像を含む)に対応する画像データを生成するようになされている。画像処理部120は、画像データ生成部110において生成された画像データに対して所定の画像処理を実行し、画像処理メタデータを生成するようになされている。この画像処理メタデータは、画像処理後の画像データと、画像に関するデータとからなる。生成された画像処理メタデータは、ネットワーク400を介してクライアント端末200に送信される。
クライアント端末200は、図1に示した画像処理結果判定部130を有し、監視カメラ100から送信されてきた画像処理メタデータに基づき、例えば、人数カウント処理等の最終結果を得るための判定処理を行うようになされている。
また、監視カメラ100は、パラメータ設定を行う際に、情報収集サーバ300内に設けられたパラメータ設定情報収集部310からパラメータ設定に必要なパラメータ設定情報を取得するようになされている。即ち、監視カメラ100内に設けられたパラメータ設定情報解析部140が、パラメータ設定情報収集部310を有する情報収集サーバ300からネットワーク400を介してパラメータ設定に必要なパラメータ設定情報を取得するようになされている。
ここで、パラメータ設定情報解析部140がパラメータ設定情報収集部130からパラメータ設定情報を収集する手法について説明する。一般的に、ネットワーク400上のサーバから必要な情報を得る方法として、RSS(Rich Site Summary、Really Simple Syndication、RDF Site Summary)を用いる方法がある。RSSとは、ウェブサーバの見出しや概要などを配信するために用いられている技術であり、主にウェブサイトの更新情報を公開するために用いられている。
サーバがRSS(XML(Extensible Markup Language)ベースのフォーマットで記述されたテキストファイル)を公開し、クライアントがそのファイルにRSSリーダを介してアクセスすることにより、サーバの情報を取得することができるようになっている。
この例では、監視カメラ100のパラメータ設定情報解析部140に、RSSリーダまたはフィードリーダと呼ばれるツールやサービスの機能を持たせ、情報発信を行う情報収集サーバ300のパラメータ設定情報収集部310にRSSに対応したウェブサーバ機能を持たせることにより、RSSを用いた情報収集が可能となる。
図3は、パラメータ設定情報収集部310およびパラメータ設定情報解析部140の構成例を示している。パラメータ設定情報収集部310は、情報獲得部311と、情報構文化部312と、RSS作成部313とから構成されている。パラメータ設定情報解析部140は、RSSリーダ部144と、情報構文解析部141とから構成されている。
図4は、パラメータ設定情報収集部310の処理手順を示すフローチャートである。まず、ステップS1において、パラメータ設定情報収集部310の情報獲得部311により、所定のサンプリング時刻になったか否かが判定される。その結果、所定のサンプリング時刻になっていないと判定された場合、ステップS1の処理が繰り返し実行される。一方、所定のサンプリング時刻になったと判定された場合、ステップS2に進む。
ステップS2においては、情報獲得部311により、ネットワーク400上で発信されるパラメータ設定情報、例えば、気象情報等が収集される。収集されたパラメータ設定情報としての気象情報等は、情報構文化部312に供給される。
次に、ステップS3において、情報構文化部312により、情報獲得部311より供給されたパラメータ設定情報としての気象情報が、パラメータ設定情報解析部140によって理解可能なフォーマットのテキストに変換される。例えば、ある場所での天気を伝える場合、”場所”、”時間”、”天気”の順でデリミタを付けてテキスト化する。もちろんパラメータ設定情報収集部310とパラメータ設定情報解析部140がそれぞれ共通のフォーマットを理解しているのであれば、他の方法、例えば、タグ付けする方法なども使用可能である。
例えば、RSSのタグ<title>に、”[13日(水)の天気]稚内―晴時々曇―最高気温19度(℃)―6月13日(水)”という情報を記述することができる。この場合、[]以降、地名、天気予報、気温、日付の順で記述されている。
次に、ステップS4において、RSS作成部313により、情報構文化部312において変換されたテキスト情報を含むRSSが作成され、ステップS5において、所定のフォルダにRSSがファイルとして保存される。その後、ステップS1に戻り、ステップS1以降の処理が繰り返し実行される。
図5は、パラメータ設定情報解析部140の処理手順を示すフローチャートである。まず、ステップS11において、パラメータ設定情報解析部140のRSSリーダ部144により、所定のアクセス時刻になったか否かが判定される。その結果、所定のアクセス時刻になっていないと判定された場合、ステップS11の処理が繰り返し実行される。一方、所定のアクセス時刻になったと判定された場合、ステップS12に進む。
ステップS12においては、RSSリーダ部144により、ユーザ等によって予め指定された情報収集サーバ300の所定のアドレスに所定のアクセス時間ごとにネットワーク400を介してアクセスされ、ステップS13において、情報収集サーバ300が提供するRSS(ファイル)が取得される。取得されたRSSは、情報構文解析部141に供給される。
次に、ステップS14において、情報構文解析部141により、RSSリーダ部144によって取得され、供給されたRSSに対して構文解析が行われ、指定されたタグに書かれているテキストのパラメータ設定情報が取得される。次に、ステップS15において、そのパラメータ設定情報が、テキストからプログラムが使用するフォーマット、例えばバイナリに変換され、パラメータ設定情報とされる。その後、ステップS11に戻り、ステップS11以降の処理が繰り返し実行される。
ここまでの処理で得られたパラメータ設定情報は、パラメータ設定情報解析部140において、図6に示したパラメータデータベース(DB)143を参照して画像データ生成パラメータ、画像処理パラメータに変換される。次に、撮像動作切換部141により、画像データ生成部110、画像処理部120に対してそれぞれパラメータ設定が行われる。
図6は、監視カメラ100内におけるパラメータ設定手順を示す図である。以下、パラメータ設定手順について説明するが、まず、監視カメラ100内で行われる処理について説明しておく。
監視カメラ100内での処理は、主に図6に示した各機能部によって実行される。即ち、監視カメラ100は、画像データ生成部110と、画像処理部120と、パラメータ設定情報解析部140とから構成されている。
画像データ生成部110は、被写体からの光を集光し、後述する撮像部112の図示しない撮像素子上に画像を結像させる光学部111と、撮像部112の撮像素子上に結像された画像を光電変換処理によってその画像に対応する電気信号に変換し、画像信号として出力する撮像部112と、撮像部112から供給された画像信号に対して後述する所定の処理を施し、画像データを出力する撮像信号処理部113と、撮像信号処理部113によって所定の処理が施された画像信号に対して所定のデータ処理を施し、映像データを出力するデータ処理部114とから構成されている。
画像処理部120は、撮像信号処理部113より出力された画像信号に対して所定の画像処理を施し、処理後の画像データから画像処理メタデータを生成し、出力するようになされている。
パラメータ設定情報解析部140は、画像データ生成部110、および画像処理部120に対して、それぞれパラメータを設定するようになされている。画像データ生成部110に対しては画像データ生成パラメータが設定され、画像処理部120に対しては画像処理パラメータが設定される。
図7は、撮影時の処理手順を示すフローチャートである。以下、図7のフローチャートを参照して、撮影時の処理手順について説明する。まず、ステップS21において、画像データ生成部110内の撮像部112は、光学部111を通して撮像素子に結像された撮像光を光電変換して撮像信号を生成する。撮像部112は、例えば、プリアンプ部やA/D(Analog/Digital)変換部を備える。プリアンプ部は、撮像信号の電気信号レベルの増幅や相関2重サンプリングによるリセット雑音の除去を行う。A/D変換部は、撮像信号をアナログ信号からデジタル信号に変換する。
次に、ステップS22において、撮像部112は、撮像素子から供給された撮像信号のゲイン調整や黒レベルの安定化、ダイナミックレンジの調整等を行う。このようにさまざまな処理が行われた撮像信号は、撮像信号処理部113に供給される。
次に、ステップS23において、撮像信号処理部113は、撮像部112から供給された撮像信号に対して、種々の信号処理を行い、画像データを生成する。例えば、撮像信号のあるレベル以上を圧縮するニー補正、撮像信号のレベルを設定されたγカーブに従って補正するγ補正、撮像信号の信号レベルが所定範囲となるように制限するホワイトクリップ処理やブラッククリップ処理等を行い、画像データを生成する。その後、ステップS24およびステップS25の処理が実行される。
ステップS24において、データ処理部114は、ネットワーク400を通じでモニタリングを行うクライアント端末200との間の通信を行う際のデータ量を少なくするために、画像データに対して符号化処理を行って映像データを作成する。また、ステップS25において、画像処理部120は、画像データに対して画像処理を行い、画像処理メタデータを作成する。
ステップS26においては、データ処理部114において生成された映像データが所定のデータ構造の映像データとしてネットワーク400を介してクライアント端末200に転送される。また、画像処理部120において生成された画像処理メタデータがネットワーク400を介してクライアント端末200に転送される。その後、処理を終了する。
撮像動作切換部141は、クライアント端末200から入力される切換指示信号に基づき、最適な撮像画像が得られるように監視カメラ100の動作切換を行う。例えば、撮像部112の撮像方向の切り換えを行う他、光学部111に制御信号を供給して、ズーム比やアイリスの切り換えを行わせたり、撮像部112と撮像信号処理部113に制御信号を供給して撮像した映像のフレームレートの切り換えを行わせたり、さらには、データ処理部114に制御信号を供給して映像データの圧縮率の切り換えを行わせるなどの処理を行う。
画像処理部120は、画像データに対して画像処理を行い、監視対象に関する情報と映像データからなる画像処理メタデータの生成を行う。動体を監視対象とする場合であれば、映像データを用いて動体の検出を行い、動体が検出されているか否かを示す動体検知情報や、検出した動体の位置を示す動体位置情報を生成し、これをオブジェクト情報として画像処理メタデータに含める。このときに検出されたオブジェクトには、一意のID(Identifier)(一意に識別するための識別符号)が割り振られる。
次に、図8のフローチャートを参照して、パラメータ設定手順について説明する。パラメータ設定情報が得られた場合、パラメータ設定情報解析部140において、その内容の解析が行われる。解析時には、パラメータデータベース(DB)143が参照され、例えば、雨天であるという情報が得られた場合、その状況に最適なパラメータ値(画像データ生成パラメータ、画像処理パラメータ)がパラメータデータベース143から取得される。取得されたパラメータ値は、撮像動作切換部141により画像データ生成部111、および画像処理部120に設定される。
撮像動作切換部141によるパラメータの設定は、パラメータ設定情報を取得したときに行うようにしたが、パラメータ設定情報に変更があり次第、不定期に設定することも可能である。また、決められた期間ごとに定期的にパラメータ設定情報を取得して設定することも可能である。
次に、パラメータ設定情報解析部140の処理についてさらに詳細に説明する。パラメータ設定情報解析部140は、例えば、天候情報を含むパラメータ設定情報を、撮像動作切換部141で設定する具体的なパラメータ(画像データ生成パラメータ、画像処理パラメータ)に変換する処理を行う。
例えば、画像データ生成パラメータとしては、ホワイトバランスがある。監視カメラ100の設置場所が屋内である場合、屋内の撮影に適した、ホワイトバランスは約3200K(ケルビン)に設定される。しかしながら、屋内で撮影しているにもかかわらず、天候がよく、日差しが屋内に影響を与える時間帯であれば、ホワイトバランスを屋外の撮影に適した約5800Kに設定することで、動体検知精度やカウント精度が向上することが見込まれる。
また、画像データ生成パラメータとしてIR(InfraRed)カットフィルタのオン/オフ(ON/OFF)機能がある。元来IRカットフィルタは、昼間の撮影時に余計な赤外光をカットするために設けられており、IRカットフィルタをはずす(オフにする)ことにより夜間の撮影時にも人などの被写体検知精度やカウント精度を向上させることができる。ここでは、天候がよく日差しの影響を受ける場合などに、変則的にIRカットフィルタをはずすことにより、強い影の影響を取り除いて、より動体検知精度およびカウント精度を向上させることができる。逆に曇り・雨の昼間は、IRカットフィルタを設定する(オンにする)。即ち、IRカットフィルタは、光学部111の前面側(被写体に近い側)に移動可能に設けられており、IRカットフィルタを光学部111の前面側に移動させる(オンにする)と入射光から赤外線がカットされ、光学部111の前面側から他に移動させる(オフにする)と赤外光が光学部111に入射する。
また、例えば、画像データ生成パラメータとして露出がある。露出は、シャッタースピード、アイリス、ゲインの3要素からなる。例えば、天候がよく、日差しが強く、カメラに対して逆光になる場合には、上記3要素を調整し、逆光補正を行うように設定する。逆光時は、レンズに入る光量が多くなるので、露出を絞り込み、シャッタースピードを速くし、光量を制限する。光量を調整することにより、初期に設定した、動体検知の際の輝度しきい値を変更させなくとも、安定して動体検知およびカウンティングが行え、動体検知精度およびカウント精度を向上させることができる。逆光補正以外でも、シャッタースピード、アイリス、ゲインを調整し、光量を最適に保つことにより、同様に、動体検知の際の輝度しきい値の影響を弱め、安定的な動体検知が可能になる。
また、例えば、撮像信号処理部113に設定される画像データ生成パラメータとして明るさがある。明るさは、露出の微調整機能である。上述した露出と同様の効果を得ることができる。また、例えば、彩度、鮮鋭度、コントラストを変更することが可能である。また、例えば、圧縮率(ビットレート、フレームレート)、Iピクチャ間隔などを変更することも可能である。また、例えば、パンチルト、ズーム、フォーカスについても変更することが可能である。
また、画像処理パラメータとしては、例えば、最小・最大検知サイズがある。例えば、雨が降った場合に、傘などの荷物が増え、人の動体検知枠が横方向に拡大する傾向がある。そこで、後述する人数補正に使われる、最小検知サイズを変更することにより、複数の動体と単一の動体を区別する際の閾値を、天候情報によって最適化することができる。また、例えば、天候によって輝度しきい値の設定値を変更することで、晴れ、曇りそれぞれに適した差分処理が行えるようになり、動体検知精度およびカウント精度を向上させることができる。
次に、パラメータの変換に使われるパラメータデータベース143について説明する。パラメータデータベース143の作成には、監視システム1のオペレータの経験に基づき、オペレータによって作成された変換テーブルを用いることが可能である。例えば、雨天の場合、人を含む動体の横幅は傘などを含むために通常時より倍程度の大きさになるという経験的な値をテーブル化することで実現できる。例えば、天候と、天候に応じた横幅とを対応付けたデータからなるテーブルを作成することができる。
例えば、雨天時の人の動領域の横幅が、通常時よりも大きくなることが経験的にわかっている。2倍程度の大きさになることが見込まれるので、前述の人数補正に使われる横幅の閾値を天候により変更するテーブルを用意することで、精度の向上が見込まれる。単純な変換テーブルではなく、重み付け量を規定する重みテーブルでもよい。例えば、天候と、天候に応じて、横幅の閾値に乗算して閾値を変更するための重みを対応付けたデータからなる重みテーブルを作成することができる。
また、過去の蓄積されたデータから統計的処理により算出されたパラメータが格納されたパラメータデータベース143を使用することも可能である。例えば、過去のデータを数値解析することにより、同じく雨天の場合の人を含む動領域の横幅の情報を過去データから算出してデータベース化することで実現できる。雨量(降り始めおよび降り終わり)との時間的関連も関連付けることにより、雨の前後のどの時刻まで雨天用の設定を保持すべきか、また、好天用の設定に変更すべき時刻等も統計的に算出可能である。
また、過去に蓄積されたデータに教師信号(晴れている、雨が降っている)を与えることにより機械的学習の手法を用いてパラメータデータベース143を構築することも可能である。例えば、動体の幅という1パラメータにこだわらず、閾値などの他のパラメータを同時に変更する際、それぞれのパラメータが独立でない場合には、各パラメータの重み付けが必要になり、この重み付けを容易に算出する方法として、ニューラルネット等の機械的学習の手法を用いることが可能である。
天候などの環境の変化に対応し、最適なパラメータ調整を行い、画像処理を行う監視システムを実現することにより、例えば、人数カウント処理の精度向上を図ることができる。
(2)通過カウント処理
次に、監視カメラ100で撮影した画像から、仮想的に設定した仮想線を通過した人の数をカウントする通過カウント処理の手順について説明する。図9に通過カウントの例を示す。通過人数カウントを画像処理で行う方法として、例えば、まず、画像内の動物体を検知する動体検知処理を行い、次に、その動物体(または動物体を囲む動体検知枠)が仮想的な線(仮想線)を通過したか否かの判定を行い、通過した動物体の個数を数えていく方法が用いられる。
次に、監視カメラ100で撮影した画像から、仮想的に設定した仮想線を通過した人の数をカウントする通過カウント処理の手順について説明する。図9に通過カウントの例を示す。通過人数カウントを画像処理で行う方法として、例えば、まず、画像内の動物体を検知する動体検知処理を行い、次に、その動物体(または動物体を囲む動体検知枠)が仮想的な線(仮想線)を通過したか否かの判定を行い、通過した動物体の個数を数えていく方法が用いられる。
動体検知処理は、例えば、一般的に、背景差分やフレーム間差分などの差分法が用いられる。このような2つの画像、例えば現在の画像と背景画像(背景差分)、または、現在の画像と前フレームの画像(フレーム間差分)のように、画像と画像の差分をとり、次式(1)のように、その差分がある一定の値以上になったときに、物体が動いていると判定する。
|I(t)−I(t−1)|>ith ……(1)
ここで、画像内のある点における時刻tの輝度をI(t)、時刻(t−1)の画像の輝度をI(t−1)としている。またithは輝度閾値を表している。輝度が閾値以上の点がある程度固まっている部分が動領域とされ、動体検知枠として求まる。
この閾値は、撮影を行う機器(この場合、監視カメラ100)の設置場所によって調整する必要がある。例えば、業務用に設置された場合、設置時に定めた閾値では、環境の変化に十分に対応できていないのが現状である。なお、ここでは、差分閾値を例に取り上げたが、動物体を検知するために外乱(ノイズ)を軽減するため、最小検知サイズなどのパラメータを設定することがあり、そのような撮影環境によって設定を変更しなければならないすべてのパラメータについても同様に環境の変化に十分に対応できないと言える。
このような方法では、理想的な場合、図10に示すように、動いている動物体のみを検知することが可能である。しかし、図11に示すように、複数の人が近接して移動している場合、動体検知結果としての動体検知枠は1つであるが、実際の動物体は2つであるという結果が得られる。このような場合、通過カウント処理においてカウントミスが生じることになる。このようなカウントミスが生じないように、動体検知枠の幅に応じて人数補正をかける方法がある。
図12は、動体検知枠幅による人数補正を説明するための図である。同図に示すように、動体検知枠の横幅に関してwthという閾値を設定する。図12(a)のように検知された動体検知枠の幅w1が閾値wthよりも短い場合、動体検知枠内に人が1人しかいないと判定するが、図12(b)のように動体検知枠の幅w2が閾値wthよりも長い場合、動体検知枠内に複数の人がいると判定し、カウント値の補正を行う。
ところで、天候が雨の場合、図13に示すように、傘を持っている人のカウントを行うことになるため、1人の人であっても、動体検知枠の幅が閾値wthよりも長くなる確率が高くなり、カウントの精度が低くなる。ここでは、便宜上、傘を開いた絵を用いているが、傘を閉じている場合でも、カメラの設置位置、撮影方向により、同様に、通常時よりも検知される動体検知枠の幅が長くなる傾向がある。
天候状況がわかるのであれば、それに合わせて、閾値wthを適時変更することでカウント精度を向上させることができる。そのために、環境情報を自動的に取得することが必要になる。また、現時点で雨が降っていなくても、過去に(例えば数時間前に)雨が降っていたという情報、また、監視を行っている地点以外の地点で雨が降っているという情報を得た場合も、適時、閾値wthを適当に設定しなおすことでカウント精度の向上を図ることができる。
また、監視カメラ100で撮影された画像を使った画像処理のパラメータだけではなく、例えば、アイリス、赤外線フィルタのON/OFFなどのカメラ自身のパラメータを適切に設定することで、より精度の高い通過人数カウント処理を行うことができる。
また、例えば、晴天の日に、図14に示したように、大きな濃い影ができることがある。この場合、特許第3127760号でも指摘されているように、このような環境的な光源の外乱の影響を軽減させるために、可視光以外の光を照射する方法がある。赤外ストロボや赤外LED(Light Emitting Diode)などの照明が有効である。環境情報を得ることができれば、このような照明のON/OFFもネットワーク400経由で設定することが可能である。また、このように照明をONにした場合には、それに合わせたパラメータの設定変更も不可欠になる。ここで、設定変更を行うパラメータとしては、例えば先に説明した差分を算出する際の閾値ith等がある。
上述したように、これら問題を解決するために、本実施の形態では、監視カメラ100により得られた画像情報以外に、外部環境の変化をネットワーク400を介して取得し、利用する。近年、監視システムは、その接続方法にIP(Internet Protocol)ネットワークを利用するものが増加している。このネットワークを通じて、外部から環境情報を得ることで、監視カメラ自身の視野以外からの情報を利用してより精度の高い通過人数カウント処理のような画像処理を行うことができる。
(3)動作および効果
以上の構成において、監視カメラ100のパラメータ設定情報解析部140は、ネットワーク400を介してパラメータ設定情報収集部310からパラメータ設定情報を取得する。取得したパラメータ設定情報は、パラメータ解析部142により、パラメータデータベース143を参照して画像データ生成パラメータおよび画像処理パラメータに変換される。
以上の構成において、監視カメラ100のパラメータ設定情報解析部140は、ネットワーク400を介してパラメータ設定情報収集部310からパラメータ設定情報を取得する。取得したパラメータ設定情報は、パラメータ解析部142により、パラメータデータベース143を参照して画像データ生成パラメータおよび画像処理パラメータに変換される。
次に、パラメータ解析部142によって変換された画像データ生成パラメータおよび画像処理パラメータは、撮像動作切換部141に供給される。撮像動作切換部141は、画像データ生成部110に対して画像データ生成パラメータを設定し、画像処理部120に対して画像処理パラメータを設定する。これにより、画像データ生成部110は画像データ生成パラメータに基づいて画像データを生成し、画像処理部120は画像処理パラメータに基づいて画像処理を行う。
以上の構成によれば、天候等の撮影変化に合わせて監視カメラ100の撮影時のパラメータの値や画像処理時のパラメータの値を調整することができ、動物体の検知精度やカウント処理精度を高めることができる。
(4)他の実施の形態
なお上述の実施の形態においては、RSSを用いて情報収集サーバ300からパラメータ設定情報を収集する場合について述べたが、本発明はこれに限らず、その他の方法、例えば、iCal等のアプリケーションソフトウェアを利用してパラメータ設定情報を収集するようにしても良い。また、ネットワークからの設定情報収集にFTP(File Transfer Protocol)を利用することにしてもよい。
なお上述の実施の形態においては、RSSを用いて情報収集サーバ300からパラメータ設定情報を収集する場合について述べたが、本発明はこれに限らず、その他の方法、例えば、iCal等のアプリケーションソフトウェアを利用してパラメータ設定情報を収集するようにしても良い。また、ネットワークからの設定情報収集にFTP(File Transfer Protocol)を利用することにしてもよい。
また上述の実施の形態においては、監視カメラ100とクライアント端末200および情報収集サーバ300との間の通信方法は、インターネット等のネットワーク400を介して行われるものとしたが、別の通信方法を使ってもよい。また、監視カメラ(画像データ生成部を含む部分)100自身がネットワーク400に直接接続できるような機能を有していなくても、例えば、ネットワーク400に接続されたコンピュータ端末に監視カメラ100を接続し、コンピュータ端末が、監視カメラ100をコントロールするようにしても良い。
また上述の実施の形態においては、撮像手段としての画像データ生成部110と、画像処理手段としての画像処理部120と、パラメータ設定情報収集手段としてのパラメータ設定情報収集部310と、パラメータ生成手段としてのパラメータ設定情報解析部140と、判定手段としての画像処理結果判定部130とによって本願発明における監視システムとしての監視システム1を構成するようにした場合について述べたが、本発明はこれに限らず、その他種々の回路構成でなる撮像手段、画像処理手段、パラメータ設定情報収集手段、パラメータ生成手段、および判定手段によって監視システムを構成するようにしても良い。上述の実施の形態では、カメラ100の内部に画像処理手段としての画像処理部120を設けるようにした場合について述べたが、例えば、画像処理部120をクライアント端末200の内部に設けたような構成にしてもよい。
さらに上述の実施の形態においては、画像処理結果判定部130における処理として、人数カウントを行う場合について述べているが、人数カウントに限らず、物体が仮想線を通過することにより判定する通過判定、通過方向判定、仮想線からなるある領域に侵入すること、ある領域内に出現すること、ある領域から退出すること、ある領域から消失すること、ある領域に滞留すること、ある領域に複数物体が存在することなどを判定するようにしても良い。
本発明の監視システム、監視カメラ、及び監視方法並びに監視プログラムは、例えば、気候や気温が変動する様々な環境下で様々な動体を検知する場合に適用することができる。
1……監視システム、110……画像データ生成部、111……光学部、112……撮像部、113……撮像信号処理部、114……データ処理部、120……画像処理部、130……画像処理結果判定部、140……パラメータ設定情報解析部、141……撮像動作切換部、142……パラメータ解析部、143……パラメータデータベース、144……RSSリーダ部、200……クライアント端末、300……情報収集サーバ、311……情報獲得部、312……情報構文化部、313……RSS作成部、310……パラメータ設定情報収集部、400……ネットワーク。
Claims (5)
- 所定の第1のパラメータに基づいて画像を撮像する撮像手段と、
上記撮像手段によって撮像された上記画像に対して第2のパラメータに基づいて画像処理を行う画像処理手段と、
上記第1のパラメータおよび第2のパラメータの元になるパラメータ設定情報を収集するパラメータ設定情報収集手段と、
上記パラメータ設定情報から上記第1のパラメータおよび上記第2のパラメータを生成するパラメータ生成手段と、
上記画像処理手段によって画像処理された上記画像に基づいて、所定の判定処理を行う判定手段と
を具えることを特徴とする監視システム。 - 上記パラメータ設定情報は、上記撮像手段が設置された場所の天候に関する情報である
ことを特徴とする請求項1に記載の監視システム。 - 所定の第1のパラメータに基づいて画像を撮像する撮像手段と、
上記撮像手段によって撮像された上記画像に対して第2のパラメータに基づいて画像処理を行う画像処理手段と、
上記第1のパラメータおよび第2のパラメータの元になるパラメータ設定情報を収集するパラメータ設定情報収集手段から収集した上記パラメータ設定情報から上記第1のパラメータおよび上記第2のパラメータを生成するパラメータ生成手段と
を具えることを特徴とする監視カメラ。 - 撮像手段により所定の第1のパラメータに基づいて画像を撮像する撮像ステップと、
画像処理手段により第2のパラメータに基づいて上記撮像手段によって撮像された上記画像に対して画像処理を行う画像処理ステップと、
パラメータ設定情報収集手段により上記第1のパラメータおよび第2のパラメータの元になるパラメータ設定情報を収集するパラメータ設定情報収集ステップと、
パラメータ生成手段により上記パラメータ設定情報から上記第1のパラメータおよび上記第2のパラメータを生成するパラメータ生成ステップと、
判定手段により上記画像処理ステップにおいて画像処理された上記画像に基づいて、所定の判定処理を行う判定ステップと
を具えることを特徴とする監視方法。 - コンピュータに対して、
第1のパラメータおよび第2のパラメータの元になるパラメータ設定情報を収集するパラメータ設定情報収集ステップと、
上記パラメータ設定情報収集ステップにおいて収集された上記パラメータ設定情報から上記第1のパラメータおよび上記第2のパラメータを生成するパラメータ生成ステップと、
上記第1のパラメータに基づいて画像を撮像する撮像ステップと、
上記第2のパラメータに基づいて上記撮像ステップにおいて撮像された上記画像に対して画像処理を行う画像処理ステップと、
上記画像処理ステップにおいて画像処理された上記画像に基づいて、所定の判定処理を行う判定ステップと
を実行させることを特徴とする監視プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007191436A JP2009027651A (ja) | 2007-07-23 | 2007-07-23 | 監視システム、監視カメラ、監視方法および監視プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007191436A JP2009027651A (ja) | 2007-07-23 | 2007-07-23 | 監視システム、監視カメラ、監視方法および監視プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009027651A true JP2009027651A (ja) | 2009-02-05 |
Family
ID=40398994
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007191436A Pending JP2009027651A (ja) | 2007-07-23 | 2007-07-23 | 監視システム、監視カメラ、監視方法および監視プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009027651A (ja) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011039995A (ja) * | 2009-08-18 | 2011-02-24 | Nec Soft Ltd | 対象物検出装置、対象物検出方法、プログラムおよび記録媒体 |
CN102194215A (zh) * | 2010-03-19 | 2011-09-21 | 索尼公司 | 图像处理设备、方法以及程序 |
WO2012124230A1 (ja) * | 2011-03-17 | 2012-09-20 | 日本電気株式会社 | 撮影装置、撮影方法、及びプログラム |
JP2015025727A (ja) * | 2013-07-26 | 2015-02-05 | 三菱電機株式会社 | 路面撮像装置 |
JP2015128261A (ja) * | 2013-12-27 | 2015-07-09 | 株式会社東芝 | 画像センサ |
KR20160074231A (ko) * | 2014-12-18 | 2016-06-28 | 한화테크윈 주식회사 | 감시용 카메라, 감시용 기록 장치, 및 감시 시스템 |
JP2017169076A (ja) * | 2016-03-17 | 2017-09-21 | セコム株式会社 | 飛行物体監視システム |
WO2022009506A1 (ja) | 2020-07-07 | 2022-01-13 | 株式会社 東芝 | 撮影装置 |
JP7017217B1 (ja) | 2021-08-12 | 2022-02-08 | 株式会社アジラ | 対象追跡装置 |
JP2022514115A (ja) * | 2018-10-17 | 2022-02-09 | グループ ロ-マン インク. | 家畜の監視 |
-
2007
- 2007-07-23 JP JP2007191436A patent/JP2009027651A/ja active Pending
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011039995A (ja) * | 2009-08-18 | 2011-02-24 | Nec Soft Ltd | 対象物検出装置、対象物検出方法、プログラムおよび記録媒体 |
CN102194215A (zh) * | 2010-03-19 | 2011-09-21 | 索尼公司 | 图像处理设备、方法以及程序 |
JP2011199671A (ja) * | 2010-03-19 | 2011-10-06 | Sony Corp | 画像処理装置および方法、並びにプログラム |
WO2012124230A1 (ja) * | 2011-03-17 | 2012-09-20 | 日本電気株式会社 | 撮影装置、撮影方法、及びプログラム |
JP5958462B2 (ja) * | 2011-03-17 | 2016-08-02 | 日本電気株式会社 | 撮影装置、撮影方法、及びプログラム |
JP2015025727A (ja) * | 2013-07-26 | 2015-02-05 | 三菱電機株式会社 | 路面撮像装置 |
JP2015128261A (ja) * | 2013-12-27 | 2015-07-09 | 株式会社東芝 | 画像センサ |
KR102170691B1 (ko) | 2014-12-18 | 2020-10-27 | 한화테크윈 주식회사 | 감시용 카메라, 감시용 기록 장치, 및 감시 시스템 |
KR20160074231A (ko) * | 2014-12-18 | 2016-06-28 | 한화테크윈 주식회사 | 감시용 카메라, 감시용 기록 장치, 및 감시 시스템 |
US10511811B2 (en) | 2014-12-18 | 2019-12-17 | Hanwha Techwin Co., Ltd. | Surveillance camera, recording apparatus for surveillance, and surveillance system |
JP2017169076A (ja) * | 2016-03-17 | 2017-09-21 | セコム株式会社 | 飛行物体監視システム |
JP2022514115A (ja) * | 2018-10-17 | 2022-02-09 | グループ ロ-マン インク. | 家畜の監視 |
JP7274787B2 (ja) | 2018-10-17 | 2023-05-17 | グループ ロ-マン インク. | 家畜の監視 |
WO2022009506A1 (ja) | 2020-07-07 | 2022-01-13 | 株式会社 東芝 | 撮影装置 |
JP7017217B1 (ja) | 2021-08-12 | 2022-02-08 | 株式会社アジラ | 対象追跡装置 |
JP2023026003A (ja) * | 2021-08-12 | 2023-02-24 | 株式会社アジラ | 対象追跡装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2009027651A (ja) | 監視システム、監視カメラ、監視方法および監視プログラム | |
JP6350549B2 (ja) | 映像解析システム | |
US7884868B2 (en) | Image capturing element, image capturing apparatus, image capturing method, image capturing system, and image processing apparatus | |
CN108805198B (zh) | 图像处理方法、装置、计算机可读存储介质和电子设备 | |
KR100946749B1 (ko) | 영상인식 및 이미지의 학습 방법을 기반한 안개 감지 방법및 그 시스템 | |
US8878946B2 (en) | Image processing apparatus and control method therefor | |
US20090185784A1 (en) | Video surveillance system and method using ip-based networks | |
KR20170074076A (ko) | 능동형 교통 신호 제어 방법 및 그 시스템 | |
JP4600684B2 (ja) | 撮影装置及び撮影方法 | |
US8311280B2 (en) | Image processing apparatus and image processing method | |
CN103905731B (zh) | 一种宽动态图像采集方法及系统 | |
JP2011130271A5 (ja) | ||
JP2011130271A (ja) | 撮像装置および映像処理装置 | |
JP5544223B2 (ja) | 撮像装置 | |
JP2017229033A (ja) | 撮像装置およびその制御方法ならびにプログラム | |
US20200219234A1 (en) | Collating system, collating method, and camera device | |
JP5747105B2 (ja) | 画像処理装置 | |
CN108777769B (zh) | 相机曝光时间调整方法、装置及设备 | |
KR101375186B1 (ko) | 감시 카메라 교란 검출 방법 | |
WO2007079089A3 (en) | Method and system for automatically focusing an image being captured by an image capturing system | |
US20120188437A1 (en) | Electronic camera | |
JP4844073B2 (ja) | 撮像装置 | |
JP6780543B2 (ja) | 画像撮像システム及び画像撮像装置 | |
KR101546917B1 (ko) | 야간 영상 보정 제어 시스템 및 그 방법 | |
US9807311B2 (en) | Imaging apparatus, video data transmitting apparatus, video data transmitting and receiving system, image processing method, and program |