JP2023157034A - 監視システム及び監視方法 - Google Patents

Abstract

【課題】距離や形状を検知できるセンサを用いながらユーザのより的確な状況判断を可能とする監視システム及び監視方法を提供することを目的とする。【解決手段】距離と形状を検知できるセンサと、前記センサからの点群情報を取得し検知物体をあらかじめ定めた種別に識別する処理を行う識別処理手段と、前記識別処理手段により特定した検知物体の種別に対応した画像又はアニメーションを選択して前記検知物体の点群情報に対応する位置に重畳する処理を行う重畳処理手段とを備える。【選択図】図４

Description

本発明は、監視システム及び監視方法に関し、特に、距離や形状を検知できるセンサを用いた監視システム及び監視方法に関する。

対象物までの距離や形状を検知できるセンサとしてＬｉＤＡＲセンサが存在する。ＬｉＤＡＲセンサは、一般的に可視カメラでは物体を認識することは難しい夜間など著しく照度が低い環境下においても物体を認識することが可能である。ＬｉＤＡＲセンサは、物体の点群情報を取得し、その点群情報から物体を認識することが可能である。この場合、可視カメラと連携することができる。例えば、ＬｉＤＡＲセンサで検知した被写体に対して可視カメラの向きを制御する処理を行うことで、ＬｉＤＡＲで取得した点群情報に対して可視カメラの情報を確認できる。可視カメラが無ければ点群情報に基づき解析した文字などによる情報通知のみとなる。

また、特許文献１には、検知空間を含む撮影範囲について奥行き情報を含む距離画像を生成する距離画像センサ部と、検知空間内の所定の検知面に関して３次元空間上の空間位置情報を記憶する検知面設定部と、距離画像を、検知面の空間位置情報に基づいて選別することによって、「前記検知面から進入する検知対象」を検知する空間検知部と、空間検知部において検知された検知対象について検知情報を出力する出力部とを備えた空間検知システムが開示されている。

国際公開第２０２１／０５９３８５号

しかしながら、ＬｉＤＡＲセンサと可視カメラと連携した場合、可視カメラが不得意とする夜間撮影は被写体を適切に確認することができない場合が存在する。この場合、ユーザは、その状況判断を視覚的に確認することができないケースが生じる。そのため、外的要因による検知精度に影響が少ないＬｉＤＡＲセンサを採用しても、その結果を適切にユーザに伝えることができない。

また、特許文献１は、検知対象が所定の空間に入ったことを検知するための空間検知の技術を開示するが、上記と同様の課題が存在する。

本発明は、上記課題に鑑みて、距離や形状を検知できるセンサを用いながらユーザのより的確な状況判断を可能とする監視システム及び監視方法を提供することを目的とする。

上記目的を達成するため、代表的な本発明の監視システムの一つは、距離と形状を検知できるセンサと、前記センサからの点群情報を取得し検知物体をあらかじめ定めた種別に識別する処理を行う識別処理手段と、前記識別処理手段により特定した検知物体の種別に対応した画像又はアニメーションを選択して前記検知物体の点群情報に対応する位置に重畳する処理を行う重畳処理手段とを備えることを特徴とする。

さらに本発明の監視方法の一つは、コンピュータにより処理を行う監視方法であって、距離と形状を検知できるセンサからの点群情報を取得するステップと、前記取得した点群情報から検知物体をあらかじめ定めた種別に識別する処理を行うステップと、特定した検知物体の種別に対応した画像又はアニメーションを選択して前記検知物体の点群情報に対応する位置に重畳する処理を行うステップと、を有することを特徴とする。

本発明によれば、監視システム及び監視方法において、距離や形状を検知できるセンサを用いながらユーザのより的確な状況判断を可能とする。
上記以外の課題、構成及び効果は、以下の実施形態により明らかにされる。

図１は、本開示の実施形態による態様を実施するためのコンピュータシステムのブロック図である。 図２は、本発明の監視システムの一実施形態を示すブロック図を示す。 図３は、（Ａ）可視カメラの表示例と、（Ｂ）ＬｉＤＡＲセンサの点群表示例を示す。 図４は、本発明の監視システムのフローチャートの一例を示す。 図５は、本発明の監視システムの処理の流れの一例を示す。 図６は、本発明の監視システムの画像表示例を説明する図であり、（Ａ）は暗い状態での可視カメラの画像、（Ｂ）は遠距離位置で検知した場合、（Ｃ）は近距離位置で検知した場合を示す。

本発明を実施するための形態を説明する。

＜実施形態による態様を実施するためのコンピュータシステム＞
図１は、本開示の実施形態による態様を実施するためのコンピュータシステム１のブロック図である。本明細書で開示される様々な実施形態の機構及び装置は、任意の適切なコンピューティングシステムに適用されてもよい。コンピュータシステム１の主要コンポーネントは、１つ以上のプロセッサ２、メモリ４、端末インターフェース１２、ストレージインターフェース１４、Ｉ／Ｏ（入出力）デバイスインターフェース１６、及びネットワークインターフェース１８を含む。これらのコンポーネントは、メモリバス６、Ｉ／Ｏバス８、バスインターフェースユニット９、及びＩ／Ｏバスインターフェースユニット１０を介して、相互的に接続されてもよい。

コンピュータシステム１は、プロセッサ２と総称される１つ又は複数の処理装置２Ａ及び２Ｂを含んでもよい。各プロセッサ２は、メモリ４に格納された命令を実行し、オンボードキャッシュを含んでもよい。ある実施形態では、コンピュータシステム１は複数のプロセッサを備えてもよく、また別の実施形態では、コンピュータシステム１は単一の処理装置によるシステムであってもよい。処理装置としては、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｏｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等を適用できる。

ある実施形態では、メモリ４は、データ及びプログラムを記憶するためのランダムアクセス半導体メモリ、記憶装置、又は記憶媒体（揮発性又は不揮発性のいずれか）を含んでもよい。ある実施形態では、メモリ４は、コンピュータシステム１の仮想メモリ全体を表しており、ネットワークを介してコンピュータシステム１に接続された他のコンピュータシステムの仮想メモリを含んでもよい。メモリ４は、概念的には単一のものとみなされてもよいが、他の実施形態では、このメモリ４は、キャッシュおよび他のメモリデバイスの階層など、より複雑な構成となる場合がある。例えば、メモリは複数のレベルのキャッシュとして存在し、これらのキャッシュは機能毎に分割されてもよい。その結果、１つのキャッシュは命令を保持し、他のキャッシュはプロセッサによって使用される非命令データを保持する構成であってもよい。メモリは、いわゆるＮＵＭＡ（Ｎｏｎ－Ｕｎｉｆｏｒｍ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）コンピュータアーキテクチャのように、分散され、種々の異なる処理装置に関連付けられてもよい。

メモリ４は、本明細書で説明する機能を実施するプログラム、モジュール、及びデータ構造のすべて又は一部を格納してもよい。例えば、メモリ４は、潜在因子特定アプリケーション５０を格納していてもよい。ある実施形態では、潜在因子特定アプリケーション５０は、後述する機能をプロセッサ２上で実行する命令又は記述を含んでもよく、あるいは別の命令又は記述によって解釈される命令又は記述を含んでもよい。ある実施形態では、潜在因子特定アプリケーション５０は、プロセッサベースのシステムの代わりに、またはプロセッサベースのシステムに加えて、半導体デバイス、チップ、論理ゲート、回路、回路カード、および／または他の物理ハードウェアデバイスを介してハードウェアで実施されてもよい。ある実施形態では、潜在因子特定アプリケーション５０は、命令又は記述以外のデータを含んでもよい。ある実施形態では、カメラ、センサ、または他のデータ入力デバイス（図示せず）が、バスインターフェースユニット９、プロセッサ２、またはコンピュータシステム１の他のハードウェアと直接通信するように提供されてもよい。このような構成では、プロセッサ２がメモリ４及び潜在因子識別アプリケーションにアクセスする必要性が低減する可能性がある。

コンピュータシステム１は、プロセッサ２、メモリ４、表示システム２４、及びＩ／Ｏバスインターフェースユニット１０間の通信を行うバスインターフェースユニット９を含んでもよい。Ｉ／Ｏバスインターフェースユニット１０は、様々なＩ／Ｏユニットとの間でデータを転送するためのＩ／Ｏバス８と連結していてもよい。Ｉ／Ｏバスインターフェースユニット１０は、Ｉ／Ｏバス８を介して、Ｉ／Ｏプロセッサ（ＩＯＰ）又はＩ／Ｏアダプタ（ＩＯＡ）としても知られる複数のＩ／Ｏインターフェースユニット１２、１４、１６、及び１８と通信してもよい。表示システム２４は、表示コントローラ、表示メモリ、又はその両方を含んでもよい。表示コントローラは、ビデオ、オーディオ、又はその両方のデータを表示装置２６に提供することができる。また、コンピュータシステム１は、データを収集し、プロセッサ２に当該データを提供するように構成された１つまたは複数のセンサ等のデバイスを含んでもよい。例えば、コンピュータシステム１は、湿度データ、温度データ、圧力データ等を収集する環境センサ、及び加速度データ、運動データ等を収集するモーションセンサ等を含んでもよい。これ以外のタイプのセンサも使用可能である。表示メモリは、ビデオデータをバッファするための専用メモリであってもよい。表示システム２４は、単独のディスプレイ画面、テレビ、タブレット、又は携帯型デバイスなどの表示装置２６に接続されてもよい。ある実施形態では、表示装置２６は、オーディオをレンダリングするためスピーカを含んでもよい。あるいは、オーディオをレンダリングするためのスピーカは、Ｉ／Ｏインターフェースユニットと接続されてもよい。他の実施形態では、表示システム２４が提供する機能は、プロセッサ２を含む集積回路によって実現されてもよい。同様に、バスインターフェースユニット９が提供する機能は、プロセッサ２を含む集積回路によって実現されてもよい。

Ｉ／Ｏインターフェースユニットは、様々なストレージ又はＩ／Ｏデバイスと通信する機能を備える。例えば、端末インターフェースユニット１２は、ビデオ表示装置、スピーカテレビ等のユーザ出力デバイスや、キーボード、マウス、キーパッド、タッチパッド、トラックボール、ボタン、ライトペン、又は他のポインティングデバイス等のユーザ入力デバイスのようなユーザＩ／Ｏデバイス２０の取り付けが可能である。ユーザは、ユーザインターフェースを使用して、ユーザ入力デバイスを操作することで、ユーザＩ／Ｏデバイス２０及びコンピュータシステム１に対して入力データや指示を入力し、コンピュータシステム１からの出力データを受け取ってもよい。ユーザインターフェースは例えば、ユーザＩ／Ｏデバイス２０を介して、表示装置に表示されたり、スピーカによって再生されたり、プリンタを介して印刷されたりしてもよい。

ストレージインターフェース１４は、１つ又は複数のディスクドライブや直接アクセスストレージ装置２２（通常は磁気ディスクドライブストレージ装置であるが、単一のディスクドライブとして見えるように構成されたディスクドライブのアレイ又は他のストレージ装置であってもよい）の取り付けが可能である。ある実施形態では、ストレージ装置２２は、任意の二次記憶装置として実装されてもよい。メモリ４の内容は、ストレージ装置２２に記憶され、必要に応じてストレージ装置２２から読み出されてもよい。ネットワークインターフェース１８は、コンピュータシステム１と他のデバイスが相互的に通信できるように、通信経路を提供してもよい。この通信経路は、例えば、ネットワーク３０であってもよい。

図１に示されるコンピュータシステム１は、プロセッサ２、メモリ４、バスインターフェース９、表示システム２４、及びＩ／Ｏバスインターフェースユニット１０の間の直接通信経路を提供するバス構造を備えているが、他の実施形態では、コンピュータシステム１は、階層構成、スター構成、又はウェブ構成のポイントツーポイントリンク、複数の階層バス、平行又は冗長の通信経路を含んでもよい。さらに、Ｉ／Ｏバスインターフェースユニット１０及びＩ／Ｏバス８が単一のユニットとして示されているが、実際には、コンピュータシステム１は複数のＩ／Ｏバスインターフェースユニット１０又は複数のＩ／Ｏバス８を備えてもよい。また、Ｉ／Ｏバス８を様々なＩ／Ｏデバイスに繋がる各種通信経路から分離するための複数のＩ／Ｏインターフェースユニットが示されているが、他の実施形態では、Ｉ／Ｏデバイスの一部または全部が、１つのシステムＩ／Ｏバスに直接接続されてもよい。

ある実施形態では、コンピュータシステム１は、マルチユーザメインフレームコンピュータシステム、シングルユーザシステム、又はサーバコンピュータ等の、直接的ユーザインターフェースを有しない、他のコンピュータシステム（クライアント）からの要求を受信するデバイスであってもよい。他の実施形態では、コンピュータシステム１は、デスクトップコンピュータ、携帯型コンピュータ、ノートパソコン、タブレットコンピュータ、ポケットコンピュータ、電話、スマートフォン、又は任意の他の適切な電子機器であってもよい。

＜監視システムのブロック図＞
図２は、本発明の監視システムの一実施形態を示すブロック図を示す。

監視システム１００は、センサ１０１、スイッチ１０３、識別処理サーバ１０４、重畳処理サーバ１０５、監視端末１０６を備える。さらに、必要に応じて可視カメラ１０２を備えることができる。

センサ１０１は、距離や形状を検知できるセンサである。特に、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）センサを適用するとよい。ここで、ＬｉＤＡＲセンサは、レーザー光を照射し、物体に当たって跳ね返ってくるまでの時間を計測し、物体までの距離や方向を測定するものである。このとき、物体までの距離に加え、位置や形状も点群情報により検知することが可能である。センサ１０１は、検知精度の高い方が（点群の点の数が多いほど）よりよい。センサ１０１は、リアルタイムで測定を行い、１秒に複数回以上の測定結果が識別処理サーバ１０４に送信される。

センサ１０１は、監視したい場所やエリアに設置する。複数のセンサ１０１を備え、異なる場所に設置してもよい。また、複数のセンサ１０１により異なる方向からセンシングを行ってもよい。そして、センサ１０１により、本来その場所に存在しない物体や侵入者などを検知して発報させることを可能とする。

スイッチ１０３は、センサ１０１、可視カメラ１０２、識別処理サーバ１０４、重畳処理サーバ１０５、監視端末１０６の間に設置される。センサ１０１が検知した物体の情報はスイッチ１０３を介して識別処理サーバ１０４に送信される。さらに、識別処理サーバ１０４で処理した情報は、スイッチ１０３を介して重畳処理サーバ１０５に送信される。さらに、重畳処理サーバ１０５で処理した情報は、スイッチ１０３を介して監視端末１０６に送信される。また、必要に応じて、可視カメラ１０２が検知した物体の情報はスイッチ１０３を介して識別処理サーバ１０４もしくは重畳処理サーバ１０５もしくは監視端末１０６に送信される。ここで、これらの情報の送信は有線で行っても無線で行ってもよいし、インターネット等のネットワークを介してもよい。

識別処理サーバ１０４は、センサ１０１で検知した物体の情報をふまえて、物体認識を行う。ここでの処理はＡＩ（人工知能）を用いて行うことができる。例えば、センサ１０１からの物体の点群情報に基づいて、機械学習により得られた学習済みモデルを用いて行うことができる。このとき、例えば、ニューラルネットワークのモデル等を用いる。これにより、物体認識を行い、物体の種別を識別する。このときの物体の種別は、物体そのものの種類を判別する。さらに、物体の行動（状態）を判別してもよい。

重畳処理サーバ１０５は、識別処理サーバ１０４での物体の種別の識別に基づき、重畳処理を行う。ここでの重畳処理は、予め設定されている、その物体の種別に関連する画像情報等を重ね合わせる処理であり、具体例は後述する。そして、重畳した情報は、監視端末１０６に送信する。このときの送信は発報検知時に行ってもよい。また、画像情報等を重畳する際には識別処理サーバ１０４からの物体に関する検知距離や移動情報を元に画像情報等を最適な位置やサイズに変換して表示制御を行う。

識別処理サーバ１０４と重畳処理サーバ１０５は、連携することができ、これらは一体に構成してもよい。また、これらは、図１のコンピュータシステム１を適用できる。なお、識別処理サーバ１０４と重畳処理サーバ１０５のそれぞれは複数のサーバが連携して実現されていてもよい。

可視カメラ１０２は、レンズや絞りを介して撮像素子に入射光を結像して情報を得るカメラの構成を適用できる。ここでの撮像素子の例としては、ＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等があげられる。可視カメラ１０２は、映像として、例えば、１秒間に３フレーム（３ｆｐｓ）以上等で撮影する。可視カメラ１０２は、センサ１０１と同じ範囲を撮影するようにしてもよい。また、発報検知と同時に重畳処理サーバ１０５が可視カメラ１０２を発報ポイントに向けるように制御を行なってもよい。

監視端末１０６は、重畳処理サーバ１０５で処理した内容を表示することができる表示機能を備えている。ここでの表示機能、例えば、液晶ディスプレイや有機ＥＬ（ＯＬＥＤ）ディスプレイ等で構成することができる。監視端末１０６は、タッチパネルで構成してもよいし、キーボードやマウスなどの操作手段を付属していてもよい。監視端末１０６は、表示を切り替えることにより異なるセンサ１０１による結果を表示させる機能を有していてもよい。また、監視端末１０６は、図１のコンピュータシステム１を適用できる。

＜可視カメラとＬｉＤＡＲセンサの表示例＞
図３は、（Ａ）可視カメラの表示例と、（Ｂ）ＬｉＤＡＲセンサの点群表示例を示す。

図３では、同じ方向と大きさで検出した物体に対して、可視カメラとＬｉＤＡＲセンサの表示を比較している。図３（Ａ）は可視カメラによる表示であり、ここでは小動物である猫２０１をとらえている。図３（Ｂ）は、ＬｉＤＡＲセンサにより猫２０１を検出するが、複数の点による点群情報２０２として検出される。点群情報２０２は、同じ物体でも遠いほど点の物体上の点の数は少なくなり、近くなると物体上の点の数は多くなる特徴がある。また、ＬｉＤＡＲセンサの検知精度が高いと点群情報も多くなる。図３（Ｂ）では、点群情報２０２による解析結果は文字情報２０３として表示されている。ここでは、「発報中」であることと「小動物」であることが特定されている。

図３（Ｂ）のように、ＬｉＤＡＲセンサから出力される点群情報２０２をそのまま表示した場合、点の集合体の情報となる。このため、この点群情報２０２を見たユーザは、可視カメラで撮影された猫２０１のように、猫であることやその行動の状態を的確に判断することは難しい。このため、解析結果を点群情報２０２とは別に文字情報２０３などで画面に表示してユーザに状況を知らせる必要がある。しかしながら、ユーザが文字情報を確認する必要があり、加えて、対象物体が複数の場合もあるため、直感的に判断することはできない。

＜フローチャート＞
図４は、本発明の監視システムのフローチャートの一例を示す。

最初にステップＳ３０１では、センサ１０１から点群情報を取得する。点群情報の一例は図３に示した。また、取得した点群情報は、識別処理サーバ１０４に送られる。

次にステップＳ３０２では、点群情報の解析を行う。ここでの解析は、識別処理サーバ１０４により行われる。解析は、検知対象である物体を検知して、その物体の種別を特定する。

検知対象の物体の検知は、物体と識別できる点群情報のかたまりを検知して、このかたまりが所定の条件と比べて、異なる動きかどうかを判定して行うことができる。例えば、静止画像に対して移動物体が検知対象範囲に入って来た場合や、一定方向に物体が移動している状態に対して、逆方向等の異なる方向に物体が移動する場合等である。この場合に発報検知とすることができる。

検知対象の物体の種別の特定は、上述したようにＡＩを用いて行うことができ、物体のそのものの種類に加えて、物体の状態を判別してもよい。物体の種類は、例えば、人、動物、自転車、自動車等、目的とする監視に必要な種類を判別する。また、物体の状態は、人であれば、歩いている、走っている、座っている、かがんでいる等の行動等の状態であり、こちらも目的とする監視に必要な状態を判別する。これらの判別は、対象となる物体の点群情報の大きさ、形、反射率、移動状態（移動量）などに基づき判別することが可能である。

次にステップＳ３０３では、タグ付けを行う。タグ付けは、識別処理サーバ１０４により行われる。物体と識別できる点群情報のかたまりに対して、ステップＳ３０２で判別した物体の種別を特定してタグ付けを行う。例えば「物体の種類が人、物体の状態が歩いている状態」などである。物体の種類は、物体と識別できる点群情報のかたまりが移動した場合は、同じ物体としてのタグ付けを維持しておくようにしておく。また、物体の状態は、状況に応じてタグの情報を変化させてもよい。また、タグは監視に必要な種別のみをタグ付けすればよく、必要でないと判断される場合はタグ付けを行わなくてもよい。この場合はあらかじめ種別を登録しておくことで判定を行うことができる。このタグの登録は、監視端末１０６でユーザの操作により選択できるようにしておいてもよい。

次にステップＳ３０４では、画像等の重畳を行う。この処理は、重畳処理サーバ１０５によって行われる。重畳処理サーバ１０５は、物体と識別できる点群情報のかたまりに対して、そのタグに対応する画像又はアニメーションを選択して、この点群情報に対応する位置に重ねる。重ねることで、点群情報に画像又はアニメーションが薄く重ねられるか、点群情報が画像又はアニメーションに置き換わる。例えば、「物体の種類が人、物体の状態が歩いている状態」であれば、歩いている人の画像又はアニメーションを、対応する点群情報の上の位置に重畳する。画像又はアニメーションはタグの種類に応じて重畳処理サーバ１０５等にあらかじめ格納しておく。画像又はアニメーションは、その種別を人が視覚的に識別できる絵、写真、アニメーションなどである。また、重畳する画像又はアニメーションの大きさは、対応する点群情報の範囲に合わせて重畳する。その具体例には図６で後述する。

ここで、重畳のパターンは複数考えられる。１つめは、センサ１０１の画像に選択された画像又はアニメーションを重畳するパターンである。センサ１０１の画像は点群情報で表されるため、該当する物体の点群情報の部分に、点群情報の代わりに画像又はアニメーションが重畳される。この場合は、センサ１０１の画像を用いるため、加工処理の負荷が低減する。また、２つめは、センサ１０１の測定範囲に対応する静止画を用意しておき、静止画上の対応する位置に、選択された画像又はアニメーションを重畳するパターンである。この場合は、静止画が視覚的な背景画像なので、ユーザは状況をより認識しやすくなる。３つめは、センサ１０１の測定範囲に対応する可視カメラ１０２を用いる場合、可視カメラ１０２の画面上の対応する位置に、選択された画像又はアニメーションを重畳するパターンである。この場合は、センサ１０１と可視カメラ１０２の座標を合わせる等して、対応する位置を合わせることができる。これにより、暗い場合でも可視カメラ１０２の画像で発報中の物体を識別することが可能となる。

次にステップＳ３０５では、重畳したデータは重畳処理サーバ１０５から監視端末１０６に出力される。監視端末１０６では重畳した情報を表示機能に表示して、ユーザが確認できるようにする。

＜監視システムの処理の流れの一例＞
図５は、本発明の監視システムの処理の流れの一例を示す。図５では、人４０１と小動物４０２をセンサ１０１で検出した場合の例について説明している。なお、ここでは、物体の種類のみを考慮し、物体の状態は考慮しない例を示している。

人４０１であれば、まず、センサ１０１により、人４０１の部分の点群情報を取得する。次に識別処理サーバ１０４では、点群情報に基づき人と判断する。ここでの判断は、特定の距離に対する点群情報の数の多さや、全体の大きさ、移動スピード等をふまえて判断される。このため、所定時間の範囲内におけるセンサ１０１の点群情報が加味される。識別処理サーバ１０４で人と判断された場合は、タグを「人」とする。そして次に、重畳処理サーバ１０５では、タグの「人」に対応する画像Ａ（人の画像）を当該点群情報の位置に重畳する処理を行う。重畳したその情報は監視端末１０６で表示される。

小動物４０２であれば、まず、センサ１０１により、小動物４０２の部分の点群情報を取得する。次に識別処理サーバ１０４では、点群情報に基づき小動物と判断する。ここでの判断は、特定の距離に対する点群情報の数の少なさ、全体の大きさ、移動スピード等をふまえて判断される。このため、所定時間の範囲内におけるセンサ１０１の点群情報が加味される。識別処理サーバ１０４で小動物と判断された場合は、タグを「小動物」とする。そして次に、重畳処理サーバ１０５では、タグの「小動物」に対応する画像Ｂ（小動物の画像）を当該点群情報の位置に重畳する処理を行う。重畳したその情報は監視端末１０６で表示される。

＜監視システムの画像表示例＞
図６は、本発明の監視システムの画像表示例を説明する図であり、（Ａ）は暗い状態での可視カメラの画像、（Ｂ）は遠距離位置で検知した場合、（Ｃ）は近距離位置で検知した場合を示す。図６（Ａ）は、可視カメラ１０２による画像を監視端末１０６で表示した例である。図６（Ｂ）（Ｃ）は、重畳処理サーバ１０５から出力した情報を監視端末１０６で表示した例を示す。

図６（Ａ）に示すように、可視カメラの画像は暗い状態では、物体（ここでは人）を目視で確認することが難しい。このため、上記で説明したように、重畳処理サーバ１０５により検知対象物に対して画像情報などを重畳し、その情報を監視端末１０６の画面上に表示する。ここで、重畳する画像情報などを表示する際は被写体までの位置情報等から表示するサイズなども最適化して表示を行う。

最適化を行うことで、図６（Ｂ）のように、センサ１０１が物体を遠距離位置で検知した場合は、画像Ｃは小さく表示するように処理を行う。また、図６（Ｃ）のように、センサ１０１が物体を近距離位置で検知した場合は、画像Ｃを大きく表示するように処理を行う。

ここで最適化の方法としては次の方法があげられる。１つは、対象となる物体の点群の範囲により大きさを決める方法である。例えば、対象となる物体の点群の範囲が大きければその大きさに合わせて重畳する画像又はアニメーションの大きさを大きくする等である。もう１つは、センサ１０１は、物体までの距離を測れるセンサであるので、その距離に基づき遠近法で大きさを調整する方法である。また、これら２つの方法を組み合わせて最適化を行ってもよい。

また、物体が遠くにある場合は、センサ１０１が検知する点群の点の数が少ないため、種別を特定できない場合も存在する。その場合は、特定できないことを示す画像等の表示を重畳してもよい。例えば「？」のマークを重ねる等である。また、物体がセンサ１０１に近づき、点群の点の数が増加したため、物体の種別を特定できた時点で、それに対応する画像又はアニメーションを重畳することができる。

また、物体が近くにあるときに種別を特定して、それに対応する画像又はアニメーションを重畳した場合に、物体がセンサ１０１から遠くに離れていく場合について説明する。この場合は、途中で点群の点の数が減少して、その点群の情報からは、種別が特定できなくなる場合が存在する。このとき、その点群情報のかたまりが途切れずに連続して移動していると判断すれば、それまで重畳していた画像又はアニメーションを、その大きさを最適化しながら重畳したままとしてもよい。

＜作用＞
ユーザが可視カメラ１０２で監視可能な場合は監視端末１０６では可視カメラ１０２の映像を表示する。しかし、可視カメラ１０２で映像が見えない場合や可視カメラ１０２を備えていないシステムの場合は、上述した、センサ１０１に基づく情報を監視端末１０６の画面上に表示する。

また、条件によっては可視カメラ１０２の映像の上に画像又はアニメーションをオーバレイで表示することも可能とする。これは、図４のステップＳ３０４で説明した３つめの重畳のパターンである。このとき、周囲の明るさなどを検知して暗くなってきたら自動でモードが切り替わるようにしてもよい。また、夜間モードに切り替えるスイッチやスイッチ表示を設けて、ユーザの操作により切り替えてもよい。また、このとき、背景を明るく表示する、もしくは、昼等の明るい時間の背景を表示する機能が作用してもよい。

＜具体的な適用例＞
具体的な適用例について説明する。監視場所・対象エリアにＬｉＤＡＲセンサ等であるセンサ１０１を設置し、侵入者などの物体検知を行う。検知する条件は基本的にセンサ１０１からの点群情報から、物体の大きさや移動量、反射率といった各種パラメータから判断する。そして、識別処理サーバ１０４によるＡＩ処理により物体の判定を行う。ここでは、複数の条件を組合わせることで複数の物体認識・判断を行うことができる。例えば人や動物、車と言ったいくつかの分類を行う。分類についてはユーザの要望に合わせてあらかじめ定めた条件により適用する。

重畳処理サーバ１０５のアプリケーション上では発報検知と同時に画面上に分類された種別の画像等を表示する。検知物体が侵入者などの移動体の場合はその画像をアニメーション等により動かしたりしてもよい。また、検知距離や移動情報から判断して実際の物体に合わせて画像の表示サイズを変更する処理・制御を行なうことによりユーザに最適な情報を画面上に表示をしてもよい。

＜効果＞
以上のような実施形態により、センサ１０１からの点群情報から物体の検知・認識は識別処理サーバ１０４により判定され、重畳処理サーバ１０５で、画像等の情報を重畳する。このことで、物体の認識・判断が可能な状態で、その情報をユーザが利用する監視端末１０６に表示することが可能となる。一般的な監視カメラに慣れているユーザから見た場合、発報時に端末に表示されるのが文字情報だけではどうしても判断し難いが、上記構成により、ユーザに最適な情報を提供することが可能となる。また、重畳する画像等は、最適なサイズとすることで分かり易い表示とすることができる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

例えば、センサ１０１は、上述したＬｉＤＡＲセンサは長い距離の測定に適している。しかし、センサ１０１は距離や形状を検知できるセンサであればこれ以外に適用することができ、例えばＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）の方式を用いてもよい。

１…コンピュータシステム、２…プロセッサ、２Ａ、２Ｂ…処理装置、４…メモリ、６…メモリバス、８…Ｉ／Ｏバス、９…バスインターフェースユニット、１０…Ｉ／Ｏバスインターフェースユニット、１２…端末インターフェースユニット、１４…ストレージインターフェース、１６…Ｉ／Ｏデバイスインターフェース、１８…ネットワークインターフェース、２０…ユーザＩ／Ｏデバイス、２２…ストレージ装置、２４…表示システム、２６…表示装置、３０…ネットワーク、５０…潜在因子特定アプリケーション、１００…監視システム、１０１…センサ、１０２…可視カメラ、１０３…スイッチ、１０４…識別処理サーバ、１０５…重畳処理サーバ、１０６…監視端末、２０１…猫、２０２…点群情報、２０３…文字情報、４０１…人、４０２…小動物

Claims (10)

1. 距離と形状を検知できるセンサと、前記センサからの点群情報を取得し検知物体をあらかじめ定めた種別に識別する処理を行う識別処理手段と、前記識別処理手段により特定した検知物体の種別に対応した画像又はアニメーションを選択して前記検知物体の点群情報に対応する位置に重畳する処理を行う重畳処理手段とを備えることを特徴とする監視システム。
2. 請求項１に記載の監視システムにおいて、
   前記センサは、ＬｉＤＡＲセンサであることを特徴とする監視システム。
3. 請求項１に記載の監視システムにおいて、
   前記識別処理手段による検知物体の種別の識別は、あらかじめ定めた物体の種別に判別してその種別のタグ付けを行うことを特徴とする監視システム。
4. 請求項１に記載の監視システムにおいて、
   前記識別処理手段による検知物体の識別は、学習済みモデルを用いたＡＩを用いて行うことを特徴とする監視システム。
5. 請求項１に記載の監視システムにおいて、
   前記重畳処理手段は、前記センサからの点群情報の背景として、前記センサが検知する範囲と同じ範囲の背景画像を組み合わせることを特徴とする監視システム。
6. 請求項１に記載の監視システムにおいて、
   前記重畳処理手段は、前記検知物体の点群情報に重畳する前記画像又はアニメーションの大きさを、前記センサで取得した距離と、前記検知物体の点群情報の大きさ、の少なくとも１つを用いて最適化することを特徴とする監視システム。
7. 請求項１に記載の監視システムにおいて、
   前記重畳処理手段は、検知物体の点群情報のかたまりが途切れずに連続して移動していると判断すれば、それまで重畳していた前記画像又はアニメーションを、大きさを最適化しながら重畳したままとする処理を行うことを特徴とする監視システム。
8. 請求項１に記載の監視システムにおいて、
   監視端末を備え、前記重畳処理手段は、前記画像又はアニメーションを前記検知物体の点群情報に重畳した情報を前記監視端末に出力することを特徴とする監視システム。
9. 距離と形状を検知できるセンサと、前記センサの検知範囲を撮影する可視カメラと、前記センサからの点群情報を取得し検知物体をあらかじめ定めた種別に識別する識別処理手段と、前記識別処理手段により特定した検知物体の種別に対応した画像又はアニメーションを選択して、前記検知物体の点群情報の位置に対応する前記可視カメラの画像の位置に重畳する重畳処理手段とを備えることを特徴とする監視システム。
10. コンピュータにより処理を行う監視方法であって、
    距離と形状を検知できるセンサからの点群情報を取得するステップと、
    前記取得した点群情報から検知物体をあらかじめ定めた種別に識別する処理を行うステップと、
    特定した検知物体の種別に対応した画像又はアニメーションを選択して前記検知物体の点群情報に対応する位置に重畳する処理を行うステップと、を有することを特徴とする監視方法。

Images