JP2019208197A - 監視装置、監視プログラム、記憶媒体、および、監視方法 - Google Patents

監視装置、監視プログラム、記憶媒体、および、監視方法 Download PDF

Info

Publication number
JP2019208197A
JP2019208197A JP2018221751A JP2018221751A JP2019208197A JP 2019208197 A JP2019208197 A JP 2019208197A JP 2018221751 A JP2018221751 A JP 2018221751A JP 2018221751 A JP2018221751 A JP 2018221751A JP 2019208197 A JP2019208197 A JP 2019208197A
Authority
JP
Japan
Prior art keywords
monitoring
information
monitoring device
event
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018221751A
Other languages
English (en)
Inventor
良幸 長尾
Yoshiyuki Nagao
良幸 長尾
昌康 佐藤
Masayasu Sato
昌康 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Computer System Kenkyusho Kk
Computer System Technology Co Ltd
Original Assignee
Computer System Kenkyusho Kk
Computer System Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Computer System Kenkyusho Kk, Computer System Technology Co Ltd filed Critical Computer System Kenkyusho Kk
Publication of JP2019208197A publication Critical patent/JP2019208197A/ja
Priority to JP2023020503A priority Critical patent/JP7406746B2/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Alarm Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

【課題】CAD情報に基づき、飛行ルートを設定するドローンを用いた監視装置を提供する。【解決手段】監視装置(MOS3)は、移動監視装置(MM1)とサーバ(SV3)とを含む。移動監視装置(MM1)は、画像を撮像する撮像部(CM1〜CM3)と、自装置を移動させる駆動部と、移動監視装置の位置を取得する取得部と、移動監視装置の位置と、当該位置における画像とを含む、監視情報を無線または有線の通信手段を介して、サーバに送信する通信部(COM)とを有する。サーバ(SV3)は、当該位置における画像を含む前記監視情報を受信する通信部(COM)と、監視対象の監視事象を設定する監視事象設定部(MES)と、監視事象が、発生しているか否かを監視する監視部(MON)と、前記監視事象が発生したとき、警報を出力する出力部(OUT)とを有する。【選択図】図14

Description

本発明は、監視装置、監視プログラム、記憶媒体、および、監視方法に関し、特に、移動監視装置(ドローンなど)を用いた監視装置、監視プログラム、記憶媒体、および、監視方法に関するものである。
監視カメラは、従来から利用されてきたが、インターネット回線の普及によってネットワークに接続され、遠隔のサーバで監視するような運用が多くなりつつある。また、カメラの画素数も多くなり、録画された画像を事後的に解析して、事故や犯罪の認識が可能となった。このような監視カメラの現状であるが、最も多い利用形態は、建物に無人の監視カメラを設置し、遠隔地において、警備会社などの防犯係員が監視カメラの映像を監視して、防犯に役立てるものである。防犯係員は、監視カメラの多数の画像を多数の表示装置で実際に観察して、疑わしい対象(不審者や不審物)を認識し、必要であれば、警備員を派遣したり、不審者に警告したりしている。
しかしながら、防犯係員は、様々な場所、様々な建物を映す監視カメラの画像を見ることになるが、近年、テロや犯罪などもあり、監視カメラの設置は急激に増加しているが、このような状況は、監視する防犯係員の負担を増加させ、監視ミスを誘発させている。
他方、ドローンと称する小型飛翔体の制御技術が急速に向上し、室内であれば、相当精度よく安定させて飛行させることが可能となってきている。また、ドローンは、小型のカメラを搭載させ、無線による操縦や、自律的にプログラムされたルートを飛行させることが可能である。このようなドローンを用いた監視システムが実用化すれば、低コストで安全に監視することが可能となるが、そのようなシステムはまだ開発されていない。
監視カメラの自動化の従来技術として、画像処理装置、画像処理システム及びプログラム(特許文献1を参照されたい。)がある。これは、「監視領域の全景画像内に注視領域を設定し、画像解析手段により、設定した注視領域の画像を解析して移動体を検出し、検出に基づきカメラ部のズームカメラを作動して上記移動体を撮影する。その際、注視部分画像に全景画像との空間的な関係情報と、注視部分画像の全景画像における時間軸上の遷移を示す時間的な関係情報を作成し、注視部分画像に前記各関係情報を付与して画像記憶部に記憶させる。検索時には、上記各関係情報を用いて、全景画像及び注視部分画像を検索して両画像を重ねて表示部に表示する。」といった技術である。
特開2010-233185号公報
上記の従来技術は、監視領域を設定した後で、その監視領域内での移動体を不審な対象としてズームさせて撮影するものである。これは、不審者を自動追尾してズームする技術であるが、「監視領域の自動設定」はできない。また、監視領域が広い場合や監視領域に複数の移動体が入った場合には、高速な演算装置でなければ処理が間に合わなくなり、不審な対象の捕捉が不可能になるなどのデメリットがある。
このように、監視カメラの自動化の技術は発展してきたが、監視対象の識別、特定、認証といった技術は、いまだ実用化レベルには達していない。
さらに、監視カメラをドローンなどの移動器機に搭載する試みはあるが、建物内において、監視行動を行うためにドローンの飛行ルートを設定するような技術は開発されていない。特に、建物内では、GPS信号が届かないため、GPS信号を利用したプログラムされた自律航行ができないといった問題がある。さらに、ドローンを使えば、人件費の大幅な削減になり、さらに、危険な場所、人が長時間出入りするのに困難な場所でも、ドローンを活用するのに適している。また、ドローンに限らず、屋内の移動監視装置は、人件費の大幅な削減になり、さらに、危険な場所、人が長時間出入りするのに困難な場所でも、活用するのに適している。
そこで、本発明の目的は、特に、CAD情報に基づき、飛行ルートを設定するドローンを用いた監視装置、監視プログラム、記憶媒体、および、監視方法を提供することである。
また、本発明の他の目的は、移動監視装置を用いた監視装置、監視プログラム、記憶媒体、および、監視方法を提供することである。
上述した諸課題を解決すべく、第1の発明による監視装置は、
ドローンとサーバとを含む監視装置であって、
前記ドローンが、
飛行中に画像を撮像する撮像部と、
飛行ルートと位置指標配置情報とを受信する通信部と、
前記位置指標配置情報に基づき、自装置の位置を認識しながら、前記飛行ルートに沿って、自装置の飛行を制御する制御部と、
前記画像に監視事象が発生しているか否かを監視する監視部と、
監視事象が発生したとき、該監視事象が発生した位置と、発生時の画像とを含む警報を前記通信部または他の通信手段を介して、前記サーバに出力(送信)する出力部と、
を有し、
前記サーバが、
建物のCAD情報と、位置指標配置情報と、前記建物に配置された、監視対象の設置物(鶏舎のケージ、机、椅子、機材、など)のレイアウト情報と、を取得する取得部と、
監視対象の設置物を監視するための前記建物内の前記ドローンの飛行ルートを設定する、或いは、前記飛行ルートの入力を受け付ける、飛行ルート設定部と、
監視対象の監視事象(異常イベント、侵入者、火事、死亡、特定動作、など)を設定する監視事象設定部と、
前記飛行ルートと、前記位置指標配置情報と、監視事象を前記ドローンに送信し、前記ドローンから、監視事象が発生した位置と、発生時の画像とを含む警報を受信する通信部と、
を有する、
ことを特徴とする。
また、第2の発明による監視装置は、
ドローンとサーバとを含む監視装置であって、
前記ドローンが、
飛行中に画像を撮像する撮像部と、
飛行ルートと位置指標配置情報とを受信する通信部と、
前記位置指標配置情報に基づき、自装置の位置を認識しながら、前記飛行ルートに沿って、自装置の飛行を制御する制御部と、
前記画像に監視事象が発生しているか否かを監視する監視部と、
監視事象が発生したとき、飛行速度を減速させるか、または、空中停止させるように前記制御部を制御し、所定の時間以上、監視事象が継続した場合に監視事象の発生を確定し、該監視事象が発生した位置と、発生時の画像とを含む警報を前記通信部または他の通信手段を介して、前記サーバに出力(送信)する出力部と、
を有し、
前記サーバが、
建物のCAD情報と、位置指標配置情報と、前記建物に配置された、監視対象の設置物(鶏舎のケージ、机、椅子、機材、など)のレイアウト情報と、を取得する取得部と、
監視対象の設置物を監視するための前記建物内の前記ドローンの飛行ルートを設定する、或いは、前記飛行ルートの入力を受け付ける、飛行ルート設定部と、
監視対象の監視事象(異常イベント、侵入者、火事、死亡、特定動作、など)を設定する監視事象設定部と、
前記飛行ルートと、前記位置指標配置情報と、監視事象を前記ドローンに送信し、前記ドローンから、監視事象が発生した位置と、発生時の画像とを含む警報を受信する通信部と、
を有する、
ことを特徴とする。
また、第3の発明による監視装置は、
ドローンとサーバとを含む監視装置であって、
前記ドローンが、
飛行中に画像を撮像する撮像部と、
飛行ルートと位置指標配置情報とを受信する通信部と、
前記位置指標配置情報に基づき、自装置の位置を認識しながら、前記飛行ルートに沿って、自装置の飛行を制御する制御部と、
前記画像に監視事象が発生しているか否かを監視する監視部と、
監視事象が発生したとき、監視事象の対象物(例えば、火事の煙、死んだ鶏)の温度を計測し(赤外線カメラ機能、または、前記撮像部が赤外線カメラ機能を含む)、所定の温度以下の場合に、監視事象の発生を確定し、該監視事象が発生した位置と、発生時の画像とを含む警報を前記通信部または他の通信手段を介して、前記サーバに出力(送信)する出力部と、
を有し、
前記サーバが、
建物のCAD情報と、位置指標配置情報と、前記建物に配置された、監視対象の設置物(鶏舎のケージ、机、椅子、機材、など)のレイアウト情報と、を取得する取得部と、
監視対象の設置物を監視するための前記建物内の前記ドローンの飛行ルートを設定する、或いは、前記飛行ルートの入力を受け付ける、飛行ルート設定部と、
監視対象の監視事象(異常イベント、侵入者、火事、死亡、特定動作、など)を設定する監視事象設定部と、
前記飛行ルートと、前記位置指標配置情報と、監視事象を前記ドローンに送信し、前記ドローンから、監視事象が発生した位置と、発生時の画像とを含む警報を受信する通信部と、
を有する、
ことを特徴とする。
また、第4の発明による監視装置は、
ドローンとサーバとを含む監視装置であって、
前記ドローンが、
飛行中に画像を撮像する撮像部と、
飛行ルートと、位置指標配置情報と、監視事象顕著化情報(給餌情報(給餌の場所、時間など)、侵入者威嚇情報(警告音発生場所、時間など)など)と、を受信する通信部と、
前記位置指標配置情報、に基づき、自装置の位置を認識しながら、さらに前記監視事象顕著化情報にも基づき、前記飛行ルートに沿って、自装置の飛行を制御する制御部と、
前記画像に監視事象が発生しているか否かを監視する監視部と、
監視事象が発生したとき、該監視事象が発生した位置と、発生時の画像とを含む警報を前記通信部または他の通信手段を介して、前記サーバに出力(送信)する出力部と、
を有し、
前記サーバが、
建物のCAD情報と、位置指標配置情報と、前記建物に配置された、監視対象の設置物(鶏舎のケージ、机、椅子、機材、など)のレイアウト情報と、を取得する取得部と、
監視対象の設置物を監視するための前記建物内の前記ドローンの飛行ルートを設定する、或いは、前記飛行ルートの入力を受け付ける、飛行ルート設定部と、
監視対象の監視事象(異常イベント、侵入者、火事、死亡、特定動作、など)を設定する監視事象設定部と、
前記飛行ルートと、前記位置指標配置情報と、監視事象を前記ドローンに送信し、前記ドローンから、監視事象が発生した位置と、発生時の画像とを含む警報を受信する通信部と、
を有する、
ことを特徴とする。
また、第5の発明による監視装置(各種センサの活用)は、
ドローンとサーバとを含む監視装置であって、
前記ドローンが、
角速度を計測するジャイロセンサと、
加速度を計測する加速度センサと、
高度を計測する高度センサと、
飛行中に画像を撮像する撮像部と、
飛行ルートと位置指標配置情報とを受信する通信部と、
前記位置指標配置情報、前記角速度、前記加速度、前記高度、に基づき、自装置の位置を認識しながら、前記飛行ルートに沿って、自装置の飛行を制御する制御部と、
前記画像に監視事象が発生しているか否かを監視する監視部と、
監視事象が発生したとき、該監視事象が発生した位置と、発生時の画像とを含む警報を前記通信部または他の通信手段を介して、前記サーバに出力(送信)する出力部と、
を有し、
前記サーバが、
建物のCAD情報と、位置指標配置情報と、前記建物に配置された、監視対象の設置物(鶏舎のケージ、机、椅子、機材、など)のレイアウト情報と、を取得する取得部と、
監視対象の設置物を監視するための前記建物内の前記ドローンの飛行ルートを設定する、或いは、前記飛行ルートの入力を受け付ける、飛行ルート設定部と、
監視対象の監視事象(異常イベント、侵入者、火事、死亡、特定動作、など)を設定する監視事象設定部と、
前記飛行ルートと、前記位置指標配置情報と、監視事象を前記ドローンに送信し、前記ドローンから、監視事象が発生した位置と、発生時の画像とを含む警報を受信する通信部と、
を有する、
ことを特徴とする。
また、第6の発明による監視装置(鶏舎監視)は、
鶏舎監視のためのドローンとサーバとを含む監視装置であって、
前記ドローンが、
角速度を計測するジャイロセンサと、
加速度を計測する加速度センサと、
高度を計測する高度センサと、
飛行中に画像を撮像する撮像部と、
飛行ルートと位置指標配置情報とを受信する通信部と、
前記位置指標配置情報、前記角速度、前記加速度、前記高度、に基づき、自装置の位置を認識しながら、前記飛行ルートに沿って、自装置の飛行を制御する制御部と、
画像認識技術を用いて、前記画像内の鶏を個別に捕捉し、監視事象が発生しているか否かを監視する監視部と、
監視事象が発生したとき、該監視事象が発生した位置と、発生時の画像とを含む警報を前記通信部または他の通信手段を介して、前記サーバに出力(送信)する出力部と、
を有し、
前記サーバが、
建物のCAD情報と、位置指標配置情報と、前記建物に配置された、監視対象の設置物(鶏舎のケージ)のレイアウト情報と、を取得する取得部と、
監視対象の設置物にいる鶏を監視するための前記建物内の前記ドローンの飛行ルートを設定する、或いは、前記飛行ルートの入力を受け付ける、飛行ルート設定部と、
監視対象の監視事象(鶏が動かない、など)を設定する監視事象設定部と、
前記飛行ルートと、前記位置指標配置情報と、前記監視事象とを前記ドローンに送信し、前記ドローンから、監視事象が発生した位置と、発生時の画像とを含む警報を受信する通信部と、
を有する、
ことを特徴とする。
また、第7の発明による監視装置(サーバによる監視型、ドローンは単なる撮像装置)は、
ドローンとサーバとを含む監視装置であって、
前記ドローンが、
飛行中に画像を撮像する撮像部と、
飛行ルートと位置指標配置情報とを受信する通信部と、
前記位置指標配置情報に基づき、自装置の位置を認識しながら、前記飛行ルートに沿って、自装置の飛行を制御する制御部と、
を有し、
前記通信部が、
自装置の位置と、前記画像とを前記サーバに送信し、
前記サーバが、
建物のCAD情報と、位置指標配置情報と、前記建物に配置された、監視対象の設置物(鶏舎のケージ、机、椅子、機材、など)のレイアウト情報と、を取得する取得部と、
監視対象の設置物を監視するための前記建物内の前記ドローンの飛行ルートを設定する、或いは、前記飛行ルートの入力を受け付ける、飛行ルート設定部と、
監視対象の監視事象(異常イベント、侵入者、火事、死亡、特定動作、など)を設定する監視事象設定部と、
前記飛行ルートと、前記位置指標配置情報と、監視事象を前記ドローンに送信し、前記ドローンから、前記自装置の位置と、前記画像とを受信する通信部と、
前記画像に監視事象が発生しているか否かを監視する監視部と、
監視事象が発生したとき、該監視事象が発生した位置と、発生時の画像とを含む警報を出力(送信)する出力部と、
を有する、
ことを特徴とする。
上述したように本発明の解決手段を装置として説明してきたが、本発明はこれらに実質的に相当する方法、プログラム、プログラムを記録した記憶媒体としても実現し得るものであり、本発明の範囲にはこれらも包含されるものと理解されたい。なお、下記の方法やプログラムの各ステップは、データの処理においては必要に応じて、CPU、DSPなどの演算処理装置を使用するものであり、入力したデータや加工・生成したデータなどを磁気テープ、HDD、メモリなどの記憶装置に格納するものである。
例えば、本発明をプログラムとして実現させた第8の発明による監視プログラムは、
1つまたは複数の演算処理装置を第1〜7のいずれかの発明に記載の監視装置として機能させる監視プログラムである。
また、例えば、本発明を記憶媒体として実現させた第9の発明による記憶媒体は、
第8の発明に記載の監視プログラムを格納したコンピュータ可読な記憶媒体である。
また、例えば、本発明を方法として実現させた第10の発明による監視方法は、
ドローンとサーバとを用いた監視方法であって、
前記ドローンがが、飛行中に画像を撮像する撮像ステップと、
前記ドローンが、飛行ルートと位置指標配置情報とを受信する通信ステップと、
前記ドローンが、前記位置指標配置情報に基づき、自装置の位置を認識しながら、前記飛行ルートに沿って、自装置の飛行を制御する制御ステップと、
前記ドローンが、前記画像に監視事象が発生しているか否かを監視する監視ステップと、
前記ドローンが、監視事象が発生したとき、該監視事象が発生した位置と、発生時の画像とを含む警報を前記通信部または他の通信手段を介して、前記サーバに出力(送信)する出力ステップと、
を有し、
前記サーバが、建物のCAD情報と、位置指標配置情報と、前記建物に配置された、監視対象の設置物(鶏舎のケージ、机、椅子、機材、など)のレイアウト情報と、を取得する取得ステップと、
前記サーバが、監視対象の設置物を監視するための前記建物内の前記ドローンの飛行ルートを設定する、或いは、前記飛行ルートの入力を受け付ける、飛行ルート設定ステップと、
前記サーバが、監視対象の監視事象(異常イベント、侵入者、火事、死亡、特定動作、など)を設定する監視事象設定ステップと、
前記サーバが、前記飛行ルートと、前記位置指標配置情報と、監視事象を前記ドローンに送信し、前記ドローンから、監視事象が発生した位置と、発生時の画像とを含む警報を受信する通信ステップと、
を有する、
ことを特徴とする。
また、第11の発明による監視方法(空中停止)は、
ドローンとサーバとを用いた監視方法であって、
前記ドローンが、飛行中に画像を撮像する撮像ステップと、
前記ドローンが、飛行ルートと位置指標配置情報とを受信する通信ステップと、
前記位置指標配置情報に基づき、自装置の位置を認識しながら、前記飛行ルートに沿って、自装置の飛行を制御する制御ステップと、
前記ドローンが、前記画像に監視事象が発生しているか否かを監視する監視ステップと、
前記ドローンが、監視事象が発生したとき、飛行速度を減速させるか、または、空中停止させるように前記制御部を制御し、所定の時間以上、監視事象が継続した場合に監視事象の発生を確定し、該監視事象が発生した位置と、発生時の画像とを含む警報を前記通信部または他の通信手段を介して、前記サーバに出力(送信)する出力ステップと、
前記サーバが、建物のCAD情報と、位置指標配置情報と、前記建物に配置された、監視対象の設置物(鶏舎のケージ、机、椅子、機材、など)のレイアウト情報と、を取得する取得ステップと、
前記サーバが、監視対象の設置物を監視するための前記建物内の前記ドローンの飛行ルートを設定する、或いは、前記飛行ルートの入力を受け付ける、飛行ルート設定ステップと、
前記サーバが、監視対象の監視事象(異常イベント、侵入者、火事、死亡、特定動作、など)を設定する監視事象設定ステップと、
前記サーバが、前記飛行ルートと、前記位置指標配置情報と、監視事象を前記ドローンに送信し、前記ドローンから、監視事象が発生した位置と、発生時の画像とを含む警報を受信する通信ステップと、
を有する、
ことを特徴とする。
また、第12の発明による監視方法(温度計測)は、
ドローンとサーバとを用いた監視方法であって、
前記ドローンが、飛行中に画像を撮像する撮像ステップと、
前記ドローンが、飛行ルートと位置指標配置情報とを受信する通信ステップと、
前記ドローンが、前記位置指標配置情報に基づき、自装置の位置を認識しながら、前記飛行ルートに沿って、自装置の飛行を制御する制御ステップと、
前記ドローンが、前記画像に監視事象が発生しているか否かを監視する監視ステップと、
前記ドローンが、監視事象が発生したとき、監視事象の対象物(例えば、火事の煙、死んだ鶏)の温度を計測し(赤外線カメラ機能、または、前記撮像部が赤外線カメラ機能を含む)、所定の温度以下(または以上)の場合に、監視事象の発生を確定し、該監視事象が発生した位置と、発生時の画像とを含む警報を前記通信部または他の通信手段を介して、前記サーバに出力(送信)する出力ステップと、
前記サーバが、建物のCAD情報と、位置指標配置情報と、前記建物に配置された、監視対象の設置物(鶏舎のケージ、机、椅子、機材、など)のレイアウト情報と、を取得する取得ステップと、
前記サーバが、監視対象の設置物を監視するための前記建物内の前記ドローンの飛行ルートを設定する、或いは、前記飛行ルートの入力を受け付ける、飛行ルート設定ステップと、
前記サーバが、監視対象の監視事象(異常イベント、侵入者、火事、死亡、特定動作、など)を設定する監視事象設定ステップと、
前記サーバが、前記飛行ルートと、前記位置指標配置情報と、監視事象を前記ドローンに送信し、前記ドローンから、監視事象が発生した位置と、発生時の画像とを含む警報を受信する通信ステップと、
を有する、
ことを特徴とする。
また、第13の発明による監視方法(顕著化情報の活用)は、
ドローンとサーバとを用いた監視方法であって、
前記ドローンが、飛行中に画像を撮像する撮像ステップと、
前記ドローンが、飛行ルートと、位置指標配置情報と、監視事象顕著化情報(給餌情報(給餌の場所、時間など)、侵入者威嚇情報(警告音発生場所、時間など)など)と、を受信する通信ステップと、
前記ドローンが、前記位置指標配置情報、に基づき、自装置の位置を認識しながら、さらに前記監視事象顕著化情報にも基づき、前記飛行ルートに沿って、自装置の飛行を制御する制御ステップと、
前記ドローンが、前記画像に監視事象が発生しているか否かを監視する監視ステップと、
前記ドローンが、監視事象が発生したとき、該監視事象が発生した位置と、発生時の画像とを含む警報を前記通信部または他の通信手段を介して、前記サーバに出力(送信)する出力ステップと、
を有し、
前記サーバが、建物のCAD情報と、位置指標配置情報と、前記建物に配置された、監視対象の設置物(鶏舎のケージ、机、椅子、機材、など)のレイアウト情報と、を取得する取得ステップと、
前記サーバが、監視対象の設置物を監視するための前記建物内の前記ドローンの飛行ルートを設定する、或いは、前記飛行ルートの入力を受け付ける、飛行ルート設定ステップと、
前記サーバが、監視対象の監視事象(異常イベント、侵入者、火事、死亡、特定動作、など)を設定する監視事象設定ステップと、
前記サーバが、前記飛行ルートと、前記位置指標配置情報と、監視事象を前記ドローンに送信し、前記ドローンから、監視事象が発生した位置と、発生時の画像とを含む警報を受信する通信ステップと、
を有する、
ことを特徴とする。
また、第14の発明による監視方法(各種センサの活用)は、
ドローンとサーバとを用いた監視方法であって、
前記ドローンが、
角速度を計測するジャイロセンサと、
加速度を計測する加速度センサと、
高度を計測する高度センサと、
を有し、
前記ドローンが、飛行中に画像を撮像する撮像ステップと、
前記ドローンが、飛行ルートと位置指標配置情報とを受信する通信ステップと、
前記ドローンが、前記位置指標配置情報、前記角速度、前記加速度、前記高度、に基づき、自装置の位置を認識しながら、前記飛行ルートに沿って、自装置の飛行を制御する制御ステップと、
前記ドローンが、前記画像に監視事象が発生しているか否かを監視する監視ステップと、
前記ドローンが、監視事象が発生したとき、該監視事象が発生した位置と、発生時の画像とを含む警報を前記通信部または他の通信手段を介して、前記サーバに出力(送信)する出力ステップと、
を有し、
前記サーバが、建物のCAD情報と、位置指標配置情報と、前記建物に配置された、監視対象の設置物(鶏舎のケージ、机、椅子、機材、など)のレイアウト情報と、を取得する取得ステップと、
前記サーバが、監視対象の設置物を監視するための前記建物内の前記ドローンの飛行ルートを設定する、或いは、前記飛行ルートの入力を受け付ける、飛行ルート設定ステップと、
前記サーバが、監視対象の監視事象(異常イベント、侵入者、火事、死亡、特定動作、など)を設定する監視事象設定ステップと、
前記サーバが、前記飛行ルートと、前記位置指標配置情報と、監視事象を前記ドローンに送信し、前記ドローンから、監視事象が発生した位置と、発生時の画像とを含む警報を受信する通信ステップと、
を有する、
ことを特徴とする。
また、第15の発明による監視方法(鶏舎監視)は、
ドローンとサーバとを用いた監視方法であって、
前記ドローンが、
角速度を計測するジャイロセンサと、
加速度を計測する加速度センサと、
高度を計測する高度センサと、
前記ドローンが、飛行中に画像を撮像する撮像ステップと、
前記ドローンが、飛行ルートと位置指標配置情報とを受信する通信ステップと、
前記ドローンが、前記位置指標配置情報、前記角速度、前記加速度、前記高度、に基づき、自装置の位置を認識しながら、前記飛行ルートに沿って、自装置の飛行を制御する制御ステップと、
前記ドローンが、画像認識技術を用いて、前記画像内の鶏を個別に捕捉し、監視事象が発生しているか否かを監視する監視ステップと、
前記ドローンが、監視事象が発生したとき、該監視事象が発生した位置と、発生時の画像とを含む警報を前記通信部または他の通信手段を介して、前記サーバに出力(送信)する出力ステップと、
を有し、
前記サーバが、建物のCAD情報と、位置指標配置情報と、前記建物に配置された、監視対象の設置物(鶏舎のケージ)のレイアウト情報と、を取得する取得ステップと、
前記サーバが、監視対象の設置物にいる鶏を監視するための前記建物内の前記ドローンの飛行ルートを設定する、或いは、前記飛行ルートの入力を受け付ける、飛行ルート設定ステップと、
前記サーバが、監視対象の監視事象(鶏が動かない、など)を設定する監視事象設定ステップと、
前記サーバが、前記飛行ルートと、前記位置指標配置情報と、前記監視事象とを前記ドローンに送信し、前記ドローンから、監視事象が発生した位置と、発生時の画像とを含む警報を受信する通信ステップと、
を有する、
ことを特徴とする。
また、第16の発明による監視方法(サーバによる監視型、ドローンは単なる撮像装置)は、
ドローンとサーバとを用いた監視方法であって、
前記ドローンが、飛行中に画像を撮像する撮像ステップと、
前記ドローンが、飛行ルートと位置指標配置情報とを受信する通信ステップと、
前記ドローンが、前記位置指標配置情報に基づき、自装置の位置を認識しながら、前記飛行ルートに沿って、自装置の飛行を制御する制御ステップ部と、
を有し、
前記ドローンが、自装置の位置と、前記画像とを前記サーバに送信するステップと、
前記サーバが、建物のCAD情報と、位置指標配置情報と、前記建物に配置された、監視対象の設置物(鶏舎のケージ、机、椅子、機材、など)のレイアウト情報と、を取得する取得ステップと、
前記サーバが、監視対象の設置物を監視するための前記建物内の前記ドローンの飛行ルートを設定する、或いは、前記飛行ルートの入力を受け付ける、飛行ルート設定ステップと、
前記サーバが、監視対象の監視事象(異常イベント、侵入者、火事、死亡、特定動作、など)を設定する監視事象設定ステップと、
前記サーバが、前記飛行ルートと、前記位置指標配置情報と、監視事象を前記ドローンに送信し、前記ドローンから、前記自装置の位置と、前記画像とを受信する通信部と、
前記サーバが、前記画像に監視事象が発生しているか否かを監視する監視ステップと、
前記サーバが、監視事象が発生したとき、該監視事象が発生した位置と、発生時の画像とを含む警報を出力(送信)する出力ステップと、
を有する、
ことを特徴とする。
上述したように、ここまでは、移動監視装置として、ドローンを活用した態様で説明してきた。以下は、ドローンに限定せず、より一般的な移動監視装置として実現させた態様で説明する。
また、第17の発明による監視装置は、
移動監視装置とサーバとを含む監視装置であって、
前記移動監視装置が、
画像を撮像する撮像部と、
自装置を移動させる駆動部と、
前記移動監視装置の位置を取得する取得部と、
前記移動監視装置の位置と、当該位置における画像とを含む、監視情報を無線または有線の通信手段を介して、前記サーバに送信する通信部と、
を有し、
前記サーバが、
前記移動監視装置から、前記移動監視装置の位置と、当該位置における画像とを含む、前記監視情報を受信する通信部と、
監視対象の監視事象(異常イベント、侵入者、火事、死亡、病気、特定動作、など)を設定する監視事象設定部と、
前記画像において、設定された監視事象が、発生しているか否かを監視する監視部と、
前記監視事象が発生したとき、(当該画像と、当該位置とを含むことが好適である)警報を出力する出力部と、
を有する、
ことを特徴とする。
また、第18の発明による監視装置は、
前記移動監視装置が、
ガイドレールに移動可能に支持、載置、または、懸架され、かつ、該ガイドレールに沿ってガイドされるガイド部をさらに有し、
前記駆動部が、
前記ガイドレールに支持、載置、または、懸架されながら、該ガイドレールに沿って、自装置を移動させる、
ことを特徴とする。
また、第19の発明による監視装置は、
前記移動監視装置の前記駆動部が、
自走式である、
ことを特徴とする。
また、第20の発明による監視装置は、
前記サーバが、
多数の画像と、該画像の少なくとも一部に関連付けられた監視事象とを格納する記憶部と、
前記監視部が、
設定された監視事象が、発生しているか否かを監視するにあたって、AI技法を用いて、前記記憶部を参照して、前記設定された監視事象が、発生しているか否かを監視する、
ことを特徴とする。
また、第21の発明による監視装置は、
前記移動監視装置の前記通信部が、
監視事象顕著化情報(給餌情報(給餌の場所、時間など)、侵入者威嚇情報(警告音発生場所、時間など)など)をさらに受信し、
前記移動監視装置の前記駆動部が、
前記監視事象顕著化情報に基づき、自装置の移動を制御する、
ことを特徴とする。
また、第22の発明による監視装置は、
前記サーバの前記通信部が、
監視事象顕著化情報(給餌情報(給餌の場所、時間など)、侵入者威嚇情報(警告音発生場所、時間など)など)をさらに受信し、
前記サーバが、
前記監視事象顕著化情報に基づき、前記通信部を介して、前記移動監視装置の前記駆動部を制御して、前記移動監視装置を移動させる、
ことを特徴とする。
また、第23の発明による監視装置は、
前記監視事象顕著化情報が、
給餌情報(給餌の場所、時間など)、侵入者威嚇情報(警告光、警告振動、警告音発生場所、時間など)、臭い情報(監視対象の鶏などが嫌う、または、興奮する臭気など)、光情報(照明や屋内の照度、点滅、回転灯など)、開口部開閉情報(窓や換気扇の開閉など)、および、空調設定情報からなる群から選択される1つ以上のものである、
ことを特徴とする。
また、第24の発明による監視装置は、
前記移動監視装置が、
前記監視事象顕著化情報の状況を発生させる監視事象顕著化状況発生手段をさらに有する(例えば、光を発生する回転灯、音声を出すスピーカー、移動に伴い鶏舎と接触して振動と音を出す棒状部、給餌を開始させる信号出力部、照明や音声の出力を制御する制御信号出力部など)、
ことを特徴とする。
また、第25の発明による監視装置は、
前記移動監視装置が、
赤外線画像を撮像する赤外線カメラを、さらに有し、
前記移動監視装置の前記通信部が、
前記赤外線画像を、前記サーバにさらに送信し、
前記サーバの通信部が、
前記赤外線画像をさらに受信し、
前記サーバの監視部が、
前記監視事象が発生したとき、前記赤外線画像に基づき、監視事象の対象物(例えば、火事の煙、死んだ鶏)の温度を計測し、所定の温度と比較して(温度以下、温度以上など、)、監視事象の発生を確定する、
ことを特徴とする。
また、第26の発明による監視プログラムは、
1つまたは複数の演算処理装置を第17〜25の発明のいずれか1つに記載の監視装置として機能させる監視プログラムである。
また、第27の発明による記憶媒体は、
第26の発明に記載の監視プログラムを格納したコンピュータ可読な記憶媒体である。
また、第28の発明による監視方法は、
移動監視装置とサーバとを用いた監視方法であって、
前記移動監視装置が、画像を撮像する撮像ステップと、
自装置を移動させる駆動ステップと、
前記移動監視装置が、前記移動監視装置の位置を取得する取得ステップと、
前記移動監視装置が、前記移動監視装置の位置と、当該位置における画像とを含む、監視情報を無線または有線の通信手段を介して、前記サーバに送信する通信ステップと、
前記サーバが、前記移動監視装置から、前記移動監視装置の位置と、当該位置における画像とを含む、前記監視情報を受信する通信ステップと、
前記サーバが、監視対象の監視事象(異常イベント、侵入者、火事、死亡、病気、特定動作、など)を設定する監視事象設定ステップと、
前記サーバが、前記画像において、設定された監視事象が、発生しているか否かを監視する監視ステップと、
前記サーバが、前記監視事象が発生したとき、(当該画像と、当該位置とを含むことが好適である)警報を出力する出力ステップと、
を有する、
ことを特徴とする。
また、第29の発明による監視方法は、
前記移動監視装置が、ガイドレールに移動可能に支持、載置、または、懸架され、かつ、該ガイドレールに沿ってガイドされるガイドステップと、
前記移動監視装置が、前記ガイドレールに支持、載置、または、懸架されながら、該ガイドレールに沿って、自装置を移動させる駆動ステップと、
をさらに有する、
ことを特徴とする。
また、第30の発明による監視方法は、
前記移動監視装置が、自走式である、
ことを特徴とする。
また、第31の発明による監視方法は、
前記サーバが、多数の画像と、該画像の少なくとも一部に関連付けられた監視事象とを格納する記憶ステップと、
設定された監視事象が、発生しているか否かを監視するにあたって、AI技法を用いて、前記記憶部を参照して、前記設定された監視事象が、発生しているか否かを監視するステップと、
をさらに有する、ことを特徴とする。
また、第32の発明による監視方法は、
前記移動監視装置が、監視事象顕著化情報(給餌情報(給餌の場所、時間など)、侵入者威嚇情報(警告音発生場所、時間など)など)をさらに受信する通信ステップと、
前記移動監視装置が、前記監視事象顕著化情報に基づき、自装置の移動を制御する、制御ステップと、
をさらに有する、ことを特徴とする。
また、第33の発明による監視方法は、
前記サーバが、監視事象顕著化情報(給餌情報(給餌の場所、時間など)、侵入者威嚇情報(警告音発生場所、時間など)など)をさらに受信する受信ステップと、
前記サーバが、前記監視事象顕著化情報に基づき、前記通信部を介して、前記移動監視装置の前記駆動部を制御して、前記移動監視装置を移動させる、制御ステップと、
をさらに有する、ことを特徴とする。
また、第34の発明による監視方法は、
前記監視事象顕著化情報が、
給餌情報(給餌の場所、時間など)、侵入者威嚇情報(警告光、警告振動、警告音発生場所、時間など)、臭い情報(監視対象の鶏などが嫌う、または、興奮する臭気など)、光情報(照明や屋内の照度、点滅、回転灯など)、開口部開閉情報(窓や換気扇の開閉など)、および、空調設定情報からなる群から選択される1つ以上のものである、
ことを特徴とする。
また、第35の発明による監視方法は、
前記移動監視装置が、前記監視事象顕著化情報の状況を発生させる監視事象顕著化状況発生ステップをさらに有する(例えば、光を発生する回転灯、音声を出すスピーカー、移動に伴い鶏舎と接触して振動と音を出す棒状部、給餌を開始させる信号出力部、照明や音声の出力を制御する制御信号出力部など)、
ことを特徴とする。
また、第36の発明による監視方法は、
前記移動監視装置が、赤外線カメラを用いて、赤外線画像を撮像する赤外線撮像ステップを、さらに有し、
前記移動監視装置が、前記赤外線画像を、前記サーバにさらに送信する送信ステップと、
前記サーバが前記赤外線画像をさらに受信する受信ステップと、
前記サーバが、前記監視事象が発生したとき、前記赤外線画像に基づき、監視事象の対象物(例えば、火事の煙、死んだ鶏)の温度を計測し、所定の温度と比較して(温度以下、温度以上など、)、監視事象の発生を確定する、確定ステップと、
をさらに有する、ことを特徴とする。
また、上記の技法以外に、新たなに距離センサを用いた監視技法の発明を以下に挙げる。
第36の発明による監視装置は、
移動監視装置とサーバとを含む監視装置であって、
前記移動監視装置が、
画像を撮像する撮像部と、
距離情報を取得するセンサと、
前記移動監視装置の移動方向を定める識別情報(ガイドテープなど)を取得する取得部と、
前記識別情報に基づき自装置を移動させる駆動部と、
前記距離情報と前記画像とを含む、監視情報を無線または有線の通信手段を介して、前記サーバに送信する通信部と、
を有し、
前記サーバが、
監視事象を示すモデル変化パターン情報を格納する記憶部と、
前記移動監視装置から、前記距離情報と前記画像とを含む、前記監視情報を受信する通信部と、
前記モデル変化パターン情報と、前記距離情報の変化パターンとを比較して、監視事象(死亡、病気、座っている状態など)が発生しているか否かを監視する監視部と、
前記監視事象が発生したとき、(当該位置の画像と、当該位置とを含むことが好適である)警報を出力する出力部と、
を有する、
ことを特徴とする。
また、第37の発明による監視装置は、
移動監視装置とサーバとを含む監視装置であって、
前記移動監視装置が、
画像を撮像する撮像部と、
距離情報を取得するセンサと、
前記移動監視装置の移動方向を定める識別情報(ガイドテープなど)を取得する取得部と、
前記識別情報に基づき自装置を移動させる駆動部と、
前記距離情報と前記画像とを含む、監視情報を無線または有線の通信手段を介して、前記サーバに送信する通信部と、
を有し、
前記サーバが、
多数の距離の変化パターンを格納する記憶部と、
前記多数の距離の変化パターンと、該変化パターンの少なくとも一部に関連付けられた監視事象とに基づき学習されたAIエンジンと、
前記移動監視装置から、前記距離情報と前記画像とを含む、前記監視情報を受信する通信部と、を有し、
前記AIエンジンが、
前記距離情報の変化パターンに基づき、監視事象(死亡、病気、座っている状態など)が発生しているか否かを監視し、
前記サーバが、
前記監視事象が発生したとき、(当該位置の画像と、当該位置とを含むことが好適である)警報を出力する出力部、さらに有する、
ことを特徴とする。
また、第38の発明による監視装置は、
移動監視装置とサーバとを含む監視装置であって、
前記移動監視装置が、
画像を撮像する撮像部と、
第1距離情報を取得する第1センサと、
第2距離情報を取得する第2センサと、
前記移動監視装置の移動方向を定める識別情報(ガイドテープなど)を取得する取得部と、
前記識別情報に基づき自装置を移動させる駆動部と、
前記第1距離情報と、前記第2距離情報と、前記画像とを含む、監視情報を無線または有線の通信手段を介して、前記サーバに送信する通信部と、
を有し、
前記サーバが、
監視事象を示すモデル変化パターン情報を格納する記憶部と、
前記移動監視装置から、前記第1距離情報と、第2距離情報と、前記画像とを含む、前記監視情報を受信する通信部と、
前記第1距離情報と、第2距離情報の変化パターンとを比較して、各変化パターンから対象物(鶏など)の移動によって生じる成分を除外した除外変化パターンを生成するパターン生成部と、
前記モデル変化パターン情報と、前記除外変化パターンとを比較して、監視事象(死亡、病気、座っている状態など)が発生しているか否かを監視する監視部と、
前記監視事象が発生したとき、(当該位置の画像と、当該位置とを含むことが好適である)警報を出力する出力部と、
を有する、
ことを特徴とする。
また、第39の発明による監視プログラムは、
1つまたは複数の演算処理装置を第37〜38のいずれかの発明に記載の監視装置として機能させる監視プログラムである。
また、第40の発明による記憶媒体は、
第39の発明に記載の監視プログラムを格納したコンピュータ可読な記憶媒体である。
本発明によれば、CAD情報に基づき飛行ルートを設定するドローンを用いて監視作業をすることが可能となる。また、本発明によれば、移動監視装置を用いて、監視作業をすることが可能となる。
図1は、本発明の一実施態様による監視装置の概要を示すブロック図である。 図2は、図1に示した監視装置で実行される処理の一例を示すフローチャートである。 図3は、本装置のドローンの監視技法を説明する模式図である。 図4は、本装置のドローンの監視技法を説明する模式図である。 図5は、本装置における取得部の機能を説明する模式図である。 図6は、本装置における飛行ルート設定の機能を説明する模式図である。 図7は、監視事象(異常イベント)設定インターフェイスを示す図である。 図8は、本装置における飛行ルート設定の機能のうち高さ方向の設定機能について説明する模式図である。 図9は、本発明の一実施態様による監視装置の概要を示すブロック図である。 図10は、図9に示した監視装置で実行される処理の一例を示すフローチャートである。 図11は、監視部による監視の技法について説明する模式図である。 図12は、マップ状の警報情報を説明する模式図である。 図13は、マップ状の警報情報を説明する模式図である。 図14は、本発明の一実施態様による監視装置の概要を示すブロック図である。 図15は、図14に示した監視装置で実行される処理の一例を示すフローチャートである。 図16は、本装置の移動監視装置の監視技法を説明する模式図である。 図17は、本装置の移動監視装置の他の監視技法を説明する模式図である。 図18は、鶏舎に適用した場合の本装置の移動監視装置の監視技法を説明する模式図である。 図19は、監視事象顕著化状況発生手段を設けた本装置の移動監視装置の監視技法を説明する模式図である。 図20は、鶏舎に適用した場合の本装置の移動監視装置の監視技法を説明する模式図である。 図21は、鶏舎に適用した場合の本装置の移動監視装置の監視技法を説明する模式図である。 図22は、本発明の一実施態様による監視装置の概要を示すブロック図である。 図23は、図22に示した監視装置で実行される処理の一例を示すフローチャートである。 図24は、鶏舎に適用した場合の本装置の移動監視装置の監視技法を説明する模式図である。 図25は、本装置によるセンサの距離測定の例を示す図である。 図26は、本装置によるセンサの距離測定の例を示す図である。 図27は、本装置によるセンサの距離測定の波形処理例(数値処理例)を示す図である。 図28は、本装置によるセンサの距離測定の波形処理例(数値処理例)を示す図である。 図29は、本装置によるセンサの距離測定の波形処理例(数値処理例)を示す図である。 図30は、本装置によるセンサの距離測定の波形処理例(数値処理例)を示す図である。
以降、諸図面を参照しながら、本発明の実施態様を詳細に説明する。
<実施態様1>
図1は、本発明の一実施態様による監視装置の概要を示すブロック図である。図に示すように、監視装置MOS1は、ドローンDR1、DR2とサーバSV1とを含むものである。サーバSV1は、制御部(CPU、演算処理装置、プロセッサ)CON、入力部IN、出力部OUT、通信部COM、記憶部MEM、および、表示部DISを有する。ドローンDR2、特に指摘しない限りドローンDR1と同様の構成および機能を持つが、作図と説明の便宜上、一部の構成を省略してある。
ドローンDR1は、撮像部としてカメラCM1〜3、センサSNSR(気圧計、ジャイロセンサなど)、制御部CON(CPU、演算処理装置、プロセッサ)、通信部COM、監視部MON,出力部OUT、記憶部STRを有するが、さらに、入力部(図示せず)、および、表示部(図示せず)を有してもよい。カメラは、監視対象を撮影するものが2つと、天井などに設置した位置指標を撮影するもの1つを設けることが好適であるが、1つ、または、2つでその機能を兼ねてもよい。また、カメラは、夜間でも僅かな環境中の光で撮影可能な高性能な機種を使用することが好適である。さらに、カメラは赤外線を検知するものを別途設けたり、上記のものにその機能を搭載させたりして、監視対象の温度を検知して死んでいるか否かなどを検知してもよい。
ドローンDR1が、センサSNSRとして、自装置の位置を測定する位置測定部(図示せず、GPSなど)と、角速度を計測するジャイロセンサと、加速度を計測する加速度センサと、高度を計測する高度センサとを有する。
ドローンDR1は、
飛行中に画像を撮像する撮像部(カメラCM1〜3)と、
飛行ルートと位置指標配置情報とを受信する通信部COMと、
前記位置指標配置情報に基づき、自装置の位置を認識しながら、前記飛行ルートに沿って、自装置の飛行を制御する制御部CONと、
前記画像に監視事象が発生しているか否かを監視する監視部MONと、
監視事象が発生したとき、該監視事象が発生した位置と、発生時の画像とを含む警報を前記通信部または他の通信手段を介して、前記サーバに出力(送信)する出力部OUTと、を有する。
サーバSV1は、
建物のCAD情報と、位置指標配置情報と、前記建物に配置された、監視対象の設置物(鶏舎のケージ、机、椅子、機材、など)のレイアウト情報と、を取得する取得部ACQと、
監視対象の設置物を監視するための前記建物内の前記ドローンの飛行ルートを設定する、或いは、前記飛行ルートの入力を受け付ける、飛行ルート設定部FLSと、
監視対象の監視事象(異常イベント、侵入者、火事、死亡、特定動作、など)を設定する監視事象設定部MESと、
前記飛行ルートと、前記位置指標配置情報と、監視事象を前記ドローンに送信し、前記ドローンから、監視事象が発生した位置と、発生時の画像とを含む警報を受信する通信部COMと、
を有する。
なお、出力される警報は、電子メールの送信、警告音声の出力や送信、画像出力、監視員への警告、管理者への警告、警備会社や警察などへの通報などが好適である。
ネットワークNETを介して接続された建物情報サーバまたは記憶部MEMなどから、監視対象の建物のCAD情報を取得してもよい。CAD情報と、このCAD情報の空間座標系に対応した、または、対応させた、位置指標配置情報、前記建物に配置された、監視対象の設置物(鶏舎のケージ、机、椅子、機材、など)のレイアウト情報から、飛行ルートが設定される。表示部DISは、本装置に格納される情報や生成された情報を表示することができる。
サーバSV1の制御部に含まれる各機能部は、制御部のメモリ空間に読み込まれたプログラムモジュールによって実現することが好適である。また、ドローンは、制御部のメモリ空間に読み込まれたプログラムモジュールによって各機能部を実現したり、内蔵するGPSユニットやカメラユニットなどで各機能部を実現したりすることが可能である。通常、サーバは、記憶部或いはウェブサイトから、プロセッサを本装置の各部として機能させるソフトウェアをダウンロードして、PCにインストールして起動することで、PCが、本装置として動作する。なお、制御部に設けた各機能部は、機能上一定のまとまりのあるステップを1つにまとめたものに過ぎず、複数の機能部を1つの機能部にしたり、その一部を他の機能部に組み入れたり、他の独立した機能部に分割したりすることが可能である。
このように、生成・抽出した情報や中間データおよび取得したデータを外部に送信したり、表示部に表示したり、生成・抽出した情報や中間データおよび取得したデータなどを記憶部に格納したりすることは、後述する他の実態態様でも同様に可能であることに注意されたい。なお、本装置は、汎用コンピュータ、特定用途コンピュータ、サーバ、PC、スマートフォンなどの携帯端末などのコンピュータ、或いは、本装置の機能や処理手順(方法)をコンピュータ上で実現(実行)するプログラムモジュールをコンピュータが持つCPUや記憶部に保持したり、外部のサーバやストレージから読み込んだりすることで、コンピュータ上に本装置を構築することが好適であり、後続の各実施態様においても同様である。また、各機能部は、ネットワークで接続された別個のコンピュータや装置に分散させてもよい。また、複数の機能部を1つにしたり、処理ステップの一部を他の機能部にさせたりするような形態でもよい。さらに、本実施態様では、サーバとドローンを別個のものとして規定したが、ドローン内にサーバの各機能の一部または全てを含ませてもよい。
図2は、図1に示した監視装置で実行される処理の一例を示すフローチャートである。監視装置は、サーバSV1とドローンDR1の2つの装置が連携して処理を行う。他のサーバにある情報をサーバSV1が一旦格納しておけば、他のサーバとの連携は不要とすることも可能である。
ステップS11にて、建物のCAD情報を取得する。次にステップS12にて、前記CAD情報の空間座標系に対応した位置指標配置情報、および、前記建物に配置された、監視対象の設置物(鶏舎のケージ、机、椅子、機材、など)のレイアウト情報を取得する。続いて、ステップS13にて、監視対象の設置物を監視するための建物内のドローンの飛行ルートを設定する、或いは、前記飛行ルートの入力を受け付ける。そして、ステップS14にて、監視対象の監視事象(異常イベント、侵入者、火事、死亡、特定動作、など)を設定(入力を受け付けてもよい)する。
そして、ステップS15にて、位置指標で位置確認、および/または、ジャイロセンサおよび加速度センサ(またはGPS)を利用して位置確認しながら、ドローンを飛行ルートに沿って移動させる。この制御は、サーバ側で行ってもよいし、ドローン側で自律的に制御させてもよい。ステップS16にて、カメラで監視対象を撮影する。ステップS17にて、飛行ルートの終わりか否か、または、ドローンに搭載した電池の残量電力が不足している否かを判定する。判定条件を満たす場合は、ドローン基地に帰還する。判定条件を満たさない場合は、ステップS18に進む。
ステップS18にて、画像に異常イベント(監視事象)が発生しているか否かを判定する。異常イベントが発生していない場合は、ステップS15に戻り、飛行を続ける。異常イベントが発生している場合は、そのまま警報を発してもよいが、誤認識を少なくさせるために、ステップS18−1に進み、ドローンを空中停止(ホバリング)させるか、減速させて、当該異常イベントの画像の観察を続けることが好適である。そして、ステップS18−2にて、異常イベントの発生が継続していると判定した場合に、ステップS19にて、異常イベントの発生した位置、その時間の画像(映像を含む)を含む警報を出力する。ステップS18−2にて、異常イベントの発生が継続していないと判定した場合は、誤認識であると判断し警報は出さずに、ステップS15に戻り、飛行(監視)を続ける。ステップS19にて警報を出した後は、ステップS20に進み、ステップS17と同様に、飛行ルートの終わりか否か、または、ドローンに搭載した電池の残量電力が不足している否かを判定する。判定条件を満たす場合は、ドローン基地に帰還する。判定条件を満たさない場合は、ステップS15に戻り、飛行(監視)を続ける。
ちなみに、撮像は、継続的に行ってもよいが、通信量や処理量を低減するために、フレームを間引きしたり、静止画を数秒間隔で実施したりすることが好適である。
格納ステップは、一回実施しておけば、その情報が変更されるまでは再実施する必要はない。或いは、格納ステップは、当該情報を格納したROMやフラッシュメモリを装置やコンピュータに搭載することで不要となる。
図3は、本装置のドローンの監視技法を説明する模式図である。図に示すように、建物BLDの天井に設置された位置指標PI1〜4をカメラCM3で撮影して、当該指標に基づき、自装置の位置を認識する。位置指標は、位置指標配置情報の座標に配置されており、ドローンDR1は、位置指標で自装置の位置を認識しながら、飛行ルートFR1に沿って、位置指標PI1〜4を順次認識していきながら、自装置の飛行を制御する。位置指標は、蛍光部材や文字、図形、模様、色彩などのいずれか1つ以上を施したものが好適であり、天井に向けたカメラCM3で撮影して、位置指標を画像認識することが好適である。位置指標は、それぞれ固有のものであり、個別に認識することで、位置指標配置情報LILIを参照することで、どの位置にドローンが位置にするかが判明する仕組みになっている。或いは、位置指標は、特定の無線や光の信号を出す装置、WIFI基地局、無線タグでもよい(この場合は、カメラに代えて、無線通信部、光受信部などで信号を読み取る。)。また、位置指標に代えて室内用のGPS信号ユニットを設けて、これをドローンで読み取る装置で対応することも可能である。
そして、ドローンは、飛行しながら、カメラCM1、CM2で、左右の監視対象の棚SBJ1,SBJ2(建物BLDに設置されている)を撮影し、そこで、監視事象が発生しているか否かを監視する。
図4は、本装置のドローンの監視技法を説明する模式図である。図に示すように、図4は、図3の建物BLDを上方(天井)から俯瞰した模式図である。ドローンDR1は、位置指標(図4で図示せず)で自装置の位置を認識しながら、飛行ルートFR1に沿って、位置指標PI1〜4を順次認識していきながら、自装置の飛行を制御する。そして、ドローンDR1は、飛行しながら、カメラCM1、CM2で、左右の監視対象の棚SBJ1,SBJ2(建物BLDに設置されている)を撮影し、そこで、監視事象(異常イベント)が発生しているか否かを監視する。この例では、カメラCM1が、監視対象SBJ1の棚SHLF1で異常イベントOABEを認識し、警報(異常発生のリポート)を発する。
図5は、本装置における取得部の機能を説明する模式図である。図に示すように、本装置は、建物のCAD情報CIを取得する。このCAD情報は、3次元CADであり、建物内の部材や壁、天井、床などは、3次元の空間座標を持つ。また、本装置は、建物のCAD情報CIの空間座標系に対応した、建物に配置された、監視対象の設置物(鶏舎のケージ、机、椅子、機材、など)のレイアウト情報SLIを取得する。CAD情報CIに、レイアウト情報SLIを組み込む(マージ)。そして、本装置は、建物のCAD情報CIの空間座標系に対応した、位置指標配置情報PI1〜4を取得し、これも図の下段に示すように、CAD情報CIに、位置指標配置情報PI1〜4を組み込む(マージ)。結果として、建物に、位置指標、設置物が配置された建物内部構造が全て記述されたCAD情報CIALLを得られる。本装置は、このCAD情報CIALLに、飛行ルートを設定するが、次の図でこれを説明する。
図6は、本装置における飛行ルート設定の機能を説明する模式図である。図に示すように、ドローン基地DBの位置も記述されたCAD情報CIALLに、レイアウト情報SLIに対応して配置された設置物である監視対象SBJ1,SBJ2があり、その間に通路(飛行に適した空間)があるものとする。本装置は、飛行ルートは、監視対象を監視可能であって、所定の広さの空間に設定するといったルート設定ルール(記憶部に格納される)に基づき、飛行ルートFR1を自動設定する(手動で設定も可能である)。同様に、監視対象SBJ3,SBJ4があり、その間に通路(飛行に適した空間)があるものとする。本装置は、人が通れる程度の空間を通路と認識する機能を持つ。飛行ルートは、監視対象を監視可能であって、所定の広さの空間であって、所定の高さ(通常は、平均身長の目線程度の高さ160cm)に設定するといったルート設定ルール(記憶部に格納される)に基づき、飛行ルートFR2も自動設定する(手動で受け付けて設定も可能)。図のように、飛行ルートFR1,FR2のように設定した場合は、飛行ルートの順番をFR1が先でFR2が後といったように設定する。或いは、飛行ルートを全て連結して1つの飛行ルートを設定してもよい。
この例では、監視対象は、1段の鶏舎を想定してあるが、2,3段の場合は、平面的には同じ座標の飛行ルートであるが、高度を順次変えた別の飛行ルートを設定して、2段目、3段目などを監視させることが可能である(詳細は図8で説明する)。
図7は、異常イベント(監視事象)設定インターフェイスを示す図である。監視事象は、良い兆候の事象(例えば、見込み客の入場など)でもよいが、この例では、鶏舎において、異常イベントを設定する例を示す。図に示すように、常イベント(監視事象)設定インターフェイスABE−INには、予め選択肢として、
異常イベントABE1:不動(病気、衰弱死、死亡)
異常イベントABE2:異常行動
異常イベントABE3:攻撃
異常イベントABE5:餌を食べない
異常イベントABE6:侵入者(小動物)
異常イベントABE6:侵入者(人間)
異常イベントABE7:火事(煙、温度検知など)
などが選択可能なウィンドウ(区画)として表示され、これが表示部DISに表示されている。
ユーザは、この選択肢から、監視すべき異常イベント(複数選択可能)のウィンドウを選択し、異常イベントを設定する。これは、図のように、選定済みの異常イベントABE−SETのウィンドウに記述される。この例では、
異常イベントABE1:不動(病気、衰弱死、死亡)
異常イベントABE7:火事(煙、温度検知など)
が設定されている。
図8は、本装置における飛行ルート設定の機能のうち高さ方向の設定機能について説明する模式図である。図に示すように、1段目の棚SHLF−1F,2段目の棚SHLF−2F,3段目の棚SHLF−3Fといった3段構成の鶏舎ケージを監視対象とする場合には、各棚を監視し得る高度に、ドローンの飛行ルートが自動的に設定される。飛行ルートFR1−Vは、1段目の棚SHLF−1Fを監視し得る高度1mで図の左から右に進み、右端から高度2mに上昇し、2段目の棚SHLF−2Fを右から左端までカメラで監視する。そして、最後に、3段目の棚SHLF−3Fを監視するために、高度3mに上昇し、図の左から右に進み終了する。この高度設定は、CAD情報にある設置物や建物の通路などの寸法情報(座標情報)に基づき、自動的に設定される(例えば、高さ1.5mの棚などの設置物の場合は、その2/3の高さの1mに設定されるようなルールが規定され、このルールを適用する。)。高度は、気圧センサで計測した気圧から高度に換算して、それに基づき、ドローンが設定された高度を維持して、飛行ルートに沿って飛行することが可能である。
図9は、本発明の一実施態様による監視装置の概要を示すブロック図である。この実施例は、図1の監視装置と指摘や言及が無い限る同様の機能と構成を持つ。図1と図9のそれで大きく異なるのは、本実施態様では、監視事象顕著化情報を使用する点と、ドローンDR5が、自律的に飛行する機能を持ち、警報を発する機能をさらに持つ点である。以下、詳細に説明していく。
図に示すように、監視装置MOS2は、ドローンDR5、DR6とサーバSV2とを含むものである。サーバSV2は、制御部(CPU、演算処理装置、プロセッサ)CON、入力部IN、出力部OUT、通信部COM、記憶部MEM、および、表示部DISを有する。ドローンDR6、特に指摘しない限りドローンDR5と同様の構成および機能を持つが、作図と説明の便宜上、一部の構成を省略してある。
ドローンDR5は、撮像部としてカメラCM1〜3、センサSNSR(気圧計、ジャイロセンサなど)、制御部CON(CPU、演算処理装置、プロセッサ)、通信部COM、監視部MON,出力部OUT、記憶部STRを有するが、さらに、入力部(図示せず)、および、表示部(図示せず)を有してもよい。カメラは、監視対象を撮影するものが2つと、天井などに設置した位置指標を撮影するもの1つを設けることが好適であるが、1つ、または、2つでその機能を兼ねてもよい。また、カメラは、夜間でも僅かな環境中の光で撮影可能な高性能な機種を使用することが好適である。さらに、カメラは赤外線を検知するものを別途設けたり、上記のものにその機能を搭載させたりして、監視対象の温度を検知して死んでいるか否かなどを検知してもよい。
ドローンDR5が、センサSNSRとして、自装置の位置を測定する位置測定部(図示せず、GPSなど)と、角速度を計測するジャイロセンサと、加速度を計測する加速度センサと、高度を計測する高度センサ(気圧計など)とを有する。
ドローンDR5は、
各種のセンサSNSRとして、
角速度を計測するジャイロセンサと、
加速度を計測する加速度センサと、
高度を計測する高度センサと、
を有する。
また、ドローンDR5は、
飛行中に画像を撮像する撮像部(カメラCM1〜3)と、
飛行ルートと、位置指標配置情報と、監視事象顕著化情報(給餌情報(給餌の場所、時間など)、侵入者威嚇情報(警告音発生場所、時間など)など)と、を受信する通信部COMと、
前記位置指標配置情報、に基づき、自装置の位置を認識しながら、さらに前記監視事象顕著化情報にも基づき、前記飛行ルートに沿って、自装置の飛行を制御する制御部CONと、
前記画像に監視事象が発生しているか否かを監視する監視部MONと、
監視事象が発生したとき、該監視事象が発生した位置と、発生時の画像とを含む警報を前記通信部または他の通信手段を介して、前記サーバに出力(送信)する出力部OUTと、
を有する。
制御部は、前記位置指標配置情報、前記角速度、前記加速度、前記高度、に基づき、自装置の位置を認識しながら、前記飛行ルートに沿って、自装置の飛行を制御することも可能である。
監視事象顕著化情報は、例えば、鶏舎監視の場合には、自動給餌サーバAFSなどからネットワーク(LAN、インターネットなど)を介して取得する。これは、鶏は通常は眠っていて、監視事象である不動状態であるため、誤作動が起こり易い。しかし、給餌されると健康な鶏は、一斉に餌を食べるために動き出し、他方、病気や死亡した鶏は、不動のままであるという、習性を利用して、監視事象を顕著化させ、誤警報を低減、防止させるものである。即ち、監視飛行のタイミングと、給餌の時間とを同期させることにより、効率良く、誤警報なく監視をすることが可能となる。
図10は、図9に示した監視装置で実行される処理の一例を示すフローチャートである。監視装置は、サーバSV2とドローンDR5の2つの装置が連携して処理を行う。他のサーバにある情報をサーバSV2が一旦格納しておけば、他のサーバとの連携は不要とすることも可能である。
ステップS21にて、建物のCAD情報を取得する。次にステップS22にて、前記CAD情報の空間座標系に対応した位置指標配置情報、および、前記建物に配置された、監視対象の設置物(鶏舎のケージ、机、椅子、機材、など)のレイアウト情報を取得する。続いて、ステップS22−1にて、監視事象顕著化要因情報(例えば、給餌情報)を取得する。取得は、通信部を介して取得することが好適である。そして、ステップS23にて、監視対象の設置物を監視するための建物内のドローンの飛行ルートを設定する、或いは、前記飛行ルートの入力を受け付ける。飛行ルートの設定は、CAD情報や位置指標配置情報、レイアウト情報を使用するが、その後、監視事象顕著化要因情報をさらに利用して、飛行タイミングやルートの調整をすることが好適である。そして、ステップS24にて、監視対象の監視事象(異常イベント、侵入者、火事、死亡、特定動作、など)を設定(入力を受け付けてもよい)する。
そして、ステップS25にて、位置指標で位置確認、および/または、ジャイロセンサおよび加速度センサ(またはGPS)を利用して位置確認しながら、ドローンを飛行ルートに沿って移動させる。この制御は、サーバ側で行ってもよいし、ドローン側で自律的に制御させてもよい。ステップS26にて、カメラで監視対象を撮影する。ステップS27にて、飛行ルートの終わりか否か、または、ドローンに搭載した電池の残量電力が不足している否かを判定する。判定条件を満たす場合は、ドローン基地に帰還する。判定条件を満たさない場合は、ステップS18に進む。
ステップS28にて、画像に異常イベント(監視事象)が発生しているか否かを判定する。異常イベントが発生していない場合は、ステップS25に戻り、飛行を続ける。異常イベントが発生している場合は、そのまま警報を発してもよいが、誤認識を少なくさせるために、ドローンを空中停止(ホバリング)させるか、減速させて、当該異常イベントの画像の観察を続けることが好適である。そして、ステップS29にて、監視事象(異常イベント)の発生した位置、その時間の画像(映像を含む)を含む警報をドローン側から出力する(これは一旦サーバに送信し、サーバから警報を出してもよい)。警報を出した後は、ステップS30に進み、ステップS27と同様に、飛行ルートの終わりか否か、または、ドローンに搭載した電池の残量電力が不足している否かを判定する。判定条件を満たす場合は、ドローン基地に帰還する。判定条件を満たさない場合は、ステップS25に戻り、飛行(監視)を続ける。
図11は、監視の技法について説明する模式図である。鶏舎の監視の例で説明する。図に示すように、カメラが捉えた画面インターフェイスSL1には、鶏BD1〜7までが存在する。本装置は、鶏の頭部のトサカ、嘴などを図形、色彩、模様などで認識するロジックがあり、画面内に撮影された鶏の個体を全て捕捉する。そして、各個体の動作を観察し、動きのない個体を抽出する。画面インターフェイスSL2の鶏BD4,7が動きのない鶏である。そして、所定の時間以上動きがない鶏を監視事象、即ち、異常イベント(死亡、病気、または衰弱)と確定する。画面インターフェイスSL3の鶏BD4が異常イベントと確定した鶏であり、この時点(或いはドローンベースに帰還時に)で警報を発する。また、鶏の場合は、体を羽で覆われているため、通常の方法では、体温を外部からは計測しにくい。しかし、トサカ部分は、羽がなく、すぐ下を血管が通っており、この部分の温度を赤外線カメラや、通常のカメラの赤外線機能などで温度計測することで、体温を容易に計測可能であり、当該鶏が死亡しているか否かを確実に判定することが可能である。本装置は、既知の画像認識技法で、注目領域としてトサカを捕捉し、さらに、そのトサカの温度計測により、異常事象の確定をより精度高く実施することが可能である。
図12は、マップ状の警報情報を説明する模式図である。ドローンから送信(出力)されるのは、監視事象発生の画像・映像と、当該地点の座標である。これでは、警報を受けた係員には、状況を把握しづらいため、本装置は、当該、監視事象(異常イベント)発生の建物BLD1、2の、異常イベント発生ポイントOABE1〜3、さらには、その詳細情報「異常イベントが発生(3段目)、ケージ番号A101BR031」などが表示されたマップ状の警報情報WRN1を出す。この警報は、CAD情報を平面化して、異常イベント発生ポイントを表示させたものである。作業員は、警告情報に基づき、当該ケージを確認し、所定の作業(この例では、死亡または弱った個体(鶏)を除去する作業)を行う。
図13は、マップ状の警報情報を説明する模式図である。マップ状の警報情報WRN1は、平面図であるが、鶏舎などでは縦方向に幾つかのケージ棚があり、平面ではどの高さのケージ棚か不明である。それに対応したのが図13のマップ状の警報情報WRN2である。これは、図12のマップを見て、異常イベントの発生地点に作業員が辿り付いた後、図13のマップを見て、縦方向のどの高さの棚に異常が発生したのかを理解させる目的で使用される。
<実施態様2>
図14は、本発明の一実施態様による監視装置の概要を示すブロック図である。図に示すように、監視装置MOS3は、移動監視装置MM1、MM2とサーバSV3とを含むものである。サーバSV3は、制御部(CPU、演算処理装置、プロセッサ)CON、入力部IN、出力部OUT、通信部COM、記憶部MEM、および、表示部DISを有する。移動監視装置MM12は、特に指摘しない限り移動監視装置MM1と同様の構成および機能を持つが、作図と説明の便宜上、一部の構成を省略してある。
移動監視装置MM1は、撮像部としてカメラCM1〜3、センサSNSR(気圧計、ジャイロセンサなど)、制御部CON(CPU、演算処理装置、プロセッサ)、通信部COM、監視部MON(本機能は、サーバ側に設けてもよい)、出力部OUT、記憶部STRを有するが、さらに、入力部(図示せず)、および、表示部(図示せず)を有してもよい。カメラは、鶏舎などの監視対象を撮影するものが2つと、天井や床などに設置した位置指標(点状のマーカーやライン状のものなど)を撮影するもの1つを設けることが好適であるが、1つ、または、2つでその機能を兼ねてもよい。また、カメラは、夜間でも僅かな環境中の光で撮影可能な高性能な機種を使用することが好適である。さらに、カメラは赤外線を検知するものを別途設けたり、上記のものにその機能を搭載させたりして、監視対象の温度を検知して、対象の状態、例えば、死んでいるか、病気であるか否かなどを検知してもよい。
移動監視装置MM1が、センサSNSRとして、自装置の位置を測定する位置測定部(図示せず、GPSなど)と、角速度を計測するジャイロセンサと、加速度を計測する加速度センサと、高度を計測する高度センサと、自装置の走行距離を測定または推定する距離計を有する。
移動監視装置MM1は、
画像を撮像する撮像部CM1−3と、
自装置を移動させる駆動部DRと、
前記移動監視装置の位置を取得する取得部RETと、
前記移動監視装置の位置と、当該位置における画像とを含む、監視情報を無線または有線の通信手段を介して、前記サーバに送信する通信部COMと、
を有する。
前記サーバSV3は、
前記移動監視装置から、前記移動監視装置の位置と、当該位置における画像とを含む、前記監視情報を受信する通信部COMと、
監視対象の監視事象(異常イベント、侵入者、火事、死亡、病気、特定動作、など)を設定する監視事象設定部MESと、
前記画像において、設定された監視事象が、発生しているか否かを監視する監視部MONと、
前記監視事象が発生したとき、(当該画像と、当該位置とを含むことが好適である)警報を出力する出力部OUTと、
を有する。
なお、出力される警報は、電子メールの送信、警告音声の出力や送信、画像出力、監視員への警告、管理者への警告、警備会社や警察などへの通報などが好適である。また、監視部は、設定された監視事象が、発生しているか否かを監視するにあたって、AI技法を用いて、記憶部の画像情報IM(または、画像情報から派生した派生情報(画像の特徴パターンなど)など)を参照して、前記設定された監視事象が、発生しているか否かを監視することが好適である
移動監視装置MMM1が、
ガイドレールに移動可能に支持、載置、または、懸架され、かつ、該ガイドレールに沿ってガイドされるガイド部GDをさらに有し、
駆動部DRが、
前記ガイドレールに支持、載置、または、懸架されながら、該ガイドレールに沿って、自装置を移動させる。
ネットワークNETを介して接続された建物情報サーバまたは記憶部MEMなどから、監視対象の建物や棚、鶏舎などのCAD情報を取得してもよい。CAD情報と、このCAD情報の空間座標系に対応した、または、対応させた、位置指標配置情報、前記建物に配置された、監視対象の設置物(鶏舎のケージ、机、椅子、機材、など)のレイアウト情報から、移動ルートが設定される。表示部DISは、本装置に格納される情報や生成された情報を表示することができる。
サーバSV3の制御部に含まれる各機能部は、制御部のメモリ空間に読み込まれたプログラムモジュールによって実現することが好適である。また、ドローンは、制御部のメモリ空間に読み込まれたプログラムモジュールによって各機能部を実現したり、内蔵するGPSユニットやカメラユニットなどで各機能部を実現したりすることが可能である。通常、サーバは、記憶部或いはウェブサイトから、プロセッサを本装置の各部として機能させるソフトウェアをダウンロードして、PCにインストールして起動することで、PCが、本装置として動作する。なお、制御部に設けた各機能部は、機能上一定のまとまりのあるステップを1つにまとめたものに過ぎず、複数の機能部を1つの機能部にしたり、その一部を他の機能部に組み入れたり、他の独立した機能部に分割したりすることが可能である。
このように、生成・抽出した情報や中間データおよび取得したデータを外部に送信したり、表示部に表示したり、生成・抽出した情報や中間データおよび取得したデータなどを記憶部に格納したりすることは、後述する他の実態態様でも同様に可能であることに注意されたい。なお、本装置は、汎用コンピュータ、特定用途コンピュータ、サーバ、PC、スマートフォンなどの携帯端末などのコンピュータ、或いは、本装置の機能や処理手順(方法)をコンピュータ上で実現(実行)するプログラムモジュールをコンピュータが持つCPUや記憶部に保持したり、外部のサーバやストレージから読み込んだりすることで、コンピュータ上に本装置を構築することが好適であり、後続の各実施態様においても同様である。また、各機能部は、ネットワークで接続された別個のコンピュータや装置に分散させてもよい。また、複数の機能部を1つにしたり、処理ステップの一部を他の機能部にさせたりするような形態でもよい。さらに、本実施態様では、サーバと移動監視装置を別個のものとして規定したが、移動監視装置にサーバの各機能の一部または全てを含ませてもよい。
図15は、図14に示した監視装置で実行される処理の一例を示すフローチャートである。監視装置は、サーバSV3と移動監視装置MM1の2つの装置が連携して処理を行う。他のサーバにある情報をサーバSV3が一旦格納しておけば、他のサーバとの連携は不要とすることも可能である。
ステップS31にて、移動監視装置のカメラが画像を撮像する。次に、ステップS32にて、取得部が、移動監視装置の位置を取得する。そして、ステップS33にて、移動監視装置の位置と、当該位置における画像とを含む、監視情報を無線または有線の通信手段を介して、サーバに送信する。サーバは、ステップS34にて、監視対象の異常イベント(死亡、病気、火事、侵入者、異常行動など)を設定する。ステップS35にて、移動監視装置の駆動部が、位置指標で位置確認、および/または、ジャイロセンサおよび加速度センサ(またはGPS,距離計)を利用して位置確認しながら、
移動監視装置をガイドレールに沿って移動させる。なお、移動は、センサなどを使わずに、所定の距離(例えば、鶏舎の1ケージ分の距離など)を動くモータ電力を供給したり、所定の時間だけモータ動作させたりなど、簡易的な手法でもよい。
ステップS36にて、移動監視装置のカメラが画像を撮像する。次に、移動監視装置の位置を取得し、ステップS36−1にて、移動監視装置の位置と、当該位置における画像とを含む、監視情報を無線または有線の通信手段を介して、サーバに送信する。ステップS37にて、レールの終わりか否か、または、移動監視装置に搭載した電池の残量電力が不足している否かを判定する。判定条件を満たす場合は、基地に帰還する。判定条件を満たさない場合は、ステップS38に進む。
ステップS38にて、画像に異常イベント(監視事象)が発生しているか否かを判定する。異常イベントが発生していない場合は、ステップS35に戻り、移動および撮像を続ける。異常イベントが発生している場合は、そのまま警報を発してもよいが、誤認識を少なくさせるために、ステップS38−1に進み、移動監視装置を停止させるか、減速させて、当該異常イベントの画像の観察を続けることが好適である。そして、ステップS38−2にて、異常イベントの発生が継続していると判定した場合に、ステップS39にて、異常イベントの発生した位置、その時間の画像(映像を含む)を含む警報を出力する。ステップS38−2にて、異常イベントの発生が継続していないと判定した場合は、誤認識であると判断し警報は出さずに、ステップS35に戻り、移動(監視)を続ける。ステップS39にて警報を出した後は、ステップS40−1に進み、ステップS37と同様に、レール(ルート)の終わりか否か、または、搭載した電池の残量電力が不足している否かを判定する。判定条件を満たす場合は、移動監視装置の基地(充電スポット)に帰還する。判定条件を満たさない場合は、ステップS35に戻り、移動(監視)を続ける。
図16は、本装置の移動監視装置の監視技法を説明する模式図である。図に示すように、建物BLDの天井に設置された位置指標PI1〜4をカメラCM3で撮影して、当該指標に基づき、自装置の位置を認識する。位置指標は、位置指標配置情報の座標に配置されており、移動監視装置MM1は、位置指標で自装置の位置を認識しながら、移動ルートRT1に沿って、位置指標PI1〜4を順次認識していきながら、自装置の移動(駆動)を制御する。移動の際は、床に載置されたガイドレールGR(これは天井や壁に載置、設置してもよい)に沿って移動する。位置指標は、ガイドレールGRに一体化してもよい。また、位置指標を用いず、距離計などで位置を測定、推定してもよい。また、位置指標は、蛍光部材や文字、図形、模様、色彩などのいずれか1つ以上を施したものが好適であり、天井に向けたカメラCM3で撮影して、位置指標を画像認識することが好適である。位置指標は、それぞれ固有のものであり、個別に認識することで、位置指標配置情報LILIを参照することで、どの位置に移動監視装置が位置にするかが判明する仕組みになっている。或いは、位置指標は、特定の無線や光の信号を出す装置、WIFI基地局、無線タグでもよい(この場合は、カメラに代えて、無線通信部、光受信部などで信号を読み取る。)。また、位置指標に代えて室内用のGPS信号ユニットを設けて、これを移動監視装置のGPSユニットで読み取ることで対応することも可能である。
そして、移動監視装置は、移動しながら、カメラCM1、CM2で、左右の監視対象の棚SBJ1,SBJ2(建物BLDに設置されている)を撮影し、そこで、監視事象が発生しているか否かを監視する。
図17は、本装置の移動監視装置の他の監視技法を説明する模式図である。図に示すように、移動監視装置MM2は、自走式であり、タイヤや無限軌道などで駆動し、床に載置された、または、塗布されたガイドラインGLに沿って移動する。その他の機能は、図16のそれらと同様である。ガイドラインGLは、磁気テープ、磁気を含ませた塗膜、配色に特徴があるフィルム、テープ、塗膜(例えば、白色、黄色など)などが好適である。ガイドラインは、上述した飛行ルートに相当するものであり、走行ルートとして機能する。
図18は、鶏舎に適用した場合の本装置の移動監視装置の監視技法を説明する模式図である。図に示すように、建物BLDの天井SLに設置されたガイドレールGRに、移動監視装置MM3のガイド部GDが支持され、移動監視装置MM3が懸架されている。移動監視装置MM3は、何らかの位置指標や、距離計などで自装置の位置を認識しながら、移動ルートRT1に沿って、自装置の移動(駆動)を制御する。移動の際は、天井SLに設置されたガイドレールGRに沿って移動する。位置指標は、ガイドレールGRに一体化してもよい。また、位置指標を用いず、距離計などで位置を測定、推定してもよい。
移動監視装置MM3は、上段の鶏舎CG31、CG41のために、カメラCM2−3,下段の鶏舎CG32、CG42のために、カメラCM4−5を有する。この例では、死亡、または、病気などの弱っている鶏が異常イベントであり、鶏BD11,BD12は、正常であり、異常イベントとは認識しない。鶏BD13,BD14は、蹲っている、または、倒れているので、サーバ側で、異常イベントと判定し、警報を出す。警報の際には、位置を示す鶏舎番号CG32.鶏舎番号CG42か、何らかの位置情報と、当該画像を出力する。
実施態様1と実施態様2とで共通するが、監視事象顕著化情報を利用すると、監視の精度がよくなり、誤警報を相当程度低減することが可能である。監視事象顕著化情報は、給餌情報(給餌の場所、時間など)、侵入者威嚇情報(警告光、警告振動、警告音発生場所、時間など)、臭い情報(監視対象の鶏などが嫌う、または、興奮する臭気など)、光情報(照明や屋内の照度、点滅、回転灯など)、開口部開閉情報(窓や換気扇の開閉など)、および、空調設定情報からなる群から選択される1つ以上のものである。
よって、移動監視装置に、前記監視事象顕著化情報の状況を発生させる監視事象顕著化状況発生手段をさらに設ける(例えば、光を発生する回転灯、音声を出すスピーカー、移動に伴い鶏舎と接触して振動と音を出す棒状部、給餌を開始させる信号出力部、照明や音声の出力を制御する制御信号出力部など)ことが好適である。
図19は、監視事象顕著化状況発生手段を設けた本装置の移動監視装置の監視技法を説明する模式図である。図に示すように、移動監視装置MM4は、監視事象顕著化状況発生手段として、監視対象のエリアだけに光(好適には、鶏にストレスを与えず、活動化させる程度の光や光の色や波長)を発生し、鶏を刺激する回転灯PL1、PL2(回転灯)、監視対象のエリアだけに振動と音を発生し、鶏を刺激する鶏舎打撃棒BR1,BR2を有する。このときの振動と音は、給餌の際の音響と、給餌の振動にできるだけ近いものにすることが好適である。給餌の音や振動を与えられると、元気な鶏は、必ず、反応して、立ち上がり、活動的になるからである。また、給餌の際の音を再現して、再生するスピーカーに監視事象顕著化状況発生手段として好適である。或いは、餌の臭いや、オスの臭い(フェロモン)などを発生する手段も監視事象顕著化状況発生手段として有効である。
図20は、鶏舎に適用した場合の本装置の移動監視装置の監視技法を説明する模式図である。図に示すように、建物の床FLに設置、敷設、または塗布されたガイドラインGLを、移動監視装置MM5のライン読取センサLSNが読み取り、このガイドラインGLに沿って自動で移動する。移動監視装置MM5は、ガイドラインで自装置の位置を認識しながら(好適には距離計やジャイロセンサなどを併用する)、ガイドラインGLに沿って、自装置の移動(駆動)を制御する。ガイドラインは、誘導のみならず、位置指標が一体化したものでもよい。また、位置指標を用いず、距離計などで位置を測定、推定してもよい。
図21は、鶏舎に適用した場合の本装置の移動監視装置の監視技法を説明する模式図である。図に示すように、建物の天井SLに設置、敷設、または塗布されたガイドラインGLを、移動監視装置MM6の上部に設置されたライン読取センサLSNが読み取り、このガイドラインGLに沿って自動で移動する。移動監視装置MM5は、ガイドラインで自装置の位置を認識しながら(好適には距離計、加速度計、および/または、ジャイロセンサなどを併用する)、ガイドラインGLに沿って、自装置の移動(駆動)を制御する。ガイドラインは、誘導のみならず、位置指標が一体化したものでもよい。また、位置指標を用いず、距離計などで位置を測定、推定してもよい。本態様の利点は、鶏舎などの鶏糞や羽などで汚れた場合に、床に設置されたガイドラインを読み取り不良になる恐れがあるが、それを防止できる。天井は、鶏糞や羽などで汚染される可能性はほぼないからである。
上述した監視技法は、監視の手法として画像情報を用いたものであるが、距離センサを用いた監視技法を以下の実施態様3で説明する。
<実施態様3>
図22は、本発明の一実施態様による監視装置の概要を示すブロック図である。図に示すように、監視装置MOS4は、移動監視装置MM7、MM8とサーバSV4とを含むものである。サーバSV4は、制御部(CPU、演算処理装置、プロセッサ)CON、入力部IN、出力部OUT、通信部COM、記憶部MEM、および、表示部DISを有する。移動監視装置MM7は、特に指摘しない限り移動監視装置MM1と同様の構成および機能を持つが、作図と説明の便宜上、一部の構成を省略してある。
移動監視装置MM7は、撮像部としてカメラCM1〜3、センサSNSR1−4(距離計)、制御部CON(CPU、演算処理装置、プロセッサ)、通信部COM、出力部OUT、記憶部STRを有するが、さらに、入力部(図示せず)、および、表示部(図示せず)を有してもよい。カメラは、鶏舎などの監視対象を撮影するものが2つと、移動方向や天井や床などに設置した位置指標・識別情報(点状のマーカーやライン状のものなど)を撮影するもの1つを設けることが好適であるが、1つ、または、2つでその機能を兼ねてもよい。また、カメラは、夜間でも僅かな環境中の光で撮影可能な高性能な機種を使用することが好適である。さらに、カメラは赤外線を検知するものを別途設けたり、上記のものにその機能を搭載させたりして、監視対象の温度を検知して、対象の状態、例えば、死んでいるか、病気であるか否かなどを検知してもよい。
好適には、移動監視装置MM7が、自装置の位置を測定する位置測定部(図示せず、GPSなど)と、角速度を計測するジャイロセンサと、加速度を計測する加速度センサと、自装置の走行距離を測定または推定する距離計を有する。
移動監視装置MM7は、
画像を撮像する撮像部であるカメラCM1−3と、
距離情報を取得するセンサSNSR1−4と、
前記移動監視装置の移動方向を定める識別情報(ガイドテープなど)を取得する取得部RETと、
前記識別情報に基づき自装置を移動させる駆動部DRと、
前記距離情報と前記画像とを含む、監視情報を無線または有線の通信手段を介して、前記サーバに送信する通信部COMと、
を有する。
サーバSV4が、
監視事象を示すモデル変化パターン情報MCPを格納する記憶部MEMと、
前記移動監視装置から、前記距離情報と前記画像とを含む、前記監視情報を受信する通信部COMと、
前記モデル変化パターン情報と、前記距離情報の変化パターンとを比較して、監視事象(死亡、病気、座っている状態など)が発生しているか否かを監視する監視部MONと、
前記監視事象が発生したとき、(当該位置の画像と、当該位置とを含むことが好適である)警報を出力する出力部OUTと、
を有する。
なお、出力される警報は、電子メールの送信、警告音声の出力や送信、画像出力、監視員への警告、管理者への警告、警備会社や警察などへの通報などが好適である。また、監視部は、設定された監視事象が、発生しているか否かを監視するにあたって、AI技法を用いて、記憶部の画像情報IM(または、画像情報から派生した派生情報(画像の特徴パターンなど)など)を参照して、前記設定された監視事象が、発生しているか否かを監視することが好適である。AI技法を用いた態様を以下に挙げる。

移動監視装置が、
画像を撮像する撮像部と、
距離情報を取得するセンサと、
前記移動監視装置の移動方向を定める識別情報(ガイドテープなど)を取得する取得部と、
前記識別情報に基づき自装置を移動させる駆動部と、
前記距離情報と前記画像とを含む、監視情報を無線または有線の通信手段を介して、前記サーバに送信する通信部と、
を有する。
サーバが、
多数の距離の変化パターンを格納する記憶部MEMと、
前記多数の距離の変化パターンと、該変化パターンの少なくとも一部に関連付けられた監視事象とに基づき学習されたAIエンジンと、
前記移動監視装置から、前記距離情報と前記画像とを含む、前記監視情報を受信する通信部COMと、を有し、
前記AIエンジンが、
前記距離情報の変化パターンに基づき、監視事象(死亡、病気、座っている状態など)が発生しているか否かを監視し、
前記サーバが、
前記監視事象が発生したとき、(当該位置の画像と、当該位置とを含むことが好適である)警報を出力する出力部、さらに有する、
ことを特徴とする。
図23は、図22に示した監視装置で実行される処理の一例を示すフローチャートである。図に示すように、ステップS41では、監視事象を示すモデル変化パターン情報MCPを格納する。次に、ステップS42では、移動監視装置から、前記距離情報と前記画像とを含む、前記監視情報を受信する。また、ステップS43では、モデル変化パターン情報と、前記距離情報の変化パターンとを比較して、監視事象(死亡、病気、座っている状態など)が発生しているか否かを監視する。もちろん、他の実施態様と同様に、監視事象を所望のものに設定することも可能である。さらに、ステップS44では、監視事象が発生したとき、(当該位置の画像と、当該位置とを含むことが好適である)警報を出力する。
図24は、鶏舎に適用した場合の本装置の移動監視装置の監視技法を説明する模式図である。図に示すように、建物の床FLに設置、敷設、または塗布されたガイドテープGTを、移動監視装置MM7の下部に設置されたテープ読取センサTSNが読み取り、このガイドテープGTに沿って自動で移動する。移動監視装置MM7は、ガイドテープで自装置の位置を認識しながら(好適には距離計、加速度計、および/または、ジャイロセンサなどを併用する)、ガイドテープGTに沿って、自装置の移動(駆動)を制御する。ガイドテープは、誘導のみならず、位置指標が一体化したものでもよい。また、位置指標を用いず、距離計などで位置を測定、推定してもよい。本態様の利点は、鶏舎が暗い場合であっても、画像認識に頼らずに、距離センサの活用で監視事象を識別することができることである。
距離を測定する距離センサSNSR1,2,3,4、は、それぞれ上段、下段の左右のケージCG31−34に向けて、レーザ光や赤外線などの測定線を放出し、その反射線を受けて、距離を測定する。測定線は、鶏の足の部分に当たるように放射され、立っている鶏は細い足の形状に沿った距離を検知し、座っている鶏は、その体に形状に沿った距離を検知する。
図25は、本装置によるセンサの距離測定の例を示す図である。図に示すように、移動監視装置MM7は、左から右に移動(進行)する。そして、移動しながら、センサSNSR1は、ある鶏舎CG32における距離を測定する。ここでは、鶏舎内には、鶏BD1−4がいるが、BD1,3,4は立っていて、BD2は、下に蹲っている(即ち、弱っているか、死んでいる)ものとする。測定した距離をグラフG32にすると、グラフG32のように、縦軸が距離で、横軸が進行方向距離(移動距離または時間)である。グラフG32には、立っている鶏は、短い距離(時間)の棒状のシルエットが現れ、座っている鶏BD2(死んでいる鶏)は、丸みを帯びたシルエットが現れる。本装置は、このような距離の変化パターンをAIに学習させモデル変化パターン情報として記憶させてあり、それと比較して、正常な鶏と、異常な鶏を判定している。或いは、グラフのような形状ではなく、距離が変位した後、所定の時間(移動距離)に亘って、所定の閾値以下の変化に留まるものを死骸と判定するような数学的な手法で変化パターンを認識させてもよい。
図26は、本装置によるセンサの距離測定の例を示す図である。図に示すように、グラフG32には、立っている鶏は、短い距離(時間)の棒状のシルエットが現れ、座っている鶏BD2(死んでいる鶏)は、丸みを帯びたシルエットが現れる。しかし、このグラフでは、実際の鶏舎内の位置とは、上下が反転しており、実際の鶏の位置が把握しにくい。そこで、本装置は、波形処理で上下反転した反転グラフG32−Iを生成することが可能である。そして、丸みを帯びたシルエットの位置に、座っている鶏dBD(死んでいる鶏)を重畳して表示部に表示させることが可能である。
図27は、本装置によるセンサの距離測定の波形処理例(数値処理例)を示す図である。図のグラフG33に示すように、鶏舎内を距離測定すると、足だけの細い波形(即ち、大きく変位した後、次に大きく変位するまでの移動距離(時間)が短いものと、座っている太い波形(即ち、大きく変位した後、次に大きく変位するまでの移動距離(時間)が長いもの)とがある。本願発明者らは、ここに着目し、変位した後、次に大きく変位するまで、移動距離(時間)が所定の閾値以下の波形(即ち、足の波形(正常な鶏の波形・数値)を除外するフィルタ機能を有する。グラフG33−1に示したのが、フィルタ機能によって、座っている鶏の波形・数値、即ち、死骸だけの波形・数値を抽出したものである。
図28は、本装置によるセンサの距離測定の波形処理例(数値処理例)を示す図である。図に示すように、鶏舎内を距離測定すると、足だけの細い波形(即ち、大きく変位した後、次に大きく変位するまでの移動距離(時間)が短いものと、座っている太い波形(即ち、大きく変位した後、次に大きく変位するまでの移動距離(時間)が長いもの)とがある。さらに、実際の鶏舎には、鉄棒GR1−5など柵を構成する部材があり、これが測定される。距離測定結果を反転させる波形処理をしたのがグラフG34−Iである。
図29は、本装置によるセンサの距離測定の波形処理例(数値処理例)を示す図である。図に示すように、グラフG34−Iは、図28のものと同様である。本装置は、グラフにおける鶏足や、座っている鶏のシルエットを、実際のゲージ配置の対応した位置に仮想鶏として投影することができる。例えば、立っている正常な鶏は、仮想鶏V−BD1,V−BD3,4として投影される。そして、座っている鶏は、仮想鶏V−BD2として投影される。また、格子GR1−5も投影される。本機能によって、鶏舎スタッフは、異常がある鶏がどの鶏舎のどの位置にあるのかを容易に認識し、それを除去して衛生管理を向上することが可能である。
図30は、本装置によるセンサの距離測定の波形処理例(数値処理例)を示す図である。この例では、同じ方向の距離を測定する2つのセンサによる波形を示す。即ち、進行方向(水平方向)に所定の距離(例えば10cm)離間したセンサを2つ設けてある。図に示すように、前方にあるセンサによるグラフG40は、正常な立っている鶏の波形PK10,PK12,PK13と、座っている異常な鶏の波形PK11が現れる。そして、図に示すように、後方にあるセンサによるグラフG41は、正常な立っている鶏の波形PK22,PK23と、座っている異常な鶏の波形PK20、21と、が現れる。ここでの波形PK20は、鶏の足が移動したことによるエラーであり、生物である鶏を測定するには避けられない検出エラーである。そこで、本発明者らは、2つのセンサを使い、2つのグラフを(所定の距離分シフトさせて)重ね合わせ、ズレ、不一致する波形を除外することでこの検出エラーを除くことを着想し、実現させた。監視対象の移動によるエラーを除いたグラフG42に示すように、信頼のおけない検出エラーである波形PK20の成分を除外したものを提供することが可能である。その装置構成を以下に挙げる。
移動監視装置は、
第1距離情報を取得する第1センサと、
第2距離情報を取得する第2センサと、
前記移動監視装置の移動方向を定める識別情報(ガイドテープなど)を取得する取得部と、
前記識別情報に基づき自装置を移動させる駆動部と、
前記第1距離情報と、前記第2距離情報と、前記画像とを含む、監視情報を無線または有線の通信手段を介して、前記サーバに送信する通信部と、
を有し、
前記サーバが、
監視事象を示すモデル変化パターン情報を格納する記憶部と、
前記移動監視装置から、前記第1距離情報と、第2距離情報と、前記画像とを含む、前記監視情報を受信する通信部と、
前記第1距離情報と、第2距離情報の変化パターンとを比較して、各変化パターンから対象物(鶏など)の移動によって生じる成分を除外した除外変化パターンを生成するパターン生成部と、
前記モデル変化パターン情報と、前記除外変化パターンとを比較して、監視事象(死亡、病気、座っている状態など)が発生しているか否かを監視する監視部と、
前記監視事象が発生したとき、(当該位置の画像と、当該位置とを含むことが好適である)警報を出力する出力部と、
を有する。
本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各部、各ステップなどに含まれる処理や機能などは論理的に矛盾しないように再配置可能であり、複数の手段/部やステップなどを1つに組み合わせたり、或いは分割したりすることが可能である。或いは、本発明による装置、方法、プログラムなどの一部の構成要素、機能、処理、ステップなどを遠隔地のサーバなどに配置することも可能であることに注意されたい。また、本発明をリアルタイムの監視装置として説明してきたが、撮影済みの画像を入力として、不審な対象が撮影した時間帯や瞬間を切り出す、編集装置や編集システムとしても使用可能である。
BD1-7 鶏
PI1-4 位置指標配置情報
CM1-3 カメラ
OABE1-3 異常イベント発生ポイント
ABE 設定インターフェイス
ABE1 異常イベント
ABE2 異常イベント
ABE3 異常イベント
ABE5 異常イベント
ABE6 異常イベント
ABE7 異常イベント
ACQ 取得部
AFS 自動給餌サーバ
BLD 建物
BLD1 建物
CI CAD情報
CIALL CAD情報
CM1 カメラ
CM3 カメラ
COM 通信部
CON 制御部
DB ドローン基地
DIS 表示部
DR1 ドローン
DR2 ドローン
DR5 ドローン
DR5 ドローン
DR6 ドローン
FLS 飛行ルート設定部
FR1 飛行ルート
FR1,FR2 飛行ルート
FR2 飛行ルート
IN 入力部
LILI 位置指標配置情報
MEM 記憶部
MES 監視事象設定部
MON 監視部
MOS1 監視装置
MOS2 監視装置
NET ネットワーク
OABE 異常イベント
OUT 出力部
SBJ1,SBJ2 監視対象
SBJ3,SBJ4 監視対象
SHLF 棚
SHLF1 棚
SL1 画面インターフェイス
SL2 画面インターフェイス
SL3 画面インターフェイス
SLI レイアウト情報
SNSR センサ
STR 記憶部
SV1 サーバ
SV2 サーバ
WRN1 警報情報
WRN2 警報情報

Claims (25)

  1. 移動監視装置とサーバとを含む監視装置であって、
    前記移動監視装置が、
    画像を撮像する撮像部と、
    自装置を移動させる駆動部と、
    前記移動監視装置の位置を取得する取得部と、
    前記移動監視装置の位置と、当該位置における画像とを含む、監視情報を無線または有線の通信手段を介して、前記サーバに送信する通信部と、
    を有し、
    前記サーバが、
    前記移動監視装置から、前記移動監視装置の位置と、当該位置における画像とを含む、前記監視情報を受信する通信部と、
    監視対象の監視事象(異常イベント、侵入者、火事、死亡、病気、特定動作、など)を設定する監視事象設定部と、
    前記画像において、設定された監視事象が、発生しているか否かを監視する監視部と、
    前記監視事象が発生したとき、(当該画像と、当該位置とを含むことが好適である)警報を出力する出力部と、
    を有する、
    ことを特徴とする、監視装置。
  2. 請求項1に記載の監視装置において、
    前記移動監視装置が、
    ガイドレールに移動可能に支持、載置、または、懸架され、かつ、該ガイドレールに沿ってガイドされるガイド部をさらに有し、
    前記駆動部が、
    前記ガイドレールに支持、載置、または、懸架されながら、該ガイドレールに沿って、自装置を移動させる、
    ことを特徴とする、監視装置。
  3. 請求項1に記載の監視装置において、
    前記移動監視装置の前記駆動部が、
    自走式である、
    ことを特徴とする、監視装置。
  4. 請求項1〜3のいずれか1項に記載の監視装置において、
    前記サーバが、
    多数の画像と、該画像の少なくとも一部に関連付けられた監視事象とを格納する記憶部と、
    前記監視部が、
    設定された監視事象が、発生しているか否かを監視するにあたって、AI技法を用いて、前記記憶部を参照して、前記設定された監視事象が、発生しているか否かを監視する、
    ことを特徴とする、監視装置。
  5. 請求項1〜4のいずれか1項に記載の監視装置において、
    前記移動監視装置の前記通信部が、
    監視事象顕著化情報(給餌情報(給餌の場所、時間など)、侵入者威嚇情報(警告音発生場所、時間など)など)をさらに受信し、
    前記移動監視装置の前記駆動部が、
    前記監視事象顕著化情報に基づき、自装置の移動を制御する、
    ことを特徴とする、監視装置。
  6. 請求項1〜4のいずれか1項に記載の監視装置において、
    前記サーバの前記通信部が、
    監視事象顕著化情報(給餌情報(給餌の場所、時間など)、侵入者威嚇情報(警告音発生場所、時間など)など)をさらに受信し、
    前記サーバが、
    前記監視事象顕著化情報に基づき、前記通信部を介して、前記移動監視装置の前記駆動部を制御して、前記移動監視装置を移動させる、
    ことを特徴とする、監視装置。
  7. 請求項5または6に記載の監視装置において、
    前記監視事象顕著化情報が、
    給餌情報(給餌の場所、時間など)、侵入者威嚇情報(警告光、警告振動、警告音発生場所、時間など)、臭い情報(監視対象の鶏などが嫌う、または、興奮する臭気など)、光情報(照明や屋内の照度、点滅、回転灯など)、開口部開閉情報(窓や換気扇の開閉など)、および、空調設定情報からなる群から選択される1つ以上のものである、
    ことを特徴とする、監視装置。
  8. 請求項5、6、または7のいずれか1項に記載の監視装置において、
    前記移動監視装置が、
    前記監視事象顕著化情報の状況を発生させる監視事象顕著化状況発生手段をさらに有する(例えば、光を発生する回転灯、音声を出すスピーカー、移動に伴い鶏舎と接触して振動と音を出す棒状部、給餌を開始させる信号出力部、照明や音声の出力を制御する制御信号出力部など)、
    ことを特徴とする、監視装置。
  9. 請求項1〜8のいずれか1項に記載の監視装置において、
    前記移動監視装置が、
    赤外線画像を撮像する赤外線カメラを、さらに有し、
    前記移動監視装置の前記通信部が、
    前記赤外線画像を、前記サーバにさらに送信し、
    前記サーバの通信部が、
    前記赤外線画像をさらに受信し、
    前記サーバの監視部が、
    前記監視事象が発生したとき、前記赤外線画像に基づき、監視事象の対象物(例えば、火事の煙、死んだ鶏)の温度を計測し、所定の温度と比較して(温度以下、温度以上など、)、監視事象の発生を確定する、
    ことを特徴とする、監視装置。
  10. 1つまたは複数の演算処理装置を請求項1〜9のいずれか1項に記載の監視装置として機能させる監視プログラム。
  11. 請求項10に記載の監視プログラムを格納したコンピュータ可読な記憶媒体。
  12. 移動監視装置とサーバとを用いた監視方法であって、
    前記移動監視装置が、画像を撮像する撮像ステップと、
    前記移動監視装置が、ガイドレールに移動可能に支持、載置、または、懸架され、かつ、該ガイドレールに沿ってガイドされるガイドステップステップと、
    前記移動監視装置が、自装置を移動させる駆動ステップと、
    前記移動監視装置が、前記移動監視装置の位置を取得する取得ステップと、
    前記移動監視装置が、前記移動監視装置の位置と、当該位置における画像とを含む、監視情報を無線または有線の通信手段を介して、前記サーバに送信する通信ステップと、
    前記サーバが、前記移動監視装置から、前記移動監視装置の位置と、当該位置における画像とを含む、前記監視情報を受信する通信ステップと、
    前記サーバが、監視対象の監視事象(異常イベント、侵入者、火事、死亡、病気、特定動作、など)を設定する監視事象設定ステップと、
    前記サーバが、前記画像において、設定された監視事象が、発生しているか否かを監視する監視ステップと、
    前記サーバが、前記監視事象が発生したとき、(当該画像と、当該位置とを含むことが好適である)警報を出力する出力ステップと、
    を有する、
    ことを特徴とする、監視方法。
  13. 請求項12に記載の監視方法において、
    前記移動監視装置が、ガイドレールに移動可能に支持、載置、または、懸架され、かつ、該ガイドレールに沿ってガイドされるガイドステップと、
    前記移動監視装置が、前記ガイドレールに支持、載置、または、懸架されながら、該ガイドレールに沿って、自装置を移動させる駆動ステップと、
    をさらに有する、
    ことを特徴とする、監視装置。
  14. 請求項12に記載の監視方法において、
    前記移動監視装置が、自走式である、
    ことを特徴とする、監視装置。
  15. 請求項12〜14のいずれか1項に記載の監視方法において、
    前記サーバが、多数の画像と、該画像の少なくとも一部に関連付けられた監視事象とを格納する記憶ステップと、
    設定された監視事象が、発生しているか否かを監視するにあたって、AI技法を用いて、前記記憶部を参照して、前記設定された監視事象が、発生しているか否かを監視するステップと、
    をさらに有する、ことを特徴とする、監視方法。
  16. 請求項12〜15のいずれか1項に記載の監視方法において、
    前記移動監視装置が、監視事象顕著化情報(給餌情報(給餌の場所、時間など)、侵入者威嚇情報(警告音発生場所、時間など)など)をさらに受信する通信ステップと、
    前記移動監視装置が、前記監視事象顕著化情報に基づき、自装置の移動を制御する、制御ステップと、
    をさらに有する、ことを特徴とする、監視方法。
  17. 請求項12〜15のいずれか1項に記載の監視方法において、
    前記サーバが、監視事象顕著化情報(給餌情報(給餌の場所、時間など)、侵入者威嚇情報(警告音発生場所、時間など)など)をさらに受信する受信ステップと、
    前記サーバが、前記監視事象顕著化情報に基づき、前記通信部を介して、前記移動監視装置の前記駆動部を制御して、前記移動監視装置を移動させる、制御ステップと、
    をさらに有する、ことを特徴とする、監視方法。
  18. 請求項12〜15のいずれか1項に記載の監視方法において、
    前記監視事象顕著化情報が、
    給餌情報(給餌の場所、時間など)、侵入者威嚇情報(警告光、警告振動、警告音発生場所、時間など)、臭い情報(監視対象の鶏などが嫌う、または、興奮する臭気など)、光情報(照明や屋内の照度、点滅、回転灯など)、開口部開閉情報(窓や換気扇の開閉など)、および、空調設定情報からなる群から選択される1つ以上のものである、
    ことを特徴とする、監視方法。
  19. 請求項12〜18のいずれか1項に記載の監視方法において、
    前記移動監視装置が、前記監視事象顕著化情報の状況を発生させる監視事象顕著化状況発生ステップをさらに有する(例えば、光を発生する回転灯、音声を出すスピーカー、移動に伴い鶏舎と接触して振動と音を出す棒状部、給餌を開始させる信号出力部、照明や音声の出力を制御する制御信号出力部など)、
    ことを特徴とする、監視方法。
  20. 請求項12〜19のいずれか1項に記載の監視方法において、
    前記移動監視装置が、赤外線カメラを用いて、赤外線画像を撮像する赤外線撮像ステップを、さらに有し、
    前記移動監視装置が、前記赤外線画像を、前記サーバにさらに送信する送信ステップと、
    前記サーバが前記赤外線画像をさらに受信する受信ステップと、
    前記サーバが、前記監視事象が発生したとき、前記赤外線画像に基づき、監視事象の対象物(例えば、火事の煙、死んだ鶏)の温度を計測し、所定の温度と比較して(温度以下、温度以上など、)、監視事象の発生を確定する、確定ステップと、
    をさらに有する、ことを特徴とする、監視方法。
  21. 移動監視装置とサーバとを含む監視装置であって、
    前記移動監視装置が、
    画像を撮像する撮像部と、
    距離情報を取得するセンサと、
    前記移動監視装置の移動方向を定める識別情報(ガイドテープなど)を取得する取得部と、
    前記識別情報に基づき自装置を移動させる駆動部と、
    前記距離情報と前記画像とを含む、監視情報を無線または有線の通信手段を介して、前記サーバに送信する通信部と、
    を有し、
    前記サーバが、
    監視事象を示すモデル変化パターン情報を格納する記憶部と、
    前記移動監視装置から、前記距離情報と前記画像とを含む、前記監視情報を受信する通信部と、
    前記モデル変化パターン情報と、前記距離情報の変化パターンとを比較して、監視事象(死亡、病気、座っている状態など)が発生しているか否かを監視する監視部と、
    前記監視事象が発生したとき、(当該位置の画像と、当該位置とを含むことが好適である)警報を出力する出力部と、
    を有する、
    ことを特徴とする、監視装置。
  22. 移動監視装置とサーバとを含む監視装置であって、
    前記移動監視装置が、
    画像を撮像する撮像部と、
    距離情報を取得するセンサと、
    前記移動監視装置の移動方向を定める識別情報(ガイドテープなど)を取得する取得部と、
    前記識別情報に基づき自装置を移動させる駆動部と、
    前記距離情報と前記画像とを含む、監視情報を無線または有線の通信手段を介して、前記サーバに送信する通信部と、
    を有し、
    前記サーバが、
    多数の距離の変化パターンを格納する記憶部と、
    前記多数の距離の変化パターンと、該変化パターンの少なくとも一部に関連付けられた監視事象とに基づき学習されたAIエンジンと、
    前記移動監視装置から、前記距離情報と前記画像とを含む、前記監視情報を受信する通信部と、を有し、
    前記AIエンジンが、
    前記距離情報の変化パターンに基づき、監視事象(死亡、病気、座っている状態など)が発生しているか否かを監視し、
    前記サーバが、
    前記監視事象が発生したとき、(当該位置の画像と、当該位置とを含むことが好適である)警報を出力する出力部、さらに有する、
    ことを特徴とする、監視装置。
  23. 移動監視装置とサーバとを含む監視装置であって、
    前記移動監視装置が、
    画像を撮像する撮像部と、
    第1距離情報を取得する第1センサと、
    第2距離情報を取得する第2センサと、
    前記移動監視装置の移動方向を定める識別情報(ガイドテープなど)を取得する取得部と、
    前記識別情報に基づき自装置を移動させる駆動部と、
    前記第1距離情報と、前記第2距離情報と、前記画像とを含む、監視情報を無線または有線の通信手段を介して、前記サーバに送信する通信部と、
    を有し、
    前記サーバが、
    監視事象を示すモデル変化パターン情報を格納する記憶部と、
    前記移動監視装置から、前記第1距離情報と、第2距離情報と、前記画像とを含む、前記監視情報を受信する通信部と、
    前記第1距離情報と、第2距離情報の変化パターンとを比較して、各変化パターンから対象物(鶏など)の移動によって生じる成分を除外した除外変化パターンを生成するパターン生成部と、
    前記モデル変化パターン情報と、前記除外変化パターンとを比較して、監視事象(死亡、病気、座っている状態など)が発生しているか否かを監視する監視部と、
    前記監視事象が発生したとき、(当該位置の画像と、当該位置とを含むことが好適である)警報を出力する出力部と、
    を有する、
    ことを特徴とする、監視装置。
  24. 1つまたは複数の演算処理装置を請求項21〜23のいずれか1項に記載の監視装置として機能させる監視プログラム。
  25. 請求項24に記載の監視プログラムを格納したコンピュータ可読な記憶媒体。
JP2018221751A 2017-11-30 2018-11-27 監視装置、監視プログラム、記憶媒体、および、監視方法 Pending JP2019208197A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023020503A JP7406746B2 (ja) 2017-11-30 2023-02-14 監視装置、監視プログラム、記憶媒体、および、監視方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2017231062 2017-11-30
JP2017231062 2017-11-30
JP2018102892 2018-05-29
JP2018102892 2018-05-29

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023020503A Division JP7406746B2 (ja) 2017-11-30 2023-02-14 監視装置、監視プログラム、記憶媒体、および、監視方法

Publications (1)

Publication Number Publication Date
JP2019208197A true JP2019208197A (ja) 2019-12-05

Family

ID=68768693

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018221751A Pending JP2019208197A (ja) 2017-11-30 2018-11-27 監視装置、監視プログラム、記憶媒体、および、監視方法
JP2023020503A Active JP7406746B2 (ja) 2017-11-30 2023-02-14 監視装置、監視プログラム、記憶媒体、および、監視方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023020503A Active JP7406746B2 (ja) 2017-11-30 2023-02-14 監視装置、監視プログラム、記憶媒体、および、監視方法

Country Status (1)

Country Link
JP (2) JP2019208197A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113589836A (zh) * 2020-04-30 2021-11-02 沃科波特有限公司 飞行器及其运行方法和飞行控制系统
CN113938609A (zh) * 2021-11-04 2022-01-14 中国联合网络通信集团有限公司 区域监控方法、装置及设备
JP2022100073A (ja) * 2020-12-23 2022-07-05 横河電機株式会社 装置、システム、方法およびプログラム
CN117857925A (zh) * 2024-03-08 2024-04-09 杭州同睿工程科技有限公司 基于igv的砼预制构件图像采集方法及相关设备

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0765152A (ja) * 1993-08-31 1995-03-10 Babcock Hitachi Kk 監視装置および監視方法
JPH11120458A (ja) * 1997-10-14 1999-04-30 Hitachi Eng & Service Co Ltd 火災検知装置
JPH11276011A (ja) * 1998-03-31 1999-10-12 Kubo Systems:Kk 鶏舎用死骸検出方法及び装置
JPH11283152A (ja) * 1998-03-27 1999-10-15 Sharp Corp 遠隔制御システム
JP2002092761A (ja) * 2000-09-12 2002-03-29 Toshiba Tec Corp 移動監視システム
JP2002157664A (ja) * 2000-11-21 2002-05-31 Mitsubishi Heavy Ind Ltd 監視システム
JP2005253189A (ja) * 2004-03-03 2005-09-15 Chugoku Electric Power Co Inc:The 配電線巡視システムおよび方法
JP2006099726A (ja) * 2004-09-03 2006-04-13 Tcm Corp 無人搬送設備
JP2008160496A (ja) * 2006-12-25 2008-07-10 Hitachi Ltd 監視システム
JP2010072831A (ja) * 2008-09-17 2010-04-02 Fuji Security Systems Co Ltd 警備用ロボット
JP2010517527A (ja) * 2007-02-06 2010-05-27 マースランド エヌ・ヴィ 牛その他の動物に給餌するための給餌ワゴン
JP2012244904A (ja) * 2011-05-25 2012-12-13 Orion Machinery Co Ltd 搾乳システムの牛番管理方法
JP2016086237A (ja) * 2014-10-23 2016-05-19 協立電子工業株式会社 サーバ装置及び方法
JP2017505639A (ja) * 2014-02-17 2017-02-23 エクソラオ・ソチエタ・ア・レスポンサビリタ・リミタータExorao S.R.L. 飼育場における死亡動物の検知装置及び当該装置を用いた死亡動物の検知方法
JP2017111660A (ja) * 2015-12-17 2017-06-22 日本電信電話株式会社 映像パターン学習装置、方法、及びプログラム
WO2017119250A1 (ja) * 2016-01-08 2017-07-13 株式会社Screenホールディングス 欠陥検出装置および欠陥検出方法
JP2019201578A (ja) * 2018-05-22 2019-11-28 Necソリューションイノベータ株式会社 死鳥推定装置、死鳥推定方法、プログラムおよび記録媒体
JP2019205425A (ja) * 2018-05-24 2019-12-05 大豊産業株式会社 死亡鶏検知システム、鶏生死判定プログラム、および鶏生死判定装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017134909A1 (ja) 2016-02-03 2017-08-10 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
ITUB20160741A1 (it) 2016-02-15 2017-08-15 Officine Facco & C S P A Sistema di ispezione e monitoraggio per impianti di allevamento zootecnici e in particolare per allevamenti avicoli

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0765152A (ja) * 1993-08-31 1995-03-10 Babcock Hitachi Kk 監視装置および監視方法
JPH11120458A (ja) * 1997-10-14 1999-04-30 Hitachi Eng & Service Co Ltd 火災検知装置
JPH11283152A (ja) * 1998-03-27 1999-10-15 Sharp Corp 遠隔制御システム
JPH11276011A (ja) * 1998-03-31 1999-10-12 Kubo Systems:Kk 鶏舎用死骸検出方法及び装置
JP2002092761A (ja) * 2000-09-12 2002-03-29 Toshiba Tec Corp 移動監視システム
JP2002157664A (ja) * 2000-11-21 2002-05-31 Mitsubishi Heavy Ind Ltd 監視システム
JP2005253189A (ja) * 2004-03-03 2005-09-15 Chugoku Electric Power Co Inc:The 配電線巡視システムおよび方法
JP2006099726A (ja) * 2004-09-03 2006-04-13 Tcm Corp 無人搬送設備
JP2008160496A (ja) * 2006-12-25 2008-07-10 Hitachi Ltd 監視システム
JP2010517527A (ja) * 2007-02-06 2010-05-27 マースランド エヌ・ヴィ 牛その他の動物に給餌するための給餌ワゴン
JP2010072831A (ja) * 2008-09-17 2010-04-02 Fuji Security Systems Co Ltd 警備用ロボット
JP2012244904A (ja) * 2011-05-25 2012-12-13 Orion Machinery Co Ltd 搾乳システムの牛番管理方法
JP2017505639A (ja) * 2014-02-17 2017-02-23 エクソラオ・ソチエタ・ア・レスポンサビリタ・リミタータExorao S.R.L. 飼育場における死亡動物の検知装置及び当該装置を用いた死亡動物の検知方法
JP2016086237A (ja) * 2014-10-23 2016-05-19 協立電子工業株式会社 サーバ装置及び方法
JP2017111660A (ja) * 2015-12-17 2017-06-22 日本電信電話株式会社 映像パターン学習装置、方法、及びプログラム
WO2017119250A1 (ja) * 2016-01-08 2017-07-13 株式会社Screenホールディングス 欠陥検出装置および欠陥検出方法
JP2019201578A (ja) * 2018-05-22 2019-11-28 Necソリューションイノベータ株式会社 死鳥推定装置、死鳥推定方法、プログラムおよび記録媒体
JP2019205425A (ja) * 2018-05-24 2019-12-05 大豊産業株式会社 死亡鶏検知システム、鶏生死判定プログラム、および鶏生死判定装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113589836A (zh) * 2020-04-30 2021-11-02 沃科波特有限公司 飞行器及其运行方法和飞行控制系统
CN113589836B (zh) * 2020-04-30 2023-11-07 沃科波特有限公司 飞行器及其运行方法和飞行控制系统
JP2022100073A (ja) * 2020-12-23 2022-07-05 横河電機株式会社 装置、システム、方法およびプログラム
JP7415912B2 (ja) 2020-12-23 2024-01-17 横河電機株式会社 装置、システム、方法およびプログラム
CN113938609A (zh) * 2021-11-04 2022-01-14 中国联合网络通信集团有限公司 区域监控方法、装置及设备
CN113938609B (zh) * 2021-11-04 2023-08-22 中国联合网络通信集团有限公司 区域监控方法、装置及设备
CN117857925A (zh) * 2024-03-08 2024-04-09 杭州同睿工程科技有限公司 基于igv的砼预制构件图像采集方法及相关设备
CN117857925B (zh) * 2024-03-08 2024-05-28 杭州同睿工程科技有限公司 基于igv的砼预制构件图像采集方法及相关设备

Also Published As

Publication number Publication date
JP7406746B2 (ja) 2023-12-28
JP2023075095A (ja) 2023-05-30

Similar Documents

Publication Publication Date Title
JP7406746B2 (ja) 監視装置、監視プログラム、記憶媒体、および、監視方法
US8854594B2 (en) System and method for tracking
US11468668B2 (en) Drone pre-surveillance
US9824570B1 (en) Visible-light-, thermal-, and modulated-light-based passive tracking system
US8508372B2 (en) Method and system for fall detection
US9055226B2 (en) System and method for controlling fixtures based on tracking data
US20120025989A1 (en) Method and system for detecting a fallen person using a range imaging device
US11393317B2 (en) Enhanced audiovisual analytics
US9720086B1 (en) Thermal- and modulated-light-based passive tracking system
JP2017201316A (ja) マルチモード検出
KR20070029760A (ko) 감시 장치
KR101543542B1 (ko) 지능형 감시 시스템 및 이를 이용한 지능형 감시 방법
JP2021182225A (ja) 監視装置、監視プログラム、記憶媒体、および、監視方法
US10706699B1 (en) Projector assisted monitoring system
US10878251B2 (en) Image processing system
WO2020110400A1 (ja) 無人飛行体、制御方法及びプログラム
WO2017093839A1 (en) Flexible surveillance system
KR102504330B1 (ko) 피난약자 실시간 피난 유도 시스템
JPWO2020161823A1 (ja) 光ファイバセンシングシステム、監視装置、監視方法、及びプログラム
US9921309B1 (en) Visible-light and sound-based passive tracking system
CN109709947B (zh) 机器人管理系统
JP5449066B2 (ja) 物体検出センサ
EP2753060A2 (en) System and method for controlling fixtures based on tracking data
JP2018036847A (ja) 情報処理システム
US20230110877A1 (en) Camera blindspot analysis

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211029

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20220527

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20220913

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230613

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230704

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231017

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231023

RD07 Notification of extinguishment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7427

Effective date: 20231019

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240213