JP2021182225A - 監視装置、監視プログラム、記憶媒体、および、監視方法 - Google Patents

監視装置、監視プログラム、記憶媒体、および、監視方法 Download PDF

Info

Publication number
JP2021182225A
JP2021182225A JP2020087060A JP2020087060A JP2021182225A JP 2021182225 A JP2021182225 A JP 2021182225A JP 2020087060 A JP2020087060 A JP 2020087060A JP 2020087060 A JP2020087060 A JP 2020087060A JP 2021182225 A JP2021182225 A JP 2021182225A
Authority
JP
Japan
Prior art keywords
information
specific part
image
monitoring device
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020087060A
Other languages
English (en)
Inventor
良幸 長尾
Yoshiyuki Nagao
昌康 佐藤
Masayasu Sato
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Computer System Kenkyusho Kk
Computer System Technology Co Ltd
Original Assignee
Computer System Kenkyusho Kk
Computer System Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Computer System Kenkyusho Kk, Computer System Technology Co Ltd filed Critical Computer System Kenkyusho Kk
Priority to JP2020087060A priority Critical patent/JP2021182225A/ja
Publication of JP2021182225A publication Critical patent/JP2021182225A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】移動監視装置を用いた監視装置、監視プログラム、記憶媒体及び監視方法を提供する。【解決手段】監視装置(MOS1)は、移動監視装置(MM1)とサーバ(SV1)とを含む。移動監視装置(MM1)が、画像を撮像する撮像部(CM1)と、自装置を移動させる駆動部と、移動監視装置の位置を取得する取得部と、移動監視装置の位置と、当該位置における画像とを含む、監視情報を無線または有線の通信手段を介して、サーバに送信する通信部(COM)とを有する。サーバ(SV1)が、当該位置における画像とを含む、監視情報を受信する通信部(COM)と、警報を出力する出力部(OUT)と、を有する。【選択図】図1

Description

本発明は、監視装置、監視プログラム、記憶媒体、および、監視方法に関し、特に、移動監視装置を用いた監視装置、監視プログラム、記憶媒体、および、監視方法に関するものである。
家畜の生産は、近年、急速に大規模化が進んできている。従来は、家族経営の生産者が多かったが、現在では、農協や株式会社などが国内外の市場に向けて、大量の鶏肉、鶏卵、豚、牛などを生産している。
家畜生産の大規模化に伴い、生産技術や家畜の品種改良も進み、画一化された畜舎において、優良な家畜を安定して大量に生産できるようになった。特に、餌やりや水供給は、それらに適した自動機械が実用化され、大規模畜舎においては、掃除以外は、人手がほとんどかからないようになった。
しかしながら、大規模化における弊害もある。大規模な畜舎においては、優良な家畜の安定生産のためには、病気になった家畜、死亡した家畜のような、品質の悪い状態の家畜をいち早く検知し、それらを除去する必要がある。これには、ベテランのスタッフが精神集中して家畜状態を観察して、広大な畜舎を検査して回る必要がある。しかし、ベテランスタッフの数は少なく、経験の浅いスタッフや集中力に欠けたスタッフの場合は、見逃しや、検査漏れが発生し、例えば、病気が他の家畜に伝染したり、死骸の腐敗により新たな病気が発生したりする恐れがある。
監視カメラは従来から利用されてきたが、インターネット回線の普及によってネットワークに接続され、遠隔のサーバで監視するような運用が多くなりつつある。また、カメラの画素数も多くなり、録画された画像を事後的に解析して、事故や犯罪の認識が可能となった。このような監視カメラの現状であるが、最も多い利用形態は、建物に無人の監視カメラを設置し、遠隔地において、監視カメラの映像を監視して、防犯に役立てるものである。防犯係員は、監視カメラの多数の画像を多数の表示装置で実際に観察して、疑わしい対象(不審者や不審物)を認識し、必要であれば、警備員を派遣したり、不審者に警告したりしている。
監視カメラの自動化の従来技術として、画像処理装置、画像処理システム及びプログラム(特許文献1を参照されたい。)がある。これは、「監視領域の全景画像内に注視領域を設定し、画像解析手段により、設定した注視領域の画像を解析して移動体を検出し、検出に基づきカメラ部のズームカメラを作動して上記移動体を撮影する。その際、注視部分画像に全景画像との空間的な関係情報と、注視部分画像の全景画像における時間軸上の遷移を示す時間的な関係情報を作成し、注視部分画像に前記各関係情報を付与して画像記憶部に記憶させる。検索時には、上記各関係情報を用いて、全景画像及び注視部分画像を検索して両画像を重ねて表示部に表示する。」といった技術である。
特開2010-233185号公報
上記の従来技術は、監視領域を設定した後で、その監視領域内での移動体を不審な対象としてズームさせて撮影するものである。これは、不審者を自動追尾してズームする技術であるが、「監視領域の自動設定」はできない。また、監視領域が広い場合や監視領域に複数の移動体が入った場合には、高速な演算装置でなければ処理が間に合わなくなり、不審な対象の捕捉が不可能になるなどのデメリットがある。
このように、監視カメラの自動化の技術は発展してきたが、家畜や農産物対象において、異常な個体の識別、特定といった技術は、開発されていない。
そこで、本発明の目的は、監視装置、監視プログラム、記憶媒体、および、監視方法を提供することである。
また、本発明の他の目的は、移動監視装置を用いた監視装置、監視プログラム、記憶媒体、および、監視方法を提供することである。
上述した諸課題を解決すべく、第1の発明による監視装置(畜舎監視装置など)は、
撮影された場所の位置情報を含む画像、を取得する画像取得部と、
取得した画像と、個体の特定部位の標準的な物理的情報である標準特定部位情報(鶏の場合は、標準的で健康な鶏のトサカ、肉垂などの色情報、寸法情報、形状情報など)とを格納する記憶部と、
格納した画像において、画像内の特定部位(鶏の場合は、トサカ、肉垂など)を識別する識別部と、
識別した特定部位と、記憶部に格納される標準特定部位情報とを比較し、所定の数値以上、特定部位と標準特定部位情報とが離れている場合、或いは、特定部位と標準特定部位情報とが異なる場合、当該特定部位の個体が位置する位置情報と、当該特定部位を含む画像と、を含む警告情報を出力する警告部と、
を含む、
ことを特徴とする。
また、第2の発明による監視装置(畜舎監視装置)は、
撮影された場所の位置情報を含む画像を、取得する画像取得部と、
取得した画像と、異常な個体の特定部位の物理的情報である異常特定部位情報(鶏の場合は、異常、病気、衰弱、傷が付いている、または、死亡している鶏のトサカ、肉垂(健康状態を示す傾向が強い特定部位が好適である。)などの色情報、寸法情報、形状情報など)とを格納する記憶部と、
格納した画像において、画像内の特定部位(鶏の場合は、トサカ、肉垂など)を識別する識別部と、
識別した特定部位と、記憶部に格納される標準特定部位情報とを比較し、所定の数値以内に、特定部位と異常特定部位情報とがある場合、或いは、特定部位と異常特定部位情報とが一致する場合、当該特定部位の個体が位置する位置情報と、当該特定部位を含む画像と、を含む警告情報を出力する警告部と、
を含む、
ことを特徴とする。
また、第3の発明による監視装置(畜舎監視装置)は、
撮影された場所の位置情報を含む個体が撮影された画像を、取得する画像取得部と、
取得した画像を格納する記憶部と、
格納した画像の各個体に基づき、個体の少なくとも1つの特定部位の標準的な物理的情報である標準特定部位情報(鶏の場合は、鶏のトサカ、肉垂などの色情報、寸法情報、形状情報など)を生成する生成部と、
格納した画像において、画像内の特定部位(鶏の場合は、トサカ、肉垂など)を識別する識別部と、
識別した特定部位と、生成された標準特定部位情報とを比較し、所定の数値以上、特定部位と標準特定部位情報とが離れている場合、或いは、特定部位と標準特定部位情報とが異なる場合、当該特定部位の個体が位置する位置情報と、当該特定部位を含む画像と、を含む警告情報を出力する警告部と、
を含む、
ことを特徴とする。
また、第4の発明による監視装置(畜舎監視装置)は、
前記生成部が、
格納した画像のうち、所定の期間内(好適には、直近1−3週間程度)の画像のみの各個体に基づき、個体の少なくとも1つの特定部位の標準的な物理的情報である標準特定部位情報(鶏の場合は、鶏のトサカ、肉垂などの色情報、寸法情報、形状情報など)を生成する、
ことを特徴とする。
家畜の各部位は成長に伴い、形状、寸法、色などが変化するため、本構成によって、現在の状態の家畜の標準的な状態を反映できるため、より適切に異常な個体を特定することが可能となる。
また、第5の発明による監視装置(畜舎監視装置)は、
第3または第4の発明において、
前記生成部、前記識別部、または、前記警告部が、
AI技法に基づき動作する、
ことを特徴とする。
また、第6の発明による監視装置(畜舎監視装置)は、
撮影された場所の位置情報を含む画像、を取得する画像取得部と、
取得した画像と、(予め取得された画像において、ラベル付けされた個体の特定部位に基づき)AI技法を用いて学習されたAIモデルと、を格納する記憶部と、
格納した画像において、前記AIモデルを用いて、画像内の特定部位(鶏の場合は、トサカ、肉垂など)を識別する識別部と、
前記AIモデルを用いて、識別した特定部位が異常であるか否かを判定し、異常である場合、当該特定部位の個体が位置する位置情報と、当該特定部位を含む画像と、を含む警告情報を出力する警告部と、
を含む、ことを特徴とする。
また、第7の発明による監視装置(畜舎監視装置)は、
撮影された場所の位置情報を含む個体が撮影された画像を、取得する画像取得部と、
取得した画像を格納する記憶部と、
格納した画像の各個体に異常(病気、死亡、衰弱などの不健康であることを示す)ラベル付けし、或いは、特定部位にラベル付けし、AI技法(例えば、強化学習またはディープラーニングなどの技法)を用いて学習されたAIモデルを生成する生成部と、
格納した画像において、画像内の特定部位(鶏の場合は、トサカ、肉垂など)を識別する識別部と、
前記AIモデルを用いて、識別した特定部位が異常であるか否かを判定し、異常である場合、当該特定部位の個体が位置する位置情報と、当該特定部位を含む画像と、を含む警告情報を出力(送信)する警告部と、
を含む、ことを特徴とする。
また、第8の発明による監視装置(畜舎監視装置)は、
撮影された場所の位置情報を含む個体が撮影された映像を、取得する画像取得部と、
取得した映像を格納する記憶部と、
格納した映像の各個体の動作にラベル付けし、AI技法(例えば、強化学習またはディープラーニングなどの技法)を用いて学習されたAIモデルを生成する生成部と、
格納した映像において、AIモデルを用いて、映像内の個体の動作を識別する識別部と、
AIモデルを用いて、識別した個体の動作が異常であるか否かを判定し、異常である場合、当該個体が位置する位置情報と、当該個体を含む映像と、を含む警告情報を出力する警告部と、
を含む、ことを特徴とする。
好適には、格納した映像のうち、所定の期間内(好適には、直近1−3週間程度)の映像に重み付けして、AIモデルを生成する。家畜の各部位は成長に伴い、形状、寸法、色などが変化するため、本構成によって、現在の状態の家畜の標準的な状態を反映できるため、より適切に異常な個体を特定することが可能となる。例えば、豚の場合は、特定の感染症のときに皮膚に現れる斑点の模様、色彩、目の充血具合などを設定して、異常を判定することが可能である。
また、第9の発明による監視装置(畜舎監視装置)は、
監視された場所の位置情報と、当該場所で測定された、測定値を含む監視情報(音、臭い、温度、湿度など)を、取得する監視情報取得部と、
取得した監視情報を格納する記憶部と、
格納した監視情報の測定値にラベル付けし、AI技法(例えば、強化学習またはディープラーニングなどの技法)を用いて学習されたAIモデルを生成する生成部と、
格納した監視情報において、前記AIモデルを用いて、監視情報の測定値を識別する識別部と、
前記AIモデルを用いて、識別した測定値が異常であるか否かを判定し、異常である場合、位置情報と、当該測定情報と、を含む警告情報を出力する警告部と、
を含む、ことを特徴とする。
上述したように本発明の解決手段を装置として説明してきたが、本発明はこれらに実質的に相当する方法、プログラム、プログラムを記録した記憶媒体としても実現し得るものであり、本発明の範囲にはこれらも包含されるものと理解されたい。なお、下記の方法やプログラムの各ステップは、データの処理においては必要に応じて、CPU、DSPなどの演算処理装置を使用するものであり、入力したデータや加工・生成したデータなどを磁気テープ、HDD、メモリなどの記憶装置に格納するものである。
例えば、本発明をプログラムとして実現させた第10の発明による監視プログラムは、
1つまたは複数の演算処理装置を第1〜9のいずれかの発明に記載の監視装置として機能させる監視プログラムである。
また、例えば、本発明を記憶媒体として実現させた第11の発明による記憶媒体は、
第10の発明に記載の監視プログラムを格納したコンピュータ可読な記憶媒体である。
また、例えば、本発明を方法として実現させた第12の発明による、監視装置を用いた監視方法は、
演算装置が、撮影された場所の位置情報を含む画像、を取得する画像取得ステップと、
前記演算装置が、取得した画像と、個体の特定部位の標準的な物理的情報である標準特定部位情報(鶏の場合は、標準的で健康な鶏のトサカ、肉垂などの色情報、形状情報など)とを格納する記憶ステップと、
前記演算装置が、格納した画像において、画像内の特定部位(鶏の場合は、トサカ、肉垂など)を識別する識別ステップと、
前記演算装置が、識別した特定部位と、記憶部に格納される標準特定部位情報とを比較し、所定の数値以上、特定部位と標準特定部位情報とが離れている場合、或いは、特定部位と標準特定部位情報とが異なる場合、当該特定部位の個体が位置する位置情報と、当該特定部位を含む画像と、を含む警告情報を出力する警告ステップと、
を含む、
ことを特徴とする。
また、第13の発明による監視方法は、
演算装置が、撮影された場所の位置情報を含む画像を、取得する画像取得ステップと、
前記演算装置が、取得した画像と、異常な個体の特定部位の物理的情報である異常特定部位情報(鶏の場合は、異常、病気、衰弱、傷が付いている、または、死亡している鶏のトサカ、肉垂(健康状態を示す傾向が強い特定部位)などの色情報、形状情報など)とを格納する記憶ステップと、
前記演算装置が、格納した画像において、画像内の特定部位(鶏の場合は、トサカ、肉垂など)を識別する識別ステップと、
前記演算装置が、識別した特定部位と、記憶部に格納される標準特定部位情報とを比較し、所定の数値以内に、特定部位と異常特定部位情報とがある場合、或いは、特定部位と異常特定部位情報とが一致する場合、当該特定部位の個体が位置する位置情報と、当該特定部位を含む画像と、を含む警告情報を出力する警告ステップと、
を含む、
ことを特徴とする。
また、第14の発明による監視方法は、
演算装置が、撮影された場所の位置情報を含む個体が撮影された画像を、取得する画像取得ステップと、
前記演算装置が、取得した画像を格納する記憶ステップと、
前記演算装置が、格納した画像の各個体に基づき、個体の少なくとも1つの特定部位の標準的な物理的情報である標準特定部位情報(鶏の場合は、鶏のトサカ、肉垂などの色情報、形状情報など)を生成する生成ステップと、
前記演算装置が、格納した画像において、画像内の特定部位(鶏の場合は、トサカ、肉垂など)を識別する識別ステップと、
前記演算装置が、識別した特定部位と、生成された標準特定部位情報とを比較し、所定の数値以上、特定部位と標準特定部位情報とが離れている場合、或いは、特定部位と標準特定部位情報とが異なる場合、当該特定部位の個体が位置する位置情報と、当該特定部位を含む画像と、を含む警告情報を出力する警告ステップと、
を含む、
ことを特徴とする。
また、第15の発明による監視方法は、
第13の発明の監視方法において、
前記生成ステップが、
格納した画像のうち、所定の期間内(好適には、直近1−3週間程度)の画像のみの各個体に基づき、個体の少なくとも1つの特定部位の標準的な物理的情報である標準特定部位情報(鶏の場合は、鶏のトサカ、肉垂などの色情報、寸法情報、形状情報など)を生成する、
ことを特徴とする。
家畜の各部位は成長に伴い、形状、寸法、色などが変化するため、本構成によって、現在の状態の家畜の標準的な状態を反映できるため、より適切に異常な個体を特定することが可能となる。
また、第16の発明による監視方法は、
第14または第15の発明において、
前記生成ステップ、前記識別ステップ、または、前記ステップが、
AI技法に基づき動作する、
ことを特徴とする。
また、第17の発明による監視方法は、
演算装置が、撮影された場所の位置情報を含む画像、を取得する画像取得ステップと、
前記演算装置が、取得した画像と、ラベル付けされた個体の特定部位に基づきAI技法を用いて学習されたAIモデルと、を格納する記憶ステップと、
前記演算装置が、格納した画像において、前記AIモデルを用いて、画像内の特定部位(鶏の場合は、トサカ、肉垂など)を識別する識別ステップと、
前記演算装置が、前記AIモデルを用いて、識別した特定部位が異常であるか否かを判定し、異常である場合、当該特定部位の個体が位置する位置情報と、当該特定部位を含む画像と、を含む警告情報を出力する警告ステップと、
を含む、ことを特徴とする。
また、第18の発明による監視方法は、
演算装置が、撮影された場所の位置情報を含む個体が撮影された画像を、取得する画像取得ステップと、
前記演算装置が、取得した画像を格納する記憶ステップと、
前記演算装置が、格納した画像の各個体の特定部位にラベル付けし、AI技法(例えば、強化学習またはディープラーニングなどの技法)を用いて学習されたAIモデルを生成する生成ステップと、
前記演算装置が、格納した画像において、AIモデルを用いて、画像内の特定部位(鶏の場合は、トサカ、肉垂など)を識別する識別ステップと、
前記演算装置が、AIモデルを用いて、識別した特定部位が異常であるか否かを判定し、異常である場合、当該特定部位の個体が位置する位置情報と、当該特定部位を含む画像と、を含む警告情報を出力(送信)する警告ステップと、
を含む、ことを特徴とする。
また、第19の発明による監視方法は、
演算装置が、撮影された場所の位置情報を含む個体が撮影された映像を、取得する画像取得ステップと、
前記演算装置が、取得した映像を格納する記憶ステップと、
前記演算装置が、格納した映像の各個体の動作にラベル付けし、AI技法(例えば、強化学習またはディープラーニングなどの技法)を用いて学習されたAIモデルを生成する生成ステップと、
前記演算装置が、格納した映像において、前記AIモデルを用いて、映像内の個体の動作を識別する識別ステップと、
前記演算装置が、前記AIモデルを用いて、識別した個体の動作が異常であるか否かを判定し、異常である場合、当該個体が位置する位置情報と、当該個体を含む映像と、を含む警告情報を出力する警告ステップと、
を含む、ことを特徴とする。
本発明をプログラムとして実現させた第20の発明による監視プログラムは、
コンピュータに第11〜19のいずれかの発明に記載の監視方法を実行させる監視プログラムである。
また、本発明を記憶媒体として実現させた第21の発明による記憶媒体は、
第20の発明に記載の監視プログラムを格納したコンピュータ可読な記憶媒体である。
上述したように、ここまでは、監視装置の態様で説明してきた。以下は、ドローン、車輪や無限軌道などを使った自走装置のように、一般的な移動監視装置と、サーバとで分散処理で実現させた態様で説明する。
また、第22の発明による監視装置は、
移動監視装置とサーバとを含む監視装置であって、
前記移動監視装置が、
画像を撮像する撮像部と、
自装置を移動させる駆動部と、
前記移動監視装置の位置を取得する取得部(GPSユニットなど)と、
前記移動監視装置の位置と、当該位置における画像とを含む、監視情報を無線または有線の通信手段を介して、前記サーバに送信する通信部と、
を有し、
前記サーバが、
前記移動監視装置から、前記移動監視装置の位置と、当該位置における画像とを含む、前記監視情報を受信する通信部と、
前記移動監視装置の位置と、当該位置における画像とを含む、前記監視情報と、個体の特定部位の標準的な物理的情報である標準特定部位情報(鶏の場合は、標準的で健康な鶏のトサカ、肉垂などの色情報、寸法情報、形状情報など)とを格納する記憶部と、
格納した画像において、画像内の特定部位(鶏の場合は、トサカ、肉垂など)を識別する識別部と、
識別した特定部位と、記憶部に格納される標準特定部位情報とを比較し、所定の数値以上、特定部位と標準特定部位情報とが離れている場合、或いは、特定部位と標準特定部位情報とが異なる場合、当該特定部位の個体が位置する位置情報と、当該特定部位を含む画像と、を含む警告情報を出力する警告部と、
を有する、
ことを特徴とする。
即ち、識別した特定部位と、記憶部に格納される標準特定部位情報とを比較し、識別した特定部位が異常(異常イベント(事象))であると判定した場合、当該特定部位の個体が位置する位置情報と、当該特定部位を含む画像と、を含む警告情報を出力する。
また、第23の発明による監視装置は、
前記移動監視装置の前記駆動部が、
自走式である、
ことを特徴とする。
また、第24の発明による監視装置は、
前記生成部、前記識別部、または、前記警告部が、
AI技法に基づき動作する、
ことを特徴とする。
また、第25の発明による監視装置(畜舎監視装置)は、
移動監視装置とサーバとを含む監視装置であって、
前記移動監視装置が、
画像を撮像する撮像部と、
自装置を移動させる駆動部と、
前記移動監視装置の位置を取得する取得部(GPSユニットなど)と、
前記移動監視装置の位置と、当該位置における画像とを含む、監視情報を無線または有線の通信手段を介して、前記サーバに送信する通信部と、
を有し、
前記サーバが、
前記移動監視装置から、前記移動監視装置の位置と、当該位置における画像とを含む、前記監視情報を受信する通信部と、
受信した画像と、(予め取得された画像において、ラベル付けされた個体の特定部位に基づき)AI技法を用いて学習されたAIモデルと、を格納する記憶部と、
格納した画像において、前記AIモデルを用いて、画像内の特定部位(鶏の場合は、トサカ、肉垂など)を識別する識別部と、
前記AIモデルを用いて、識別した特定部位が異常であるか否かを判定し、異常である場合、当該特定部位の個体が位置する位置情報と、当該特定部位を含む画像と、を含む警告情報を出力する警告部と、
を含む、ことを特徴とする。

前記サーバが、
多数の画像と、該画像の少なくとも一部に関連付けられた監視事象とを格納する記憶部と、
前記監視部が、
設定された監視事象が、発生しているか否かを監視するにあたって、AI技法を用いて、前記記憶部を参照して、前記設定された監視事象が、発生しているか否かを監視する、
ことを特徴とする。
また、第26の発明による監視装置は、
前記移動監視装置の前記通信部が、
監視事象顕著化情報(給餌情報(給餌の場所、時間など)、侵入者威嚇情報(警告音発生場所、時間など)など)をさらに受信し、
前記移動監視装置の前記駆動部が、
前記監視事象顕著化情報に基づき、自装置の移動を制御する、
ことを特徴とする。
また、第27の発明による監視装置は、
前記サーバの前記通信部が、
監視事象顕著化情報(給餌情報(給餌の場所、時間など)、侵入者威嚇情報(警告音発生場所、時間など)など)をさらに受信し、
前記サーバが、
前記監視事象顕著化情報に基づき、前記通信部を介して、前記移動監視装置の前記駆動部を制御して、前記移動監視装置を移動させる、
ことを特徴とする。
また、第28の発明による監視装置は、
前記監視事象顕著化情報が、
給餌情報(給餌の場所、時間など)、侵入者威嚇情報(警告光、警告振動、警告音発生場所、時間など)、臭い情報(監視対象の鶏などが嫌う、または、興奮する臭気など)、光情報(照明や屋内の照度、点滅、回転灯など)、開口部開閉情報(窓や換気扇の開閉など)、および、空調設定情報からなる群から選択される1つ以上のものである、
ことを特徴とする。
また、第29の発明による監視装置は、
前記移動監視装置が、
前記監視事象顕著化情報の状況を発生させる監視事象顕著化状況発生手段をさらに有する(例えば、光を発生する回転灯、音声を出すスピーカー、移動に伴い鶏舎と接触して振動と音を出す棒状部、給餌を開始させる信号出力部、照明や音声の出力を制御する制御信号出力部など)、
ことを特徴とする。
また、第30の発明による監視プログラムは、
1つまたは複数の演算処理装置を第21〜28の発明のいずれか1つに記載の監視装置として機能させる監視プログラムである。
また、第31の発明による記憶媒体は、
第30の発明に記載の監視プログラムを格納したコンピュータ可読な記憶媒体である。
図1は、本発明の一実施態様による監視装置の概要を示すブロック図である。 図2は、図1に示した監視装置で実行される処理の一例を示すフローチャートである。 図3は、本装置の移動監視装置の監視技法を説明する模式図である。 図4は、本装置の移動監視装置の他の監視技法を説明する模式図である。 図5は、本装置における取得部の機能を説明する模式図である。 図6は、本装置における飛行ルート設定の機能を説明する模式図である。 図7は、監視部による監視の技法について説明する模式図である。 図8は、マップ状の警報情報を説明する模式図である。 図9は、マップ状の警報情報を説明する模式図である。 図10は、鶏舎に適用した場合の本装置の移動監視装置の監視技法を説明する模式図である。 図11は、監視事象顕著化状況発生手段を設けた本装置の移動監視装置の監視技法を説明する模式図である。 図12は、鶏舎に適用した場合の本装置の移動監視装置の監視技法を説明する模式図である。 図13は、鶏舎に適用した場合の本装置の移動監視装置の監視技法を説明する模式図である。 図14は、本発明の一実施態様による監視装置の概要を示すブロック図である。 図15は、図14に示した監視装置で実行される処理の一例を示すフローチャートである。 図16は、本発明の一実施態様(標準特定部位情報の生成)による監視装置の監視技法の模式図である。 図17は、本発明の一実施態様(標準特定部位情報の活用)による監視装置の監視技法の模式図である。 図18は、本発明の一実施態様(AIモデル生成)による監視装置の監視技法の模式図である。 図19は、本発明の一実施態様(AIモデル活用)による監視装置の監視技法の模式図である。 図20は、本発明の一実施態様(AIモデル生成の応用)による監視装置の監視技法の模式図である。
以降、諸図面を参照しながら、本発明の実施態様を詳細に説明する。
<実施態様1>
図1は、本発明の一実施態様による監視装置の概要を示すブロック図である。図に示すように、監視装置MOS1は、移動監視装置MM1、MM2とサーバSV1とを含むものである。サーバSV1は、制御部(CPU、演算処理装置、プロセッサ)CON、入力部IN、出力部OUT、通信部COM、記憶部MEM、および、表示部DISを有する。移動監視装置MM2は、特に指摘しない限り移動監視装置MM1と同様の構成および機能を持つが、作図と説明の便宜上、一部の構成を省略してある。
移動監視装置MM1は、撮像部としてカメラCM1〜3、センサSNSR(気圧計、ジャイロセンサなど)、制御部CON(CPU、演算処理装置、プロセッサ)、通信部COM、監視部MON(本機能は、サーバ側に設けてもよい)、出力部OUT、記憶部STR、GPSユニットGRを有するが、さらに、入力部(図示せず)、および、表示部(図示せず)を有してもよい。カメラは、鶏舎などの監視対象を撮影するものが2つと、天井や床などに設置した位置指標(点状のマーカーやライン状のものなど)を撮影するもの1つを設けることが好適であるが、1つ、または、2つでその機能を兼ねてもよい。また、カメラは、夜間でも僅かな環境中の光で撮影可能な高性能な機種を使用することが好適である。さらに、カメラは赤外線を検知するものを別途設けたり、上記のものに赤外線機能を搭載させたりして、監視対象の温度を検知して、対象の状態、例えば、死んでいるか、病気であるか否かなどの判定彩材料に使って検知してもよい。
移動監視装置MM1が、センサSNSRとして、自装置の位置を測定する位置測定部(図示せず、GPSユニットでもよい)と、角速度を計測するジャイロセンサと、加速度を計測する加速度センサと、高度を計測する高度センサと、自装置の走行距離を測定または推定する距離計を有する。
移動監視装置MM1は、
画像を撮像する撮像部CM1−3と、
自装置を移動させる駆動部DRと、
前記移動監視装置の位置を取得する取得部RET(GPSユニットなど)と、
前記移動監視装置の位置と、当該位置における画像とを含む、監視情報を無線または有線の通信手段を介して、前記サーバに送信する通信部COMと、
を有する。
前記サーバSV1は、
前記サーバが、
前記移動監視装置から、前記移動監視装置の位置と、当該位置における画像とを含む、前記監視情報を受信(取得)する通信部COM(および取得部ACQ)と、
前記移動監視装置の位置と、当該位置における画像とを含む、前記監視情報MIと、個体の特定部位の標準的な物理的情報である標準特定部位情報SPI(鶏の場合は、標準的で健康な鶏のトサカ、肉垂などの色情報、寸法情報、形状情報など)とを格納する記憶部MEMと、
格納した画像において、画像内の特定部位(鶏の場合は、トサカ、肉垂など)を識別する識別部IDPと、
識別した特定部位と、記憶部に格納される標準特定部位情報とを比較し、所定の数値以上、特定部位と標準特定部位情報とが離れている場合、或いは、特定部位と標準特定部位情報とが異なる場合、当該特定部位の個体が位置する位置情報と、当該特定部位を含む画像と、を含む警告情報を出力する警告部WANと、
を有する。
例えば、健康な鶏のトサカ、肉垂などの色情報は、RGB値で表現することが好適である。下記は、赤の色合いが最も強いものである。
RGB
(255.0.0)
健康で標準的なものと許容できる範囲でRGB値を設定することが好適であり、当該畜舎の統計情報からRGB値を設定することが好適である。また、寸法情報は、標準的な大きさ(寸法)に成長できない個体は、病気、衰弱、その他の何等かの要因があり、いずれ、死亡する可能性が高い場合が多いため、このようなものも異常として把握できるのは、適正な飼育環境上、重要である。
なお、出力される警報は、電子メールの送信、警告音声の出力や送信、画像出力、監視員への警告、管理者への警告、警備会社や警察などへの通報などが好適である。また、監視部は、設定された監視事象が、発生しているか否かを監視するにあたって、AI技法を用いて、記憶部の画像情報IM(または、画像情報から派生した派生情報(画像の特徴パターンなど)など)を参照して、前記設定された監視事象が、発生しているか否かを監視することが好適である
移動監視装置MM1が、
ガイドレールに移動可能に支持、載置、または、懸架され、かつ、該ガイドレールに沿ってガイドされるガイド部GDをさらに有し、
駆動部DRが、
前記ガイドレールに支持、載置、または、懸架されながら、該ガイドレールに沿って、自装置を移動させる。
ネットワークNETを介して接続された建物情報サーバまたは記憶部MEMなどから、監視対象の建物や棚、鶏舎などのCAD情報を取得してもよい。CAD情報と、このCAD情報の空間座標系に対応した、または、対応させた、位置指標配置情報、前記建物に配置された、監視対象の設置物(鶏舎のケージ、机、椅子、機材、など)のレイアウト情報から、移動ルートが設定される。表示部DISは、本装置に格納される情報や生成された情報を表示することができる。
サーバSV1の制御部に含まれる各機能部は、制御部のメモリ空間に読み込まれたプログラムモジュールによって実現することが好適である。また、移動装置をドローンや自走装置として実現させた場合は、制御部のメモリ空間に読み込まれたプログラムモジュールによって各機能部を実現したり、内蔵するGPSユニットやカメラユニットなどで各機能部を実現したりすることが可能である。通常、サーバは、記憶部或いはウェブサイトから、プロセッサを本装置の各部として機能させるソフトウェアをダウンロードして、PCにインストールして起動することで、PCが、本装置として動作する。なお、制御部に設けた各機能部は、機能上一定のまとまりのあるステップを1つにまとめたものに過ぎず、複数の機能部を1つの機能部にしたり、その一部を他の機能部に組み入れたり、他の独立した機能部に分割したりすることが可能である。
このように、生成・抽出した情報や中間データおよび取得したデータを外部に送信したり、表示部に表示したり、生成・抽出した情報や中間データおよび取得したデータなどを記憶部に格納したりすることは、後述する他の実態態様でも同様に可能であることに注意されたい。なお、本装置は、汎用コンピュータ、特定用途コンピュータ、サーバ、PC、スマートフォンなどの携帯端末などのコンピュータ、或いは、本装置の機能や処理手順(方法)をコンピュータ上で実現(実行)するプログラムモジュールをコンピュータが持つCPUや記憶部に保持したり、外部のサーバやストレージかsら読み込んだりすることで、コンピュータ上に本装置を構築することが好適であり、後続の各実施態様においても同様である。また、各機能部は、ネットワークで接続された別個のコンピュータや装置に分散させてもよい。また、複数の機能部を1つにしたり、処理ステップの一部を他の機能部にさせたりするような形態でもよい。さらに、本実施態様では、サーバと移動監視装置を別個のものとして規定したが、移動監視装置にサーバの各機能の一部または全てを含ませてもよい。
サーバSV1は、格納した画像の各個体に基づき、個体の少なくとも1つの特定部位の標準的な物理的情報である標準特定部位情報(鶏の場合は、鶏のトサカ、肉垂などの色情報、寸法情報、形状情報など)を生成する生成部GENを有する。これにより、当該畜舎や家畜の書類に適合させた参照情報を得ることが可能となり、より適切に異常な個体を識別、特定、抽出して、警報を出すことが可能となる。
図16は、本発明の一実施態様(標準特定部位情報の生成)による監視装置の監視技法の模式図である。図に示すように、鶏BD1−BD7が映る画像情報SI3から標準特定部位情報SPI1(これは、トサカの色の数値情報、RGBで規定することが好適である)、標準特定部位情報SPI2(これは、肉垂れのサイズの数値情報)、を生成し、記憶部に格納する。次の図で、標準特定部位情報の活用方法を示す。
図17は、本発明の一実施態様(標準特定部位情報の活用)による監視装置の監視技法の模式図である。図に示すように、標準特定部位情報SPI1と、鶏BD12のトサカの色とを比較する。この場合は、鶏BD12のトサカの色は、標準特定部位情報SPI1の範囲内に入るので、一致すると判断し、鶏BD12は正常であると判定される。そして、別の個体を比較することになる。
他方、標準特定部位情報SPI1と、鶏BD17のトサカの色とを比較する。この場合は、鶏BD17のトサカの色は、標準特定部位情報SPI1の範囲外にあるので、一致しない、即ち、異常であると判定され、個体BD17の位置と画像とを含む警告情報を出力する。
図2は、図1に示した監視装置で実行される処理の一例を示すフローチャートである。監視装置は、サーバSV1と移動監視装置MM1の2つの装置が連携して処理を行う。他のサーバにある情報や機能を移動装置に設置しておけば、サーバとの連携は不要とすることも可能である。
ステップS11にて、移動監視装置のカメラが画像を撮像する。次に、ステップS12にて、取得部が、移動監視装置の位置を取得する。そして、ステップS13にて、移動監視装置の位置と、当該位置における画像とを含む、監視情報を無線または有線の通信手段を介して、サーバに送信する。サーバは、ステップS14にて、移動監視装置の駆動部が、位置指標で位置確認、および/または、ジャイロセンサおよび加速度センサ(またはGPS,距離計)を利用して位置確認しながら、移動監視装置をガイドレールに沿って移動させる。なお、移動は、センサなどを使わずに、所定の距離(例えば、鶏舎の1ケージ分の距離など)を動くモータ電力を供給したり、所定の時間だけモータ動作させたりなど、簡易的な手法でもよい。
ステップS15にて、移動監視装置のカメラが画像を撮像する。次に、移動監視装置の位置を取得し、ステップS16にて、移動監視装置の位置と、当該位置における画像とを含む、監視情報を無線または有線の通信手段を介して、サーバに送信する。ステップS17にて、レールの終わりか否か、または、移動監視装置に搭載した電池の残量電力が不足している否かを判定する。判定条件を満たす場合は、ステップS19−2に進み、基地に帰還する。判定条件を満たさない場合は、ステップS18に進む。
ステップS18にて、画像に異常イベント(監視事象)が発生しているか否かを判定する。異常イベントが発生していない場合は、ステップS15に戻り、移動および撮像を続ける。異常イベントが発生している場合は、そのまま警報を発してもよいが、誤認識を少なくさせるために、ステップS18−1に進み、移動監視装置を停止させるか、減速させて、当該異常イベントの画像の観察を続けることが好適である。そして、ステップS18−2にて、異常イベントの発生が継続していると判定した場合に、ステップS19にて、異常イベントの発生した位置、その時間の画像(映像を含む)を含む警報を出力する。ステップS18−2にて、異常イベントの発生が継続していないと判定した場合は、誤認識であると判断し警報は出さずに、ステップS15に戻り、移動(監視)を続ける。ステップS19にて警報を出した後は、ステップS19−1に進み、ステップS17と同様に、レール(ルート)の終わりか否か、または、搭載した電池の残量電力が不足している否かを判定する。判定条件を満たす場合は、移動監視装置の基地(充電スポット)に帰還する。判定条件を満たさない場合は、ステップS15に戻り、移動(監視)を続ける。
異常イベントの判定は、例えば、識別した特定部位と、記憶部に格納される標準特定部位情報とを比較し、所定の数値以上、特定部位と標準特定部位情報とが離れている場合、或いは、特定部位と標準特定部位情報とが異なる場合、当該特定部位の個体が位置する位置情報と、当該特定部位を含む画像と、を含む警告情報を出力する。即ち、識別した特定部位と、記憶部に格納される標準特定部位情報とを比較し、識別した特定部位が異常(異常イベント(事象))であると判定した場合、当該特定部位の個体が位置する位置情報と、当該特定部位を含む画像と、を含む警告情報を出力する。
図3は、本装置の移動監視装置の監視技法を説明する模式図である。図に示すように、建物BLDの天井に設置された位置指標PI1〜4をカメラCM3で撮影して、当該指標に基づき、自装置の位置を認識する。位置指標は、位置指標配置情報の座標に配置されており、移動監視装置MM1は、位置指標で自装置の位置を認識しながら、移動ルートRT1に沿って、位置指標PI1〜4を順次認識していきながら、自装置の移動(駆動)を制御する。移動の際は、床に載置されたガイドレールGR(これは天井や壁に載置、設置してもよい)に沿って移動する。位置指標は、ガイドレールGRに一体化してもよい。また、位置指標を用いず、距離計などで位置を測定、推定してもよい。また、位置指標は、蛍光部材や文字、図形、模様、色彩などのいずれか1つ以上を施したものが好適であり、天井に向けたカメラCM3で撮影して、位置指標を画像認識することが好適である。位置指標は、それぞれ固有のものであり、個別に認識することで、位置指標配置情報LILIを参照することで、どの位置に移動監視装置が位置にするかが判明する仕組みになっている。或いは、位置指標は、特定の無線や光の信号を出す装置、WIFI基地局、無線タグでもよい(この場合は、カメラに代えて、無線通信部、光受信部などで信号を読み取る。)。また、位置指標に代えて室内用のGPS信号ユニットを設けて、これを移動監視装置のGPSユニットで読み取ることで対応することも可能である。
そして、移動監視装置は、移動しながら、カメラCM1、CM2で、左右の監視対象の棚SBJ1,SBJ2(建物BLDに設置されている)を撮影し、そこで、監視事象が発生しているか否かを監視する。
図4は、本装置の移動監視装置の他の監視技法を説明する模式図である。図に示すように、移動監視装置MM2は、自走式であり、タイヤや無限軌道などで駆動し、床に載置された、または、塗布されたガイドラインGLに沿って移動する。その他の機能は、図16のそれらと同様である。ガイドラインGLは、磁気テープ、磁気を含ませた塗膜、配色に特徴があるフィルム、テープ、塗膜(例えば、白色、黄色など)などが好適である。ガイドラインは、上述した飛行ルートに相当するものであり、走行ルートとして機能する。
図5は、本装置における取得部の機能を説明する模式図である。図に示すように、本装置は、建物のCAD情報CIを取得する。このCAD情報は、3次元CADであり、建物内の部材や壁、天井、床などは、3次元の空間座標を持つ。また、本装置は、建物のCAD情報CIの空間座標系に対応した、建物に配置された、監視対象の設置物(鶏舎のケージ、机、椅子、機材、など)のレイアウト情報SLIを取得する。CAD情報CIに、レイアウト情報SLIを組み込む(マージ)。そして、本装置は、建物のCAD情報CIの空間座標系に対応した、位置指標配置情報PI1〜4を取得し、これも図の下段に示すように、CAD情報CIに、位置指標配置情報PI1〜4を組み込む(マージ)。結果として、建物に、位置指標、設置物が配置された建物内部構造が全て記述されたCAD情報CIALLを得られる。本装置は、このCAD情報CIALLに、飛行ルートや移動ルートを設定するが、次の図でこれを説明する。
ここでは、移動装置をドローンとして説明するが、もちろん、移動装置は自走式車両としてもよい。図6は、本装置における飛行ルート設定の機能を説明する模式図である。図に示すように、ドローン基地DBの位置も記述されたCAD情報CIALLに、レイアウト情報SLIに対応して配置された設置物である監視対象SBJ1,SBJ2があり、その間に通路(飛行に適した空間)があるものとする。本装置は、飛行ルートは、監視対象を監視可能であって、所定の広さの空間に設定するといったルート設定ルール(記憶部に格納される)に基づき、飛行ルートFR1を自動設定する(手動で設定も可能である)。同様に、監視対象SBJ3,SBJ4があり、その間に通路(飛行に適した空間)があるものとする。本装置は、人が通れる程度の空間を通路と認識する機能を持つ。飛行ルートは、監視対象を監視可能であって、所定の広さの空間であって、所定の高さ(通常は、平均身長の目線程度の高さ160cm)に設定するといったルート設定ルール(記憶部に格納される)に基づき、飛行ルートFR2も自動設定する(手動で受け付けて設定も可能)。図のように、飛行ルートFR1,FR2のように設定した場合は、飛行ルートの順番をFR1が先でFR2が後といったように設定する。或いは、飛行ルートを全て連結して1つの飛行ルートを設定してもよい。
この例では、監視対象は、1段の鶏舎を想定してあるが、2,3段の場合は、平面的には同じ座標の飛行ルートであるが、高度を順次変えた別の飛行ルートを設定して、2段目、3段目などを監視させることが可能である。或いは、図1のように、各段を撮像するカメラを各段の数だけ設置させてもよい。
図7は、監視の技法について説明する模式図である。鶏舎の監視の例で説明する。図に示すように、カメラが捉えた画面インターフェイスSL1には、鶏BD1〜7までが存在する。本装置は、鶏の頭部のトサカ、嘴などの特定部位を図形、色彩、模様などで認識するロジックがあり、画面内に撮影された鶏の個体を全て捕捉する。そして、各個体の動作を観察し、動きのない個体を抽出する。また、特定部位と、記憶部に格納されたマスターである、個体の特定部位の標準的な物理的情報である標準特定部位情報(鶏の場合は、標準的で健康な鶏のトサカ、肉垂などの色情報、寸法情報、形状情報など)とを比較して、所定の数値以上、特定部位と標準特定部位情報とが離れている場合、或いは、特定部位と標準特定部位情報とが異なる場合、即ち、異常あるか否かを判定する。画面インターフェイスSL2には、鶏BD4のトサカ部HDT4が、白っぽいため、標準特定部位情報である、標準的で健康な鶏のトサカの鮮明な赤色と、かなり離れた色調であるため、異常と判定している。このような鶏や、動きがない鶏を監視事象、即ち、異常イベント(死亡、病気、または衰弱)と確定する。画面インターフェイスSL3の鶏BD4が異常イベントと確定した鶏であり、この時点(或いは、基地に帰還時に)で警報を発する。また、鶏の場合は、体を羽で覆われているため、通常の方法では、体温を外部からは計測しにくい。しかし、トサカ部分は、羽がなく、すぐ下を血管が通っており、この部分の温度を赤外線カメラや、通常のカメラの赤外線機能などで温度計測することで、体温を容易に計測可能であり、当該鶏が死亡しているか否かを確実に判定することが可能である。本装置は、既知の画像認識技法で、注目領域としてトサカを捕捉し、さらに、そのトサカの温度計測により、異常事象の確定をより精度高く実施することが可能である。
このように、本実施例では、鶏の特定部位であるトサカや肉垂れび色で、死亡、病気、衰弱の鶏を識別することが可能となった。
図8は、マップ状の警報情報を説明する模式図である。ドローンまたは移動装置から送信(出力)されるのは、監視事象発生の画像・映像と、当該地点の座標である。これでは、警報を受けた係員には、状況を把握しづらいため、本装置は、当該、監視事象(異常イベント)発生の建物BLD1、2の、異常イベント発生ポイントOABE1〜3、さらには、その詳細情報「異常イベントが発生(3段目)、ケージ番号A101BR031」などが表示されたマップ状の警報情報WRN1を出す。この警報は、CAD情報を平面化して、異常イベント発生ポイントを表示させたものである。作業員は、警告情報に基づき、当該ケージを確認し、所定の作業(この例では、死亡または弱った個体(鶏)を除去する作業)を行う。
図9は、マップ状の警報情報を説明する模式図である。マップ状の警報情報WRN1は、平面図であるが、鶏舎などでは縦方向に幾つかのケージ棚があり、平面ではどの高さのケージ棚か不明である。それに対応したのが図13のマップ状の警報情報WRN2である。これは、図8のマップを見て、異常イベントの発生地点に作業員が辿り付いた後、図9のマップを見て、縦方向のどの高さの棚に異常が発生したのかを理解させる目的で使用される。
図10は、鶏舎に適用した場合の本装置の移動監視装置の監視技法を説明する模式図である。図に示すように、建物BLDの天井SLに設置されたガイドレールGRに、移動監視装置MM3のガイド部GDが支持され、移動監視装置MM3が懸架されている。移動監視装置MM3は、何らかの位置指標や、距離計などで自装置の位置を認識しながら、移動ルートRT1に沿って、自装置の移動(駆動)を制御する。移動の際は、天井SLに設置されたガイドレールGRに沿って移動する。位置指標は、ガイドレールGRに一体化してもよい。また、位置指標を用いず、距離計などで位置を測定、推定してもよい。
移動監視装置MM3は、上段の鶏舎CG31、CG41のために、カメラCM2−3,下段の鶏舎CG32、CG42のために、カメラCM4−5を有する。この例では、死亡、または、病気などの弱っている鶏が異常イベントであり、鶏BD11,BD12は、正常であり、異常イベントとは認識しない。鶏BD13,BD14は、蹲っている、または、倒れているので、サーバ側で、異常イベントと判定し、警報を出す。警報の際には、位置を示す鶏舎番号CG32.鶏舎番号CG42か、何らかの位置情報と、当該画像を出力する。
監視事象顕著化情報を利用すると、監視の精度がよくなり、誤警報を相当程度低減することが可能である。監視事象顕著化情報は、給餌情報(給餌の場所、時間など)、侵入者威嚇情報(警告光、警告振動、警告音発生場所、時間など)、臭い情報(監視対象の鶏などが嫌う、または、興奮する臭気など)、光情報(照明や屋内の照度、点滅、回転灯など)、開口部開閉情報(窓や換気扇の開閉など)、および、空調設定情報からなる群から選択される1つ以上のものである。
よって、移動監視装置に、前記監視事象顕著化情報の状況を発生させる監視事象顕著化状況発生手段をさらに設ける(例えば、光を発生する回転灯、音声を出すスピーカー、移動に伴い鶏舎と接触して振動と音を出す棒状部、給餌を開始させる信号出力部、照明や音声の出力を制御する制御信号出力部など)ことが好適である。
図11は、監視事象顕著化状況発生手段を設けた本装置の移動監視装置の監視技法を説明する模式図である。図に示すように、移動監視装置MM4は、監視事象顕著化状況発生手段として、監視対象のエリアだけに光(好適には、鶏にストレスを与えず、活動化させる程度の光や光の色や波長)を発生し、鶏を刺激する回転灯PL1、PL2(回転灯)、監視対象のエリアだけに振動と音を発生し、鶏を刺激する鶏舎打撃棒BR1,BR2を有する。このときの振動と音は、給餌の際の音響と、給餌の振動にできるだけ近いものにすることが好適である。給餌の音や振動を与えられると、元気な鶏は、必ず、反応して、立ち上がり、活動的になるからである。また、給餌の際の音を再現して、再生するスピーカーに監視事象顕著化状況発生手段として好適である。或いは、餌の臭いや、オスの臭い(フェロモン)などを発生する手段も監視事象顕著化状況発生手段として有効である。
図12は、鶏舎に適用した場合の本装置の移動監視装置の監視技法を説明する模式図である。図に示すように、建物の床FLに設置、敷設、または塗布されたガイドラインGLを、移動監視装置MM5のライン読取センサLSNが読み取り、このガイドラインGLに沿って自動で移動する。移動監視装置MM5は、ガイドラインで自装置の位置を認識しながら(好適には距離計やジャイロセンサなどを併用する)、ガイドラインGLに沿って、自装置の移動(駆動)を制御する。ガイドラインは、誘導のみならず、位置指標が一体化したものでもよい。また、位置指標を用いず、距離計などで位置を測定、推定してもよい。
図13は、鶏舎に適用した場合の本装置の移動監視装置の監視技法を説明する模式図である。図に示すように、建物の天井SLに設置、敷設、または塗布されたガイドラインGLを、移動監視装置MM6の上部に設置されたライン読取センサLSNが読み取り、このガイドラインGLに沿って自動で移動する。移動監視装置MM5は、ガイドラインで自装置の位置を認識しながら(好適には距離計、加速度計、および/または、ジャイロセンサなどを併用する)、ガイドラインGLに沿って、自装置の移動(駆動)を制御する。ガイドラインは、誘導のみならず、位置指標が一体化したものでもよい。また、位置指標を用いず、距離計などで位置を測定、推定してもよい。本態様の利点は、鶏舎などの鶏糞や羽などで汚れた場合に、床に設置されたガイドラインを読み取り不良になる恐れがあるが、それを防止できる。天井は、鶏糞や羽などで汚染される可能性はほぼないからである。
上述した監視技法は、監視の手法として画像情報を用いたものであるが、距離センサを用いた監視技法を以下の実施態様3で説明する。
<実施態様2>
図14は、本発明の一実施態様による監視装置の概要を示すブロック図である。図に示すように、監視装置MOS1は、移動監視装置MM1、MM2とサーバSV2とを含むものである。サーバSV2は、制御部(CPU、演算処理装置、プロセッサ)CON、入力部IN、出力部OUT、通信部COM、記憶部MEM、および、表示部DISを有する。移動監視装置MM2は、特に指摘しない限り移動監視装置MM1と同様の構成および機能を持つが、作図と説明の便宜上、一部の構成を省略してある。
また、サーバSV2は、
撮影された場所の位置情報を含む個体が撮影された画像を、取得する画像取得部と、
取得した画像を格納する記憶部MEMと、
格納した画像の各個体の特定部位にラベル付けし、AI技法(例えば、強化学習またはディープラーニングなどの技法)を用いて学習されたAIモデルAIM(AIアルゴリズムおよび派生した各種データとして記憶部に格納される)を生成する生成部GENと、
格納した画像において、前記AIモデルを用いて、画像内の特定部位(鶏の場合は、トサカ、肉垂など)を識別する識別部IDPと、
前記AIモデルを用いて、識別した特定部位が異常であるか否かを判定し、異常である場合、当該特定部位の個体が位置する位置情報と、当該特定部位を含む画像と、を含む警告情報を出力(送信)する警告部WANと、
を含む。
また、本発明は、個体の動作を識別して、異常判定する態様でも実施可能である。その場合は、
サーバSV2は、
格納した映像の各個体の動作にラベル付けし、AI技法(例えば、強化学習またはディープラーニングなどの技法)を用いて学習されたAIモデルを生成する生成部GENと、
格納した映像において、AIモデルを用いて、映像内の個体の動作を識別する識別部IDPと、
AIモデルを用いて、識別した個体の動作が異常であるか否かを判定し、異常である場合、当該個体が位置する位置情報と、当該個体を含む映像と、を含む警告情報を出力する警告部WANと、
を含む。
移動監視装置MM1は、撮像部としてカメラCM1〜3、センサSNSR(気圧計、ジャイロセンサなど)、制御部CON(CPU、演算処理装置、プロセッサ)、通信部COM、監視部MON(本機能は、サーバ側に設けてもよい)、出力部OUT、記憶部STR、GPSユニットGRを有するが、さらに、入力部(図示せず)、および、表示部(図示せず)を有してもよい。カメラは、鶏舎などの監視対象を撮影するものが2つと、天井や床などに設置した位置指標(点状のマーカーやライン状のものなど)を撮影するもの1つを設けることが好適であるが、1つ、または、2つでその機能を兼ねてもよい。また、カメラは、夜間でも僅かな環境中の光で撮影可能な高性能な機種を使用することが好適である。さらに、カメラは赤外線を検知するものを別途設けたり、上記のものに赤外線機能を搭載させたりして、監視対象の温度を検知して、対象の状態、例えば、死んでいるか、病気であるか否かなどの判定彩材料に使って検知してもよい。
移動監視装置MM1が、センサSNSRとして、自装置の位置を測定する位置測定部(図示せず、GPSユニットでもよい)と、角速度を計測するジャイロセンサと、加速度を計測する加速度センサと、高度を計測する高度センサと、自装置の走行距離を測定または推定する距離計を有する。
移動監視装置MM1は、
画像を撮像する撮像部CM1−3と、
自装置を移動させる駆動部DRと、
前記移動監視装置の位置を取得する取得部RET(GPSユニットなど)と、
前記移動監視装置の位置と、当該位置における画像とを含む、監視情報を無線または有線の通信手段を介して、前記サーバに送信する通信部COMと、
を有する。
前記サーバSV1は、
前記サーバが、
前記移動監視装置から、前記移動監視装置の位置と、当該位置における画像とを含む、前記監視情報を受信(取得)する通信部COM(および取得部ACQ)と、
前記移動監視装置の位置と、当該位置における画像とを含む、前記監視情報MIと、個体の特定部位の標準的な物理的情報である標準特定部位情報SPI(鶏の場合は、標準的で健康な鶏のトサカ、肉垂などの色情報、寸法情報、形状情報など)とを格納する記憶部MEMと、
格納した画像において、画像内の特定部位(鶏の場合は、トサカ、肉垂など)を識別する識別部IDPと、
識別した特定部位と、記憶部に格納される標準特定部位情報とを比較し、所定の数値以上、特定部位と標準特定部位情報とが離れている場合、或いは、特定部位と標準特定部位情報とが異なる場合、当該特定部位の個体が位置する位置情報と、当該特定部位を含む画像と、を含む警告情報を出力する警告部WANと、
を有する。
なお、出力される警報は、電子メールの送信、警告音声の出力や送信、画像出力、監視員への警告、管理者への警告、警備会社や警察などへの通報などが好適である。また、監視部は、設定された監視事象が、発生しているか否かを監視するにあたって、AI技法を用いて、記憶部の画像情報IM(または、画像情報から派生した派生情報(画像の特徴パターンなど)など)を参照して、前記設定された監視事象が、発生しているか否かを監視することが好適である
移動監視装置MM1が、
ガイドレールに移動可能に支持、載置、または、懸架され、かつ、該ガイドレールに沿ってガイドされるガイド部GDをさらに有し、
駆動部DRが、
前記ガイドレールに支持、載置、または、懸架されながら、該ガイドレールに沿って、自装置を移動させる。
ネットワークNETを介して接続された建物情報サーバまたは記憶部MEMなどから、監視対象の建物や棚、鶏舎などのCAD情報を取得してもよい。CAD情報と、このCAD情報の空間座標系に対応した、または、対応させた、位置指標配置情報、前記建物に配置された、監視対象の設置物(鶏舎のケージ、机、椅子、機材、など)のレイアウト情報から、移動ルートが設定される。表示部DISは、本装置に格納される情報や生成された情報を表示することができる。
サーバSV1の制御部に含まれる各機能部は、制御部のメモリ空間に読み込まれたプログラムモジュールによって実現することが好適である。また、移動装置をドローンや自走装置として実現させた場合は、制御部のメモリ空間に読み込まれたプログラムモジュールによって各機能部を実現したり、内蔵するGPSユニットやカメラユニットなどで各機能部を実現したりすることが可能である。通常、サーバは、記憶部或いはウェブサイトから、プロセッサを本装置の各部として機能させるソフトウェアをダウンロードして、PCにインストールして起動することで、PCが、本装置として動作する。なお、制御部に設けた各機能部は、機能上一定のまとまりのあるステップを1つにまとめたものに過ぎず、複数の機能部を1つの機能部にしたり、その一部を他の機能部に組み入れたり、他の独立した機能部に分割したりすることが可能である。
図15は、図1に示した監視装置で実行される処理の一例を示すフローチャートである。監視装置は、サーバSV1と移動監視装置MM1の2つの装置が連携して処理を行う。他のサーバにある情報や機能を移動装置に設置しておけば、サーバとの連携は不要とすることも可能である。
予め、生成部が、格納した画像の各個体の特定部位にラベル付けし、AI技法(例えば、強化学習またはディープラーニングなどの技法)を用いて学習されたAIモデルを生成しておき、記憶部に格納する。そして、ステップS21にて、移動監視装置のカメラが画像を撮像する。次に、ステップS22にて、取得部が、移動監視装置の位置を取得する。そして、ステップS23にて、移動監視装置の位置と、当該位置における画像とを含む、監視情報を無線または有線の通信手段を介して、サーバに送信する。サーバは、ステップS24にて、移動監視装置の駆動部が、位置指標で位置確認、および/または、ジャイロセンサおよび加速度センサ(またはGPS,距離計)を利用して位置確認しながら、移動監視装置をガイドレールに沿って移動させる。なお、移動は、センサなどを使わずに、所定の距離(例えば、鶏舎の1ケージ分の距離など)を動くモータ電力を供給したり、所定の時間だけモータ動作させたりなど、簡易的な手法でもよい。
ステップS25にて、移動監視装置のカメラが画像を撮像する。次に、移動監視装置の位置を取得し、ステップS26にて、移動監視装置の位置と、当該位置における画像とを含む、監視情報を無線または有線の通信手段を介して、サーバに送信する。ステップS27にて、レールの終わりか否か、または、移動監視装置に搭載した電池の残量電力が不足している否かを判定する。判定条件を満たす場合は、ステップS29−2に進み、基地に帰還する。判定条件を満たさない場合は、ステップS28に進む。
ステップS28にて、画像に異常イベント(監視事象)が発生しているか否かを判定する。即ち、格納した画像において、前記AIモデルを用いて、画像内の特定部位(鶏の場合は、トサカ、肉垂など)を識別し、そして、警告部が、AIモデルを用いて、識別した特定部位が異常であるか否かを判定し、異常である場合、当該特定部位の個体が位置する位置情報と、当該特定部位を含む画像と、を含む警告情報を出力(送信)する。
異常イベントが発生していない場合は、ステップS25に戻り、移動および撮像を続ける。異常イベントが発生している場合は、そのまま警報を発してもよいが、誤認識を少なくさせるために、ステップS28−1に進み、移動監視装置を停止させるか、減速させて、当該異常イベントの画像の観察を続けることが好適である。そして、ステップS28−2にて、異常イベントの発生が継続していると判定した場合に、ステップS29にて、異常イベントの発生した位置、その時間の画像(映像を含む)を含む警報を出力する。ステップS28−2にて、異常イベントの発生が継続していないと判定した場合は、誤認識であると判断し警報は出さずに、ステップS25に戻り、移動(監視)を続ける。ステップS29にて警報を出した後は、ステップS29−1に進み、ステップS27と同様に、レール(ルート)の終わりか否か、または、搭載した電池の残量電力が不足している否かを判定する。判定条件を満たす場合は、移動監視装置の基地(充電スポット)に帰還する。判定条件を満たさない場合は、ステップS25に戻り、移動(監視)を続ける。
この例は、特定部位の画像での判定であるが、個体の動作で判定してもよい。その場合は、以下のように構成させる。
また、監視装置(畜舎監視装置)は、
撮影された場所の位置情報を含む個体が撮影された映像を、取得する画像取得部と、
取得した映像を格納する記憶部と、
格納した映像の各個体の動作にラベル付けし、AI技法(例えば、強化学習またはディープラーニングなどの技法)を用いて学習されたAIモデルを生成する生成部と、
格納した映像において、AIモデルを用いて、映像内の個体の動作を識別する識別部と、
AIモデルを用いて、識別した個体の動作が異常であるか否かを判定し、異常である場合、当該個体が位置する位置情報と、当該個体を含む映像と、を含む警告情報を出力する警告部と、
を含む、ことを特徴とする。
好適には、格納した映像のうち、所定の期間内(好適には、直近1−3週間程度)の映像に重み付けして、AIモデルを生成する。家畜の各部位は成長に伴い、形状、寸法、色などが変化するため、本構成によって、現在の状態の家畜の標準的な状態を反映できるため、より適切に異常な個体を特定することが可能となる。また、畜舎の個体の生育情報(例えば、生後1週間、2ヶ月など)を取得して、これに基づき、AIモデルをカスタマイズさせることによって、より病気や衰弱、死亡の家畜を精度よく識別、特定、監視することが可能となる。
個体を画像として捉える態様で説明してきたが、本発明は、画像、映像のみならず、個体や畜舎の状況を反映する他の測定情報を利用して、個体の異常を識別、特定することも可能である。
例えば、監視装置(畜舎監視装置)は、
監視された場所の位置情報と、当該場所で測定された、測定値を含む監視情報(音、臭い、温度、湿度など)を、取得する監視情報取得部と、
取得した監視情報を格納する記憶部と、
格納した監視情報の測定値にラベル付けし、AI技法(例えば、強化学習またはディープラーニングなどの技法)を用いて学習されたAIモデルを生成する生成部と、
格納した監視情報において、前記AIモデルを用いて、監視情報の測定値を識別する識別部と、
前記AIモデルを用いて、識別した測定値が異常であるか否かを判定し、異常である場合、位置情報と、当該測定情報と、を含む警告情報を出力する警告部と、
を含む、ことを特徴とする。
図18は、本発明の一実施態様(AIモデル生成)による監視装置の監視技法の模式図である。図に示すように、鶏BD1−BD7が映る画像情報SI3から、AIモデルAIM1(これは、トサカの色の数値情報、RGBで規定することが好適である)、AIモデルAIM2(これは、肉垂れのサイズの数値情報)、を生成し、記憶部に格納する。AIモデルの生成法は多数あり、例えば、特定部位であるトサカ領域を抽出し、そこの色情報を抽出し、さらに、各個体の健康状態を示すラベルを付加させるようなものでもよいが、単に、各個体の健康状態を示すラベルを付加させて、特定部位やその特徴量は、AIに抽出させて、健康状態(病気、死亡を含む)に関連がある1つの特定部位、または、2つ以上の特定部位の組み合わせをAIに探索、学習させて、AIモデルを生成してもよい。次の図で、AIモデルの活用方法を示す。また、AIモデルは、特定部位だけではなく、排泄物、環境の温度、環境の湿度、臭い、音、などが利用できる。
図19は、本発明の一実施態様(AIモデル活用)による監視装置の監視技法の模式図である。図に示すように、AIモデルAIM1と、鶏BD16トサカの色とを比較する。この場合は、鶏BD16のトサカの色は、AIモデルAIM1の範囲内に入るので、一致すると判断し、鶏BD16は正常であると判定される。そして、別の個体を比較することになる。
他方、AIモデルAIM1と、鶏BD19のトサカの色とを比較する。この場合は、鶏BD19のトサカの色は、AIモデルAIM1の範囲外にあるので、一致しない、即ち、異常であると判定され、個体BD19の位置と画像とを含む警告情報を出力する。
図20は、本発明の一実施態様(AIモデル生成の応用)による監視装置の監視技法の模式図である。これは、個体が健康か否かのラベルを各個体に付加し(例えば、不健康、死亡、病気のラベルだけを付けるのが好適である。ラベルなしは、自動的に健康であると判定できる)、これを学習して、AIモデルを自動生成させる。既知のAIアルゴリズムを使って、異常である、不健康、死亡、病気について、特徴を示す特定部位の特定情報を自動的に抽出させることもできる。例えば、AIモデルAIM5は、特定部位1の模様、AIモデルAIM6は、特定部位2の形状、AIモデルAIM7は、特定部位3の温度などである。例えば、鶏のトサカや肉垂れの温度は、健康状態を示すものであり、作業者が指定しなくても、自動的にAIMモデルAIM7が生成される。このAIの利点は、ある事象(ここでは、家畜の不健康状態)にラベルを付けておくだけで、通常は、見逃すような特定部位の症状(温度、形状、色、模様など)を示す特徴量をAIが抽出し、それを利用するAIモデルが生成されることである。これにより、未知の病気の場合でも、AIモデルによって、特定部位の症状(温度、形状、色、模様など)を示す特徴量が特定でき、これを用いて、不健康状態の家畜を自動的に識別、特定可能なことである。また、AIモデルAIM5,AIM6などのように、個別の特定部位や機能別にAIモデルを生成してもよいが、全ての特定部位や機能についてを含む単一のAIモデルを生成してもよい。全てを含むAIモデルであれば、各特定部位の各特徴量の関連性によって、さらに詳細に健康状態や異常状態の推定、特定などが可能となる。
本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各部、各ステップなどに含まれる処理や機能などは論理的に矛盾しないように再配置可能であり、複数の手段/部やステップなどを1つに組み合わせたり、或いは分割したりすることが可能である。或いは、本発明による装置、方法、プログラムなどの一部の構成要素、機能、処理、ステップなどを遠隔地のサーバなどに配置することも可能であることに注意されたい。また、本発明をリアルタイムの監視装置として説明してきたが、撮影済みの画像を入力として、不審な対象が撮影した時間帯や瞬間を切り出す、編集装置や編集システムとしても使用可能である。
ACQ……取得部
AIM……モデル
BD11,BD12……鶏
BD13,BD14……鶏
BD4……鶏
BLD……建物
BLD1……建物
BR1,BR2……鶏舎打撃棒
CAD……次元
CG31……鶏舎
CG32……鶏舎
CG32……鶏舎番号
CG42……鶏舎番号
CI……情報
CIALL……情報
CM1……カメラ
CM1……撮像部
CM2……カメラ
CM3……カメラ
CM4……カメラ
COM……通信部
CON……制御部
DB……ドローン基地
DIS……表示部
DR……駆動部
FL……床
FR1……飛行ルート
FR1,FR2……飛行ルート
FR2……飛行ルート
GD……ガイド部
GEN……生成部
GL……ガイドライン
GR……ガイドレール
GR……ユニット
HDT4……トサカ部
IDP……識別部
IM……画像情報
IN……入力部
LILI……位置指標配置情報
LSN……ライン読取センサ
MEM……記憶部
MI……監視情報
MM1……移動監視装置
MM2……移動監視装置
MM3……移動監視装置
MM4……移動監視装置
MM5……移動監視装置
MM6……移動監視装置
MON……監視部
MOS1……監視装置
NET……ネットワーク
OUT……出力部
PL1……回転灯
RET……取得部
RT1……移動ルート
SBJ1,SBJ2……監視対象
SBJ1,SBJ2……棚
SBJ3,SBJ4……監視対象
SL……天井
SL1……画面インターフェイス
SL2……画面インターフェイス
SL3……画面インターフェイス
SLI……レイアウト情報
SNSR……センサ
SPI……標準特定部位情報
STR……記憶部
SV1……サーバ
SV2……サーバ
WAN……警告部
WRN1……警報情報
WRN2……警報情報

Claims (31)

  1. 監視装置であって、
    撮影された場所の位置情報を含む画像、を取得する画像取得部と、
    取得した画像と、個体の特定部位の標準的な物理的情報である標準特定部位情報(鶏の場合は、標準的で健康な鶏のトサカ、肉垂などの色情報、寸法情報、形状情報など)とを格納する記憶部と、
    格納した画像において、画像内の特定部位(鶏の場合は、トサカ、肉垂など)を識別する識別部と、
    識別した特定部位と、記憶部に格納される標準特定部位情報とを比較し、所定の数値以上、特定部位と標準特定部位情報とが離れている場合、或いは、特定部位と標準特定部位情報とが異なる場合、当該特定部位の個体が位置する位置情報と、当該特定部位を含む画像と、を含む警告情報を出力する警告部と、
    を含む、
    ことを特徴とする、監視装置。
  2. 監視装置であって、
    撮影された場所の位置情報を含む画像を、取得する画像取得部と、
    取得した画像と、異常な個体の特定部位の物理的情報である異常特定部位情報(鶏の場合は、異常、病気、衰弱、傷が付いている、または、死亡している鶏のトサカ、肉垂(健康状態を示す傾向が強い特定部位が好適である。)などの色情報、寸法情報、形状情報など)とを格納する記憶部と、
    格納した画像において、画像内の特定部位(鶏の場合は、トサカ、肉垂など)を識別する識別部と、
    識別した特定部位と、記憶部に格納される標準特定部位情報とを比較し、所定の数値以内に、特定部位と異常特定部位情報とがある場合、或いは、特定部位と異常特定部位情報とが一致する場合、当該特定部位の個体が位置する位置情報と、当該特定部位を含む画像と、を含む警告情報を出力する警告部と、
    を含む、
    ことを特徴とする、監視装置。
  3. 監視装置であって、
    撮影された場所の位置情報を含む個体が撮影された画像を、取得する画像取得部と、
    取得した画像を格納する記憶部と、
    格納した画像の各個体に基づき、個体の少なくとも1つの特定部位の標準的な物理的情報である標準特定部位情報(鶏の場合は、鶏のトサカ、肉垂などの色情報、寸法情報、形状情報など)を生成する生成部と、
    格納した画像において、画像内の特定部位(鶏の場合は、トサカ、肉垂など)を識別する識別部と、
    識別した特定部位と、生成された標準特定部位情報とを比較し、所定の数値以上、特定部位と標準特定部位情報とが離れている場合、或いは、特定部位と標準特定部位情報とが異なる場合、当該特定部位の個体が位置する位置情報と、当該特定部位を含む画像と、を含む警告情報を出力する警告部と、
    を含む、
    ことを特徴とする、監視装置。
  4. 請求項3に記載の監視装置において、
    前記生成部が、
    格納した画像のうち、所定の期間内(好適には、直近1−3週間程度)の画像のみの各個体に基づき、個体の少なくとも1つの特定部位の標準的な物理的情報である標準特定部位情報(鶏の場合は、鶏のトサカ、肉垂などの色情報、寸法情報、形状情報など)を生成する、
    ことを特徴とする、監視装置。
  5. 請求項3または4に記載の監視装置において、
    前記生成部、前記識別部、または、前記警告部が、
    AI技法に基づき動作する、
    ことを特徴とする、監視装置。

  6. 監視装置であって、
    撮影された場所の位置情報を含む画像、を取得する画像取得部と、
    取得した画像と、(予め取得された画像において、ラベル付けされた個体、或いは、ラベル付けされた個体の特定部位に基づき)AI技法を用いて学習されたAIモデルと、を格納する記憶部と、
    格納した画像において、画像内の特定部位(鶏の場合は、トサカ、肉垂など)を識別する識別部と、
    前記AIモデルを用いて、識別した特定部位が異常であるか否かを判定し、異常である場合、当該特定部位の個体が位置する位置情報と、当該特定部位を含む画像と、を含む警告情報を出力する警告部と、
    ことを特徴とする、監視装置。
  7. 監視装置であって、
    撮影された場所の位置情報を含む個体が撮影された画像を、取得する画像取得部と、
    取得した画像を格納する記憶部と、
    格納した画像の各個体に異常(病気、死亡、衰弱などの不健康であることを示す)ラベル付けし、或いは、特定部位にラベル付けし、AI技法(例えば、強化学習またはディープラーニングなどの技法)を用いて学習されたAIモデルを生成する生成部と、
    格納した画像において、画像内の特定部位(鶏の場合は、トサカ、肉垂など)を識別する識別部と、
    前記AIモデルを用いて、識別した特定部位が異常であるか否かを判定し、異常である場合、当該特定部位の個体が位置する位置情報と、当該特定部位を含む画像と、を含む警告情報を出力(送信)する警告部と、
    ことを特徴とする、監視装置。
  8. 監視装置であって、
    撮影された場所の位置情報を含む個体が撮影された映像を、取得する画像取得部と、
    取得した映像を格納する記憶部と、
    格納した映像の各個体にラベル付けし、AI技法(例えば、強化学習またはディープラーニングなどの技法)を用いて学習されたAIモデルを生成する生成部と、
    格納した映像において、映像内の個体の動作を識別する識別部と、
    AIモデルを用いて、識別した個体の動作が異常であるか否かを判定し、異常である場合、当該個体が位置する位置情報と、当該個体を含む映像と、を含む警告情報を出力する警告部と、
    ことを特徴とする、監視装置。
  9. 監視装置であって、
    監視された場所の位置情報と、当該場所で測定された、測定値を含む監視情報(音、臭い、温度、湿度など)を、取得する監視情報取得部と、
    取得した監視情報を格納する記憶部と、
    格納した監視情報の測定値にラベル付けし、AI技法(例えば、強化学習またはディープラーニングなどの技法)を用いて学習されたAIモデルを生成する生成部と、
    格納した監視情報において、前記AIモデルを用いて、監視情報の測定値を識別する識別部と、
    前記AIモデルを用いて、識別した測定値が異常であるか否かを判定し、異常である場合、位置情報と、当該測定情報と、を含む警告情報を出力する警告部と、
    を含む、ことを特徴とする。
    ことを特徴とする、監視装置。
  10. 1つまたは複数の演算処理装置を第1〜9のいずれかの発明に記載の監視装置として機能させる監視プログラム。
  11. 請求項10に記載の監視プログラムを格納したコンピュータ可読な記憶媒体。
  12. 監視方法であって、
    演算装置が、撮影された場所の位置情報を含む画像、を取得する画像取得ステップと、
    前記演算装置が、取得した画像と、個体の特定部位の標準的な物理的情報である標準特定部位情報(鶏の場合は、標準的で健康な鶏のトサカ、肉垂などの色情報、形状情報など)とを格納する記憶ステップと、
    前記演算装置が、格納した画像において、画像内の特定部位(鶏の場合は、トサカ、肉垂など)を識別する識別ステップと、
    前記演算装置が、識別した特定部位と、記憶部に格納される標準特定部位情報とを比較し、所定の数値以上、特定部位と標準特定部位情報とが離れている場合、或いは、特定部位と標準特定部位情報とが異なる場合、当該特定部位の個体が位置する位置情報と、当該特定部位を含む画像と、を含む警告情報を出力する警告ステップと、
    を含む、
    ことを特徴とする、監視方法。
  13. 監視方法であって、
    演算装置が、撮影された場所の位置情報を含む画像を、取得する画像取得ステップと、
    前記演算装置が、取得した画像と、異常な個体の特定部位の物理的情報である異常特定部位情報(鶏の場合は、異常、病気、衰弱、傷が付いている、または、死亡している鶏のトサカ、肉垂(健康状態を示す傾向が強い特定部位)などの色情報、形状情報など)とを格納する記憶ステップと、
    前記演算装置が、格納した画像において、画像内の特定部位(鶏の場合は、トサカ、肉垂など)を識別する識別ステップと、
    前記演算装置が、識別した特定部位と、記憶部に格納される標準特定部位情報とを比較し、所定の数値以内に、特定部位と異常特定部位情報とがある場合、或いは、特定部位と異常特定部位情報とが一致する場合、当該特定部位の個体が位置する位置情報と、当該特定部位を含む画像と、を含む警告情報を出力する警告ステップと、
    を含む、
    ことを特徴とする、監視方法。
  14. 監視方法であって、
    演算装置が、撮影された場所の位置情報を含む個体が撮影された画像を、取得する画像取得ステップと、
    前記演算装置が、取得した画像を格納する記憶ステップと、
    前記演算装置が、格納した画像の各個体に基づき、個体の少なくとも1つの特定部位の標準的な物理的情報である標準特定部位情報(鶏の場合は、鶏のトサカ、肉垂などの色情報、形状情報など)を生成する生成ステップと、
    前記演算装置が、格納した画像において、画像内の特定部位(鶏の場合は、トサカ、肉垂など)を識別する識別ステップと、
    前記演算装置が、識別した特定部位と、生成された標準特定部位情報とを比較し、所定の数値以上、特定部位と標準特定部位情報とが離れている場合、或いは、特定部位と標準特定部位情報とが異なる場合、当該特定部位の個体が位置する位置情報と、当該特定部位を含む画像と、を含む警告情報を出力する警告ステップと、
    を含む、
    ことを特徴とする、監視方法。
  15. 請求項14に記載の監視方法において、
    前記生成ステップが、
    格納した画像のうち、所定の期間内(好適には、直近1−3週間程度)の画像のみの各個体に基づき、個体の少なくとも1つの特定部位の標準的な物理的情報である標準特定部位情報(鶏の場合は、鶏のトサカ、肉垂などの色情報、寸法情報、形状情報など)を生成する、
    ことを特徴とする、監視方法。
  16. 請求項14または15に記載の監視方法において、
    前記生成ステップ、前記識別ステップ、または、前記ステップが、
    AI技法に基づき動作する、
    ことを特徴とする、監視方法。
  17. 監視方法であって、
    演算装置が、撮影された場所の位置情報を含む画像、を取得する画像取得ステップと、
    前記演算装置が、取得した画像と、ラベル付けされた個体の特定部位に基づきAI技法を用いて学習されたAIモデルと、を格納する記憶ステップと、
    前記演算装置が、格納した画像において、前記AIモデルを用いて、画像内の特定部位(鶏の場合は、トサカ、肉垂など)を識別する識別ステップと、
    前記演算装置が、前記AIモデルを用いて、識別した特定部位が異常であるか否かを判定し、異常である場合、当該特定部位の個体が位置する位置情報と、当該特定部位を含む画像と、を含む警告情報を出力する警告ステップと、
    を含む、ことを特徴とする。
    ことを特徴とする、監視方法。
  18. 監視方法であって、
    演算装置が、撮影された場所の位置情報を含む個体が撮影された画像を、取得する画像取得ステップと、
    前記演算装置が、取得した画像を格納する記憶ステップと、
    前記演算装置が、格納した画像の各個体の特定部位にラベル付けし、AI技法(例えば、強化学習またはディープラーニングなどの技法)を用いて学習されたAIモデルを生成する生成ステップと、
    前記演算装置が、格納した画像において、AIモデルを用いて、画像内の特定部位(鶏の場合は、トサカ、肉垂など)を識別する識別ステップと、
    前記演算装置が、AIモデルを用いて、識別した特定部位が異常であるか否かを判定し、異常である場合、当該特定部位の個体が位置する位置情報と、当該特定部位を含む画像と、を含む警告情報を出力(送信)する警告ステップと、
    を含む、ことを特徴とする。
    ことを特徴とする、監視方法。
  19. 監視方法であって、
    演算装置が、撮影された場所の位置情報を含む個体が撮影された映像を、取得する画像取得ステップと、
    前記演算装置が、取得した映像を格納する記憶ステップと、
    前記演算装置が、格納した映像の各個体の動作にラベル付けし、AI技法(例えば、強化学習またはディープラーニングなどの技法)を用いて学習されたAIモデルを生成する生成ステップと、
    前記演算装置が、格納した映像において、前記AIモデルを用いて、映像内の個体の動作を識別する識別ステップと、
    前記演算装置が、前記AIモデルを用いて、識別した個体の動作が異常であるか否かを判定し、異常である場合、当該個体が位置する位置情報と、当該個体を含む映像と、を含む警告情報を出力する警告ステップと、
    を含む、ことを特徴とする。
    ことを特徴とする、監視方法。
  20. 1つまたは複数の演算処理装置を第11〜19のいずれかの発明に記載の監視装置として機能させる監視プログラム。
  21. 請求項20に記載の監視プログラムを格納したコンピュータ可読な記憶媒体。
  22. 移動監視装置とサーバとを含む監視装置であって、
    前記移動監視装置が、
    画像を撮像する撮像部と、
    自装置を移動させる駆動部と、
    前記移動監視装置の位置を取得する取得部(GPSユニットなど)と、
    前記移動監視装置の位置と、当該位置における画像とを含む、監視情報を無線または有線の通信手段を介して、前記サーバに送信する通信部と、
    を有し、
    前記サーバが、
    前記移動監視装置から、前記移動監視装置の位置と、当該位置における画像とを含む、前記監視情報を受信する通信部と、
    前記移動監視装置の位置と、当該位置における画像とを含む、前記監視情報と、個体の特定部位の標準的な物理的情報である標準特定部位情報(鶏の場合は、標準的で健康な鶏のトサカ、肉垂などの色情報、寸法情報、形状情報など)とを格納する記憶部と、
    格納した画像において、画像内の特定部位(鶏の場合は、トサカ、肉垂など)を識別する識別部と、
    識別した特定部位と、記憶部に格納される標準特定部位情報とを比較し、所定の数値以上、特定部位と標準特定部位情報とが離れている場合、或いは、特定部位と標準特定部位情報とが異なる場合、当該特定部位の個体が位置する位置情報と、当該特定部位を含む画像と、を含む警告情報を出力する警告部と、
    を有する、
    ことを特徴とする、監視装置。
  23. 請求項22に記載の監視装置において、
    前記移動監視装置の前記駆動部が、
    自走式である、
    ことを特徴とする、監視装置。
  24. 請求項22または23に記載の監視装置において、
    前記生成部、前記識別部、または、前記警告部が、
    AI技法に基づき動作する、
    ことを特徴とする、監視装置。
  25. 移動監視装置とサーバとを含む監視装置であって、
    前記移動監視装置が、
    画像を撮像する撮像部と、
    自装置を移動させる駆動部と、
    前記移動監視装置の位置を取得する取得部(GPSユニットなど)と、
    前記移動監視装置の位置と、当該位置における画像とを含む、監視情報を無線または有線の通信手段を介して、前記サーバに送信する通信部と、
    を有し、
    前記サーバが、
    前記移動監視装置から、前記移動監視装置の位置と、当該位置における画像とを含む、前記監視情報を受信する通信部と、
    受信した画像と、(予め取得された画像において、ラベル付けされた個体の特定部位に基づき)AI技法を用いて学習されたAIモデルと、を格納する記憶部と、
    格納した画像において、前記AIモデルを用いて、画像内の特定部位(鶏の場合は、トサカ、肉垂など)を識別する識別部と、
    前記AIモデルを用いて、識別した特定部位が異常であるか否かを判定し、異常である場合、当該特定部位の個体が位置する位置情報と、当該特定部位を含む画像と、を含む警告情報を出力する警告部と、
    を含む、
    ことを特徴とする、監視装置。
  26. 請求項25に記載の監視装置において、
    前記移動監視装置の前記通信部が、
    監視事象顕著化情報(給餌情報(給餌の場所、時間など)、侵入者威嚇情報(警告音発生場所、時間など)など)をさらに受信し、
    前記移動監視装置の前記駆動部が、
    前記監視事象顕著化情報に基づき、自装置の移動を制御する、
    ことを特徴とする、監視装置。
  27. 請求項25に記載の監視装置において、
    前記サーバの前記通信部が、
    監視事象顕著化情報(給餌情報(給餌の場所、時間など)、侵入者威嚇情報(警告音発生場所、時間など)など)をさらに受信し、
    前記サーバが、
    前記監視事象顕著化情報に基づき、前記通信部を介して、前記移動監視装置の前記駆動部を制御して、前記移動監視装置を移動させる、
    ことを特徴とする、監視装置。
  28. 請求項25−27のうちのいずれか1項に記載の監視装置において、
    前記監視事象顕著化情報が、
    給餌情報(給餌の場所、時間など)、侵入者威嚇情報(警告光、警告振動、警告音発生場所、時間など)、臭い情報(監視対象の鶏などが嫌う、または、興奮する臭気など)、光情報(照明や屋内の照度、点滅、回転灯など)、開口部開閉情報(窓や換気扇の開閉など)、および、空調設定情報からなる群から選択される1つ以上のものである、
    ことを特徴とする、監視装置。
  29. 請求項25−28のうちのいずれか1項に記載の監視装置において、
    前記移動監視装置が、
    前記監視事象顕著化情報の状況を発生させる監視事象顕著化状況発生手段をさらに有する(例えば、光を発生する回転灯、音声を出すスピーカー、移動に伴い鶏舎と接触して振動と音を出す棒状部、給餌を開始させる信号出力部、照明や音声の出力を制御する制御信号出力部など)、
    ことを特徴とする、監視装置。
  30. 1つまたは複数の演算処理装置を第20〜29のいずれかの発明に記載の監視装置として機能させる監視プログラム。
  31. 請求項30に記載の監視プログラムを格納したコンピュータ可読な記憶媒体。
JP2020087060A 2020-05-18 2020-05-18 監視装置、監視プログラム、記憶媒体、および、監視方法 Pending JP2021182225A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020087060A JP2021182225A (ja) 2020-05-18 2020-05-18 監視装置、監視プログラム、記憶媒体、および、監視方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020087060A JP2021182225A (ja) 2020-05-18 2020-05-18 監視装置、監視プログラム、記憶媒体、および、監視方法

Publications (1)

Publication Number Publication Date
JP2021182225A true JP2021182225A (ja) 2021-11-25

Family

ID=78606579

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020087060A Pending JP2021182225A (ja) 2020-05-18 2020-05-18 監視装置、監視プログラム、記憶媒体、および、監視方法

Country Status (1)

Country Link
JP (1) JP2021182225A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114023048A (zh) * 2021-11-27 2022-02-08 安徽博达项目管理咨询有限公司 一种基于人工智能数据处理和视觉分析的工程监理系统
CN114521513A (zh) * 2022-02-16 2022-05-24 吴绍兵 一种电力监测系统中危险目标的识别方法
JP7281844B1 (ja) 2022-04-08 2023-05-26 ヨシダエルシス株式会社 斃死鶏検出装置およびそれを備える養鶏システム
WO2023191043A1 (ja) * 2022-03-31 2023-10-05 古河電気工業株式会社 動物行動記録装置、動物行動記録方法及びプログラム
CN117857925A (zh) * 2024-03-08 2024-04-09 杭州同睿工程科技有限公司 基于igv的砼预制构件图像采集方法及相关设备

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114023048A (zh) * 2021-11-27 2022-02-08 安徽博达项目管理咨询有限公司 一种基于人工智能数据处理和视觉分析的工程监理系统
CN114521513A (zh) * 2022-02-16 2022-05-24 吴绍兵 一种电力监测系统中危险目标的识别方法
CN114521513B (zh) * 2022-02-16 2023-05-12 长沙泛能电力科技有限公司 一种电力监测系统中危险目标的识别方法
WO2023191043A1 (ja) * 2022-03-31 2023-10-05 古河電気工業株式会社 動物行動記録装置、動物行動記録方法及びプログラム
JP7281844B1 (ja) 2022-04-08 2023-05-26 ヨシダエルシス株式会社 斃死鶏検出装置およびそれを備える養鶏システム
JP2023154786A (ja) * 2022-04-08 2023-10-20 ヨシダエルシス株式会社 斃死鶏検出装置およびそれを備える養鶏システム
CN117857925A (zh) * 2024-03-08 2024-04-09 杭州同睿工程科技有限公司 基于igv的砼预制构件图像采集方法及相关设备
CN117857925B (zh) * 2024-03-08 2024-05-28 杭州同睿工程科技有限公司 基于igv的砼预制构件图像采集方法及相关设备

Similar Documents

Publication Publication Date Title
JP2021182225A (ja) 監視装置、監視プログラム、記憶媒体、および、監視方法
CN108990831B (zh) 一种牲畜健康监控方法和系统
CN109496123B (zh) 家畜的机器人协助监视
US11080882B2 (en) Display control device, display control method, and program
JP7406746B2 (ja) 監視装置、監視プログラム、記憶媒体、および、監視方法
KR101712633B1 (ko) 센서와 무인비행체를 이용한 방목 가축 질병 예측 관리시스템 및 관리방법
CN103971088B (zh) 使用视觉检测器的信息技术资产定位方法和系统
CN110160583A (zh) 一种文物监测装置、文物环境状态监测系统及存储箱
KR101714976B1 (ko) 증강현실 기반의 축사 모니터링 장치
US11729597B2 (en) Digital twin disaster management system customized for underground public areas
WO2020038452A1 (zh) 用于巡检车的巡检方法和装置
KR101652192B1 (ko) 개체식별장치와 무인비행체를 이용한 방목가축 추적관리 시스템
CN115752462A (zh) 楼宇内重点巡检目标巡检方法、系统、电子设备和介质
CN113762113A (zh) 一种牲畜分娩行为监控方法及装置
US20190012535A1 (en) Trail camera image recognition system
US20200388149A1 (en) System and method for preventing false alarms due to display images
CN114020043A (zh) 无人机建筑工程监理系统、方法、电子设备及存储介质
CN115431266A (zh) 一种巡检方法、巡检装置及巡检机器人
KR20190091714A (ko) 지능형 무인비행체를 이용한 지하공동구 자율 탐사 방법 및 장치
KR20180027839A (ko) 증강현실영상 기반의 가축정보 제공 방법 및 장치
KR20150098024A (ko) 영상정보 및 생체신호정보를 이용한 동물의 사육환경 제어 시스템 및 방법
CN112586824A (zh) 一种用于畜禽养殖场的巡检头盔及巡检方法
CN210247950U (zh) 智能检测装置和智能检测系统
JP2021051464A (ja) 侵入検出装置及び侵入検出方法
CN111599030A (zh) 一种基于机房的机器人巡检方法及系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230404

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20230404

RD07 Notification of extinguishment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7427

Effective date: 20231019

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240402

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240522