JP2020040839A - エレベータの遠隔監視システム - Google Patents

エレベータの遠隔監視システム Download PDF

Info

Publication number
JP2020040839A
JP2020040839A JP2019230105A JP2019230105A JP2020040839A JP 2020040839 A JP2020040839 A JP 2020040839A JP 2019230105 A JP2019230105 A JP 2019230105A JP 2019230105 A JP2019230105 A JP 2019230105A JP 2020040839 A JP2020040839 A JP 2020040839A
Authority
JP
Japan
Prior art keywords
model pattern
person
car
image
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019230105A
Other languages
English (en)
Other versions
JP6810914B2 (ja
Inventor
行宏 宮川
Yukihiro Miyagawa
行宏 宮川
正一 若林
Shoichi Wakabayashi
正一 若林
文隆 赤坂
Fumitaka Akasaka
文隆 赤坂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitec Co Ltd
Original Assignee
Fujitec Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitec Co Ltd filed Critical Fujitec Co Ltd
Priority to JP2019230105A priority Critical patent/JP6810914B2/ja
Publication of JP2020040839A publication Critical patent/JP2020040839A/ja
Application granted granted Critical
Publication of JP6810914B2 publication Critical patent/JP6810914B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】人及び物の少なくとも一方の位置や挙動に起因する報知を防ぐことのできるエレベータの監視システムを提供する。【解決手段】遠隔監視システム1は、制御マイコン20と、監視端末3と、かご21内を経時的に撮像するカメラ210と、撮像画像を処理する処理部23と、人のモデルパターンを記憶する記憶部221と、を備える。処理部23は、画像から、それぞれエッジを抽出する第一処理と、画像から抽出されたエッジに、それぞれ人のモデルパターンを当てはめる第二処理と、第二処理で当てはめた人のモデルパターンの座標が第一の特定の座標にあるときに、人の位置に起因する異常情報の制御マイコン20から監視端末3への送信を阻止する第三処理と、を行い、前記第一の特定の座標はかご21のドアの表面の存在する領域及びかご21のドアの軌道上の領域の少なくとも一方の領域に位置する。【選択図】図1

Description

本発明は、エレベータを遠隔監視する遠隔監視システムに関する。
従来から、エレベータの動作状況を監視する遠隔監視システムが提供されている。遠隔監視システムは、動作を制御するための制御マイコンを含むエレベータと、エレベータの制御マイコンに通信可能に接続され且つエレベータの動作を遠隔で監視するための端末とを備える(特許文献1参照)。
かかるシステムでは、エレベータに異常等が発生した場合、エレベータ(制御マイコン)からの信号を基に、監視センターの端末(監視端末)が監視センターの監視員にエレベータの動作状況を報知する。この監視端末の報知により、監視員は、エレベータに異常等が発生したことを認識し、技術員にエレベータへの出向を要請する。
しかし、上記システムでは、監視端末が、エレベータの異常等が発生したことを報知するにすぎないため、監視員はエレベータの異常等の発生原因を把握することができない。
エレベータの報知の原因には、人為的なもの、例えば、荷物の積み下ろし時に戸閉動作を阻止する行為等が含まれる。そのため、上記の人為的なものが原因で報知があった場合、監視員から出向要請を受けた技術員が、エレベータの異常等の発生原因を確認するために現場に向かっても、技術員が現場に到着した時点では報知の原因が解消していることがあり、技術員の出向が無駄になることがある。
特開2003−212447号公報
そこで、本発明は、人及び物の少なくとも一方の位置や挙動に起因する報知を防ぐことのできるエレベータの監視システムを提供する。
本発明のエレベータの遠隔監視システムは、エレベータに配置された制御マイコンと、前記制御マイコンに接続され且つ該制御マイコンからの異常情報を受信可能な監視端末と、前記エレベータのかご内を経時的に撮像する撮像装置と、前記撮像装置が撮像した画像を処理する処理部と、前記撮像装置が撮像した画像との比較の対象となるモデルデータを記憶する記憶部と、を備え、前記モデルデータは、少なくとも一つの人のモデルパターンを含み、前記処理部は、前記撮像装置が撮像した複数の画像のうちの少なくとも二つの画像から、それぞれエッジを抽出する第一処理と、前記少なくとも二つの画像から抽出されたエッジのうちの人に対する像のエッジに、それぞれ前記人のモデルパターンを当てはめる第二処理と、前記第二処理で当てはめた人のモデルパターンの座標が第一の特定の座標にあるとき、又は、前記第二処理において人のモデルパターンを当てはめた画像における前後の画像での人のモデルパターンの座標の変化が第一の特定の挙動を示したときに、前記制御マイコンから前記監視端末への異常情報の送信であって前記人のモデルパターンが当てはめられた人の挙動に起因する異常情報の送信を阻止する第三処理と、を行う、ことを特徴とする。
上記エレベータの遠隔監視システムでは、人のモデルパターンによって人の位置や挙動が適正に認識できる。そのため、異常情報が出力される可能性の高い位置に人が滞在しているとき、及び、異常情報が出力される可能性の高い挙動を人が行っているとき、即ち、人がその位置から移動したり、人がこの挙動を停止したりすることで、異常情報の出力される原因が解消されるような場合に、これらの人の位置や挙動に起因する(人為的な原因での)報知(制御マイコンから監視端末への異常情報の送信)を防ぐことができる。
前記エレベータの遠隔監視システムでは、前記モデルデータは、少なくとも一つのかごの内部構造のモデルパターンも含み、前記第二処理は、前記少なくとも二つの画像のうちの一つの画像から抽出されたエッジにおけるかごの内部構造に対する像のエッジに前記かごの内部構造のモデルパターンを当てはめる第一ステップと、前記一つの画像から抽出されたエッジのうちの前記かごの内部構造のモデルパターンに重なるエッジ以外のエッジに、前記人のモデルパターンを当てはめる第二ステップと、前記少なくとも二つの画像のうち前記一つの画像以外の画像から抽出されたエッジにおける前記かごの内部構造のモデルパターンに重なるエッジ以外のエッジに、前記第二ステップにおいて当てはめた人のモデルパターンを当てはめる第三ステップとを有してもよい。
かかる構成によれば、撮像画像から抽出されたエッジのうちかごの内部構造のモデルパターンに重なるエッジ以外のエッジに対して人のモデルパターンを当てはめることで、より適正に人のモデルパターンの当てはめることができるため、人の位置や挙動がさらに適正に認識できる。これにより、人の位置や挙動に起因する報知をより適正に防ぐことができる。
本発明の別のエレベータの遠隔監視システムでは、エレベータに配置された制御マイコンと、前記制御マイコンに接続され且つ該制御マイコンからの異常情報を受信可能な監視端末と、前記エレベータのかご内を経時的に撮像する撮像装置と、前記撮像装置が撮像した画像を処理する処理部と、前記撮像装置が撮像した画像との比較の対象となるモデルデータを記憶する記憶部と、を備え、前記モデルデータは、少なくとも一つの物のモデルパターンを含み、前記処理部は、前記撮像装置が撮像した複数の画像のうちの少なくとも二つの画像から、それぞれエッジを抽出する第一処理と、前記少なくとも二つの画像から抽出されたエッジのうちの物に対する像のエッジに、それぞれ前記物のモデルパターンを当てはめる第二処理と、前記第二処理で当てはめた物のモデルパターンの座標が第二の特定の座標にあるとき、又は、前記第二処理において物のモデルパターンを当てはめた画像における前後の画像での物のモデルパターンの座標の変化が第二の特定の挙動を示したときに、前記制御マイコンから前記監視端末への異常情報の送信であって前記物のモデルパターンが当てはめられた物の位置又は挙動に起因する異常情報の送信を阻止する第三処理と、を行う、ことを特徴とする。
上記エレベータの遠隔監視システムでは、物のモデルパターンによって物の位置や挙動が適正に認識できる。そのため、異常情報が出力される可能性の高い位置に物が滞在しているとき、及び、異常情報が出力される可能性の高い挙動を物が行っているとき、即ち、物がその位置から移動したり、物がこの挙動を停止したりすることで、異常情報の出力される原因が解消されるような場合に、これらの物の位置や挙動に起因する報知(制御マイコンから監視端末への異常情報の送信)を防ぐことができる。
前記エレベータの遠隔監視システムでは、前記モデルデータは、少なくとも一つのかごの内部構造のモデルパターンも含み、前記第二処理は、前記少なくとも二つの画像のうちの一つの画像から抽出されたエッジにおけるかごの内部構造に対する像のエッジに前記かごの内部構造のモデルパターンを当てはめる第一ステップと、前記一つの画像から抽出されたエッジにおける前記かごの内部構造のモデルパターンに重なるエッジ以外のエッジに、前記物のモデルパターンを当てはめる第二ステップと、前記少なくとも二つの画像のうち前記一つの画像以外の画像から抽出されたエッジにおける前記かごの内部構造のモデルパターンに重なるエッジ以外のエッジに、前記第二ステップにおいて当てはめた物のモデルパターンを当てはめる第三ステップとを有してもよい。
かかる構成によれば、撮像画像から抽出されたエッジのうちかごの内部構造のモデルパターンに重なるエッジ以外のエッジに対して物のモデルパターンを当てはめることで、より適正に物のモデルパターンの当てはめることができるため、物の位置や挙動がさらに適正に認識できる。これにより、物の位置や挙動に起因する報知をより適正に防ぐことができる。
前記エレベータの遠隔監視システムでは、モデルデータは、少なくとも一つの物のモデルパターンも含み、前記第二処理において、前記少なくとも二つの画像から抽出されたエッジのうちの物に対する像のエッジに、それぞれ前記物のモデルパターンを当てはめ、前記第三処理において、前記第二処理で当てはめた前記物のモデルパターンの座標が第二の特定の座標にあるとき、又は、前記第二処理において物のモデルパターンを当てはめた画像における前後の画像での前記物のモデルパターンの座標の変化が第二の特定の挙動を示したときに、前記制御マイコンから前記監視端末への前記異常情報の送信であって前記物のモデルパターンが当てはめられた物の位置又は挙動に起因する前記異常情報の送信を阻止してもよい。
かかる構成によれば、人のモデルパターンによって人の位置や挙動が適正に認識できることに加えて、物のモデルパターンによって物の位置や挙動が適正に認識できる。そのため、人の位置や挙動に起因する報知に加えて、物の位置や挙動に起因する報知も防ぐことができる。
前記エレベータの遠隔監視システムでは、前記かごは、開閉するドアを含み、前記第二の特定の座標は、前記ドアの表面の存在する領域及び前記ドアの軌道上の領域の少なくとも一方の領域にあってもよい。
かかる構成によれば、物のモデルパターンの座標がドアの表面の存在する領域と重なるとき(物とドアとが接触したとき)、及び、物のモデルパターンの座標がドアの軌道上の領域と重なるとき(物がドアと接触する見込みであるとき)の少なくとも一方に該当するとき、異常情報の制御マイコンから監視端末への送信が阻止されるため、物によってドアの開閉が阻害されたこと等に起因する報知(技術員がエレベータに到着した時点で報知の原因が解消している可能性の高い場合での報知)を防ぐことができる。これにより、技術員の出向が無駄になることを防止できる。
前記エレベータの遠隔監視システムでは、前記第二の特定の挙動での前記第二処理における前記前後の画像での前記物のモデルパターンの座標の変化は、上下方向又は水平方向の往復動であってもよい。
かかる構成によれば、物の上下方向又は水平方向の往復動が生じているとき、例えば、人が運んでいる荷物が落下したり、人がボールをバウンドさせたり、人がボールを壁に投げたりしているとき、異常情報の制御マイコンから監視端末への送信が阻止されるため、このような事象等に起因する報知(技術員がエレベータに到着した時点で報知の原因が解消している可能性の高い場合での報知)を防ぐことができる。これにより、技術員の出向が無駄になることを防止できる。
前記エレベータの遠隔監視システムでは、前記かごは、開閉するドアを含み、前記第一の特定の座標は、前記ドアの表面の存在する領域及び前記ドアの軌道上の領域の少なくとも一方の領域にあってもよい。
かかる構成によれば、人のモデルパターンの座標がドアの表面の存在する領域と重なるとき(人がドアと接触したとき)、及び、人のモデルパターンの座標がドアの軌道上の領域と重なるとき(人がドアと接触する見込みであるとき)の少なくとも一方に該当するとき、異常情報の制御マイコンから監視端末への送信が阻止されるため、人がドアの挙動を阻害すること等に起因する報知(技術員がエレベータに到着した時点で報知の原因が解消している可能性の高い場合での報知)を防ぐことができる。これにより、技術員の出向が無駄になることを防止できる。
前記エレベータの遠隔監視システムでは、前記第一の特定の挙動での前記第二処理における前記前後の画像での前記人のモデルパターンの座標の変化は、上下方向又は水平方向の往復動であってもよい。
かかる構成によれば、人の上下方向又は水平方向の往復動が生じているとき、例えば、人がかごを揺らす動作を行っているとき(例えば、人が飛び跳ねているとき)、異常情報の制御マイコンから監視端末への送信が阻止されるため、人の飛び跳ね等に起因する報知(技術員がエレベータに到着した時点で報知の原因が解消している可能性の高い場合での報知)を防ぐことができる。これにより、技術員の出向が無駄になることを防止できる。
以上より、本発明によれば、人及び物の少なくとも一方の位置や挙動に起因する報知を防ぐことができる。
図1は、本発明の一実施形態に係るエレベータの遠隔監視システムのブロック図である。 図2は、同実施形態に係るエレベータの遠隔監視システムで用いられる人のモデルパターンを示す図である。 図3は、同実施形態に係るエレベータの遠隔監視システムで用いられる物のモデルパターンを示す図である。 図4は、同実施形態に係るエレベータの遠隔監視システムで用いられるかごの内部構造のモデルパターンを示す図である。 図5は、同実施形態に係るエレベータの遠隔監視システムの処理を示すフローチャート図である。 図6は、同実施形態に係るエレベータの遠隔監視システムの処理を示すフローチャート図である。 図7は、本発明の変形例に係るエレベータの遠隔監視システムのブロック図である。
以下、本発明に係るエレベータの遠隔監視システム(以下、単に遠隔監視システムという)について説明する。遠隔監視システムは、エレベータの動作状況を遠隔で監視すると共に、監視センターの監視員にエレベータの動作状況を報知するシステムである。この遠隔監視システムでは、監視員は、監視端末による報知を確認することで、エレベータに異常等が発生したことを認識し、技術員にエレベータへの出向を要請することができる。
遠隔監視システムは、図1に示すように、エレベータ2に配置された制御マイコン20と、エレベータ2のかご21内を撮像するカメラ(撮像装置)210と、カメラ210が撮像した画像(撮像画像)を処理する処理部23と、撮像画像との比較の対象となるモデルデータを記憶する記憶部221と、制御マイコン20に接続された監視端末3と、を備える。
本実施形態の遠隔監視システム1では、カメラ210に画像認識装置22が接続されている。記憶部221は、画像認識装置22に備えられている。また、処理部23は、画像認識装置22に備えられた画像認識処理部220と、制御マイコン20に備えられたマイコン処理部200とを含む。
本実施形態の遠隔監視システム1は、監視端末3に接続された第一サーバー4と、第一サーバー4に接続された第二サーバー5とを備える。また、本実施形態の遠隔監視システム1は、制御マイコン20と監視端末3との間に接続された遠隔監視ユニット6を備える。さらに、本実施形態の遠隔監視システム1は、第一サーバー4にそれぞれ接続可能な管理者端末7と技術員端末8とを備える。
尚、図1では一台のエレベータ2が示されているが、本実施形態の遠隔監視システム1は、複数のエレベータを備える。また、図1では一台の管理者端末7及び技術員端末8が示されているが、本実施形態の遠隔監視システム1は、複数の管理者端末7及び複数の技術員端末8を備える。
エレベータ2は、昇降路を昇降するかご21、エレベータ2の動作状況に関する情報を出力する制御マイコン20、及び、制御マイコン20とカメラ210との間に接続された画像認識装置22に加えて、制御マイコン20にそれぞれ接続された音声認識装置24と音声案内装置25と表示案内装置26とを有する。
かご21は、カメラ210に加えて、例えば、天井と壁と床とを含むかご枠、開閉するドア、階床釦等を含む操作盤、音声認識装置24に接続され且つかご21内の音声を集音するマイク(集音器)211、音声案内装置25に接続され且つかご21内に音声を出力するスピーカー212、及び、表示案内装置26に接続され且つかご21内に文字情報等を表示するディスプレイ(表示部)213等を含む。本実施形態の遠隔監視システム1では、かご21には、エレベータ2の動作状況に関する情報を出力可能な各種センサが設けられている。
カメラ210は、例えば、かご21内の天井に配置され、かご21内を経時的に撮像する。また、カメラ210は、かご21内の撮像画像(複数の撮像画像)を画像認識装置22に出力可能である。かご21内には、例えば、かご21内を監視するために一台の監視カメラが設けられており、本実施形態の遠隔監視システム1では、カメラ210として、この監視カメラが用いられる。
具体的に、カメラ210は、断続的に(所定時間毎(例えば、1秒毎)に)かご21内の撮影を繰り返し行う。尚、カメラ210は、連続的にかご21内の撮影を行ってもよい。
画像認識装置22、音声認識装置24、音声案内装置25、及び、表示案内装置26は、例えば、かご21の外側に設けられたマイコンである。具体的に、音声認識装置24は、マイク211で集音された音声を解析して、制御マイコン20を介して遠隔監視ユニット6に出力可能である。音声案内装置25は、制御マイコン20を介して遠隔監視ユニット6から入力された情報に基づき、スピーカー212から音声を出力可能である。表示案内装置26は、制御マイコン20を介して遠隔監視ユニット6から入力された情報に基づき、ディスプレイ213から、例えば、文字情報を出力可能である。
制御マイコン20は、監視端末3に通信系統R1を介して接続されている。通信系統R1は、例えば、制御マイコン20から順に遠隔監視ユニット6と電話回線とを介して監視端末3に通信可能であり、且つ、監視端末3から逆に電話回線と遠隔監視ユニット6とを介して制御マイコン20に通信可能な通信系統である。
マイコン処理部200は、エレベータ2の動作状況に関する情報として、例えば、イベントコードを遠隔監視ユニット6に出力可能である。マイコン処理部200から出力されるイベントコードは、エレベータ2自身の動作状況に対応づけられたコードである。具体的に、イベントコードは、かごの位置情報、かごのドアの開閉情報、かごを昇降させるモーターの駆動情報、及び、停電等を示す。尚、イベントコードは、エレベータ2の異常情報を示すコードを含む。
本実施形態の遠隔監視システム1では、マイコン処理部200は、エレベータ2の動作状況が正常である場合、この旨のイベントコードを遠隔監視ユニット6に出力する。また、マイコン処理部200は、エレベータ2の動作状況が異常である場合、この旨の情報を画像認識装置22に出力し、画像認識装置22による判定結果に応じて、エレベータ2の動作状況が異常である旨のイベントコード、又は、エレベータ2の動作状況が異常でない旨のイベントコードを出力する。
例えば、マイコン処理部200は、かご21に設けられた各種センサにより出力された情報に基づいて、エレベータ2の動作状況が異常であるか否かを検知する。本実施形態の遠隔監視システム1では、マイコン処理部200は、エレベータ2の動作状況が異常であることを検知すると、この動作状況が異常である旨の情報を画像認識装置22に出力する。
また、マイコン処理部200は、エレベータ2の動作状況が異常である旨の情報を画像認識装置22に出力した後、人や物がかご21のドアに接触している、又は、人や物の一部分が上下方向又は水平方向に往復動しているとの判定結果が画像認識処理部220から入力されると、エレベータ2の動作状況が異常でない旨のイベントコードを遠隔監視ユニット6に出力し、人や物がかご21のドアに接触しておらず、人や物が上下方向又は水平方向に往復動していないとの判定結果が画像認識処理部220から入力されると、エレベータ2の動作状況が異常である旨のイベントコードを遠隔監視ユニット6に出力する。
本実施形態の遠隔監視システム1では、マイコン処理部200は、人の一部(例えば、膝)が上下方向又は水平方向に往復動しているとの判定結果が画像認識処理部220から入力されると、エレベータ2の動作状況が異常でない旨のイベントコードとして、例えば、かご21内で人の悪戯が発生している可能性がある旨のイベントコードを出力する。
尚、本実施形態の遠隔監視システム1では、マイコン処理部200は、エレベータ2の動作状況が異常でないことを検知すると、この動作状況が異常で無い旨のイベントコードを遠隔監視ユニット6に出力する。
本実施形態の遠隔監視システム1では、画像認識装置22は、撮像画像から人を検知する処理を行う画像認識処理部220と、撮像画像との比較の対象となるモデルデータとして、人及び物のモデルパターンと、エレベータ2のかご21の内部構造のモデルパターンとを記憶している記憶部221とを含む。
記憶部221は、人、物、及びかご21の内部構造のモデルパターンとして、それぞれ、人、物、及びかご21の輪郭(エッジ)を記憶している。人及び物のモデルパターンは、例えば、各エレベータに共通したモデルパターンとして設定されている。かごの内部構造のモデルパターンは、例えば、各エレベータに個別に設定されている。尚、ここで対象となる物は、荷物等の物体、動物等である。
例えば、記憶部221は、人のモデルパターンとして、シルエットが異なる人のモデルパターンを記憶している。具体的には、記憶部221は、一般的なシルエット(一般的な服装)の人のモデルパターン、帽子を着用した人のモデルパターン、着物を着用した人のモデルパターン等を記憶している。
より具体的に、記憶部221に記憶されている一般的な人のモデルパターンは、図2に示すように、人における頭部、両耳、胴部、両腕、及び両脚を簡略化したものの輪郭を結ぶ線(ワイヤーフレーム)で構成される。また、記憶部221に記憶されている物のモデルパターンは、図3に示すように、立方体の各辺を結ぶ線で構成される。
本実施形態の遠隔監視システム1では、記憶部221は、第一サーバー4より出力されたかごの内部構造のモデルパターンを記憶している。より具体的に、記憶部221に記憶されているかごの内部構造のモデルパターンは、図4に示すように、天井と壁と床とを含むかご枠214の輪郭を結ぶ線、開閉するドア215の輪郭を結ぶ線、及び、階床釦等を含む操作盤216の輪郭を結ぶ線で構成される。
本実施形態の遠隔監視システム1では、記憶部221は、人の位置及び人の挙動に関する情報として、第一の特定の座標及び第一の特定の挙動に関する情報を記憶し、物の位置及び物の挙動に関する情報として、第二の特定の座標及び第二の特定の挙動に関する情報を記憶している。ここでいう座標は、かご内における一点を原点とした三次元空間での座標である。
第一の特定の座標は、かご21のドアの表面の存在する領域及びこのドアの軌道(このドアの開閉の軌道)上の領域の少なくとも一方の領域にある。第二の特定の座標も同様に、かご21のドアの表面の存在する領域及びこのドアの軌道(このドアの開閉の軌道)上の領域の少なくとも一方の領域にある。
第一の特定の座標は、例えば、人によるドア押さえ、ドアのこじ開け、ドアへの体のぶつかり等の人によるドアの挙動の阻害が生じているか否かを判定するための指標である。第二の特定の座標も同様に、ドアへの物のぶつかり、ドア開口部に障害物が存在すること等の物によるドアの挙動の阻害が生じているか否かを判定するための指標である。
第一の特定の挙動は、人が上下方向又は水平方向(縦方向又は横方向)に往復動する際の人のモデルパターンの座標の変化に対応している。第二の特定の挙動も同様に、物が上下方向又は水平方向(縦方向又は横方向)に往復動する際の物のモデルパターンの座標の変化に対応している。第一の特定の挙動は、例えば、人の飛び跳ねによるかご21の揺らしが生じているか否かを判定するための指標である。第二の特定の挙動は、例えば、人が運んでいた荷物の落下や、人がボールをバウンドさせることによるかご21の揺らしが生じているか否かを判定するための指標である。
画像認識処理部220は、制御マイコン20からエレベータ2の動作状況が異常である旨の情報を入力されると、一定期間においてカメラ210が経時的に撮像したかご21内の撮像画像(複数の撮像画像)を取得し、この撮像画像から人を検出する処理を行う。この人を検出する処理(第一処理及び第二処理)について、以下、詳細に説明する。
まず、画像認識処理部220は、取得した複数の撮像画像のうち少なくとも二つの画像から、それぞれエッジを抽出する第一処理を行う。具体的に、画像認識処理部220は、取得した複数の画像の各々に対して、濃度の補正、歪みの補正、及び、ノイズの除去等の前処理を行った後、各画像において輝度が急激に変わる境界をエッジとして抽出する。
画像認識処理部220は、先ほどの少なくとも二つの画像(本実施形態の遠隔監視システム1では、取得した複数の画像)から抽出されたエッジのうちの人に対する像のエッジに、それぞれ人のモデルパターンを当てはめる第二処理を行う。尚、画像認識処理部220は、抽出されたエッジに、各モデルパターン(かごの内部構造のモデルパターン、人のモデルパターン、及び、物のモデルパターン)のサイズとカメラ210の視野(カメラ210の座標)とを整合させて当てはめることで、撮像画像から抽出されたエッジに対して各モデルパターンを当てはめる。
具体的に、画像認識処理部220は、第二処理において、取得した複数の画像のうちの一つの画像(以下、第一の画像と言う)から抽出されたエッジにおけるかご21の内部構造に対する像のエッジに、かご21の内部構造のモデルパターンを当てはめる第一ステップを行う。次に、画像認識処理部220は、第二処理において、この一つの画像から抽出されたエッジのうちのかご21の内部構造のモデルパターンに重なるエッジ以外のエッジのうち人に対する像のエッジに、人のモデルパターンを当てはめる第二ステップを行う。
その後、画像認識処理部220は、第二処理において、先ほどの少なくとも二つの画像(本実施形態の遠隔監視システム1では、取得した複数の画像)のうちの第二ステップで人のモデルパターンを当てはめた画像以外の画像(先ほどの少なくとも二つの画像(本実施形態の遠隔監視システム1では、取得した複数の画像)のうちの第一の画像以外の画像)から抽出されたエッジにおけるかご21の内部構造のモデルパターンに重なるエッジ以外のエッジに、第二ステップにおいて当てはめた人のモデルパターンを当てはめる第三ステップを行う。
さらに、本実施形態の遠隔監視システム1では、画像認識処理部220は、第二処理において、先ほどの少なくとも二つの画像(本実施形態の遠隔監視システム1では、取得した複数の画像)から抽出されたエッジのうちの物に対する像のエッジに、それぞれ物のモデルパターンを当てはめる。
具体的に、本実施形態の遠隔監視システム1において、画像認識処理部220は、第三ステップの後に、第一の画像から抽出されたエッジのうち、かご21の内部構造のモデルパターンに重ならず且つ人のモデルパターンに重ならないエッジ(第三ステップにおいて、人のモデルパターンが当てはまらなかったエッジ)に、物のモデルパターンを当てはめる第四ステップを行う。さらに、画像認識処理部220は、第四ステップの後に、先ほどの少なくとも二つの画像(本実施形態の遠隔監視システム1では、取得した複数の画像)のうちの第一の画像以外の画像から抽出されたエッジにおけるかご21の内部構造のモデルパターンに重ならず且つ人のモデルパターンに重ならないエッジに、第四ステップにおいて当てはめた物のモデルパターンを当てはめる第五ステップを行う。
以下、上述した第二処理における第一ステップから第五ステップについて、より詳細に説明する。画像認識処理部220は、第一ステップにおいて、第一の画像から抽出されたエッジに、かごの内部構造のモデルパターンを重ねて、この重なった部分(かごの内部構造のモデルパターンに重なるエッジ)を取り除き、人体特徴があるか否か(例えば、人の頭部に重なる円形状のエッジがあるか否か、胴体に重なる筒状のエッジがあるか否か、及び、四肢に重なる形状のエッジがあるか否か)を判断する。画像認識処理部220は、円形状のエッジ等があると判断した場合、かご21内が有人である(かご21内に人を検出した)として、この円形状のエッジと、人のモデルパターンの頭部に対応する箇所が重なるよう、人のモデルパターンのサイズとカメラ210の視野とを整合させて、第一の画像から抽出されたエッジに人のモデルパターンを当てはめる。
画像認識処理部220は、第二ステップにおいて、第一の画像における当てはめた人のモデルパターンの接地位置(具体的には、人のモデルパターンとかご21の床面との接地位置)に基づいて、空間における人の存在位置と、人の占有する空間とを認識する。尚、画像認識処理部220は、第一の画像における当てはめた人のモデルパターンの接地位置が確認できない場合には、推定した接地位置に基づいて、人の存在位置と人の占有する空間とを認識する。次に、画像認識処理部220は、第一の画像から抽出されたエッジに当てはめた人のモデルパターンから、各ポイントの座標を算出する。人のモデルパターンの座標は、例えば、図2のP1で示すように、頭部頂点、両耳、両肩、両肘、両手の先、両腰、両膝、両踵、両脚の爪先等の座標である。
画像認識処理部220は、第三ステップにおいて、先ほどの少なくとも二つの画像のうち第一の画像以外の画像に対して、第二ステップで当てはめた人のモデルパターンを当てはめる。より具体的に、画像認識処理部220が、第三ステップにおいて、取得した複数の画像のうちの第一の画像以外の画像から抽出されたエッジから、第一の画像のかご21の内部構造のモデルパターンに重なったエッジを除き、このエッジに第二ステップにおいて当てはめた人のモデルパターンを当てはめる。その後、画像認識処理部220は、この第一の画像以外の画像に当てはめた人のモデルパターンから各ポイントの座標を算出する。
画像認識処理部220は、第四ステップにおいて、第一の画像から抽出されたエッジから、かごの内部構造のモデルパターンに重なるエッジ、及び、人のモデルパターンに重なるエッジを取り除いた上で、残ったエッジを物に対する像のエッジであると判断する。画像認識処理部220は、物に対する像のエッジがあると判断した場合(かご21内に物があると判断した場合)、物のモデルパターンのサイズとカメラ210の視野とを整合させて、第一の画像から抽出されたエッジに物のモデルパターンを当てはめる。また、画像認識処理部220は、第一の画像から抽出されたエッジに当てはめた物のモデルパターンから、各ポイントの座標を算出する。物のモデルパターンにおける各ポイントの座標は、例えば、図3のP2に示すように、立方体の八つの角である。
画像認識処理部220は、第五ステップにおいて、先ほどの少なくとも二つの画像のうち第一の画像以外の画像に対して、第四ステップで当てはめた物のモデルパターンを当てはめる。より具体的に、画像認識処理部220は、第五ステップにおいて、取得した複数の画像のうちの第一の画像以外の画像から抽出されたエッジから、第一の画像のかご21の内部構造のモデルパターンに重なったエッジを除き、さらに、第一の画像の人のモデルパターンに重なったエッジを除き、このエッジに第二ステップにおいて当てはめた人のモデルパターンを当てはめる。その後、画像認識処理部220は、この第一の画像以外の画像に当てはめた物のモデルパターンから各ポイントの座標を算出する。
尚、画像認識処理部220は、各画像から抽出したエッジに円形状のエッジ等が無いと判断した場合、かご21内が無人であるとして、各画像から抽出したエッジに対する人のモデルパターンの当てはめの処理を終了し、各画像から抽出したエッジに物のモデルパターンの当てはめを行う。また、画像認識処理部220は、各画像から抽出したエッジに物に対する像のエッジが無いと判断した場合(かご21内に物が無いと判断した場合)、各画像から抽出したエッジに対する物のモデルパターンの当てはめの処理を終了する。
以下、第一処理及び第二処理の後に行う第三処理について説明する。画像認識処理部220は、第二処理で当てはめた人のモデルパターンの座標が第一の特定の座標にあるとき(例えば、人がかご21のドアに接触しているとき)、又は、第二処理において人のモデルパターンを当てはめた撮像画像における前後の撮像画像での人のモデルパターンの座標の変化が第一の特定の挙動を示したとき(即ち、人がかご21を揺らす動作を行っているとき)に、制御マイコン20から監視端末3への異常情報(例えば、エレベータ2の動作状況が異常である旨のイベントコード)の送信を阻止する第三処理を行う。第二処理において人のモデルパターンを当てはめた撮像画像における前後の撮像画像は、第二処理で人のモデルパターンを当てはめた撮像画像のうち、その撮像時刻が前後する撮像画像である。また、ここで阻止される送信は、人のモデルパターンが当てはめられた人の挙動に起因する異常情報の送信である。
さらに、本実施形態の遠隔監視システム1では、第三処理において、画像認識処理部220は、第二処理で当てはめた物のモデルパターンの座標が第二の特定の座標にあるとき(即ち、物がかご21のドアに接触しているとき)、又は、第二処理において物のモデルパターンを当てはめた撮像画像における前後の撮像画像での物のモデルパターンの座標の変化が第二の特定の挙動を示したとき(即ち、物がかご21を揺らすように移動しているとき)に、制御マイコン20から監視端末3への異常情報(例えば、エレベータ2の動作状況が異常である旨のイベントコード)の送信を阻止する。この阻止される送信は、物のモデルパターンが当てはめられた物の挙動に起因する異常情報の送信である。第二処理において物のモデルパターンを当てはめた撮像画像における前後の撮像画像は、第二処理で物のモデルパターンを当てはめた撮像画像のうち、その撮像時刻が前後する撮像画像である。
尚、第二処理において人のモデルパターンを当てはめた撮像画像における前後の撮像画像が三枚以上ある場合、「第二処理で当てはめた人のモデルパターンの座標が第一の特定の座標にあるとき」は、人のモデルパターンの座標が第一の特定の座標と重なるときに加えて、人のモデルパターンの座標が移動により到達すると予測される座標(動線予測による座標)が第一の特定の座標と重なるときも含む。また、第二処理において物のモデルパターンを当てはめた撮像画像における前後の撮像画像が三枚以上ある場合、「第二処理で当てはめた物のモデルパターンの座標が第二の特定の座標にあるとき」は、物のモデルパターンの座標が移動により到達すると予測される座標(動線予測による座標)が第二の特定の座標と重なるときも含む。
また、第二処理で当てはめた人や物のモデルパターンの座標(第一の画像、又は、第一の画像以外の画像から抽出したエッジに当てはめた人や物のモデルパターンにおける各ポイントの座標)が第一、第二特定の座標にあるときとは、ある一定の期間において、各モデルパターンの座標が、第一、第二の特定の座標と重なるときである。
以上のように、画像認識処理部220は、第二処理において、画像(第一の画像又は第一の画像以外の画像)に人や物のモデルパターンを当てはめることで、人や物の位置を把握できる。また、画像認識処理部220は、第二処理において、異なる画像(第一の画像及び第一の画像以外の画像)に人や物のモデルパターンを当てはめることで、人や物の挙動(人や物の動きの変化)を把握できる。また、本実施形態の遠隔監視システム1では、画像認識処理部220は、第二処理において物のモデルパターンを当てはめた撮像画像における三枚以上の前後の撮像画像について人や物のモデルパターンの各ポイントの座標を算出するため、第二処理において算出した人や物のモデルパターンの座標の変化により人や物の挙動を把握することに加えて、人や物の挙動を予測できる、即ち、人や物の動線予測を行うことができる。
さらに、本実施形態の遠隔監視システム1では、画像認識処理部220が、第三処理において、人や物がかご21のドアに接触している、又は、人や物がかご21を揺らすように移動していると判定した際に、マイコン処理部200にこの旨の判定結果を出力することで、制御マイコン20から監視端末3への異常情報(例えば、エレベータ2の動作状況が異常である旨のイベントコード)の送信を阻止する。尚、画像認識処理部220は、第三処理において、人や物がかご21のドアに接触していない、又は、人や物がかご21を揺らすような移動をしていないと判定すると、マイコン処理部200にこの旨の判定結果を出力する。
本実施形態の遠隔監視システム1では、画像認識処理部220は、このような判定結果を第一サーバー4にも出力することで、第一サーバー4から管理者端末7及び技術員端末8にこの判定結果に関する情報を出力させることができる。
監視端末3は、例えば、複数の地域に設置された多数のエレベータの監視を行う。また、監視端末3は、対象となるエレベータと離れた建物である監視センター等に設置されている。さらに、監視端末3には、制御マイコン20が異常情報(例えば、エレベータ2の動作状況が異常である旨のイベントコード)を入力することができる。本実施形態の遠隔監視システム1では、監視端末3は、入力されたイベントコード等の情報を表示する表示部を有する。
本実施形態の監視センターには、監視員(オペレータ)が常駐している。監視員は、監視端末3の表示部におけるイベントコード等の表示を確認することで、エレベータ2の動作状況を監視することができる。
第二サーバー5は、例えば、有線回線により第一サーバー4に接続され、例えば、P2P(Peer to Peer)により接続されている。また、第二サーバー5は、データベース50を有する。データベース50は、各エレベータにおけるかごの設計値等の情報を記憶している。具体的に、データベース50は、かごの設計値として、かごにおけるかご枠のサイズ(かご内の寸法)、かごにおけるドアの位置、及びかごにおける制御盤の位置等を、エレベータの識別番号(例えば、エレベータの機番)に関連付けて記憶している。データベース50は、書き換え可能である。データベース50には、例えば、新たなエレベータの設置時に該エレベータにおけるかごの設計値等の情報を追加することができる。
本実施形態の遠隔監視システム1では、データベース50は、各エレベータにそれぞれ対応する管理者端末7及び技術員端末8に関する情報(管理者の連絡先及び技術員の連絡先)を記憶している。例えば、データベース50は、インターネットを介して管理者端末7及び技術員端末8に出力するため、管理者端末7及び技術員端末8に関する情報として、管理者端末7のIPアドレス及び技術員端末8のIPアドレスを記憶している。尚、データベース50は、これらの情報を、人や物の挙動と関連付けて記憶していてもよい。
第一サーバー4は、例えば、インターネットを介して監視端末3に接続されている。また、第一サーバー4は、インターネットと監視端末3と通信系統R1とを介して、制御マイコン20に接続されている。
第一サーバー4は、通信系統R2を介して、管理者端末7に接続可能である。通信系統R2は、例えば、第一サーバー4からインターネットを介して管理者端末7に通信可能であり、且つ、管理者端末7からインターネットを介して第一サーバー4に通信可能な通信系統である。また、第一サーバー4は、通信系統R3を介して、技術員端末8に接続可能である。通信系統R3は、例えば、第一サーバー4からインターネットを介して技術員端末8に通信可能であり、且つ、技術員端末8からインターネットを介して第一サーバー4に通信可能な通信系統である。通信系統R2、R3は、一部(インターネット)で共通している。
第一サーバー4は、かごの内部構造のモデルパターンを作成するサーバー処理部40を含む。例えば、サーバー処理部40は、画像認識処理部220による最初の処理前(上述の第一処理から第三処理までの一連の処理を最初に行う前)、又は、かごの仕様の変更時に、データベース50に記憶されたかごの設計値等の情報に基づいて、かごの内部構造のモデルパターンを作成し、作成したモデルパターンを画像認識装置22に出力する。
具体的に、サーバー処理部40は、データベース50からかご21の設計値等の情報を取得すると共に、カメラ210から画像認識装置22等を介して無人の状態(空かご状態)のかご内の撮像画像を取得する。サーバー処理部40は、例えば、無人の状態のかご内の撮像画像を一枚取得する。
サーバー処理部40は、取得した無人の状態のかご内の撮像画像に対してノイズの除去等の前処理を行い、前処理後の撮像画像からエッジを抽出する。サーバー処理部40は、かご21の設計値等から得られるかご21の壁、ドア、床、及び天井の形状特徴に基づいて、撮像画像から抽出したエッジから、かご21の壁、ドア、床、及び天井の位置関係の認識を行う。また、サーバー処理部40は、撮像画像から認識したかご21の壁等の位置関係等に基づいて、かご21内におけるカメラの位置を特定する。さらに、サーバー処理部40は、特定したカメラの位置に基づき、かごの壁等の位置関係等を再認識し、かご枠の輪郭とドアの輪郭に重なる箇所を判断し、カメラ視点の座標(図4におけるP)を算出すると共に、かごの内部構造のモデルパターンを作成する(例えば、床の四隅、天井の四隅、ドア、及び操作盤それぞれの座標(図4におけるP3)を算出してこれらの座標を結ぶ線で構成されるモデルパターンを作成する)。
サーバー処理部40は、かご内におけるカメラの視野として、例えば、カメラ視点の座標を画像認識装置22に送信すると共に、かごの内部構造のモデルパターンとして、例えば、かご内における、床の四隅、天井の四隅、ドア、及び操作盤それぞれの座標を画像認識装置22に出力する。
サーバー処理部40は、第三処理における画像認識処理部220による判定結果(人や物がかご21のドアに接触しているか否か、又は、人や物がかご21を揺らすように移動しているか否かの判定結果)が、マイコン処理部200から通信系統R1と監視端末3とインターネットとを介して入力されると、データベース50から、通知元(エレベータ2)に応じた管理者端末7及び技術員端末8に関する情報(管理者の連絡先及び技術員の連絡先)を取得し、例えば、この判定結果をそれぞれ文字情報として、管理者端末7に出力すると共に技術員端末8に出力する。出力される判定結果は、例えば、「人がかご内で飛び跳ねています。エレベータ2自体に問題はありません。」といったメッセージである。
管理者端末7及び技術員端末8は、それぞれ、例えば、PDA(Personal Digital Assistant)、ノートパソコン等の持ち運び可能な端末や、据え置き型のパソコン等の端末である。管理者端末7及び技術員端末8は、それぞれ、例えば、入力された情報を出力する出力部を有する。出力部は、出力する情報が画像情報や文字情報である場合にはディスプレイであり、出力する情報が音声情報である場合にはスピーカーである。本実施形態の遠隔監視システム1では、管理者端末7及び技術員端末8の出力部はディスプレイであり、このディスプレイは、サーバー処理部40から入力された判定結果を出力する。
管理者端末7は、例えば、エレベータ2を管理する管理者により所持される。技術員端末8は、例えば、出向の要請を受けると、エレベータ2のトラブルに対応するためにエレベータ2に出向する技術員により所持される。
以下、図5のフローチャート図を用いて、サーバー処理部40によるかごの内部構造のモデルパターンの作成に関する処理の流れを説明する。
サーバー処理部40は、画像認識処理部220による最初の処理前(上述の第一処理から第三処理までの一連の処理を最初に行う前)、又は、かご21の仕様の変更時に、データベース50からかごの設計値を取得する(S01)。また、サーバー処理部40は、カメラ210から画像認識装置22等を介してかご21内の撮像画像(無人の状態(空かご状態)のかご内の撮像画像)を取得する(S02)。サーバー処理部40は、取得した撮像画像からかごの内部構造のエッジを抽出する(S03)。
サーバー処理部40は、撮像画像から抽出したエッジと、データベース50から取得したかごの設計値に基づいて、かご内におけるカメラ210の位置を特定すると共に、かごの内部構造のモデルパターンを作成する(S04)。
その後、サーバー処理部40は、かご21内におけるカメラ210の位置に関する情報、及び、かごの内部構造のモデルパターンに関する情報を、画像認識装置22(画像認識処理部220)に出力する(S05)。具体的に、サーバー処理部40は、カメラ視点の座標を画像認識装置22に送信すると共に、かごの内部構造のモデルパターンとして、例えば、かご内における、床の四隅、天井の四隅、ドア、及び操作盤それぞれの輪郭を結ぶ線(ワイヤーフレーム)で構成されたモデルパターンを画像認識装置22に出力する。記憶部221は、出力されたカメラ210の位置に関する情報、及び、かごの内部構造のモデルパターンに関する情報を記憶する。
次に、図6のフローチャート図を用いて、画像認識処理部220による判定処理を説明する。尚、以下、画像から抽出したエッジに、人及び物の像のエッジが含まれている場合を説明する。
画像認識処理部220は、制御マイコン20からエレベータ2の動作状況が異常である旨の情報が入力されると(S10)、カメラ210により経時的に撮像されたかご21内の撮像画像(複数の撮像画像)を取得する(S11)。
画像認識処理部220は、取得した複数の撮像画像のうち少なくとも二つの画像(本実施形態の遠隔監視システム1では、取得した複数の画像)から、それぞれエッジを抽出する第一処理を行う(S12)。具体的に、画像認識処理部220は、取得した複数の画像に対して、それぞれ、ノイズ除去等の前処理を行った後、エッジを抽出する。
画像認識処理部220は、第一処理(S12)でエッジを抽出した複数の画像から抽出されたエッジに、人のモデルパターンを当てはめる(S13)。
具体的に、画像認識処理部220は、取得した複数の画像のうちの第一の画像から抽出されたエッジにおけるかご21の内部構造に対する像のエッジに、かご21の内部構造のモデルパターンを当てはめ(第一ステップ)、この一つの画像から抽出されたエッジのうちのかご21の内部構造のモデルパターンに重なるエッジ以外のエッジに、人のモデルパターンを当てはめた(第二ステップ)後、取得した複数の画像のうちの第一の画像以外の画像から抽出されたエッジにおけるかご21の内部構造のモデルパターンに重なるエッジ以外のエッジに、第二ステップにおいて当てはめた人のモデルパターンを当てはめる(第三ステップ)。さらに、画像認識処理部220は、取得した複数の画像から抽出されたエッジに当てはめた人のモデルパターンから、人のモデルパターンにおける各ポイントの座標を算出する。
次に、画像認識処理部220は、第一処理(S12)でエッジを抽出した複数の画像から抽出されたエッジに、それぞれ物のモデルパターンを当てはめる(S14)。
具体的に、画像認識処理部220は、第一の画像から抽出されたエッジのうち、かご21の内部構造のモデルパターンに重ならず且つ人のモデルパターンに重ならないエッジに、物のモデルパターンを当てはめ(第四ステップ)、取得した複数の画像のうちの第一の画像以外の画像から抽出されたエッジにおける、かご21の内部構造のモデルパターンに重ならず且つ人のモデルパターンに重ならないエッジに、第四ステップにおいて当てはめた物のモデルパターンを当てはめる(第五ステップ)。さらに、画像認識処理部220は、取得した複数の画像から抽出されたエッジに当てはめた物のモデルパターンから、物のモデルパターンにおける各ポイントの座標を算出する。
以上のS13、S14の処理が、第二処理に相当する。
画像認識処理部220は、取得した複数の画像から抽出したエッジに当てはめた人のモデルパターンにおける各ポイントの座標に基づき、人の位置、及び、人の挙動について判定する(S15)。例えば、画像認識処理部220は、ある一定の期間において、第二処理で当てはめた人のモデルパターンの座標(第一の画像、又は、第一の画像以外の画像から抽出したエッジに当てはめた人のモデルパターンにおける各ポイントの座標)が第一の特定の座標にあるときに、人とドアとが接触しているとみなし、エレベータ2に人の位置に起因する異常が生じていると判定する。
また、画像認識処理部220は、第二処理において人のモデルパターンを当てはめた撮像画像における前後の画像での人のモデルパターンの座標の変化が第一の特定の挙動を示したとき、人がかご21を揺らすような動作を行っているとみなし、エレベータ2に人の挙動に起因する異常が生じていると判定する。
画像認識処理部220は、S15と同様に、取得した複数の画像から抽出したエッジに当てはめた物のモデルパターンにおける各ポイントの座標に基づき、物の位置、及び、物の挙動について判定する(S16)。例えば、画像認識処理部220は、ある一定の期間において、第二処理又は第三処理で当てはめた物のモデルパターンの座標(第一の画像、又は、第一の画像以外の画像から抽出したエッジに当てはまる物のモデルパターンの各ポイントの座標)が第二の特定の座標にあるときに、物とドアとが接触しているとみなし、エレベータ2に物の位置に起因する異常が生じている判定する。
また、画像認識処理部220は、第二処理において物のモデルパターンを当てはめた撮像画像における前後の画像での物のモデルパターンの座標の変化が第二の特定の挙動を示したとき、物がかご21を揺らすように移動しているとみなし、エレベータ2に物の挙動に起因する異常が生じていると判定する。
画像認識処理部220は、マイコン処理部200及びサーバー処理部40に、S15,S16における判定結果を出力する(S17)。具体的に、画像認識処理部220は、エレベータ2に、人の位置に起因する異常、人の挙動に起因する異常、物の位置に起因する異常、及び物の挙動に起因する異常のうち少なくとも一つが生じていると判定した際には、この旨をマイコン処理部200及びサーバー処理部40に出力する。尚、本実施形態の遠隔監視システム1では、画像認識処理部220は、このような判定結果を第一サーバー4のサーバー処理部40にも出力することで、サーバー処理部40から管理者端末7及び技術員端末8にこの判定結果を出力させる。
マイコン処理部200は、エレベータ2において人の位置に起因する異常、又は、人の挙動に起因する異常が生じている旨入力されると(S18においてYes)、エレベータ2に異常が無い旨のイベントコードを監視端末3に出力する(S19)。
マイコン処理部200は、エレベータ2において人の位置に起因する異常、及び、人の挙動に起因する異常が生じている旨入力されず(S18においてNo)、且つ、エレベータ2において物の位置に起因する異常、又は、物の挙動に起因する異常が生じている旨入力された場合(S20においてYes)、エレベータ2において異常が無い旨のイベントコードを監視端末3に出力する(S19)。
マイコン処理部200は、エレベータ2において人の位置に起因する異常、及び、人の挙動に起因する異常が生じている旨が入力されず(S18においてNo)、エレベータ2において物の位置に起因する異常、及び、物の挙動に起因する異常が生じている旨が入力されない場合(S20においてNo)、エレベータ2において異常がある旨のイベントコードを監視端末3に出力する(S21)。
S15〜S21の一連の処理が、第三処理に相当する。第三処理により、エレベータ2に人や物の位置に起因する異常、又は、人や物の挙動に起因する異常が生じているときには、異常情報(エレベータ2に異常がある旨のイベントコード)を監視端末3に出力することを阻止できる。
以上の遠隔監視システム1では、カメラ210による撮像画像のうち少なくとも二つの画像からエッジを抽出し、この抽出したエッジに人のモデルパターンを当てはめることで、当てはめた人のモデルパターンの座標により人の位置や挙動が適正に認識できる。そのため、エレベータ2の異常を示すイベントコードが出力される可能性の高い位置に人が滞在しているとき、及び、異常を示すイベントコードが出力される可能性の高い挙動を人が行っているとき(人がその位置から移動したり、人がこの挙動を停止したりすることで、異常を示すイベントコードの出力される原因が解消されるような場合)、人の位置や挙動に起因する(人為的な原因での)報知(制御マイコン20から監視端末3への異常を示すイベントコードの送信)を防ぐことができる。
第一の特定の座標は、かご21のドアの表面の存在する領域及びこのドアの軌道上の領域の少なくとも一方の領域にあるため、人のモデルパターンにおける各ポイントの座標が、第一の特定の座標にあるとき、即ち、人がドアと接触したとき及び人がドアと接触する見込みであるとき(人がドアの挙動を阻害するとき)、人によるドアの挙動の阻害に起因する報知を防ぐことができる。これにより、技術員の出向が無駄になることを防止できる。
第一の特定の挙動での人のモデルパターンの座標の変化は、上下方向又は水平方向の往復動であるため、人の上下方向又は水平方向の往復動が生じているとき、即ち、人がかごを揺らすような動作を行っているとき(例えば、人が飛び跳ねているとき)、人の飛び跳ね等に起因する報知を防ぐことができる。これにより、技術員の出向が無駄になることを防止できる。
遠隔監視システム1によれば、カメラ210による撮像画像のうち少なくとも二つの画像からエッジを抽出し、この抽出したエッジに物のモデルパターンを当てはめることで、当てはめた物のモデルパターンの座標により人の位置や挙動が適正に認識できる。そのため、エレベータ2の異常を示すイベントコードが出力される可能性の高い位置に物が存在しているとき、及び、異常を示すイベントコードが出力される可能性の高い挙動を物が行っているとき(物がその位置から移動したり、物がこの挙動を停止したりすることで、異常を示すイベントコードの出力される原因が解消されるような場合)、物の位置や挙動に起因する報知(制御マイコン20から監視端末3への異常を示すイベントコードの送信)を防ぐことができる。
第二の特定の座標は、かご21のドアの表面の存在する領域及び前記ドアの軌道上の領域の少なくとも一方の領域にあるため、物のモデルパターンの各ポイントの座標が、第二の特定の座標にあるとき、即ち、物がドアと接触したとき及び物がドアと接触する見込みであるとき(物がドアの挙動を阻害するとき)、物によるドアの挙動の阻害に起因する報知を防ぐことができる。これにより、技術員の出向が無駄になることを防止できる。
第二の特定の挙動での物のモデルパターンの座標の変化は、上下方向又は水平方向の往復動であるため、物の上下方向又は水平方向の往復動が生じているとき、例えば、人が運んでいる荷物が落下して跳ね返ったり、人がボールをバウンドさせていたり、人がボールをかご21内の壁に投げたりしているとき、物によるかご21内揺らしに起因する報知を防ぐことができる。これにより、技術員の出向が無駄になることを防止できる。
画像認識処理部220は、人の上下方向又は水平方向の往復動が生じているとき、例えば、人がかご21を揺らすような動作を行っている(例えば、人が飛び跳ねている等)と判定すると、この判定結果を第一サーバー4のサーバー処理部40にも出力し、サーバー処理部40から管理者端末7及び技術員端末8にこの判定結果を出力させる。これにより、画像認識処理部220は、管理者や技術員に、かご21内での人の悪戯について注意喚起を行うことができる。
本実施形態の遠隔監視システム1では、処理部23が人や物のモデルパターンとして簡略化したモデルパターンを用いているため、処理部23が扱うモデルパターンのデータ容量が、詳細なモデルパターンを用いる場合と比べて小さい。そのため、エレベータ2の制御に用いられる処理速度のあまり大きくないマイコン(制御マイコン20)によっても処理が可能である、即ち、別途処理速度の大きなマイコンを設置しなくても、既存の制御マイコン20を用いて処理を行うことができる。
また、本実施形態の遠隔監視システム1では、画像認識処理部220は、ある一定の期間、人や物のモデルパターンの座標が、第一、第二の特定の座標にあるかを判断するため、例えば、人や物が一時的にドアと接触したとしても、制御マイコン20から監視端末3への異常情報(エレベータ2に異常が生じている旨のイベントコード)の出力が阻止されることはない。
さらに、本実施形態の遠隔監視システム1では、画像認識処理部220は、第二処理において人や物のモデルパターンを当てはめた撮像画像における前後の画像として、三枚以上の複数の画像についての人や物のモデルパターンの座標の変化を判断するため、より正確な人や物の挙動を把握することができる。
本実施形態の遠隔監視システム1では、サーバー処理部40は、第三処理における画像認識処理部220による判定結果(例えば、人倒れ等)を、管理者端末7に送信しているため、例えば、技術員が現場(エレベータ2)から遠い場所に滞在している場合であっても、管理者が人倒れ等に対して迅速に対応することができる。
尚、本発明の遠隔監視システムは、上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。例えば、ある実施形態の構成に他の実施形態の構成を追加することができ、また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることができる。さらに、ある実施形態の構成の一部を削除することができる。
上記実施形態の遠隔監視システム1では、画像認識処理部220は、第二処理において、撮像画像のうちの少なくとも二つの画像から抽出されたエッジにおけるかごの内部構造のモデルパターンに重なるエッジ以外のエッジに、人のモデルパターン及び物のモデルパターンの両方を当てはめていたが、第二処理において人のモデルパターン及び物のモデルパターンのうち一方のみを当てはめてもよい。
このように処理を行っても、人のモデルパターンを当てはめた場合には、人の位置や挙動に起因する異常情報の制御マイコンから監視端末への送信を阻止し、これらに起因する報知を防ぐことができる。また、物のモデルパターンを当てはめた場合には、物の位置や挙動に起因する異常情報の制御マイコンから監視端末への送信を阻止し、これらに起因する報知を防ぐことができる。
また、上記実施形態の遠隔監視システム1では、画像認識処理部220は、第二処理において、撮像画像のうち少なくとも二つの画像のうちの一つの画像から抽出されたエッジにかごの内部構造のモデルパターンを当てはめてから人のモデルパターンを当てはめ(第一ステップ及び第二ステップ)、撮像画像のうち少なくとも二つの画像のうちの一つの画像以外の画像から抽出されたエッジにはかごの内部構造のモデルパターンを当てはめずに人のモデルパターンを当てはめていたが(第三ステップ)、撮像画像のうち少なくとも二つの画像のうちの一つの画像以外の画像から抽出されたエッジにも、かごの内部構造のモデルパターンを当てはめてから人のモデルパターンを当てはめてもよい。即ち、撮像画像のうち少なくとも二つの画像から抽出されたエッジに人のモデルパターンを当てはめる際、毎回、かごの内部構造のモデルパターンを当てはめてから人のモデルパターンを当てはめてもよい。
さらに、上記実施形態の遠隔監視システム1では、画像認識処理部220は、第二処理において、撮像画像のうち少なくとも二つの画像から抽出されたエッジのうちのかごの内部構造のモデルパターンに重なるエッジ以外のエッジに、人のモデルパターン及び物のモデルパターンを当てはめていたが、かごの内部構造のモデルパターンを用いずに、この少なくとも二つの画像から抽出されたエッジに、人のモデルパターン及び物のモデルパターンを当てはめてもよい。
例えば、画像認識処理部220は、カメラ210から取得した複数の画像のうち少なくとも二つの画像と無人のかご内の撮像画像との差分、及び、これらの画像の変化から、何らかの物体がかご内にある、又は、何らかの物体がかご内に乗り降りすると予測されることを検出してもよい。
また、画像認識処理部220は、かごの内部構造のモデルパターンを作成する代わりに、カメラ210から取得した無人のかご内の撮像画像からエッジを抽出し、記憶部221は、モデルデータに加えて、無人のかご内の撮像画像から抽出したエッジを記憶していてもよい。尚、この場合、記憶部221は、かご21の内部構造のモデルパターンを記憶していなくてもよい。
この場合、画像認識処理部220は、第一の画像から抽出されたエッジと無人のかご内の撮像画像から抽出されるエッジとの差分に人や物のモデルパターンを当てはめれば、人や物のモデルパターンによって人や物の位置や挙動が適正に認識できるため、人の位置や挙動に起因する異常情報の制御マイコンから監視端末への送信を阻止し、これらに起因する報知を防ぐことができる。
上記実施形態の遠隔監視システム1では、第二処理において、エッジを抽出した少なくとも二つの画像のうち第一の画像から抽出したエッジに人のモデルパターンを当てはめる処理(第二ステップ)を行い、次に、この少なくとも二つの画像のうち第一の画像以外の画像から抽出したエッジに人のモデルパターンを当てはめる処理(第三ステップ)を行い、さらに、先ほどの少なくとも二つの画像のうち第一の画像から抽出したエッジに物のモデルパターンを当てはめる処理(第四ステップ)を行い、最後に、先ほどの少なくとも二つの画像のうち第一の画像以外の画像から抽出したエッジに物のモデルパターンを当てはめる処理(第五ステップ)を行っていたが、これらステップを行う順序はこれに限らない。例えば、第二ステップの後に第四ステップを行い、さらに第三ステップと第五ステップとを順に行ってもよい。
また、上述のように、エッジを抽出した少なくとも二つの画像から抽出したエッジに対する人のモデルパターンの当てはめと物のモデルパターンの当てはめは、それぞれ個別の処理として順番に行ってもよいし、モデルパターンの当てはめ及び物のモデルパターンの当てはめを同時に行ってもよい。
処理部23は、第一処理で取得した複数の撮像画像から抽出したエッジに対して、人や物のモデルパターンの当てはめを行っていたが、これに限らず、第一処理で取得した複数の撮像画像のうち少なくとも二つの画像から抽出したエッジに対して、人や物のモデルパターンの当てはめを行ってもよい。この場合においても、処理部23は、人や物の位置や挙動を把握することができる。
処理部23は、人のモデルパターン及び物のモデルパターンとして、各エレベータに共通して設定されたモデルパターンを用いていたが、各エレベータに個別に設定されたモデルパターンを用いてもよい。例えば、各エレベータが設置されている建物内での利用者のシルエットに応じて、個別の人のモデルパターンを追加してもよい。
人のモデルパターンは、人のパーツ(頭部及び胴部等)を簡略化したもの輪郭を結ぶ線(ワイヤーフレーム)で構成されるモデルパターンであったが、人のパーツをある程度詳細に描いたものの輪郭を結ぶ線(ワイヤーフレーム)で構成されるモデルパターンであってもよい。詳細な人のモデルパターンを用いることで、人の位置や挙動をより詳細に把握することができる。例えば、詳細な人のモデルパターンが、人の瞳、鼻、及び口などの輪郭を結ぶ線を含む場合、撮像画像から抽出されたエッジに対して、人のモデルパターンのうち人の瞳、鼻、及び口に対応する部分をそれぞれ当てはめることで、かご21内が有人であるか否かをより確実に判断することができる。
また、物のモデルパターンは、立方体の各辺を結ぶ線で構成されるモデルパターンであったが、より詳細なモデルパターンを用いてもよい。物のモデルパターンは、例えば、鞄、ベビーカー等の輪郭を結ぶ線で構成されるモデルパターンを含んでもよい。
モデルデータ(かごの内部構造のモデルパターン、人のモデルパターン、及び物のモデルパターン等)は、画像認識装置22の記憶部221以外、例えば、エレベータ2とは異なる場所(エレベータ2とは離れた場所)に設置されたサーバー等に記憶されていてもよい。
処理部23は、画像認識装置22に備えられた画像認識処理部220と、制御マイコン20に備えられたマイコン処理部200とを含んでいたが、これに限らず、処理部23の全てが、制御マイコン20に設けられてもよいし、画像認識装置22に設けられてもよい。また、処理部23の少なくとも一部が、エレベータ2以外の構成(例えば、第一サーバー4や、エレベータ2とは異なる場所(エレベータ2とは離れた場所)に設置されたサーバー)に含まれていてもよい。
例えば、処理部23は、詳細な人のモデルパターンを用いる場合、簡略化した人のモデルパターンを用いる場合と比べて、高い処理能力が必要であるため、処理部23や記憶部221をエレベータ2とは異なる場所(エレベータ2とは離れた場所)に設置されたサーバーに設けてもよい。
カメラ210は、かご21内に複数設けられていてもよい。また、カメラ210として、監視カメラを用いる代わりに、監視カメラ以外の別のカメラを用いてもよい。このようなカメラとして、例えば、周囲全体を同時に撮影可能な360°カメラを用いてもよい。
画像認識処理部220は、第三処理において、人のモデルパターンの座標に基づいて、人とかご21のドアとの接触を判定して、異常情報の出力の送信を阻止していたが、人とドアとの位置関係(人とドアとの距離等)、人とかご21の壁との位置関係、人とかご21の天井との位置関係、人とかご21の床との位置関係、及び、人と操作パネルとの位置関係等を判断して、制御マイコン20から監視端末3への異常情報(例えば、エレベータ2に異常が生じている旨のイベントコード)の出力の送信を阻止してもよい。例えば、人のモデルパターンの両肩や両肘等の座標が、ある一定の期間、かご21の床と接触していると判断した場合、人が倒れているものと判断し、制御マイコン20から監視端末3への異常情報(例えば、エレベータ2に異常が生じている旨のイベントコード)の出力の送信を阻止すると共に、人倒れに関する情報の出力を送信してもよい。
サーバー処理部40は、画像認識処理部220による判定結果を文字情報として管理者端末7及び技術員端末8に出力していたが、音声情報として出力してもよい。
また、サーバー処理部40は、画像認識処理部220による判定結果を、管理者端末7及び技術員端末8の一方に出力してもよい。例えば、かご21内での悪戯の可能性について管理者端末7のみに送信することで、管理者への注意喚起を行うと共に、他のエレベータに対応している技術員の作業の中断を抑制できる。
上記実施形態の遠隔監視システム1は、複数台のエレベータを備えていたが、一台のエレベータを備えていてもよい。また、遠隔監視システム1は、複数台の管理者端末7及び複数台の技術員端末8を備えていたが、一台の管理者端末7及び複数台の技術員端末8を備えていてもよいし、複数台の管理者端末7及び一台の技術員端末8を備えていてもよい。
さらに、遠隔監視システム1は、第一サーバー4に接続可能な客先端末を備えていてもよい。客先端末は、例えば、病院や養護老人施設等に設置される。この場合、サーバー処理部40は、画像認識処理部220による判定結果を、客先端末に出力してもよい。例えば、人倒れについての情報を、病院や養護老人施設等に設置された客先端末に送信することで、看護師や介護士等が人倒れに対して適切に対応することができる。尚、このような送信を行うために、データベース50は、エレベータに対応する客先端末に関する情報を人や物の挙動と関連付けて記憶していてもよい(例えば、各エレベータの最寄りの病院の連絡先と人倒れについての情報とを関連付けて記憶していてもよい)。
通信系統R1は、電話回線を含んでいたが、図7に示すように、電話回線の代わりにインターネットを含んでいてもよい。通信系統R1は、例えば、制御マイコン20から順に遠隔監視ユニット6とインターネットとを介して監視端末3に通信可能であり、且つ、監視端末3から逆にインターネットと遠隔監視ユニット6とを介して制御マイコン20に通信可能な通信系統である。この場合、通信系統R1,R2,R3は、一部(インターネット)で共通している。
また、通信系統R1は、遠隔監視ユニット6を含んでいたが、これを含んでいなくてもよい。この場合、制御マイコン20は、インターネットを介して第一サーバー4に接続される。
1…遠隔監視システム、2…エレベータ、20…制御マイコン、200…マイコン処理部、21…かご、210…カメラ、211…マイク、212…スピーカー、213…ディスプレイ、22…画像認識装置、220…画像認識処理部、221…記憶部、23…処理部、24…音声認識装置、25…音声案内装置、26…表示案内装置、3…監視端末、4…第一サーバー、40…サーバー処理部、5…第二サーバー、50…データベース、6…遠隔監視ユニット、7…管理者端末、8…技術員端末(技術員携帯端末)、R1,R2,R3…通信系統、P1,P2,P3,P…座標

Claims (2)

  1. エレベータに配置された制御マイコンと、
    前記制御マイコンに接続され且つ該制御マイコンからの異常情報を受信可能な監視端末と、
    前記エレベータのかご内を経時的に撮像する撮像装置と、
    前記撮像装置が撮像した画像を処理する処理部と、
    前記撮像装置が撮像した画像との比較の対象となるモデルデータを記憶する記憶部と、を備え、
    前記かごは、開閉するドアを含み、
    前記モデルデータは、少なくとも一つの人のモデルパターンを含み、
    前記処理部は、
    前記撮像装置が撮像した複数の画像のうちの少なくとも二つの画像から、それぞれエッジを抽出する第一処理と、
    前記少なくとも二つの画像から抽出されたエッジのうちの人に対する像のエッジに、それぞれ前記人のモデルパターンを当てはめる第二処理と、
    前記第二処理で当てはめた人のモデルパターンの座標が第一の特定の座標にあるときに、前記制御マイコンから前記監視端末への異常情報の送信であって前記人のモデルパターンが当てはめられた人の位置に起因する異常情報の送信を阻止する第三処理と、を行い、
    前記第一の特定の座標は、前記ドアの表面の存在する領域及び前記ドアの軌道上の領域の少なくとも一方の領域にある、
    ことを特徴とするエレベータの遠隔監視システム。
  2. エレベータに配置された制御マイコンと、
    前記制御マイコンに接続され且つ該制御マイコンからの異常情報を受信可能な監視端末と、
    前記エレベータのかご内を経時的に撮像する撮像装置と、
    前記撮像装置が撮像した画像を処理する処理部と、
    前記撮像装置が撮像した画像との比較の対象となるモデルデータを記憶する記憶部と、を備え、
    前記モデルデータは、少なくとも一つの物のモデルパターンを含み、
    前記かごは、開閉するドアを含み、
    前記処理部は、
    前記撮像装置が撮像した複数の画像のうちの少なくとも二つの画像から、それぞれエッジを抽出する第一処理と、
    前記少なくとも二つの画像から抽出されたエッジのうちの物に対する像のエッジに、それぞれ前記物のモデルパターンを当てはめる第二処理と、
    前記第二処理で当てはめた物のモデルパターンの座標が第二の特定の座標にあるときに、前記制御マイコンから前記監視端末への異常情報の送信であって前記物のモデルパターンが当てはめられた物の位置に起因する異常情報の送信を阻止する第三処理と、を行い、
    前記第二の特定の座標は、前記ドアの表面の存在する領域及び前記ドアの軌道上の領域の少なくとも一方の領域にある、
    ことを特徴とするエレベータの遠隔監視システム。
JP2019230105A 2019-12-20 2019-12-20 エレベータの遠隔監視システム Active JP6810914B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019230105A JP6810914B2 (ja) 2019-12-20 2019-12-20 エレベータの遠隔監視システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019230105A JP6810914B2 (ja) 2019-12-20 2019-12-20 エレベータの遠隔監視システム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017013390A Division JP6667144B2 (ja) 2017-01-27 2017-01-27 エレベータの遠隔監視システム

Publications (2)

Publication Number Publication Date
JP2020040839A true JP2020040839A (ja) 2020-03-19
JP6810914B2 JP6810914B2 (ja) 2021-01-13

Family

ID=69797513

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019230105A Active JP6810914B2 (ja) 2019-12-20 2019-12-20 エレベータの遠隔監視システム

Country Status (1)

Country Link
JP (1) JP6810914B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115258869A (zh) * 2022-07-08 2022-11-01 江苏飞耐科技有限公司 一种电梯预警方法及系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114436087B (zh) * 2022-02-15 2023-09-19 浙江新再灵科技股份有限公司 基于深度学习的电梯乘客扒门检测方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011162312A (ja) * 2010-02-09 2011-08-25 Toshiba Elevator Co Ltd エレベータ滞留物検出装置
JP2012133666A (ja) * 2010-12-22 2012-07-12 Sogo Keibi Hosho Co Ltd 部位認識装置、部位認識方法、及び部位認識プログラム
JP2017043462A (ja) * 2015-08-27 2017-03-02 株式会社日立ビルシステム エレベータ用ドア開閉異常判定装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011162312A (ja) * 2010-02-09 2011-08-25 Toshiba Elevator Co Ltd エレベータ滞留物検出装置
JP2012133666A (ja) * 2010-12-22 2012-07-12 Sogo Keibi Hosho Co Ltd 部位認識装置、部位認識方法、及び部位認識プログラム
JP2017043462A (ja) * 2015-08-27 2017-03-02 株式会社日立ビルシステム エレベータ用ドア開閉異常判定装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115258869A (zh) * 2022-07-08 2022-11-01 江苏飞耐科技有限公司 一种电梯预警方法及系统
CN115258869B (zh) * 2022-07-08 2023-10-20 江苏飞耐科技有限公司 一种电梯预警方法及系统

Also Published As

Publication number Publication date
JP6810914B2 (ja) 2021-01-13

Similar Documents

Publication Publication Date Title
CN104870147B (zh) 机器人安全工作的系统和方法
JP6158517B2 (ja) 警報システム
JP6845307B2 (ja) 監視システム及び監視方法
JP2007044825A (ja) 行動管理装置、行動管理方法および行動管理プログラム
JP2020040839A (ja) エレベータの遠隔監視システム
JP2011128911A (ja) 対象者検出システム、対象者検出方法、対象者検出装置および移動式情報取得装置
JP2007251556A (ja) 監視装置および方法、画像処理装置および方法、並びにプログラム
JP2018181159A (ja) 防犯システム、防犯方法、及びロボット
WO2016199495A1 (ja) 行動検知装置、該方法および該プログラム、ならびに、被監視者監視装置
WO2020110879A1 (ja) 不審体・異常体検出装置
JP6667144B2 (ja) エレベータの遠隔監視システム
JP2018094683A (ja) 見守り型ペットロボット
CN108346260A (zh) 一种用于无人机的监控方法、装置、无人机及监控系统
JP6886645B2 (ja) エレベータの利用者サポートシステム
JP6722408B2 (ja) エレベータの利用者サポートシステム
JP2020013185A (ja) 見守り装置および見守り装置の制御プログラム
JP6754099B2 (ja) エレベータのドア制御システム
JP2001222317A (ja) 自律型のロボット装置を用いた監視システム及び自律型のロボット装置を用いた監視方法
WO2021044953A1 (ja) 情報処理システム及び情報処理方法
JP7430088B2 (ja) 発話制御装置
JP2012208850A (ja) 異常検知装置
JP2022016979A (ja) 傷病者検出装置、傷病者検出システム、及び、傷病者検出方法
JP7402721B2 (ja) 発話制御装置
CN116189238B (zh) 一种基于神经网络的人形检测识别的摔倒检测方法
WO2021024691A1 (ja) 画像処理システム、画像処理プログラム、および画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200819

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200828

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201113

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201126

R150 Certificate of patent or registration of utility model

Ref document number: 6810914

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250