JP2015201693A - 安全制御装置および安全制御システム - Google Patents

安全制御装置および安全制御システム Download PDF

Info

Publication number
JP2015201693A
JP2015201693A JP2014077932A JP2014077932A JP2015201693A JP 2015201693 A JP2015201693 A JP 2015201693A JP 2014077932 A JP2014077932 A JP 2014077932A JP 2014077932 A JP2014077932 A JP 2014077932A JP 2015201693 A JP2015201693 A JP 2015201693A
Authority
JP
Japan
Prior art keywords
safety
image
worker
safety control
control device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014077932A
Other languages
English (en)
Other versions
JP6402469B2 (ja
Inventor
博之 國分
Hiroyuki Kokubu
博之 國分
佐藤 芳信
Yoshinobu Sato
芳信 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuji Electric Co Ltd
Original Assignee
Fuji Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Electric Co Ltd filed Critical Fuji Electric Co Ltd
Priority to JP2014077932A priority Critical patent/JP6402469B2/ja
Priority to US14/668,027 priority patent/US10178302B2/en
Priority to EP15161253.8A priority patent/EP2927874A1/en
Publication of JP2015201693A publication Critical patent/JP2015201693A/ja
Application granted granted Critical
Publication of JP6402469B2 publication Critical patent/JP6402469B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16PSAFETY DEVICES IN GENERAL; SAFETY DEVICES FOR PRESSES
    • F16P3/00Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body
    • F16P3/12Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine
    • F16P3/14Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact
    • F16P3/142Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact using image capturing devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/28Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance

Abstract

【課題】 時々刻々と位置が変化する作業者と危険源との位置関係に基づいて適切な安全機能を働かせることができる安全制御装置を提供する。【解決手段】 危険源検出部23および作業者検出部24は、撮像機器1により撮像された監視対象エリアの画像から危険源Mの画像および作業者Pの画像を各々検出する。最短距離探索部27は、危険源Mの画像と作業者Pの画像の最短距離を探索する。安全機能割当部28は、最短距離探索部27により探索された最短距離に基づいて安全機能を選択する。安全信号生成部31は、選択された安全機能を示す安全信号を外部通信手段3により外部の安全関連機器7に送信する。【選択図】図3

Description

この発明は、制御室・機械室等においてサーボやインバータ等のドライブ機器を安全な状態に維持する安全制御装置および安全制御システムに関する。
工場等のファンやポンプ、エレベータ、ビルの機械室、製造装置の駆動部分等には、サーボやインバータなどのパワーエレクトロニクスを用いたドライブ機器が使用されている。近年、この種のドライブ機器について安全のニーズが高まっている。そこで、特許文献1は、工場内の作業現場において危険領域の撮像を行い、この危険領域の画像のフレーム間差分を検出することにより、危険領域への移動体の侵入を検出する技術を提案している。また、特許文献2では、危険源を含む監視対象領域を見下ろす高さに取り付けられたカメラにより監視対象領域の撮像を行う。そして、この撮像により、監視対象領域への作業者の侵入を検知する。
特開2004−282368号公報 特開2004−276154号公報
ところで、上述した従来の安全機器は、ロボットや動力源等の危険源が存在するエリアに作業者が侵入した場合に、たとえ作業者が危険源から十分に離れていたとしても、作業者の安全を確保するために危険源を停止させていた。また、特に危険源がロボット等の動く物である場合、作業者の安全を確保するために、作業者が侵入できないよう危険源と作業者との間に安全柵等を用いてエリアを分ける必要があった。このため、従来技術は、作業エリアが大きくなることや、ロボットや動力源等を停止させることにより稼働率を低下させる問題があった。
この発明は以上のような事情に鑑みてなされたものであり、時々刻々と位置が変化する作業者と危険源との位置関係に基づいて適切な安全機能を働かせることができる安全制御装置を提供することを目的としている。
この発明は、撮像機器により撮像された監視対象エリアの画像から危険源の画像および作業者の画像を検出する対象検出手段と、前記危険源の画像と前記作業者の画像の最短距離を探索する最短距離探索手段と、前記最短距離探索手段により探索された最短距離に基づいて安全機能を選択する安全機能割当手段と、前記安全機能割当手段により選択された安全機能を示す安全信号を出力する安全信号生成手段とを具備することを特徴とする安全制御装置を提供する。
かかる発明によれば、撮像機器により撮像された危険源の画像と作業者の画像との最短距離に応じて安全機能が選択され、その安全機能を示す安全信号が出力される。従って、作業者と危険源との位置関係に基づいて適切な安全機能を働かせることができる。特にこの発明では、危険源の画像と作業者の画像との最短距離に応じて安全機能を選択するので、例えば作業者が危険源を指等の体の一部を近づける等、危険源と作業者との距離が局所的に短くなっているような状況において、その状況に応じた適切な安全機能を選択することができる。
なお、特許文献1および2に開示の技術は、本発明のように、撮像された危険源の画像と作業者の画像の最短距離に基づいて安全機能を選択するものではない。
この発明の一実施形態である安全制御システムの適用例を示す図である。 同実施形態による安全制御システムの構成を示すブロック図である。 同安全制御システムにおける安全制御装置の構成を示すブロック図である。 同実施形態における安全信号の構成例を示す図である。 同実施形態における安全機能の内容を示す図である。 同実施形態のブラックチャネルによる通信において行っている安全対策を示す図である。 同実施形態の動作を示すフローチャートである。 同実施形態において撮像される監視対象エリアの画像を例示する図である。 同監視対象エリアの画像における作業者と危険源の移動範囲を示す図である。 同実施形態における作業者の画像の検出方法を示す図である。 同実施形態における作業者、危険源の画像の検出およびマッピング処理の例を示す図である。 同実施形態において生成される2値化画像を例示する図である。 同実施形態におけるマッピング処理の結果を例示する図である。 同実施形態におけるラベリング処理の結果を例示する図である。 同実施形態において抽出された特徴量を例示する図である。 同実施形態において行われる最短距離探索処理を例示する図である。 同最短距離探索処理の結果を例示する図である。 同実施形態における最短距離に基づく安全機能の割り当て方法を例示する図である。
以下、図面を参照し、この発明の実施形態について説明する。
図1はこの発明の一実施形態による安全制御システム100の適用例を示す図である。図示の例では、機械室101の天井102に本実施形態による安全制御システム100が設置されている。図1に示す例では、安全制御システム100は、機械室101内の床103の上の空間を監視対象エリアとし、この監視対象エリアの撮像を行い、監視対象エリア内において危険源Mと作業者Pとが接近したことを検知した場合に、適切な安全機能を指示する安全信号を発生し、安全関連機器に供給するものである。ここで、危険源Mは、動く物、例えば可動範囲が広い多関節ロボット、搬送装置等、作業者Pが接触すると危険な装置である。作業者Pは人間である。
図2は本実施形態による安全制御システム100の構成を示すブロック図である。この安全制御システム100は、監視対象エリアの撮像を行う撮像機器1と、マイクロプロセッサにより各々構成された1または複数の安全制御装置2と、外部通信手段3とを有する。
撮像機器1と安全制御装置2は、例えば高速シリアル通信(SPI、I2C)等やパラレルバス通信を行うための画像信号伝送手段4を介して接続されている。ここで、安全制御装置2は、機能安全の冗長性を担保するため、単一で機能安全の要求を満たすマイクロプロセッサ、もしくは複数の一般的なマイクロプロセッサを用いる必要がある。
外部通信手段3は、例えばRS485に準拠した差動通信用部品、もしくはEthernet(登録商標)の通信ASIC(Application Specificated Integrated Circuit;特定用途向集積回路)等が使用される。この外部通信手段3は、安全制御装置2から受信した安全信号を伝送手段6により安全関連機器7に送信する。安全関連機器7は、安全信号に応じて、ロボット等の危険源Mを停止させ、あるいは減速させる制御を行う。
複数の安全制御装置2を用いる安全制御システム100において、各安全制御装置2は処理結果伝送手段5を介して相互に接続されている。各安全制御装置2は、この処理結果伝送手段5を介して互いの安全機能選択結果を交換し、相違がないことをクロスチェックする。また、各安全制御装置2は、外部通信手段3へ安全信号を送る際の経路の一部として、この処理結果伝送手段5を用いる。
図3は安全制御装置2の機能構成を示すブロック図である。なお、図3では、安全制御装置2の機能の理解を容易にするため、撮像機器1、外部通信手段3および安全関連機器7が安全制御装置2とともに図示されている。
安全制御装置2において、画像取得部21は、撮像機器1の撮像部1Aが撮像した監視対象エリアの画像を取得する手段である。画像異常検出部22は、画像取得部21によって取得される画像自体に問題がないかの確認処理を行う。この確認処理では、撮像機器1と安全制御装置2とを結ぶケーブルの断線や、故障による走査線の色飛び・変色、照明の状況によるホワイトアウト・ブラックアウトを検出する。
危険源検出部23および作業者検出部24は、安全機能の選択のために使用する対象画像を監視対象エリアの画像から検出する対象検出手段を構成している。さらに詳述すると、危険源検出部23は、画像取得部21によって取得された監視対象エリアの画像に画像認識処理を施し、監視対象エリア内に存在するロボット等の危険源Mの画像を検出する。また、作業者検出部24は、画像取得部21によって取得された監視対象エリアの画像に画像認識処理を施し、監視対象エリア内に存在する作業者Pの画像を検出する。
マッピング部25は、監視対象エリアを示す監視テーブルを記憶している。この監視テーブルは、監視対象エリアを空間として見立てて、これを2次元または3次元のデータテーブルとして定義したものである。監視テーブルは、撮像機器1の台数に応じて、二次元データテーブルまたは三次元データテーブルとして定義することができる。撮像機器1が複数台あれば、複数方向、例えば2方向から作業者Pと危険源Mを検出することができるので、2方向から検出した位置を照らし合わせることで3次元の位置を特定することができるからである。そして、マッピング部25は、この監視テーブルに対し、危険源検出部23により検出された危険源Mの画像と作業者検出部24により検出された作業者Pの画像とをマッピングする。
ラベリング部26は、監視テーブルにマッピングされた危険源Mおよび作業者Pの各データにラベル付けをする手段である。最短距離探索部27は、ラベリング部26の処理結果に基づき、危険源Mの画像と作業者Pの画像の最短距離を探索する手段である。安全機能割当部28は、最短距離探索部27により探索された最短距離に基づいて、動作させるべき安全機能を選択する。処理結果出力部29は、安全機能割当部28が選択した安全機能を示す安全コマンドを安全判定部30に供給する手段である。
安全制御システム100が複数の安全制御装置2を有する場合、それらの安全制御装置2の中の1つは外部通信手段3を介して安全関連機器7に接続されている。この外部通信手段3を介して安全関連機器7に接続された安全制御装置2の安全判定部30は、安全関連機器7に供給する安全コマンドを決定するための処理を行う。そのために、安全判定部30は、他の安全制御装置2の処理結果出力部29が送信した安全コマンドを受信する。
ある好ましい態様において、安全判定部30は、安全制御装置2の安全機能割当部28が選択した安全機能を示す安全コマンドと、他の安全制御装置2の安全機能割当部28が選択した安全機能を示す安全コマンドとに基づいて安全信号生成部31に送る安全コマンドを生成する。そのための方法として各種のものが考えられるが、例えば複数の安全コマンドの中から多数決により安全信号生成部31に送る安全コマンドを選択してもよい。あるいは、複数の安全制御装置2から得られる安全コマンドの各種の組み合わせに対応付けて安全信号生成部31に送る安全コマンドを定義したテーブルを記憶し、このテーブルに従って安全信号生成部31に送る安全コマンドを決定してもよい。このように安全判定部30が複数の安全制御装置2により生成された安全コマンドに基づいて1つの安全コマンドを生成した場合、安全信号生成部31はその安全コマンドを示す安全信号を生成して外部通信手段3に送信する。
他の好ましい態様において、安全判定部30は、安全制御装置2の安全機能割当部28が選択した安全機能を示す安全コマンドと、他の安全制御装置2の安全機能割当部28が選択した安全機能を示す安全コマンドとを安全信号生成部31に送る。安全信号生成部31は、安全判定部30から受け取った各安全コマンドを併合した安全信号を生成する。そして、この態様では、複数の安全制御装置2が生成した安全コマンドに基づいて1つの安全コマンドを生成する処理を安全関連機器7が実行する。
図4はこの場合の安全信号の構成を示す図である。図4に示すように、安全信号は安全制御システム100を構成する各安全制御装置2の安全機能割当部28が選択した安全機能を各々示す複数の安全コマンドを時間多重した信号である。図4に示す例では、1個の安全コマンドは8bitからなり、各bitは各々安全機能に対応している。そして、安全コマンドでは、安全機能割当部28が選択した安全機能に対応したbitが“1”とされ、他の安全機能に対応したbitが“0”とされる。図5は安全コマンドの各bitに対応した安全機能の例を示す図である。
図3において、外部通信手段3は安全信号伝送部3Aを有する。この安全信号伝送部3Aは、安全信号生成部31が生成した安全信号を外部の安全関連機器7に送信する。その際、安全信号伝送部3Aは、安全信号生成部31から受け取った安全信号の形式をブラックチャネルと呼ばれる機能安全規格や仕様で規定された方法に従う形式に変更する。これは、信号の伝送路上で、断線やビット化け、データの入れ違い等によって安全信号が不正なものにならないようにするためである。このため、安全信号伝送部3Aは、例えばIEC61784−3で定義される機能安全通信フィールドバスシステムに定義されているような技術を適用することもできる。
図6は安全信号伝送部3Aによる安全信号の送信に適用される伝送エラー防護策の例を示すものである。この例において安全信号伝送部3Aは、安全信号等のメッセージをフレーム化して送信する際、シーケンス番号とタイムスタンプを付加して送信する。また、安全信号伝送部3Aは、フレームを送った場合に、それに対する確認応答を送信先から受け取ることによりメッセージの整合性を確認する。また、安全信号伝送部3Aは、フレームを送った場合に規定時間の計時を行い、送信先からの確認応答を受信することなくタイムアウトとなった場合には、当該フレームの再送等の適切な処理を行う。また、安全信号伝送部3Aは、独自のコードを用いて送受信元の確認を行う。また、安全信号伝送部3Aは、データの送受信に当たって、改ざんを防ぐための冗長検査やCRCの付加を行う。さらに安全信号伝送部3Aは、複数チャネルを介して同一メッセージを受信して相互に比較する。また、安全信号伝送部3Aは、安全関連系の機器との通信では、非安全関連系の機器との通信と異なり、より厳密な方式によりデータの完全性を保証する。
図7は本実施形態の動作を示すフローチャートである。以下、この図を参照し、本実施形態の動作を説明する。本実施形態では、まず、画像取得部21が撮像機器1から監視対象エリアの画像を取得する(ステップS1)。次に異常検出部22は、画像取得部21によって取得された画像自体に問題がないかの確認処理を行う(ステップS2)。図8は画像取得部21によって取得され、異常検出部22により異常のないことが確認された監視対象エリアの画像を例示するものである。この例において監視対象エリアの画像には、危険源Mと、作業者P1およびP2と、加工物104aを搬送するベルトコンベア104の各画像が含まれている。図9は、監視対象エリアにおける作業者P1およびP2の移動可能範囲105と、危険源Mの移動可能範囲106が例示されている。本実施形態では、図9に例示するように、危険源Mと作業者P1およびP2の両方が移動可能であり、互いの移動可能範囲が重複する。従って、時々刻々と変化する危険源Mと作業者P1およびP2の位置関係を監視し、両者が所定限度を越えて接近した場合に適切な安全機能を働かせる必要がある。本実施形態による安全制御装置2は、この適切な安全機能を働かせるための制御を行う。
異常検出部22の確認処理において異常が認められない場合、マッピング部25は監視テーブルを初期化する(ステップS3)。次に危険源検出部23が、画像取得部21によって取得された監視対象エリアの画像に画像認識処理を施し、ロボット等の危険源Mの画像を検出し、マッピング部25がこの危険源Mを示すデータを監視テーブルにマッピングする(ステップS4)。次に作業者検出部24が、画像取得部21によって取得された監視対象エリアの画像に画像認識処理を施し、作業者Pの画像を検出し、マッピング部25がこの作業者Pを示すデータを監視テーブルにマッピングする(ステップS5)。
図10(a)〜(d)は作業者Pの画像の検出方法を例示している。監視対象エリアを上から俯瞰する状況では、作業者Pの背景は床となる。図10(a)に示す例では、床103と作業者Pの色の差異がある。そこで、この例では監視対象エリアの画像において床103の色の領域に囲まれた作業者Pの色の領域を作業者Pの画像として検出する。また、図10(b)に示す例では、監視対象エリアの画像の中から作業者Pが装着しているヘルメットPaの色の領域と作業着Pbの色の領域を検出することにより作業者Pの画像を検出する。図10(c)に示す例では、作業者Pが着用しているヘルメットPaに特有の模様が付けられている。そこで、この例では、監視対象エリアの画像の中からこのヘルメットPaの模様のある領域を検出することにより作業者Pの画像を検出する。図10(d)に示す例では、監視対象エリアの画像の中から前回画像と差のある領域を検出することにより作業者Pの画像を検出する。この方法は、動く対象物を検出するのに有効である。しかし、作業者Pの他、危険源Mも動くような場合、この方法のみでは検出した物が作業者Pであるのか危険物Mであるのか判定することができない。従って、この方法により動いている対象物を検出し、次いで図10(a)〜(c)に示す方法により、動いている対象物が作業者Pであるのか危険源Mであるのかを判定するのが好ましい。
危険源Mの画像も作業者Pの画像と同様な方法により検出可能である。しかし、危険源Mの画像を検出するに当たっては、ベルトコンベア104やその上で移動する加工物104a(図8参照)などの画像を無視し、危険源Mの画像として検出しないようにする必要がある。この場合、例えば監視対象エリアの画像の中から、危険源Mが有している色であって、ベルトコンベア104や加工物104aが有していない色の領域を検出することにより危険源Mを検出すればよい。あるいは、ベルトコンベア104の占有領域が分っているのであれば、監視対象エリアの画像のうちベルトコンベア104の占有領域を除く領域から危険源Mを検出するようにしてもよい。
図11は図7における危険源の検出とマッピング(ステップS4)および作業者の検出とマッピング(ステップS5)の詳細な手順を示したフローチャートである。本実施形態では、作業者Pや危険源Mの占有領域を正確に求めるために監視対象エリアの画像(図8参照)を2値化する(ステップS101)。さらに詳述すると、本実施形態では、前掲図10(a)〜(d)の方法により作業者Pや危険源Mの所在を特定した後、作業者Pや危険源Mの所在位置を中心とした所定サイズの領域内の画像の輝度を2値化する。図12は、この画像を2値化したデータの例を示す。ここで、通常のカメラ画像は、ノイズや境界線等が含まれるため、2値化を行ったとしても、その2値化画像から作業者Pや危険源Mの占有領域を正確に検出するのは困難である。そこで、2値化画像に対してフィルタ処理を施すことによりノイズや境界線等を削除する(ステップS102)。そして、このフィルタ処理後の2値化画像から作業者Pと危険源Mの占有領域を検出し、監視テーブルにマッピングする(ステップS103)。
図13はこのマッピング結果の例を示すものである。図13において、R0は監視テーブルにおいて危険源Mの画像がマッピングされた領域、R1およびR2は作業者P1およびP2の画像がマッピングされた領域である。なお、この図13では、理解を容易にするため、図8に示す危険源M、作業者P1およびP2の画像がマッピング結果とともに示されている。本実施形態において、監視対象エリアの画像サイズと監視テーブルは相関関係にあり、監視対象エリアの画像データが640×480ピクセルであった場合、例えば監視テーブルは64×48単位の2次元データテーブルとなる。本実施形態では、2値化画像をそのまま縮小して監視テーブルに書き込む。その際、監視テーブルの1単位に書き込む縮小前の作業者または危険源のピクセルの個数を所定の閾値と比較し、個数が閾値以上である場合に、その単位に作業者または危険源の存在を示すデータを書き込む。この閾値は、安全制御装置2に対する設定操作によって変更可能である。また、作業者または危険源の存在を示すデータを監視テーブルの1単位に書き込む際、作業者の存在を示すデータは例えば0x01、危険源の存在を示すデータは例えば0xF1とする。このようにすることで、監視テーブルの各単位に書き込まれたデータから、その単位に対応した領域を占めているのが作業者であるか危険源であるかを区別することができる。
以上の処理が終了すると、図7のステップS6に進み、危険源と作業者のクラスタリングを行う。このクラスタリングでは、ラベリング部26が、監視テーブルの各単位を確認し、作業者Pまたは危険源Mを示す同一データが書き込まれた単位からなる連続領域の各単位をグループ化し、そのグループの各単位に共通のラベルを付けるラベリングを行う。
具体的には、ラベリング部26は、ある単位に作業者Pを示すデータ0x01が書き込まれていた場合、その単位に隣接する各単位の中にデータ0x01が書き込まれている単位があるか否かを判定する。そして、該当する単位があれば、作業者Pを示すデータ0x01が書き込まれているグループの中にその単位を加える。このような処理を繰り返すことにより作業者Pを示すデータ0x01が書き込まれた単位からなる連続領域の各単位のグループが得られる。同様にして、危険源Mを示すデータが書き込まれた単位のグループも得られる。
図14はこのラベリング処理を経た監視テーブルの内容を例示している。この例では、監視テーブルにおいて、危険源Mが占有している連続領域R0内の各単位にはラベル0xF1が付けられ、作業者P1が占有している連続領域R1内の各単位にはラベル0x01が付けられ、作業者P2が占有している連続領域R2内の各単位にはラベル0x02が付けられている。連続領域R1に付けられているラベルと連続領域R2に付けられているラベルとが異なるのは、連続領域R1およびR2が相互に連続しておらず、各々別個の連続領域だからである。
ラベリング処理により、危険源Mを示す単位のグループ(連続領域R0)、作業者P1を示す単位のグループ(連続領域R1)、作業者P2を示す単位のグループ(連続領域R2)が得られると、ラベリング部26は、グループ毎に特徴量抽出処理を行い、各グループの大きさや重心、面積を求める。図15はこの特徴量抽出処理の結果を例示するものである。
以上のようにしてラベリング部26によるクラスタリング(ステップS6)が終了すると、最短距離探索部27は、図16に例示するように、クラスタリングにより得られた危険源Mのグループ、作業者P1のグループ、作業者P2のグループの各グループ間の最短距離を探索する(ステップS7)。図16に示す例では、監視テーブル上における作業者のデータの各位置と、危険源のデータの各位置のユークリッド距離を算出している。作業者と危険源との距離の定義に関しては複数種類が考えられる。最短距離探索部27は、ユークリッド距離以外の距離を算出してもよい。この処理は、監視テーブル上において作業者を示す各データと危険源を示す各データの間で行われる。最短距離探索部27は、このようにして算出した距離の中で、もっとも短い距離を探索対象の作業者と危険源の距離とする。図17はこの最短距離探索部27の演算処理により算出された作業者P1およびP2の各々と危険源Mとの最短距離を例示するものである。
次に安全機能割当部28は、最短距離探索部27により探索された最短距離に基づいて、動作させるべき安全機能を選択する(ステップS8)。この安全機能の選択を行うために、安全機能割当部28は、図18に示すように、作業者と危険源の最短距離と、この最短距離が探索されたときに選択する安全機能との関係を示すテーブルを記憶している。安全機能割当部28は、このテーブルにおいて、最短距離探索部27により探索された最短距離に対応付けられた安全機能がある場合には、その安全機能を選択する。
好ましい態様において、安全機能割当部28は、安全機能を選択するに当たって、上述した特徴量抽出処理により得られた特徴量を参照する。具体的には、特徴量抽出処理により選られた作業者、危険源の大きさや重心、面積が予め定められた範囲内の値であるか否かを判断する。そして、作業者、危険源の大きさや重心、面積が予め定められた範囲から外れている場合、通常の安全機能とは異なる安全機能、例えば監視員を呼び出す等の安全機能を選択する。
次に処理結果出力部29は、安全機能割当部28が選択した安全機能を示す安全コマンドを安全判定部30および他の安全制御装置2に出力する(ステップS9)。次に安全判定部30は、他の安全制御装置2の処理結果出力部29が送信した安全コマンドを受信し、その安全コマンドと安全機能割当部28が出力した安全コマンドに基づいて、最終的に出力する安全コマンドを決定する(ステップS10)。次に安全信号生成部31は、安全判定部30から受け取った安全コマンドを示す安全信号を生成し、安全信号伝送部3Aに供給する(ステップS11)。そして、安全信号は安全信号伝送部3Aにより安全関連機器7に送信される。
なお、安全機能割当部28により安全コマンドが出力されず、かつ、他の安全制御装置2の処理結果出力部29から安全コマンドが受信されなかった場合、安全信号生成部31は、異常がない旨の信号を安全信号伝送部3Aにより安全関連機器7に送信する。
以上が本実施形態の動作である。
以上説明したように、本実施形態によれば、撮像機器1により撮像された危険源Mの画像と作業者Pの画像との最短距離に応じて安全機能が選択され、その安全機能を示す安全信号が外部通信手段3により安全関連機器7に送信される。従って、作業者Pと危険源Mとの位置関係に基づいて適切な安全機能を働かせることができる。また、本実施形態では、危険源Mの画像と作業者Pの画像との最短距離に応じて安全機能を選択するので、例えば作業者が危険源を指等の体の一部を近づける等、危険源と作業者との距離が局所的に短くなっているような状況において、その状況に応じた適切な安全機能を選択することができる。
以上、この発明の一実施形態について説明したが、この発明には他にも実施形態が考えられる。例えば複数の安全制御装置2を備えた安全制御システム100において、安全関連機器7への安全信号の送信を行う安全制御装置2には各安全制御装置2が生成した安全コマンドが集まる。そこで、この安全制御装置2において、各安全制御装置2から受信した安全コマンドとその受信時刻のログをメモリに記録するようにしてもよい。この態様によれば、複数の安全制御装置2の中に、他の安全制御装置2が安全コマンドを送信しているのに安全コマンドを送信しない安全制御装置2や、安全コマンドの送信が遅れる安全制御装置2等、挙動が異常な安全制御装置2が含まれている場合に、その安全制御装置2をログから特定し、その安全制御装置2を修理することができる。
100……安全制御システム、M……危険源、P,P1,P2……作業者、101……機械室、102……天井、103……床、Pa……ヘルメット、Pb……作業着、104……ベルトコンベア、104a……加工物、1……撮像機器、2……安全制御装置、3……外部通信手段、6……伝送手段、7……安全関連機器、1A……撮像部、21……画像取得部、22……画像異常検出部、23……危険源検出部、24……作業者検出部、25……マッピング部、26……ラベリング部、27……最短距離探索部、28……安全機能割当部、29……処理結果出力部、30……安全判定部、31……安全信号生成部、3A……安全信号伝送部。

Claims (16)

  1. 撮像機器により撮像された監視対象エリアの画像から危険源の画像および作業者の画像を検出する対象検出手段と、
    前記危険源の画像と前記作業者の画像の最短距離を探索する最短距離探索手段と、
    前記最短距離探索手段により探索された最短距離に基づいて安全機能を選択する安全機能割当手段と、
    前記安全機能割当手段により選択された安全機能を示す安全信号を出力する安全信号生成手段と
    を具備することを特徴とする安全制御装置。
  2. 前記監視対象エリアを分割した各部に対応した単位からなる監視テーブルに前記対象検出手段により検出された危険源を示すデータと作業者を示すデータとをマッピングするマッピング手段を具備し、
    前記最短距離探索手段は、前記監視テーブルにマッピングされた危険源を示すデータと作業者を示すデータとの最短距離を探索することを特徴とする請求項1に記載の安全制御装置。
  3. 前記監視テーブルにおいて同一対象を示すデータがマッピングされた単位の連続領域に共通のラベルを付け、かつ、不連続な複数の連続領域間で異なるラベルを付け、ラベル付けされた各連続領域を作業者または危険源のグループとするラベリング手段を具備し、
    前記最短距離探索手段は、前記監視テーブルにおける作業者のグループと危険源のグループとの最短距離を探索することを特徴とする請求項2に記載の安全制御装置。
  4. 前記マッピング手段は、前記監視テーブルの各単位に対応付けられた前記監視対象エリアの画像の画素の個数のうち前記危険源または前記作業者を示す画素の個数が所定の閾値以上である場合に、当該単位に前記危険源または前記作業者を示すデータを格納することを特徴とする請求項2または3に記載の安全制御装置。
  5. 前記閾値が前記安全制御装置に対する設定操作により設定可能であることを特徴とする請求項4に記載の安全制御装置。
  6. 前記監視対象エリアにおける危険源の画像の特徴量と作業者の画像の特徴量とを抽出する特徴量抽出手段を具備し、
    前記安全機能割当手段は、前記危険源の画像の特徴量と作業者の画像の特徴量とに基づいて安全機能を選択することを特徴とする請求項1に記載の安全制御装置。
  7. 前記対象検出手段は、前記危険源または前記作業者とその背景の色の組み合わせを前記監視対象エリアの画像から検出することにより前記危険源または作業者を検出することを特徴とする請求項1に記載の安全制御装置。
  8. 前記対象検出手段は、前記危険源または前記作業者の各部の色の組み合わせを前記監視対象エリアの画像から検出することにより前記危険源または作業者を検出することを特徴とする請求項1に記載の安全制御装置。
  9. 前記対象検出手段は、前記危険源または前記作業者の画像が含む模様を前記監視対象エリアの画像から検出することにより前記危険源または作業者を検出することを特徴とする請求項1に記載の安全制御装置。
  10. 前記対象検出手段は、前記監視対象エリアの画像において変化が生じた領域を求め、当該領域から前記危険源または前記作業者を検出することを特徴とする請求項1、7〜9のいずれか1の請求項に記載の安全制御装置。
  11. 前記対象検出手段は、前記監視対象エリアの画像において前記危険源または前記作業者の画像が所在する領域を特定した後、前記監視対象エリアの画像を2値化することにより前記危険源または前記作業者の画像の境界を求めることを特徴とする請求項1に記載の安全制御装置。
  12. 前記対象検出手段は、前記監視対象エリアの画像を2値化した画像からノイズを除去するフィルタ処理を実行し、前記危険源または前記作業者の画像の境界を求めることを特徴とする請求項11に記載の安全制御装置。
  13. 機能安全通信仕様を満たすブラックチャネルにより前記安全信号を外部機器に送信する外部通信手段を具備することを特徴とする請求項1に記載の安全制御装置。
  14. 請求項1に記載の安全制御装置を1または複数台有するとともに、前記監視対象エリアを撮像し、画像信号を前記安全制御装置に供給する撮像機器とを有することを特徴とする安全制御システム。
  15. 前記撮像機器および前記安全制御装置間の断線を検知する断線検知手段を具備することを特徴とする請求項14に記載の安全制御システム。
  16. 前記安全制御装置は、前記安全機能割当手段の処理結果を他の安全制御装置に送信する処理結果出力手段と、前記安全機能割当手段の処理結果と他の安全制御装置の処理結果出力手段から受信した処理結果に基づいて、動作させる安全機能を決定する安全判定手段とを具備することを特徴とする請求項14または15に記載の安全制御システム。
JP2014077932A 2014-04-04 2014-04-04 安全制御装置および安全制御システム Expired - Fee Related JP6402469B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014077932A JP6402469B2 (ja) 2014-04-04 2014-04-04 安全制御装置および安全制御システム
US14/668,027 US10178302B2 (en) 2014-04-04 2015-03-25 Safety control device and safety control system
EP15161253.8A EP2927874A1 (en) 2014-04-04 2015-03-27 Safety control device and safety control system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014077932A JP6402469B2 (ja) 2014-04-04 2014-04-04 安全制御装置および安全制御システム

Publications (2)

Publication Number Publication Date
JP2015201693A true JP2015201693A (ja) 2015-11-12
JP6402469B2 JP6402469B2 (ja) 2018-10-10

Family

ID=53015502

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014077932A Expired - Fee Related JP6402469B2 (ja) 2014-04-04 2014-04-04 安全制御装置および安全制御システム

Country Status (3)

Country Link
US (1) US10178302B2 (ja)
EP (1) EP2927874A1 (ja)
JP (1) JP6402469B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017183414A1 (ja) * 2016-04-22 2017-10-26 三菱電機株式会社 物体操作装置及び物体操作方法
KR20180013757A (ko) * 2016-07-28 2018-02-07 더 보잉 컴파니 유압 로봇들 부근에 있을 때 움직임을 탐지하기 위한 인간 모션 센서들의 사용
JP2018130793A (ja) * 2017-02-15 2018-08-23 オムロン株式会社 監視システム、監視装置、および監視方法
JP2018195959A (ja) * 2017-05-17 2018-12-06 ファナック株式会社 監視領域を分割した空間領域を監視する監視装置
JP2019083007A (ja) * 2017-10-18 2019-05-30 エレスタ・ゲーエムベーハー・オストフィルダーン・(ディイー)・ツヴァイクニーダーラッスング・バド ラガーツ センサ及びセンサのデータのシリアル伝送のための方法
JP2022015850A (ja) * 2020-07-10 2022-01-21 株式会社安川電機 ロボットシステム及びロボットの作業方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170004595A1 (en) * 2015-06-30 2017-01-05 The Boeing Company Rewarding a user for providing safety hazard information
JP6666744B2 (ja) 2016-02-22 2020-03-18 株式会社ブロードリーフ コンピュータプログラム、作業分析支援方法及び作業分析支援装置
DE202017102411U1 (de) * 2017-04-25 2017-05-15 Leuze Electronic Gmbh + Co Kg Vorrichtung zur Absicherung einer Anlage
CN110210274A (zh) * 2018-02-28 2019-09-06 杭州海康威视数字技术股份有限公司 安全帽检测方法、装置及计算机可读存储介质
DE202018103012U1 (de) * 2018-05-29 2018-06-06 Leuze Electronic Gmbh + Co. Kg Vorrichtung zur Absicherung eines Gefahrenbereichs einer Anlage
DE102018116371B4 (de) * 2018-07-06 2020-08-06 Sick Ag 3D-Sensor und Verfahren zum Überwachen eines Überwachungsbereichs
US20210141381A1 (en) * 2018-07-06 2021-05-13 Sony Corporation Information processing device, information processing system, behavior planning method, and computer program
CN113591711B (zh) * 2021-07-30 2022-07-19 沭阳县华源米业股份有限公司 一种基于人工智能的粮仓危险源安全监测方法及系统
CN114257959B (zh) * 2021-12-27 2023-04-25 中国科学技术大学 一种基于音频室内定位的自校准家庭监护方法及系统
US20230230379A1 (en) * 2022-01-19 2023-07-20 Target Brands, Inc. Safety compliance system and method

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04340674A (ja) * 1991-05-17 1992-11-27 Mitsutoyo Corp エッジ情報抽出装置
JPH09330417A (ja) * 1996-06-11 1997-12-22 Fuji Facom Corp 形状計測装置
JP2000078564A (ja) * 1998-08-28 2000-03-14 Aiphone Co Ltd テレビカメラモニタ人物追跡方式
JP2001525263A (ja) * 1997-12-06 2001-12-11 エラン・シャルトエレメンテ・ゲーエムベーハー・ウント・コンパニー・カーゲー 高い安全性が要求される技術設備、特にマニピュレータの監視のための監視・制御装置及び方法
JP2004072685A (ja) * 2002-08-09 2004-03-04 Sharp Corp 画像合成装置、画像合成方法、画像合成プログラム、および画像合成プログラムを記録した記録媒体
JP2004276154A (ja) * 2003-03-13 2004-10-07 Omron Corp 侵入物監視装置
JP2006178730A (ja) * 2004-12-22 2006-07-06 Yaskawa Electric Corp 安全信号i/f装置およびその二重化信号入力処理方法
JP2008146496A (ja) * 2006-12-12 2008-06-26 Canon Inc 画像処理装置及びその制御方法、プログラム
JP2011180665A (ja) * 2010-02-26 2011-09-15 Fuji Electric Co Ltd フォールトトレラント装置、その制御モジュール、プログラム
JP2012125011A (ja) * 2010-12-07 2012-06-28 Fuji Electric Co Ltd 電力変換装置
JP2012223831A (ja) * 2011-04-15 2012-11-15 Mitsubishi Electric Corp 衝突回避装置
JP2013115751A (ja) * 2011-11-30 2013-06-10 Canon Inc 画像処理装置、及びその制御方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0564199A (ja) * 1991-08-29 1993-03-12 Pioneer Electron Corp 画像監視装置
DE4417128A1 (de) 1994-05-16 1995-12-14 Elnic Gmbh Bilderfassungs- und -verarbeitungsverfahren insbesondere zur Steuerung von Vorrichtungen sowie zugehöriges Bilderfassungs- und -verarbeitungssystem
US6812835B2 (en) * 2000-02-28 2004-11-02 Hitachi Kokusai Electric Inc. Intruding object monitoring method and intruding object monitoring system
JP4100885B2 (ja) * 2001-07-11 2008-06-11 キヤノン株式会社 帳票認識装置、方法、プログラムおよび記憶媒体
KR100792283B1 (ko) * 2001-08-07 2008-01-07 삼성전자주식회사 이동물체 자동 추적장치 및 방법
DE10301468B4 (de) * 2002-01-18 2010-08-05 Honda Giken Kogyo K.K. Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs
WO2004015987A1 (ja) 2002-08-09 2004-02-19 Sharp Kabushiki Kaisha 画像合成装置、画像合成方法、画像合成プログラム、および画像合成プログラムを記録した記録媒体
DE10251584B4 (de) * 2002-11-06 2004-11-04 Leuze Lumiflex Gmbh + Co. Kg Verfahren und Vorrichtung zur Überwachung eines Erfassungsbereiches
JP4292371B2 (ja) 2003-03-14 2009-07-08 オムロン株式会社 移動体監視装置
US7184073B2 (en) * 2003-04-11 2007-02-27 Satyam Computer Services Limited Of Mayfair Centre System and method for warning drivers based on road curvature
DE102004043514A1 (de) * 2004-09-08 2006-03-09 Sick Ag Verfahren und Vorrichtung zum Steuern einer sicherheitsrelevanten Funktion einer Maschine
US9424488B2 (en) * 2007-06-14 2016-08-23 Hewlett-Packard Development Company, L.P. Applying a segmentation engine to different mappings of a digital image
JP4733756B2 (ja) * 2009-04-28 2011-07-27 本田技研工業株式会社 車両周辺監視装置
US8253792B2 (en) * 2009-08-28 2012-08-28 GM Global Technology Operations LLC Vision system for monitoring humans in dynamic environments
US20130038694A1 (en) * 2010-04-27 2013-02-14 Sanjay Nichani Method for moving object detection using an image sensor and structured light
US8730396B2 (en) * 2010-06-23 2014-05-20 MindTree Limited Capturing events of interest by spatio-temporal video analysis
TWI442917B (zh) * 2012-02-03 2014-07-01 Univ Nat Taipei Technology 具即時語音回報功能的導盲系統及其方法
WO2014134530A1 (en) * 2013-02-28 2014-09-04 Lynn Lawrence A Patient storm tracker and visualization processor
US9218069B2 (en) * 2013-04-11 2015-12-22 Avago Technologies General Ip (Singapore) Pte. Ltd. Optical sensing device to sense displacement

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04340674A (ja) * 1991-05-17 1992-11-27 Mitsutoyo Corp エッジ情報抽出装置
JPH09330417A (ja) * 1996-06-11 1997-12-22 Fuji Facom Corp 形状計測装置
JP2001525263A (ja) * 1997-12-06 2001-12-11 エラン・シャルトエレメンテ・ゲーエムベーハー・ウント・コンパニー・カーゲー 高い安全性が要求される技術設備、特にマニピュレータの監視のための監視・制御装置及び方法
JP2000078564A (ja) * 1998-08-28 2000-03-14 Aiphone Co Ltd テレビカメラモニタ人物追跡方式
JP2004072685A (ja) * 2002-08-09 2004-03-04 Sharp Corp 画像合成装置、画像合成方法、画像合成プログラム、および画像合成プログラムを記録した記録媒体
JP2004276154A (ja) * 2003-03-13 2004-10-07 Omron Corp 侵入物監視装置
JP2006178730A (ja) * 2004-12-22 2006-07-06 Yaskawa Electric Corp 安全信号i/f装置およびその二重化信号入力処理方法
JP2008146496A (ja) * 2006-12-12 2008-06-26 Canon Inc 画像処理装置及びその制御方法、プログラム
JP2011180665A (ja) * 2010-02-26 2011-09-15 Fuji Electric Co Ltd フォールトトレラント装置、その制御モジュール、プログラム
JP2012125011A (ja) * 2010-12-07 2012-06-28 Fuji Electric Co Ltd 電力変換装置
JP2012223831A (ja) * 2011-04-15 2012-11-15 Mitsubishi Electric Corp 衝突回避装置
JP2013115751A (ja) * 2011-11-30 2013-06-10 Canon Inc 画像処理装置、及びその制御方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017183414A1 (ja) * 2016-04-22 2017-10-26 三菱電機株式会社 物体操作装置及び物体操作方法
JPWO2017183414A1 (ja) * 2016-04-22 2018-11-22 三菱電機株式会社 物体操作装置及び物体操作方法
KR20180013757A (ko) * 2016-07-28 2018-02-07 더 보잉 컴파니 유압 로봇들 부근에 있을 때 움직임을 탐지하기 위한 인간 모션 센서들의 사용
KR102400964B1 (ko) 2016-07-28 2022-05-20 더 보잉 컴파니 유압 로봇들 부근에 있을 때 움직임을 탐지하기 위한 인간 모션 센서들의 사용
JP2018130793A (ja) * 2017-02-15 2018-08-23 オムロン株式会社 監視システム、監視装置、および監視方法
JP2018195959A (ja) * 2017-05-17 2018-12-06 ファナック株式会社 監視領域を分割した空間領域を監視する監視装置
US10482322B2 (en) 2017-05-17 2019-11-19 Fanuc Corporation Monitor apparatus for monitoring spatial region set by dividing monitor region
JP2019083007A (ja) * 2017-10-18 2019-05-30 エレスタ・ゲーエムベーハー・オストフィルダーン・(ディイー)・ツヴァイクニーダーラッスング・バド ラガーツ センサ及びセンサのデータのシリアル伝送のための方法
JP2022015850A (ja) * 2020-07-10 2022-01-21 株式会社安川電機 ロボットシステム及びロボットの作業方法
JP7101942B2 (ja) 2020-07-10 2022-07-19 株式会社安川電機 ロボットシステム及びロボットの作業方法

Also Published As

Publication number Publication date
US20150287200A1 (en) 2015-10-08
JP6402469B2 (ja) 2018-10-10
EP2927874A1 (en) 2015-10-07
US10178302B2 (en) 2019-01-08

Similar Documents

Publication Publication Date Title
JP6402469B2 (ja) 安全制御装置および安全制御システム
JP6221605B2 (ja) 安全制御装置および安全制御システム
US10302251B2 (en) Apparatus and method for safeguarding an automatically operating machine
CN104169630A (zh) 用于使危险区域安全的方法和设备
US20170270771A1 (en) System and method for detecting abnormal work of industrial device
KR20150031985A (ko) 모바일 기기와 협력하여 위험 상황을 추적하기 위한 시스템 및 그 방법
CN103954011A (zh) 空调机组的室内、外机匹配方法和装置以及空调机组
CN110472574A (zh) 一种检测着装不规范的方法、装置及系统
CN105913624A (zh) 基于wifi的智能安防系统布撤防系统及其方法
JP6375728B2 (ja) 安全制御装置および安全制御システム
CN104898485B (zh) 家用电器的定位方法和装置、服务器
KR20100010734A (ko) 스테레오 카메라 및 열화상 카메라를 이용한 승강장모니터링 시스템 및 그 방법
KR102202629B1 (ko) 지능형 로봇 안전관리 시스템 및 그것의 동작 방법
EP2685150B1 (en) Monitoring system and method
KR101126929B1 (ko) 감시 카메라 시스템의 물체추적방법
JP5484224B2 (ja) 鉄道車両のドアの紐状異物の検出装置
CN109154797A (zh) 用于纸张处理装置的功能部分的控制系统
KR20160141113A (ko) 유무선 네트워크 기반의 산업용 네트워크 시스템 및 그의 운용 방법
CN113557713A (zh) 情景感知监测
CN109557453A (zh) 一种多主控芯片识别处理方法及系统
JP3857457B2 (ja) 灯火監視制御システム
US20170163868A1 (en) Apparatus and method for controlling network camera
JP2018133731A (ja) 監視システム
CN106567738A (zh) 一种矿井检测机器人
KR100897914B1 (ko) 스테레오 영상기반 승강장 모니터링 시스템 및 그 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170403

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180312

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180814

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180827

R150 Certificate of patent or registration of utility model

Ref document number: 6402469

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees