JP2019067271A - 監視装置、その方法および、そのシステム - Google Patents

監視装置、その方法および、そのシステム Download PDF

Info

Publication number
JP2019067271A
JP2019067271A JP2017193916A JP2017193916A JP2019067271A JP 2019067271 A JP2019067271 A JP 2019067271A JP 2017193916 A JP2017193916 A JP 2017193916A JP 2017193916 A JP2017193916 A JP 2017193916A JP 2019067271 A JP2019067271 A JP 2019067271A
Authority
JP
Japan
Prior art keywords
worker
data
area
unit
work object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017193916A
Other languages
English (en)
Other versions
JP7080615B2 (ja
Inventor
慶 今沢
Kei Imazawa
慶 今沢
貴元 松井
Kigen Matsui
貴元 松井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2017193916A priority Critical patent/JP7080615B2/ja
Priority to US16/118,545 priority patent/US10380865B2/en
Priority to CN201811028230.3A priority patent/CN109614281B/zh
Publication of JP2019067271A publication Critical patent/JP2019067271A/ja
Application granted granted Critical
Publication of JP7080615B2 publication Critical patent/JP7080615B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • G08B21/0423—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting deviation from an expected pattern of behaviour or schedule
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0476—Cameras to detect unsafe condition, e.g. video cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Factory Administration (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

【課題】作業対象物の位置と作業者の位置関係に関して、相対的な位置関係と絶対的な位置関係およびその組み合わせに対する異常を検知できる監視装置を提供する。【解決手段】監視装置は、処理部と、データ記録部とを有し、前記データ記録部は、作業者と作業対象物を含む作業状況の画像データと、作業者の領域と作業対象物の領域との位置関係の組み合わせが過去に出現したことを示すデータを含むモデルデータを保持しており、前記処理部は、作業状況の画像を入力し、入力した画像から作業者と作業対象物の領域を認識する認識部と、認識した位置関係における組み合わせを特定する組み合わせ領域特定部と、データ記録部からモデルデータを取得するモデル取得部と、組み合わせ領域特定部が特定した領域の組み合わせと、モデル取得部が取得したモデルデータとに基づいて、作業者と作業対象物の領域の組み合わせについての異常度を算出する異常度算出部とを有する。【選択図】図２

Description

本発明は,監視装置に関し,特に,作業者と作業対象物との間の作業状況を監視するに好適な技術に関する。
特許文献１には,作業者の動線や位置を分析し,無駄な動きを減らして各個別の作業を効率化するために作業者の動線をモニタリングするシステムが開示されている。
特開２０１０−２１１６２６号公報
前記特許文献１には，製品の座標と作業者の相対的な位置関係から異常検知を行う方法が記載されている。
しかし，相対的な位置関係のみで異常検知を行うと，絶対的な位置に対する異常や，あるいは，相対的な位置関係と絶対的な位置関係の組み合わせで生じる異常を見逃す可能性がある。
そこで，本発明の目的は，作業対象物の位置と作業者の位置関係に関して，相対的な位置関係と，絶対的な位置関係，および，その組み合わせに対する異常を検知できる監視装置を提供することにある。
本発明の好ましい一例としては,処理部と,データ記録部とを有し,前記データ記録部は,作業者と作業対象物を含む作業状況の画像データと,前記作業者の領域と前記作業対象物の領域との位置関係の組み合わせが過去に出現したことを示すデータを含むモデルデータを保持しており,前記処理部は,前記作業状況の画像を入力し,入力した前記画像から前記作業者と前記作業対象物の領域を認識する認識部と,認識した前記作業者と前記作業対象物の領域の位置関係における組み合わせを特定する組み合わせ領域特定部と,前記データ記録部から前記モデルデータを取得するモデル取得部と,前記組み合わせ領域特定部が特定した前記作業者と前記作業対象物の領域の組み合わせと,前記モデル取得部が取得したモデルデータとに基づいて,前記作業者と前記作業対象物の領域の位置関係における組み合わせについての異常度を算出する異常度算出部とを有することを特徴とする監視装置である。
本発明によれば,作業対象物の位置と作業者の位置関係に関して，相対的な位置関係と，絶対的な位置関係，また，その組み合わせに対する異常を検知できる監視装置を得ることができる。
実施例に係る監視システムの構成を示す図。 監視処理のフローチャートを示す図。 画像データを説明する図。 製品認識結果ならびに作業者認識結果を説明する図。 直積計算の概念を説明する図。 直積計算の例を示す図。 モデルの管理番号を説明する図。 モデルの例を示す図。 表示端末の表示の例を示す図。 監視装置の構成を示す図。
以下,実施例について,図面を用いて説明する。図１は,監視システムの構成を示す図である。本システムでは，工場内で作業をしている作業者(101)の作業状況を，工場内に設置したカメラ(102)で撮影する。カメラ(102)は，ネットワークを介して，監視装置としてのサーバー(105)に接続されている。サーバー(105)は，カメラ(102)からデータを受け取ると，監視処理を開始する。サーバー(105)の内部構成の図示は省略するが,サーバー(105)内のＣＰＵが,後述する監視処理の各ステップを実行するために,プログラムをメモリに読み出して実行するようにしてもよいし,専用のハードウエアで監視処理を実行してもよい。サーバー(105)は，ネットワークを介して，工場内に設置してある，表示端末(103)やパトランプ(104)と接続されている。
サーバー(105)は，異常判定処理を行った結果，異常と判断した場合，異常信号を表示端末(103)やパトランプ(104)に送信する。異常信号を受け取った表示端末(103)やパトランプ(104)は，工場内で作業をしている作業者(101)に異常発生を通知する。表示端末(103)による表示例については，後述する。パトランプ(104)は，発光することで，作業者(101)に異常発生を通知する。
図２は，監視処理のフローチャートである。本フローチャートは，図１におけるサーバー(105)で実施される。本フローチャートは，画像データを1枚取得するごとに，実行する。画像データは，図１におけるカメラ(102)から取得する。また，それ以外にも，図１におけるカメラ(102)とは別なシステム，例えば，監視カメラシステム，などを用いて，画像データを取得して，データベースやファイルフォルダに，画像データを保存した上で，その画像データを取得する方法もある。
本フローチャートでは，画像データの取得元を画像(201)で表す。実行する頻度は，予め設定してある頻度に基づく。通常は，1秒間に5回から30回の間の頻度で実行する。まず，開始(204)で処理を開始すると，画像(201)を取得し，製品認識ステップ(205)と作業者認識ステップ(206)を実施する。画像(201)のデータ形式を図３に示す。画像データは，赤（R:Red）(301)，緑（G:Green）(302)，青（B:Blue）(303)のそれぞれの色ごとに，その色の強度に関する情報を行列型で保持している．行列の行数と列数は，画像(201)の縦方向の画素数，列方向の画素数に一致する。
各成分のデータは，図３のように，0〜255の範囲の整数で保持する場合と，0〜1の範囲の小数で保持する場合がある。製品認識ステップ(205)では，画像(201)内に写っている作業者が作業をする対象となる製品の位置と大きさを特定する。製品認識ステップ(205)で特定された製品の位置と大きさのデータは，図４に例を示すフォーマットで出力される。
図４の例では，作業対象物の一例としての製品が3個認識されている。各行は，画像(201)内において，製品が写っている領域の外接四角形の情報である。通常，外接四角形の各辺は，x軸，もしくは，y軸と平行であるように特定する。１列目(401)は，外接四角形の左上の頂点のx座標，２列目(402)は，外接四角形の左上の頂点のy座標を示している。また，３列目（403）は，外接四角形の幅，４列目（404）は，外接四角形の高さを示している。なお，通常，座標の原点は，画像(201)の左上の点とし，x軸は，右向き，y軸は下向きとして扱われる。
製品認識ステップ(205)において，画像(201)内に写っている製品の位置と大きさを特定する方法には，製品が，特定の色をしているという前提をおける場合は，特定の色の画素の領域を製品の領域であると仮定して特定する方法がある。製品が，特定の色を持っているという前提をおけない場合，Convolution Neural Networkなどを用いて，予め，コンピュータに製品の形の特徴量を学習させておき，類似の特徴量を持つ領域を特定する方法などもある。
作業者認識ステップ(206)では，画像(201)内に写っている作業者の位置と大きさを特定する。作業者認識ステップ(206)で特定された作業者の位置と大きさのデータは，製品認識ステップ(205)の出力である，図４に例を示すフォーマットと同様のフォーマットで出力される。作業者認識ステップ(206)において，画像(201)内に写っている作業者の位置と大きさを特定する方法には，作業者が，特定の色の服を着ている，など，色に関する前提をおける場合は，特定の色の画素の領域を作業者の領域であると仮定して特定する方法がある。
作業者が，特定の色を持っているという前提をおけない場合，予め，コンピュータに作業者の形の特徴量を学習させておき，類似の特徴量を持つ領域を特定する方法などもある。作業者を特定する場合は，HOG特徴量という特徴量を使うことが多い。次に，直積データ計算ステップ(207)において，製品認識ステップ(205)で取得した製品の位置と大きさのデータと，作業者認識ステップ(206)で取得した作業者の位置と大きさのデータの直積を取る。x座標とy座標で構成した作業者と製品の位置と大きさのデータは,製品と作業者の絶対的な位置関係とともに相対的な位置関係を特定できるデータとなる。
二つのデータの直積を計算した例を図５に示す。この例では，直積を計算する前の二つのデータ(501)は，それぞれ，(x1, x2, x3, x4)，(y1, y2, y3, y4)と，４次元のデータである。この二つのデータの直積を取った結果(502)は，二つのデータを並べた8次元のデータである。
例えば，x1が製品認識ステップ(205)で出力した外接四角形の左上の頂点のx座標，x2が製品認識ステップ(205)で出力した，外接四角形の左上の頂点のy座標，x3が製品認識ステップ(205)で出力した，外接四角形の幅，x4が製品認識ステップ(205)で出力した，外接四角形の高さである。また，y1が作業者認識ステップ(206)で出力した外接四角形の左上の頂点のx座標，y2が作業者認識ステップ(206)で出力した，外接四角形の左上の頂点のy座標，y3が作業者認識ステップ(206)で出力した，外接四角形の幅，y4が作業者認識ステップ(206)で出力した，外接四角形の高さである。
図６に示すように，製品認識ステップ(205)や，作業者認識ステップ(206)において，それぞれ，複数の領域が特定された場合，直積データも複数計算される。計算した直積データは,複数の作業者と複数の製品の領域のそれぞれの組み合わせを特定するデータとなる。例えば，製品認識ステップ(205)の結果(601)として，3箇所の領域が特定されたとする。製品認識ステップ(205)の結果(601)において，１列目(6011)は，外接四角形の左上の頂点のx座標，２列目(6012)は，外接四角形の左上の頂点のy座標を示している。また，３列目（6013）は，外接四角形の幅，４列目（6014）は，外接四角形の高さを示している。
また，作業者認識ステップ(206)の結果(602)として，2箇所の領域が特定されたとする。作業者認識ステップ(206)の結果(602)において，１列目(6021)は，外接四角形の左上の頂点のx座標，２列目(6022)は，外接四角形の左上の頂点のy座標を示している。また，３列目（6023）は，外接四角形の幅，４列目（6024）は，外接四角形の高さを示している。このとき，６つの直積データ(603)が計算される。直積データにおいて，１列目(6031)は，製品認識ステップ(205)の結果の外接四角形の左上の頂点のx座標，２列目(6032)は，製品認識ステップ(205)の結果の外接四角形の左上の頂点のy座標を示している。また，３列目（6033）は，製品認識ステップ(205)の結果の外接四角形の幅，４列目（6034）は，製品認識ステップ(205)の結果の外接四角形の高さを示している。
また，５列目(6035)は，作業者認識ステップ(206)の結果の外接四角形の左上の頂点のx座標，２列目(6036)は，作業者認識ステップ(206)の結果の外接四角形の左上の頂点のy座標を示している。また，３列目（6037）は，作業者認識ステップ(206)の結果の外接四角形の幅，４列目（6038）は，作業者認識ステップ(206)の結果の外接四角形の高さを示している。
次に，モデル番号取得ステップ(208)に進む．本ステップでは，異常検知に用いるモデルの管理番号を取得する。モデルの管理番号(700)の例を図７に示す．モデルの管理番号(700)は，モデルNo(701)と，フレームNo(702)からなる。取得するモデルNo(701)は，前回，本フローチャートを実行した際に，異常検知に用いたモデルNo(701)である。また，取得するフレームNo(702)は，前回，本フローチャートを実行した際に，異常検知に用いたフレームNo(702)に1を足したNoである。ただし，本フローチャートを初めて実行する際は，前回，実行した際に用いたモデルNo(701)や，フレームNo(702)を取得することができないので，初回実行時のみ，モデルNo(701)とフレームNo(702)を1で初期化する。モデルの管理番号(700)は,モデルデータ(1012)として図１０のデータベース部(1002)に保存されてもよいし,モデルデータ(1012)とは別にデータベース部(1002)に保存されてもよい。
また，各管理番号を付与されているモデルデータ(1012)は，モデル(202)に保存されている。保存されているモデルデータ(1012)のフォーマットを，図８に示す。モデルデータは，各直積データが取り得る全ての値の組み合わせに対して，正常確率を格納している。本モデル自体の作成方法は，別途後述する。
図８における，１列目(801)は，製品認識ステップ(205)の結果の外接四角形の左上の頂点のx座標，２列目(802)は，製品認識ステップ(205)の結果の外接四角形の左上の頂点のy座標を示している。また，３列目（803）は，製品認識ステップ(205)の結果の外接四角形の幅，４列目（804）は，製品認識ステップ(205)の結果の外接四角形の高さを示している。ただし，いずれも，取り得る値の組み合わせの全てを格納してある。図８における，５列目(805)は，作業者認識ステップ(206)の結果の外接四角形の左上の頂点のx座標，２列目(806)は，作業者認識ステップ(206)の結果の外接四角形の左上の頂点のy座標を示している。
また，３列目（807）は，作業者認識ステップ(206)の結果の外接四角形の幅，４列目（808）は，作業者認識ステップ(206)の結果の外接四角形の高さを示している。ただし，いずれも，取り得る値の組み合わせの全てを格納してある。図８における，９列目(809)が，格納している正常確率を示しており，格納されている値は，0〜1の値を取り，そこに，作業者や製品が存在することの正常確率を格納している。この列は,作業者と製品の相対的および絶対的な位置関係についての特定の組み合わせが過去に出現したことを示すデータの一例である。
次に，回転移動判定ステップ(209)では，画像(201)を元に，製品の回転判定を行う。判定方法には，製品認識ステップ(205)における領域において，オプティカルフローと呼ばれる画像処理方法により，各画素の速度ベクトルを計算し，各速度ベクトルが円状になっているかどうかを評価することで，回転を検出することができる。さらに,回転数も検出することができる。回転移動判定ステップの結果は，回転が行われたか，行われていないかを論理型の変数として保持する。
回転移動判定ステップ(209)で，回転を検出した場合，モデルリセットステップ(210)に進み，モデルNo(701)に１を加算し，また，フレームNo(702)を１に初期化し，モデル取得ステップ(211)に進む。モデルリセットをすることにより,製品が回転した場合のモデルデータ(1012)について,新たなモデルNo(701)で管理することができる。それにより,過去に製品が回転した場合のモデルNo(701)に基づいて,回転した場合のモデルデータ(1012)を抽出して回転時の異常度を求めることができる。回転したモデルであるかどうかを識別する管理Noやフラグをモデルデータ(1012)に付けるようにしてもよい。
また，回転移動判定ステップ(209)で，回転を検出しなかった場合は，モデルリセットステップ(210)を経由せずに，モデル取得ステップ(211)に進む。モデル取得ステップ(211)では，モデル(202)から，モデルデータを取得する。使用者が,取得したいモデルデータのモデルNo(701)を選択的に指定するようにしてもよい。
異常度算出ステップ(212)では，モデル取得ステップ(211)で取得したモデル情報に基づき，異常度を算出する。具体的には，モデルデータのうち，異常検知対象である直積データに該当する列の正常確率を取得し，それを１から引き算することで，異常度(203)とし，保存する。異常度(203)は,時間情報とともに保存し,異常度の推移を表示端末(103)に出力して,表示端末(103)で表示できる。次に，図２におけるデータ保存ステップ(214)で，製品認識ステップ(205)と，作業者認識ステップ（206）で認識したデータを認識データ(213)として保存する。
図１における，表示端末(103)での出力例を図９に示す。図９は，表示端末(103)の画面を表している。左側の表示領域(901)では，リアルタイムの画像に，異常判定結果を重ね合わせた画像を表示している。本図では，左側の作業者1は，正常であることを表している(903)。また，右側の作業者2は，異常であることを現している(904)。また，本図において，ワーク1(905)とワーク2(906)は，本システムの製品認識ステップ(205)による認識結果を示している。この例では，二つの製品が認識されている例である。また，本図において，画面下部の表(907)は，異常度の表示である。行は，各ワークに対する情報を表示している。この例では，ワーク1は，製造中に２回回転したことを示している(回転数)．また，異常検知に用いているモデルに付与されている通し番号は，3であることを示している。また，作業者1に対する異常度は0.01であること,作業者2に対する異常度は0.02であることを示している。
また，ワーク2は，製造中に４回回転したことを示している(回転数)．また，異常検知に用いているモデルに付与されている通し番号は，5であることを示している。また，作業者1に対する異常度は0.01であること,作業者2に対する異常度は0.82であることを示している。右側の表示領域(902)では，異常度の推移を示している。本異常度の推移は，図２に示すフローチャートにより算出した異常度(203)が，保存されているため，その過去の来歴を，あらかじめ設定された一定程度の期間分のデータを表示する。
図１０は，監視装置の構成を示すブロック図である。本システムには，処理部(1001)，データベース部(1002)，インターフェース部(1014)が存在する。処理部(1001)とデータベース部(1002)は，それぞれ，ネットワークを介して，インターフェース部(1014)に接続されている。処理部(1001)には，製品認識処理部(1003)，作業者認識処理部(1004)，直積データ計算処理部(1005)，モデル初期化処理部(1006)，回転移動判定処理部(1007)，モデルリセット処理部(1008)，モデル取得処理部(1009)，異常度算出処理部(1010),モデル保存処理部(1020)を有する。
製品認識処理部(1003)は，図２における製品認識ステップ(205)を実行する。作業者認識処理部(1004)は，図２における作業者認識ステップ(206)を実行する。直積データ計算処理部(1005)は，図２における直積データ計算ステップ(207)を実行する。モデル初期化処理部(1006)は，図２におけるモデル番号取得ステップ(208)を実行する。回転移動判定処理部(1007)は，図２における回転移動判定ステップ(209)を実行する。モデルリセット処理部(1008)は，図２におけるモデルリセットステップ(210)を実行する。モデル取得処理部(1009)は，図２におけるモデル取得ステップ(211)を実行する。異常度算出処理部(1010)は，図２における異常度算出ステップ(212)を実行する。モデル保存処理部(1020)は,図２におけるデータ保存ステップ(214)を実行する。
データベース部(1002)には，画像データ(1011)，モデルデータ(1012)，異常度データ(1013),認識データ(1021)を保存している。画像データ(1011)は，図２における画像(201)に対応している。モデルデータ(1012) は，図２におけるモデル(202)に対応している。異常度データ(1013)は，図２における異常度(203)に対応している。認識データ(1021)は,図２の認識データ(213)に対応している。インターフェース部(1014)は，図１における，カメラ(102)からの画像データをデータベース部(1002)や,処理部（1001）に入力したり,表示端末(103)へ異常度や,異常度の推移のデータを出力したり,パトランプ(104)に異常を出力する。
最後に，図８におけるモデルの構築方法を説明する。図２におけるデータ保存ステップ(214)で，製品認識ステップ(205)と，作業者認識ステップ（206）で認識したデータを認識データ(213)として保存してある。図２の処理フローが何回か繰り返された後に,まとめて,モデルの更新を行う。具体的には,モデル保存処理部(1020)が，認識データ(213)について，各直積座標ごとに，過去の出現頻度を算出し，その出現確率をもって，正常確率とし，正常確率の列を更新したモデルデータ(1012)を,データベース部(1002)に保存する。
正常確率の求め方としては,異常検知の対象となる直積座標と同じ直積座標が,過去に何回現れたかの出現頻度に基づいて決めることになる。たとえば,同じモデルNo中の直積の数すべてと,異常検知の対象となる直積が出現する数の割合として,正常確率を求めてもよいし,モデルNoの範囲を使用者等が指定して,複数のモデルデータ(1012)における過去の出現頻度から正常確率を求めるようにしてもよい。
本実施例によれば,同一の作業を繰り返し行う作業現場において,各製品と各作業者に位置関係に関する作業の異常と,作業エリアに関する作業の異常の両方を異常検知することができる。さらに,製品の回転が行われても,正確な異常検知を行うことが可能となる。実施例では,製品の例を挙げているが,製品に限らず,作業状況において,作業者とともに画像認識の対象となる作業対象物であれば,本発明は適用できる。
102…カメラ，103…表示端末，104…パトランプ，105…サーバー，1001…処理部，1002…データベース部，1003…製品認識処理部，1004…作業者認識処理部，1005…直積データ計算処理部，1006…モデル初期化処理部，1007…回転移動判定処理部，1008…モデルリセット処理部，1010…異常度算出処理部，1011…画像データ，1012…モデルデータ，1013…異常度データ，1014…インターフェース部

Claims (10)

  1. 処理部と、データ記録部とを有する監視装置であって、
    前記データ記録部は、
    作業者と作業対象物を含む作業状況の画像データと、前記作業者の領域と前記作業対象物の領域との位置関係の組み合わせが過去に出現したことを示すデータを含むモデルデータを保持しており、
    前記処理部は、
    前記作業状況の画像を入力し、入力した前記画像から前記作業者と前記作業対象物の領域を認識する認識部と、
    認識した前記作業者と前記作業対象物の領域の位置関係における組み合わせを特定する組み合わせ領域特定部と、
    前記データ記録部から前記モデルデータを取得するモデル取得部と、
    前記組み合わせ領域特定部が特定した前記作業者と前記作業対象物の領域の組み合わせと、前記モデル取得部が取得したモデルデータとに基づいて、前記作業者と前記作業対象物の領域の位置関係における組み合わせについての異常度を算出する異常度算出部とを有することを特徴とする監視装置。
  2. 請求項１に記載の監視装置において、
    前記認識部は、前記作業者の領域および前記作業対象物の領域の代表となる位置と大きさで、前記領域を特定し、
    前記組み合わせ領域特定部は、前記認識部で特定した前記位置と前記大きさに基づいて、直積を計算する直積計算部であり、
    前記異常度算出部が、前記直積と前記モデルデータに基づいて、各作業者と各作業対象物との間の異常度を算出することを特徴とする監視装置。
  3. 請求項２記載の監視装置において、前記直積計算部が、前記作業者と前記作業対象物の位置関係における複数の組み合わせについての直積を計算し、計算した直積と前記モデルデータとに基づいて、前記作業者と前記作業対象物との間の異常度を前記異常度算出部が算出し、インターフェース部が、表示端末に前記異常度を出力し、
    前記異常度算出部は、算出した異常度の履歴を、前記データ記録部に記録し、前記インターフェース部が、前記異常度の履歴を、前記表示端末に出力することを特徴とする監視装置。
  4. 請求項２記載の監視装置において、前記代表となる位置は、前記作業者もしくは前記作業対象物を囲う外接四角形のいずれかの頂点の座標であり、前記大きさは、前記外接四角形の幅および高さであり、前記頂点の座標、前記外接四角形の幅および高さに基づいて、前記直積計算部が前記直積を計算することを特徴とする監視装置。
  5. 請求項４記載の監視装置において、前記モデルデータを更新するモデル保存処理部を有し、前記モデル保存処理部は、前記直積ごとに、出現頻度を求め、各直積ごとに正常確率を算出し、前記正常確率を前記モデルデータとして記録し、
    前記異常度算出部は、前記特定した作業者と作業対象物の領域の位置関係の組み合わせに対応した直積に基づいて、前記モデルデータから前記正常確率を抽出し、抽出した正常確率に基づいて、特定した作業者と作業対象物の領域の位置関係における組み合わせの異常度を算出することを特徴とする監視装置。
  6. 請求項１に記載の監視装置において、入力した前記作業状況の画像から前記作業対象物が回転したかどうかを検出する回転移動判定部を有し、回転した場合には、モデルリセット部がモデル番号を更新することを特徴とする監視装置。
  7. 請求項２に記載の監視装置において、前記直積は、異常度を求める対象の各作業者と各作業対象物の前記位置と前記大きさの４次元データを組み合わせた８次元のデータであることを特徴とする監視装置。
  8. 作業者と作業対象物を含む作業状況の画像データを入力する第１工程と、
    入力した前記画像データから前記作業者と前記作業対象物の領域を認識する第２工程と、
    認識した前記作業者と前記作業対象物の領域の位置関係における組み合わせを特定する第３の工程と、
    前記作業者の領域と前記作業対象物の領域との位置関係の組み合わせが過去に出現したことを示すデータを含むモデルデータを記録部から取得する第４の工程と、
    前記作業者と前記作業対象物の領域の位置関係において特定した組み合わせと、取得した前記モデルデータとに基づいて、前記作業者と前記作業対象物の領域の位置関係の組み合わせについての異常度を算出する第５工程と、
    前記作業者と前記作業対象物の前記領域の位置関係の組み合わせについての異常度を装置に出力する第６工程と、
    前記記録部の前記モデルデータを更新する第７工程とを有することを特徴とする監視方法。
  9. 処理部とデータ記録部とを有する監視装置と、前記監視装置から異常に関する状況を出力する外部装置とを有する監視システムであって、
    前記データ記録部は、
    作業者と作業対象物を含む作業状況の画像データと、前記作業者の領域と前記作業対象物の領域との位置関係の組み合わせが過去に出現したことを示すデータを含むモデルデータを保持しており、
    前記処理部は、
    前記作業状況の画像を入力し、入力した前記画像から前記作業者と前記作業対象物の領域を認識する認識部と、
    前記データ記録部から前記モデルデータを取得するモデル取得部と、
    認識した前記作業者と前記作業対象物の領域と前記モデルデータとに基づいて、前記作業者と前記作業対象物の領域の組み合わせについての異常度を算出する異常度算出部とを有し、
    前記外部装置に異常に関するデータを出力するインターフェース部とを有することを特徴とする監視システム。
  10. 請求項９に記載の監視システムにおいて、前記外部装置は、表示端末であり、前記インターフェース部から出力された異常に関するデータを、前記表示端末が表示することを特徴とする監視システム。
JP2017193916A 2017-10-04 2017-10-04 監視装置、その方法および、そのシステム Active JP7080615B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017193916A JP7080615B2 (ja) 2017-10-04 2017-10-04 監視装置、その方法および、そのシステム
US16/118,545 US10380865B2 (en) 2017-10-04 2018-08-31 Monitoring apparatus, method and system of the same
CN201811028230.3A CN109614281B (zh) 2017-10-04 2018-09-04 监控装置、其方法、及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017193916A JP7080615B2 (ja) 2017-10-04 2017-10-04 監視装置、その方法および、そのシステム

Publications (2)

Publication Number Publication Date
JP2019067271A true JP2019067271A (ja) 2019-04-25
JP7080615B2 JP7080615B2 (ja) 2022-06-06

Family

ID=65897314

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017193916A Active JP7080615B2 (ja) 2017-10-04 2017-10-04 監視装置、その方法および、そのシステム

Country Status (3)

Country Link
US (1) US10380865B2 (ja)
JP (1) JP7080615B2 (ja)
CN (1) CN109614281B (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003196661A (ja) * 2001-12-07 2003-07-11 Xerox Corp 視覚型動き解析及び視覚型追跡のためのアピアランスモデル
JP2013003773A (ja) * 2011-06-15 2013-01-07 Nara Institute Of Science & Technology 画像判別装置、画像特定装置、この画像特定装置を備えた作業工程管理システム、および、プログラム
JP2015156172A (ja) * 2014-02-21 2015-08-27 関電プラント株式会社 物品認識システムおよび物品管理方法
JP2016042306A (ja) * 2014-08-18 2016-03-31 株式会社リコー 軌跡描画装置、軌跡描画方法、軌跡描画システム、及びプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5369778B2 (ja) 2009-03-11 2013-12-18 日本電気株式会社 動線モニタリングシステム、方法、及び、プログラム
JP5395266B2 (ja) * 2010-06-18 2014-01-22 日立建機株式会社 作業機械の周囲監視装置
JP6044764B2 (ja) * 2012-10-19 2016-12-14 株式会社Ihi 異物監視方法及び異物監視装置
JP2016157357A (ja) * 2015-02-26 2016-09-01 株式会社日立製作所 作業者品質管理方法及び作業者品質管理装置
JP6617963B2 (ja) * 2016-02-17 2019-12-11 株式会社Ｓｃｒｅｅｎホールディングス 基板保持状態の異常検査の検査領域の自動決定方法および基板処理装置
CN106779418B (zh) * 2016-12-20 2020-09-04 河海大学常州校区 基于神经网络和证据理论的水污染事件智能决策方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003196661A (ja) * 2001-12-07 2003-07-11 Xerox Corp 視覚型動き解析及び視覚型追跡のためのアピアランスモデル
JP2013003773A (ja) * 2011-06-15 2013-01-07 Nara Institute Of Science & Technology 画像判別装置、画像特定装置、この画像特定装置を備えた作業工程管理システム、および、プログラム
JP2015156172A (ja) * 2014-02-21 2015-08-27 関電プラント株式会社 物品認識システムおよび物品管理方法
JP2016042306A (ja) * 2014-08-18 2016-03-31 株式会社リコー 軌跡描画装置、軌跡描画方法、軌跡描画システム、及びプログラム

Also Published As

Publication number Publication date
US20190103006A1 (en) 2019-04-04
US10380865B2 (en) 2019-08-13
JP7080615B2 (ja) 2022-06-06
CN109614281B (zh) 2022-03-08
CN109614281A (zh) 2019-04-12

Similar Documents

Publication Publication Date Title
US20210375017A1 (en) System and method for digital markups of custom products
US10395389B2 (en) Calibration based on intrinsic parameter selection and a projected calibration target
KR101467663B1 (ko) 영상 모니터링 시스템에서 영상 제공 방법 및 시스템
US20180166046A1 (en) Electronic label system including control device for controlling electronic labels
JP2020517926A (ja) スクリーン状態自動検出ロボット、方法及びコンピュータ読み取り可能な記憶媒体
WO2015074521A1 (en) Devices and methods for positioning based on image detection
EP3327525A1 (en) Manufacturing process management system, manufacturing process management method, and manufacturing process management program
CN105302413A (zh) 控件的ui测试方法及系统
JP2017151916A5 (ja)
CN112929602A (zh) 基于图像处理的数据监控方法、装置及相关设备
CN110858302B (zh) 在画面影像中编辑监控脚本的系统及方法
CN112651315A (zh) 折线图的信息提取方法、装置、计算机设备和存储介质
CN112434582A (zh) 一种车道线颜色识别方法、系统、电子设备及存储介质
JP7080615B2 (ja) 監視装置、その方法および、そのシステム
JP2022185872A (ja) 画像処理装置、画像処理方法、撮像装置
JP7471570B2 (ja) 建物構造物診断システム
JP7069076B2 (ja) 情報処理装置、情報処理システム、及びプログラム
WO2020111139A1 (ja) 座標算出装置、座標算出方法、及びコンピュータ読み取り可能な記録媒体
JP6858159B2 (ja) 頭部装着装置を使用して関心領域を標識するテレプレゼンスのフレームワーク
KR101873983B1 (ko) 구조물 정보 제공 장치 및 기록 매체
JP7376446B2 (ja) 作業分析プログラム、および、作業分析装置
Belshe Chess Piece Detection
CN111460896B (zh) 视觉数据中防护设备的检测方法、装置和存储介质
KR101903084B1 (ko) 족장 설치 정보 제공 장치 및 방법, 기록 매체
WO2024018974A1 (ja) 情報処理方法、情報処理装置、及び情報処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200316

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210311

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210406

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210603

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220510

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220525

R150 Certificate of patent or registration of utility model

Ref document number: 7080615

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150