JP2008009868A - 画像処理装置 - Google Patents

Abstract

【課題】作業監視装置等の所定の画像処理を行う画像処理装置の各処理を簡単かつ確実化し、画像処理の効率や装置の柔軟性を向上させる。
【解決手段】画像処理装置１は、画像処理を行う画像処理部１５を備えており、監視カメラ２で撮影した画像に監視対象物の切出、抽象化処理を施して処理画像を作成する。処理画像に対して膨張及び収縮処理等を施して最大及び最小画像を作成し、基準画像として予め画像メモリ１６に記憶し、作業監視時には、実作業の画像から取得した処理画像と基準画像を比較し、処理画像が対象物の正規動作に基づくものか（画像同士が適合するか）否かを判定する。適合する場合には次の実作業の処理画像を取得して次の基準画像と比較し、適合しない場合には警告装置５により警告を発する。この判定条件、判定結果に応じた各処理の設定は記憶部１７に記憶される。
【選択図】 図１

Description

本発明は、カメラ等の撮影手段により画像を取り込んで作業状態や異常の監視等を行う画像処理装置に関し、特に、取り込んだ画像に所定の画像処理を施すとともに、対象物の画像が正規の動作に基づくものかどうかを判定する画像処理装置に関する。

例えば、工場の生産現場や組立ライン等では、作業や部品の間違え等を防止するため、必要箇所にビデオカメラ等の撮影手段を設置し、その撮影画像を用いて組立作業の確認や作業工程の監視、或いは部品の取り付けや製品の検査等を行う装置が広く普及している。このような装置として、従来、撮影した画像に種々の画像処理を施し、その画像データ等に基づいて、作業の監視や部品の検査等を自動で行うようにした画像処理装置が知られている（特許文献１又は２参照）。

特許文献１に記載された画像処理装置では、部品が取り付けられた位置に線状の光ビームを照射してそのライン光を撮影し、予め撮影した部品取り付け前のライン光の画像と比較して部品が正しい位置に取り付けられたか否か等を検査する。
また、特許文献２に記載されたものでは、曲げ加工装置において、加工装置に設置した撮影手段で加工部品を撮影し、その撮影画像を予め記憶した基準画像と比較して両者のズレを算出し、そのズレ量を修正して加工部品を正確に加工するよう加工装置を監視する。

これら各例のように、従来の画像処理装置では、予め撮影・記憶した基準画像等に対して、撮影画像の所定領域が変化したか否かにより所定位置に部品や動物体が有るか否かを判定し、作業の監視や完了確認、部品検査等を行うのが一般的である。従って、これら従来の装置では、例えばネジにより部品等を新たに取り付ける場合には、取り付け前後の画像変化から部品やネジが正しい位置に取り付けられたか否を判定することはできる。しかしながら、作業がネジ締めのみである場合等には、作業者の動き以外にネジ締め前後で画像上は何ら変化が生じないため、ネジが正常に締められたか否か、又は複数のネジが正しい順序で締められたか否か等は確認することができない。

このように、従来の画像処理装置では、前後の画像変化から作業結果の確認等を行い、作業動作や順序、又は作業位置等の作業者の動作（作業の過程）等を直接監視することができない。即ち、この従来の画像処理装置では、作業結果から作業が正しく行われたかどうかを間接的に判定するにとどまり、作業自体が正常か否か等を直接的に判定することができないため、作業の確認や監視等が限られた範囲内のものとなり、組み立て等の作業工程の間違いや異常、或いは検査に見落としが生じる恐れがある。

このような問題に対処する方法として、一連の模範作業等の基準画像を予め全て記憶しておき、実際の作業等を常時監視して両画像を常に比較し、その比較結果に基づいて、作業工程の異常等を判定する方法が考えられる。しかしながら、このような方法では、模範作業等の記憶に膨大な容量が必要であり、かつ画像の比較等のデータ処理量も多くなり、画像処理に関する効率が低くなるという問題がある。加えて、正常に作業が行われたにも関わらず、模範作業の作業位置と僅かにズレた位置で作業した場合等、基準画像と僅かでも異なる場合に異常と判定される恐れがある。また、作業順序に関係なく各作業が行われたか否かが問題となる場合にも、異常と判定されないためには、模範作業との厳密な一致が必要である等、それぞれの状況に応じて要求される判定条件等に柔軟に対応するのが難しく、システム運用の柔軟性が低いという問題もある。

以上は、作業工程で使用される画像処理装置の例であるが、これに限らず、例えば監視カメラで不審者や異常等を監視する映像監視装置や、撮影画像を利用したゴルフのスイング診断システム等、画像を用いて人や装置等の動物体の特定の動作や一連の動きを監視又は管理等する他の画像処理装置でも、同様の問題が生じ得る。

特開２００３−２５８５００号公報 特開２００３−３２６４８６号公報

本発明は、前記従来の問題に鑑みなされたものであって、その目的は、取り込んだ対象物の画像に所定の画像処理を施す画像処理装置において、画像処理の結果等に基づいて対象物の画像が正規の動作に基づくものかどうかを判定できるようにするとともに、これら画像処理装置の各処理を簡単かつ確実に行えるようにし、画像処理の効率や装置の柔軟性を向上させることである。

請求項１の発明は、対象物の画像を取り込む画像取込手段を備え、該画像取込手段により取り込んだ画像に基づいて、前記対象物の画像が正規の動作に基づくものかどうかを判定する画像処理装置であって、前記画像取込手段により取り込まれた画像から判定対象である前記対象物の画像を切り出し処理する切出手段と、前記対象物の正規の動作に基づく基準画像を、前記対象物の最大動作範囲を示す第１の画像及び／又は最小動作範囲を示す第２の画像で設定する基準画像設定手段と、該設定された基準画像の第１の画像及び／又は第２の画像を記憶する記憶手段と、切り出し処理された前記対象物の画像と予め記憶された前記基準画像の第１の画像及び／又は第２の画像とを比較する比較手段と、該比較手段の比較結果に基づいて、前記対象物の画像が該対象物の正規の動作に基づくものか否かを判定する判定手段と、該判定結果に応じた処理を設定する設定手段と、前記判定結果に基づいて、前記設定手段により予め設定された処理を実行する処理実行手段と、を備えたことを特徴とする。
請求項２の発明は、請求項１に記載された画像処理装置において、前記切り出し処理された正規の動作に基づく対象物の画像の少なくとも一部に対して膨張処理を施す膨張手段及び／又は収縮処理を施す収縮手段を備え、前記膨張手段が前記第１の画像を作成し、前記収縮手段が前記第２の画像を作成することを特徴とする。
請求項３の発明は、請求項１又は２に記載された画像処理装置において、前記比較手段は、前記対象物の画像と前記基準画像とを比較すべき比較エリアを設定する比較エリア設定手段、又は、前記比較エリア以外のマスクエリアを設定するマスクエリア設定手段により設定された前記比較エリア内で前記比較を行うことを特徴とする。
請求項４の発明は、請求項１ないし３のいずれかに記載された画像処理装置において、前記判定手段は、前記対象物の画像及び前記基準画像の有する色情報に基づいて、前記判定を行う色判定手段を有することを特徴とする。

本発明によれば、取り込んだ対象物の画像に所定の画像処理を施す画像処理装置において、画像処理の結果等に基づいて対象物の画像が正規の動作に基づくものかどうかを判定させることができるとともに、これら画像処理装置の各処理が簡単かつ確実化し、画像処理の効率や装置の柔軟性を向上させることができる。

以下、本発明の画像処理装置の一実施形態について、図面を参照して説明する。
この画像処理装置は、上記した各画像処理装置と同様に、例えば工場で作業工程を監視する装置、或いは監視カメラで不審者や異常を監視する装置等、取り込んだ画像に画像処理を施して監視対象物の動きを監視又は管理等するためのものであり、以下では、組立ラインで作業者の作業（作業工程）を監視する画像処理装置を例に採り説明する。

図１は、本実施形態の画像処理装置の概略構成を示すブロック図である。
この画像処理装置１は、図示のように、装置本体１０と、装置本体１０にインターフェース等を介して接続された監視カメラ２、入力装置３、モニタ４、及び警告装置５等を備えている。

監視カメラ２は、監視対象物の撮影手段であり、組立ラインの作業者の作業や動作を見渡せる位置に設置され、監視エリアの映像を撮影する。入力装置３は、装置１に対する指示や操作、或いは、画像処理や監視に必要な設定等の各種情報を入力するためのものであり、例えばマウスやキーボード等からなる。モニタ４は、監視映像等の画像を表示する表示手段であり、後述する各種設定に使用される設定画面や画像処理した画像等を表示して、作業の監視や設定情報の入力時等に使用される。警告装置５は、作業者に対して動作や作業工程の異常等を警告するためのものであり、予め設定された条件を満たしたときに、例えばアラームや警告灯、振動等により作業者にその旨を報知する表示手段の一種である。

装置本体１０は、例えば中央演算処理装置（ＣＰＵ）やＲＯＭ、ＲＡＭ等の各種メモリ等を備えたマイクロコンピュータ等であり、監視カメラ２が接続された画像取込部１１、外部装置が接続された入出力部１２、時計機能を有する時計部１３、装置１全体の制御を行う制御部１４、画像処理部１５、画像メモリ１６、及び制御処理や画像処理等に必要な各種プログラム等を記憶する記憶部１７を備え、これら各部１１〜１７を互いにバス６を介して接続している。

画像取込部１１は、監視カメラ２が撮影した映像に収縮・膨張処理や各種フィルタ処理を施して照明の揺らぎ等の細かなノイズを除去し、監視エリアの画像を取得して装置本体１０に取り込む。入出力部１２は、ここでは、入力装置３、モニタ４、及び表示手段である警告装置５に接続され、それら各外部装置との間でデータの送受信を行う。

画像処理部１５は、画像取込部１１により取り込まれた画像データや画像メモリ１６に記憶された画像データの抽出、切り出し、抽象化等の各種画像処理を行うためのもので、抽出部１５Ａ、切出部１５Ｂ、抽象化部１５Ｃ、基準画像設定部１５Ｄ、及び判定部１５Ｈを備えている。
また、画像メモリ１６は、画像処理部１５から出力される処理画像１６Ａや基準画像１６Ｂ、及び監視エリアに動物体等の監視対象物がない状態で監視カメラ２により撮影して取得した、監視エリアの背景画像１６Ｃ等の画像データを記憶する。

抽出部１５Ａは、画像取込部１１を介して取り込んだ画像から、作業者や工具、ワーク等の動物体（監視対象物）を抽出処理する。本実施形態では、取り込んだ画像と画像メモリ１６に予め記憶された対応する背景画像１６Ｃとを比較して差分画像を作成し、その差分画像に基づいて、取り込んだ画像の変化領域を決定して対象物を抽出処理する。なお、抽出処理の方法としては、この差分画像に基づく方法に限定されず、フレーム間の差分画像に基づく対象物の動きを中心とした方法や、オプティカルフローによる動きベクトルデータに基づいた方法等、公知の他の抽出方法を用いてもよい。

切出部１５Ｂは、抽出部１５Ａにより抽出された監視対象物の画像を全体画像から切り出し処理し、抽象化部１５Ｃは、切り出し処理された画像に抽象化処理を施す。この切り出し・抽象化処理により、抽出された画像は、対象物の輪郭部の中を全て単一に塗りつぶした画像（輪郭部のみではない）となり、処理画像１６Ａとして画像メモリ１６に記憶される。

基準画像設定部１５Ｄは、後述する作業の異常等の判断の基準となる画像を設定するためのものであり、実際の作業工程の監視対象物の実画像と比較されて、その画像が対象物の正規の動作に基づくものか、即ち、その作業が正常か否か等の判定の基礎とされる基準画像を設定する。

図２は、この基準画像設定の流れを示すフローチャートであり、図３は、基準画像設定に関する画像例（モニタ４への表示例）である。
なお、図３では、作業者２０が、スパナ２１によりワーク２２に取り付けられたボルト２３を締める作業の例を示す。また、図３Ｂ、Ｃにおいて点線で示す部分は、説明のために表示したものであり、実際はモニタ４に表示されず、かつ比較や記憶の対象とはならない（以下の各図でも同様である）。

この基準画像設定の処理では、まず、監視カメラ２により撮影した模範作業等の基準となる作業（正規の動作）の映像から、工程上必要なチェックポイントとなる特定の画像（図３Ａ参照）を取得する（Ｓ１０１）。次に、取得した特定の画像から、抽出部１５Ａにより監視対象物（ここでは、動物体である作業者２０及びスパナ２１）を抽出処理し（Ｓ１０２）、図３Ｂに示すように、抽出した画像を切出部１５Ｂ及び抽象化部１５Ｃにより切り出し及び抽象化処理し、処理画像３０（図３Ｂの斜線で示す部分）を作成する（Ｓ１０３）。作成される処理画像３０は、図３Ａの作業者２０とスパナ２１部分を塗りつぶした画像である。

次に、対象物の処理画像３０に基づいて、その処理画像３０を含む大きさの第１の画像（画像領域内に処理画像３０が全て収まる画像）と、処理画像３０内にある第２の画像（処理画像３０の画像領域内に全て収まる画像）とを作成し、これら第１及び第２の画像からなる基準画像を設定する。この第１の画像は、作業者２０やスパナ２１の動きが作業工程上許容される許容範囲（最大動作範囲）を定める画像（以下、最大画像という）であり、第２の画像は、作業者２０やスパナ２１がどのように動いたとしても作業工程上必ず含まれる必要範囲（最小動作範囲）を定める画像（以下、最小画像という）である。本実施形態では、処理画像３０の少なくとも一部に対して、１又は複数画素分膨張（拡大）処理を施す膨張手段により最大画像を作成し、同様に収縮（縮小）処理を施す収縮手段により最小画像を作成する。

具体的には、まず、モニタ４に表示された基となる処理画像３０に対して、入力装置３（ここではマウス）により操作してある程度の膨張処理を施し、膨張画像を作成する。この膨張処理は、例えばモニタ４上の操作画面に膨張ボタンを作成しておき、そのボタンをマウスで押して１又は複数画素ずつ基の画像の輪郭を膨張させていき、膨張ボタンを複数回押すことで何回り膨張させるかを決定して行う。次に、作業工程上動きが許容される範囲で、以上の設定では指定できない部分、又は、許容範囲を超えた部分がある場合には、それらの部分をマウスで指定する等して、必要部分を膨張又は削除して膨張画像を作成し（Ｓ１０４）、この膨張画像を最大画像として記録する（Ｓ１０５、Ｙｅｓ）。
一方、この膨張画像を最大画像として記憶しないときは（Ｓ１０５、Ｎｏ）、マウスによる範囲の修正又は膨張処理の繰り返し（Ｓ１０６）により膨張画像に修正を加える。これら各ステップ（Ｓ１０４からＳ１０６）を繰り返して最大画像（図３Ｃの太線で囲まれた領域）３１を作成し、画像メモリ１６（図１参照）の記憶部１６Ｂに基準画像として設定・記憶する（Ｓ１０５、Ｙｅｓ）。

次に、上記した膨張処理と同様にして、基となる処理画像３０に対して、マウスにより操作して収縮処理を施し、収縮画像を作成する。この収縮処理も、例えばモニタ４上の操作画面に収縮ボタンを作成しておき、そのボタンをマウスで押して１又は複数画素ずつ基の画像の輪郭を収縮させていき、収縮ボタンを複数回押すことで何回り収縮させるかを決定して行う。次に、作業工程上必ず含まれる範囲で、以上の設定では収縮できない部分、又は、その範囲を超えて収縮した部分がある場合には、それらの部分をマウスで指定する等して、必要部分を削除又は追加して収縮画像を作成し（Ｓ１０７）、この収縮画像を最小画像として記憶する（Ｓ１０８、Ｙｅｓ）。
一方、この収縮画像を最小画像として記憶しないときは（Ｓ１０８、Ｎｏ）、マウスによる範囲の修正または収縮処理の繰り返し（Ｓ１０９）により収縮画像に修正を加える。これら各ステップ（Ｓ１０７からＳ１０９）を繰り返して最小画像（図３Ｃの格子状のハッチング領域）３２を作成し、画像メモリ１６（図１参照）の記憶部１６Ｂに基準画像として設定・記憶し（Ｓ１０８、Ｙｅｓ）、基準画像の設定処理を終了する（Ｓ１１０）。

ここで、ワーク２２（図３Ａ参照）のボルト２３の位置は、毎回ほぼ一定であるため、ボルト２３を締めるためのスパナ２１の先端位置も、毎回ほぼ一定となり、かつスパナ２３の他の部分の移動範囲も、その機能上限られたものとなる。従って、図３Ｃに示すように、スパナ２２の最大画像３１と最小画像３２との差は、ボルト２３側の先端部で小さく、他端側に向かうほど大きくなっている。このように、それぞれの監視対象物又はその部分の機能や性質等に応じて最大及び最小画像を作成し、それぞれの状況に適した基準画像を設定する。

また、膨張及び収縮画像は、以上のように処理画像３０に対して１又は複数画素ずつ回りを膨張・収縮処理等して作成するものに限らず、他の公知の方法で作成してもよい。例えば、工具等（ここではスパナ２１）を構成要素とし、作業箇所（ここではボルト２３の位置）を原点として構成要素に対してモルフォロジ処理を施し、その構成要素に対する膨張又は収縮画像を作成してもよく、構成要素の最小画像等を原点としたモルフォロジ処理により各画像を作成してもよい。また、模範作業を複数回繰り返してその画像を取得し、それら複数の処理画像３０を重ね合わせて全ての画像領域を含む１の画像（オア画像）を作成し、その画像に最小限の膨張処理等を施して最大画像３１としてもよい。同様に、複数の処理画像３０に共通する領域を抜き出して１の画像（アンド画像）を作成し、その画像に最小限の収縮処理等を施して最小画像３２としてもよい。

以上のようにして画像メモリ１６に記憶した基準画像１６Ｂに基づいて、画像処理部１５の判定部１５Ｈは、作業等が正常であるか否かを判定し、作業工程の異常等を判断する。この判定処理では、まず、監視カメラ２が撮影している実際の作業の実画像を取得し、画像処理部の上記各部１５Ａ〜Ｃにより、その画像から監視対象物（判定対象画像）を切り出して抽象化処理し、実作業の処理画像を取得する。同時に、判定部１５Ｈは、画像メモリ１６Ｂに予め記憶された対応する基準画像を読み出して、これら実作業の処理画像と基準画像とを比較し、比較結果に基づいて、実作業の処理画像が対象物の正規の動作に基づくものか否か（基準画像に適合するか否か）を判定する。即ち、判定部１５Ｈは、実作業の処理画像と基準画像の最大画像及び最小画像との重ね合わせ処理を行い、その重なり状況の比較結果と、予め設定された判定条件とに基づいて、前記適合するか否かの判定を行って作業が正常か否かを判定する。

図４は、この判定処理に関する画像例であり、上記した図３Ｃの基準画像に対応した判定処理の例を示す。
図４Ａに示す例では、実作業（監視対象物）の処理画像３３（図の斜線状のハッチング領域）全体が、作業工程上許容される範囲である最大画像３１（図の太線で囲まれた領域）の内部にあり、かつ作業工程上必ず含まれる範囲である最小画像３２（図の格子状のハッチング領域）全体を内部に含んでいる。そのため、この例では、処理画像３３が基準画像に適合すると判定され、正常に作業が行われたと判断される。一方、図４Ｂに示す例では、作業者は他の位置にあるボルトを締める作業に取り掛かっており、処理画像３３が最大画像３１の外部にはみ出し、又は最小画像３２に処理画像３３により含まれない部分が生じているため、処理画像３３が基準画像に適合しないと判定される。この場合には、判定部１５Ｈは、作業間違い等の異常が生じたと判断し、警告装置５により警告を発して作業者等に異常を報知する警告処理等を行う。

なお、図４Ｂの場合には、処理画像３３の一部が最大画像３１の内部にないことと、最小画像３２の一部が処理画像３３の内部にないことの、両条件により適合しないと判定してもよく、いずれか一方の条件のみにより適合しないと判定するようにしてもよい。逆に、例えば処理画像３３全体が最大画像３１の内部にあることのみをもって適合すると判定させてもよく、最小画像３２全体が処理画像３３の内部にあることのみをもって適合すると判定させてもよい。このように、作業内容等の各状況に合わせて、最大画像３１及び最小画像３２に基づいて、それぞれに適した判定条件を設定することができる。また、判定結果の正確性を確保するため、時計部１３から取得する時間情報に基づいて各画像３１〜３３の適合時間をカウントし、一定時間適合した場合に作業が正常に行われたと判定させる等、他の判定条件を設定してもよい。

更に、例えば工具やそれを取り扱う作業者の腕部分だけで比較すればよく、作業者の他の部分の位置等は無視してもよい場合等、画像内の全ての監視対象物の画像を比較する必要がない場合には、判定条件として、各画像３１〜３３を比較すべき比較エリアを設定することもできる。

図５は、比較エリアの設定処理に関する画像例である。
上記した制御部１４（図１参照）は、装置１全体の制御に関する情報処理や演算処理等を行うとともに、比較エリアを設定する比較エリア設定部１４Ａを備えており、入力装置３から入力された比較エリアの設定情報に基づいて比較エリアを画定する座標位置等の設定処理を行う。この比較エリアの設定は、例えば基準画像の設定に続けて行われ、図５に示すように、モニタ４の表示画像に対してマウスにより操作して比較エリア４０（図の斜線で示す領域）となる画像領域の外周を画定することで設定される。比較エリア４０が設定された場合には、判定部１５Ｈは、比較エリア４０内の各画像３１〜３３のみを比較して判定を行うが、このとき、比較エリア４０以外の不要なエリアをマスクし、この設定されたマスクエリア内の各画像３１〜３３を比較の対象から除外して判定するようにしてもよい。

この比較エリア４０に関する判定条件や、入力装置３により入力された他の判定条件（上記した各判定条件を含む）は、記憶部１７の判定条件設定データ１７Ａ（図１参照）に記憶され、判定部１５Ｈにより読み出されて判定時に使用される。また、本実施形態の画像処理装置１では、判定部１５Ｈの判定結果に応じて、それぞれ実行されるべき処理が設定可能となっており、制御部１４の実行処理設定部１４Ｂが、入力装置３を介して入力された設定情報に基づいて、この判定結果に応じた処理の設定処理を行い、記憶部１７の実行処理設定データ１７Ｂに記憶する。この実行される処理は、例えば上記した判定部１５Ｈにより適合しないと判定された場合に行われる警告処理や、後述する、適合すると判定された場合に行われる次の画像の比較判定処理等であり、判定時に実行処理設定データ１７Ｂから読み出されて使用され、判定部１５Ｈの判定結果に基づいて、設定された処理を各処理実行手段（判定結果を表示する手段である警告装置５や画像の比較判定処理を行う判定部１５Ｈ等）に実行させる。

次に、以上説明した画像処理装置１により、作業工程を監視する手順について説明する。
図６は、作業工程の監視を開始する前に行う準備処理に関する流れを示すフローチャートである。

監視を開始する前には、まず、監視カメラ２で撮影して記憶部１７等に記憶した一連の正規の模範作業（動作）をモニタ４上に再生しつつ、入力装置３により、工程上必要なチェックすべき場面（チェックポイント）を１又は複数指定する（Ｓ２０１）。次に、指定した１のチェックポイントの画像に対して、上記した図２に示すフローの各ステップ（Ｓ１０１〜Ｓ１１０）を実行し、判定対象画像の基準画像（最大及び最小画像）を設定して画像メモリ１６Ｂに記憶する（Ｓ２０２）。このとき、設定した基準画像の一連の作業内における順番（チェックポイントの順番）についても同時に記憶し、画像メモリ１６Ｂに複数の基準画像を順序付けて記憶する。

次に、判定部１５Ｈによる判定の条件を設定して記憶部１７（判定条件設定データ１７Ａ）に記憶する（Ｓ２０３）。この判定条件の設定では、上記した比較エリアを含む各判定条件に加えて、ここでは、取得する実作業の処理画像と基準画像との適合時間に関する判定条件も設定する。これにより、例えば適合するまでの許容時間を設定し、その時間を経過しても画像同士が適合しない場合に作業工程に異常が生じたと判定させる。また、適合時に必要とされる最小限の適合時間を設定し、作業中の作業者の移動により画像同士が一瞬適合しても、その時間が設定した適合時間を超えない限り、作業の完了や作業順序の間違いが生じたと判定させないようにする。

次に、判定部１５Ｈの判定結果に応じて実行されるべき処理を設定して記憶部１７（実行処理設定データ１７Ｂ）に記憶する（Ｓ２０４）。この設定は、各チェックポイントの基準画像又は判定結果毎に異なる処理を設定可能である。次に、全てのチェックポイントの設定が終了したか否かが判断され（Ｓ２０５）、終了していない場合（Ｓ２０５、Ｎｏ）にはＳ２０２に戻って以上の各ステップを繰り返し、全てのチェックポイントの設定が終了した場合（Ｓ２０５、Ｙｅｓ）には、監視前の準備処理を終了する（Ｓ２０６）。

図７は、このようにして設定された基準画像に関する画像例である。
この画像例は、複数のボルトを順番に締める作業の基準画像であり、最初のチェックポイント１の基準画像は、既に説明した図３Ｃに示す画像であり、最大画像３１と最小画像３２からなる。次のチェックポイント２の基準画像は、図７Ａに示すように、他の位置のボルトを締める状態を表す各画像３１、３２からなり、更に次のチェックポイント３の基準画像は、図７Ｂに示すように、３つ目のボルトを締める状態を表す各画像３１、３２からなる。このように、全てのチェックポイント毎に基準画像等を設定した後、実際の作業工程の監視を開始する。

図８は、作業工程の監視の流れを示すフローチャートであり、ここでは、２つのチェックポイント１、２からなる作業工程を監視する場合の例を示す。
作業工程の監視時には、実作業中の画像から監視対象物（判定対象画像）を切り出して抽象化処理した処理画像を、順次リアルタイムでチェックポイントの基準画像と比較していき、各チェックポイントまで進行したか否かを判定して作業工程を監視する。具体的には、まず、実作業の画像から監視対象物の処理画像を取得し（Ｓ３０１）、取得した処理画像がチェックポイント１の対象物の正規の動作に基づくものか否か（基準画像に適合するか否か）が判定部１５Ｈにより判定される（Ｓ３０２）。その結果、適合しないと判定された場合（Ｓ３０２、Ｎｏ）には、処理画像がチェックポイント２の基準画像と適合するか否かが判定される（Ｓ３０３）。ここで適合すると判定された場合（Ｓ３０３、Ｙｅｓ）には、作業工程異常（作業順序の間違え）が生じたと判定し、実行処理設定データ１７Ｂに予め記憶された設定（以下、実行処理設定という）に基づいて、所定の処理、例えば警告処理を実行して警告装置５を作動させ、判定結果を表示して作業者に警告を発する（Ｓ３０４）。

一方、取得した処理画像がチェックポイント２の基準画像に適合しないと判定された場合（Ｓ３０３、Ｎｏ）には、判定条件設定データ１７Ａに予め記憶された設定時間に基づいて、設定時間が経過したか否かが判定される（Ｓ３０５）。その結果、設定時間が経過した場合（Ｓ３０５、Ｙｅｓ）には、作業工程異常（作業が開始されない）と判定し、実行処理設定に基づいて、所定の処理を実行する（Ｓ３０４）。また、設定時間が経過していない場合（Ｓ３０５、Ｎｏ）にはＳ３０１に戻り、処理画像がチェックポイント１の基準画像に適合するまで、以上の各ステップＳ３０１〜Ｓ３０５を設定時間が経過するまで繰り返す。

取得した監視対象物の処理画像がチェックポイント１の基準画像に適合すると判定された場合（Ｓ３０２、Ｙｅｓ）には、実行処理設定に基づいて、予め設定された所定の処理を実行する。ここでは、作業が開始されたと判定して次の処理画像を取得する処理を実行し（Ｓ３０６）、その処理画像がチェックポイント２の基準画像と適合するか否かが判定される（Ｓ３０７）。その結果、適合しないと判定された場合（Ｓ３０７、Ｎｏ）には、予め設定された設定時間が経過したか否かが判定され（Ｓ３０８）、設定時間が経過した場合（Ｓ３０８、Ｙｅｓ）には、作業工程異常（次の作業が開始されない）と判定し、実行処理設定に基づいて、警告処理等の所定の処理を実行する（Ｓ３０９）。

設定時間が経過していない場合（Ｓ３０８、Ｎｏ）にはＳ３０６に戻り、処理画像がチェックポイント２の基準画像に適合するまで、以上の各ステップＳ３０６〜Ｓ３０８を設定時間が経過するまで繰り返す。監視対象物の処理画像がチェックポイント２の基準画像に適合すると判定された場合（Ｓ３０７、Ｙｅｓ）には、チェックポイント２に進行したと判定し、実行処理設定に基づいて、予め設定された所定の処理を実行する。ここでは、次の作業が開始されたと判定するとともに、最後の作業でもあるため、作業が正常に完了したと判定する（Ｓ３１０）。

このとき、例えば作業開始から完了までに要した時間やその日の累積作業回数を記憶して表示する等、他の処理を同時に実行させてもよい。また、入出力部１２を介して組立ラインの制御装置（図示せず）に対して作業完了信号を出力し、作業が完了したワークの搬出と新たなワークの所定位置（作業位置）への搬入を行わせる等、複数の処理を実行するよう設定することもできる。更に、作業完了の判定をより正確に行うため、例えば作業者が作業完了を表す予め決められた特定の動作（ポーズや一連の動き等）を行い、その動作が予め記憶した基準画像と適合した場合に作業完了と判定するようにしてもよい。

チェックポイント数が以上の例より多い場合にも同様に、監視対象物の処理画像を順次チェックポイント毎の基準画像とを比較しながら最終のチェックポイントまで進行して作業完了となるが、作業の内容等によっては作業順序の指定が不要である場合がある。このような場合、例えばチェックポイントが順に１から１０まであるときに、４〜６番目のチェックポイントは、その順序を問わず全て省略せずに行えばよい場合には、チェックポイント３の作業が完了した後、チェックポイント７の作業に進行したと判定されるまでの処理画像を全て記憶しておく。その後、チェックポイント７に進行した時点で、記憶した処理画像に基づいて、チェックポイント４、５、６の作業が省略されずに行われた否かを判定し、省略があった場合に作業工程異常と判定するように設定すればよい。

以上説明したように、本実施形態の画像処理装置１によれば、作業動作や順序、又は作業位置等の作業者の動き（作業の過程）等を監視し、その動作が正規の動作に基づくものか否か等を判定する、即ち、作業自体が正常か否か等を直接的に判定できるため、作業者等の動き以外に画像上は何ら変化が生じない場合であっても、作業等が正確に正しい順序で行われた否か等を監視できる。また、作業工程のチェックポイントを細かく分割することにより、複数回同じ作業を繰り返して行う場合等に、その作業が正確な回数行われたかどうかを確認することもできる。更に、２台の監視カメラ２を、それぞれ異なる方向から作業を監視できる位置に設置することで、三次元的に作業工程の監視をすることもできる。その結果、作業工程における監視や確認等できる範囲が広がり、組み立て等の作業工程の間違いや異常、或いは検査の見落とし等を減少させることができ、作業工程の監視や管理の正確性を向上させることができる。

また、この画像処理装置１では、チェックポイント毎に、取得した画像から必要とされる監視対象物（判定対象画像）のみを切り出し処理した画像を記憶し、かつ判定部１５Ｈによる判定に使用するため、画像の記憶に必要な画像メモリ１６の容量や、画像の比較等のデータ処理量を削減することができる。加えて、切り出し処理した画像に対して抽象化処理を行うため、処理画像の有するデータ量を減少させることができ、上記した記憶容量やデータ処理量をより少なくすることができる。その結果、画像処理に関する効率を向上できるとともに、画像同士の比較処理等も単純化し、各画像が適合するか否かの判定処理等の以後の画像処理を簡単かつ確実に行うことができる。

更に、基準画像として最大及び最小画像を作成し、それらに基づいて画像の適合に関する判定を行うとともに、例えば比較エリアの設定等、作業内容等のそれぞれの状況に適した判定条件を設定して各判定を行い、その結果に応じて予め設定された処理を実行させるため、作業工程の監視等を効率的に実施でき、かつ、それぞれの個別の状況に応じた要求に柔軟に対応することができる。従って、画像処理装置１やそれを含むシステムの効率や運用の柔軟性等を向上させることができる。

なお、本実施形態では、主に作業者の動きを基に作業の監視を行ったが、この画像処理装置１によれば、ネジの締め忘れや部品の取り付け忘れを監視又は検査等することもできる。
図９は、ネジ締め及び部品の取り付けを監視する場合の例を模式的に示す画像例である。

この場合には、図９Ａに示すように、複数本（図では２本）のネジの位置に対応して、ネジを締めるための電動ドライバの基準画像（図の太線で囲まれた２つの領域５０）と、所定位置に取り付けられた部品の基準画像（図の太線で囲まれた領域６０）とを予め画像メモリ１６に記憶しておく。監視時には、監視カメラ２により取得した監視対象物（ここでは、電動ドライバ及び部品）の処理画像と基準画像５０、６０を比較して、それらが適合したか否かを判定する。図９Ｂに示す例では、一方の電動ドライバの処理画像（図の斜線で示す領域５１）が対応する一方の基準画像５０に適合し、部品の処理画像（図の斜線で示す領域６１）が対応する基準画像６０に適合しており、一方のネジ締めと部品の取り付けが完了したと判定される。その後、電動ドライバの処理画像が他方の基準画像５０に適合するのを待ち、適合しないまま作業が終了した場合には、他方のネジを締め忘れたと判定して警告処理等を実行する。

また、本実施形態の画像処理装置１では、抽象化処理した画像領域の重なり等により画像同士が適合するか否かを判定したが、例えば外形が似ている複数の工具を使用する作業では、抽象化処理した画像を比較しても、工具の違いや間違いを判定できない場合が生じ得る。従って、工具毎に塗装色を変えるか、或いは、異なる色のマーカを付けておく等し、それらの色を比較して工具等が正しいか否かを判定するようにしてもよい。このように、取得した監視対象物の処理画像及び基準画像の有する色情報に基づいて、それらが適合するか否かを判定する場合には、判定の精度をより向上させることができる。

ここで、動物体である作業者や工具とは別に、作業位置に搬送されてきたワークを認識したい場合がある。この場合には、上記した作業監視のための画像処理とは別に、作業位置にワークが無い状態の画像を第１の背景画像として記憶し、ワークが搬送されてきた状態の画像を第２の背景画像として取得し、それら各背景画像を比較した差分画像に基づいて、特定の画像の変化領域を決定することでワークを認識することができる。また、複数の部品を次々に取り付ける作業では、各部品を取り付ける前後の工程毎の背景画像を予め記憶し、部品取り付け後の画像を取り付け直前の工程の背景画像と比較することで、その工程で新たに取り付けられた部品を、前の工程で取り付けられた部品と区別して認識することができる。このとき、各部品の取り付け位置が決まっている場合には、取り付け位置の範囲を画像の比較エリアとして指定することで、工程毎の背景画像を予め準備することなく、その比較エリア内で抽出した差分画像により各部品の取り付けの有無を確認することができる。

以上、作業工程の監視等に使用される画像処理装置の例について説明したが、本発明はこれに限らず、画像処理により人や装置等の対象物の特定の動作や一連の動きを監視又は管理等する他の画像処理装置にも適用することができる。

例えば、監視カメラで不審者や異常等を監視する映像監視装置では、監視カメラの監視により不審者と判断された場合に警報や通報を行うセキュリティ状態において、予め決めておいた特定の動きを行うことでセキュリティ状態を解除させたり、或いは、警報や通報を行うまでの時間を長くして時間をかせぎ、その間にセキュリティ状態の解除作業を行えるようにしてもよい。また、家庭用のセキュリティシステムで、その家族だけが知る特定の動作（ポーズや一連の動き等）を登録しておき、設置された監視カメラに向かって登録した動作を正しい順序で行った場合等に、セキュリティ状態を解除させることもできる。この場合には、登録する動作をパスワードにより変更可能にすれば、定期的にその動作を変更することでセキュリティを向上でき、かつパスワードを知らない者による無断変更も防止できる。

その他の例としては、撮影画像を利用したダンスのアクション練習システムにも適用することができる。この場合には、例えば模範演技の動画像と同時に音楽も記憶しておき、練習時には、記憶した音楽を再生してそれに合わせた演技を撮影する。この撮影した練習演技を模範演技とリアルタイムで比較して差分を求め、その差分を定量的に表示し、又は差分が大きい場面だけを表示させる。また、練習者の体格が模範演技の演技者の体格と大きく異なる場合には、模範演技の画像から切り出して抽象化した基準画像に対し、設置面を基準に比例拡大又は縮小処理を施しておけばよい。

本実施形態の画像処理装置の概略構成を示すブロック図である。 基準画像設定の流れを示すフローチャートである。 基準画像設定に関する画像例である。 判定処理に関する画像例である。 比較エリアの設定処理に関する画像例である。 作業工程の監視を開始する前に行う準備処理に関する流れを示すフローチャートである。 設定された基準画像に関する画像例である。 作業工程の監視の流れを示すフローチャートである。 ネジ締め及び部品の取り付けを監視する場合の例を模式的に示す画像例である。

符号の説明

１・・・画像処理装置、２・・・監視カメラ、３・・・入力装置、４・・・モニタ、５・・・警告装置、６・・・バス、１０・・・装置本体、１１・・・画像取込部、１２・・・入出力部、１３・・・時計部、１４・・・制御部、１５・・・画像処理部、１６・・・画像メモリ、１７・・・記憶部、３１・・・最大画像、３２・・・最小画像、４０・・・比較エリア。

Claims (4)

1. 対象物の画像を取り込む画像取込手段を備え、該画像取込手段により取り込んだ画像に基づいて、前記対象物の画像が正規の動作に基づくものかどうかを判定する画像処理装置であって、
   前記画像取込手段により取り込まれた画像から判定対象である前記対象物の画像を切り出し処理する切出手段と、
   前記対象物の正規の動作に基づく基準画像を、前記対象物の最大動作範囲を示す第１の画像及び／又は最小動作範囲を示す第２の画像で設定する基準画像設定手段と、
   該設定された基準画像の第１の画像及び／又は第２の画像を記憶する記憶手段と、
   切り出し処理された前記対象物の画像と予め記憶された前記基準画像の第１の画像及び／又は第２の画像とを比較する比較手段と、
   該比較手段の比較結果に基づいて、前記対象物の画像が該対象物の正規の動作に基づくものか否かを判定する判定手段と、
   該判定結果に応じた処理を設定する設定手段と、
   前記判定結果に基づいて、前記設定手段により予め設定された処理を実行する処理実行手段と、
   を備えたことを特徴とする画像処理装置。
2. 請求項１に記載された画像処理装置において、
   前記切り出し処理された正規の動作に基づく対象物の画像の少なくとも一部に対して膨張処理を施す膨張手段及び／又は収縮処理を施す収縮手段を備え、前記膨張手段が前記第１の画像を作成し、前記収縮手段が前記第２の画像を作成することを特徴とする画像処理装置。
3. 請求項１又は２に記載された画像処理装置において、
   前記比較手段は、前記対象物の画像と前記基準画像とを比較すべき比較エリアを設定する比較エリア設定手段、又は、前記比較エリア以外のマスクエリアを設定するマスクエリア設定手段により設定された前記比較エリア内で前記比較を行うことを特徴とする画像処理装置。
4. 請求項１ないし３のいずれかに記載された画像処理装置において、
   前記判定手段は、前記対象物の画像及び前記基準画像の有する色情報に基づいて、前記判定を行う色判定手段を有することを特徴とする画像処理装置。

Images