JP2020061074A - 作業評価装置、作業評価方法及びプログラム - Google Patents
作業評価装置、作業評価方法及びプログラム Download PDFInfo
- Publication number
- JP2020061074A JP2020061074A JP2018193464A JP2018193464A JP2020061074A JP 2020061074 A JP2020061074 A JP 2020061074A JP 2018193464 A JP2018193464 A JP 2018193464A JP 2018193464 A JP2018193464 A JP 2018193464A JP 2020061074 A JP2020061074 A JP 2020061074A
- Authority
- JP
- Japan
- Prior art keywords
- work
- evaluation
- image
- tracking
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 151
- 238000012545 processing Methods 0.000 claims abstract description 35
- 238000000605 extraction Methods 0.000 claims description 15
- 239000000284 extract Substances 0.000 claims description 8
- 238000000034 method Methods 0.000 description 65
- 230000008569 process Effects 0.000 description 52
- 230000000875 corresponding effect Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 13
- 238000001514 detection method Methods 0.000 description 12
- 238000012854 evaluation process Methods 0.000 description 11
- 238000000465 moulding Methods 0.000 description 11
- 238000003860 storage Methods 0.000 description 11
- 238000003384 imaging method Methods 0.000 description 9
- 238000004519 manufacturing process Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000003780 insertion Methods 0.000 description 5
- 230000037431 insertion Effects 0.000 description 5
- 238000005520 cutting process Methods 0.000 description 4
- 238000012856 packing Methods 0.000 description 4
- 239000011347 resin Substances 0.000 description 4
- 229920005989 resin Polymers 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 206010052804 Drug tolerance Diseases 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000026781 habituation Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000449 premovement Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- General Factory Administration (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
【課題】正しい作業が行われているか否かを精度良く評価することを目的とする。【解決手段】作業前において作業対象の物体が存在する領域である作業前領域の画像における作業対象の物体の有無と、作業により移動された後で作業対象の物体が存在する領域である作業後領域の画像における作業対象の物体の有無と、に基づいて、作業対象の物体の移動を追尾する追尾手段と、追尾手段による追尾結果に基づいて、作業を評価する作業評価手段と、作業評価手段による評価結果を表示手段に表示するよう制御する表示処理手段とを有する。【選択図】図5
Description
本発明は、作業評価装置、作業評価方法及びプログラムに関する。
近年、工業製品の生産においては、市場の様々なニーズに対応するために、多種少量生産方式が採用されている。例えばモールドの成形ラインにおいては、同一のラインにおいて多種の製品を一定期間ごとに切り替えて生産するため、金型や樹脂の素材が短期間に交換される。そのため、自動化できる作業には限りがあり、ゲートカットや箱詰め等の作業において作業者と機械が連携したラインを組むことが必須となる。
中でも成形を終えたモールドの箱詰め作業は、ベルトコンベアと箱の間の数メートルを往復する繰り返し作業である。1つの金型から複数製品が同時に成形される場合には、製品毎の箱を用意し、各製品はそれぞれ異なる箱に投入される。誤投入があった場合は、判明時点で全品確認を行った上で再投入を行う必要が生まれる。一方で、作業者は繰り返し作業を行うために誤投入に気づきにくいことに加え、作業者の慣れや体格に応じて箱の配置と順番が変わるため細かな位置や投入順までは手順化しきれない場合がある。また、成形タイミングを人に合わせることは、樹脂の射出条件が変わり、バリや樹脂不足等の不良を生むため困難である。
これに対し、特許文献1には、作業者が身に付けた腕のマーカーの位置を追跡することによって、作業の正確さや作業対象の物品の品質を評価する技術が開示されている。また、特許文献2には、部品棚に印字されたIDタグと、部品箱に印字されたIDタグが同一であるか否かを判定することによって、作業が正しく行われているか否かを評価する技術が開示されている。
しかしながら、従来技術においては、作業対象の個々の物品に対し、正しい作業が行われているか否かを確認するのが困難であるという問題があった。物品毎にIDタグを付与することも考えられるが、製品数が多数であったり、成形直後のモールド製品のように高温であったり、というように、IDタグを付与するのが困難な場合もある。
本発明はこのような問題点に鑑みなされたもので、正しい作業が行われているか否かを精度良く評価することを目的とする。
そこで、本発明は、作業評価装置であって、作業前において作業対象の物体が存在する領域である作業前領域の画像における作業対象の物体の有無と、作業により移動された後で前記作業対象の物体が存在する領域である作業後領域の画像における前記作業対象の物体の有無と、に基づいて、前記作業対象の物体の移動を追尾する追尾手段と、前記追尾手段による追尾結果に基づいて、作業を評価する作業評価手段と、前記作業評価手段による評価結果を表示手段に表示するよう制御する表示処理手段とを有することを特徴とする。
本発明によれば、正しい作業が行われているか否かを精度良く評価することができる。
以下、本発明の実施形態について図面に基づいて説明する。
(第1の実施形態)
図1は、本実施形態の作業評価システム100の全体図である。作業評価システム100は、作業が正常に行われたか否かを評価する。作業評価システム100は、作業評価装置110と、撮像装置120と、センサ群130と、を有している。撮像装置120は、作業評価装置110とネットワークを介して接続する。撮像装置120は、評価対象の作業が行われる作業空間を撮影すべく、所定の位置に設置されているものとする。撮像装置120は、生産ラインや人物等を撮影する。撮像装置120は、映像の撮影と共に音声の録音を行ってもよい。
(第1の実施形態)
図1は、本実施形態の作業評価システム100の全体図である。作業評価システム100は、作業が正常に行われたか否かを評価する。作業評価システム100は、作業評価装置110と、撮像装置120と、センサ群130と、を有している。撮像装置120は、作業評価装置110とネットワークを介して接続する。撮像装置120は、評価対象の作業が行われる作業空間を撮影すべく、所定の位置に設置されているものとする。撮像装置120は、生産ラインや人物等を撮影する。撮像装置120は、映像の撮影と共に音声の録音を行ってもよい。
センサ群130は、GPS(Global Positioning System)センサ、ジャイロセンサ、人体モーションセンサ、及び電子コンパス等を含む。センサ群130は、人物の位置、人物の姿勢(方角、各関節の回転・角度・角速度)、生産ラインの工具の稼働状況、騒音などを計測する。
作業評価装置110は、撮像装置120により得られた画像に基づいて、作業が正常に行われたか否かを評価する。作業評価装置110の制御部101は、CPUやMPUなどにより構成され、情報処理のための演算や論理判断などを行う。制御部101は、作業評価装置110の各構成要素を制御する。表示部102は、液晶パネルやプロジェクタなどの出力装置を備える。通信部104は、ネットワークコントローラなどであり、他の装置との接続を制御する外部通信手段である。通信部104は、LAN、3G、4G、Bluetooth(登録商標)、及びRFID(Radio Frequency Identification)の技術を利用する。なお、通信部104は、同様の目的を達成できる他の通信方式を採用してもよい。
RAM(Random Access Memory)105は、各構成要素からの各種データの一時記憶に用いられる。例えば、RAM105は、各種計測データ及び画像データなどを一時的に記憶する。外部記憶部106は、フラッシュメモリ、HDD、及び光学ディスクなどの物理媒体であり、本実施形態で実行される処理プログラムなどの制御プログラムコードの他、計測データや画像データ等各種データを記憶する。なお、後述する作業評価装置110の機能や処理は、制御部101が外部記憶部106に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。
図2は、作業評価システム100による評価対象の作業が行われる作業空間を模式的に示す図である。図2に示す作業空間200においては、製造装置201としてのモールド成形機において得られた複数の部品203がベルトコンベア202に載せられて搬送される。そして、作業者Aが、ベルトコンベア202で搬送された部品203の箱詰めを手作業で行う。本実施形態では、作業評価システム100が、作業者Aがベルトコンベア202で搬送された部品203を箱詰めする作業を正しく行っているか否かを評価する場合について説明する。
部品203には、モールド成形機により得られた種類の異なる部品1〜部品4の4つの部品がある。作業者は、部品の種類毎に異なる箱に部品を詰めるものとする。具体的には、作業者は、部品1〜部品4をそれぞれ箱1〜箱4に詰める。このように、作業評価システム100が評価対象とする作業は、部品の移動を伴う。そこで、撮像装置120は、作業前(移動前)において部品1〜部品4が存在する領域であるベルトコンベア202上の領域と、作業後(移動後)において部品1〜部品4が存在する領域である箱置場205の領域と、を含む映像を作業映像として撮影する。箱置場205とは、箱1〜箱4が置かれた場所である。以下、作業前において作業対象の物体が存在する領域を作業前領域と称し、作業後において作業対象の物体が存在する領域を作業後領域と称する。本実施形態においては、ベルトコンベア202上の領域が作業前領域であり、箱置場205の領域が作業後領域である。
図3は、作業評価装置110の機能構成図である。部分領域抽出部301は、撮像装置120により得られた動画の各フレームにおいて、作業の対象となる対象部品が存在する部分領域を抽出する。図2の例では、部品203としての部品1〜部品4が対象部品である。部品位置特定部302は、部分領域において、対象部品の位置を特定する。追尾部303は、対象部品の時系列に沿った検出結果に基づいて、対象部品の移動を追尾する。評価部304は、追尾結果に基づいて、作業部品に対する作業を評価する。
図4(a)は、作業手順DB401のデータ構成例を示す図である。図4(b)は、テンプレート画像DB402のデータ構成例を示す図である。作業手順DB401及びテンプレート画像DB402は、いずれも外部記憶部106に格納されており、部分領域抽出部301等により参照される。作業手順DB401は、製品毎の作業手順書を管理するDBである。作業手順書には作業手順の詳細な説明、図、写真を記述したファイルへのリンク情報等が格納されている。作業手順の詳細な説明は、例えば、「成形機から出てきた部品を所定の箱毎に対応付けて投入する」といったテキスト文書である。
テンプレート画像DB402は、作業手順書に記載されている作業において利用されるテンプレート画像と、部品定義と、を対応付けて記憶している。ここで、テンプレート画像は、作業映像から対象部品が存在する領域である部分領域を抽出するために参照される画像である。部品定義は、部分領域において、対象部品が存在する位置を示す情報であり、対象部品を特定するための部分領域の分割数と、対象部品の位置を示す部品座標とを含んでいる。部品座標は、部品1〜部品4を識別する情報(図4の例ではID1〜ID4)により識別されている。部品座標は、映像記録部103が記録した映像内の座標系、又は空間内の基準点からの相対座標系で記述される。テンプレート画像DB402は、対象部品の移動前の状態に対応した、テンプレート画像及び部品定義を記憶し、さらに対象物品の移動後の状態に対応した、テンプレート画像及び部品定義を記憶している。また、移動前後のテンプレート画像と部品定義とが対応付けられている。なお、テンプレート画像DB402は、対応情報の一例である。なお、作業後の対象部品が配置される位置は、作業者の体格差や慣れの程度に起因して作業者毎に異なることがあるため、作業後の部品定義は、作業者毎に設定されることとしてもよい。
図5は、作業評価装置110による作業評価処理を示すフローチャートである。図6及び図7は、作業評価処理の説明図である。S501において、部分領域抽出部301は、映像記録部103により得られた映像フレームを取得する。これにより、例えば、図6に示す映像フレーム600が得られる。映像フレーム600には、上述の通り、対象部品の移動前の位置であるベルトコンベアの領域(作業前領域)と、対象部品の移動後の位置である箱の領域(作業後領域)とが含まれている。なお、S501において取得する映像フレームは、作業画像の一例であり、S501の処理は作業画像を取得する取得処理の一例である。
次に、S502において、部分領域抽出部301は、S501において取得した映像フレームにおいて、作業前領域を抽出する。部分領域抽出部301は、具体的には、テンプレート画像DB402に記憶されている、作業前領域に対応したテンプレート画像とのマッチング処理により、テンプレート画像に対応する部分領域を作業前領域として抽出する。本実施形態においては、ベルトコンベア202上に部品1〜部品4が存在する画像が作業前領域のテンプレート画像として準備されている。なお、作業前領域のテンプレート画像は、テンプレート画像DB402に記憶されている。図6の例では、作業前領域のテンプレート画像611とのマッチング処理により、映像フレーム600から作業前領域621が抽出される。なお、S502の処理は、作業前領域抽出処理の一例である。
S502の処理の後、S503において、部品位置特定部302は、テンプレート画像DB402において、作業前領域のテンプレート画像に対応付けられた部品定義を参照することで、作業前領域において、対象部品の位置を特定する。具体的には、部品位置特定部302は、部品定義に含まれる、分割数及び部品座標に基づいて、各識別情報(ID1〜ID4)に対応した対象部品の位置を特定する。図6の例では、作業前領域621において4つの対象部品それぞれの位置を示す特定結果631が得られる。
S503の処理の後、S504において、部分領域抽出部301は、S501において取得した映像フレームにおいて、作業後領域を抽出する。部分領域抽出部301は、具体的には、テンプレート画像DB402に記憶されている、作業後領域に対応したテンプレート画像とのマッチング処理により、テンプレート画像に対応する部分領域を作業後領域として抽出する。本実施形態においては、対象部品の移動前の状態の箱置場、すなわち対象部品が1つも存在しない状態の箱置場を示す画像が作業後領域のテンプレート画像として準備される。なお、作業後領域のテンプレート画像は、テンプレート画像DB402に記憶されている。図6の例では、作業後領域のテンプレート画像612とのマッチング処理により、映像フレーム600から作業後領域622が抽出される。なお、S504の処理は、作業後領域抽出処理の一例である。
S504の処理の後、S505において、部品位置特定部302は、テンプレート画像DB402において、作業後のテンプレート画像に対応付けられた部品定義を参照することで、作業後領域において、対象部品の位置を特定する。本処理は、S503の処理と同様である。これにより、作業後領域における複数の対象部品の位置の特定結果が得られる。図6の例では、作業後領域622において4つの対象部品それぞれの作業後の位置を示す特定結果632が得られる。
次に、S506において、追尾部303は、S502において抽出された作業前領域と第1の基準フレームとの差分を算出する。さらに、追尾部303は、S504において抽出された作業後領域と第2の基準フレームとの差分を算出する。ここで、第1の基準フレームは、作業前領域に対応したフレームである。本実施形態においては、テンプレート画像を用いて抽出された作業前領域の画像を第1の基準フレームとして用いるものとする。第2の基準フレームは、作業後領域に対応したフレームである。本実施形態においては、テンプレート画像を用いて抽出された作業後領域の画像を第2の基準フレームとして用いるものとする。このように、作業前領域及び作業後領域それぞれにおいて差分を求めることで、作業対象物体の有無を特定することができる。S506の処理は、追尾処理の一例である。
次に、S507において、評価部304は、S506における差分算出の結果に基づいて、作業が行われたか否かを判定する。評価部304は、作業が行われた場合には(S507でYES)、処理をS508へ進める。評価部304は、作業が行われなかった場合には(S507でNO)、処理をS509へ進める。S508において、評価部304は、正しい作業が行われたか否かを判定する。評価部304は、正しい作業が行われた場合には(S508でYES)、処理をS509へ進める。評価部304は、正しい作業が行われていない場合には(S508でNO)、処理をS510へ進める。ここで、S507及びS508の処理は、作業評価処理の一例である。なお、S506〜S508の処理については、図7を参照しつつ後に詳述する。
S509において、制御部101は、作業評価処理を終了するか否かを判定する。制御部101は、ユーザ操作により終了指示を受け付けた場合に作業評価処理を終了する。制御部101は、作業評価処理を終了すると判定すると(S509でYES)、作業評価処理が終了する。制御部101は、作業評価処理を終了しないと判定した場合には(S509でNO)、処理をS501へ進める。S510において、評価部304は、正しい作業が行われていないことを示す通知情報を表示部102に表示するよう制御する。本処理は、評価結果を表示するよう制御する表示処理の一例である。
作業評価処理は、定期的に繰り返されるループ処理であり、S501〜S505の処理は繰り返し行われる。この繰り返しの間に作業が行われると、部品がベルトコンベア上から箱に移動するため、作業前領域から対象部品がなくなり、作業後領域に新たに対象部品が出現することになる。そこで、部品の移動が開始された後は、S502及びS504においてテンプレート画像を用いた領域抽出に替えて以下の処理を行うこととする。
すなわち、S502においては、部分領域抽出部301は、テンプレート画像を用いて特定した作業前領域に対し、ベルトコンベア202の流れる速度など生産ラインから得られる情報を用いることで、作業前領域を抽出する。これにより、対象部品の移動後においても、作業前領域を抽出することができる。なお、部分領域抽出部301が作業前領域を抽出するための具体的な処理は実施形態に限定されるものではない。例えば、対象部品が4つ存在するテンプレート画像、3つ存在するテンプレート画像、というように複数のテンプレート画像それぞれを用いることで作業前領域を抽出してもよい。また、S503においては、部分領域抽出部301は、テンプレート画像を用いて特定した作業後領域と同じ領域を作業後領域として抽出する。
図7は、S506〜S508の処理の説明図である。図7に示す画像(X_t1)、(X_t2)、(X_t3)は、それぞれ時刻t1、t2、t3の映像から抽出された作業前領域の画像である。画像(Y_t1)、(Y_t2)、(Y_t3)は、それぞれ時刻t1、t2、t3の映像から抽出された作業後領域の画像である。ここで、基準フレームとしては、成形機から出力された直後の時刻t1における作業前領域の画像(X_t1)と、作業後領域の画像(Y_t1)とを用いる。
作業が開始直後のS502において作業前領域の画像(X_t1)が得られ、続いてS504において作業後領域の画像(Y_t1)が得られる。これらの画像(X_t1)、(Y_t1)は、それぞれ作業前領域及び作業後領域に対する基準フレームとして設定される。
時刻t1における映像フレームにおいては、S507において作業が行われていないと判定され、処理は再びS501へ戻る。その後、作業前領域の画像(X_t2)及び作業後領域の画像(Y_t2)が得られると、その後のS506において、基準フレームとの差分画像(X_t2−X_t1)、(Y_t2−Y_t1)が得られる。これらの差分画像から部品2が作業前領域から消失していることがわかる。なお、部品の有無は、部品の対応部分が背景色か否かにより判断できる。そして、評価部304は、図7に示すように「t=2,area=X,event=Out,pos=2」のイベントレコードを生成する。これは、「時刻t2において、Xという部分領域で部品2が消失した。」ことを意味する。この場合、評価部304は、S507において、作業が行われたと判定し、続くS508において、正しい作業が行われたと判定する。
続いて、作業前領域の画像(X_t3)及び作業後領域の画像(Y_t3)が得られると、その後のS506において、基準フレームとの差分画像(X_t3−X_t1)、(Y_t3−Y_t1)が得られる。これらの差分画像から部品2が箱4に移動していることがわかる。評価部304は、図7に示すように、「t=3,area=X,event=Out,pos=2,t=3,area=Y,event=In,pos=4」のイベントレコードを生成する。これは、時刻t2において、Xという部分領域で部品2が消失した。時刻t3において、Yという部分領域で部品4が現れた。」ことを意味する。この場合、評価部304は、S507において、作業が行われたと判定し、続くS508において、正しい作業が行われなかったと判定する。評価部304は、図8に示すようなイベントレコードの履歴を外部記憶部106に格納する。
このように、評価部304は、イベントレコードの履歴を辿ることにより、各IDにより識別される部品の移動を推定し、作業を評価することができる。また、S508において、評価部304は、例えば、箱置場における「出現」の数が、ベルトコンベアにおける「消失」の数と一致しない場合には、正しい作業が行われていないと判定することができる。
以上のように、作業評価装置110は、作業前領域及び作業後領域それぞれにおいて、作業対象の物体の有無を確認することにより、正しい作業が行われているか否かを精度良く評価することができる。これにより、成形直後で高温となっているため十分な精度を出すためのセンサやIDタグを付与できないような部品に対しても、映像で部品の移動を追尾することによって箱詰めの正確度を簡便に判定することができる。これにより、作業進捗及び正しさを自動的に追尾できる。
なお、高頻度に個体が生産される場合にも本実施形態の作業評価システム100を適用可能である。複数の生産された個体が一度にベルトコンベアに乗っているときは、各個体に対してそれぞれ同様の処理を並列で行えばよい。
また、ベルトコンベア側の部品がいずれもなくなっていない状況において、作業者との接触等による外乱で箱の撮影画像に作業以外の変化が生まれる場合にも本実施形態は適用可能である。この場合、差分発生後のフレームに基準フレームを変更することによって外乱等による追尾精度を維持することができる。
また、他の例としては、評価部304は、対象部品を持った順番と箱に置いた順番との対応付けを行うことで追尾を補正してもよい。この方法は各部品を置いた順番が明確に得られる場合に適用できる。この場合、対象部品が移動中であるか否かを管理するための移動中管理バッファを用意しておく。そして、評価部304は、その管理バッファへの登録順、および管理バッファからの解除順を管理し、登録順と解除順の対応をとることによって箱詰め作業の正しさを判断する。例えば、両手で一度に3つ以上の部位の異なる部品を重ねてもった場合、ベルトコンベア上で持った順番と各箱に置いた順番には対応がある可能性が高い。そこで、評価部304は、持った順と同順、または逆順で置かれなかった場合には間違った作業を行ったと判断する。
また、他の例としては、作業評価システム100は、2つの撮像装置を有し、第1の撮像装置が作業前の領域を含む映像を撮影し、第2の撮像装置が移動後の領域を含む映像を撮像してもよい。また他の例としては、作業評価システム100は、複数の撮像部を有し、移動前の領域及び移動後の領域をそれぞれ複数の撮像部が撮影してもよい。
また、他の例としては、作業評価装置110は、正しい作業が行われなかった場合以外の場合においても、評価結果を表示するよう制御してもよい。例えば、作業評価装置110は、正しい作業が行われた場合に、正しい作業が行われたことを示す通知情報を表示するよう制御してもよい。
(第2の実施形態)
次に、第2の実施形態に係る作業評価システム100について、第1の実施形態に係る作業評価システム100と異なる点を主に説明する。第2の実施形態の作業評価システム100は、作業による外乱による部位ずれ等があっても部分領域の検知精度を維持するための処理を行う。例えば、モールド成形作業においては、金型の都合上、成形物の各部位がゲートと呼ばれる注入樹脂の経路が切断されないまま成形機からベルトコンベアへ出力される場合がある。この場合、作業者はニッパー等によってゲートを取り外すゲートカット作業を行わなければならない。この際、部品が切り出されることによってベルトコンベア上の部品の配置が不規則にずれてしまう。このため、過去のフレームにおける部分領域の検知結果とベルトコンベアの流速等を用いることによることだけでは、ずれが蓄積されたときに各部品の位置ずれをとらえきれず、各部品の位置の特定が難しくなる場合がある。本実施形態に係る作業評価システム100は、このような状況においても、精度よく作業評価を行う。
次に、第2の実施形態に係る作業評価システム100について、第1の実施形態に係る作業評価システム100と異なる点を主に説明する。第2の実施形態の作業評価システム100は、作業による外乱による部位ずれ等があっても部分領域の検知精度を維持するための処理を行う。例えば、モールド成形作業においては、金型の都合上、成形物の各部位がゲートと呼ばれる注入樹脂の経路が切断されないまま成形機からベルトコンベアへ出力される場合がある。この場合、作業者はニッパー等によってゲートを取り外すゲートカット作業を行わなければならない。この際、部品が切り出されることによってベルトコンベア上の部品の配置が不規則にずれてしまう。このため、過去のフレームにおける部分領域の検知結果とベルトコンベアの流速等を用いることによることだけでは、ずれが蓄積されたときに各部品の位置ずれをとらえきれず、各部品の位置の特定が難しくなる場合がある。本実施形態に係る作業評価システム100は、このような状況においても、精度よく作業評価を行う。
図9は、作業評価装置110による更新処理を示すフローチャートである。図9は、更新処理の説明図である。更新処理は、図5を参照しつつ説明したS502の処理とS503の処理の間に実行される処理である。S901において、評価部304は、テンプレート画像、基準フレーム、S502において抽出された作業前領域の画像及び直前のS501の処理で取得された映像フレームよりもNフレーム前の画像を取得する。なお、Nの値は、状況の収束判定を行う基準を表すパラメータであり、任意の整数値である。図10(A)は、各時刻における映像フレーム例を示す図である。
次に、S902において、評価部304は、基準フレームと、S502において抽出した作業前領域の画像とにおいて、各部品の位置座標を紐付ける。そして、評価部304は、基準フレーム及び作業前領域の画像のそれぞれにおいて、各部品の位置座標を中心とした部品領域を特定する。図10(A)は、各時刻における映像フレーム例を示す図である。図10(B)は、各映像フレームから抽出された作業前領域の画像と基準フレームとの差分画像を示す図である。このように、部品の位置がずれると、位置ずれに応じた差分画像が得られる。
続く、S903〜S911の処理は、部品毎に行うループ処理である。S903において、評価部304は、基準フレーム及び作業前領域の画像のそれぞれにおいて、処理対象の部品に対応した部品領域を特定する。評価部304は、各部品の部品座標に基づいて、部品領域を特定する。そして、評価部304は、各部品領域の差分を求め、差分が差分閾値以上となる画素の数の、部品領域全体の画素の数に対する割合を求める。ここで、差分閾値は予め設定された値である。評価部304は、算出した割合が割合閾値P%以上か否かを判定する。ここで、割合閾値P%は、予め設定された値である。評価部304は、算出した割合がP%以上の場合には(S903でYES)、処理をS904へ進める。評価部304は、算出した割合がP%未満の場合には(S903でNO)、処理をS910へ進める。
S904において、評価部304は、さらにNフレーム前の映像フレームの作業前領域の画像において、処理対象の部品に対応した部品領域を特定する。そして、評価部304は、各部品領域の差分を求め、差分が差分閾値以上となる画素の数の、部品領域全体の画素の数に対する割合を求める。評価部304は、算出した割合が割合閾値Q%以上か否かを判定する。ここで、割合閾値Q%は、予め設定された値であり、P%と等しい値でもよく、異なる値でもよい。評価部304は、算出した割合がQ%以上の場合には(S904でYES)、処理をS905へ進める。評価部304は、算出した割合がQ%未満の場合には(S904でNO)、処理をS910へ進める。
S905において、評価部304は、S502において抽出された作業前領域の画像において、処理対象の部品の位置を求める。そして、評価部304は、処理対象の部品の位置がテンプレート画像において定義される、処理対象の部品の位置から一定距離L以内に存在するか否かを判定する。評価部304は、一定距離L以内に処理対象の部品が存在する場合には(S905でYES)、処理をS906へ進める。評価部304は、一定距離L以内に処理対象の部品が存在しない場合には(S905でNO)、処理をS909へ進める。S909において、評価部304は、移動中フラグを有効にする。移動中フラグは、箱へ移動中であるか切り出し作業中で、処理対象の部品が見えなくなっている状況を把握するための情報である。
S906において、評価部304は、移動中フラグを無効にする。この場合、処理対象の部品が移動前領域に存在するとみなせるためである。次に、S907において、評価部304は、処理対象の部品の、作業前領域における位置をテンプレート画像の定義における更新候補として登録する。そして、評価部304は、作業前領域の画像に含まれる、処理対象の部品に対応した部品領域の画像をテンプレート画像の候補として登録する。次に、S908において、評価部304は、作業前領域の画像に含まれる、処理対象の部品に対応した部品領域の画像を基準フレーム候補として登録する。
一方、S903でP%未満と判定された場合及びS904でQ%未満と判定された場合は、処理対象の部品において位置変化がなかった、又は変化が収束したと考えられる。この場合、処理はS910へ進む。S910において、評価部304は、S907において登録した、部品の位置をテンプレート画像DB402の部品定義として登録し、テンプレート画像の処理対象の部品に対応した部品領域の画像をテンプレート画像の部分画像として登録する。すなわち、評価部304は、部品定義及びテンプレート画像を更新する。次に、S911において、評価部304は、S908において登録した、作業前領域の画像を基準フレームの部分画像として登録する。すなわち、評価部304は、基準フレームを更新する。
ループ処理を抜けると、S912において、評価部304は、テンプレート画像の各部品の更新結果を統合する。具体的には、評価部304は、各部品に対応したテンプレート画像を貼り合わせることで、新たなテンプレート画像を得る。さらに、評価部304は、各部品の位置を基準にボロノイ分割する等により部品定義を作成する。これにより、図10(C)に示すようなテンプレート画像が得られる。なお、S912の処理は、異なるタイミングで得られた複数の作業前領域の画像の間の差分に基づいて、テンプレート画像を更新する更新処理の一例である。
次に、S913において、評価部304は、基準フレームの各部品の更新結果を統合する。具体的には、評価部304は、各部品に対応した基準フレームを貼り合わせる。ただし、評価部304は、移動中フラグが有効になっている場合には、更新前の値を用いるものとする。これにより、部品の位置変化に伴った過剰なフィッティングを回避することができる。なお、第2の実施形態に係る作業評価システム100のこれ以外の構成及び処理は、第1の実施形態に係る作業評価システム100の構成及び処理と同様である。
以上のように、第2の実施形態に係る作業評価システム100においては、工場での生産作業等において、作業による外乱による部位ずれに対して動的にテンプレート画像及び基準フレームを更新することができる。これにより、部品領域の検知精度を維持することができる。これにより、部品領域検知と部品検知の成功率を高め、作業進捗や作業の正しさを精度よく評価できる。
なお、上記ではベルトコンベア上のテンプレート画像を更新する例を挙げたが、箱置き場に対して同様の処理を行ってもよい。その場合は、S504とS505の処理の間において、作業後領域を対象として更新処理を行えばよい。これにより、箱置き場において、箱の位置ずれが生じた場合であっても、作業を精度よく評価できる。
また、他の例としては、差分を評価する基準としてNフレーム前の画像を用いることとしたが、これに替えて、S907、S908において設定された更新候補の時刻に対応した映像フレームを用いてもよい。これにより、不規則な間隔で外乱が発生する状況においても適応的にテンプレート画像及び基準フレームを更新することができる。
(第3の実施形態)
次に、第2の実施形態に係る作業評価システム100について、他の実施形態に係る作業評価システム100と異なる点を主に説明する。例えば、箱入れ作業が作業者により両手で同時に行われる場合など、複数の物体が同時に移動する場合がある。第2の実施形態に係る作業評価システム100は、このように、複数の物体が同時に移動する場合においても、精度よく作業評価を行う。
次に、第2の実施形態に係る作業評価システム100について、他の実施形態に係る作業評価システム100と異なる点を主に説明する。例えば、箱入れ作業が作業者により両手で同時に行われる場合など、複数の物体が同時に移動する場合がある。第2の実施形態に係る作業評価システム100は、このように、複数の物体が同時に移動する場合においても、精度よく作業評価を行う。
図11は、第3の実施形態に係る作業評価処理を示すフローチャートである。図11に示す作業評価処理の各処理のうち、図5を参照しつつ説明した第1の実施形態に係る作業評価処理の各処理と同一の処理には、同一の番号を付している。
評価部304は、S507において作業が行われたと判定された場合には、処理をS1101へ進める。S1101において、評価部304は、S506において算出した差分画像の位置関係からベルトコンベアから箱への部品の移動を推定する。ただし、複数の部品が同時に移動することに対応し、複数の部品領域において同時に差分が発生する場合がある。そこで、本実施形態においては、作業評価装置110は、カメラ映像を用いた人体検知又は顔検知の結果を取得しておき、この情報を用いる。具体的には、作業評価装置110は、作業者が部品を持ったときの作業者の向きと部品を置いたときの作業者の向きとを特定し、作業者の向きと部品の位置との対応関係から部品の移動前後の位置を対応付ける。
図12は、作業者が部品を両手に持って移動させる作業の説明図である。図12(A)に示すように、作業者Aが成形機から出された部品のうち、部品3、部品4を両手で一度に持ち上げ、続いて、振り返って箱に向かう。この場合、図12(B)に示すように、作業者Aの向きは、部品3、部品4を持ち上げたときに対し反転している。このため、部品3、部品4の位置も左右が逆になる。そこで、評価部304は、これに対応し、作業者Aの向きを利用して、部品の追尾を行う。さらに、評価部304は、箱への部品の投入がいずれの手で行われたかを投入検知時の顔の位置と向きにより判断する。また、評価部304は、投入がいずれの手で行われたかについては、投入検知の顔の位置と向きを用いて判断する。例えば、評価部304は、顔が向く方向を基準にした上で、顔の位置が箱よりも左側にある場合には、右手で作業をしたと判定し、逆の場合は左手で作業したと判定する。このようにしていずれの手で作業したかを推定する。
S1101において、評価部304はさらに、追尾の確からしさを追尾精度として定量化して求める。本実施形態においては、評価部304は、部品の追尾に用いたフレーム数に対する人体検知又は顔検知に成功したフレーム数の割合を追尾精度として求めることとするが、これに限定されるものではない。他の例としては、評価部304は、各部品の差分発生面積の総和、持ち運びに要した時間の長さ等、追尾精度と相関の考えられる指標を追尾精度として算出してもよい。本処理は、追尾精度推定処理の一例である。
S1102において、評価部304は、追尾精度が閾値以上か否かを判定する。評価部304は、追尾精度が閾値以上の場合には(S1102でYES)、処理をS507へ進める。評価部304は、追尾精度が閾値未満の場合には(S1102でNO)、処理をS1103へ進める。S1103において、評価部304は、正しい作業が行われていない可能性があることを示す通知情報を表示部102に表示するよう制御する。なお、第3の実施形態に係る作業評価システム100のこれ以外の構成及び処理は、他の実施形態に係る作業評価システム100の構成及び処理と同様である。
以上のように、第3の実施形態に係る作業評価システム100は、箱入れ作業が両手で同時に行われる場合のように、複数の物体が同時に移動する場合においても、作業を精度よく評価することができる。
なお、作業評価システム100のユースケースは実施形態に限定されるものではなく、任意の時刻間における物体位置の対応付けによる追尾を行うことのできるユースケースに広く適用することができる。例えば、倉庫における台車への荷積み作業などが考えられる。詰まれる荷物の棚の映像差分の発生状況と、台車の映像差分の発生状況の対応付けを行うことで、荷物、台車、棚いずれにも特別なセンサを配置することなく、棚から台車への荷物の移動を追尾することができる。
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100 評価システム
110 作業評価装置
301 部分領域抽出部
302 部品位置特定部
303 追尾部
304 評価部
110 作業評価装置
301 部分領域抽出部
302 部品位置特定部
303 追尾部
304 評価部
Claims (12)
- 作業前において作業対象の物体が存在する領域である作業前領域の画像における作業対象の物体の有無と、作業により移動された後で前記作業対象の物体が存在する領域である作業後領域の画像における前記作業対象の物体の有無と、に基づいて、前記作業対象の物体の移動を追尾する追尾手段と、
前記追尾手段による追尾結果に基づいて、作業を評価する作業評価手段と、
前記作業評価手段による評価結果を表示手段に表示するよう制御する表示処理手段と
を有することを特徴とする作業評価装置。 - 前記表示処理手段は、前記作業評価手段が正しい作業が行われなかったと判定した場合に、正しい作業が行われなかった旨を示す通知情報を表示するよう制御する表示処理手段をさらに有することを特徴とする請求項1に記載の作業評価装置。
- 作業画像を取得する取得手段と、
第1のテンプレート画像に基づいて、前記作業画像から前記作業前領域を抽出する作業前領域抽出手段と、
前記第1のテンプレート画像と異なる第2のテンプレート画像に基づいて、前記作業画像から前記作業後領域を抽出する作業後領域抽出手段と、
をさらに有することを特徴とする請求項1又は2に記載の作業評価装置。 - 前記作業評価手段は、さらに前記作業前領域における複数の位置それぞれと、前記作業後領域における複数の位置それぞれとを対応付ける対応情報に基づいて、作業を評価することを特徴とする請求項1乃至3の何れか1項に記載の作業評価装置。
- 前記作業評価手段は、前記対応情報において対応付けられた作業前領域の位置から作業後領域の位置へ作業対象の物体が移動した場合に、作業が正常に行われたと判定することを特徴とする請求項4に記載の作業評価装置。
- 前記作業評価手段は、前記対応情報において対応付けられた作業前領域の位置に存在した作業対象の物体が、対応する作業後領域の位置と異なる位置へ移動した場合に、作業が正常に行われなかったと判定することを特徴とする請求項4又は5に記載の作業評価装置。
- 異なるタイミングで得られた2つの作業前領域の画像の間の差分に基づいて、前記第1のテンプレート画像を更新する第1の更新手段をさらに有することを特徴とする請求項3に記載の作業評価装置。
- 異なるタイミングで得られた2つの作業後領域の画像の間の差分に基づいて、前記第2のテンプレート画像を更新する第2の更新手段をさらに有することを特徴とする請求項3に記載の作業評価装置。
- 作業を行う作業者の画像に基づいて、作業者の向きを特定する向き特定手段をさらに有し、
前記追尾手段は、複数の作業対象の物体が同時に移動した場合に、作業者の向きに基づいて、複数の作業対象の物体それぞれの移動を追尾することを特徴とする請求項1乃至8の何れか1項に記載の作業評価装置。 - 前記作業者の画像に基づいて、前記追尾結果の精度を推定する追尾精度推定手段をさらに有し、
前記作業評価手段は、前記追尾精度が閾値未満の場合に、正しい作業が行われなかった可能性があると判定することを特徴とする請求項9に記載の作業評価装置。 - 作業評価装置が実行する作業評価方法であって、
作業前において作業対象の物体が存在する領域である作業前領域の画像における作業対象の物体の有無と、作業により移動された後で前記作業対象の物体が存在する領域である作業後領域の画像における前記作業対象の物体の有無と、に基づいて、前記作業対象の物体の移動を追尾する追尾ステップと、
前記追尾ステップにおける追尾結果に基づいて、作業を評価する作業評価ステップと、
前記作業評価ステップにおける評価結果を表示手段に表示するよう制御する表示処理ステップと
を含むことを特徴とする作業評価方法。 - コンピュータを、請求項1乃至10の何れか1項に記載の作業評価装置の各手段として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018193464A JP2020061074A (ja) | 2018-10-12 | 2018-10-12 | 作業評価装置、作業評価方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018193464A JP2020061074A (ja) | 2018-10-12 | 2018-10-12 | 作業評価装置、作業評価方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020061074A true JP2020061074A (ja) | 2020-04-16 |
Family
ID=70220191
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018193464A Pending JP2020061074A (ja) | 2018-10-12 | 2018-10-12 | 作業評価装置、作業評価方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2020061074A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022101426A (ja) * | 2020-12-24 | 2022-07-06 | Rsmile株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
-
2018
- 2018-10-12 JP JP2018193464A patent/JP2020061074A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022101426A (ja) * | 2020-12-24 | 2022-07-06 | Rsmile株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10417503B2 (en) | Image processing apparatus and image processing method | |
US10628648B2 (en) | Systems and methods for tracking optical codes | |
US11049278B2 (en) | System and method for visual identification, and system and method for classifying and sorting | |
CN105929799B (zh) | 作业者品质管理方法和作业者品质管理装置 | |
WO2016117600A1 (ja) | 商品棚割管理装置及び商品棚割管理方法 | |
JP6038417B1 (ja) | ロボット教示装置及びロボット制御プログラム作成方法 | |
CN101479082B (zh) | 机器人装置和机器人装置的控制方法 | |
KR20210020945A (ko) | 창고 환경에서의 차량 추적 | |
JP2019513274A5 (ja) | ||
US20190084009A1 (en) | Projection instruction device, parcel sorting system, and projection instruction method | |
CN108960038B (zh) | 一种基于图像识别技术的购物手推车及其识别方法 | |
JP6672712B2 (ja) | 異常作業検出システムおよび異常作業検出方法 | |
CA2641437A1 (en) | Image data recording method, working result recording method using image data, image data recording device, and working result recording system using image data | |
EP3434623A1 (en) | Projection indicator, cargo assortment system, and projection indicating method | |
JP2018165893A (ja) | 作業支援装置、作業支援方法、及び作業支援プログラム | |
JP2020061074A (ja) | 作業評価装置、作業評価方法及びプログラム | |
CN110288629A (zh) | 基于移动物体检测的目标检测自动标注方法及装置 | |
JP2019163172A (ja) | システム、情報処理装置、情報処理方法、プログラム及び記録媒体 | |
Al-Amin et al. | Sensor data based models for workforce management in smart manufacturing | |
US20230334396A1 (en) | Work instruction system | |
US10589319B2 (en) | Projection instruction device, parcel sorting system, and projection instruction method | |
CN114648809A (zh) | 计算机实施的处理监视方法、装置、系统和记录介质 | |
JP2017146662A (ja) | 移動体監視システム | |
JP2019182576A (ja) | 不良物品検出システム、不良物品検出方法およびプログラム | |
CN112598745B (zh) | 一种人货关联事件确定方法及装置 |