JP2018045512A - 作業性評価装置 - Google Patents

作業性評価装置 Download PDF

Info

Publication number
JP2018045512A
JP2018045512A JP2016180660A JP2016180660A JP2018045512A JP 2018045512 A JP2018045512 A JP 2018045512A JP 2016180660 A JP2016180660 A JP 2016180660A JP 2016180660 A JP2016180660 A JP 2016180660A JP 2018045512 A JP2018045512 A JP 2018045512A
Authority
JP
Japan
Prior art keywords
work
workability
partial
worker
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016180660A
Other languages
English (en)
Other versions
JP6897037B2 (ja
Inventor
直樹 土屋
Naoki Tsuchiya
直樹 土屋
康代 小竹
Yasuyo KOTAKE
康代 小竹
安藤 丹一
Tanichi Ando
丹一 安藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2016180660A priority Critical patent/JP6897037B2/ja
Publication of JP2018045512A publication Critical patent/JP2018045512A/ja
Application granted granted Critical
Publication of JP6897037B2 publication Critical patent/JP6897037B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Automatic Assembly (AREA)
  • General Factory Administration (AREA)

Abstract

【課題】評価対象作業の実際の作業性を評価できる汎用性に優れた技術を提供する。【解決手段】評価対象作業の作業性を評価する作業性評価装置が、作業者が前記評価対象作業を実施したときに前記作業者の動作に関わる情報を作業データとして記録する作業データ記録部と、前記作業データの中に含まれる作業者の動作を解析することによって前記評価対象作業の全体を複数の部分作業に分ける部分作業分類部と、前記作業データの複数のサンプルにおけるばらつきを部分作業ごとに評価することによって、部分作業ごとの作業性に関する指標を求める作業性評価部と、を有する。【選択図】図2

Description

本発明は、作業性を評価するための技術に関する。
工場などの生産現場では、製品の組み立て作業の作業性を評価し、その結果を作業効率や安全性の向上などの工程改善に生かす取り組みがなされている。例えば特許文献1では、組立部品の3DCADデータと人体モデルを用いたシミュレーションにより組立作業性を評価するシステムが提案されている。また特許文献2では、作業者の動作を記録した動画像から抽出した部品の運動ベクトルとCADデータから求めた参照ベクトルの差分をとることで、作業者の動作に無駄がないかを評価するシステムが提案されている。
特開2014−100773号公報 特開2009−122726号公報
しかしながら、特許文献1、2のシステムでは、作業に関わる対象物の構成や配置を定義するCADデータを与える必要があると共に、それらのCADデータをもとに作業性を評価するためのプログラムを開発しなければならない。しかし、一般に、作業性は、作業に関わる対象物の構成や配置のみではなく、作業者の特性、作業環境などの様々な要因の影響を受けるため、多様な作業について汎用的に対応可能な評価方法をあらかじめ作業性評価プログラムに組み込むことは困難である。したがって、従来のシステムでは、評価結果と実際の作業性とが一致しないことがあるという問題があった。
なお、ここまでの文脈では、組み立て作業を例に挙げて課題の説明を行ったが、同様の課題はあらゆる分野の作業性評価においても起こり得る。
本発明は上記実情に鑑みなされたものであり、評価対象作業の実際の作業性を評価できる汎用性に優れた技術を提供することを目的とする。
上記目的を達成するため、本発明は以下の構成を採用する。
本発明の第一態様は、評価対象作業の作業性を評価する作業性評価装置であって、作業者が前記評価対象作業を実施したときに前記作業者の動作に関わる情報を作業データとして記録する作業データ記録部と、前記作業データの中に含まれる作業者の動作を解析することによって前記評価対象作業の全体を複数の部分作業に分ける部分作業分類部と、前記作業データの複数のサンプルにおけるばらつきを部分作業ごとに評価することによって、部分作業ごとの作業性に関する指標を求める作業性評価部と、を有する作業性評価装置を提供する。
この構成によれば、作業者が評価対象作業を実際に実施したときの記録である作業データを基に評価を行うため、現実の作業に即した作業性を評価することができる。また、作業データのばらつきを評価するという簡易かつ汎用的なアルゴリズムであるため、様々な種類の作業性評価に対し適用することができる。さらに、評価対象作業を小さい動作単位
である部分作業に分けたので、サンプル間での動作の対応付けや、問題個所の発見、作業性を阻害する要因の特定などが容易になるという利点もある。また、部分作業分類部は、作業データの中に含まれる作業者の動作を解析することにより部分作業の分類を行うので、実際の作業性を評価するのに適した単位で部分作業を生成することができる。なお本発明において「作業者」は、人でもよいし、人工知能により動作するAIロボットでもよい。
例えば、前記部分作業分類部は、前記作業データの複数のサンプルに基づきDeep Learningにより動作を解析することによって、前記評価対象作業の全体を前記複数の部分作業に分けるとよい。Deep Learningによる機械学習を利用することにより、特段の事前知識が無くても、未知の評価対象作業を適切な単位の部分作業に分類することが可能である。言い換えると、作業データのサンプルを複数与えるだけで、作業性評価装置が、未知の評価対象作業を複数の部分作業に分類するための新たな分類能力を自ら獲得することができる。したがって、この構成によれば、作業性評価装置の汎用性及び適応性を格段に向上することができる。
もちろん、機械学習以外の方法により部分作業への分類を行うこともできる。例えば、前記部分作業分類部は、前記作業データに基づき作業者の動作の変化点を検出し、前記動作の変化点を基に前記評価対象作業の全体を前記複数の部分作業に分類してもよい。この構成によっても、作業データのサンプルを複数与えるだけで、作業性評価装置が、未知の評価対象作業を複数の部分作業に分類することができる。
前記複数のサンプルは、複数の作業者それぞれの複数回の作業データを含み、前記作業性評価部は、部分作業ごとに各作業者の平均作業時間を算出し、部分作業ごとに平均作業時間の作業者間でのばらつきを表す指標を求めるとよい。平均作業時間の作業者間でのばらつきを表す指標を用いることで、作業の難易度を評価することができると考えられる。
前記複数のサンプルは、複数の作業者それぞれの複数回の作業データを含み、前記作業性評価部は、部分作業ごとに各作業者の作業時間のばらつきを算出し、部分作業ごとに各作業者の作業時間のばらつきを表す指標を求めるとよい。各作業者の作業時間のばらつきを表す指標を用いることで、作業の手順の自由度を評価することができると考えられる。
作業者の動きを検出する1つ以上のセンサを有し、前記作業データ記録部は、前記センサから得られるセンサデータを記録するとよい。これにより、作業者の動きを自動で収集することができる。またセンサデータにより作業者の動きを客観的な物理量として捉えることができる。例えば、前記センサは、作業者の身体に装着された動きセンサを含むとよい。身体に装着された動きセンサを用いることで、作業者の身体の動きを直接的かつ正確に捉えることができる。
なお、本発明は、上記構成ないし機能の少なくとも一部を有する作業性評価装置として捉えることができる。作業性評価装置は、単体の装置で構成してもよいし、複数の装置の組み合わせで構成してもよい。また、本発明は、上記処理の少なくとも一部を含む作業性評価方法、または、かかる方法をコンピュータに実行させるためのプログラム、または、そのようなプログラムを非一時的に記録したコンピュータ読取可能な記録媒体として捉えることもできる。上記構成および処理の各々は技術的な矛盾が生じない限り互いに組み合わせて本発明を構成することができる。
本発明によれば、評価対象作業の実際の作業性を評価することができる。また、本発明は、様々な作業の作業性評価に汎用的に適用できる。
図1は作業性評価装置のハードウェア構成を示す外観図である。 図2は作業性評価装置の機能構成を示すブロック図である。 図3A〜図3Cは部分作業を説明するための図である。 図4は組み立て作業の一例を示す図である。 図5は作業性評価処理のフローチャートである。 図6Aと図6Bは部分作業分類部の内部構成を示す図である。 図7は部分作業分類部のフローチャートである。 図8は部分作業リストの一例である。 図9はDeep Learningの学習用データと分類結果の例を示す図である。 図10は評価結果の出力例である。
本発明に係る作業性評価装置は、任意の作業の作業性を評価するためのシステムである(評価の対象となる作業を「評価対象作業」と呼ぶ)。以下に述べる実施形態では、工場での製品組み立て作業の作業性評価に本発明を適用した例を挙げるが、本発明の適用範囲はこの例に限られない。例えば、工場などの生産現場における監視作業・チェック作業・データ入力作業、装置やシステムの操作・運転・メンテナンス、手術における手技や手順、農業・漁業・林業における各種作業、オフィスワークでの作業、クリエイターの作業など、様々な分野やアプリケーションにおける作業性評価に適用することができる。また、本発明に係る装置で生成される作業性評価の結果(評価指標)は、工程改善、QC(Quality Control)活動、製品設計へのフィードバックなど、様々な目的に活用される。
<作業性評価方法の概要>
従来システム(特許文献1)のようにCADデータを用いたシミュレーションにより作業性を評価する方法は、汎用性・実用性が低く、また作業者の特性や作業環境などの影響を考慮することができないという問題があった。このような点に鑑み、本実施形態の作業性評価方法は、作業者に評価対象作業を実際に実施させ、そのときの作業者の動作を記録したデータ(「作業データ」と呼ぶ)を解析することにより、評価対象作業の作業性を評価するというアプローチを採用する。この方法によれば、CADデータのような特別な定義情報を与える必要がないので、あらゆる種類の作業性評価に汎用的に適用することができる。また、作業者の実際の作業データを用いるので、作業の対象物の設計、作業手順、作業者の特性、作業環境などの影響がすべて考慮された、現実の作業に即した作業性評価を行うことができる。
図1に、本実施形態の作業性評価装置100を模式的に示す。作業性評価の大まかな流れは次のようになる。まず、評価対象作業の作業手順(作業標準)を設定する。例えば製品の組み立て作業の場合であれば、部品の組み立ての順番などが作業手順に定義される。そして、作業手順にしたがって作業者110に実際に作業を実施させる。このとき、作業性評価装置100は、作業者110又は作業で使用する物体111に取り付けたセンサ101によって、作業中の作業者110の動作を記録する。一又は複数の作業者に同じ作業を複数回実施させることで、複数サンプルの作業データを収集することができる。
ここで、作業性の良し悪しは、作業中の動作のばらつき、ひいては作業時間のばらつきに現れると仮定する。例えば、作業中の動作や作業時間が作業者間で大きくばらついている場合は、作業そのものの難易度が高いために(熟練しないと作業が安定しないために)、作業性が低下しているとみなすことができる。また、同じ作業者において動作や作業時
間が大きくばらついている場合は、作業手順の自由度が高すぎるために(動作の選択肢が多く、同じ作業を再現できないために)、作業性が低下しているとみなすことができる。このような仮定に基づき、本実施形態の作業性評価装置100は、複数サンプルの作業データにおけるばらつきから評価対象作業の作業性を評価する。詳細は後述する。
また、作業性評価装置100は、評価対象作業の全体を複数の部分作業(要素作業)に分け、部分作業ごとの作業性を個別に評価する。部分作業ごとの作業性が分かれば、作業性を低下させている問題個所を発見したり、作業性を阻害している要因を特定したりするのが容易になるからである。
ところで、部分作業ごとの作業性評価を実現するにあたっては、評価対象作業の作業データを部分作業ごとのデータに分割する処理が必要となる。この処理は評価者が手作業で行ってもよいが、複数のサンプルから対応する部分作業を抽出する作業は難しく、また膨大な工数が必要となるため、現実的ではない。とはいえ、作業者ごと、作業の実施回ごとに、動作のばらつきや作業時間のばらつきがあるので、作業データを単純に分割することはできない。そこで、本実施形態の作業性評価装置100は、作業データに基づき作業者の動作を解析し、部分作業への分類を自動化する。詳細は後述する。
なお、図1では、作業者110として人を例示したが、人工知能により動作するAIロボットを作業者110としてもよい。例えば、AIロボットがDeep Learningなどの機械学習により作業の最適動作を学習していく過程においても作業中の動作や作業時間にばらつきが現れるため、このばらつきを基に当該作業の作業性を評価することが可能である。
<作業性評価装置の構成>
図1と図2を参照して、作業性評価装置の構成について説明する。図1は、作業性評価装置のハードウェア構成を示す外観図であり、図2は、作業性評価装置の機能構成を示すブロック図である。
(ハードウェア構成)
作業性評価装置100は、主なハードウェアとして、1つ以上のセンサ101と情報処理装置102を有して構成される。
情報処理装置102は、例えば、ハードウェアプロセッサ(CPU)、メモリ、記憶装置(ハードディスク、半導体ディスクなどのストレージ)、入力装置(キーボード、マウス、タッチパネルなど)、表示装置、通信装置などのハードウェア資源を有する汎用のコンピュータにより構成することができる。図2に示す作業性評価装置100の機能は、記憶装置に格納されたプログラムがメモリにロードされ、プロセッサにより実行されることにより、実現されるものである。なお、情報処理装置102は、一台のコンピュータにより構成してもよいし、複数台のコンピュータによる分散コンピューティングにより構成してもよい。また、情報処理装置102の機能の一部をクラウドサーバにより実現してもよい。また、処理の高速化のため、情報処理装置102の機能の一部または全部を専用のハードウェア(例えばGPUやFPGA、ASICなど)を用いて実現することも可能である。
センサ101は、作業者110の動作をデータとして記録するためのデバイスである。作業者110の動作を直接的または間接的に検出ないし推定することができれば、いかなる種類・方式のセンサを用いてもよい。例えば、センサ101には、作業者110をセンシングするセンサ、作業者110が作業中に取り扱う物体(以下「作業対象」と呼ぶ)111をセンシングするセンサ、作業者110と作業対象111の間の介在物をセンシング
するセンサなどが含まれる。以下、センサ101の一例を挙げるが、作業性評価装置100はすべてのセンサ101を備える必要はなく、装置構成、作業の種類や内容、用途などに応じて必要なセンサ101を設ければよい。
作業者110をセンシングするセンサ101としては、頭部・視線・手・足・胴体などの動きをセンシングする動きセンサを用いることができる。例えば、作業者110の左右の手首に装着した加速度センサや角加速度センサを用いることで、組み立て作業における右手と左手の動きを検出できる。さらに、指先に加速度センサや角加速度センサを装着することで、指先の動きを検出することもできる。作業者110に装着するセンサでなく、画像センサ(カメラ)で撮影した動画を解析することで作業者110の動きや周囲の物との関係をセンシングすることもできる。或いは、作業者110に装着したマーカを、磁気センサや赤外線センサで検知することで、作業者110の動きをセンシングすることもできる。
また、作業者110をセンシングするセンサ101としては、表情・目の動き・顔の動かし方をセンシングする顔画像センサ、心拍をセンシングする心拍センサ、脈拍をセンシングする脈拍センサ、手・足・首・胴など身体の各部に取り付けた電極で筋肉の動きをセンシングする筋電センサ、血圧をセンシングする血圧センサ、脳の各領域の脳波をセンシングする脳波センサ、各部の血流をセンシングする血流センサ、作業者110の視線の方向や注視している箇所をセンシングする画像センサなどを用いることができる。
センサ101の形態は問わない。例えば、スマートフォンの備えるセンサを利用してもよいし、スマートウォッチやスマートグラスなどのウェアラブル装置の備えるセンサを利用してもよい。
作業対象111とは、組み立て作業の場合であれば組み立ての対象となる部品であるし、装置の操作・運転の場合であればその装置である。作業対象111の状態も作業者110の動作に影響を与え得るので、間接的な情報として作業対象111の状態をセンシングした情報を用いることで、作業者110の動作の正確な評価に役立つ可能性がある。例えば、作業対象111の空間的な位置を検出するセンサ、作業対象111の姿勢を検出するセンサ、作業対象111の状態(加速度、温度、色、形状などの状態の変化)を検出するセンサ、作業対象111の環境状態(周囲の温度、湿度など環境に関する物理量や情報)を検出するセンサなどを例示できる。
作業者110と作業対象111の間の介在物とは、組み立て作業の場合であれば組み立てに用いる工具や装置である。このような介在物の状態も作業者110の動作に影響を与え得るので、間接的な情報として介在物の状態をセンシングした情報を用いることで、作業者110の動作の正確な評価に役立つ可能性がある。例えば、介在物の空間的な位置を検出するセンサ、介在物の姿勢を検出するセンサ、介在物の状態(温度、色、形状などの状態の変化)を検出するセンサ、介在物の環境状態(周囲の温度、湿度など環境に関する物理量や情報)を検出するセンサなどを例示できる。また、作業者110の操作により介在物に作用する力、介在物に関連する物理量(加速度、振動、切削音など)などを検出するセンサを用いてもよい。例えば、自動車の運転の場合であれば、運転操作部に取り付けたセンサにより、ステアリング操作、アクセル操作、ブレーキ操作、各種のスイッチ操作などを検出してもよい。
また、作業者110がAIロボットの場合は、AIロボットのモータ制御に用いられるエンコーダ、AIロボットが備えるカメラなどを、センサ101として用いることもできる。
(機能構成)
図2に示すように、作業性評価装置100は、センサ情報入力部201、作業対象情報入力部202、作業データ記録部203、部分作業分類部204、作業性評価部205、結果出力部206を有する。
センサ情報入力部201は、センサ101からセンサデータを取得する機能である。作業対象情報入力部202は、作業対象の情報(例えば、評価対象作業の種別、作業手順など)を取得する機能である。作業データ記録部203は、センサ情報入力部201により取得した情報に基づき、評価対象作業の開始から終了までの動作の記録(作業データ)を生成し、記憶装置に記録する機能である。例えば、同じ作業を複数の作業者に複数回ずつ行わせることで、作業者や習熟度の異なる複数の作業データが記録される。
部分作業分類部204は、作業データをもとに、評価対象作業の全体を複数の部分作業に分割・分類する機能である。作業性評価部205は、作業データのばらつきを部分作業ごとに評価することによって、部分作業ごとの作業性に関する指標を求める機能である。結果出力部206は、作業性評価部205の評価結果を出力する機能である。
<作業の定義>
本実施形態では「作業」を「設定された目的(課題)を遂行するために作業者が身体の一部または全部を使って行う行為」と定義する。したがって、作業の実施過程では必ず作業者の動作が発生する。また、作業に対してはあらかじめ「作業手順」が設定されるが、その作業手順に従う限り、具体的な動作については任意とする。したがって、作業データの記録時には、作業を実施する作業者によって、あるいは、作業の習熟度合によって、作業の実施過程で行われる動作にある程度の違いが生じ得る。
一つの「作業」は、複数の「部分作業」に分けることができる。図3Aに示すように、複数の部分作業を時間的に連続するように設定してもよいし、図3Bに示すように、複数の部分作業を離散的に設定してもよい。部分作業の個数や設定方法は任意であるが、図3Cに示すように、異なる作業データの間で部分作業の対応をとることを容易にするため、ある程度の動作のまとまりの単位で部分作業を設定することが好ましい。
<作業性評価処理>
次に、工場での組み立て作業を例にとり、作業性評価装置100の動作を説明する。
(組み立て作業の例)
図4は製品の組み立て作業の一例である。3つの穴があるベース部品401に、長さが違う3個の部品402a、402b、402cを取り付ける作業を想定する。ベース部品401にある穴401a、穴401b、穴401cに、部品箱403aにある部品402a、部品箱403bにある部品402b、部品箱403cにある部品402cをそれぞれ取り付ける。作業手順としては、
(1)部品402aを穴401aに挿入
(2)部品402bを穴401bに挿入
(3)部品403cを穴401cに挿入
という組み立ての順番だけが与えられているものとする。ベース部品401には前後にフレーム401d,401eが設けられているため、部品402a、部品402b、部品402cの取り付けは、フレーム401d,401eを避けて行う必要がある。
(装置の動作)
図5のフローチャートに沿って、作業性評価装置100による作業性評価処理の流れを説明する。
(1)作業データの記録
評価対象作業を作業者に複数回実施させ、作業データ記録部203によって、それぞれの作業データを記録する(ステップS500)。図4の例では、ベース部品401に3個の部品402a,402b,402cを順番に取り付ける作業について記録が行われる。すなわち、3個の部品402a,402b,402cのそれぞれについて、部品を部品箱からピックアップして、フレームや他の物体を避けながら、部品をベース部品401の穴に向けて移動させ、部品と穴の空間的姿勢を合わせて部品の先端を穴に差し込み、嵌め込みが完了したことを確認し手を離す、という一連の動作に関する情報が記録される。
作業の開始と終了(データ記録の開始と終了)は、作業者がボタン押下などで指示してもよいし、センサ101の信号に基づき自動で判定してもよい。作業の実施は、一人の作業者が複数回行ってもよいし、複数の作業者が一回ずつまたは複数回ずつ行ってもよい。人による動作の違いや習熟によるノウハウ・技能を生かすため、望ましくは、複数の作業者それぞれに複数回ずつ実施させるとよい。これにより、同じ作業について複数の作業データが取得される。個々の作業データを「作業サンプル」または単に「サンプル」とも呼ぶ。
作業データは、少なくとも、センサ情報入力部201から取得されるセンサデータを含む。また、必要に応じて、作業データは、作業対象情報入力部202から取得される作業対象の情報を含む場合もある。
本実施形態では、作業者110の右手首に装着された動きセンサ101により、単位時間ごと(例えば0.1秒ごと)の作業者110の右手首の位置および向きを記録した多次元ベクトルの時系列データが作業データとして記録される。例えば、3人の作業者がそれぞれ10回ずつ作業を行い、その動作を記録することにより、30個のサンプルが得られる。
(2)部分作業の分類
次に、部分作業分類部204が、複数サンプルの作業データに基づき作業者の動作を解析することにより、評価対象作業の全体動作を複数の部分作業に分類すると共に、各サンプルの作業データを部分作業ごとのデータに分割する(ステップS501)。
部分作業の分類は、動きの変化に基づき行うことができる。作業サンプルごとに作業者の動作や作業時間は少しずつ異なるものの、作業手順や組み立て対象の設計による制約があるため、小さな部分作業の単位でみると動きの変化は概ね共通している。例えば、作業者110の手の動き(位置、向き、速度、角速度、加速度、角加速度など)を表す動きベクトルの変化点に着目すると、手の加速・減速・停止・方向転換などが分かるので、動きの変化(部分動作の切り替わり)を捉えることができる。あるいは、Deep Learningによる分類技術を利用してもよい。例えば、Deep Learning技術であるリカレントニューラルネットワーク(RNN)を用いて、時系列のデータを学習させることができる。複数の作業サンプルそれぞれの時系列データを学習データとして与え、Deep Learningによる学習を行うと、作業全体を所定個数の部分作業に分類する分類器が自動生成される。なお、本実施形態では部分作業の分類はデータ解析により自動で行うことを想定しているが、分類作業の一部を人が行うようにしてもよい。
部分作業の分類を行う際には、作業対象から検出された情報を用いてもよい。また、工具やアクチュエータ、他の機械など、介在物から検出された情報を加えて分類を行うこともできる。例えば、工具の振動や反力、位置、稼働状況などを検出して、分類情報として用いることができる。あるいは、隣のロボットのセンサ情報を分類情報として用いること
ができる。作業者の属性や作業対象の属性ごとに分類を行うようにしてもよい。部分作業は、必ずしも、人が見たときの作業単位と一致していなくてもよい。複数の作業サンプルのそれぞれから対応する部分作業が正確に抽出できさえすればよい。分類が適切であるかは、同じ分類に属するサンプルの間の類似度を用いて評価できる。適切に分類されていれば、サンプル間の類似度が高くなる。
図6Aに、部分作業分類部204の内部構成の一例として、動きの変化に基づき動作を分類する場合の構成例を示す。この部分作業分類部204は、動きベクトル抽出部601、変化点検出部602、類似点検出部603、分類生成部604、分類結果出力部605を有する。
図7のフローチャートに沿って、部分作業分類部204の処理フローを説明する。まず、動きベクトル抽出部601はサンプル(作業データ)を1つ読み込む(ステップS700)。動きベクトル抽出部601は、作業データから作業者の右手首の位置および向きを記録した多次元ベクトルの時系列データを読み出し、それを時間微分することによって速度および角速度を要素としてもつ動きベクトルの時系列データを生成する(ステップS701)。変化点検出部602は、動きベクトルの時系列データを解析することで、作業者の動きの変化点を検出する(ステップS702)。例えば、停止状態から動き始めた時、動きを止めた時、速度を急に上げた/下げた時、移動方向を変えた時などを動きの変化点として検出することができる。変化点検出部602は、検出した変化点を記述した変化点リストを作成する(ステップS703)。ステップS700〜S703の処理をすべてのサンプルについて行うことで(ステップS704)、30個のサンプルそれぞれの変化点リストが得られる。
次に、類似点検出部603が、複数のサンプルのうちの一つを代表サンプルとして選び、変化点リストを参照して、代表サンプルにおける変化点のそれぞれについて、他のサンプルにおける変化点のなかから動きの変化が類似する類似点を検出する(ステップS705)。これは、複数のサンプルの間で動作の対応点を探索する処理である。なお、代表サンプルはどのように選んでもよく、本実施形態では、複数のサンプルのうち変化点の数が最も少ないものを代表サンプルとして選ぶ。1つの変化点について類似点がみつからない場合もあれば、複数の類似点がみつかる場合もある。類似点の検出には、伸縮マッチングや遺伝的アルゴリズムを利用することができる。類似点検出部603は、代表サンプルにおける各変化点に対応する類似点を記述した類似点リストを作成する(ステップS706)。
次に、分類生成部604が、代表サンプルの変化点リストを基に、代表サンプルにおける作業の全体動作を複数の部分作業に分ける(ステップS707)。代表サンプルに含まれる変化点が少なければ(例えば数個であれば)、変化点で区切られる単位を部分作業としてもよい。変化点の数が多い場合(例えば数十以上)などは、変化点リストに含まれる変化点のうちから数個の特異点を抽出し、その特異点で区切られる単位を部分作業とすればよい。この場合、変化が特に大きい点、移動方向が変わる点、他のサンプルに類似点が存在する点などを優先的に特異点に選ぶとよい。なお、部分作業の分類作業の一部をユーザが行うようにしてもよい。例えば、分類生成部604により分類された部分作業を表示装置に提示し、ユーザによる修正(部分作業の統合や再分割)を可能にすることができる。
次に、分類生成部604は、代表サンプルの動きベクトルの時系列データを部分作業ごとのデータに分割するとともに、類似点リストに基づき、他のサンプルの動きベクトルの時系列データについても部分作業ごとのデータに分割する(ステップS708)。最後に、分類結果出力部605が、部分作業リストを作成し出力する(ステップS709)。
図8に部分作業リストの一例を示す。この部分作業リストは、各サンプルについて、作業者を特定する情報(作業者IDなど)、部分作業ごとの作業時間、部分作業ごとの動きベクトルの時系列データなどが記述されたリストである。
なお、ここまで、動きの変化に基づき動作を分類する場合の構成および処理の例を説明したが、Deep Learningの技術を利用して動作の分類を行うことも可能である。その場合の部分作業分類部204は、図7Bのように、作業データを入力する作業データ入力部610と、入力された作業データを分類する深層ニューラルネットワーク611と、分類結果に基づき部分作業リストを作成し出力する分類結果出力部612とで構成できる。この構成の場合も、深層ニューラルネットワーク611による分類結果を提示し、ユーザによる修正を可能にしてもよい。
Deep Learningの技術を利用した場合、例えば、評価対象作業の始点から終点までの動作をN段階(例えば100段階)に分類することについて学習させることができる。この時、作業データ入力部610には、多くの作業者に評価対象作業を複数回実施させることにより得られた複数サンプルの作業データを学習用のデータとして入力するとよい。それぞれの作業データにおいて、作業の始点と終点ではデータ(作業者の手の位置など)が同一であるが、作業の途中(始点と終点の間)では作業データごとにデータが少しずつ異なり得る。それらを分類する学習をすることによって、データが類似する部分を分類する能力をもつ深層ニューラルネットワーク611を得ることができる。この場合、N段階に分類された各部分はそれぞれ隣の部分とつながっている。すると、いずれの作業者の動作も、類似する部分が同じ分類とされる。
図9にDeep Learningの学習用データと分類結果の一例を示す。グラフ上に描画されたそれぞれの曲線が作業データを示している。グラフの縦軸はデータの値であり、横軸は時間である。なお、本実施形態では、作業データとして、作業者の手の水平方向の加速度と手または部品の位置情報を用いるためデータの値は多次元ベクトルとなるが、図9では図示の便宜のためデータの値を1次元で示している。また、作業データごとに総作業時間(始点から終点までの時間長さ)が異なり得るが、図9では、始点及び終点が一致するように(各作業データの総作業時間の長さが同じになるように)規格化している。Deep Learningでは、手の加速度情報だけでなく手または部品の位置情報に基いて分類を行う。したがって、手が近い位置にある動作は同じ部分に分類される。グラフの下方に、Deep Learningによる分類結果の一例を示す。この例では作業データ全体が6段階の部分に分類されており、それぞれの部分が部分作業に相当する。
(3)作業性の評価
作業性評価部205は、部分作業リストから部分作業を一つずつ選択し(ステップS502)、部分作業ごとの作業性を評価する。本実施形態では、部分作業の作業性を表す指標として、
(指標1)作業者間での平均作業時間のばらつき、及び、
(指標2)作業者ごとの作業時間のばらつき、
を計算する(ステップS503、S504)。
指標1は部分作業の難易度(例えば、組み立て性の低さ)を表す指標であり、ばらつきが大きいほど、部分作業の難易度が高く、作業性が低いことを表している。また指標2は作業手順の自由度を表す指標であり、ばらつきが大きいほど、作業手順の自由度(つまり曖昧性)が高く、作業性が低いことを表している。なお、「ばらつき」には、例えば、分散、標準偏差、値域(最大値と最小値の差)などを用いることができる。
例えば、作業者A,B,Cの部分作業Wに関する作業時間の平均をxWA,xWB,xWC、分散をyWA,yWB,yWCとしたとき、指標1のばらつきが大きいとはxWA,xWB,xWCの分散が大きいことを意味し、指標2のばらつきが大きいとはyWA,yWB,yWCのそれぞれの値又はyWA,yWB,yWCのうちの代表値(例えば、平均値、中間値、最大値など)が大きいことを意味する。
部分作業リストに含まれるすべての部分作業について作業性を評価したら(ステップS505のYES)、ステップS506へ進む。
(4)評価結果の出力
ステップS506では、結果出力部206が、作業性評価部205の評価結果を表示装置又は外部装置に対し出力する。
図10に評価結果の出力例を示す。この例では、評価対象作業W001、W002の部分作業ごとに、「評価」、「作業難易度」、「手順自由度」の3項目の評価結果が出力されている。「作業難易度」は、上述した指標1のばらつきの大きさを低/中/高の3段階で示すものであり、「手順自由度」は、上述した指標2のばらつきの大きさを低/中/高の3段階で示すものである。また「評価」は、作業難易度の結果と手順自由度の結果の総合評価であり、部分作業の作業性を◎/〇/△/×の4段階で示している。このような評価結果を出力することにより、評価対象作業のなかの問題個所(作業性の低い部分作業)や作業性を低下させている要因(作業が難しすぎるのか、作業手順が曖昧なのか)を容易に特定することができ、製品の設計の見直しや作業手順の改善に役立てることができる。
なお、評価結果の出力に、各部分作業の作業時間の最小値やそのときの動作(移動経路、移動速度など)を表す情報を含めてもよい。このような情報を出力することにより、作業性の改善可能な度合いを把握したり、改善目標を設定したりするのが容易になる。また、各部分作業を行ったときに記録された情報を評価結果の出力に含めてもよい。これによい、作業性を低下させている要因の推定やその改善方法の検討が容易になる。
以上述べた本実施形態の作業性評価装置100によれば、作業者が評価対象作業を実際に実施したときの記録である作業データを基に評価を行うため、現実の作業に即した作業性を評価することができる。また、作業データのばらつきを評価するという簡易かつ汎用的なアルゴリズムであるため、様々な種類の作業性評価に対し適用することができる。さらに、評価対象作業を小さい動作単位である部分作業に分けたので、サンプル間での動作の対応付けや、問題個所の発見、作業性を阻害する要因の特定などが容易になるという利点もある。しかも、本実施形態の作業性評価装置100では、作業データに基づく動作解析によって部分作業への分類を自動的に行うことができる。したがって、作業性評価装置100の汎用性及び適応性を格段に向上することができる。
なお、上述した実施形態の構成は本発明の一具体例を示したものにすぎず、本発明の範囲を限定する趣旨のものではない。本発明はその技術思想を逸脱しない範囲において、種々の具体的構成を採り得るものである。
例えば、本明細書に開示された技術思想は、以下のような発明として特定することもできる。
(付記1)
本発明は、評価対象作業の作業性を評価する作業性評価装置であって、
ハードウェアプロセッサと前記ハードウェアプロセッサに動作的に連結されたメモリと、ストレージとを有し、
前記ハードウェアプロセッサは前記ストレージに格納されたプログラムを前記メモリに
配置し、コンピュータの機能として、
作業者が前記評価対象作業を実施したときに前記作業者の動作に関わる情報を作業データとして前記ストレージ内に記録する作業データ記録部と、
前記作業データの中に含まれる作業者の動作を解析することによって前記評価対象作業の全体を複数の部分作業に分ける部分作業分類部と、
前記作業データの複数のサンプルにおけるばらつきを部分作業ごとに評価することによって、部分作業ごとの作業性に関する指標を求める作業性評価部と、
を有する。
(付記2)
本発明は、評価対象作業の作業性を評価する作業性評価方法であって、
少なくとも1つのハードウェアプロセッサによって、作業者が前記評価対象作業を実施したときに前記作業者の動作に関わる情報を作業データとしてストレージ内に記録するステップと、
少なくとも1つのハードウェアプロセッサによって、前記作業データの中に含まれる作業者の動作を解析することによって前記評価対象作業の全体を複数の部分作業に分類するステップと、
少なくとも1つのハードウェアプロセッサによって、前記作業データの複数のサンプルにおけるばらつきを部分作業ごとに評価することによって、部分作業ごとの作業性に関する指標を求めるステップと、
を有する。
100:作業性評価装置、101:センサ、102:情報処理装置、110:作業者、111:物体(作業対象)
201:センサ情報入力部、202:作業対象情報入力部、203:作業データ記録部、204:部分作業分類部、205:作業性評価部、206:結果出力部
401:ベース部品、401a,401b,401c:穴、401d,401e:フレーム、402a,402b,402c:部品、403a,403b,403c:部品箱
601:ベクトル抽出部、602:変化点検出部、603:類似点検出部、604:分類生成部、605:分類結果出力部
610:作業データ入力部、611:深層ニューラルネットワーク、612:分類結果出力部

Claims (10)

  1. 評価対象作業の作業性を評価する作業性評価装置であって、
    作業者が前記評価対象作業を実施したときに前記作業者の動作に関わる情報を作業データとして記録する作業データ記録部と、
    前記作業データの中に含まれる作業者の動作を解析することによって前記評価対象作業の全体を複数の部分作業に分ける部分作業分類部と、
    前記作業データの複数のサンプルにおけるばらつきを部分作業ごとに評価することによって、部分作業ごとの作業性に関する指標を求める作業性評価部と、
    を有することを特徴とする作業性評価装置。
  2. 前記部分作業分類部は、前記作業データの複数のサンプルに基づきDeep Learningにより動作を解析することによって、前記評価対象作業の全体を前記複数の部分作業に分ける
    ことを特徴とする請求項1に記載の作業性評価装置。
  3. 前記部分作業分類部は、前記作業データに基づき作業者の動作の変化点を検出し、前記動作の変化点を基に前記評価対象作業の全体を前記複数の部分作業に分ける
    ことを特徴とする請求項1に記載の作業性評価装置。
  4. 前記複数のサンプルは、複数の作業者それぞれの複数回の作業データを含み、
    前記作業性評価部は、部分作業ごとに各作業者の平均作業時間を算出し、部分作業ごとに平均作業時間の作業者間でのばらつきを表す指標を求める
    ことを特徴とする請求項1〜3のうちいずれか1項に記載の作業性評価装置。
  5. 前記複数のサンプルは、複数の作業者それぞれの複数回の作業データを含み、
    前記作業性評価部は、部分作業ごとに各作業者の作業時間のばらつきを算出し、部分作業ごとに各作業者の作業時間のばらつきを表す指標を求める
    ことを特徴とする請求項1〜3のうちいずれか1項に記載の作業性評価装置。
  6. 作業者の動きを検出する1つ以上のセンサを有し、
    前記作業データ記録部は、前記センサから得られるセンサデータを記録する
    ことを特徴とする請求項1〜5のうちいずれか1項に記載の作業性評価装置。
  7. 前記センサは、作業者の身体に装着された動きセンサを含む
    ことを特徴とする請求項6に記載の作業性評価装置。
  8. 前記作業者は、人、又は、人工知能により動作するAIロボットである
    ことを特徴とする請求項1〜7のうちいずれか1項に記載の作業性評価装置。
  9. コンピュータにより評価対象作業の作業性を評価する作業性評価方法であって、
    作業者が前記評価対象作業を実施したときに前記作業者の動作に関わる情報を作業データとして記録するステップと、
    前記作業データの中に含まれる作業者の動作を解析することによって前記評価対象作業の全体を複数の部分作業に分類するステップと、
    前記作業データの複数のサンプルにおけるばらつきを部分作業ごとに評価することによって、部分作業ごとの作業性に関する指標を求めるステップと、
    を有することを特徴とする作業性評価方法。
  10. 請求項9に記載の作業性評価方法の各ステップをコンピュータに実行させるためのプロ
    グラム。
JP2016180660A 2016-09-15 2016-09-15 作業性評価装置 Active JP6897037B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016180660A JP6897037B2 (ja) 2016-09-15 2016-09-15 作業性評価装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016180660A JP6897037B2 (ja) 2016-09-15 2016-09-15 作業性評価装置

Publications (2)

Publication Number Publication Date
JP2018045512A true JP2018045512A (ja) 2018-03-22
JP6897037B2 JP6897037B2 (ja) 2021-06-30

Family

ID=61694881

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016180660A Active JP6897037B2 (ja) 2016-09-15 2016-09-15 作業性評価装置

Country Status (1)

Country Link
JP (1) JP6897037B2 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020027324A (ja) * 2018-08-09 2020-02-20 株式会社東芝 分析システム、分析方法、プログラム、及び記憶媒体
JP2020035330A (ja) * 2018-08-31 2020-03-05 オムロン株式会社 パフォーマンス計測装置、パフォーマンス計測方法及びパフォーマンス計測プログラム
JP2020035331A (ja) * 2018-08-31 2020-03-05 オムロン株式会社 パフォーマンス計測装置、パフォーマンス計測方法及びパフォーマンス計測プログラム
JP2020034849A (ja) * 2018-08-31 2020-03-05 オムロン株式会社 作業支援装置、作業支援方法及び作業支援プログラム
JP2020107002A (ja) * 2018-12-26 2020-07-09 キヤノン株式会社 情報処理装置およびその制御方法
KR20210147685A (ko) * 2020-05-29 2021-12-07 한국로봇융합연구원 다중 자율 로봇의 작업 계획 관리 장치 및 방법
US20210398416A1 (en) * 2020-06-19 2021-12-23 Arizona Board Of Regents On Behalf Of Arizona State University Systems and methods for a hand hygiene compliance checking system with explainable feedback
WO2022259579A1 (ja) * 2021-06-11 2022-12-15 三菱電機株式会社 見積り支援システム、見積り支援方法、及びプログラム
JP7385826B2 (ja) 2019-11-08 2023-11-24 オムロン株式会社 動作分析装置、動作分析方法及び動作分析プログラム
WO2023242942A1 (ja) * 2022-06-14 2023-12-21 日本電信電話株式会社 スケジュール実行支援装置、方法およびプログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04289089A (ja) * 1991-03-19 1992-10-14 Fujitsu Ltd 作業評価装置
JP2006209468A (ja) * 2005-01-28 2006-08-10 Yakahi Kikuko 作業動作解析装置、作業動作解析方法および作業動作解析プログラム
WO2007126026A1 (ja) * 2006-04-26 2007-11-08 Jasi Corporation 作業工程の中から改善すべき動作要素を自動抽出するシステム
JP2009289134A (ja) * 2008-05-30 2009-12-10 Hitachi Ltd 作業分析装置、生産管理方法及び生産管理システム
JP2013030021A (ja) * 2011-07-28 2013-02-07 Mitsubishi Heavy Ind Ltd 生産管理装置、工程分析方法および工程分析プログラム
CN104867309A (zh) * 2015-04-30 2015-08-26 深圳市全球锁安防系统工程有限公司 一种中老龄人安康服务智能穿戴设备及深度学习方法
US20150309582A1 (en) * 2014-02-28 2015-10-29 Vikas Gupta Gesture operated wrist mounted camera system
US20160125348A1 (en) * 2014-11-03 2016-05-05 Motion Insight LLC Motion Tracking Wearable Element and System

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04289089A (ja) * 1991-03-19 1992-10-14 Fujitsu Ltd 作業評価装置
JP2006209468A (ja) * 2005-01-28 2006-08-10 Yakahi Kikuko 作業動作解析装置、作業動作解析方法および作業動作解析プログラム
WO2007126026A1 (ja) * 2006-04-26 2007-11-08 Jasi Corporation 作業工程の中から改善すべき動作要素を自動抽出するシステム
JP2009289134A (ja) * 2008-05-30 2009-12-10 Hitachi Ltd 作業分析装置、生産管理方法及び生産管理システム
JP2013030021A (ja) * 2011-07-28 2013-02-07 Mitsubishi Heavy Ind Ltd 生産管理装置、工程分析方法および工程分析プログラム
US20150309582A1 (en) * 2014-02-28 2015-10-29 Vikas Gupta Gesture operated wrist mounted camera system
US20160125348A1 (en) * 2014-11-03 2016-05-05 Motion Insight LLC Motion Tracking Wearable Element and System
CN104867309A (zh) * 2015-04-30 2015-08-26 深圳市全球锁安防系统工程有限公司 一种中老龄人安康服务智能穿戴设备及深度学习方法

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020027324A (ja) * 2018-08-09 2020-02-20 株式会社東芝 分析システム、分析方法、プログラム、及び記憶媒体
CN110826383A (zh) * 2018-08-09 2020-02-21 株式会社东芝 分析系统、分析方法、程序以及存储介质
CN110826383B (zh) * 2018-08-09 2023-12-01 株式会社东芝 分析系统、分析方法、程序以及存储介质
JP7049212B2 (ja) 2018-08-09 2022-04-06 株式会社東芝 分析システム、分析方法、プログラム、及び記憶媒体
JP2020034849A (ja) * 2018-08-31 2020-03-05 オムロン株式会社 作業支援装置、作業支援方法及び作業支援プログラム
JP7103078B2 (ja) 2018-08-31 2022-07-20 オムロン株式会社 作業支援装置、作業支援方法及び作業支援プログラム
JP2020035330A (ja) * 2018-08-31 2020-03-05 オムロン株式会社 パフォーマンス計測装置、パフォーマンス計測方法及びパフォーマンス計測プログラム
JP7070252B2 (ja) 2018-08-31 2022-05-18 オムロン株式会社 パフォーマンス計測装置、パフォーマンス計測方法及びパフォーマンス計測プログラム
JP2020035331A (ja) * 2018-08-31 2020-03-05 オムロン株式会社 パフォーマンス計測装置、パフォーマンス計測方法及びパフォーマンス計測プログラム
JP7070253B2 (ja) 2018-08-31 2022-05-18 オムロン株式会社 パフォーマンス計測装置、パフォーマンス計測方法及びパフォーマンス計測プログラム
JP2020107002A (ja) * 2018-12-26 2020-07-09 キヤノン株式会社 情報処理装置およびその制御方法
JP7204478B2 (ja) 2018-12-26 2023-01-16 キヤノン株式会社 情報処理装置およびその制御方法
JP7385826B2 (ja) 2019-11-08 2023-11-24 オムロン株式会社 動作分析装置、動作分析方法及び動作分析プログラム
KR102439584B1 (ko) * 2020-05-29 2022-09-01 한국로봇융합연구원 다중 자율 로봇의 작업 계획 관리 장치 및 방법
KR20210147685A (ko) * 2020-05-29 2021-12-07 한국로봇융합연구원 다중 자율 로봇의 작업 계획 관리 장치 및 방법
US20210398416A1 (en) * 2020-06-19 2021-12-23 Arizona Board Of Regents On Behalf Of Arizona State University Systems and methods for a hand hygiene compliance checking system with explainable feedback
WO2022259579A1 (ja) * 2021-06-11 2022-12-15 三菱電機株式会社 見積り支援システム、見積り支援方法、及びプログラム
WO2023242942A1 (ja) * 2022-06-14 2023-12-21 日本電信電話株式会社 スケジュール実行支援装置、方法およびプログラム

Also Published As

Publication number Publication date
JP6897037B2 (ja) 2021-06-30

Similar Documents

Publication Publication Date Title
JP6897037B2 (ja) 作業性評価装置
US20180354127A1 (en) Operation information generating apparatus
CN107428004B (zh) 对象数据的自动收集和标记
Hoelscher et al. Evaluation of tactile feature extraction for interactive object recognition
JP6494331B2 (ja) ロボット制御装置およびロボット制御方法
Plantard et al. Filtered pose graph for efficient kinect pose reconstruction
JP2020038440A (ja) 動作認識方法及び装置
KR101577711B1 (ko) 시간 및 공간적 관계를 이용한 작업 솜씨 학습 방법
US20160174897A1 (en) Sensor Embedded Wearable Technology Glove
Molchanov et al. Contact localization on grasped objects using tactile sensing
JP2022546644A (ja) 人間-ロボット混在製造プロセスにおける自動異常検出のためのシステムおよび方法
Hernandez et al. Machine learning techniques for motion analysis of fatigue from manual material handling operations using 3D motion capture data
Bhattacharjee et al. Combining tactile sensing and vision for rapid haptic mapping
CN111402287A (zh) 用于活动序列的标准化评估的系统和方法
Wu et al. Incremental learning introspective movement primitives from multimodal unstructured demonstrations
Placidi et al. Data integration by two-sensors in a LEAP-based Virtual Glove for human-system interaction
Al-Amin et al. Sensor data based models for workforce management in smart manufacturing
CN111385813B (zh) 用于重复活动序列中的循环持续时间测量的系统和方法
Moringen et al. Search procedures during haptic search in an unstructured 3d display
CN110826383A (zh) 分析系统、分析方法、程序以及存储介质
Simão et al. Unsupervised gesture segmentation of a real-time data stream in matlab
Akhshik et al. Pressure Sensor Positioning for Accurate Human Interaction with a Robotic Hand
Faria et al. Identifying objects from hand configurations during in-hand exploration
KR101785650B1 (ko) 일인칭 시점에서의 클릭 감지 장치 및 이에 의한 클릭 감지 방법
Yang et al. Vision-based cutting control of deformable objects

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190305

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200204

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200406

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201006

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20201027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210511

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210524

R150 Certificate of patent or registration of utility model

Ref document number: 6897037

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150