JP2022031286A - Information processing apparatus, method and program - Google Patents

Information processing apparatus, method and program Download PDF

Info

Publication number
JP2022031286A
JP2022031286A JP2021190320A JP2021190320A JP2022031286A JP 2022031286 A JP2022031286 A JP 2022031286A JP 2021190320 A JP2021190320 A JP 2021190320A JP 2021190320 A JP2021190320 A JP 2021190320A JP 2022031286 A JP2022031286 A JP 2022031286A
Authority
JP
Japan
Prior art keywords
data
operation data
worker
information processing
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021190320A
Other languages
Japanese (ja)
Other versions
JP7268121B2 (en
Inventor
泰之 角井
Yasuyuki Tsunoi
和範 井本
Kazunori Imoto
加奈子 仲山
Kanako Nakayama
佐和 福家
Sawa Fukuya
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2017137258A external-priority patent/JP2019020913A/en
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2021190320A priority Critical patent/JP7268121B2/en
Publication of JP2022031286A publication Critical patent/JP2022031286A/en
Application granted granted Critical
Publication of JP7268121B2 publication Critical patent/JP7268121B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

PROBLEM TO BE SOLVED: To provide an information processing apparatus, method and program capable of bringing up operators.
SOLUTION: An information processing apparatus according to an embodiment comprises first acquisition means, second acquisition means, determination means, and presenting means. The first acquisition means acquires first operation data representing an operation of a first operator. The second acquisition means acquires second operation data representing an operation of a second operator. The determination means compares the first operation data and second operation data with each other to determine their similarity. The presenting means presents indication data, indicative of improvement points related to an operation to be done to perform predetermined work, to the first operator according to a result of the determination by the determination means.
SELECTED DRAWING: Figure 3
COPYRIGHT: (C)2022,JPO&INPIT

Description

本実施形態は、情報処理装置、方法及びプログラムに関する。 The present embodiment relates to an information processing apparatus, a method and a program.

一般的に、製造現場において、作業員に必要技術を会得させるための訓練や教育、指導は、生産性を確保するために必要不可欠である。また、昨今の労働市場の流動化やグローバル化による海外工場展開や外国人の雇用等、激しい人員の入れ替わりにより、実務経験の浅い作業員をいかに早く育成し、現場に送り出せるかが重要になってきている。このため、作業員の育成を効率よく促進可能な技術が望まれている。 In general, training, education, and guidance for workers to acquire the necessary skills at the manufacturing site are indispensable for ensuring productivity. In addition, due to the recent fluidization of the labor market, the expansion of overseas factories due to globalization, the employment of foreigners, and the fierce replacement of personnel, it is important how quickly workers with little practical experience can be trained and sent to the site. It's coming. Therefore, a technique capable of efficiently promoting the training of workers is desired.

特開２００１－１６６６８１号公報Japanese Unexamined Patent Publication No. 2001-166681 特開２０１７－６４０９５号公報JP-A-2017-64095

本発明の実施形態が解決しようとする課題は、作業員の育成を促進可能な情報処理装置、方法及びプログラムを提供することである。 An object to be solved by the embodiment of the present invention is to provide an information processing device, a method and a program capable of promoting the training of workers.

実施形態に係る情報処理装置は、第１取得手段、第２取得手段、判定手段及び提示手段を備える。前記第１取得手段は、第１作業者の動作を示す第１動作データを取得する。前記第２取得手段は、第２作業者の動作を示す第２動作データを取得する。前記判定手段は、前記第１動作データ及び前記第２動作データを比較し、類似性を判定する。前記提示手段は、前記判定手段による判定の結果に応じて、所定の作業を行う際の動作に関する改善点を示す指示データを、前記第１作業者に対して提示する。 The information processing apparatus according to the embodiment includes a first acquisition means, a second acquisition means, a determination means, and a presentation means. The first acquisition means acquires first operation data indicating the operation of the first worker. The second acquisition means acquires second operation data indicating the operation of the second worker. The determination means compares the first operation data and the second operation data, and determines the similarity. The presenting means presents instruction data indicating improvement points regarding the operation when performing a predetermined work to the first worker according to the result of the determination by the determining means.

図１は、第１の実施形態に係る情報処理装置を含む動作改善促進システムの概略構成例を示す図である。FIG. 1 is a diagram showing a schematic configuration example of an operation improvement promotion system including an information processing apparatus according to the first embodiment. 図２は、同実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。FIG. 2 is a block diagram showing an example of the hardware configuration of the information processing apparatus according to the embodiment. 図３は、同実施形態に係る情報処理装置によって実行される動作改善促進プログラムの機能構成の一例を示すブロック図である。FIG. 3 is a block diagram showing an example of the functional configuration of the operation improvement promotion program executed by the information processing apparatus according to the embodiment. 図４は、同実施形態に係る被験者動作データの一例を示す図である。FIG. 4 is a diagram showing an example of subject motion data according to the same embodiment. 図５は、同実施形態に係る熟練者動作データの一例を示す図である。FIG. 5 is a diagram showing an example of expert operation data according to the embodiment. 図６は、同実施形態に係る被験者動作データと熟練者動作データとを重ね合わせて比較する場合を例示する図である。FIG. 6 is a diagram illustrating a case where the subject motion data and the expert motion data according to the same embodiment are superimposed and compared. 図７は、同実施形態に係る動作改善指示データのデータ構造の一例を示す図である。FIG. 7 is a diagram showing an example of a data structure of operation improvement instruction data according to the same embodiment. 図８は、同実施形態に係る動作改善促進処理の一例を示すフローチャートである。FIG. 8 is a flowchart showing an example of the operation improvement promotion process according to the embodiment. 図９は、図３とは異なる動作改善促進プログラムの機能構成の一例を示すブロック図である。FIG. 9 is a block diagram showing an example of the functional configuration of the operation improvement promotion program different from that of FIG. 図１０は、同実施形態に係る動作データのデータ構造の一例を示す図である。FIG. 10 is a diagram showing an example of a data structure of operation data according to the embodiment. 図１１は、図１０とは異なる動作データのデータ構造の一例を示す図である。FIG. 11 is a diagram showing an example of a data structure of operation data different from that of FIG. 図１２は、図９とは異なる動作改善促進プログラムの機能構成の一例を示すブロック図である。FIG. 12 is a block diagram showing an example of a functional configuration of an operation improvement promotion program different from that of FIG. 図１３は、第２の実施形態に係る動作改善促進プログラムの機能構成の一例を示すブロック図である。FIG. 13 is a block diagram showing an example of the functional configuration of the operation improvement promotion program according to the second embodiment. 図１４は、同実施形態に係る被験者動作データの一例を示す図である。FIG. 14 is a diagram showing an example of subject motion data according to the embodiment. 図１５は、同実施形態に係る被験者動作データと熟練者動作データとを重ね合わせて比較する場合を例示する図である。FIG. 15 is a diagram illustrating a case where the subject motion data and the expert motion data according to the same embodiment are superimposed and compared. 図１６は、図１３とは異なる動作改善促進プログラムの機能構成の一例を示す図である。FIG. 16 is a diagram showing an example of a functional configuration of an operation improvement promotion program different from that of FIG. 図１７は、同実施形態に係る副詞表現データのデータ構造の一例を示す図である。FIG. 17 is a diagram showing an example of a data structure of adverb expression data according to the embodiment. 図１８は、同実施形態に係る動作改善指示の生成について説明するための図である。FIG. 18 is a diagram for explaining the generation of operation improvement instructions according to the embodiment.

以下、図面を参照して実施形態を説明する。 Hereinafter, embodiments will be described with reference to the drawings.

図１は、第１の実施形態に係る情報処理装置を含む動作改善促進システムの概略構成例を示す図である。図１に示す動作改善促進システムは、複数のセンサ装置１１～１４と、データ送受信機１５と、情報処理装置１６とを含んでいる。 FIG. 1 is a diagram showing a schematic configuration example of an operation improvement promotion system including an information processing apparatus according to the first embodiment. The operation improvement promotion system shown in FIG. 1 includes a plurality of sensor devices 11 to 14, a data transceiver 15, and an information processing device 16.

複数のセンサ装置１１～１４は、人（ユーザ）が所定の作業を行うときの動作に関する動作データを測定可能なセンサであり、例えば、加速度センサ、ジャイロセンサ、地磁気センサ及び筋電センサ等が一体化されたウェアラブルセンサ１１～１３や、圧力センサ１４等が一例として挙げられる。これらセンサ装置１１～１４は、所定の作業を行う人や、その人が当該所定の作業を行うにあたって使用する工具等に取り付けられる。各センサ装置１１～１４によって測定される各種動作データは、動作データを測定したセンサの種別（センサ種別）とそのセンサが装着された部位（装着部位、測定部位）とを示す付随データと共に、データ送受信機１５を介して、情報処理装置１６に送信される。なお、付随データは、センサ装置１１～１４の装着時に、例えば装着者（ユーザ）によって設定される。 The plurality of sensor devices 11 to 14 are sensors capable of measuring operation data related to an operation when a person (user) performs a predetermined work, and for example, an acceleration sensor, a gyro sensor, a geomagnetic sensor, a myoelectric sensor, and the like are integrated. Examples thereof include wearable sensors 11 to 13 and pressure sensors 14. These sensor devices 11 to 14 are attached to a person who performs a predetermined work, a tool used by the person to perform the predetermined work, and the like. Various operation data measured by each sensor device 11 to 14 are data together with accompanying data indicating the type of sensor (sensor type) for which the operation data was measured and the part where the sensor is attached (attachment part, measurement part). It is transmitted to the information processing apparatus 16 via the transmitter / receiver 15. The accompanying data is set, for example, by the wearer (user) when the sensor devices 11 to 14 are mounted.

なお、センサ装置は、上記したウェアラブルセンサ１１～１３や圧力センサ１４に限定されず、所定の作業を行う人の動作に関する動作データを測定可能なものであれば、任意の各種センサがセンサ装置として使用されても良い。例えば、所定の作業を行う人の動作の遷移を連続的に撮影可能な撮像装置（カメラ）が、さらなるセンサ装置として、又はセンサ装置１１～１４に代わるセンサ装置として使用されても良い。 The sensor device is not limited to the wearable sensors 11 to 13 and the pressure sensor 14 described above, and any various sensors can be used as the sensor device as long as they can measure operation data related to the movement of a person performing a predetermined work. May be used. For example, an image pickup device (camera) capable of continuously photographing the transition of the movement of a person performing a predetermined work may be used as a further sensor device or as a sensor device in place of the sensor devices 11 to 14.

本実施形態においては、各センサ装置１１～１４が、図１に示すように、所定の作業に対する習熟度が低い人（以下、「被験者」と表記する）ＵＬと、当該所定の作業に対する習熟度が高い人（以下、「熟練者」と表記する）ＵＨとの、右手（右腕）、左手（左腕）、腹部、被験者ＵＬ及び熟練者ＵＨが使用する工具に取り付けられている場合を想定する。また、本実施形態においては、上記した所定の作業が「ネジ締め」である場合を想定する。但し、各センサ装置１１～１４の装着部位や所定の作業の内容は、上記した事項に限定されるものでない。 In the present embodiment, as shown in FIG. 1, each sensor device 11 to 14 has a person (hereinafter referred to as “subject”) who has a low degree of proficiency in a predetermined work and a proficiency in the predetermined work. When attached to a tool used by a high-degree person (hereinafter referred to as "expert") UH, right hand (right arm), left hand (left arm), abdomen , subject UL , and expert UH . Is assumed. Further, in the present embodiment, it is assumed that the predetermined work described above is "screw tightening". However, the mounting sites of the sensor devices 11 to 14 and the contents of the predetermined work are not limited to the above-mentioned matters.

情報処理装置１６は、データ送受信機１５を介して、各センサ装置１１～１４によって測定された被験者の動作データ（以下、「被験者動作データ」と表記する）と、熟練者の動作データ（以下、「熟練者動作データ」と表記する）とを取得すると、被験者動作データ及び熟練者動作データに基づいて、所定の作業の習熟度を高めるためにすべき事項を判定・選択し、その結果を動作改善指示として被験者ＵＬに提示する動作改善促進処理を実行する。なお、被験者動作データ及び熟練者動作データは、各センサ装置１１～１４によって測定された生の動作データであっても良いし、生の動作データに対して加工が施された動作データであっても良い。 The information processing device 16 includes subject motion data (hereinafter referred to as “subject motion data”) measured by each sensor device 11 to 14 via a data transmitter / receiver 15, and expert motion data (hereinafter referred to as “subject motion data”). When "expert motion data") is acquired, the items to be improved in order to improve the proficiency level of a predetermined work are determined and selected based on the subject motion data and the expert motion data, and the result is operated. The motion improvement promotion process presented to the subject UL as an improvement instruction is executed. The subject motion data and the expert motion data may be raw motion data measured by the sensor devices 11 to 14, or may be motion data processed from the raw motion data. Is also good.

図２は、情報処理装置１６のハードウェア構成の一例を示すブロック図である。 FIG. 2 is a block diagram showing an example of the hardware configuration of the information processing apparatus 16.

情報処理装置１６は、図２に示すように、ＣＰＵ２１、システムコントローラ２２、主メモリ２３、グラフィクスコントローラ２４、ＢＩＯＳ－ＲＯＭ２５、不揮発性メモリ２６、無線通信デバイス２７、エンベデッドコントローラ（ＥＣ）２８等を備え、例えば、パーソナルコンピュータ（ＰＣ）等がこれに該当する。なお、本実施形態では、情報処理装置１６がＰＣである場合を想定して説明するが、これに限定されず、情報処理装置１６は、タブレットコンピュータやスマートフォン、各種ウェアラブルデバイス等であっても良い。 As shown in FIG. 2, the information processing apparatus 16 includes a CPU 21, a system controller 22, a main memory 23, a graphics controller 24, a BIOS-ROM 25, a non-volatile memory 26, a wireless communication device 27, an embedded controller (EC) 28, and the like. For example, a personal computer (PC) or the like corresponds to this. In the present embodiment, the description is made assuming that the information processing device 16 is a PC, but the description is not limited to this, and the information processing device 16 may be a tablet computer, a smartphone, various wearable devices, or the like. ..

ＣＰＵ２１は、情報処理装置１６内の各種モジュールの動作を制御するプロセッサである。ＣＰＵ２１は、不揮発性メモリ２６から主メモリ２３にロードされる各種ソフトウェアを実行する。これらソフトウェアには、オペレーティングシステム（ＯＳ）や各種アプリケーションプログラムが含まれる。アプリケーションプログラムには、動作改善促進プログラムが含まれ、この動作改善促進プログラムが、ＣＰＵ２１によって実行されることで、上記した動作改善促進処理は実現される。 The CPU 21 is a processor that controls the operation of various modules in the information processing apparatus 16. The CPU 21 executes various software loaded from the non-volatile memory 26 to the main memory 23. These software include an operating system (OS) and various application programs. The application program includes an operation improvement promotion program, and the operation improvement promotion process is realized by executing the operation improvement promotion program by the CPU 21.

ＣＰＵ２１は、ＢＩＯＳ－ＲＯＭ２５に記憶された基本入出力システム（ＢＩＯＳ）も実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。 The CPU 21 also executes the basic input / output system (BIOS) stored in the BIOS-ROM 25. The BIOS is a program for hardware control.

システムコントローラ２２は、ＣＰＵ２１のローカルバスと各種コンポーネントとの間を接続するデバイスである。システムコントローラ２２には、主メモリ２３をアクセス制御するメモリコントローラも内蔵されている。また、システムコントローラ２２は、ＰＣＩ ＥＸＰＲＥＳＳ規格のシリアルバス等を介してグラフィクスコントローラ２４との通信を行う機能も有している。 The system controller 22 is a device that connects between the local bus of the CPU 21 and various components. The system controller 22 also has a built-in memory controller that controls access to the main memory 23. The system controller 22 also has a function of communicating with the graphics controller 24 via a PCI EXPRESS standard serial bus or the like.

グラフィクスコントローラ２４は、情報処理装置１６に設けられるディスプレイモニタ（ＬＣＤ）や、情報処理装置１６に接続されるディスプレイモニタを制御する表示コントローラである。 The graphics controller 24 is a display controller that controls a display monitor (LCD) provided in the information processing device 16 and a display monitor connected to the information processing device 16.

無線通信デバイス２７は、無線ＬＡＮまたは３Ｇ・４Ｇ移動通信等の無線通信を実行するように構成されたデバイスである。ＥＣ２８は、電力管理のためのエンベデッドコントローラを含むワンチップマイクロコンピュータであり、ユーザの操作に応じて情報処理装置１６のパワーオン・パワーオフを行う機能を有している。 The wireless communication device 27 is a device configured to execute wireless communication such as a wireless LAN or 3G / 4G mobile communication. The EC 28 is a one-chip microcomputer including an embedded controller for power management, and has a function of powering on / off the information processing apparatus 16 according to a user's operation.

図３は、動作改善促進プログラムの機能構成の一例を示すブロック図である。 FIG. 3 is a block diagram showing an example of the functional configuration of the operation improvement promotion program.

動作改善促進プログラムは、機能部として、被験者データ取得部１０１、熟練者データ取得部１０２、類似性判定部１０３、動作改善指示選択部１０４及び提示部１０５等を備える。以下では、各機能部１０１～１０５について詳しく説明すると共に、動作改善指示データベース２０１についても詳しく説明する。動作改善指示データベース２０１は、情報処理装置１６内のストレージデバイス、情報処理装置１６に外付けされたストレージデバイスまたはストレージサービス等を提供するクラウド上のサーバ装置、等によって構成される。 The operation improvement promotion program includes a subject data acquisition unit 101, an expert data acquisition unit 102, a similarity determination unit 103, an operation improvement instruction selection unit 104, a presentation unit 105, and the like as functional units. In the following, each functional unit 101 to 105 will be described in detail, and the operation improvement instruction database 201 will also be described in detail. The operation improvement instruction database 201 is composed of a storage device in the information processing device 16, a storage device externally attached to the information processing device 16, a server device on the cloud that provides a storage service, and the like.

被験者データ取得部１０１は、被験者ＵＬに装着されたセンサ装置１１ａ～１４ａから被験者動作データと当該被験者動作データに付随する付随データとを取得する。より詳しくは、被験者データ取得部１０１は、被験者ＵＬに装着されたセンサ装置１１ａ～１４ａであることを示す識別データが付された被験者動作データと、当該被験者動作データに付随する付随データとを取得する。例えば、被験者ＵＬの右手に筋電センサが装着されている場合、被験者データ取得部１０１は、被験者ＵＬの右手に装着された筋電センサから、図４に示すような、右手の筋肉の活動量（筋電相対出力）の時系列データを被験者動作データとして取得する。 The subject data acquisition unit 101 acquires the subject motion data and the accompanying data accompanying the subject motion data from the sensor devices 11a to 14a mounted on the subject UL. More specifically, the subject data acquisition unit 101 obtains the subject motion data to which the identification data indicating that the sensor devices 11a to 14a are attached to the subject UL is attached, and the accompanying data accompanying the subject motion data. get. For example, when the myoelectric sensor is attached to the right hand of the subject UL , the subject data acquisition unit 101 can see from the myoelectric sensor attached to the right hand of the subject UL that the muscle of the right hand is as shown in FIG. Acquire time-series data of activity amount (relative myoelectric output) as subject motion data.

なお、ここでは、被験者ＵＬの右手に筋電センサが装着されており、その筋電センサから被験者動作データと付随データが取得される場合について説明したが、被験者ＵＬが装着しているその他のセンサ装置（例えば、左手及び腹部に装着された筋電センサや、被験者ＵＬが使用する工具に取り付けられた圧力センサ等）からも同様に、被験者動作データと付随データは取得される。このとき、被験者データ取得部１０１は、各センサ装置１１ａ～１４ａから被験者動作データを取得するタイミングを同期した上で、各センサ装置１１ａ～１４ａから被験者動作データを取得する方が好ましい。 Here, the case where the myoelectric sensor is attached to the right hand of the subject UL and the subject motion data and the accompanying data are acquired from the myoelectric sensor has been described. Similarly, the subject motion data and accompanying data are acquired from the sensor device (for example, a myoelectric sensor attached to the left hand and abdomen, a pressure sensor attached to a tool used by the subject UL , and the like). At this time, it is preferable that the subject data acquisition unit 101 acquires the subject motion data from the sensor devices 11a to 14a after synchronizing the timing of acquiring the subject motion data from the sensor devices 11a to 14a.

熟練者データ取得部１０２は、被験者データ取得部１０１と同様に、熟練者ＵＨに装着されるセンサ装置１１ｂ～１４ｂから熟練者動作データ（換言すると、上記した識別データが付されていない熟練者動作データ）とその付随データを取得する。なお、熟練者データ取得部１０２もまた、各センサ装置１１ｂ～１４ｂから熟練者動作データを取得するタイミングを同期した上で、各センサ装置１１ｂ～１４ｂから熟練者動作データを取得する方が好ましい。図５は、熟練者ＵＨの右手に装着された筋電センサから取得される右手の筋肉の活動量の時系列データの一例を示している。 Similar to the subject data acquisition unit 101, the expert data acquisition unit 102 is an expert operation data (in other words, an expert to which the above-mentioned identification data is not attached) from the sensor devices 11b to 14b mounted on the expert UH. Operation data) and its accompanying data are acquired. It is preferable that the expert data acquisition unit 102 also acquires the expert operation data from the sensor devices 11b to 14b after synchronizing the timing of acquiring the expert operation data from the sensor devices 11b to 14b. FIG. 5 shows an example of time-series data of the amount of activity of the muscle of the right hand acquired from the myoelectric sensor attached to the right hand of the expert UH .

被験者データ取得部１０１及び熟練者データ取得部１０２によって取得された動作データ及びその動作データに付随する付随データは、類似性判定部１０３に出力される。 The operation data acquired by the subject data acquisition unit 101 and the expert data acquisition unit 102 and the accompanying data accompanying the operation data are output to the similarity determination unit 103.

類似性判定部１０３は、被験者データ取得部１０１から出力される被験者動作データと、熟練者データ取得部１０２から出力される熟練者動作データとの入力を受けると、これら動作データと共に入力された付随データによって示されるセンサ種別及び装着部位が共に同一の被験者動作データと熟練者動作データとを比較して、これら動作データの類似性を判定する。 When the similarity determination unit 103 receives the input of the subject motion data output from the subject data acquisition unit 101 and the expert motion data output from the expert data acquisition unit 102, the similarity determination unit 103 is accompanied by the input with these motion data. The subject motion data and the expert motion data having the same sensor type and mounting site shown by the data are compared to determine the similarity of these motion data.

より詳しくは、類似性判定部１０３は、動作データが図４及び図５に示したような時系列データの場合、図６に示すように被験者動作データと熟練者動作データとを重ね合わせて比較し、振幅、周波数、位相、変位といった各種項目に順に着目して、動作データの類似性を判定する。例えば、振幅に着目した場合、類似性判定部１０３は、被験者動作データの最大ピークの振幅と、熟練者動作データの最大ピークの振幅とに所定値以上の差分が検出されたか否かを判定する。なお、所定値は、項目毎に予め設定されているものとし、類似性判定部１０３は、同様な処理を項目毎に実行する。 More specifically, when the motion data is time-series data as shown in FIGS. 4 and 5, the similarity determination unit 103 superimposes and compares the subject motion data and the expert motion data as shown in FIG. Then, the similarity of the operation data is judged by paying attention to various items such as amplitude, frequency, phase, and displacement in order. For example, when focusing on the amplitude, the similarity determination unit 103 determines whether or not a difference of a predetermined value or more is detected between the amplitude of the maximum peak of the subject motion data and the amplitude of the maximum peak of the expert motion data. .. It is assumed that the predetermined value is set in advance for each item, and the similarity determination unit 103 executes the same processing for each item.

なお、類似性判定部１０３において、被験者動作データと熟練者動作データとを正確に重ね合わせるためには、被験者動作データと熟練者動作データとを同期させる必要がある。同期方法としては、２つの動作データに共通する急激なデータの立ち上がりを検出し、立ち上がり時刻の位置を合わせる方法がある。例えば、センサ装置の１つが、３種類のセンサ信号（ｘ軸、ｙ軸、ｚ軸方向の時系列信号）を取得可能な３軸加速度センサの場合、単位時間の信号の２乗で計算可能なパワーを３つのセンサ信号で加算した値が、一定の閾値以上だけ増加した時刻を立ち上がり時刻とみなして、２つの動作データを同期させる。これによれば、別時刻に測定された被験者動作データと熟練者動作データとを正確に重ね合わせることができる。 In addition, in order to accurately superimpose the subject motion data and the expert motion data in the similarity determination unit 103, it is necessary to synchronize the subject motion data and the expert motion data. As a synchronization method, there is a method of detecting a sudden rise of data common to two operation data and adjusting the position of the rise time. For example, in the case of a 3-axis acceleration sensor capable of acquiring three types of sensor signals (time-series signals in the x-axis, y-axis, and z-axis directions), one of the sensor devices can be calculated by the square of the signal of the unit time. The time when the value obtained by adding the powers of the three sensor signals increases by a certain threshold value or more is regarded as the rise time, and the two operation data are synchronized. According to this, it is possible to accurately superimpose the subject motion data and the expert motion data measured at different times.

上記した判定の結果、所定値以上の差分が検出された項目がある場合、類似性判定部１０３は、被験者ＵＬには改善対象となり得る動作があると判定し、所定値以上の差分が検出された項目と、当該差分が熟練者ＵＨを基準としたときにどのような差分であるかとを示す判定結果データ（例えば、［項目］振幅が［どのような差分か］小さい、［項目］タイミング（位相）が［どのような差分か］早い、等）を動作改善指示選択部１０４に出力する。なお、類似性判定部１０３は、判定結果データに加えて、当該判定時に使用した動作データに付随する付随データ（換言すると、比較対象となった動作データと共に取得された付随データ）も共に動作改善指示選択部１０４に出力する。 As a result of the above determination, if there is an item in which a difference of a predetermined value or more is detected, the similarity determination unit 103 determines that the subject UL has an action that can be an improvement target, and detects a difference of a predetermined value or more. Judgment result data (for example, [item] amplitude is small [what kind of difference], [item]] indicating what kind of difference the item is and what kind of difference the difference is based on the expert UH . The timing (phase) is [what kind of difference] early, etc.) is output to the operation improvement instruction selection unit 104. In addition to the determination result data, the similarity determination unit 103 also improves the operation of the accompanying data (in other words, the accompanying data acquired together with the operation data to be compared) associated with the operation data used at the time of the determination. Output to the instruction selection unit 104.

なお、上記した判定の結果、複数の項目について所定値以上の差分が検出された場合、類似性判定部１０３は、最も差分の大きな項目に関する判定結果データだけを、または最も差分の大きな項目に関する判定結果データから順に複数の判定結果データを動作改善指示選択部１０４に出力しても良い。これによれば、早急に改善すべき動作を対象にして、動作改善指示を被験者ＵＬに提示することができるようになる。一方で、類似性判定部１０３は、最も差分の小さな項目に関する判定結果データだけを、または最も差分の小さな項目に関する判定結果データから順に複数の判定結果データを動作改善指示選択部１０４に出力しても良い。これによれば、改善しやすい動作を対象にして、動作改善指示を被験者ＵＬに提示することができるようになる。 When, as a result of the above-mentioned determination, a difference of a predetermined value or more is detected for a plurality of items, the similarity determination unit 103 determines only the determination result data regarding the item having the largest difference, or the determination regarding the item having the largest difference. A plurality of determination result data may be output to the operation improvement instruction selection unit 104 in order from the result data. According to this, it becomes possible to present the motion improvement instruction to the subject UL for the motion to be improved immediately. On the other hand, the similarity determination unit 103 outputs only the determination result data relating to the item having the smallest difference, or outputs a plurality of determination result data in order from the determination result data relating to the item having the smallest difference to the operation improvement instruction selection unit 104. Is also good. According to this, it becomes possible to present the motion improvement instruction to the subject UL for the motion that is easy to improve.

また、ここでは、動作データが時系列データである場合を想定して説明したが、動作データが時系列データではなく、１つの測定値である場合、その測定値が所定値以上であるか否かを判定することで、被験者ＵＬに改善対象となり得る動作があるか否かを判定する。 Further, here, the description is made assuming that the operation data is time-series data, but if the operation data is not time-series data but one measured value, whether or not the measured value is a predetermined value or more. By determining whether or not the subject UL has an action that can be improved.

さらに、本実施形態では、類似性判定部１０３は、被験者ＵＬに改善対象となり得る動作を提示するために、被験者動作データと熟練者動作データとにおける所定値以上の差分を検出するとしたが、これに限定されず、例えば、被験者ＵＬに改善する必要のない動作、つまり、このまま続けるべき動作を提示するために、被験者動作データと熟練者動作データとにおいて一致する部分をさらに検出するとしても良い。 Further, in the present embodiment, the similarity determination unit 103 detects a difference of a predetermined value or more between the subject motion data and the expert motion data in order to present the subject UL with an motion that can be an improvement target. Not limited to this, for example, even if a matching portion between the subject motion data and the expert motion data is further detected in order to present the subject UL an motion that does not need to be improved, that is, an motion that should be continued as it is. good.

これによれば、改善対象となり得る動作に加えて、このまま続けるべき動作もまた被験者ＵＬに提示することができるので、被験者ＵＬは、自身の悪い部分だけでなく良い部分も合わせて知ることができ、被験者ＵＬの動作改善へのモチベーション維持ないしは向上の効果を期待することができる。 According to this, in addition to the movements that can be improved, the movements that should be continued as they are can also be presented to the subject UL , so that the subject UL knows not only the bad part but also the good part of itself. It is possible to expect the effect of maintaining or improving the motivation for improving the movement of the subject UL .

ここで、動作改善指示選択部１０４について説明する前に、動作改善指示データベース２０１について説明する。 Here, before explaining the operation improvement instruction selection unit 104, the operation improvement instruction database 201 will be described.

動作改善指示データベース２０１は、図７に示すように、動作改善指示選択部１０４から出力される文字列データを、動作改善指示選択部１０４に入力される付随データ及び判定結果データに関連づけた動作改善指示データを記憶している。 As shown in FIG. 7, the operation improvement instruction database 201 associates the character string data output from the operation improvement instruction selection unit 104 with the accompanying data and the determination result data input to the operation improvement instruction selection unit 104. The instruction data is stored.

例えば、図７の動作改善指示データａ１によれば、動作改善指示選択部１０４に入力される付随データによって示されるセンサ種別が「筋電センサ」であり、同付随データによって示される装着部位が「右手」であり、動作改善指示選択部１０４に入力される判定結果データによって「振幅が小さい」ことが示される場合、「右手に力を入れてください」という表現の文字列データが、動作改善指示選択部１０４から出力される文字列データとして好適であることが示される。 For example, according to the operation improvement instruction data a1 of FIG. 7, the sensor type indicated by the accompanying data input to the operation improvement instruction selection unit 104 is "myoelectric sensor", and the mounting portion indicated by the accompanying data is " If it is "right hand" and the judgment result data input to the operation improvement instruction selection unit 104 indicates that "the amplitude is small", the character string data of the expression "please put effort into the right hand" is the operation improvement instruction. It is shown that it is suitable as the character string data output from the selection unit 104.

なお、ここでは、図７の動作改善指示データａ１のみを例にとって説明したが、図７に示すその他の動作改善指示データａ２～ａ４においても同様であるため、ここではその詳しい説明は省略する。 Here, only the operation improvement instruction data a1 of FIG. 7 has been described as an example, but since the same applies to the other operation improvement instruction data a2 to a4 shown in FIG. 7, detailed description thereof will be omitted here.

また、本実施形態では、動作改善指示選択部１０４からの出力として、動作改善指示データに文字列データが含まれている場合を例示したが、これに限定されず、文字列データの代わりに、例えば音声データや画像（映像）データ等が、動作改善指示選択部１０４からの出力として、動作改善指示データに含まれても良い。さらには、電気や音波、機械的な力を利用した触覚フィードバックのための動作信号が、動作改善指示選択部１０４からの出力として動作改善指示データに含まれても良い。 Further, in the present embodiment, the case where the operation improvement instruction data includes the character string data is exemplified as the output from the operation improvement instruction selection unit 104, but the present invention is not limited to this, and instead of the character string data, For example, audio data, image (video) data, and the like may be included in the operation improvement instruction data as output from the operation improvement instruction selection unit 104. Further, an operation signal for tactile feedback using electric power, sound waves, or mechanical force may be included in the operation improvement instruction data as an output from the operation improvement instruction selection unit 104.

動作改善指示選択部１０４は、類似性判定部１０３から出力された判定結果データと付随データとの入力を受けると、当該入力された判定結果データ及び付随データに基づいて、動作改善指示データベース２０１から好適な動作改善指示データを選択し、当該選択された動作改善指示データに含まれる文字列データを取得する。取得された文字列データは、提示部１０５に出力される。 When the operation improvement instruction selection unit 104 receives the input of the determination result data and the accompanying data output from the similarity determination unit 103, the operation improvement instruction selection unit 104 is used from the operation improvement instruction database 201 based on the input determination result data and the accompanying data. Suitable operation improvement instruction data is selected, and character string data included in the selected operation improvement instruction data is acquired. The acquired character string data is output to the presentation unit 105.

提示部１０５は、動作改善指示選択部１０４から出力された文字列データの入力を受けると、当該入力された文字列データによって示される文字列を情報処理装置１６に設けられたディスプレイモニタまたは情報処理装置１６に接続されたディスプレイモニタに表示出力し、当該文字列を、つまり、動作改善指示を被験者ＵＬに提示する。 When the presentation unit 105 receives the input of the character string data output from the operation improvement instruction selection unit 104, the presentation unit 105 displays the character string indicated by the input character string data on the display monitor provided in the information processing device 16 or information processing. The display is output to the display monitor connected to the device 16, and the character string, that is, the operation improvement instruction is presented to the subject UL .

なお、提示部１０５は、動作改善指示選択部１０４から文字列データの入力を受ける度に、動作改善指示を被験者ＵＬに提示する、つまり、リアルタイムに動作改善指示を被験者ＵＬに提示しても良いし、入力された文字列データを図示しない一時メモリに記憶しておき、所定のタイミングで、当該一時メモリに記憶された文字列データに基づいた動作改善指示を被験者ＵＬに一括して提示するとしても良い。 Each time the presentation unit 105 receives input of character string data from the operation improvement instruction selection unit 104, the presentation unit 105 presents the operation improvement instruction to the subject UL , that is, presents the operation improvement instruction to the subject UL in real time. Alternatively, the input character string data may be stored in a temporary memory (not shown), and at a predetermined timing, operation improvement instructions based on the character string data stored in the temporary memory may be collectively given to the subject UL . You may present it.

次に、図８のフローチャートを参照して、以上のような機能構成を有した動作改善促進プログラムによって実現される動作改善促進処理の一例について説明する。 Next, with reference to the flowchart of FIG. 8, an example of the operation improvement promotion process realized by the operation improvement promotion program having the above-mentioned functional configuration will be described.

まず、被験者データ取得部１０１は、被験者ＵＬに装着された各センサ装置１１ａ～１４ａから被験者動作データ及びこれに付随する付随データを各々取得する（ステップＳ１）。ステップＳ１の処理と並行して、熟練者データ取得部１０２は、熟練者ＵＨに装着された各センサ装置１１ｂ～１４ｂから熟練者動作データ及びこれに付随する付随データを各々取得する（ステップＳ２）。 First, the subject data acquisition unit 101 acquires subject motion data and accompanying data associated therewith from the sensor devices 11a to 14a mounted on the subject UL (step S1). In parallel with the process of step S1, the expert data acquisition unit 102 acquires expert operation data and accompanying data from each of the sensor devices 11b to 14b mounted on the expert UH (step S2). ).

なお、取得された動作データ及び付随データは、共に類似性判定部１０３に出力される。 Both the acquired operation data and accompanying data are output to the similarity determination unit 103.

続いて、類似性判定部１０３は、被験者データ取得部１０１及び熟練者データ取得部１０２から出力された動作データ及び付随データの入力を受け付ける。そして、類似性判定部１０３は、入力された付随データによって示されるセンサ種別及び装着部位が同一の被験者動作データと熟練者動作データとを順に比較し、被験者ＵＬに改善対象となり得る動作があるか否かを判定する（ステップＳ３）。 Subsequently, the similarity determination unit 103 receives the input of the operation data and the accompanying data output from the subject data acquisition unit 101 and the expert data acquisition unit 102. Then, the similarity determination unit 103 sequentially compares the subject motion data and the expert motion data having the same sensor type and mounting site indicated by the input accompanying data, and the subject UL has an motion that can be an improvement target. Whether or not it is determined (step S3).

ステップＳ３の判定の結果、いずれの被験者動作データと熟練者動作データとの間にも所定値以上の差分がなく、被験者ＵＬに改善対象となり得る動作がないと判定された場合（ステップＳ３のＮＯ）、ここでの処理は終了する。 As a result of the determination in step S3, when there is no difference of a predetermined value or more between any of the subject motion data and the expert motion data, and it is determined that the subject UL has no motion that can be improved (step S3). NO), the process here ends.

一方、ステップＳ３の判定の結果、被験者動作データと熟練者動作データとの間に所定値以上の差分があり、被験者ＵＬに改善対象となり得る動作があると判定された場合（ステップＳ３のＹＥＳ）、類似性判定部１０３は、所定値以上の差分が検出された項目と当該差分が熟練者ＵＨを基準にしたときにどのような差分であるかとを示す判定結果データと、当該被験者動作データ及び当該熟練者動作データに付随した付随データとを動作改善指示選択部１０４に出力する（ステップＳ４）。 On the other hand, as a result of the determination in step S3, when there is a difference of a predetermined value or more between the subject motion data and the expert motion data, and it is determined that the subject UL has an motion that can be improved (YES in step S3). ), The similarity determination unit 103 includes determination result data indicating an item in which a difference of a predetermined value or more is detected and what kind of difference the difference is when the expert UH is used as a reference, and the subject operation. The data and the accompanying data accompanying the expert operation data are output to the operation improvement instruction selection unit 104 (step S4).

次に、動作改善指示選択部１０４は、類似性判定部１０３から出力された判定結果データ及び付随データの入力を受け付ける。そして、動作改善指示選択部１０４は、入力された付随データ及び判定結果データの内容を含む動作改善指示データを、好適な動作改善指示データとして、動作改善指示データベース２０１から選択・取得し、選択・取得された動作改善指示データに含まれる文字列データを提示部１０５に出力する（ステップＳ５）。 Next, the operation improvement instruction selection unit 104 receives the input of the determination result data and the accompanying data output from the similarity determination unit 103. Then, the operation improvement instruction selection unit 104 selects / acquires the operation improvement instruction data including the input accompanying data and the contents of the determination result data as suitable operation improvement instruction data from the operation improvement instruction database 201, and selects / acquires the operation improvement instruction data. The character string data included in the acquired operation improvement instruction data is output to the presentation unit 105 (step S5).

しかる後、提示部１０５は、動作改善指示選択部１０４から出力された文字列データの入力を受けると、当該文字列データをディスプレイモニタに表示出力し（ステップＳ６）、ここでの処理は終了する。 After that, when the presentation unit 105 receives the input of the character string data output from the operation improvement instruction selection unit 104, the presentation unit 105 displays and outputs the character string data to the display monitor (step S6), and the processing here ends. ..

なお、本実施形態では、被験者ＵＬと熟練者ＵＨとが同時刻に同じ所定の作業を行う場合を想定して説明したが、被験者ＵＬと熟練者ＵＨとが必ずしも同時刻に同じ所定の作業を行えるとは限らない。被験者ＵＬが所定の作業を行ったとしても、同時刻に同じ所定の作業を行う熟練者ＵＨがいないと、熟練者データ取得部１０２への入力がないことになるため、被験者動作データと比較する対象が得られず、被験者ＵＬに対して動作改善指示を提示することができないという不都合が生じてしまう。 In this embodiment, it is assumed that the subject UL and the expert U H perform the same predetermined work at the same time, but the subject UL and the expert U H are not necessarily the same at the same time. It is not always possible to perform a predetermined task. Even if the subject U L performs a predetermined work, if there is no expert U H who performs the same predetermined work at the same time, there is no input to the expert data acquisition unit 102. There is an inconvenience that the target to be compared cannot be obtained and the motion improvement instruction cannot be presented to the subject UL .

このため、図９に示すように、熟練者データ取得部１０２の代わりに、熟練者動作データを予め記憶しておく動作データベース２０２が別途設けられても良い。 Therefore, as shown in FIG. 9, instead of the expert data acquisition unit 102, an operation database 202 for storing expert operation data in advance may be separately provided.

動作データベース２０２には、図１０に示すように、熟練者動作データと、付随データとを関連づけた動作データが記憶される。なお、この場合における付随データは、上記したセンサ種別及び装着部位に加えて、所定の作業の内容（作業内容）を示すものとする。例えば、図１０の動作データｂ１は、熟練者ＵＨが「筋電センサ」を「右手」に装着して「ネジ締め」を行った場合の熟練者動作データである「熟練者動作データ１」を含む。 As shown in FIG. 10, the operation database 202 stores operation data in which the expert operation data and the accompanying data are associated with each other. The accompanying data in this case shall indicate the content (work content) of the predetermined work in addition to the sensor type and the mounting site described above. For example, the operation data b1 in FIG. 10 is "expert operation data 1" which is the expert operation data when the expert UH attaches the "myoelectric sensor" to the "right hand" and performs "screw tightening". including.

なお、ここでは、図１０の動作データｂ１のみを例にとって説明したが、図１０に示すその他の動作データｂ２～ｂ４においても同様であるため、ここではその詳しい説明は省略する。 Here, only the operation data b1 of FIG. 10 has been described as an example, but since the same applies to the other operation data b2 to b4 shown in FIG. 10, detailed description thereof will be omitted here.

図９に示すように、熟練者データ取得部１０２の代わりに動作データベース２０２が別途設けられる場合、熟練者動作データは、類似性判定部１０３により動作データベース２０２から取得される。以下に、動作データベース２０２が設けられる場合の類似性判定部１０３の機能について説明する。 As shown in FIG. 9, when the operation database 202 is separately provided in place of the expert data acquisition unit 102, the expert operation data is acquired from the operation database 202 by the similarity determination unit 103. The function of the similarity determination unit 103 when the operation database 202 is provided will be described below.

類似性判定部１０３は、被験者データ取得部１０１から出力される被験者動作データ及びその付随データの入力を受けると、入力された付随データに基づいて、熟練者動作データを動作データベース２０２から取得する。具体的には、類似性判定部１０３は、入力された付随データによって示されるセンサ種別、装着部位及び作業内容に関連づけられた熟練者動作データを動作データベース２０２から取得する。 Upon receiving the input of the subject motion data and its accompanying data output from the subject data acquisition unit 101, the similarity determination unit 103 acquires the expert motion data from the motion database 202 based on the input accompanying data. Specifically, the similarity determination unit 103 acquires expert operation data associated with the sensor type, the mounting site, and the work content indicated by the input accompanying data from the operation database 202.

以上のように、動作データベース２０２が熟練者データ取得部１０２の代わりに別途設けられ、類似性判定部１０３が動作データベース２０２から熟練者動作データを取得可能な構成とすることで、被験者ＵＬが所定の作業を行う際に熟練者ＵＨがいなかったとしても、被験者ＵＬに対して好適な動作改善指示を提示することができる。 As described above, the motion database 202 is separately provided in place of the expert data acquisition unit 102, and the similarity determination unit 103 is configured to be able to acquire expert motion data from the motion database 202, so that the subject UL can acquire the expert motion data. Even if there is no expert UH when performing a predetermined task, it is possible to present a suitable motion improvement instruction to the subject UL .

一方で、上記のように動作データベース２０２が別途設けられ、この動作データベース２０２に、センサ種別、装着部位及び作業内容に関連づけて、模範とすべき１つの熟練者動作データが記憶される場合、次のような不都合が生じる可能性がある。 On the other hand, when the operation database 202 is separately provided as described above, and one expert operation data to be modeled is stored in the operation database 202 in relation to the sensor type, the mounting site, and the work content, the following Inconvenience such as may occur.

例えば、被験者ＵＬが所定の作業への習熟度が非常に低い初心者である場合、上記した動作データベース２０２に記憶された熟練者動作データでは、習熟度に大きな乖離があり、改善対象となり得る動作が多数検出されてしまうことが考えられる。この場合、被験者ＵＬに対して提示する動作改善指示が多岐にわたってしまい、被験者ＵＬをかえって混乱させてしまうという不都合が生じ得る。 For example, when the subject UL is a beginner with a very low proficiency level in a predetermined task, the expert motion data stored in the motion database 202 described above has a large discrepancy in the proficiency level, and the motion can be improved. It is conceivable that a large number of will be detected. In this case, there may be a wide variety of motion improvement instructions presented to the subject UL , which may cause confusion.

この不都合を解消するために、動作データベース２０２に記憶される動作データを、図１１に示すようなデータ構造とし、動作改善促進プログラムによって実現される機能部に、図１２に示す習熟度取得部１０６を追加しても良い。 In order to eliminate this inconvenience, the operation data stored in the operation database 202 has a data structure as shown in FIG. 11, and the functional unit realized by the operation improvement promotion program includes the proficiency level acquisition unit 106 shown in FIG. May be added.

図１１は、動作データベース２０２に記憶される動作データのデータ構造の一例を示す図である。図１１に示す動作データは、図１０に示した動作データとは異なり、熟練者動作データ及び付随データに加えて、習熟度データがさらに関連づけられている。習熟度データは、関連づけられた付随データによって示される作業内容への被験者ＵＬの習熟度を示す。なお、ここでは、習熟度は、１～ＮのＮ段階評価であり、値が大きい程、習熟度が高いことを示すものとする。 FIG. 11 is a diagram showing an example of a data structure of operation data stored in the operation database 202. The motion data shown in FIG. 11 is different from the motion data shown in FIG. 10, and in addition to the expert motion data and the accompanying data, the proficiency level data is further associated with the motion data. The proficiency level data indicates the proficiency level of the subject UL to the work content indicated by the associated accompanying data. Here, the proficiency level is an N-grade evaluation from 1 to N, and the larger the value, the higher the proficiency level.

例えば、図１１の動作データｃ１は、熟練者ＵＨが「筋電センサ」を「右手」に装着して「ネジ締め」を行った場合の熟練者動作データであり、習熟度が「３」の被験者ＵＬ向けの「熟練者動作データ１ａ」である。一方で、図１０の動作データｃ２は、動作データｃ１と同様に、熟練者ＵＨが「筋電センサ」を「右手」に装着して「ネジ締め」を行った場合の熟練者動作データではあるが、習熟度が「２」の被験者ＵＬ向けの「熟練者動作データ１ｂ」である。 For example, the operation data c1 in FIG. 11 is the operation data of an expert when the expert UH attaches the "myoelectric sensor" to the "right hand" and performs "screw tightening", and the proficiency level is "3". It is "expert motion data 1a" for subject UL of. On the other hand, the operation data c2 in FIG. 10 is the operation data c2 of the expert when the expert UH attaches the “myoelectric sensor” to the “right hand” and “tightens the screw” as in the operation data c1. However, it is "expert motion data 1b" for the subject UL whose proficiency level is "2".

なお、ここでは、図１１の動作データｃ１，ｃ２のみを例にとって説明したが、図１１に示すその他の動作データｃ３，ｃ４においても同様であるため、ここではその詳しい説明は省略する。 Here, only the operation data c1 and c2 of FIG. 11 have been described as an example, but since the same applies to the other operation data c3 and c4 shown in FIG. 11, detailed description thereof will be omitted here.

習熟度取得部１０６は、被験者ＵＬの習熟度を示す習熟度データを取得し、これを類似性判定部１０３に出力する機能を有する。なお、習熟度データは、被験者ＵＬが作業を行う現場の監督者が所持する外部装置から取得（入力）されても良いし、被験者データ取得部１０１によって取得された被験者動作データを解析し、その解析結果として生成されても良い。 The proficiency level acquisition unit 106 has a function of acquiring proficiency level data indicating the proficiency level of the subject UL and outputting the data to the similarity determination unit 103. The proficiency level data may be acquired (input) from an external device possessed by the supervisor at the site where the subject UL works, or the subject motion data acquired by the subject data acquisition unit 101 is analyzed. It may be generated as the analysis result.

この場合、類似性判定部１０３は、被験者データ取得部１０１から出力される被験者動作データ及びその付随データと、習熟度取得部１０６から出力される習熟度データとの入力を受けると、入力された付随データ及び習熟度データに基づいて、好適な熟練者動作データを動作データベース２０２から取得する。具体的には、類似性判定部１０３は、付随データによって示されるセンサ種別、装着部位及び作業内容と、習熟度データによって示される習熟度とを含む動作データ内の熟練者動作データを動作データベース２０２から取得する。 In this case, the similarity determination unit 103 is input when it receives the input of the subject motion data and its accompanying data output from the subject data acquisition unit 101 and the proficiency level data output from the proficiency level acquisition unit 106. Suitable expert motion data is acquired from the motion database 202 based on the accompanying data and the proficiency level data. Specifically, the similarity determination unit 103 uses the expert operation data in the operation data including the sensor type, the mounting site and the work content indicated by the accompanying data, and the proficiency level indicated by the proficiency level data in the operation database 202. Get from.

なお、ここでは、類似性判定部１０３が、取得された習熟度データによって示される習熟度を含む動作データ内の熟練者動作データを取得するとしたが、これに限定されず、類似性判定部１０３は、取得された習熟度データによって示される習熟度よりも１段階上の習熟度を含む動作データ内の熟練者動作データを取得するとしても良い。 Here, it is assumed that the similarity determination unit 103 acquires the expert operation data in the operation data including the proficiency level indicated by the acquired proficiency level data, but the similarity determination unit 103 is not limited to this. May acquire the expert motion data in the motion data including the proficiency level one step higher than the proficiency level indicated by the acquired proficiency level data.

また、提示部１０５は、動作改善指示選択部１０４からの文字列データに加えて、当該文字列データによって示される動作改善指示を実行することにより「習熟度が１段階向上する」旨の文字列データを提示しても良いし、当該文字列データによって示される動作改善指示を実行することにより「所定の作業の作業時間がＭ秒短くなる」旨の文字列データを提示しても良い。なお、上記したＭの値は、類似性判定部１０３に入力された習熟度データにより示される習熟度よりも１段階上の習熟度の熟練者動作データを解析することで得られる熟練者ＵＨが所定の作業に要する時間と、類似性判定部１０３に入力された被験者動作データを解析することで得られる被験者ＵＬが所定の作業に要する時間との差分に相当する。 Further, in addition to the character string data from the operation improvement instruction selection unit 104, the presentation unit 105 executes the operation improvement instruction indicated by the character string data to indicate that the proficiency level is improved by one level. The data may be presented, or the character string data to the effect that "the work time of a predetermined work is shortened by M seconds" may be presented by executing the operation improvement instruction indicated by the character string data. The value of M described above is obtained by analyzing expert motion data having a proficiency level one step higher than the proficiency level indicated by the proficiency level data input to the similarity determination unit 103. Corresponds to the difference between the time required for the predetermined work and the time required for the subject UL obtained by analyzing the subject motion data input to the similarity determination unit 103.

以上のように、同じ作業内容であっても、習熟度毎に段階分けされた熟練者動作データを記憶する動作データベース２０２が設けられ、類似性判定部１０３が動作データベース２０２から被験者ＵＬの習熟度に適した熟練者動作データを取得可能な構成とすることで、習熟度の大きく乖離した熟練者動作データが被験者動作データの比較対象となることを防ぐことができ、被験者ＵＬの段階的な習熟度向上を実現することができる。 As described above, even if the work content is the same, the operation database 202 for storing the expert operation data graded according to the proficiency level is provided, and the similarity determination unit 103 is proficient in the subject UL from the operation database 202. By configuring the configuration so that the expert motion data suitable for the degree can be acquired, it is possible to prevent the expert motion data having a large deviation in proficiency from being compared with the subject motion data, and the subject UL can be stepwise. It is possible to improve the proficiency level.

なお、ここでは、被験者ＵＬにとって好適な熟練者動作データが習熟度に応じて選択される場合を例示したが、これに限定されず、例えば、性別や年齢、身長、体重、作業従事年数等に応じて好適な熟練者動作データが選択されても良い。 Here, an example is given in which expert motion data suitable for the subject UL is selected according to the proficiency level, but the present invention is not limited to this, and for example, gender, age, height, weight, years of work, etc. Suitable expert motion data may be selected according to the above.

以上説明した第１の実施形態によれば、情報処理装置１６は、所定の作業時の動作に関し、被験者ＵＬと熟練者ＵＨとの類似性を判定し、被験者ＵＬに対し、好適な動作改善指示を提示可能な構成を備えているので、動作訓練の効率化や必要な技術会得の短縮化を期待することができる。＜第２の実施形態＞
次に、第２の実施形態について説明する。本実施形態では、図３に示す動作改善促進プログラムに、図１３に示す動作推定部１０７がさらに備えられている場合について説明する。なお、以下の説明においては、主に第１の実施形態との相違点に着目し、同一の構成については同一の符号を付して説明を省略することがある。また、本実施形態において、付随データは、センサ種別、装着部位及び作業内容を示すものとする。 According to the first embodiment described above, the information processing apparatus 16 determines the similarity between the subject UL and the expert UH with respect to the operation during a predetermined work, and is suitable for the subject UL . Since it is equipped with a configuration that can present operation improvement instructions, it can be expected that the efficiency of operation training and the shortening of necessary technical acquisition can be expected. <Second embodiment>
Next, the second embodiment will be described. In the present embodiment, a case where the motion estimation unit 107 shown in FIG. 13 is further provided in the motion improvement promotion program shown in FIG. 3 will be described. In the following description, mainly focusing on the differences from the first embodiment, the same components may be designated by the same reference numerals and description thereof may be omitted. Further, in the present embodiment, the accompanying data indicates the sensor type, the mounting site, and the work content.

図１３は、第２の実施形態に係る動作改善促進プログラムの機能構成の一例を示すブロック図である。 FIG. 13 is a block diagram showing an example of the functional configuration of the operation improvement promotion program according to the second embodiment.

動作推定部１０７は、被験者データ取得部１０１から出力される被験者動作データ及び付随データの入力を受けると、当該被験者動作データから特徴量を抽出し、この特徴量を基に、事前に学習させておいた学習結果を用いて、公知のニューラルネットワーク、ＳＶＭ（Support Vector Machine）、ランダムフォレスト等の機械学習・判別分析により、被験者ＵＬの動作を推定する。 When the motion estimation unit 107 receives the input of the subject motion data and the accompanying data output from the subject data acquisition unit 101, the motion estimation unit 107 extracts a feature amount from the subject motion data and causes the motion estimation unit 107 to learn in advance based on the feature amount. The movement of the subject UL is estimated by machine learning / discrimination analysis of a known neural network, SVM (Support Vector Machine), random forest, etc., using the learned data.

例えば、入力された付随データにより示されるセンサ種別が「筋電センサ」であり、装着部位が「右手」であり、作業内容が「ネジ締め」である場合、動作推定部１０７は、入力された被験者動作データから特徴量を抽出し、この特徴量を基に、事前に学習させておいた学習辞書を用いて、被験者ＵＬの動作が「握る」、「放す」、「捻る」のいずれに該当するかを判定することで、被験者ＵＬの動作を推定する。 For example, when the sensor type indicated by the input accompanying data is "myoelectric sensor", the mounting site is "right hand", and the work content is "screw tightening", the motion estimation unit 107 is input. A feature amount is extracted from the subject movement data, and based on this feature amount, the movement of the subject UL can be "grasped", "released", or "twisted" using a learning dictionary trained in advance. By determining whether it is applicable, the movement of the subject UL is estimated.

動作推定部１０７は、被験者ＵＬの動作種別を示す推定結果データを、入力された被験者動作データに付加した（ラベル付けした）上で、類似性判定部１０３に出力する。例えば、動作推定部１０７は、図１４に示す被験者動作データの区間Ａにおける被験者ＵＬの動作が「捻る」であると推定した場合、当該区間Ａにおける被験者ＵＬの動作が「捻る」であることが分かるようなラベル付けをした上で、被験者動作データを類似性判定部１０３に出力する。 The motion estimation unit 107 adds (labels) the estimation result data indicating the motion type of the subject UL to the input subject motion data, and then outputs the estimation result data to the similarity determination unit 103. For example, when the motion estimation unit 107 estimates that the motion of the subject UL in the section A of the subject motion data shown in FIG. 14 is “twisting”, the motion of the subject UL in the section A is “twisting”. After labeling so that it can be understood, the subject motion data is output to the similarity determination unit 103.

なお、動作推定部１０７は、熟練者データ取得部１０２から出力される熟練者動作データに対しても同様な処理を実行し、熟練者ＵＨの動作種別を示す推定結果データを、入力される熟練者動作データにラベル付けした上で、類似性判定部１０３に出力する。 The motion estimation unit 107 also executes the same processing on the expert motion data output from the expert data acquisition unit 102, and inputs the estimation result data indicating the motion type of the expert UH . After labeling the expert operation data, it is output to the similarity determination unit 103.

動作推定部１０７によって被験者動作データ及び熟練者動作データに被験者ＵＬ及び熟練者ＵＨの動作種別を示すラベル付けが行われることにより、次のような利点を得ることができる。 The following advantages can be obtained by labeling the subject motion data and the expert motion data by the motion estimation unit 107 to indicate the motion types of the subject UL and the expert UH .

類似性判定部１０３は、被験者動作データ及び熟練者動作データが時系列データである場合、これら動作データを重ね合わせて比較し、これら動作データの類似性を判定する。しかしながら、被験者動作データと熟練者動作データとでは、比較したい動作の発生時間にズレが生じ得るため、これら動作データをそのまま重ね合わせて比較することができないという不都合がある。このため、被験者データ取得部１０１が被験者動作データを取得するタイミングと、熟練者データ取得部１０２が熟練者動作データを取得するタイミングとを予め同期させておいたり、取得された被験者動作データ及び熟練者動作データの頭を揃えたりする処理が必要になってくる。 When the subject motion data and the expert motion data are time-series data, the similarity determination unit 103 superimposes and compares these motion data, and determines the similarity of these motion data. However, there is a disadvantage that the subject motion data and the expert motion data may be different from each other in the occurrence time of the motion to be compared, so that the motion data cannot be superposed and compared as they are. Therefore, the timing at which the subject data acquisition unit 101 acquires the subject motion data and the timing at which the expert data acquisition unit 102 acquires the expert motion data are synchronized in advance, or the acquired subject motion data and the expert motion data are synchronized. It is necessary to perform processing such as aligning the heads of human motion data.

これに対し、動作推定部１０７によって被験者動作データ及び熟練者動作データに被験者ＵＬ及び熟練者ＵＨの動作種別を示すラベル付けが行われることにより、例えば図１５に示すように、比較したい動作の発生時間にズレが生じていたとしても、比較したい区間のみを抽出して容易に比較することが可能になる。 On the other hand, the motion estimation unit 107 labels the subject motion data and the expert motion data to indicate the motion types of the subject UL and the expert UH , so that the motions to be compared are compared, for example, as shown in FIG. Even if there is a discrepancy in the time of occurrence of, it is possible to extract only the sections to be compared and easily compare them.

また、上記した第１の実施形態では、動作改善指示選択部１０４により好適な動作改善指示データが動作改善指示データベース２０１から選択・取得され、被験者ＵＬへの動作改善指示が一意に決定される場合を例示したが、動作推定部１０７による推定結果データを使用することで、より細やかな動作改善指示を被験者ＵＬに対して提示することも可能になる。 Further, in the first embodiment described above, suitable motion improvement instruction data is selected and acquired from the motion improvement instruction database 201 by the motion improvement instruction selection unit 104, and the motion improvement instruction to the subject UL is uniquely determined. Although the case is illustrated, it is also possible to present a more detailed motion improvement instruction to the subject UL by using the estimation result data by the motion estimation unit 107.

この場合、図１６に示すように、図１３に示す動作改善指示データベース２０１に代えて、副詞表現データベース２０３が設けられると共に、動作改善指示選択部１０４に代えて、動作改善指示生成部１０８が機能部として設けられる。 In this case, as shown in FIG. 16, the adverb expression database 203 is provided in place of the operation improvement instruction database 201 shown in FIG. 13, and the operation improvement instruction generation unit 108 functions in place of the operation improvement instruction selection unit 104. It is provided as a part.

副詞表現データベース２０３は、図１７に示すように、付随データ（の一部）と、判定結果データと、推定結果データと、副詞表現とを関連づけた副詞表現データが記憶される。例えば図１７の副詞表現データｄ１によれば、付随データによって示されるセンサ種別が「筋電センサ」であり、同付随データによって示される装着部位が「右手」であり、判定結果データが「振幅が小さい」旨を示し、推定結果データによって示される動作種別が「握る」である場合の副詞表現は「強く」であることが示される。また、図１７の副詞表現データｄ２によれば、付随データによって示されるセンサ種別が「筋電センサ」であり、同付随データによって示される装着部位が「右手」であり、判定結果データが「タイミングが早い」旨を示し、推定結果データによって示される動作種別が「捻る」である場合の副詞表現は「ゆっくり」であることが示される。 As shown in FIG. 17, the adverb expression database 203 stores (a part of) the accompanying data, the determination result data, the estimation result data, and the adverb expression data in which the adverb expression is associated with each other. For example, according to the adverb expression data d1 of FIG. 17, the sensor type indicated by the accompanying data is "myoelectric sensor", the mounting site indicated by the accompanying data is "right hand", and the determination result data is "amplitude is". It is shown that the adverb expression is "strong" when the action type indicated by the estimation result data is "grasping". Further, according to the adverb expression data d2 of FIG. 17, the sensor type indicated by the accompanying data is "myoelectric sensor", the wearing portion indicated by the accompanying data is "right hand", and the determination result data is "timing". It is shown that the adverb expression is "slow" when the action type indicated by the estimation result data is "twist".

図１６に示す動作改善指示生成部１０８は、類似性判定部１０３から出力される判定結果データ及び付随データと、類似性判定部１０３によって判定時に使用された動作データに付加された推定結果データ（換言すると、比較対象となった動作データに付加された推定結果データ）との入力を受けると、入力された各データと副詞表現データベース２０３とに基づいて、動作改善指示を生成する。 The operation improvement instruction generation unit 108 shown in FIG. 16 has the determination result data and accompanying data output from the similarity determination unit 103, and the estimation result data (estimated result data) added to the operation data used at the time of determination by the similarity determination unit 103. In other words, when the input of the estimation result data added to the operation data to be compared is received, the operation improvement instruction is generated based on each input data and the adjunct expression database 203.

より詳しくは、動作改善指示生成部１０８は、図１８（ａ）に示すように、入力された付随データによって示される装着部位を改善対象となる部位として認識する。また、動作改善指示生成部１０８は、図１８（ｂ）に示すように、入力された推定結果データによって示される動作種別を改善対象となる動作として認識する。さらに、動作改善指示生成部１０８は、図１８（ｃ）に示すように、入力された付随データ、判定結果データ及び推定結果データに基づいて、副詞表現データベース２０３から好適な副詞表現データを選択・取得し、被験者ＵＬに対して提示する動作改善指示に付加する副詞表現を決定する。 More specifically, as shown in FIG. 18A, the operation improvement instruction generation unit 108 recognizes the wearing portion indicated by the input accompanying data as the portion to be improved. Further, as shown in FIG. 18B, the operation improvement instruction generation unit 108 recognizes the operation type indicated by the input estimation result data as the operation to be improved. Further, as shown in FIG. 18C, the operation improvement instruction generation unit 108 selects suitable adverb expression data from the adverb expression database 203 based on the input incidental data, determination result data, and estimation result data. The adverb expression to be acquired and added to the motion improvement instruction presented to the subject UL is determined.

動作改善指示生成部１０８は、予め設定された論理にしたがって、認識・決定された改善対象となる部位、改善対象となる動作、及び副詞表現を組み合わせて、動作改善指示を生成する。詳しくは、動作改善指示生成部１０８は、「［部位］を（に）［副詞表現］［動作］して下さい」といった論理にしたがって、動作改善指示を生成する。 The motion improvement instruction generation unit 108 generates a motion improvement instruction by combining a recognized / determined part to be improved, a motion to be improved, and an adverb expression according to a preset logic. Specifically, the operation improvement instruction generation unit 108 generates an operation improvement instruction according to a logic such as "Please change [part] to (ni) [adverb expression] [action]".

例えば、入力された付随データによって示されるセンサ種別が「筋電センサ」であり、同付随データによって示される装着部位が「右手」であり、入力された判定結果データが「振幅が小さい」旨を示し、推定結果データによって示される動作種別が「握る」であって、この場合に好適な副詞表現が「強く」である場合、動作改善指示生成部１０８は、「［右手］を（に）［強く］［握って］下さい」という動作改善指示を生成する。生成された動作改善指示を示す動作改善指示データは、提示部１０５に出力され、提示部１０５により被験者ＵＬに対して提示される。 For example, the sensor type indicated by the input accompanying data is "myoelectric sensor", the mounting site indicated by the accompanying data is "right hand", and the input determination result data is "small amplitude". When the motion type indicated by the estimation result data is "grasping" and the suitable adverb expression in this case is "strong", the motion improvement instruction generation unit 108 "[right hand] to (ni) [ "Strongly" [Grip] "to generate an operation improvement instruction. The motion improvement instruction data indicating the generated motion improvement instruction is output to the presentation unit 105, and is presented to the subject UL by the presentation unit 105.

なお、動作改善指示生成部１０８によって生成される動作改善指示には、段階的な副詞表現が使用されても良い。具体的には、「強く」という副詞表現だけでなく、「非常に強く」や「やや強く」といった段階的な副詞表現が使用されても良い。 In addition, a stepwise adverb expression may be used for the operation improvement instruction generated by the operation improvement instruction generation unit 108. Specifically, not only the adverb expression "strong" but also a stepwise adverb expression such as "very strong" or "slightly strong" may be used.

この場合、類似性判定部１０３は、被験者動作データと熟練者動作データとの間に単に所定値以上の差分があるか否かを判定するのではなく、段階的に設定された閾値に基づいた判定を行う。例えば段階的な閾値として第１閾値及び第２閾値（但し、第１閾値＜第２閾値である）が設定されている場合、類似性判定部１０３は、被験者動作データと熟練者動作データとの間に第１閾値以上、第２閾値未満の差分があるか否か、あるいは、第２閾値以上の差分があるか否かを判定する。例えば、被験者動作データが熟練者動作データに比べて振幅が小さく、この差分が、第１閾値以上、第２閾値未満である場合、類似性判定部１０３は、「振幅が小さい」旨の判定結果データを出力し、上記差分が、第２閾値以上である場合、類似性判定部１０３は、「振幅が非常に小さい」旨の判定結果データを出力する。 In this case, the similarity determination unit 103 does not simply determine whether or not there is a difference of a predetermined value or more between the subject motion data and the expert motion data, but is based on a threshold value set stepwise. Make a judgment. For example, when the first threshold value and the second threshold value (however, the first threshold value <the second threshold value) are set as the stepwise threshold value, the similarity determination unit 103 includes the subject motion data and the expert motion data. It is determined whether or not there is a difference of the first threshold value or more and less than the second threshold value, or whether or not there is a difference of the second threshold value or more. For example, when the subject motion data has a smaller amplitude than the expert motion data and the difference is equal to or greater than the first threshold value and less than the second threshold value, the similarity determination unit 103 determines that the amplitude is small. Data is output, and when the difference is equal to or greater than the second threshold value, the similarity determination unit 103 outputs determination result data indicating that the amplitude is very small.

このように判定結果データが細やかになることで、副詞表現データベース２０３に記憶される副詞表現データも細分化することが可能になるため（例えば、判定結果データ「振幅が小さい」には「強く」の副詞表現が関連づけられ、判定結果データ「振幅が非常に小さい」には「非常に強く」の副詞表現が関連づけられる等）、結果的に、動作改善指示生成部１０８は、段階的な副詞表現を使用した動作改善指示を生成することが可能になる。 By making the judgment result data finer in this way, the adverb expression data stored in the adverb expression database 203 can also be subdivided (for example, "strongly" for the judgment result data "small amplitude". The adverb expression of is associated, and the adverb expression of "very strong" is associated with the judgment result data "very small amplitude"), and as a result, the operation improvement instruction generation unit 108 is a stepwise adverb expression. It is possible to generate operation improvement instructions using.

以上説明した第２の実施形態によれば、情報処理装置１６は、被験者ＵＬ及び熟練者ＵＨの動作種別を推定し、推定された動作種別を示す推定結果データを被験者動作データ及び熟練者動作データにラベル付け可能な動作推定部１０７をさらに備えているので、被験者動作データと熟練者動作データとの比較を容易に行うことができると共に、被験者ＵＬに対してより細やかな動作改善指示を提示することが可能となる。 According to the second embodiment described above, the information processing apparatus 16 estimates the motion types of the subject UL and the expert UH , and the estimation result data indicating the estimated motion type is the subject motion data and the expert. Since the motion estimation unit 107 that can label the motion data is further provided, it is possible to easily compare the subject motion data with the expert motion data, and the subject UL is instructed to improve the motion in more detail. Can be presented.

以上説明した少なくとも１つの実施形態によれば、作業員（被験者ＵＬ）の育成を促進可能な情報処理装置、方法及びプログラムを提供することができる。 According to at least one embodiment described above, it is possible to provide an information processing device, a method and a program capable of promoting the training of workers (subjects UL ).

なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although some embodiments of the present invention have been described, these embodiments are presented as examples and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other embodiments, and various omissions, replacements, and changes can be made without departing from the gist of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are also included in the scope of the invention described in the claims and the equivalent scope thereof.

１１～１４…センサ装置、１５…データ送受信機、１６…情報処理装置、１０１…被験者データ取得部、１０２…熟練者データ取得部、１０３…類似性判定部、１０４…動作改善指示選択部、１０５…提示部、１０６…習熟度取得部、１０７…動作推定部、１０８…動作改善指示生成部、２０１…動作改善指示データベース、２０２…動作データベース、２０３…副詞表現データベース、ＵＬ…被験者、ＵＨ…熟練者。 11-14 ... Sensor device, 15 ... Data transmitter / receiver, 16 ... Information processing device, 101 ... Subject data acquisition unit, 102 ... Expert data acquisition unit, 103 ... Similarity determination unit, 104 ... Operation improvement instruction selection unit, 105 ... Presentation unit, 106 ... Proficiency acquisition unit, 107 ... Motion estimation unit, 108 ... Motion improvement instruction generation unit, 201 ... Motion improvement instruction database, 202 ... Motion database, 203 ... Advocate expression database, UL ... Subject, UH …expert.

実施形態に係る情報処理装置は、複数種別のセンサ装置と通信する。前記情報処理装置は、第１取得手段、第２取得手段、第３取得手段、推定手段、判定手段、提示手段、選択手段及び第２記憶手段を備える。前記第１取得手段は、第１作業者が所定の作業を行う際の動作を示す第１動作データを前記各センサ装置から各々取得すると共に、前記センサ装置の種別と測定部位と、前記所定の作業の内容とを少なくとも示す付随データを各々取得する。前記第２取得手段は、前記第１作業者より習熟度の高い第２作業者が前記所定の作業を行う際の動作を示す第２動作データを前記各センサ装置から各々取得すると共に、前記付随データを各々取得する。前記第３取得手段は、前記所定の作業に対する前記第１作業者の習熟度を示す習熟度データを取得する。前記推定手段は、前記各第１動作データ及び前記各第２動作データを各々解析して、これら動作データによって示される前記第１作業者及び前記第２作業者による１以上の動作の種別を各々推定し、推定された動作の種別を識別可能な推定結果データを各動作データに付加する。前記判定手段は、前記各第１動作データ及び前記各第２動作データを比較し、類似性を判定する。前記提示手段は、前記判定手段による判定の結果に応じて、所定の作業を行う際の動作に関する改善点を示す指示データを、前記第１作業者に対して提示する。前記選択手段は、前記判定手段による判定結果に応じて、複数の指示データを記憶する第１記憶手段から、前記第１作業者に対して提示する指示データを選択する。前記第２記憶手段は、前記付随データと前記第２動作データと前記習熟度データとを関連付けて記憶する。前記判定手段は、前記第１動作データと共に取得された付随データと、前記取得された習熟度データとに関連づけられた第２動作データを、当該第１動作データの比較対象として前記第２記憶手段から取得し、当該第１動作データ及び当該第２動作データから、同一の動作の種別を示す推定結果データが付加された部分を各々抽出して、これら動作データを比較し、当該第１動作データ及び当該第２動作データの差分と、当該第１動作データ及び当該第２動作データの一致する部分とを検出してこれら動作データの類似性を判定し、当該判定の結果を判定結果データとする。 The information processing device according to the embodiment communicates with a plurality of types of sensor devices. The information processing apparatus includes a first acquisition means, a second acquisition means, a third acquisition means, an estimation means, a determination means , a presentation means , a selection means, and a second storage means . The first acquisition means acquires first operation data indicating an operation when a first worker performs a predetermined work from each of the sensor devices , and also obtains the type and measurement site of the sensor device, and the predetermined predetermined. Acquire at least incidental data indicating the content of the work . The second acquisition means acquires, from each of the sensor devices , second operation data indicating an operation when a second worker, who is more proficient than the first worker , performs the predetermined work, and accompanies the second acquisition means. Get each data . The third acquisition means acquires proficiency level data indicating the proficiency level of the first worker for the predetermined work. The estimation means analyzes each of the first operation data and each of the second operation data, and determines one or more types of operations by the first worker and the second operator indicated by the operation data, respectively. Estimated result data that can be estimated and the type of estimated motion can be identified is added to each motion data. The determination means compares the first operation data and the second operation data, and determines the similarity. The presenting means presents instruction data indicating improvement points regarding the operation when performing a predetermined work to the first worker according to the result of the determination by the determining means. The selection means selects instruction data to be presented to the first worker from the first storage means for storing a plurality of instruction data according to the determination result by the determination means. The second storage means stores the accompanying data, the second operation data, and the proficiency level data in association with each other. The determination means uses the second operation data associated with the accompanying data acquired together with the first operation data and the acquired proficiency level data as a comparison target of the first operation data, and the second storage means. From the first operation data and the second operation data, each part to which the estimation result data indicating the same operation type is added is extracted, and these operation data are compared, and the first operation data is compared. And the difference between the second operation data and the matching portion of the first operation data and the second operation data are detected to determine the similarity of these operation data, and the result of the determination is used as the determination result data. ..

Claims (14)

第１作業者の動作を示す第１動作データを取得する第１取得手段と、
第２作業者の動作を示す第２動作データを取得する第２取得手段と、
前記第１動作データ及び前記第２動作データを比較し、類似性を判定する判定手段と、
前記判定手段による判定結果に応じて、所定の作業を行う際の動作に関する改善点を示す指示データを、前記第１作業者に対して提示する提示手段と、
を具備する情報処理装置。 The first acquisition means for acquiring the first operation data indicating the operation of the first worker, and
A second acquisition means for acquiring the second operation data indicating the operation of the second worker, and
A determination means for comparing the first operation data and the second operation data to determine similarity, and
A presentation means for presenting instruction data indicating an improvement point regarding an operation when performing a predetermined work to the first worker according to a judgment result by the determination means, and a presentation means.
Information processing device equipped with. 前記判定手段による判定結果に応じて、複数の指示データを記憶する第１記憶手段から、前記第１作業者に対して提示する指示データを選択する選択手段と、
を更に具備する請求項１に記載の情報処理装置。 A selection means for selecting instruction data to be presented to the first worker from a first storage means for storing a plurality of instruction data according to a determination result by the determination means.
The information processing apparatus according to claim 1, further comprising. 前記第１動作データは、前記第１作業者が前記所定の作業を行う際の動作を示すデータであり、
前記第２動作データは、前記第１作業者より習熟度が高い前記第２作業者が前記所定の作業を行う際の動作を示すデータである
請求項１または請求項２に記載の情報処理装置。 The first operation data is data indicating an operation when the first worker performs the predetermined work.
The information processing apparatus according to claim 1 or 2, wherein the second operation data is data indicating an operation when the second worker, who has a higher proficiency level than the first worker, performs the predetermined work. .. 前記第１記憶手段を更に具備する請求項２に記載の情報処理装置。 The information processing apparatus according to claim 2, further comprising the first storage means. 前記第１取得手段は、
前記第１動作データを測定可能なセンサ装置によって測定される前記第１動作データと共に、前記センサ装置の種別と測定部位とを少なくとも示す付随データを取得し、
前記第２取得手段は、
前記第２動作データを測定可能なセンサ装置であり、前記第１動作データと同一部位を測定部位としたセンサ装置であって、前記第１動作データを測定可能なセンサ装置と同一種別のセンサ装置によって測定される前記第２動作データと共に前記付随データを取得し、
前記判定手段は、
前記第１動作データ及び前記第２動作データを比較し、当該第１動作データ及び当該第２動作データの差分を検出してこれら動作データの類似性を判定し、当該判定の結果を判定結果データとする
請求項２に記載の情報処理装置。 The first acquisition means is
Along with the first operation data measured by a sensor device capable of measuring the first operation data, incidental data indicating at least the type of the sensor device and the measurement site is acquired.
The second acquisition means is
A sensor device capable of measuring the second operation data, a sensor device having the same site as the first motion data as a measurement site, and a sensor device of the same type as the sensor device capable of measuring the first motion data. Acquire the accompanying data together with the second operation data measured by
The determination means is
The first operation data and the second operation data are compared, the difference between the first operation data and the second operation data is detected, the similarity of these operation data is determined, and the result of the determination is the determination result data. The information processing apparatus according to claim 2. 前記第１記憶手段は、
前記付随データと、前記判定結果データと、前記第１作業者に対する動作改善指示とが少なくとも関連づけられた指示データを記憶し、
前記選択手段は、
前記検出された差分が所定値以上の場合に、当該差分に関する判定結果データと、当該差分を検出する際に比較対象となった第１動作データと共に取得された付随データとを含む指示データを、前記第１作業者に対して提示する指示データとして選択する
請求項５に記載の情報処理装置。 The first storage means is
The instruction data in which the accompanying data, the determination result data, and the operation improvement instruction to the first worker are at least associated with each other is stored.
The selection means is
When the detected difference is equal to or greater than a predetermined value, the instruction data including the determination result data related to the difference and the accompanying data acquired together with the first operation data to be compared when the difference is detected is provided. The information processing device according to claim 5, which is selected as instruction data to be presented to the first worker. 前記付随データは、前記センサ装置の種別と測定部位とに加えて、前記所定の作業の内容を更に示し、
前記情報処理装置は、
前記付随データと前記第２動作データとを関連づけて記憶する第２記憶手段を更に具備し、
前記判定手段は、
前記第１動作データと共に取得された付随データに関連づけられた第２動作データを、当該第１動作データの比較対象として前記第２記憶手段から取得する
請求項５に記載の情報処理装置。 The accompanying data further indicates the content of the predetermined work in addition to the type of the sensor device and the measurement site.
The information processing device is
A second storage means for storing the accompanying data in association with the second operation data is further provided.
The determination means is
The information processing apparatus according to claim 5, wherein the second operation data associated with the accompanying data acquired together with the first operation data is acquired from the second storage means as a comparison target of the first operation data. 前記所定の作業に対する前記第１作業者の習熟度を示す習熟度データを取得する第３取得手段を更に具備し、
前記第２記憶手段は、
前記付随データと前記第２動作データとに加えて、前記習熟度データを更に関連づけて記憶し、
前記判定手段は、
前記第１動作データと共に取得された付随データと、前記取得された習熟度データとに関連づけられた第２動作データを、当該第１動作データの比較対象として前記第２記憶手段から取得する
請求項７に記載の情報処理装置。 Further provided with a third acquisition means for acquiring proficiency level data indicating the proficiency level of the first worker for the predetermined work.
The second storage means is
In addition to the accompanying data and the second operation data, the proficiency level data is further associated and stored.
The determination means is
Claim to acquire the second operation data associated with the acquired proficiency level data and the accompanying data acquired together with the first operation data from the second storage means as a comparison target of the first operation data. The information processing apparatus according to 7. 前記第１動作データ及び前記第２動作データを各々解析して、これら動作データによって示される前記第１作業者及び前記第２作業者による１以上の動作の種別を各々推定し、推定された動作の種別を識別可能な推定結果データを各動作データに付加する推定手段を更に具備し、
前記判定手段は、
前記第１動作データ及び前記第２動作データから、同一の動作の種別を示す推定結果データが付加された部分を各々抽出して、これら動作データを比較する
請求項５に記載の情報処理装置。 The first operation data and the second operation data are analyzed, respectively, and one or more types of operations by the first worker and the second operator indicated by these operation data are estimated, and the estimated operations are performed. It is further equipped with an estimation means for adding estimation result data that can identify the type of the operation data to each operation data.
The determination means is
The information processing apparatus according to claim 5, wherein a portion to which estimation result data indicating the same operation type is added is extracted from the first operation data and the second operation data, and these operation data are compared. 前記判定手段による判定の結果に応じて、前記第１作業者に対する動作改善指示を生成し、これを指示データとする生成手段と、
前記生成される動作改善指示に含まれる副詞表現と、前記判定結果データと、前記付随データと、前記推定結果データとが関連づけられた複数の副詞表現データを記憶する第３記憶手段と、
を更に具備する請求項９に記載の情報処理装置。 According to the result of the determination by the determination means, the generation means for generating the operation improvement instruction to the first worker and using this as the instruction data, and the generation means.
A third storage means for storing a plurality of adverb expression data in which the adverb expression included in the generated operation improvement instruction, the determination result data, the accompanying data, and the estimation result data are associated with each other.
9. The information processing apparatus according to claim 9. 前記生成手段は、
前記検出された差分に関する判定結果データと、当該差分を検出する際に比較対象となった第１動作データと共に取得された付随データと、当該比較対象となった第１動作データに付加された推定結果データとを含む副詞表現データを取得し、
当該付随データによって示される装着部位と、当該推定結果データによって示される動作の種別と、前記取得された副詞表現データによって示される副詞表現とを組み合わせて動作改善指示を生成する
請求項１０に記載の情報処理装置。 The generation means is
The determination result data regarding the detected difference, the accompanying data acquired together with the first operation data to be compared when the difference is detected, and the estimation added to the first operation data to be compared. Get the adverb expression data including the result data
The tenth aspect of the present invention, wherein an operation improvement instruction is generated by combining the wearing part indicated by the accompanying data, the type of operation indicated by the estimation result data, and the adverb expression indicated by the acquired adverb expression data. Information processing device. 前記指示データを表示するディスプレイを更に具備する請求項１乃至請求項１１の何れか一項に記載の情報処理装置。 The information processing apparatus according to any one of claims 1 to 11, further comprising a display for displaying the instruction data. 第１作業者の動作を示す第１動作データを取得することと、
第２作業者の動作を示す第２動作データを取得することと、
前記第１動作データ及び前記第２動作データを比較し、類似性を判定することと、
前記判定の結果に応じて、所定の作業を行う際の動作に関する改善点を示す指示データを、前記第１作業者に対して提示することと、
を具備する方法。 Acquiring the first operation data indicating the operation of the first worker,
Acquiring the second operation data indicating the operation of the second worker,
By comparing the first operation data and the second operation data to determine the similarity,
According to the result of the determination, the instruction data indicating the improvement points regarding the operation when performing the predetermined work is presented to the first worker.
How to equip. コンピュータによって実行されるプログラムであって、前記プログラムは前記コンピュータを、
第１作業者の動作を示す第１動作データを取得する第１取得手段と、
第２作業者の動作を示す第２動作データを取得する第２取得手段と、
前記第１動作データ及び前記第２動作データを比較し、類似性を判定する判定手段と、
前記判定手段による判定の結果に応じて、所定の作業を行う際の動作に関する改善点を示す指示データを、前記第１作業者に対して提示する提示手段として動作させるためのプログラム。 A program executed by a computer, wherein the program is a computer.
The first acquisition means for acquiring the first operation data indicating the operation of the first worker, and
A second acquisition means for acquiring the second operation data indicating the operation of the second worker, and
A determination means for comparing the first operation data and the second operation data to determine similarity, and
A program for operating as a presentation means for presenting instruction data indicating an improvement point regarding an operation when performing a predetermined work according to a result of a determination by the determination means to the first worker.
JP2021190320A 2017-07-13 2021-11-24 Information processing device, method and program Active JP7268121B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021190320A JP7268121B2 (en) 2017-07-13 2021-11-24 Information processing device, method and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017137258A JP2019020913A (en) 2017-07-13 2017-07-13 Information processing apparatus, method and program
JP2021190320A JP7268121B2 (en) 2017-07-13 2021-11-24 Information processing device, method and program

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017137258A Division JP2019020913A (en) 2017-07-13 2017-07-13 Information processing apparatus, method and program

Publications (2)

Publication Number Publication Date
JP2022031286A true JP2022031286A (en) 2022-02-18
JP7268121B2 JP7268121B2 (en) 2023-05-02

Family

ID=87888399

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021190320A Active JP7268121B2 (en) 2017-07-13 2021-11-24 Information processing device, method and program

Country Status (1)

Country Link
JP (1) JP7268121B2 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011123411A (en) * 2009-12-14 2011-06-23 Emprie Technology Development LLC Motion analyzer and motion analyzing method
JP2011164694A (en) * 2010-02-04 2011-08-25 Nec Corp Device and method for support of standard operation execution
JP2012185695A (en) * 2011-03-07 2012-09-27 Univ Of Tsukuba Work management system and work management method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011123411A (en) * 2009-12-14 2011-06-23 Emprie Technology Development LLC Motion analyzer and motion analyzing method
JP2011164694A (en) * 2010-02-04 2011-08-25 Nec Corp Device and method for support of standard operation execution
JP2012185695A (en) * 2011-03-07 2012-09-27 Univ Of Tsukuba Work management system and work management method

Also Published As

Publication number Publication date
JP7268121B2 (en) 2023-05-02

Similar Documents

Publication Publication Date Title
KR102097190B1 (en) Method for analyzing and displaying a realtime exercise motion using a smart mirror and smart mirror for the same
US10971029B2 (en) Information processing device, method, and storage medium
US8113843B2 (en) Apparatus for analyzing operations and method for analyzing operations
US20160166880A1 (en) Exercise information display system, exercise information display method and computer-readable recording medium
KR101455200B1 (en) Learning monitering device and method for monitering of learning
KR20220028654A (en) Apparatus and method for providing taekwondo movement coaching service using mirror dispaly
WO2017150073A1 (en) Work operation analysis system, work operation analysis method, and work operation analysis program
KR20140043174A (en) Simulator for horse riding and method for simulation of horse riding
CN115729349A (en) Augmented reality system, apparatus and method for musculoskeletal ergonomic improvement
JP2022031286A (en) Information processing apparatus, method and program
JP2017207670A (en) Plant operation evaluation device, operation evaluation system for the same, and operation evaluation method for the same
US11462126B2 (en) Work support device and work supporting method
US20210335114A1 (en) Motion Evaluation System, Motion Evaluation Device, and Motion Evaluation Method
EP4331691A1 (en) Movement improvement device, movement improvement method, movement improvement program, and movement improvement system
US20210286983A1 (en) Estimation method, and computer-readable recording medium recording estimation program
US11443558B2 (en) Hand-eye, body part motion recognition and chronologically aligned display of recognized body parts
US20190005842A1 (en) Information processing apparatus, information processing method, and program
Hamilton et al. Biomechanics beyond the lab: Remote technology for osteoarthritis patient data—A scoping review
US20170178380A1 (en) Real-Time Visualization Mechanism
US20240104456A1 (en) Work action recognition system and work action recognition method
US20240037777A1 (en) Information processing apparatus, information processing system, information processing method, and non-transitory computer readable medium
JP7340801B2 (en) Vital data output method, vital data output device and vital sensing system
JP7237756B2 (en) Electronics and information processing systems
US20220261574A1 (en) System for correcting user movement
US11961601B1 (en) Adaptive user interface for determining errors in performance of activities

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211206

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211206

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230322

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230420

R151 Written notification of patent or utility model registration

Ref document number: 7268121

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151