JP2018005789A - Work estimation device, work estimation method and work estimation program - Google Patents

Work estimation device, work estimation method and work estimation program Download PDF

Info

Publication number
JP2018005789A
JP2018005789A JP2016135361A JP2016135361A JP2018005789A JP 2018005789 A JP2018005789 A JP 2018005789A JP 2016135361 A JP2016135361 A JP 2016135361A JP 2016135361 A JP2016135361 A JP 2016135361A JP 2018005789 A JP2018005789 A JP 2018005789A
Authority
JP
Japan
Prior art keywords
work
worker
estimation
data
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016135361A
Other languages
Japanese (ja)
Other versions
JP6738084B2 (en
Inventor
敏正 麻生
Toshimasa Aso
敏正 麻生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tokyo University of Marine Science and Technology NUC
Original Assignee
Tokyo University of Marine Science and Technology NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokyo University of Marine Science and Technology NUC filed Critical Tokyo University of Marine Science and Technology NUC
Priority to JP2016135361A priority Critical patent/JP6738084B2/en
Publication of JP2018005789A publication Critical patent/JP2018005789A/en
Application granted granted Critical
Publication of JP6738084B2 publication Critical patent/JP6738084B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Abstract

PROBLEM TO BE SOLVED: To provide a work estimation device, a work estimation method and a work estimation program capable of accurately estimating a series of work elements included in a work.SOLUTION: A work estimation device of a work estimation system comprises: a storage part 320 for storing reference data in which, prescribed quantization processing is performed with respect to time series data of a behavior detected from a worker who performed work elements, in association with each of the work elements including plural operation elements, the work elements being included in the work; a signal processing part for performing the prescribed quantization processing to the time series data detected by a detection part 120 attached to a portable terminal of the worker, when the worker performed the work; and an estimation part for, based on comparison of the reference data stored in the storage part and the data to which the processing is performed by the signal processing part, estimating the work elements which sequentially appear in the time series data.SELECTED DRAWING: Figure 3

Description

本発明は、作業推定装置、作業推定方法、および作業推定プログラムに関する。   The present invention relates to a work estimation device, a work estimation method, and a work estimation program.

従来、例えば物流過程や工場、洋上などにおける作業者の作業効率を向上させるための技術が知られている。これに関連して、特許文献１には、主にビニールハウスで作業している作業員の作業履歴を自動的に記録するための技術が記載されている。具体的には、複数のビニールハウスの各出入口に設置されたセンサにより人に反応した入退室時刻に基づいて入退室した作業員を特定し、作業者の入室時刻から退室時刻までの位置情報に基づいて、施設領域内における作業者の作業を記録している。   2. Description of the Related Art Conventionally, techniques for improving the work efficiency of workers in, for example, logistics processes, factories, and offshore are known. In this connection, Patent Document 1 describes a technique for automatically recording a work history of a worker who mainly works in a greenhouse. Specifically, workers who entered and exited were identified based on the entrance and exit times that responded to people by sensors installed at the entrances and exits of multiple greenhouses. Based on this, the work of the worker in the facility area is recorded.

特許文献２には、複数の工程を含む生産ラインにおける各工程に関する作業時間の測定開始および測定終了の指示に従って、各工程の作業時間を繰り返して測定し、測定した各工程の作業時間に基づいて生産ラインに含まれる各工程別に平均作業時間を算出して、表示することが記載されている。   According to Patent Document 2, in accordance with instructions for starting and ending measurement of work time for each process in a production line including a plurality of processes, the work time of each process is repeatedly measured, and based on the measured work time of each process. It is described that the average work time is calculated and displayed for each process included in the production line.

特許文献３には、薬局業務の監視システムにおいて、薬局内に設定されたワークエリア毎における業務の様子を撮影することで、業務を行っている作業者および作業者が扱うマーク表示物を撮像し、画像内のマークを認識した場合に、マークの撮影時間、ワークエリアＩＤを含むインデックスを作成し、画像データをインデックスと関連づけて記憶することが記載されている。   In Patent Document 3, in the pharmacy business monitoring system, the work in each work area set in the pharmacy is photographed to capture the worker performing the business and the mark display object handled by the worker. Further, it is described that when a mark in an image is recognized, an index including a shooting time of the mark and a work area ID is created and image data is stored in association with the index.

特許文献４には、所定のセンサ値の出力値が所定の出力条件に該当するか否かを判定することで、時間と共にイベントデータを抽出し、一連の作業手順である正規作業手順について状態と遷移で示される作業グラフと、実際のイベントデータの時系列情報とから、作業内容を推定することが記載されている。   In Patent Literature 4, event data is extracted with time by determining whether or not an output value of a predetermined sensor value satisfies a predetermined output condition, and the state of a regular work procedure that is a series of work procedures. It describes that the work content is estimated from the work graph indicated by the transition and the time series information of the actual event data.

非特許文献１には、工場でのピッキング作業について、専用端末（時計型）を用いて、地磁気または加速度を収集し、作業員による癖など動きの違いを吸収してピッキング作業員の動きをトレースし、ピッキング作業の精度を判断するための手法が記載されている。   Non-Patent Document 1 traces the movement of a picking worker by collecting geomagnetism or acceleration using a dedicated terminal (clock type) for picking work in a factory and absorbing differences in movement such as wrinkles by the worker. A technique for judging the accuracy of the picking work is described.

非特許文献２には、胸ポケットに入れたスマートフォンを用いて、棚から荷を取り出すという作業をした際における上体の動かし方（上体の角度）と取りにくさ（アンケート結果）を数値から推定することが記載されている。   Non-patent document 2 describes numerically how to move the upper body (angle of the upper body) and difficulty (questionnaire results) when taking out the load from the shelf using a smartphone in a breast pocket. The estimation is described.

特開２０１３−３９２５号公報JP 2013-3925 A 特開２０１３−２１１０００号公報JP2013-211000A 特開２０１０−２５８７２９号公報JP 2010-258729 A 特開２０１１−１８４１２１号公報JP 2011-184121 A

「加速度センサを用いた工場でのピッキング作業モニタリングシステム」、情報処理学会第７４回全国大会(2012/3)、河野悠，佐藤永欣，高山毅，村田嘉利，岩手県立大学"Picking monitoring system in the factory using acceleration sensor", 74th National Convention of Information Processing Society of Japan (2012/3), Jun Kono, Nagatsugu Sato, Satoshi Takayama, Yoshitoshi Murata, Iwate Prefectural University 「スマートフォンを用いた倉庫内作業プローブシステムにおける作業負荷の認識に関する一検討」、電子情報通信学会総合大会講演論文集(2016/3)、佐藤 佑香，麻生敏正，東京海洋大学"A study on workload recognition in a work probe system in a warehouse using a smartphone", Proceedings of the IEICE General Conference (2016/3), Yuka Sato, Toshimasa Aso, Tokyo Marine University

しかしながら、上述した特許文献１〜４、および非特許文献１〜２に記載された技術は、一つの作業に含まれる一連の作業要素のそれぞれを推定することをしていない。   However, the techniques described in Patent Documents 1 to 4 and Non-Patent Documents 1 and 2 described above do not estimate each of a series of work elements included in one work.

さらに、出荷作業には、例えば、台車と移動する、荷をとる、荷を台車に載せる、台車と移動する、荷を台車から下ろす、という一連の作業要素が含まれる。一連の作業要素のそれぞれは、例えば、物品をつかむ、はなす、移動する、止まる等の作業者の基本の動作要素を含む。これらの動作要素は、実際の作業現場の状況に応じて大きく異なる場合が多い。具体的には、動作要素は、作業の場所、物品が載置されている棚までの距離、棚の高さ、作業者の体格等により大きく異なる可能性が高い。そのため、加速度や角度の経時的なデータから動作要素の内容を推定しようとすると、個人差による誤差が大きく、精度よく作業を推定することは困難であった。   Further, the shipping operation includes a series of work elements such as moving with a cart, taking a load, placing a load on the cart, moving with the cart, and unloading the load from the cart. Each of the series of work elements includes, for example, the basic operation elements of the worker such as grabbing, releasing, moving, and stopping the article. These operating elements often vary greatly depending on the actual situation at the work site. Specifically, there is a high possibility that the motion elements greatly differ depending on the place of work, the distance to the shelf on which the article is placed, the height of the shelf, the physique of the worker, and the like. For this reason, when trying to estimate the contents of the motion element from the time-dependent data of acceleration and angle, there is a large error due to individual differences, and it is difficult to accurately estimate the work.

本発明は、このような事情を考慮してなされたものであり、作業に含まれる一連の作業要素を高精度に推定することができる作業推定装置、作業推定方法、および作業推定プログラムを提供することを目的の一つとする。   The present invention has been made in view of such circumstances, and provides a work estimation device, a work estimation method, and a work estimation program capable of accurately estimating a series of work elements included in a work. One of the purposes.

本発明の一態様は、作業に含まれる作業要素であって、複数の動作要素を含みうる作業要素のそれぞれに対応付けて、前記作業要素を行った作業者から検出された挙動の時系列データに対して所定の量子化処理を施した参照データを記憶する記憶部と、作業者が作業を行った際に前記作業者に取り付けられた検出部により検出された時系列データに対して前記所定の量子化処理を施す信号処理部と、前記記憶部に記憶された参照データと前記信号処理部により処理が施されたデータとの比較に基づいて、前記時系列データにおいて順次出現する作業要素を推定する推定部と、を備える作業推定装置である。   One aspect of the present invention is a work element included in a work, and is associated with each of the work elements that can include a plurality of motion elements, and time-series data of behavior detected from the worker who performed the work element A storage unit that stores reference data subjected to a predetermined quantization process, and time-series data detected by a detection unit attached to the worker when the worker performs work. A processing element that sequentially appears in the time-series data based on a comparison between the signal processing unit that performs the quantization processing of the reference data and the reference data stored in the storage unit and the data processed by the signal processing unit. And an estimation unit for estimation.

本発明の一態様によれば、作業に含まれる一連の作業要素を高精度に推定することができる。   According to one aspect of the present invention, a series of work elements included in a work can be estimated with high accuracy.

集荷作業の流れの一例を示す図である。It is a figure which shows an example of the flow of a collection work. 第１の実施形態の作業推定システム１の一例を示す構成図である。It is a lineblock diagram showing an example of work presumption system 1 of a 1st embodiment. 携帯端末１００および作業推定装置３００の一例を示す内部構成図である。2 is an internal configuration diagram illustrating an example of a mobile terminal 100 and a work estimation device 300. FIG. 参照データを生成する処理の流れの一例を示すフローチャートである。It is a flowchart which shows an example of the flow of the process which produces | generates reference data. 挙動データの一例を示す図である。It is a figure which shows an example of behavior data. 挙動データのうちのＹ軸加速度の挙動データを示す図である。It is a figure which shows the behavior data of the Y-axis acceleration among behavior data. Ｙ軸加速度の挙動データを所定の量子化処理により変換した参照データの一例を示す図である。It is a figure which shows an example of the reference data which converted the behavior data of the Y-axis acceleration by the predetermined | prescribed quantization process. 作業要素を推定する処理、および情報を管理端末４００に提供する処理の流れの一例を示すフローチャートである。10 is a flowchart illustrating an example of a flow of processing for estimating a work element and processing for providing information to the management terminal 400. 挙動データのうちＹ軸加速度の一例を示す図である。It is a figure which shows an example of a Y-axis acceleration among behavior data. 挙動データのうちＹ軸加速度に対して量子化処理を施したデータの一例を示す図である。It is a figure which shows an example of the data which performed the quantization process with respect to the Y-axis acceleration among behavior data. 比較処理の一例を示す図である。It is a figure which shows an example of a comparison process. 第１の集荷作業における、実際の作業要素の時間的な変化、および作業推定装置３００により作業要素を推定した実験結果を示す図である。It is a figure which shows the experimental change which estimated the work element with the time change of the actual work element in the 1st collection work, and the work estimation apparatus. 第２の集荷作業における、実際の作業要素の時間的な変化、および作業推定装置３００により作業要素を推定した実験結果を示す図である。It is a figure which shows the experimental result which estimated the work element with the time change of the actual work element in the 2nd collection work, and the work estimation apparatus. 管理端末４００に提供される提供情報３６０Ａおよび３６０Ｂの一例を示す図である。It is a figure which shows an example of the provision information 360A and 360B provided to the management terminal 400. 第１の実施形態の作業推定システム１の変形例を示す構成図である。It is a block diagram which shows the modification of the work estimation system 1 of 1st Embodiment. 第２の実施形態の作業推定システム１Ａの一例を示す構成図である。It is a block diagram which shows an example of the work estimation system 1A of 2nd Embodiment. 物流管理データベース６１２の一例を示す図である。It is a figure which shows an example of the physical distribution management database 612. 第２の実施形態における提供情報３６０Ｃの一例を示す図である。It is a figure which shows an example of the provision information 360C in 2nd Embodiment. 第２の実施形態における提供情報３６０Ｄの一例を示す図である。It is a figure which shows an example of the provision information 360D in 2nd Embodiment. 変形例の作業推定システム１Ｂの構成図である。It is a block diagram of the work estimation system 1B of a modification.

以下、図面を参照し、本発明の作業推定装置、作業推定方法、および作業推定プログラムの実施形態について説明する。本発明を適用した作業推定システムは、物流現場や工場、洋上等の作業現場において作業の効率化を図るために、作業者が保持する端末を利用して、作業者の作業に含まれる作業要素のそれぞれを推定するためのシステムである。「作業」とは、作業者が作業現場において繰り返し行う行動であって、一連の作業要素を含む行動である。「作業要素」とは、作業を完了させるための、複数の動作要素を含みうる作業者の一連の行動である。「動作要素」とは、作業者が各作業要素を完了させるための、作業者の単位行動、例えば、手を上げる、しゃがむ、歩く、荷をつかむ、荷を下ろすといった行動であり、挙動の時系列データにおいて特徴が一様になりやすい行動をいう。   Hereinafter, embodiments of a work estimation device, a work estimation method, and a work estimation program according to the present invention will be described with reference to the drawings. The work estimation system to which the present invention is applied is a work element included in a worker's work using a terminal held by the worker in order to improve work efficiency at a work site such as a distribution site, a factory, or offshore. Is a system for estimating each of the above. “Work” is an action repeatedly performed by a worker at a work site, and includes a series of work elements. The “work element” is a series of actions of an operator that can include a plurality of operation elements for completing the work. “Operation element” is a unit action of the worker for the worker to complete each work element, for example, raising a hand, squatting, walking, grabbing a load, or unloading a load. An action that tends to have uniform characteristics in series data.

以下、「作業」が物流対象物を仕分けして発送する集荷作業である場合について説明する。図１は、集荷作業の流れの一例を示す図である。作業者Ｐ１は、例えば倉庫に設置された棚１２から荷１０（物流対象物の一例）を探索し、探索した荷１０を取り出し、取り出した荷１０を台車１４に載置する。次に作業者Ｐ１は、荷１０を載せた台車１４を集荷場所まで移動させ、集荷場所において荷１０を車両２０に載せる。次に作業者Ｐ１は、次の荷１０がある棚１２へ向けて荷１０を載せていない台車１４を移動させる。   Hereinafter, a case where the “work” is a collection work for sorting and shipping physical distribution objects will be described. FIG. 1 is a diagram illustrating an example of a flow of a collection work. For example, the worker P1 searches for a load 10 (an example of a physical distribution object) from a shelf 12 installed in a warehouse, takes out the searched load 10, and places the extracted load 10 on a carriage 14. Next, the worker P1 moves the carriage 14 on which the load 10 is loaded to the collection place, and places the load 10 on the vehicle 20 at the collection place. Next, the worker P1 moves the carriage 14 on which the load 10 is not placed toward the shelf 12 where the next load 10 is located.

上述した集荷作業において、「作業」には、台車と共に荷に向けて移動する、および台車と共に荷を搬送する、荷を探索する、荷を取り出す、という３種の「作業要素」が含まれる。すなわち、３種の作業要素とは、「移動」、「探索」、「取り出し」である。「移動」という作業要素には、例えば、台車を掴む、歩行する、という「動作要素」が含まれる。また、「探索」という作業要素には、例えば、頭部を左右に動かす、体を捻る、歩行する、という「動作要素」が含まれる。「取り出し」という作業要素には、荷に向けて手を伸ばす、荷を掴む、荷を降ろす、という「動作要素」が含まれる。   In the above-described collection work, the “work” includes three types of “work elements” that move toward the load together with the cart, and transport the load with the cart, search for the load, and pick up the load. That is, the three types of work elements are “move”, “search”, and “take out”. The work element “movement” includes, for example, an “operation element” of grabbing a cart or walking. The work element “search” includes, for example, “motion elements” such as moving the head left and right, twisting the body, and walking. The work element “removal” includes “motion elements” such as reaching for the load, grasping the load, and unloading the load.

［第１の実施形態］
（作業推定システム１の構成）
以下、第１の実施形態について説明する。図２は、第１の実施形態の作業推定システム１の一例を示す構成図である。作業推定システム１は、例えば、携帯端末１００と、作業推定装置３００と、管理端末４００とを備える。携帯端末１００と、管理端末４００と作業推定装置３００とは、ネットワーク（不図示）を介して接続されている。ネットワークは、例えば、無線基地局、Ｗｉ−Ｆｉアクセスポイント、通信回線、プロバイダ、インターネットなどを含む。なお、これらの構成要素の全ての組み合わせが相互に通信可能である必要はなく、ネットワークは、一部にローカルなネットワークを含んでもよい。 [First Embodiment]
(Configuration of work estimation system 1)
The first embodiment will be described below. FIG. 2 is a configuration diagram illustrating an example of the work estimation system 1 according to the first embodiment. The work estimation system 1 includes, for example, a mobile terminal 100, a work estimation apparatus 300, and a management terminal 400. The portable terminal 100, the management terminal 400, and the work estimation apparatus 300 are connected via a network (not shown). The network includes, for example, a wireless base station, a Wi-Fi access point, a communication line, a provider, the Internet, and the like. Note that not all combinations of these components need to be able to communicate with each other, and the network may partially include a local network.

携帯端末１００は、作業者Ｐ１に携帯されるスマートフォンや携帯電話などの携帯型の端末装置である。携帯端末１００は、例えば作業者Ｐ１の胸ポケットに収容される。携帯端末１００は、作業者Ｐ１の挙動に関連した挙動データを作業推定装置３００に送信する。なお、本実施形態は、挙動データを送信する装置が携帯端末１００であるが、これに限らず、ヘルメットや時計などの装着物に内蔵されたコンピュータであってよい。   The portable terminal 100 is a portable terminal device such as a smartphone or a mobile phone that is carried by the worker P1. The portable terminal 100 is accommodated in the breast pocket of the worker P1, for example. The portable terminal 100 transmits behavior data related to the behavior of the worker P1 to the work estimation device 300. In the present embodiment, the device that transmits the behavior data is the mobile terminal 100, but is not limited thereto, and may be a computer built in an attachment such as a helmet or a watch.

作業推定装置３００は、挙動データに対して処理を行うサーバ装置である。作業推定装置３００は、処理結果として作業要素の推定結果に関連する情報を管理端末４００に送信する。管理端末４００は、倉庫や荷物の管理者Ｐ２により操作されるパーソナルコンピュータなどの端末装置である。管理端末４００は、作業要素の推定結果に関連する情報に基づいて、情報を管理者Ｐ２に提示する。   The work estimation device 300 is a server device that performs processing on behavior data. The work estimation device 300 transmits information related to the work element estimation result to the management terminal 400 as a processing result. The management terminal 400 is a terminal device such as a personal computer operated by a warehouse or luggage manager P2. The management terminal 400 presents information to the manager P2 based on information related to the work element estimation result.

図３は、携帯端末１００および作業推定装置３００の一例を示す内部構成図である。携帯端末１００は、例えば、端末側通信部１１０と、センサ部１２０と、ユーザインターフェース部１３０と、制御部１４０とを備える。   FIG. 3 is an internal configuration diagram illustrating an example of the mobile terminal 100 and the work estimation device 300. The mobile terminal 100 includes, for example, a terminal side communication unit 110, a sensor unit 120, a user interface unit 130, and a control unit 140.

端末側通信部１１０は、ＮＩＣ（Network Interface Card）や無線通信モジュールなどの通信インターフェースである。センサ部１２０は、例えば、加速度センサ１２２と、角度センサ１２４とを含む。加速度センサ１２２は、例えば、平面方向のＸ軸およびＹ軸それぞれの加速度と、鉛直方向のＺ方向の加速度を検出する。角度センサ１２４は、ピッチ角、ロール角、およびヨー角を検出する。なお、センサ部１２０は、ＧＮＳＳ（Global Navigation Satellite System）を利用した位置情報（緯度および経度）を取得してもよい。ユーザインターフェース部１３０は、作業者Ｐ１の操作を受け付け、画像を表示するタッチパネルや、スピーカなどの各種の機器を含む。   The terminal-side communication unit 110 is a communication interface such as a NIC (Network Interface Card) or a wireless communication module. The sensor unit 120 includes, for example, an acceleration sensor 122 and an angle sensor 124. The acceleration sensor 122 detects, for example, the X-axis and Y-axis accelerations in the planar direction and the Z-direction acceleration in the vertical direction. The angle sensor 124 detects a pitch angle, a roll angle, and a yaw angle. The sensor unit 120 may acquire position information (latitude and longitude) using GNSS (Global Navigation Satellite System). The user interface unit 130 includes various devices such as a touch panel that receives an operation of the worker P1 and displays an image, and a speaker.

制御部１４０は、例えばＣＰＵ（Central Processing Unit）等のプロセッサがプログラムメモリに格納されたプログラムを実行することにより実現される。また、制御部１４０のうち一部または全部は、ＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integrated Circuit）、またはＦＰＧＡ（Field-Programmable Gate Array）等のハードウェアにより実現されてもよいし、ソフトウェアとハードウェアが協働することで実現されてもよい。制御部１４０は、端末側通信部１１０を用いて、Ｘ軸およびＹ軸、およびＺ方向の加速度データと、ピッチ角、ロール角、およびヨー角の角度データとを含む挙動データを作業推定装置３００に送信する。挙動データは、作業要素を行った作業者Ｐ１から検出された挙動の時系列データの一例に相当する。   The control unit 140 is realized by, for example, a processor such as a CPU (Central Processing Unit) executing a program stored in a program memory. Also, part or all of the control unit 140 may be realized by hardware such as LSI (Large Scale Integration), ASIC (Application Specific Integrated Circuit), or FPGA (Field-Programmable Gate Array), or software. And hardware may cooperate. The control unit 140 uses the terminal-side communication unit 110 to obtain behavior data including acceleration data in the X-axis, Y-axis, and Z-direction, and angle data of pitch angle, roll angle, and yaw angle. Send to. The behavior data corresponds to an example of time-series data of behavior detected from the worker P1 who performed the work element.

作業推定装置３００は、例えば、通信部３１０と、参照データ記憶部３２０と、参照データ生成部３３０と、信号処理部３４０と、推定部３５０と、提供情報生成部３６０とを備える。通信部３１０は、ＮＩＣや無線通信モジュールなどの通信インターフェースである。   The work estimation apparatus 300 includes, for example, a communication unit 310, a reference data storage unit 320, a reference data generation unit 330, a signal processing unit 340, an estimation unit 350, and a provision information generation unit 360. The communication unit 310 is a communication interface such as a NIC or a wireless communication module.

参照データ記憶部３２０は、例えば、ＨＤＤ（Hard Disc Drive）、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＯＭ（Read Only Memory）、またはＲＡＭ（Random Access Memory）、或いはこれらを複数用いたハイブリッド型記憶装置により実現される。また、記憶部には、ファームウェアやアプリケーションプログラム等の各種プログラム、各種機能部による処理結果などが記憶される。なお、参照データ記憶部３２０の一部または全部は、作業推定装置３００が各種ネットワークを介してアクセス可能な外部記憶装置によって実現されてもよい。外部記憶装置の一例として、ＮＡＳ（Network Attached Storage）装置が挙げられる。参照データ記憶部３２０には、作業者Ｐ１の作業要素を推定するためのデータである参照データが記憶される。また、参照データ記憶部３２０には、作業推定装置３００における処理結果などの他の情報が記憶されていてもよい。   The reference data storage unit 320 uses, for example, an HDD (Hard Disc Drive), a flash memory, an EEPROM (Electrically Erasable Programmable Read Only Memory), a ROM (Read Only Memory), a RAM (Random Access Memory), or a plurality of these. This is realized by a hybrid storage device. The storage unit stores various programs such as firmware and application programs, processing results by various functional units, and the like. Part or all of the reference data storage unit 320 may be realized by an external storage device that can be accessed by the work estimation device 300 via various networks. An example of the external storage device is a NAS (Network Attached Storage) device. The reference data storage unit 320 stores reference data that is data for estimating the work element of the worker P1. Further, the reference data storage unit 320 may store other information such as a processing result in the work estimation device 300.

参照データ生成部３３０、信号処理部３４０、推定部３５０、および提供情報生成部３６０は、例えばＣＰＵ等のプロセッサがプログラムメモリに格納されたプログラムを実行することにより実現される。また、これらの機能部のうち一部または全部は、ＬＳＩ、ＡＳＩＣ、またはＦＰＧＡ等のハードウェアにより実現されてもよいし、ソフトウェアとハードウェアが協働することで実現されてもよい。   The reference data generation unit 330, the signal processing unit 340, the estimation unit 350, and the provision information generation unit 360 are realized by, for example, a processor such as a CPU executing a program stored in a program memory. Some or all of these functional units may be realized by hardware such as LSI, ASIC, or FPGA, or may be realized by cooperation of software and hardware.

参照データ生成部３３０は、参照データを生成する。信号処理部３４０は、通信部３１０により受信した挙動データに対して所定の量子化処理を行う。推定部３５０は、参照データと信号処理部３４０により所定の量子化処理が施されたデータとの比較に基づいて、挙動データにおいて順次出現する作業要素を推定する。提供情報生成部３６０は、推定部３５０の推定結果に基づいて、管理者Ｐ２に提供する提供情報を生成する。   The reference data generation unit 330 generates reference data. The signal processing unit 340 performs a predetermined quantization process on the behavior data received by the communication unit 310. The estimation unit 350 estimates work elements that sequentially appear in the behavior data based on a comparison between the reference data and the data that has been subjected to the predetermined quantization processing by the signal processing unit 340. The provision information generation unit 360 generates provision information to be provided to the administrator P2 based on the estimation result of the estimation unit 350.

（参照データ生成処理）
図４は、参照データを生成する処理の流れの一例を示すフローチャートである。参照データを生成する処理は、作業推定装置３００に登録する作業要素ごとに実行される。具体的には、参照データを生成する処理は、「移動」、「探索」、「取り出し」、という３種の「作業要素」ごとに、実行される。 (Reference data generation process)
FIG. 4 is a flowchart illustrating an example of a flow of processing for generating reference data. The process of generating the reference data is executed for each work element registered in the work estimation apparatus 300. Specifically, the process of generating the reference data is executed for each of the three types of “work elements” of “move”, “search”, and “take out”.

まず携帯端末１００は、加速度センサ１２２および角度センサ１２４により検出されている加速度および方位に基づいて作業者Ｐ１が静止しているか否かを判定する（ステップＳ１００）。携帯端末１００は、作業者Ｐ１が静止している場合、音声アナウンスを出力する（ステップＳ１０２）。携帯端末１００は、ユーザインターフェース部１３０を用いて、例えば、「登録する作業要素を言ってください。」という音声を出力する。携帯端末１００は、音声認識処理を開始する（ステップＳ１０４）。   First, the portable terminal 100 determines whether or not the worker P1 is stationary based on the acceleration and direction detected by the acceleration sensor 122 and the angle sensor 124 (step S100). When the worker P1 is stationary, the portable terminal 100 outputs a voice announcement (step S102). Using the user interface unit 130, the mobile terminal 100 outputs, for example, a voice “Please say the work element to be registered.” The portable terminal 100 starts a voice recognition process (step S104).

携帯端末１００は、音声認識処理により認識した文字列が作業要素であるか否かを判定する（ステップＳ１０６）。携帯端末１００は、文字列が作業要素である場合、挙動データを取得する（ステップＳ１０８）。携帯端末１００は、挙動データの取得が終了したか否かを判定する（ステップＳ１１０）。携帯端末１００は、例えば、音声認識処理により「終了」という音声を取得した場合に、挙動データの取得が終了したと判定する。なお、携帯端末１００は、ステップＳ１０６において音声が作業要素ではない場合、処理を終了する。   The portable terminal 100 determines whether or not the character string recognized by the voice recognition process is a work element (step S106). If the character string is a work element, the portable terminal 100 acquires behavior data (step S108). The portable terminal 100 determines whether or not the acquisition of behavior data has been completed (step S110). For example, the portable terminal 100 determines that the acquisition of the behavior data is completed when the voice “end” is acquired by the voice recognition process. In addition, the portable terminal 100 complete | finishes a process, when an audio | voice is not a work element in step S106.

次に作業推定装置３００は、携帯端末１００により取得された挙動データを取り込む（ステップＳ１１２）。作業推定装置３００は、通信部３１０を用いて携帯端末１００から送信された端末側通信部１１０を受信することで、挙動データを取り込む。図５は、挙動データの一例を示す図である。図６は、挙動データのうちのＹ軸加速度の挙動データを示す図である。例えば、時刻ｔ１およびｔ４において音声認識処理が行われ、Ｙ軸加速度の挙動データ取得の開始時刻と終了時刻が記録され、挙動データの取得が検出される。また、作業推定装置３００は、時刻ｔ１〜ｔ２およびｔ３〜ｔ４において作業者Ｐ１の静止した状態を検出することで、取得した挙動データから時刻ｔ２〜ｔ３の期間の必要な挙動データを切り出して、参照データ記憶部３２０に記録することができる。   Next, the work estimation apparatus 300 takes in behavior data acquired by the mobile terminal 100 (step S112). The work estimation device 300 receives behavior data by receiving the terminal-side communication unit 110 transmitted from the mobile terminal 100 using the communication unit 310. FIG. 5 is a diagram illustrating an example of behavior data. FIG. 6 is a diagram illustrating behavior data of Y-axis acceleration among the behavior data. For example, voice recognition processing is performed at times t1 and t4, the start time and end time of behavior data acquisition of Y-axis acceleration are recorded, and acquisition of behavior data is detected. In addition, the work estimation device 300 extracts the necessary behavior data for the period of time t2 to t3 from the acquired behavior data by detecting the stationary state of the worker P1 at times t1 to t2 and t3 to t4. It can be recorded in the reference data storage unit 320.

次に作業推定装置３００は、参照データ生成部３３０により所定の量子化処理を行う（ステップＳ１１４）。所定の量子化処理は、例えば、Ｘ軸、Ｙ軸、およびＺ軸の加速度のそれぞれの加速度データ、ピッチ角、ロール角、およびヨー角の角度のそれぞれのデータを平準化する処理である。平準化する処理は、例えば、所定の範囲に含まれる値を「１」所定の範囲を超える値を「２」、所定の範囲未満の値を「０」に分類する処理である。作業推定装置３００は、所定の量子化処理により、例えば、挙動データを０、１、２の３値間で変化するデータに変換する。図７は、Ｙ軸加速度の挙動データを所定の量子化処理により変換した参照データの一例を示す図である。図７に示した参照データは、挙動データが取得された時刻ｔ２からｔ３までの期間において量子化したデータである。   Next, the work estimation apparatus 300 performs a predetermined quantization process by the reference data generation unit 330 (step S114). The predetermined quantization process is, for example, a process of leveling acceleration data of the X-axis, Y-axis, and Z-axis acceleration, and data of the pitch angle, roll angle, and yaw angle. The leveling process is, for example, a process of classifying a value included in a predetermined range as “1”, a value exceeding a predetermined range as “2”, and a value less than the predetermined range as “0”. The work estimation apparatus 300 converts, for example, behavior data into data that changes between three values of 0, 1, and 2 by a predetermined quantization process. FIG. 7 is a diagram illustrating an example of reference data obtained by converting the behavior data of the Y-axis acceleration by a predetermined quantization process. The reference data shown in FIG. 7 is data quantized in the period from time t2 to t3 when the behavior data is acquired.

次に作業推定装置３００は、所定の量子化処理が施されたデータ（参照データ）を参照データ記憶部３２０に記憶する（ステップＳ１１６）。   Next, the work estimation apparatus 300 stores the data (reference data) that has been subjected to the predetermined quantization processing in the reference data storage unit 320 (step S116).

なお、作業推定装置３００は、例えば集荷作業を行う荷１０の種類、棚１２や台車１４の種類、倉庫毎に、参照データをカスタマイズしてもよく、荷１０の種類、棚１２や台車１４の種類、倉庫を指定して、カスタマイズした参照データを選択することができるようにしてもよい。   The work estimation device 300 may customize the reference data for each type of the load 10 that performs the collection work, the type of the shelf 12 or the carriage 14, and the warehouse, for example, and the type of the load 10, the shelf 12 or the carriage 14 The type and warehouse may be specified so that customized reference data can be selected.

（作業要素の推定処理、および情報提供処理）
図８は、作業要素を推定する処理、および情報を管理端末４００に提供する処理の流れの一例を示すフローチャートである。作業要素を推定する処理、および情報を管理端末４００に提供する処理は、所定の期間毎に繰り返して実行されるが、これに限らず、挙動データを取得したタイミングで開始されてもよい。 (Work element estimation processing and information provision processing)
FIG. 8 is a flowchart illustrating an example of the flow of processing for estimating work elements and processing for providing information to the management terminal 400. The process of estimating the work element and the process of providing information to the management terminal 400 are repeatedly executed every predetermined period. However, the present invention is not limited to this, and may be started at the timing when the behavior data is acquired.

まず、作業推定装置３００は、通信部３１０を用いて、携帯端末１００から時系列の挙動データを取得する（ステップＳ２００）。次に作業推定装置３００は、信号処理部３４０を用いて、取得した挙動データに対して所定の量子化処理を行う（ステップＳ２０２）。信号処理部３４０における所定の量子化処理は、参照データ生成部３３０における所定の量子化処理と同じ処理である。   First, the work estimation apparatus 300 acquires time-series behavior data from the mobile terminal 100 using the communication unit 310 (step S200). Next, the work estimation apparatus 300 uses the signal processing unit 340 to perform a predetermined quantization process on the acquired behavior data (step S202). The predetermined quantization process in the signal processing unit 340 is the same process as the predetermined quantization process in the reference data generation unit 330.

次に作業推定装置３００は、参照データ記憶部３２０に記憶されている参照データを一つ選択する（ステップＳ２０４）。次に作業推定装置３００は、推定部３５０を用いて、量子化処理が施されたデータと参照データとを比較する（ステップＳ２０６）。作業推定装置３００は、例えばＤＰマッチングと称される手法を用いて、参照データの時間軸を伸長または圧縮して、双方のデータを比較する。また、作業推定装置３００は、量子化処理が施されたデータの時間軸を圧縮または伸長してもよく、双方の時間軸を伸長または圧縮をしてもよい。これにより、作業推定装置３００は、参照データと実際の集荷作業に要した時間の差を小さくして双方のデータを比較することができる。   Next, the work estimation apparatus 300 selects one reference data stored in the reference data storage unit 320 (step S204). Next, the work estimation apparatus 300 uses the estimation unit 350 to compare the quantized data with the reference data (step S206). The work estimation apparatus 300 uses a technique called DP matching, for example, to expand or compress the time axis of the reference data and compare both data. In addition, the work estimation apparatus 300 may compress or expand the time axis of the data subjected to the quantization process, and may expand or compress both time axes. Thereby, the work estimation apparatus 300 can compare both data by reducing the difference between the reference data and the time required for the actual collection work.

次に作業推定装置３００は、比較された結果としてスコアを算出する（ステップＳ２０８）。作業推定装置３００は、例えば、ある時刻において比較している双方のデータの値が一致している場合にはスコアを高くし、ある時刻において比較している双方のデータの値が一致していない場合にはスコアを低くする。なお、作業推定装置３００は、スコアに限らず、双方のデータが一致していない割合を表すコストを算出してもよく、さらには双方のデータが一致している割合を表す類似度を算出してもよい。   Next, the work estimation apparatus 300 calculates a score as a result of the comparison (step S208). For example, the work estimation device 300 increases the score when the values of both data compared at a certain time match, and the values of both data compared at a certain time do not match. If so, lower the score. Note that the work estimation apparatus 300 may calculate a cost that represents a rate at which both data do not match, as well as a score, and further calculate a similarity that represents a rate at which both data match. May be.

次に作業推定装置３００は、所定の量子化処理が施されたデータについて、全ての参照データを選択したか否かを判定する（ステップＳ２１０）。作業推定装置３００は、全ての参照データを選択していない場合、ステップＳ２０４に処理を戻す。   Next, the work estimation apparatus 300 determines whether or not all reference data has been selected for the data subjected to the predetermined quantization process (step S210). If the work estimation apparatus 300 has not selected all the reference data, the work estimation apparatus 300 returns the process to step S204.

作業推定装置３００は、全ての参照データを選択した場合、スコアが最も高い作業要素が、取得した挙動データにおいて出現した作業要素であることを推定する（ステップＳ２１２）。   When all the reference data is selected, the work estimation device 300 estimates that the work element with the highest score is a work element that has appeared in the acquired behavior data (step S212).

次に作業推定装置３００は、推定した作業要素に基づいて作業全体を推定する（ステップＳ２１４）。作業推定装置３００は、移動、探索、取り出し、という３種の作業要素が順次出現した場合、作業全体が集荷作業であることを推定する。   Next, the work estimation device 300 estimates the entire work based on the estimated work elements (step S214). The work estimation device 300 estimates that the whole work is a collection work when three kinds of work elements such as movement, search, and take-out appear sequentially.

次に作業推定装置３００は、推定結果の送信タイミングが到来したか否かを判定する（ステップＳ２１６）。作業推定装置３００は、例えば、管理端末４００から推定結果を要求するコマンドを受信した場合、推定結果の送信タイミングが到来したと判定する。作業推定装置３００は、コマンドを受信したタイミングに限らず、所定の繰り返し期間が到来したことに応じて推定結果の送信タイミングが到来したと判定してもよい。   Next, the work estimation apparatus 300 determines whether or not the transmission timing of the estimation result has arrived (step S216). For example, when receiving a command requesting an estimation result from the management terminal 400, the work estimation device 300 determines that the transmission timing of the estimation result has arrived. The work estimation device 300 may determine that the transmission timing of the estimation result has arrived in response to the arrival of a predetermined repetition period, not limited to the timing of receiving the command.

作業推定装置３００は、推定結果の送信タイミングが到来した場合、提供情報生成部３６０により提供情報を生成する（ステップＳ２１８）。次に作業推定装置３００は、生成した提供情報を管理端末４００に送信する（ステップＳ２２０）。   When the transmission timing of the estimation result has arrived, the work estimation device 300 generates the provision information by the provision information generation unit 360 (step S218). Next, the work estimation device 300 transmits the generated provision information to the management terminal 400 (step S220).

（作業要素の推定処理）
図９は、挙動データのうちＹ軸加速度の一例を示す図である。作業推定装置３００は、上述したステップＳ２００において図９に示すような挙動データを取得したものとする。図１０は、挙動データのうちＹ軸加速度に対して量子化処理を施したデータの一例を示す図である。作業推定装置３００は、図９に示した挙動データに対して、略静止期間に時間的に挟まれる期間を切り出し、所定の量子化処理を施すことで、図１０に示すようなデータを取得する。 (Work element estimation process)
FIG. 9 is a diagram illustrating an example of the Y-axis acceleration in the behavior data. It is assumed that the work estimation apparatus 300 acquires behavior data as shown in FIG. 9 in step S200 described above. FIG. 10 is a diagram illustrating an example of data obtained by performing quantization processing on the Y-axis acceleration among the behavior data. The work estimation apparatus 300 obtains data as shown in FIG. 10 by cutting out a period of time between substantially stationary periods and performing a predetermined quantization process on the behavior data shown in FIG. .

図１１は、比較処理の一例を示す図である。推定部３５０は、図１１（ａ）に示す量子化処理が施されたデータＤ１のうち所定期間の枠に含まれるデータＤ１−１と、図１１（ｂ）に示す参照データＤ１１、図１１（ｃ）に示す参照データＤ１２、および図１１（ｄ）に示す参照データＤ１３のそれぞれとを比較する。推定部３５０は、データＤ１−１からオフセット期間だけずらしたデータＤ１−２と、図１１（ｂ）に示す参照データＤ１１、図１１（ｃ）に示す参照データＤ１２、および図１１（ｄ）に示す参照データＤ１３のそれぞれとを比較する。さらに、推定部３５０は、データＤ１−２からオフセット期間だけずらしたデータＤ１−３と、図１１（ｂ）に示す参照データＤ１１、図１１（ｃ）に示す参照データＤ１２、および図１１（ｄ）に示す参照データＤ１３のそれぞれとを比較する。このように、推定部３５０は、オフセット期間だけずらしたデータと、参照データのそれぞれとを比較する処理を繰り返す。   FIG. 11 is a diagram illustrating an example of the comparison process. The estimation unit 350 includes the data D1-1 included in the frame of the predetermined period among the data D1 subjected to the quantization process illustrated in FIG. 11A, the reference data D11 illustrated in FIG. The reference data D12 shown in c) and the reference data D13 shown in FIG. The estimation unit 350 converts the data D1-2 shifted from the data D1-1 by the offset period, the reference data D11 shown in FIG. 11B, the reference data D12 shown in FIG. 11C, and FIG. Each of the indicated reference data D13 is compared. Furthermore, the estimation unit 350 performs the data D1-3 shifted from the data D1-2 by the offset period, the reference data D11 shown in FIG. 11B, the reference data D12 shown in FIG. 11C, and FIG. And the reference data D13 shown in FIG. In this way, the estimation unit 350 repeats the process of comparing the data shifted by the offset period with each of the reference data.

推定部３５０は、所定期間の枠に含まれるデータと参照データとを比較する際に、参照データを時間軸において圧縮または伸長する処理（スケーリング処理）を行って、スケーリング処理が施された参照データと所定期間の枠に含まれるデータとを比較する。推定部３５０は、例えば、参照データを時間軸において、１．１倍、１．２倍、或いは０．９倍、０．８倍といったスケーリング処理を行ってから比較する。その場合、推定部３５０は、一つの作業要素に対応する参照データに対して当てはめた倍率を、他の作業要素に対応する参照データに援用してもよい。   When the estimation unit 350 compares the data included in the frame of the predetermined period with the reference data, the estimation unit 350 performs a process (scaling process) to compress or expand the reference data on the time axis, and the reference data subjected to the scaling process And the data included in the frame of the predetermined period are compared. For example, the estimation unit 350 compares the reference data after performing scaling processing such as 1.1 times, 1.2 times, 0.9 times, and 0.8 times on the time axis. In that case, the estimation unit 350 may use the magnification applied to the reference data corresponding to one work element for the reference data corresponding to another work element.

そして、推定部３５０は、比較した結果として所定期間の枠に含まれるデータ毎にスコアを算出し、所定期間の枠に含まれるデータ毎に最も高いスコアに対応する作業要素を推定する。これにより、推定部３５０は、作業に含まれる作業要素の出現順で、作業要素を推定することができる。   Then, the estimation unit 350 calculates a score for each data included in the frame for the predetermined period as a comparison result, and estimates a work element corresponding to the highest score for each data included in the frame for the predetermined period. Thereby, the estimation unit 350 can estimate the work elements in the order of appearance of the work elements included in the work.

また、推定部３５０は、作業要素が連続して出現する場合、それを合算することで、作業要素のそれぞれの開始時刻から終了時刻までの所要時間として推定することができる。   In addition, when work elements appear continuously, the estimation unit 350 can estimate the required time from the start time to the end time of each work element by adding the work elements.

（作業全体の推定処理）
図１２は、第１の集荷作業における、実際の作業要素の時間的な変化、および作業推定装置３００により作業要素を推定した実験結果を示す図である。図１２の真値は、実際の作業者の作業に対応した作業要素の変化を表す。作業要素ＩＤは、作業要素を特定する情報である。 (Overall work estimation process)
FIG. 12 is a diagram showing temporal changes in actual work elements in the first collection work, and experimental results of estimating work elements by the work estimation device 300. The true value in FIG. 12 represents a change in work element corresponding to the actual work of the worker. The work element ID is information for specifying a work element.

第１の集荷作業は、台車１４と共に荷１０に向けて移動する（ＩＤ＝１）、荷１０を探索する（ＩＤ＝２）、荷１０を取り出す（ＩＤ＝０）、荷１０を載せた台車と共に移動する（ＩＤ＝１）という順で作業要素が出現する。作業推定装置３００は、順次出現する作業要素をそれぞれ推定することで、１、２、０、１の順序で作業要素が推定できていることが分かる。また、図１２（ａ）に示す作業要素ＩＤの変化と、図１２（ｂ）に示す作業要素ＩＤの変化とは、作業者が異なるため、各作業要素に要する時間が異なっている。この場合であっても、作業推定装置３００によれば、真値に近い作業要素の推定結果を得ることができることが分かる。   In the first collection work, the vehicle moves toward the load 10 together with the carriage 14 (ID = 1), searches for the load 10 (ID = 2), takes out the load 10 (ID = 0), and the carriage on which the load 10 is loaded. Work elements appear in the order of movement (ID = 1). It is understood that the work estimation device 300 can estimate the work elements in the order of 1, 2, 0, 1 by estimating the work elements that appear sequentially. Also, the change in work element ID shown in FIG. 12 (a) and the change in work element ID shown in FIG. 12 (b) are different for workers, and therefore the time required for each work element is different. Even in this case, according to the work estimation device 300, it can be seen that the work element estimation result close to the true value can be obtained.

作業推定装置３００は、第１の集荷作業の真値に対応する作業要素ＩＤの時系列パターンを表す情報を、例えば、参照データ記憶部３２０に記憶する。推定部３５０は、推定した作業要素に対応した作業要素ＩＤの配列が、１、２、０、１の順序であるかを、類似度から判定する。なお、推定部３５０は、推定した結果と、予め設定した順序とを比較し、上述した比較処理と同様に、類似度（またはコスト）を算出すればよい。推定部３５０は、推定した作業要素に対応した作業要素ＩＤの配列が、予め設定した１、２、０、１の順序に類似する場合、作業者Ｐ１が行った作業が第１の集荷作業であることを判定する。推定部３５０は、推定した作業要素に対応した作業要素ＩＤの配列が、予め設定した１、２、０、１の順序に類似しない場合、作業者Ｐ１が行った作業が第１の集荷作業ではないことを判定する。これにより、作業推定装置３００は、作業全体を推定することができる。   The work estimation device 300 stores information representing a time-series pattern of work element IDs corresponding to the true value of the first collection work, for example, in the reference data storage unit 320. The estimation unit 350 determines from the degree of similarity whether the array of work element IDs corresponding to the estimated work elements is in the order of 1, 2, 0, 1. In addition, the estimation part 350 should just compare the estimated result and the order set beforehand, and should just calculate a similarity (or cost) similarly to the comparison process mentioned above. When the arrangement of the work element IDs corresponding to the estimated work elements is similar to the preset order of 1, 2, 0, 1, the estimation unit 350 performs the work performed by the worker P1 as the first collection work. Determine that there is. When the arrangement of the work element IDs corresponding to the estimated work elements is not similar to the preset order of 1, 2, 0, 1, the estimation unit 350 determines that the work performed by the worker P1 is the first collection work. Judge that there is no. Thereby, the work estimation apparatus 300 can estimate the entire work.

図１３は、第２の集荷作業における、実際の作業要素の時間的な変化、および作業推定装置３００により作業要素を推定した実験結果を示す図である。第２の集荷作業は、台車１４と共に荷１０に向けて移動する（ＩＤ＝１）、荷１０を取り出す（ＩＤ＝０）、台車１４と共に荷１０を移動する（ＩＤ＝１）という順で作業要素が出現する。作業推定装置３００は、順次出現する作業要素をそれぞれ推定することで、１、０、１の順序で作業要素が推定できていることが分かる。また、図１３（ａ）に示す作業要素ＩＤの変化と、図１３（ｂ）に示す作業要素ＩＤの変化とは、作業者が異なるため、各作業要素に要する時間が異なっている。この場合であっても、作業推定装置３００によれば、真値に近い作業要素の推定結果を得ることができることが分かる。   FIG. 13 is a diagram illustrating a temporal change of an actual work element and a result of an experiment in which the work element is estimated by the work estimation device 300 in the second collection work. The second collection work is performed in the order of moving toward the load 10 together with the carriage 14 (ID = 1), taking out the load 10 (ID = 0), and moving the load 10 together with the carriage 14 (ID = 1). An element appears. It is understood that the work estimation device 300 can estimate the work elements in the order of 1, 0, 1 by estimating the work elements that appear sequentially. Further, the change in the work element ID shown in FIG. 13A and the change in the work element ID shown in FIG. 13B are different for the workers, and therefore the time required for each work element is different. Even in this case, according to the work estimation device 300, it can be seen that the work element estimation result close to the true value can be obtained.

作業推定装置３００は、第１の集荷作業の真値に対応する作業要素ＩＤの時系列パターンを表す情報を、例えば、参照データ記憶部３２０に記憶する。推定部３５０は、推定した作業要素に対応した作業要素ＩＤの配列が、１、０、１の順序であるかを、類似度から判定する。推定部３５０は、推定した作業要素に対応した作業要素ＩＤの配列が、予め設定した１、０、１の順序に類似する場合、作業者Ｐ１が行った作業が第２の集荷作業であることを判定する。推定部３５０は、推定した作業要素に対応した作業要素ＩＤの配列が、予め設定した１、０、１の順序に類似しない場合、作業者Ｐ１が行った作業が第２の集荷作業ではないことを判定する。これにより、作業推定装置３００は、作業全体を推定することができる。   The work estimation device 300 stores information representing a time-series pattern of work element IDs corresponding to the true value of the first collection work, for example, in the reference data storage unit 320. The estimation unit 350 determines from the degree of similarity whether the array of work element IDs corresponding to the estimated work elements is in the order of 1, 0, or 1. When the arrangement of the work element IDs corresponding to the estimated work elements is similar to the preset order of 1, 0, 1, the estimation unit 350 indicates that the work performed by the worker P1 is the second collection work. Determine. The estimation unit 350 determines that the work performed by the worker P1 is not the second collection work when the arrangement of the work element IDs corresponding to the estimated work elements is not similar to the preset order of 1, 0, 1 Determine. Thereby, the work estimation apparatus 300 can estimate the entire work.

（提供情報の生成処理）
図１４は、管理端末４００に提供される提供情報３６０Ａおよび３６０Ｂの一例を示す図である。提供情報３６０Ａおよび３６０Ｂは、推定部３５０により推定された作業要素ごとの所要時間の割合を円グラフ化した画像を表示させるための情報である。提供情報生成部３６０は、作業者Ｐ１の作業時間における推定部３５０により推定された作業要素ごとの所要時間の割合を算出する。提供情報生成部３６０は、算出した作業要素ごとの所要時間の割合に基づいて、円グラフを表示させるための情報を生成する。 (Providing information generation process)
FIG. 14 is a diagram illustrating an example of provision information 360 </ b> A and 360 </ b> B provided to the management terminal 400. The provided information 360A and 360B is information for displaying an image in which the ratio of the required time for each work element estimated by the estimation unit 350 is graphed. The provided information generation unit 360 calculates the ratio of the required time for each work element estimated by the estimation unit 350 in the work time of the worker P1. The provided information generation unit 360 generates information for displaying a pie chart based on the calculated ratio of the required time for each work element.

作業推定装置３００は、推定結果の送信タイミングにおいて提供情報３６０Ａを管理端末４００に送信し、管理端末４００によりグラフ化した画像を表示させる。これにより、作業推定装置３００は、提供情報３６０Ａに対応した円グラフを表示させることができる。この結果、管理者Ｐ２は、集荷作業における探索の割合が多いことを直感的に認識することができ、荷１０や棚１２の配置などの改善作業を行うことができる。   The work estimation apparatus 300 transmits the provision information 360A to the management terminal 400 at the transmission timing of the estimation result, and displays the image graphed by the management terminal 400. Thereby, the work estimation apparatus 300 can display a pie chart corresponding to the provision information 360A. As a result, the manager P2 can intuitively recognize that the search rate in the collection work is large, and can perform improvement work such as the arrangement of the load 10 and the shelf 12.

荷１０や棚１２の配置を変更した後の推定結果の送信タイミングが到来したことに応じ、作業推定装置３００は、提供情報３６０Ｂを管理端末４００に送信し、管理端末４００によりグラフ化した画像を表示させる。これにより、作業推定装置３００は、提供情報３６０Ｂに対応した円グラフを表示させることができる。この結果、管理者Ｐ２は、探索の割合が少なくなったことを直感的に認識することができ、荷１０や棚１２の配置などの改善作業が効果的に実施できたことを認識することができる。   In response to the arrival of the estimation result transmission timing after the arrangement of the load 10 or the shelf 12 has arrived, the work estimation device 300 transmits the provision information 360B to the management terminal 400, and displays the image graphed by the management terminal 400. Display. Thereby, the work estimation apparatus 300 can display a pie chart corresponding to the provision information 360B. As a result, the administrator P2 can intuitively recognize that the search rate has decreased, and can recognize that improvement work such as the placement of the load 10 and the shelf 12 has been effectively performed. it can.

（姿勢の抽出処理）
なお、提供情報の生成処理には、作業を行っている最中における姿勢のうち作業者Ｐ１にとって負担が大きい姿勢を抽出する処理を含めてもよい。図１５は、第１の実施形態の作業推定システム１の変形例を示す構成図である。この場合、作業推定装置３００は、倉庫内の空間を撮像するカメラ装置２００をさらに備え、撮像した結果としての動画データを取得し、通信部３１０に送る。通信部３１０により取得した動画データから作業者Ｐ１の姿勢のうち、負担が大きい姿勢を抽出する。負担が大きい姿勢とは、例えば、床面の荷１０を取るため、作業者Ｐ１が腰を大きく曲げる姿勢である。作業推定装置３００は、負担が大きい姿勢を抽出した動画データの時刻に推定された作業要素を特定し、特定した作業要素における作業者Ｐ１の負荷が高いことを推定する。 (Attitude extraction process)
The provided information generation process may include a process of extracting a posture with a heavy burden on the worker P1 from postures during the work. FIG. 15 is a configuration diagram illustrating a modification of the work estimation system 1 according to the first embodiment. In this case, the work estimation device 300 further includes a camera device 200 that images the space in the warehouse, acquires moving image data as a result of imaging, and sends the moving image data to the communication unit 310. From the moving image data acquired by the communication unit 310, a posture with a heavy burden is extracted from the posture of the worker P1. The posture with a large load is, for example, a posture in which the worker P1 bends his / her waist greatly in order to take the load 10 on the floor. The work estimation device 300 identifies the work element estimated at the time of the moving image data from which the posture with a large burden is extracted, and estimates that the load on the worker P1 in the identified work element is high.

（第１の実施形態の効果）
第１の実施形態の作業推定システム１によれば、作業者から検出された挙動の時系列データに対して所定の量子化処理を施した参照データを記憶しておき、参照データと、挙動データに対して量子化処理が施されたデータとの比較に基づいて、挙動データにおいて順次出現する作業要素を推定することにより、作業に含まれる一連の作業要素を高精度に推定することができる。前述したように、動作要素は、作業者Ｐ１の行動から検出される挙動において出現する特徴が一様であり、また作業者の体格、作業場所の条件等により変動するため、これを単体で推定するには複雑かつ高度な情報処理が必要となる。一方、動作要素間では、検出される特徴が大きく異なるため、動作要素全体として捉えた場合の特徴の変化は、個人差や条件の差に余り依存せず、判別しやすいものとなる。すなわち、作業要素においては、各動作要素の特徴の差が順次現れるため、一般化してコンピュータにより判別するのが比較的容易である。 (Effects of the first embodiment)
According to the work estimation system 1 of the first embodiment, reference data obtained by performing predetermined quantization processing on time-series data of behavior detected by an operator is stored, and reference data and behavior data are stored. By estimating the work elements that appear sequentially in the behavior data based on the comparison with the data subjected to the quantization process, a series of work elements included in the work can be estimated with high accuracy. As described above, the motion element has uniform characteristics that appear in the behavior detected from the behavior of the worker P1, and also varies depending on the physique of the worker, the conditions of the work place, etc., so this is estimated by itself. To do this, complex and sophisticated information processing is required. On the other hand, since the detected features differ greatly between the motion elements, the change in the features when viewed as the entire motion element does not depend much on individual differences or differences in conditions, and is easy to discriminate. That is, in the work element, since the difference in the features of each operation element appears in order, it is relatively easy to generalize and discriminate by a computer.

また、第１の実施形態の作業推定システム１によれば、作業に対応付けた複数の作業要素の出現順を示す情報と、推定した複数の作業要素の出現順との比較に基づいて作業を推定することができる。これにより、作業推定システム１によれば、予め設定された作業を作業者Ｐ１が行っているか否かを監視することができる。   Further, according to the work estimation system 1 of the first embodiment, the work is performed based on a comparison between the information indicating the appearance order of the plurality of work elements associated with the work and the estimated order of appearance of the plurality of work elements. Can be estimated. Thereby, according to the work estimation system 1, it is possible to monitor whether or not the worker P1 is performing a preset work.

さらに、第１の実施形態の作業推定システム１によれば、順次出現する作業要素のそれぞれを開始時刻から終了時刻までの所要時間を推定することができるので、所要時間に基づいて荷１０や棚１２の配置を変更するなどの改善を行うことができる。例えば、作業要素の「探索」の所要時間の割合を少なくするように、荷１０や棚１２の配置を変更することができる。   Furthermore, according to the work estimation system 1 of the first embodiment, it is possible to estimate the time required from the start time to the end time for each work element that appears sequentially. Improvements such as changing the arrangement of 12 can be performed. For example, the arrangement of the loads 10 and the shelves 12 can be changed so as to reduce the ratio of the time required for “searching” work elements.

さらに、第１の実施形態の作業推定システム１によれば、推定された作業要素ごとの所要時間の割合をグラフ化した画像を表示させるための情報を生成することにより、管理者Ｐ２にグラフ化した画像を提示することができる。これにより、作業推定システム１によれば、作業要素をわかりやすく認識させることができ、利便性を向上させることができる。   Furthermore, according to the work estimation system 1 of the first embodiment, by generating information for displaying an image in which the ratio of the required time for each estimated work element is graphed, the information is graphed to the administrator P2. Images can be presented. Thereby, according to the work estimation system 1, work elements can be recognized in an easy-to-understand manner, and convenience can be improved.

さらに、第１の実施形態の作業推定システム１によれば、動画データから抽出した作業者Ｐ１の姿勢と、推定した作業要素との時間的な関係に基づいて、推定した作業要素における作業者Ｐ１の負荷を推定するので、作業者Ｐ１の負荷を抑制するような改善を行うことができる。   Furthermore, according to the work estimation system 1 of the first embodiment, the worker P1 in the estimated work element based on the temporal relationship between the posture of the worker P1 extracted from the moving image data and the estimated work element. Therefore, an improvement that suppresses the load on the worker P1 can be performed.

［第２の実施形態］
以下、第２の実施形態について説明する。図１６は、第２の実施形態の作業推定システム１Ａの一例を示す構成図である。第２の実施形態の作業推定システム１Ａは、荷１０ごと、または棚１２毎、または倉庫毎に、推定部３５０により推定された作業要素ごとの所要時間の割合をグラフ化した画像を表示させるための情報を生成する点で、第１の実施形態とは異なる。棚１２、または倉庫は、荷１０をグループ化したグループの一例である。以下、この相違点を中心に説明する。 [Second Embodiment]
Hereinafter, the second embodiment will be described. FIG. 16 is a configuration diagram illustrating an example of a work estimation system 1A according to the second embodiment. The work estimation system 1A of the second embodiment displays an image in which the ratio of the required time for each work element estimated by the estimation unit 350 is graphed for each load 10, each shelf 12, or each warehouse. This is different from the first embodiment in that the information is generated. The shelf 12 or the warehouse is an example of a group in which the loads 10 are grouped. Hereinafter, this difference will be mainly described.

第２の実施形態の作業推定システム１Ａは、第１の実施形態の作業推定システム１に加えて、例えば、物流管理サーバ６００と、ハンディターミナル５００とを備える。物流管理サーバ６００は、例えばＣＰＵ等のプロセッサがプログラムメモリに格納されたプログラムを実行することにより実現されるサーバ装置である。物流管理サーバ６００は、荷１０を管理するための物流管理データベース記憶部６１０に対して情報を登録する。図１７は、物流管理データベース６１２の一例を示す図である。物流管理データベース６１２は、例えば、荷ＩＤに対応付けて、倉庫ＩＤ、棚ＩＤ、および集荷時刻を記憶する。   The work estimation system 1A of the second embodiment includes, for example, a physical distribution management server 600 and a handy terminal 500 in addition to the work estimation system 1 of the first embodiment. The physical distribution management server 600 is a server device that is realized when a processor such as a CPU executes a program stored in a program memory. The logistics management server 600 registers information in the logistics management database storage unit 610 for managing the cargo 10. FIG. 17 is a diagram illustrating an example of the distribution management database 612. The logistics management database 612 stores, for example, a warehouse ID, a shelf ID, and a collection time in association with the shipment ID.

ハンディターミナル５００は、例えば、コード読み取り装置、無線通信用のＮＩＣ、ＣＰＵ等の処理部を備える端末装置である。ハンディターミナル５００は、作業者Ｐ１が荷１０を集荷する際に、例えば、コード読取装置により荷１０に貼付されたコードを読み取ることで、荷ＩＤを取得する。ハンディターミナル５００は、ＮＩＣにより、荷１０のＩＤに、集荷時刻としての時刻情報および作業者ＩＤを付加して、物流管理サーバ６００および作業推定装置３００Ａに送信する。   The handy terminal 500 is a terminal device including a processing unit such as a code reading device, a wireless communication NIC, and a CPU, for example. When the worker P1 collects the load 10, the handy terminal 500 acquires the load ID by, for example, reading a code attached to the load 10 with a code reader. The handy terminal 500 adds the time information as the collection time and the worker ID to the ID of the load 10 by the NIC, and transmits it to the physical distribution management server 600 and the work estimation device 300A.

作業推定装置３００Ａは、ハンディターミナル５００から荷ＩＤ、利用者ＩＤおよび集荷時刻を受信した場合、荷ＩＤ、利用者ＩＤおよび集荷時刻を記憶する。作業推定装置３００Ａは、受信した作業者ＩＤに基づいて、作業者ＩＤに対応する作業者Ｐ１の作業要素を取得する。作業推定装置３００Ａは、例えば、携帯端末１００の識別情報に対応付けられた作業者ＩＤに、作業者Ｐ１から検出された挙動データに基づいて推定した作業要素を対応付けて予め記憶しておくことで、ハンディターミナル５００から受信した作業者ＩＤに対応する作業者Ｐ１の作業要素を取得する。また、作業推定装置３００Ａは、取得した作業者Ｐ１の作業要素からハンディターミナル５００から受信した集荷時刻に対応する作業要素を抽出し、抽出した作業要素を含む作業を取得する。これにより、作業推定装置３００Ａは、荷ＩＤに対応する荷１０の集荷作業について、作業要素ごとの所要時間、および所要時間の割合を算出することができる。   When the work estimation device 300A receives the load ID, the user ID, and the pickup time from the handy terminal 500, the work estimation device 300A stores the load ID, the user ID, and the pickup time. The work estimation device 300A acquires the work element of the worker P1 corresponding to the worker ID based on the received worker ID. For example, the work estimation device 300A stores in advance a work element estimated based on behavior data detected from the worker P1 in association with the worker ID associated with the identification information of the mobile terminal 100. Thus, the work element of the worker P1 corresponding to the worker ID received from the handy terminal 500 is acquired. In addition, the work estimation device 300A extracts a work element corresponding to the collection time received from the handy terminal 500 from the obtained work element of the worker P1, and obtains a work including the extracted work element. Thereby, the work estimation device 300A can calculate the required time for each work element and the ratio of the required time for the collection work of the load 10 corresponding to the load ID.

また、作業推定装置３００Ａは、物流管理サーバ６００から荷ＩＤに対応付けられた、倉庫ＩＤまたは棚ＩＤを取得してもよい。作業推定装置３００Ａは、荷ＩＤに対応付けられた倉庫ＩＤごとに、作業要素ごとの所要時間、および所要時間の割合を算出することができる。また、作業推定装置３００Ａは、荷ＩＤに対応付けられた棚ＩＤごとに、作業要素ごとの所要時間、および所要時間の割合を算出することができる。   Further, the work estimation device 300A may acquire a warehouse ID or a shelf ID associated with the load ID from the physical distribution management server 600. The work estimation device 300A can calculate the required time for each work element and the ratio of the required time for each warehouse ID associated with the load ID. Moreover, the work estimation device 300A can calculate the required time for each work element and the ratio of the required time for each shelf ID associated with the load ID.

図１８は、第２の実施形態における提供情報３６０Ｃの一例を示す図である。作業推定装置３００Ａは、荷ＩＤ、棚ＩＤ、または倉庫ＩＤと、移動時間、探索時間、または取り出し時間との関係を棒グラフにした提供情報３６０Ｃを作成して、管理端末４００に提供することができる。これにより、管理者Ｐ２は、長い作業時間を要する荷１０、棚１２または倉庫を認識することができる。   FIG. 18 is a diagram illustrating an example of provision information 360C according to the second embodiment. The work estimation device 300A can create the provision information 360C in which the relationship between the load ID, the shelf ID, or the warehouse ID and the travel time, the search time, or the take-out time is a bar graph, and can provide it to the management terminal 400. . Thereby, the manager P2 can recognize the load 10, the shelf 12, or the warehouse that requires a long work time.

図１９は、第２の実施形態における提供情報３６０Ｄの一例を示す図である。作業推定装置３００Ａは、荷１０ごと、倉庫ごと、または棚ごとに、作業要素間における所要時間の割合を表す提供情報３６０Ｃを作成して、管理端末４００に提供することができる。これにより、管理者Ｐ２は、移動時間、探索時間、取り出し時間のうちどの作業要素に長い作業時間を要するかを認識することができる。   FIG. 19 is a diagram illustrating an example of the provision information 360D in the second embodiment. The work estimation device 300 </ b> A can create provision information 360 </ b> C that represents a ratio of required time between work elements for each load 10, each warehouse, or each shelf, and can provide the management information 400 to the management information 400. Thereby, the manager P2 can recognize which work element requires a long work time among the travel time, the search time, and the take-out time.

［変形例］
以下、第１の実施形態および第２の実施形態の変形例について説明する。図２０は、変形例の作業推定システム１Ｂの構成図である。変形例の作業推定システム１Ｂは、倉庫Ｗ−１、・・・Ｗ−Ｎごとに、倉庫で集荷作業を行う作業者の携帯端末１００から挙動データを収集する中継装置７００−１、・・・７００−Ｎを備える。中継装置７００−１、・・・７００−Ｎは、無線通信、または有線通信を利用して複数の携帯端末１００から挙動データを取得して蓄積する。中継装置７００−１、・・・７００−Ｎは、例えば、集荷作業を行っている最中には挙動データを収集せず、集荷作業をしていない終業時間などに有線ケーブルにより携帯端末１００から挙動データを収集する。中継装置７００−１、・・・７００−Ｎは、例えば１日に１回、複数の携帯端末１００から収集した挙動データを作業推定装置３００Ｂに送信する。作業推定装置３００Ｂは、例えば、作業者毎、荷１０毎、棚１２毎、または倉庫Ｗ毎に、荷ＩＤに対応する荷１０の集荷作業について、作業要素ごとの所要時間の割合を算出することができる。 [Modification]
Hereinafter, modifications of the first embodiment and the second embodiment will be described. FIG. 20 is a configuration diagram of a work estimation system 1B according to a modification. The work estimation system 1B of the modified example is a relay device 700-1, which collects behavior data from the portable terminal 100 of the worker who performs the collection work in the warehouse, for each warehouse W-1,. 700-N. Relay devices 700-1,... 700-N acquire and store behavior data from a plurality of portable terminals 100 using wireless communication or wired communication. The relay device 700-1,..., 700-N, for example, does not collect behavior data during the collection work, and from the portable terminal 100 by a wired cable during the closing time when the collection work is not being performed. Collect behavior data. Relay device 700-1,... 700-N transmits behavior data collected from a plurality of portable terminals 100 to work estimation device 300B, for example, once a day. For example, the work estimation device 300B calculates the ratio of the time required for each work element for the collection work of the load 10 corresponding to the load ID for each worker, for each load 10, for each shelf 12, or for each warehouse W. Can do.

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。   As mentioned above, although the form for implementing this invention was demonstrated using embodiment, this invention is not limited to such embodiment at all, In the range which does not deviate from the summary of this invention, various deformation | transformation and substitution Can be added.

１、１Ａ、１Ｂ…作業推定システム、１０…荷、１２…棚、１４…台車、１００…携帯端末、１１０…端末側通信部、１２０…センサ部、１２２…加速度センサ、１２４…角度センサ、１３０…ユーザインターフェース部、１４０…制御部、２００…カメラ装置、３００、３００Ａ、３００Ｂ…作業推定装置、３１０…通信部、３２０…参照データ記憶部、３３０…参照データ生成部、３４０…信号処理部、３５０…推定部、３６０…提供情報生成部、３６０Ａ、３６０Ｂ、３６０Ｃ…提供情報、４００…管理端末、５００…ハンディターミナル、６００…物流管理サーバ、６１０…物流管理データベース記憶部、６１２…物流管理データベース、７００−１、７００−Ｎ…中継装置 DESCRIPTION OF SYMBOLS 1, 1A, 1B ... Work estimation system, 10 ... Load, 12 ... Shelf, 14 ... Dolly, 100 ... Portable terminal, 110 ... Terminal side communication part, 120 ... Sensor part, 122 ... Acceleration sensor, 124 ... Angle sensor, 130 ... User interface unit, 140 ... Control unit, 200 ... Camera device, 300, 300A, 300B ... Work estimation device, 310 ... Communication unit, 320 ... Reference data storage unit, 330 ... Reference data generation unit, 340 ... Signal processing unit, 350 ... Estimation unit, 360 ... Provision information generation unit, 360A, 360B, 360C ... Provision information, 400 ... Management terminal, 500 ... Handy terminal, 600 ... Distribution management server, 610 ... Distribution management database storage unit, 612 ... Distribution management database , 700-1, 700-N ... Relay device

Claims (12)

作業に含まれる作業要素であって、複数の動作要素を含みうる作業要素のそれぞれに対応付けて、前記作業要素を行った作業者から検出された挙動の時系列データに対して所定の量子化処理を施した参照データを記憶する記憶部と、
作業者が作業を行った際に前記作業者に取り付けられた検出部により検出された時系列データに対して前記所定の量子化処理を施す信号処理部と、
前記記憶部に記憶された参照データと前記信号処理部により処理が施されたデータとの比較に基づいて、前記時系列データにおいて順次出現する作業要素を推定する推定部と、
を備える、作業推定装置。 Predetermined quantization on time-series data of behavior detected from the worker who performed the work element in association with each work element that is included in the work and can include a plurality of motion elements A storage unit for storing the processed reference data;
A signal processing unit that performs the predetermined quantization processing on the time-series data detected by the detection unit attached to the worker when the worker performs the work;
Based on a comparison between the reference data stored in the storage unit and the data processed by the signal processing unit, an estimation unit that estimates work elements that appear sequentially in the time series data;
A work estimation device comprising: 前記記憶部は、前記作業に対応付けて、複数の作業要素の出現順を示す情報を記憶し、
前記推定部は、推定した前記複数の作業要素の出現順と前記情報との比較に基づいて、前記作業を推定する、
請求項１に記載の作業推定装置。 The storage unit stores information indicating an appearance order of a plurality of work elements in association with the work,
The estimation unit estimates the work based on a comparison between the estimated appearance order of the plurality of work elements and the information.
The work estimation apparatus according to claim 1. 前記推定部は、前記作業要素のそれぞれについて、開始時刻から終了時刻までの所要時間を推定する、
請求項１または２に記載の作業推定装置。 The estimation unit estimates a required time from a start time to an end time for each of the work elements.
The work estimation apparatus according to claim 1 or 2. 前記推定部により推定された作業要素ごとの所要時間の割合をグラフ化した画像を表示させるための情報を生成する情報生成部を更に備える、
請求項１から３のうちいずれか１項に記載の作業推定装置。 An information generation unit that generates information for displaying an image in which the ratio of the required time for each work element estimated by the estimation unit is graphed;
The work estimation device according to any one of claims 1 to 3. 作業者を撮像した画像を取得する画像取得部を更に備え、
前記推定部は、前記画像取得部により取得された画像に含まれる作業者の姿勢と、推定した作業要素との時間的な関係に基づいて、推定した作業要素における作業者の負荷を推定する、
請求項１から４のうちいずれか１項に記載の作業推定装置。 An image acquisition unit that acquires an image of the worker;
The estimation unit estimates a worker's load on the estimated work element based on a temporal relationship between the posture of the worker included in the image acquired by the image acquisition unit and the estimated work element.
The work estimation apparatus according to any one of claims 1 to 4. 作業者が静止した状態で作業者が携帯する携帯端末により受け付けられた音声と、前記携帯端末により受け付けられた音声に基づいて認識された作業要素と、前記携帯端末により音声が受け付けられた後において作業要素を行った作業者から検出された挙動の時系列データとに基づいて、前記作業要素のそれぞれに対応付けられた参照データを生成する参照データ生成部を更に備える、
請求項１から５のうちいずれか１項に記載の作業推定装置。 After the voice received by the portable terminal carried by the worker in a state where the worker is stationary, the work element recognized based on the voice received by the portable terminal, and after the voice is received by the portable terminal A reference data generation unit configured to generate reference data associated with each of the work elements based on time-series data of behavior detected from the worker who performed the work elements;
The work estimation apparatus according to any one of claims 1 to 5. 前記作業要素には、物流対象物の取り出しおよび搬送ための移動、前記物流対象物の探索、および前記物流対象物の取り出しが含まれる、
請求項１から６のうちいずれか１項に記載の作業推定装置。 The work elements include movements for taking out and transporting physical distribution objects, searching for physical distribution objects, and taking out physical distribution objects.
The work estimation apparatus according to any one of claims 1 to 6. 前記物流対象物または前記物流対象物をグループ化したグループ毎に、前記推定部により推定された物流対象物を取り出しおよび搬送ための移動、前記物流対象物の探索、前記物流対象物の取り出しの所要時間、または所要時間の割合をグラフ化した画像を表示させるための情報を生成する情報生成部を備える、
請求項７に記載の作業推定装置。 For each of the logistics objects or the grouping of the logistics objects, the movement for taking out and transporting the logistics objects estimated by the estimation unit, searching for the logistics objects, and requirements for taking out the logistics objects An information generation unit that generates information for displaying an image in which a time or a ratio of the required time is graphed;
The work estimation apparatus according to claim 7. 作業に含まれる作業要素であって、複数の動作要素を含みうる作業要素のそれぞれに対応付けて、前記作業要素を行った作業者から検出された挙動の時系列データに対して所定の量子化処理を施した参照データを記憶し、
作業者が作業を行った際に前記作業者に取り付けられた検出部により検出された時系列データに対して前記所定の量子化処理を施し、
前記参照データと前記量子化処理が施されたデータとの比較に基づいて、前記時系列データにおいて順次出現する作業要素を推定する、
作業推定方法。 Predetermined quantization on time-series data of behavior detected from the worker who performed the work element in association with each work element that is included in the work and can include a plurality of motion elements Store the processed reference data,
Applying the predetermined quantization process to the time-series data detected by the detection unit attached to the worker when the worker performs the work,
Based on a comparison between the reference data and the data subjected to the quantization process, a work element that sequentially appears in the time series data is estimated.
Work estimation method. 前記参照データを記憶する際に、
作業者が静止した状態で作業者が携帯する携帯端末から音声を受け付け、
前記携帯端末から受け付けた音声に基づいて作業要素を認識し、
前記携帯端末により音声が受け付けられた後において作業要素を行った作業者から挙動の時系列データを検出し、
検出した時系列データに対して前記所定の量子化処理を施し、
認識した作業要素に、前記所定の量子化処理を施したデータを記憶する、
請求項９に記載の作業推定方法。 When storing the reference data,
Accept voice from a mobile device carried by the worker while the worker is stationary,
Recognizing work elements based on the voice received from the mobile terminal;
Detecting time-series data of behavior from the worker who performed the work element after the voice was received by the mobile terminal;
Applying the predetermined quantization process to the detected time series data,
Storing the data subjected to the predetermined quantization processing in the recognized work element;
The work estimation method according to claim 9. コンピュータに、
作業に含まれる作業要素であって、複数の動作要素を含みうる作業要素のそれぞれに対応付けて、前記作業要素を行った作業者から検出された挙動の時系列データに対して所定の量子化処理を施した参照データを記憶部に記憶させ、
作業者が作業を行った際に前記作業者に取り付けられた検出部により検出された時系列データに対して前記所定の量子化処理を施させ、
前記参照データと前記量子化処理が施されたデータとの比較に基づいて、前記時系列データにおいて順次出現する作業要素を推定させる、
作業推定プログラム。 On the computer,
Predetermined quantization on time-series data of behavior detected from the worker who performed the work element in association with each work element that is included in the work and can include a plurality of motion elements Store the processed reference data in the storage unit,
When the worker performs work, the predetermined quantization processing is performed on the time series data detected by the detection unit attached to the worker,
Based on the comparison between the reference data and the quantized data, work elements that appear sequentially in the time series data are estimated.
Work estimation program. 前記参照データを記憶させる際に、
コンピュータに、
作業者が静止した状態で作業者が携帯する携帯端末から音声を受け付けさせ、
前記携帯端末から受け付けた音声に基づいて作業要素を認識させ、
前記携帯端末により音声が受け付けられた後において作業要素を行った作業者から挙動の時系列データを検出させ、
検出した時系列データに対して前記所定の量子化処理を施させ、
認識した作業要素に、前記所定の量子化処理を施したデータを記憶させる、
請求項１１に記載の作業推定プログラム。 When storing the reference data,
On the computer,
Receive voice from the mobile device carried by the worker while the worker is stationary,
Recognize work elements based on the voice received from the mobile terminal,
After the voice is received by the portable terminal, the time series data of the behavior is detected from the worker who performed the work element,
The predetermined time-series data is subjected to the predetermined quantization process,
Storing the data subjected to the predetermined quantization processing in the recognized work element;
The work estimation program according to claim 11.
JP2016135361A 2016-07-07 2016-07-07 Work estimation device, work estimation method, and work estimation program Active JP6738084B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016135361A JP6738084B2 (en) 2016-07-07 2016-07-07 Work estimation device, work estimation method, and work estimation program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016135361A JP6738084B2 (en) 2016-07-07 2016-07-07 Work estimation device, work estimation method, and work estimation program

Publications (2)

Publication Number Publication Date
JP2018005789A true JP2018005789A (en) 2018-01-11
JP6738084B2 JP6738084B2 (en) 2020-08-12

Family

ID=60946526

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016135361A Active JP6738084B2 (en) 2016-07-07 2016-07-07 Work estimation device, work estimation method, and work estimation program

Country Status (1)

Country Link
JP (1) JP6738084B2 (en)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001327472A (en) * 2000-03-14 2001-11-27 Toshiba Corp Device and method for supporting wearable life
JP2006202255A (en) * 2004-12-24 2006-08-03 Omron Corp Process improvement support system
JP2007229488A (en) * 2007-03-29 2007-09-13 Osaka Gas Co Ltd Motion analyzing system and motion analyzing method of observation object person
JP2010146223A (en) * 2008-12-18 2010-07-01 Hitachi Ltd Behavior extraction system, behavior extraction method, and server
US20110022432A1 (en) * 2007-11-14 2011-01-27 Tomotoshi Ishida Work information processing apparatus, program, and work information processing method
WO2011114620A1 (en) * 2010-03-16 2011-09-22 日本電気株式会社 Interest level measurement system
JP2014180335A (en) * 2013-03-18 2014-09-29 Fujitsu Ltd Eating motion detector, eating motion detection method, and program

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001327472A (en) * 2000-03-14 2001-11-27 Toshiba Corp Device and method for supporting wearable life
JP2006202255A (en) * 2004-12-24 2006-08-03 Omron Corp Process improvement support system
JP2007229488A (en) * 2007-03-29 2007-09-13 Osaka Gas Co Ltd Motion analyzing system and motion analyzing method of observation object person
US20110022432A1 (en) * 2007-11-14 2011-01-27 Tomotoshi Ishida Work information processing apparatus, program, and work information processing method
JP2010146223A (en) * 2008-12-18 2010-07-01 Hitachi Ltd Behavior extraction system, behavior extraction method, and server
WO2011114620A1 (en) * 2010-03-16 2011-09-22 日本電気株式会社 Interest level measurement system
US20120317066A1 (en) * 2010-03-16 2012-12-13 Nec Corporation Interest level measurement system, interest level measurement device, interest level measurement method, and interest level measurement program
JP2014180335A (en) * 2013-03-18 2014-09-29 Fujitsu Ltd Eating motion detector, eating motion detection method, and program

Also Published As

Publication number Publication date
JP6738084B2 (en) 2020-08-12

Similar Documents

Publication Publication Date Title
JP5166316B2 (en) Situation recognition device and situation recognition method
CN107172590B (en) Mobile terminal and activity state information processing method and device based on same
Chen et al. Probabilistic multimodal map matching with rich smartphone data
US9436816B2 (en) Supplementing biometric identification with device identification
US20180314991A1 (en) Route optimization methods and devices
US20160260046A1 (en) Tracking worker activity
EP3510571A1 (en) Order information determination method and apparatus
CN109961074A (en) A kind of method, robot and computer readable storage medium for searching article
US9898539B2 (en) Device management apparatus and device search method
JP6807268B2 (en) Image recognition engine linkage device and program
JP6464737B2 (en) Prospective customer location information detection system, method and program
JP5915731B2 (en) Flow line data analysis apparatus, system, program and method
US20150363706A1 (en) Fusion of data from heterogeneous sources
JPWO2013145632A1 (en) Flow line data analysis apparatus, system, program and method
JP2020086659A (en) Information processing system, program, and information processing method
EP2829938B1 (en) Route verification from wireless networks
Minh et al. Evaluation of smartphone and smartwatch accelerometer data in activity classification
KR20210087181A (en) An electronic device detecting a location and a method thereof
JP6478327B2 (en) Server and program for estimating user state in portable terminal not equipped with sensor
US10578640B2 (en) Determination of a mobility context for a user carrying a device fitted with inertial sensors
JP6738084B2 (en) Work estimation device, work estimation method, and work estimation program
CN106462628A (en) System and method for automatically pushing location-specific content to users
EP3783565B1 (en) Moving state analysis device, moving state analysis method, and program
US10762467B2 (en) Placement information registration device, placement information registration method, and placement information registration program
JP2011150425A (en) Research device and research method

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160810

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190517

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200325

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200414

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200603

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200630

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200714

R150 Certificate of patent or registration of utility model

Ref document number: 6738084

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250