JP2021086218A - Cooperative work system, analysis device, and analysis program - Google Patents

Cooperative work system, analysis device, and analysis program Download PDF

Info

Publication number
JP2021086218A
JP2021086218A JP2019212561A JP2019212561A JP2021086218A JP 2021086218 A JP2021086218 A JP 2021086218A JP 2019212561 A JP2019212561 A JP 2019212561A JP 2019212561 A JP2019212561 A JP 2019212561A JP 2021086218 A JP2021086218 A JP 2021086218A
Authority
JP
Japan
Prior art keywords
work
worker
robot
collaborative
cooperative
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019212561A
Other languages
Japanese (ja)
Other versions
JP7383999B2 (en
Inventor
慎也 藤本
Shinya Fujimoto
慎也 藤本
昭朗 小林
Akiro Kobayashi
昭朗 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2019212561A priority Critical patent/JP7383999B2/en
Publication of JP2021086218A publication Critical patent/JP2021086218A/en
Application granted granted Critical
Publication of JP7383999B2 publication Critical patent/JP7383999B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Abstract

To provide information for improving productivity in a cooperative work system including one or more cooperative working robots working in cooperation with an operator.SOLUTION: There is provided a cooperative work system that manufactures products along predetermined processes. The cooperative work system includes: one or more cooperative working robots working in cooperation with an operator; a working hour calculation unit that analyzes the behavior of the operator and the cooperative working robots to calculate the working hours required for work in the processes; and an adaptability evaluation unit that, when changing the responsibility for works between the operator and the cooperative working robots at an arbitrary position in the processes, evaluates the adaptability to the changing of works based on the behavior of the operator and the cooperative working robots in the processes before and after the changing.SELECTED DRAWING: Figure 1

Description

本発明は、協調作業システム、解析装置および解析プログラムに関する。 The present invention relates to collaborative work systems, analyzers and analysis programs.

工場等の生産現場における作業工程の実施状況を撮像した撮像データを、当該作業工程の改善等に利用する試みが知られている。例えば、特開2019−023803号公報(特許文献1)は、作業現場に配置された複数のカメラで撮影した作業映像データを解析して、作業者が実際に作業を行うことのできた時間である実作業時間を検出し、検出した実作業時間を用いてボトルネックとなっている作業工程を特定する技術を開示する。 There is known an attempt to use imaging data obtained by imaging the implementation status of a work process at a production site such as a factory for improvement of the work process. For example, Japanese Patent Application Laid-Open No. 2019-023803 (Patent Document 1) is a time during which an operator can actually perform a work by analyzing work video data taken by a plurality of cameras arranged at a work site. We will disclose a technique for detecting an actual work time and using the detected actual work time to identify a work process that is a bottleneck.

特開2019−023803号公報Japanese Unexamined Patent Publication No. 2019-023803

上述の特許文献1に開示される技術は、セル生産方式などの作業者の作業に着目するものに過ぎず、人とロボットとが協調して作業する協調作業システムについては、何ら想定されていない。本発明は、このような新たな課題に対する解決手段を提供するものであり、作業者と協調して作業を行う1または複数の協調作業ロボットを含む協調作業システムにおける生産性を向上させるための情報を提供するものである。 The technique disclosed in Patent Document 1 described above merely focuses on the work of a worker such as a cell production method, and no assumption is made about a cooperative work system in which a human and a robot work in cooperation with each other. .. The present invention provides a means for solving such a new problem, and information for improving productivity in a collaborative work system including one or a plurality of collaborative work robots that work in cooperation with an operator. Is to provide.

本発明の一実施形態に従えば、予め定められた工程に沿って製品を生産する協調作業システムが提供される。協調作業システムは、作業者と協調して作業を行う1または複数の協調作業ロボットと、作業者および協調作業ロボットの挙動を解析することで、各工程の作業に要する作業時間を算出する作業時間算出部と、工程の任意の位置において、作業者と協調作業ロボットとの間で作業の担当を切り替えるとした場合に、切り替え前後の工程における作業者および協調作業ロボットの挙動に基づいて、作業切り替えの適合性を評価する適合性評価部とを含む。 According to one embodiment of the present invention, a collaborative work system for producing a product according to a predetermined process is provided. The collaborative work system is a work time for calculating the work time required for the work of each process by analyzing the behaviors of one or more collaborative work robots that work in cooperation with the worker and the worker and the collaborative work robot. When the person in charge of work is switched between the worker and the collaborative work robot at an arbitrary position of the calculation unit and the process, the work is switched based on the behavior of the worker and the collaborative work robot in the processes before and after the switch. Includes a conformity assessment unit that evaluates the conformity of the robot.

この構成によれば、協調作業システムにおいて、任意の位置で作業者と協調作業ロボットとの作業分担を変更しようとした場合に、現実に作業分担を変更した上で生産を行うことなく、事前に当該作業分担による影響を評価できる。すなわち、任意の位置で作業分担を変更した場合に生じるであろう作業時間を事前に見積もることができ、これによって、対象の協調作業システムにおける作業者とロボットとの間の最適な作業分担を決定できる。 According to this configuration, in the cooperative work system, when the work division between the worker and the cooperative work robot is to be changed at an arbitrary position, the work division is actually changed and the production is not performed in advance. The impact of the work sharing can be evaluated. That is, it is possible to estimate in advance the work time that will occur if the work division is changed at an arbitrary position, thereby determining the optimum work division between the worker and the robot in the target collaborative work system. it can.

適合性評価部は、作業者と協調作業ロボットとの距離が小さいほど、適合性が低いと決定してもよい。この構成によれば、協調作業ロボットの動作速度が抑制される可能性に基づいて、適合性の大きさをより正確に決定できる。 The conformity evaluation unit may determine that the smaller the distance between the worker and the collaborative work robot, the lower the conformity. According to this configuration, the magnitude of suitability can be determined more accurately based on the possibility that the operating speed of the collaborative work robot is suppressed.

適合性評価部は、作業者と協調作業ロボットとが接近している期間が長いほど、適合性が低いと決定してもよい。この構成によれば、協調作業ロボットの動作速度が抑制され得る時間に基づいて、適合性の大きさをより正確に決定できる。 The conformity assessment unit may determine that the longer the period in which the worker and the collaborative work robot are in close contact with each other, the lower the conformity. According to this configuration, the magnitude of suitability can be determined more accurately based on the time during which the operating speed of the collaborative work robot can be suppressed.

協調作業システムは、切り替え後の工程の作業に要する作業時間を、当該工程が切り替え後ではない場合に算出された作業時間と、作業切り替えの適合性の大きさとに基づいて決定する作業時間算出部をさらに含んでいてもよい。この構成によれば、作業者と協調作業ロボットと作業分担を変更した場合の影響を、作業切り替えの適合性の大きさに基づいて、数値的に評価できる。 The collaborative work system is a work time calculation unit that determines the work time required for the work of the process after switching based on the work time calculated when the process is not after switching and the magnitude of suitability for work switching. May further be included. According to this configuration, the effect of changing the work division between the worker and the collaborative work robot can be numerically evaluated based on the magnitude of the suitability for work switching.

協調作業システムは、作業者と協調作業ロボットとの間で担当を異ならせた複数の作業分担の候補毎に、作業時間を算出することで、作業分担の候補をランキングして出力する出力部をさらに含んでいてもよい。この構成によれば、ユーザは、作業者と協調作業ロボットとの作業分担のうち、いずれの作業分担が好ましいのかを容易に把握できる。 The collaborative work system has an output unit that ranks and outputs the work division candidates by calculating the work time for each of a plurality of work division candidates with different responsibilities between the worker and the collaborative work robot. It may be further included. According to this configuration, the user can easily grasp which of the work sharing between the worker and the collaborative work robot is preferable.

作業時間算出部は、各工程に含まれる1または複数の要素作業毎に開始および終了のタイミングを決定してもよい。この構成によれば、より粒度の細かい単位で作業者および協調作業ロボットの作業時間を算出できる。 The work time calculation unit may determine the start and end timings for each one or a plurality of elemental works included in each process. According to this configuration, the working hours of the worker and the collaborative work robot can be calculated in finer-grained units.

作業時間算出部は、センシングデバイスによる少なくとも作業者を含む領域のセンシング結果に基づいて、作業者の特徴点を抽出する特徴点抽出部と、センシング結果に基づいて、作業ステージ上にある物体の位置および種類を認識する物体認識部と、特徴点抽出部により抽出される作業者の特徴点、および、物体認識部により認識される物体の位置および種類に基づいて、作業者による要素作業毎に開始および終了のタイミングを決定する第1のタイミング決定部とを含んでいてもよい。この構成によれば、作業者の作業を要素作業の単位で算出できる。 The work time calculation unit extracts the feature points of the worker based on the sensing result of at least the area including the worker by the sensing device, and the position of the object on the work stage based on the sensing result. Based on the object recognition unit that recognizes the type, the feature points of the worker extracted by the feature point extraction unit, and the position and type of the object recognized by the object recognition unit, it starts for each element work by the worker. And a first timing determination unit that determines the end timing may be included. According to this configuration, the work of the worker can be calculated in units of element work.

作業時間算出部は、協調作業ロボットからの制御状態に基づいて協調作業ロボットのステータスを管理するステータス管理部と、協調作業ロボットのステータスに対応する挙動に基づいて、協調作業ロボットによる要素作業毎に開始および終了のタイミングを決定する第2のタイミング決定部とを含んでいてもよい。この構成によれば、協調作業ロボットの作業を要素作業の単位で算出できる。 The work time calculation unit is a status management unit that manages the status of the cooperative work robot based on the control state from the cooperative work robot, and a behavior corresponding to the status of the cooperative work robot for each element work by the cooperative work robot. It may include a second timing determination unit that determines the start and end timings. According to this configuration, the work of the collaborative work robot can be calculated in units of element work.

本発明の別の一実施形態に従えば、予め定められた工程に沿って製品を生産する協調作業システムに向けられた解析装置が提供される。協調作業システムは作業者と協調して作業を行う1または複数の協調作業ロボットを含む。解析装置は、作業者および協調作業ロボットの挙動を解析することで、各工程の作業に要する作業時間を算出する作業時間算出部と、工程の任意の位置において、作業者と協調作業ロボットとの間で作業の担当を切り替えるとした場合に、切り替え前後の工程における作業者および協調作業ロボットの挙動に基づいて、作業切り替えの適合性を評価する適合性評価部とを含む。 According to another embodiment of the present invention, there is provided an analyzer directed to a collaborative work system that produces products according to a predetermined process. The collaborative work system includes one or more collaborative work robots that work in cooperation with the worker. The analysis device has a work time calculation unit that calculates the work time required for the work of each process by analyzing the behavior of the worker and the collaborative work robot, and the worker and the collaborative work robot at an arbitrary position of the process. Includes a suitability evaluation unit that evaluates the suitability of work switching based on the behavior of workers and collaborative work robots in the processes before and after the switching when the person in charge of work is switched between.

本発明のさらに別の一実施形態に従えば、予め定められた工程に沿って製品を生産する協調作業システムに向けられた解析プログラムが提供される。協調作業システムは作業者と協調して作業を行う1または複数の協調作業ロボットを含む。解析プログラムはコンピュータに、作業者および協調作業ロボットの挙動を解析することで、各工程の作業に要する作業時間を算出するステップと、工程の任意の位置において、作業者と協調作業ロボットとの間で作業の担当を切り替えるとした場合に、切り替え前後の工程における作業者および協調作業ロボットの挙動に基づいて、作業切り替えの適合性を評価するステップとを実行させる。 According to yet another embodiment of the present invention, an analysis program directed to a collaborative work system that produces a product according to a predetermined process is provided. The collaborative work system includes one or more collaborative work robots that work in cooperation with the worker. The analysis program uses a computer to analyze the behavior of the worker and the collaborative work robot to calculate the work time required for the work of each process, and between the worker and the collaborative work robot at an arbitrary position in the process. When the person in charge of the work is switched in, the step of evaluating the suitability of the work switching is executed based on the behavior of the worker and the collaborative work robot in the processes before and after the switching.

本発明によれば、作業者と協調して作業を行う1または複数の協調作業ロボットを含む協調作業システムにおける生産性を向上させるための情報を提供できる。 According to the present invention, it is possible to provide information for improving productivity in a collaborative work system including one or a plurality of collaborative work robots that perform work in cooperation with an operator.

本発明が適用される場面の一例を示す模式図である。It is a schematic diagram which shows an example of the scene to which this invention is applied. 本実施の形態に係る協調作業システムの一例を示す外観図である。It is an external view which shows an example of the cooperative work system which concerns on this embodiment. 本実施の形態に係る協調作業システムの一例を示す外観図である。It is an external view which shows an example of the cooperative work system which concerns on this embodiment. 本実施の形態に係る協調作業システムのハードウェア構成例を示す図である。It is a figure which shows the hardware configuration example of the collaborative work system which concerns on this embodiment. 本実施の形態に係る協調作業システムを構成するPLCのハードウェア構成例を示す模式図である。It is a schematic diagram which shows the hardware configuration example of PLC which constitutes the cooperative work system which concerns on this Embodiment. 本実施の形態に係る協調作業システムを構成する解析装置のハードウェア構成例を示す模式図である。It is a schematic diagram which shows the hardware configuration example of the analysis apparatus which comprises the cooperative work system which concerns on this embodiment. 本実施の形態に係る協調作業システムを構成するロボットのハードウェア構成例を示す模式図である。It is a schematic diagram which shows the hardware configuration example of the robot which comprises the cooperative work system which concerns on this embodiment. 本実施の形態に係る協調作業システムにおける作業の解析例を説明するための図である。It is a figure for demonstrating the analysis example of the work in the collaborative work system which concerns on this embodiment. 本実施の形態に係る協調作業システムにおける作業解析に係る要部を示す模式図である。It is a schematic diagram which shows the main part concerning the work analysis in the collaborative work system which concerns on this embodiment. 本実施の形態に係る協調作業システムにおける作業者による要素作業の解析に係る要部を示す模式図である。It is a schematic diagram which shows the main part which concerns on the analysis of the element work by the worker in the cooperative work system which concerns on this embodiment. 本実施の形態に係る協調作業システムにおけるロボットによる要素作業の解析に係る要部を示す模式図である。It is a schematic diagram which shows the main part which concerns on the analysis of the element work by a robot in the cooperative work system which concerns on this Embodiment. 本実施の形態に係る協調作業システムにおける作業の解析に係る処理手順を示すフローチャートである。It is a flowchart which shows the processing procedure which concerns on the analysis of the work in the cooperative work system which concerns on this Embodiment. 本実施の形態に係る協調作業システムが出力する要素作業の解析結果の一例を示す図である。It is a figure which shows an example of the analysis result of the element work output by the collaborative work system which concerns on this embodiment. 本実施の形態に係る協調作業システムが出力する解析結果の表示例を示す図である。It is a figure which shows the display example of the analysis result output by the collaborative work system which concerns on this embodiment. 本実施の形態に係る協調作業システムが算出する切り替えロススコアを説明するための図である。It is a figure for demonstrating the switching loss score calculated by the collaborative work system which concerns on this embodiment. 本実施の形態に係る協調作業システムにおける切り替えロススコアの算出方法を説明するための図である。It is a figure for demonstrating the calculation method of the switching loss score in the collaborative work system which concerns on this Embodiment. 本実施の形態に係る協調作業システムにおける切り替えロススコアを算出するための処理手順を示すフローチャートである。It is a flowchart which shows the processing procedure for calculating the switching loss score in the cooperative work system which concerns on this Embodiment. 本実施の形態に係る協調作業システムにおける生産工程の改善提案に係る機能構成例を示す模式図である。It is a schematic diagram which shows the functional structure example which concerns on the improvement proposal of the production process in the cooperative work system which concerns on this Embodiment. 本実施の形態に係る協調作業システムにおける生産工程の改善提案に係るユーザインターフェイス画面の一例を示す模式図である。It is a schematic diagram which shows an example of the user interface screen which concerns on the improvement proposal of the production process in the cooperative work system which concerns on this Embodiment. 本実施の形態に係る協調作業システムにおける生産工程の改善提案に係る処理手順を示すフローチャートである。It is a flowchart which shows the processing procedure which concerns on the improvement proposal of the production process in the cooperative work system which concerns on this Embodiment.

本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。 Embodiments of the present invention will be described in detail with reference to the drawings. The same or corresponding parts in the drawings are designated by the same reference numerals and the description thereof will not be repeated.

<A.適用例>
まず、本発明が適用される場面の一例について説明する。図1は、本発明が適用される場面の一例を示す模式図である。
<A. Application example>
First, an example of a situation in which the present invention is applied will be described. FIG. 1 is a schematic view showing an example of a situation in which the present invention is applied.

本実施の形態は、予め定められた工程に沿って製品を生産する協調作業システム1に向けられている。協調作業システム1は、作業者と協調して作業を行う1または複数の協調作業ロボットを含む。 This embodiment is directed to a collaborative work system 1 that produces products according to a predetermined process. The collaborative work system 1 includes one or a plurality of collaborative work robots that perform work in cooperation with an operator.

協調作業システム1は、作業者および協調作業ロボットの挙動を解析することで、各工程の作業に要する作業時間を算出することができる。 The cooperative work system 1 can calculate the work time required for the work of each process by analyzing the behaviors of the worker and the cooperative work robot.

さらに、図1に示すように、工程の任意の位置において、作業者と協調作業ロボットとの間で作業の担当を切り替えるとした場合に、切り替え前後の工程における作業者および協調作業ロボットの挙動に基づいて、作業切り替えの適合性を評価することができる。 Further, as shown in FIG. 1, when the person in charge of the work is switched between the worker and the collaborative work robot at an arbitrary position in the process, the behavior of the worker and the collaborative work robot in the process before and after the switching is changed. Based on this, the suitability of work switching can be evaluated.

本実施の形態に係る協調作業システム1においては、作業者と協調作業ロボットとの間の作業分担を比較的自由に変更することができる。 In the collaborative work system 1 according to the present embodiment, the work sharing between the worker and the collaborative work robot can be changed relatively freely.

本明細書において、「作業切り替えの適合性」は、作業者と協調作業ロボットとの間で作業の担当を切り替える場合に、切り替えるという動作によって生じる時間的な損失(ロス)の度合いを意味する。言い換えれば、そのような作業の切り替えがない場合に、作業者および協調作業ロボットがそれぞれ要するであろう作業時間に対して、切り替えるという動作が生じることで、どれだけ余分な作業時間が必要になるのかといった度合いを意味する。 In the present specification, the "fitness of work switching" means the degree of time loss caused by the operation of switching the person in charge of work between the worker and the collaborative work robot. In other words, how much extra work time is required by the action of switching the work time that the worker and the collaborative work robot would each need if there is no such work switching. It means the degree of.

以下では、「作業切り替えの適合性」として、特定の指標(スコア)を用いる例について説明するが、これに限らず任意の指標あるいはファクタなどを用いることができる。 In the following, an example in which a specific index (score) is used as "fitness for work switching" will be described, but the present invention is not limited to this, and any index or factor can be used.

「作業切り替えの適合性」を用いることで、作業者と協調作業ロボットとの間の作業分担の見直しをより的確に行うことができる。 By using "compatibility of work switching", it is possible to more accurately review the work division between the worker and the collaborative work robot.

<B.協調作業システム1>
次に、本実施の形態に係る協調作業システム1の一例について説明する。図2および図3は、本実施の形態に係る協調作業システム1の一例を示す外観図である。
<B. Collaborative work system 1>
Next, an example of the collaborative work system 1 according to the present embodiment will be described. 2 and 3 are external views showing an example of the cooperative work system 1 according to the present embodiment.

図2および図3に示す協調作業システム1の構成例は、作業者および協調作業ロボット(以下、単に「ロボット」と略称する。)が協調して製品を生産する生産工程を示す。すなわち、ロボットは作業者と協調して作業を行う。 The configuration example of the cooperative work system 1 shown in FIGS. 2 and 3 shows a production process in which a worker and a cooperative work robot (hereinafter, simply abbreviated as “robot”) cooperate to produce a product. That is, the robot works in cooperation with the worker.

一例として、任意の製品を組み立てる生産セル方式の製造装置が示される。協調作業システム1は、予め定められた工程に沿って製品を生産するものであり、一例として、以下の5つの工程1〜5を含む。 As an example, a production cell type manufacturing apparatus for assembling an arbitrary product is shown. The collaborative work system 1 produces a product according to a predetermined process, and includes the following five steps 1 to 5 as an example.

工程1では、2つのワーク(例えば、基板とケース)の組み付けが行われる。
工程2では、さらに別のワーク(例えば、カバー)の組み付け行われる。
In step 1, two workpieces (for example, a substrate and a case) are assembled.
In step 2, another work (for example, a cover) is assembled.

工程3では、およびネジ締めが行われる。
工程4では、半製品への印字および印字検査が行われる。
In step 3, and screw tightening is performed.
In step 4, printing on a semi-finished product and printing inspection are performed.

工程5では、半製品の外観検査が行われる。
図2に示す協調作業システム1は、工程1〜工程5に対応付けて、作業ステージ11M、作業ステージ12M、作業ステージ13A、作業ステージ14A、作業ステージ15Aを含む。各ステージの参照符号の最後の文字「M」は作業者(人手)による作業を意味し、「A」はロボットによる作業を意味する。
In step 5, the appearance inspection of the semi-finished product is performed.
The cooperative work system 1 shown in FIG. 2 includes a work stage 11M, a work stage 12M, a work stage 13A, a work stage 14A, and a work stage 15A in association with steps 1 to 5. The last letter "M" of the reference code of each stage means the work by the operator (manual), and "A" means the work by the robot.

図3に示す協調作業システム1は、工程2に対応付けられた作業ステージ12Mに代えて、作業ステージ12Aが配置されている。すなわち、図2に示す協調作業システム1においては、工程2が作業者で実行されるのに対して、図3に示す協調作業システム1においては、工程2がロボットで実行される。 In the cooperative work system 1 shown in FIG. 3, a work stage 12A is arranged in place of the work stage 12M associated with the process 2. That is, in the cooperative work system 1 shown in FIG. 2, the process 2 is executed by the operator, whereas in the cooperative work system 1 shown in FIG. 3, the process 2 is executed by the robot.

このように、本実施の形態に係る協調作業システム1においては、各工程を作業者またはロボットのいずれでも処理可能になっている。協調作業システム1は、各工程について、作業者またはロボットのいずれで処理するのかを最適化するための情報を提供する。 As described above, in the cooperative work system 1 according to the present embodiment, each process can be processed by either an operator or a robot. The collaborative work system 1 provides information for optimizing whether each process is processed by a worker or a robot.

図2および図3には、1または複数の作業者およびロボットが協調して製品を完成させる、セル生産方式の一例を示すが、本発明の技術的範囲は、セル生産方式に限らず、コンベア方式/ライン方式を含む、作業者およびロボットが協調する任意の生産方式を含む。 2 and 3 show an example of a cell production method in which one or more workers and a robot cooperate to complete a product, but the technical scope of the present invention is not limited to the cell production method and is a conveyor. Includes any production method in which workers and robots work together, including method / line methods.

図4は、本実施の形態に係る協調作業システム1のハードウェア構成例を示す図である。図4を参照して、協調作業システム1は、制御装置の一例であるPLC100と、後述するような各種解析処理を実行する解析装置200と、作業者20と協調して作業を行うロボット300と、作業者20に対して各種情報を提示する表示操作装置400と、PLC100で実行されるユーザプログラムの開発などを行うサポート装置500と、協調作業システム1における生産管理を行う生産管理システム600とを含む。これらの装置は、1または複数種類のネットワークを介して、データ通信可能に構成される。 FIG. 4 is a diagram showing a hardware configuration example of the collaborative work system 1 according to the present embodiment. With reference to FIG. 4, the cooperative work system 1 includes a PLC 100 which is an example of a control device, an analysis device 200 which executes various analysis processes as described later, and a robot 300 which performs work in cooperation with the worker 20. A display operation device 400 that presents various information to the worker 20, a support device 500 that develops a user program executed by the PLC 100, and a production control system 600 that manages production in the collaborative work system 1. Including. These devices are configured to be capable of data communication via one or more types of networks.

図4に示す例では、フィールドネットワーク2を介して、PLC100、解析装置200、ロボット300、表示操作装置400が接続されている。フィールドネットワーク2には、1または複数のカメラ30が接続されている。カメラ30により撮像される画像に基づいて、作業者20およびロボット300の挙動が解析され、各工程および各工程内の作業の状態などが推定される。また、上位ネットワーク4を介して、PLC100および生産管理システム600が接続されている。 In the example shown in FIG. 4, the PLC 100, the analysis device 200, the robot 300, and the display operation device 400 are connected via the field network 2. One or more cameras 30 are connected to the field network 2. Based on the image captured by the camera 30, the behaviors of the worker 20 and the robot 300 are analyzed, and the state of each process and the work in each process is estimated. Further, the PLC 100 and the production control system 600 are connected via the upper network 4.

なお、図4に示すネットワーク構成は一例であり、どのようなネットワーク構成を採用してもよい。 The network configuration shown in FIG. 4 is an example, and any network configuration may be adopted.

<C.協調作業システム1のハードウェア構成例>
次に、協調作業システム1を構成する主要装置のハードウェア構成例について説明する。
<C. Hardware configuration example of collaborative work system 1>
Next, a hardware configuration example of the main devices constituting the collaborative work system 1 will be described.

(c1:PLC100)
図5は、本実施の形態に係る協調作業システム1を構成するPLC100のハードウェア構成例を示す模式図である。図5を参照して、PLC100は、プロセッサ102と、メインメモリ104と、ストレージ110と、上位ネットワークコントローラ106と、フィールドネットワークコントローラ108と、USB(Universal Serial Bus)コントローラ120と、メモリカードインターフェイス112と、ローカルバスコントローラ116とを含む。これらのコンポーネントは、プロセッサバス118を介して接続されている。
(C1: PLC100)
FIG. 5 is a schematic view showing a hardware configuration example of the PLC 100 constituting the collaborative work system 1 according to the present embodiment. With reference to FIG. 5, the PLC 100 includes a processor 102, a main memory 104, a storage 110, an upper network controller 106, a field network controller 108, a USB (Universal Serial Bus) controller 120, and a memory card interface 112. , Includes the local bus controller 116. These components are connected via the processor bus 118.

プロセッサ102は、様々な制御演算を実行する演算処理部に相当し、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)などで構成される。具体的には、プロセッサ102は、ストレージ110に格納されたプログラム(一例として、システムプログラム1102およびユーザプログラム1104)を読出して、メインメモリ104に展開して実行することで、制御対象に応じた制御演算、および、後述するような各種処理を実現する。 The processor 102 corresponds to an arithmetic processing unit that executes various control operations, and is composed of a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), and the like. Specifically, the processor 102 reads the programs (for example, the system program 1102 and the user program 1104) stored in the storage 110, expands them into the main memory 104, and executes the programs to control the program according to the control target. It realizes calculation and various processes as described later.

メインメモリ104は、DRAM(Dynamic Random Access Memory)やSRAM(Static Random Access Memory)などの揮発性記憶装置などで構成される。ストレージ110は、例えば、SSD(Solid State Drive)やHDD(Hard Disk Drive)などの不揮発性記憶装置などで構成される。 The main memory 104 is composed of a volatile storage device such as a DRAM (Dynamic Random Access Memory) or a SRAM (Static Random Access Memory). The storage 110 is composed of, for example, a non-volatile storage device such as an SSD (Solid State Drive) or an HDD (Hard Disk Drive).

ストレージ110には、基本的な機能を実現するためのシステムプログラム1102、制御対象に応じて作成されたユーザプログラム1104、および協調作業システム1で生産される製品に応じた処理内容を規定したレシピプログラム1106が格納される。 The storage 110 includes a system program 1102 for realizing basic functions, a user program 1104 created according to a control target, and a recipe program that defines processing contents according to products produced by the collaborative work system 1. 1106 is stored.

上位ネットワークコントローラ106は、上位ネットワーク4を介して、任意の情報処理装置との間でデータを遣り取りする。 The host network controller 106 exchanges data with and from an arbitrary information processing device via the host network 4.

フィールドネットワークコントローラ108は、フィールドネットワーク2を介して任意のデバイスとの間でデータを遣り取りする。 The field network controller 108 exchanges data with an arbitrary device via the field network 2.

USBコントローラ120は、USB接続を介して、サポート装置500などとの間でデータを遣り取りする。 The USB controller 120 exchanges data with the support device 500 and the like via the USB connection.

メモリカードインターフェイス112は、着脱可能な記憶媒体の一例であるメモリカード114を受け付ける。メモリカードインターフェイス112は、メモリカード114に対して任意のデータの読み書きが可能になっている。 The memory card interface 112 accepts a memory card 114, which is an example of a removable storage medium. The memory card interface 112 can read and write arbitrary data to and from the memory card 114.

ローカルバスコントローラ116は、ローカルバスを介して、PLC100に装着される任意の機能ユニットとの間でデータを遣り取りする。 The local bus controller 116 exchanges data with any functional unit mounted on the PLC 100 via the local bus.

(c2:解析装置200)
図6は、本実施の形態に係る協調作業システム1を構成する解析装置200のハードウェア構成例を示す模式図である。図6を参照して、解析装置200は、一例として、汎用的なアーキテクチャに従うハードウェア(例えば、汎用パソコン)を用いて実現される。
(C2: Analyst device 200)
FIG. 6 is a schematic diagram showing a hardware configuration example of the analysis device 200 constituting the collaborative work system 1 according to the present embodiment. With reference to FIG. 6, the analysis apparatus 200 is realized by using hardware (for example, a general-purpose personal computer) that follows a general-purpose architecture as an example.

図6を参照して、解析装置200は、プロセッサ202と、メインメモリ204と、入力部206と、表示部208と、ストレージ210と、光学ドライブ212と、フィールドネットワークコントローラ220と、上位ネットワークコントローラ222とを含む。これらのコンポーネントは、プロセッサバス218を介して接続されている。 With reference to FIG. 6, the analyzer 200 includes a processor 202, a main memory 204, an input unit 206, a display unit 208, a storage 210, an optical drive 212, a field network controller 220, and an upper network controller 222. And include. These components are connected via the processor bus 218.

プロセッサ202は、CPUやGPUなどで構成され、ストレージ210に格納されたプログラム(一例として、OS2102および解析プログラム2104)を読出して、メインメモリ204に展開して実行することで、後述するような各種処理を実現する。 The processor 202 is composed of a CPU, a GPU, or the like, and reads out a program (OS 2102 and an analysis program 2104 as an example) stored in the storage 210, expands the program into the main memory 204, and executes the program. Realize the processing.

メインメモリ204は、DRAMやSRAMなどの揮発性記憶装置などで構成される。ストレージ210は、例えば、HDDやSSDなどの不揮発性記憶装置などで構成される。 The main memory 204 is composed of a volatile storage device such as a DRAM or SRAM. The storage 210 is composed of, for example, a non-volatile storage device such as an HDD or SSD.

ストレージ210には、基本的な機能を実現するためのOS2102および後述するような各種解析処理を実行するための解析プログラム2104が格納される。 The storage 210 stores an OS 2102 for realizing basic functions and an analysis program 2104 for executing various analysis processes as described later.

入力部206は、キーボードやマウスなどで構成され、ユーザ操作を受け付ける。表示部208は、ディスプレイ、各種インジケータ、プリンタなどで構成され、プロセッサ202からの処理結果などを出力する。 The input unit 206 is composed of a keyboard, a mouse, and the like, and accepts user operations. The display unit 208 is composed of a display, various indicators, a printer, and the like, and outputs a processing result from the processor 202 and the like.

解析装置200は、光学ドライブ212を有しており、コンピュータ読取可能なプログラムを非一過的に格納する記憶媒体214(例えば、DVD(Digital Versatile Disc)などの光学記憶媒体)から、その中に格納されたプログラムが読み取られてストレージ210などにインストールされる。 The analyzer 200 has an optical drive 212, and is stored in a storage medium 214 (for example, an optical storage medium such as a DVD (Digital Versatile Disc)) that non-transiently stores a computer-readable program. The stored program is read and installed in the storage 210 or the like.

解析装置200で実行される解析プログラム2104などは、コンピュータ読取可能な記憶媒体214を介してインストールされてもよいが、ネットワーク上のサーバ装置などからダウンロードする形でインストールするようにしてもよい。また、本実施の形態に係る解析装置200が提供する機能は、OSが提供するモジュールの一部を利用する形で実現される場合もある。 The analysis program 2104 or the like executed by the analysis device 200 may be installed via a computer-readable storage medium 214, or may be installed by downloading from a server device or the like on the network. Further, the function provided by the analysis device 200 according to the present embodiment may be realized by using a part of the module provided by the OS.

フィールドネットワークコントローラ220は、フィールドネットワーク2を介して任意のデバイスとの間でデータを遣り取りする。上位ネットワークコントローラ222は、上位ネットワーク4を介して、任意の情報処理装置との間でデータを遣り取りする。 The field network controller 220 exchanges data with an arbitrary device via the field network 2. The host network controller 222 exchanges data with and from an arbitrary information processing device via the host network 4.

(c3:ロボット300)
図7は、本実施の形態に係る協調作業システム1を構成するロボット300のハードウェア構成例を示す模式図である。図7を参照して、ロボット300は、フィールドネットワークコントローラ302と、ロボット300の駆動に係る演算処理を実行するための主制御部310と、インターフェイス回路320とを含む。
(C3: Robot 300)
FIG. 7 is a schematic diagram showing a hardware configuration example of the robot 300 constituting the collaborative work system 1 according to the present embodiment. With reference to FIG. 7, the robot 300 includes a field network controller 302, a main control unit 310 for executing arithmetic processing related to driving the robot 300, and an interface circuit 320.

フィールドネットワークコントローラ302は、フィールドネットワーク2を介して任意のデバイスとの間でデータを遣り取りする。 The field network controller 302 exchanges data with an arbitrary device via the field network 2.

主制御部310は、プロセッサ312と、メインメモリ314と、ストレージ316とを含む。プロセッサ312は、CPUやGPUなどで構成され、ストレージ316に格納されたプログラム(一例として、システムプログラム317およびレシピプログラム318)を読出して、メインメモリ314に展開して実行することで、ロボット300の駆動に係る各種処理を実現する。 The main control unit 310 includes a processor 312, a main memory 314, and a storage 316. The processor 312 is composed of a CPU, a GPU, or the like, and reads a program (for example, a system program 317 and a recipe program 318) stored in the storage 316, expands the program in the main memory 314, and executes the program to execute the robot 300. Realize various processes related to driving.

メインメモリ314は、DRAMやSRAMなどの揮発性記憶装置などで構成される。ストレージ316は、例えば、SSDやHDDなどの不揮発性記憶装置などで構成される。 The main memory 314 is composed of a volatile storage device such as a DRAM or SRAM. The storage 316 is composed of, for example, a non-volatile storage device such as an SSD or an HDD.

インターフェイス回路320は、ロボット300に設けられた各種デバイスとの間で信号を遣り取りする。より具体的には、インターフェイス回路320は、センサ322と、アクチュエータ324と、1または複数のモータドライバ326と接続されている。 The interface circuit 320 exchanges signals with various devices provided in the robot 300. More specifically, the interface circuit 320 is connected to a sensor 322, an actuator 324, and one or more motor drivers 326.

センサ322は、ロボット300のアーム部などに配置されており、ロボット300の周囲の情報を収集する。作業者20とロボット300との協調作業においては、通常、ロボット300の近傍に作業者20が位置している場合には、ロボット300の動作速度を予め定められた制限値以下に抑制する必要がある。センサ322を用いて、作業者20とロボット300との接近を検出するようにしてもよい。 The sensor 322 is arranged on an arm portion of the robot 300 or the like, and collects information on the surroundings of the robot 300. In the cooperative work between the worker 20 and the robot 300, when the worker 20 is usually located in the vicinity of the robot 300, it is necessary to suppress the operating speed of the robot 300 to a predetermined limit value or less. is there. The sensor 322 may be used to detect the approach between the worker 20 and the robot 300.

アクチュエータ324は、ロボット300のアーム部などに配置されており、作業者20に対して各種通知を行うとともに、ワークに対するアクションなどを行う。モータドライバ326は、電気的に接続されたサーボモータ328を駆動する。サーボモータ328は、ロボット300のメカ体(アームや関節など)と機械的に接続されている。主制御部310がインターフェイス回路320を介してモータドライバ326に指令を与えることで、ロボット300を任意に動作させることができる。 The actuator 324 is arranged on the arm portion of the robot 300 or the like, and gives various notifications to the worker 20 and also performs an action on the work. The motor driver 326 drives an electrically connected servomotor 328. The servomotor 328 is mechanically connected to the mechanical body (arms, joints, etc.) of the robot 300. The robot 300 can be arbitrarily operated by the main control unit 310 giving a command to the motor driver 326 via the interface circuit 320.

(c4:表示操作装置400)
表示操作装置400は、一例として、汎用的なアーキテクチャに従うハードウェアを用いて実現される。表示操作装置400のハードウェア構成例および機能構成例は公知であるので、ここでは詳細な説明は行わない。
(C4: Display operation device 400)
As an example, the display operation device 400 is realized by using hardware that follows a general-purpose architecture. Since the hardware configuration example and the functional configuration example of the display operation device 400 are known, detailed description thereof will not be given here.

(c5:サポート装置500)
サポート装置500は、一例として、汎用的なアーキテクチャに従うハードウェア(例えば、汎用パソコン)を用いて実現される。サポート装置500のハードウェア構成例および機能構成例は公知であるので、ここでは詳細な説明は行わない。
(C5: Support device 500)
As an example, the support device 500 is realized by using hardware (for example, a general-purpose personal computer) that follows a general-purpose architecture. Since the hardware configuration example and the functional configuration example of the support device 500 are known, detailed description thereof will not be given here.

(c6:生産管理システム600)
生産管理システム600は、一例として、汎用的なアーキテクチャに従うハードウェア(例えば、汎用パソコン)を用いたサーバにより実現される。生産管理システム600のハードウェア構成例および機能構成例は公知であるので、ここでは詳細な説明は行わない。
(C6: Production control system 600)
As an example, the production control system 600 is realized by a server using hardware (for example, a general-purpose personal computer) that follows a general-purpose architecture. Since the hardware configuration example and the functional configuration example of the production control system 600 are known, detailed description thereof will not be given here.

<D.作業解析>
本実施の形態に係る協調作業システム1は、作業者とロボットとの協調作業の解析やリバランスなどを容易化するための情報を提供する。ここで、作業の解析について説明する。
<D. Work analysis>
The collaborative work system 1 according to the present embodiment provides information for facilitating analysis and rebalancing of collaborative work between a worker and a robot. Here, the analysis of work will be described.

図8は、本実施の形態に係る協調作業システム1における作業の解析例を説明するための図である。図8を参照して、複数の工程からなる工程全体40を最上位の単位として捉えて、各工程の工程内41は、複数の作業からなる。工程内41の各作業は、1または複数の要素作業42に分解できる。要素作業42の各々は、1または複数の動作43に分解できる。動作43の各々は、1または複数の単位動作44に分解できる。 FIG. 8 is a diagram for explaining an analysis example of work in the cooperative work system 1 according to the present embodiment. With reference to FIG. 8, the entire process 40 composed of a plurality of processes is regarded as the highest unit, and the process 41 of each process is composed of a plurality of operations. Each work of 41 in the process can be decomposed into one or a plurality of element work 42. Each of the elemental operations 42 can be decomposed into one or more operations 43. Each of the movements 43 can be decomposed into one or more unit movements 44.

このように、様々な生産工程における作業者あるいはロボットの挙動は、工程、作業、要素作業、動作、単位動作といった具合に分解できる。 In this way, the behavior of a worker or robot in various production processes can be decomposed into processes, operations, elemental operations, operations, unit operations, and the like.

本実施の形態に係る協調作業システム1においては、作業者およびロボットの挙動を要素作業の単位まで解析することができる。 In the collaborative work system 1 according to the present embodiment, the behaviors of the worker and the robot can be analyzed down to the unit of elemental work.

図9は、本実施の形態に係る協調作業システム1における作業解析に係る要部を示す模式図である。図9を参照して、解析装置200は、各工程が作業者およびロボットのいずれが担当する場合であっても、各工程を要素作業の単位で解析できる。より具体的には、解析装置200は、作業者用要素作業認識部250と、ロボット用要素作業認識部260と、解析処理エンジン270とを含む。これらの要素は、典型的には、解析装置200のプロセッサ202が解析プログラム2104を実行することで実現される。 FIG. 9 is a schematic diagram showing a main part related to work analysis in the cooperative work system 1 according to the present embodiment. With reference to FIG. 9, the analysis device 200 can analyze each process in units of elemental work regardless of whether each process is in charge of an operator or a robot. More specifically, the analysis device 200 includes an element work recognition unit 250 for workers, an element work recognition unit 260 for robots, and an analysis processing engine 270. These elements are typically realized by the processor 202 of the analyzer 200 executing the analysis program 2104.

作業者用要素作業認識部250およびロボット用要素作業認識部260は、作業者およびロボットの挙動を解析することで、各工程の作業に要する作業時間を算出する作業時間算出部に相当する。 The worker element work recognition unit 250 and the robot element work recognition unit 260 correspond to a work time calculation unit that calculates the work time required for the work of each process by analyzing the behaviors of the worker and the robot.

解析処理エンジン270は、生産管理システム600からの生産管理情報に基づいて、作業者用要素作業認識部250およびロボット用要素作業認識部260に対して、作業者およびロボットの作業分担の情報を事前に与える。生産管理情報は、各工程を作業者およびロボットのいずれが担当するのかという担当情報、作業者が担当する場合の担当者の識別情報、オーダ情報(生産対象の製品の品種などの情報を含む)、およびロット番号などを含む。 Based on the production control information from the production control system 600, the analysis processing engine 270 provides information on the work division between the worker and the robot to the worker element work recognition unit 250 and the robot element work recognition unit 260 in advance. Give to. Production control information includes information on whether a worker or a robot is in charge of each process, information on identifying the person in charge when the worker is in charge, and order information (including information such as the type of product to be produced). , And lot numbers and so on.

作業者用要素作業認識部250は、対象の工程が作業者によって担当される場合に、当該工程における作業者が行う要素作業毎の開始および終了のタイミング、ならびに、要素作業に要する時間を解析する。一方、ロボット用要素作業認識部260は、対象の工程がロボットによって担当される場合に、当該工程におけるロボットが行う要素作業毎の開始および終了のタイミング、ならびに、要素作業に要する時間を解析する。 When the target process is in charge of the target process, the worker element work recognition unit 250 analyzes the start and end timings of each element work performed by the worker in the process, and the time required for the element work. .. On the other hand, when the target process is in charge of the robot, the robot element work recognition unit 260 analyzes the start and end timings of each element work performed by the robot in the process, and the time required for the element work.

なお、各工程に含まれる要素作業の種類は、予め工程設計において決定されているとする。すなわち、各工程に含まれる要素作業の種類は既知である。 It is assumed that the type of element work included in each process is determined in advance in the process design. That is, the types of elemental work included in each process are known.

作業者用要素作業認識部250は、カメラ30などの1または複数のセンシングデバイスによる検出結果に基づいて、作業者の動きなどを解析して、いずれの要素作業を行っているのかを特定する。 The worker element work recognition unit 250 analyzes the movement of the worker based on the detection result by one or a plurality of sensing devices such as the camera 30, and identifies which element work is being performed.

センシングデバイスとしては、通常のカメラ(2Dカメラ)でもよいし、ステレオカメラ(3Dカメラ)であってもよい。あるいは、レーザスキャナや測距センサなどの物体までの距離プロファイルを取得できるようなセンシングデバイスを用いてもよい。 The sensing device may be a normal camera (2D camera) or a stereo camera (3D camera). Alternatively, a sensing device such as a laser scanner or a distance measuring sensor that can acquire a distance profile to an object may be used.

図10は、本実施の形態に係る協調作業システム1における作業者による要素作業の解析に係る要部を示す模式図である。図10を参照して、解析装置200の作業者用要素作業認識部250は、特徴点抽出部251と、物体認識部252と、動作認識部253と、工程データベース254と、要素作業決定部255とを含む。 FIG. 10 is a schematic diagram showing a main part related to analysis of element work by an operator in the cooperative work system 1 according to the present embodiment. With reference to FIG. 10, the worker element work recognition unit 250 of the analysis device 200 includes a feature point extraction unit 251, an object recognition unit 252, an motion recognition unit 253, a process database 254, and an element work determination unit 255. And include.

特徴点抽出部251は、センシングデバイスによる少なくとも作業者を含む領域のセンシング結果(典型的には、画像)に基づいて、作業者の特徴点(骨格や関節など)を抽出する。 The feature point extraction unit 251 extracts the feature points (skeleton, joints, etc.) of the worker based on the sensing result (typically, an image) of the region including at least the worker by the sensing device.

物体認識部252は、センシングデバイスからのセンシング結果(典型的には、画像)に基づいて、作業ステージ上などにある物体の位置および種類を認識する。 The object recognition unit 252 recognizes the position and type of an object on the work stage or the like based on the sensing result (typically, an image) from the sensing device.

動作認識部253は、特徴点抽出部251により抽出された作業者の特徴点と、物体認識部252により抽出された物体の位置および種類とに基づいて、作業者の動作を認識する。動作認識部253は、例えば、予め機械学習によって生成された学習済みモデルを用いて実現してもよいし、ルールベースの決定ロジックを用いて実現してもよい。動作認識部253は、認識した作業者の各時間における位置を特定するための情報を含む軌跡データを出力してもよい。軌跡データは、各時間における作業者の位置を示す情報を含む。 The motion recognition unit 253 recognizes the operator's motion based on the feature points of the operator extracted by the feature point extraction unit 251 and the position and type of the object extracted by the object recognition unit 252. The motion recognition unit 253 may be realized by using, for example, a trained model generated in advance by machine learning, or may be realized by using a rule-based determination logic. The motion recognition unit 253 may output locus data including information for specifying the position of the recognized worker at each time. The locus data includes information indicating the position of the worker at each time.

要素作業決定部255は、工程データベース254を参照して、動作認識部253により認識される作業者の動作に基づいて、工程内の要素作業の種類ならびに開始および終了のタイミングを決定する。このように、要素作業決定部255は、各工程に含まれる1または複数の要素作業毎に開始および終了のタイミングを決定する。 The element work determination unit 255 refers to the process database 254 and determines the type of element work in the process and the start and end timings based on the worker's motion recognized by the motion recognition unit 253. In this way, the element work determination unit 255 determines the start and end timings for each one or a plurality of element works included in each process.

工程データベース254は、各工程に含まれる要素作業および各要素作業に対応する動作に関する情報を含む。要素作業決定部255は、生産管理情報に基づいて、実行中の工程を特定するとともに、工程データベース254を参照して、特定した工程に含まれる要素作業および対応する動作を取得する。要素作業決定部255は、工程データベース254から取得した情報と、認識された作業者の動作とを比較することで、工程内の要素作業の種類ならびに開始および終了のタイミングを決定する。 The process database 254 includes information on the element work included in each process and the operation corresponding to each element work. The element work determination unit 255 identifies the process being executed based on the production control information, and also refers to the process database 254 to acquire the element work included in the specified process and the corresponding operation. The element work determination unit 255 determines the type of element work in the process and the start and end timings by comparing the information acquired from the process database 254 with the recognized operation of the worker.

このように、動作認識部253、工程データベース254および要素作業決定部255は、第1のタイミング決定部に相当し、特徴点抽出部251により抽出される作業者の特徴点、および、物体認識部252により認識される物体の位置および種類に基づいて、作業者による要素作業毎に開始および終了のタイミングを決定する。 As described above, the motion recognition unit 253, the process database 254, and the element work determination unit 255 correspond to the first timing determination unit, and the feature points of the worker extracted by the feature point extraction unit 251 and the object recognition unit. Based on the position and type of the object recognized by 252, the start and end timings are determined for each element work by the operator.

作業者用要素作業認識部250は、センシングデバイスによる検出結果に加えて、PLC100および/またはロボット300から取得した制御状態に基づいて、各工程における作業者が行う各要素作業の開始および終了のタイミングを判断するようにしてもよい。この場合は、後述するようなロボット用要素作業認識部260における判断処理を採用できる。 The worker element work recognition unit 250 starts and ends the element work performed by the worker in each process based on the control state acquired from the PLC 100 and / or the robot 300 in addition to the detection result by the sensing device. You may try to judge. In this case, the determination process in the robot element work recognition unit 260 as described later can be adopted.

作業者用要素作業認識部250は、各要素作業の開始および終了のタイミングを示す時刻などを出力してもよい。 The worker element work recognition unit 250 may output a time indicating the start and end timings of each element work.

一方、ロボット用要素作業認識部260は、PLC100および/またはロボット300から取得した制御状態に基づいて、各工程におけるロボットが行う各要素作業の開始および終了のタイミングを判断する。PLC100および/またはロボット300から取得する制御状態は、例えば、ユーザプログラムが参照するステータスを示す変数値、ユーザプログラムの実行中の命令行、実行中のレシピ番号などを含む。さらに、PLC100および/またはロボット300から取得する制御状態は、ロボット300の各関節の角度、アーム先端座標、アーム動作速度などを含んでいてもよい。 On the other hand, the robot element work recognition unit 260 determines the start and end timings of each element work performed by the robot in each process based on the control state acquired from the PLC 100 and / or the robot 300. The control state acquired from the PLC 100 and / or the robot 300 includes, for example, a variable value indicating the status referred to by the user program, a command line during execution of the user program, a recipe number during execution, and the like. Further, the control state acquired from the PLC 100 and / or the robot 300 may include the angle of each joint of the robot 300, the coordinates of the tip of the arm, the operating speed of the arm, and the like.

図11は、本実施の形態に係る協調作業システム1におけるロボットによる要素作業の解析に係る要部を示す模式図である。図11を参照して、解析装置200のロボット用要素作業認識部260は、PLC通信部261と、ロボット通信部262と、ステータス管理部263と、レシピプログラム264と、要素作業決定部265と、工程データベース266とを含む。 FIG. 11 is a schematic diagram showing a main part related to analysis of element work by a robot in the cooperative work system 1 according to the present embodiment. With reference to FIG. 11, the robot element work recognition unit 260 of the analysis device 200 includes a PLC communication unit 261, a robot communication unit 262, a status management unit 263, a recipe program 264, and an element work determination unit 265. Includes process database 266 and.

PLC通信部261は、PLC100から制御状態を取得する。ロボット通信部262は、ロボット300から制御状態を取得する。 The PLC communication unit 261 acquires a control state from the PLC 100. The robot communication unit 262 acquires the control state from the robot 300.

ステータス管理部263は、レシピプログラム264を参照して、PLC通信部261およびロボット通信部262により取得された制御状態に基づいて、現在のロボット300のステータスを決定する。レシピプログラム264は、PLC100およびロボット300で実行されるプログラムの複製あるいは主要部を含む。すなわち、ステータス管理部263は、PLC100およびロボット300の制御状態に基づいて、現在実行されているプログラムの内容を特定することで、現在のステータスを決定する。このように、ステータス管理部263は、ロボット300からの制御状態に基づいてロボット300のステータスを管理する。 The status management unit 263 determines the current status of the robot 300 based on the control state acquired by the PLC communication unit 261 and the robot communication unit 262 with reference to the recipe program 264. Recipe program 264 includes a copy or main part of the program executed by the PLC 100 and the robot 300. That is, the status management unit 263 determines the current status by specifying the contents of the program currently being executed based on the control states of the PLC 100 and the robot 300. In this way, the status management unit 263 manages the status of the robot 300 based on the control state from the robot 300.

また、ステータス管理部263は、取得したロボット300の各時間における位置を特定するための情報を含む軌跡データを出力してもよい。軌跡データは、各時間におけるロボット300の位置および姿勢を示す情報を含む。 Further, the status management unit 263 may output trajectory data including information for specifying the acquired position of the robot 300 at each time. The locus data includes information indicating the position and posture of the robot 300 at each time.

要素作業決定部265は、工程データベース266を参照して、ステータス管理部263により決定されたステータスに基づいて、工程内の要素作業の種類ならびに開始および終了タイミングを決定する。このように、要素作業決定部265は、各工程に含まれる1または複数の要素作業毎に開始および終了のタイミングを決定する。 The element work determination unit 265 refers to the process database 266 and determines the type of element work in the process and the start and end timings based on the status determined by the status management unit 263. In this way, the element work determination unit 265 determines the start and end timings for each one or a plurality of element works included in each process.

工程データベース266は、各工程に含まれる要素作業および各要素作業に対応する動作に関する情報を含む。要素作業決定部265は、生産管理情報に基づいて、実行中の工程を特定するとともに、工程データベース266を参照して、特定した工程に含まれる要素作業および対応する動作を取得する。要素作業決定部265は、工程データベース266に含まれる取得されたステータスに対応する情報に基づいて、工程内の要素作業の種類ならびに開始および終了タイミングを決定する。 The process database 266 includes information on the element work included in each process and the operation corresponding to each element work. The element work determination unit 265 identifies the process being executed based on the production control information, and also refers to the process database 266 to acquire the element work included in the specified process and the corresponding operation. The element work determination unit 265 determines the type of element work in the process and the start and end timings based on the information corresponding to the acquired status contained in the process database 266.

このように、要素作業決定部265および工程データベース266は、第2のタイミング決定部に相当し、ロボットのステータスに対応する挙動に基づいて、ロボット300による要素作業毎に開始および終了のタイミングを決定する。 In this way, the element work determination unit 265 and the process database 266 correspond to the second timing determination unit, and determine the start and end timings for each element work by the robot 300 based on the behavior corresponding to the status of the robot. To do.

また、ロボット用要素作業認識部260は、カメラ30などの1または複数のセンシングデバイスによる検出結果に少なくとも一部基づいて、各工程におけるロボットが行う要素作業毎の開始および終了のタイミングを判断するようにしてもよい。この場合は、上述したような作業者用要素作業認識部250における判断処理を採用できる。 Further, the robot element work recognition unit 260 determines the start and end timings of each element work performed by the robot in each process based on at least a part of the detection results by one or a plurality of sensing devices such as the camera 30. It may be. In this case, the determination process in the worker element work recognition unit 250 as described above can be adopted.

ロボット用要素作業認識部260は、各要素作業の開始および終了のタイミングを示す時刻などを出力してもよい。 The robot element work recognition unit 260 may output a time indicating the start and end timings of each element work.

図12は、本実施の形態に係る協調作業システム1における作業の解析に係る処理手順を示すフローチャートである。図12に示す各ステップは、典型的には、解析装置200のプロセッサ202が解析プログラム2104を実行することで実現される。 FIG. 12 is a flowchart showing a processing procedure related to analysis of work in the cooperative work system 1 according to the present embodiment. Each step shown in FIG. 12 is typically realized by the processor 202 of the analyzer 200 executing the analysis program 2104.

図12を参照して、解析装置200は、解析対象の生産管理情報を取得する(ステップS100)。解析装置200は、解析対象の所定期間に亘る、カメラ30により撮像された画像を取得する(ステップS102)とともに、PLC100および/またはロボット300の制御状態を取得する(ステップS104)。なお、解析装置200は、付加的な情報をさらに取得してもよい。 With reference to FIG. 12, the analysis device 200 acquires the production control information to be analyzed (step S100). The analysis device 200 acquires the image captured by the camera 30 over a predetermined period of the analysis target (step S102), and also acquires the control state of the PLC 100 and / or the robot 300 (step S104). The analysis device 200 may further acquire additional information.

解析装置200は、取得した画像に対して作業者20の特徴点(骨格や関節など)を抽出する(ステップS106)とともに、作業ステージ上などにある治具などの物体の位置および種類を認識する(ステップS108)。そして、解析装置200は、解析対象の所定期間に亘る、作業者20の動作を認識する(ステップS110)。すなわち、解析装置200は、作業者20についての軌跡データを生成する。 The analysis device 200 extracts the feature points (skeleton, joints, etc.) of the worker 20 from the acquired image (step S106), and recognizes the position and type of an object such as a jig on the work stage. (Step S108). Then, the analysis device 200 recognizes the operation of the worker 20 over a predetermined period of analysis target (step S110). That is, the analysis device 200 generates locus data for the worker 20.

また、解析装置200は、レシピプログラム264を参照して、取得された制御状態に基づいて、解析対象の所定期間に亘る、ロボット300のステータスおよび位置を決定する(ステップS112)。すなわち、解析装置200は、ロボット300についての軌跡データを生成する。 Further, the analysis device 200 determines the status and position of the robot 300 over a predetermined period of the analysis target based on the acquired control state with reference to the recipe program 264 (step S112). That is, the analysis device 200 generates trajectory data for the robot 300.

解析装置200は、取得した生産管理情報および工程データベース266を参照して、各工程が作業者20およびロボット300のいずれが担当するのかを判断し(ステップS114)、各工程の担当に応じて、作業者20の動作またはロボット300のステータスおよび位置に基づいて、要素作業毎に開始および終了のタイミングを決定し(ステップS116)、各要素作業の作業時間を算出する(ステップS118)。 The analyzer 200 refers to the acquired production control information and the process database 266 to determine whether each process is in charge of the worker 20 or the robot 300 (step S114), and depending on the person in charge of each process. Based on the movement of the worker 20 or the status and position of the robot 300, the start and end timings for each element work are determined (step S116), and the work time for each element work is calculated (step S118).

そして、解析装置200は、算出した各要素作業の作業時間を含む解析結果を出力する(ステップS120)。以上により、作業の解析に係る処理は終了する。 Then, the analysis device 200 outputs an analysis result including the calculated work time of each element work (step S120). With the above, the process related to the analysis of the work is completed.

図12に示す処理は、生産工程での生産活動に同期してほぼリアルタイムで実行されてもよいし、事後的に実行されてもよい。 The process shown in FIG. 12 may be executed in substantially real time in synchronization with the production activity in the production process, or may be executed after the fact.

図13は、本実施の形態に係る協調作業システム1が出力する要素作業の解析結果の一例を示す図である。図13を参照して、要素作業の解析結果700は、工程欄701と、工程内欄702と、要素作業欄703と、開始時刻欄704と、終了時刻欄705と、作業時間706と、担当欄707と、生産管理情報欄708とを含む。 FIG. 13 is a diagram showing an example of the analysis result of the element work output by the cooperative work system 1 according to the present embodiment. With reference to FIG. 13, the analysis result 700 of the element work is in charge of the process column 701, the process column 702, the element work column 703, the start time column 704, the end time column 705, and the work time 706. A column 707 and a production control information column 708 are included.

工程欄701には、対象の生産工程に含まれる工程が示される。工程内欄702は、対応する工程に含まれる作業が示される。要素作業欄703は、対応する作業に含まれる要素作業が示される。開始時刻欄704および終了時刻欄705は、対応する要素作業の開始および終了の時刻が示される。作業時間706は、対応する要素作業に要した時間が示される。 The process column 701 indicates a process included in the target production process. The process column 702 indicates the work included in the corresponding process. The element work column 703 shows the element work included in the corresponding work. The start time column 704 and the end time column 705 indicate the start and end times of the corresponding element work. The working time 706 indicates the time required for the corresponding element work.

担当欄707には、対応する要素作業を作業者およびロボットのいずれが担当するのかといった情報、および、作業者が担当する場合にはその作業者の識別情報が示される。 In the charge column 707, information such as whether the worker or the robot is in charge of the corresponding elemental work, and if the worker is in charge, the identification information of the worker is shown.

生産管理情報欄708は、対象の解析結果700が取得された対象の作業を特定するための情報(例えば、オーダ情報およびロット情報など)が示される。 The production control information column 708 shows information (for example, order information and lot information) for identifying the target work for which the target analysis result 700 has been acquired.

図14は、本実施の形態に係る協調作業システム1が出力する解析結果の表示例を示す図である。図14を参照して、各工程に要している作業時間のばらつきも表現できるグラフを用いて、解析結果を表示するようにしてもよい。なお、図14には、工程の単位で作業時間を表示しているが、これに限らず、要素作業の単位で作業時間を表示してもよい。 FIG. 14 is a diagram showing a display example of the analysis result output by the collaborative work system 1 according to the present embodiment. With reference to FIG. 14, the analysis result may be displayed by using a graph capable of expressing the variation in the working time required for each step. Although the working time is displayed in the unit of the process in FIG. 14, the working time is not limited to this, and the working time may be displayed in the unit of the element work.

以上のように、本実施の形態に係る協調作業システム1は、各工程を作業者およびロボットのいずれが担当する場合であっても、工程、工程に含まれる作業、および作業に含まれる要素作業の単位でどれだけの時間を要しているのかを把握可能な解析結果を提供する。 As described above, in the cooperative work system 1 according to the present embodiment, regardless of whether the operator or the robot is in charge of each process, the process, the work included in the process, and the element work included in the work It provides the analysis result that can grasp how much time is required in the unit of.

<E.作業切り替えロス推定>
本実施の形態に係る協調作業システム1は、現実に要している時間の解析に加えて、工程全体に要する時間を低減するために、作業者とロボットとの間での作業分担の変更を事前に評価するための情報を算出することもできる。より具体的には、ある工程の全部または一部の担当を作業者からロボットに変更した場合に、作業切り替えの適合性が算出される。以下、このような作業切り替えの適合性を示す指標の一例として、「切り替えロススコア」を採用する。
<E. Work switching loss estimation>
In the collaborative work system 1 according to the present embodiment, in addition to the analysis of the time actually required, the work division between the worker and the robot is changed in order to reduce the time required for the entire process. It is also possible to calculate information for evaluation in advance. More specifically, when the person in charge of all or part of a certain process is changed from a worker to a robot, the suitability of work switching is calculated. Hereinafter, the "switching loss score" will be adopted as an example of an index showing the suitability of such work switching.

図15は、本実施の形態に係る協調作業システム1が算出する切り替えロススコアを説明するための図である。図15(A)を参照して、任意の工程を作業者とロボットとで分担する場合を想定する。作業者とロボットとの間で担当が切り替わる位置を切り替えポイントp1とする。ここで、生産性を改善するために、図15(B)に示すように、作業者とロボットとの間で担当が切り替わる位置を切り替えポイントp1から切り替えポイントp2に変更する場合を想定する。すなわち、作業者の行っていた作業の一部をロボットが担当する場合を想定する。 FIG. 15 is a diagram for explaining the switching loss score calculated by the collaborative work system 1 according to the present embodiment. With reference to FIG. 15A, it is assumed that an arbitrary process is shared by a worker and a robot. The position at which the person in charge switches between the worker and the robot is set as the switching point p1. Here, in order to improve productivity, as shown in FIG. 15B, it is assumed that the position where the person in charge is switched between the operator and the robot is changed from the switching point p1 to the switching point p2. That is, it is assumed that the robot is in charge of a part of the work performed by the worker.

切り替えポイントp2から切り替えポイントp1までの作業に作業者が要していた作業時間をt1とし、切り替えポイントp2から切り替えポイントp1までの作業にロボットが要するであろう作業時間をt2’とする。 Let t1 be the work time required by the operator for the work from the switching point p2 to the switching point p1, and let t2'be be the work time that the robot would require for the work from the switching point p2 to the switching point p1.

また、図15(C)に示すように、ロボットが切り替えポイントp2より前の作業からずっと担当している場合に、切り替えポイントp2から切り替えポイントp1までの作業にロボットが要した作業時間をt2とする。 Further, as shown in FIG. 15C, when the robot has been in charge of the work before the switching point p2, the work time required by the robot for the work from the switching point p2 to the switching point p1 is defined as t2. To do.

図15に示す例において、作業時間t2’は作業時間t2と同一であることが理想的ではあるが、現実的には、作業時間t2’>作業時間t2である場合が多い。 In the example shown in FIG. 15, it is ideal that the working time t2'is the same as the working time t2, but in reality, the working time t2'> the working time t2 is often the case.

このように作業時間が増加する理由としては、切り替えポイントにおいては、作業者とロボットとが接近する可能性があり、この場合には、ロボットの動作速度を予め定められた制限値以下に抑制しなければならないことが挙げられる。また、作業者とロボットとの間でワーク(あるいは、半製品)を受け渡しする必要があり、この場合にも、両者の間に安全距離をとる、あるいは、ロボットの動作速度を抑制するなどの措置が必要となる。 The reason for the increase in working time is that the operator and the robot may approach each other at the switching point. In this case, the operating speed of the robot is suppressed to a predetermined limit or less. There is something that must be done. In addition, it is necessary to deliver the work (or semi-finished product) between the worker and the robot, and in this case as well, measures such as keeping a safe distance between the two or suppressing the operating speed of the robot. Is required.

このような理由によって、一般的に、切り替えポイントに係るロボットの作業時間は、ロボットが本来的に必要な作業時間より長くなる。すなわち、ロス係数α(原則として、α>1)を用いて、作業時間t2’=ロス係数α×作業時間t2と表すことができる。 For this reason, the working time of the robot related to the switching point is generally longer than the working time originally required by the robot. That is, using the loss coefficient α (in principle, α> 1), it can be expressed as working time t2'= loss coefficient α × working time t2.

本実施の形態に係る協調作業システム1は、上述のロス係数αを決定するための切り替えロススコアを算出する。典型的には、解析装置200の解析処理エンジン270が切り替えロススコアを算出する。すなわち、解析装置200の解析処理エンジン270は、作業切り替えの適合性を評価する適合性評価部に相当する。解析処理エンジン270は、工程の任意の位置において、作業者とロボットとの間で作業の担当を切り替えるとした場合に、切り替え前後の工程における作業者および協調作業ロボットの挙動に基づいて、作業切り替えの適合性を評価する。 The collaborative work system 1 according to the present embodiment calculates the switching loss score for determining the loss coefficient α described above. Typically, the analysis processing engine 270 of the analysis device 200 calculates the switching loss score. That is, the analysis processing engine 270 of the analysis device 200 corresponds to the suitability evaluation unit that evaluates the suitability of work switching. When the analysis processing engine 270 switches the person in charge of work between the worker and the robot at an arbitrary position in the process, the work is switched based on the behavior of the worker and the cooperative work robot in the processes before and after the switching. Evaluate the suitability of.

図16は、本実施の形態に係る協調作業システム1における切り替えロススコアの算出方法を説明するための図である。図16(A)には、1または複数の要素作業を担当する作業者20の状態を示し、図16(B)には、図16(A)の後に続く1または複数の要素作業を担当するロボット300の状態を示す。 FIG. 16 is a diagram for explaining a method of calculating a switching loss score in the cooperative work system 1 according to the present embodiment. FIG. 16A shows the state of the worker 20 in charge of one or more elemental work, and FIG. 16B is in charge of one or more elemental work following FIG. 16A. The state of the robot 300 is shown.

切り替えロススコアは、任意の切り替えポイントの直前にある作業を担当する作業者20(または、ロボット300)についての挙動と、当該切り替えポイントの直後にある作業を担当するロボット300(または、作業者20)についての挙動とを比較することで、当該切り替えポイントを設定した場合の生産性を低下させる度合いを算出することで、決定される。 The switching loss score is the behavior of the worker 20 (or robot 300) in charge of the work immediately before the arbitrary switching point and the robot 300 (or the worker 20) in charge of the work immediately after the switching point. It is determined by calculating the degree of reduction in productivity when the switching point is set by comparing with the behavior of.

より具体的には、注目する切り替えポイントの直前にある作業についての軌跡データと、当該注目する切り替えポイントの直後にある作業についての軌跡データとを比較することで、作業者20とロボット300との作業中の接近の度合いを評価する。ここで、軌跡データは、各時間における作業者20またはロボット300の位置を示す情報を含む。 More specifically, by comparing the locus data for the work immediately before the switching point of interest with the locus data for the work immediately after the switching point of interest, the worker 20 and the robot 300 Evaluate the degree of approach during work. Here, the locus data includes information indicating the position of the worker 20 or the robot 300 at each time.

例えば、切り替えロススコアは、作業者20とロボット300との間の距離Lに反比例するとともに、接近している時間に比例するようにしてもよい。すなわち、作業者20とロボット300との間の距離Lが小さいほど、および、接近している時間が長いほど、作業切り替えの適合性が低いことを意味する。 For example, the switching loss score may be inversely proportional to the distance L between the worker 20 and the robot 300, and may be proportional to the approaching time. That is, the smaller the distance L between the worker 20 and the robot 300 and the longer the approaching time, the lower the suitability for work switching.

また、ワーク(あるいは、半製品)の受け渡し位置、および、タクトタイムの要素などを反映することもできる。これらをまとめると、任意の切り替えポイントpについての切り替えロススコアSLoss(p)は、以下のように算出できる。 It is also possible to reflect the delivery position of the work (or semi-finished product), the element of takt time, and the like. Taken together, Rosusukoa switching for any switching point p n S Loss (p n) can be calculated as follows.

Loss(p)=−{a×∫(1/L(p))Δt+b(p)}
L(p)は、任意の切り替えポイントpについての各時刻における作業者20とロボット300との最接近距離を意味し、b(p)は、任意の切り替えポイントpについての各種要素を加えたロス関数を意味する。すなわち、切り替えロススコアは、作業者20の軌跡とロボット300の軌跡とから算出される両者の距離に基づいて決定されてもよい。
S Loss ( pn ) =-{a × ∫ (1 / L ( pn )) Δt + b ( pn )}
L (p n) denotes the distance of closest approach between the operator 20 and the robot 300 at each time for any switching point p n, b (p n), the various elements for any switching points p n Means the loss function with the addition of. That is, the switching loss score may be determined based on the distance between the locus of the operator 20 and the locus of the robot 300.

上記に示すように、解析装置200は、作業者と協調作業ロボットとの距離が小さいほど、適合性が低い(切り替えロススコアの絶対値が大きい)と決定する。また、解析装置200は、作業者とロボットとが接近している期間が長いほど、適合性が低い(切り替えロススコアの絶対値が大きい)と決定する。 As shown above, the analysis device 200 determines that the smaller the distance between the operator and the collaborative work robot, the lower the relevance (the larger the absolute value of the switching loss score). Further, the analysis device 200 determines that the longer the period in which the operator and the robot are in close proximity, the lower the relevance (the larger the absolute value of the switching loss score).

なお、切り替えロススコアを算出にあたって、作業者20およびロボット300の動作開始のタイミングは適宜設定してもよい。通常、作業者20およびロボット300は並列的に処理を実行するので、任意に設定あれるタイミングを基準として、作業者20とロボット300との作業中の接近の度合いを評価するようにしてもよい。 In calculating the switching loss score, the timing of starting the operation of the worker 20 and the robot 300 may be appropriately set. Normally, the worker 20 and the robot 300 execute the processing in parallel, so that the degree of approach between the worker 20 and the robot 300 during work may be evaluated based on a timing that can be arbitrarily set. ..

このように算出された任意の切り替えポイントpについての切り替えロススコアSLoss(p)を用いて、作業者20とロボット300との間の切り替えポイントを変更した場合に、どの程度の生産性を改善できるのかを評価できる。 Using switching Rosusukoa S Loss (p n) for any switching point p n calculated in this way, if you change the switching points between the operator 20 and the robot 300, the degree of productivity You can evaluate whether it can be improved.

なお、切り替えロススコアSLoss(p)の算出に用いられる軌跡データは、互いに異なる作業分担で製品が生産されたときに取得されたものを用いてもよい。すなわち、作業者20とロボット300とが第1の作業分担になっている生産工程から取得された軌跡データから、任意の切り替えポイントの直前にある作業を担当する作業者20(または、ロボット300)についての軌跡データを取得するとともに、作業者20とロボット300とが第1の作業分担とは異なる第2の作業分担になっている生産工程から取得された軌跡データから、任意の切り替えポイントの直後にある作業を担当するロボット300(または、作業者20)についての軌跡データを取得するようにしてもよい。 As the locus data used for calculating the switching loss score S Loss ( pn ), the locus data acquired when the products are produced with different work divisions may be used. That is, the worker 20 (or the robot 300) in charge of the work immediately before the arbitrary switching point from the locus data acquired from the production process in which the worker 20 and the robot 300 are assigned the first work. Immediately after an arbitrary switching point from the locus data acquired from the production process in which the worker 20 and the robot 300 have a second work division different from the first work division. The locus data of the robot 300 (or the worker 20) in charge of the work in the above may be acquired.

このような軌跡データの取得方法を採用することで、任意の切り替えポイントで担当を切り替えた生産工程で現実に生産を行う必要はない。すなわち、切り替えロススコアSLoss(p)を算出するために必要な、作業者20およびロボット300の軌跡データを任意の方法で取得すればよい。 By adopting such a trajectory data acquisition method, it is not necessary to actually perform production in the production process in which the person in charge is switched at an arbitrary switching point. That is, the locus data of the worker 20 and the robot 300, which are necessary for calculating the switching loss score S Loss ( pn), may be acquired by any method.

図17は、本実施の形態に係る協調作業システム1における切り替えロススコアを算出するための処理手順を示すフローチャートである。図17に示す各ステップは、典型的には、解析装置200のプロセッサ202が解析プログラム2104を実行することで実現される。 FIG. 17 is a flowchart showing a processing procedure for calculating the switching loss score in the cooperative work system 1 according to the present embodiment. Each step shown in FIG. 17 is typically realized by the processor 202 of the analyzer 200 executing the analysis program 2104.

図17を参照して、解析装置200は、対象の切り替えポイントpの指定を受け付ける(ステップS200)。続いて、解析装置200は、指定された切り替えポイントpの直前にある作業についての軌跡データを取得するとともに(ステップS202)、指定された切り替えポイントpの直後にある作業についての軌跡データを取得する(ステップS204)。それぞれの軌跡データは、作業分担が異なる状態からそれぞれ取得されたものであってもよい。 Referring to FIG. 17, the analysis apparatus 200 receives designation of the switching point p n of the subject (step S200). Subsequently, the analysis apparatus 200 acquires the trajectory data for the work immediately before the specified switching point p n (step S202), the trajectory data for the work immediately following the designated switch point p n Acquire (step S204). Each locus data may be acquired from a state in which the work division is different.

そして、解析装置200は、ステップS202において取得した軌跡データと、ステップS204において取得した軌跡データとに基づいて、作業者20とロボット300との作業中の接近の度合いを評価し(ステップS206)、切り替えロススコアSLoss(p)を算出する(ステップS208)。そして、特定の切り替えポイントpについての切り替えロススコアSLoss(p)の算出処理が終了する。 Then, the analysis device 200 evaluates the degree of approach between the worker 20 and the robot 300 during work based on the locus data acquired in step S202 and the locus data acquired in step S204 (step S206). The switching loss score S Loss ( pn ) is calculated (step S208). Then, the calculation processing of switching Rosusukoa S Loss (p n) for a particular switching point p n ends.

<F.切り替えロススコアを用いた生産工程改善の提案>
上述したような切り替えロススコアを用いて生産工程の改善提案を行うこともできる。すなわち、切り替えロススコアを考慮することで、予め算出されている作業時間から、作業者およびロボットの作業分担を変更した場合に生じる作業時間を予測することができる。複数通りの作業分担について、必要な作業時間をそれぞれ算出することで、最適な作業分担を決定することができる。
<F. Proposal for improvement of production process using switching loss score>
It is also possible to make a proposal for improvement of the production process by using the switching loss score as described above. That is, by considering the switching loss score, it is possible to predict the work time that occurs when the work division of the worker and the robot is changed from the work time calculated in advance. The optimum work division can be determined by calculating the required work time for each of the plurality of work divisions.

図18は、本実施の形態に係る協調作業システム1における生産工程の改善提案に係る機能構成例を示す模式図である。図18を参照して、解析処理エンジン270は、機能構成として、シミュレータ2702と、最適工程決定部2704と、作業指示部2706とを含む。 FIG. 18 is a schematic diagram showing a functional configuration example related to a proposal for improvement of a production process in the cooperative work system 1 according to the present embodiment. With reference to FIG. 18, the analysis processing engine 270 includes a simulator 2702, an optimum process determination unit 2704, and a work instruction unit 2706 as functional configurations.

シミュレータ2702は、生産計画に応じて必要な工程を特定するとともに、切り替えポイント毎に必要となるであろう作業時間を算出する。作業時間の算出には、作業者およびロボットの要素作業時間に加えて、設定される切り替えポイントに応じた切り替えロススコアが用いられてもよい。 The simulator 2702 specifies the required process according to the production plan, and calculates the work time that will be required for each switching point. In addition to the elemental work time of the worker and the robot, the switching loss score according to the set switching point may be used for calculating the working time.

すなわち、シミュレータ2702は、作業時間算出部に相当し、切り替え後の工程の作業に要する作業時間を、当該工程が切り替え後ではない場合に算出された作業時間と、作業切り替えの適合性の大きさ(切り替えロススコア)とに基づいて決定してもよい(図15参照)。 That is, the simulator 2702 corresponds to the work time calculation unit, and the work time required for the work of the process after switching is the work time calculated when the process is not after switching and the magnitude of suitability for work switching. It may be determined based on (switching loss score) (see FIG. 15).

最適工程決定部2704は、シミュレータ2702により算出される切り替えポイント毎の作業時間に応じて、作業者およびロボットの最適な作業分担を決定する。 The optimum process determination unit 2704 determines the optimum work division between the operator and the robot according to the work time for each switching point calculated by the simulator 2702.

作業指示部2706は、最適工程決定部2704により決定された最適な作業分担の内容をユーザ(典型的には、ライン管理者)に通知する。ライン管理者は、通知された内容に基づいて、必要に応じて生産工程の分担変更などを行う。 The work instruction unit 2706 notifies the user (typically, the line manager) of the content of the optimum work division determined by the optimum process determination unit 2704. The line manager changes the division of production processes as necessary based on the notified contents.

図19は、本実施の形態に係る協調作業システム1における生産工程の改善提案に係るユーザインターフェイス画面720の一例を示す模式図である。図19を参照して、ユーザインターフェイス画面720は、生産工程のいくつかの作業分担の候補を含む。 FIG. 19 is a schematic view showing an example of a user interface screen 720 related to a proposal for improvement of a production process in the cooperative work system 1 according to the present embodiment. With reference to FIG. 19, the user interface screen 720 includes some work sharing candidates for the production process.

各候補は、切り替えロススコア722の値とともに、作業者が担当する要素作業とロボットが担当する要素作業との切り替えポイント724が示されている。なお、図19において、太字はロボットが担当する要素作業を意味し、それ以外は作業者が担当する要素作業を意味する。 For each candidate, the value of the switching loss score 722 and the switching point 724 between the element work in charge of the worker and the element work in charge of the robot are shown. In FIG. 19, bold letters mean elemental work that the robot is in charge of, and other than that, it means elemental work that the worker is in charge of.

このように、解析装置200の最適工程決定部2704および作業指示部2706は、出力部に相当し、作業者とロボットとの間で担当を異ならせた複数の作業分担の候補毎に、作業時間を算出することで、作業分担の候補をランキングして出力する。 In this way, the optimum process determination unit 2704 and the work instruction unit 2706 of the analysis device 200 correspond to the output unit, and the work time is set for each of a plurality of work division candidates with different responsibilities between the worker and the robot. By calculating, the candidates for work sharing are ranked and output.

ライン管理者などのユーザは、ユーザインターフェイス画面720を参照して、生産工程の適切な作業分担を決定できる。 A user such as a line manager can refer to the user interface screen 720 to determine an appropriate work division of the production process.

図20は、本実施の形態に係る協調作業システム1における生産工程の改善提案に係る処理手順を示すフローチャートである。図20に示す各ステップは、典型的には、解析装置200のプロセッサ202が解析プログラム2104を実行することで実現される。 FIG. 20 is a flowchart showing a processing procedure related to an improvement proposal of a production process in the cooperative work system 1 according to the present embodiment. Each step shown in FIG. 20 is typically realized by the processor 202 of the analyzer 200 executing the analysis program 2104.

図20を参照して、解析装置200は、生産管理システム600などから生産計画を取得する(ステップS300)。解析装置200は、取得した生産計画に基づいて必要な工程を特定する(ステップS302)。 With reference to FIG. 20, the analysis apparatus 200 acquires a production plan from the production control system 600 or the like (step S300). The analysis device 200 identifies a necessary process based on the acquired production plan (step S302).

そして、解析装置200は、ステップS302において特定した必要な工程に含まれる要素作業について作業者およびロボットの作業分担の1つの候補を決定する(ステップS304)。決定した候補は、ある切り替えポイントにおいて、作業者とロボットとの間で作業の分担が切り替わるとする。 Then, the analysis device 200 determines one candidate for the work division between the worker and the robot for the element work included in the necessary process specified in step S302 (step S304). It is assumed that the determined candidate switches the division of work between the worker and the robot at a certain switching point.

解析装置200は、決定した候補について、作業者またはロボットの各要素作業に要する作業時間を取得する(ステップS306)。これらの作業時間は、図12に示す作業解析によって予め取得されたものから選択または抽出されてもよい。 The analysis device 200 acquires the work time required for each element work of the worker or the robot for the determined candidate (step S306). These working hours may be selected or extracted from those previously obtained by the working analysis shown in FIG.

解析装置200は、決定した候補に切り替えポイントについて、切り替えロススコアを算出する(ステップS308)。ステップS308においては、必要に応じて、図17に示す切り替えロススコアを算出する処理が実行される。 The analysis device 200 calculates a switching loss score for the determined candidate at the switching point (step S308). In step S308, a process of calculating the switching loss score shown in FIG. 17 is executed as necessary.

解析装置200は、ステップS306において取得された切り替えポイントの直後にある作業の作業時間に、ステップS308において算出した切り替えロススコアに基づくロス係数を乗じて、決定した候補における補正後の作業時間として決定する(ステップS310)。最終的に、解析装置200は、ステップS310において決定した補正後の作業時間を含む、各要素作業についての作業時間を積算して、対象の候補についての総作業時間を算出する(ステップS312)。 The analysis device 200 multiplies the work time of the work immediately after the switching point acquired in step S306 by the loss coefficient based on the switching loss score calculated in step S308, and determines the work time after correction in the determined candidate. (Step S310). Finally, the analysis device 200 integrates the work time for each element work including the corrected work time determined in step S310, and calculates the total work time for the target candidate (step S312).

続いて、解析装置200は、ステップS302において特定した必要な工程に含まれる要素作業について作業者およびロボットの作業分担の別の候補が存在するか否かを判断する(ステップS314)。作業分担の別の候補が存在する場合には(ステップS314においてYES)、解析装置200は、作業者およびロボットの作業分担の別の1つの候補を決定し(ステップS316)、ステップS306以下の処理を繰り返す。 Subsequently, the analysis device 200 determines whether or not there is another candidate for the division of work between the worker and the robot for the element work included in the necessary process specified in step S302 (step S314). When another candidate for work sharing exists (YES in step S314), the analysis device 200 determines another candidate for work sharing between the worker and the robot (step S316), and processes in step S306 and the like. repeat.

作業分担の別の候補が存在しない場合には(ステップS314においてNO)、解析装置200は、候補毎に算出された総作業時間についてランキングし(ステップS318)、ランキング上位の候補の内容を通知する(ステップS320)。そして、処理は終了する。 If there is no other candidate for work sharing (NO in step S314), the analysis device 200 ranks the total work time calculated for each candidate (step S318) and notifies the contents of the top ranking candidate. (Step S320). Then, the process ends.

このように、切り替えロススコアに基づいて、作業者およびロボットの作業分担を変更した場合の総作業時間を、現実に作業分担を変更しなくても算出できるので、複数の作業分担の候補の中から最適な分担を容易に見つけることができる。 In this way, based on the switching loss score, the total work time when the work division of the worker and the robot is changed can be calculated without actually changing the work division. You can easily find the optimal division.

<G.変形例>
上述の説明においては、作業切り替えの適合性を示す指標の一例として、「切り替えロススコア」を採用する例を挙げたが、これに限らず、任意の指標を採用できる。また、作業切り替えの適合性を示す指標に代えて、テーブルあるいは関数を採用してもよい。
<G. Modification example>
In the above description, as an example of an index indicating the suitability of work switching, an example of adopting a “switching loss score” has been given, but the present invention is not limited to this, and any index can be adopted. Further, a table or a function may be adopted instead of the index indicating the suitability of work switching.

上述の説明においては、解析装置200がすべての処理を実行する形態について例示したが、これに限らず、複数の装置が連携して上述したような機能を提供するようにしてもよい。さらに、一部または全部の機能をサーバ上のいわゆるクラウドと称される計算リソースを利用して実現してもよい。 In the above description, the mode in which the analysis device 200 executes all the processes has been illustrated, but the present invention is not limited to this, and a plurality of devices may cooperate to provide the above-mentioned functions. Furthermore, some or all of the functions may be realized by using so-called cloud computing resources on the server.

<H.付記>
上述したような本実施の形態は、以下のような技術思想を含む。
<H. Addendum>
The present embodiment as described above includes the following technical ideas.

[構成1]
予め定められた工程に沿って製品を生産する協調作業システムであって、
作業者と協調して作業を行う1または複数の協調作業ロボットと、
前記作業者および前記協調作業ロボットの挙動を解析することで、各工程の作業に要する作業時間を算出する作業時間算出部と、
前記工程の任意の位置において、前記作業者と前記協調作業ロボットとの間で作業の担当を切り替えるとした場合に、切り替え前後の工程における前記作業者および前記協調作業ロボットの挙動に基づいて、作業切り替えの適合性を評価する適合性評価部とを備える、協調作業システム。
[Structure 1]
A collaborative work system that produces products according to a predetermined process.
One or more collaborative work robots that work in collaboration with workers,
A work time calculation unit that calculates the work time required for the work of each process by analyzing the behavior of the worker and the collaborative work robot.
When the person in charge of work is switched between the worker and the cooperative work robot at an arbitrary position in the process, the work is performed based on the behavior of the worker and the cooperative work robot in the steps before and after the switching. A collaborative work system equipped with a suitability evaluation unit that evaluates the suitability of switching.

[構成2]
前記適合性評価部は、前記作業者と前記協調作業ロボットとの距離が小さいほど、適合性が低いと決定する、構成1に記載の協調作業システム。
[Structure 2]
The collaborative work system according to configuration 1, wherein the conformity evaluation unit determines that the smaller the distance between the worker and the collaborative work robot, the lower the conformity.

[構成3]
前記適合性評価部は、前記作業者と前記協調作業ロボットとが接近している期間が長いほど、適合性が低いと決定する、構成2に記載の協調作業システム。
[Structure 3]
The collaborative work system according to configuration 2, wherein the conformity evaluation unit determines that the longer the period in which the worker and the collaborative work robot are close to each other, the lower the conformity.

[構成4]
切り替え後の工程の作業に要する作業時間を、当該工程が切り替え後ではない場合に算出された作業時間と、前記作業切り替えの適合性の大きさとに基づいて決定する作業時間算出部をさらに備える、構成1〜3のいずれか1項に記載の協調作業システム。
[Structure 4]
It further includes a work time calculation unit that determines the work time required for the work of the process after switching based on the work time calculated when the process is not after switching and the magnitude of suitability of the work switching. The collaborative work system according to any one of configurations 1 to 3.

[構成5]
前記作業者と前記協調作業ロボットとの間で担当を異ならせた複数の作業分担の候補毎に、作業時間を算出することで、作業分担の候補をランキングして出力する出力部をさらに備える、構成4に記載の協調作業システム。
[Structure 5]
It is further provided with an output unit that ranks and outputs the work division candidates by calculating the work time for each of a plurality of work division candidates whose responsibilities are different between the worker and the cooperative work robot. The collaborative work system according to configuration 4.

[構成6]
前記作業時間算出部は、各工程に含まれる1または複数の要素作業毎に開始および終了のタイミングを決定する、構成1〜5のいずれか1項に記載の協調作業システム。
[Structure 6]
The cooperative work system according to any one of configurations 1 to 5, wherein the work time calculation unit determines start and end timings for each one or a plurality of elemental works included in each process.

[構成7]
前記作業時間算出部は、
センシングデバイスによる少なくとも前記作業者を含む領域のセンシング結果に基づいて、前記作業者の特徴点を抽出する特徴点抽出部と、
前記センシング結果に基づいて、作業ステージ上にある物体の位置および種類を認識する物体認識部と、
前記特徴点抽出部により抽出される前記作業者の特徴点、および、前記物体認識部により認識される前記物体の位置および種類に基づいて、前記作業者による要素作業毎に開始および終了のタイミングを決定する第1のタイミング決定部とを含む、構成6に記載の協調作業システム。
[Structure 7]
The working time calculation unit
A feature point extraction unit that extracts the feature points of the worker based on the sensing result of at least the area including the worker by the sensing device.
An object recognition unit that recognizes the position and type of an object on the work stage based on the sensing result.
Based on the feature points of the worker extracted by the feature point extraction unit and the position and type of the object recognized by the object recognition unit, the start and end timings for each element work by the worker are set. The collaborative work system according to configuration 6, which includes a first timing determination unit for determining.

[構成8]
前記作業時間算出部は、
前記協調作業ロボットからの制御状態に基づいて前記協調作業ロボットのステータスを管理するステータス管理部と、
前記協調作業ロボットのステータスに対応する挙動に基づいて、前記協調作業ロボットによる要素作業毎に開始および終了のタイミングを決定する第2のタイミング決定部とを含む、構成6または7に記載の協調作業システム。
[Structure 8]
The working time calculation unit
A status management unit that manages the status of the collaborative work robot based on the control state from the collaborative work robot, and a status management unit.
The cooperative work according to the configuration 6 or 7, which includes a second timing determination unit that determines the start and end timings for each element work by the cooperative work robot based on the behavior corresponding to the status of the cooperative work robot. system.

[構成9]
予め定められた工程に沿って製品を生産する協調作業システムに向けられた解析装置であって、協調作業システムは作業者と協調して作業を行う1または複数の協調作業ロボットを含み、
前記作業者および前記協調作業ロボットの挙動を解析することで、各工程の作業に要する作業時間を算出する作業時間算出部と、
前記工程の任意の位置において、前記作業者と前記協調作業ロボットとの間で作業の担当を切り替えるとした場合に、切り替え前後の工程における前記作業者および前記協調作業ロボットの挙動に基づいて、作業切り替えの適合性を評価する適合性評価部とを備える、解析装置。
[Structure 9]
An analyzer directed to a collaborative work system that produces products according to a predetermined process, the collaborative work system includes one or more collaborative work robots that work in concert with the worker.
A work time calculation unit that calculates the work time required for the work of each process by analyzing the behavior of the worker and the collaborative work robot.
When the person in charge of work is switched between the worker and the cooperative work robot at an arbitrary position in the process, the work is performed based on the behavior of the worker and the cooperative work robot in the steps before and after the switching. An analysis device including a suitability evaluation unit that evaluates the suitability of switching.

[構成10]
予め定められた工程に沿って製品を生産する協調作業システムに向けられた解析プログラムであって、協調作業システムは作業者と協調して作業を行う1または複数の協調作業ロボットを含み、前記解析プログラムはコンピュータに、
前記作業者および前記協調作業ロボットの挙動を解析することで、各工程の作業に要する作業時間を算出するステップと、
前記工程の任意の位置において、前記作業者と前記協調作業ロボットとの間で作業の担当を切り替えるとした場合に、切り替え前後の工程における前記作業者および前記協調作業ロボットの挙動に基づいて、作業切り替えの適合性を評価するステップとを実行させる、解析プログラム。
[Structure 10]
An analysis program directed to a collaborative work system that produces products according to a predetermined process, wherein the collaborative work system includes one or more collaborative work robots that perform work in cooperation with a worker. The program is on the computer
A step of calculating the work time required for the work of each process by analyzing the behavior of the worker and the cooperative work robot, and
When the person in charge of work is switched between the worker and the cooperative work robot at an arbitrary position in the process, the work is performed based on the behavior of the worker and the cooperative work robot in the steps before and after the switching. An analysis program that executes steps to evaluate the suitability of switching.

<I.利点>
協調作業ロボットを用いた生産現場を考慮すると、協調作業ロボットの作業を固定化すると、作業者の習熟度によっては、作業分担のバランスが崩れ、作業者または協調作業ロボットに手待ちが発生し得る。作業者同士であれば、習熟度に応じて、作業分担を随時最適化できるが、作業者と協調作業ロボットとの間では、ワークまたは半製品を受け渡しなどにおける制約もあり、どのような作業分担にすべきかをすぐには決定できない。
<I. Advantages>
Considering the production site using the collaborative work robot, if the work of the collaborative work robot is fixed, the balance of work sharing may be lost depending on the proficiency level of the worker, and the worker or the collaborative work robot may have to wait. .. Workers can optimize work sharing at any time according to their proficiency level, but there are restrictions on the delivery of work or semi-finished products between workers and collaborative work robots, so what kind of work sharing is possible? I can't immediately decide what to do.

このような課題に対して、本実施の形態に係る協調作業システムは、以下のような解決手段を提供する。 The collaborative work system according to the present embodiment provides the following solutions to such problems.

(1)作業者および協調作業ロボットの動作を要素作業の単位で把握して、各作業時間を計測する。この計測された要素作業毎の作業時間は、作業者および/またはオーダ情報(生産対象の製品の品種などの情報を含む)毎に収集されてもよい。 (1) Grasp the movements of the worker and the collaborative work robot in units of elemental work, and measure each work time. The work time for each measured elemental work may be collected for each worker and / or order information (including information such as the type of product to be produced).

(2)作業者と協調作業ロボットとの間で作業を切り替えた場合の適合性(切り替えロススコア)を算出する。この適合性を参照することで、作業者と協調作業ロボットとの間でスムースにワークまたは半製品を受け渡すことができるかを推定できる。 (2) Calculate the suitability (switching loss score) when the work is switched between the worker and the collaborative work robot. By referring to this compatibility, it is possible to estimate whether the work or semi-finished product can be smoothly delivered between the worker and the collaborative work robot.

(3)生産管理システムから生産計画や人員配置情報を取得した上で、作業切り替えの適合性を参照して、作業者と協調作業ロボットとの間の作業バランスを最適化する。 (3) After acquiring the production plan and staffing information from the production control system, the work balance between the worker and the collaborative work robot is optimized by referring to the suitability of work switching.

このような解決手段を提供することで、作業者と協調作業ロボットとがアシストし合い、効率的な生産を実現できる。 By providing such a solution, the worker and the collaborative work robot can assist each other and realize efficient production.

さらに、作業者および/または製品毎に、作業者と協調作業ロボットとの間の作業バランスを最適化してもよい。 Further, the work balance between the worker and the collaborative work robot may be optimized for each worker and / or product.

このように、作業者だけではなく、作業者と協調作業ロボットとの関係を考慮して、作業者と協調作業ロボットとの間の作業分担を最適化できる。 In this way, the work sharing between the worker and the collaborative work robot can be optimized in consideration of the relationship between the worker and the collaborative work robot as well as the worker.

また、本実施の形態に係る協調作業システムは、要素作業毎に作業時間を算出できるので、より粒度の細かいデータを収集することができ、これによって、通常は気付かない問題などを見つけることもできる。このような問題を工程設計にも反映できる。 Further, since the collaborative work system according to the present embodiment can calculate the work time for each element work, it is possible to collect finer-grained data, and thereby it is possible to find problems that are not normally noticed. .. Such problems can be reflected in the process design.

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。 It should be considered that the embodiments disclosed this time are exemplary in all respects and not restrictive. The scope of the present invention is shown not by the above description but by the scope of claims, and is intended to include all modifications within the meaning and scope equivalent to the scope of claims.

1 協調作業システム、2 フィールドネットワーク、4 上位ネットワーク、11M,12A,12M,13A,14A,15A 作業ステージ、20 作業者、30 カメラ、40 工程全体、41 工程内、42 要素作業、43 動作、44 単位動作、102,202,312 プロセッサ、104,204,314 メインメモリ、106,222 上位ネットワークコントローラ、108,220,302 フィールドネットワークコントローラ、110,210,316 ストレージ、112 メモリカードインターフェイス、114 メモリカード、116 ローカルバスコントローラ、118,218 プロセッサバス、120 USBコントローラ、200 解析装置、206 入力部、208 表示部、212 光学ドライブ、214 記憶媒体、250 作業者用要素作業認識部、251 特徴点抽出部、252 物体認識部、253 動作認識部、254,266 工程データベース、255,265 要素作業決定部、260 ロボット用要素作業認識部、261 PLC通信部、262 ロボット通信部、263 ステータス管理部、264,318,1106 レシピプログラム、270 解析処理エンジン、300 ロボット(協調作業ロボット)、310 主制御部、317,1102 システムプログラム、320 インターフェイス回路、322 センサ、324 アクチュエータ、326 モータドライバ、328 サーボモータ、400 表示操作装置、500 サポート装置、600 生産管理システム、700 解析結果、701 工程欄、702 工程内欄、703 要素作業欄、704 開始時刻欄、705 終了時刻欄、706 作業時間、707 担当欄、708 生産管理情報欄、720 ユーザインターフェイス画面、722 切り替えロススコア、724,p1,p2 切り替えポイント、1104 ユーザプログラム、2104 解析プログラム、2702 シミュレータ、2704 最適工程決定部、2706 作業指示部、L 距離。 1 collaborative work system, 2 field network, 4 upper network, 11M, 12A, 12M, 13A, 14A, 15A work stage, 20 workers, 30 cameras, 40 entire processes, 41 processes, 42 element work, 43 operations, 44 Unit operation, 102,202,312 processor, 104,204,314 main memory, 106,222 upper network controller, 108,220,302 field network controller, 110,210,316 storage, 112 memory card interface, 114 memory card, 116 Local bus controller, 118, 218 processor bus, 120 USB controller, 200 analyzer, 206 input unit, 208 display unit, 212 optical drive, 214 storage medium, 250 worker element work recognition unit, 251 feature point extraction unit, 252 Object recognition unit, 253 motion recognition unit, 254,266 process database, 255,265 element work determination unit, 260 robot element work recognition unit, 261 PLC communication unit, 262 robot communication unit, 263 status management unit, 264,318 , 1106 Recipe program, 270 analysis processing engine, 300 robot (cooperative work robot), 310 main controller, 317, 1102 system program, 320 interface circuit, 322 sensor, 324 actuator, 326 motor driver, 328 servo motor, 400 display operation Equipment, 500 support equipment, 600 production control system, 700 analysis result, 701 process column, 702 process column, 703 element work column, 704 start time column, 705 end time column, 706 work time, 707 charge column, 708 production control Information field, 720 user interface screen, 722 switching loss score, 724, p1, p2 switching point, 1104 user program, 2104 analysis program, 2702 simulator, 2704 optimum process determination unit, 2706 work instruction unit, L distance.

Claims (10)

予め定められた工程に沿って製品を生産する協調作業システムであって、
作業者と協調して作業を行う1または複数の協調作業ロボットと、
前記作業者および前記協調作業ロボットの挙動を解析することで、各工程の作業に要する作業時間を算出する作業時間算出部と、
前記工程の任意の位置において、前記作業者と前記協調作業ロボットとの間で作業の担当を切り替えるとした場合に、切り替え前後の工程における前記作業者および前記協調作業ロボットの挙動に基づいて、作業切り替えの適合性を評価する適合性評価部とを備える、協調作業システム。
A collaborative work system that produces products according to a predetermined process.
One or more collaborative work robots that work in collaboration with workers,
A work time calculation unit that calculates the work time required for the work of each process by analyzing the behavior of the worker and the collaborative work robot.
When the person in charge of work is switched between the worker and the cooperative work robot at an arbitrary position in the process, the work is performed based on the behavior of the worker and the cooperative work robot in the steps before and after the switching. A collaborative work system equipped with a suitability evaluation unit that evaluates the suitability of switching.
前記適合性評価部は、前記作業者と前記協調作業ロボットとの距離が小さいほど、適合性が低いと決定する、請求項1に記載の協調作業システム。 The collaborative work system according to claim 1, wherein the conformity evaluation unit determines that the smaller the distance between the worker and the collaborative work robot, the lower the conformity. 前記適合性評価部は、前記作業者と前記協調作業ロボットとが接近している期間が長いほど、適合性が低いと決定する、請求項2に記載の協調作業システム。 The collaborative work system according to claim 2, wherein the conformity evaluation unit determines that the longer the period in which the worker and the collaborative work robot are close to each other, the lower the conformity. 切り替え後の工程の作業に要する作業時間を、当該工程が切り替え後ではない場合に算出された作業時間と、前記作業切り替えの適合性の大きさとに基づいて決定する作業時間算出部をさらに備える、請求項1〜3のいずれか1項に記載の協調作業システム。 Further provided with a work time calculation unit that determines the work time required for the work of the process after switching based on the work time calculated when the process is not after switching and the magnitude of suitability of the work switching. The collaborative work system according to any one of claims 1 to 3. 前記作業者と前記協調作業ロボットとの間で担当を異ならせた複数の作業分担の候補毎に、作業時間を算出することで、作業分担の候補をランキングして出力する出力部をさらに備える、請求項4に記載の協調作業システム。 It further includes an output unit that ranks and outputs the work division candidates by calculating the work time for each of a plurality of work division candidates whose responsibilities are different between the worker and the cooperative work robot. The collaborative work system according to claim 4. 前記作業時間算出部は、各工程に含まれる1または複数の要素作業毎に開始および終了のタイミングを決定する、請求項1〜5のいずれか1項に記載の協調作業システム。 The cooperative work system according to any one of claims 1 to 5, wherein the work time calculation unit determines start and end timings for each one or a plurality of elemental works included in each process. 前記作業時間算出部は、
センシングデバイスによる少なくとも前記作業者を含む領域のセンシング結果に基づいて、前記作業者の特徴点を抽出する特徴点抽出部と、
前記センシング結果に基づいて、作業ステージ上にある物体の位置および種類を認識する物体認識部と、
前記特徴点抽出部により抽出される前記作業者の特徴点、および、前記物体認識部により認識される前記物体の位置および種類に基づいて、前記作業者による要素作業毎に開始および終了のタイミングを決定する第1のタイミング決定部とを含む、請求項6に記載の協調作業システム。
The working time calculation unit
A feature point extraction unit that extracts the feature points of the worker based on the sensing result of at least the area including the worker by the sensing device.
An object recognition unit that recognizes the position and type of an object on the work stage based on the sensing result.
Based on the feature points of the worker extracted by the feature point extraction unit and the position and type of the object recognized by the object recognition unit, the start and end timings for each element work by the worker are set. The collaborative work system according to claim 6, which includes a first timing determination unit for determining.
前記作業時間算出部は、
前記協調作業ロボットからの制御状態に基づいて前記協調作業ロボットのステータスを管理するステータス管理部と、
前記協調作業ロボットのステータスに対応する挙動に基づいて、前記協調作業ロボットによる要素作業毎に開始および終了のタイミングを決定する第2のタイミング決定部とを含む、請求項6または7に記載の協調作業システム。
The working time calculation unit
A status management unit that manages the status of the collaborative work robot based on the control state from the collaborative work robot, and a status management unit.
The cooperation according to claim 6 or 7, which includes a second timing determination unit that determines the start and end timings for each element work by the cooperative work robot based on the behavior corresponding to the status of the cooperative work robot. Working system.
予め定められた工程に沿って製品を生産する協調作業システムに向けられた解析装置であって、協調作業システムは作業者と協調して作業を行う1または複数の協調作業ロボットを含み、
前記作業者および前記協調作業ロボットの挙動を解析することで、各工程の作業に要する作業時間を算出する作業時間算出部と、
前記工程の任意の位置において、前記作業者と前記協調作業ロボットとの間で作業の担当を切り替えるとした場合に、切り替え前後の工程における前記作業者および前記協調作業ロボットの挙動に基づいて、作業切り替えの適合性を評価する適合性評価部とを備える、解析装置。
An analyzer directed to a collaborative work system that produces products according to a predetermined process, the collaborative work system includes one or more collaborative work robots that work in concert with the worker.
A work time calculation unit that calculates the work time required for the work of each process by analyzing the behavior of the worker and the collaborative work robot.
When the person in charge of work is switched between the worker and the cooperative work robot at an arbitrary position in the process, the work is performed based on the behavior of the worker and the cooperative work robot in the steps before and after the switching. An analysis device including a suitability evaluation unit that evaluates the suitability of switching.
予め定められた工程に沿って製品を生産する協調作業システムに向けられた解析プログラムであって、協調作業システムは作業者と協調して作業を行う1または複数の協調作業ロボットを含み、前記解析プログラムはコンピュータに、
前記作業者および前記協調作業ロボットの挙動を解析することで、各工程の作業に要する作業時間を算出するステップと、
前記工程の任意の位置において、前記作業者と前記協調作業ロボットとの間で作業の担当を切り替えるとした場合に、切り替え前後の工程における前記作業者および前記協調作業ロボットの挙動に基づいて、作業切り替えの適合性を評価するステップとを実行させる、解析プログラム。
An analysis program directed to a collaborative work system that produces products according to a predetermined process, wherein the collaborative work system includes one or more collaborative work robots that perform work in cooperation with a worker. The program is on the computer
A step of calculating the work time required for the work of each process by analyzing the behavior of the worker and the cooperative work robot, and
When the person in charge of work is switched between the worker and the cooperative work robot at an arbitrary position in the process, the work is performed based on the behavior of the worker and the cooperative work robot in the steps before and after the switching. An analysis program that executes steps to evaluate the suitability of switching.
JP2019212561A 2019-11-25 2019-11-25 Collaborative work system, analysis device and analysis program Active JP7383999B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019212561A JP7383999B2 (en) 2019-11-25 2019-11-25 Collaborative work system, analysis device and analysis program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019212561A JP7383999B2 (en) 2019-11-25 2019-11-25 Collaborative work system, analysis device and analysis program

Publications (2)

Publication Number Publication Date
JP2021086218A true JP2021086218A (en) 2021-06-03
JP7383999B2 JP7383999B2 (en) 2023-11-21

Family

ID=76087697

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019212561A Active JP7383999B2 (en) 2019-11-25 2019-11-25 Collaborative work system, analysis device and analysis program

Country Status (1)

Country Link
JP (1) JP7383999B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023017647A1 (en) * 2021-08-12 2023-02-16 ソニーセミコンダクタソリューションズ株式会社 Behavior analysis device, behavior analysis method, behavior analysis program, imaging device and behavior analysis system

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001101422A (en) 1999-10-04 2001-04-13 Hitachi Plant Eng & Constr Co Ltd Motion analyzer
JP6426547B2 (en) 2015-07-21 2018-11-21 ファナック株式会社 Robot simulation system for human-collaborative robot system
JP6487489B2 (en) 2017-05-11 2019-03-20 ファナック株式会社 Robot control apparatus and robot control program
JP6935772B2 (en) 2018-02-27 2021-09-15 富士通株式会社 Information processing device, work plan editing support program and work plan editing support method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023017647A1 (en) * 2021-08-12 2023-02-16 ソニーセミコンダクタソリューションズ株式会社 Behavior analysis device, behavior analysis method, behavior analysis program, imaging device and behavior analysis system

Also Published As

Publication number Publication date
JP7383999B2 (en) 2023-11-21

Similar Documents

Publication Publication Date Title
US10303495B2 (en) Robot system including CNC and robot controller connected through communication network
JP7010542B2 (en) Work analyzer, work analysis method, and program
EP3835902A1 (en) Control system and control device
TW202109028A (en) Automatic determination process device, automatic determination process method, inspection system, program, and recording medium
CN109129413A (en) Show the robot system of speed
JP2021086218A (en) Cooperative work system, analysis device, and analysis program
CN116776289B (en) Numerical control machine tool processing method, device, electronic equipment and readable storage medium
US20180053438A1 (en) Action evaluation apparatus, action evaluation method, and computer-readable storage medium
US8260593B2 (en) System and method for simulating human movement
JP7384000B2 (en) Collaborative work system, analysis collection device and analysis program
JP4041060B2 (en) Image processing apparatus and image processing method
JP2020052032A (en) Imaging device and imaging system
Redžepagić et al. A sense of quality for augmented reality assisted process guidance
WO2023288233A1 (en) Method and apparatus for vision-based tool localization
CN113703637A (en) Inspection task coding method and device, electronic equipment and computer storage medium
JP2021060633A (en) Diagnostic device
WO2023090274A1 (en) Work recognition device, work recognition method, and work recognition program
CN114161428B (en) Robot control method, apparatus, electronic device, and storage medium
US20210350296A1 (en) Productivity improvement support system and productivity improvement support method
WO2023181805A1 (en) Work analyzing system and work analyzing method
WO2024075225A1 (en) Control device, industrial machine system, execution-history data display method, and program
KR102313620B1 (en) Method and apparatus for outputting abnormal condition of robot
JP2024047171A (en) Factor analysis device and factor analysis method
WO2020136924A1 (en) Motion analysis device, motion analysis method, and motion analysis program
Kahl et al. Virtual robot programming for deformable linear objects: System concept and prototype implementation

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220907

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230524

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230705

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231010

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231023

R150 Certificate of patent or registration of utility model

Ref document number: 7383999

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150