JP2012146202A - Workflow management device, workflow management method, and computer program - Google Patents
Workflow management device, workflow management method, and computer program Download PDFInfo
- Publication number
- JP2012146202A JP2012146202A JP2011005113A JP2011005113A JP2012146202A JP 2012146202 A JP2012146202 A JP 2012146202A JP 2011005113 A JP2011005113 A JP 2011005113A JP 2011005113 A JP2011005113 A JP 2011005113A JP 2012146202 A JP2012146202 A JP 2012146202A
- Authority
- JP
- Japan
- Prior art keywords
- behavior
- workflow
- action
- worker
- extracted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007726 management method Methods 0.000 title claims description 63
- 238000004590 computer program Methods 0.000 title claims description 4
- 230000009471 action Effects 0.000 claims abstract description 277
- 230000006399 behavior Effects 0.000 claims description 400
- 230000008859 change Effects 0.000 claims description 84
- 238000004458 analytical method Methods 0.000 claims description 77
- 239000000284 extract Substances 0.000 claims description 20
- 230000000007 visual effect Effects 0.000 abstract description 36
- 230000002596 correlated effect Effects 0.000 abstract 1
- 230000000875 corresponding effect Effects 0.000 abstract 1
- 238000000034 method Methods 0.000 description 85
- 230000008569 process Effects 0.000 description 73
- 238000012545 processing Methods 0.000 description 44
- 238000012790 confirmation Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 238000013519 translation Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
本発明は、ワークフロー管理装置、ワークフロー管理方法、及びコンピュータプログラムに関し、特に、ワークフローを作成するために用いて好適なものである。 The present invention relates to a workflow management apparatus, a workflow management method, and a computer program, and is particularly suitable for use in creating a workflow.
従来から、作業現場においては、各作業者の行動を時系列的に記述したワークフローが作成され、このワークフローに基づいて各作業者は作業を行う。このようなワークフローを作成したり提供したりする技術として、特許文献1、2、3に記載の技術がある。
特許文献1に記載の技術では、過去のプロセス例から所望のプロセス例を検索し、プロセス例の検索結果から得られる所望のプロセス例を新規のプロセスモデルとし、必要に応じて、プロセスモデルの記述を、ユーザインターフェースを用いて追加又は修正するようにしている。また、特許文献2に記載の技術では、プロセスの実行中にユーザがプロセスインスタンスフローの編集開始を要求すると、プロセスを停止させ、ユーザにプロセスインスタンスフローに対する編集を行わせるようにしている。また、特許文献3に記載の技術では、作業情報を時間情報と関連付けて蓄積すると共に、各スタッフの位置情報を時間情報と関連付けて蓄積しておき、クライアント端末からの要求により患者別やスタッフ別に蓄積したデータを抽出して提供するようにしている。
Conventionally, in a work site, a workflow in which the behavior of each worker is described in time series is created, and each worker performs work based on this workflow. As a technique for creating or providing such a workflow, there are techniques described in
In the technique described in Patent Document 1, a desired process example is searched from past process examples, a desired process example obtained from the search result of the process example is used as a new process model, and a process model is described as necessary. Are added or modified using a user interface. In the technique described in
ところで、鉄鋼業等の作業現場では、生産効率の向上と生産コストの低減とを実現するために、作業の自動化による業務の少人数化が進められている。また、熟練した作業者(以下の説明では「熟練した作業者」を必要に応じて「熟練者」と称する)の減少という事態が生じている。
熟練者は、自身の経験や勘を頼りに、ワークフローには記述されていない有効な行動をとっていることが多い。実際の作業現場では、非熟練者が熟練者の行動を"見て、問うて、まねて、覚える"ことや、OJT(On the Job Training)により、このような熟練者の有効な行動が非熟練者に伝承されている。したがって、このような経験や勘に基づいて熟練者がとっている行動に関する知識(以下の説明ではこの「知識」を必要に応じて「暗黙知」と称する)を如何に明示化し、技術伝承に役立てるかが重要な課題となる。
By the way, at work sites such as the steel industry, in order to improve production efficiency and reduce production costs, the number of operations is being reduced by automating operations. In addition, a situation has occurred in which the number of skilled workers (in the following description, “skilled worker” is referred to as “skilled worker” as necessary) is reduced.
Experts often take effective actions that are not described in the workflow, relying on their experience and intuition. In actual work sites, non-experts can “see, ask, imitate, and remember” the actions of skilled workers, and on-the-job training (OJT) can prevent such effective actions of skilled workers. It is handed down to experts. Therefore, based on such experience and intuition, how to clarify knowledge about the actions taken by the skilled person (in the following explanation, this “knowledge” will be referred to as “implicit knowledge” as necessary) Whether it is useful is an important issue.
しかしながら、前述した従来の技術では、ワークフローをユーザが編集したり、スタッフの行動を提示したりするだけであり、熟練者が持つ暗黙知をワークフローに反映させるための技術が開示されていない。よって、熟練者が持つ暗黙知をワークフローに反映させることができないと共に、熟練者の直接的な指導によらなければ、非熟練者に対して作業に関する教育を行うことができない。
本発明は、このような問題点に鑑みてなされたものであり、熟練者が持つ暗黙知をワークフローに反映させることができるようにすることを第1の目的とする。
また、本発明は、熟練者の直接的な指導によらずに、非熟練者に対して作業に関する教育を行うことができるようにすることを第2の目的とする。
However, in the conventional technique described above, the user only edits the workflow or presents the behavior of the staff, and does not disclose a technique for reflecting the tacit knowledge possessed by the expert in the workflow. Therefore, tacit knowledge possessed by a skilled person cannot be reflected in the workflow, and work training cannot be provided to a non-skilled person without direct guidance from the skilled person.
The present invention has been made in view of such problems, and a first object of the present invention is to allow tacit knowledge possessed by a skilled person to be reflected in a workflow.
A second object of the present invention is to enable non-skilled workers to be educated about work without direct instruction from skilled workers.
本発明のワークフロー管理装置は、作業者のとるべき行動を時系列的に記述したワークフローを記憶するワークフロー記憶手段と、作業現場にある所定の装置から、作業者の行動が反映された行動情報を取得する行動情報取得手段と、前記行動情報取得手段により取得された行動情報を解析し、解析した結果に基づいて、作業者の行動を示すデータを生成し、生成した作業者の行動を示すデータを順次蓄積する行動情報解析手段と、作業者の行動を示すデータと、ワークフローに記述される行動とが相互に対応付けられた行動コーパスを記憶する行動コーパス記憶手段と、前記行動情報解析手段により蓄積された、作業者の行動を示すデータに対応する行動を、前記行動コーパス記憶手段から抽出し、抽出した行動に基づいて、前記ワークフローの内容を変更するワークフロー変更手段と、を有することを特徴とする。
また、本発明のワークフロー管理装置は、作業者のとるべき行動を時系列的に記述したワークフローを記憶するワークフロー記憶手段と、作業現場にある所定の装置から、作業者の行動が反映された行動情報を取得する行動情報取得手段と、前記行動情報取得手段により取得された行動情報を解析し、解析した結果に基づいて、作業者の行動を示すデータを生成し、生成した作業者の行動を示すデータを順次蓄積する行動情報解析手段と、作業者の行動を示すデータと、ワークフローに記述される行動とが相互に対応付けられた行動コーパスを記憶する行動コーパス記憶手段と、前記行動情報解析手段により蓄積された、作業者の行動を示すデータに対応する行動を、前記行動コーパス記憶手段から抽出し、抽出した行動に基づいて、前記ワークフローの変更対象となる行動の候補を決定するワークフロー変更候補決定手段と、前記ワークフロー変更候補決定手段により決定された、ワークフローの変更対象となる行動の候補の情報を表示装置に表示するワークフロー変更候補表示手段と、を有することを特徴とする。
The workflow management apparatus according to the present invention includes workflow storage means for storing a workflow in which actions to be taken by a worker are described in a time series, and action information reflecting the actions of the worker from a predetermined apparatus at the work site. Behavior information acquisition means to be acquired, behavior information acquired by the behavior information acquisition means is analyzed, data indicating the behavior of the worker is generated based on the analysis result, and data indicating the behavior of the generated worker is generated Action information analyzing means for sequentially storing data, action corpus storage means for storing action corpus in which data indicating the action of the worker and actions described in the workflow are associated with each other, and the action information analyzing means The behavior corresponding to the accumulated data indicating the behavior of the worker is extracted from the behavior corpus storage means, and the work flow is based on the extracted behavior. And having a workflow changing means for changing the contents of over, the.
In addition, the workflow management device of the present invention includes a workflow storage unit that stores a workflow in which the actions to be taken by the worker are described in time series, and a behavior that reflects the actions of the worker from a predetermined device at the work site. Action information acquisition means for acquiring information, action information acquired by the action information acquisition means is analyzed, data indicating the action of the worker is generated based on the analysis result, and the generated action of the worker is Action information analysis means for sequentially storing data to be shown, action corpus storage means for storing action corpus in which data indicating worker actions and actions described in a workflow are associated with each other, and the action information analysis The behavior corresponding to the data indicating the behavior of the worker accumulated by the means is extracted from the behavior corpus storage means, and the warp is based on the extracted behavior. Workflow change candidate determining means for determining a candidate for an action to be changed in the workflow, and a workflow change candidate for displaying information on a candidate for an action to be changed in the workflow determined by the workflow change candidate determining means on the display device And display means.
本発明のワークフロー管理方法は、作業者のとるべき行動を時系列的に記述したワークフローを記憶媒体に記憶するワークフロー記憶工程と、作業現場にある所定の装置から、作業者の行動が反映された行動情報を取得する行動情報取得工程と、前記行動情報取得工程により取得された行動情報を解析し、解析した結果に基づいて、作業者の行動を示すデータを生成し、生成した作業者の行動を示すデータを順次蓄積する行動情報解析工程と、作業者の行動を示すデータと、ワークフローに記述される行動とが相互に対応付けられた行動コーパスを記憶媒体に記憶する行動コーパス記憶工程と、前記行動情報解析工程により蓄積された、作業者の行動を示すデータに対応する行動を、前記行動コーパス記憶工程により記憶された行動コーパスから抽出し、抽出した行動に基づいて、前記ワークフローの内容を変更するワークフロー変更工程と、を有することを特徴とする。
また、本発明のワークフロー管理方法は、作業者のとるべき行動を時系列的に記述したワークフローを記憶媒体に記憶するワークフロー記憶工程と、作業現場にある所定の装置から、作業者の行動が反映された行動情報を取得する行動情報取得工程と、前記行動情報取得工程により取得された行動情報を解析し、解析した結果に基づいて、作業者の行動を示すデータを生成し、生成した作業者の行動を示すデータを順次蓄積する行動情報解析工程と、作業者の行動を示すデータと、ワークフローに記述される行動とが相互に対応付けられた行動コーパスを記憶媒体に記憶する行動コーパス記憶工程と、前記行動情報解析工程により蓄積された、作業者の行動を示すデータに対応する行動を、前記行動コーパス記憶工程により記憶された行動コーパスから抽出し、抽出した行動に基づいて、前記ワークフローの変更対象となる行動の候補を決定するワークフロー変更候補決定工程と、前記ワークフロー変更候補決定工程により決定された、ワークフローの変更対象となる行動の候補の情報を表示装置に表示するワークフロー変更候補表示工程と、を有することを特徴とする。
According to the workflow management method of the present invention, a worker's behavior is reflected from a workflow storage step for storing a workflow in which a behavior to be taken by a worker is described in a time series in a storage medium and a predetermined device at a work site. Behavior information acquisition step for acquiring behavior information, behavior information acquired by the behavior information acquisition step is analyzed, data indicating the behavior of the worker is generated based on the analysis result, and the generated behavior of the worker A behavior information analysis step of sequentially storing data indicating the behavior, a behavior corpus storage step of storing in the storage medium a behavior corpus in which the data indicating the behavior of the worker and the behavior described in the workflow are associated with each other, The behavior corpus stored in the behavior corpus storage step is stored in the behavior corpus storage step, the behavior corresponding to the data indicating the worker's behavior accumulated in the behavior information analysis step. And et extracted based on the extracted action, and having a a workflow changing step that changes contents of the workflow.
In addition, the workflow management method of the present invention reflects a worker's behavior from a workflow storage step for storing in a storage medium a workflow in which the behavior to be taken by the worker is described in time series, and a predetermined device at the work site. The behavior information acquisition step of acquiring the acquired behavior information, the behavior information acquired by the behavior information acquisition step are analyzed, data indicating the behavior of the worker is generated based on the analysis result, and the generated worker Behavior information analysis step for sequentially storing data indicating the behavior of the user, a behavior corpus storage step for storing in the storage medium a behavior corpus in which the data indicating the behavior of the worker and the behavior described in the workflow are associated with each other And the behavior corresponding to the data indicating the behavior of the worker accumulated in the behavior information analysis step is stored in the behavior corpus stored in the behavior corpus storage step. A workflow change candidate determining step for determining a candidate for an action to be changed in the workflow based on the extracted action from the path, and an action to be changed in the workflow determined by the workflow change candidate determining step And a workflow change candidate display step for displaying the candidate information on the display device.
本発明のコンピュータプログラムは、前記ワークフロー管理方法の各工程をコンピュータに実行させることを特徴とする。 A computer program according to the present invention causes a computer to execute each step of the workflow management method.
本発明によれば、作業現場にある所定の装置から取得した行動情報を解析した結果に基づいて作業者の行動を示すデータを生成し、生成したデータに対応する行動を行動コーパスから抽出し、抽出した行動に基づいて、ワークフローを変更する。また、作業現場にある所定の装置から取得した行動情報を解析した結果に基づいて作業者の行動を示すデータを生成し、生成したデータに対応する行動を行動コーパスから抽出し、抽出した行動に基づいて、ワークフローの変更対象となる行動の候補を抽出して表示する。したがって、熟練者が持つ暗黙知を熟練者から直接的に聞き出さなくても知ることができ、熟練者が持つ暗黙知をワークフローに反映させることができる。
また、本発明の他の特徴によれば、以上のようにしてワークフローが変更された後に得られた作業者の行動を示すデータに対応する行動がワークフローに含まれていない場合に作業者に対してアラームを発生するようにした。したがって、熟練者の直接的な指導によらずに、非熟練者に対して作業に関する教育を行うことができる。
According to the present invention, data indicating the behavior of the worker is generated based on the result of analyzing the behavior information acquired from the predetermined device at the work site, the behavior corresponding to the generated data is extracted from the behavior corpus, The workflow is changed based on the extracted action. In addition, based on the result of analyzing the behavior information obtained from a predetermined device at the work site, data indicating the worker's behavior is generated, the behavior corresponding to the generated data is extracted from the behavior corpus, and the extracted behavior is Based on this, a candidate action to be changed in the workflow is extracted and displayed. Therefore, it is possible to know the tacit knowledge possessed by the expert without directly hearing it from the expert, and the tacit knowledge possessed by the expert can be reflected in the workflow.
Further, according to another feature of the present invention, when the workflow does not include an action corresponding to the data indicating the action of the worker obtained after the workflow is changed as described above, An alarm is generated. Therefore, it is possible to educate the unskilled person about the work without direct instruction from the skilled person.
以下、図面を参照しながら、本発明の実施形態を説明する。
(第1の実施形態)
まず、本発明の第1の実施形態について説明する。
図1は、ワークフロー管理装置の機能的な構成の一例を示す図である。本実施形態のワークフロー管理装置100は、熟練者の頭部に視野カメラを装着させ、視野カメラで得られた視野画像から、熟練者の位置情報を得、当該熟練者の位置情報と、予め設定しておいた行動コーパスとを比較した結果から、熟練者の暗黙知の情報を得、当該熟練者の暗黙知の情報をワークフローに反映させる機能を有する。また、ワークフロー管理装置100は、以上のようにして熟練者の暗黙知の情報をワークフローに反映させた後、非熟練者の頭部に視野カメラを装着させ、視野カメラで得られた視野画像から、非熟練者の位置情報を得、当該非熟練者の位置情報と、予め設定しておいた行動コーパスとを比較した結果から、非熟練者がワークフローの通りに行動していないと判定すると、非熟練者に対してアラームを出力する機能を有する。
尚、前記視野画像の取得のための装置は、視野カメラに限定されるものではなく、例えば、視野の映像情報が取得出来るビデオカメラ等でよい。
以下、ワークフロー管理装置100が有する機能の詳細を説明する。ワークフロー管理装置100のハードウェアは、例えば、CPU、ROM、RAM、HDD、及び各種のインターフェースを備えた情報処理装置を用いることにより実現することができる。尚、以下の説明では、熟練者と非熟練者とを作業者と総称することがある。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
(First embodiment)
First, a first embodiment of the present invention will be described.
FIG. 1 is a diagram illustrating an example of a functional configuration of a workflow management apparatus. The
The apparatus for acquiring the visual field image is not limited to the visual field camera, and may be, for example, a video camera that can acquire visual field image information.
Hereinafter, details of the functions of the
[初期ワークフロー設定部101]
初期ワークフロー設定部101は、オペレータによるユーザインターフェース(操作装置)の操作に基づいて、初期ワークフローをワークフロー記憶部102に予め設定(記憶)する。
図2は、初期ワークフローの一例を示す図である。図2では、図に向かって左から右へ時間が進むものとする。図2において、作業者αは、作業の状況を確認した後、作業者βからの指示に基づき構内から外へ出る。その後、作業者αは、構内に戻ると、作業者βに確認要求を行い、このワークフローを終了する。作業者βは、作業の状況を確認した後、システムからアラームが発信され、注意喚起がなされると、モニターBの表示を注視した後、モニターCの表示を確認する。そして、作業者βは、作業者αに対して構内から外へ出ることを指示し、システムに対してアラームの発信を解除する指示を行うための操作を行う。その後、作業者αから確認要求があると、作業者βは、モニターCの表示を再度確認し、このワークフローを終了する。
[Initial workflow setting unit 101]
The initial
FIG. 2 is a diagram illustrating an example of the initial workflow. In FIG. 2, it is assumed that time advances from left to right as viewed in the figure. In FIG. 2, after confirming the status of the work, the worker α goes out of the campus based on an instruction from the worker β. Thereafter, when the worker α returns to the premises, the worker α makes a confirmation request to the worker β and ends the workflow. When the worker β confirms the status of the work, when an alarm is transmitted from the system and alerted, the worker β checks the display on the monitor B and then confirms the display on the monitor C. Then, the worker β instructs the worker α to go out of the premises, and performs an operation for instructing the system to cancel the alarm transmission. Thereafter, when there is a confirmation request from the worker α, the worker β confirms the display on the monitor C again and ends this workflow.
このように本実施形態では、2人の作業者α、βの行動を時系列的に記述したワークフローを例に挙げて説明する。本実施形態では、初期ワークフロー200は、熟練者が持つ暗黙知の情報を含まず、作業において誰もが行う一般的な行動のみが記述されているものとする。ただし、初期ワークフロー200に、熟練者が持つ暗黙知の情報の一部が含まれていてもよいということは勿論である。
ワークフロー記憶部102は、例えば、HDDを用いることにより実現される。また、初期ワークフロー設定部101は、例えば、CPUが、オペレータによるユーザインターフェースの操作に基づいて得られた初期ワークフロー200を特定できる情報をHDDに記憶することにより実現できる。初期ワークフロー200を特定できる情報は、例えば、作業者別、時間別に、行動・処理の内容が記述された情報である。
As described above, in the present embodiment, a workflow in which the actions of the two workers α and β are described in time series will be described as an example. In the present embodiment, it is assumed that the
The
[行動コーパス設定部103]
行動コーパス設定部103は、オペレータによるユーザインターフェースの操作に基づいて、行動と位置データとが相互に関連付けられたテーブルである行動コーパスを予め設定(記憶)する。図3は、行動コーパスの構成の一例を概念的に示す図である。ここで、Pは場所を示している。
行動コーパス300は、後述するようにして行動情報解析部105により得られる「熟練者や非熟練者の位置データ」が、どのような行動を表しているのかをワークフロー管理装置100が認識できるようにするためのものである。例えば、行動情報解析部105により、ある作業者が「Pへ移動かつ1分間静止」という内容を示す位置データが得られた場合、ワークフロー管理装置100は、その作業者は「Pへ移動する」という行動をしたということを行動コーパス300の内容から認識できる。
行動コーパス設定部103は、例えば、CPUが、オペレータによるユーザインターフェースの操作に基づいて得られた行動コーパス300を特定できる情報をHDDに記憶することにより実現できる。尚、行動コーパス300の内容は、オペレータの操作によって随時書き換えることができる。
[Behavior corpus setting unit 103]
The behavior
The
The behavior
[行動情報取得部104]
行動情報取得部104は、作業者がその頭部に装着した視野カメラで撮像された視野画像を取り込む。尚、視野カメラは、その撮像手段の光軸方向が、作業者の視線の方向に近づくような状態で作業者の頭部に装着される。これにより、視野カメラが、作業者の視野に対応する画像(視野画像)を撮像することができる。尚、視野カメラは、公知の技術で実現できるものであるので、ここでは、その詳細を省略する。
行動情報取得部104は、例えば、画像インターフェースが視野カメラで得られた視野画像の信号を受信し、CPUが、その画像信号をVRAM等に記憶することにより実現できる。
[Behavior information acquisition unit 104]
The behavior information acquisition unit 104 captures a field-of-view image captured by a field-of-view camera attached to the head of the worker. The field-of-view camera is mounted on the operator's head so that the optical axis direction of the imaging means approaches the direction of the operator's line of sight. Thereby, the visual field camera can capture an image (visual field image) corresponding to the visual field of the worker. Since the field of view camera can be realized by a known technique, the details thereof are omitted here.
The behavior information acquisition unit 104 can be realized, for example, when the image interface receives a signal of a visual field image obtained by a visual field camera, and the CPU stores the image signal in a VRAM or the like.
[行動情報解析部105]
行動情報解析部105は、行動情報取得部104で得られた視野画像から、視野カメラの位置を算出し、算出した視野カメラの位置と、視野カメラから送信される視野カメラの識別情報(所謂カメラ番号)とに基づいて作業者の位置データを生成する。本実施形態では、行動情報解析部105は、以下の(A)〜(E)の処理を行って、視野カメラの位置を算出する。この算出には、3次元形状復元のアルゴリズムを適用する。
(A)視野カメラにて時間的に連続撮影された動画である視野画像から静止画として画像情報を取り出す。
(B)取り出した画像の歪みを補正する。
(C)前記取り出した視野画像から2つの視野画像の同一被写体の同一点である特徴点を対応付ける。
(D)特徴点の対応関係から、前記2つの視野画像を取得した時の視野カメラの並進と回転を計算する。この並進した距離から作業者の移動量を算出する。
(E)前記各視野画像に設定した座標系から世界座標系に特徴点の座標変換を行う。
この(A)〜(E)の処理を各視野画像に対して順次行うことで、2つの視野画像間の作業者の移動量が分かり、これら移動量を繋ぎ合わせることで、位置データを生成する。
つまり、時間的に連続撮影された視野画像のうち、連続する2つの視野画像上に映された同一被写体に注目し、その被写体の視野画像上の位置の変化から、各視野画像を撮影した視野カメラのレンズ中心がどれだけ並行移動したかと、視野カメラの光軸の向きがどれだけ回転移動したかとを計算する。これを撮影した視野画像に対して繰り返し実行することで、視野カメラの動き、つまり作業者の動きを追跡することが可能となる。
以下に、これら(A)〜(E)の内容の一例を簡単に説明する。
[Behavior information analysis unit 105]
The behavior
(A) Image information is taken out as a still image from a visual field image that is a moving image continuously captured by a visual field camera.
(B) The distortion of the extracted image is corrected.
(C) Corresponding feature points, which are the same points of the same subject in the two visual field images, from the extracted visual field images.
(D) The translation and rotation of the visual field camera when the two visual field images are acquired are calculated from the correspondence between the feature points. The movement amount of the worker is calculated from the translated distance.
(E) The coordinate conversion of the feature point is performed from the coordinate system set for each visual field image to the world coordinate system.
By sequentially performing the processes (A) to (E) for each visual field image, the movement amount of the worker between the two visual field images can be known, and the positional data is generated by connecting these movement amounts. .
That is, out of the field images captured continuously in time, pay attention to the same subject displayed on two consecutive field images, and the field of view in which each field image was captured from the change in position of the subject on the field image Calculate how much the lens center of the camera has moved in parallel and how much the direction of the optical axis of the field-of-view camera has moved. By repeatedly executing this on the captured visual field image, it becomes possible to track the movement of the visual field camera, that is, the movement of the operator.
Below, an example of the content of these (A)-(E) is demonstrated easily.
(A) 行動情報解析部105は、行動情報取得部104で得られた視野画像から、例えば30fpsのフレームレートで、視野カメラにて時間的に連続撮影された視野画像から時間的に連続するフレームの視野画像を取り出す。
(B) 行動情報解析部105は、視野カメラで得られた視野画像に発生しているレンズ歪みを補正する。尚、この補正の方法は、非特許文献1等に記載されているように公知の技術で実現できるので、ここでは、その詳細な説明を省略する。
(A) The behavior
(B) The behavior
(C) 行動情報解析部105は、時間的に連続する2つの画像で特徴点を求め、それらを相互に対応付ける。相互に対応付けられた特徴点は、同一被写体の同一点であり、これを以下の説明では対応点と呼ぶ。本実施形態では、特徴点の検出と対応付けとをScale-Invariant Feature Transform(SIFT)を用いて行うようにしている。尚、SIFTのアルゴリズムは、非特許文献2等に記載されているように公知の技術で実現できるので、ここでは、その詳細な説明を省略する。
(C) The behavior
(D) 次に、行動情報解析部105は、8組以上の対応点のデータを用いて、2つの視野画像上の前記8組以上の対応点のデータから、前記2つの視野画像を撮影した際に視野カメラがどれだけ並進と回転をしたかを計算する。ここでは、8組以上の対応点の視野画像上での2次元座標のデータを入力とし、並進ベクトル(第1の画像から第2の画像への移動方向を示すベクトル)、回転行列(第1の画像から第2の画像にどのように回転したかを示す行列)を算出する。ここで、例えば、視野画像の右方向をx軸、下方向をy軸、奥行き方向をz軸(視野カメラの光軸に平行)、原点を視野カメラのレンズ中心として3次元座標を各視野画像に対して設定することで、視野カメラの並進と回転が計算できる。但し、並進ベクトルの大きさに関しては不定性があるため、並進ベクトルの大きさを1としたときの結果が得られる。ここで、前記設定した3次元座標において、特徴点の原点からの視線方向が導けることが分かっているため、各3次元座標の対応点に対する視線の交点として、三角測量の原理により特徴点の3次元位置を計算することができる。尚、このようにして2つの画像を3次元形状に復元する方法は、例えば、非特許文献3等に記載されているように公知の技術で実現することができるので、ここでは、その説明を省略する。
(D) Next, the behavior
前述したように、3次元座標データは、並進ベクトルの大きさを1としたときのデータである。そこで、行動情報解析部105は、この3次元座標データ(xa,ya、za)を、実際のスケールに合う3次元座標データ(Δx×xa,Δx×ya、Δx×za)に変換する。ここで、移動量Δxは、以下の(1)式により求めることができる。前記Δxは、前述の各視野画像に設定した3次元座標系と実際のスケールに合う3次元座標系とのスケールの比を表している。
As described above, the three-dimensional coordinate data is data when the magnitude of the translation vector is 1. Therefore, the action
(1)式において、(xα,yα、zα)、(xβ,yβ、zβ)は、変換前の座標系の2点の3次元座標データであって、当該2点の距離dが既知である3次元座標データである。 In equation (1), (xα, yα, zα) and (xβ, yβ, zβ) are three-dimensional coordinate data of two points in the coordinate system before conversion, and the distance d between the two points is known. Three-dimensional coordinate data.
(E) 以上のようにして得られる3次元座標データ(Δx×xa,Δx×ya、Δx×za)は、2つの画像の一方を基準にした相対座標であるので、動画像の各移動を1つの座標系(世界座標系)で表現するためには、3次元座標データ(Δx×xa,Δx×ya、Δx×za)を世界座標系における3次元座標データに座標変換する必要がある。そこで、行動情報解析部105は、以下の(2)式により、3次元座標データ(x,y、z)を、世界座標系における3次元座標データ(X,Y,Z)に変換する。
(E) above the three-dimensional coordinate data obtained by (Δx × x a, Δx × y a, Δx × z a) , because there the relative coordinate relative to the one of the two images, the moving image each move one coordinate system to represent the (world coordinate system), the three-dimensional coordinate data (Δx × x a, Δx × y a, Δx × z a) coordinates to the three-dimensional coordinate data in the world coordinate system Need to convert. Therefore, the behavior
行動情報解析部105は、以上の(A)〜(E)の処理を行って求めた視野カメラの位置(X,Y,Z)と、視野カメラから送信される視野カメラの識別情報とに基づいて、作業者の位置データを生成する。本実施形態では、作業者の位置データの形式は(p,t,Xm,Ym,θ)で定義されるものとする。ここで、p[−]は、作業者を示すものであり、例えば、視野カメラの識別情報によって定められる。t[sec]は、作業者が行動をとった時刻であり、例えば、位置データの導出の対象となる視野画像が得られた時刻によって定められる。Xm、Ym[m]は、作業現場の平面座標(作業現場の地面を2次元座標で表した場合の当該座標)の値であり、例えば、位置データの導出の対象となる視野画像の3次元座標データ(X,Y,Z)によって定められる。θ[rad]は、作業者が向いている方向であり、例えば、位置データの導出の対象となる視野画像の3次元座標データ(X,Y,Z)と、当該視野画像よりも時間的に1つ前の視野画像の3次元座標データ(X,Y,Z)とによって定められる。尚、ここでは、θは、作業現場の平面座標のX軸を基準として反時計回りの方向を正とする値であるとする。
The behavior
図4は、作業現場における平面座標の一例を示す図である。
図4に示す例では、作業現場の地面の5m×5mの領域を1つの単位とする場所を、作業者が作業を行う場所としている。図4では、位置データ(p,t,Xm,Ym,θ)が(α,1.5,7.5,4.5,π/4)で表された場合の作業者の位置を×で示し、作業者が向いている方向をその×から伸びている矢印で示している。すなわち、図4では、作業者αは、作業開始から1.5秒後に、場所A(座標(7.5,4.5))にいて、場所Dの方向を向いていることを示す。すなわち、位置データを得ることによって、どの作業者が、どの時刻に、どの位置でどこを向いているのかをワークフロー管理装置100が認識することができる。
FIG. 4 is a diagram illustrating an example of plane coordinates in the work site.
In the example shown in FIG. 4, a place where a 5 m × 5 m area on the ground of the work site is used as one unit is a place where the worker works. In FIG. 4, the position of the worker when the position data (p, t, X m , Y m , θ) is represented by (α, 1.5, 7.5, 4.5, π / 4) is indicated by ×, and the worker The direction that is facing is indicated by an arrow extending from the cross. That is, FIG. 4 shows that the worker α is at the location A (coordinates (7.5, 4.5)) and is facing the location D 1.5 seconds after the start of the operation. That is, by obtaining the position data, the
行動情報解析部105は、例えば、CPUが、VRAMから視野画像を読み出すと共に、通信インターフェースを介して視野カメラの識別情報を取得し、これら視野画像と視野カメラの識別情報とを用いて、前述したようにして位置データを求め、求めた位置データをRAM等に記憶することにより実現することができる。
In the behavior
[ワークフロー変更部106]
ワークフロー変更部106は、熟練者の作業を対象にして、本実施形態のワークフロー管理装置の一連の処理を行っている場合に、以上のようにして行動情報解析部105により得られた位置データであって、時間的に連続する複数の位置データが有意なデータであるか否かを予め設定された基準に基づいて判定する。この判定は、得られた位置データが、作業に関係のある行動をとったことによるデータであるか否かをワークフロー管理装置100が認識するためのものである。具体的に説明すると、例えば、同じ場所に3秒以上留まっているという基準や、同じ箇所を1秒以上凝視しているという基準等、作業に関係のある行動を作業者がとっていると言えるための基準に基づいて、この判定が行われる。このように本実施形態では、行動情報解析部105により得られた位置データは、時系列に並べられて順次データベース等に蓄積される。
[Workflow changing unit 106]
The workflow changing unit 106 uses the position data obtained by the behavior
ここで、熟練者の作業を対象に処理を行っていることは、次のようにして判断することができる。例えば、オペレータがユーザインターフェースを使用して操作を行っている場合には、熟練者の作業を対象に処理を行っていることをワークフロー管理装置100にユーザインターフェースを介して入力することにより、熟練者の作業を対象に処理を行っていると判断することができる。また、例えば、熟練者が使用する視野カメラの識別情報をワークフロー管理装置100に予め記憶しておき、視野カメラから送信される視野カメラの識別情報と、記憶しておいた視野カメラの識別情報とが一致した場合に、熟練者の作業を対象に処理を行っていると判断することができる。
Here, it can be determined as follows that the processing is performed for the work of the skilled worker. For example, when the operator performs an operation using the user interface, the expert is input to the
そして、ワークフロー変更部106は、時間的に連続する複数の位置データが有意なデータであると判定すると、当該複数の位置データの内容に対応する行動が行動コーパス300に含まれているか否かを判定する。この判定の結果、当該複数の位置データの内容に対応する行動が行動コーパス300に含まれている場合には、当該行動を行動コーパス300から抽出し、抽出した行動と当該行動の発生時刻とを記憶する。本実施形態では、ワークフロー変更部106は、1人の熟練者の行動を抽出するようにしている。
そして、ワークフロー変更部106は、行動コーパス300から抽出した行動と、当該行動の発生時刻とに基づいて、ワークフロー記憶部102に記憶されているワークフローの当該発生時刻に対応する箇所に当該行動を追加し、ワークフローの内容を更新する。尚、ここで「更新」とは、画像の取り込み、位置データの生成、ワークフローの追加、削除等を含む一連のフローの更新を指す。
When the workflow change unit 106 determines that the plurality of temporally continuous position data are significant data, it determines whether or not the
Then, based on the behavior extracted from the
ここで、本実施形態では、ワークフロー記憶部102に記憶されているワークフローに対して行動を追加するようにしている。すなわち、本実施形態では、熟練者の行動は正しいものとして、ワークフロー記憶部102に記憶されているワークフローに対し、行動を追加し、行動の削除は行わないものとする。また、行動情報解析部105によって行動コーパス300から抽出された行動が当該行動の発生時刻の行動として既にワークフローに設定されている場合には、当該行動のワークフローへの追加処理を行わないものとする。
図5は、変更後のワークフローの一例を示す図である。図5に示す例では、図2に示した初期ワークフロー200に対して、グレーで塗り潰している行動が追加されている。
Here, in this embodiment, an action is added to the workflow stored in the
FIG. 5 is a diagram illustrating an example of the workflow after the change. In the example illustrated in FIG. 5, an action painted in gray is added to the
ワークフロー変更部106は、例えば、次のようにして実現することができる。まず、CPUは、HDD等から読み出した基準に基づいて、時間的に連続する複数の位置データが有意なデータであるか否かを判定し、時間的に連続する複数の位置データが有意なデータである場合には、HDD等に記憶されている行動コーパス300に、当該複数の位置データから得られる内容に対応する行動が登録されているか否かを判定する。そして、CPUは、複数の位置データの内容に対応する行動が行動コーパス300に登録されている場合には、HDD等から当該行動を抽出し、抽出した行動と当該行動の発生時刻に基づいて、HDD等に記憶されている現在のワークフローの内容を書き換える。
The workflow changing unit 106 can be realized as follows, for example. First, the CPU determines whether or not a plurality of temporally continuous position data is significant data based on a reference read from the HDD or the like, and the temporally consecutive positional data is significant data. If it is, it is determined whether or not an action corresponding to the content obtained from the plurality of position data is registered in the
行動情報取得部104、行動情報解析部105、及びワークフロー変更部106は、ワークフロー記憶部102に記憶されているワークフローに登録する対象となり得る行動の全てについて以上の処理を行う。ここで、ある行動が、ワークフローに登録する対象となり得る行動であることは、例えば、当該行動が、当該ワークフローで想定される所定の時間内に行われているか否かによって判断することができる。具体的に説明すると、例えば、あるワークフローに基づく作業の全てを行うのに想定される時間がT[分]であったとすると、当該ワークフローに基づく最初の作業を開始してからT[分]以内に行われた行動については、ワークフローに登録する対象となり得る行動であると判断することができる。この他、ワークフローで最後に行われる行動として想定されている所定の行動がなされるまでは、当該行動は、ワークフローに登録する対象となり得る行動であると判断することもできる。ただし、必ずしもこれらのようにして、ある行動が、ワークフローに登録する対象となり得る行動であることを判断する必要はないということは勿論である。
The behavior information acquisition unit 104, the behavior
[ワークフロー表示部107]
ワークフロー表示部107は、ワークフロー変更部106によりワークフローが変更されると、変更後のワークフロー500の情報を、液晶ディスプレイ等の表示装置に表示する。また、ワークフロー表示部107は、オペレータによるユーザインターフェースの操作に基づいて、ワークフロー記憶部200に記憶されているワークフローの情報を、液晶ディスプレイ等の表示装置に表示することもできる。
ワークフロー表示部107は、例えば、CPUが、ワークフローの変更があったとき、又は、ユーザから指定されたときに、HDD等から、ワークフローの情報を読み出し、読み出したワークフローの情報に基づく表示データを生成して表示装置に出力することによって実現される。
[Workflow display unit 107]
When the workflow is changed by the workflow changing unit 106, the workflow display unit 107 displays information on the changed
The workflow display unit 107, for example, reads out workflow information from the HDD or the like when the workflow is changed or is designated by the user, and generates display data based on the read workflow information. And output to a display device.
[アラーム発生部108]
アラーム発生部108は、非熟練者に対する処理を行っている場合に、以上のようにして行動情報解析部105により得られた位置データであって、時間的に連続する複数の位置データが有意なデータであるか否かを予め設定された基準に基づいて判定する。
ここで、非熟練者の作業を対象に処理を行っていることは、次のようにして判断を行うことができる。例えば、オペレータがユーザインターフェースを使用して操作を行っている場合には、非熟練者の作業を対象に処理を行っていることをワークフロー管理装置100にユーザインターフェースを介して入力することにより、非熟練者の作業を対象に処理を行っていると判断することができる。また、例えば、非熟練者が使用する視野カメラの識別情報をワークフロー管理装置100に予め記憶しておき、視野カメラから送信される視野カメラの識別情報と、記憶しておいた視野カメラの識別情報とが一致した場合に、非熟練者の作業を対象に処理を行っていると判断することができる。
[Alarm generator 108]
The alarm generation unit 108 is position data obtained by the behavior
Here, it can be judged as follows that the process is performed on the work of an unskilled person. For example, when an operator performs an operation using a user interface, the non-skilled person's work is processed as a target by inputting to the
そして、アラーム発生部108は、時間的に連続する複数の位置データが有意なデータであると判定すると、当該複数の位置データの内容に対応する行動が行動コーパス300に含まれているか否かを判定する。この判定の結果、当該複数の位置データの内容に対応する行動が行動コーパス300に含まれている場合には、当該行動を行動コーパス300から抽出し、抽出した行動と当該行動の発生時刻とを記憶する。
そして、アラーム発生部108は、行動コーパス300から抽出された行動が当該行動の発生時刻の行動として既にワークフローに設定されているか否かを判定する。この判定の結果、行動コーパス300から抽出された行動が当該行動の発生時刻の行動としてワークフローに設定されていないと判定すると、アラーム発生部108は、非熟練者の当該行動がワークフローに従っていないとして、当該非熟練者が作業している作業現場に対してアラームを発生させる。このアラームの発生は、例えば、非熟練者の行動が誤っていることを喚起させるためのブザー音を発生させたり、非熟練者の行動が誤っていることを喚起させるための表示を非熟練者が見ているモニターに表示させたりすることによって実現することができる。
When the alarm generation unit 108 determines that the plurality of temporally continuous position data are significant data, whether or not the
Then, the alarm generation unit 108 determines whether or not the behavior extracted from the
アラーム発生部108は、例えば、次のようにして実現することができる。まず、CPUは、HDD等から読み出した基準に基づいて、時間的に連続する複数の位置データが有意なデータであるか否かを判定し、時間的に連続する複数の位置データが有意なデータである場合には、HDD等に記憶されている行動コーパス300に、当該複数の位置データから得られる内容に対応する行動が登録されているか否かを判定する。そして、CPUは、複数の位置データから得られる内容に対応する行動が行動コーパス300に登録されている場合、CPUは、当該行動が、HDD等に記憶されているワークフローに登録されているか否かを判定する。そして、CPUは、当該行動がワークフローに登録されていない場合には、アラームを発生させるための所定の信号を生成し、生成した信号を、通信インターフェースを介して、当該信号を出力する装置に送信する。
The alarm generation unit 108 can be realized as follows, for example. First, the CPU determines whether or not a plurality of temporally continuous position data is significant data based on a reference read from the HDD or the like, and the temporally consecutive positional data is significant data. If it is, it is determined whether or not an action corresponding to the content obtained from the plurality of position data is registered in the
[ワークフロー更新処理の動作フローチャート]
次に、図6のフローチャートを参照しながら、ワークフローを更新する際のワークフロー管理装置100の処理の一例を説明する。尚、本フローチャートでは、熟練者の作業を対象にした処理であることがワークフロー管理装置100に予め設定されているものとして説明を行う。
まず、ステップS1において、初期ワークフロー設定部101は、オペレータによるユーザインターフェースの操作に基づいて、初期ワークフロー200をワークフロー記憶部102に設定(記憶)する。
次に、ステップS2において、行動コーパス設定部103は、オペレータによるユーザインターフェースの操作に基づいて、行動コーパス300を設定(記憶)する。
[Workflow update process flowchart]
Next, an example of processing of the
First, in step S1, the initial
Next, in step S2, the behavior
次に、ステップS3において、行動情報取得部104は、熟練者の頭部に装着した視野カメラで撮像された視野画像を取り込む。
次に、ステップS4において、行動情報解析部105は、ステップS3で得られた視野画像から、視野カメラの位置を算出し、算出した視野カメラの位置と、視野カメラから送信される視野カメラの識別情報とに基づいて熟練者の位置データを生成する。
次に、ステップS5において、ワークフロー変更部106は、ステップS4で得られた位置データであって、時間的に連続する複数の位置データが有意なデータであるか否かを、予め設定された基準に基づいて判定する。この判定の結果、時間的に連続する複数の位置データが有意なデータでない場合には、ステップS6〜S9の処理を省略して後述するステップS10に進む。一方、時間的に連続する複数の位置データが有意なデータである場合には、ステップS6に進む。
Next, in step S <b> 3, the behavior information acquisition unit 104 captures a field-of-view image captured by a field-of-view camera attached to the skilled person's head.
Next, in step S4, the behavior
Next, in step S5, the workflow changing unit 106 determines whether the position data obtained in step S4 and a plurality of temporally continuous position data are significant data. Determine based on. As a result of this determination, if a plurality of temporally continuous position data is not significant data, the process of steps S6 to S9 is omitted and the process proceeds to step S10 described later. On the other hand, if a plurality of temporally continuous position data is significant data, the process proceeds to step S6.
ステップS6に進むと、ワークフロー変更部106は、時間的に連続する複数の位置データの内容に対応する行動が行動コーパス300に登録されているか否かを判定する。この判定の結果、時間的に連続する複数の位置データの内容に対応する行動が行動コーパス300に登録されていない場合には、ステップS7〜S9の処理を省略して後述するステップS10に進む。一方、時間的に連続する複数の位置データの内容に対応する行動が行動コーパス300に登録されている場合には、ステップS7に進む。
ステップS7に進むと、ワークフロー変更部106は、当該行動を行動コーパス300から抽出すると共に、当該行動の発生時刻を抽出する。
In step S <b> 6, the workflow changing unit 106 determines whether or not an action corresponding to the contents of a plurality of temporally continuous position data is registered in the
In step S7, the workflow changing unit 106 extracts the action from the
次に、ステップS8において、ワークフロー変更部106は、ステップS7で抽出された行動が、同じくステップS7で抽出された発生時刻の行動として、ワークフロー記憶部102に記憶されているワークフローに含まれているか否かを判定する。この判定の結果、ステップS7で抽出された行動が、ステップS7で抽出された発生時刻の行動として、ワークフローに含まれている場合には、ステップS9の処理を省略して、後述するステップS10に進む。一方、ステップS7で抽出された行動が、ステップS7で抽出された発生時刻の行動として、ワークフローに含まれていない場合には、ステップS9に進む。
Next, in step S8, the workflow changing unit 106 determines whether the behavior extracted in step S7 is included in the workflow stored in the
ステップS9に進むと、ワークフロー変更部106は、ステップS7で抽出された行動と、同じくステップS7で抽出された当該行動の発生時刻とに基づいて、ワークフロー記憶部102に記憶されているワークフローの当該発生時刻に対応する箇所に当該行動を追加し、ワークフローの内容を更新する。
次に、ステップS10において、行動情報取得部104、行動情報解析部105、及びワークフロー変更部106は、ワークフロー記憶部102に記憶されているワークフローに登録する対象となり得る行動の全てについて処理を行ったか否かを判定する。この判定の結果、ワークフローに登録する対象となり得る行動の全てについて処理を行っていない場合には、ステップS3に戻る。一方、ワークフローに登録する対象となり得る行動の全てについて処理を行った場合には、ステップS11に進む。
ステップS11に進むと、ワークフロー表示部107は、ステップS9で変更された後のワークフローの情報を表示装置に表示する。そして、図6のフローチャートによる処理を終了する。
When proceeding to step S9, the workflow changing unit 106 selects the workflow stored in the
Next, in step S10, the behavior information acquisition unit 104, the behavior
In step S11, the workflow display unit 107 displays the workflow information after the change in step S9 on the display device. And the process by the flowchart of FIG. 6 is complete | finished.
[行動監視処理の動作フローチャート]
次に、図7のフローチャートを参照しながら、非熟練者の行動を監視して非熟練者を教育する際のワークフロー管理装置100の処理の一例を説明する。尚、本フローチャートでは、非熟練者に対する処理であることがワークフロー管理装置100に予め設定されているものとして説明を行う。ここで、非熟練者に対し熟練者の暗黙知を示すという観点から、図7のフローチャートを開始する前に、ワークフローの更新が少なくとも1回は行われ、熟練者の行動がワークフローに反映されているのが好ましい。ただし、必ずしも、図7のフローチャートを開始する前に、ワークフローの更新が行われている必要はない。
まず、ステップS21において、行動情報取得部104は、非熟練者の頭部に装着した視野カメラで撮像された視野画像を取り込む。
次に、ステップS22において、行動情報解析部105は、ステップS21で得られた視野画像から、視野カメラの位置を算出し、算出した視野カメラの位置と、視野カメラから送信される視野カメラの識別情報とに基づいて非熟練者の位置データを生成する。
[Operation flowchart of behavior monitoring process]
Next, an example of processing performed by the
First, in step S <b> 21, the behavior information acquisition unit 104 captures a field image captured by a field camera mounted on the head of an unskilled person.
Next, in step S22, the behavior
次に、ステップS23において、アラーム発生部108は、ステップS22で得られた位置データであって、時間的に連続する複数の位置データが有意なデータであるか否かを予め設定された基準に基づいて判定する。この判定の結果、時間的に連続する複数の位置データが有意なデータでない場合には、ステップS24〜S27の処理を省略して後述するステップS28に進む。一方、時間的に連続する複数の位置データが有意なデータである場合には、ステップS24に進む。
ステップS24に進むと、アラーム発生部108は、時間的に連続する複数の位置データの内容に対応する行動が行動コーパス300に登録されているか否かを判定する。この判定の結果、時間的に連続する複数の位置データの内容に対応する行動が行動コーパス300に登録されていない場合には、ステップS25〜S27の処理を省略して後述するステップS28に進む。一方、時間的に連続する複数の位置データの内容に対応する行動が行動コーパス300に登録されている場合には、ステップS25に進む。
Next, in step S23, the alarm generation unit 108 uses the position data obtained in step S22 as a reference that is set in advance as to whether or not a plurality of temporally continuous position data is significant data. Judgment based on. As a result of this determination, if a plurality of temporally continuous position data is not significant data, the process of steps S24 to S27 is omitted and the process proceeds to step S28 described later. On the other hand, if a plurality of temporally continuous position data is significant data, the process proceeds to step S24.
In step S24, the alarm generation unit 108 determines whether or not an action corresponding to the contents of a plurality of temporally continuous position data is registered in the
ステップS25に進むと、アラーム発生部108は、当該行動を行動コーパス300から抽出すると共に、当該行動の発生時刻を抽出する。
次に、ステップS26において、アラーム発生部108は、ステップS25で抽出された行動が、同じくステップS25で抽出された発生時刻の行動として、ワークフロー記憶部102に記憶されているワークフローに含まれているか否かを判定する。この判定の結果、ステップS25で抽出された行動が、ステップS25で抽出された発生時刻の行動として、ワークフローに含まれている場合には、ステップS27の処理を省略して、後述するステップS28に進む。一方、ステップS25で抽出された行動が、ステップS25で抽出された発生時刻の行動として、ワークフローに含まれていない場合には、ステップS27に進む。
In step S25, the alarm generation unit 108 extracts the action from the
Next, in step S26, the alarm generation unit 108 determines whether the behavior extracted in step S25 is included in the workflow stored in the
ステップS27に進むと、アラーム発生部108は、非熟練者の行動がワークフローに従っていないとして、当該非熟練者が作業している作業現場に対してアラームを発生させる。
次に、ステップS28において、行動情報取得部104、行動情報解析部105、及びアラーム発生部108は、ワークフロー記憶部102に記憶されているワークフローに登録されている全ての行動について処理を行ったか否かを判定する。この判定の結果、ワークフローに登録されている全ての行動について処理を行っていない場合には、ステップS21に戻る。一方、ワークフローに登録されている全ての行動について処理を行った場合には、図7のフローチャートによる処理を終了する。
In step S27, the alarm generation unit 108 generates an alarm for the work site where the unskilled person is working, assuming that the action of the unskilled person does not follow the workflow.
Next, in step S <b> 28, whether the behavior information acquisition unit 104, the behavior
[まとめ]
以上のように本実施形態では、初期ワークフロー200を設定すると共に、行動と位置データとが相互に関連付けられた行動コーパス300を設定しておく。そして、熟練者の視野画像と熟練者が装着している視野カメラの識別情報とに基づいて、熟練者の位置データを生成し、当該位置データに対応する行動を行動コーパス300から抽出する。そして、抽出した行動を初期ワークフロー200(又は変更後のワークフロー500)に追加してワークフローを更新し、変更後のワークフロー500を表示する。したがって、熟練者の慣習的な行動や無意識のうちに行っている行動に関する知識を、熟練者が持つ暗黙知の情報としてワークフローに反映させ、それを熟練者以外の者も知ることが可能になる。
また、本実施形態では、非熟練者の視野画像と非熟練者が装着している視野カメラの識別情報とに基づいて、非熟練者の位置データを生成し、当該位置データに対応する行動を行動コーパス300から抽出する。そして、抽出した行動がワークフローに登録されていない場合には、当該非熟練者に対してアラームを発生させるようにした。したがって、熟練者の直接的な指導によらずに、非熟練者に対して作業に関する教育を行うことができる。
[Summary]
As described above, in the present embodiment, the
Further, in the present embodiment, based on the field image of the unskilled person and the identification information of the field of view camera worn by the unskilled person, position data of the unskilled person is generated, and an action corresponding to the position data is performed. Extract from the
[変形例]
本実施形態では、視野カメラにより得られた視野画像と、視野カメラの識別情報とを用いて、作業者の位置データを得るようにした。しかしながら、作業現場にいる作業者の行動が反映された行動情報を得るようにしていれば、必ずしもこのようにする必要はない。例えば、作業者が操作するボタンを作業現場の各エリアに設置し、作業者が各エリアに到着したときに当該ボタンを操作すると、その操作したボタンの設置位置に基づいて作業者の行動を判別するようにしてもよい。このようにした場合、前述した位置データ(p,t,Xm,Ym,θ)の代わりに、(p,t,Xn,Yn)を行動情報として用いることができる(Xn,Ynは、ボタンの設置位置の座標)。また、作業者の視線のデータに基づいて作業者の行動を判別するようにしてもよい。このようにした場合、前述した位置データ(p,t,Xm,Ym,θ)の代わりに、(p,t,Xo,Yo,Zo)を行動情報として用いることができる(Xo,Yo,Zoは、視線の先の物体の座標)。さらに、作業者の発話した内容を音声認識し、その結果に基づいて作業者の行動を判別するようにしてもよい。このようにした場合、前述した位置データ(p,t,Xm,Ym,θ)の代わりに、(p,t,S)を行動情報として用いることができる(Sは、発話の内容)。
[Modification]
In the present embodiment, the position data of the worker is obtained by using the field image obtained by the field camera and the identification information of the field camera. However, it is not always necessary to do this as long as the behavior information reflecting the behavior of the worker at the work site is obtained. For example, if a button operated by the operator is installed in each area of the work site and the button is operated when the worker arrives in each area, the behavior of the operator is determined based on the installation position of the operated button. You may make it do. In this case, (p, t, X n , Y n ) can be used as behavior information instead of the position data (p, t, X m , Y m , θ) described above (X n , Y n is the coordinates of the button installation position). Moreover, you may make it discriminate | determine an operator's action based on the data of an operator's eyes | visual_axis. In this case, (p, t, X o , Y o , Z o ) can be used as action information instead of the position data (p, t, X m , Y m , θ) described above ( X o , Y o , and Z o are the coordinates of the object ahead of the line of sight). Furthermore, it is also possible to recognize the contents spoken by the worker and to determine the behavior of the worker based on the result. In this case, (p, t, S) can be used as action information instead of the position data (p, t, X m , Y m , θ) described above (S is the content of the utterance). .
また、本実施形態では、熟練者の行動は正しいものとして、ワークフロー記憶部102に記憶されているワークフローに対し、行動を追加し、行動の削除は行わないものとした。しかしながら、必ずしもこのようにする必要はなく、初期ワークフロー200を含めてワークフローに登録されている行動を削除するようにしてもよい。このようにする場合には、例えば、図6のステップS3〜S10の処理を、所定期間分、実行すればよい。このようにすれば、ワークフロー記憶部102に記憶されているワークフローの行動を1人の熟練者が何回も行った後の結果が得られる。そうすると、例えば、時間的に連続する複数の位置データから、所定期間、行っていない行動がある場合に、当該行動をワークフローから削除するようにすることができる。ここで、1つのワークフローに、同一の作業者が別の時間に同じ行動を行うようにすることが記述されていることがある。よって、ワークフローから行動を削除するに際し、これらの行動を区別するのが好ましい。具体的に説明すると、例えば、図5において、作業者αは、異なる時間に「モニターCを確認」するが、それぞれの「モニターCを確認」する行動を所定期間行っていないことを個別に判断するのが好ましい。このようにする場合、例えば、ワークフローを開始してから、最初に「モニターCを確認」するまでの時間として想定される時間に対し所定の許容範囲内で一致する時間に作業者(熟練者)が「モニターCを確認」した場合に、当該最初の「モニターCを確認」する作業が行われたと判断し、そうでない場合には、当該最初の「モニターCを確認」する作業が行われていないと判断することができる。同様に、ワークフローを開始してから、2番目に「モニターCを確認」するまでの時間として想定される時間に対し所定の範囲内で一致する時間に作業者(熟練者)が「モニターCを確認」した場合に、当該2番目の「モニターCを確認」する作業が行われたと判断し、そうでない場合には、当該2番目の「モニターCを確認」する作業が行われていないと判断することができる。
In this embodiment, it is assumed that the behavior of the expert is correct, and the behavior is added to the workflow stored in the
また、本実施形態では、ワークフロー記憶部102には、最新のワークフロー(1つ)のみが記憶されるようにしたが、更新前のワークフローもワークフロー記憶部102に記憶されるようにしてもよい。
また、本実施形態のように、時間的に連続する複数の位置データが有意なデータであるか否かを判定すれば、ワークフローに明らかに無関係な行動についての処理を省略できるので好ましい。
In the present embodiment, only the latest workflow (one) is stored in the
Further, as in the present embodiment, it is preferable to determine whether or not a plurality of time-sequential position data is significant data because processing for actions that are clearly unrelated to the workflow can be omitted.
(第2の実施形態)
次に、本発明の第2の実施形態について説明する。第1の実施形態では、1人の熟練者の行動をワークフローに反映させる場合を例に挙げて説明した。これに対し、本実施形態では、複数人の熟練者の行動をワークフローに反映させる場合について説明する。このように本実施形態と第1の実施形態では、ワークフロー更新処理の一部が主として異なる。したがって、本実施形態の説明において、第1の実施形態と同一の部分については、図1〜図7に付した符号と同一の符号を付す等して詳細な説明を省略する。
(Second Embodiment)
Next, a second embodiment of the present invention will be described. In the first embodiment, the case where the action of one expert is reflected in the workflow has been described as an example. In contrast, in the present embodiment, a case will be described in which the actions of a plurality of skilled workers are reflected in the workflow. As described above, part of the workflow update processing is mainly different between the present embodiment and the first embodiment. Therefore, in the description of the present embodiment, the same portions as those in the first embodiment are denoted by the same reference numerals as those in FIGS.
[ワークフロー更新処理の動作フローチャート]
図8は、ワークフローを更新する際のワークフロー管理装置100の処理の一例を説明するフローチャートである。本実施形態と第1の実施形態とは、ワークフロー変更部106の機能が異なる。
よって、ステップS31〜S37は、図6に示したステップS1〜S7と同じである。すなわち、ステップS31において、初期ワークフロー設定部101は、初期ワークフロー200を設定し、ステップS32において、行動コーパス設定部103は、行動コーパス300を設定し、ステップS33において、行動情報取得部104は、熟練者の視野画像を取り込む。
ここで、図8のフローチャートでは、1つのワークフローに、同一の作業者が別の時間に同じ行動を行うようにすることが記述されていることを想定し、これらの行動を別の行動であるとして処理を行うようにしている。具体的に説明すると、例えば、図5において、作業者αは、異なる時間に「モニターCを確認」するが、これら「モニターCを確認」する行動を別の行動であるとして処理を行う。このようにする場合、ワークフローを開始してから、最初に「モニターCを確認」するまでの時間として想定される時間に対し所定の許容範囲内で一致する時間に作業者(熟練者)が「モニターCを確認」した場合に、当該最初の「モニターCを確認」する作業が行われたと判断することができる。同様に、ワークフローを開始してから、2番目に「モニターCを確認」するまでの時間として想定される時間に対し所定の許容範囲内で一致する時間に作業者(熟練者)が「モニターCを確認」した場合に、当該2番目の「モニターCを確認」する作業が行われたと判断することができる。
[Workflow update process flowchart]
FIG. 8 is a flowchart illustrating an example of processing performed by the
Therefore, steps S31 to S37 are the same as steps S1 to S7 shown in FIG. That is, in step S31, the initial
Here, in the flowchart of FIG. 8, it is assumed that the same worker performs the same action at different times in one workflow, and these actions are different actions. As the processing is done. More specifically, for example, in FIG. 5, the worker α performs “processing to confirm the monitor C” at different times, but performs the processing on the assumption that these “confirmation of the monitor C” are different behaviors. In this case, the worker (expert) at the time that falls within a predetermined allowable range with respect to the time that is assumed as the time from the start of the workflow to the first “confirmation of monitor C”. In the case of “confirming monitor C”, it can be determined that the first “confirmation of monitor C” has been performed. Similarly, the worker (skilled person) sets the “monitor C” at a time that falls within a predetermined allowable range with respect to the time that is assumed as the time from the start of the workflow to the second “confirm monitor C”. When “confirm”, it can be determined that the second “confirmation of monitor C” has been performed.
そして、ステップS34において、行動情報解析部105は、熟練者の位置データを生成する。そして、ワークフロー変更部106は、ステップS35において、時間的に連続する複数の位置データが有意なデータであると判定すると、ステップS36において、当該複数の位置データの内容に対応する行動が行動コーパス300に登録されているか否かを判定する。この判定の結果、当該複数の位置データの内容に対応する行動が行動コーパス300に登録されていると、ステップS37において、ワークフロー変更部106は、当該行動を行動コーパス300から抽出すると共に、当該行動の発生時刻を抽出する。
In step S34, the behavior
次に、ステップS38において、ワークフロー変更部106は、ステップS37で抽出された行動が、同じくステップS37で抽出された発生時刻の行動として、ワークフロー記憶部102に記憶されているワークフローに含まれているか否かを判定する。この判定の結果、ステップS37で抽出された行動が、ステップS37で抽出された発生時刻の行動として、ワークフローに含まれていない場合には、ステップS39に進む。
ステップS39に進むと、ワークフロー変更部106は、ステップS37で抽出された行動と、同じくステップS37で抽出された当該行動の発生時刻とに基づいて、ワークフロー記憶部102に記憶されているワークフローの当該発生時刻に対応する箇所に当該行動を追加し、ワークフローの内容を更新する。本実施形態では、この処理に加え、ワークフロー変更部106は、RAM等に設定される「当該発生時刻に対応する『ワークフローを開始してからの時間』における当該行動の実行カウント」の値に1を加算する。この実行カウントは、熟練者が行う行動毎、ワークフローを開始してからの時間毎に計数されるものであり、どの行動をどの時間に何人の熟練者が行ったのかをワークフロー管理装置100が識別できるようにするためのものである。そして、後述するステップS41に進む。
Next, in step S38, the workflow changing unit 106 determines whether the behavior extracted in step S37 is included in the workflow stored in the
When proceeding to step S39, the workflow changing unit 106 determines the workflow stored in the
一方、ステップS37で抽出された行動が、ステップS37で抽出された発生時刻の行動として、ワークフローに含まれている場合には、ステップS40に進む。ステップS40に進むと、ワークフロー変更部106は、RAM等に設定される「当該発生時刻に対応する『ワークフローを開始してからの時間』における当該行動の実行カウント」の値に1を加算する。そして、ステップS41に進む。
ステップS41に進むと、行動情報取得部104、行動情報解析部105、及びワークフロー変更部106は、ワークフロー記憶部102に記憶されているワークフローに登録する対象となり得る行動の全てについて処理を行ったか否かを判定する。この判定の結果、ワークフローに登録する対象となり得る行動の全てについて処理を行っていない場合には、ステップS33に戻る。一方、ワークフローに登録する対象となり得る行動の全てについて処理を行った場合には、ステップS42に進む。
On the other hand, if the behavior extracted in step S37 is included in the workflow as the behavior at the occurrence time extracted in step S37, the process proceeds to step S40. In step S40, the workflow changing unit 106 adds 1 to the value of “the execution count of the action in“ time since starting the workflow corresponding to the occurrence time ”” set in the RAM or the like. Then, the process proceeds to step S41.
In step S41, the behavior information acquisition unit 104, the behavior
ステップS42に進むと、行動情報取得部104、行動情報解析部105、及びワークフロー変更部106は、予め設定された全ての作業者(熟練者)の作業を対象にした処理を行ったか否かを判定する。この判定は、例えば、次にようにして行うことができる。まず、オペレータによるユーザインターフェースの操作に基づいて、対象となる作業者が装着する視野カメラの識別番号を予めHDD等に設定しておく。そして、これら視野カメラの識別番号の全てについて位置データが得られ、且つ、ワークフローや実行カウントの処理がなされると、予め設定された全ての作業者(熟練者)の作業を対象にした処理を行った判定する。
この判定の結果、予め設定された全ての作業者(熟練者)の作業を対象にした処理を行っていない場合には、ステップS32に戻り、未処理の作業者(熟練者)の視野画像を取り込む。このように本実施形態では、行動情報取得部104、行動情報解析部105、及びワークフロー変更部106は、ステップS33〜S41の処理を、複数の作業者毎に個別に繰り返し行うようにしている。
In step S42, the behavior information acquisition unit 104, the behavior
If the result of this determination is that processing for all preset workers (experts) has not been performed, the process returns to step S32, and unprocessed workers (experts) view images are displayed. take in. As described above, in the present embodiment, the behavior information acquisition unit 104, the behavior
そして、予め設定された全ての作業者(熟練者)の作業を対象にした処理が終了すると、ステップS43に進む。ステップS43に進むと、ワークフロー変更部106は、ステップS39、S40で加算された「行動毎、ワークフローを開始してからの時間毎の実行カウントの値」を読み出し、読み出した値に基づいて、ワークフロー記憶部102に記憶されているワークフローの内容を変更する。
例えば、全体のN割(0<N≦10)の作業者(熟練者)が、ワークフローを開始してから同じ時間に同じ行動をとっていた場合に、ワークフロー記憶部102に記憶されているワークフローの当該時間に対応する箇所に当該行動を追加し、そうでない行動をワークフローから削除することができる。Nの具体的な値としては、例えば、5や10が挙げられる。このように本実施形態では、このステップS43において、ワークフローを全面的に書き換える。また、本実施形態では、初期ワークフロー200で登録されている行動も削除され得る。
Then, when the processing for all preset workers (experts) is completed, the process proceeds to step S43. In step S43, the workflow changing unit 106 reads “the value of the execution count for each action and every time since the workflow is started” added in steps S39 and S40, and based on the read value, the workflow is changed. The contents of the workflow stored in the
For example, when the entire N percent (0 <N ≦ 10) of workers (experts) take the same action at the same time after starting the workflow, the workflow stored in the
次に、ステップS44において、ワークフロー表示部107は、ステップS9で変更された後のワークフローの情報を表示装置に表示する。そして、図8のフローチャートによる処理を終了する。
尚、行動監視処理は、以上のようにして変更されたワークフローを用いて行うが、処理の内容は、第1の実施形態と同じである。
Next, in step S44, the workflow display unit 107 displays the workflow information after the change in step S9 on the display device. And the process by the flowchart of FIG. 8 is complete | finished.
The behavior monitoring process is performed using the workflow changed as described above, but the content of the process is the same as that of the first embodiment.
[まとめ]
以上のように本実施形態では、複数人の熟練者のうち、所定の割合以上の熟練者がとった行動をワークフローに反映させ、そうでない行動をワークフローから削除するようにした。したがって、より正確なワークフローを作成することができる。
[変形例]
本実施形態では、熟練者のとった行動の多数決に基づいてワークフローを変更するようにしたが、必ずしもこのようにする必要はない。例えば、熟練者の熟練度に応じて実行カウントの加算値を変えるようにしてもよい(例えば、高度な技能を持つ熟練者がとった行動については実行カウントの加算値を2にし、それ以外の熟練者がとった行動については実行カウントの加算値を1にすることができる)。また、多くの熟練者がとった行動であるか否かに関わらず、ワークフローに基づく作業の全体の処理時間が短い行動をワークフローに反映させるようにしてもよい。
また、本実施形態においても、第1の実施形態で説明した変形例を採用することができる。
[Summary]
As described above, in the present embodiment, the actions taken by a predetermined percentage or more of the skilled workers are reflected in the workflow, and other actions are deleted from the workflow. Therefore, a more accurate workflow can be created.
[Modification]
In the present embodiment, the workflow is changed based on the majority of actions taken by the skilled person. However, this is not always necessary. For example, the addition value of the execution count may be changed according to the skill level of the skilled person (for example, the action count addition value is set to 2 for an action taken by a skilled worker having a high level of skill) For the actions taken by the skilled person, the added value of the execution count can be set to 1). Moreover, regardless of whether or not the action is taken by many skilled workers, an action with a short processing time for the entire work based on the workflow may be reflected in the workflow.
Also in the present embodiment, the modification described in the first embodiment can be employed.
(第3の実施形態)
次に、本発明の第3の実施形態について説明する。前述した第1、第2の実施形態では、ワークフローを自動的に更新する場合を例に挙げて説明した。しかしながら、行動の内容やワークフローの対象等によっては、ワークフローに行動を登録すべきか否かを一定の判断基準で決定することが困難な場合がある。そこで、本実施形態では、ワークフローの更新の対象となる行動をオペレータに提示し、提示した行動をワークフローに登録するか否かをオペレータに判断させるようにしている。このように本実施形態と第1、2の実施形態では、ワークフロー更新処理の一部が主として異なる。したがって、本実施形態の説明において、第1、2の実施形態と同一の部分については、図1〜図8に付した符号と同一の符号を付す等して詳細な説明を省略する。
(Third embodiment)
Next, a third embodiment of the present invention will be described. In the above-described first and second embodiments, the case where the workflow is automatically updated has been described as an example. However, depending on the content of the action, the target of the workflow, etc., it may be difficult to determine whether or not the action should be registered in the workflow based on a certain criterion. Therefore, in this embodiment, an action to be updated in the workflow is presented to the operator, and the operator is allowed to determine whether or not to register the presented action in the workflow. As described above, part of the workflow update processing is mainly different between the present embodiment and the first and second embodiments. Therefore, in the description of the present embodiment, the same parts as those in the first and second embodiments are denoted by the same reference numerals as those in FIGS.
図9は、ワークフロー管理装置の機能的な構成の一例を示す図である。図9において、本実施形態のワークフロー管理装置900の初期ワークフロー設定部101、ワークフロー記憶部102、行動コーパス設定部103、行動情報取得部104、行動情報解析部105、及びアラーム発生部108は、図1に示したワークフロー管理装置100と同じである。よって、本実施形態では、これらの説明を省略する。
FIG. 9 is a diagram illustrating an example of a functional configuration of the workflow management apparatus. 9, the initial
[ワークフロー変更候補決定部901]
ワークフロー変更候補決定部901は、熟練者の作業を対象にした処理を行っている場合に、行動情報解析部105により得られた位置データであって、時間的に連続する複数の位置データが有意なデータであるか否かを予め設定された基準に基づいて判定する。そして、ワークフロー変更候補決定部901は、時間的に連続する複数の位置データが有意なデータであると判定すると、当該複数の位置データの内容に対応する行動が行動コーパス300に含まれているか否かを判定する。この判定の結果、当該複数の位置データの内容に対応する行動が行動コーパス300に含まれている場合には、当該行動を行動コーパス300から抽出し、抽出した行動と当該行動の発生時刻とを記憶する。本実施形態では、第1の実施形態と同様に、ワークフロー変更候補決定部901は、1人の熟練者の行動の候補を決定するようにしている。
[Workflow change candidate determination unit 901]
The workflow change
そして、ワークフロー変更候補決定部901は、行動コーパス300から抽出した行動が、当該行動の発生時刻の行動として、ワークフロー記憶部102に記憶されているワークフローに含まれているか否かを判定する。この判定の結果、行動コーパス300から抽出された行動が、当該行動の発生時刻の行動として、ワークフローに含まれていない場合、当該行動と、当該行動の発生時刻とを、ワークフローに追加する行動の候補として記憶する。
ワークフロー変更候補決定部901は、例えば、次のようにして実現することができる。まず、CPUは、HDD等から読み出した基準に基づいて、時間的に連続する複数の位置データが有意なデータであるか否かを判定する。そして、時間的に連続する複数の位置データが有意なデータである場合、CPUは、HDD等に記憶されている行動コーパス300に、当該複数の位置データから得られる内容に対応する行動が登録されているか否かを判定する。そして、行動コーパス300に、当該複数の位置データから得られる内容に対応する行動が登録されている場合、CPUは、当該行動が、当該行動の発生時刻の行動として、HDD等に記憶されているワークフローに含まれているか否かを判定する。そして、当該行動が、当該行動の発生時刻の行動として、ワークフローに含まれていない場合、CPUは、当該ワークフローに含まれていない行動と当該行動の発生時刻とをRAM等に記憶する。
Then, the workflow change
The workflow change
[ワークフロー変更候補表示部902]
ワークフロー変更候補表示部902は、行動情報取得部104、行動情報解析部105、及びワークフロー変更候補決定部901において、ワークフロー記憶部102に記憶されているワークフローに登録する対象となり得る行動の全てについて処理が行われると、ワークフロー変更候補決定部901により記憶された「ワークフローに追加する行動の候補」の情報を、液晶ディスプレイ等の表示装置に表示する。例えば、図5に示す薄いグレーの行動が、ワークフローに追加する行動の候補である場合、ワークフロー変更候補表示部902は、当該行動を点滅表示させるようにして、ワークフローに追加する行動の候補の内容と、その発生時間(ワークフローにおける位置)と、元のワークフローの情報とをオペレータが識別できるような表示を行う。
尚、熟練者に対する処理を行っていることは、第1の実施形態と同じようにして判断することができる(ワークフロー変更部106の説明を参照)。
ワークフロー変更候補表示部902は、例えば、CPUが、RAM等から、ワークフローに追加する行動の候補を読み出し、当該候補の内容と、その発生時間(ワークフローにおける位置)と、元のワークフローの情報とをオペレータが識別できる形態の表示データを生成し、生成した表示データを表示装置に出力することによって実現することができる。
[Workflow change candidate display section 902]
The workflow change
Note that it is possible to determine that processing for an expert is performed in the same manner as in the first embodiment (see the description of the workflow changing unit 106).
For example, the workflow change
[ワークフロー変更部903]
ワークフロー変更部903は、ワークフロー変更候補表示部902によって表示された「ワークフローに追加する行動の候補」の情報を、ワークフロー記憶部102に記憶されているワークフローに追加するための操作がオペレータによるユーザインターフェースの操作に基づいて行われると、当該操作の内容に基づいて、当該ワークフローに行動を追加する。尚、本実施形態では、第1の実施形態と同様に、熟練者の行動は正しいものとして、ワークフロー記憶部102に記憶されているワークフローに対し、行動を追加し、行動の削除は行わないものとする。
ワークフロー変更部903は、例えば、CPUが、オペレータによるユーザインターフェースの操作の内容に基づいて、HDD等に記憶されている現在のワークフローの内容を書き換えることにより実現することができる。
[Workflow changing unit 903]
The workflow change unit 903 performs an operation for adding the information on “candidates for action to be added to the workflow” displayed by the workflow change
The workflow changing unit 903 can be realized, for example, by the CPU rewriting the content of the current workflow stored in the HDD or the like based on the content of the user interface operation by the operator.
[ワークフロー更新処理の動作フローチャート]
次に、図10のフローチャートを参照しながら、ワークフローを更新する際のワークフロー管理装置900の処理の一例を説明する。尚、本フローチャートでは、熟練者に対する処理であることがワークフロー管理装置100に予め設定されているものとして説明を行う。
まず、ステップS51〜S57は、図6に示したステップS1〜S7と同じである。すなわち、ステップS51において、初期ワークフロー設定部101は、初期ワークフロー200を設定し、ステップS52において、行動コーパス設定部103は、行動コーパス300を設定し、ステップS53において、行動情報取得部104は、熟練者の視野画像を取り込む。
[Workflow update process flowchart]
Next, an example of processing of the
First, steps S51 to S57 are the same as steps S1 to S7 shown in FIG. That is, in step S51, the initial
そして、ステップS54において、行動情報解析部105は、熟練者の位置データを生成する。そして、ワークフロー変更候補決定部901は、ステップS55において、時間的に連続する複数の位置データが有意なデータであると判定すると、ステップS56において、当該複数の位置データの内容に対応する行動が行動コーパス300に登録されているか否かを判定する。この判定の結果、当該複数の位置データの内容に対応する行動が行動コーパス300に登録されていると、ステップS57において、ワークフロー変更候補決定部901は、当該行動を行動コーパス300から抽出すると共に、当該行動の発生時刻を抽出する。
In step S54, the behavior
次に、ステップS58において、ワークフロー変更候補決定部901は、ステップS57で抽出された行動が、同じくステップS57で抽出された発生時刻の行動として、ワークフロー記憶部102に記憶されているワークフローとを比較する。そして、ステップS59において、ワークフロー変更候補決定部901は、ステップS58の比較の結果に基づいて、ステップS57で抽出された行動が、同じくステップS57で抽出された発生時刻の行動として、ワークフロー記憶部102に記憶されているワークフローに含まれているか否かを判定する。この判定の結果、ステップS57で抽出された行動が、ステップS57で抽出された発生時刻の行動として、ワークフローに含まれている場合には、ステップS60の処理を省略して後述するステップS61に進む。
一方、ステップS57で抽出された行動が、ステップS57で抽出された発生時刻の行動として、ワークフローに含まれていない場合には、ステップS60に進む。ステップS60に進むと、ステップS57で抽出された行動と当該行動の発生時刻とをワークフローに追加する行動の候補として記憶する。そして、ステップS61に進む。
ステップS61に進むと、行動情報取得部104、行動情報解析部105、及びワークフロー変更候補決定部901は、ワークフロー記憶部102に記憶されているワークフローに登録する対象となり得る行動の全てについて処理を行ったか否かを判定する。この判定の結果、ワークフローに登録する対象となり得る行動の全てについて処理を行っていない場合には、ステップS53に戻る。一方、ワークフローに登録する対象となり得る行動の全てについて処理を行った場合には、ステップS62に進む。
Next, in step S58, the workflow change
On the other hand, if the action extracted in step S57 is not included in the workflow as the action at the occurrence time extracted in step S57, the process proceeds to step S60. In step S60, the behavior extracted in step S57 and the generation time of the behavior are stored as behavior candidates to be added to the workflow. Then, the process proceeds to step S61.
In step S61, the behavior information acquisition unit 104, the behavior
ステップS62に進むと、ワークフロー変更候補表示部902は、ステップS60で記憶された「ワークフローに追加する行動の候補」の情報を表示装置に表示する。
次に、ステップS63において、ワークフロー変更部903は、オペレータによるユーザインターフェースの操作に基づいて、ステップS62で表示された「ワークフローに追加する行動の候補」をワークフロー記憶部102に記憶されているワークフローに追加する指示があったか否かを判定する。この判定の結果、ワークフローに追加する行動の候補をワークフローに追加する指示がなかった場合には、図10のフローチャートによる処理を終了する。一方、ワークフローに追加する行動の候補をワークフローに追加する指示があった場合には、ステップS64に進む。
In step S62, the workflow change
Next, in
ステップS64に進むと、ワークフロー変更部903は、ステップS63で指示された内容に基づいて、ワークフロー記憶部102に記憶されているワークフローに行動を追加する。
次に、ステップS65において、ワークフロー表示部107は、ステップS64で変更された後のワークフローの情報を表示装置に表示する。そして、図10のフローチャートによる処理を終了する。
尚、行動監視処理は、以上のようにして変更されたワークフローを用いて行うが、処理の内容は、第1の実施形態と同じである。
In step S64, the workflow changing unit 903 adds an action to the workflow stored in the
In step S65, the workflow display unit 107 displays the workflow information after the change in step S64 on the display device. And the process by the flowchart of FIG. 10 is complete | finished.
The behavior monitoring process is performed using the workflow changed as described above, but the content of the process is the same as that of the first embodiment.
[まとめ]
以上のように本実施形態では、熟練者の行動がワークフローに登録されていない場合には、当該行動を、ワークフローに追加する候補としてオペレータに提示し、オペレータからの支持によって、当該行動をワークフローへ追加する。したがって、ワークフローに行動を追加すべきか否かを、一定の判断基準で決定することが困難な場合でも、熟練者が持つ暗黙知の情報としてワークフローに正確に反映させることができる。
[Summary]
As described above, in this embodiment, when an expert's action is not registered in the workflow, the action is presented to the operator as a candidate to be added to the workflow, and the action is transferred to the workflow with support from the operator. to add. Therefore, even if it is difficult to determine whether or not an action should be added to a workflow based on a certain criterion, it can be accurately reflected in the workflow as tacit knowledge information possessed by a skilled person.
[変形例]
本実施形態では、第1の実施形態のように、1人の熟練者の行動をワークフローに反映させる場合を例に挙げて説明した。しかしながら、第2の実施形態のように、複数人の熟練者の行動をワークフローに反映させることもできる。このようにする場合には、例えば、図8のフローチャートにおいて、ステップS38〜S40の代わりに、ステップS37で抽出された行動と当該行動の発生時刻とを、ワークフローに対して変更する行動の候補として記憶すると共に、当該候補に対するカウントの値に1を加算する。このカウントは、何人の熟練者によって当該候補の行動が同じ時間(ワークフローの開始してからの時間)にとられたのかをワークフロー管理装置900が識別できるようにするためのものである。その後、図8のステップS41以降の処理の代わりに、図10のステップS61以降の処理を行う。
[Modification]
In the present embodiment, as described in the first embodiment, the case where the action of one expert is reflected in the workflow has been described as an example. However, as in the second embodiment, the actions of a plurality of skilled workers can be reflected in the workflow. In this case, for example, in the flowchart of FIG. 8, instead of steps S38 to S40, the action extracted in step S37 and the time of occurrence of the action are used as action candidates to be changed with respect to the workflow. While storing, 1 is added to the count value for the candidate. This count is for enabling the
ここで、ステップS62では、ワークフロー変更候補表示部902は、ワークフローに対して変更する行動の候補の情報として、当該候補の内容と、その発生時間(ワークフローにおける位置)と、元のワークフローの情報とに加えて、例えば、何人の熟練者が当該候補の行動をとったのかを示す情報を表示する。また、ステップS63では、オペレータは、ワークフローに追加する候補だけでなく削除する候補を指示する。追加する候補であるか、削除する候補であるかは、例えば、前述した「何人の熟練者が当該候補の行動をとったのかを示す情報」に基づいて判断することができる。そして、ステップS64では、ワークフロー変更部903は、ワークフロー記憶部102に記憶されているワークフローを全面的に書き換える。
また、本実施形態においても、第1、第2の実施形態で説明した変形例を採用することができる。
また、以上の各実施形態では、初期ワークフロー200があることを前提としたが、初期ワークフロー200がなくてもよい。第1の実施形態において、このようにする場合、例えば、初期ワークフローを作成する段階では、図6のステップS8を行わずに、ステップS7で抽出された行動をワークフローに無条件で追加するようにすることができる。
Here, in step S62, the workflow change
Also in this embodiment, the modifications described in the first and second embodiments can be employed.
Further, in each of the above embodiments, it is assumed that there is an
尚、以上説明した本発明の実施形態は、コンピュータがプログラムを実行することによって実現することができる。また、プログラムをコンピュータに供給するための手段、例えばかかるプログラムを記録したCD−ROM等のコンピュータ読み取り可能な記録媒体、又はかかるプログラムを伝送する伝送媒体も本発明の実施の形態として適用することができる。また、前記プログラムを記録したコンピュータ読み取り可能な記録媒体などのプログラムプロダクトも本発明の実施の形態として適用することができる。前記のプログラム、コンピュータ読み取り可能な記録媒体、伝送媒体及びプログラムプロダクトは、本発明の範疇に含まれる。
また、以上説明した本発明の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
The embodiment of the present invention described above can be realized by a computer executing a program. Further, a means for supplying the program to the computer, for example, a computer-readable recording medium such as a CD-ROM recording such a program, or a transmission medium for transmitting such a program may be applied as an embodiment of the present invention. it can. A program product such as a computer-readable recording medium that records the program can also be applied as an embodiment of the present invention. The programs, computer-readable recording media, transmission media, and program products are included in the scope of the present invention.
In addition, the embodiments of the present invention described above are merely examples of implementation in carrying out the present invention, and the technical scope of the present invention should not be construed as being limited thereto. Is. That is, the present invention can be implemented in various forms without departing from the technical idea or the main features thereof.
[請求項との対応]
前述した本発明の実施形態では、例えば、ワークフロー記憶部102を用いることによりワークフロー記憶手段が実現され、行動情報取得部104を用いることにより行動情報取得手段が実現される。ここで、本実施形態では、例えば、視野画像が行動情報の一例に対応し、視野カメラが作業現場にある所定の装置の一例に対応する。また、本実施形態では、例えば、行動情報解析部105を用いることにより行動情報解析手段が実現される。ここで、本実施形態では、例えば、位置データが、作業者の行動を示すデータの一例に対応する。また、本実施形態では、行動コーパス設定部103を用いることにより行動コーパス記憶手段が実現され、ワークフロー変更部106を用いることによりワークフロー変更手段が実現される。また、本実施形態では、アラーム発生部108を用いることによりアラーム発生手段が実現される。また、本実施形態では、ワークフロー変更候補決定部901を用いることによりワークフロー変更候補決定手段が実現され、ワークフロー変更候補表示部902を用いることによりワークフロー変更候補表示手段が実現され、ワークフロー変更部903を用いることによりワークフロー変更手段が実現される。
[Correspondence with Claims]
In the embodiment of the present invention described above, for example, a workflow storage unit is realized by using the
また、本実施形態では、例えば、ステップS1、S31、S51の処理を行うことによりワークフロー記憶工程が実現され、ステップS3、S21、S33、S53の処理を行うことにより行動情報取得工程の一例が実現される。また、本実施形態では、例えば、ステップS4、S22、S34、S54の処理を行うことにより行動情報解析工程の一例が実現され、ステップS2、S32、S52の処理を実行することにより行動コーパス記憶工程が実現される。また、本実施形態では、例えば、ステップS6〜S9、S36〜S40・S43、S63の処理を行うことによりワークフロー変更工程が実現される。また、本実施形態では、例えば、ステップS56〜59の処理を行うことによりワークフロー変更候補決定手段が実現され、ステップS61の処理を行うことによりワークフロー変更候補表示手段が実現される。また、本実施形態では、例えば、ステップS24〜S7の処理を行うことによりアラーム発生手段が実現される。 In this embodiment, for example, the workflow storage process is realized by performing the processes of steps S1, S31, and S51, and an example of the behavior information acquisition process is realized by performing the processes of steps S3, S21, S33, and S53. Is done. In the present embodiment, for example, an example of the behavior information analysis process is realized by performing the processes of steps S4, S22, S34, and S54, and the behavior corpus storage process is performed by executing the processes of steps S2, S32, and S52. Is realized. Moreover, in this embodiment, a workflow change process is implement | achieved by performing the process of step S6-S9, S36-S40 * S43, and S63, for example. In the present embodiment, for example, a workflow change candidate determination unit is realized by performing the processes of steps S56 to S59, and a workflow change candidate display unit is realized by performing the process of step S61. Further, in the present embodiment, for example, an alarm generating unit is realized by performing the processing of steps S24 to S7.
100、800 ワークフロー管理装置
101 初期ワークフロー設定部
102 ワークフロー記憶部
103 行動コーパス設定部
104 行動情報取得部
105 行動情報解析部
106 ワークフロー変更部
107 ワークフロー表示部
108 アラーム発生部
200 初期ワークフロー
300 行動コーパス
500 変更後のワークフロー
901 ワークフロー変更候補決定部
902 ワークフロー変更候補表示部
903 ワークフロー変更部
100, 800
Claims (21)
作業現場にある所定の装置から、作業者の行動が反映された行動情報を取得する行動情報取得手段と、
前記行動情報取得手段により取得された行動情報を解析し、解析した結果に基づいて、作業者の行動を示すデータを生成し、生成した作業者の行動を示すデータを順次蓄積する行動情報解析手段と、
作業者の行動を示すデータと、ワークフローに記述される行動とが相互に対応付けられた行動コーパスを記憶する行動コーパス記憶手段と、
前記行動情報解析手段により蓄積された、作業者の行動を示すデータに対応する行動を、前記行動コーパス記憶手段から抽出し、抽出した行動に基づいて、前記ワークフローの内容を変更するワークフロー変更手段と、を有することを特徴とするワークフロー管理装置。 Workflow storage means for storing a workflow in which the actions to be taken by the worker are described in time series;
Behavior information acquisition means for acquiring behavior information reflecting the behavior of the worker from a predetermined device at the work site;
Behavior information analysis means for analyzing the behavior information acquired by the behavior information acquisition means, generating data indicating the behavior of the worker based on the analysis result, and sequentially storing the data indicating the behavior of the generated worker When,
Action corpus storage means for storing an action corpus in which data indicating the worker's action and actions described in the workflow are associated with each other;
A workflow change unit that extracts the behavior corresponding to the data indicating the worker's behavior accumulated by the behavior information analysis unit from the behavior corpus storage unit, and changes the content of the workflow based on the extracted behavior; A workflow management apparatus characterized by comprising:
前記行動情報解析手段は、前記行動情報取得手段により取得された行動情報を解析し、解析した結果に基づいて、前記複数人の作業者の行動を示すデータを生成し、生成した複数人の作業者の行動を示すデータを順次蓄積し、
前記ワークフロー変更手段は、前記行動情報解析手段により蓄積された、複数人の作業者の行動を示すデータに対応する行動を、前記行動コーパス記憶手段から抽出し、抽出した複数人の作業者の行動を比較した結果に基づいて、前記ワークフローの内容を変更することを特徴とする請求項1又は2に記載のワークフロー管理装置。 The behavior information acquisition means acquires behavior information reflecting the behavior of a plurality of workers from a predetermined device at the work site,
The behavior information analysis unit analyzes the behavior information acquired by the behavior information acquisition unit, generates data indicating the behavior of the plurality of workers based on the analysis result, Data indicating the behavior of the person in sequence,
The workflow changing unit extracts, from the behavior corpus storage unit, behavior corresponding to data indicating behaviors of a plurality of workers accumulated by the behavior information analysis unit, and the extracted behaviors of the plurality of workers The workflow management apparatus according to claim 1, wherein the content of the workflow is changed based on a result of comparing the two.
作業現場にある所定の装置から、作業者の行動が反映された行動情報を取得する行動情報取得手段と、
前記行動情報取得手段により取得された行動情報を解析し、解析した結果に基づいて、作業者の行動を示すデータを生成し、生成した作業者の行動を示すデータを順次蓄積する行動情報解析手段と、
作業者の行動を示すデータと、ワークフローに記述される行動とが相互に対応付けられた行動コーパスを記憶する行動コーパス記憶手段と、
前記行動情報解析手段により蓄積された、作業者の行動を示すデータに対応する行動を、前記行動コーパス記憶手段から抽出し、抽出した行動に基づいて、前記ワークフローの変更対象となる行動の候補を決定するワークフロー変更候補決定手段と、
前記ワークフロー変更候補決定手段により決定された、ワークフローの変更対象となる行動の候補の情報を表示装置に表示するワークフロー変更候補表示手段と、を有することを特徴とするワークフロー管理装置。 Workflow storage means for storing a workflow in which the actions to be taken by the worker are described in time series;
Behavior information acquisition means for acquiring behavior information reflecting the behavior of the worker from a predetermined device at the work site;
Behavior information analysis means for analyzing the behavior information acquired by the behavior information acquisition means, generating data indicating the behavior of the worker based on the analysis result, and sequentially storing the data indicating the behavior of the generated worker When,
Action corpus storage means for storing an action corpus in which data indicating the worker's action and actions described in the workflow are associated with each other;
The behavior corresponding to the data indicating the behavior of the worker accumulated by the behavior information analysis unit is extracted from the behavior corpus storage unit, and based on the extracted behavior, a candidate for the behavior to be changed in the workflow is selected. A workflow change candidate determination means for determining;
A workflow management apparatus comprising: workflow change candidate display means for displaying information on action candidates to be changed in the workflow determined by the workflow change candidate determination means on a display device.
前記行動情報解析手段は、前記行動情報取得手段により取得された行動情報を解析し、解析した結果に基づいて、複数人の作業者の行動を示すデータを生成し、生成した複数人の作業者の行動を示すデータを順次蓄積し、
前記ワークフロー変更候補決定手段は、前記行動情報解析手段により蓄積された、複数人の作業者の行動を示すデータに対応する行動を、前記行動コーパス記憶手段から抽出し、抽出した複数人の作業者の行動に基づいて、前記ワークフローの変更対象となる行動の候補として当該複数人の作業者の行動の候補を決定し、
前記ワークフロー変更候補表示手段は、前記ワークフロー変更候補決定手段により決定された、複数人の作業者の行動の候補の情報を表示装置に表示することを特徴とする請求項6又は8に記載のワークフロー管理装置。 The behavior information acquisition means acquires behavior information reflecting behaviors of a plurality of workers from a predetermined device at a work site,
The behavior information analysis unit analyzes the behavior information acquired by the behavior information acquisition unit, generates data indicating the behavior of a plurality of workers based on the analysis result, and generates the plurality of workers Sequentially accumulate data showing the behavior of
The workflow change candidate determining unit extracts, from the behavior corpus storage unit, behaviors corresponding to data indicating behaviors of a plurality of workers accumulated by the behavior information analysis unit, and the extracted plurality of workers On the basis of the behavior of the workflow, the candidate behavior of the plurality of workers is determined as a candidate for the behavior to be changed in the workflow,
The workflow according to claim 6 or 8, wherein the workflow change candidate display means displays information on behavior candidates of a plurality of workers determined by the workflow change candidate determination means on a display device. Management device.
作業現場にある所定の装置から、作業者の行動が反映された行動情報を取得する行動情報取得工程と、
前記行動情報取得工程により取得された行動情報を解析し、解析した結果に基づいて、作業者の行動を示すデータを生成し、生成した作業者の行動を示すデータを順次蓄積する行動情報解析工程と、
作業者の行動を示すデータと、ワークフローに記述される行動とが相互に対応付けられた行動コーパスを記憶媒体に記憶する行動コーパス記憶工程と、
前記行動情報解析工程により蓄積された、作業者の行動を示すデータに対応する行動を、前記行動コーパス記憶工程により記憶された行動コーパスから抽出し、抽出した行動に基づいて、前記ワークフローの内容を変更するワークフロー変更工程と、を有することを特徴とするワークフロー管理方法。 A workflow storage step for storing, in a storage medium, a workflow in which the actions to be taken by the worker are described in time series;
An action information acquisition step of acquiring action information reflecting the action of the worker from a predetermined device at the work site;
Behavior information analysis step of analyzing the behavior information acquired by the behavior information acquisition step, generating data indicating the behavior of the worker based on the analysis result, and sequentially storing the data indicating the generated behavior of the worker When,
An action corpus storage step of storing, in a storage medium, an action corpus in which data indicating the worker's action and actions described in the workflow are associated with each other;
The behavior corresponding to the data indicating the worker's behavior accumulated by the behavior information analysis step is extracted from the behavior corpus stored by the behavior corpus storage step, and the content of the workflow is determined based on the extracted behavior. A workflow management method comprising: a workflow change step for changing.
前記行動情報解析工程は、前記行動情報取得工程により取得された行動情報を解析し、解析した結果に基づいて、前記複数人の作業者の行動を示すデータを生成し、生成した複数人の作業者の行動を示すデータを順次蓄積し、
前記ワークフロー変更工程は、前記行動情報解析工程により蓄積された、複数人の作業者の行動を示すデータに対応する行動を、前記行動コーパス記憶工程から抽出し、抽出した複数人の作業者の行動を比較した結果に基づいて、前記ワークフローの内容を変更することを特徴とする請求項11又は12に記載のワークフロー管理方法。 The behavior information acquisition step acquires behavior information reflecting the behavior of a plurality of workers from a predetermined device at the work site,
The behavior information analysis step analyzes the behavior information acquired by the behavior information acquisition step, generates data indicating the behavior of the plurality of workers based on the analysis result, and generates the plurality of worker operations Data indicating the behavior of the person in sequence,
In the workflow change step, the behavior corresponding to the data indicating the behavior of a plurality of workers accumulated in the behavior information analysis step is extracted from the behavior corpus storage step, and the behavior of the plurality of workers extracted is extracted. The workflow management method according to claim 11 or 12, wherein the content of the workflow is changed based on a result of comparing the two.
作業現場にある所定の装置から、作業者の行動が反映された行動情報を取得する行動情報取得工程と、
前記行動情報取得工程により取得された行動情報を解析し、解析した結果に基づいて、作業者の行動を示すデータを生成し、生成した作業者の行動を示すデータを順次蓄積する行動情報解析工程と、
作業者の行動を示すデータと、ワークフローに記述される行動とが相互に対応付けられた行動コーパスを記憶媒体に記憶する行動コーパス記憶工程と、
前記行動情報解析工程により蓄積された、作業者の行動を示すデータに対応する行動を、前記行動コーパス記憶工程により記憶された行動コーパスから抽出し、抽出した行動に基づいて、前記ワークフローの変更対象となる行動の候補を決定するワークフロー変更候補決定工程と、
前記ワークフロー変更候補決定工程によりケ一定された、ワークフローの変更対象となる行動の候補の情報を表示装置に表示するワークフロー変更候補表示工程と、を有することを特徴とするワークフロー管理方法。 A workflow storage step for storing, in a storage medium, a workflow in which the actions to be taken by the worker are described in time series;
An action information acquisition step of acquiring action information reflecting the action of the worker from a predetermined device at the work site;
Behavior information analysis step of analyzing the behavior information acquired by the behavior information acquisition step, generating data indicating the behavior of the worker based on the analysis result, and sequentially storing the data indicating the generated behavior of the worker When,
An action corpus storage step of storing, in a storage medium, an action corpus in which data indicating the worker's action and actions described in the workflow are associated with each other;
The behavior corresponding to the data indicating the worker's behavior accumulated by the behavior information analysis step is extracted from the behavior corpus stored by the behavior corpus storage step, and the workflow change target is based on the extracted behavior A workflow change candidate determination step for determining candidate actions to be
A workflow management method comprising: a workflow change candidate display step for displaying information on a candidate for a behavior to be a workflow change target determined by the workflow change candidate determination step on a display device.
前記行動情報解析工程は、前記行動情報取得工程により取得された行動情報を解析し、解析した結果に基づいて、複数人の作業者の行動を示すデータを生成し、生成した複数人の作業者の行動を示すデータを順次蓄積し、
前記ワークフロー変更候補決定工程は、前記行動情報解析工程により蓄積された、複数人の作業者の行動を示すデータに対応する行動を、前記行動コーパス記憶工程により記憶された行動コーパスから抽出し、抽出した複数人の作業者の行動に基づいて、前記ワークフローの変更対象となる行動の候補として当該複数人の作業者の行動の候補を決定し、
前記ワークフロー変更候補表示工程は、前記ワークフロー変更候補決定工程により決定された、複数人の作業者の行動の候補の情報を表示装置に表示することを特徴とする請求項16又は18に記載のワークフロー管理方法。 The behavior information acquisition step acquires behavior information reflecting the behavior of a plurality of workers from a predetermined device at a work site,
The behavior information analysis step analyzes the behavior information acquired by the behavior information acquisition step, generates data indicating the behavior of a plurality of workers based on the analysis result, and generates the plurality of workers Sequentially accumulate data showing the behavior of
In the workflow change candidate determination step, the behavior corresponding to the data indicating the behavior of a plurality of workers accumulated in the behavior information analysis step is extracted from the behavior corpus stored in the behavior corpus storage step, and extracted. Based on the behaviors of the plurality of workers, the candidate behaviors of the plurality of workers are determined as behavior candidates to be changed in the workflow,
19. The workflow according to claim 16 or 18, wherein the workflow change candidate display step displays information on action candidates of a plurality of workers determined by the workflow change candidate determination step on a display device. Management method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011005113A JP5609660B2 (en) | 2011-01-13 | 2011-01-13 | Workflow management device, workflow management method, and computer program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011005113A JP5609660B2 (en) | 2011-01-13 | 2011-01-13 | Workflow management device, workflow management method, and computer program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012146202A true JP2012146202A (en) | 2012-08-02 |
JP5609660B2 JP5609660B2 (en) | 2014-10-22 |
Family
ID=46789691
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011005113A Active JP5609660B2 (en) | 2011-01-13 | 2011-01-13 | Workflow management device, workflow management method, and computer program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5609660B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015148982A (en) * | 2014-02-07 | 2015-08-20 | Kddi株式会社 | Operation procedure flow update device, method, and program |
KR101550789B1 (en) | 2013-04-22 | 2015-09-07 | 주식회사 인피니트헬스케어 | System and method for sharing the knowledge of medical images based on experience |
JP2019164671A (en) * | 2018-03-20 | 2019-09-26 | 東京電力ホールディングス株式会社 | Instance analysis support system, method and program |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009289112A (en) * | 2008-05-30 | 2009-12-10 | Tokyo Electron Ltd | Work information providing device, work information providing method and program |
JP2010146221A (en) * | 2008-12-18 | 2010-07-01 | Hitachi Ltd | Behavior recording input support system, behavior input support method, and server |
-
2011
- 2011-01-13 JP JP2011005113A patent/JP5609660B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009289112A (en) * | 2008-05-30 | 2009-12-10 | Tokyo Electron Ltd | Work information providing device, work information providing method and program |
JP2010146221A (en) * | 2008-12-18 | 2010-07-01 | Hitachi Ltd | Behavior recording input support system, behavior input support method, and server |
Non-Patent Citations (4)
Title |
---|
CSNG200801133006; 楼 天甲: '操業者の行動分析にもとづくワークフロー詳細化手法' 情報処理学会研究報告 Vol.2008 No.126 第2008巻,第126号, 20081210, 第21-24頁, 社団法人情報処理学会 * |
CSNG200900100047; 楼 天甲: '行動素のワークフローへの自動対応付け手法' 情報処理学会研究報告 Vol.2009 No.19 第2009巻,第19号, 20090226, 第197-200頁, 社団法人情報処理学会 * |
JPN6013060476; 楼 天甲: '操業者の行動分析にもとづくワークフロー詳細化手法' 情報処理学会研究報告 Vol.2008 No.126 第2008巻,第126号, 20081210, 第21-24頁, 社団法人情報処理学会 * |
JPN6013060477; 楼 天甲: '行動素のワークフローへの自動対応付け手法' 情報処理学会研究報告 Vol.2009 No.19 第2009巻,第19号, 20090226, 第197-200頁, 社団法人情報処理学会 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101550789B1 (en) | 2013-04-22 | 2015-09-07 | 주식회사 인피니트헬스케어 | System and method for sharing the knowledge of medical images based on experience |
JP2015148982A (en) * | 2014-02-07 | 2015-08-20 | Kddi株式会社 | Operation procedure flow update device, method, and program |
JP2019164671A (en) * | 2018-03-20 | 2019-09-26 | 東京電力ホールディングス株式会社 | Instance analysis support system, method and program |
JP7192228B2 (en) | 2018-03-20 | 2022-12-20 | 東京電力ホールディングス株式会社 | CASE ANALYSIS SUPPORT SYSTEM, CASE ANALYSIS SUPPORT METHOD AND PROGRAM |
Also Published As
Publication number | Publication date |
---|---|
JP5609660B2 (en) | 2014-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108701428B (en) | Welding training system for synchronizing welding data for presentation | |
US11127211B2 (en) | Plant management system, plant management method, plant management apparatus, and plant management program | |
TW201725462A (en) | Work assistance device, work learning device, and work assistance system | |
JP6105180B1 (en) | Work support device, work support method and program | |
JP2008275391A (en) | Position attitude measurement device and method | |
JP6841608B2 (en) | Behavior detection system | |
JP6521923B2 (en) | Work support apparatus and work support method | |
JP6295837B2 (en) | Work analysis system, work analysis method, and work analysis program | |
WO2021131552A1 (en) | Operation analyzing device and operation analyzing method | |
JP5609660B2 (en) | Workflow management device, workflow management method, and computer program | |
JP2019079144A (en) | Work support system, imaging device, wearable device, and work support method | |
RU2019124093A (en) | AUTOMATED OBSERVATION AND VERIFICATION OF THE ASSEMBLY PROCESS | |
JP6270488B2 (en) | Operator monitoring control device and operator monitoring control method | |
WO2020003547A1 (en) | Content presentation system and content presentation method | |
US20210118234A1 (en) | Quantitative quality assurance for mixed reality | |
JP6206405B2 (en) | Information processing apparatus, information processing method, program, and surveillance camera system | |
KR20230133831A (en) | Device, method and program that automatically designs equipment lines within BIM design data | |
JP2020144776A (en) | Work support system, work support device, and work support method | |
WO2022046227A1 (en) | Mixed reality image capture and smart inspection | |
EP3059700A1 (en) | Manager, management system, management method, and non-transitory computer readable storage medium | |
WO2022032688A1 (en) | Method for remote assistance and device | |
JP2016170603A (en) | Moving body tracking device | |
JP7004131B2 (en) | Management system, management method and management program | |
US20210129318A1 (en) | Annotation device | |
KR102103464B1 (en) | System and method for restoring facility design data, and a recording medium having computer readable program for executing the method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130212 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131210 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140205 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20140318 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140610 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20140618 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140805 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140818 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5609660 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |