JP2020204819A - 情報処理装置、情報処理方法、情報処理プログラム、および記録媒体 - Google Patents

情報処理装置、情報処理方法、情報処理プログラム、および記録媒体 Download PDF

Info

Publication number
JP2020204819A
JP2020204819A JP2019111038A JP2019111038A JP2020204819A JP 2020204819 A JP2020204819 A JP 2020204819A JP 2019111038 A JP2019111038 A JP 2019111038A JP 2019111038 A JP2019111038 A JP 2019111038A JP 2020204819 A JP2020204819 A JP 2020204819A
Authority
JP
Japan
Prior art keywords
work
worker
information processing
work process
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019111038A
Other languages
English (en)
Other versions
JP7272128B2 (ja
Inventor
慎也 藤本
Shinya Fujimoto
慎也 藤本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2019111038A priority Critical patent/JP7272128B2/ja
Priority to CN202080033138.5A priority patent/CN113767407A/zh
Priority to PCT/JP2020/007816 priority patent/WO2020250498A1/ja
Priority to US17/609,789 priority patent/US20220230440A1/en
Priority to KR1020217037872A priority patent/KR20220004823A/ko
Priority to EP20822361.0A priority patent/EP3985583A4/en
Publication of JP2020204819A publication Critical patent/JP2020204819A/ja
Application granted granted Critical
Publication of JP7272128B2 publication Critical patent/JP7272128B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0633Workflow analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/418Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0631Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311Scheduling, planning or task assignment for a person or group
    • G06Q10/063114Status monitoring or status determination for a person or group
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • G06Q10/103Workflow collaboration or project management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/31From computer integrated manufacturing till monitoring
    • G05B2219/31449Monitor workflow, to optimize business, industrial processes
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/31From computer integrated manufacturing till monitoring
    • G05B2219/31467Display of operating conditions of machines, workcells, selected programs
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/32Operator till task planning
    • G05B2219/32015Optimize, process management, optimize production line
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Abstract

【課題】実現コストを抑えつつ、作業工程の実施に用いられる機器の実際の動作と作業者の行った作業との対応関係を把握する。【解決手段】情報処理装置(10)は、1台の天井カメラ(30)が作業現場WSの全体を撮像した基礎撮像データ(BI)と、PLC(20)から取得した工程情報とを対応付ける。【選択図】図1

Description

本発明は、複数の作業工程の実施状況を撮影した撮像データから、作業工程の改善等に利用可能なデータを生成する情報処理装置等に関する。
従来、工場等の生産現場における作業工程の実施状況を撮像した撮像データを、当該作業工程の改善等に利用する試みが知られている。例えば、下掲の特許文献1には、作業現場に配置された複数のカメラで撮影した作業映像データを解析して、作業者が実際に作業を行うことのできた時間である実作業時間を検出し、検出した実作業時間を用いてボトルネックとなっている作業工程を特定する技術が開示されている。
特開2019−23803号公報
しかしながら、上述のような従来技術には、作業者による作業の状況を監視するための複数のカメラを必要としているため、既存の生産現場等に実際に適用する際の導入コストが大きくなるという問題がある。
本発明の一態様は、前記の問題点に鑑みてなされたものであり、実現コストを抑えつつ、作業工程の実施に用いられる機器の実際の動作と作業者の行った作業との対応関係を把握することを目的としている。
上記の課題を解決するために、本発明の一態様に係る情報処理装置は、各々が複数の作業工程の各々に対応付けられている、複数の監視領域を含む作業現場全体を、1台の広域撮像カメラで撮像した撮像データを取得する第1取得部と、前記第1取得部により取得された前記撮像データに対する画像解析により、前記複数の監視領域の各々について、作業者が存在しているかを判定する作業者判定部と、前記複数の作業工程の各々の実施に用いられる機器が実行した動作の内容および結果を示す動作結果から生成された工程情報を取得する第2取得部と、前記第2取得部により取得された前記工程情報を用いて、前記機器が動作しているかを判定する機器判定部と、前記複数の作業工程の各々について、(A)前記機器判定部により、前記作業工程の実施に用いられた前記機器が動作していると判定された時間帯と、(B)前記作業者判定部により、前記作業工程に対応付けられている前記監視領域に前記作業者が存在していると判定された時間帯と、を対応付けたデータを生成する生成部と、を備えている。
前記の構成によれば、前記情報処理装置は、前記1台の広域撮像カメラで撮像した撮像データから、作業工程に対応付けられた監視領域に作業者が存在しているかを判定し、また、前記工程情報から、前記作業工程の実施に用いられる機器が動作しているかを判定する。そして、前記情報処理装置は、作業工程ごとに、前記機器が動作していると判定した時間帯と、前記作業工程に対応付けられている前記監視領域に作業者が存在していると判定した時間帯と、を対応付けたデータを生成する。
つまり、前記情報処理装置は、1台の広域撮像カメラで作業現場全体を撮像した撮像データに対する画像解析により、作業工程ごとの「機器が動作している時間帯と、作業者が監視領域に存在している時間帯との対応関係」を示すデータを生成する。
したがって、前記情報処理装置は、作業現場全体を撮像可能な1台の広域撮像カメラを利用することにより、実現コストを抑えつつ、作業工程に用いられる機器の実際の動作と作業者との対応関係を把握することができるとの効果を奏する。
本発明の一態様に係る情報処理装置は、前記作業者判定部により前記作業工程に対応付けられている前記監視領域に前記作業者が存在していると判定された時間帯において、前記作業者が行った作業の内容を、前記作業工程の実施に用いられた前記機器の動作結果を用いて、推定する推定部をさらに備えていてもよい。
前記の構成によれば、前記情報処理装置は、前記作業工程に対応付けられている前記監視領域に前記作業者が存在していると判定した時間帯において、前記作業者が行った作業の内容を、前記作業工程の実施に用いられた前記機器の動作結果を用いて推定する。
したがって、前記情報処理装置は、前記作業工程ごとに、前記機器の動作結果を用いて、前記作業工程に対応付けられている前記監視領域に存在する前記作業者が行った作業の内容を、推定することができるとの効果を奏する。
本発明の一態様に係る情報処理装置は、前記機器判定部により前記作業工程の実施に用いられた前記機器が動作していると判定された時間帯を示すガントチャートと、前記作業者判定部により前記作業工程に対応付けられている前記監視領域に前記作業者が存在していると判定された時間帯を示すガントチャートと、を並列させて表示可能なデータを生成する表示制御部をさらに備えていてもよい。
前記の構成によれば、前記情報処理装置は、前記作業工程ごとに、前記機器が動作していると判定した時間帯を示すガントチャートと、前記監視領域に前記作業者が存在していると判定した時間帯を示すガントチャートと、を並列させて表示可能なデータを生成する。
したがって、前記情報処理装置は、前記作業工程ごとに、前記機器の動作時間と、前記作業者が前記監視領域に存在している時間と、の対応関係を、一見して把握可能な形式で管理者等に表示することができるとの効果を奏する。
本発明の一態様に係る情報処理装置は、前記撮像データに対して、前記監視領域を撮像した領域として画像解析の対象とする解析対象領域を、ユーザ操作に応じて設定する領域設定部をさらに備えていてもよい。
前記の構成によれば、前記情報処理装置は、前記撮像データに対して、前記解析対象領域を、ユーザ操作に応じて設定する。したがって、前記情報処理装置は、ユーザ操作に応じて、前記撮像データに対して前記解析対象領域を設定することができるとの効果を奏する。
上記の課題を解決するために、本発明の一態様に係る情報処理装置の制御方法は、各々が複数の作業工程の各々に対応付けられている、複数の監視領域を含む作業現場全体を、1台の広域撮像カメラで撮像した撮像データを取得する第1取得ステップと、前記第1取得ステップにて取得された前記撮像データに対する画像解析により、前記複数の監視領域の各々について、作業者が存在しているかを判定する作業者判定ステップと、前記複数の作業工程の各々の実施に用いられる機器が実行した動作の内容および結果を示す動作結果から生成された工程情報を取得する第2取得ステップと、前記第2取得ステップにて取得された前記工程情報を用いて、前記機器が動作しているかを判定する機器判定ステップと、前記複数の作業工程の各々について、(A)前記機器判定ステップにて、前記作業工程の実施に用いられた前記機器が動作していると判定された時間帯と、(B)前記作業者判定ステップにて、前記作業工程に対応付けられている前記監視領域に前記作業者が存在していると判定された時間帯と、を対応付けたデータを生成する生成ステップと、含んでいる。
前記の構成によれば、前記情報処理方法は、前記1台の広域撮像カメラで撮像した撮像データから、作業工程に対応付けられた監視領域に作業者が存在しているかを判定し、また、前記工程情報から、前記作業工程の実施に用いられる機器が動作しているかを判定する。そして、前記情報処理方法は、作業工程ごとに、前記機器が動作していると判定した時間帯と、前記作業工程に対応付けられている前記監視領域に作業者が存在していると判定した時間帯と、を対応付けたデータを生成する。
つまり、前記情報処理方法は、1台の広域撮像カメラで作業現場全体を撮像した撮像データに対する画像解析により、作業工程ごとの「機器が動作している時間帯と、作業者が監視領域に存在している時間帯との対応関係」を示すデータを生成する。
したがって、前記情報処理方法は、作業現場全体を撮像可能な1台の広域撮像カメラを利用することにより、実現コストを抑えつつ、作業工程に用いられる機器の実際の動作と作業者との対応関係を把握することができるとの効果を奏する。
本発明の一態様によれば、実現コストを抑えつつ、作業工程の実施に用いられる機器の実際の動作と作業者の行った作業との対応関係を把握することができるという効果を奏する。
本発明の実施形態1に係る情報処理装置等の要部構成を示すブロック図である。 図1の情報処理装置を含む制御システム等の全体概要を示す図である。 図1の情報処理装置が取得する基礎撮像データのイメージを示す図である。 図1の情報処理装置が実行する処理の概要を説明するフロー図である。 図1の情報処理装置が基礎撮像データ(画像)を用いて、作業者と監視領域とを特定する方法を示す図である。 作業工程ごとの、機器の動作期間と作業者の滞在期間との対応関係を示す情報の一例を示す図である。 複数の作業工程について、機器の動作期間と作業者の滞在期間との対応関係を一覧形式で示す画面例である。 複数の作業工程の実施順序に対応させて、複数の監視領域が配置されている作業現場の一例を示す図である。 作業現場における作業者の移動経過を示す情報の一例を示す図である。
〔実施形態1〕
以下、本発明の一側面に係る実施の形態(以下、「本実施形態」とも表記する)を、図1から図9に基づいて説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰返さない。本実施の形態においては、例えば情報処理装置10を情報処理装置の典型例として説明を行う。本発明の一態様に係る情報処理装置10についての理解を容易にするため、先ず、情報処理装置10を含む制御システム1等の概要を、図2を用いて説明する。以下の説明において、「n」は「1以上の整数」を示し、「m」は「1以上、n以下の整数」を示すものとする。
§1.適用例
(作業現場および作業工程について)
図2は、情報処理装置10を含む制御システム1等の全体概要を示す図である。図2に示す天井カメラ30は、作業現場WSの天井に設置され、作業現場WSの全体を撮像した撮像データである基礎撮像データBIを生成する。
作業現場WSは工場等の生産現場であり、作業現場WSにおいては、例えば、各種の製品が、複数の作業工程Pr(1)、Pr(2)、Pr(3)、・・・Pr(n)を経て生産される。作業現場WSにおいて実施される複数の作業工程Pr(1)、Pr(2)、Pr(3)、・・・Pr(n)の各々は、例えば、「塗装」工程、「主要ワークの組み立て」工程、「主要ワークの本体への組み込み」工程、「検査」工程である。
作業工程Prについて、複数の作業工程Prの各々を区別する必要がある場合には、符号に「(1)」、「(2)」、「(3)」、・・・、「(n)」等の添え字を付して区別する。例えば、「作業工程Pr(1)」、「作業工程Pr(2)」、「作業工程Pr(3)」、・・・、「作業工程Pr(n)」と記載して区別する。複数の作業工程Prの各々を特に区別する必要がない場合は単に「作業工程Pr」と称する。
(監視領域について)
作業現場WSは、複数の監視領域Ar(1)、Ar(2)、Ar(3)、・・・Ar(n)を含む。複数の監視領域Ar(1)、Ar(2)、Ar(3)、・・・Ar(n)の各々は、複数の作業工程Pr(1)、Pr(2)、Pr(3)、・・・Pr(n)の各々に対応付けられている。すなわち、監視領域Ar(m)は、作業工程Pr(m)の実施に係る作業Op(m)を、作業者Peが行う領域であり、例えば、機器40(m)が配置されている領域である。例えば、作業者Peは、監視領域Ar(m)において、作業工程Pr(m)に係る作業Op(m)を、機器40(m)を用いて行う。
作業工程Prと同様に、複数の監視領域Arの各々を区別する必要がある場合には、符号に「(1)」、「(2)」、「(3)」、・・・、「(n)」等の添え字を付して区別し、特に区別する必要がない場合は単に「監視領域Ar」と称する。
(基礎撮像データについて)
作業現場WSの天井には、広域撮像カメラである天井カメラ30が1台、設置される。ただし、天井カメラ30が作業現場WSの天井に設置されることは必須ではなく、天井カメラ30は、作業現場WSの全体を俯瞰できる位置に設置されればよい。天井カメラ30は、作業現場WSの全体を俯瞰し、作業現場WSの全体を撮像した撮像データである基礎撮像データBIを生成する。基礎撮像データBIには、各々が複数の監視領域Ar(1)、Ar(2)、Ar(3)、・・・Ar(n)に対応する複数の解析対象領域Aa(1)、Aa(2)、Aa(3)、・・・Aa(n)が予め設定されている。
監視領域Arと同様に、複数の解析対象領域Aaの各々を区別する必要がある場合には、符号に「(1)」、「(2)」、「(3)」、・・・、「(n)」等の添え字を付して区別し、特に区別する必要がない場合は単に「解析対象領域Aa」と称する。
解析対象領域Aaは、情報処理装置10による基礎撮像データBIに対する画像解析の対象領域である。基礎撮像データBIに解析対象領域Aaを設定することにより、監視領域Arの状況を認識するための、基礎撮像データBIに対する画像解析を効率的に実行することができる。ただし、基礎撮像データBIに解析対象領域Aaを設定することは、必須ではない。解析対象領域Aaは、ユーザ操作に応じて、情報処理装置10によって基礎撮像データBIに対して設定されてもよい。
(作業および作業者について)
複数の作業工程Pr(1)、Pr(2)、Pr(3)、・・・Pr(n)の各々の実施に際しては、作業者Peによって、複数の作業Op(1)、Op(2)、Op(3)、・・・Op(n)の各々が行われる。複数の作業工程Pr(1)、Pr(2)、Pr(3)、・・・Pr(n)の各々には、複数の標準的な作業Op(1)、Op(2)、Op(3)、・・・Op(n)の各々が、予め対応付けられている。ただし、作業者Peによって行われる作業Opの中には、「作業工程Prに予め対応付けられた標準的な作業Op」以外の作業Opもあり得、つまり、作業工程Prに予め対応付けることのできない、非標準的な作業Opもあり得る。複数の作業Opの各々を区別する必要がある場合には、符号に「(1)」、「(2)」、「(3)」、・・・、「(n)」等の添え字を付して区別し、特に区別する必要がない場合は単に「作業Op」と称する。
また、作業現場WSには、例えば作業工程Pr(m)の実施に係る作業Op(m)を実行する作業者Peが1人以上存在し、作業者Peは、例えば、作業者Peが被っている帽子の頭頂部などに付された作業者IDによって識別される。具体的には、作業現場WSに存在する作業者Pe(1)と作業者Pe(2)とは、作業者Pe(1)が被る帽子に付された作業者ID:Pe(1)と、作業者Pe(2)が被る帽子に付された作業者ID:Pe(2)とにより、各々が識別される。複数の作業者Peの各々を区別する必要がある場合には、符号に「(1)」、「(2)」、「(3)」、・・・、「(n)」等の添え字を付して区別し、特に区別する必要がない場合は単に「作業者Pe」と称する。
図3は、情報処理装置10が天井カメラ30から取得する基礎撮像データBIのイメージを示す図である。図3に示すように、情報処理装置10は基礎撮像データBIに対して画像解析を実行し、作業現場WSに作業者Peが存在するか否かを判定し、作業現場WSに作業者Peが存在すると判定すると、作業現場WSに存在する作業者Peの作業者IDを特定する。
(動作および機器について)
複数の作業工程Pr(1)、Pr(2)、Pr(3)、・・・Pr(n)の各々の実施に際しては、機器40によって、複数の動作Ac(1)、Ac(2)、Ac(3)、・・・Ac(n)の各々が実行される。つまり、複数の作業工程Pr(1)、Pr(2)、Pr(3)、・・・Pr(n)の各々には、複数の動作Ac(1)、Ac(2)、Ac(3)、・・・Ac(n)の各々が対応付けられている。複数の動作Acの各々を区別する必要がある場合には、符号に「(1)」、「(2)」、「(3)」、・・・、「(n)」等の添え字を付して区別し、特に区別する必要がない場合は単に「動作Ac」と称する。
また、複数の作業工程Prの各々の実施には複数の機器40の各々が用いられ、つまり、作業工程Prと機器40とは予め対応付けられている。例えば、作業工程Pr(m)の実施には1台以上の機器40(m)が用いられる。すなわち、作業工程Pr(1)の実施には1台以上の機器40(1)が用いられ、具体的には、機器40(1−1)、40(1−2)、および、40(1−3)の3台の機器40(1)が用いられてもよい。同様に、作業工程Pr(2)の実施には1台以上の機器40(2)が用いられ、作業工程Pr(3)の実施には1台以上の機器40(3)が用いられる。各々が複数の作業工程Prの各々に対応付けられる、複数の機器40を相互に区別する必要がある場合には、符号に「(1)」、「(2)」、「(3)」、・・・、「(n)」等の添え字を付して区別し、特に区別する必要がない場合は単に「機器40」と称する。
ここで、1台の機器40が、複数の作業工程Prの実施に用いられてもよい。このことは、変数「p」、「q」、「x」、「y」が各々「1以上の整数」を示し、「q」は「p」と異なり、また、「y」は「x」と異なるとして、以下のように言い換えることができる。すなわち、作業工程Pr(p)の実施に用いられる機器40(p−x)と、作業工程Pr(q)の実施に用いられる機器40(q−y)とは、同じ機器40であってもよい。
(マスタスレーブ制御システムについて)
作業現場WSにおいて複数の作業工程Prを実施するのに用いられる複数の機器40は、ラインコントローラとしてのPLC(Programmable Logic Controller)20により制御される。すなわち、PLC20をマスタとし、複数の機器40の各々をスレーブとするマスタスレーブ制御システムとしての制御システム1が構築され、複数の機器40の各々はネットワーク(制御ネットワーク50)を介してPLC20に通信可能に接続されている。PLC20は、制御ネットワーク50を介したデータ伝送を管理しているという意味で「マスタ」と呼ばれる。「マスタ」および「スレーブ」は、制御ネットワーク50上のデータ伝送の制御機能に着目して定義されるものであり、各装置間でどのような情報が送受信されるかについては、特に限定されない。
PLC20は、制御システム1全体を制御する制御装置(コントローラ)であり、複数の機器40の各々と通信可能に接続されている。PLC20は、入力デバイス(計測デバイス)としての複数の機器40の各々からの情報を入力データとして取得する。PLC20は、予め組み込まれたユーザプログラムに従って、取得した入力データを用いた演算処理を実行する。PLC20は、前記演算処理を実行して、制御システム1に対する制御内容を決定し、例えば、アクチュエータなどの出力デバイスとしての複数の機器40の各々への制御内容を決定し、その制御内容に対応する制御データを、複数の機器40の各々へと出力する。PLC20は、複数の機器40の各々からの入力データの取得と、複数の機器40の各々への制御データの取得とを、所定の周期(制御周期)で繰り返し実行する。PLC20には、例えば、不図示の表示部および操作部が接続されてもよい。表示部は、画像を表示可能な液晶パネル等で構成され、また、操作部は、典型的には、タッチパネル、キーボード、マウス等で構成される。
機器40は、PLC20をマスタとするマスタスレーブ制御システムとしての制御システム1におけるスレーブである。機器40は、所定の制御周期ごとに繰り返し入力データをPLC20へと送信する入力デバイスであり、または、所定の制御周期ごとに繰り返し制御データをPLC20から受信し、受信した制御データにしたがって動作する出力デバイスである。機器40は、例えば、入力データとして、PLC20に検知結果等を送信する入力デバイスとしてのセンサ(例えば、光電センサ)であってもよく、読み取り結果を送信するバーコードリーダであってもよく、検査結果を送信する検査機(テスター)であってもよい。また、機器40は、複数の入力デバイスが接続されたPT(Programmable Terminal)であってもよい。さらに、機器40は、ネジ締め、ピッキング等を実行する出力デバイスとしてのロボット等であってもよい。
制御ネットワーク50は、PLC20が受信し、またはPLC20が送信する各種データを伝送し、典型的には、各種の産業用イーサネット(登録商標)を用いることができ、フィールドネットワークと称されることもある。産業用イーサネット(登録商標)としては、たとえば、EtherCAT(登録商標)、Profinet IRT、MECHATROLINK(登録商標)−III、Powerlink、SERCOS(登録商標)−III、CIP Motionなどが知られており、これらのうちのいずれを採用してもよい。さらに、産業用イーサネット(登録商標)以外のフィールドネットワークを用いてもよい。たとえば、モーション制御を行わない場合であれば、DeviceNet、CompoNet/IP(登録商標)などを用いてもよい。
以下では、制御ネットワーク50上をデータフレームが順次転送されることで、PLC20(マスタ)と機器40(スレーブ)との間でデータが送受信される制御システム1について説明を行う。すなわち、制御ネットワーク50上をデータフレームが所定の制御周期で順次転送されることで、PLC20と機器40との間でデータが制御周期ごとに繰り返し送受信される。制御ネットワーク50上をデータフレームが順次転送されることで、複数の機器40の間で、つまり、複数のスレーブ間で、データが送受信されてもよい。
(工程情報について)
機器40をスレーブとするマスタスレーブ制御システムである制御システム1において、マスタであるPLC20は、例えば所定の制御周期ごとに繰り返し、スレーブである機器40から、機器40の実行した動作Acの内容および結果を示す動作結果Laを受信する。すなわち、機器40は、作業工程Prの実施に際して実際に実行した動作Acの内容および結果を示す動作結果Laを、所定の周期で繰り返し、PLC20へと送信する。例えば、機器40(m)は、作業工程Pr(m)の実施の際に実行した動作Ac(m)の内容および結果を示す動作結果La(m)を、制御周期で繰り返し、PLC20へと送信する。
PLC20は、例えば、入力デバイス(計測デバイス)としての機器40が実行した計測動作の結果である計測結果を、機器40の動作結果Laとして取得する。また、機器40が検査機である場合、PLC20は、機器40が実行した検査動作の結果を、例えば、「検査基準を満たした、または、満たさなかった」といった検査結果を、機器40の動作結果Laとして取得する。さらに、PLC20は、例えば、出力デバイスとしての機器40が実行した出力動作の結果を、機器40の動作結果Laとして取得する。機器40がネジ締め、ピッキング等を実行するロボットである場合、PLC20は、ネジ締め回数、ピッキング結果(ピッキングの成功またはピッキングエラー)等の動作結果Laを、機器40の動作結果Laとして取得する。
PLC20は、作業工程Prの実施に際して機器40が実際に実行した動作Acの内容および結果を示す動作結果Laを、機器40から所定の周期で繰り返し受信し、受信した動作結果Laを、工程情報として情報処理装置10へと送信する(つまり、転送する)。また、PLC20は、機器40から所定の周期で繰り返し受信した動作結果Laを用いて生成した情報を、工程情報として情報処理装置10へ送信する。
さらに、PLC20は、機器40から所定の周期で繰り返し受信した動作結果Laを、工程情報として、制御システム1の外部に送信してもよい。例えば、PLC20は、機器40から所定の周期で繰り返し受信した動作結果Laを、工程情報として、MES(Manufacturin g Execution System、製造実行システム)などに接続した、図2に示す社内LAN(Local Area Network)に送信してもよい。
以下では、PLC20から工程情報を受信した情報処理装置10が、工程情報に含まれる動作結果Laを用いて、機器40の実行した動作Acの動作期間Daを算出し、動作Acが「自動化された動作」であるかを判定する例を説明する。詳細は後述するが、以下に説明する例では、情報処理装置10は、工程情報から、特に、動作結果Laから、作業工程Prの実施に際し機器40が実行した動作Acの動作開始時刻Tms、動作完了時刻Tme、動作期間Daを算出する。また、情報処理装置10は、工程情報から、特に、動作結果Laから、作業工程Prの実施に際し機器40が実行した動作Acが「自動化された動作」であるか否かを判定する。工程情報(特に、動作結果La)を用いて、作業工程Prの実施に際し機器40が実行した動作Acの動作期間Daを算出し、また、動作Acが「自動化された動作」であるか否かを判定することを、以下では「機器判定処理」とも称する。以下の説明においては、PLC20から工程情報を受信した情報処理装置10が、「機器判定処理」を実行する例を説明する。
しかしながら、「機器判定処理」は、PLC20が実行してもよく、PLC20は、「機器判定処理」の結果を、工程情報に含めて、または、工程情報に代えて、情報処理装置10へと送信してもよい。
上述の説明において、動作開始時刻Tmsとは、作業工程Prに用いられる機器40が、作業工程Prの実施に際して、動作Acの実行を開始した時点であり、動作完了時刻Tmeとは、動作Acの実行を完了した時点である。動作期間Daは、動作開始時刻Tmsから動作完了時刻Tmeまでの期間である。
(マスタスレーブ制御システム以外のシステムおよび装置について)
図2に示すように、マスタスレーブ制御システムとしての制御システム1には、社内LANシステムが接続されていてもよい。社内LANは、MESとも称される工程情報DB(Database)等に接続している。工程情報DBには、「作業工程Prの実施に用いられる機器40が実行すべき標準的な動作」を示す情報が格納されている。
図2には示されていないが、情報処理装置10は、例えば、社内LAN等を介して、工程情報DBに接続されてもよく、情報処理装置10は、工程情報DBから、「作業工程Prの実施に用いられる機器40が実行すべき標準的な動作」を示す情報を取得してもよい。情報処理装置10は、工程情報DBから取得した情報を「機器判定処理」の実行に利用してもよい。しかしながら、情報処理装置10にとって、社内LANに接続していることも、工程情報DBに接続していることも、必須ではない。
また、図2に示す例では、MESとしての工程情報DBに、作業現場WSにおいて発生した各種のイベントを監視し、管理するイベント管理装置60が、社内LANを介して接続している。ただし、イベント管理装置60が社内LANを介して工程情報DBに接続していることは必須ではなく、イベント管理装置60は設けなくてもよい。さらに、工程情報DBには、社内LANを介して、PLC20が接続している。PLC20は、社内LANを介して、機器40から取得した動作結果La等を、工程情報DBに送信してもよい。社内LANには、MESに加えて、不図示のERP(Enterprise Resources Planning)、WMS(Warehouse Management System)等が接続されていてもよい。
図2において、工程情報DBには、制御ネットワーク50とも社内LANとも異なる「他ネットワーク」を介して、動画保存サーバ等が接続されている。動画保存サーバ等には、他ネットワークを介して情報処理装置10が接続されており、情報処理装置10から送信された部分撮像データODおよび対応付け情報Miなどが動画保存サーバ等に格納される。部分撮像データODは、天井カメラ30が作業現場WSの全体を撮像して生成した基礎撮像データBIを、情報処理装置10が所定の基準にしたがって抽出した撮像データである。また、詳細は後述するが、対応付け情報Miは、作業工程Prごとに、作業工程Prに対応する監視領域Arに存在した作業者Peの滞在期間Doと、作業工程Prに対応する動作Acを機器40が実行していた期間である動作期間Daとの対応関係を示す情報である。
動画保存サーバ等にはさらに、PC(Personal Computer)等によって実現される外部装置70が接続されており、外部装置70は、例えば、部分撮像データODおよび対応付け情報Miなどを表示し、工程情報等の可視化を実行する。すなわち、外部装置70は、作業工程Prの改善に必要な情報を一覧表示し、ボトルネックとなっている作業工程Pr、作業工程Prに発生したエラーの日時等を示す情報を、対応する部分撮像データODと対応付けて表示する。外部装置70が表示する対応付け情報Miについて、詳細は、図6、図7、および、図9を用いて説明する。
天井カメラ30は、前述の通り、作業現場WSの全体を撮像して基礎撮像データBIを生成し、生成した基礎撮像データBIを、例えば例えばUSB(Universal Serial Bus)ケーブルである通信ケーブルを介して、情報処理装置10へと送信する。
情報処理装置10は、例えば、PC等によって実現され、PLC20から取得する工程情報と、天井カメラ30から取得する基礎撮像データBIとを組み合わせて、両者の効率的な利用を可能とする情報処理装置である。情報処理装置10は、「作業現場WSにおける複数の機器40の実際の動作Acの内容および結果を示す動作結果La」を含む工程情報を、基礎撮像データBIと組み合わせることによって可視化する装置ともいえる。
従来の技術は、「作業現場WSにおける作業者Peの行った作業Op」を撮像した撮像データに対して画像解析を行うことはあっても、作業現場WSにおける複数の機器40の工程情報と対応付けることがなく、画像解析による作業Opに関する推定の精度が低い。また、複数の作業工程Prの各々にセンサを配置して機器40の工程情報を可視化する従来技術は、作業工程Prのボトルネックは可視化できるが、作業者Peの行った作業Opと関連付けてボトルネックの原因を把握することが困難である。さらに、「作業現場WSにおける作業者Peの行った作業Op」を撮像した撮像データと、機器40の工程情報とを、マスタスレーブ制御システムよりも上位のシステムで対応付ける場合、そのような上位システムは非常に大掛かりになり、実現が容易ではない。
これに対して、情報処理装置10は、作業工程Prの実施に用いられる機器40の動作Acの内容および結果を示す動作結果Laを含む工程情報をPLC20から取得し、取得した工程情報を、1台の天井カメラ30から取得する基礎撮像データBIと組み合わせる。情報処理装置10は、複数の機器40の各々の動作Acの内容および結果を示す動作結果Laを含む工程情報と、作業現場WSの全体を撮像した基礎撮像データBIと組み合わせることで、複数の作業工程Prの各々に係る分析を、効率的かつ精緻に実行できる。
すなわち、情報処理装置10は、工程情報の可視化に加え、例えば、ボトルネックとなっている作業工程Prを抽出し、抽出した作業工程Prの実施状況を撮像した撮像データID(部分撮像データOD)と、抽出した作業工程Prの工程情報とを組み合わせる。したがって、ユーザは、例えば、ボトルネックとなっている作業工程Prについて、ボトルネックとなっている原因、不具合要因を特定するのが容易になり、作業工程Prの改善作業を効率的に行うことができるようになる。加えて、情報処理装置10は、不良発生時のトレイサビリティにも用いることができる。
また、情報処理装置10は、基礎撮像データBIと、複数の機器40の各々の工程情報とを組み合わせることにより、基礎撮像データBIに対する解析と工程情報に対する解析との両方の解析制度を向上させることができる。
ここで、情報処理装置10についての背景技術として挙げた特許文献1に記載されているような従来技術は、その実現に際しては、作業現場WSの全体に非常に高価な機器を導入する必要があった。これに対して、情報処理装置10は、作業現場WSで以前から用いられているPLC20と、作業現場WSの天井に1台設置する天井カメラ30とを利用するので、実現コストが少ない。また、情報処理装置10は、所望の作業工程Pr(つまり、所望の監視領域Ar)のみを撮像する天井カメラ30を利用してもよいし、情報処理装置10の利用する天井カメラ30を移設するのも容易である。
また、特許文献1の技術は、複数のカメラで撮影した作業映像データを解析することにより、作業者が作業を行うことのできなかった時間である作業不能時間を算出する。そして、特許文献1の技術は、作業者に作業手順を示す作業指示端末に対する作業者の操作に基づいて計測した見かけ上の作業時間から、作業映像データの解析により算出した作業不能時間を差し引くことで、実際に作業が可能であった実作業時間を算出する。つまり、特許文献1の技術は、作業工程Prの実施に用いられる機器40の実際の動作Acと作業者Peとの対応関係を把握するのに、作業工程Prの実施に用いられる機器40に対する、具体的には作業指示端末に対する、作業者Peの操作指示を必要とする。
これに対して、情報処理装置10は、工程情報を用いて、具体的には、機器40の動作結果Laを用いて、機器40が動作Acを開始した動作開始時刻Tms、および、動作Acを完了した動作完了時刻Tmeを特定する。つまり、情報処理装置10は、作業者Peに作業手順を示す作業指示端末に対する、作業者Peの操作作業を必要とせずに、機器40の動作開始時刻Tmsおよび動作完了時刻Tmeを特定する。
具体的には、情報処理装置10は、マスタであるPLC20とスレーブである機器40とを接続する制御ネットワーク50を介して、PLC20と通信可能に接続されている。情報処理装置10は、PLC20から、「作業工程Prの実施に用いられる機器40が実行した実際の動作Ac」の内容および結果を示す動作結果Laを含む工程情報を受信する。ここで、情報処理装置10は、PLC20と、制御ネットワーク50を介して通信可能に接続されている必要があるが、情報処理装置10は、「PLC20をマスタとし、機器40をスレーブとするマスタスレーブ制御システム」におけるスレーブでなくともよい。
また、情報処理装置10は、例えばUSB(Universal Serial Bus)ケーブルを介して、天井カメラ30と通信可能に接続されている。情報処理装置10は、天井カメラ30から、作業現場WSの全体が撮像された基礎撮像データBIを取得する。
さらに、情報処理装置10は、工程情報DBから、「作業工程Prの実施に用いられる機器40が実行すべき標準的な動作」を示す動作基準Saを取得してもよい。そして、情報処理装置10は、取得した動作基準Saを用いて、「機器判定処理」の実行に利用してもよい。また、情報処理装置10は、取得した動作基準Saを用いて、基礎撮像データBIから、所望の部分撮像データODを抽出してもよい。
したがって、情報処理装置10は、MESなどに接続する社内LANには基礎撮像データBIを送信しないため、社内LANにおける通信を、巨大なデータ量を有する基礎撮像データBIの送信によって圧迫することがない。また、情報処理装置10は、1台の天井カメラ30から取得する基礎撮像データBIを、工程情報の効率的かつ精緻な解析に利用する。したがって、情報処理装置10は、実現コストを抑えつつ、ユーザが、作業工程Prの実施に用いられる機器40の実際の動作Acと作業者Peの行った作業Opとの対応関係を把握するのを可能とする。
§2.構成例
これまで、図2および図3を用いて、制御システム1等の概要を説明してきた。図1等を用いて情報処理装置10の詳細を説明していく前に、情報処理装置10についての理解を容易にするため、情報処理装置10の概要を以下のように整理しておく。
すなわち、情報処理装置10(情報処理装置)は、各々が複数の作業工程Prの各々に対応付けられている、複数の監視領域Arを含む作業現場WSの全体を、1台の天井カメラ30(広域撮像カメラ)で撮像した基礎撮像データBI(撮像データ)を取得する第1取得部110と、第1取得部110により取得された基礎撮像データBIに対する画像解析により、複数の監視領域Arの各々について、作業者Peが存在しているかを判定する作業者判定部120と、複数の作業工程Prの各々の実施に用いられる機器40が実行した動作Acの内容および結果を示す動作結果Laから生成された工程情報を取得する第2取得部140と、第2取得部により取得された工程情報を用いて、機器40が動作しているかを判定する機器判定部150と、複数の作業工程Prの各々について、(A)機器判定部150により、作業工程Prの実施に用いられる機器40が動作していると判定された時間帯(動作期間Da)と、(B)作業者判定部120により、作業工程Prに対応付けられている監視領域Arに作業者Peが存在していると判定された時間帯(滞在期間Do)と、を対応付けたデータ(対応付け情報Mi)を生成する生成部160と、を備えている。
前記の構成によれば、情報処理装置10は、1台の天井カメラ30で撮像した基礎撮像データBIから、作業工程Prに対応付けられた監視領域Arに作業者Peが存在しているかを判定する。また、情報処理装置10は、前記工程情報から、作業工程Prの実施に用いられる機器40が動作しているかを判定する。そして、情報処理装置10は、作業工程Prごとに、機器40が動作していると判定した時間帯である動作期間Daと、作業工程Prに対応付けられている監視領域Arに作業者Peが存在していると判定した時間帯である滞在期間Doと、を対応付けた対応付け情報Miを生成する。
つまり、情報処理装置10は、1台の天井カメラ30で作業現場WS全体を撮像した基礎撮像データBIに対する画像解析により、作業工程Prごとの「機器40が動作している動作期間Daと、作業者Peが監視領域Arに存在している滞在期間Doとの対応関係」を示す対応付け情報Miを生成する。
したがって、情報処理装置10は、作業現場WS全体を撮像可能な1台の天井カメラ30を利用することにより、実現コストを抑えつつ、作業工程Prに用いられる機器40の実際の動作と作業者Peとの対応関係を把握することができるとの効果を奏する。
情報処理装置10は、作業者判定部120により作業工程Prに対応付けられている監視領域Arに作業者Peが存在していると判定された滞在期間Doにおいて、作業者Peが行った作業Opの内容を、作業工程Prの実施に用いられる機器40の動作結果Laを用いて、推定する推定部180をさらに備えている。
前記の構成によれば、情報処理装置10は、作業工程Prに対応付けられている監視領域Arに作業者Peが存在していると判定した滞在期間Doにおいて、作業者Peが行った作業Opの内容を、作業工程Prの実施に用いられる機器40の動作結果Laを用いて推定する。
したがって、情報処理装置10は、作業工程Prごとに、機器40の動作結果Laを用いて、作業工程Prに対応付けられている監視領域Arに存在する作業者Peが行った作業Opの内容を、推定することができるとの効果を奏する。
情報処理装置10は、機器判定部150により作業工程Prの実施に用いられる機器40が動作していると判定された動作期間Daを示すガントチャートと、作業者判定部120により作業工程Prに対応付けられている監視領域Arに作業者Peが存在していると判定された滞在期間Doを示すガントチャートと、を並列させて表示可能なデータを生成する表示制御部170をさらに備えている。
前記の構成によれば、情報処理装置10は、作業工程Prごとに、機器40が動作していると判定した動作期間Daを示すガントチャートと、監視領域Arに作業者Peが存在していると判定した滞在期間Doを示すガントチャートと、を並列させて表示可能なデータを生成する。
したがって、情報処理装置10は、作業工程Prごとに、機器40の動作期間Daと、作業者Peが監視領域Arに存在している滞在期間Doとの対応関係を、一見して把握可能な形式で管理者等のユーザに表示することができるとの効果を奏する。
情報処理装置10は、基礎撮像データBIに対して、監視領域Arを撮像した領域として画像解析の対象とする解析対象領域Aaを、ユーザ操作に応じて設定する領域設定部190をさらに備えている。
前記の構成によれば、情報処理装置10は、基礎撮像データBIに対して、解析対象領域Aaを、ユーザ操作に応じて設定する。したがって、情報処理装置10は、ユーザ操作に応じて、基礎撮像データBIに対して解析対象領域Aaを設定することができるとの効果を奏する。
これまでに概要を説明した情報処理装置10について、次に、その構成の詳細について図1を参照しながら説明し、その後、情報処理装置10が実行する処理について、図4を参照しながら説明していく。
(情報処理装置の詳細)
図1は、制御システム1に含まれる、情報処理装置10等の要部構成を示すブロック図である。図1に示すように、情報処理装置10は、機能ブロックとして、第1取得部110と、作業者判定部120と、記憶部130と、第2取得部140と、機器判定部150と、生成部160と、表示制御部170と、推定部180と、領域設定部190とを備えている。情報処理装置10は、上述の各機能ブロックに加えて、基礎撮像データBIから抽出した部分撮像データODを、制御システム1の外部(例えば、図2に示す動画保存サーバ等)に送信する送信部などを備えていてもよい。しかしながら、記載の簡潔性を担保するため、本実施の形態に直接関係のない構成は、説明およびブロック図から省略している。ただし、実施の実情に則して、情報処理装置10は、当該省略された構成を備えてもよい。
第1取得部110、作業者判定部120、第2取得部140、機器判定部150、生成部160、表示制御部170、推定部180、および、領域設定部190は、例えば、CPU(central processing unit)等が、ROM(read only memory)、NVRAM(non-Volatile random access memory)等で実現された記憶装置(記憶部130)に記憶されているプログラムを不図示のRAM(random access memory)等に読み出して実行することで実現できる。以下に先ず、情報処理装置10における第1取得部110、作業者判定部120、第2取得部140、機器判定部150、生成部160、表示制御部170、推定部180、および、領域設定部190について説明する。
第1取得部110は、天井カメラ30から、天井カメラ30が作業現場WSの全体を撮像した撮像データである基礎撮像データBIを取得し、取得した基礎撮像データBIを、作業者判定部120へと出力する。
作業者判定部120は、基礎撮像データBIに対する画像解析によって、作業現場WSに作業者Peが存在するか否かを判定し、作業現場WSに作業者Peが存在すると判定すると、さらに、作業者Peが存在する監視領域Arを特定する。すなわち、作業者判定部120は、記憶部130の解析対象領域テーブル131を参照して、監視領域Arと解析対象領域Aaとの対応関係を把握する。そして、作業者判定部120は、解析対象領域Aa(m)が作業者Peの撮像データを含むことを確認すると、監視領域Arと解析対象領域Aaとの対応関係から、作業者Peが存在するのが監視領域Ar(m)であることを特定する。作業者判定部120は、監視領域Arごとに、何人の作業者Peが存在するかを特定してもよい。
また、作業者判定部120は、監視領域Arに存在する作業者Peの作業者IDを特定する。例えば、作業者判定部120は、監視領域Ar(m)に存在する作業者Pe(x)の作業者IDが、「作業者Pe(x)」であることを特定する。
作業者判定部120は、作業工程Prごとに、つまり、監視領域Arごとに、作業者Pe(x)の滞在期間Doを算出する。具体的には、作業者判定部120は、監視領域Ar(m)にそれまで存在していなかった作業者Pe(x)が、監視領域Ar(m)に存在するようになったのを確認した時点(=滞在開始時点Tos(m)(x))を特定する。作業者判定部120は、監視領域Ar(m)にそれまで存在していた作業者Pe(x)が、監視領域Ar(m)に存在しなくなったのを確認した時点(=滞在終了時点Toe(m)(x))を特定する。作業者判定部120は、作業工程Pr(m)について、つまり、監視領域Ar(m)について、滞在開始時点Tos(m)(x)から滞在終了時点Toe(m)(x)までの期間である、作業者Pe(x)の滞在期間Do(m)(x)を算出する。
作業者判定部120は、作業工程Prごとに、つまり、監視領域Arごとに、特定した(算出した)作業者Pe(x)の、滞在開始時点Tos(x)、滞在終了時点Toe(x)、および、滞在期間Do(x)を、生成部160に通知する。
作業者判定部120は、基礎撮像データBIに対する画像解析として、作業者Peの存在および動き等を精緻に把握することの可能な、動線解析を実行し、作業者Peの中心座標、作業者ID等を検出してもよい。
第2取得部140は、PLC20から工程情報を取得し、取得した工程情報を、機器判定部150へと出力する。工程情報は、「PLC20が機器40から取得した『機器40の動作結果La』」、および、「取得した『機器40の動作結果La』を用いてPLC20が生成した情報」である。すなわち、工程情報は動作結果Laを含み、動作結果Laは、作業工程Prの実施に際して機器40が実際に実行した動作Acの内容および結果を示す情報である。PLC20が、機器40の動作結果Laを用いて、機器40の実行した動作Acの動作期間Daの算出、および、動作Acが「自動化された動作」であるか否かの判定を実行する場合、工程情報は、動作期間Daおよび判定結果を示す情報を含んでいてもよい。
機器判定部150は、第2取得部140から取得した工程情報を用いて、特に、機器40の動作結果Laを用いて、「作業工程Prの実施に用いられる機器40が、動作Acの実行を開始した時刻」である動作開始時刻Tmsを特定する。また、機器判定部150は、第2取得部140から取得した工程情報を用いて、特に、機器40の動作結果Laを用いて、「作業工程Prの実施に用いられる機器40が、動作Acの実行を完了した時刻」である動作完了時刻Tmeを特定する。そして、機器判定部150は、例えば、動作Ac(m)について特定した動作開始時刻Tms(m)から動作完了時刻Tme(m)までの時間(期間)を、動作期間Da(m)として算出する。動作期間Da(m)は、「作業工程Pr(m)の実施に用いられる機器40(m)によって、動作Ac(m)が実行されている期間」である。機器判定部150は、作業工程Pr(m)に対応する動作Ac(m)について算出した動作期間Da(m)を、生成部160に通知する。つまり、機器判定部150は、作業工程Prごとに、作業工程Prに対応する動作Acの動作期間Da(つまり、作業工程Prの実施に際して機器40によって実際に実行された動作Acの動作期間Da)を、生成部160に通知する。
また、機器判定部150は、第2取得部140から取得した工程情報を用いて、特に、機器40の動作結果Laを用いて、「作業工程Prの実施に用いられる機器40が実行した動作Ac」が「自動化された動作」であるかを判定する。例えば、機器判定部150は、作業工程Pr(m)の実施に用いられる機器40(m)の動作結果La(m)を用いて、「作業工程Pr(m)の実施に際して機器40(m)が実行した動作Ac(m)」が「自動化された動作」であるかを判定する。機器判定部150は、動作Ac(m)が「自動化された動作」であるか否かの判定結果を、動作Ac(m)の動作内容を示す情報として、推定部180に通知する。
生成部160は、作業者判定部120から取得した「作業工程Prごとの、作業者Pe(x)の滞在期間Do(x)」と、機器判定部150から取得した「作業工程Prごとの、作業工程Prに対応する動作Acの動作期間Da」とを対応付けた情報を生成する。「作業工程Prごとの、作業者Pe(x)の滞在期間Do(x)」と、「作業工程Prごとの、作業工程Prに対応する動作Acの動作期間Da」とが対応付けられた情報は、「対応付け情報Mi」とも称する。
例えば、生成部160は、「作業工程Pr(m)(つまり、監視領域Ar(m))についての、作業者Pe(x)の滞在期間Do(m)(x)」と、「作業工程Pr(m)についての、動作Ac(m)の動作期間Da(m)」とを対応付けた対応付け情報Mi(m)を生成する。「対応付け情報Mi」においては、例えば、時間軸を共通として、「作業工程Pr(つまり、監視領域Ar)ごとの、作業者Pe(x)の滞在期間Do(x)」と、「作業工程Prごとの、作業工程Prに対応する動作Acの動作期間Da」とが対応付けられている。
生成部160は、生成した作業工程Prごとの対応付け情報Miを表示制御部170に通知し、例えば、作業工程Pr(m)の対応付け情報Mi(m)を表示制御部170に通知する。また、生成部160は、生成した作業工程Prごとの対応付け情報Miを表示制御部170に通知し、例えば、作業工程Pr(m)の対応付け情報Mi(m)を推定部180に通知する。
生成部160は、推定部180から通知された、「滞在期間Doにおいて作業者Peが行った作業Opの作業内容、および、作業Opが標準作業であるか否かの判定結果」を、作業工程Prごとに生成した対応付け情報Miに加えてもよい。生成部160は、「滞在期間Doにおいて作業者Peが行った作業Opの作業内容、および、作業Opが標準作業であるか否かの判定結果」を加えた、作業工程Prごとの対応付け情報Miを表示制御部170に通知してもよい。
表示制御部170は、生成部160によって生成された対応付け情報Mi等を、ユーザに対して表示可能なデータ形式に整える。表示制御部170は、ユーザに対して表示可能なデータ形式に整えた対応付け情報Mi等を、例えば、図2に示す動画保存サーバ等に送信する。表示制御部170は、生成部160から通知された、「作業Opの作業内容、および、作業Opが標準作業であるか否かの判定結果」を含む作業工程Prごとの対応付け情報Miを、ユーザに対して表示可能なデータ形式に整えてもよい。
推定部180は、生成部160から通知された、作業工程Prごとの対応付け情報Miを用いて、「滞在期間Doにおいて作業者Peが行った作業Op」の作業内容を推定し、「標準的な作業(標準作業)」であるかを判定する。特に、推定部180は、機器判定部150から通知された、「動作Ac(m)が『自動化された動作』であるか否か」の判定結果を用いて、「滞在期間Doにおいて作業者Peが行った作業Op」の作業内容を推定し、「標準的な作業(標準作業)」であるかを判定する。つまり、推定部180は、生成部160によって生成された対応付け情報Mi(m)と、「動作Ac(m)が『自動化された動作』であるか否か」の判定結果とを用いて、作業Opの作業内容を推定し、作業Opが「標準的な作業(標準作業)」であるかを判定する。推定部180は、作業Opについて推定した作業内容、および、作業Opが標準作業であるか否かの判定結果を、生成部160へと通知する。
領域設定部190は、ユーザ操作を受け付け、受け付けたユーザ操作に応じて、解析対象領域テーブル131に格納されている情報を更新する。
記憶部130は、情報処理装置10が使用する各種データを格納する記憶装置である。なお、記憶部130は、情報処理装置10が実行する(1)制御プログラム、(2)OSプログラム、(3)情報処理装置10が有する各種機能を実行するためのアプリケーションプログラム、および、(4)該アプリケーションプログラムを実行するときに読み出す各種データを非一時的に記憶してもよい。上記の(1)〜(4)のデータは、例えば、ROM(read only memory)、フラッシュメモリ、EPROM(Erasable Programmable ROM)、EEPROM(登録商標)(Electrically EPROM)、HDD(Hard Disc Drive)等の不揮発性記憶装置に記憶される。情報処理装置10は、図示しない一時記憶部を備えていてもよい。一時記憶部は、情報処理装置10が実行する各種処理の過程で、演算に使用するデータおよび演算結果等を一時的に記憶するいわゆるワーキングメモリであり、RAM(Random Access Memory)等の揮発性記憶装置で構成される。どのデータをどの記憶装置に記憶するのかについては、情報処理装置10の使用目的、利便性、コスト、または、物理的な制約等から適宜決定される。記憶部130はさらに、解析対象領域テーブル131を格納している。
解析対象領域テーブル131には、各々が複数の監視領域Arの各々に対応する、複数の解析対象領域Aaが格納されている。例えば、作業工程Pr(m)に対応する監視領域Ar(m)の状況を確認するための解析対象領域Aaが基礎撮像データBIについて設定されており、解析対象領域テーブル131には、作業工程Pr(m)に対応付けられた監視領域Ar(m)が格納されている。解析対象領域テーブル131に格納されている複数の解析対象領域Aaの各々は、領域設定部190によって、ユーザ操作に応じて更新される。
§3.動作例
図4は、情報処理装置10が実行する処理の概要を示すフロー図である。第2取得部140は、PLC20から、「作業工程Prの実施に際して機器40が実際に実行した動作Acの内容および結果を示す」動作結果Laを含む、工程情報を取得する(S110)。
機器判定部150は、第2取得部140から取得した工程情報を解析して(S120)、作業工程Prごとに、作業工程Prの実施に際して機器40によって実際に実行された動作Acを特定する(S130)。機器判定部150は、特定した動作Acについて、動作期間Daを算出し、また、「自動化された動作」であるか否かを判定する。機器判定部150は、算出した動作Acの動作期間Daを生成部160に通知し、また、動作Ac(m)が「自動化された動作」であるか否かの判定結果を、動作Ac(m)の動作内容を示す情報として、推定部180に通知する。
また、第1取得部110は、作業現場WSの天井に設置された1台の天井カメラ30から、作業現場WSの全体が撮像された基礎撮像データBIを取得する(S140)。作業者判定部120は、基礎撮像データBIに対する画像解析を実行し、例えば、動線解析を実行する(S150)。
作業者判定部120は、画像解析によって作業者Peが存在すると判定した監視領域Ar(m)に対応する作業工程Pr(m)を特定し(S160)、また、監視領域Ar(m)に存在する作業者Peの作業者IDを特定する(S170)。作業者判定部120は、さらに、作業現場WSに存在する作業者Peの人数を特定し、特に、解析対象領域Aaごとに、つまり、監視領域Arごとに、存在する作業者Peの人数を特定してもよい。作業者判定部120は、作業工程Prごとに、つまり、監視領域Arごとに、特定した(算出した)作業者Pe(x)の滞在期間Do(x)を、生成部160に通知する。
生成部160は、作業工程Prと動作Acと作業者Peとを対応付けた、対応付け情報Miを生成する(S180)。具体的には、生成部160は、作業者判定部120から取得した「作業工程Pr(m)(つまり、監視領域Ar(m))についての、作業者Pe(x)の滞在期間Do(m)(x)」と、機器判定部150から取得した「作業工程Pr(m)についての、動作Ac(m)の動作期間Da(m)」とを対応付けた対応付け情報Mi(m)を生成する。
生成部160は、S180で生成した「作業工程Pr(m)についての、作業者Pe(x)の滞在期間Do(m)(x)と、動作Ac(m)の動作期間Da(m)との対応付け情報Mi(m)」を、推定部180に通知する。
推定部180は、生成部160が生成した対応付け情報Mi(m)と、機器判定部150による「動作Ac(m)が『自動化された動作』であるか否か」の判定結果とから、滞在期間Do(m)において行われた作業Op(m)の作業内容を推定する(S190)。推定部180は、作業内容を推定した作業Op(m)について、標準作業であるか否かを判定し、例えば、ボトルネックとなっている作業工程Prを特定し(S200)、また、基礎撮像データBIにおける異常動線を特定する(S210)。すなわち、推定部180は、標準作業ではないと判定した作業Op(m)に対応する作業工程Pr(m)について、ボトルネックとなっている可能性があることをユーザに通知する。また、推定部180は、標準作業ではないと判定した作業Op(m)を行った作業者Peの動き(動線)は、作業Op(m)を行う際に見られる通常の動き(動線)とは異なっている(つまり、異常となっている)可能性があることをユーザに通知する。
(情報処理装置の実行する処理についての整理)
これまでに図4を参照しながら説明してきた情報処理装置10が実行する処理(言い換えれば、情報処理装置10が実行する制御方法)は、以下のように整理することができる。すなわち、情報処理装置10が実行する処理(制御方法)は、各々が複数の作業工程Prの各々に対応付けられている、複数の監視領域Arを含む作業現場WS全体を、1台の天井カメラ30(広域撮像カメラ)で撮像した基礎撮像データBIを取得する第1取得ステップ(S140)と、第1取得ステップにて取得された基礎撮像データBIに対する画像解析により、複数の監視領域Arの各々について、作業者Peが存在しているかを判定する作業者判定ステップ(S170)と、複数の作業工程Prの各々の実施に用いられる機器40が実行した動作Acの内容および結果を示す動作結果Laから生成された工程情報を取得する第2取得ステップ(S110)と、第2取得ステップにて取得された工程情報を用いて、機器40が動作しているかを判定する機器判定ステップ(S130)と、複数の作業工程Prの各々について、(A)機器判定ステップにて、作業工程Prの実施に用いられる機器40が動作していると判定された時間帯(動作期間Da)と、(B)作業者判定ステップにて、作業工程Prに対応付けられている監視領域Arに作業者Peが存在していると判定された時間帯(滞在期間Do)と、を対応付けたデータ(対応付け情報Mi)を生成する生成ステップ(S180)と、含んでいる。
前記の構成によれば、前記情報処理方法は、1台の天井カメラ30で撮像した基礎撮像データBIから、作業工程Prに対応付けられた監視領域Arに作業者Peが存在しているかを判定する。また、前記情報処理方法は、工程情報から、作業工程Prの実施に用いられる機器40が動作しているかを判定する。そして、前記情報処理方法は、作業工程Prごとに、機器40が動作していると判定した動作期間Daと、作業工程Prに対応付けられている監視領域Arに作業者Peが存在していると判定した滞在期間Doと、を対応付けた対応付け情報Miを生成する。
つまり、前記情報処理方法は、1台の天井カメラ30で作業現場WS全体を撮像した基礎撮像データBIに対する画像解析により、作業工程Prごとの「機器40が動作している動作期間Daと、作業者Peが監視領域Arに存在している滞在期間Doとの対応関係」を示す対応付け情報Miを生成する。
したがって、前記情報処理方法は、作業現場WS全体を撮像可能な1台の天井カメラ30を利用することにより、実現コストを抑えつつ、作業工程Prに用いられる機器40の実際の動作と作業者Peとの対応関係を把握することができるとの効果を奏する。
(滞在期間の頻度の算出)
前述の通り、作業者判定部120は、解析対象領域Aaに対する画像解析によって、それ以前には作業者Peが存在していないと判定していた監視領域Arについて、作業者Peが存在すると判定するようになった時点を、滞在開始時点Tosとして特定する。また、作業者判定部120は、解析対象領域Aaに対する画像解析によって、それ以前には作業者Peが存在していると判定していた監視領域Arについて、作業者Peが存在していないと判定するようになった時点を、滞在終了時点Toeとして特定する。
作業者判定部120は、作業工程Pr(m)に対応付けられている監視領域Ar(m)について、滞在開始時点Tos(m)から滞在終了時点Toe(m)までの時間を、作業者Peが存在していた時間として特定する。
ここで、作業者判定部120は、作業工程Prごと(つまり、監視領域Arごと)の滞在期間Doの特定(計測)に加えて、さらに、作業工程Prごと(つまり、監視領域Arごと)の滞在期間Doの頻度を算出してもよい。
作業者判定部120は、監視領域Ar(m)について、滞在開始時点Tos(m)から滞在終了時点Toe(m)までの時間を、「1回の滞在期間Do(m)」として把握する。「監視領域Ar(m)にそれまで存在していなかった作業者Pe(1)が、監視領域Ar(m)に存在するのを確認した時点(=滞在開始時点Tos(m)(1))」から、「監視領域Ar(m)にそれまで存在していた作業者Pe(1)が、監視領域Ar(m)に存在しなくなったのを確認した時点(=滞在終了時点Toe(m)(1))」までの時間が、「1回の滞在期間Do(m)(1)」である。
作業者判定部120は、「x+y+・・・+z=n」として、作業者Pe(1)の「n」回の滞在期間Do(m)(1)について、所定の時間間隔ごとに、或る時間間隔の滞在期間Do(m)(1)が、「n」回のうち何回あったのかを算出してもよい。例えば、作業者判定部120は、「n」回の滞在期間Do(m)(1)のうち、0分から4分の滞在期間Do(m)(1)が「x」回あったのを確認する。また、作業者判定部120は、5分から9分の滞在期間Do(m)(1)が「y」回あったのを確認する。同様に、「p」を「1」以上の整数として、作業者判定部120は、「5(p−1)」分から「5p−1」分の滞在期間Do(m)(1)が「z」回であったのを確認する。
そして、作業者判定部120は、作業者Pe(1)の「n」回の滞在期間Do(m)(1)について、0分から4分の滞在期間Do(m)(1)の頻度、5分から9分の滞在期間Do(m)(1)の頻度、・・・、「5(p−1)」分から「5p−1」分の滞在期間Do(m)(1)の頻度を算出してもよい。
作業者判定部120は、「n」回の滞在期間Do(m)について、所定の基準よりも低い頻度の滞在期間Do(m)を「非標準的」な滞在期間Do(m)として抽出してもよく、抽出した「非標準的」な滞在期間Do(m)を、推定部180に通知してもよい。推定部180は、作業者判定部120によって抽出された「非標準的」な滞在期間Doについて、「『非標準的』な滞在期間Doにおいて作業者Peが行った作業Opは、『標準作業』ではない(非標準作業である)」と判定してもよい。
(作業の推定および判定についての詳細)
前述の通り、推定部180は、生成部160の生成した、作業工程Prごとの対応付け情報Miを用いて、「滞在期間Doにおいて作業者Peが行った作業Op」の作業内容を推定し、「標準的な作業(標準作業)」であるかを判定する。特に、推定部180は、機器判定部150の生成した、「動作Ac(m)が『自動化された動作』であるか否か」の判定結果を用いて、「滞在期間Do(m)において作業者Peが行った作業Op(m)」の作業内容を推定し、「標準的な作業(標準作業)」であるかを判定する。
以下に、推定部180が実行する、「滞在期間Do(m)において作業者Peが行った作業Op(m)」についての作業内容の推定処理、および、標準作業であるか否かの判定処理の詳細を説明する。
(1.動作開始時点で行われる作業について)
「作業工程Pr(m)の実施に用いられる機器40(m)」が動作Ac(m)の実行を開始する前には、機器40(m)に動作Ac(m)を開始させるための、作業者Peによる機器40(m)への開始指示作業等が必要となるのが一般的である。つまり、機器40(m)が動作Ac(m)の実行を開始する動作開始時刻Tms(m)において、一般的には、作業工程Pr(m)に対応付けられている監視領域Ar(m)に作業者Peが存在している必要がある。
そこで、推定部180は、生成部160の生成した、作業工程Pr(m)の対応付け情報Mi(m)から、「動作開始時刻Tms(m)に、作業者Peが、監視領域Ar(m)に存在していた」のを確認すると、以下の推定および判定を実行する。すなわち、推定部180は、「動作開始時刻Tms(m)において作業者Peは、機器40(m)への、動作Ac(m)の開始指示作業等を実行した」と推定する。動作開始時刻Tms(m)に監視領域Ar(m)に存在した作業者Peが実行する作業Op(m)は、例えば、作業工程Pr(m)の実施のための準備作業、開始ボタン押下等の開始指示作業、機器40(m)がスムーズに動作Ac(m)を開始したかの確認作業などである。機器40(m)へのワークのセット等の投入作業は、作業工程Pr(m)の実施のための準備作業の一例である。これらの作業は、「作業工程Pr(m)の実施に用いられる機器40(m)が動作Ac(m)の実行を開始する時点の前後で、作業者Peによって行われる通常の作業」であり、「標準作業」とも称される。
つまり、推定部180は、作業者Peが監視領域Ar(m)に存在していた滞在期間Do(m)が動作開始時刻Tms(m)に重複するのを確認すると、「その滞在期間Do(m)中に作業者Peが行った作業Op(m)は、開始指示作業等である」と推定する。そして、推定部180は、「動作開始時刻Tms(m)に重複する滞在期間Do(m)中に作業者Peが行った開始指示作業等は、標準作業である」と判定する。
(2.動作完了時点で行われる作業について)
「作業工程Pr(m)の実施に用いられる機器40(m)」が動作Ac(m)の実行を完了した後には、機器40(m)に動作Ac(m)を完了させるための、作業者Peによる機器40(m)への完了指示作業等が必要となるのが一般的である。つまり、機器40(m)が動作Ac(m)の実行を完了する動作完了時刻Tme(m)において、一般的には、作業工程Pr(m)に対応付けられている監視領域Ar(m)に作業者Peが存在している必要がある。
そこで、推定部180は、生成部160の生成した、作業工程Pr(m)の対応付け情報Mi(m)から、「動作完了時刻Tme(m)に、作業者Peが、監視領域Ar(m)に存在していた」のを確認すると、以下の推定および判定を実行する。すなわち、推定部180は、「動作完了時刻Tme(m)において作業者Peは、機器40(m)への、動作Ac(m)の完了指示作業等を実行した」と推定する。動作完了時刻Tme(m)に監視領域Ar(m)に存在した作業者Peが実行する作業Op(m)は、例えば、終了ボタン押下等の完了指示作業、作業工程Pr(m)の完了後の事後作業、機器40(m)がスムーズに動作Ac(m)を完了したかの確認作業などである。作業工程Pr(m)が完了したワーク、つまり、作業工程Pr(m)の実施に用いられる機器40(m)による動作Ac(m)が完了したワークの回収作業は、作業工程Pr(m)の完了後の事後作業の一例である。これらの作業は、「作業工程Pr(m)の実施に用いられる機器40(m)が動作Ac(m)の実行を完了する時点の前後で、作業者Peによって行われる通常の作業」であり、「標準作業」とも称される。
つまり、推定部180は、作業者Peが監視領域Ar(m)に存在していた滞在期間Do(m)が動作完了時刻Tme(m)に重複するのを確認すると、「その滞在期間Do(m)中に作業者Peが行った作業Op(m)は、完了指示作業等である」と推定する。そして、推定部180は、「動作完了時刻Tme(m)に重複する滞在期間Do(m)中に作業者Peが行った完了指示作業等は、標準作業である」と判定する。
(3.動作が実行されていない時点で行われる作業について)
「作業工程Pr(m)の実施に用いられる機器40(m)」が動作Ac(m)の「p」回目の実行を完了した後、「p+1」回目の実行を開始する前までの間に、作業者Peが以下のように行動することが考えられる。すなわち、作業者Peが、監視領域Ar(m)に立ち寄り、「p+1」回目の実行開始のための段取り作業等を行い、その作業後に監視領域Ar(m)から一旦離れた後、暫くして監視領域Ar(m)に戻って、「p+1」回目の実行を開始させることが考えられる。
そこで、推定部180は、生成部160の生成した、作業工程Pr(m)の対応付け情報Mi(m)から、「p」回目の動作Ac(m)の動作完了時刻Tme(m)(p)から、「p+1」回目の動作Ac(m)の動作開始時刻Tms(m)(p+1)までの間に滞在期間Do(m)が存在するのを確認すると、以下の推定および判定を実行する。すなわち、推定部180は、「動作完了時刻Tme(m)(p)から動作開始時刻Tms(m)(p+1)までの間の滞在期間Do(m)において、作業者Peは段取り作業等を実行していた」と推定する。そして、段取り作業等は、「動作完了時刻Tme(m)(p)から動作開始時刻Tms(m)(p+1)までの間に作業者Peによって行われる通常の作業」であるから、推定部180は、「段取り作業等は、標準作業である」と判定する。
言い換えれば、推定部180は、機器40(m)の動作期間Da(m)に重複していない滞在期間Do(m)であって、滞在期間Do(m)の終了後、所定時間内に動作期間Da(m)が出現する滞在期間Do(m)について、以下の推定を実行する。すなわち、推定部180は、「そのような滞在期間Do(m)において作業者Peは段取り作業等を実行していた」と推定し、また、「そのような滞在期間Do(m)において作業者Peが行った作業Op(m)は標準作業である」と判定する。
(4.動作が実行されている間に行われる作業について)
推定部180は、「作業工程Pr(m)の実施に用いられる機器40(m)」が動作Ac(m)の実行中に、監視領域Ar(m)に存在した作業者Peの行った作業Op(m)について、その作業内容を推定し、標準作業であるか否かを判定する。特に、推定部180は、機器判定部150から通知された、「動作Ac(m)が『自動化された動作』であるか否か」の判定結果を用いて、「動作Ac(m)の動作期間Da(m)中に、監視領域Ar(m)に存在した」作業者Peの作業Op(m)の作業内容を推定し、標準作業であるか否かを判定する。
(4−1.自動化された動作か否かの判定結果の取得)
先ず、推定部180は、「作業工程Pr(m)の実施に際して機器40(m)が実行した動作Ac(m)が、『自動化された動作』であるか否か」の判定結果を、機器判定部150から取得する。
ここで、「自動化された動作」とは、作業工程Pr(m)の実施に際して機器40(m)によって実行される動作Ac(m)であって、以下のような性質を備える動作Ac(m)である。すなわち、「自動化された動作」とは、「機器40(m)による動作(m)の実行中に、つまり、動作期間Da(m)中に、作業者Peによる追加的な作業Op(m)を通常は必要としない」動作Ac(m)である。
例えば、「自動化された検査動作」は、自動検査機である機器40(m)が「自動化された検査動作」を開始してから、「自動化された検査動作」を完了させるまでの間、作業者Peによる追加的な作業Op(m)を通常は必要としない。つまり、「自動化された検査動作」は、実行開始から実行完了までの間に作業者Peによる追加的な作業Op(m)を通常は必要とせず、つまり、「自動化された検査動作」の動作期間Da(m)中の作業者Peによる追加的な作業Op(m)を通常は必要としない。したがって、「自動化された検査動作」は、「自動化された動作」である。
これに対して、「作業工程Pr(m)の実施に際して機器40(m)によって実行される動作Ac(m)」であって、「自動化された動作」ではない動作Ac(m)は、「非自動動作」または「手動動作」とも称され、つまり、「自動化されていない動作」である。「自動化されていない動作」とは、作業工程Pr(m)の実施に際して機器40(m)によって実行される動作Ac(m)であって、以下のような性質を備える動作Ac(m)である。すなわち、「自動化されていない動作」とは、「機器40(m)による動作(m)の実行中に、つまり、動作期間Da(m)中に、作業者Peによる追加的な作業Op(m)を必要とするのが通常である」動作Ac(m)である。
例えば、「組み立て補助動作」は、作業者Peによる組み立て作業Op(m)を補助する動作Ac(m)であり、機器40(m)が「組み立て補助動作」を開始してから、「組み立て補助動作」を完了させるまでの間、作業者Peによる組み立て作業Op(m)を必要とする。つまり、「組み立て補助動作」は、実行開始から実行完了までの間に作業者Peによる追加的な作業Op(m)を通常は必要とし、つまり、「組み立て補助動作」の動作期間Da(m)中の作業者Peによる追加的な作業Op(m)を通常は必要とする。したがって、「組み立て補助動作」は、「自動化されていない動作」である。
(4−2.自動化された動作の実行中に行われる作業について)
推定部180は、作業工程Pr(m)の実施に際して機器40(m)が実行した動作Ac(m)が、「自動化された動作」であると、動作期間Da(m)と滞在期間Do(m)とが所定の時間以上重複していないかを確認する。
前述の通り、「自動化された動作」である動作Ac(m)は、「動作期間Da(m)中に、作業者Peによる追加的な作業Op(m)を通常は必要としない」から、動作期間Da(m)と滞在期間Do(m)とは所定の時間以上重複しないのが通常である。
したがって、推定部180は、作業工程Pr(m)の対応付け情報Mi(m)において、動作期間Da(m)と滞在期間Do(m)とが所定の時間以上重複しているのを確認すると、「作業工程Pr(m)の実施に際して、通常ではない状況が発生した」と判定する。つまり、推定部180は、滞在期間Do(m)が、「自動化された動作」である動作Ac(m)の動作期間Da(m)に所定の時間以上重複しているのを確認すると、「その滞在期間Do(m)中に作業者Peが行った作業Op(m)は、非標準作業である」と判定する。
例えば、「自動化された動作」である動作Ac(m)の動作期間Da(m)に、所定の時間以上で、かつ、短時間の滞在期間Do(m)が重複していると、滞在期間Do(m)に作業者Peが行った作業Op(m)について、推定部180は以下の判定を行う。すなわち、推定部180は、「作業者Peは、機器40(m)のメンテナンス作業を行ったり、修理作業を行なったりしている」と推定し、「滞在期間Do(m)中に作業者Peが行った作業Op(m)は、非標準作業である」と判定する。
例えば、「自動化された動作」である動作Ac(m)の動作期間Da(m)に、所定の時間以上で、かつ、長時間の滞在期間Do(m)が重複していると、滞在期間Do(m)に作業者Peが行った作業Op(m)について、推定部180は以下の判定を行う。すなわち、推定部180は、「作業者Peは、『自動化された動作』である動作Ac(m)の完了まで、時間を無駄に消費している可能性がある」と推定し、「滞在期間Do(m)中に作業者Peが行った作業Op(m)は、非標準作業である」と判定する。
(4−3.自動化されていない動作の実行中に行われる作業について)
推定部180は、作業工程Pr(m)の実施に際して機器40(m)が実行した動作Ac(m)が、「自動化されていない動作」であると、動作Ac(m)の動作期間Da(m)が常に滞在期間Do(m)と重複しているかを確認する。
前述の通り、「自動化されていない動作」である動作Ac(m)は、「動作期間Da(m)中に、作業者Peによる追加的な作業Op(m)を通常は必要とする」から、動作期間Da(m)は常に滞在期間Do(m)と重複しているのが通常である。
したがって、推定部180は、作業工程Pr(m)の対応付け情報Mi(m)において、滞在期間Do(m)に重複していない動作期間Da(m)が存在しているのを確認すると、「滞在期間Do(m)に重複していない動作期間Da(m)において、通常ではない状況が発生した」と判定する。つまり、推定部180は、滞在期間Do(m)に重複していない動作期間Da(m)が存在しているのを確認すると、「その動作期間Da(m)の前後の滞在期間Do(m)中に作業者Peが行った作業Op(m)は、非標準作業である」と判定する。
例えば、「自動化されていない動作」である動作Ac(m)の、滞在期間Do(m)に重複していない動作期間Da(m)においては、本来は実行中のはずの動作Ac(m)が、何らかの原因で中断している可能性がある。
(5.作業の推定と判定についての整理)
これまでに説明してきたように、推定部180は、作業工程Pr(m)の対応付け情報Mi(m)を用いて、「滞在期間Do(m)において作業者Peがどのような作業Op(m)を実行したか」を推定する。そして、推定部180は、推定した作業Op(m)が、作業工程Pr(m)の実施に際して行う標準的な作業(標準作業)であるか否かを判定する。
すなわち、推定部180は、作業工程Pr(m)の対応付け情報Mi(m)を用いて、機器40(m)の動作開始時刻Tms(m)、動作完了時刻Tme(m)、および、動作期間Da(m)を特定する。そして、推定部180は、特定した動作開始時刻Tms、動作完了時刻Tme、および、動作期間Daの各々と滞在期間Doとが重複しているか否かを確認し、確認結果に基づいて、滞在期間Doにおいて作業者Peが行った作業Opの推定および判定を実行する。
また、推定部180は、動作期間Da(m)における機器40(m)の動作Ac(m)の内容を、具体的には、動作期間Da(m)において機器40(m)が実行した動作Ac(m)が「自動化された動作」であるのか否かの判定結果を、機器判定部150から取得する。そして、推定部180は、動作期間Daに所定の時間以上重複している滞在期間Doが存在したのを確認すると、その動作期間Daにおける機器40の動作Acの内容を用いて、その滞在期間Doにおいて作業者Peが行った作業Opの推定および判定を実行する。すなわち、推定部180は、動作Acの内容(動作Acが「自動化された動作」であるのか否かの判定結果)を用いて、「動作期間Daに所定の時間以上重複している滞在期間Do」における作業Opの作業内容を推定し、作業Opが標準作業であるかを判定する。
ここで、「滞在期間Doにおいて作業者Peが行った作業Op」について、上述までの推定方法、判定方法によっては、作業Opの内容を推定し、「標準作業」であるのか「非標準作業」であるのかを判定することができない作業Opも考えられる。推定部180は、上述までの判定方法では「標準作業」であるのか「非標準作業」であるのかを判定することができなかった作業Opを、「非標準作業」と判定してもよい。
(作業内容の推定および判定の具体例)
図5は、作業者判定部120が、基礎撮像データBIを用いて、作業者Peと監視領域Arとを特定する方法を示す図である。図5に示すように、作業者判定部120は、基礎撮像データBIに対する画像解析によって、複数の作業工程Prの各々に対応する、複数の監視領域Arの各々について、作業者Peが存在しているかを判定する。そして、作業者Peが存在していると判定した監視領域Arについて、その監視領域Arに存在する作業者Peの作業者IDを特定する。
図5に示す例において、作業者判定部120は、基礎撮像データBIに対する画像解析によって、特に、複数の解析対象領域Aaに対する画像解析によって、以下の判定を実行する。すなわち、作業者判定部120は、監視領域Ar(1)から監視領域Ar(5)のうち、監視領域Ar(2)および監視領域Ar(4)に作業者Peが存在していると判定する。作業者判定部120は、さらに、監視領域Ar(2)に存在する作業者Peの作業者IDが「作業者Pe(2)」であり、監視領域Ar(4)に存在する作業者Peの作業者IDが「作業者Pe(1)」であることを特定する。
図6は、生成部160が生成する、「作業工程Prごとに、動作期間Daと滞在期間Doとを対応付けた」対応付け情報Miの一例を示す図である。生成部160は、作業者判定部120から取得した「作業工程Pr(m)についての、作業者Pe(x)の滞在期間Do(m)(x)」と、機器判定部150から取得した「作業工程Pr(m)についての、動作Ac(m)の動作期間Da(m)」とを用いて、対応付け情報Mi(m)を生成する。図6に例示する対応付け情報Mi(m)において、「作業工程Pr(m)についての、作業者Peの滞在期間Do(m)」と、「作業工程Pr(m)についての、動作Ac(m)の動作期間Da(m)」とは、時間軸を共通として対応付けられている。
推定部180は、動作期間Da(m)に実行された動作Ac(m)が「自動化された動作」であるか否かを区別して、滞在期間Do(m)と動作期間Da(m)とを対応付けた情報を生成してもよい。前述の通り、動作Ac(m)が「自動化された動作」であるか否かを区別することにより、推定部180は、滞在期間Do(m)に作業者Peが行った作業Op(m)が「標準作業」であるのか否かを、より精緻に判定することができる。
図6の(A)は、動作Ac(m)が「自動化された動作」である場合に、「滞在期間Do(m)に作業者Peが行った作業Op(m)」について、推定部180が実行した推定の結果の一例を示している。
図6の(A)について、推定部180は、動作開始時刻Tms(m)に重複する滞在期間Do(m)において作業者Peが行った作業Op(m)は、開始指示作業等の「標準作業」であると判定する。推定部180は、動作完了時刻Tme(m)に重複する滞在期間Do(m)において作業者Peが行った作業Op(m)は、完了指示作業等の「標準作業」であると判定する。推定部180は、動作期間Da(m)に重複しない滞在期間Do(m)であって、滞在期間Do(m)の終了後、所定時間内に動作期間Da(m)が出現する滞在期間Do(m)に作業者Peが行った作業Opは、段取り作業等の「標準作業」であると判定する。
「自動化された動作」である動作Ac(m)の動作期間Da(m)に、所定の時間以上で、かつ、短時間の滞在期間Do(m)が重複していると、推定部180は、「作業Op(m)は、修理作業等の非標準作業である」と判定する。
「自動化された動作」である動作Ac(m)の動作期間Da(m)に、所定の時間以上で、かつ、長時間の滞在期間Do(m)が重複していると、推定部180は、「作業Op(m)は、検査待ち等の非標準作業である」と判定する。
図6の(B)は、動作Ac(m)が「自動化されていない動作(つまり、手動動作)」である場合に、「滞在期間Do(m)に作業者Peが行った作業Op(m)」について、推定部180が実行した推定の結果の一例を示している。推定部180は、動作開始時刻Tms(m)および動作完了時刻Tme(m)の少なくとも一方に重複する滞在期間Do(m)において作業者Peが行った作業Op(m)は、開始指示作業等または完了指示作業等の「標準作業」であると判定する。推定部180は、動作期間Da(m)に重複しない滞在期間Do(m)であって、滞在期間Do(m)の終了後、所定時間内に動作期間Da(m)が出現する滞在期間Do(m)に作業者Peが行った作業Opは、段取り作業等の「標準作業」であると判定する。
滞在期間Do(m)中に「自動化されていない動作」である動作Ac(m)の動作期間Da(m)の中断が発生しているのを確認すると、推定部180は、「滞在期間Do(m)に作業者Peが行った作業Opは、非標準作業である」と判定する。
図7は、複数の作業工程Prについて、動作期間Daと滞在期間Doとの対応関係を一覧形式で示した画面例を示している。情報処理装置10は、図7に例示するように、複数の作業工程Prについて、動作期間Daと滞在期間Doとの対応関係を、例えば外部の表示装置(図2の外部装置70等)に、一覧形式で表示させてもよい。複数の作業工程Prについて、動作期間Daと滞在期間Doとの対応関係を一覧形式で表示させることにより、情報処理装置10は、ユーザが、ボトルネックとなっている作業工程Prを発見し、改善を検討するのを容易にすることができる。
図8は、複数の作業工程Prの実施順序に対応させて、複数の監視領域Arが配置されている作業現場WSの一例を示す図である。生成部160または推定部180は、基礎撮像データBIに対する画像解析によって、特に、複数の作業工程Prに対応する、複数の解析対象領域Aaの各々に対する画像解析によって、作業現場WSにおける作業者Peの移動経過を示す情報を生成してもよい。このような作業者Peの移動経過を示す情報は、特に、複数の作業工程Prの実施順序に対応させて、複数の監視領域Arが配置されている作業現場WSについて、ボトルネックとなっている作業工程Prを発見し、改善を検討するのに有用である。
図9は、生成部160が基礎撮像データBIに対する画像解析によって生成した、作業現場WSにおける作業者Peの移動経過を示す情報の一例を示す図である。図9に例示するような、「作業現場WSにおける作業者Peの移動経過を示す情報」によって、ユーザは、例えば、以下に示すような検討を行うことができる。
すなわち、ユーザは、作業者Peが、監視領域Ar(6)から監視領域Ar(7)、監視領域Ar(7)から監視領域Ar(8)、監視領域Ar(8)から監視領域Ar(7)、監視領域Ar(7)から監視領域Ar(6)への移動を繰り返しているのを確認する。監視領域Ar(6)が作業工程Pr(6):検査工程に対応する場合、ユーザは、図9に例示する「作業現場WSにおける作業者Peの移動経過を示す情報」から、例えば、以下の事態を推定することができる。すなわち、検査工程等で発生した待ち時間等において、作業者Peが、検査工程における作業Op(6):検査作業と並行して、作業工程Pr(7)および作業工程Pr(8)における作業Op(7)および作業Op(8)を行っているとの事態を推定することができる。
また、ユーザは、「作業現場WSにおける作業者Peの移動経過を示す情報」から、図9に例示するように、例えば、同様の移動経過が繰り返し発生している場合、「1サイクル」を構成する、複数の作業工程Prを特定することができる。同様に、ユーザは、サイクル間における作業者Peの移動経過から、「(サイクルの)切り替え工程」を特定することができる。
§4.変形例
(情報処理装置とPLCとを一体とする)
これまで、図2に示すように、情報処理装置10とPLC20とが、制御ネットワーク50を介して、相互に通信可能に接続されている例を説明してきた。しかしながら、情報処理装置10とPLC20とを制御ネットワーク50を介して接続することは必須ではない。
例えば、情報処理装置10とPLC20とは、内部バスを介して、相互に通信可能に接続されていてもよく、情報処理装置10とPLC20とを一体としてもよい。すなわち、情報処理装置10とPLC20とを一体としたIPC(Industrial PC)として、情報処理装置10を構成してもよい。
(PLCによる工程情報の分析)
これまでの説明においては、工程情報に含まれる動作結果La(特に、動作Ac)に対する機器判定処理は、PLC20から工程情報を受信した情報処理装置10が実施していた。すなわち、これまでに説明してきた例では、情報処理装置10の備える機器判定部150が、動作結果Laから、動作Acの動作開始時刻Tms、動作完了時刻Tme、動作期間Daの算出、および、動作Acが「自動化された動作」であるか否かの判定を実行した。
しかしながら、工程情報に含まれる動作結果La(特に、動作Ac)に対する機器判定処理は、PLC20が実行してもよく、PLC20は、機器判定処理の結果を、工程情報に含めて、または、工程情報に代えて、情報処理装置10へと送信してもよい。例えば、機器判定部150はPLC20が備え、情報処理装置10は、PLC20から、工程情報に含まれる動作結果La(特に、動作Ac)に対する機器判定処理の結果を取得してもよい。情報処理装置10は、工程情報に含まれる動作結果La(特に、動作Ac)に対する機器判定処理の結果を用いて、作業工程Prごとの対応付け情報Miを生成できればよく、動作結果Laに対する機器判定処理を情報処理装置10が実行することは必須ではない。
〔ソフトウェアによる実現例〕
情報処理装置10の機能ブロック(具体的には、第1取得部110、作業者判定部120、第2取得部140、機器判定部150、生成部160、表示制御部170、推定部180、および、領域設定部190)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、CPU(CenTral Processing Unit)を用いてソフトウェアによって実現してもよい。
後者の場合、情報処理装置10は、各機能を実現するソフトウェアであるプログラムの命令を実行するCPU、上記プログラムおよび各種データがコンピュータ(またはCPU)で読み取り可能に記録されたROM(Read Only Memory)または記憶装置(これらを「記録媒体」と称する)、上記プログラムを展開するRAM(Random Access Memory)等を備えている。そして、コンピュータ(またはCPU)が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路等を用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
10 情報処理装置(情報処理装置)
30 天井カメラ(広域撮像カメラ)
40 機器(機器、スレーブ)
110 第1取得部
120 作業者判定部
140 第2取得部
150 機器判定部
160 生成部
170 表示制御部
180 推定部
190 領域設定部
Aa 解析対象領域
Ac 動作
Ar 監視領域
BI 基礎撮像データ(基礎データ)
Da 動作期間(機器が動作していると判定された時間帯)
Do 滞在期間(作業者が存在していると判定された時間帯)
La 動作結果
Mi 対応付け情報
Pr 作業工程
S140 第1取得ステップ
S170 作業者判定ステップ
S110 第2取得ステップ
S130 機器判定ステップ
S180 生成ステップ

Claims (7)

  1. 各々が複数の作業工程の各々に対応付けられている、複数の監視領域を含む作業現場全体を、1台の広域撮像カメラで撮像した撮像データを取得する第1取得部と、
    前記第1取得部により取得された前記撮像データに対する画像解析により、前記複数の監視領域の各々について、作業者が存在しているかを判定する作業者判定部と、
    前記複数の作業工程の各々の実施に用いられる機器が実行した動作の内容および結果を示す動作結果から生成された工程情報を取得する第2取得部と、
    前記第2取得部により取得された前記工程情報を用いて、前記機器が動作しているかを判定する機器判定部と、
    前記複数の作業工程の各々について、(A)前記機器判定部により、前記作業工程の実施に用いられた前記機器が動作していると判定された時間帯と、(B)前記作業者判定部により、前記作業工程に対応付けられている前記監視領域に前記作業者が存在していると判定された時間帯と、を対応付けたデータを生成する生成部と、
    を備える情報処理装置。
  2. 前記作業者判定部により前記作業工程に対応付けられている前記監視領域に前記作業者が存在していると判定された時間帯において、前記作業者が行った作業の内容を、前記作業工程の実施に用いられた前記機器の動作結果を用いて、推定する推定部をさらに備える
    請求項1に記載の情報処理装置。
  3. 前記機器判定部により前記作業工程の実施に用いられた前記機器が動作していると判定された時間帯を示すガントチャートと、前記作業者判定部により前記作業工程に対応付けられている前記監視領域に前記作業者が存在していると判定された時間帯を示すガントチャートと、を並列させて表示可能なデータを生成する表示制御部をさらに備える
    請求項1または2に記載の情報処理装置。
  4. 前記撮像データに対して、前記監視領域を撮像した領域として画像解析の対象とする解析対象領域を、ユーザ操作に応じて設定する領域設定部をさらに備える
    請求項1から3のいずれか1項に記載の情報処理装置。
  5. 各々が複数の作業工程の各々に対応付けられている、複数の監視領域を含む作業現場全体を、1台の広域撮像カメラで撮像した撮像データを取得する第1取得ステップと、
    前記第1取得ステップにて取得された前記撮像データに対する画像解析により、前記複数の監視領域の各々について、作業者が存在しているかを判定する作業者判定ステップと、
    前記複数の作業工程の各々の実施に用いられる機器が実行した動作の内容および結果を示す動作結果から生成された工程情報を取得する第2取得ステップと、
    前記第2取得ステップにて取得された前記工程情報を用いて、前記機器が動作しているかを判定する機器判定ステップと、
    前記複数の作業工程の各々について、(A)前記機器判定ステップにて、前記作業工程の実施に用いられた前記機器が動作していると判定された時間帯と、(B)前記作業者判定ステップにて、前記作業工程に対応付けられている前記監視領域に前記作業者が存在していると判定された時間帯と、を対応付けたデータを生成する生成ステップと、
    含む情報処理方法。
  6. 請求項1から4のいずれか1項に記載の情報処理装置としてコンピュータを機能させるための情報処理プログラムであって、前記各部としてコンピュータを機能させるための情報処理プログラム。
  7. 請求項6に記載の情報処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2019111038A 2019-06-14 2019-06-14 情報処理装置、情報処理方法、情報処理プログラム、および記録媒体 Active JP7272128B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2019111038A JP7272128B2 (ja) 2019-06-14 2019-06-14 情報処理装置、情報処理方法、情報処理プログラム、および記録媒体
CN202080033138.5A CN113767407A (zh) 2019-06-14 2020-02-26 信息处理装置、信息处理方法、信息处理程序以及记录介质
PCT/JP2020/007816 WO2020250498A1 (ja) 2019-06-14 2020-02-26 情報処理装置、情報処理方法、情報処理プログラム、および記録媒体
US17/609,789 US20220230440A1 (en) 2019-06-14 2020-02-26 Information processing device, information processing method, and recording medium
KR1020217037872A KR20220004823A (ko) 2019-06-14 2020-02-26 정보 처리 장치, 정보 처리 방법, 정보 처리 프로그램, 및 기록매체
EP20822361.0A EP3985583A4 (en) 2019-06-14 2020-02-26 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, INFORMATION PROCESSING PROGRAM AND RECORDING MEDIA

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019111038A JP7272128B2 (ja) 2019-06-14 2019-06-14 情報処理装置、情報処理方法、情報処理プログラム、および記録媒体

Publications (2)

Publication Number Publication Date
JP2020204819A true JP2020204819A (ja) 2020-12-24
JP7272128B2 JP7272128B2 (ja) 2023-05-12

Family

ID=73781746

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019111038A Active JP7272128B2 (ja) 2019-06-14 2019-06-14 情報処理装置、情報処理方法、情報処理プログラム、および記録媒体

Country Status (6)

Country Link
US (1) US20220230440A1 (ja)
EP (1) EP3985583A4 (ja)
JP (1) JP7272128B2 (ja)
KR (1) KR20220004823A (ja)
CN (1) CN113767407A (ja)
WO (1) WO2020250498A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022157988A1 (ja) * 2021-01-22 2022-07-28 オムロン株式会社 作業推定装置、作業推定装置の制御方法、情報処理プログラム、および記録媒体
WO2023053519A1 (ja) * 2021-09-28 2023-04-06 オムロン株式会社 設定装置、設定方法および設定プログラム
EP4216171A1 (en) 2022-01-21 2023-07-26 Omron Corporation Information processing device and information processing method
EP4332908A1 (en) 2022-08-31 2024-03-06 OMRON Corporation System and method for tracking workers at a workplace

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008225704A (ja) * 2007-03-09 2008-09-25 Omron Corp 作業評価装置、作業評価方法、および、制御プログラム
JP2014044619A (ja) * 2012-08-28 2014-03-13 Seiko Epson Corp 生産システム、ロボット、制御装置、生産方法及び制御プログラム
JP2017005383A (ja) * 2015-06-05 2017-01-05 株式会社東芝 監視制御システム
JP2017010277A (ja) * 2015-06-22 2017-01-12 株式会社ブロードリーフ 作業分析システム及び作業分析方法
JP2018116325A (ja) * 2017-01-16 2018-07-26 沖電気工業株式会社 異常検知システム、異常検知装置、異常検知方法およびプログラム
JP2019016226A (ja) * 2017-07-07 2019-01-31 株式会社日立製作所 作業データ管理システム及び作業データ管理方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5974391A (en) * 1994-07-12 1999-10-26 Fujitsu Limited Device and method for project management
JP2006221410A (ja) * 2005-02-10 2006-08-24 Seiko Epson Corp 生産効率解析システムと生産効率解析プログラムと記録媒体と生産効率解析方法
JP4735172B2 (ja) * 2005-10-06 2011-07-27 オムロン株式会社 生産管理装置、生産管理方法、生産管理プログラム、生産管理プログラムを記録した記録媒体、および生産システム
JP2007323199A (ja) * 2006-05-30 2007-12-13 Omron Corp 生産管理装置、生産管理方法、生産管理プログラム、およびこれを記録した記録媒体、ならびに生産システム
JP5346513B2 (ja) * 2008-07-22 2013-11-20 京楽産業.株式会社 ポーリング通信システム
JP2012150613A (ja) * 2011-01-18 2012-08-09 Ricoh Co Ltd 作業内容測定装置及び作業管理装置
JP6075180B2 (ja) * 2013-04-18 2017-02-08 オムロン株式会社 作業管理システムおよび作業管理方法
JP2018142058A (ja) * 2017-02-27 2018-09-13 株式会社Subaru 作業品質評価装置、作業品質評価方法
JP2018142259A (ja) * 2017-02-28 2018-09-13 オムロン株式会社 作業管理装置、方法およびプログラム
JP6365906B1 (ja) * 2017-03-01 2018-08-01 パナソニックIpマネジメント株式会社 3次元侵入検知システムおよび3次元侵入検知方法
WO2018204332A1 (en) * 2017-05-01 2018-11-08 Sensormatic Electronics, LLC Space management monitoring and reporting using video analytics
JP6945373B2 (ja) 2017-07-24 2021-10-06 株式会社日立製作所 作業改善支援システム
KR102281998B1 (ko) 2017-08-30 2021-07-27 삼성전자 주식회사 이종재질 통신장치 함체
JP6571741B2 (ja) * 2017-11-29 2019-09-04 ファナック株式会社 作業者管理装置
JP7119532B2 (ja) * 2018-04-20 2022-08-17 コニカミノルタ株式会社 生産性向上支援システムおよび生産性向上支援プログラム
CN112567400A (zh) * 2018-08-23 2021-03-26 索尼公司 信息处理装置、信息处理方法和作业评估系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008225704A (ja) * 2007-03-09 2008-09-25 Omron Corp 作業評価装置、作業評価方法、および、制御プログラム
JP2014044619A (ja) * 2012-08-28 2014-03-13 Seiko Epson Corp 生産システム、ロボット、制御装置、生産方法及び制御プログラム
JP2017005383A (ja) * 2015-06-05 2017-01-05 株式会社東芝 監視制御システム
JP2017010277A (ja) * 2015-06-22 2017-01-12 株式会社ブロードリーフ 作業分析システム及び作業分析方法
JP2018116325A (ja) * 2017-01-16 2018-07-26 沖電気工業株式会社 異常検知システム、異常検知装置、異常検知方法およびプログラム
JP2019016226A (ja) * 2017-07-07 2019-01-31 株式会社日立製作所 作業データ管理システム及び作業データ管理方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022157988A1 (ja) * 2021-01-22 2022-07-28 オムロン株式会社 作業推定装置、作業推定装置の制御方法、情報処理プログラム、および記録媒体
WO2023053519A1 (ja) * 2021-09-28 2023-04-06 オムロン株式会社 設定装置、設定方法および設定プログラム
EP4216171A1 (en) 2022-01-21 2023-07-26 Omron Corporation Information processing device and information processing method
EP4339908A2 (en) 2022-01-21 2024-03-20 OMRON Corporation Information processing device and information processing method
EP4332908A1 (en) 2022-08-31 2024-03-06 OMRON Corporation System and method for tracking workers at a workplace

Also Published As

Publication number Publication date
CN113767407A (zh) 2021-12-07
EP3985583A4 (en) 2023-06-21
KR20220004823A (ko) 2022-01-11
US20220230440A1 (en) 2022-07-21
JP7272128B2 (ja) 2023-05-12
WO2020250498A1 (ja) 2020-12-17
EP3985583A1 (en) 2022-04-20

Similar Documents

Publication Publication Date Title
WO2020250498A1 (ja) 情報処理装置、情報処理方法、情報処理プログラム、および記録媒体
US11843904B2 (en) Automated combined display of measurement data
CN104808902A (zh) 图像数据生成设备、便携式终端设备和便携式控制设备
US20100175012A1 (en) System and Method for Remote Monitoring and Control of Field Device
JP7119532B2 (ja) 生産性向上支援システムおよび生産性向上支援プログラム
US20190188110A1 (en) Industrial control system, and assistance apparatus, control assist method, and program thereof
CN104508576A (zh) 工业工厂中的对象检验
US11138805B2 (en) Quantitative quality assurance for mixed reality
US11755007B2 (en) System and method for determining a health condition and an anomaly of an equipment using one or more sensors
JP7312581B2 (ja) コンクリート構造物管理装置、情報処理システム、コンクリート構造物の管理方法、およびプログラム
JP2020205027A (ja) データ抽出装置、データ抽出装置の制御方法、情報処理プログラム、および記録媒体
WO2020250501A1 (ja) データ抽出装置、データ抽出装置の制御方法、情報処理プログラム、および記録媒体
JP2019175407A (ja) 画像検査プログラムのプログラム作成装置及びプログラム作成方法、並びに作成プログラム
JP6378282B2 (ja) 修理システム、サーバ、端末装置、修理方法及びプログラム
JP7178303B2 (ja) 作業管理システム及び作業管理方法
WO2021024528A1 (ja) 表示制御装置、制御方法、情報処理プログラム、および記録媒体
JP7181257B2 (ja) 原因分析システムおよび方法
WO2022157988A1 (ja) 作業推定装置、作業推定装置の制御方法、情報処理プログラム、および記録媒体
CN110335229A (zh) 用于图像检查程序的程序创建装置、程序创建方法以及创建程序
JP2023105970A (ja) 分析装置、分析方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220407

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230328

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230410

R150 Certificate of patent or registration of utility model

Ref document number: 7272128

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150