CN112567400A - 信息处理装置、信息处理方法和作业评估系统 - Google Patents

信息处理装置、信息处理方法和作业评估系统 Download PDF

Info

Publication number
CN112567400A
CN112567400A CN201880096527.5A CN201880096527A CN112567400A CN 112567400 A CN112567400 A CN 112567400A CN 201880096527 A CN201880096527 A CN 201880096527A CN 112567400 A CN112567400 A CN 112567400A
Authority
CN
China
Prior art keywords
worker
work
information
job
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201880096527.5A
Other languages
English (en)
Inventor
松永英行
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN112567400A publication Critical patent/CN112567400A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311—Scheduling, planning or task assignment for a person or group
    • G06Q10/063114—Status monitoring or status determination for a person or group
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/109—Time management, e.g. calendars, reminders, meetings or time accounting
    • G06Q10/1093—Calendar-based scheduling for persons or groups
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

[问题]提供能够定量地评估工人的作业情况的信息处理设备。[解决方案]提供了信息处理设备，其装备有：作业识别单元，所述作业识别单元基于作业区块中关于工人的位置信息的时间序列数据，来识别所述工人的作业内容和作业时间；以及量化信息生成单元，所述量化信息生成单元基于与识别的作业内容相关联的作业线的生产量的时间序列数据和所述工人的作业时间，来生成定量地代表工人的作业情况的量化信息。

Description

信息处理装置、信息处理方法和作业评估系统
技术领域
本公开涉及信息处理装置、信息处理方法和作业评估系统。
背景技术
定量评估有助于使人们对问题有共同的认识。然而，难以对某些评估目标执行定量评估。例如，工厂通常是基于工人的经验来操作的，而作业状况(诸如工人的绩效)无法被定量地表示和评估。
例如，专利文献1公开了工厂诊断设备，其通过使用定量地表示工厂的评估的定量评估项目和定性地表示工厂的评估的定性评估项目来执行工厂的评估，并且基于评估结果，来确定要解决的工厂问题的对策。
引文列表
专利文献
专利文献1：日本专利申请公开No.2004-102325
发明内容
技术问题
然而，尽管工厂中的作业自动化正在发展，但是仍然有许多人工作业，并且难以准确地获得人工作业的作业状况。为了提高工厂的生产率，重要的是能够正确地评估作业状况，诸如工人的绩效。
因此，本公开提出了能够定量地评估工人的作业状况的新颖且改进的信息处理装置、信息处理方法和作业评估系统。
问题的解决方案
根据本申请，提供了信息处理装置，所述信息处理装置包括：作业识别单元，所述作业识别单元至少基于作业区域中工人的位置信息的时间序列数据，来识别该工人的作业内容和作业时间；以及量化信息生成单元，所述量化信息生成单元基于与识别的作业内容相对应的作业线上的生产量的时间序列数据和该工人的作业时间，来生成定量地表示该工人的作业状况的量化信息。
此外，根据本申请，提供了信息处理方法，所述信息处理方法包括：至少基于作业区域中工人的位置信息的时间序列数据，来识别该工人的作业内容和作业时间；以及基于与识别的作业内容相对应的作业线上的生产量的时间序列数据和该工人的作业时间，来生成定量地表示该工人的作业状况的量化信息。
此外，根据本申请，提供了作业评估系统，所述作业评估系统包括：位置信息获取设备，所述位置信息获取设备至少获取作业区域中工人的位置信息作为时间序列数据；生产量获取设备，所述生产量获取设备获取作业区域中的作业线上的生产量作为时间序列数据；以及信息处理装置，所述信息处理装置包括作业识别单元和量化信息生成单元，所述作业识别单元基于作业区域中该工人的位置信息的时间序列数据，来识别该工人的作业内容和作业时间；所述量化信息生成单元基于与识别的作业内容相对应的作业线上的生产量的时间序列数据和该工人的作业时间，来生成定量地表示该工人的作业状况的量化信息。
本发明的有益效果
如上所述，根据本公开，可以定量地评估工人的作业状况。注意，上述效果不必受到限制，并且除了以上效果之外，或者代替以上效果，可以获得本说明书中描述的任何效果、或者可以从本说明书中掌握的其他效果。
附图说明
图1是用于描述应用于工厂中的作业评估的图，作为根据本公开的实施例的作业评估系统的应用示例。
图2是示出根据实施例的作业评估系统的系统配置图。
图3是示出根据实施例的作业评估系统的信息处理装置的功能配置的功能框图，并且示出执行作业量化处理的功能单元。
图4是示出由根据实施例的信息处理装置执行的作业量化处理的示例的流程图。
图5是示出工人A和工人B在作业区域中一天的移动轨迹的图。
图6是示出由用户执行的作业区域中的对象的设置与工人的作业时间之间的关系的图。
图7是示出作业结果信息的示例的图。
图8是示出量化信息的示例的图。
图9是示出根据实施例的作业评估系统的信息处理装置的功能配置的功能框图，并且示出执行作业预测处理的功能单元。
图10是示出绩效特征量数据的示例的图。
图11是示出生产量数据的示例的图。
图12是示出个人特征量数据的示例的图。
图13是示出由根据实施例的信息处理装置执行的作业预测处理的流程图。
图14是示出工作轮换的优化结果的呈现的示例的图。
图15是示出工人之间的相互关系的呈现的示例的图。
图16是示出根据实施例的作业评估系统的信息处理装置的功能配置的功能框图，并且示出执行实时处理的功能单元。
图17是示出由根据实施例的信息处理装置执行的实时处理的流程图。
图18是示出根据实施例的信息处理装置的硬件配置示例的框图。
具体实施方式
在下文中，将参照附图详细描述本公开的优选实施例。注意，在本说明书和附图中，具有实质上相同的功能配置的构成元素由相同的附图标记来指定，并省略重复的描述。
注意，将按照以下顺序给出描述。
1.作业评估系统概述
2.系统配置
(1)作业区域
(2)信息处理装置
3.系统功能
3.1.作业量化处理
(1)功能配置
(2)处理示例
(3)量化信息的利用
3.2.作业预测处理
(1)功能配置
(2)处理示例
3.3.实时处理
(1)功能配置
(2)处理示例
4.硬件配置
[1.作业评估系统概述]
首先，将描述根据本公开的实施例的作业评估系统的概述。根据本实施例的作业评估系统是用于基于时间序列数据(诸如工人的移动和动作)来定量地评估工人的作业状况的系统。在下文中，作为根据本实施例的作业评估系统的应用示例，将描述应用作业评估系统以评估工厂的作业线中的工人的作业状况的情况。注意，根据本公开的作业评估系统除了可以被应用于工厂中的工人的作业评估之外，还可以执行各种作业地点(诸如农场)的工人的作业评估。此外，在根据本公开的作业评估系统中，可以将健身房等视为作业地点，并且评估用户在健身房的训练状况作为作业状况。
例如，如图1中所示，假设将多条生产线L1至L3布置在工厂的作业区域S中。工人当前分别在作业线L1至L3上作业。在工厂的作业线L1至L3上的这样的作业通常在固定位置被执行。因此，在根据本实施例的作业评估系统中，通过获取作业区域S中工人的位置信息，来基于该工人的作业位置识别该工人的作业内容。此外，在至少将作业区域S中工人的位置信息获取为时间序列数据的情况下，可以识别该工人当前在作业区域S中停留在何处以及该工人移动到何处。此外，可以通过使用工人的身体部位的动作信息(诸如手部动作、手指动作或身体动作)来识别该工人的作业内容。
另一方面，可以考虑将作业结果信息用作指示工人的绩效的指标。作业结果信息的示例包括在作业线L1至L3中处理的产品的数量(即，生产量)、处理的产品的质量等。作业线L1至L3的这样的作业结果信息可以通过例如利用图像捕捉设备捕捉在该线上传送的产品的图像等来获取。
根据本实施例的作业评估系统可以通过将至少基于工人的位置信息的作业状况的识别与该工人作业的作业线的识别的作业结果信息相关联来评估工人的作业。从而，例如变得可以显示工人的作业效率和作业质量。
此外，在根据本实施例的作业评估系统中，当多个工人一起作业时，可以建立预测模型，该预测模型基于每个工人的评估作业的结果，来预测由于人员布置的改变而造成的整个工厂的生产率。例如，如图1所示，当多条作业线L1至L3被布置在工厂的作业区域S中时，在各作业线L1至L3上作业的工人是固定的情况下，可以认为该工人没有正确地理解除了他/她负责的作业之外的作业内容。为了提高整个工厂的生产率，期望每个工人是多技能的工人并且正确地理解在各作业线L1至L3上执行的作业内容。在作业评估系统中，可以建立预测模型，该预测模型预测作业线L1至L3上的生产率与工人之间的关系，并且可以预测用于提高工人的生产率的适当的工作轮换。
此外，即使对于相同的作业内容，对于每个工人的生产率也可能不同。可以高效作业的工人具有基于经验的高效作业的技术诀窍(know-how)。期望在工人之间共享这样的技术诀窍，但是分析什么是技术诀窍并不容易。此外，在某些情况下，工人无意识地作业，因此该工人他自身/她自身并没有认识到他或她为提高作业效率而在做什么。根据本实施例的作业评估系统还可以提供比较工具，该比较工具可以通过使用视频容易地比较各个工人的作业状态。通过此，例如，可以使用该比较工具比较可以高效作业的工人的视频和另一个工人的视频，并且可以从工人的作业之间的差异中获得高效作业的技术诀窍或技巧。
另外，作业评估系统还可以实时将可以基于工人的位置信息来识别的作业内容与作业结果相关联。实时处理的结果可以被用于例如检查工人是否正确地执行了确定的常规作业，或者确认工人可以安全地执行作业。
在下文中，将详细描述根据本实施例的作业评估系统的配置和可以由作业评估系统执行的处理。
[2.系统配置]
将参照图2描述根据本实施例的作业评估系统1的系统配置。图2是示出根据本实施例的作业评估系统1的系统配置图。
如图2所示，根据本实施例的作业评估系统1获取作业区域S中工人的位置信息和作业结果信息。获取的信息经由网络10被输出到信息处理装置100，并被分析。
(1)作业区域
如图2所示，例如可以通过使用安装在作业区域S中的多个锚定件1a至1d以及由工人保持的标签2a或2b来获得作业区域S中工人的位置信息。锚定件1a至1d是设有作业区域S中的安装位置的位置信息的设备。例如，当以平面视图将作业区域S视为XY平面时，锚定件1a至1d可以设有使用XY坐标来指示锚定件1a至1d的安装位置的位置信息。
标签2a和2b是由工人保持的无线通信设备，以获取作业区域S中工人的位置信息。一个工人保持一个标签。图2示出保持标签2a的工人和保持标签2b的工人在作业区域S中。标签2a和2b预先获取锚定件1a至1d的位置信息(XY坐标)，并通过测量与锚定件1a至1d的距离，来识别作业区域S中的标签2a和2b的位置。标签2a和2b通过无线通信以预定周期输出作业区域S中的识别的位置作为工人的位置信息，并且经由网络10输出到信息处理装置100。
在作业区域S中，例如，可以布置图像捕捉设备3作为用于获取作业结果信息的设备。例如，在图2所示的示例中，图像捕捉设备3连续捕捉在作业线L上制造并在作业线上传送的产品P的图像。可以从由图像捕捉设备3获取的视频中获取作业结果信息，诸如在作业线L中制造的产品P的数量(生产量)和产品P的质量。由图像捕捉设备3获取的视频经由网络10被输出到信息处理装置100。
注意，可以在作业区域S中另外布置用于获取工人的身体部位的动作信息(诸如，手部动作、手指动作或身体动作)的动作信息获取设备(未示出)。还可以基于身体部位的动作信息来识别工人的作业内容。
动作信息获取设备例如是图像捕捉设备，该图像捕捉设备被固定地安装在可以捕捉到在作业线L上的预定作业位置作业的工人的图像的位置，并且连续捕捉在作业位置作业的工人的图像。从而，可以获取正在作业的工人的身体部位的动作信息，诸如手部动作、手指动作或身体动作。可替代地，工人的身体部位的动作信息可以是基于可以检测身体部位的移动或姿势的传感器(诸如加速度传感器)的测量值的信息。此外，通过空间扫描(诸如LiDAR)获取的信息可以被用作工人的身体部位的动作信息。类似于由图像捕捉设备3获取的视频，由动作信息获取设备获取的工人的身体部位的动作信息经由网络10被输出到信息处理装置100。
对于作业区域S中的无线通信，例如可以使用Wi-Fi等。在这种情况下，标签2a和2b以及图像捕捉设备3被装备有无线局域网(LAN)，并且从标签2a和2b以及图像捕捉设备3输出的信息经由网络10从路由器4a和4b输出到信息处理装置100。从路由器4a和4b输出的信息可以被输出到云20。
(2)信息处理装置
信息处理装置100基于在作业区域S中获取的信息来执行评估作业区域S中工人的作业的处理。信息处理装置100被连接到包括输入单元41和输出单元43的接口终端40。信息处理装置100可以基于由操作者等通过输入单元41输入的信息来执行处理。此外，信息处理装置100可以将处理结果等输出到输出单元43。注意，输入单元41和输出单元43可以被设为不同设备。后续将描述信息处理装置100的详细功能配置。
在上文中，已经描述了根据本实施例的作业评估系统1的系统配置的示例。
[3.系统功能]
将详细描述作业评估系统1的功能。由作业评估系统1执行的处理大致被分为基于累积的数据来量化工人的作业的作业量化处理、用于提高生产率的作业预测处理、以及实时检查工人的作业状况的实时处理。在下文中，将详细描述这些处理。
[3.1.作业量化处理]
(1)功能配置
首先，将参照图3描述当执行作业量化处理时操作的信息处理装置100的功能单元的配置。图3是示出根据本实施例的作业评估系统1的信息处理装置100的功能配置的功能框图，并且示出执行作业量化处理的功能单元。
如图3所示，信息处理装置100作为执行作业量化处理的功能单元包括量化处理单元110、以及数据库，诸如位置信息数据库(DB)121、动作信息DB 122、作业结果信息DB 123、用户设置区域DB 124和量化信息DB 125。
量化处理单元110至少基于作业区域S中工人的位置信息和作业结果信息来定量地评估该工人的作业状况。如图3所示，量化处理单元110包括位置信息获取单元111、作业识别单元113、量化信息生成单元115、和动作信息获取单元117。
位置信息获取单元111获取作业区域S中从标签2a和2b获取的每个工人的位置信息。位置信息获取单元111可以从位置信息DB 121获取预定时段的工人的位置信息的时间序列数据，在该位置信息DB121中累积了从标签2a和2b获取的工人的位置信息。此外，在实时分析工人的作业状况的情况下，位置信息获取单元111可以经由网络10直接获取从标签2a或2b输出的工人的位置信息。位置信息获取单元111将获取的工人的位置信息输出到作业识别单元113。
作业识别单元113至少基于作业区域S中工人的位置信息来识别该工人的作业内容。在工厂作业线等中，工人作业的位置通常是固定的。因此，作业识别单元113基于工人的位置信息，根据例如作业区域S中作业区块的位置信息，来识别工人的作业内容。除了作业区块的位置信息之外的信息也可以被用于识别作业内容。可替代地，可以基于与作业内容高度相关的对象的位置信息来识别工人的作业内容。作业区域S中的对象可以是布置在作业区域S中的设施，或者可以是物理对象或虚拟对象，诸如工人在执行特定作业时经过的门或区域。此外，作业区域S中的对象可以被预先设置，或者可以基于由用户通过输入单元41输入的对象设置指令来被设置。
后续将描述由作业识别单元113执行的作业识别处理的细节。作业识别单元113将识别的工人的作业内容与由作业时间(working hour)或作业时刻(working time)代表的时间信息相关联地输出到量化信息生成单元115。
量化信息生成单元115基于工人的位置信息和作业结果信息来量化工人的作业状况。作业结果信息的示例包括在作业线中处理的产品的数量(即，生产量)、处理的产品的质量等，其中每个都与时间信息相关联。作业结果信息由图像捕捉设备3等在作业区域S中获取，并被记录在作业结果信息DB中。量化信息生成单元115通过基于时间信息将基于工人的位置信息而识别的作业内容与涉及该作业内容的作业结果信息相关联，生成量化信息，在该量化信息中，工人的作业状况由作业结果信息定量表示。例如，通过使用这样的量化信息，可以显示工人的作业时间与由工人的作业处理的产品的数量之间的关系等。量化信息生成单元115可以将生成的量化信息记录在量化信息DB中，或者可以执行将量化信息输出到输出单元43以将量化信息呈现给操作者等的处理。
动作信息获取单元117获取在作业区域S中获取的工人的身体部位的动作信息。动作信息获取单元117从动作信息DB 122获取动作信息，该动作信息DB 122将例如通过连续捕捉在作业线L上的预定作业位置作业的工人的图像而获得的视频存储为动作信息。在实时分析工人的作业状况的情况下，动作信息获取单元117可以经由网络10直接获取从安装在作业线L上的动作信息获取设备输出的视频。动作信息获取单元117将获取的工人的身体部位的动作信息输出到作业识别单元113。
注意，仅在可以获取工人的身体部位的动作信息的情况下，才可以操作动作信息获取单元117。可以根据正在作业的工人的手部动作、手指动作或身体动作来估计正在执行哪种作业。因此，例如预先获取与作业内容相对应的工人的身体部位的动作作为样本，并由作业识别单元113来识别与由动作信息获取设备获取的工人的身体部位的动作信息相匹配的样本，由此可以识别作业内容。
(2)处理实例
将参照图4描述由信息处理装置100执行的作业量化处理。图4是示出由信息处理装置100执行的作业量化处理的示例的流程图。
(位置信息的获取)
首先，信息处理装置100的位置信息获取单元111获取在作业区域S中获取的每个工人的位置信息(S100)。如图2所示，例如，可以从由各个工人保持的各标签2a和2b中获取每个工人的位置信息。可替代地，可以通过分析由照相机捕捉的图像来获得每个工人的位置信息，该照相机捕捉在作业区域S内部的区块的图像。可替代地，可以通过使用自身位置估计方法(诸如同步定位和建图(SLAM))来获取每个工人的位置信息。位置信息获取单元111从累积了工人的位置信息的位置信息DB 121中获取预定时段的工人的位置信息。作为工人的位置信息，至少可以获取与将检查的工人的作业状况的时段相对应的数据。位置信息获取单元111将获取的工人的位置信息输出到作业识别单元113。
(作业内容的识别)
接下来，作业识别单元113基于作业区域S中工人的位置信息来识别工人的作业内容(S110)。在工厂作业线等中，工人作业的位置通常是固定的。因此，作业识别单元113基于工人的位置信息，根据作业区域S(诸如作业区块)中对象的位置信息，来识别工人的作业内容。
作业区域S中对象的位置信息由与工人的位置信息的坐标系相同的坐标系代表。作业区域S中对象的位置信息可以基于作业区域S等的布局信息被预先设置，或者可以基于由用户通过输入单元41输入的对象设置指令来被设置。
将参照图5和图6描述在基于来自用户的对象设置指令来设置作业区域S中对象的位置信息的情况下的设置处理的示例。图5示出在一定时段内作业区域S中工人A至E的移动轨迹。可以例如通过在指示作业区域S的XY坐标上绘制在步骤S100中获取的工人的位置信息的时间序列数据来生成移动轨迹。作业区域S中的工人的这样的移动轨迹可以通过输出单元43被呈现给用户。该用户可以通过在显示了工人的移动轨迹的作业区域S中指定与工人的作业内容相关的区域来指定作业区域S中的对象。
如图6的上侧所示，可以通过例如在显示了XY坐标上工人的移动轨迹的作业区域S中设置指示对象区域S1到S7的框等来执行由用户对对象的设置。这允许用户将与作业内容高度相关的对象的位置(诸如作业区块、设施或门)任意地设置为对象区域。在图6的示例中，对象区域S1与袋印刷作业区块相对应，对象区域S2与作业线相对应，并且对象区域S3与投入作业区块相对应。对象区域S4与产品检验作业区块相对应，对象区域S5与装箱作业区块相对应，并且对象区域S6与装袋作业区块相对应。对象区域S7与工厂的中央区块相对应。
注意，指示对象区域的框的形状没有特别限制，并且可以为如图6所示的矩形、多边形、圆形等。此外，相应的作业内容可以与设置的对象区域相关联。将每个对象区域(S1至S7)与可以识别相应的作业内容的对象(例如，作业区块、作业线等)相关联的用户设置区域信息可以被记录在用户设置区域DB 124中。这允许用户通过使用已经记录在用户设置区域DB 124中的用户设置区域信息，在作业区域S中轻松设置所期望的对象区域。可替代地，作业识别单元113可以参考记录在用户设置区域DB 124中的用户设置区域信息以自动地在作业区域S中设置对象区域。
一旦基于布局信息或对象设置指令设置了对象区域，作业识别单元113就从包括在对象区域中的工人的移动轨迹获得指示工人停留在对象区域中的时间的时间信息。例如，在基于图6的上侧所示的工人A至E的移动轨迹来设置对象区域S1至S7的情况下，如图6的下侧所示，作业识别单元113可以在时间轴上呈现每个工人A至E停留在各对象区域S1至S7中的时间。根据此，例如，可以看出工人A从作业的开始到结束在整个作业区域S中四处移动。此外，可以看出工人B在接近作业的开始和结束的时区中停留在袋印刷作业区块(对象区域S1)中，而在其他时间主要停留在产品检验作业区域(S2)中。以这种方式，可以基于移动轨迹来呈现工人的位置信息和停留时间信息。
在此，在工厂的作业线等中，由于工人作业的位置大致是固定的，因此可以将对象区域的位置信息视为作业内容。此外，可以将工人停留了多长时间和工人在什么时间停留视为在对象区域中执行作业的作业时间和停留时刻。因此，作业识别单元113基于指示对象区域与作业内容之间的对应关系的信息来识别与对象区域相对应的作业内容。对象区域与作业内容之间的对应关系可以被预先设置，或者可以由用户在设置对象区域时设置。例如，预先可以将作业内容(诸如袋印刷、投入、产品检验、装箱或装袋)与作业区域S的布局信息相关联，并且类似地，可以将该作业内容与记录在用户设置区域DB 124中的用户设置区域信息相关联，并记录该作业内容。
作业识别单元113基于指示对象区域与作业内容之间的对应关系的信息，根据对象区域，识别工人的作业内容。例如，对于工人B，如图6的下侧所示，基于工人B主要停留在对象区域S2的事实，识别工人B执行在与对象区域S2相对应的作业区块中执行的产品检验作业。作业识别单元113将识别的工人的作业内容与由作业时间或作业时刻代表的时间信息相关联地输出到量化信息生成单元115。换言之，通过步骤S110的处理，获取指示每个工人在何时何地作业的数据。
(量化信息的生成)
量化信息生成单元115基于作业内容和作业结果信息，来量化工人的作业状况(S120)，该作业内容基于在步骤S110中获取的工人的位置信息。作业结果信息是可以定量地表示工人的作业状况的信息。
例如，在如图2所示的在传送带上传送产品P的工厂的作业线L中，时间序列数据(诸如在作业线L上处理的产品的数量(即，在作业线L上生产的产品P的生产量))可以被用作作业结果信息。可以通过例如由安装在作业线L的作业完成位置处的图像捕捉设备3来捕捉在作业线上传送的产品P的图像，并通过图像识别对通过作业完成位置的产品P计数，以获取处理的产品的数量。
在以最小的计数粒度获取作业线L上的生产量的情况下，可以与作业线L上的作业完成时间相关联地一对一地代表产品的数量。可替代地，可以增加产品P的计数粒度以代表每单位时间(例如，1秒、5秒、30秒等)在作业线L上处理的产品P的数量。图7示出如何代表在作业线L上的生产量的示例。图7的水平轴是时间轴，而垂直轴代表与生产量相对应的值。图7示出在两个不同的日期(日期1和日期2)的每天在作业线上的生产量。
图7的上部是在以最小的计数粒度代表作业线上的生产量的情况下的作业结果信息的示例，其中，针对作业线L上的产品P的各作业完成时间来对生产量进行计数。图7的中部是指示每单位时间的生产量的作业结果信息的示例。在此，显示每60秒处理的产品P的数量。此外，如图7的下侧所示，可以通过作业线L上产品P的移动速度来代表作业线L上的生产量。可以评估出，产品P的移动速度越高，生产率越高。作业结果信息的粒度越小，可以越详细地掌握工人的作业状况。
量化信息生成单元115基于时间信息来将基于工人的位置信息而识别的作业内容与对应于该作业内容的作业结果信息相关联，通过此来生成量化信息，在该量化信息中，工人的作业状况由作业结果信息定量地表示。在图8中示出量化信息的示例。图8示出一天中作业线L上的每单位时间的生产量与在作业线L上作业的工人A和B的作业时间之间的关系。从图8可以看出，在作业线L上，工人A在上午作业，而工人B在下午作业。可以看出，作业线L上每单位时间的生产量在上午几乎是恒定的，但是作业线L上的每单位时间的生产量在下午是不均匀的。这样，量化信息使得可以以每单位时间的生产量的形式定量地显示作业线L上的工人的作业状况。
此外，量化信息生成单元115可以生成在相同时间轴上将由作业识别单元113识别的工人的作业内容及作业时间与该工人的预设作业安排互相关联的信息，来作为量化信息。通过呈现这样的量化信息，用户可以容易地检查工人是否根据确定的安排作业。
量化信息生成单元115可以将生成的量化信息记录在量化信息DB 125中，或者可以执行将量化信息输出到输出单元43以将量化信息呈现给操作者等的处理。
在上文中，已经描述了作业评估系统1中的信息处理装置100的作业量化处理。在作业量化处理中，通过基于作业区域S中工人的位置信息来识别该工人的作业内容，并将该工人的作业时间与对应于作业内容的作业结果信息相关联，来定量地显示工人的作业状况。结果，可以定量地评估难以以秒或分钟为单位精确地获取工人的绩效的作业，诸如工厂中的作业。
(3)量化信息的利用
由信息处理装置100生成的并且指示工人的作业状况的量化信息不仅可以被用作定量地评估工人的作业状况的信息，还可以被用于提高每个工人的绩效。
(A.对于工作轮换的利用)
如图1所示，当在工厂的作业区域S中布置多条作业线L1至L3时，在各作业线L1至L3上作业的工人是固定的情况下，工人可能没有正确地理解除了他/她负责的作业之外的作业内容。为了提高整个工厂的生产率，期望每个工人是多技能的工人并且正确地理解在各作业线L1至L3上执行的作业内容。因此，在具有多条作业线的工厂中，执行工人的工作轮换，并使每个工人体验在每条作业线上的作业。
由于工作轮换的主要目的是使工人理解每条作业线上的作业内容，因此在执行工作轮换时，每条作业线上的工人的作业时间充当标准。例如，执行工作轮换，以使得每个工人在每条作业线上的作业时间至少超过为每条作业线确定的基准作业时间。
传统上，难以详细地获取作业区域S中每条作业线中的工人的作业时间，因此有可能未适当地执行工作轮换。因此，可以通过使用基于由根据本实施例的作业评估系统1获取的工人的位置信息的作业内容和作业时间，来定量地掌握每条作业线上的每个工人的作业经验。通过使用这样的量化信息，变得可以更适当地执行工作轮换。结果，每个工人可以理解其他工人的作业内容，因此可以考虑到接下来处理的作业来执行作业，从而使得可以提高整个工厂的生产率。
(B.对于作业状况比较的利用)
例如，即使对于在相同作业线上执行相同作业的工人(诸如图8所示的工人A和B)，每个工人的生产率也可能不同。可以高效作业的工人具有基于经验的高效作业的技术诀窍。期望在工厂中累积并在工人之间共享这样的技术诀窍，但是分析什么是技术诀窍并不容易。此外，在某些情况下，工人无意识地作业，因此该工人他自身/她自身并没有认识到他或她为提高作业效率而在做什么。
因此，根据本实施例的作业评估系统1提供了比较工具，该比较工具可以通过使用视频容易地比较各个工人的作业状态。每个工人的作业状况可以例如通过安装的作业监控摄像机(未示出)来获取，以便能够捕捉作业线的作业区块中的工人的图像。作业监控摄像机至少在作业线的操作期间持续获取视频。作业监控摄像机例如在作业结果信息DB 123中与识别目标作业线的信息及拍摄时间相关联地记录所获取的视频。
根据拍摄时间，由作业监控摄像机获取的视频可以与作业结果信息(诸如产量)及工人的作业时间相关联。因此，例如，当在输出单元43上显示图8所示的量化信息时，可以指定工人的任意作业时间，并且可以显示当时由作业监控摄像机获取的视频。
在图8的示例中，当指定了作业时间t1时，在输出单元43上显示包括在作业时间t1由作业监控摄像机获取的图像51的作业监视图像Gt1。可以将作业监视图像Gt1与此时制造的产品P的图像53一起显示。此外，当指定了作业时间t2时，在输出单元43上显示包括在作业时间t2由作业监控摄像机获取的图像51的作业监视图像Gt2。在此，在指定了工人A作业的作业时间，并且指定了工人B作业的作业时间的情况下，可以并排显示工人A和B的作业状态以及在这些时间制造的产品。此外，还可以选择作业内容并且并排显示执行了所选择的作业内容的工人的视频，或者并排显示相同个人的过去的视频。
这样，可以使用比较工具比较可以高效作业的工人的视频和另一个工人的视频，并且可以从工人的作业之间的差异中获得高效作业的技术诀窍或技巧。另外，利用这样的比较工具，可以基于作业结果信息容易地识别高效执行作业的时间、没有高效执行作业的时间、生产率高的时间和生产率低的时间。此外，在多个工人执行作业的作业线中，可以容易地从由作业监控摄像机获取的视频之中识别出与特定工人作业时的时间相对应的视频。因此，利用这样的比较工具，可以容易地从长时间获取的视频中提取目标场景。
[3.2.作业预测处理]
(1)功能配置
接下来，将参照图9至图11描述在执行作业预测处理时操作的信息处理装置100的功能单元的配置。图9是示出根据本实施例的作业评估系统1的信息处理装置100的功能配置的功能框图，并且示出执行作业预测处理的功能单元。图10是示出绩效特征量数据的示例的图。图11是示出生产量数据的示例的图。图12是示出个人特征量数据的示例的图。
如图9所示，信息处理装置100包括分析单元130和数据库(诸如量化信息DB 125和个人信息DB 126)，来作为执行作业预测处理的功能单元。
分析单元130基于过去操作中的量化信息，来预测工厂中的最佳人员布置。如图9所示，分析单元130包括学习数据集生成单元131、预测模型生成单元133和预测处理单元135。
学习数据集生成单元131生成在建立预测模型中被用作学习数据的数据集。学习数据集生成单元131至少使用由量化处理单元110获取的量化信息作为学习数据。具体而言，获得作为工人的作业状况的每个工人的绩效特征量数据和从作业结果信息获得的生产量数据被用作学习数据。
绩效特征量数据是将每个工人的绩效数值化的信息。例如，如图10所示，为每个工人设置代表工人的绩效的项目(诸如作业速度、准确性、谨慎性和专注度)的值。例如，项目的较大值可以指示工人在该项目上是优秀的。可以通过基于预设的转换条件对从量化信息获取的信息(例如，生产量、产品的移动速度等)进行数值化来生成绩效特征量数据。例如，如果是作业速度的话，转换条件是在每单位时间的生产量为10或更少的情况下作业速度为“1”，在每单位时间的生产量大于10且小于或等于15的情况下作业速度为“2”，而在每单位时间的生产量大于15且小于或等于20的情况下作业速度为“3”。
生产量数据是指示工人与作业线上的生产量之间的关系的数据。即，生产量数据是指示在作业线上由谁实现了什么作业的多少生产量的数据。图11是示出生产量数据的示例的图。例如，如图11所示，生产量数据显示，工人A、B和C在作业线上执行作业时的生产量为1000/h，而工人B、C和D执行作业时的生产量为900/h。注意，生产量数据不仅可以包括在多个工人执行作业的情况下的数据，还可以包括在一个工人独立执行作业的情况下的数据。
对于在相同作业线上或在相同工厂中的作业，绩效特征量数据和生产量数据被分别获取。
此外，作为学习数据，除了绩效特征量数据和生产量数据之外，还可以使用指示工人的个人信息的个人特征量数据。图12示出个人特征量数据的示例。个人特征量例如是年龄、性别、在作业线上的作业经验年限或性格，并且预先记录在个人信息DB 126中。性格可以根据例如趋势来被分类(例如，被分类为a至d)，并且可以基于工人他自己的报告、作业经理的证明、性格诊断测试的结果等来被设置。
预测模型生成单元133使用由学习数据集生成单元131生成的学习数据集来建立预测模型，该预测模型通过使用机器学习等来推断将由工人的组合实现的生产量。可以使用现有的机器学习方法来建立预测模型。
预测模型可以输出例如在通过输入单元41输入的多个工人执行作业的情况下在作业线上的生产量。在这样的预测模型中，一旦输入了执行作业的工人，就可以输出预测的作业线上的生产量。具体而言，输出指示当工人A、D和E执行作业时作业线上的生产量为1100/h的预测结果。利用这样的预测模型，执行工人的组合的改变，并且探索可以实现最高生产量的工人的组合。
可替代地，预测模型可以从包括在学习数据集中的工人之中，预测可以使作业线上的生产量最大化的最佳的工人的组合(即，最佳解决方案)。
预测处理单元135使用由预测模型生成单元133建立的预测模型来预测将由工人的组合实现的作业线上的生产量。预测结果被输出到输出单元43并被呈现给用户。
(2)处理示例
将参照图13描述由信息处理装置100执行的作业预测处理。图13是示出由信息处理装置100执行的作业预测处理的流程图。
首先，如图13所示，学习数据集生成单元131生成在建立预测模型中被用作学习数据的数据集(S200)。学习数据集生成单元131至少使用由量化处理单元110获取的量化信息作为学习数据。具体而言，被获得作为工人的作业状况的每个工人的绩效特征量数据和从作业结果信息获得的生产量数据被用作学习数据。此外，除了绩效特征量数据和生产量数据之外，还可以使用指示工人的个人信息的个人特征量数据作为学习数据。
接下来，预测模型生成单元133使用由学习数据集生成单元131生成的学习数据集来建立预测模型，该预测模型通过使用机器学习等来推断将由工人的组合实现的生产量(S210)。可以使用现有的机器学习方法来建立预测模型。
然后，预测处理单元135使用由预测模型生成单元133建立的预测模型来预测将由工人的组合实现的作业线上的生产量(S220)。预测结果被输出到输出单元43并被呈现给用户。从预测模型获得的预测结果可以呈现例如工人的组合和预测的生产量。可替代地，预测结果可以呈现在可以在作业线上作业的工人之中可以使生产量最大化的工人的组合。
在上文中，已经描述了作业评估系统1中的信息处理装置100的作业预测处理。在作业预测处理中，可以基于由作业评估系统1获取的量化信息，通过建立预测工人的绩效的预测模型，来确定可以增加生产量的人员布置。
作为作业预测处理的应用示例，例如可以考虑关于哪个工人需要提高绩效以提高整体绩效的预测。在这种情况下，可以通过改变工人的绩效特征量数据的值并执行预测，来执行仿真以检查要提高工人的哪个能力。具体而言，可以通过改变绩效特征量数据(诸如每个工人的作业速度、准确性、谨慎性和集中度)的每个值，来执行使用预测模型的仿真，从而预测生产率的改变。例如，在获得指示提高某个工人的速度与提高谨慎性相比提高了生产率的结果的情况下，可以创建用于提高工人的作业速度的训练计划。可以通过使用这样的预测模型来实现工作轮换优化、人员布置自动化和训练计划创建。
如图14所示，工作轮换优化的结果可以例如通过在圆周方向上设置一天的时间轴来显示工人的作业时间。此外，如图15所示，人员布置的结果可以显示提高生产率的工人之间的相互关系。在图15中，用矩阵上的单元格的亮和暗来显示工人A至H之间的相互关系。通过此，可以通过将工人布置在作业线中以使具有良好相互关系的工人在相同的时区作业，来期望生产率的提高。
[3.3.实时处理]
由作业评估系统1执行的实时处理还可以实时将可以基于工人的位置信息来识别的作业内容与作业结果相关联。实时处理的结果可以被用于例如检查工人是否正确地执行了确定的常规作业，或者确认工人可以安全地执行作业。
(1)功能配置
将参照图16描述在实时执行检查工人的作业状况的实时处理时操作的信息处理装置100的功能单元的配置。图16是示出根据本实施例的作业评估系统1的信息处理装置100的功能配置的功能框图，并且示出执行实时处理的功能单元。
如图16所示，信息处理装置100包括量化处理单元110以及数据库(诸如，位置信息DB 121、动作信息DB 122、作业内容DB 127和事件DB 129)作为执行实时处理的功能单元。由于量化处理单元110具有与如图3所示的配置相同的配置，因此在此省略其描述。注意，尽管在图16中未示出，量化处理单元110包括如图3所示的量化信息生成单元115。
事件发生确定单元140基于由作业识别单元113识别的工人的位置信息和作业内容，来确定是否发生了事件。
例如，由个人执行的检查或常规作业随着工人变得对其习惯，倾向于以较少考虑的方式被执行。因此，事件发生确定单元140通过将要由工人执行的作业内容与该工人的当前作业状况(该工人在何处以及正在做什么)进行比较，来确定工人是否正确地执行了作业，该作业内容被记录在作业内容DB 127中。
另外，即使在充分注意的情况下，也可能发生工厂事故等。发生事故的情况具有一定的背景(context)。例如，当单独作业时、在清洁期间、在作业线操作之前、在新工人加入时等，事故的发生可能增加。因此，事件发生确定单元140通过将代表可能在作业区域S中发生的事件的事件发生背景与工人的当前作业状况(工人正在作业的状态)进行比较，来确定事件是否可能会发生，该事件在事件DB 129中被设置。
例如，基于要由工人执行的作业内容或事件发生背景与该工人的当前作业状况之间的匹配程度，来执行这些确定。在确定工人是否正确地执行作业的情况下，当要由工人执行的作业内容与该工人的当前作业状况之间的匹配程度小于预定值时，将异常状态通知给该工人或管理者。此外，在确定事件发生的可能性的情况下，确定当事件发生背景与工人的当前作业状况之间的匹配程度超过预定阈值时，该事件发生的可能性高。当确定事件发生的可能性高时，事件发生确定单元140执行诸如通知工人或管理者或停止作业线的操作的处理。
(2)处理示例
将参照图17描述由信息处理装置100执行的实时处理。图17是示出由信息处理装置100执行的实时处理的流程图。
首先，事件发生确定单元140获取由量化处理单元110的作业识别单元113识别的工人的位置信息和作业内容(S300)。这些信息的获取可以在预定的定时(例如，获取位置信息的定时)或每几分钟一次地被执行。
接下来，事件发生确定单元140将工人的位置信息和作业内容与事件进行比较(S310)。该事件包括要由工人执行的记录在作业内容DB 127中的作业内容、在事件DB 129中设置的事件发生背景等。事件发生确定单元140计算工人的位置信息和作业内容与这些事件之间的匹配程度。
然后，事件发生确定单元140确定计算出的匹配程度是否在允许范围内(S330)。可以针对每个比较目标设置允许范围。例如，在确定工人是否正确地执行作业的情况下，当匹配程度等于或大于预定值时，匹配程度在允许范围内。此外，在确定事件发生的可能性的情况下，确定当事件发生背景与工人的当前作业状况之间的匹配程度等于或小于预定阈值时，匹配程度在允许范围内。
在步骤S330中的确定结果指示匹配程度在允许范围内的情况下，图17的处理结束，并且等待直到执行步骤S300的接下来的定时。另一方面，在匹配程度超出允许范围的情况下，事件发生确定单元140执行异常通知处理(S340)，诸如通过输出单元43等通知工人或管理者、或停止作业线的操作。
在上文中，已经描述了作业评估系统1中的信息处理装置100的实时处理。在实时处理中，基于由作业评估系统1获取的工人的位置信息和作业内容，来确定作业区域S中事件发生的可能性。结果，可以防止事故并检测工人的作业状况中的异常。
在以上描述中，基于工人的位置信息来指定该工人的作业内容，但是本公开不限于该示例。例如，可以基于由动作信息获取单元117从动作信息DB 122中获取的工人的身体部位的动作信息来指定该工人的作业内容。
另外，根据要检测的内容，可以利用项目(诸如，“目标(谁)”、“位置(何处)”、“动作(什么)”、以及“时间(何时)”)来适当地设置作为实施处理执行的确定处理的规则。例如，可以设置规则，以使得在“在作业线的操作期间(何时)产品检验人员(谁)离开(什么)产品检验区块(何处)”的情况下做出异常通知。对于“目标(谁)”，可以设置单独的工人或可以设置工作位置。对于“动作(什么)”，可以设置各种动作，并且可以设置更详细的动作，诸如，“离开5分钟”。
[4.硬件配置]
接下来，参照图18，将描述根据本公开的实施例的信息处理装置的硬件配置。图18是示出根据本公开的实施例的信息处理装置的硬件配置示例的框图。例如，图18所示的信息处理装置900可以实现上述实施例中的信息处理装置100。
信息处理装置900包括中央处理单元(CPU)901、只读存储器(ROM)903和随机存取存储器(RAM)905。此外，信息处理装置900可包括主机总线907、桥接器909、外部总线911、接口913、输入设备915、输出设备917、存储设备919、驱动器921、连接端口923和通信设备925。此外，如果需要，信息处理装置900可包括图像捕捉设备933和传感器935。代替CPU 901或除了CPU 901之外，信息处理装置900还可包括处理电路，诸如数字信号处理器(DSP)、专用集成电路(ASIC)或现场可编程门阵列(FPGA)。
CPU 901用作运算操作处理单元和控制单元，并根据记录在ROM903、RAM 905、存储设备919或可移除记录介质927中的各种程序来控制在信息处理装置900或其一部分中执行的整体操作。ROM 903存储由CPU 901使用的程序、运算操作参数等。RAM 905主要存储CPU901的执行中所使用的程序、在执行中适当变化的参数等。CPU901、ROM 903和RAM 905通过由内部总线(诸如CPU总线)实现的主机总线907相互连接。此外，主机总线907经由桥接器909被连接到外部总线911，诸如外围组件互连/接口(PCI)总线。
输入设备915是由用户操作的设备，诸如鼠标、键盘、触摸板、按钮、开关或操纵杆。输入设备915例如可以是使用红外线或其他无线电波的遥控设备、或者可以是外部连接设备929，诸如与信息处理装置900的操作相对应的移动电话。输入设备915包括输入控制电路，该输入控制电路基于由用户输入的信息来生成输入信号并将该输入信号输出到CPU901。通过操作该输入设备915，用户将各种数据输入到信息处理装置900或给出用于处理操作的指令。
输出设备917由能够通过使用感觉(诸如视觉、听觉和触觉)向用户通知所获取的信息的设备来实现。输出设备917可以是例如显示设备(诸如液晶显示器(LCD)或有机电致发光(EL)显示器)、音频输出设备(诸如扬声器或耳机)、振动器等。输出设备917将通过由信息处理装置900执行的处理而获得的结果输出为文本、视频(诸如图像)、声音(诸如语音)、振动等。
存储设备919是被配置为信息处理装置900的存储单元的示例的数据存储设备。存储设备919例如由磁性存储设备(诸如硬盘驱动器(HDD))、半导体存储设备、光存储设备、磁光存储设备等来实现。存储装置919存储例如由CPU 901执行的程序或各种数据、从外部获取的各种数据等。
驱动器921是可移除记录介质927(诸如磁盘、光盘、磁光盘或半导体存储器)的读取器/写入器，并且被嵌入在信息处理装置900中或从外部附接到信息处理装置900。驱动器921读取记录在安装的可移除记录介质927中的信息，并将读取的信息输出到RAM 905。此外，驱动器921还将记录写入在安装的可移除记录介质927中。
连接端口923是用于将设备连接到信息处理装置900的端口。连接端口923可以是例如通用串行总线(USB)端口、IEEE 1394端口、小型计算机系统接口(SCSI)端口等。此外，连接端口923可以是RS-232C端口、光学音频终端、高清多媒体接口(HDMI)(注册商标)端口等。通过将外部连接设备929连接到连接端口923，可以在信息处理装置900和外部连接设备929之间交换各种数据。
通信设备925是例如由通信设备等实现的用于连接到通信网络931的通信接口。通信设备925可以是例如局域网(LAN)、蓝牙(注册商标)、Wi-Fi、无线USB(WUSB)通信卡等。通信设备925可以是用于光通信的路由器、用于非对称数字用户线(ADSL)的路由器、用于各种类型的通信的调制解调器等。通信设备925使用预定协议(诸如TCP/IP)例如向互联网和其他通信设备发送信号，并从互联网和其他通信设备接收信号等。此外，连接到通信设备925的通信网络931是以有线或无线方式连接的网络，并且可以包括例如互联网、基于家庭的LAN、红外通信、无线电波通信、卫星通信等。
图像捕捉设备933是通过使用图像捕捉元件(诸如互补金属氧化物半导体(CMOS)或电荷耦合器件(CCD))以及各种部件(诸如用于控制在图像捕捉元件上形成被摄体图像的镜头)来捕捉实际空间的图像并生成捕捉图像的设备。图像捕捉设备933可以捕捉静止图像、或者可以捕捉移动图像。
传感器935的示例包括各种传感器，诸如加速度传感器、角速度传感器、地磁传感器、照度传感器、温度传感器、大气压力传感器和声音传感器(麦克风)。传感器935获取关于信息处理装置900自身的状态的信息(诸如信息处理装置900的外壳的朝向)，或者关于信息处理装置900的周围环境的信息(诸如信息处理装置900周围的亮度或噪声)。此外，传感器935可包括全球定位系统(GPS)接收器，其接收GPS信号并测量设备的纬度、经度和高度。
在上文中，已经描述了信息处理装置900的硬件配置的示例。上述的每个组件可以通过使用通用部件来实现，或者可以通过专用于每个组件的功能的硬件来实现。可以在实现时根据技术水平适当地改变这样的组件。
以上已经参照附图详细描述了本公开的优选实施例，但是本公开的技术范围不限于这样的示例。清楚的是，具有本公开的技术领域普通知识的个人可以在权利要求书中所描述的技术思想的范围内得出各种改变或修改，并且自然地理解，该改变或修改也落入本公开的技术范围内。
例如，在上述实施例中，假定工人是人类，但是本技术不限于该示例。例如，工人可以包括工厂机器。机器在广义上也可以被认为是工人，并且还可以基于指示机器的操作状况的数据通过使用本技术的作业评估系统来评估作业状况。
此外，本说明书中描述的效果仅是说明性或示例性的，而不是限制性的。即，除了上述效果之外或代替上述效果，根据本公开的技术还可以具有根据本说明书的描述对于本领域技术人员清楚的其他效果。
注意，以下组件也属于本公开的技术范围。
(1)一种信息处理装置，包括：
作业识别单元，其至少基于作业区域中的工人的位置信息的时间序列数据，来识别所述工人的作业内容和作业时间；以及
量化信息生成单元，其基于与识别的作业内容相对应的作业线上的生产量的时间序列数据和所述工人的作业时间，来生成定量地表示所述工人的作业状况的量化信息。
(2)根据(1)所述的信息处理装置，其中所述作业识别单元还基于所述工人的身体部位的动作信息，来识别所述工人的作业内容和作业时间。
(3)根据(1)或(2)所述的信息处理装置，其中所述作业识别单元基于根据所述工人的位置信息的时间序列数据而识别的所述工人的移动轨迹，以及关于包括所述作业线的作业区域中的对象布置的信息，来识别所述工人的作业内容。
(4)根据(3)所述的信息处理装置，其中关于作业区域中的对象布置的信息由用户来指定。
(5)根据(1)至(4)中任何一项所述的信息处理装置，其中所述量化信息生成单元生成在相同时间轴上将所述作业线上的生产量与所述作业线上的所述工人的作业时间互相关联的信息，作为所述量化信息。
(6)根据(1)至(5)中任何一项所述的信息处理装置，其中所述量化信息生成单元生成在相同时间轴上将所述作业线上的作业产品的图像的时间序列数据与所述作业线上的所述工人的作业时间互相关联的信息，作为所述量化信息。
(7)根据(1)至(6)中任何一项所述的信息处理装置，其中所述量化信息生成单元生成在相同时间轴上将由所述作业识别单元识别的所述工人的作业内容和作业时间与所述工人的预设作业安排互相关联的信息，作为所述量化信息。
(8)根据(1)至(7)中任何一项所述的信息处理装置，还包括：事件发生确定单元，所述事件发生确定单元通过将作业区域中的事件发生背景与所述工人的作业内容和作业时间进行比较，来确定事件是否已经发生。
(9)根据(8)所述的信息处理装置，其中在确定事件已经发生的情况下，所述事件发生确定单元经由输出设备输出确定结果。
(10)根据(1)至(9)中任何一项所述的信息处理装置，还包括预测模型生成单元，所述预测模型生成单元基于由所述量化信息生成单元生成的指示由多个工人执行的作业的生产量的生产量数据和指示每个工人的作业能力的作业特征量数据，来生成预测所述工人与生产量之间的关系的预测模型。
(11)根据(10)所述的信息处理装置，其中所述预测模型生成单元还通过使用指示每个工人的个人信息的个人特征量数据来生成所述预测模型。
(12)根据(10)或(11)所述的信息处理装置，还包括预测处理单元，所述预测处理单元通过使用所述预测模型来预测将由工人的组合实现的所述作业线上的生产量。
(13)一种信息处理方法，包括：
至少基于作业区域中的工人的位置信息的时间序列数据，来识别所述工人的作业内容和作业时间；以及
基于与识别的作业内容相对应的作业线上的生产量的时间序列数据和所述工人的作业时间，来生成定量地表示所述工人的作业状况的量化信息。
(14)一种作业评估系统，包括：
位置信息获取设备，其至少获取作业区域中的工人的位置信息作为时间序列数据；
生产量获取设备，其获取作业区域中的作业线上的生产量作为时间序列数据；以及
信息处理装置，包括作业识别单元，所述作业识别单元基于作业区域中的所述工人的位置信息的时间序列数据，来识别所述工人的作业内容和作业时间；以及
量化信息生成单元，其基于与识别的作业内容相对应的作业线上的生产量的时间序列数据和所述工人的作业时间，来生成定量地表示所述工人的作业状况的量化信息。
附图标记列表
1 作业评估系统
1a至1d 锚定件
2a，2b 标签
3 图像捕捉设备
4a，4b 路由器
10 网络
20 云
40 接口终端
41 输入单元
43 输出单元
100 信息处理装置
110 量化处理单元
111 位置信息获取单元
113 作业识别单元
115 量化信息生成单元
117 动作信息获取单元
121 位置信息DB
122 动作信息DB
124 用户设置区域DB
123 作业结果信息DB
125 量化信息DB
126 个人信息DB
127 作业内容DB
129 事件DB
130 分析单元
131 学习数据集生成单元
133 预测模型生成单元
135 预测处理单元
140 事件发生确定单元

Claims (14)

1.一种信息处理装置，包括：
作业识别单元，其至少基于作业区域中的工人的位置信息的时间序列数据，来识别所述工人的作业内容和作业时间；以及
量化信息生成单元，其基于与识别的作业内容相对应的作业线上的生产量的时间序列数据和所述工人的作业时间，来生成定量地表示所述工人的作业状况的量化信息。
2.根据权利要求1所述的信息处理装置，其中所述作业识别单元还基于所述工人的身体部位的动作信息，来识别所述工人的作业内容和作业时间。
3.根据权利要求1所述的信息处理装置，其中所述作业识别单元基于根据所述工人的位置信息的时间序列数据而识别的所述工人的移动轨迹以及关于包括所述作业线的作业区域中的对象布置的信息，来识别所述工人的作业内容。
4.根据权利要求3所述的信息处理装置，其中关于作业区域中的对象布置的信息由用户来指定。
5.根据权利要求1所述的信息处理装置，其中所述量化信息生成单元生成在相同时间轴上将所述作业线上的生产量与所述作业线上的所述工人的作业时间互相关联的信息，作为所述量化信息。
6.根据权利要求1所述的信息处理装置，其中所述量化信息生成单元生成在相同时间轴上将所述作业线上的作业产品的图像的时间序列数据与所述作业线上的所述工人的作业时间互相关联的信息，作为所述量化信息。
7.根据权利要求1所述的信息处理装置，其中所述量化信息生成单元生成在相同时间轴上将由所述作业识别单元识别的所述工人的作业内容和作业时间与所述工人的预设作业安排互相关联的信息，作为所述量化信息。
8.根据权利要求1所述的信息处理装置，还包括：事件发生确定单元，所述事件发生确定单元通过将作业区域中的事件发生背景与所述工人的作业内容和作业时间进行比较，来确定事件是否已经发生。
9.根据权利要求8所述的信息处理装置，其中在确定事件已经发生的情况下，所述事件发生确定单元经由输出设备输出确定结果。
10.根据权利要求1所述的信息处理装置，还包括预测模型生成单元，所述预测模型生成单元基于由所述量化信息生成单元生成的指示由多个工人执行的作业的生产量的生产量数据和指示每个工人的作业能力的作业特征量数据，来生成预测所述工人与生产量之间的关系的预测模型。
11.根据权利要求10所述的信息处理装置，其中所述预测模型生成单元还通过使用指示每个工人的个人信息的个人特征量数据来生成所述预测模型。
12.根据权利要求10所述的信息处理装置，还包括预测处理单元，所述预测处理单元通过使用所述预测模型来预测将由工人的组合实现的所述作业线上的生产量。
13.一种信息处理方法，包括：
至少基于作业区域中的工人的位置信息的时间序列数据，来识别所述工人的作业内容和作业时间；以及
基于与识别的作业内容相对应的作业线上的生产量的时间序列数据和所述工人的作业时间，来生成定量地表示所述工人的作业状况的量化信息。
14.一种作业评估系统，包括：
位置信息获取设备，其至少获取作业区域中的工人的位置信息作为时间序列数据；
生产量获取设备，其获取作业区域中的作业线上的生产量作为时间序列数据；以及
信息处理装置，包括作业识别单元，所述作业识别单元基于作业区域中的所述工人的位置信息的时间序列数据，来识别所述工人的作业内容和作业时间；以及
量化信息生成单元，其基于与识别的作业内容相对应的作业线上的生产量的时间序列数据和所述工人的作业时间，来生成定量地表示工人的作业状况的量化信息。
CN201880096527.5A 2018-08-23 2018-08-23 信息处理装置、信息处理方法和作业评估系统 Withdrawn CN112567400A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/031188 WO2020039559A1 (ja) 2018-08-23 2018-08-23 情報処理装置、情報処理方法及び作業評価システム

Publications (1)

Publication Number Publication Date
CN112567400A true CN112567400A (zh) 2021-03-26

Family

ID=69592835

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880096527.5A Withdrawn CN112567400A (zh) 2018-08-23 2018-08-23 信息处理装置、信息处理方法和作业评估系统

Country Status (3)

Country Link
US (1) US20210166180A1 (zh)
CN (1) CN112567400A (zh)
WO (1) WO2020039559A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113128876A (zh) * 2021-04-22 2021-07-16 北京房江湖科技有限公司 基于图像的对象管理方法、装置及计算机可读存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7272128B2 (ja) * 2019-06-14 2023-05-12 オムロン株式会社 情報処理装置、情報処理方法、情報処理プログラム、および記録媒体
JP2022048017A (ja) * 2020-09-14 2022-03-25 株式会社東芝 作業推定装置、方法およびプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06348720A (ja) * 1993-06-14 1994-12-22 Toshiba Corp 生産開発管理表示装置
JP2007323199A (ja) * 2006-05-30 2007-12-13 Omron Corp 生産管理装置、生産管理方法、生産管理プログラム、およびこれを記録した記録媒体、ならびに生産システム
JP5159263B2 (ja) * 2007-11-14 2013-03-06 株式会社日立製作所 作業情報処理装置、プログラム及び作業情報処理方法
JP2011191836A (ja) * 2010-03-12 2011-09-29 Hitachi Ltd 装置操作情報分析装置および作業者作業内容分析方法
WO2013035687A1 (ja) * 2011-09-05 2013-03-14 株式会社Ｔｅｃａｐｏ 作業管理システム、作業管理端末、プログラム及び作業管理方法
WO2016171213A1 (ja) * 2015-04-22 2016-10-27 栄司 田中 生産管理装置
JP6764776B2 (ja) * 2016-12-15 2020-10-07 株式会社日立製作所 生産管理支援装置、生産管理支援方法、及び生産管理支援プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113128876A (zh) * 2021-04-22 2021-07-16 北京房江湖科技有限公司 基于图像的对象管理方法、装置及计算机可读存储介质

Also Published As

Publication number Publication date
US20210166180A1 (en) 2021-06-03
WO2020039559A1 (ja) 2020-02-27

Similar Documents

Publication Publication Date Title
CN110738135B (zh) 一种工人作业工步规范视觉识别判定与指导方法及系统
CN107679471B (zh) 基于视频监控平台的室内人员空岗检测方法
JP5927691B2 (ja) エリアモニタリングシステム
US20090195382A1 (en) Video sensor and alarm system and method with object and event classification
CN112567400A (zh) 信息处理装置、信息处理方法和作业评估系统
CN110889339B (zh) 基于头肩检测的危险区域分级预警方法与系统
WO2016088413A1 (ja) 情報処理装置、情報処理方法およびプログラム
US10037504B2 (en) Methods for determining manufacturing waste to optimize productivity and devices thereof
JP4430027B2 (ja) 画像処理装置、監視カメラ及び画像監視システム
US11935297B2 (en) Item monitoring for doorbell cameras
CN111581436B (zh) 目标识别方法、装置、计算机设备和存储介质
CN101315326B (zh) 烟雾侦测方法与装置
US20180165622A1 (en) Action analysis device, acton analysis method, and analysis program
CN112101288A (zh) 安全帽佩戴检测方法、装置、设备及存储介质
JP2018152729A (ja) 被監視空間の状態監視方法及び装置
CN110895716A (zh) 检查装置以及机器学习方法
JP2007114885A (ja) 画像の類似性による分類方法及び装置
CN115190277A (zh) 施工区域的安全监控方法、装置、设备及存储介质
CN112936342A (zh) 基于人体姿态识别算法的实体机器人动作评测系统及方法
KR20220030548A (ko) 영상 분석 기반 작업 동작 인식 장치 및 방법
JP2022036825A (ja) 画像処理装置、画像処理方法およびプログラム
JP2021125183A (ja) 作業負荷分析装置、作業負荷分析方法、プログラム
CN110135744A (zh) 建筑工人安全行为习惯评价方法
CN114399698B (zh) 一种基于智能手表的洗手质量评分方法及系统
US11544931B2 (en) Machine learning based human activity detection and classification in first and third person videos

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20210326