CN110072454A - 生产管理设备、方法以及程序 - Google Patents

生产管理设备、方法以及程序 Download PDF

Info

Publication number
CN110072454A
CN110072454A CN201880004444.9A CN201880004444A CN110072454A CN 110072454 A CN110072454 A CN 110072454A CN 201880004444 A CN201880004444 A CN 201880004444A CN 110072454 A CN110072454 A CN 110072454A
Authority
CN
China
Prior art keywords
activity
subject
cognition
worker
emotion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880004444.9A
Other languages
English (en)
Other versions
CN110072454B (zh
Inventor
小竹康代
中岛宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority claimed from PCT/IB2018/051277 external-priority patent/WO2018158702A1/en
Publication of CN110072454A publication Critical patent/CN110072454A/zh
Application granted granted Critical
Publication of CN110072454B publication Critical patent/CN110072454B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0639Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06398Performance of employee with respect to a job function
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02405Determining heart rate variability
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/053Measuring electrical impedance or conductance of a portion of the body
    • A61B5/0531Measuring skin impedance
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1118Determining activity level
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7275Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20Workers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20Workers
    • A61B2503/22Motor vehicles operators, e.g. drivers, pilots, captains
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7285Specific aspects of physiological measurement analysis for synchronising or triggering a physiological measurement or image acquisition with a physiological event or waveform, e.g. an ECG signal
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Business, Economics & Management (AREA)
  • Psychiatry (AREA)
  • Human Resources & Organizations (AREA)
  • Physiology (AREA)
  • Educational Technology (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Primary Health Care (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Epidemiology (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Cardiology (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)

Abstract

在不依赖管理者的经验或直觉的情况下为工人恒定提供适当干预,以便改善并提高生产力。在操作期间,从工人WK1、WK2和WK3获得的生命迹象测量数据和运动测量数据用作主要指标。分开生成的主要指标和学习数据用于估计工人的情绪和认知。所估计的情绪和认知用作辅助指标。分开生成的辅助指标和关系表达式用于估计工人的生产力。生产力估计的变化与被定义提供干预的条件的阈值进行比较。在确定生产力估计的变化超过阈值时,给工人提供干预。

Description

生产管理设备、方法以及程序
技术领域
本发明涉及如下生产管理设备、方法以及程序,其在涉及由工人执行的操作的生产线中使用。进一步地,本发明涉及驾驶辅助设备、方法和程序以及保健支持设备、方法和系统。
背景技术
诸如生产线这样的各种设施中的设备故障的早期检测是防止操作效率降低的关键。由此,已经开发用于通过例如以下方式来检测设备故障的迹象的系统,其中,从多个传感器获得表示设备的操作状态的测量数据,并且将所获得的测量数据与预生成的学习数据进行比较(例如,参考专利文献1)。
在涉及由工人执行的操作的生产线中,已知为影响生产力(或具体为生产的质量和数量)的因素包括4M(机器(machine)、方法(method)、材料(material)以及人(men))因素。已经重复改善并提高这些因素中的三个(即,机器、方法以及材料(3M))来提高生产力。然而,因素“人”取决于工人的技能水平、天赋以及身体和精神状态。通常,管理者视觉观察工人的身体和精神状态,并且酌情干预工人,以维持并提高生产力。
引用列表
专利文献
专利文献1:日本专利No.5530019
发明内容
技术问题
然而,观察工人的身体和精神状态的该技术对于准确确定影响生产力的工人的身体和精神状态依赖管理者的经验或直觉。该技术无法总是准确确定工人的身体和精神状态。而且,在成功确定工人的身体和精神状态的变化之后,该技术对于与干预的细节和时机有关的决策还依赖管理者。干预无法总是适于以稳定方式改善并提高生产力。
响应于上述问题,本发明的一个或更多个方面致力于生产管理设备、方法以及程序,该生产管理设备、方法以及程序允许在不依赖管理者的经验或直觉的情况下给工人恒定提供适当干预并改善且提高生产力。进一步地,现有技术已经尝试提高驾驶中的安全性。然而,存在已知技术不将驾驶员的状态以及为了进一步提高安全性而如何以客观且可重复方式获得并使用该状态准确地考虑在内的问题。仍然进一步地,已知用于支持人的保健的保健装置;然而,这些装置不将人的准确状态以及如何可以以客观且可重复方式获得并使用该状态以便有助于人的健康状况的改善考虑在内。
技术方案
响应于如由发明人识别的上述问题,本发明的第一方面提供用于生产管理设备、生产管理方法或生产管理程序,其管理生产线,该生产线涉及由工人执行的操作。该设备或方法包括:活动获得单元或处理,该活动获得单元或处理用于获得表示工人在操作期间的活动的信息;第一估计单元或处理,该第一估计单元或处理用于基于所获得的表示活动的信息和第一学习数据来估计工人在操作期间的情绪和认知,所获得的表示活动的信息用作主要指标,该第一学习数据表示工人的活动与工人的情绪之间的关系以及工人的活动与工人的认知之间的关系;第二估计单元或处理,该第二估计单元或处理用于基于所估计的情绪和认知以及第二学习数据来估计工人的生产力,所估计的情绪和认知各用作辅助指标,该第二学习数据表示工人的生产力与工人的情绪和认知之间的关系;以及干预确定单元或处理,该干预确定单元或处理用于基于由第二估计单元估计的生产力和提供干预的预定条件,来确定要给工人提供的干预(优选地为其时机和细节)。
在根据本发明的第二方面的设备、方法或程序中,干预确定单元包括:第一确定单元,该第一确定单元确定要在由第二估计单元估计的生产力被确定为不满足第一条件时给工人提供第一干预;和第二确定单元,该第二确定单元确定:在提供第一干预之后确定为由第二估计单元估计的生产力不满足第二条件时,要给工人提供与第一干预不同的第二干预(或由高度准确的测量间接获得,还进一步参见下文)。
在根据本发明的第三方面的设备、方法或程序中,第一确定单元确定要给工人提供视觉或听觉刺激,作为第一干预,并且第二确定单元确定要给工人提供触觉刺激,作为第二干预(通常,第二干预与第一干预不同,比如,在干预的时机和细节/性质当中的至少一个方面)。
在根据本发明的第四方面的设备、方法或程序中,干预确定单元还包括第三确定单元,该第三确定单元确定要在由第二估计单元估计的生产力被确定为在提供第一或第二干预之后不满足第三条件时指示工人停止操作。
为了方便起见,这里描述了被编号为A1、A2等的另外方面。
根据方面A1,提供了一种生产管理设备,该生产管理设备用于管理生产线,该生产线涉及由工人执行的操作,该生产管理设备包括:
活动获得单元,该活动获得单元被配置为获得表示工人在操作期间的活动的信息,表示工人的活动的信息是与通过至少一个活动传感器获得的至少一个生理参数有关的优选信息;
第一估计单元,该第一估计单元被配置为基于所获得的表示活动的信息和第一学习数据来估计工人在操作期间的情绪和认知,所获得的表示活动的信息用作主要指标,该第一学习数据表示工人的活动与工人的情绪之间的关系以及工人的活动与工人的认知之间的关系,其中,第一学习数据优选地包括如下数据,该数据基于表示至少一个工人的情绪的信息、表示至少一个工人的认知的信息以及表示至少一个工人的活动的信息而生成,其中,表示情绪的信息优选地与通过至少一个第一传感器获得的至少一个生理参数有关,表示认知的信息优选地与通过至少一个第二传感器获得的至少一个表示认知的参数有关,并且表示活动的信息优选地与通过至少一个第三传感器获得的至少一个生理参数有关;
第二估计单元,该第二估计单元被配置为基于所估计的情绪和认知以及第二学习数据来估计工人的生产力,所估计的情绪和认知各用作辅助指标,该第二学习数据表示工人的生产力与工人的情绪和认知之间的关系;以及
干预确定单元,该干预确定单元被配置为基于由第二估计单元估计的生产力和提供干预的预定条件,来确定要给工人提供的干预。
A2.根据方面A1的生产管理设备,其中,至少一个第一传感器、至少一个第二传感器以及至少一个第三传感器当中的至少两个传感器彼此不同。
A3.根据方面A1或A2的生产管理设备,其中,在至少一个第一传感器、至少一个第二传感器以及至少一个第三传感器当中的至少两个实质相同时,实质相同的所述至少两个传感器被根据不同的相应配置来设置。
A4.根据方面A1至A3中任意一项的生产管理设备,其中,活动传感器和至少一个第三传感器实质相同。
A5.根据方面A1至A4中任意一项的生产管理设备,其中,第二学习数据包括基于表示效能(performance)的信息、表示至少一个工人的情绪的信息以及表示至少一个工人的认知的信息生成的数据,其中,该表示效能的信息表示:与表示情绪的信息和表示认知的信息对应的效能。
A6.根据方面A1至A5中任意一项的生产管理设备,其中,干预确定单元还被配置为至少基于所估计的生产力来确定干预的时机和性质中的至少一者。
A7.根据方面A1或A6中任意一项的生产管理设备,其中,干预确定单元被配置为确定分别要在第一时间点和第二时间点向工人提供的第一干预和第二干预,其中,第一干预和第二干预彼此不同。根据上述方面中的一个的可选方面,干预确定单元被配置为确定要在由第二估计单元估计的生产力被确定为在应用之前的干预之后不满足条件时给工人提供干预。
A8.根据方面A1至A7中任意一项的生产管理设备,其中,
干预确定单元包括:
第一确定单元,该第一确定单元被配置为确定第一干预要在由第二估计单元估计的生产力被确定为不满足第一条件时给工人提供;和
第二确定单元,该第二确定单元被配置为确定:在提供第一干预之后确定为由第二估计单元估计的生产力不满足第二条件时,给工人提供与第一干预不同的第二干预要。
A9.根据方面A8的生产管理设备,其中,
第一确定单元确定要给工人提供视觉或听觉刺激,作为第一干预,并且
第二确定单元确定要给工人提供触觉刺激,作为第二干预。
A10.根据方面A8或A9的生产管理设备,其中,
干预确定单元还包括:
第三确定单元,该第三确定单元被配置为确定要在由第二估计单元估计的生产力被确定为在提供第一干预或第二干预之后不满足第三条件时指示工人停止操作。
A11.一种系统,该系统包括根据方面A1至A10中任意一项的生产管理设备以及通过制造设备获得的至少一个物品。
注意,像方面A2至A10的优选方面还适用于下面描述的方面,并且通常还适用于另外的下面描述的实施方式。
A12.一种要由生产管理设备实施的生产管理方法,该生产管理设备管理生产线,该生产线涉及由工人执行的操作,方法包括以下步骤:
获得表示工人在操作期间的活动的信息,表示工人的活动的信息优选地包括与通过至少一个活动传感器获得的至少一个生理参数有关的信息;
基于所获得的表示活动的信息和第一学习数据来估计工人在操作期间的情绪和认知,所获得的表示活动的信息用作主要指标,该第一学习数据表示工人的活动与工人的情绪之间的关系以及工人的活动与工人的认知之间的关系,其中,第一学习数据优选地包括如下数据,该数据基于表示至少一个工人的情绪的信息、表示至少一个工人的认知的信息以及表示至少一个工人的活动的信息而生成,其中,表示情绪的信息优选地与通过至少一个第一传感器获得的至少一个生理参数有关,表示认知的信息优选地与通过至少一个第二传感器获得的至少一个表示认知的参数有关,并且表示活动的信息优选地与通过至少一个第三传感器获得的至少一个生理参数有关;
基于所估计的情绪和认知以及第二学习数据来估计工人的生产力,所估计的情绪和认知各用作辅助指标,该第二学习数据表示工人的生产力与工人的情绪和认知之间的关系;以及
基于由第二估计单元估计的生产力和提供干预的预定条件来确定干预工人的时机和干预的细节。
A13.一种生产管理程序,该生产管理程序使得处理器用作在根据方面A1至A12中任意一项的生产管理设备中所包括的单元。
A14.一种用于提供驾驶辅助的驾驶辅助设备,该驾驶辅助设备包括:
活动获得单元,该活动获得单元被配置为获得表示主体在驾驶车辆期间的活动的信息,表示主体的活动的信息优选地包括与通过至少一个活动传感器获得的至少一个生理参数有关的信息;
第一估计单元,该第一估计单元被配置为基于所获得的表示活动的信息和第一学习数据来估计主体在驾驶期间的情绪和认知,所获得的表示活动的信息用作主要指标,该第一学习数据表示主体的活动与主体的情绪之间的关系以及主体的活动与主体的认知之间的关系;
第二估计单元,该第二估计单元被配置为基于所估计的情绪和认知以及第二学习数据来估计主体的效能,所估计的情绪和认知各用作辅助指标,该第二学习数据表示主体的效能与主体在驾驶时的情绪和认知之间的关系,其中,第一学习数据优选地包括如下数据,该数据基于表示至少一个主体的情绪的信息、表示至少一个主体的认知的信息以及表示至少一个主体的活动的信息而生成,其中,表示情绪的信息优选地与通过至少一个第一传感器获得的至少一个生理参数有关,表示认知的信息优选地与通过至少一个第二传感器获得的至少一个表示认知的参数有关,并且表示活动的信息优选地与通过至少一个第三传感器获得的至少一个生理参数有关;以及
干预确定单元,该干预确定单元被配置为基于由第二估计单元估计的效能和提供干预的预定条件,来确定要给主体提供的干预。
A15.一种用于提供驾驶辅助的驾驶辅助方法,该方法包括以下步骤:
获得表示主体在驾驶车辆期间的活动的信息,表示主体的活动的信息优选地包括与通过至少一个活动传感器获得的至少一个生理参数有关的信息;
基于所获得的表示活动的信息和第一学习数据来估计主体在驾驶期间的情绪和认知,所获得的表示活动的信息用作主要指标,该第一学习数据表示主体的活动与主体的情绪之间的关系以及主体的活动与主体的认知之间的关系,其中,第一学习数据优选地包括如下数据,该数据基于表示至少一个主体的情绪的信息、表示至少一个主体的认知的信息以及表示至少一个主体的活动的信息而生成,其中,表示情绪的信息优选地与通过至少一个第一传感器获得的至少一个生理参数有关,表示认知的信息优选地与通过至少一个第二传感器获得的至少一个表示认知的参数有关,并且表示活动的信息优选地与通过至少一个第三传感器获得的至少一个生理参数有关;
基于所估计的情绪和认知以及第二学习数据估计主体的效能,所估计的情绪和认知各用作辅助指标,该第二学习数据表示主体的效能与主体在驾驶时的情绪和认知之间的关系;以及
基于由第二估计单元估计的效能和提供干预的预定条件,来确定要给主体提供的干预。
A16.一种用于主体的保健支持的设备,设备包括:
活动获得单元,该活动获得单元被配置为获得表示主体在执行操作时的活动的信息,表示主体的活动的信息优选地包括与通过至少一个活动传感器获得的至少一个生理参数有关的信息;
第一估计单元,该第一估计单元被配置为基于所获得的表示活动的信息和第一学习数据来估计主体在执行操作期间的情绪和认知,所获得的表示活动的信息用作主要指标,该第一学习数据表示主体的活动与主体的情绪之间的关系以及主体的活动与主体的认知之间的关系;
第二估计单元,该第二估计单元被配置为基于所估计的情绪和认知以及第二学习数据来估计主体的效能,所估计的情绪和认知各用作辅助指标,该第二学习数据表示主体的效能与主体在驾驶时的情绪和认知之间的关系,其中,第一学习数据优选地包括如下数据,该数据基于表示至少一个主体的情绪的信息、表示至少一个主体的认知的信息以及表示至少一个主体的活动的信息而生成,其中,表示情绪的信息优选地与通过至少一个第一传感器获得的至少一个生理参数有关,表示认知的信息优选地与通过至少一个第二传感器获得的至少一个表示认知的参数有关,并且表示活动的信息优选地与通过至少一个第三传感器获得的至少一个生理参数有关;以及
干预确定单元,该干预确定单元被配置为基于由第二估计单元估计的效能和提供干预的预定条件,来确定要给主体提供的干预。
A17.根据方面A16的用于主体的保健支持的设备,其中,执行操作包括:执行与机器的交互操作和执行身体锻炼当中的至少一者。
A18.一种用于主体的保健支持的方法,该方法包括以下步骤:
获得表示主体在执行操作时的活动的信息,表示主体的活动的信息优选地包括与通过至少一个活动传感器获得的至少一个生理参数有关的信息;
基于所获得的表示活动的信息和第一学习数据来估计主体在执行操作期间的情绪和认知,所获得的表示活动的信息用作主要指标,该第一学习数据表示主体的活动与主体的情绪之间的关系以及主体的活动与主体的认知之间的关系,其中,第一学习数据优选地包括如下数据,该数据基于表示至少一个主体的情绪的信息、表示至少一个主体的认知的信息以及表示至少一个主体的活动的信息生成,其中,表示情绪的信息优选地与通过至少一个第一传感器获得的至少一个生理参数有关,表示认知的信息优选地与通过至少一个第二传感器获得的至少一个表示认知的参数有关,并且表示活动的信息优选地与通过至少一个第三传感器获得的至少一个生理参数有关;
基于所估计的情绪和认知以及第二学习数据估计主体的效能,所估计的情绪和认知各用作辅助指标,该第二学习数据表示主体的效能与主体在驾驶时的情绪和认知之间的关系;以及
基于由第二估计单元估计的效能和提供干预的预定条件来确定要给主体提供的干预。
A19.一种包括指令的计算机程序,在所述指令在计算机上执行时,致使计算机执行根据方面A12、A15或A18中任意一项所述的步骤。
A20.一种用于处理由主体执行任务时的效能的设备(或一种用于确定向执行任务的主体施加的干预的设备),该设备包括:
活动获得单元,该活动获得单元被配置为获得表示主体在执行任务期间的活动的信息,表示主体的活动的信息优选地包括与通过至少一个活动传感器获得的至少一个生理参数有关的信息;
第一估计单元,该第一估计单元被配置为基于所获得的表示活动的信息和第一学习数据来估计主体在操作期间的情绪和认知,所获得的表示活动的信息用作主要指标,该第一学习数据表示主体的活动与主体的情绪之间的关系以及主体的活动与主体的认知之间的关系,其中,第一学习数据优选地包括如下数据,该数据基于表示至少一个主体的情绪的信息、表示至少一个主体的认知的信息以及表示至少一个主体的活动的信息生成,其中,表示情绪的信息优选地与通过至少一个第一传感器获得的至少一个生理参数有关,表示认知的信息优选地与通过至少一个第二传感器获得的至少一个表示认知的参数有关,并且表示活动的信息优选地与通过至少一个第三传感器获得的至少一个生理参数有关;
第二估计单元,该第二估计单元被配置为基于所估计的情绪和认知以及第二学习数据来估计主体的生产力,所估计的情绪和认知各用作辅助指标,该第二学习数据表示主体的生产力与主体的情绪和认知之间的关系;以及
干预确定单元,该干预确定单元被配置为基于由第二估计单元估计的生产力和提供干预的预定条件,来确定要给主体提供的干预。
注意,对于工人陈述的内容适用于主体,反之亦然。
有益效果
根据本发明的第一方面的设备、方法或程序基于表示工人在操作期间的活动的、用作主要指标的信息以及与第一指标分开生成的第一学习数据,来估计工人的情绪和认知,并且基于作为辅助指标的所估计的情绪和认知以及与辅助指标分开生成的第二学习数据,来估计工人的生产力。然后,使用生产力估计和提供干预的预定条件来确定用于工人的干预(优选地为干预的时机和细节)。这使得能够在不依赖管理者的经验或直觉的情况下,以及时方式给工人恒定地提供适当干预,并且以稳定方式改善并提高生产力。显著地,这自主并以客观且可重复方式实现。
根据本发明的第二方面的设备、方法或程序在工人的生产力的估计被确定为不满足第一条件时给工人提供第一干预,并且在提供第一干预之后确定为工人的生产力估计不满足第二条件时,给工人提供与第一干预不同的第二干预。由此,根据工人的生产力估计,干预以逐步方式被执行多次。这允许工人有效地恢复生产力。
根据本发明的第三方面的设备、方法或程序向工人提供视觉或听觉刺激,作为第一干预,并且向工人提供触觉刺激,作为第二干预。这样,以逐步方式提供逐渐变强的干预。这在降低任意干预对工人的精神状态的不利影响的同时允许工人恢复生产力。
根据本发明的第四方面的设备、方法或程序在工人生产力的估计被确定为在提供第一或第二干预之后不满足第三条件时指示工人停止操作。这例如允许处于差身体状况的工人以及时方式休息,并且有效地维持工人的健康和产品质量这两者。
本发明的上述方面提供生产管理设备、方法以及程序,该生产管理设备、方法以及程序使得能够在不依赖管理者的经验或直觉的情况下给工人恒定提供适当干预,并且以稳定方式改善且提高生产力。
根据另外方面,可以提高驾驶的安全性,因为可以通过设备客观地获得驾驶员的状态,并且该准确状态可以用于提供驾驶辅助,由此提高安全性。仍然进一步地,人的准确状态可以由保健支持设备来客观地获得,使得可以改善人的健康状况。
附图说明
图1是根据本发明的实施方式的生产管理系统的示意图。
图2是示出了在图1所示的系统中包括的示例情绪输入装置和示例测量装置的图。
图3是示出了在图1所示的系统中包括的另一个测量装置的图。
图4是在图1所示的系统中安装的生产管理设备的功能框图。
图5是示出了由图4所示的生产管理设备执行的情绪学习的过程和细节的流程图。
图6是示出了由图4所示的生产管理设备执行的认知学习的过程和细节的流程图。
图7是示出了用于在图5所示的情绪学习模式下生成并存储情绪学习数据的过程的前半部分及其细节的流程图。
图8是示出了用于在图5所示的情绪学习模式下生成并存储情绪学习数据的过程的后半部分及其细节的流程图。
图9是示出了用于在图6所示的认知学习中生成并存储学习数据的过程的前半部分及其细节的流程图。
图10是示出了用于描述认知估计的示例工作处理的图。
图11是示出了由图4所示的生产管理设备执行的生产管理的过程和细节的流程图。
图12是示出了图11所示的过程中的情绪估计及其细节的流程图。
图13是示出了图11所示的过程中的认知估计及其细节的流程图。
图14是示出了图11所示的过程中的干预控制及其细节的流程图。
图15是描述了图14所示的干预控制的第一示例的图。
图16是描述了图14所示的干预控制的第二示例的图。
图17是描述了借助图2所示的情绪输入装置输入的情绪信息的定义的图。
图18是示出了借助图1所示的系统中的情绪输入装置获得的情绪信息的示例输入结果的图。
图19是示出了借助图1所示的系统中的情绪输入装置输入的情绪信息的分类的图。
图20是示出了借助图1所示的系统中的情绪输入装置输入的情绪信息的变化的图。
图21例示了良好地适于人与装置/机器交互的技术应用的精神状态模型的框图。
图22示出了可以如何用客观且可重复测量的方式测量认知和情绪状态。
图23示出了客观且可重复测量的示例。
具体实施方式
此外,本发明基于以下认识,比如影响生产力(或效能)的人类因素基于人的精神状态。为了理解该事实,优选使用将人的不同类型的状态考虑在内的人(即,他的/她的精神状态)的适当模型,其中,状态可由适当传感器直接或间接测量。由此,精神状态可以客观且系统地观察,而且鉴于所预期的技术应用来估计。
更详细地,为了允许将精神状态客观且系统地考虑在内的技术应用,精神状态可以由人的认知状态(在下文中,还为认知)和情绪状态(在下文中,还为情绪)的组合来建模。如下面还进一步讨论的,人的认知状态与例如表示人在执行特定活动时比如基于经验(例如,由实践)和知识(例如,由训练)获取的能力的水平的状态有关。因为认知状态与任务由人执行直接有关,所以认知状态可直接测量。情绪状态在过去被唯一地认为是主观心理状态,该状态无法例如由像传感器的技术装置客观建立。然而,其他(最近)研究导致这种老观点的修订,并且实际上示出人的情绪状态被假定为是本能且在生理上(即,不是在文化上)与众不同的;进一步地,还基于唤醒(arousal)(即,对刺激的反应),而且如稍后参照图22提及的,情绪可以从通过合适的传感器客观地获得的生理参数的测量间接获得。
图21示出了精神状态的模型,该模型根据发明人可以用于例如处理影响(比如生产力)的人类或人因素的技术应用。具体地,模型包括彼此交互的认知部210和情绪部520。认知部510和情绪部520表示人可以具有和/或可以由模型表示的一组认知状态和相应地一组情绪状态。认知部与外部世界直接相互联系(虚线560表示与外部世界的分离),其中,模型表示为输入540和输出550。输入540表示可以向人提供的任意刺激(根据该示意例示,经由输入“联接端口”540),并且输出550(用于测量生理参数的输出“联接端口”的示意例示)表示由人产生且由此可见可测量的任意生理参数。而且如稍后描述的干预可以被视为经由所描绘模型的输入联接端口540提供的刺激。情绪部可以被间接测量,因为根据图21的模型,输出至少间接经由认知状态而取决于特定情绪状态:参见例如示出情绪与认知之间的交互的线525(和515)以及提供输出的线536。换言之,情绪状态将可测量为输出,即使不直接由于与认知部的交互。认知部和情绪部与彼此如何交互在这里不相关。对本讨论重要的内容是作为认知状态和情绪状态的组合的结果,存在到人的输入(例如,一个或更多个刺激)以及来自人的输出,而不管这些状态/部与彼此如何交互。换言之,模型可以被视为具有客观可测量输入和输出的黑盒,其中,输入和输出与认知和情绪状态因果地相关,但用于这种因果关系的内部机制在这里不相关。
尽管没有模型的内部机制的知识,但发明人已经注意到,如还将在下文中变得明显的,这种模型在工业中的实际和技术应用中可以是有用的,像比如在想要处理影响生产力的人类/人因素时,或在想要取决于人类效能控制特定生产系统参数时。
图22示出了可以如何用客观且可重复测量的方式来测量认知和情绪状态,其中,圆、三角形以及十字表示所列测量方法分别很合适、不那么合适(比如由于不准确度)或(目前)被认为不合适。其他技术也是可用的,像比如用于识别面部表达或与特定情绪状态关联的面部表达的图案的图像识别。通常,可以由适当的方法来测量认知和情绪状态,其中,确定被认为适于测量给定状态的特定变量,然后通过合适传感器,根据给定方法来测量该变量。如还从图22变得明显的,可以通过由至少一个情绪状态传感器测量相应生理参数来获得情绪状态,该至少一个情绪状态传感器优选地根据情绪状态传感器配置来设置,然后可以由优选地根据认知状态传感器配置设置的至少一个认知状态传感器测量认知状态,其中,至少一个情绪状态传感器与至少一个认知状态传感器不同,和/或情绪状态传感器配置与认知状态传感器配置不同。换言之,情绪传感器是适于至少测量与情绪有关的生理参数的传感器,并且认知传感器是适于至少测量与认知有关的生理参数的传感器。比如,参照图22,可以为了估计或确定认知状态和/或情绪状态而执行LoS(视线)测量,然而,因为所用的参数/信号取决于是想要确定情绪还是确定认知而不同,所以传感器的配置不同。用于获得LoS的传感器的示例由照相机和图像处理单元(与照相机集成或分离)来表示,其中,照相机和/或处理单元被不同地设置为获取与认知状态有关的信号(例如,以下示例中的任意一个或组合:LoS的位置、LoS的轨迹、LoS速度、眼睛跟随对象的速度、拥塞角(congestionangle)、和/或视场角等)或与情绪状态有关的信号(以下示例中的任意一个或组合:瞳孔的尺寸、眨眼的数量等)。例如,如果想要检测眨眼的数量,则照相机应被设置为获取给定数量的图像(或具有每秒给定(优选高)数量帧的视频),并且图像处理单元被设置为识别一个眨眼;在想要检测LoS的位置时,照相机可以被设置为仅获取一个图像(即使优选更多),并且图像处理单元被设置为从给定图像检测LoS位置。类似的考虑适用于与用于认知状态或情绪状态的LoS有关的其他信号;而且,如从图22直接明显的,类似的考虑适用于其他类型的信号,像与自主神经系统或肌肉骨骼系统有关的信号。关于这一点,还注意,(至少根据本知识),血压测量适于检测情绪状态,但不适于检测认知状态:由此,在这种情况下,任意血压传感器将适于获得情绪状态,并且适于获得血压的任意传感器将是情绪状态传感器的示例,而不管其配置如何。类似地,适于检测移动和运动(例如动作、动作的轨迹、动作速度、动作图案等中的任意一个或组合,参见图22)的任意传感器是认知状态传感器的示例,而不管其配置如何。由此,还如图22所示,认知状态和情绪状态可以由认知状态传感器且(相应地)和情绪状态传感器来检测,和/或在传感器本身可以相同或类似时,可以由不同配置的传感器来检测。这里,由传感器,意指用于检测身体信号的感测装置,该感测装置可能连同(必要时)处理单元一起来基于身体信号获得与认知或情绪状态有关的信息。
关于情绪状态传感器,注意,比如情绪状态可以基于(i)大脑相关参数和/或(ii)外表相关参数和/或其他参数来获得。
由合适传感器和/或传感器配置获得的大脑相关参数,还参见图22。
大脑相关参数可以例如由脑波来表示,该脑波例如通过检测事件相关电位ERP(被定义为对刺激的刻板电生理反应)由EEG来获得。更具体地,使用所施加刺激(例如,音乐、用于放松的照片、令人兴奋的事物等)与和由(初步学习/已知或对于各用户学习的)刺激诱导的ERP对应的所测量EEG图案之间的关系,可以确定EEG的特定性质是否与已知情绪状态(例如,在放松时的α波的外观)关联。换言之,根据该示例,通过观察EEG图案且具体为观察ERP,可以获得情绪状态的间接测量。对于与ERP有关的更多内容,参见例如对Event-RelatedPotential Technique,第二版,Steven J.Luck,ISBN:9780262525855的介绍。
根据另一个示例,由fMRI(functional Magnetic Resonance Imaging,功能磁共振成像)获得的大脑血流可以用作大脑相关参数:大脑的活动区域实际上可以表示一些情绪状态;例如,可以这样获得BOLD(血氧依赖水平)信号与效价和唤醒的评级的相关性,由此,实现情绪状态的间接测量(参见例如The Neurophysiological Bases of Emotion:AnfMRI Study of the Affective Circumplex Using Emotion-Denoting Words,J.Posner等人,Hum Brain Mapp.2009Mar;30(3):883-895,doi:10.1002/hbm.20553)。
还可以将上述测量方法/装置组合在一起。基于(i)的技术是准确的,但测量装置可能较大,且用户运动可能大幅受限。
(ii)外观相关参数可以比如基于以下内容从合适传感器和/或传感器配置来获得(例如还参见图22):
-面部表达(如比如由照相机捕捉的)的面部图像分析:比如,使用诸如RGB值和强度这样的像素信息,计算一个或更多个参数,包括眉毛的角度、口的角度、张口程度和/或睁眼程度;然后可以使用定义这些参数与情绪之间的关系的可用的一组模板,基于一个或更多个这种参数的组合(优选地,由硬件/软件单元自动)来确定情绪。
-语音表达的声学分析:与面部表达类似,可以使用定义参数与情绪之间的关系的可用的一组模板来确定情绪。
还可以使用面部表达与语音表达的组合。在信息量增加时(例如,在所用的参数量增加时或(数学上来说)在使用更高维数的信息时),以更高/提高的准确度估计基于外表相关参数估计的情绪。用更简单的话说,在声学分析和面部分析都被执行时和/或在基于与眼眉、口的角度等有关的多个分析执行面部分析时,可以提高准确度。然而,用于分析中的参数越多,则针对处理所需的计算资源就越大;而且,对于各用户提供/设置照相机或请求语音表达取决于情况可能不总是可行的。由此,更高的准确度需要付出在用于这种分析的计算资源和/或照相机/机器的复杂度方面的代价。
(iii)可能由其他传感器和/或不同配置的传感器(参见例如图22)获得的其他参数可以用于估计情绪,像比如:
-由眼睛图像识别(即,对主体眼睛的所拍摄图像进行的分析)得到的瞳孔尺寸,其中,时间分辨率TR优选地高于200Hz,例如;
-由ECG检测的心电活动,该心电活动优选地具有高于500Hz的TR,例如。
基于(iii)的技术是准确的,但在分析中可能需要大计算资源。
如所预期的,认知可以比如由LoS测量来估计,该估计通过特定传感器或由与用于情绪的传感器实质相同但被不同设置(根据不同配置设置)为使得与认知对应地检测生理参数的传感器来进行。更一般地,认知传感器是适于获得与认知有关的生理参数的传感器。例如,与认知有关的这种生理参数可以是LoS参数、EEG参数、移动和/或运动参数中的一个或组合,这些参数像例如:
如还预期的,可以通过测量比如LoS的位置和/或LoS的轨迹和/或LoS速度和/或跟随对象的速度和/或拥塞角和/或视场角,来获得与认知相关的LoS参数(包括眼睛移动)。这些参数可以由用照相机进行的眼睛图像识别来检测;
-进一步参照图22,EEG相关参数可以通过比如测量以下内容来获得:波长α和/或β(α波和/或β波)的增大和减小、波长比α/β;这些参数由此可以由EEG测量来检测;
-进一步参照图22,可以通过测量比如以下内容来获得与认知有关的移动和/或运动参数:动作、和/或动作的轨迹、和/或动作速度、和/或动作图案、和/或手部移动。这些参数可以通过以下方式来检测:用加速度传感器来测量由目标的移动或由通过照相机捕捉目标的视频(顺序图像)中的移动/运动识别生成的加速度;通过针对已知照片和/或视频比较或评价所拍摄照片和/或视频,对于执行操作的主体获得认知。如还在下面进一步参照工厂自动化讨论的,该示例中的特征量可以由误操作的数量或发生率、或由与预定位置偏离的对象(零件)的数量来表示。在车辆/驾驶应用的情况下,认知传感器可以是如下记录装置,该记录装置用于把车辆操作(诸如加速、制动、转向操作等)连同车辆环境图像(即,车辆外部的图像)一起记录。在这种情况下,比如,误操作的数量或发生率通过将标准操作(例如,停止在停止线之前)与响应于在车辆环境中发生的外部事件(例如,交通信号变成黄色或红色)的所检测操作进行比较来获得。
进一步地,可以通过适于测量生命迹象和/或运动相关参数的活动传感器来获得活动,并且该活动传感器例如包括用于测量心电活动H和/或皮肤电位活动G和/或运动BM和/或活动量Ex的传感器。活动传感器的示例如在图3中被称为可穿戴测量装置3,并且稍后进一步描述。类似地,安装在主体的头盔或帽子上的照相机4(再次参见图3)可以(通过例如目的在于检测移动的图像处理)用作检测表示与主体的活动有关的信息的运动相关参数的传感器。仍然进一步地,用于检测血压的传感器可以用作活动传感器。比如,如稍后还描述的,活动传感器可以是能够测量心电活动H、皮肤电位活动G、运动BM、活动量Ex等的传感器。参照心电活动H的示例,活动传感器(或适于测量心电活动的合适配置的传感器)能够测量心跳间隔(R-R间隔或RRI)、和/或RRI的功率谱的高频分量(HF)和/或低频分量(LF),所需的时间分辨率(TR)优选地被设置为100Hz至200Hz。这种参数比如可以通过ECG装置和/或脉冲波装置来获得。如上面讨论的,参见例如用于测量情绪的其他参数(iii),心脏活动也可以用于估计情绪;然而,用于测量与情绪有关的心脏活动的传感器必须与相同传感器在用于测量与由主体执行的活动有关的心脏活动时不同地设置;在这里讨论的示例中,比如,100至200Hz的TR对于测量活动是足够的,而500Hz或更多的TR对于测量情绪是优选的。这意味着,可以用比情绪测量少的计算资源来实现该活动测量。不管对于获得活动信息和情绪信息必要的复杂度如何,两者一旦被获得,就都可以使用,以便生成表示活动信息与情绪信息之间的关系的学习数据。
参考情绪,由包括(i)至(iii)的上述技术中的任意一个或任意组合,可以感测情绪状态;然而,为了准确感测情绪,状态的波动或状态的连续变化是要考虑的重要信息,它们需要较高时间分辨率和高维信息(由此导致高计算资源)。类似的考虑应用于认知传感器。简言之,感测情绪和认知可能需要计算上要求高的传感器单元,并且通常需要复杂传感器;进一步地,这种情绪和/或认知传感器可能繁琐,或不容易部署在特定环境中,特别是对于日常使用或在更多主体紧密交互时。
与其相反,活动传感器是如下传感器,其比情绪传感器需要更小信息量和/或更少处理负载(包括处理时间)和/或更小时间分辨率,和/或比情绪传感器在配置上更简单和/或更不复杂。
如所预期的,各种传感器适于获得这种测量,并且这里不全部描述它们,因为只要它们提供图22所列参数中的任意一个或适于估计认知和/或情绪状态的任意其他参数,那么它们中的任意一个就是合适的。传感器可以是可穿戴设备,例如,被包括在腕部或胸部可穿戴装置或眼镜、用于测量来自头皮的大脑活动的头盔状装置(例如,EEG/NIRS)或像PET/fMRI的大型机器中。
由此,可以通过使用如图21例示的模型对人建模,像比如工厂操作员或工人(或车辆的驾驶员、或使用保健支持装置的人等),并且可以如图22和图23所示的来收集对人的生理参数的测量。这样,如还在下文中示出的,可以提高比如生产线的生产力,提高驾驶的安全性,和改善健康状况。
上述说明被提供为例示性的,并且是理解本发明和以下实施方式/示例的预备,不对本发明和以下实施方式/示例做任何限制。
转到本发明,且为了例示起见而参考生产线的情况:可以基于第一学习数据和表示工人的活动的信息(即,从对工人的测量获得的信息,或换言之为与通过如上例示或下面进一步详细说明的至少一个活动传感器获得的至少一个生理参数有关的信息)来估计情绪和认知状态;然后可以基于所估计的认知和情绪以及第二学习数据来估计工人效能。情绪和认知估计允许获得整个精神状态的准确估计(参见例如上面讨论的模型),并且还可以更准确地估计工人生产力/效能;因此,可以确定要向工人施加适当的干预,使得可以在还将人类因素考虑在内时提高工厂生产力。重要的是,基于设备可以执行的(工人活动的)客观且可重复测量、以及具体学习数据来达到该生产力估计。下面还提供了关于估计的细节,但还参考了如下文件,2016年12月27日提交的JP2016-252368、以及由与本申请相同的申请人且在相同的日期提交的PCT申请PCT/IB2017/055272(参考/案卷编号198759),以及描述比如可以如何估计情绪状态的PCT申请PCT/IB2017/058414。
第一学习数据优选地包括如下数据,该数据基于表示至少一个工人的情绪的信息、表示至少一个工人的认知的信息以及表示至少一个工人的活动的信息来生成,其中,表示情绪的信息与通过至少一个第一传感器(例如,如上例示或下面进一步详细说明的情绪传感器)获得的至少一个生理参数有关,表示认知的信息与通过至少一个第二传感器(例如,如上面介绍且稍后进一步详细说明的一个认知传感器)获得的至少一个参数有关,并且表示活动的信息与通过至少一个第三传感器(如上例示或下面进一步详细说明)获得的至少一个生理参数有关。如上面说明的,测量活动所需的传感器比用于测量情绪和认知的传感器更不复杂和/或更不繁琐。由此,用相应合适传感器准确测量情绪和认知,并且也与所测量情绪和所测量认知对应地测量活动。所收集的测量然后用于生成第一学习数据,由此用于生成情绪与活动之间的关系以及认知与活动之间的关系。学习数据然后“现场使用”,例如在生产线中使用,在汽车中使用(或用于汽车),或在保健支持装置中使用,这取决于还在下面例示的应用。在现场,然后不必须执行与情绪和认知有关的复杂测量;执行与活动有关的更容易测量就足够了,因为情绪和认知可以基于第一学习数据来估计。虽然如此,但估计是准确的,因为第一学习数据根据准确测量而获得。由此,可以通过数量减少的传感器并通过使用简单且不复杂的传感器来估计情绪和认知。一旦情绪和认知被估计,则还可以以非常准确的方式且通过使用很少且简单的传感器来估计主体的效能/生产力,因为不仅将认知考虑在内,还将情绪考虑在内。因此,可以由很少且简单的传感器来准确获得生产力/效能(像例如制造生产力或驾驶效能或主体的效能)的估计。实际上,活动传感器还可以是可穿戴传感器,或被包括在可穿戴装置中。作为另外示例,如还在稍后讨论的,可以由像比如基于以下内容的任意一个或任意组合的其他测量获得活动信息:
-皮肤电位活动G,例如,通过测量皮肤流电响应(GSR,galvanic skin response)来获得;在与用于测量情绪状态的参数比较时,这是更容易获得的参数;
-眼睛移动EM,例如,通过测量眼睛移动速度和瞳孔尺寸(例如,基于与主体有关的所捕捉图像或视频)来获得;在这种情况下,在注意到相同或类似参数还可以用于获得情绪时(参见上述(iii)),所需TR可以等于或低于50Hz(在TR的该范围内不获得所感测参数的波动或连续变化)。与心脏活动的情况类似,与主体的活动有关的EM测量比与情绪有关的EM测量更容易获得。
-运动BM,像例如手部移动速度。这也是比与情绪有关的参数更容易获得的参数。
因此,通常,活动信息(比认知或情绪)更容易获得,因为它们可以由比对于测量情绪或认知所需的传感器更不复杂的传感器来获得,或者(在使用相同类型的传感器时)因为用于获取活动信息的传感器的配置导致比用于获取情绪或认知的配置更少的计算资源。由此,通过使用学习数据和(容易)获取的活动信息,可以获得主体的情绪状态和认知状态。作为获得所估计的情绪状态和认知的结果,可以确定或选择更准确的干预(interventions),使得可以通过将与装置交互的主体的精神状态容易地考虑在内地来方便地实现更安全的驾驶、改善的制造以及改善的健康状况。
在例示性应用中,所估计的效能可以用于:基于由第二估计单元估计的生产力和提供干预的预定条件来确定要给工人提供的干预。由此,可以方便地提高生产力(由于准确估计的工人状态,包括情绪状态),和/或可以更佳地控制并提高相应生产质量。而且这里,显著地,基于客观且可重复的测量以及特定学习数据来实现更佳的生产力/质量。换言之,一旦获得生产力,则可选地可以对与生产线(即,其部件中的一个或更多个)交互的工人施加干预,即,基于以高准确度客观估计的生产力且通过简单传感来器施加反馈。用适当确定的干预的方式,可以提高系统的整体效率,该效率取决于主体与系统或其部件之间的交互。因此,因为可以更准确地估计并通过很少且简单的传感器更重要地估计施加干该预所基于的生产力/效能,所以可以改善系统。
可选地,认知、情绪以及活动传感器当中的至少两者可以彼此不同:比如,如还从本描述变得明显的,可以将照相机用于测量情绪(例如,瞳孔的尺寸)和认知,并且可以将传感器用于测量血压或皮肤电位活动G。还可以的是,三个传感器彼此不同:例如,照相机用于确定认知,ECG用于测量情绪,而皮肤电位活动传感器用作活动传感器。如还在本描述中说明的,其他配置是明显可行的。
可选地,在情绪、认知以及活动传感器当中的至少两者实质相同时,那么实质相同的传感器被根据不同的相应配置来设置。由“实质相同”(或由“相同”),这里意指传感器具有相同类型。照相机是用于测量认知和情绪的“实质相同”传感器的一个示例:实际上,可以设置确切相同的两个不同照相机,一个用于测量情绪,另一个用于测量认知;另选地,可以将例如具有不同分辨率的两个不同照相机分别用于测量情绪和认知。在这种情况下,两个照相机的配置被不同地设置,使得一个产生情绪测量,并且另一个产生认知测量。进一步地,还可以具有用于测量情绪和认知的单个照相机,在这种情况下,结合照相机使用的处理单元和/或软件被配置为,不同地处理所拍摄的图像/视频,以便产生情绪或认知测量。仍然进一步地,可以根据用于阐述图像/视频的不同配置来不同地阐述由单个照相机拍摄的相同照片和/或视频,以产生情绪和认知测量。还参照与用于测量活动或情绪的ECG的不同配置有关的上述示例。这些是被不同地配置为产生与情绪、认知和/或运动有关的若干相应信息的同一传感器的示例中的一些。
如上面概述的,通过活动传感器测量“现场”活动。第一学习数据优选地在“现场”解决方案的部署之前获得或单独获得(例如,在解决方案在老的一组第一学习数据上运行的同时,更新后的一组第一学习数据处于单独生成的过程中)。在获得第一学习数据时,还需要由活动传感器来测量活动。现场使用的活动传感器和用于生成学习数据的活动传感器可以相同,但不需要必须相同。比如,可以想要将不同水平的准确度用于在现场或在收集用于学习的数据时测量活动,或者可以根据装置的尺寸、复杂度等将不同水平的准确度用于不同尺寸/类型的装置。
为了进一步例示这里讨论的不同传感器之间的相互关系和不同,还给出以下非限制性示例:情绪传感器可以是如上面讨论地适于测量与情绪有关的生理参数的任意传感器,也参见图22。认知传感器可以是用于测量与认知有关的任意参数的任意传感器,参见例如上述讨论和/或图22和/或还参见用于检测操作结果(实际上表示认知,即,工人的技能水平和能力)的下面讨论的监测照相机CM。由此,认知传感器适于测量与认知有关的生理参数(参见例如图22),或与主体的活动和/或活动的执行和/或活动的执行的结果有关的任意参数(通常是能够测量表示主体的认知状态的参数的传感器)。由此,如下面还进一步例示的,情绪传感器和认知传感器是适于分别提供用于人的情绪状态和认知状态的正确值的传感器,其中,“正确值”用于表示分别与情绪和认知有关的优选高度精确测量。关于活动传感器,如上所述,在学习阶段期间使用的活动传感器和/或相应配置可以与在估计阶段期间(即,现场)使用的活动传感器和/或其配置相同或不同。进一步地,活动传感器(用于学习阶段和/或估计(现场)阶段二者之一)可以(但不是必需)关于情绪和认知是不同的和/或被不同地设置(即,具有不同配置)。例如,在为了收集用于生成情绪-活动关系的测量数据(第一学习数据)而用于学习阶段中时,活动传感器可以是例如像稍后描述的测量装置3(例如,适于测量心电活动H、皮肤电位活动G、运动BM、和/或活动量Ex)、或者像稍后描述的眼睛移动(EM)监测照相机4的传感器。该同一传感器然后可以用于现场(即,估计阶段)中。换言之,活动传感器可以是适于获得与情绪状态有关的活动参数的传感器,并且该传感器可以用于学习阶段和/或估计阶段(现场)中。进一步作为示例,在为了收集用于生成认知-活动关系的测量数据而用于学习阶段中时,活动传感器可以是被包括在例如测量装置3中的三轴加速度传感器(表示例如手部移动的运动BM)或眼睛移动监测(EM)照相机4。换言之,活动传感器可以是适于获得与认知状态有关的活动参数的传感器,并且该传感器可以用于学习阶段和/或估计阶段(现场)中。在活动传感器和/或其配置取决于分别对于情绪或认知是否需要测量而对于测量活动不同时,实现更高的准确度。进一步地,同样的两个不同传感器和/或相应配置可以用于学习阶段和估计阶段(现场)这两者中:然而,这不是必要的,因为实际上在学习阶段中,可以使用不同的传感器,而在现场,这种差异无法用于获得在现场实施的更容易系统。相反的情形也是可行的,即,不同的传感器用于现场,但不用于学习阶段中。仍然进一步地,虽然所述选项配置可以是有利的,但不需要区分与情绪与认知有关的活动传感器,因为实际上,还可以使用同一活动传感器和/或相应配置,而不管是否想要学习/估计情绪或认知;在这种情况下,可以实施更简单的系统。
进一步地,第二学习数据可以可选且优选地包括如下数据,其基于表示该效能(performance)的信息、表示至少一个工人的情绪的信息、以及表示至少一个工人的认知的信息生成。表示情绪和认知的信息可以与用于生成第一学习数据的信息相同,即,不必重复测量。然而,这严格来说不是必需的,因为实际上,可以对于第一学习数据采取情绪和认知测量,并且对于第二学习数据单独采取情绪和认知测量。表示该效能的信息表示:与表示情绪的信息和表示认知的信息对应的效能,其中,效能可以如还在稍后说明的以已知方式来测量(例如,在单位时间内制造多少物品,和/或在制造中实现的质量水平;驾驶的准确度;健康状况的水平等)。
可以基于一个主体或多个主体来获得这里讨论的学习数据。在数据基于唯一一个主体获得的情况下,对其执行稍后的效能估计的该唯一一个主体可以相同,但不是必需的。另外,优选地,在给定主体执行特定任务(或在这里还为操作)时,可以对于该主体获得活动信息和情绪信息(然后对其执行学习过程)。进一步优选地,特定任务属于:包括以主体与装置之间的交互为特征的至少一个任务的一组任务。比如,如果装置是车辆,则任务可以由车辆的驾驶操作(驾驶类型的任务)来表示,并且例如通过可与驾驶兼容的传感器和/或传感器配置在主体驾驶时获得认知和情绪信息(对于生成学习数据必须的)。在另一个示例中,任务与对生产线执行操作有关(制造类型的任务),并且在主体在生产线中执行任务的同时获得认知和活动信息。在另一个示例中,任务与在主体联接到保健装置时执行的动作有关(保健相关类型的任务),并且在用户执行这种动作时获得情绪、认知以及活动信息。学习过程可以对于执行相同或不同类型的任务的一个或更多个主体对参考活动和情绪信息的数据执行。
进一步地,线制造设备可以被包括在系统中,该系统还包括通过制造设备获得的物品。
在像比如辅助驾驶或保健支持的其他例示性应用中,可以基于客观且可重复测量以及具体学习数据达到驾驶的更高安全性、更准确的保健监测或改善的健康状况。上述内容还适用于以下实施方式,使得将避免重复。
现在将参照附图描述本发明的实施方式。
实施方式1
原理
如所预期的,可能影响生产线的生产力的因素包括4M(机器、方法、材料以及人)因素。在本实施方式中,可能影响生产力的因素“人”可以被定义为,基于大脑的神经活动的情绪和认知。情绪例如是针对操作的人类动机和情绪(舒适或不适),并且在诸如小时或天这样的较短时段期间变化。认知是人类基本能力。该能力与例如对操作的人类注意力和关于操作的判断关联,并且在诸如月或年这样的较长时段期间变化。
在本实施方式中,表示与大脑的神经活动相关的人类活动的信息(诸如生命迹象和运动信息)用作主要指标(例如,在使用回归分析时,如这里使用的指标可以由自变量来表示;换言之,表示人类能力的信息在使用回归分析时可以表示自变量)。如,比如由工人输入的、表示活动的信息和情绪正确值用于估计情绪。表示活动的信息的示例包括:生命迹象和运动信息,诸如心电活动、皮肤电位活动、运动以及锻炼量。凭借情绪正确值,这里意指表示人(例如,工人)的情绪状态的值,该值被认为是正确或高度准确的。换言之,情绪正确值是与人的情绪状态有关的(优选地为高度)准确的信息。在一个示例中可以通过情绪输入装置2来获得情绪正确值。为了简单起见,如稍后在参照图2的示例中描述的,情绪输入装置2可以由人(例如,工人)将他的/她的当前情绪输入到的装置来表示。然而,还参照与图22和图23有关的上述讨论,情绪输入装置2可以比如由测量设备和/或传感器(或多个这种测量设备和/或传感器的组合)来表示,该测量设备和/或传感器能够获取情绪正确值(即,与情绪状态有关的高度准确信息),即,通过对主体进行的合适测量来获取。具体且优选地,通过适于以高精度/准确度确定这种状态的装置来获得正确情绪值(而不管所用传感器或装置的尺寸和复杂度如何;优选地,这种传感器是实现比如在可穿戴设备中包括的其他传感器更高的准确度的大复杂装置)。而且,情绪状态的间接确定(通过准确测量)和直接确定(例如,通过用户将他自己的/她自己的状态输入到装置中)这两者的组合是可行的。如稍后还进一步例示的,这里讨论的正确情绪值可以对于多个工人中的各个工人来获取。通常,情绪正确值和认知正确值可以由至少一个情绪传感器且相应地由认知传感器来获得,其中,如上解释了这种传感器。
认知使用表示人类活动的信息中的、例如表示注意力和判断的眼睛移动和手部移动的特征量作为主要指标(在例如使用回归分析时,可以由这种指标给出自变量)来估计。眼睛移动和手部移动的特征量以及认知正确值用于估计认知。表示眼睛移动的特征量的示例包括眼睛移动速度、注视坐标和注视持续时间、眨眼数量以及瞳孔尺寸的变化。表示手部移动的特征量的示例包括三轴加速度。凭借认知正确值,这里意指表示人的认知状态的信息(优选为高度准确的),该信息通过一个或更多个设备、装置和/或传感器来获取,这些设备、装置和/或传感器能够确定人所执行的操作是否如预期,例如,所检测的操作(如由这种装置/设备/传感器获取的)是否按照用于这种操作的预定模式和/或模板。用于这种装置/设备/传感器的示例由还在稍后描述的工作监测照相机CM来给出。上面给出了另外示例,参见与认知传感器有关的讨论。在例如使用回归分析时,认知正确值可以被表示为因变量。由此,在将回归分析用于情绪或认知时,可以在因变量与自变量之间找到关系,其中,因变量表示用于情绪(且相应地)和认知的正确值,并且自变量表示如适当测量的人类活动的表示。
在本实施方式中,初步对于各工人生成情绪学习数据和认知学习数据。基于上述正确值(例如,因变量)和主要指标(例如,自变量)来生成这些学习数据项。在操作期间测量工人活动的变化,并且测量数据用作主要指标。该主要指标和学习数据用于估计工人的情绪和认知中的每一个的变化。换言之,比如基于可用于一个或更多个人的数据比如由活动表示值(自变量)与情绪(且相应地)和认知的正确值(因变量)之间的回归分析来生成(第一)学习数据。一旦已经获得学习数据,则可以基于(之前生成的)学习数据和如在想要或需要估计情绪/估计的特定时间点对人检测的当前活动估计情绪和/或认知。
另外,初步对于各工人生成表示情绪和认知的变化与工人生产力的变化之间的相关性(或更一般地为情绪和认知与生产力/效能之间的相关性)的关系表达式,作为用于估计生产力的学习数据。在使用回归分析的示例中,效能(或效能的变化)可以被表示为因变量。如还在稍后说明的,可以比如通过测量生产物品的速度、和/或每小时生产多少物品、和/或产生物品的质量等,来获得表示该效能或效能的变化的信息。所估计的工人的情绪和认知的变化用作辅助指标;在回归分析的示例中,辅助指标可以表示为自变量。辅助指标和关系表达式用于估计工人当前或将来生产力的变化。换言之且作为示例,使用效能信息(作为因变量)与所估计的情绪和/或认知(作为自变量)之间的回归分析来生成(第二)学习数据。一旦获得(第二)学习数据,则可以基于如在特定时间点对于人估计的情绪和/或认知估计实际效能。
通常由产品的质量和数量来定义生产力信息。在本实施方式中,更具体地由技能水平信息和误操作频率信息来表示该信息。由例如标准操作时间与实际操作时间之间的差来表示技能水平信息。由例如实际操作时间与平均操作时间的偏差来表示误操作频率信息。
在本实施方式中,对于各工人,估计与标准操作时间与实际操作时间之间的差有关的信息、以及表示实际操作时间与平均操作时间的偏差的信息,作为操作期间的生产力信息。所估计的生产力信息和提供干预的预定条件用于:确定用于工人的干预的时机和细节。
上面对于工人说明的内容同样适用于像驾驶员或使用保健装置的人。
在驾驶员的情况下,比如,用于认知估计的正确值可以由驾驶任务被如何正确地执行来表示,这可以例如通过测量特定驾驶参数来获得,这些参数像车辆如何正确地遵循特定预定路线(例如,比较实际驾驶路线如何顺利地对应于从导航系统获得的理想路线)、车辆的控制是如何顺利(例如,任意突然方向变化是否或如何频繁地发生)、关于驾驶员识别障碍物的程度等。一个驾驶员的效能值(在用于用回归分析的方式获得学习数据的、执行驾驶时的效能的意义上)例如可以通过以下方式来获得:将比如在特定时段期间覆盖的距离与给定时段内的预期距离进行比较,或者在到达两个点时,比较与预定可用路线相比是否遵循特定路线。
在使用保健辅助装置的人的情况下,用于认知估计的正确值可以通过测量特定任务被如何执行来获得:比如,人的身体位置在行走、奔跑或坐下时如何笔直和平衡(例如,在预定图案上);在预定图案上如何顺利地进行特定移动;等。人的效能值(要用于用回归分析的方式获得学习数据)例如可以通过测量在完成若干任务中的特定任务时的效率和/或质量来获得,这些任务像比如测量在预期距离期间步行覆盖的距离;测量用于在预定时间期间完成任务的时间(例如,完成清扫房屋或业余爱好相关操作、在一小时或一天中执行的这种操作的数量)等。
如与工人的情况相同地应用其他值和这些考虑。
系统配置
根据本发明的实施方式的生产管理系统是单元生产系统。单元生产系统将产品制造过程分成多个分段(section)。生产线具有用于这些分段的工作区域,被称为单元。在各单元中,工人执行所指派分段的操作。
图1示出了包括U形生产线CS的示例单元生产系统。生产线CS包括例如与产品过程上的不同分段对应的三个单元C1、C2和C3。工人WK1、WK2和WK3被分别指派到单元C1、C2和C3。另外,任命熟练的领导WR来监督生产线CS上的整个操作。领导WR具有便携式信息终端TM,诸如智能电话或平板终端。便携式信息终端TM用于显示向领导WR提供的、用于管理生产操作的信息。
零件馈送器DS和零件馈送器控制器DC位于生产线CS的最上游。零件馈送器DS根据从零件馈送器控制器DC发布的馈送指令,以指定速率将用于组装的各种零件馈送到线CS上。另外,是生产线CS中的预定单元的单元C1具有协作机器人RB。根据来自零件馈送器控制器DC的指令,协作机器人RB与零件馈送速率协作地将零件组装成产品B1。
生产线CS中的单元C1、C2和C3分别具有监测器MO1、MO2和MO3。监测器MO1、MO2和MO3用于向工人WK1、WK2和WK3提供与它们的操作有关的指令信息以及与一种形式的干预对应的干预消息。
工作监测照相机CM安装在生产线CS上方。工作监测照相机CM捕捉图像,这些图像要用于检查由单元C1、C2和C3中的工人WK1、WK2和WK3执行的、用于产品B1、B2和B3的生产操作的结果。生产操作的结果用作生成用于认知估计的学习数据时的正确值。
为了估计工人WK1、WK2和WK3的情绪和认知,工人WK1、WK2和WK3分别具有输入和测量装置SS1、SS2和SS3。输入和测量装置SS1、SS2和SS3各包括:情绪输入装置2,该情绪输入装置2用于接收情绪正确值;测量装置3和/或眼睛监测照相机4,该眼睛监测照相机4用于测量工人的活动,该活动用作估计情绪和认知的主要指标。
例如如图2所示是智能电话或平板终端的情绪输入装置2在用应用程序进行的控制下显示输入屏幕。情绪输入屏幕使用二维坐标系示出情绪,在纵轴上是情绪唤醒,并且在横轴上是情绪效价。在工人在情绪输入屏幕上标绘与他的或她的当前情绪对应的位置时,情绪输入装置2识别表示标绘位置的坐标,作为表示工人的情绪的信息。
在二维坐标系上使用唤醒和效价表达情绪的该技术被称为罗素(Russell)环状模式模型。图17示意性示出了该模型。图18是示出借助情绪输入装置2获得的、在特定时间的情绪的示例输入结果的图。唤醒表示情绪被激活或停用二者之一以及激活至停用的程度,而效价表示情绪是舒适(愉快)或不适(不愉快)二者之一,以及舒适至不适的程度。
情绪输入装置2将作为情绪信息检测的位置坐标变换成唤醒值和效价值、以及与二维唤醒-效价坐标系的对应象限有关的信息。表示输入日期和时间的时间戳数据添加到的结果数据,作为情绪输入数据(下文中被称为标量数据)而使用无线接口借助网络NW传输到生产管理设备1。然而,如上面说明的,情绪状态可以由除了装置2之外的其他情绪传感器(如上面说明的)或与装置2组合地来获得。
测量装置3(活动传感器的示例,具体为在学习时使用的活动传感器的示例,和/或在估计时使用的活动传感器的示例)例如并入在可穿戴终端中,并且如图3所示的安装在工人的腕部上。测量装置3可以不并入在可穿戴终端中,并且可以可安装在衣服、皮带或头盔上。测量装置3测量表示与人类情绪和认知相关的人类活动的信息。表示人类活动的信息包括:生命迹象和运动信息。为了测量生命迹象和运动信息,测量装置3包括各种生命迹象传感器和运动传感器。生命迹象传感器和运动传感器的示例包括:测量心电活动H、皮肤电位活动G、运动BM以及运动量Ex的传感器。
心电活动传感器以预定周期或在所选时机测量工人的心电活动H,以获得波形数据,并且输出测量数据。例如作为多导生理记录仪的皮肤电位活动传感器以预定周期或在所选时机测量工人的皮肤电位活动G,并且输出测量数据。例如是三轴加速度传感器的运动传感器测量运动BM,并且输出表示工人的手部移动的三轴加速度测量数据。作为活动传感器的、用于测量活动量Ex的传感器输出表示身体活动的强度(代谢当量或MET)和身体活动的量(锻炼)的测量数据。生命迹象传感器的另一个示例可以是:用于测量肌肉中的电荷的肌电图仪。
眼睛移动监测照相机4是小图像传感器(活动传感器的示例,具体为在学习时使用的活动传感器的示例和/或在估计认知时使用的活动传感器的示例;而且,EM照相机4可以可选且优选地用作:用于检测与认知有关的活动信息的活动传感器,如上面说明的),并且如图3所示的安装在例如工人WK1、WK2和WK3中的各工人所戴的帽子上,或者安装在眼镜或护目镜的框架上。眼睛移动监测照相机捕捉工人的眼睛移动(EM),并且向生产管理设备1发送所捕捉的图像数据,作为测量数据。
测量装置3和眼睛移动监测照相机4中的每一个向其测量数据添加表示测量日期和时间的时间戳数据。测量装置3和眼睛移动监测照相机4各使用无线接口借助网络NW向生产管理设备1发送测量数据。
无线接口遵守例如低功率无线数据通信标准,诸如无线局域网(WLAN)和蓝牙(注册商标)。情绪输入装置2与网络NW之间的接口可以是公用移动通信网络或诸如通用串行总线(USB)电缆的信号电缆。
为了为工人WK1、WK2和WK3提供触觉干预,工人WK1、WK2和WK3分别具有刺激装置AC1、AC2和AC3。刺激装置AC1、AC2和AC3包括例如振动器,并且响应于从下面描述的生产管理设备1发送的驱动信号而振动。
现在将描述生产管理设备1的结构。图4是设备的功能框图。生产管理设备1是例如个人计算机或服务器计算机,并且包括控制单元11、存储单元12和接口单元13。
根据由网络NW定义的通信协议允许数据通信的接口单元13接收借助网络NW从输入和测量装置SS1、SS2和SS3发送的测量数据。接口单元13向便携式信息终端TM和监测器MO1、MO2和MO3发送从控制单元11输出的显示数据,而且发送从控制单元11输出到零件馈送器控制器DC的、用于生产线DC的控制命令。接口单元13还包括人机接口功能。人机接口功能接收从诸如键盘或鼠标这样的输入装置所输入的数据,并且向数据将出现在上面的显示器(未示出)输出从控制单元11输入的显示数据。
存储单元12是存储介质,并且是诸如硬盘驱动器(HDD)或固态驱动器(SSD)这样的可读且可写非易失性存储器。存储单元12包括感测数据储存器121、学习数据储存器122以及干预历史储存器123,作为用于实施方式中的存储区域。
感测数据储存器121以与已经发送对应数据的工人WK1、WK2和WK3的标识符关联的方式,存储从输入和测量装置SS1、SS2和SS3发送的数据。所发送和所存储的数据包括:表示借助情绪输入装置2输入的工人的情绪的标量数据,借助测量装置3的传感器获得的测量数据,以及从眼睛移动监测照相机4输入的图像数据。感测数据储存器121还存储从工作监测照相机CM发送的、与用于产品的操作的结果有关的图像数据。
学习数据储存器122存储要用于情绪估计的学习数据、要用于认知估计的学习数据以及要用于生产力估计的学习数据,这些学习数据对于工人WK1、WK2和WK3中的各工人由控制单元11来生成。
干预历史储存器123存储表示由控制单元11为工人WK1、WK2和WK3中的一个提供的干预的结果的信息、或表示作为干预历史事件的干预的时机和细节的信息。
控制单元11包括中央处理单元(CPU)和工作存储器。控制单元11包括感测数据获得控制器111、特征量提取单元112、生产力估计单元113、干预控制器114以及学习数据生成单元115,作为在实施方式中使用的控制功能。这些控制功能中的各个控制功能通过CPU执行在程序存储器(未示出)中存储的应用程序来实施。
感测数据获得控制器111借助接口单元13获得从输入和测量装置SS1、SS2和SS3中的各装置发送的数据、或从情绪输入装置2输出的标量数据、从测量装置3输出的测量数据、以及从眼睛移动监测照相机4输出的测量数据,并且将所获得的数据存储到感测数据储存器121中。感测数据获得控制器111还借助接口单元13获得从工作监测照相机CM发送的、与由工人WK1、WK2和WK3执行的操作的结果有关的工作监测图像数据,并且将所获得的数据存储到感测数据储存器121中。
在学习模式下,特征量提取单元112从感测数据储存器121读取在各个窗口内的、用于工人WK1、WK2和WK3中的各工人的标量数据、测量数据以及图像数据,这些窗口在时间点上被设置为按时间顺序地彼此偏移。特征量提取单元112从所读取的标量数据、测量数据以及图像数据提取特征量(所提取数据或所提取感测数据),计算特征量之间的变化,并且向学习数据生成单元115发送计算结果。
窗口各具有预定单位持续时间。以彼此偏移上述单位持续时间的方式来定义窗口,以避免按时间顺序连续的窗口之间的重叠,或者以偏移比上述单位持续时间短的持续时间的方式来定义,以允许按时间顺序连续的窗口之间的重叠。各窗口的单位持续时间可以以预定范围内的每一个预定值来改变。
学习数据生成单元115对于工人WK1、WK2和WK3中的各工人执行多个回归分析,正确值(监督数据)是由特征量提取单元提取的、用于唤醒和效价的标量数据中的特征量之间的变化,并且变量是测量数据的特征量之间的变化。这生成表示测量数据的情绪和特征量之间的关系的、用于唤醒和效价的第一回归方程。学习数据生成单元115使所生成的回归方程与表示对应窗口的时间点的窗口标识符关联,并且将方程存储到学习数据储存器中,作为要用于情绪估计的学习数据。
学习数据生成单元115还对于工人WK1、WK2和WK3中的各个执行多个回归分析,正确值是从借助工作监测照相机CM获得的所捕捉的图像数据提取的操作结果数据(例如,不管由照相机获取的图像是否根据用于由工人执行的操作的预定图案或模板),并且变量是眼睛移动数据和手部移动数据。眼睛移动数据由特征量提取单元112从借助眼睛移动监测照相机4获得的所捕捉的图像数据来提取。手部移动数据由特征量提取单元112从借助被包括在测量装置3中的三轴加速度传感器获得的测量数据来提取。这样,学习数据生成单元115生成用于工人WK1、WK2和WK3中的各工人的第二回归方程,该第二回归方程表示各工人的认知、眼睛移动以及手部移动之间的关系。学习数据生成单元115将所生成的第二回归方程存储到学习数据储存器122中,作为要用于认知估计的学习数据。
学习数据生成单元115还将工人WK1、WK2和WK3中的各工人的情绪和认知的所估计变化用作辅助指标,并且生成用于各工人的关系表达式,该关系表达式表示各辅助指标与各工人的生产力的变化之间的相关性。学习数据生成单元115将所生成的关系表达式存储到学习数据储存器122中,作为要用于生产力估计的学习数据。
更具体地,技能水平信息和误操作频率信息被定义为生产力信息。技能水平信息由例如标准操作时间与实际操作时间之间的差来表示。误操作频率信息由例如实际操作时间与平均操作时间的偏差来表示。学习数据生成单元115基于情绪和认知的变化的估计,生成用于估计技能水平信息和误操作频率信息的关系表达式,并且将关系表达式存储到学习数据储存器122中。
在生产力估计模式下,特征量提取单元112从感测数据储存器121读取在各个窗口内的、用于工人WK1、WK2和WK3中的各工人的测量数据和图像数据,这些窗口在时间点上被设置为按时间顺序地彼此偏移。特征量提取单元112为了情绪和认知估计而从所读取测量数据和图像数据提取特征量的变化,并且向生产力估计单元113发送特征量的变化。
对于工人WK1、WK2和WK3中的各工人,生产力估计单元113接收由特征量提取单元112提取的、用于情绪和认知估计的特征量的变化,并且从学习数据储存器122读取用于估计情绪的第一回归方程和用于估计认知的第二回归方程。生产力估计单元113将从特征量提取单元112接收的特征量的变化以及第一回归方程和第二回归方程,用于估计情绪和认知中的每一个的变化。
对于工人WK1、WK2和WK3中的各工人,生产力估计单元113还从学习数据储存器122读取用于生产力估计的关系表达式。生产力估计单元113将所读取的关系表达式以及情绪和认知的变化的估计,用于估计工人WK1、WK2和WK3中的各工人的生产力。更具体地,生产力估计单元113估计标准操作时间与表示技能水平的实际操作时间之间的差、以及实际操作时间与表示误操作频率的平均操作时间的偏差。
对于工人WK1、WK2和WK3中的各工人,干预控制器114将来自生产力估计单元的生产力估计结果与提供干预的预定条件进行比较,并且确定要向各工人提供以便提高生产力的干预。例如且优选地,基于比较结果确定用于工人WK1、WK2和WK3中的各工人的干预的时机和/或细节。
干预的示例包括对工人的视觉或听觉刺激、对工人的触觉刺激、以及对工人停止工作(或休息)的指令。进一步地,干预可以可选地根据性质(或参数)来定义或识别,这些性质(或参数)比如像:干预的类型(例如,听觉、视觉、视听、触觉等类型)、强度(例如,视听干预的音量强度、触觉干预的强度、视觉干预的光强度等)、时间(操作期间、之后等)、干预的施加的时间频率等。由此,装置能够根据所估计的生产力/效能(例如,作为所估计效能的函数)来确定一个或更多个干预性质(即,干预的性质/参数的任意组合)。比如,如果所估计的效能低(例如,在特定时间点或在特定时间间隔内低于预定阈值),则选择像增大的强度或增大的时间频率的性质;进一步地作为示例,如果生产力低(例如,在特定时间点或在特定时间间隔内低于预定阈值),则选择具有与之前施加的干预的性质不同的性质(例如,不同类型)的干预。干预控制器114根据已经提供的干预的数量来选择干预中的一个(优选地,是如刚例示的其细节或性质/参数),并且在监测器MO1、MO2或MO3上显示干预消息或驱动刺激装置AC1、AC2或AC3振动。
代替或除了在监测器MO1、MO2或MO3上显示干预消息之外,还可以产生合成语音消息或铃声。
操作
现在将与整个系统的操作关联地描述具有上述结构的生产管理设备1的操作。
(1)学习数据生成
在用于估计工人WK1、WK2和WK3的生产力的处理之前,生产管理设备1对于工人WK1、WK2和WK3中的各工人以下面描述的方式来生成要用于生产力估计的学习数据。
1-1:用于情绪估计的学习数据的生成
生产管理设备1对于工人WK1、WK2和WK3中的各工人以下面描述的方式来生成要用于情绪估计的学习数据。图5是示出了过程及其细节的流程图。
更具体地,工人WK1、WK2和WK3中的各工人在工作的同时以预定时间间隔或在所选时机用情绪输入装置2输入他的或她的当前情绪。
如上所述,情绪输入装置2在用于情绪唤醒和情绪效价的二维坐标系中显示工人的情绪,并且检测由工人WK1、WK2或WK3在二维坐标系上标绘的位置的坐标。在情绪输入装置2中使用的二维坐标系如图19所示的具有由1、2、3和4表示的四个象限,并且图20中示出了各表示从-100到+100(交叉点为0)的值的唤醒和效价轴线。情绪输入装置2将所检测的坐标变换成,与对应象限有关的信息以及与唤醒和效价轴线这两者有关的对应值。情绪输入装置2向结果信息添加表示输入日期和时间的时间戳数据以及工人WK1、WK2或WK3的标识符(工人ID),并且向生产管理设备1发送数据,作为标量数据。如上例示,情绪输入装置2不限于工人将他的/她的情绪(这里为了简单起见仅描述的内容)输入到的装置,而是实际上还包括能够基于准确测量来准确确定情绪的装置。
与此并行地,测量装置3以预定时间间隔来测量工人WK1、WK2或WK3的心电活动H、皮肤电位活动G、运动BM以及活动量Ex。将测量数据连同表示测量时间的时间戳数据和工人WK1、WK2或WK3的工人ID一起发送到生产管理设备1。另外,由眼睛移动监测照相机4捕捉工人WK1、WK2或WK3的眼睛移动EM。还将图像数据连同时间戳数据和工人WK1、WK2或WK3的标识符(工人ID)一起发送到生产管理设备1。
在步骤S11中,生产管理设备1如由感测数据获得控制器111控制的,对于工人WK1、WK2和WK3中的各工人接收借助接口单元13从情绪输入装置2发送的标量数据,并且将所接收的标量数据存储到感测数据储存器121中。
在步骤S12中,生产管理设备1还如由感测数据获得控制器111控制的,对于工人WK1、WK2和WK3中的各工人接收从测量装置3发送的测量数据以及借助接口单元13从眼睛移动监测照相机4发送的图像数据,并且将所接收的测量数据和图像数据存储到感测数据储存器121中。
在步骤S13中,在标量数据、测量数据以及图像数据累积了预定时段(例如,一天或一周)时,生产管理设备1如由以下面描述的方式由特征量提取单元112以及学习数据生成单元115控制的,生成要用于情绪估计的学习数据。图7和图8是示出了该过程及其细节的流程图。
在步骤S131中,将窗口Wi(i=1,2,3...)的单位持续时间设置为初始值。在步骤S132中,选择第一窗口(i=1)。在步骤S133中,特征量提取单元112从感测数据储存器121在第一窗口内读取多组标量数据。在步骤S134中,特征量提取单元112对于唤醒和效价计算特征量之间的变化。
例如,在标量数据K1和标量数据K2如图20所示的在一个窗口的单位持续时间内输入时,这些变化被计算为从第三象限到第四象限的变化,并且对于唤醒被计算为20(+20)的增量,且对于效价被计算为50(+50)的增量。对于到对角相对象限的变化,例如,对于从第三象限到第二象限的变化,可以对于唤醒和效价计算结果特征向量之间的变化。
在步骤S135中,特征量提取单元112从感测数据储存器121读取在第一窗口的单位持续时间内获得的测量数据和图像数据,这些数据是与心电活动H、皮肤电位活动G、运动BM以及活动量Ex有关的测量数据以及与眼睛移动EM有关的图像数据。在步骤S136中,特征量提取单元112从测量数据和图像数据提取特征量。
例如,心电活动H具有:作为心跳间隔(R-R间隔或RRI)的特征量、以及RRI的功率谱的高频分量(HF)和低频分量(LF)。皮肤电位活动G具有作为皮肤流电响应(GSR)的特征量。运动BM具有包括手部移动方向和速度的特征量。手部移动方向和速度基于例如由三轴加速度传感器测量的三轴加速度来计算。活动量Ex具有作为身体活动(MET)和锻炼(EX)的强度的特征量。锻炼(EX)通过将身体活动(MET)的强度乘以活动持续时间来计算。眼睛移动EM具有包括眼睛移动速度、注视坐标和注视持续时间、眨眼数量以及瞳孔尺寸的变化的特征量。
特征量提取单元112计算:作为心电活动H、皮肤电位活动G、运动BM、活动量Ex以及眼睛移动EM的所提取特征量之间在窗口的单位持续时间内的变化。
在步骤S17中,学习数据生成单元115基于标量数据特征量之间的、在步骤S134中计算的变化以及测量数据和图像数据特征量之间的、在步骤S136中计算的变化,来生成用于唤醒的学习数据和用于效价的学习数据。
例如,学习数据生成单元115将用于唤醒和效价的标量数据特征量之间的变化用作监督数据,并将测量数据与图像数据特征量之间的变化用作独立变量来执行多个回归分析,这些监督数据和独立变量是主要指标。学习数据生成单元115然后对于唤醒和效价对于工人WK1、WK2和WK3中的各工人生成回归方程,这些回归方程表示各工人的情绪的变化与测量数据和图像数据特征量的变化之间的关系。
与第i个窗口对应的回归方程如下:
其中,是唤醒变化的估计,是效价变化的估计,α1、α2、α3、α4和α5是用于测量数据项Hi、Gi、EMi、BMi和Ex的特征量的加权系数,并且f是从测量数据项Hi、Gi、EMi、BMi和Ex的特征量获得的指标的和,这些指标是主要指标。加权系数可以通过使用例如基于在学习阶段中获得的人口数据中的比例的加权平均数来确定。方程(1)是人的活动与情绪之间的关系的示例。在一个示例中,第一学习数据(还在上面讨论了)可以包括、表示或基于上述方程,该方程表示活动与情绪之间的关系。
在步骤S138中,学习数据生成单元115把与第i个窗口对应的、用于唤醒和效价的所生成回归方程存储到学习数据储存器122中。在步骤S139中,学习数据生成单元115确定是否所有窗口Wi被选择为生成回归方程。在任意一个窗口仍然未被选择时,处理返回到步骤S132,在该步骤S132中,选择未选窗口,并且对于接着选择的窗口重复用于生成用于情绪估计的学习数据的步骤S133至S139中的处理。
特征量提取单元112和学习数据生成单元115把窗口单位持续时间改变了各个预定值,并把窗口的按时间顺序的偏移改变了各个个预定量,以确定最佳窗口单位持续时间和最佳偏移。在单位持续时间和偏移的所有组合中,学习数据生成单元115选择:使使用回归方程和借助情绪输入装置2输入的情绪信息正确值获得的情绪估计之间的差最小化的组合。学习数据生成单元115然后对于情绪估计设置所选的窗口单元持续时间和所选的偏移、以及对于该组合生成的回归方程。
现在将描述选择最佳窗口的处理的示例。图8是示出了过程及其细节的流程图。
在步骤S141中,学习数据生成单元115使用对于各窗口Wi生成的回归方程来计算情绪估计并且计算所计算估计的和,作为并且计算所计算估计的和,作为在步骤S142中,学习数据生成单元115以下面描述的方式来计算:情绪估计的和与借助情绪输入装置2输入的情绪信息的真实值XA和XV的和之间的差。
计算结果存储到学习数据储存器122中。为了简化流程图,图8仅示出了
在步骤S143中,学习数据生成单元115确定改变窗口单位持续时间和偏移是否已经完成,或换言之,是否已经对于窗口单位持续时间和偏移的所有组合生成了回归方程。在该过程未完成时,处理前进到步骤S144,在该步骤S144中,将窗口Wi的单位持续时间和偏移改变预定量。处理然后返回到图7所示的步骤S132,然后执行步骤S132至S143中的处理。这样,重复步骤S132至S144中的处理,直到对于窗口单位持续时间和偏移的所有组合生成回归方程为止。
在已经对于窗口单位持续时间和偏移的所有组合生成了回归方程时,学习数据生成单元115在步骤S145中把对于窗口单位持续时间和偏移的所有组合计算的、情绪信息真实值XA和XV的和与情绪估计的和之间的差进行比较,这两个和是学习数据生成单元115然后选择使的值最小化的窗口单位持续时间和偏移的组合。
在步骤S146中,学习数据生成单元115在特征量提取单元112中设置窗口单位持续时间和偏移的所选组合。在步骤S147中,学习数据生成单元115把与所选组合对应的回归方程存储到学习数据储存器122中。生成要用于情绪估计的学习数据的过程结束。
1-2:用于认知估计的学习数据的生成
学习数据生成单元115以下面描述的方式来生成要用于认知估计的学习数据。图6是示出了该过程及其细节的流程图。
更具体地,由在测量装置3中包括的三轴加速度传感器来测量表示手部移动的、工人WK1、WK2和WK3中的各工人的运动BM。然后将测量数据发送到生产管理设备1。与此并行地,由眼睛移动监测照相机4捕捉表示操作期间的眼睛移动的眼睛移动EM。然后将所捕捉的图像数据发送到生产管理设备1。
在步骤S14中,生产管理设备1如由感测数据获得控制器111控制的,对于工人WK1、WK2和WK3中的各工人接收从测量装置3发送的、与表示手部移动的运动BM有关的测量数据以及借助接口单元13从眼睛移动监测照相机4发送的、与眼睛移动EM有关的图像数据,并且将所接收的测量数据和图像数据存储到感测数据储存器121中。与运动BM有关的测量数据以及与眼睛移动EM有关的图像数据可以是在生成要用于情绪估计的学习数据的过程期间获得的对应数据。
在生产线CS的单元C1、C2和C3中,由工作监测照相机CM捕捉由工人WK1、WK2和WK3执行的操作的结果。然后将所捕捉的图像数据发送到生产管理设备1。在步骤S15中,生产管理设备1如由感测数据获得控制器111控制的,接收借助接口单元13从工作监测照相机CM发送的图像数据,并且将所接收的图像数据存储到感测数据储存器121中。
在步骤S16中,生产管理设备1以下面描述的方式如由特征量提取单元112和学习数据生成单元115控制地生成要用于认知估计的学习数据。图9是示出了过程及其细节的流程图。
在步骤S161中,生产管理设备1选择操作时间段(例如,一天或一周)。在步骤S162中,特征量提取单元112从感测数据储存器121读取表示操作结果的图像数据。在步骤S163中,特征量提取单元112由例如模式识别(这是获得表示操作结果是否建议正确执行的操作的正确值的示例,其中,将由照相机拍摄的图像与图案进行比较,以建立操作是否被正确执行)从表示操作结果的所读取的图像数据提取表示操作的成功或失败的特征量。特征量例如由所选时间段期间的误操作的数量或发生率来表示。特征量提取单元112将所提取的特征量用作认知的正确值。
在步骤S164中,特征量提取单元112从由被包括在测量装置3中的三轴加速度传感器获得的测量数据。在步骤S165中,特征量提取单元112从所读取测量数据提取表示工人的手部移动的特征量。与此并行地,特征量提取单元112在步骤S164中读取借助眼睛移动监测照相机4获得的图像数据,并且在步骤S165中从所读取的图像数据提取表示工人的眼睛移动(眼睛移动EM)的特征量。所提取的眼睛移动EM如上所述的由例如眼睛移动速度、注视坐标和注视持续时间、眨眼数量以及瞳孔尺寸的变化来表示。运动BM和眼睛移动EM的特征量可以是在生成要用于情绪估计的学习数据的过程期间提取的对应特征量。
在步骤S166中,学习数据生成单元115执行:正确值(监督数据)是表示操作的成功或失败的特征量且变量是表示手部移动的特征量和表示眼睛移动EM的特征量的多个回归分析。这生成回归方程。学习数据生成单元115将所生成的回归方程存储到学习数据储存器122中,作为要用于认知估计的学习数据。用于认知估计的示例回归方程如下:
其中,是认知变化的估计,β1是眼睛移动EMi的特征量的加权系数,β2是运动BMi的特征量的加权系数,并且f是从眼睛移动EMi和运动BMi的特征量获得的指标的和,这些指标是主要指标。加权系数可以通过使用例如基于在学习阶段中获得的人口数据中的比例的加权平均数来确定。方程(2)是活动与认知之间的关系的示例。在一个示例中,第一学习数据(还在上面讨论了)可以包括、表示或基于上述方程(2),该方程表示活动与认知之间的关系。在另外示例中,第一学习数据(还在上面讨论了)可以包括、表示或基于上述方程(1)和方程(2)。
在步骤S167中,学习数据生成单元115确定是否所有操作时间段已被选择为生成回归方程。当任意一个操作时间段仍然未被选择时,处理返回到步骤是S161,并且重复回归方程生成过程。当已经对于所有操作时间段生成了回归方程时,学习数据生成单元115在步骤S168中使所生成的回归方程与表示它们对应的操作时间段的信息关联,并且将回归方程存储到学习数据储存器122中。
1-3:用于生产力估计的学习数据的生成
在已经对于工人WK1、WK2和WK3中的各工人生成用于情绪估计的学习数据和用于认知估计的学习数据时,学习数据生成单元115以下面描述的方式来生成要用于生产力估计的学习数据。
更具体地,学习数据生成单元115通过使用技能水平信息和误操作频率信息来定义生产力信息。技能水平信息由例如标准操作时间与实际操作时间之间的差来表示。误操作频率信息由实际操作时间与平均操作时间的偏差来表示。
学习数据生成单元115将情绪估计和认知估计用作辅助指标,并且基于当前和过去辅助指标之间的差,来生成用于估计工人的技能水平的关系表达式。下面描述该关系的示例。
技能水平Quality-A使用下面的公式来表达。
Quality-A=√{(ya1(X2-x1))2}+√{(ya2(Y2-y1))2} (3)
在公式中,x1是当前情绪估计,y1是当前认知估计,X2是过去情绪估计的平均值,Y2是过去认知估计的平均值,γa1是用于情绪的加权系数,γa2是用于认知的加权系数。
学习数据生成单元115还将情绪估计和认知估计用作辅助指标,并且基于过去和当前辅助指标之间的变化,来生成用于估计工人的误操作频率的关系表达式。下面描述该关系的示例。
误操作频率Quality-B使用下面的公式来表达。
Quality-B=yb1√{((X1-x1)/∑(X-xi))2}+Yb2√{((Y1-y1)/∑(Y-yi))2} (4)
在该公式中,x1是当前情绪估计,y1是当前认知估计,X1是过去情绪估计的平均值,Y1是过去认知估计的平均值,γb1是用于情绪的加权系数,并且γb2是用于认知的加权系数。
加权系数γa1、γa2、γb1以及γb2可以通过将例如多个回归分析或问卷用于工人WK1、WK2和WK3来对于工人WK1、WK2和WK3中的各工人进行确定。在一个示例中,方程(3)和(4)中的各方程或这两者表示:效能与情绪和认知之间的关系。在另外示例中,第二学习数据(还在上面讨论了)可以包括、表示或基于上述方程(3)和/或(4),该方程实际上表示该效能与活动之间的关系。
(2)生产力估计
在生成用于生产力估计的学习数据之后,生产管理设备1以下面描述的方式来将学习数据用于估计工人WK1、WK2和WK3在操作期间的生产力。图11是示出了估计过程及其细节的流程图。
2-1:收集工人的感测数据
当在步骤S21中检测到输入操作开始命令时,生产管理设备1在步骤S22中根据指定生产量(例如,100件产品/天)的初步输入信息,在零件馈送器控制器DC中指定初始馈送速率。零件馈送器控制器DC然后指令零件馈送器DS以指定速率将用于要制造的产品的多组零件馈送到生产线CS。响应于所馈送的多组零件,工人WK1、WK2和WK3在他们所指派的单元中开始他们用于组装产品的操作。
在操作期间,在工人WK1、WK2和WK3的输入和测量装置SS1、SS2和SS3中的各个装置中的测量装置3以预定时间间隔或在所选时机测量工人的心电活动H、皮肤电位活动G、运动BM以及活动量Ex。将测量数据发送到生产管理设备1。还由眼睛移动监测照相机4捕捉工人WK1、WK2和WK3中的各工人的眼睛移动EM。然后将所捕捉的图像数据发送到生产管理设备1。
在步骤S23中,生产管理设备1如由感测数据获得控制器111控制的,接收借助接口单元13从输入和测量装置SS1、SS2和SS3发送的测量数据和图像数据。生产管理设备1将所接收的数据存储到感测数据储存器121中。
2-2:估计工人的情绪
当在步骤S24中确定预定时间(例如,一个小时)已经过去时,生产管理设备1在步骤S25中选择工人WK1、WK2和WK3中的一个。特征量提取单元112然后从感测数据储存器121读取与所选工人关联的测量数据和图像数据,并且从测量数据和图像数据这两者提取特征量。
例如,特征量提取单元112从用于心电活动H、皮肤电位活动G、运动BM以及活动量Ex的测量数据以及用于眼睛移动EM的图像数据中,提取与情绪变化相关的、心电活动Hi、皮肤电位活动Gi、运动BMi、活动量Exi以及眼睛移动EMi的特征量。与此并行地,特征量提取单元112从运动BM测量数据和眼睛移动EM图像数据中提取与认知变化相关的特征量。所提取的特征量与在上述学习数据生成过程中提取的特征量相同,并且将不详细描述。
在步骤S26中,生产管理设备1如由生产力估计单元113控制的,对工人的情绪变化进行估计。图12是示出了过程及其细节的流程图。
在步骤S261中,生产力估计单元113从特征量提取单元112提取要用于情绪估计的特征量。在步骤S262中,生产力估计单元113从学习数据储存器122读取用于与上述预定时间段对应的唤醒和效价的情绪估计的回归方程(1)。在步骤S263中,生产力估计单元113使用要用于情绪估计的特征量以及用于唤醒和效价的回归方程,来在上述预定时间段中计算工人的情绪变化
2-3:估计工人的认知
在生产管理设备1中包括的特征量提取单元112从在上述预定时间获得的运动BMi测量数据和眼睛移动EMi图像数据中的各数据提取与认知相关的特征量。
在步骤S27中,生产管理设备1如由生产力估计单元113控制的估计工人的认知。图13是示出了过程及其细节的流程图。
在步骤S271中,生产力估计单元113从特征量提取单元112接收要用于与上述预定时间段对应的认知估计的眼睛移动EMi和运动BMi的特征量。在步骤S272中,生产力估计单元113从学习数据储存器122,读取用于与上述预定时间段对应的认知估计的回归方程(2)。在步骤S273中,生产力估计单元113使用要用于认知估计的眼睛移动EMi和运动BMi的特征量以及用于认知估计的回归方程,来对于工人计算认知估计Yi。
(2-4)生产力估计
在步骤S28中,生产管理设备1如由生产力估计单元113控制的,使用在学习数据储存器122中存储的、用于生产力估计的所计算的情绪变化估计和认知估计以及关系表达式(3)和(4),以下面描述的方式来估计工人的生产力。
在图14所示的步骤S281中,生产管理设备1首先使用关系表达式(3)来计算标准操作时间与实际操作时间之间的差,并且在操作时间输出所计算的差,作为表示工人的技能水平Quality-A的信息。在步骤S282中,生产管理设备1使用关系表达式(4)来计算实际操作时间与平均操作时间的偏差,并且输出所计算的值,作为表示工人的误操作频率Quality-B的信息。
生产管理设备1然后将所计算的技能水平Quality-A加到误操作频率Quality-B,并且将结果值用作工人生产力估计P。虽然技能水平Quality-A可以被简单地加到误操作频率Quality-B,但它们可以由它们生产力的重要性加权,然后可以加到彼此。
(3)基于工人生产力估计控制用于工人的干预
在获得生产力估计时,生产管理设备1在步骤S29中如由干预控制器114用非限制性示例的方式以下面描述的方式控制的,基于工人生产力估计来控制用于工人WK1、WK2或WK3的干预。
在图14所示的步骤S291中,干预控制器114首先计算在步骤S28中计算的生产力估计的变化ΔPi。变化ΔPi被计算为例如,与对于各工人设置的生产力目标值或对于所有工人设置的同一生产力目标值的变化。干预控制器114然后将变化ΔPi与表示被预定为提供干预的条件的生产力允许水平的阈值thi进行比较。表示允许水平的阈值thi可以是对于各工人设置的值,或可以是对于所有工人设置的同一值。变化ΔPi和阈值thi中的索引i是表示已经提供的干预的数量的整数。
比较结果可以示出,生产力估计降低且变化ΔPi超过阈值thi。在这种情况下,干预控制器114在步骤S292中确定是否已经提供第一干预。在尚未提供第一干预时,干预控制器在确定变化ΔPi超过阈值thi时在步骤S293中确定并执行干预控制。
例如,在工人WK1的生产力估计P在操作期间减小,且减小ΔP0如图15或图16所示的超过第一阈值th0时,确定要提供第一干预并在时间t1提供第一干预。在第一干预中,例如,生成旨在提高工人WK1的激励的消息,并将其显示在设置在工人WK1前面的监测器MO1上。代替或除了显示消息之外,还可以对于工人WK1从扬声器或头戴式耳机(未示出)输出具有相同信息的语音消息。
在第一干预之后,干预控制器114继续将生产力估计的变化ΔP1与第二阈值th1进行比较。在第一干预之后使用的第二阈值th1被设置为,是大于第一阈值th0的值,该第一阈值th0在第一干预之前使用。
比较结果可以示出,例如,工人WK1的生产力估计P已经如图15所示的进一步减小,并且减小ΔP1超过第二阈值th1。在这种情况下,干预控制器114在步骤S294中确定是否已经提供第二干预。在尚未提供干预时,干预控制器114在确定变化ΔP1超过第二阈值th1的时间t2在步骤S295中确定并执行第二干预控制。
在第二干预控制中,例如,生成旨在强烈要求工人WK1恢复生产效率的消息,并将其显示在设置在工人WK1前面的监测器MO1上。另外,对于工人WK1驱动由工人WK1携带的刺激装置AC1振动。代替或除了显示消息之外,还可以对于工人WK1从扬声器或头戴式耳机(未示出)输出具有相同信息的语音消息。
第一干预可以如例如图16所示的激发工人WK1恢复生产力。在这种情况下,工人WK1的生产力估计P的变化ΔP1不超过第二阈值th1,由此,不提供第二干预。
在第二干预之后,干预控制器114继续将生产力估计的变化ΔP2与第三阈值th2进行比较。在第二干预之后使用的第三阈值th2被设置为,是大于第二阈值th1的值,该第二阈值在第二干预之前使用。
比较可以示出,例如,工人WK1的生产力估计P已经如图15所示的进一步减小,并且减小ΔP2超过第三阈值th2。在这种情况下,处理立即进行到步骤S296,在该步骤中,干预控制器114在确定变化ΔP2超过第三阈值th2的时间t3确定并执行第三干预控制。
例如,在这种情况下,生产力的恢复被确定为不可能,并且生成用于指示工人WK1停止操作并休息的消息,并将其显示在监测器MO1上。另外,向由领导WR保持的便携式信息终端TM发送表示领导WR替换或改变工人的消息,并将该消息显示在便携式信息终端上。
在生产管理设备1对于一个工人WK1完成从情绪估计到干预控制的处理时,生产管理设备1在步骤S30中确定是否已经对于该处理选择所有工人。在任意一个工人仍然未被选择时,处理返回到步骤S25,在该步骤中,选择未选工人,并且对于下一选择的工人重复步骤S25至S29中的处理。
在对于所有工人WK1、WK2和WK3完成处理时,生产管理设备1在步骤S31中确定是否已经达到生产线CS的关闭时间。在关闭时间,生产管理设备1在步骤S32中停止生产线CS。
在执行干预控制时,干预控制器114生成表示干预的日期和时间以及细节(例如,还如上面进一步讨论的描述干预的性质)的信息,并且将该信息与工人ID关联地存储到干预历史储存器123中。在干预历史储存器123中存储的、表示干预控制历史的信息例如用于:工人WK1、WK2和WK3的保健管理和生产力评定。上述第一、第二以及随后的干预表示非限制性示例,因为实际上可以使用其他干预。具体地,在上述示例中,两个(或更多个)随后(或一个随着时间的过去在另一个后面)干预彼此不同,而不管哪些性质或参数使得一个干预与接着的干预不同。
实施方式1的有利效果
如在上述实施方式中详细描述的,在操作期间从工人WK1、WK2和WK3获得的生命迹象测量数据和运动测量数据用作主要指标。分开生成的主要指标和学习数据用于估计工人的情绪和认知。所估计的情绪和认知用作辅助指标。分开生成的辅助指标和关系表达式用于估计工人的生产力。对生产力估计的变化与定义提供干预的条件的阈值进行比较。在确定生产力估计的变化超过阈值时,给工人提供干预。
由此,实施方式使得能够在不依赖管理者的经验或直觉的情况下,以及时方式给工人提供适当干预,并且以稳定方式改善并提高生产力。
干预控制在监测工人生产力估计的变化的同时被执行多次,优选地以逐步方式来执行。这样,以逐步方式提供逐渐变强的干预。这允许在有效恢复生产力的同时将工人的身体和精神状态维持为积极的。
在第一干预或第二干预之后,工人被指示在确定工人生产力估计的变化超过第三阈值时停止操作。这例如允许处于差身体状况下的工人以及时方式休息,并且有效地维持工人的健康和产品质量这两者。
情绪变化被表达为唤醒和效价变化以及二维唤醒-效价坐标系的象限。这允许容易且准确地估计情绪变化。
生成用于认知估计的学习数据,正确值(监督数据)为表示从由工作监测照相机CM获得的图像数据提取的、表示操作的成功或失败的特征量,变量是表示手部移动的特征量和表示眼部移动EM的特征量。这允许更准确地估计与生产操作有关的工人的认知。
在一个示例中,工人当前在连接零件。与操作结果有关的图像数据如图10所示。在该示例中,在端子53和端子63未使用引线73成功连接且端子58和端子68未连接的情况下,该操作结束。在本实施方式中,表示工人的认知的监督数据包括表示操作的成功或失败的特征量,并且变量是与在同一时间段内并行获得的工人的认知有关的主要指标,或换言之是表示工人的手部移动的特征量和表示眼睛移动(EM)的特征量。监督数据和变量用于生成用于估计认知的关系表达式。凭借包括表示手部移动的特征量和表示眼睛移动的特征量的测量数据,使用关系表达式估计工人的认知使得能够如图10所示的估计工人的误操作的可能性。
表示工人的生产力的信息由技能水平和误操作频率来定义,该技能水平由标准操作时间与实际操作时间之间的差来表示,误操作频率由实际操作时间与平均操作时间的偏差来表示。凭借为技能水平和误操作频率这两者准备的学习数据来估计工人生产力。这允许在生产现场根据评定指标来准确估计工人的生产力。
其他实施方式(例如,实施方式1的变型例)
在上述实施方式中,干预具有三个阶段。然而,干预可以具有一个、两个、或四个或更多个阶段。在上述实施方式中,生产力估计的变化ΔPi被计算为,例如与对于各工人设置的生产力目标值或对于所有工人设置的同一生产力目标值的变化。然而,在第二或随后的干预时,变化ΔPi可以被计算为,与之前干预时的生产力估计的变化。在该干预以逐步方式执行多次时,可以执行相同干预。
提供干预的条件可以根据工人的基线生产力对于各工人来确定。基线生产力的变化可以基于工人的技能水平的估计来检测,并且提供干预的条件可以根据所检测的变化来更新。还可以根据工人的基线生产力对于各工人来确定干预的数量或细节。
人类情绪与生命迹象之间的关系或人类情绪与运动信息之间的关系,可以根据日期、一周中的一天、季节、环境变化以及其他因素而变化。由此,可以定期或酌情更新要用于情绪估计的学习数据。当在情绪的正确值与由生产力估计单元113获得的情绪的估计之间计算的差超过正确值的预定范围时,可以更新在学习数据储存器122中存储的学习数据。在这种情况下,可以基于情绪估计的趋势估计正确值。在另一个实施方式中,情绪的正确值可以由主体借助情绪输入装置2定期输入,并且可以使用输入值。
类似地,当在认知的正确值与由生产力估计单元113获得的认知的估计之间计算的差超过正确值的预定范围时,可以更新在学习数据储存器122中存储的学习数据。在这种情况下,可以基于认知估计的趋势估计正确值。
还可以基于生产力估计来修改表示生产力与情绪和认知之间的关系的关系表达式。同样在这种情况下,可以基于认知估计的趋势来估计正确值。
在上述实施方式中,表示工人的情绪的信息借助情绪输入装置2输入到生产管理设备1中,该情绪输入装置是智能电话或平板终端。信息可以以任意其他方式来输入。例如,工人可以将他的或她的情绪信息写在诸如问卷形式这样的印刷媒体上,并且可以使用扫描仪来读取情绪信息并将信息输入到生产管理设备1中。
进一步地,可以使用照相机来检测工人的面部表达。与所检测的面部表达有关的信息然后可以输入到生产管理设备1中,作为情绪信息。可以使用麦克风来检测工人的语音。检测信息然后可以输入到生产管理设备1中,作为情绪信息。可以通过使用问卷从大量未指定个人来收集情绪信息,并且所收集信息的其他代表值可以用作校正来自个人的情绪信息的人口数据。可以使用任意其他技术来将表示人类情绪的信息输入到生产管理设备1中。
上述实施方式描述了用于表达与工人的情绪有关的信息的二维唤醒-效价系统。可以使用另一种方法来表达工人的情绪信息。
在上述实施方式中,测量数据项(即,心电活动H、皮肤电位活动G、眼睛移动EM、运动BM、以及活动量Ex)输入到生产管理设备1中,作为表示工人活动的信息,并且所有这些项用于估计情绪。然而,可以使用测量数据中的至少一项来估计情绪。例如,心电活动H在其他生命迹象当中高度有助于情绪。可以仅使用与在其他生命迹象当中高度有助于情绪的心电活动H有关的测量数据来估计情绪。还可以使用除了在实施方式中使用的项之外的生命迹象。
另外,还可以将除了手部移动和眼睛移动之外的测量数据用作主要指标来估计认知。
另外,还可以在不偏离本发明的范围和精神的情况下不同地修改生产线CS中的单元的数量和在该单元中组装的产品的类型。
实施方式2
在实施方式1中,已经提出了一种生产管理设备,该生产管理设备适于确定要向工人施加的干预,使得可以增加生产力或将其维持在高水平。本实施方式2致力于一种用于提供车辆驾驶辅助的驾驶辅助设备,其中,在驾驶员驾驶车辆时,基于驾驶员的效能的估计结果,提供干预。驾驶员的效能的估计结果可以如在实施方式1中描述且例如如在图4中表示的来获得(其中,在本实施方式的情况下,生产力估计单元113被驾驶效能估计单元113代替;当鉴于驾驶员位置等方便安装时,可以使用相同传感器或装置SS1至SS3)。图4的干预控制器114根据本实施方式被配置为提供与驾驶车辆有关的干预。由此,本实施方式中的干预可以被视为驾驶辅助,在于它支持提高的驾驶安全性和效率。作为示例,在本实施方式中,用于认知估计的正确值可以由驾驶任务被如何正确地执行来表示,这可以例如通过测量特定驾驶参数来获得,这些参数像车辆是如何正确地遵循特定预定路线(例如,比较实际驾驶路线如何顺利地对应于从导航系统获得的理想路线)、车辆的控制是如何顺利(例如,任意突然方向变化是否或如何频繁地发生)、关于驾驶员识别障碍物的程度等。可以设置合适的传感器(在图4中如由CM表示),包括比如定位测量系统、用于识别驾驶路径或图案的照相机、车速传感器、用于获得与当前驾驶参数有关的信息的车辆惯性系统等。一个驾驶员的效能值(在用于用回归分析的方式获得学习数据的、执行驾驶时的效能的意义上)例如可以通过以下方式来获得:将比如在特定时段期间覆盖的距离与给定时段内的预期距离进行比较,或者在到达两个点时,比较与预定可用路线相比是否遵循特定路线。干预控制器被配置为,基于所估计的效能和提供干预的预定条件确定要为主体(例如,驾驶员)提供的干预。优选地,(如由控制器确定的)干预可以包括根据所估计的效能水平在驾驶期间向车辆的驾驶员提供反馈。比如,该消息可以包括驾驶员建议进行停车并休息的消息(作为反馈的示例)。驾驶辅助(或驾驶辅助反馈)的另一个示例一般由声音、旋律、音乐或音频消息来表示;这样,可以警告驾驶员,使得避免危险情形,并且可以以适于所估计效能水平的方式来进行警告。其他类型的驾驶辅助反馈当然是合适的(例如,触觉刺激或电生理刺激等),并且实际上干预包括可以向驾驶员提供且被认为适于提高驾驶效率(这还导致提高的安全性)的任意刺激。干预控制器可以安装在车辆中。然而,可以在车辆内或车辆外部无差别地执行基于所估计的结果确定要施加的干预;在后者的情况下,所确定的干预传送到车辆内的控制单元,该控制单元向驾驶员提供(外部确定的)干预。由此,在本实施方式中,由于效能的准确估计,可以适当确定用于驾驶员的干预,使得可以提高驾驶员的驾驶效能并因此可以提高安全性。由此,因为干预可以帮助驾驶员达到更佳且更安全的驾驶,所以可以在驾驶辅助的意义上理解干预。然后还参照实施方式1(和对应附图),实施方式1例示了同样且可选地适用于本实施方式的装置、方法以及各特征或项的细节。
实施方式3
本实施方式3致力于一种用于主体的保健支持的设备,其中,装置优选地联接到主体。由联接到主体,意指装置在与主体交互的范围内,例如,能够对主体进行测量和/或向主体提供刺激(干预)和/或从主体接收输入(例如,命令)和向主体提供输出(例如,对命令的响应)。保健支持设备包括控制器,该控制器基于所估计的主体的效能向主体提供干预。所估计的效能指人执行操作时的效能。优选地,操作包括人所执行的装置的操作;然而,操作还包括主体的身体或智力锻炼。由此,操作指由主体执行的动作。所估计的效能可以是(主体在执行操作时进行的)效能的结果的估计;可以由效能估计单元来获得结果,该效能估计单元比如由如上例示的第二估计单元来表示。更具体地,主体的效能的估计结果可以如在实施方式1中描述且比如如在图4中表示的来获得(其中,在本实施方式的情况下,生产力估计单元113被效能估计单元113代替;当鉴于主体方便安装时且优选地在具有由主体执行的一种或更多种操作/动作的考虑时,可以使用相同传感器或装置SS1至SS3)。干预控制器114被配置为基于由第二估计单元估计的效能和提供干预的预定条件,来确定要给主体提供的干预。具体地,干预控制器114被配置为确定要向人提供的干预,以便改善他的/她的健康状况或以便维持良好的健康状况。作为示例,在本实施方式中,可以通过测量主体将一个或更多个任务(即,操作或动作)如何执行来获得用于认知估计的正确值:比如,人的身体位置在行走、奔跑或坐下时如何笔直和平衡(例如,在预定图案上);特定移动在预定图案上被进行得如何顺利等。这可以例如通过将图像(例如经由照相机CM获得的)与预定图案进行比较,或通过进行其他合适的测量并将这些测量与预定值和/或值的图案进行比较,来获得。(要用回归分析的方式用于获得学习数据的)人的效能值可以例如通过以下方式来获得:测量完成特定任务(即,上面说明的操作或动作)或若干任务时的效率和/或质量,像比如测量在预期距离上步行覆盖的距离;测量用于在预定时间期间完成任务的时间(例如,完成清扫房屋或业余爱好相关的操作、在一小时或一天中执行的这种操作的数量)等。
干预比如可以由一个或更多个消息(为文本、音频和/或视频等的形式)或对主体诱导的一个或更多个刺激信号(比如,对主体诱导刺激的音频/视频信号、和/或对主体诱导刺激的电信号等)来表示,该一个或更多个消息建议要从事的特定活动或要遵循的生活方式。其他类型的干预当然是合适的。通常,本实施方式中的干预可以被视为,导致改善的健康状况或维持良好健康状况的保健支持反馈。因为可以准确估计效能,所以比如可以在真正需要时(例如,与这里可以准确估计的预定效能值对应地)准确提供干预,或者根据所估计的效能选择干预;比如,如果效能降低,则可以选择特定干预,以便促进健康状况的改善;在效能提高时,可以给出另一种反馈来维持相同水平的效能,并且还长期促进良好健康状况的维持。这样,可以改善人的健康状况或维持良好的健康状况。然后还参照了实施方式1(和对应附图),实施方式1例示了同样且可选地适用于本实施方式的装置、方法以及各特征或项的细节。
本发明不限于上述实施方式,而是可以使用在不偏离本发明在其实施方案中的范围和精神的情况下修改的组成部分来具体实施。在实施方式中描述的组成部分的适当组合可以构成本发明的各种方面。例如,可以去除在实施方式中描述的组成部分中的一些。进一步地,可以酌情组合来自不同实施方式的组成部分。而且,即使仅参照装置描述了特定特征,相同特征也可以鉴于方法(例如,相同装置操作所根据的方法)、程序(用于将计算机编程为像所述设备特征一样地起作用)、或用于适于或被配置为承载程序的指令的介质或信号来描述。类似地,即使仅参照方法描述了特定特征,相同特征也可以鉴于被配置为执行相同的所述方法特征的单元或装置手段(或计算机程序指令)、或程序、适于或被配置为承载指令或程序的介质或信号来描述。仍然进一步地,在这里描述的上述和其他(还参见下面)方法中,步骤像获得、估计、确定等的来定义。然而,注意的是这种步骤(或它们的任意组合)还可以在对应执行实际步骤的另一个装置(像比如服务器,局部化或分布式的)上由远程装置(像比如客户计算机或便携式终端)来引起或诱导。由此,所提及的步骤还应被理解为使得获得、使得估计、使得确定等,从而可以由远离实际执行相应步骤的装置的装置来引起或诱导它们的组合中的任意一个。
上述实施方式可以部分或完全以以下形式来表达,但不限于以下形式。
附录1:
一种生产管理设备,该生产管理设备用于管理涉及由工人执行的操作的生产线,该设备包括硬件处理器,
硬件处理器被配置为:
获得表示工人在操作期间的活动的信息;
基于所获得的表示活动的信息和第一学习数据来估计工人在操作期间的情绪和认知,所获得的表示活动的信息用作主要指标,该第一学习数据表示活动与工人的情绪之间的关系以及活动与工人的认知之间的关系;
估计工人的生产力和第二学习数据,该生产力基于各用作辅助指标的所估计的情绪和认知,该第二学习数据表示生产力与工人的情绪和认知之间的关系;以及
基于所估计的生产力和提供干预的预定条件来确定要给工人提供的干预。
附录2:
一种由包括硬件处理器的设备实施的生产管理方法,该方法包括以下步骤:
硬件处理器获得表示工人在操作期间的活动的信息;
硬件处理器基于所获得的表示活动的信息和第一学习数据来估计工人在操作期间的情绪和认知,所获得的表示活动的信息用作主要指标,该第一学习数据表示活动与工人的情绪之间的关系以及活动与工人的认知之间的关系;
硬件处理器估计工人的生产力和第二学习数据,该生产力基于各用作辅助指标的所估计的情绪和认知,该第二学习数据表示生产力与工人的情绪和认知之间的关系;以及
硬件处理器基于所估计的生产力和提供干预的预定条件来确定要给工人提供的干预。
附图标记列表
CS 生产线
B1、B2、B3 产品
C1、C2、C3 单元
WR 领导
WK1、WK2、WK3 工人
MO1、MO2、MO3 监测器
TM 便携式信息终端
DC 零件馈送器控制器
DS 零件馈送器
RB 协作机器人
CM 工作监测照相机
NW 网络
SS1、SS2、SS3 输入和测量装置
AC1、AC2、AC3 刺激装置
1 生产管理设备
2 情绪输入装置
3 测量装置
4 眼睛移动监测照相机
11 控制单元
111 感测数据获得控制器
112 特征量提取单元
113 生产力估计单元
114 干预控制器
115 学习数据生成单元
12 存储单元
121 感测数据储存器
122 学习数据储存器
123 干预历史储存器
13 接口单元

Claims (19)

1.一种生产管理设备,该生产管理设备用于管理生产线,该生产线涉及由工人执行的操作,所述设备包括:
活动获得单元,该活动获得单元被配置为获得表示所述工人在所述操作期间的活动的信息,表示所述工人的活动的信息是与通过至少一个活动传感器获得的至少一个生理参数有关的信息;
第一估计单元,该第一估计单元被配置为基于表示所述活动的信息和第一学习数据来估计所述工人在所述操作期间的情绪和认知,该表示所述活动的信息是由所述活动获得单元获得的,用作主要指标,而该第一学习数据表示所述活动与所述工人的情绪之间的关系以及所述活动与所述工人的认知之间的关系,其中,所述第一学习数据包括基于表示至少一个工人的情绪的信息、表示所述至少一个工人的认知的信息以及表示所述至少一个工人的活动的信息生成的数据,其中,表示情绪的信息与通过至少一个第一传感器获得的至少一个生理参数有关,表示认知的信息与通过至少一个第二传感器获得的至少一个表示认知的参数有关,并且表示活动的信息与通过至少一个第三传感器获得的至少一个生理参数有关;
第二估计单元,该第二估计单元被配置为基于所估计的情绪和认知以及第二学习数据来估计所述工人的生产力,所估计的情绪和认知各用作辅助指标,该第二学习数据表示所述工人的生产力与所述工人的情绪和认知之间的关系;以及
干预确定单元,该干预确定单元被配置为基于由所述第二估计单元估计的生产力和提供干预的预定条件来确定要提供给所述工人的干预。
2.根据权利要求1所述的生产管理设备,其中,所述至少一个第一传感器、所述至少一个第二传感器以及所述至少一个第三传感器当中的至少两个传感器彼此不同。
3.根据权利要求1或2所述的生产管理设备,其中,当所述至少一个第一传感器、所述至少一个第二传感器以及所述至少一个第三传感器当中的至少两个传感器实质相同时,实质相同的所述至少两个传感器被根据不同的相应配置来设置。
4.根据权利要求1至3中任意一项所述的生产管理设备,其中,所述活动传感器和所述至少一个第三传感器实质相同。
5.根据权利要求1至4中任意一项所述的生产管理设备,其中,所述第二学习数据包括如下数据,该数据基于表示效能的信息、表示至少一个工人的情绪的信息以及表示所述至少一个工人的认知的信息而生成,其中,该表示效能的信息表示与表示情绪的信息和表示认知的信息对应的效能。
6.根据权利要求1至5中任意一项所述的生产管理设备,其中,所述干预确定单元还被配置为至少基于所估计的生产力来确定所述干预的时机和性质中的至少一者。
7.根据权利要求1至6中任意一项所述的生产管理设备,其中,所述干预确定单元被配置为确定分别要在第一时间点和第二时间点向所述工人提供的第一干预和第二干预,其中,所述第一干预和所述第二干预彼此不同。
8.根据权利要求1至7中任意一项所述的生产管理设备,其中,
所述干预确定单元包括:
第一确定单元,该第一确定单元被配置为确定:在由所述第二估计单元估计的生产力被确定为不满足第一条件时,要给所述工人提供第一干预;以及
第二确定单元,该第二确定单元被配置为确定:在提供所述第一干预之后确定为由所述第二估计单元估计的生产力不满足第二条件时,要给所述工人提供与所述第一干预不同的第二干预。
9.根据权利要求8所述的生产管理设备,其中,
所述第一确定单元确定要给所述工人提供视觉或听觉刺激,作为所述第一干预,并且
所述第二确定单元确定要给所述工人提供触觉刺激,作为所述第二干预。
10.根据权利要求8或9所述的生产管理设备,其中,
所述干预确定单元还包括:
第三确定单元,该第三确定单元被配置为确定:在提供所述第一干预或所述第二干预之后确定为由所述第二估计单元估计的生产力不满足第三条件时,要指示所述工人停止所述操作。
11.一种包括根据权利要求1至10中任意一项所述的生产管理设备和通过制造设备获得的至少一个物品的系统。
12.一种要由生产管理设备实施的生产管理方法,该生产管理设备管理生产线,该生产线涉及由工人执行的操作,所述方法包括以下步骤:
获得表示所述工人在所述操作期间的活动的信息,表示所述工人的活动的信息是与通过至少一个活动传感器获得的至少一个生理参数有关的信息;
基于所获得的表示所述活动的信息和第一学习数据来估计所述工人在所述操作期间的情绪和认知,所获得的表示所述活动的信息用作主要指标,该第一学习数据表示所述工人的活动与所述工人的情绪之间的关系以及所述工人的活动与所述工人的认知之间的关系,其中,所述第一学习数据包括如下数据,该数据基于表示至少一个工人的情绪的信息、表示所述至少一个工人的认知的信息以及表示所述至少一个工人的活动的信息而生成,其中,表示情绪的信息与通过至少一个第一传感器获得的至少一个生理参数有关,表示认知的信息与通过至少一个第二传感器获得的至少一个表示认知的参数有关,并且表示活动的信息与通过至少一个第三传感器获得的至少一个生理参数有关;
基于所估计的情绪和认知以及第二学习数据来估计所述工人的生产力,该所估计的情绪和认知各用作辅助指标,该第二学习数据表示所述工人的生产力与所述工人的情绪和认知之间的关系;以及
基于由第二估计单元估计的生产力和提供干预的预定条件,来确定干预所述工人的时机和该干预的细节。
13.一种生产管理程序,该生产管理程序使得处理器用作在根据权利要求1至12中任意一项所述的生产管理设备中所包括的单元。
14.一种用于提供驾驶辅助的驾驶辅助设备,所述驾驶辅助设备包括:
活动获得单元,该活动获得单元被配置为获得表示主体在驾驶车辆期间的活动的信息,表示所述主体的活动的信息是与通过至少一个活动传感器获得的至少一个生理参数有关的信息;
第一估计单元,该第一估计单元被配置为基于表示所述活动的信息和第一学习数据来估计所述主体在驾驶期间的情绪和认知,该表示所述活动的信息由所述活动获得单元获得,用作主要指标,而该第一学习数据表示所述主体的活动与所述主体的情绪之间的关系以及所述主体的活动与所述主体的认知之间的关系;
第二估计单元,该第二估计单元被配置为基于所估计的情绪和认知以及第二学习数据来估计所述主体的效能,所估计的情绪和认知各用作辅助指标,该第二学习数据表示所述主体的效能与所述主体在驾驶时的情绪和认知之间的关系,其中,所述第一学习数据包括如下数据,该数据基于表示至少一个主体的情绪的信息、表示所述至少一个主体的认知的信息以及表示所述至少一个主体的活动的信息而生成,其中,表示情绪的信息与通过至少一个第一传感器获得的至少一个生理参数有关,表示认知的信息与通过至少一个第二传感器获得的至少一个表示认知的参数有关,并且表示活动的信息与通过至少一个第三传感器获得的至少一个生理参数有关;以及
干预确定单元,该干预确定单元被配置为基于由所述第二估计单元估计的效能和提供干预的预定条件,来确定要给所述主体提供的干预。
15.一种用于提供驾驶辅助的驾驶辅助方法,所述方法包括以下步骤:
获得表示主体在驾驶车辆期间的活动的信息,表示所述主体的活动的信息是与通过至少一个活动传感器获得的至少一个生理参数有关的信息;
基于所获得的表示所述活动的信息和第一学习数据来估计所述主体在驾驶期间的情绪和认知,所获得的表示所述活动的信息用作主要指标,该第一学习数据表示所述主体的活动与所述主体的情绪之间的关系以及所述主体的活动与所述主体的认知之间的关系,其中,所述第一学习数据包括如下数据,该数据基于表示至少一个主体的情绪的信息、表示所述至少一个主体的认知的信息以及表示所述至少一个主体的活动的信息而生成,其中,表示情绪的信息与通过至少一个第一传感器获得的至少一个生理参数有关,表示认知的信息与通过至少一个第二传感器获得的至少一个表示认知的参数有关,并且表示活动的信息与通过至少一个第三传感器获得的至少一个生理参数有关;
基于所估计的情绪和认知以及第二学习数据来估计所述主体的效能,所估计的情绪和认知各用作辅助指标,该第二学习数据表示所述主体的效能与所述主体在驾驶时的情绪和认知之间的关系;以及
基于由第二估计单元估计的效能和提供干预的预定条件,来确定要给所述主体提供的干预。
16.一种用于主体的保健支持的设备,所述设备包括:
活动获得单元,该活动获得单元被配置为获得表示主体在执行操作时的活动的信息,表示所述主体的活动的信息是与通过至少一个活动传感器获得的至少一个生理参数有关的信息;
第一估计单元,该第一估计单元被配置为基于表示所述活动的信息和第一学习数据来估计所述主体在执行所述操作期间的情绪和认知,表示所述活动的信息由所述活动获得单元获得,用作主要指标,该第一学习数据表示所述主体的活动与所述主体的情绪之间的关系以及所述主体的活动与所述主体的认知之间的关系;
第二估计单元,该第二估计单元被配置为基于所估计的情绪和认知以及第二学习数据来估计所述主体的效能,该所估计的情绪和认知各用作辅助指标,该第二学习数据表示所述主体的效能与所述主体在驾驶时的情绪和认知之间的关系,其中,所述第一学习数据包括如下数据,该数据基于表示至少一个主体的情绪的信息、表示所述至少一个主体的认知的信息以及表示所述至少一个主体的活动的信息而生成,其中,表示情绪的信息与通过至少一个第一传感器获得的至少一个生理参数有关,表示认知的信息与通过至少一个第二传感器获得的至少一个表示认知的参数有关,并且表示活动的信息与通过至少一个第三传感器获得的至少一个生理参数有关;以及
干预确定单元,该干预确定单元被配置为基于由所述第二估计单元估计的效能和提供干预的预定条件,来确定要给所述主体提供的干预。
17.根据权利要求11所述的用于主体的保健支持的设备,其中,执行操作包括:执行与机器的交互操作和执行身体锻炼当中的至少一者。
18.一种用于主体的保健支持的方法,所述方法包括以下步骤:
获得表示主体在执行操作时的活动的信息,表示所述主体的活动的信息是与通过至少一个活动传感器获得的至少一个生理参数有关的信息;
基于所获得的表示所述活动的信息和第一学习数据来估计所述主体在执行所述操作期间的情绪和认知,所获得的表示所述活动的信息用作主要指标,该第一学习数据表示所述主体的活动与所述主体的情绪之间的关系以及所述主体的活动与所述主体的认知之间的关系,其中,所述第一学习数据包括如下数据,该数据基于表示至少一个主体的情绪的信息、表示所述至少一个主体的认知的信息以及表示所述至少一个主体的活动的信息而生成,其中,表示情绪的信息与通过至少一个第一传感器获得的至少一个生理参数有关,表示认知的信息与通过至少一个第二传感器获得的至少一个表示认知的参数有关,并且表示活动的信息与通过至少一个第三传感器获得的至少一个生理参数有关;
基于所估计的情绪和认知以及第二学习数据来估计所述主体的效能,所估计的情绪和认知各用作辅助指标,该第二学习数据表示所述主体的效能与所述主体在驾驶时的情绪和认知之间的关系;以及
基于由第二估计单元估计的效能和提供干预的预定条件,来确定要给所述主体提供的干预。
19.一种包括指令的计算机程序,当所述指令在计算机上执行时,致使所述计算机执行根据权利要求12、15以及18中任意一项所述的步骤。
CN201880004444.9A 2017-02-28 2018-02-28 生产管理设备、方法以及程序 Active CN110072454B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2017037287A JP2018142258A (ja) 2017-02-28 2017-02-28 生産管理装置、方法およびプログラム
JP2017-037287 2017-02-28
IBPCT/IB2017/055271 2017-09-01
PCT/IB2017/055271 WO2018158621A1 (en) 2017-02-28 2017-09-01 Production management apparatus, method, and program
PCT/IB2018/051277 WO2018158702A1 (en) 2017-02-28 2018-02-28 Production management apparatus, method, and program

Publications (2)

Publication Number Publication Date
CN110072454A true CN110072454A (zh) 2019-07-30
CN110072454B CN110072454B (zh) 2021-11-09

Family

ID=59982425

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880004444.9A Active CN110072454B (zh) 2017-02-28 2018-02-28 生产管理设备、方法以及程序

Country Status (5)

Country Link
US (1) US20210287155A1 (zh)
EP (1) EP3589206A1 (zh)
JP (1) JP2018142258A (zh)
CN (1) CN110072454B (zh)
WO (1) WO2018158621A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114357710A (zh) * 2021-12-03 2022-04-15 北京能科瑞元数字技术有限公司 基于产品全寿命周期的bom演化管理系统
TWI778901B (zh) * 2021-12-29 2022-09-21 南亞塑膠工業股份有限公司 經營輔助系統

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7271909B2 (ja) * 2018-11-09 2023-05-12 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
GB2579656A (en) 2018-12-11 2020-07-01 Ge Aviat Systems Ltd Method of assessing a pilot emotional state
JP7204478B2 (ja) * 2018-12-26 2023-01-16 キヤノン株式会社 情報処理装置およびその制御方法
JP7022085B2 (ja) * 2019-01-29 2022-02-17 株式会社日立製作所 計画支援装置、計画支援方法、および、計画支援システム
JP7245139B2 (ja) * 2019-09-26 2023-03-23 株式会社日立製作所 作業支援装置、作業支援システムおよび作業支援方法
JP7262359B2 (ja) * 2019-10-01 2023-04-21 株式会社日立製作所 データ分析装置およびデータ分析方法
US20210186397A1 (en) * 2019-12-19 2021-06-24 Senseye, Inc. Transillumination of iris muscles to infer stroma deformation
JP7460376B2 (ja) * 2020-01-28 2024-04-02 Juki株式会社 縫製管理システム及び縫製管理方法
KR20210157874A (ko) * 2020-06-22 2021-12-29 도시바 데지타루 소류숀즈 가부시키가이샤 작업 내용 분석 장치, 작업 내용 분석 방법, 프로그램, 및 센서
CN112923972A (zh) * 2021-01-27 2021-06-08 苏州凌世智能科技有限公司 作业监测方法、手环以及用户端
JP7450567B2 (ja) * 2021-02-10 2024-03-15 株式会社日立製作所 情報処理システム及び情報処理方法
JP7407146B2 (ja) * 2021-03-26 2023-12-28 株式会社日立製作所 介入システム、介入方法、および、介入プログラム
CN113128896B (zh) * 2021-04-29 2023-07-18 重庆文理学院 基于物联网的智慧车间管理系统及方法
JP2023106888A (ja) * 2022-01-21 2023-08-02 オムロン株式会社 情報処理装置および情報処理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006000166A1 (en) * 2004-06-29 2006-01-05 Miloslav Pavelka Method and device for detecting operator fatigue or quality
US20120245980A1 (en) * 2011-03-22 2012-09-27 Accenture Global Services Limited Productivity prediction technique and system
DE102015200775A1 (de) * 2015-01-20 2016-07-21 Bayerische Motoren Werke Aktiengesellschaft Unabhängigen Beurteilung eines emotionalen Zustandes und einer kognitiven Belastung
CN105895095A (zh) * 2015-02-12 2016-08-24 哈曼国际工业有限公司 自适应交互语音系统
CN105911901A (zh) * 2015-02-20 2016-08-31 丰田自动车株式会社 驾驶支援装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003070093A1 (en) * 2002-02-19 2003-08-28 Volvo Technology Corporation System and method for monitoring and managing driver attention loads
US20090066521A1 (en) * 2007-09-12 2009-03-12 Dan Atlas Method and system for detecting the physiological onset of operator fatigue
US8781796B2 (en) * 2007-10-25 2014-07-15 Trustees Of The Univ. Of Pennsylvania Systems and methods for individualized alertness predictions
US9521976B2 (en) * 2013-01-24 2016-12-20 Devon Greco Method and apparatus for encouraging physiological change through physiological control of wearable auditory and visual interruption device
US20140240132A1 (en) * 2013-02-28 2014-08-28 Exmovere Wireless LLC Method and apparatus for determining vehicle operator performance
JP5530019B1 (ja) 2013-11-01 2014-06-25 株式会社日立パワーソリューションズ 異常予兆検知システム及び異常予兆検知方法
CN113616883B (zh) * 2014-06-30 2023-06-06 Syqe医药有限公司 向受试者肺部递送植物材料中的至少一药理活性剂的系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006000166A1 (en) * 2004-06-29 2006-01-05 Miloslav Pavelka Method and device for detecting operator fatigue or quality
US20120245980A1 (en) * 2011-03-22 2012-09-27 Accenture Global Services Limited Productivity prediction technique and system
DE102015200775A1 (de) * 2015-01-20 2016-07-21 Bayerische Motoren Werke Aktiengesellschaft Unabhängigen Beurteilung eines emotionalen Zustandes und einer kognitiven Belastung
CN105895095A (zh) * 2015-02-12 2016-08-24 哈曼国际工业有限公司 自适应交互语音系统
CN105911901A (zh) * 2015-02-20 2016-08-31 丰田自动车株式会社 驾驶支援装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114357710A (zh) * 2021-12-03 2022-04-15 北京能科瑞元数字技术有限公司 基于产品全寿命周期的bom演化管理系统
CN114357710B (zh) * 2021-12-03 2022-11-25 北京能科瑞元数字技术有限公司 基于产品全寿命周期的bom演化管理系统
TWI778901B (zh) * 2021-12-29 2022-09-21 南亞塑膠工業股份有限公司 經營輔助系統

Also Published As

Publication number Publication date
JP2018142258A (ja) 2018-09-13
US20210287155A1 (en) 2021-09-16
EP3589206A1 (en) 2020-01-08
WO2018158621A1 (en) 2018-09-07
CN110072454B (zh) 2021-11-09

Similar Documents

Publication Publication Date Title
CN110072454B (zh) 生产管理设备、方法以及程序
CN109890289A (zh) 情绪估计设备、方法和程序
WO2018158622A1 (en) Work management apparatus, method, and program
EP3355761B1 (en) Emotional/behavioural/psychological state estimation system
US20160070245A1 (en) Method and device to monitor and analyze biosignal of user
JP6935774B2 (ja) 推定システム、学習装置、学習方法、推定装置及び推定方法
WO2018057667A1 (en) Systems and methods for detecting corrupt or inaccurate sensory representations
CN111819585B (zh) 生理数据智能处理方法与系统
CN110874688A (zh) 能力计测装置、能力计测方法以及存储介质
US20230062081A1 (en) Systems and methods for provoking and monitoring neurological events
Rescio et al. Ambient and wearable system for workers’ stress evaluation
CN110673721A (zh) 基于视觉与意念信号协同控制的机器人看护系统
US20200210917A1 (en) Apparatus, method, program, signal for determining intervention effectiveness index
WO2018158702A1 (en) Production management apparatus, method, and program
CN116570246A (zh) 一种癫痫监测及远程报警系统
WO2018158704A1 (en) Work management apparatus, method, and program
CN116597119A (zh) 可穿戴扩展现实设备的人机交互采集方法、装置和系统
Leon et al. Prospect of smart home-based detection of subclinical depressive disorders
Antão Cooperative human-machine interaction in industrial environments
Iarlori et al. An Overview of Approaches and Methods for the Cognitive Workload Estimation in Human–Machine Interaction Scenarios through Wearables Sensors
Cittadini Affective State Estimation and Robot-aided Physiological Monitoring of Workers in Hazardous Environments
Savur et al. Human Comfortability Index Estimation in Industrial Human-Robot Collaboration Task
Maglogiannis Human centered computing for the development of assistive environments: The sthenos project
Akshay et al. An Eye Movement Based Patient Assistance System
WO2023199839A1 (ja) 内面状態推定装置、内面状態推定方法及び記憶媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant