CN114697613A - 装置、方法和记录介质 - Google Patents

装置、方法和记录介质 Download PDF

Info

Publication number
CN114697613A
CN114697613A CN202111611026.6A CN202111611026A CN114697613A CN 114697613 A CN114697613 A CN 114697613A CN 202111611026 A CN202111611026 A CN 202111611026A CN 114697613 A CN114697613 A CN 114697613A
Authority
CN
China
Prior art keywords
unit
operator
job
area
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111611026.6A
Other languages
English (en)
Inventor
秋定征世
樱井康树
竹中梓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yokogawa Electric Corp
Original Assignee
Yokogawa Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yokogawa Electric Corp filed Critical Yokogawa Electric Corp
Publication of CN114697613A publication Critical patent/CN114697613A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0631Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06316Sequencing of tasks or work
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01DMEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00Measuring or testing not otherwise provided for
    • G01D21/02Measuring two or more variables by means not covered by a single other subclass
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/20Administration of product repair or maintenance
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18Status alarms
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00Audible signalling systems; Audible personal calling systems
    • G08B3/10Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Emergency Management (AREA)
  • Data Mining & Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供装置、方法和记录介质,该装置包括:存储部,对操作者应进行的多个作业的每一个,存储进行该作业时操作者应观看的区域;检测部,分别检测操作者观看的区域;以及判定部,判定检测部是否检测到由存储部存储的各区域。

Description

装置、方法和记录介质
技术领域
本发明涉及装置、方法和记录介质。
背景技术
专利文献1记载了“电子设备可以包括检测用户的视线的视线检测部,控制部基于从视线检测部取得的用户的视线信息,取得用户关注的网页内的区域”。
专利文献1:日本专利公开公报特开2015-191551号
发明内容
在本发明的第一方式中提供一种装置。装置可以包括存储部,该存储部对操作者应进行的多个作业的每一个,存储进行该作业时操作者应观看的区域。装置可以包括分别检测操作者观看的区域的检测部。装置可以包括判定部,该判定部判定检测部是否检测到由存储部存储的各区域。
判定部可以对每个作业判定检测部是否检测到与该作业对应的区域。
装置可以包括对多个作业的每一个从操作者接受作业完成的输入操作的输入部。装置可以包括输入控制部,该输入控制部对多个作业的每一个,根据由判定部判定为检测到与该作业对应的区域,承认输入部的输入。
存储部可以还对多个作业的每一个存储应进行该作业的顺序。输入控制部可以针对多个作业的每一个,根据应当比该作业先完成的其他作业完成、且由判定部判定为检测到与该作业对应的区域,承认输入部的输入。
装置可以包括提取部,该提取部提取由存储部存储的多个区域中的检测部未检测的区域。装置可以包括通知部,该通知部向操作者通知未进行与由提取部提取的区域对应的作业。
操作者应观看的区域可以是设备的设置区域。
在本发明的第二方式中提供一种方法。方法可以包括存储阶段,该存储阶段对操作者应进行的多个作业的每一个,存储进行该作业时操作者应观看的区域。方法可以包括分别检测操作者观看的区域的检测阶段。方法可以包括判定阶段,该判定阶段判定在检测阶段中是否检测到在存储阶段中存储的各区域。
在本发明的第三方式中提供一种记录有程序的记录介质。计算机可以通过执行程序发挥作为存储部的功能,该存储部对操作者应进行的多个作业的每一个,存储进行该作业时操作者应观看的区域。计算机可以通过执行程序发挥作为分别检测操作者观看的区域的检测部的功能。计算机可以通过执行程序发挥作为判定部的功能,该判定部判定检测部是否检测到由存储部存储的各区域。
另外,上述发明的概要没有列举出本发明的所有必要特征。此外,这些特征组的子组合也可以成为发明。
附图说明
图1表示本实施方式的维护管理系统1。
图2表示判定装置17。
图3表示判定装置17的动作。
图4表示显示画面。
图5表示可以整体或局部实现本发明的多种方式的计算机2200的例子。
附图标记说明
1维护管理系统,11设备,12维护用终端,15运转控制装置,16接口装置,17判定装置,18资源管理装置,100控制用网络,171输入部,172存储部,173确定部,174摄像部,175检测部,176判定部,177提取部,178通知部,179输入控制部,180显示画面,2200计算机,2201DVD-ROM,2210主控制器,2212 CPU,2214 RAM,2216图形控制器,2218显示装置,2220输入/输出控制器,2222通信接口,2224硬盘驱动器,2226 DVD-ROM驱动器,2230 ROM,2240输入/输出芯片,2242键盘。
具体实施方式
下面,通过发明的实施方式对本发明进行说明,但是以下的实施方式并不限定权利要求书所涉及的发明。此外,在实施方式中说明的特征的组合的全部并不是发明的解决手段所必须的。
图1表示本实施方式的维护管理系统1。维护管理系统1进行工厂的维护管理,其包括:多个设备11、维护用终端12、运转控制装置15、接口装置16、判定装置17和资源管理装置18。
在此,作为工厂,除了化学等工业工厂以外,还具有对气田或油田等井口及其周边进行管理控制的工厂、对水力、火力、原子能等发电进行管理控制的工厂、对太阳光或风力等环境发电进行管理控制的工厂、以及对上下水或水坝等进行管理控制的工厂等。多个设备11中的一部分和维护用终端12可以配置于在工厂中执行过程的现场。例如,在现场存在使被测量流体流动的管道、以及设置于管道并测量流体的流量的流量计等。运转控制装置15、多个设备11中的其他一部分、接口装置16、判定装置17和资源管理装置18可以配置于工厂的管理中心。
多个设备11是器具、机械或装置,例如可以是测量工厂的过程中的压力、温度、pH、速度、流量等物理量的传感器,可以是控制任意一个物理量的阀、流量控制阀、开闭阀、泵、风扇、电动机、加热装置、冷却装置等执行器,可以是收集工厂内的异常声音等或发出报警声等的麦克风、扬声器等音响设备,可以是输出各设备11的位置信息的位置检测设备,可以是使流体流动的管道,可以是配置于管理中心等室内的开关、照相机、PC(Personalcomputer个人计算机)等,也可以是其他设备。多个设备11中的各设备11可以是相互不同种类,或者至少一部分的两个以上的设备11可以是相同种类。
多个设备11中的至少一些可以经由控制用网络100以有线或无线方式与运转控制装置15连接。控制用网络100内的通信可以是数字通信,也可以是将数字信号叠加于模拟信号(4~20mA信号等)的混合通信,可以是1000bps~10000bps左右(作为一例为1200bps、2400bps)的速度。控制用网络100内的通信例如可以通过ISA(International Society ofAutomation国际自动化学会)的无线通信协议来进行,作为一例可以通过ISA100、HART(Highway Addressable Remote Transducer可寻址远程传感器高速通道)(注册商标)、BRAIN(注册商标)、FOUNDATION Fieldbus、PROFIBUS等来进行。
各设备11可以具有固有的识别信息(也称为设备固有信息)。设备固有信息是用于唯一识别设备11的信息,在本实施方式中,作为一例,可以是通过通信协议(作为一例为HART)向设备11赋予的序列号、由设备11的制造商设定的序列号以及用户赋予的设备ID中的至少一个。
维护用终端12访问多个设备11中的一些的设定参数,进行设定参数值的参照、设定和变更等。维护用终端12可以是现场操作者携带的手持终端(HHT)(作为一例为智能手机或平板PC),也可以是固定型的PC。在维护用终端12是手持终端的情况下,维护用终端12可以相对于设备11可装拆地连接。
运转控制装置15与多个设备11中的一些进行通信来控制过程。例如,运转控制装置15从作为传感器的设备11取得作为测量数据的过程值,驱动作为执行器的设备11。并且,运转控制装置15可以将过程值供给到接口装置16并从接口装置16接收过程值的目标值。另外,在本实施方式中,作为一例说明在维护管理系统1中具备一个运转控制装置15来控制多个设备11,但是也可以具备多个运转控制装置15,分别对一部分的设备11进行分布控制。运转控制装置15作为一例可以是FCS(Field Control Station现场控制站)。
接口装置16在显示画面上显示工厂中的各种数据,提供操作者与工厂的接口。接口装置16可以根据操作者的操作,经由运转控制装置15控制工厂的过程。例如,接口装置16可以从运转控制装置15接收过程值,并且将过程值的目标值供给到运转控制装置15。此外,接口装置16可以经由运转控制装置15变更设备11的设定参数值。此外,接口装置16可以将至少一部分的设备11与该设备11的设定参数值关联存储。接口装置16作为一例可以是HIS(Human Interface Station人机接口站),可以由PC等构成。
判定装置17是装置的一例,进行关于工厂中的作业的各种判定。例如,判定装置17可以检测操作者观看的区域,判定工厂中的操作者是否进行了预先确定的作业。作为一例,判定装置17可以由眼球追踪器等具有视线检测功能的可穿戴设备、PC、照相机等构成。判定装置17在本实施方式中与工厂的设备11、资源管理装置18、接口装置16、运转控制装置15和维护用终端12等(以下也称为外部装置)能够通信地连接,但是也可以不与外部装置连接。
资源管理装置18进行工厂的在线监视和集中管理。例如,资源管理装置18可以管理运转控制装置15取得的设备11的数据(作为一例为设定参数值或过程值)等。资源管理装置18作为一例可以由PC等构成。
图2表示判定装置17。判定装置17具有:输入部171、存储部172、确定部173、摄像部174、检测部175、判定部176、提取部177、通知部178和输入控制部179。
输入部171从操作者或外部装置接受与作业相关的输入。输入部171可以对多个作业分别从操作者接受作业完成的输入操作。输入部171可以从操作者接受表示与作业或工厂相关的规定状况的输入。输入部171可以从存在于工厂内的外部装置以有线或无线方式接受各种数据。输入部171可以包括键盘、触摸面板、通信终端和按钮等中的至少一个。输入部171可以将输入内容供给到确定部173。
在此,状况可以包括规定的空间(作为一例为管理中心等建筑物或房间)中的操作者的出入、到达预先确定的时刻、以及检测到工厂的设备11的过程值的异常等中的至少一个。
作业可以是在各状况下操作者应进行的动作。作为一例,作业可以包括断开或接通设备11的电源、打开或关闭窗户、从预先确定的区域退出、进入到预先确定的区域、设备11的各种操作、检查设备11的显示画面的至少一部分的区域、以及确认是否进行了这些动作中的至少一个。
存储部172对操作者应进行的多个作业分别存储在进行该作业时操作者应观看的一个或多个区域(也称为需要关注区域)。存储部172可以存储预先由操作者等经由输入部171输入的数据。该数据包含分别表示应进行作业的状况的状况数据、分别表示作业的作业数据、以及分别表示需要关注区域的区域数据。存储部172还可以对多个作业分别存储应进行该作业的顺序。存储部172可以相关联地存储状况、作业、作业的顺序和每个作业的需要关注区域。存储部172可以具有用于该关联的表。
在此,需要关注区域可以是存在于工厂的设备11的设置区域、管理中心等的室内的由坐标范围包围的区域、或者外部装置或判定装置的显示画面的由坐标范围包围的区域。需要关注区域的区域数据可以是坐标范围和设备11的设备固有信息中的至少一个。此外,需要关注区域也可以是显示画面内的多个窗口中的任意一个窗口。在这种情况下,需要关注区域的区域数据可以表示显示画面内的坐标范围,也可以表示任意一个窗口。
确定部173对操作者应进行的多个作业分别确定进行该作业时操作者应观看的区域。确定部173可以基于从输入部171输入的状况来确定多个作业。确定部173可以从存储部172取得表示多个作业的作业数据以及表示需要关注区域的区域数据。确定部173可以将区域数据供给到判定部176,将作业数据和区域数据供给到提取部177。确定部173可以将各种数据与输入部171的输入内容一起供给到提取部177。
摄像部174拍摄操作者。摄像部174可以拍摄操作者的一部分(眼球、头等)。摄像部174可以是眼镜型的可穿戴设备、设置于判定装置17或外部装置的显示画面的外周部的照相机、或设置于管理中心等的天花板或墙壁的监视照相机等。摄像部174将拍摄的数据供给到检测部175。
检测部175分别检测操作者观看的区域(也称为视觉辨认区域)。检测部175可以通过检测操作者的视线来检测操作者观看的区域。检测部175可以通过解析从摄像部174供给的图像来检测视线。检测部175可以根据眼球的图像检测双眼的注视位置,将把双眼的中间点与操作者的注视位置连接的直线检测为操作者的视线。检测部175可以根据操作者的眼、鼻、口等的位置检测操作者的头的朝向,将检测到的朝向的直线检测为操作者的视线。检测部175可以将检测到的视线上的区域作为视觉辨认区域。检测部175可以进一步根据GPS或图像来检测操作者的位置,并且根据该位置来检测视觉辨认区域。
检测部175可以进一步检测设备11的显示画面内的操作者正在观看的区域。检测部175可以将操作者的视线与显示画面的交叉点检测为在显示画面内操作者正在观看的位置,并且将包含该位置的区域检测为视觉辨认区域。检测部175可以将表示视觉辨认区域的区域数据供给到判定部176。检测部175供给的区域数据可以是与存储于存储部172的需要关注区域的区域数据相同的形式。
在此,视觉辨认区域可以是由坐标范围包围的区域。此外,在外部装置或判定装置的显示画面中显示多个窗口的情况下,视觉辨认区域也可以是任意一个窗口。在这种情况下,视觉辨认区域的区域数据可以表示显示画面内的坐标范围,也可以表示任意一个窗口。视觉辨认区域可以是比需要关注区域窄的区域,可以是与需要关注区域相同宽度的区域,也可以是比需要关注区域宽的区域。
判定部176判定检测部175是否检测到由存储部172存储的各需要关注区域。判定部176可以对每个作业判定检测部175是否检测到与该作业对应的需要关注区域。在从检测部175供给的视觉辨认区域的至少一部分与需要关注区域的至少一部分一致的情况下,判定部176可以判定为检测部175检测到需要关注区域。判定部176可以将表示检测部175检测到的需要关注区域(也称为已检测的需要关注区域)的判定结果供给到提取部177。例如,判定部176可以将已检测的需要关注区域的区域数据供给到提取部177。
提取部177提取由存储部172存储的多个需要关注区域中的检测部175未检测的区域(也称为未检测的需要关注区域)。提取部177可以将未检测的需要关注区域的区域数据、以及与该未检测的需要关注区域对应的作业的作业数据中的至少一方供给到通知部178。在将未检测的需要关注区域的数据供给到通知部178之后,在从判定部176接收到该未检测的需要关注区域的区域数据的情况下(即判定部176判定为由操作者观看了该未检测的需要关注区域的情况下),提取部177可以将表示进行了与该未检测的需要关注区域对应的作业的信号供给到通知部178。提取部177可以针对每个作业或每个状况,将表示检测到所有需要关注区域的信号供给到输入控制部179。
通知部178向操作者通知未进行与由提取部177提取的区域对应的作业的情况。通知部178可以向操作者通知与从提取部177接收到的未检测的需要关注区域对应的作业。通知部178可以通过声音、显示和振动等中的至少一种向操作者进行通知。例如,通知部178可以具有显示画面,可以在该显示画面上显示未检测的需要关注区域或与未检测的需要关注区域对应的作业。
输入控制部179根据判定部176的判定结果来控制输入部171。输入控制部179针对多个作业中的每一个,根据由判定部176判定为检测到与该作业对应的区域,承认通过输入部171进行的作业完成的输入。输入控制部179可以针对多个作业的每一个,根据应当比该作业先完成的其他作业完成、且由判定部176判定为检测到与该作业对应的区域,承认通过输入部171进行的输入。输入控制部179可以在对每个状况或每个作业检测到所有需要关注区域的情况下,承认通过输入部171进行的输入。作为一例,如果判定为已检测到一个状况中的多个作业的需要关注区域的全部或一部分,则输入控制部179可以将承认信号发送到输入部171并承认下一输入。
图3表示判定装置17的动作。判定装置17通过进行步骤S11~S21的处理,支持工厂的维护管理。另外,该动作可以根据工厂的启动而开始。
在步骤S11中,判定装置17判断是否满足判定开始的条件。如果由操作者经由输入部171进行规定状况的输入,则判定装置17可以开始判定动作。此外,如果从存在于工厂内的外部装置经由输入部171接收到指示判定开始的信号,则判定装置17可以开始判定动作。此外,判定装置17可以在到达预先确定的时刻的情况下或判定装置17的电源接通的情况下开始判定动作。在满足判定开始的条件的情况下(步骤S11;是),处理可以转移至步骤S13。在不满足判定开始的条件的情况下(步骤S11;否),可以待机到满足该条件为止。
在步骤S13中,确定部173确定需要关注区域。作为一例,如果从输入部171接收到表示从工厂的“B栋”的“a室”退出的状况的数据,则确定部173访问存储部172,取得与该退出对应的一个或多个作业数据和区域数据。在这种情况下,作为一例,作业可以是将a室的设备11(照明、PC等)的电源断开、操作者关闭a室的门、以及观看a室内的设备11的显示画面的特定的区域。与该作业对应的需要关注区域可以是断开电源的设备11的设置区域、a室的门、显示画面内的特定的窗口。
在步骤S15中,检测部175根据从摄像部174供给的数据,检测操作者的视线来检测视觉辨认区域。
在步骤S17中,判定部176判定操作者是否正在观看需要关注区域。在本实施方式中,作为一例,判定部176可以判定需要关注区域与视觉辨认区域是否一致。在一个需要关注区域与多个视觉辨认区域一致的情况下,判定部176可以在每次一致时向提取部177表示检测到该需要关注区域。
在本实施方式中,作为一例,观看了需要关注区域可以是直到当前时刻为止的第一基准时间宽度(作为一例为1分钟)内至少观看了一次需要关注区域。观看一次需要关注区域可以是视线位于需要关注区域的状态持续第二基准时间宽度(作为一例为0.5秒)。这种第二基准宽度可以是多个需要关注区域各自为不同的期间,在这种情况下,存储部172可以与需要关注区域相对应地存储第一基准宽度。
在存在多个需要关注区域的情况下,判定部176可以判定是否分别观看了该多个需要关注区域。分别观看了多个需要关注区域可以是在到当前时刻为止的第一基准时间宽度内至少观看了一次各需要关注区域。
在步骤S19中,提取部177提取与未检测的需要关注区域对应的作业。提取部177可以将从确定部173接收到的多个需要关注区域的区域数据和从判定部176接收到的已检测的需要关注区域进行比较,提取检测部175未检测的需要关注区域。
作为一例,提取部177可以在从状况的输入(判定动作开始)到第三基准宽度(作为一例为10分钟)的期间,提取与该状况对应的多个需要关注区域中的未检测的需要关注区域。提取部177可以在从一种状况的输入经过了第三基准宽度的期间之后,将未检测的需要关注区域的区域数据(或与该区域数据对应的作业数据)供给到通知部178。提取部177可以在将未检测的需要关注区域的区域数据供给到通知部178之后,在从判定部176接收到表示检测到(被操作者看到)该未检测的需要关注区域的信号(区域数据)的情况下,将表示检测到该未检测的需要关注区域的信号供给到通知部178。在此,第三基准宽度可以与第一基准宽度相同或不同。第三基准宽度可以是根据每个状况而不同的期间,在这种情况下,存储部172可以与各状况对应地存储第三基准宽度。
此外,提取部177可以对每个作业或每个状况判断多个作业是否以应进行的顺序进行。提取部177可以判断是否以多个作业应进行的顺序检测到与该作业对应的需要关注区域。提取部177可以对以不同顺序检测到的需要关注区域判断为未检测。作为一例,在应当以三个作业A、B、C的顺序进行的情况下,如果在判定部中判定为以与作业A对应的需要关注区域a、与作业C对应的需要关注区域c、与作业B对应的需要关注区域b的顺序被检测到,则提取部177可以将需要关注区域c作为未检测。
此外,如果多个状况输入到输入部171,则提取部177可以以状况的输入顺序或对状况预先确定的顺序,判断是否进行了一个或多个作业。作为一例,如果两个状况I、II依次输入到输入部171,则提取部177可以对在与最初的状况I对应的所有作业完成(即检测到与所有作业对应的需要关注区域或对所有作业进行了作业完成的输入)之后检测到的需要关注区域,提取关于状况II的未检测的需要关注区域。
在提取部177判断为检测到与输入的状况对应的所有需要关注区域的情况下(步骤S19;是),处理可以转移至步骤S11。在判断为需要关注区域的至少一部分未被检测到的情况下(步骤S19;否),处理可以转移至步骤S21。
在步骤S21中,通知部178可以将具有由提取部177提取的未检测的需要关注区域、未检测的需要关注区域的范围、以及与未检测的需要关注区域对应的作业中的至少一个,显示在判定装置17或工厂的外部装置的显示画面上。
在未检测的需要关注区域是判定装置17的显示画面或外部装置的显示画面的特定的区域的情况下,作为一例,通知部178可以变更该显示画面的各区域的显示位置、显示颜色、亮度、显示尺寸、各区域内的文本的字符修饰、显示颜色或显示尺寸中的至少一个,表示未检测的需要关注区域。在变更了需要关注区域的显示方式的情况下,通知部178可以根据需要关注区域与视觉辨认区域一致,使需要关注区域的显示方式返回到变更前的状态。
通知部178可以根据从提取部177接收到表示检测到未检测的需要关注区域的信号,或者根据操作者在输入部171进行了作业完成的输入,结束通知动作。
在步骤S21中,如果从提取部177接收到表示对每个状况或每个作业检测到所有需要关注区域的信号,则输入控制部179承认由操作者进行的作业完成的输入。输入控制部179可以使来自输入部171的输入不能进行,直到接收到该信号为止。作为一例,如果接收到该信号,则输入控制部179可以通过将输入部171中的作业完成按钮从非显示切换为显示或者通过对作业完成按钮进行强调显示来承认输入。
判定装置17可以返回到步骤S15,在通知部178的通知后或通知继续过程中检测视觉辨认区域。
按照以上的动作,利用视线判定操作者是否进行了根据状况确定的作业,能够可靠地使操作者进行作业。
图4表示作为需要关注区域的一例的显示画面180。显示画面180可以是判定装置17的显示画面或工厂内的外部装置的显示画面。在这种情况下,摄像部174可以设置在显示画面180的端部,为了检测视线,拍摄正在观看显示画面180的操作者的眼睛等。
在显示画面180上可以显示工厂内的各设备11中的由操作者选择的一部分设备11的过程值。例如,在显示画面180上可以设置用于选择工厂内的设备11的设置区域的选择区域1641、以及显示属于被选择的设置区域的各设备11的过程值的数据显示区域1642。在任意一个设备11的过程值发生异常而判定装置17判定为操作者没有观看应观看的区域的情况下,通知部178可以变更该过程值的数据显示区域1642的显示方式。
在本图中,作为一例,在选择区域1641中显示工厂内的建筑物和房间作为设备11的设置区域的选项,选择了“B栋”的“a室”,设置于该设置区域的“设备(1)”~“设备(4)”的过程值的历史记录显示于数据显示区域1642(1)~1642(4)。此外,在“设备(1)”的过程值发生了异常而该数据显示区域1642(1)成为需要关注区域的状态下,由于操作者的视觉辨认区域1643位于数据显示区域1642(2)内,所以在通知部178的控制下,变更了数据显示区域1642(1)的背景颜色。
另外,摄像部174可以安装于操作者(例如头、肩等),拍摄操作者所朝向的方向。例如,摄像部174可以拍摄安装于设备11的代码(作为一例为条形码、QR码(注册商标))等,检测部175通过该代码来识别设备11,判定部176判定为检测部175检测到与该设备11对应的需要关注区域。
此外,判定装置17可以不具有摄像部174,在这种情况下,检测部175可以从外部的设备(例如可穿戴设备、照相机等)接收用于检测操作者的视线的数据。
此外,判定装置17也可以是工厂的设备11、资源管理装置18、接口装置16、运转控制装置15或维护用终端12的一部分。
此外,本发明的各种实施方式可以参照流程图和框图进行记载,在此模块可以表示(1)执行操作的过程的阶段或(2)具有执行操作的作用的装置的部分。特定的阶段和部分可以通过专用电路、与存储在计算机可读介质上的计算机可读指令一起供给的可编程电路和/或与存储在计算机可读介质上的计算机可读指令一起供给的处理器来实现。专用电路可以包括数字和/或模拟硬件电路,也可以包括集成电路(IC)和/或分立电路。可编程电路可以包括可重构硬件电路,该可重构硬件电路包括逻辑AND、逻辑OR、逻辑XOR、逻辑NAND、逻辑NOR和其他逻辑操作、触发器、寄存器、现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)等存储器元件等。
计算机可读介质可以包括能够存储由适当的设备执行的指令的任意的有形设备,其结果,具有存储在其中的指令的计算机可读介质包括包含为了制作用于执行由流程图或框图指定的操作的手段而能够执行的指令的产品。作为计算机可读介质的例子可以包括:电子存储介质、磁存储介质、光存储介质、电磁存储介质、半导体存储介质等。作为计算机可读介质的更具体的例子可以包括:软(注册商标)盘、磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存器)、电可擦除可编程只读存储器(EEPROM)、静态随机存取存储器(SRAM)、光盘只读存储器(CD-ROM)、数字多用途盘(DVD)、蓝光(RTM)碟、存储棒、集成电路卡等。
计算机可读指令包括由包括汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微码、固件指令、状态设定数据、或Smalltalk(注册商标)、JAVA(注册商标)、C++等面向对象编程语言、和“C”编程语言或同样的编程语言那样的现有的过程型编程语言的一个或多个编程语言的任意组合描述的源代码和目标代码中的任意一个。
计算机可读指令可以经由本地或局域网(LAN)、互联网等广域网(WAN)提供给通用计算机、特殊目的的计算机或其他可编程的数据处理装置的处理器或可编程电路,并且为了制作用于执行由流程图或框图指定的操作的手段而执行计算机可读指令。作为处理器的例子包括:计算机处理器、处理单元、微处理器、数字信号处理器、控制器、微控制器等。
图5表示可以整体或局部实现本发明的多种方式的计算机2200的例子。通过安装于计算机2200的程序,计算机2200能够发挥作为与本发明的实施方式的装置相关联的操作或该装置的一个或多个部分的功能、或者执行该操作或该一个或多个部分、和/或计算机2200能够执行本发明的实施方式的过程或该过程的阶段。为了使计算机2200执行与本说明书记载的流程图和框图的模块中的几个或全部相关联的特定的操作,可以由CPU2212执行这种程序。
本实施方式的计算机2200包括CPU2212、RAM2214、图形控制器2216和显示装置2218,它们通过主控制器2210相互连接。计算机2200还包括通信接口2222、硬盘驱动器2224、DVD-ROM驱动器2226和IC卡驱动器那样的输入/输出单元,它们经由输入/输出控制器2220与主控制器2210连接。计算机还包括ROM2230和键盘2242那样的传统的输入/输出单元,它们经由输入/输出芯片2240与输入/输出控制器2220连接。
CPU2212按照存储在ROM2230和RAM2214内的程序而动作,由此控制各单元。图形控制器2216获取在RAM2214内提供的帧缓存器等或其自身中的由CPU2212生成的图像数据,并且在显示装置2218上显示图像数据。
通信接口2222能够经由网络与其他电子设备进行通信。硬盘驱动器2224存储由计算机2200内的CPU2212使用的程序和数据。DVD-ROM驱动器2226从DVD-ROM2201读取程序或数据,经由RAM2214向硬盘驱动器2224提供程序或数据。IC卡驱动器从IC卡读取程序和数据和/或将程序和数据写入IC卡。
ROM2230在其中存储激活时由计算机2200执行的引导程序等和/或依赖于计算机2200的硬件的程序。输入/输出芯片2240也可以经由并行端口、串行端口、键盘端口、鼠标端口等使各种输入/输出单元与输入/输出控制器2220连接。
由DVD-ROM2201或IC卡那样的计算机可读介质提供程序。程序从计算机可读介质读取,并且安装于也作为计算机可读介质的例子的硬盘驱动器2224、RAM2214或ROM2230,并由CPU2212执行。在这些程序内描述的信息处理被读取到计算机2200,从而带来程序与上述各种类型的硬件资源之间的协作。装置或方法可以通过伴随计算机2200的使用来实现信息的操作或处理而构成。
例如,在计算机2200和外部设备之间执行通信的情况下,CPU2212可以执行加载于RAM2214的通信程序,基于在通信程序中描述的处理对通信接口2222指示通信处理。通信接口2222在CPU2212的控制下,读取存储于在RAM2214、硬盘驱动器2224、DVD-ROM2201或IC卡那样的记录介质内提供的发送缓冲处理区域的发送数据,将读取到的发送数据发送到网络,或者将从网络接收到的接收数据写入到在记录介质上提供的接收缓冲处理区域等。
此外,CPU2212可以将存储于硬盘驱动器2224、DVD-ROM驱动器2226(DVD-ROM2201)、IC卡等那样的外部记录介质的文件或数据库的全部或必要的部分读取到RAM2214,并对RAM2214上的数据执行各种类型的处理。接着,CPU2212将处理后的数据写回到外部记录介质。
如各种类型的程序、数据、表和数据库那样的各种类型的信息可以存储于记录介质并接受信息处理。CPU2212对从RAM2214读取的数据执行本公开各处记载的各种类型的处理并将结果写回到RAM2214,该各种类型的处理包括由程序的指令序列指定的各种类型的操作、信息处理、条件判断、条件分支、无条件分支、信息的检索/置换等。此外,CPU2212可以检索记录介质内的文件、数据库等中的信息。例如,在分别具有与第二属性的属性值相关联的第一属性的属性值的多个条目存储在记录介质内的情况下,CPU2212可以从该多个条目中检索与指定第一属性的属性值的条件一致的条目,并且读取存储在该条目内的第二属性的属性值,由此获取与满足预先确定的条件的第一属性相关联的第二属性的属性值。
以上说明的程序或软件模块可以存储在计算机2200上或计算机2200附近的计算机可读介质中。此外,在与专用通信网络或互联网连接的服务器系统内提供的硬盘或RAM那样的记录介质能够用作计算机可读介质,由此,经由网络将程序提供给计算机2200。
以上,利用实施方式对本发明进行了说明,但是本发明的技术范围并不限定于上述实施方式记载的范围。对本领域技术人员而言能够对上述实施方式进行各种变更或改良是显而易见的。根据权利要求书的记载可知,进行了这种变更或改良的方式也可以包含于本发明的技术范围。
在权利要求书、说明书和附图中所示的装置、系统、程序和方法中的动作、过程、步骤和阶段等各处理的执行顺序没有特别明示为“更早”、“之前”等,此外,应注意的是只要在后一处理中没有使用前一处理的输出,则能够以任意的顺序实现。关于权利要求书、说明书和附图中的动作流程,即使为了便于说明而使用“首先,”、“接着,”等进行了说明,也不意味着必须按照该顺序实施。

Claims (8)

1.一种装置,其特征在于包括:
存储部,对操作者应进行的多个作业的每一个,存储进行该作业时操作者应观看的区域;
检测部,分别检测所述操作者观看的区域;以及
判定部,判定所述检测部是否检测到由所述存储部存储的各区域。
2.根据权利要求1所述的装置,其特征在于,所述判定部对每个作业判定所述检测部是否检测到与该作业对应的区域。
3.根据权利要求1或2所述的装置,其特征在于还包括:
输入部,对所述多个作业的每一个,从所述操作者接受作业完成的输入操作;以及
输入控制部,对所述多个作业的每一个,根据由所述判定部判定为检测到与该作业对应的区域,承认所述输入部的输入。
4.根据权利要求3所述的装置,其特征在于,
所述存储部还对所述多个作业的每一个存储应进行该作业的顺序,
所述输入控制部针对所述多个作业的每一个,根据应当比该作业先完成的其他作业完成、且由所述判定部判定为检测到与该作业对应的区域,承认所述输入部的输入。
5.根据权利要求1至4中任意一项所述的装置,其特征在于还包括:
提取部,提取由所述存储部存储的多个区域中的所述检测部未检测的区域;以及
通知部,向所述操作者通知未进行与由所述提取部提取的区域对应的作业。
6.根据权利要求1至5中任意一项所述的装置,其特征在于,所述操作者应观看的区域是设备的设置区域。
7.一种方法,其特征在于包括:
存储阶段,对操作者应进行的多个作业的每一个,存储进行该作业时操作者应观看的区域;
检测阶段,分别检测所述操作者观看的区域;以及
判定阶段,判定在所述检测阶段中是否检测到在所述存储阶段中存储的各区域。
8.一种记录有程序的记录介质,其特征在于,
计算机通过执行所述程序发挥作为存储部、检测部和判定部的功能,
所述存储部对操作者应进行的多个作业的每一个,存储进行该作业时操作者应观看的区域,
所述检测部分别检测所述操作者观看的区域,
所述判定部判定所述检测部是否检测到由所述存储部存储的各区域。
CN202111611026.6A 2020-12-28 2021-12-27 装置、方法和记录介质 Pending CN114697613A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020219611A JP7347409B2 (ja) 2020-12-28 2020-12-28 装置、方法及びプログラム
JP2020-219611 2020-12-28

Publications (1)

Publication Number Publication Date
CN114697613A true CN114697613A (zh) 2022-07-01

Family

ID=79270278

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111611026.6A Pending CN114697613A (zh) 2020-12-28 2021-12-27 装置、方法和记录介质

Country Status (4)

Country Link
US (1) US20220207453A1 (zh)
EP (1) EP4020353B1 (zh)
JP (1) JP7347409B2 (zh)
CN (1) CN114697613A (zh)

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6078310A (en) * 1996-06-26 2000-06-20 Sun Microsystems, Inc. Eyetracked alert messages
US8232962B2 (en) * 2004-06-21 2012-07-31 Trading Technologies International, Inc. System and method for display management based on user attention inputs
US7532197B2 (en) * 2004-06-22 2009-05-12 Lenovo (Singapore) Pte Ltd. Method and system for automated monitoring of a display
US7396129B2 (en) * 2004-11-22 2008-07-08 Carestream Health, Inc. Diagnostic system having gaze tracking
WO2010118292A1 (en) * 2009-04-09 2010-10-14 Dynavox Systems, Llc Calibration free, motion tolerant eye-gaze direction detector with contextually aware computer interaction and communication methods
WO2012084041A1 (en) 2010-12-22 2012-06-28 Abb Research Ltd Method and system for monitoring an industrial system involving an eye tracking system
JP2015191551A (ja) 2014-03-28 2015-11-02 株式会社ニコン 電子機器
US20160094705A1 (en) * 2014-09-30 2016-03-31 Ringcentral, Inc. Message Read Confirmation Using Eye Tracking
JP2016133904A (ja) * 2015-01-16 2016-07-25 富士通株式会社 既読判断装置、既読判断方法及び既読判断プログラム
WO2017119127A1 (ja) 2016-01-08 2017-07-13 三菱電機株式会社 作業支援装置、作業学習装置及び作業支援システム
JP6710555B2 (ja) 2016-03-17 2020-06-17 Kddi株式会社 画像表示システム、情報処理装置、画像表示方法及びコンピュータプログラム
JP2017204094A (ja) 2016-05-10 2017-11-16 富士通株式会社 視線特定プログラム、視線特定装置、及び視線特定方法
JP6521923B2 (ja) 2016-09-21 2019-05-29 株式会社 日立産業制御ソリューションズ 作業支援装置及び作業支援方法
NL2019927B1 (en) * 2017-11-16 2019-05-22 Joa Scanning Tech B V A computer controlled method of and apparatus and computer program product for supporting visual clearance of physical content.
JP6321879B1 (ja) 2017-12-20 2018-05-09 グレイステクノロジー株式会社 作業支援システム及び作業支援プログラム
JP7113702B2 (ja) 2018-08-31 2022-08-05 三菱電機株式会社 点検作業支援装置、点検作業支援システム、および点検作業支援方法
US20200265363A1 (en) * 2019-02-15 2020-08-20 Wipro Limited Method and system for determining working condition of a worker performing qualitative evaluation of products
JP7078568B2 (ja) 2019-03-19 2022-05-31 株式会社日立製作所 表示装置、表示制御方法、及び表示システム
JP7091283B2 (ja) 2019-05-31 2022-06-27 株式会社日立ビルシステム 点検支援システムおよび点検支援方法
CN112036892A (zh) * 2020-09-01 2020-12-04 中国银行股份有限公司 审核任务的校验方法及装置

Also Published As

Publication number Publication date
EP4020353B1 (en) 2024-05-08
EP4020353A1 (en) 2022-06-29
JP2022104410A (ja) 2022-07-08
JP7347409B2 (ja) 2023-09-20
US20220207453A1 (en) 2022-06-30

Similar Documents

Publication Publication Date Title
US10878240B2 (en) Augmented reality user interface on mobile device for presentation of information related to industrial process, control and automation system, or other system
US11064009B2 (en) Augmented reality-based wiring, commissioning and monitoring of controllers
EP2966617B1 (en) System comprising image data generating device and portable terminal device
CN107111323B (zh) 水管理系统和方法
CN107315402B (zh) 仪器保养装置、仪器保养方法及记录介质
EP3232380B1 (en) Device maintenance apparatus, method for maintaining device, and storage medium
CN114697613A (zh) 装置、方法和记录介质
CN114598935A (zh) 装置、方法以及记录介质
JP7222388B2 (ja) 装置、方法及びプログラム
US11093779B2 (en) Apparatus, method and recording medium
EP3803224B1 (en) A method of generating for a user augmented reality information related to an hvac component
JP2018156373A (ja) 設備保全情報管理システム及び設備保全情報管理方法
JP7327370B2 (ja) 装置、方法およびプログラム
CN114697612A (zh) 装置、方法和记录介质
US20200077233A1 (en) Method of tracking objects using thermostat
JP2020187637A (ja) 表示制御方法、表示制御装置およびプログラム
JP7243691B2 (ja) 装置、システム、方法およびプログラム
JP7347468B2 (ja) 装置、方法およびプログラム
EP2479734A1 (en) Method for monitoring and controlling of parameters of industrial process

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination