CN106415413B - 可编程显示器、便携终端装置、数据处理方法 - Google Patents

可编程显示器、便携终端装置、数据处理方法 Download PDF

Info

Publication number
CN106415413B
CN106415413B CN201580005329.XA CN201580005329A CN106415413B CN 106415413 B CN106415413 B CN 106415413B CN 201580005329 A CN201580005329 A CN 201580005329A CN 106415413 B CN106415413 B CN 106415413B
Authority
CN
China
Prior art keywords
display
sight
image
line
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580005329.XA
Other languages
English (en)
Other versions
CN106415413A (zh
Inventor
藤原靖卓
山下隆义
川上文雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN106415413A publication Critical patent/CN106415413A/zh
Application granted granted Critical
Publication of CN106415413B publication Critical patent/CN106415413B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/05—Programmable logic controllers, e.g. simulating logic interconnections of signals according to ladder diagrams or function charts
    • G05B19/054—Input/output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/10—Plc systems
    • G05B2219/11—Plc I-O input output
    • G05B2219/1105—I-O
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/10—Plc systems
    • G05B2219/14—Plc safety
    • G05B2219/14097—Display of error messages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Programmable Controllers (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

以能够通信的方式与PLC(100)连接的可编程显示器(300)具有：视线估计部(356)，其使用通过拍摄人物得到的图像数据来进行视线的朝向的估计；显示控制部(355)，其使显示器显示包含对象的画面；测量部(358)，其在通过估计判断为视线朝向对象的情况下，测量视线朝向对象的时间；以及存储部(350)，其关联地存储识别对象的识别信息和表示测量出的时间的时间信息。由此，他人能够确认用户在多长时间内连续地注视了对象。

Description

可编程显示器、便携终端装置、数据处理方法
技术领域
本发明涉及可编程显示器、便携终端装置、可编程显示器中的数据处理方法。
背景技术
以往，公知有受理信息的显示和用户的输入的显示装置。
在日本特开2012-123513号公报(专利文献1)中，作为上述显示装置，公开了以能够通信的方式与服务器连接的信息处理装置。该信息处理装置根据显示于画面的图像中的表示用户的视线的位置的坐标信息以及图像中的表示包含对象的图像区域的区域信息的对象信息而判别用户的视线所朝向的对象。该信息处理装置在判别出用户的视线所朝向的对象的情况下，选择性地进行与该判别出的对象对应的处理。并且，该信息处理装置生成表示上述判别出的对象的关注对象信息，并且将该生成的关注对象信息发送给服务器。
在日本特开2009-227246号公报(专利文献2)中作为上述显示装置公开了具有照相机的车辆用操作输入装置。包含在该车辆用操作输入装置中的控制电路从照相机的撮影图像中检测对操作面板进行操作的操作者的视线，在所检测的视线处于预定的操作输入解除视线状态的情况下，将操作面板从操作输入禁止模式变更为操作输入允许模式。
并且，以往，作为上述显示装置公知有以能够通信的方式与可编程/逻辑/控制器(以下，也称为“PLC”)连接的可编程显示器。在日本特开2008-112222号公报(专利文献3)中作为上述可编程显示器公开了以与操作者的操作的历史一同保存操作者的面部图像为目的的操作显示装置。
现有技术文献
专利文献
专利文献1：日本特开2012-123513号公报
专利文献2：日本特开2009-227246号公报
专利文献3：日本特开2008-112222号公报
专利文献4：日本特开2011-59194号公报
专利文献5：日本特开2008-165353号公报
发明内容
发明要解决的课题
然而，在专利文献1的技术中，之后无法判断显示装置的用户在多长时间内连续注视了对象。关于这点，其他的专利文献2～5也相同。
本发明是鉴于上述的问题而完成的，其目的在于，提供能够供他人确认用户在对象多长时间内连续注视了对象的可编程显示器、便携终端装置、可编程显示器中的数据处理方法以及控制可编程显示器的程序。
用于解决课题的手段
根据本发明的一个方式，可编程显示器具有：估计部，其构成为使用通过拍摄人物得到的图像数据来进行视线的朝向的估计；显示控制部，其构成为使显示器显示包含第1对象的第1画面；测量部，其构成为在通过估计判断为视线朝向第1对象的情况下，测量视线朝向第1对象的时间；以及存储部，其构成为关联地存储第1图像识别信息和第1时间信息，该第1图像识别信息是识别第1对象的信息，该第1时间信息是表示测量出的时间的信息。
优选为，可编程显示器还具有发送部，该发送部构成为向服务器装置发送关联地存储的第1图像识别信息和第1时间信息。
优选为，在视线朝向第1对象的时间为第1基准时间以上的情况下，显示控制部使显示器显示与第1对象预先对应的图像。
优选为，预先对应的图像是用于协助用户操作的图像。
优选为，在使显示器显示用于协助用户操作的图像的情况下，显示控制部使显示器进一步显示软件按钮，该软件按钮用于消除用于协助用户操作的图像的显示。可编程显示器以视线朝向用于协助用户操作的图像的时间在第2基准时间以上为条件，受理软件按钮的输入操作。
优选为，第1画面还包含第2对象。在通过估计判断为视线朝向第2对象的情况下，测量部测量视线朝向第2对象的时间。存储部关联地存储第2图像识别信息和第2时间信息，该第2图像识别信息是识别第2对象的信息，该第2时间信息是表示测量出的时间的信息。
优选为，在受理了指示从第1画面转移到第2画面的输入的情况下，显示控制部能够使显示器显示第2画面。在显示了第1画面的情况下，在估计为视线朝向第1对象时，存储部关联地存储第1画面识别信息、第1图像识别信息以及第1时间信息，其中，该第1画面识别信息是识别第1画面的信息。
优选为，第1对象是软件按钮。
根据本发明的另一方式，可编程显示器具有：估计部，其构成为使用通过拍摄人物得到的图像数据来进行视线的朝向的估计；显示控制部，其构成为使显示器显示多个预定的画面中的被指定的画面；测量部，其构成为在通过估计判断为视线朝向被指定的画面的情况下，测量视线朝向被指定的画面的时间；以及存储部，其构成为关联地存储画面识别信息和时间信息，该画面识别信息是识别被指定的画面的信息，该时间信息是表示测量出的时间的信息。
根据本发明的又一方式，便携终端装置经由中继设备从可编程/逻辑/控制器取得由可编程/逻辑/控制器从控制对象设备取得的数据。便携终端装置具有：估计部，其构成为使用通过拍摄人物得到的图像数据来进行视线的朝向的估计；显示控制部，其构成为使显示器显示包含对象的画面；测量部，其构成为在通过估计判断为视线朝向对象的情况下，测量视线朝向对象的时间；以及存储部，其构成为关联地存储识别信息和时间信息，该识别信息是识别对象的信息，该时间信息是表示测量出的时间的信息。
优选为，中继器是可编程显示器。
根据本发明的又一方式，便携终端装置以能够通过无线进行通信的方式与可编程/逻辑/控制器连接，并且能够显示从可编程/逻辑/控制器取得的数据。便携终端装置具有：估计部，其构成为使用通过拍摄人物得到的图像数据来进行视线的朝向的估计；显示控制部，其构成为使显示器显示包含对象的画面；测量部，其构成为在通过估计判断为视线朝向对象的情况下，测量视线朝向对象的时间；以及存储部，其构成为关联地存储识别信息和时间信息，该识别信息是识别对象的信息，该时间信息是表示测量出的时间的信息。
根据本发明的又一方式，数据处理方法在可编程显示器中执行。数据处理方法具有如下的步骤：可编程显示器的处理器使用通过拍摄人物得到的图像数据来进行视线的朝向的估计；处理器使显示器显示包含对象的画面；在通过估计判断为视线朝向对象的情况下，处理器测量视线朝向对象的时间；以及处理器使存储器关联地存储识别信息和时间信息，该识别信息是识别对象的信息，该时间信息是表示测量出的时间的信息。
根据本发明的另一方式，程序控制可编程显示器。程序使可编程显示器的处理器执行如下的步骤：使用通过拍摄人物得到的图像数据来进行视线的朝向的估计；使显示器显示包含对象的画面；在通过估计判断为视线朝向对象的情况下，测量视线朝向对象的时间；以及使存储器关联地存储识别信息和时间信息，该识别信息是识别对象的信息，该时间信息是表示测量出的时间的信息。
发明效果
根据本发明，他人能够确认用户在多长时间内连续注视了对象。
附图说明
图1是本实施方式的控制系统的系统结构的示意图。
图2是表示具有操作权限的人登录之后的可编程显示器的画面的图。
图3是用于说明在图2的状态(即，显示了页面画面532的状态)下，在控制系统1中产生了错误时的处理的图。
图4是用于说明可编程显示器的硬件结构的一例的图。
图5是用于说明从可编程显示器发送给服务器装置的日志数据的图。
图6是用于说明可编程显示器的功能性结构的图。
图7是表示在可编程显示器中执行的处理的一部分的流程图。
图8是用于说明在基准时间T1以上的期间内用户的视线未朝向对象的情况下的处理例的图。
图9是用于说明按照页面画面单位记录用户视觉确认了画面的时间的结构的图。
图10是表示操作权限的级别比用户α低的用户β对可编程显示器300进行操作时的状态的图。
图11是用于说明控制系统的第1变形例的图。
图12是用于说明控制系统的第2变形例的图。
图13是表示从图2的(B)的状态转移后的状态的图。
具体实施方式
一边参照附图一边详细地说明本发明的实施方式的可编程显示器。另外，关于图中的相同或者相当部分，标注同一符号并不重复其说明。
＜A.系统结构＞
图1是示出本实施方式的控制系统1的系统结构的示意图。参照图1，控制系统1包含：PLC 100、以能够通信的方式与PLC 100连接的可编程显示器(HMI：Human MachineInterface)300、以及以能够通信的方式与PLC 100连接的服务器装置400。服务器装置400例如是构成内部网的设备。
PLC 100周期性或者事件性地执行后述的用户程序。用户程序由PLC 100的使用者创建。用户通过操作例如协助装置(未图示)而能够创建包含访问命令的程序(源程序)。另外，协助装置将源程序转换成在PLC 100中能够执行的形式，将转换后的用户程序发送给PLC 100。协助装置提供与PLC 100之间的各种参数的设定、编程、监视器、调试等功能。PLC100与协助装置之间典型地构成为能够根据USB(Universal Serial Bus)标准进行通信。
PLC 100执行用户程序，根据包含在用户程序中的命令与服务器装置400进行通信。即，PLC 100和服务器装置400构成为能够经由以太网(注册商标)等网络112而相互交换数据。
PLC 100包含执行控制运算的CPU单元104以及1个以上的IO(Input/Output)单元106。这些单元构成为能够经由PLC系统总线108相互交换数据。并且，通过电源单元102向这些单元提供适当电压的电源。
在控制系统1中，PLC 100经由(经由PLC系统总线108连接的)IO单元106、和/或经由现场总线110在与各种现场设备之间交换数据。这些现场设备包含用于对控制对象进行某种处理的致动器、或用于从控制对象取得各种信息的传感器等。在图1中作为这样的现场设备的一例包含检测开关10、继电器20和对电动机32进行驱动的伺服电动驱动器30。并且，PLC 100还经由现场总线110与远程IO终端200连接。远程IO终端200基本上与IO单元106同样地进行关于一般的输入输出处理的处理。更具体而言，远程IO终端200包含用于进行利用现场总线110的数据传送的处理的通信耦合器202、以及1个以上的IO单元204。这些单元构成为能够经由远程IO终端总线208而相互交换数据。
可编程显示器300通过连接线缆114以能够通信的方式与PLC 100连接。可编程显示器300在画面上显示从PLC 100取得的各种信息。
并且，可编程显示器300具有面部认证功能。即，用户只要在可编程显示器300的面部认证上不成功，就无法利用可编程显示器300。详细说明，如下。
可编程显示器300控制对应用的访问。可编程显示器300存储有用户的面部的特征数据。可编程显示器300根据通过拍摄得到的用户的图像数据和上述特征数据来进行用户的面部认证。可编程显示器300在认证了用户的情况下，允许用户对应用的访问。优选采用上述特征数据预先存储在服务器装置400中，可编程显示器300能够从服务器装置400适当取得的结构。或者，在控制系统1中，可编程显示器300也可以向服务器装置400发送通过上述拍摄得到的图像数据，服务器装置400进行面部认证。
并且，可编程显示器300具有帮助功能。关于帮助功能的详细情况后述进行说明。另外，以下，“登录状态”是指允许对应用的访问的状态，“注销状态”是指不允许对应用的访问的状态。并且，在可编程显示器300中，如果允许对应用的访问，则发布对应用的访问权，如果不允许对应用的访问，则取消对应用的访问权。
＜B.处理的概要＞
(b1.第1处理例)
图2是用于说明可编程显示器300的第1处理例的图。具体而言，图2是表示具有操作权限的人(以下，也称为“用户”)登录之后(即，登录状态)的可编程显示器300的画面的图。
参照图2的(A)，可编程显示器300显示页面画面532。可编程显示器300预先存储多个页面画面，根据用户的指示等切换触摸屏318(正确地说为构成触摸屏的显示器)上显示的页面画面。更详细而言，可编程显示器300在包含从PLC 100取得的数据的状态下显示页面画面。更具体说明，如下。
可编程显示器300在触摸屏318上显示包含多个对象831、832、834的页面画面532。对象831包含从PLC 100实时地取得的数据。具体而言，对象831内的曲线图在页面画面532的显示中适当更新。
对象832表示维护菜单。对象832由多个对象8321、8322、…构成。对象8321在调整带式输送机的速度时使用。对象8322用于调整温度。对象834是用于转移到注销状态的软件按钮。
如图2的(B)所示，假设用户在预定的时间T1(以下，也称为“基准时间T1”)内注视了对象8321(假设利用眼睛900持续观察)。换言之，假设用户的视线901朝向对象8321基准时间T1。在该情况下，如图2的(C)所示，可编程显示器300通过执行帮助功能而以与页面画面532重叠的方式显示与对象8321预先对应的协助用图像881。另外，“协助用图像”是指可编程显示器300的包含用于协助用户的操作的注释的图像(帮助显示)。
更详细而言，可编程显示器300为了使用户识别协助用图像881与对象8321相关，在触摸屏318中显示从对象8321吹出的方式的协助用图像881。
对象836是用于消除协助用图像881的显示的(设为非显示)的软件按钮。通过由用户利用触摸操作等选择该对象836而使协助用图像881成为非显示。
另外，在上述中，举例说明在基准时间T1内注视了对象8321的情况，但不限于此。可编程显示器300即使在基准时间T1内注视了对象8321以外的对象(例如，对象8322)的情况下，也以与页面画面532重叠的状态显示与该对象对应的协助用图像。
在用户注视了基准时间T1以上的包含在页面画面中的对象的情况下，多数情况下用户难以判断该对象用于怎样的操作。因此，可编程显示器300在触摸屏318中显示与对象预先对应的协助用图像，由此用户能够容易地判断对象用于怎样的操作。换言之，可编程显示器300能够在不等待用户的手指的直接的输入操作的情况下向用户提供操作的协助。
(b2.第2处理例)
图3是用于说明可编程显示器300的第2处理例的图。具体而言，图3是用于说明在图2的状态(即，显示了页面画面532的状态)下，在控制系统1中产生了错误时的处理的图。
参照图3的(A)，可编程显示器300以与页面画面532重叠的状态显示对象851。对象851表示作为警告的一种的错误。
如图3的(B)所示，假设用户在基准时间T1内注视了对象851。换言之，用户的视线901朝向对象851基准时间T1。在该情况下，如图3的(C)所示，可编程显示器300通过执行帮助功能，以与页面画面532重叠的方式显示与对象851预先对应的协助用图像882。
在上述的情况下，可编程显示器300也能够在不等待用户的手指的直接的输入操作的情况下向用户提供操作的协助。
(b3.大数据)
在第1处理例和第2处理例中，可编程显示器300为了判断是否注视了对象8321基准时间T1，需要测量视线901连续地朝向1个对象(例如，对象8321、851)期间的时间。通过使该测量出的时间的信息与注视的对象的识别信息关联，对于控制系统1的管理者来说，可以作为有用的信息进行灵活应用。
因此，可编程显示器300使识别对象的图像识别信息和表示测量出的时间的时间信息关联地临时存储，将该关联存储的图像识别信息和时间信息发送给服务器装置400。具体而言，可编程显示器300将该关联存储的识别信息和时间信息作为日志数据(参照图5)经由PLC 100发送给服务器装置400。服务器装置400接收从可编程显示器300发送来的该信息。
更详细而言，使识别对象的图像识别信息(以下，也称为“对象ID”)、表示测量出的时间的时间信息和识别页面画面的画面识别信息(以下，也称为“页面ID”)关联地临时存储，将该关联存储的图像识别信息、时间信息以及画面识别信息发送给服务器装置400。
根据以上，控制系统1的管理者(例如，服务器装置400的用户)在服务器装置400中能够确认可编程显示器300的用户连续注视了对象多长时间。并且，在可编程显示器300中，控制系统1的管理者也能够确认可编程显示器300的用户连续注视了对象多长时间。
＜C.硬件结构＞
图4是用于说明可编程显示器300的硬件结构的一例的图。参照图4，可编程显示器300具有：进行各种运算的CPU(Central Processing Unit：中央处理器)311、ROM(ReadOnly Memory：只读存储器)312、RAM(Random Access Memory：随机存储器)313、非易失性地存储各种程序的闪存ROM314、计时器315、操作键316、照相机317、触摸屏318以及通信接口319。另外，这些部位经由内部总线而相互连接。
触摸屏318具有显示器381、被设置为覆盖显示器381的触摸面板382。通信接口319具有Ethernet(以太网，注册商标)用IF(InterFace)391、串行用IF392、USB(UniversalSerial Bus：通用串行总线)用IF393。
CPU311在RAM313等中展开地执行存储在闪存ROM314中的程序。ROM312通常存储有操作系统(OS：Operating System)等的程序。RAM313是易失性存储器，作为工作存储器进行使用。
Ethernet用IF391协助Ethernet的通信协议，在与PLC 100之间进行数据通信。串行用IF392协助串行通信的协议，在与例如PC(Personal Computer：个人电脑)之间进行数据通信。USB用IF393协助USB的通信协议，在与例如USB存储器之间进行数据通信。
另外，构成图4所示的可编程显示器300的各结构要素是普通的。因此，本发明的本质性的部分也是保存在闪存ROM314等存储器中的软件、或者能够经由网络下载的软件。另外，由于可编程显示器300的各硬件的动作是周知的，因此不重复详细的说明。
＜D.数据＞
图5是用于说明从可编程显示器300发送给服务器装置400的日志数据D5的图。参照图5，日志数据D5使得用于识别用户的用户ID、日期信息、表示操作内容的信息、用于识别页面画面的页面ID、用于识别对象的对象ID、表示注视时间的信息、表示停止时间的信息相互对应地存储。另外，日志数据D5例如在预定的时刻发送给服务器装置400。
与图2和图3对应地说明日志数据D5如下。作为一例，将页面画面532(参照图2)的页面ID设为“P011”。并且，将对象8321(参照图2)的对象ID设为“G02”。此外，将对象851(参照图3)的对象ID设为“G03”。并且，将基准时间T1设为“10秒”。
在该情况下，日志数据D5包含表示用户ID为“A001”的人注视30秒由“P011”确定的页面画面532中包含的由“G02”确定的对象8321的信息。并且，日志数据D5包含表示用户ID为“A001”的人注视20秒由“P011”确定的页面画面532中包含的由“G03”确定的对象851的信息。
这样，在日志数据D5中至少使识别页面画面的页面ID、用于识别对象的对象ID和时间信息关联地存储。通过可编程显示器300将日志数据D5发送给服务器装置400，使服务器装置400能够得到页面ID、对象ID和时间信息相对应的信息。
＜E.功能性结构＞
图6是用于说明可编程显示器300的功能性结构的图。参照图6，可编程显示器300具有存储部350、拍摄部351、显示部352、操作受理部353、通信处理部354、显示控制部355、面部认证部356、管理部357以及测量部358。
通信处理部354包含接收部3541和发送部3542。面部认证部356包含视线估计部3561。另外，拍摄部351与照相机317(图4)对应。显示部352与显示器381对应。操作受理部353与触摸面板382对应。测量部358与计时器315对应。
存储部350预先存储有用于显示多个页面画面的数据和用于显示协助用图像的数据。并且，在存储部350中存储日志数据D5。
以下，为了便于说明，假设可编程显示器300能够显示页面画面A(例如，图2等的页面画面532)、页面画面B、页面画面C、…。并且，假设页面画面A包含对象A1、对象A2以及对象A3。
显示控制部355使显示部352显示多个页面画面A、B、C、…中的被指定的页面画面(例如，页面画面A)。显示控制部355根据页面画面的类别而以从PLC 100取得的字段数据包含在页面画面中的方式生成显示用的图像数据。另外，字段数据由接收部3541接收，并发送给显示控制部355。并且，在操作受理部353受理了页面画面的切换指示的情况下，显示控制部355显示基于该指示的页面画面(例如，页面画面B)。
拍摄部351拍摄人物等被摄体。拍摄部351将由拍摄得到的图像数据发送给面部认证部356。
面部认证部356进行面部认证。并且，包含在面部认证部356中的视线估计部3561根据从拍摄部351发送来的图像数据来估计视线的方向。
管理部357从视线估计部3561接受估计结果。并且，管理部357从显示控制部355接受用于确定当前显示的页面画面的信息(页面ID)以及表示配置有多个对象的位置的位置信息(详细而言为坐标信息)。管理部357根据上述估计结果、上述页面ID以及上述位置信息来判断视线是否朝向对象。并且，管理部357在视线朝向对象的情况下判断朝向多个对象中的哪个对象。例如，当显示控制部355使显示部352显示了页面画面A的情况下，管理部357判断视线朝向多个对象A1、A2、A3中的哪个对象。
在通过视线估计判断为视线朝向对象的情况下，管理部357使测量部358测量视线朝向该对象的时间。并且，管理部357根据上述判断结果使得识别对象的对象ID、表示测量出的时间的时间信息、以及识别页面画面的页面ID关联，更新存储部350的日志数据D5。可编程显示器300通过进行这样的处理而得到图5所示的日志数据D5。
通信处理部354的发送部3542经由PLC 100将日志数据D5发送给服务器装置400。
(e.协助用图像的显示和消除)
显示控制部355在视线朝向对象的时间为基准时间T1以上的情况下，使显示部352显示与该对象预先对应的协助用图像。例如，当在显示部352中显示了页面画面A的情况下，在管理部357判断了视线是否朝向对象A1时，显示控制部355以与页面画面A重叠的方式使显示部352显示与对象A1预先对应的协助用图像。
并且，显示控制部355在使显示部352显示协助用图像的情况下，使显示部352进一步显示用于消除该协助用图像的显示的确认按钮(参照图2的(C)、图3的(C))。可编程显示器300以视线朝向协助用图像的时间为预定的时间T2(以下，也称为“基准时间T2”)以上为条件，受理对象836的输入操作。另外，基准时间T2也可以为与基准时间T1一样的长度。
这样，可编程显示器300通过采用以基准时间T2以上的注视为条件而消除协助用图像的结构，从而与不需要该条件而消除协助用图像的结构相比，能够使用户更可靠地确认协助用图像。
另外，也可以以不考虑基准时间T2，以显示协助用图像为触发而受理对象836的输入的方式构成可编程显示器300。
＜F.控制结构＞
图7是表示在可编程显示器300中执行的处理的一部分的流程图。参照图7，在步骤S2中，可编程显示器300的CPU311判断视线是否朝向包含在所显示的页面画面中的对象。
CPU311在判断为视线朝向对象的情况下(在步骤S2中为YES)，在步骤S4中，使用计时器315测量连续地视觉确认了该对象的时间。在判断为视线未朝向对象的情况下(在步骤S2中为NO)，CPU311使处理进入步骤S12。
在步骤S6中，CPU311使得识别连续地视觉确认出的对象的对象ID、表示测量出的时间的时间信息、以及用于识别所显示的页面画面的页面ID关联地存储。更详细而言，CPU311使用上述对象ID、上述时间信息以及上述页面ID来更新日志数据D5。
在步骤S8中，CPU311判断视觉确认了对象的时间是否为基准时间T1以上。在CPU311判断为在基准时间T1以上的情况下(在步骤S8中为YES)，在步骤S10中以与页面画面重叠的方式使显示器381显示与对象对应的协助用图像。在判断为小于基准时间T1的情况下(在步骤S8中为NO)，CPU311使处理进入步骤S12。
在步骤S12中，CPU311判断当前的时刻是否为预定的时刻。作为预定的时刻的一例列举出用户的作业的完成时刻(结束时刻)。
在判断为未达到预定的时刻的情况下(在步骤S12中为NO)，CPU311使处理进入步骤S2。在判断为达到预定的时刻的情况下(在步骤S12中为YES)，CPU311在步骤S14中，将包含关联地存储的对象ID、时间信息以及页面ID的日志数据D5经由PLC 100发送给服务器装置400。
＜G.变形例＞
＜g1：第1变形例＞
在上述中，例如如图3所示，可编程显示器300在用户的视线901朝向对象851预定时间T1以上的情况下，显示协助用图像882。以下，对用户的视线未朝向对象基准时间T1以上的情况下的处理例进行说明。
图8是用于说明用户的视线未朝向对象基准时间T1以上的情况下的处理例的图。参照图8的(A)，可编程显示器300以与页面画面532重叠的状态显示对象851。假设用户未注视对象851基准时间T1。换言之，假设用户的视线901未朝向对象851基准时间T1以上。
在该情况下，如图8的(B)所示，可编程显示器300以与页面画面532重叠的方式显示促使目视观察对象851的协助用图像883。可编程显示器300在图8的(B)的状态下，用户注视对象851基准时间T1以上从而使画面转移到图3的(C)所示的状态。
通过这样的结构，可编程显示器300能够以快速地显示协助用图像(例如，图3的(C)所示的协助用图像882)的方式引导用户。并且，可编程显示器300能够促使用户将视线朝向显示器381。
＜g2.第2变形例＞
(1)对于画面整体的应用
在上述中，说明可编程显示器300对在多长时间内注视了哪个对象进行了记录的结构。但是，不限于此，也可以以记录在多长时间内注视了哪个页面画面的方式构成可编程显示器300。即，可编程显示器300也可以不以对象单位而以页面画面单位记录用户视觉确认画面的时间。
图9是用于说明以页面画面单位记录用户视觉确认画面的时间的结构的图。参照图9的(A)，可编程显示器300在触摸屏318中显示包含对象801、802、803、804的页面画面。
在该状态下，假设用户α注视该页面画面。可编程显示器300在视线估计的结果为判断为视线朝向该页面画面的情况下，测量视线朝向该页面画面的时间。可编程显示器300使用于识别该页面画面的页面ID与表示测量出的时间的时间信息关联地存储。
此外，在图9的(A)的状态下，假设用户α注视了该页面画面基准时间T1以上。在该情况下，参照图9的(B)，可编程显示器300使与所显示的页面画面相关的协助用图像884以与该页面画面重叠的方式显示于触摸屏318。
根据上述的结构，用户能够容易地判断所显示的页面画面用于怎样的操作。换言之，可编程显示器300能够在不等待用户的手指的直接的输入操作的情况下向用户提供操作的协助。
并且，也可以以在显示预定的第1页面画面的情况下，以对象单位记录视觉确认时间，在显示预定的第2页面画面的情况下，以页面画面单位记录视觉确认时间的方式构成可编程显示器300。
(2)对进行因用户的区分而不同的显示的结构的应用
可编程显示器300的操作权限存在级别。在可编程显示器300中例如可以按照权限高的顺序依次设定管理员、维护者以及操作员。
图10是表示操作权限的级别比用户α低的用户β操作可编程显示器300时的状态的图。参照图10的(A)，可编程显示器300在触摸屏318中显示包含对象802、804的页面画面。即，可编程显示器300根据设定于用户β的操作权限，将在用户α使用时显示的对象801、803设为非显示。
在图10的(A)的状态下，假设用户β注视该页面画面基准时间T1以上。在该情况下，参照图10的(B)，可编程显示器300使与所显示的页面画面相关的协助用图像885以与该页面画面重叠的方式显示于触摸屏318。即，可编程显示器300根据用户的操作权限显示与在用户α使用的情况下所显示的协助用图像884不同的协助用图像885。另外，作为一例，协助用图像885表示由于没有操作权限而无法操作的处理的内容。
通过这样的结构，可编程显示器300能够显示与用户的操作权限对应的信息，该信息用于协助当前操作可编程显示器300的用户。由此，能够根据可编程显示器300使用户的便利性提高。
＜g3.第3的变形例＞
图11是用于说明控制系统1的第1变形例的图。参照图11，控制系统1A除了具有PLC100、可编程显示器300、服务器装置400之外，还具有平板终端600。控制系统1A在具有平板终端600的点上与控制系统1不同。
平板终端600与可编程显示器300进行通信。在控制系统1A中，取代可编程显示器300、或者与可编程显示器300一同由平板终端600执行上述的各种处理(面部认证、视线估计、日志数据D5的更新、协助用图像的显示)。即使是这样的结构，也能够得到与控制系统1相同的效果。
另外，平板终端600也可以以不经由可编程显示器300而直接与PLC 100进行通信的方式构建控制系统1A。
图12是用于说明控制系统1的第2变形例的图。参照图12，控制系统1B具有PLC100、服务器装置400、平板终端600以及中继器700。控制系统1B在取代可编程显示器300而具有中继器700的点以及具有平板终端600的点上与控制系统1不同。
中继器700对PLC 100与平板终端600之间的通信进行中继。
平板终端600与控制系统1A的情况同样地执行上述的各种处理(面部认证、视线估计、日志数据D5的更新、协助用图像的显示)。即使是这样的结构，也能够得到与控制系统1相同的效果。
＜g4.第4变形例＞
图13是用于说明协助用图像的显示的方式的变形例的图。具体而言，图13是与图2的(C)对应的图。即，图13是表示从图2的(B)的状态转移之后的状态的图。
参照图13，可编程显示器300将显示页面画面的区域的一部分设定为用于显示协助用图像886的区域899。作为一例，可编程显示器300使从画面的端部到用于显示协助用图像886的区域逐渐扩大，在扩大后的区域(图13的区域899)中显示协助用图像886。
即使是这样的显示方式，用户也能够容易地判断对象用于怎样的操作。换言之，可编程显示器300能够在不等待用户的手指的直接的输入操作的情况下向用户提供操作的协助。
本次公开的实施方式在所有的点上都只是例示的，不应该被认为是限制发明的内容。本发明的范围部通过上述的说明表示，而是通过技术方案表示的，包含与技术方案含义均等以及范围内的所有的变更。
标号说明
1、1A、1B：控制系统；100：PLC；102：电源单元；104：CPU单元；106、204：IO单元；108：PLC系统总线；200：终端；202：通信耦合器；208：终端总线；300：可编程显示器；311：CPU；315：计时器；317：照相机；318：触摸屏；319：通信接口；350：存储部；351：拍摄部；352：显示部；353：操作受理部；354：通信处理部；355：显示控制部；356：面部认证部；357：管理部；358：测量部；381：显示器；382：触摸面板；400：服务器装置；532：页面画面；600：平板终端；700：中继器；801、802、803、804、831、832、834、836、851、8321、8322：对象；881、882、883、884、885、886：协助用图像；899：区域；900：眼睛；901：视线；3541：接收部；3542：发送部；3561：视线估计部；D5：日志数据。

Claims (10)

1.一种可编程显示器，其具有：
估计部，其构成为使用通过拍摄人物得到的图像数据来进行视线的朝向的估计；
显示控制部，其构成为使显示器显示包含第1对象的第1画面；
测量部，其构成为在通过所述估计判断为所述视线朝向所述第1对象的情况下，测量所述视线朝向所述第1对象的时间；以及
存储部，其构成为关联地存储第1图像识别信息和第1时间信息，该第1图像识别信息是识别所述第1对象的信息，该第1时间信息是表示所述测量出的时间的信息，
在所述视线朝向所述第1对象的时间为第1基准时间以上的情况下，所述显示控制部使所述显示器显示与所述第1对象预先对应的、用于协助用户操作的第1图像，在所述视线朝向所述第1对象的时间未达第1基准时间以上的情况下，所述显示控制部使所述显示器显示用于协助用户操作的第3图像，以使用户的视线朝向所述第1对象的时间成为第1基准时间以上，
在使所述显示器显示所述用于协助用户操作的第1图像的情况下，所述显示控制部使所述显示器进一步显示软件按钮，该软件按钮用于消除所述用于协助用户操作的第1图像的显示，
所述可编程显示器以所述视线朝向所述用于协助用户操作的第1图像的时间在第2基准时间以上为条件，受理所述软件按钮的输入操作。
2.根据权利要求1所述的可编程显示器，其中，
该可编程显示器还具有发送部，该发送部构成为向服务器装置发送所述关联地存储的所述第1图像识别信息和所述第1时间信息。
3.根据权利要求1或2所述的可编程显示器，其中，
所述第1画面还包含第2对象，
在通过所述估计判断为所述视线朝向所述第2对象的情况下，所述测量部测量所述视线朝向所述第2对象的时间，
所述存储部关联地存储第2图像识别信息和第2时间信息，该第2图像识别信息是识别所述第2对象的信息，该第2时间信息是表示所述测量出的时间的信息。
4.根据权利要求1或2所述的可编程显示器，其中，
在受理了指示从所述第1画面转移到第2画面的输入的情况下，所述显示控制部能够使所述显示器显示所述第2画面，
在显示了所述第1画面的情况下，在估计为所述视线朝向所述第1对象时，所述存储部关联地存储第1画面识别信息、所述第1图像识别信息以及所述第1时间信息，该第1画面识别信息是识别所述第1画面的信息。
5.根据权利要求1或2所述的可编程显示器，其中，
所述第1对象是软件按钮。
6.一种可编程显示器，其具有：
估计部，其构成为使用通过拍摄人物得到的图像数据来进行视线的朝向的估计；
显示控制部，其构成为使显示器显示多个预定的画面中的被指定的画面；
测量部，其构成为在通过所述估计判断为所述视线朝向所述被指定的画面的情况下，测量所述视线朝向所述被指定的画面的时间；以及
存储部，其构成为关联地存储画面识别信息和时间信息，该画面识别信息是识别所述被指定的画面的信息，该时间信息是表示所述测量出的时间的信息，
在所述视线朝向所述被指定的画面的时间为第1基准时间以上的情况下，所述显示控制部使所述显示器显示与所述被指定的画面预先对应的、用于协助用户操作的第1图像，在所述视线朝向所述被指定的画面的时间未达第1基准时间以上的情况下，所述显示控制部使所述显示器显示用于协助用户操作的第3图像，以使用户的视线朝向所述被指定的画面的时间成为第1基准时间以上，
在使所述显示器显示所述用于协助用户操作的第1图像的情况下，所述显示控制部使所述显示器进一步显示软件按钮，该软件按钮用于消除所述用于协助用户操作的第1图像的显示，
所述可编程显示器以所述视线朝向所述用于协助用户操作的第1图像的时间在第2基准时间以上为条件，受理所述软件按钮的输入操作。
7.一种便携终端装置，其经由中继设备从可编程逻辑控制器取得由所述可编程逻辑控制器从控制对象设备取得的数据，其中，该便携终端装置具有：
估计部，其构成为使用通过拍摄人物得到的图像数据来进行视线的朝向的估计；
显示控制部，其构成为使显示器显示包含对象的画面；
测量部，其构成为在通过所述估计判断为所述视线朝向所述对象的情况下，测量所述视线朝向所述对象的时间；以及
存储部，其构成为关联地存储识别信息和时间信息，该识别信息是识别所述对象的信息，该时间信息是表示所述测量出的时间的信息，
在所述视线朝向所述对象的时间为第1基准时间以上的情况下，所述显示控制部使所述显示器显示与所述对象预先对应的、用于协助用户操作的第1图像，在所述视线朝向所述对象的时间未达第1基准时间以上的情况下，所述显示控制部使所述显示器显示用于协助用户操作的第3图像，以使用户的视线朝向所述对象的时间成为第1基准时间以上，
在使所述显示器显示所述用于协助用户操作的第1图像的情况下，所述显示控制部使所述显示器进一步显示软件按钮，该软件按钮用于消除所述用于协助用户操作的第1图像的显示，
所述便携终端装置以所述视线朝向所述用于协助用户操作的第1图像的时间在第2基准时间以上为条件，受理所述软件按钮的输入操作。
8.根据权利要求7所述的便携终端装置，其中，
所述中继设备是可编程显示器。
9.一种便携终端装置，其以能够进行无线通信的方式与可编程逻辑控制器连接，并且能够显示从所述可编程逻辑控制器取得的数据，其中，该便携终端装置具有：
估计部，其构成为使用通过拍摄人物得到的图像数据来进行视线的朝向的估计；
显示控制部，其构成为使显示器显示包含对象的画面；
测量部，其构成为在通过所述估计判断为所述视线朝向所述对象的情况下，测量所述视线朝向所述对象的时间；以及
存储部，其构成为关联地存储识别信息和时间信息，该识别信息是识别所述对象的信息，该时间信息是表示所述测量出的时间的信息，
在所述视线朝向所述对象的时间为第1基准时间以上的情况下，所述显示控制部使所述显示器显示与所述对象预先对应的、用于协助用户操作的第1图像，在所述视线朝向所述对象的时间未达第1基准时间以上的情况下，所述显示控制部使所述显示器显示用于协助用户操作的第3图像，以使用户的视线朝向所述对象的时间成为第1基准时间以上，
在使所述显示器显示所述用于协助用户操作的第1图像的情况下，所述显示控制部使所述显示器进一步显示软件按钮，该软件按钮用于消除所述用于协助用户操作的第1图像的显示，
所述便携终端装置以所述视线朝向所述用于协助用户操作的第1图像的时间在第2基准时间以上为条件，受理所述软件按钮的输入操作。
10.一种可编程显示器中的数据处理方法，该数据处理方法具有如下的步骤：
所述可编程显示器的处理器使用通过拍摄人物得到的图像数据来进行视线的朝向的估计；
所述处理器使显示器显示包含对象的画面；
在通过所述估计判断为所述视线朝向所述对象的情况下，所述处理器测量所述视线朝向所述对象的时间；
所述处理器使存储器关联地存储识别信息和时间信息，该识别信息是识别所述对象的信息，该时间信息是表示所述测量出的时间的信息；以及
在所述视线朝向所述对象的时间为基准时间以上的情况下，所述处理器使所述显示器显示与所述对象预先对应的、用于协助用户操作的第1图像，在所述视线朝向所述对象的时间未达基准时间以上的情况下，所述处理器使所述显示器显示用于协助用户操作的第3图像，以使用户的视线朝向所述对象的时间成为基准时间以上，
在使所述显示器显示所述用于协助用户操作的图像的情况下，所述处理器使所述显示器显示软件按钮，该软件按钮用于消除所述用于协助用户操作的第1图像的显示，
所述处理器以所述视线朝向所述用于协助用户操作的第1图像的时间在第2基准时间以上为条件，受理所述软件按钮的输入操作。
CN201580005329.XA 2014-02-13 2015-01-30 可编程显示器、便携终端装置、数据处理方法 Active CN106415413B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014-025458 2014-02-13
JP2014025458A JP6343953B2 (ja) 2014-02-13 2014-02-13 プログラマブル表示器、携帯端末装置、データ処理方法、およびプログラム
PCT/JP2015/052647 WO2015122294A1 (ja) 2014-02-13 2015-01-30 プログラマブル表示器、携帯端末装置、データ処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
CN106415413A CN106415413A (zh) 2017-02-15
CN106415413B true CN106415413B (zh) 2020-01-31

Family

ID=53800042

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580005329.XA Active CN106415413B (zh) 2014-02-13 2015-01-30 可编程显示器、便携终端装置、数据处理方法

Country Status (5)

Country Link
US (1) US9946342B2 (zh)
EP (1) EP3106965B1 (zh)
JP (1) JP6343953B2 (zh)
CN (1) CN106415413B (zh)
WO (1) WO2015122294A1 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9298007B2 (en) 2014-01-21 2016-03-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9965681B2 (en) 2008-12-16 2018-05-08 Osterhout Group, Inc. Eye imaging in head worn computing
US9952664B2 (en) 2014-01-21 2018-04-24 Osterhout Group, Inc. Eye imaging in head worn computing
US20150294156A1 (en) * 2014-04-14 2015-10-15 Osterhout Group, Inc. Sight information collection in head worn computing
US10191279B2 (en) 2014-03-17 2019-01-29 Osterhout Group, Inc. Eye imaging in head worn computing
US11227294B2 (en) 2014-04-03 2022-01-18 Mentor Acquisition One, Llc Sight information collection in head worn computing
US11669163B2 (en) 2014-01-21 2023-06-06 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US11737666B2 (en) 2014-01-21 2023-08-29 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9532714B2 (en) 2014-01-21 2017-01-03 Osterhout Group, Inc. Eye imaging in head worn computing
US9836122B2 (en) 2014-01-21 2017-12-05 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
US11487110B2 (en) 2014-01-21 2022-11-01 Mentor Acquisition One, Llc Eye imaging in head worn computing
JP6256134B2 (ja) * 2014-03-20 2018-01-10 京セラドキュメントソリューションズ株式会社 電子機器及び操作支援プログラム
JP6350302B2 (ja) * 2015-01-22 2018-07-04 オムロン株式会社 プログラマブル表示器
US20160306421A1 (en) * 2015-04-16 2016-10-20 International Business Machines Corporation Finger-line based remote control
KR102104532B1 (ko) * 2015-10-29 2020-04-27 미쓰비시덴키 가부시키가이샤 프로그래머블 표시기, 정보 처리 장치, 화면 데이터 작성 지원 프로그램, 및 화면 표시 시스템
JP2017199154A (ja) * 2016-04-26 2017-11-02 株式会社ジェイテクト 設備システム
US10812769B2 (en) * 2017-08-21 2020-10-20 International Business Machines Corporation Visualizing focus objects from video data on electronic maps
JP6766779B2 (ja) 2017-08-25 2020-10-14 オムロン株式会社 ユーザインタフェース開発支援装置、ユーザインタフェース開発支援方法、および、ユーザインタフェース開発支援プログラム
JP7039891B2 (ja) 2017-09-05 2022-03-23 富士フイルムビジネスイノベーション株式会社 ソフトウエア管理装置、ソフトウエア管理システム及びプログラム
JP6939650B2 (ja) * 2018-03-08 2021-09-22 オムロン株式会社 画像センサシステム、画像センサ、画像センサシステムにおける画像センサのデータ生成方法およびプログラム
US11334151B2 (en) * 2018-05-21 2022-05-17 Rakuten Group, Inc. Display apparatus, display method, program, and non-transitory computer-readable information recording medium
JP7275940B2 (ja) * 2019-07-08 2023-05-18 オムロン株式会社 制御プログラムおよび方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1185442A (ja) * 1997-09-03 1999-03-30 Sanyo Electric Co Ltd 情報出力装置
JP2002149332A (ja) * 2000-11-10 2002-05-24 Fuji Xerox Co Ltd 情報処理システム、情報処理方法及びコンピュータ読み取り可能な記録媒体
CN1376277A (zh) * 1999-09-30 2002-10-23 松下电工株式会社 在与可编程逻辑控制器结合使用的监视单元上设计视觉信息的系统
CN1418332A (zh) * 2000-03-17 2003-05-14 迪吉多电子股份有限公司 控制用服务器装置、控制用终端装置、控制系统及记录控制用通信程序的记录媒体
JP2004326468A (ja) * 2003-04-25 2004-11-18 Kubota Corp 環境プラント設備の運転保守支援システム
JP2005031876A (ja) * 2003-07-10 2005-02-03 Digital Electronics Corp 制御用表示装置
CN1584791A (zh) * 2004-06-11 2005-02-23 上海大学 人机交互方法及装置
CN101499012A (zh) * 2008-01-03 2009-08-05 凹凸电子（武汉）有限公司 提供人性化的计算机服务的系统以及方法
CN102834789A (zh) * 2010-04-16 2012-12-19 高通股份有限公司 用于使虚拟键盘尺寸与用户手指大小动态相关的设备和方法
CN103135762A (zh) * 2011-11-29 2013-06-05 三星电子株式会社 用于基于眼睛跟踪操作用户功能的方法及其移动装置
CN103561635A (zh) * 2011-05-11 2014-02-05 谷歌公司 视线追踪系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6755527B1 (en) * 2001-12-14 2004-06-29 Oracle International Corporation Techniques for analyzing eye movements
US7027054B1 (en) * 2002-08-14 2006-04-11 Avaworks, Incorporated Do-it-yourself photo realistic talking head creation system and method
JP4778394B2 (ja) 2006-10-27 2011-09-21 株式会社デジタル 操作表示装置、操作表示プログラムおよびそれを記録した記録媒体
JP2008165353A (ja) 2006-12-27 2008-07-17 Mitsubishi Electric Corp 監視システム
JP4577387B2 (ja) 2008-03-25 2010-11-10 株式会社デンソー 車両用操作入力装置
JP2011059194A (ja) 2009-09-07 2011-03-24 Sharp Corp 制御装置、画像形成装置、画像形成装置の制御方法、プログラムおよび記録媒体
US20110298689A1 (en) * 2010-06-03 2011-12-08 Microsoft Corporation Device for Sharing Photographs in Social Settings
JP2012123513A (ja) 2010-12-07 2012-06-28 Sony Corp 情報処理装置、および情報処理システム
JP5785015B2 (ja) * 2011-07-25 2015-09-24 京セラ株式会社 電子機器、電子文書制御プログラムおよび電子文書制御方法
JP5694890B2 (ja) * 2011-10-04 2015-04-01 日本電信電話株式会社 注視領域データ生成装置およびその動作方法
US9253410B2 (en) * 2013-04-25 2016-02-02 Canon Kabushiki Kaisha Object detection apparatus, control method therefor, image capturing apparatus, and storage medium

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1185442A (ja) * 1997-09-03 1999-03-30 Sanyo Electric Co Ltd 情報出力装置
CN1376277A (zh) * 1999-09-30 2002-10-23 松下电工株式会社 在与可编程逻辑控制器结合使用的监视单元上设计视觉信息的系统
CN1418332A (zh) * 2000-03-17 2003-05-14 迪吉多电子股份有限公司 控制用服务器装置、控制用终端装置、控制系统及记录控制用通信程序的记录媒体
JP2002149332A (ja) * 2000-11-10 2002-05-24 Fuji Xerox Co Ltd 情報処理システム、情報処理方法及びコンピュータ読み取り可能な記録媒体
JP2004326468A (ja) * 2003-04-25 2004-11-18 Kubota Corp 環境プラント設備の運転保守支援システム
JP2005031876A (ja) * 2003-07-10 2005-02-03 Digital Electronics Corp 制御用表示装置
CN1584791A (zh) * 2004-06-11 2005-02-23 上海大学 人机交互方法及装置
CN101499012A (zh) * 2008-01-03 2009-08-05 凹凸电子（武汉）有限公司 提供人性化的计算机服务的系统以及方法
CN102834789A (zh) * 2010-04-16 2012-12-19 高通股份有限公司 用于使虚拟键盘尺寸与用户手指大小动态相关的设备和方法
CN103561635A (zh) * 2011-05-11 2014-02-05 谷歌公司 视线追踪系统
CN103135762A (zh) * 2011-11-29 2013-06-05 三星电子株式会社 用于基于眼睛跟踪操作用户功能的方法及其移动装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于红外电视法的眼睛盯视人机交互技术;尹海荣;《红外技术》;20020830;第21卷(第4期);1-3 *

Also Published As

Publication number Publication date
US20160349840A1 (en) 2016-12-01
WO2015122294A1 (ja) 2015-08-20
EP3106965A1 (en) 2016-12-21
JP6343953B2 (ja) 2018-06-20
CN106415413A (zh) 2017-02-15
JP2015153073A (ja) 2015-08-24
US9946342B2 (en) 2018-04-17
EP3106965A9 (en) 2017-03-29
EP3106965A4 (en) 2017-03-29
EP3106965B1 (en) 2018-12-12

Similar Documents

Publication Publication Date Title
CN106415413B (zh) 可编程显示器、便携终端装置、数据处理方法
US10997444B2 (en) Use of human input recognition to prevent contamination
US8081226B2 (en) Digital camera system which allows a digital camera unit to communicate with peripheral devices via a human body
US20150273704A1 (en) Robot system for determining operator by biometric authentication
JP2011175439A5 (zh)
FI20041402A0 (fi) Hissin kauko-ohjaus
JP2016143157A (ja) 画像処理装置、画像処理方法、及び画像処理システム
US11467711B2 (en) Systems and methods for displaying and associating context images with zones of a security system
EP3112993B1 (en) Information processing apparatus, setting condition specification method for image forming apparatus
US20190212729A1 (en) Method for the remote control of a motor vehicle by means of a mobile controller, and remote control system
JP2010198465A (ja) 制御装置およびそれを用いたロボットシステム
CN108353163A (zh) 设置有视频显示单元的显示装置以及测量视频显示单元的显示的方法
JP2015130105A (ja) オペレータ監視制御装置およびオペレータ監視制御方法
CN103955271A (zh) 一种通过操作系统实现用户姿态检测的移动终端和方法
JP5013995B2 (ja) 監視システム
CN102841670A (zh) 程序处理装置
JP2017111590A5 (ja) 画像形成装置、画像形成装置の制御方法、画像形成システム、画像形成システムの制御方法、及びプログラム
CN110650287A (zh) 一种拍摄控制方法、装置、飞行器及飞行系统
CN111065982B (zh) 一种控制方法、设备、系统及存储介质
CN113110133B (zh) 一种工业无线遥控系统
JP5031589B2 (ja) 情報処理装置、情報処理装置の制御方法、及びプログラム
WO2020021639A1 (ja) 内視鏡洗浄管理システム、処理装置および洗浄管理方法
CN114882476A (zh) 基于人机交互的指定遮挡物佩戴检测方法及相关装置
KR20210062989A (ko) 인지인자를 이용한 증강현실 기반 원격 가이던스 시스템 및 그 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant