CN107533359A - 信息处理装置和联锁控制方法 - Google Patents

信息处理装置和联锁控制方法 Download PDF

Info

Publication number
CN107533359A
CN107533359A CN201580079203.7A CN201580079203A CN107533359A CN 107533359 A CN107533359 A CN 107533359A CN 201580079203 A CN201580079203 A CN 201580079203A CN 107533359 A CN107533359 A CN 107533359A
Authority
CN
China
Prior art keywords
action
operator
information processor
privileged site
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580079203.7A
Other languages
English (en)
Other versions
CN107533359B (zh
Inventor
岛田淳
樋口博彦
佐藤聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN107533359A publication Critical patent/CN107533359A/zh
Application granted granted Critical
Publication of CN107533359B publication Critical patent/CN107533359B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Programmable Controllers (AREA)
  • Collating Specific Patterns (AREA)

Abstract

信息处理装置(10A)具有将该信息处理装置(10A)的动作状态设定成联锁状态的联锁控制部(24)、使显示装置(12)显示表示人体的特定动作图案的引导图像的动作指示部(23A)、根据传感器器件(13)的检测输出来识别操作者(OP)的身体的特定部位的操作者识别部(21)、以及识别该识别出的特定部位的动作的动作识别部(22)。联锁控制部(24)在由动作识别部(22)识别出的动作与所述特定动作图案一致时，解除联锁状态。

Description

信息处理装置和联锁控制方法
技术领域
本发明涉及限制针对信息处理装置的特定操作的联锁技术。
背景技术
联锁是指防止产生装置设计者或运用责任者无意的动作的安全机构及其构造。在联锁工作中，针对装置的特定操作(例如设备的动作开始按钮的按下)无效。用户能够按照预先决定的一定顺序对装置进行操作，由此解除使该特定操作输入无效的状态(以下称作“联锁状态”)。作为联锁状态的解除的例子，可举出在大致同时按下操作盘上的2个操作按钮的情况下解除联锁状态的机构、以及在按照预先决定的顺序依次按下多个操作按钮的情况下解除联锁状态的机构。
另一方面，公知有用于自动识别人的身体动作或手动作这样的手势的动作捕捉技术。如果利用这种动作捕捉技术，则能够进行不依赖于操作盘等输入装置的非接触的信息输入。动作捕捉技术例如公开在专利文献1(日本特开2006-40271号公报)、专利文献2(日本特表2007-538318号公报)、专利文献3(日本特开2001-216069号公报)、专利文献4(日本特开2011-248606号公报)、专利文献5(日本特开2008-52590号公报)和专利文献6(日本特开2011-81469号公报)中。
现有技术文献
专利文献
专利文献1：日本特开2006-40271号公报
专利文献2：日本特表2007-538318号公报
专利文献3：日本特开2001-216069号公报
专利文献4：日本特开2011-248606号公报
专利文献5：日本特开2008-52590号公报
专利文献6：日本特开2011-81469号公报
发明内容
发明要解决的课题
关于联锁技术，解除装置的联锁状态的操作顺序越复杂，则在防止装置设计者或运用责任者无意的动作的方面更加有效，但是，当该操作顺序过于复杂时，存在由于用户的操作负担的增大而导致作业效率降低这样的课题。
并且，在现有的联锁技术中，存在很难防止用户不正当地解除联锁状态的操作违规这样的课题。特别是在近年来的数字化的仪表控制系统和FA(工厂自动化：FactoryAutomation)控制系统中，很难防止用户的操作违规。例如，在具有鼠标等指示器件的操作盘或具备触摸面板型显示器的控制系统的情况下，用户操作指示器件而选择显示器画面中出现的操作按钮，或者使手指接触触摸面板，由此能够简便地进行操作。但是，也能够简便地进行联锁状态的解除操作，因此，很难防止用户有意的操作违规。并且，虽然操作简便，但却可能由于误操作而解除联锁状态。
另外，可考虑将上述动作捕捉技术应用于联锁技术。但是，仅简单地将动作捕捉技术应用于联锁技术，不仅自动识别人有意进行的手势，还自动识别人无意进行的手势，可能生成根据其识别结果误解除联锁状态这样的可靠性较低的系统。
鉴于上述情况，本发明的目的在于，提供能够简便地进行联锁状态的解除操作、可靠性较高且能够抑制用户的操作违规的信息处理装置和联锁控制方法。
用于解决课题的手段
本发明的一个方式的信息处理装置与在空间上检测操作者的身体的传感器器件、操作输入部和显示装置连接，其特征在于，所述信息处理装置具有：联锁控制部，其将该信息处理装置的动作状态设定成使针对所述操作输入部的操作输入无效的联锁状态；动作指示部，其通过使所述显示装置显示表示人体的特定动作图案的引导图像，对所述操作者指示动作；操作者识别部，其根据所述传感器器件的检测输出，识别所述操作者的身体的特定部位；以及动作识别部，其识别该识别出的特定部位的动作，所述联锁控制部在由所述动作识别部识别出的动作与所述特定动作图案一致时，解除所述联锁状态。
本发明的另一个方式的在信息处理装置中进行的联锁控制方法，该信息处理装置与在空间上检测操作者的身体的传感器器件、操作输入部和显示装置连接，其特征在于，所述联锁控制方法具有以下步骤：将所述信息处理装置的动作状态设定成使针对所述操作输入部的特定操作输入无效的联锁状态；通过使所述显示装置显示表示人体的特定动作图案的引导图像，对所述操作者指示动作；根据所述传感器器件的检测输出，识别所述操作者的身体的特定部位；识别该识别出的特定部位的动作；以及在该识别出的动作与所述特定动作图案一致时，解除所述联锁状态。
发明效果
根据本发明，操作者能够按照显示装置中显示的动作图案移动自己的身体部位，由此解除联锁状态。因此，能够简便地进行联锁状态的解除操作，能够防止由于误操作而解除联锁状态。并且，使用操作者的身体部位的动作醒目，因此，还能够抑制操作违规。
附图说明
图1是示出本发明的实施方式1的设备控制系统的概略结构的功能框图。
图2是概略地示出实施方式1的联锁控制的处理步骤的一例的流程图。
图3是示出实施方式1的显示画面的一例的图。
图4是示出图3所示的状态之后的引导图像的一例的图。
图5是示出引导图像的另一例的图。
图6是示出解除了联锁状态时的显示画面的图。
图7是示出本发明的实施方式2的设备控制系统的概略结构的功能框图。
图8是概略地示出实施方式2的联锁控制的处理步骤的一例的流程图。
图9是概略地示出实施方式2的引导图像的一例的图。
图10是示出解除了联锁状态时的显示画面的图。
图11是示出本发明的实施方式1、2的变形例的信息处理装置的概略结构的功能框图。
具体实施方式
下面，参照附图对本发明的各种实施方式进行详细说明。另外，图中标注有相同标号的结构要素具有相同结构。
实施方式1
图1是示出本发明的实施方式1的设备控制系统1的概略结构的功能框图。设备控制系统1经由由LAN(Local Area Network：局域网)等控制网或广域网构成的通信线40而与计测设备、监视设备或制造装置等被控制设备411、…、41N连接。该设备控制系统1构成为能够单独监视并控制被控制设备411、…、41N的动作，能够用作仪表控制系统和FA(FactoryAutomation：工厂自动化)控制系统。
如图1所示，设备控制系统1具有信息处理装置10A、操作输入部11、带触摸面板12T的显示装置12和传感器器件13。信息处理装置10A具有运动判定部20A、图案存储部25、输入输出接口部(输入输出I/F部)30、系统控制部31和通信控制部32。
信息处理装置10A例如由PC(Personal Computer：个人计算机)或工作站等计算机构成即可。运动判定部20A和系统控制部31的功能能够使用计算机程序来实现。具体而言，能够通过具有包含CPU(Central Processing Unit：中央处理单元)的处理器、使该处理器执行运动判定部20A和系统控制部31的功能的一组计算机程序、存储这一组计算机程序的计算机可读取的记录介质的计算机来实现运动判定部20A和系统控制部31的功能。图案存储部25由非易失性存储器或HDD(Hard Disk Drive：硬盘驱动器)构成即可。
操作输入部11、显示装置12、触摸面板12T和传感器器件13经由输入输出接口部30而与系统控制部31和运动判定部20A连接。本实施方式的操作输入部11构成为包含鼠标等指示器件和键盘输入器件。操作者OP能够对操作输入部11进行操作，对系统控制部31和运动判定部20A输入信息。并且，由于显示装置12组入有触摸面板12T，因此，操作者OP例如通过使手指等自己身体的一个部位或辅助器械接触显示装置12的画面，也能够对系统控制部31和运动判定部20A输入信息。本发明的操作输入部能够由这些操作输入部11和触摸面板12T实现。
显示装置12由液晶显示器或有机EL显示器等视频显示装置构成即可。系统控制部31和运动判定部20A能够经由输入输出接口部30对显示装置12供给视频信号而使其显示图像。
系统控制部31经由通信控制部32在与被控制设备411、…、41N之间进行数据的发送接收，由此能够对被控制设备411、…、41N的动作进行控制。并且，系统控制部31例如能够使显示装置12显示表示设备控制系统1的动作状况的图像、表示被控制设备411、…、41N的运行状态的图像以及用于对被控制设备411、…、41N进行远程操作的操作图像。操作者OP视觉辨认显示装置12的显示内容，能够对操作输入部11或触摸面板12T进行操作而对系统控制部31输入信息。
另一方面，传感器器件13是如下的空间识别器件：能够在空间上检测位于检测范围内的操作者OP的身体的各部位，经由输入输出接口部30将其检测结果供给到运动判定部20A。传感器器件13具有对检测范围内的操作者OP的身体进行拍摄而输出摄像数据的摄像部13A、对该操作者OP照射具有空间上的图案的电磁波(例如红外线)作为检测波的检测波照射部13B、接收针对该检测波的反射波的反射波接收部13C以及运算部13P。
运算部13P具有如下的功能：根据来自操作者OP的反射波，通过公知的图案照射方式(也称作“Light Coding方式”)实时检测针对操作者OP的距离信息(depth
information)。这里，距离信息是表示从传感器器件13到操作者OP的身体表面的各部的距离(depth)的信息。并且，运算部13P根据该距离信息和由摄像部13A得到的摄像数据，生成具有像素单位的距离信息的距离图像。进而，运算部13P还能够根据距离图像识别操作者OP的身体的各部位(例如左手、头部或右手)。将其识别结果和距离图像作为传感器器件13的检测输出，经由输入输出接口部30供给到运动判定部20A。另外，也可以通过公知的TOF(Time Of Flight)方式来检测距离信息，以代替所述图案照射方式。
如图1所示，运动判定部20A具有操作者识别部21、动作识别部22、动作指示部23A和联锁控制部24。操作者识别部21能够根据传感器器件13的检测输出，实时识别操作者OP的身体的特定部位和该特定部位的形状。在图案存储部25中例如预先存储有与手等身体的特定部位的各种形状和肤色等有关的库信息，因此，操作者识别部21能够根据传感器器件13的检测输出，参照该库信息识别操作者OP的身体的特定部位和该特定部位的形状。
另外，在本实施方式中，传感器器件13的运算部13P实时检测操作者OP的身体的各部位，但是不限于此。也可以是，运动判定部20A具有与运算部13P相同的功能，由此，根据传感器器件13的检测输出而实时检测操作者OP的身体的各部位。
动作识别部22具有识别由操作者识别部21识别出的特定部位的动作的功能。具体而言，在图案存储部25中例如预先存储有表示手等身体部位的手势的动作图案，因此，动作识别部22对该识别出的特定部位的动作与图案存储部25中存储的动作图案进行比较。动作识别部22将表示该特定部位的动作是否与图案存储部25中存储的动作图案一致的信息供给到联锁控制部24。
动作指示部23A具有使显示装置12显示表示图案存储部25中存储的动作图案的动态图像(以下称作“引导图像”)的功能。
联锁控制部24具有将信息处理装置10A的动作状态设定成使针对操作输入部11的特定操作输入无效的联锁状态的功能。联锁控制部24例如对输入输出接口部30进行控制，使得不利用输入输出接口部30受理针对操作输入部11或触摸面板12T的特定操作输入，由此能够使该特定操作输入无效。
接着，下面参照图2对由上述运动判定部20A执行的联锁控制进行说明。图2是概略地示出实施方式1的联锁控制的处理步骤的一例的流程图。
在信息处理装置10A的动作状态被设定成联锁状态的情况下执行联锁控制。首先，操作者识别部21开始进行操作者识别处理(步骤ST11)。即，操作者识别部21实时监视传感器器件13的检测输出，如上所述，尝试根据该检测输出来识别操作者OP的身体的特定部位和该特定部位的形状。在操作者识别部21未识别出身体的特定部位(例如左手或右手)时(步骤ST12：否)，不转移到接下来的步骤。
图3是示出联锁状态时的显示装置12的显示画面12S的一例的图。在显示画面12S中显示有A组操作按钮A1、A2、B组操作按钮B1、B2、C组操作按钮C1、C2以及鼠标光标Cr。操作者OP使用右手OPR对指示器件11M进行操作，由此能够使鼠标光标Cr移动。但是，点击操作按钮A1、A2、B1、B2、C1、C2进行选择的操作被联锁控制部24无效。并且，传感器器件13放射检测波DW。操作者OP将自己身体的特定部位放置在传感器器件13的检测范围内时，操作者识别部21识别该特定部位及其形状。
在操作者识别部21识别出操作者OP的身体的特定部位时(步骤ST12：是)，动作指示部23A开始显示表示图案存储部25中存储的动作图案的引导图像(步骤ST13)。接着，动作识别部22开始进行用于识别由操作者识别部21识别出的特定部位的动作的动作图案识别处理(步骤ST14)。另外，步骤ST13、ST14不是必须按照该顺序执行，也可以按照相反顺序或同时执行。
图4是概略地示出图3所示的状态之后的引导图像的一例的图。如图4所示，当操作者OP将左手OPL放置在传感器器件13的检测范围内时，操作者识别部21识别该左手OPL(步骤ST12：是)。同时还识别该左手OPL的形状。接着，动作指示部23A使显示画面12S显示图4的引导图像G1(步骤ST13)。在该引导图像G1中显示有带文字“A”的手图像Ha、带文字“B”的手图像Hb、表示操作者识别部21的识别结果的手图像Hd。由手图像Ha示出的手形状对应于A组操作按钮A1、A2，由手图像Hb示出的手形状对应于B组操作按钮B1、B2。在图4的例子中，识别为左手OPL的识别形状与手图像Hb的形状图案一致。并且，在引导图像G1中还显示有圆弧状的引导线Ta、提示沿着该引导线Ta顺时针移动左手的光点Pg。操作者OP能够根据该引导图像G1，以与光点Pg的运动同步的方式移动自己的左手OPL。
另外，引导图像不限于图4的引导图像G1。例如，如图5所示，还可考虑提示沿着矩形的引导线Tb移动左手OPL的引导图像G2。
在上述步骤ST14之后，联锁控制部24判定操作者OP的特定部位的识别形状是否与引导图像中显示的特定部位的形状图案(以下称作“显示形状图案”)一致且操作者OP的特定部位的动作是否与引导图像中显示的动作图案(以下称作“显示动作图案”)一致(步骤ST15)。在判定为该特定部位的识别形状与显示形状图案一致且该特定部位的动作与显示动作图案一致时(步骤ST15：是)，联锁控制部24根据该判定结果开始计时器的计数(步骤ST16)。
然后，联锁控制部24进行待机，直到该特定部位的识别形状与显示形状图案一致且该特定部位的动作与显示动作图案一致的状态经过设定时间T1为止(步骤ST19：否)。当产生该特定部位的识别形状与显示形状图案不一致的状态、和该特定部位的动作与显示动作图案不一致的状态中的任意一方时(步骤ST17：否)，联锁控制部24对计时器的计数值进行复位(步骤ST18)，继续进行步骤ST17的判定处理(步骤ST18)。
另一方面，当操作者OP的特定部位的识别形状与显示形状图案一致且操作者OP的特定部位的动作与显示动作图案一致的状态经过设定时间T1后(步骤ST17：是且步骤ST19：是)，联锁控制部24解除联锁状态(步骤ST20)。然后，在操作者OP的特定部位的识别形状与显示形状图案一致且操作者OP的特定部位的动作与显示动作图案一致的期间内(步骤ST21：是)，联锁状态的解除持续。
当产生操作者OP的特定部位的识别形状与显示形状图案不一致的状态、和操作者OP的特定部位的动作与显示动作图案不一致的状态中的任意一方时(步骤ST21：否)，联锁控制部24再次设定联锁状态(步骤ST22)。动作识别部22检测到该联锁状态的再次设定后，结束动作图案识别处理(步骤ST23)。
图6是示出在图4所示的状态之后解除了联锁状态时的显示装置12的显示画面的图。如图6所示，在显示画面12S中显示“B组按钮有效”这样的消息Msg1，选择B组操作按钮B1、B2的操作有效。操作者OP在左手OPL的形状、左手OPL的轨迹及其移动周期的组合与手图像Hb的形状图案和显示动作图案一致的期间内，能够利用右手
OPR对指示器件11M进行操作，点击操作按钮B1、B2进行选择。另外，操作者OP使左手OPL的形状与图4的手图像Ha的形状图案一致且使左手OPL的轨迹及其移动周期与显示动作图案一致，由此，选择A组操作按钮A1、A2的操作有效。
接着，对上述实施方式1的信息处理装置10A的效果进行说明。如上所述，在实施方式1的信息处理装置10A中，将操作者OP的身体部位的识别(图2的步骤ST12：是)作为触发来显示动作图案(步骤ST13)。操作者OP根据该显示动作图案移动自己的身体部位，由此能够解除联锁状态(步骤ST20)。因此，操作者OP能够简便地进行联锁状态的解除操作，并且，根据显示动作图案有意识地进行该解除操作，因此，能够有效防止由于误操作而解除联锁状态。并且，使用操作者OP的身体部位的动作醒目，因此，还能够抑制操作违规。
并且，联锁控制部24在解除了联锁状态后，在产生了操作者OP的身体部位的识别形状与显示形状图案不一致的状态、和操作者OP的身体部位的动作与显示动作图案不一致的状态中的任意一方时(步骤ST21：否)，再次设定联锁状态(步骤ST22)。因此，为了进行通过解除联锁状态而有效的操作，操作者OP需要根据显示动作图案始终持续移动自己的身体部位。因此，操作者OP很难秘密地引起操作违规。例如，以往，在用于解除联锁状态的操作按钮上放置了物体的状态下、或为了解除联锁状态而用手肘和手掌同时按压了2个操作按钮的状态下，进行了操作违规。与此相对，在本实施方式的信息处理装置10A中，操作者OP不移动自己的身体部位而无法进行操作违规，因此，能够抑制操作违规。
并且，如图4中例示的那样，操作者识别部21能够识别操作者OP的身体的特定部位的形状。动作识别部22识别具有该形状的特定部位的动作图案。因此，通过身体部位的形状和动作图案的组合，能够生成多个联锁状态的解除图案。
另外，在图2的步骤ST15为“否”的情况下不进行处理，但是不限于此。例如，也可以在该特定部位的动作与显示动作图案不一致的状态持续了一定时间的情况下，变更控制内容以使处理返回到步骤ST12。并且，也可以在计数值复位(步骤ST18)的重复次数超过了规定次数的情况下，变更控制内容以使处理返回到步骤ST12。进而，也可以在处理返回到步骤ST12的情况下，删除与操作者识别部21识别出的特定部位有关的信息。
实施方式2
接着，对本发明的实施方式2进行说明。图7是示出实施方式2的设备控制系统2的概略结构的功能框图。图1和图7所示的结构要素中的标注有相同标号的结构要素具有相同结构和相同功能。
如图7所示，与上述设备控制系统1同样，设备控制系统2经由通信线40而与被控制设备411、…、41N连接。该设备控制系统2构成为能够单独监视并控制被控制设备411、…、41N的动作，能够用作仪表控制系统和FA控制系统。
并且，设备控制系统2具有信息处理装置10B、操作输入部11、带触摸面板12T的显示装置12和传感器器件13。除了运动判定部20B以外，信息处理装置10B具有与实施方式1的信息处理装置10A相同的结构。
如图7所示，运动判定部20B具有操作检测部26、操作者识别部21、动作识别部22、动作指示部23B和联锁控制部24。除了操作检测部26和动作指示部23B以外，运动判定部20B的结构与实施方式1的运动判定部20A的结构相同。
操作检测部26检测由操作输入部11或触摸面板12T进行的开始联锁控制的操作。根据该操作的检测，动作指示部23B使显示装置12显示表示图案存储部25中存储的动作图案的引导图像。
图8是概略地示出实施方式2的联锁控制的处理步骤的一例的流程图。参照图8，操作检测部26进行待机，直到利用操作输入部11或触摸面板12T进行特定操作为止(步骤ST9：否)。操作检测部26检测到特定操作后(步骤ST9：是)，动作指示部23B开始显示表示图案存储部25中存储的动作图案的引导图像(步骤ST10)。
接着，操作者识别部21开始进行操作者识别处理(步骤ST11)。即，操作者识别部21实时监视传感器器件13的检测输出，尝试根据该检测输出来识别操作者OP的身体的特定部位和该特定部位的形状。在操作者识别部21未识别出身体的特定部位时(步骤ST12：否)，不转移到接下来的步骤。在操作者识别部21识别出操作者OP的身体的特定部位时(步骤ST12：是)，动作识别部22开始进行用于识别由操作者识别部21识别出的特定部位的动作的动作图案识别处理(步骤ST14)。步骤ST14～ST23与图2所示的步骤ST14～ST23相同，因此省略它们的详细说明。
图9是概略地示出根据特定操作而显示于显示画面12S的引导图像G3的一例的图。如图9所示，在显示画面12S显示有用于接通被控制设备411、…、41N中的任意被控制设备的电源的电源按钮Bn。选择该电源按钮Bn的操作被联锁控制部24无效。在操作者OP进行对指示器件11M进行操作而在将鼠标光标Cr放置在电源按钮Bn上的状态下按下指示器件11M的按钮的操作后，根据该操作，动作指示部23B使显示画面12S显示图9的引导图像G3(步骤ST10)。在该引导图像G3中还显示有圆弧状的引导线Tc、提示沿着该引导线Tc顺时针移动左手的光点Pg。操作者OP能够根据该引导图像G3，以与光点Pg的运动同步的方式移动自己的左手OPL。
图10是示出在图9所示的状态之后解除了联锁状态时的显示装置12的显示画面的图。如图10所示，操作者OP在左手OPL的形状、左手OPL的轨迹及其移动周期的组合与显示动作图案一致的期间内，对指示器件11M进行操作，使鼠标光标Cr移动到电源按钮Bn上，能够点击电源按钮Bn。其结果是，在显示画面12S显示“接通了电源”这样的消息Msg2。
如以上说明的那样，在实施方式2的信息处理装置10B中，操作者OP能够对操作输入部11或触摸面板12T进行操作，简单地开始进行联锁控制处理。因此，能够提供用户的操作负担较少的信息处理装置10B。
并且，上述实施方式1、2的信息处理装置10A、10B的主要功能不限于硬件结构，还能够通过计算机可读取的软件程序来实现。图11是概略地示出由软件程序实现时的信息处理装置10A、10B的结构的功能框图。图11的信息处理装置50具有包含CPU的处理器51、RAM(random access memory)52、非易失性存储器53、记录介质54和输入输出接口55。这些结构要素经由总线56相互连接。输入输出接口55相当于图1和图7所示的输入输出接口部30，记录介质54相当于图1和图7所示的图案存储部25。作为记录介质54，例如可举出硬盘(磁盘)、光盘或闪存。处理器61从非易失性存储器53或记录介质54载入软件程序，根据该软件程序进行动作，由此，能够实现上述系统控制部31和运动判定部20A、20B的功能。
以上参照附图叙述了本发明的各种实施方式，但是，这些实施方式只是本发明的例示，能够采用这些实施方式以外的各种方式。
另外，在本发明的范围内，能够进行上述实施方式1、2的自由组合、各实施方式的任意结构要素的变形或各实施方式的任意结构要素的省略。
产业上的可利用性
如上所述，本发明的信息处理装置和联锁控制方法适合用于仪表控制系统和FA控制系统等设备控制系统。
标号说明
1、2：设备控制系统；10A、10B：信息处理装置；11：操作输入部；11M：指示器件；12：显示装置；12T：触摸面板；12S：显示画面；13：传感器器件；13A：摄像部；13B：检测波照射部；13C：反射波接收部；13P：运算部；20A、20B：运动判定部；21：操作者识别部；22：动作识别部；23A、23B：动作指示部；24：联锁控制部；25：图案存储部；26：操作检测部；30：输入输出接口部；31：系统控制部；32：通信控制部；40：通信线；411、…、41N：被控制设备。

Claims (9)

1.一种信息处理装置，其与在空间上检测操作者的身体的传感器器件、操作输入部和显示装置连接，其特征在于，所述信息处理装置具有：
联锁控制部，其将该信息处理装置的动作状态设定成使针对所述操作输入部的操作输入无效的联锁状态；
动作指示部，其通过使所述显示装置显示表示人体的特定动作图案的引导图像，对所述操作者指示动作；
操作者识别部，其根据所述传感器器件的检测输出，识别所述操作者的身体的特定部位；以及
动作识别部，其识别该识别出的特定部位的动作，
所述联锁控制部在由所述动作识别部识别出的动作与所述特定动作图案一致时，解除所述联锁状态。
2.根据权利要求1所述的信息处理装置，其特征在于，
所述动作指示部在由所述操作者识别部识别出该特定部位后，使所述显示装置显示所述引导图像。
3.根据权利要求1所述的信息处理装置，其特征在于，
所述动作指示部根据针对所述操作输入部的操作输入，使所述显示装置显示所述引导图像。
4.根据权利要求1所述的信息处理装置，其特征在于，
所述操作者识别部根据所述传感器器件的检测输出，识别所述特定部位的形状，
所述动作识别部识别具有该识别出的形状的特定部位的动作，
所述联锁控制部在由所述操作者识别部识别出的形状与特定形状图案一致且由所述动作识别部识别出的动作与所述特定动作图案一致时，解除所述联锁状态。
5.根据权利要求1所述的信息处理装置，其特征在于，
所述联锁控制部在解除了所述联锁状态后产生了该识别出的动作与所述特定动作图案不一致的状态时，再次设定所述联锁状态。
6.根据权利要求1所述的信息处理装置，其特征在于，
所述联锁控制部在由所述动作识别部识别出的动作与所述特定动作图案一致的状态持续了一定时间时，解除所述联锁状态。
7.根据权利要求1所述的信息处理装置，其特征在于，
所述信息处理装置还具有系统控制部，该系统控制部根据针对所述操作输入部的操作输入，对外部的被控制设备的动作进行控制。
8.一种信息处理装置，其与在空间上检测操作者的身体的传感器器件、操作输入部和显示装置连接，其特征在于，所述信息处理装置具有：
存储器，其存储有联锁控制程序；以及
处理器，其根据从所述存储器读出的联锁控制程序进行动作，
所述联锁控制程序使所述处理器执行以下步骤：
将所述信息处理装置的动作状态设定成使针对所述操作输入部的特定操作输入无效的联锁状态；
通过使所述显示装置显示表示人体的特定动作图案的引导图像，对所述操作者指示动作；
根据所述传感器器件的检测输出，识别所述操作者的身体的特定部位；
识别该识别出的特定部位的动作；以及
在该识别出的动作与所述特定动作图案一致时，解除所述联锁状态。
9.一种在信息处理装置中进行的联锁控制方法，该信息处理装置与在空间上检测操作者的身体的传感器器件、操作输入部和显示装置连接，其特征在于，所述联锁控制方法具有以下步骤：
将所述信息处理装置的动作状态设定成使针对所述操作输入部的特定操作输入无效的联锁状态；
通过使所述显示装置显示表示人体的特定动作图案的引导图像，对所述操作者指示动作；
根据所述传感器器件的检测输出，识别所述操作者的身体的特定部位；
识别该识别出的特定部位的动作；以及
在该识别出的动作与所述特定动作图案一致时，解除所述联锁状态。
CN201580079203.7A 2015-05-20 2015-05-20 信息处理装置和联锁控制方法 Expired - Fee Related CN107533359B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/064493 WO2016185586A1 (ja) 2015-05-20 2015-05-20 情報処理装置及びインタロック制御方法

Publications (2)

Publication Number Publication Date
CN107533359A true CN107533359A (zh) 2018-01-02
CN107533359B CN107533359B (zh) 2019-04-23

Family

ID=57319551

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580079203.7A Expired - Fee Related CN107533359B (zh) 2015-05-20 2015-05-20 信息处理装置和联锁控制方法

Country Status (3)

Country Link
JP (1) JP6293372B2 (zh)
CN (1) CN107533359B (zh)
WO (1) WO2016185586A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190004505A1 (en) * 2017-06-28 2019-01-03 Fisher-Rosemount Systems, Inc. Interlock chain visualization
CN110942055A (zh) * 2019-12-31 2020-03-31 北京市商汤科技开发有限公司 展示区域的状态识别方法、装置、设备及存储介质
WO2024013821A1 (ja) * 2022-07-11 2024-01-18 ファナック株式会社 入力制御装置及び記憶媒体

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102150089A (zh) * 2008-07-21 2011-08-10 Keba股份公司 用于输出或启用具有潜在危险的控制命令的可移动手动设备的操作方法及相应手动设备
CN102203704A (zh) * 2008-10-30 2011-09-28 三星电子株式会社 通过触摸和动作产生控制命令的接口设备、包括该接口设备的接口系统以及使用该接口设备的接口方法
CN102246268A (zh) * 2008-12-15 2011-11-16 东京毅力科创株式会社 基板处理系统、基板处理方法以及存储了程序的存储介质
CN102413886A (zh) * 2009-05-01 2012-04-11 微软公司 示出身体位置
EP2474950A1 (en) * 2011-01-05 2012-07-11 Softkinetic Software Natural gesture based user interface methods and systems
CN102722239A (zh) * 2012-05-17 2012-10-10 上海冠勇信息科技有限公司 移动设备的非接触式控制方法
CN102830891A (zh) * 2011-06-15 2012-12-19 康佳集团股份有限公司 一种非接触式手势控制设备及其锁定和解锁方法
CN103425419A (zh) * 2012-05-23 2013-12-04 联想(北京)有限公司 操作控制方法及电子设备
CN103491327A (zh) * 2012-06-12 2014-01-01 索尼公司 投影型图像显示设备、图像投影方法以及计算机程序
CN103678968A (zh) * 2012-09-11 2014-03-26 索尼公司 基于姿势和表情的认证
CN103858074A (zh) * 2011-08-04 2014-06-11 视力移动技术有限公司 经由3d显示器与装置交互的系统和方法
CN103853457A (zh) * 2012-11-29 2014-06-11 上海斐讯数据通信技术有限公司 移动终端非接触式解锁方法
CN104169933A (zh) * 2011-12-29 2014-11-26 英特尔公司 用于认证用户的方法、装置和计算机可读记录介质
CN104486679A (zh) * 2011-08-05 2015-04-01 三星电子株式会社 控制电子设备的方法和应用该方法的电子设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5256109B2 (ja) * 2009-04-23 2013-08-07 株式会社日立製作所 表示装置
JP5013548B2 (ja) * 2009-07-16 2012-08-29 ソニーモバイルコミュニケーションズ， エービー 情報端末、情報端末の情報提示方法及び情報提示プログラム
US9141197B2 (en) * 2012-04-16 2015-09-22 Qualcomm Incorporated Interacting with a device using gestures
JP5782061B2 (ja) * 2013-03-11 2015-09-24 レノボ・シンガポール・プライベート・リミテッド 移動物体の動作を認識する方法および携帯式コンピュータ

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102150089A (zh) * 2008-07-21 2011-08-10 Keba股份公司 用于输出或启用具有潜在危险的控制命令的可移动手动设备的操作方法及相应手动设备
CN102203704A (zh) * 2008-10-30 2011-09-28 三星电子株式会社 通过触摸和动作产生控制命令的接口设备、包括该接口设备的接口系统以及使用该接口设备的接口方法
CN102246268A (zh) * 2008-12-15 2011-11-16 东京毅力科创株式会社 基板处理系统、基板处理方法以及存储了程序的存储介质
CN102413886A (zh) * 2009-05-01 2012-04-11 微软公司 示出身体位置
EP2474950A1 (en) * 2011-01-05 2012-07-11 Softkinetic Software Natural gesture based user interface methods and systems
CN102830891A (zh) * 2011-06-15 2012-12-19 康佳集团股份有限公司 一种非接触式手势控制设备及其锁定和解锁方法
CN103858074A (zh) * 2011-08-04 2014-06-11 视力移动技术有限公司 经由3d显示器与装置交互的系统和方法
CN104486679A (zh) * 2011-08-05 2015-04-01 三星电子株式会社 控制电子设备的方法和应用该方法的电子设备
CN104169933A (zh) * 2011-12-29 2014-11-26 英特尔公司 用于认证用户的方法、装置和计算机可读记录介质
CN102722239A (zh) * 2012-05-17 2012-10-10 上海冠勇信息科技有限公司 移动设备的非接触式控制方法
CN103425419A (zh) * 2012-05-23 2013-12-04 联想(北京)有限公司 操作控制方法及电子设备
CN103491327A (zh) * 2012-06-12 2014-01-01 索尼公司 投影型图像显示设备、图像投影方法以及计算机程序
CN103678968A (zh) * 2012-09-11 2014-03-26 索尼公司 基于姿势和表情的认证
CN103853457A (zh) * 2012-11-29 2014-06-11 上海斐讯数据通信技术有限公司 移动终端非接触式解锁方法

Also Published As

Publication number Publication date
CN107533359B (zh) 2019-04-23
JPWO2016185586A1 (ja) 2017-08-10
JP6293372B2 (ja) 2018-03-14
WO2016185586A1 (ja) 2016-11-24

Similar Documents

Publication Publication Date Title
US11181985B2 (en) Dynamic user interactions for display control
US20220083880A1 (en) Interactions with virtual objects for machine control
Jacob et al. Context-based hand gesture recognition for the operating room
CA2864719C (en) Gesture recognition devices and methods
CN104898879B (zh) 用于数据输入的方法及装置
Larson et al. Heatwave: thermal imaging for surface user interaction
CN109952551A (zh) 触敏键盘
US20130311944A1 (en) Handles interactions for human-computer interface
Lu et al. Immersive manipulation of virtual objects through glove-based hand gesture interaction
CN103207670A (zh) 利用深度传感器进行无接触操作的装置
TW200945174A (en) Vision based pointing device emulation
JP2004078977A (ja) インターフェイス装置
CN107533359B (zh) 信息处理装置和联锁控制方法
Le et al. PredicTouch: A system to reduce touchscreen latency using neural networks and inertial measurement units
CN104881122A (zh) 一种体感交互系统激活方法、体感交互方法及系统
Geer Will gesture recognition technology point the way?
CN108062159A (zh) 虚拟实境或扩增实境的方法、装置以及非暂态计算机可读取媒体
Xu et al. Ao-finger: Hands-free fine-grained finger gesture recognition via acoustic-optic sensor fusing
CN107390881A (zh) 一种手势控制方法
CN108885502A (zh) 利用包含目标字符和后续字符的扩展小键盘的字符输入方法及执行其的计算机装置
Rustagi et al. Virtual Control Using Hand-Tracking
CN107995965A (zh) 控制方法、控制装置及智能穿戴设备
Tang et al. CAFI-AR: contact-aware freehand interaction with AR objects
Huang et al. Brain-computer interfaces (BCI) based 3D computer-aided design (CAD): To improve the efficiency of 3D modeling for new users
Tang et al. CUBOD: a customized body gesture design tool for end users

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190423

CF01 Termination of patent right due to non-payment of annual fee