CN110949271B - 操作处理装置 - Google Patents

Abstract

可编程显示器(1)具备：显示面板(16)，显示至少一个开关的；接近传感器(17)，配置于显示面板(16)的附近，检测指示体在三维空间中的位置，并输出表示检测出的三个方向的位置的三个检测值；检测部(331)，基于三个所述检测值中的一个或两个即第一检测值来确定由指示体指示的开关，基于确定了所述开关的方向以外的一个方向即按压操作检测方向的第二检测值来检测所述开关的按压操作；计算部(332)，根据所述第二检测值相对于指示体的按压操作检测方向上的所述指示体的位置的变化，计算按压操作检测方向的指示体的移动量；以及判定部(333)，根据移动量是否在规定量范围内来判定指示体对开关的按压操作是有效的还是无效的。

Description

操作处理装置

技术领域

本发明涉及操作处理装置，其针对在画面上非接触地进行的操作进行处理。

背景技术

可编程显示器这样的HMI(Human Machine Interface：人机界面)设备具备：显示画面的显示部、用于触摸输入的触摸面板、用于与所连接的设备进行通信的接口、和控制上述各部的控制部。这样的HMI设备通过显示部上的触摸面板来受理用于对设备赋予控制指示等的操作输入。

在机械加工、医药制造、食品制造等现场，需要以非接触的方式进行HMI设备的一部分操作。例如，在机械加工的现场，操作者有时在戴着用于加工作业的手套的状态下操作HMI设备，但若在被油等弄脏的手套的状态下进行触摸操作，则存在弄脏显示面的不良情况。另外，在医药、食品的制造现场，从卫生上的观点出发，操作员无法用触摸过不能称作是无菌状态的显示面的手指来接触产品等。

为了解决这样的不良情况，考虑利用以下那样的非接触操作技术。

例如，存在基于视线检测或视频分析的结果来检测手势，由此实现鼠标操作或触摸操作的仿真的多种技术。根据这样的技术，能够大致自如地操作HMI设备，且误动作也少。

例如，在引用文献1中公开了非接触地检测虚拟的触摸面板(虚拟触摸面板)上的指示体的运动。虚拟触摸面板与显示器的画面虚拟地对应。另外，虚拟触摸面板上的指示体的运动由距离传感器检测，并反映在显示器的画面上。

距离传感器利用红外线照相机通过从红外线LED射出的红外光被检测对象物反射的反射光来拍摄检测对象物。通过信息处理装置对红外线照相机的摄像信号进行图像分析来计算作为测量对象物的指示体的三维空间中的位置坐标。

另外，基于红外线接近传感器的手势接口正在被引入到智能手机、汽车导航系统。根据这样的手势接口，低成本、省空间、耐环境性、要求计算资源等条件适合于HMI设备。

另外，近年来随着声音输入的进步，也考虑使声音输入用于手势检测。

专利文献1：日本公开专利公报“日本特开2016-119095号(2016年6月30日公开)”

发明内容

然而，在根据视线检测或影像解析的结果来检测手势的技术中，系统规模变大，并且要求高的处理能力。因此，这样的技术的成本、设置空间、处理器的处理能力、耐环境性等条件不适合于HMI设备。

另外，基于红外线接近传感器的手势界面以滑动或按压等手势进行操作的方式是主流。因此，无法通过这些手势来顺利地对设置于显示部所显示的画面上的用于操作的对象进行操作，因此也容易产生误动作。

另外，若考虑噪声耐性、多语言对应等，则声音输入还无法容易地导入HMI设备。

基于以上那样的理由，在HMI设备中难以进行非接触操作。

本发明的一个方式的目的在于，容易地实现HMI设备中的非接触操作。

为了解决上述的课题，本发明的一个方式的操作处理装置具备：显示部，显示至少一个开关；传感器部，配置于显示部的附近，检测指示体的在三维空间中的位置，并输出表示检测出的三个方向的位置的三个检测值；检测部，基于三个所述检测值中的一个或两个所述检测值即第一检测值来确定由指示体指示的开关，并且基于除确定了所述开关的确定方向以外的一个方向即按压操作检测方向的第二检测值来检测所述开关的按压操作；计算部，基于所述第二检测值相对于所述指示体在所述按压操作检测方向上的位置变化而发生的变化，计算所述按压操作检测方向的所述指示体的移动量；以及判定部，在所述移动量处于规定量范围内时，判定为所述指示体对所述开关的按压操作有效，在所述移动量处于所述规定量范围外时，判定为所述按压操作无效。

根据本发明的一个方式，能够容易地实现HMI设备中的非接触操作。

附图说明

图1是表示本发明的各实施方式的控制系统的构成的框图。

图2是表示上述控制系统中的可编程显示器的外观的构成的主视图。

图3是表示上述可编程显示器的主要部分的构成的框图。

图4是表示在上述可编程显示器的显示面板中显示的主画面的构成的图。

图5的(a)～(g)是表示设置在上述主画面上的开关画面的显示状态的图。

图6是表示在上述控制系统中的可编程显示器的显示面板上显示的表示食品制造工序的主画面的结构的图。

图7的(a)～(h)是表示在图6所示的主画面上显示的开关画面的显示状态的图。

图8是表示由上述可编程显示器的接近操作控制部33控制的各状态的状态过渡图。

附图标记说明如下：

1：可编程显示器(操作处理装置)

15：触摸面板

16：显示面板(显示部)

17：接近传感器(传感器部)

100、200：主画面

101、201：开关画面

204：设定值显示器(触摸开关)

205：运转开始开关(触摸开关)

206：运转停止开关(触摸开关)

207：高速运转选择开关(触摸开关)

208：低速运转选择开关(触摸开关)

211～213：工序选择开关(触摸开关)

331：检测部

332：计算部

333：判定部

K1～K5：键(开关)

具体实施方式

[实施方式1]

根据图1～图5对本发明的实施方式1进行说明如下。

首先，对本实施方式的控制系统进行说明。

图1是表示本实施方式的控制系统的结构的框图。图2是表示该控制系统中的可编程显示器1的外观的结构的主视图。图3是表示可编程显示器1的主要部分的结构的框图。图4是表示在可编程显示器1的显示面板16上显示的主画面100的结构的图。

可编程显示器1(操作处理装置)是安装有专用的OS(Operating System：操作系统)的嵌入式设备，具备执行用于实现可编程显示器1的各种功能的HMI程序的功能。可编程显示器1是提高了防尘性、防滴性、耐振动性等的HMI设备，以适合工厂等严酷环境。

HMI程序是实现与外部设备的通信、从该外部设备取得的数据的显示、由使用输入装置的操作者进行的操作的受理等各种功能的程序。

首先，对可编程显示器1的硬件结构进行说明。

如图1所示，可编程显示器1具备CPU(Central Processing Unit：中央处理单元)11、主存储器12、ROM(Read Only Memory：只读存储器)13、用户存储器14、触摸面板15、显示面板16(显示部)、接近传感器17、以及接口部18。

CPU11是执行HMI程序的处理装置。具体而言，CPU11在执行HMI程序时，从主存储器12、用户存储器14、触摸面板15、接近传感器17等接收数据，并将对该数据实施了运算或加工后的结果输出到主存储器12、用户存储器14、显示面板16等。

主存储器12是构成可编程显示器1中的主存储装置的存储器，由DRAM(DynamicRandom Access Memory：动态随机存取存储器)构成。

ROM13存储在可编程显示器1的启动时或复位时执行的BIOS(Basic Input OutputSystem：基本输入输出系统)等的对可编程显示器1的动作来说不可缺少的程序。

用户存储器14是存储用户制作的数据，例如用于显示后述的HMI画面的主画面数据和用于显示开关画面的开关画面数据的大容量的存储装置，其中，开关画面包含利用接近传感器17而进行操作的键。用户存储器14由FEPROM(Flash Erasable and ProgrammableROM：闪存可擦除可编程只读存储器)等构成。

如图2所示，触摸面板15配置在显示面板16上，接受在显示面板16上显示的画面上的触摸操作，并将触摸操作信号作为输入信号输出。

显示面板16基于存储在用户存储器14中的主画面数据显示HMI画面。作为显示面板16，使用液晶显示面板、EL(Electro-Luminescence：电致发光)显示面板等平板型显示面板。

如图2所示，触摸面板15以及显示面板16组装于可编程显示器1的壳体中的前表面的边框部1a。

接近传感器17是检测手指等指示体的位置的传感器。接近传感器17具有发光部和受光部，基于多个受光部各自的对发光部射出的光由指示体反射后的光的受光量来检测指示体的位置。具体而言，接近传感器17是具有红外线LED作为发光部、具有4个光电二极管作为受光部的红外线接近传感器。4个光电二极管在纵向(Y1方向及Y2方向)及横向(X1方向及X2方向)上分别具有不同的灵敏度指向性。这样构成的接近传感器17能够测定检测对象的接近程度和检测对象的正交两轴方向的位移。

接近传感器17将基于横向数据x1、x2和纵向数据y1、y2计算出的三个数据(反射光的强度、横向的角度以及纵向的角度)作为检测数据(测定值)输出。由于该检测数据是非线性的，因此难以直接利用该方式判别指示体的位置。因此，通过进行基于检测数据的相互关系以及被适当地选择的常数的、将检测数据变换为三维坐标的运算，能够将检测数据变换为抑制了某种程度的变形的XYZ坐标的检测值。在本实施方式中，将接近传感器17和进行该运算功能的运算处理部的组合称为传感器部。运算处理部可以内置于接近传感器17，也可以包含于后述的HMI控制部3。

接近传感器17例如以在球体面(或者椭圆体面)上具有大致相同的强度且越远离接近传感器17则强度相同的球体面越大(强度越低)的方式射出红外光。由此，越接近接近传感器17，能够检测指示体的位置的范围越小，越远离接近传感器17，能够检测指示体的位置的范围越大。

如图2所示，接近传感器17以位于显示面板16的附近的方式组装于上述的边框部1a中的规定的位置。作为接近传感器17的配置位置，如图2所示，优选为不管操作者的惯用手如何都容易操作的边框部1a的下部的中央。或者，接近传感器17也可以构成为能够安装于边框部1a的外周侧面。由此，接近传感器17可以作为可选部件后附于可编程显示器1上。

需要说明的是，接近传感器17并不限定于上述的红外线接近传感器。然而，作为检测键的操作的传感器，红外线接近传感器在功能、构造等方面是最适合的。

接口部18是用于与控制设备2可通信地连接的连接部。接口部18装备有串行接口、LAN(Local Area Network：局域网)等各种接口。

控制设备2是PLC(Programmable Logic Controller：可编程逻辑控制器)、温度调节器、逆变器等外部设备，具备与可编程显示器1进行通信的功能。控制设备2在其与设备20之间进行数据的收发。作为设备20，使用传感器、开关这样的输入设备、致动器、继电器、电磁阀、显示器这样的输出设备。

接着，对可编程显示器1的系统结构进行说明。

如图3所示，可编程显示器1包括HMI控制部3来作为具有控制功能的部分。

HMI控制部3是通过CPU11执行HMI程序而实现的具有HMI功能的部分。

在此，HMI功能包括如下功能：与用户的输入相应的对控制设备2的指示的产生、来自控制设备2的各种数据的取得、以及用于进行所取得的该各种数据的显示以及上述输入的受理的HMI画面的显示。HMI控制部3具有基于用户的输入以及控制设备2所保持的数据的变化来控制各部的动作控制部31、和控制HMI画面的显示的显示控制部32作为HMI功能。另外，HMI控制部3具有基于由接近传感器17以非接触方式进行的用户的手势输入来控制各部的接近操作控制部33。

HMI画面是包含用于显示与控制设备2连接的设备20的状态、或受理对触摸面板15的操作的各种对象的画面。作为设置在HMI画面上的对象，准备了灯图像、数据显示器图像、开关图像等各种部件图像。用于显示这样的HMI画面的画面数据在个人计算机等中生成，并保存在用户存储器14中。

动作控制部31产生与基于触摸面板15中的用户的触摸而引起的输入操作对应的操作指示。另外，动作控制部31产生与由后述的接近操作控制部33的判定部333判定为有效的键的按压操作对应的操作指示。作为这些操作指示，存在控制设备2的启动/停止指示、提供给控制设备2的控制数据的变更、画面的切换等。另外，动作控制部31产生与控制设备2的数据的变化相应的控制指示。作为该控制指示，存在画面的切换等。

显示控制部32进行基于主画面数据使显示面板16显示HMI画面的控制处理。另外，显示控制部32进行使经由接口部18取得的控制设备2的数据反映到HMI画面的处理。例如，显示控制部32在HMI画面中，进行使上述的灯图像点亮/熄灭、或使上述的数据显示器图像显示数据的处理。另外，显示控制部32根据上述操作指示进行使HMI画面的状态变化的处理。例如，显示控制部32接受对上述的开关图像进行操作的上述操作指示，进行使该开关图像的显示状态(颜色、形状等)变化的处理。进而，显示控制部32根据用户的操作来进行HMI画面的切换处理。

接近操作控制部33基于由接近传感器17检测到的指示体的位置，检测与开关画面中的用户的手势相伴的指示体的动作，根据检测结果，判定手势确定开关画面上的键并且手势按压该键的操作是否有效。接近操作控制部33在判定为手势确定键且手势按压该键的操作有效时，将该键被按压操作的情况与键的坐标位置等一起通知给动作控制部31。另外，接近操作控制部33基于接近传感器17的检测结果，将与开关画面的显示相关的指示提供给显示控制部32。为了实现上述功能，接近操作控制部33具有检测部331、计算部332和判定部333。

检测部331基于接近传感器17对三维的三个方向(X方向、Y方向以及Z方向)分别输出的检测值中的一个或者两个方向的检测值(第一检测值)来确定由指示体指示的键。另外，检测部331通过确定了键的方向(确定方向)以外的一个方向的检测值(第二检测值)来检测键的按压操作。优选的是，三个方向处于相互呈直角的关系，但也可以不是必须相互成直角，也可以相对直角来说稍微倾斜。

具体而言，在开关画面中的键排列成横向一列、纵向一列等一维方向的情况下，检测部331利用三个方向上的一个方向的第一检测值来确定键，通过其余两个方向中的一个方向的第二检测值来检测键的按压操作。另外，在开关画面中的键排列在多列等二维方向上的情况下，以三个方向中的两个方向的第一检测值来确定键，通过其余的一个方向的第二检测值来检测键的按压操作。

计算部332基于该方向的第二检测值相对于检测指示体的按压操作的方向(按压操作检测方向)上的指示体的位置的变化而发生的变化，计算指示体进行按压操作的方向的移动量以及移动速度。

判定部333在上述的移动量处于规定量范围内时，判定为指示体对键的按压操作有效。判定部333将判定为有效的键的按压操作通知给动作控制部31。另外，判定部333在上述的移动量处于规定量范围外(超过规定量范围)时，判定为指示体对键的按压操作无效。

或者，判定部333也可以在上述的移动量处于规定量范围内且上述的移动速度处于规定速度范围内时，判定为指示体对键的按压操作有效。另外，判定部333也可以在上述的移动量在规定量范围外(超过规定量范围)或者上述的移动速度在规定速度范围外(超过规定速度范围)时，判定为指示体对键的按压操作无效。

判定部333在上述的确定方向为两个方向时，若指示体向两个确定方向的位移量分别为规定值以下，则判定为按压操作有效。或者，判定部333也可以在确定方向为一个方向时，若指示体向一个确定方向的位移量为规定值以下，则判定为按压操作有效。另外，判定部333可以将三个方向中的、与键的确定以及键的按压操作无关的方向用于判定，也可以将三个方向中的、与键的确定以及键的按压操作无关的方向不用于判定。

在通过指示体的确定方向的运动来确定键，通过指示体的按压操作检测方向的运动来检测键的按压操作的情况下，剩下的一个方向与键的确定以及按压操作无关。无关的方向例如为前后方向，而上下方向为按压操作检测方向。在该情况下，当指示体相对于前后方向进行向斜下方拉的动作时，其动作被分解为前方向的成分和下方向的成分。因此，其下方向的成分被判定为指示体的下方向的位移，其结果，有可能将该动作视为按压操作。因此，若将与键的确定及按压操作无关的方向的指示体的动作也用于上述判定，则判定精度更高。

判定部333判定通过一次按压操作从断开状态切换到接通状态的交替型按键等进行的操作的有效性。具体而言，若按压操作之前的指示体的按压操作检测方向的位置与按压操作完成而指示体退出的按压操作检测方向的位置之间的差值在规定差范围内的值，则判定部333判定为按压操作有效。另外，若上述的差值在规定差范围外的值，则判定部333也可以判定为按压操作无效。需要说明的是，判定部333也可以在指示体返回到刚刚进行按压操作之前的按压操作检测方向的位置，且指示体在该位置静止的状态维持一定时间的情况下，判定为按压操作有效。

这里，显示控制部32进行基于开关画面数据使显示面板16显示开关画面的控制处理。

例如，如图4所示，开关画面101与主画面100重叠地显示在规定的位置。开关画面101形成为长方形，在两端配置标记M1、M2，在标记M1、M2之间横向一列(一维)集合配置有多个(在此为5个)键K1～K5。需要说明的是，开关画面101中包含的键的数量也可以是一个。

键K1～K5被设定为通过一次操作而接通、通过接下来的一次按压操作而断开的交替型的开关。标记M1是为了在指示体超出对键K1～K5指示的范围而过于靠左侧时进行警告显示而设置的。标记M2是为了在指示体超出对键K1～K5指示的范围而过于靠右侧时进行警告显示而设置的。

在开关画面101中，键K1～K5被配置成一列(一维)。不限于此，键K1～K5也可以配置为多列(二维)。另外，开关画面101的形状也不限于长方形(方形)，也可以是圆形、椭圆形、多边形等。另外，键的个数也不限定于5个。

接着，对在通过接近传感器17进行非接触地进行开关画面中的键K1～K5的操作时可编程显示器1如何动作的情况进行说明。

图5的(a)～(g)是表示设置于主画面100的开关画面101的显示状态的图。

需要说明的是，在以后的说明中，将选择键K1～K5的方向(水平方向)设为X方向，将对键K1～K5中的任一个进行操作的方向(铅垂方向)设为Y方向，不使用Z方向。

假定操作员的手指(指尖)为指示体，但除了手指以外，也可以将握拳作为指示体，或者除了人体以外也可以使用笔等作为指示体。在将握拳设为指示体的情况下，握拳中的最接近键的突出的部分作为指示体被接近传感器17检测。

显示控制部32基于开关画面数据，在显示面板16指示将开关画面101显示于主画面100中的规定的位置。由此，如图4所示，在主画面100的规定的位置显示开关画面101。

在指示体存在于接近传感器17的检测范围内的状态下，从接近传感器17输出的检测值是与多个等强度的近似椭圆体面中的方位和该近似椭圆体的大小对应的非线性的值。因此，检测部331进行将该值变换为三轴正交空间坐标内的指示体的位置的计算。该计算类似于根据由鱼眼镜头拍摄到的图像重建被摄体的空间位置的公知的投影变换方法，使用初等函数和适当选择的常数来进行。

当指示体到达指示键K4的位置时，检测部331基于X方向的指示体所指示的位置确定键K4。显示控制部32基于所确定的键K4的位置控制显示面板16，以由表示选择的显示颜色(例如黄色)来显示键K4。由此，如图5的(a)所示，键K4由黄色显示。

在该状态下，当指示体向铅垂下方(Y方向)下降，从该位置返回到大致原来的位置时，计算部332基于来自检测部331的指示体移动的方向的检测值，计算指示体的移动量以及移动速度。在此，计算部332在判定部333的判定中仅使用指示体的移动量的情况下，也可以仅计算移动量。

判定部333在由计算部332计算出的移动量处于规定量范围内时，判定为指示体对键K4的操作有效(键按下事件的发生)。或者，判定部333也可以在计算出的移动量处于规定量范围内且计算出的移动速度处于规定速度范围内时，判定为指示体对键K4的操作有效。

若判定为指示体对键K4的操作有效，则显示控制部32控制显示面板16，以由表示操作的显示颜色(例如绿色)来显示键K4。由此，如图5的(b)所示，键K4由绿色显示。

另外，判定部333在由计算部332计算出的移动量超过规定量范围时，判定为指示体对键K4的操作无效。或者，判定部333也可以在计算出的移动量超过规定量范围或者计算出的移动速度超过规定速度范围时，判定为指示体对键K4的操作无效。

若判定为指示体对键K4的操作无效，则显示控制部32控制显示面板16，以由表示不能操作的显示颜色(例如红色)来显示键K4。由此，如图5的(c)所示，键K4由红色显示。

在指示体超过接近传感器17的检测范围而处于远离接近传感器17的位置时，显示控制部32基于检测部331的检测值来控制显示面板16，以由表示不可检测的显示颜色(例如灰色)来显示键K1～K5。由此，如图5的(d)所示，键K1～K5由灰色显示。

另外，当指示体位于接近传感器17的检测范围内但是与接近传感器17过于接近的位置时，需要向用户报告不要接触接近传感器17。显示控制部32基于检测部331的检测值控制显示面板16，以由表示不可操作的显示颜色(例如橙色)来显示键K1～K5。由此，如图5的(e)所示，键K1～K5由橙色(警告色)显示。

当指示体在接近传感器17的检测范围外且处于过于靠左的位置时，显示控制部32基于检测部331的检测值控制显示面板16，以由点亮颜色(例如橙色)显示标记M1。由此，如图5的(f)所示，标记M1由橙色(警告色)显示。

另外，在指示体在接近传感器17的检测范围外处于过于靠右的位置时，显示控制部32基于检测部331的检测值来控制显示面板16，以由点亮颜色(例如橙色)显示标记M2。由此，如图5的(g)所示，标记M2由橙色显示。

需要说明的是，关于Z方向，只要在规定的检测范围内，即使指示体的位置变化，也能够通过校正X方向以及Y方向的检测值的倍率，以大致相同的感觉进行操作。这是因为，指示体越接近接近传感器17，能够检测的范围越窄(对于角度而言越宽)，因此X方向以及Y方向的运动被检测得越大(成为动态)。即使是指示体的相同1cm的动作，角度也根据距离接近传感器17的Z方向的位置而不同。因此，通过根据Z方向的位置而不同的修正系数来修正指示体的微小运动被较大地检测的值。由此，能够吸收距离接近传感器17远或近的偏差。

接着，对进行食品制造工序中的主画面所显示的开关画面中的键K1～K5的操作时的可编程显示器1的动作进行说明。

图6是表示主画面的结构的图，主画面表示在可编程显示器1的显示面板16上显示的食品制造工序。图7的(a)～(h)是表示在图6所示的主画面上显示的开关画面201的显示状态的图。

显示控制部32使图6所示的主画面200显示于显示面板16。主画面200是表示食品制造的工序的画面。主画面200具有：开关画面201、工序图像202、台数显示器203、设定值显示器204、运转开始开关205、运转停止开关206、高速运转选择开关207、低速运转选择开关208、工序选择开关211～213。

开关画面201具有键K1～K5和标记M1、M2。键K1～K5以及标记M1、M2以与上述的开关画面101中的键K1～K5以及标记M1、M2同样的方式在开关画面201中集合配置。

键K1是为了通过一次操作而进行使输入到后述的设定值显示器204的设定值减少多个的操作而设置的。键K2是为了进行使设定值逐一减少的操作而设置的。键K3是为了进行使设定值逐一增加的操作而设置的。键K4是为了通过一次操作进行使设定值增加多个的操作而设置的。键K5是为了将开关画面201切换为其他的开关画面201而设置的。

作为其他的开关画面201，准备了包括分别与运转开始开关205、运转停止开关206、高速运转选择开关207以及低速运转选择开关208具有同等功能的键的开关画面，以及包含分别与工序选择开关211～213具有同等功能的键的开关画面等。

工序图像202是表示由工序选择开关211选择的制造工序的图像。在图6所示的例子中，工序图像202表示填充工序。

台数显示器203是为了显示产品的实际台数而设置的数值显示器的部件图像。设定值显示器204是用于输入并显示制造台数的设定值的数值显示器的部件图像。若设定值显示器204被触摸，则通过显示控制部32的控制，在主画面200上显示数字键，能够进行基于数字键的数值输入。

运转开始开关205是用于指示填充机的运转开始的操作开关的部件图像。运转停止开关206是用于指示填充机的运转停止的操作开关的部件图像。

高速运转选择开关207是用于选择填充机的高速运转的操作开关的部件图像。低速运转选择开关208是用于选择填充机的低速运转的操作开关的部件图像。

工序选择开关211是为了将显示切换为填充工序的主画面200中切换显示而设置的切换操作开关的部件图像。工序选择开关212是为了将显示切换为表示贴标签工序的未图示的主画面而设置的切换操作开关的部件图像。工序选择开关213是为了将显示切换为表示印字检查工序的未图示的主画面而设置的切换操作开关的部件图像。

在主画面200中，设定值显示器204、运转开始开关205、运转停止开关206、高速运转选择开关207、低速运转选择开关208以及工序选择开关211～213作为接受触摸操作的触摸开关发挥功能。

在进行基于触摸面板15的通常的操作的情况下，操作人员对设置于主画面200的设定值显示器204、运转开始开关205、运转停止开关206、高速运转选择开关207、低速运转选择开关208、工序选择开关211～213等进行操作。

在上述图5所示的例子中，在主画面100中始终显示开关画面101。与此相对，在主画面200中，在进行通常的触摸操作时，接近传感器17不检测指示体，因此不显示开关画面201。

在对开关画面201进行手势操作的情况下，操作人员使手指接近接近传感器17。若由检测部331检测出的指示体的位置的检测值进入检测范围内，则显示控制部32指示显示面板16将开关画面201显示于主画面200中的规定的位置。由此，显示开关画面201。

在指示体超过接近传感器17的检测范围而处于远离接近传感器17的位置时，显示控制部32基于检测部331的检测值控制显示面板16，以停止开关画面201的显示。由此，在主画面200上不再显示开关画面201。

需要说明的是，在以下的说明所参照的图7中，为了便于说明，仅示出了开关画面201中的键K1～K5以及标记M1、M2的排列。

在显示了开关画面201的状态下，当指示体到达指示键K3的位置时，检测部331确定键K3。显示控制部32控制显示面板16，以显示由表示选择的显示颜色(例如黄色)确定的键K3。由此，如图7的(a)所示，键K3由黄色显示。

在该状态下，指示体在Y方向的铅垂下方下降，若从该位置返回到大致原来的位置，则计算部332计算指示体的移动量以及移动速度。

判定部333在由计算部332计算出的移动量处于规定量范围内时，判定为指示体对键K3的操作有效(键按下事件的发生)。或者，判定部333也可以在计算出的移动速度处于规定速度范围内时，判定为指示体对键K3的操作有效。

在该判定时，显示控制部32控制显示面板16，以由表示操作的显示颜色(例如绿色)来显示键K3。由此，如图7的(b)所示，键K3由绿色显示。

另外，判定部333在由计算部332计算出的移动量超过规定量范围时，判定为指示体对键K3的操作无效。或者，判定部333也可以在计算出的移动量超过规定量范围或者计算出的移动速度超过规定速度范围时，判定为指示体对键K3的操作无效。

在该判定时，显示控制部32控制显示面板16，以由表示不能操作的显示颜色(例如红色)来显示键K3。由此，如图7的(c)所示，键K3由红色显示。

当指示体在接近传感器17的检测范围外且处于过于靠左的位置时，显示控制部32基于检测部331的检测值，控制显示面板16以使标记M1由点亮颜色(例如橙色)显示。由此，如图7的(d)所示，标记M1由橙色(警告色)显示。这里的标记M1表示向右的箭头，以提示使指示体向右侧移动。

另外，当指示体在接近传感器17的检测范围外且处于过于靠右的位置时，显示控制部32基于检测部331的检测值，控制显示面板16，以使标记M2由上述的点亮颜色显示。由此，如图7的(e)所示，标记M2由橙色(警告色)显示。这里的标记M2表示向左的箭头，以提示使指示体向左侧移动。

另外，当指示体在选择了键K3的位置但在与接近传感器17过于接近的位置时，显示控制部32基于检测部331的检测值控制显示面板16，以由表示不能操作的显示颜色(例如橙色)显示键K1、K2、K4、K5。由此，如图7的(f)所示，键K1、K2、K4由橙色(警告色)显示，键K3由选择色(黄色)显示。

当指示体在接近传感器17的检测范围外且处于过于靠上的位置时，显示控制部32基于检测部331的检测值控制显示面板16，以由点亮颜色(例如橙色)显示标记M1和M2。由此，如图7的(g)所示，标记M1、M2由橙色显示。在此的标记M1、M2表示向下的箭头，以启示使指示体向下侧移动。

另外，当指示体处于接近传感器17的检测范围外的靠下的位置时，显示控制部32基于检测部331的检测值控制显示面板16，由点亮颜色显示标记M1和M2。由此，如图7的(h)所示，标记M1、M2由橙色显示。在此的标记M1、M2表示向上的箭头，以启示使指示体向上侧移动。

需要说明的是，触摸操作与手势操作的切换可以通过各种方法来进行，因此不特定，例如可以考虑通过以下那样的方法来进行。

在第1方法中，在指示体进入到检测范围内时，显示开关画面而使手势操作有效(图6所示的例子)，在指示体超出检测范围外时，消除开关画面而使手势操作无效。在手势操作有效时，既可以使触摸操作无效，也可以使触摸操作保持有效。

在第2方法中，通过主画面的规定的触摸操作来显示开关画面，通过规定的触摸操作来消除开关画面。在显示有开关画面时，使手势操作以及触摸操作均有效。

无论采用哪种方法，都能够在不需要进行手势操作的情况下进行触摸操作。

在此，对进行基于接近传感器17的按键操作时的各状态进行说明。

图8是表示由可编程显示器1的接近操作控制部33进行的控制的各状态的状态过渡图。

在以下的说明中，使用lpdf{x1，x2，y1，y2}、C1f_nearWarnLevel、C0a_minLevel以及CPa_maxLevel。

lpdf{x1，x2，y1，y2}是由接近传感器17获得的四个检测值。

C1f_nearWarnLevel是判定为指示体与接近传感器17过于接近的阈值。

C0a_minLevel是判定指示体过于远离接近传感器17的阈值。CPa_maxLevel是判定指示体与接近传感器17过于接近的阈值。

如图8所示，首先，S0_hunt状态成为起点。在S0_hunt状态下，在lpdf{x1，x2，y1，y2}中的任一个大于C1f_nearWarnLevel的情况下，指示体与接近传感器17过于接近，因此向S1C_tooNearWarn过渡并发出警告。

在lpdf{x1，x2，y1，y2}全部小于C0a_minLevel的情况下，由于指示体过于远离接近传感器17，所以向S1B_tooFar过渡并发出警告。

在指示体向下方的移动速度超过了默认值的情况下，将此时的X方向、Y方向以及Z方向的各检测值记录为初始值，为了开始指示体的运动的辨别而过渡到S2_inVAct。

在上述状态以外，为了通过指示体的水平移动来确定键，向S1A_fKeyChg过渡。

为了操作准备和不对意外的指示体的动作进行反应，如以下那样辨别指示体的动作。

首先，向Y方向中的铅垂下方的速度小于默认值时，过渡到S0_hunt。

在确定键的键ID不是规定范围的值(＝1～N，N是键的数量)时，停留在S0_hunt。另外，在Y方向的速度大于X方向的速度的默认值倍数时(指示体没有向铅垂下方移动时)，停留在S0_hunt。

接着，在键ID有效且指示体沿铅垂下方下降时，过渡到S3_VActValidated。

进而，在指示体向铅垂下方的移动速度小于默认值时，过渡到S0_hunt。

在手与从S0_hunt过渡到S2_inVAct时记录的X方向和Z方向的初始值相距规定值以上的距离时，过渡到S0_hunt。在手与从S0_hunt过渡到S2_inVAct时记录的X方向、Y方向以及Z方向的初始值相距规定值以上的距离时，为了检测从放下指示体的位置返回的动作，过渡到S4_inVActPreRet。在除这些以外时，停留在S0_hunt。

在S4_inVActPreRet中，若从指示体向铅垂下方移动的状态经过规定时间，则发生键按下超时，为了警告错误而过渡到S6B_fKeyErr。在手与Y方向和Z方向的初始值相距规定值以上的距离时，也过渡到S6B_fKeyErr。

在Y方向的速度的极性反转时，向S5_inVActRet过渡。

在除上述以外的状态下，停留在S4_inVActPreRet。

在S5_inVActRet中，若从Y方向的速度的极性反转的状态经过规定时间，则键发生按下超时，为了警告错误而过渡到S6B_fKeyErr。在手与Y方向和Z方向的初始值相距规定值以上的距离时，也过渡到S6B_fKeyErr。另外，当指示体距离X方向、Y方向以及Z方向的初始值回到检测范围以内的距离时，过渡到作为键按下状态的S6A_fKeyDown。

在除上述以外的状态下，停留在S5_inVActRet。

在S6A_fKeyDown中，将表示键按下的标志设置在设于可编程显示器1的寄存器中，过渡到S6C_fKeyDownHoldOff。另外，在S6B_fKeyErr中，设置表示错误的标志，过渡到S6C_fKeyDownHoldOff。

在S6C_fKeyDownHoldOff中，检测部331进行待机直到获取到规定次数的接近传感器17的检测值为止，向S0_hunt过渡。规定次数被设定为比检测部331每秒取得接近传感器17的检测值的次数少的次数。

在S1B_tooFar中，如果最大的检测值恢复到大于C0a_minLevel的规定比率，则过渡到S1D_fKeyChgHoldOff。至此停留在该S1B_tooFar中。

在S1C_tooNearWarn中，如果最大的检测值恢复到小于CPa_maxLevel的规定比率，则过渡到S1D_fKeyChgHoldOff。至此，停留在S1C_tooNearWarn。

如上所述，本实施方式的可编程显示器1具备检测指示体的三维空间中的位置的接近传感器17、和基于接近传感器17的检测值进行手势操作的处理的接近操作控制部33。

由此，基于指示体的三维空间中的位置的检测值，确定指示体指示的开关，并且检测指示体对开关的按压操作。因此，能够简化装置的结构。另外，由于判定开关的按压操作的有效性，因此不易发生误动作。因此，能够容易地实现HMI设备中的非接触操作。

另外，由于传感器部的初始特性引起的偏差、周围温度的变化、指示体的大小的不同、光线反射率的差异等，检测出的三维的位置坐标有时会发生变化。相对于这样的变化，利用相对的位置坐标来判定开关的按压操作的有效性，因此不易导致误操作。而且，满足将开关的按压操作判定为有效的条件在以下情况下极其难以发生：人体或其一部分移动物体等偶然穿过传感器部之前的情况、或指示体为了操作而进行预备动作或在结束操作时进行回复动作等情况。因此，在上述那样的情况下不易产生误操作。因此，能够可靠且容易地实现HMI设备中的非接触操作的检测。

另外，根据接近操作控制部33的判定部333，在指示体由于意外的动作等而向按压操作检测方向以外的方向大幅移位时，将此时的指示体的动作作为无效的按压操作，能够防止开关的误操作。

另外，显示面板16通过显示控制部32的控制来显示主画面，并且在主画面上显示键在一维方向或二维方向上集中配置的开关画面。

由此，在能够进行由设置于触摸面板的触摸开关进行的触摸操作的情况下，进行触摸操作，另一方面，在需要以非接触的方式进行键的操作的情况下，能够进行针对开关画面的非接触操作。另外，键集中配置在开关画面上。因此，不需要扩大传感器的检测范围，并且能够减少指示体的移动量。

另外，在指示体处于用于确定任意一个开关的范围以外的位置时，显示面板16通过显示控制部32的控制在开关画面中显示离开的方向。例如，如图5的(f)和(g)所示的开关画面101的显示例那样，显示面板16显示指示体离开上述范围的方向。另外，显示面板16也可以通过显示控制部32的控制，显示表示指示体离开上述范围的位置的光标(位置信息)，或者在用于确定开关的上述范围内显示用于使指示体移动的引导信息。

由此，能够容易地掌握为了确定键而使指示体向哪个方向移动。

另外，判定部333基于即将进行按压操作之前的指示体的按压操作检测方向的位置与按压操作完成而指示体退出的按压操作检测方向的位置之间的差值在规定差范围内来判定按压操作的有效或者无效。需要说明的是，判定部333也可以在指示体回到即将进行按压操作之前的按压操作检测方向的位置，并且在该位置使指示体静止的状态维持一定时间的情况下，判定为按压操作有效。

由此，能够更准确地判定交替型的键的按压操作的有效或者无效。

需要说明的是，在本实施方式中，对接近传感器17及接近操作控制部33设置于可编程显示器1的结构进行了说明。不限于该结构，也可以采用接近传感器17和接近操作控制部33的全部或一部分与可编程显示器1分体设置，并通过USB线缆等与可编程显示器1连接的结构。这样的结构也适用于后述的实施方式2。

[实施方式2]

以下对本发明的实施方式2进行说明。需要说明的是，在本实施方式中，对具有与实施方式1中的结构要素相同的功能的结构要素标注相同的附图标记，并省略其说明。

在实施方式1中，开关画面101、201中的键K1～K5被设定为交替型的开关。与此相对，在本实施方式中，对设定了瞬时型开关(键)的开关画面进行说明，该瞬时型开关为在按压操作持续的期间保持接通状态，并且在除去了按压操作时解除接通状态。

虽然未图示，但这样的开关画面与开关画面101、201相同，多个键排列成一列(一维)。本实施方式的开关画面也可以与实施方式2中的开关画面相同，键被二维排列。

瞬时型的键在按压操作持续的期间维持接通状态。因此，瞬时型的键不进行如开关画面101、201中的键K1～K5那样通过一次按压操作从断开状态切换为接通状态的动作，而是在将机械动作维持期望的时间等的情况中使用。

若维持按压操作检测方向上的指示体的位置处于规定位置范围的状态，则判定部333判定为按压操作有效(接通状态)。另外，当按压操作检测方向上的指示体的位置在规定位置范围以外时，判定部333判定为按压操作结束(断开状态)。

根据上述结构，能够更准确地判定瞬时型开关的按压操作的有效或无效。

[通过软件实现的示例]

可编程显示器1的控制块(特别是动作控制部31、显示控制部32以及接近操作控制部33)既可以通过形成于集成电路(IC芯片)等的逻辑电路(硬件)来实现，也可以通过软件来实现。

在后者的情况下，可编程显示器1具备执行实现各功能的软件即程序的命令的计算机。该计算机具备例如一个以上的处理器，并且具备存储有上述程序的计算机可读取的记录介质。

并且，在上述计算机中，上述处理器从上述记录介质读取并执行上述程序，由此实现本发明的目的。作为上述处理器，例如能够使用CPU(CentralProcessing Unit：中央处理单元)。

作为上述记录介质，除了“非暂时性有形介质”，例如除了ROM(Read Only Memory：只读存储器)等之外，还可以使用磁带、磁盘、卡、半导体存储器、可编程的逻辑电路等。另外，还可以具备展开上述程序的RAM(Random Access Memory：随机存取存储器)等。

另外，上述程序也可以经由能够传输该程序的任意的传输介质(通信网络或广播波等)提供给上述计算机。需要说明的是，本发明的一个方式也能够以通过电子传输将上述程序具现化的、嵌入载波中的数据信号的方式来实现。

需要说明的是，也可以将接近操作控制部33所包含的检测部331、计算部332以及判定部333的一部分或者全部置换为基于机器学习的推理引擎等。

[总结]

本发明的一个方式的操作处理装置具备：显示部，显示至少一个开关；传感器部，配置于显示部的附近，检测指示体的在三维空间中的位置，并输出表示检测出的三个方向的位置的三个检测值；检测部，基于三个上述检测值中的一个或两个上述检测值即第一检测值来确定由指示体指示的开关，并且基于除确定了上述开关的确定方向以外的一个方向即按压操作检测方向的第二检测值来检测上述开关的按压操作；计算部，基于上述第二检测值相对于上述指示体在上述按压操作检测方向上的位置变化而发生的变化，计算上述按压操作检测方向的上述指示体的移动量；以及判定部，在上述移动量处于规定量范围内时，判定为上述指示体对上述开关的按压操作有效，在上述移动量处于上述规定量范围外时，判定为上述按压操作无效。

根据上述结构，基于指示体的在三维空间中的位置的检测值，确定由指示体指示的开关，并且检测由指示体进行的开关的按压操作，因此不需要具备大规模且高处理能力的系统。另外，由于对开关的按压操作的有效性进行判定，因此不易发生误动作。因此，能够容易地实现HMI设备中的非接触操作。

另外，即使三维的位置坐标因某些原因而变化，由于利用相对的位置坐标来判定开关的按压操作的有效性，所以不易导致误操作。而且，满足将开关的按压操作判定为有效的条件在以下情况下极其难以发生：人体或其一部分移动物体等偶然穿过传感器部之前的情况、或指示体为了操作而进行预备动作或在结束操作时进行恢复动作等情况，因此不易产生误操作。因此，能够可靠且容易地实现HMI设备中的非接触操作的检测。

在上述操作处理装置中，上述计算部也可以基于对应于上述指示体在上述按压操作检测方向上的位置变化的上述第二检测值，进一步计算上述按压操作检测方向的上述指示体的移动速度，上述判定部在上述移动量处于上述规定量范围内且上述移动速度处于规定速度范围内时，判定为上述指示体进行的上述开关的按压操作是有效的，在上述移动量处于上述规定量范围外或者上述移动速度处于上述规定速度范围外时，判定为上述按压操作无效。

根据上述结构，能够更准确地判定指示体对开关的按压操作是有效还是无效。

在上述操作处理装置中，当上述确定方向为两个方向时，若上述指示体分别向两个上述确定方向的位移量为规定值以下，则上述判定部判定为上述按压操作有效，当上述确定方向为一个方向时，若上述指示体向一个上述确定方向的位移量为规定值以下，则上述判定部判定为上述按压操作有效。

根据上述的结构，在没有因指示体的意外的动作等而使指示体在确定方向上较大地位移时，将此时的指示体的动作作为有效的按压操作。需要说明的是，对于三个方向中的、与开关的确定以及开关的按压操作无关的方向，如果将其用于判定，则能够进一步防止开关的误操作。

在上述操作处理装置中，若即将进行按压操作之前的上述指示体的上述按压操作检测方向的位置与上述按压操作完成而指示体退出的上述按压操作检测方向的位置之间的差值为在规定差范围内的值，则上述判定部可以判定为上述按压操作有效，若上述差值为在上述规定差范围外的值，则上述判定部可以判定为上述按压操作无效。

根据上述结构，能够更准确地判定交替型的开关、单触发型的开关等的按压操作的有效或者无效。

在上述操作处理装置中，上述开关在上述按压操作持续的期间保持接通状态且在上述按压操作被去除时解除接通状态，若进行按压操作的上述指示体的上述按压操作检测方向的位置处于规定位置范围内的状态且被维持，则上述判定部可以判定为上述按压操作有效，当上述指示体的上述按压操作检测方向上的位置在规定位置范围外时，则上述判定部可以判定为上述按压操作结束。

根据上述结构，能够更准确地判定瞬时型开关的按压操作的有效或无效。

上述操作处理装置还可以具备在上述显示部上接受触摸操作的触摸面板，上述显示部显示主画面，上述主画面包括接受对上述触摸面板进行的触摸操作的触摸开关，并且在上述主画面上显示上述开关在一维方向或二维方向上集中配置的开关画面。

根据上述结构，在能够进行基于触摸开关的触摸操作的情况下，进行触摸操作，另一方面，在需要以非接触的方式进行开关的操作的情况下，能够进行针对开关画面的非接触操作。另外，由于开关集中配置在开关画面上，因此不需要扩大传感器部的检测范围，或者提高传感器部的分辨率。

在上述操作处理装置中，上述显示部在上述指示体处于用于确定任意一个上述开关的范围的位置外时，在上述开关画面中显示上述指示体偏离上述范围的方向、表示偏离上述范围的上述指示体的位置的位置信息、或者用于使上述指示体从上述位置向上述范围移动的引导信息。

根据上述结构，显示指示体偏离确定开关的范围的方向、表示偏离上述范围的指示体的位置的位置信息、或者用于从上述位置移动到上述范围的引导信息。由此，能够容易地掌握为了确定开关而使指示体向哪个方向移动。

在上述操作处理装置中，上述传感器部也可以具有能够测定接近程度和正交两轴方向的位移的传感器、和将上述传感器输出的测定值转换为三维坐标的运算处理部。

〔附注内容〕

本发明并不限定于上述的各实施方式，能够在权利要求所示的范围内进行各种变更，将在不同的实施方式中分别公开的技术手段适当组合而得到的实施方式也包含在本发明的技术范围内。

Claims (8)

1.一种操作处理装置，其特征在于，具备：

显示部，显示至少一个开关；

传感器部，配置于显示部的附近，检测指示体在三维空间中的位置，并输出表示检测出的三个方向的位置的三个检测值；

检测部，基于三个所述检测值中的一个或两个所述检测值即第一检测值来确定由指示体指示的开关，并且基于除确定了所述开关的确定方向以外的一个方向即按压操作检测方向的第二检测值来检测所述开关的按压操作；

计算部，基于所述第二检测值相对于所述指示体在所述按压操作检测方向上的位置变化而发生的变化，计算所述按压操作检测方向的所述指示体的移动量；以及

判定部，在所述移动量处于规定量范围内时，判定为所述指示体对所述开关的按压操作有效，在所述移动量处于所述规定量范围外时，判定为所述按压操作无效，

所述传感器部以在形成所述指示体的检测范围的球体面或椭圆体面上具有大致相同的强度，且越远离所述传感器则强度相同的球体面或椭圆体面越大的方式射出红外光，

所述操作处理装置构成为校正所述第一检测值及所述第二检测值的倍率，以使得所述第一检测值及所述第二检测值无论所述指示体与所述传感器部之间的距离如何不同都获得为相同的值。

2.根据权利要求1所述的操作处理装置，其特征在于，

所述计算部基于对应于所述指示体在所述按压操作检测方向上的位置变化的所述第二检测值，进一步计算所述按压操作检测方向的所述指示体的移动速度，

所述判定部在所述移动量处于所述规定量范围内且所述移动速度处于规定速度范围内时，判定为所述指示体进行的所述开关的按压操作有效，在所述移动量处于所述规定量范围外或者所述移动速度处于所述规定速度范围外时，判定为所述按压操作无效。

3.根据权利要求1或2所述的操作处理装置，其特征在于，

当所述确定方向为两个方向时，若所述指示体分别向两个所述确定方向的位移量为规定值以下，则所述判定部判定为所述按压操作有效，当所述确定方向为一个方向时，若所述指示体向一个所述确定方向的位移量为规定值以下，则所述判定部判定为所述按压操作有效。

4.根据权利要求1或2所述的操作处理装置，其特征在于，

若即将进行按压操作之前的所述指示体的所述按压操作检测方向的位置与所述按压操作完成而指示体退出的所述按压操作检测方向的位置之间的差值为在规定差范围内的值，则所述判定部判定为所述按压操作有效，若所述差值为在所述规定差范围外的值，则所述判定部判定为所述按压操作无效。

5.根据权利要求1或2所述的操作处理装置，其特征在于，

所述开关在所述按压操作持续的期间保持接通状态且在所述按压操作被去除时解除接通状态，

若进行按压操作的所述指示体的所述按压操作检测方向的位置处于规定位置范围内的状态且被维持，则所述判定部判定为所述按压操作有效，当所述指示体的所述按压操作检测方向上的位置在规定位置范围外时，则所述判定部判定为所述按压操作结束。

6.根据权利要求1或2所述的操作处理装置，其特征在于，

还具备在所述显示部上接受触摸操作的触摸面板，

所述显示部显示主画面，所述主画面包括接受对所述触摸面板进行的触摸操作的触摸开关，并且在所述主画面上显示所述开关在一维方向或二维方向上集中配置的开关画面。

7.根据权利要求6所述的操作处理装置，其特征在于，

所述显示部在所述指示体处于用于确定任意一个所述开关的范围的位置外时，在所述开关画面中显示所述指示体偏离所述范围的方向、表示偏离所述范围的所述指示体的位置的位置信息、或者用于使所述指示体从所述位置向所述范围移动的引导信息。

8.根据权利要求1所述的操作处理装置，其特征在于，

所述传感器部具有：

传感器，能够测定接近程度和正交两轴方向的位移；以及

运算处理部，将所述传感器输出的测定值转换为三维坐标。