CN105247468B - 可编程显示器及其画面操作处理程序 - Google Patents

Abstract

具有：显示部(101)；坐标输入部(102)；显示处理部(107)；操作处理部(108)；控制部(110)；以及切换部，其对通过画面手势进行的操作的有效化/无效化进行切换，显示画面具有：画面手势应用区域，在该画面手势应用区域中能够进行显示内容的变更；以及画面手势非应用区域，在该画面手势非应用区域中不能够进行显示内容的变更，切换部在通过画面手势进行的操作无效的情况下，使针对画面手势应用区域和画面手势非应用区域的操作对象的操作有效化，在通过画面手势进行的操作有效的情况下，使针对画面手势应用区域的操作对象的操作无效化，使画面手势有效化，显示处理部(107)在通过画面手势进行的操作有效的情况下，在画面手势应用区域进行规定的显示。

Description

可编程显示器及其画面操作处理程序

技术领域

本发明涉及一种可编程显示器及其画面操作处理程序。

背景技术

以作为平板式计算机、智能手机、或者工业用的显示·操作终端的可编程显示器为首，具备显示设备、和能够进行大于或等于1点的触摸操作坐标的检测的坐标输入部的计算机装置正在普及。在这种计算机装置中，伴随着高功能化、画面的高分辨率化，其显示内容变得更加精细。另一方面，如果在有限的尺寸的画面中显示(配置)大量的信息，则每一个要素(对象)的尺寸变小，可观察性·操作性会下降。特别是在触摸操作中，针对相对于人的指尖的尺寸未确保充足的尺寸的对象，难以进行准确的坐标指示，容易引起误操作。这里，对象是指以触摸的方式进行操作的具有开关的功能的要素，或者图表或灯等具有对信息进行提示的功能的要素等的计算机上的虚拟部件。

针对这种问题，在一部分计算机装置中，具有用于对小的对象进行指示的笔状的附属品(触笔)。除了对小的对象的操作以外，触笔对于文字的手写输入等要求精度的操作也有效。但是，触笔存在如下其他问题，即，有可能丢失或破损，或者在便携式计算机装置中在操作时用一只手把持计算机装置、且用另一只手把持触笔而进行操作，因此不适合大于或等于2点的同时操作。

另外，作为设想了利用指尖的操作的产品，例如如非专利文献1所示，还存在提供如下机制的产品，即，与将利用2个指尖同时触摸的2点的间隔扩大的操作(称为捏拉放大或者捏拉扩张)、或者缩小的操作(称为捏拉缩小或者捏拉收缩)相应地，分别对显示画面的一部分进行放大、缩小。在该构造中，对于根据需要对阅览·操作的对象进行放大显示而提高可观察性·操作性、以及进行缩小显示而以俯瞰的方式确认大量信息，能够动态地进行切换。并且，保持触摸1点而在使触摸位置移动之后将其释放(在拖动并迅速地弹开的情况下，称为轻弹(flick))，由此能够实现显示内容的滚动(显示位置的变更)。这样的伴随有触摸位置的移动、触摸状态的变化的操作被称为手势(手势操作)。

手势的种类多种多样，存在伴随有如上述那样保持触摸状态不变地使触摸位置移动这样的操作的手势，另一方面，还存在瞬间地触摸一点之后将其释放的轻击操作、连续地进行2次轻击的双击操作等。为了连续地实施这些手势种类的判定，需要基于触摸的点数、持续触摸的时间、触摸的坐标的变化而进行判断。以该性质为基础，例如在考虑配置于画面上的表示虚拟的开关的对象时，在触摸该开关的瞬间将开关的图像切换为按下状态的形态(image)，从而能够在视觉上提示触摸操作对开关起作用。但是，在触摸的同时启动分配给开关的功能(例如对画面进行切换的功能)并不优选。这是因为，在未对在触摸的时刻是针对开关的操作、还是拖动或者轻弹操作、或是打算进行捏拉放大或者捏拉缩小的操作中偶然在开关的区域内进行了第1点的触摸加以区别的状态下，开关起作用，从而产生对用户而言意外的动作的可能性。因此，在与手势操作相对应的计算机装置中，通常针对伴随有开关等操作的对象，在触摸状态的释放时(触摸解除时)对操作进行判定。在本说明书中，为了方便而将对象以该方式在释放时进行动作称为“OFF同步”。与此相对，将对象在触摸时进行动作称为“ON同步”。

这里，专利文献1中公开有与如下触摸面板处理装置相关的技术，即，对应于触摸操作，对使画面滚动的滚动模式和执行分配的处理的轻弹模式进行切换。这里，通过长按任意部位而进入轻弹模式，并且在对菜单(具有多种划分的操作引导件)进行显示之后，通过使触摸位置挪动而选择菜单，并切换为滚动模式。

另外，专利文献2中公开有如下技术，即，设置主输入模式和副输入模式，在主输入模式下，每次进行触摸开关的触摸操作时，都对应于利用位置检测部的检测结果而执行既定的处理动作，在副输入模式下，将触摸开关的多次触摸操作作为相互关联的一系列操作输入而执行既定的处理动作。

并且，专利文献3中公开有与如下多触摸操作相关的技术，即，对于监视画面上的仪器显示区域，设为用于操作人员的触摸操作，利用多根手指将所显示的现场仪器的对象标志捏住并对其进行按压扩大、按压缩小、或者按压扭转。

专利文献1：国际公开第2012/060352号

专利文献2：日本特开2010-204964号公报

专利文献3：日本特开2012-174127号公报

非专利文献1：“iOSヒューマンインターフェイスガイドライン”、[online]、2012年12月17日、苹果日本株式会社、[平成25年2月5日检索]、网址(URL:https://developer.apple.com/jp/devcenter/ios/library/documentation/MobileHIG.pdf)

发明内容

例如，用于工业用途的可编程显示器在其显示画面内对以开关为首的对象进行配置·显示，通过对其进行操作，进行针对与可编程显示器连接的PLC(Programmable LogicController)等控制装置的设备的值的写入指示或者操作。在考虑将这种可编程显示器应用于生产装置时，开关的响应速度对生产率造成影响，因此为了尽量提高响应性而要求在触摸的时刻对开关等进行操作、即要求对象通过ON同步而起作用。另外，在可编程显示器中，还需要实现如下开关，即，根据处于按下开关中还是处于未按下中而对写入至控制装置的设备中的值进行切换。这样的开关被称为瞬时开关，在触摸时开关进行动作这一点上，能够将其视为ON同步的对象的一种。

在这种可编程显示器中，与通常的计算机仪器相同，有时想要通过将大量的对象配置于画面内而同时对装置的状态进行一览。另一方面，与通常的计算机仪器相比，进一步要求通过触摸操作而对开关等的进行操作的对象能够无误地进行操作的机制。为了同时满足这些要求，要求具有根据需要而对作为操作对象的部位(根据情况而想要阅览的信息)进行放大显示的功能，且要求通过ON同步也能够对对象进行操作。

在非专利文献1所示的通常的平板式计算机或者智能手机中所采用的手势操作的技术中，如上所述，针对开关的通过ON同步进行的操作、和缩放、滚动等手势操作无法共存。因此，在需要针对开关的通过ON同步进行的操作的一部分应用程序中，使通过捏拉放大(pinch open)/捏拉缩小(pinch close)的显示的放大/缩小、或者通过拖动/轻弹的滚动无效化，或者对能够应用手势操作的区域进行限定，使开关上的手势操作无效化。因此，无法应对包含通过ON同步而进行动作的开关的显示的放大。这是因为，如果通过除了开关以外的区域中的手势而进行画面的放大，则作为放大操作的结果，在显示区域由开关填满的情况下，此后无法进行手势操作。

在专利文献3中，将利用多根手指捏住并按压放大、按压缩小或者按压扭转的多触摸操作的对象作为对象标志(对象)，对象标志本身与多触摸操作相对应。但是，关于通过多触摸操作而实施显示内容的放大/缩小、滚动这样的操作的方法并未公开。

另一方面，在专利文献1中，设置有轻弹模式和滚动模式。由此，作为用于为了有效地利用轻弹模式而对模式进行切换的操作，设想了画面的长按。另外，专利文献1中记载有可以在进行短按的情况下进入轻弹模式的情况，但在该方法中，在通过ON同步而进行动作的开关上，开关进行误动作的可能性高。因此，无法保持原样地将该技术应用于需要ON同步的可编程显示器。

另外，在专利文献2中，设置有主输入模式和副输入模式，通过shift键的按下而进行上述这些模式之间的切换。但是，关于画面的放大/缩小、滚动并未公开。因此，例如并未设想如下情况，即，使画面放大、滚动的结果，shift键在显示区域外露出而无法进行操作。

并且，在个人计算机用的应用软件或者基本软件中，还存在如下结构，即，通过鼠标的左击而对对象进行操作，通过右击而显示特别的菜单(快捷菜单)，利用快捷菜单对模式进行切换。但是，在触摸操作中，无法进行左击、右击这样的区别。因此，在以触摸操作为主的装置中无法应用这种技术。

本发明就是鉴于上述情形而提出的，其目的在于获得一种可编程显示器及其画面操作处理程序，在进行控制仪器的监视及操作、且能够进行触摸操作的可编程显示器中，对于控制装置的操作能够通过ON同步而进行操作，并且能够通过显示画面上的任意位置处的画面手势操作而进行显示画面的放大/缩小、滚动操作。

为了实现上述目的，本发明所涉及的可编程显示器进行经由通信线路而连接的控制装置的监视及操作，其特征在于，具有：显示单元；坐标输入单元，其对与所述显示单元接触的输入指示体的大于或等于1点的操作坐标进行检测；显示处理单元，其在显示于所述显示单元的显示画面内，对包含仅进行信息的显示的显示对象、或者能够进行操作的操作对象在内的多个对象进行显示；操作处理单元，其根据通过所述坐标输入单元获得的所述输入指示体的所述操作坐标而提取所述输入指示体的变化；控制单元，其对应于所述输入指示体的变化而进行规定的动作；以及切换单元，其对通过画面手势进行的操作的有效化/无效化进行切换，所述显示画面具有：画面手势应用区域，在该画面手势应用区域中能够进行显示内容的变更；以及画面手势非应用区域，在该画面手势非应用区域中不能够进行显示内容的变更，所述切换单元在通过所述画面手势进行的操作无效的情况下，使针对所述画面手势应用区域和所述画面手势非应用区域的所述操作对象的操作有效化，在通过所述画面手势进行的操作有效的情况下，使针对所述画面手势应用区域的所述操作对象的操作无效化，使所述画面手势有效化，所述显示处理单元在通过所述画面手势进行的操作有效的情况下，在所述画面手势应用区域进行规定的显示。

发明的效果

根据本发明，对通过画面手势进行的操作的有效/无效进行切换，因此在使通过画面手势进行的操作无效化的情况下，通过ON同步而实现针对操作对象的操作，在使通过画面手势进行的操作有效化的情况下，使针对配置于画面手势应用区域内的操作对象的操作无效化。其结果，具有如下效果，即，在进行画面手势应用区域内的显示内容的变更时，即使包含伴随有针对画面的触摸的操作，也不会错误地对包含于显示内容中的操作对象进行操作。

附图说明

图1是表示可编程显示器中所使用的对象的一个例子的图。

图2是表示可编程显示器的显示画面的一个例子的图。

图3是表示本实施方式所涉及的可编程显示器的显示区域的一个例子的图。

图4是对在本实施方式所涉及的可编程显示器中进行切换的2种模式进行说明的图。

图5是示意地表示本实施方式所涉及的可编程显示器的结构的框图。

图6是表示本实施方式所涉及的模式切换处理的流程的一个例子的流程图。

图7是表示基底画面和窗口画面混在一起的情况下的模式切换和手势操作的一个例子的图。

图8是表示本实施方式所涉及的画面手势模式下的手势操作时的处理流程的一个例子的流程图。

图9是表示画面手势模式下的滚动处理的一个例子的图。

图10是表示画面手势模式下的缩放操作时的动作的一个例子的图。

图11是表示画面手势模式下的放大·缩小处理的一个例子的图。

图12是表示应用了缩放和/或滚动的前后的坐标位置的关系的图。

具体实施方式

下面，参照附图对本发明所涉及的可编程显示器及其画面操作处理程序的优选实施方式进行详细的说明。此外，本发明并不限定于本实施方式。

图1是表示可编程显示器中所使用的对象的一个例子的图。在触摸面板式的可编程显示器中所使用的对象中，存在仅进行信息的显示的显示对象、和如触摸开关这种对于操作产生反应的操作对象。

作为显示对象，存在如下显示对象等：灯501，其根据外部连接仪器的设备值而对显示进行切换；趋势图502，其定期地收集设备值，并通过折线图而对积累的时序信息进行显示；以及数值显示503，其将设备值直接作为数值而进行显示。

另外，作为操作对象，存在如下操作对象等：开关511，其通过触摸操作而对设备值进行改写；数值输入513，其在通常情况下将设备值作为数值而进行显示，通过来自用于变更数值的数字键512的输入而对设备设定数值；滑动控件514，其通过保持对配置于规定区域的“把手”进行触摸的状态而使触摸位置移动，由此使值连续地变化，对设备设定将触摸释放的时刻的值。另外，用于调节窗口画面的位置或尺寸的窗口边框也能够视为操作对象的一种。

图2是表示可编程显示器的显示画面的一个例子的图。可编程显示器能够对下述画面进行显示，即，显示于显示部整体的画面即基底画面610、以及以在显示部的一部分或整体将基底画面610覆盖的方式而显示的画面即窗口画面620。另外，还能够在显示部显示多个窗口画面620。在基底画面610和窗口画面620中适当地配置有显示对象和操作对象中的至少某一个。该显示对象和操作对象的配置被定义为项目数据(project data)。

图3是表示本实施方式所涉及的可编程显示器的显示区域的一个例子的图。在本实施方式中，将可编程显示器的显示区域700的一部分设为由用户做出的画面手势有效的画面手势应用区域701，将剩余的区域设为由用户做出的画面手势无效的画面手势非应用区域702，由此对显示画面的区域进行区别。即，在根据画面手势而对显示内容的变更进行指示的情况下，在画面手势应用区域701中根据指示而对显示内容进行变更，在画面手势非应用区域702中不对显示内容进行变更。

在该例子中，画面手势非应用区域702以带状设置于显示区域700的最上部。在画面手势非应用区域702中配置有对后述的通常操作模式和画面手势模式进行切换的、作为操作对象的模式切换开关710。每次按下该模式切换开关710时，对通常操作模式和画面手势模式进行切换。

通常操作模式是基于利用对可编程显示器设定的项目数据的设定而进行操作的模式。另外，画面手势模式是如下模式，即，使针对在画面手势应用区域701内配置的操作对象的操作无效化，另一方面，基于在画面手势应用区域701内所进行的规定的操作而对画面手势应用区域701的显示内容进行变更。这里所说的显示内容的变更，例如代表着显示内容的放大或缩小、或者显示位置的变更(滚动)等。即，在通常操作模式下，例如使针对在显示画面所显示的操作对象的操作有效化，如果对操作对象进行操作，则通过ON同步进行动作。在另一方面的画面手势模式下，使针对操作对象的操作无效化，因此即使通过手指等输入指示体对操作对象的接触也不会使得操作通过ON同步而进行动作。

此外，在画面手势模式时，针对画面手势应用区域701内的操作对象的操作变为无效，但能够进行针对配置于画面手势非应用区域702的操作对象的操作。因此，即使在画面手势模式时，也能够对配置于画面手势非应用区域702内的模式切换开关710进行操作而切换为通常操作模式。另外，画面手势应用区域701和画面手势非应用区域702的区别能够针对项目数据以画面单位(例如分别针对基底画面610、窗口画面620)而进行设定。

图3中作为例子且作为矩形区域而示出了画面手势应用区域701，但形状不局限于矩形，例如还能够设为椭圆形、任意的多边形。此外，如前所述，优选画面手势应用区域701能够以画面单位进行设定。这是因为，通常想要根据显示中的画面而对是否应用了画面手势功能进行区别。但是，为了使设定变得简便，也可以设为项目数据单位。

图4是对利用本实施方式所涉及的可编程显示器进行切换的2种模式进行说明的图，(a)是表示通常操作模式时的画面状态的一个例子的图，(b)是表示画面手势模式时的画面状态的一个例子的图。如图4(a)所示，在通常操作模式时，能够对在画面手势应用区域701和画面手势非应用区域702配置的、未图示的操作对象进行操作。另一方面，如图4(b)所示，在画面手势模式时，使得显示和通常操作模式时不同，以使得能够由用户在视觉上识别出是画面手势模式。在该例子中，在画面手势模式时，利用粗线703将画面手势应用区域701的外周部包围。另外，该粗线703可以设为例如红色等在视觉上显眼的配色，也可以对该粗线703进行闪烁显示。

将包围画面手势应用区域701的线设为粗线703，是为了在画面手势模式时也尽量不给画面手势应用区域701的显示内容带来影响。即，通过仅将画面手势应用区域701的外周部设为粗线703，不会使画面手势应用区域701的面积明显减小，因此无需对在画面手势应用区域701内显示的内容进行缩小显示。但是，根据显示的画面内容的不同，也可以不是利用这种粗线的包围，例如也可以在显示画面内对表示是画面手势模式的图标进行重叠显示。

另一方面，图中示出了如下情况，即，考虑到在通常操作模式时对于显示区域700尽量不显示多余的信息，而是有效地利用，并未对表示是通常操作模式进行特别的显示。但是，也可以对表示是通常操作模式进行特别的显示。

这样，在本实施方式中，在显示画面中设置有画面手势应用区域701和画面手势非应用区域702，在画面手势非应用区域702中设置有对通常操作模式和画面手势模式进行切换的模式切换开关710。另外，在通常操作模式下，如果触碰到操作对象则通过ON同步而进行动作，但在画面手势模式下，即使触碰到操作对象也不通过ON同步而进行动作，根据画面手势的轨迹而判断其操作指示并进行动作。下面，对实现这种功能的可编程显示器进行说明。

图5是示意地表示本实施方式所涉及的可编程显示器的结构的框图。可编程显示器100具有显示部101、坐标输入部102、通信接口部103(图5中记作通信I/F)、外部存储接口部104(图5中记作外部存储I/F)、内部存储部105、文件系统处理部106、显示处理部107、操作处理部108、通信处理部109、以及控制部110。

显示部101例如由液晶显示器(Liquid Crystal Display)或者有机EL(Electroluminescence)显示器等构成。

坐标输入部102例如是与显示部101重叠而配置的触摸面板，对手指等输入指示体的接触位置的坐标(触摸坐标)进行检测。坐标输入部102能够同时检测多点的触摸坐标。作为能够同时检测多点的触摸坐标的触摸面板，存在电阻膜方式、静电容量方式、光学式等多种产品，可以采用其中的某一种。

通信接口部103是在与控制装置等的外部连接仪器120、或者个人计算机130等之间进行通信时成为接口的部分。

外部存储接口部104是在与存储卡或者USB(Universal Serial Bus)存储器等能够携带的外部存储介质150之间进行通信时成为接口的部分。

内部存储部105由NAND型或NOR型闪存、或者硬盘装置之类的非易失性的存储介质构成。

在内部存储部105或者外部存储介质150中存储有用于使可编程显示器100进行动作的项目数据180等。项目数据180包含显示于显示部101的画面数据等。另外，画面数据中包含操作对象或者显示对象的配置位置。并且，在内部存储部105或者外部存储介质150中设置有模式状态存储区域，该模式状态存储区域对表示模式切换开关当前的模式的模式状态信息进行存储。例如，模式状态信息针对每个显示画面而存储模式状态。

文件系统处理部106执行在内部存储部105或者外部存储介质150中存储的项目数据180的读写处理。

显示处理部107基于项目数据180而进行使显示部101显示规定的画面的处理。另外，显示处理部107考虑基底画面610和窗口画面620的重叠而对向显示部101的显示内容进行合成。

操作处理部108根据来自坐标输入部102的输入指示体的触摸坐标而提取输入指示体的变化。例如，在通常操作模式下，对操作对象为按钮的情况下的按下操作进行检测，或者对滑动控件的触摸位置和释放位置进行检测。另外，在画面手势模式下，从坐标输入部102获得输入指示体的触摸点数、触摸坐标、以及触摸点数为2点的情况下的2点的触摸位置之间的距离，对触摸点数的变化、触摸坐标的基点、相对于触摸坐标的基点的位移、成为基准的2点的触摸位置的距离即基准距离、或者相对于基准距离的距离变化进行计算。

通信处理部109具有在与外部连接仪器120之间进行通信的功能。这里，通信处理部109具有针对每个外部连接仪器120而不同的通信协议，将由外部连接仪器120的不同而引起的通信方法的差异吸收。

控制部110通过文件系统处理部106而读取项目数据180并对其内容进行解释，由此执行针对在显示部101中显示的对象的处理，或者执行并未伴随有对象的、例如收集数据的日志功能之类的非对象功能的处理。

另外，控制部110基于项目数据180的设定而从经由通信接口部103连接的外部连接仪器120读取设备值，进行向外部连接仪器的设备值的写入。并且，控制部110基于经由通信处理部109获得的外部连接仪器120的设备值，进行对其的响应处理。

另外，控制部110基于来自操作处理部108的输出结果而识别由输入指示体进行的操作，进行与该操作相对应的处理。例如，在处于通常操作模式下、且将对向外部连接仪器120的设备值的写入进行指示的操作对象按下的情况下，对显示处理部107进行如下指示，即，变更为将操作对象的显示按下的状态，并且对通信处理部109指示向对应的外部连接仪器120的设备值的写入处理。另一方面，在处于画面手势模式下、且利用输入指示体进行了显示内容的变更的指示的情况下，基于来自操作处理部108的输出结果而对变更指示进行计算，对显示处理部107指示该变更指示。

此外，利用个人计算机130的应用程序之一的制图软件131对项目数据180进行制作或编辑。除了利用个人计算机130将项目数据180复制到外部存储介质150以外，还能够通过通信接口部103将项目数据180传送到可编程显示器100的内部存储部105、或者在外部存储接口部104中安装的外部存储介质150。

具有这种结构的可编程显示器100，例如在生产装置中被用作电气或者机械式的灯、仪表等的显示装置、或者作为开关、音量条(volume)等的操作输入装置的替代品的显示·输入装置。

通常情况下，PLC等控制仪器以实时地对控制对象仪器执行期望的动作的方式并以规定的周期进行如下的一系列处理，即，从控制对象仪器接收规定的数据，基于该数据进行规定的运算，对控制对象仪器发送其运算结果。在本实施方式中，通常操作模式下从可编程显示器100对控制仪器指示的指示或者操作指令被实时地、即通过ON同步而传递。

下面，对利用这种结构的可编程显示器的处理进行说明。图6是表示本实施方式所涉及的模式切换处理的流程的一个例子的流程图。

首先，坐标输入部102在每隔规定的时间对用户的输入指示体的触摸坐标进行检测，将其结果输出至操作处理部108。在操作处理部108中，根据输入指示体的触摸坐标和其随时间的变化等而获得用户的输入状态。控制部110基于该输入状态而判定是否是模式切换指示(步骤S11)。例如，如上所述，在通过将配置于画面手势非应用区域702的模式切换开关710按下而进行模式切换指示的情况下，在画面手势非应用区域702的模式切换开关710上进行了轻击动作的情况下判定为存在模式切换指示，在模式切换开关710上未进行轻击动作的情况下判定为不存在模式切换指示。

在不存在模式切换指示的情况下(步骤S11中为No的情况)，维持当前的状态(步骤S12)，处理结束。另外，在存在模式切换指示的情况下(步骤S11中为Yes的情况)，控制部110从在内部存储部105或者外部存储介质150中设置的模式状态信息存储区域获得当前的模式(步骤S13)。在当前的模式为通常操作模式的情况下(步骤S13中为通常操作模式的情况)，控制部110将其切换为画面手势模式(步骤S14)，使处理结束。例如，如图4(a)所示，进行从通常操作模式向图4(b)的画面手势模式的切换。

另一方面，在当前的模式为画面手势模式的情况下(步骤S13中为画面手势模式的情况)，控制部110将其切换为通常操作模式(步骤S15)，使处理结束。此时，例如进行从图4(b)所示的画面手势模式向图4(a)的通常操作模式的切换。

在上述的例子中示出了如下情况，即，每次按下模式切换开关710时，都进行通常操作模式和画面手势模式的切换。模式切换开关710的配置也和其他对象的配置相同，包含于项目数据180中，利用制图软件131进行设定。

作为对模式进行切换的其他方法，还能够将以规定时间持续地触摸显示区域700内的除了操作对象以外的场所的长按操作定义为画面手势。具体而言，在通常操作模式下，通过以规定时间对显示区域700内的除了操作对象以外的任意场所进行长按操作而切换为画面手势模式，在画面手势模式下，通过对画面手势应用区域701内的任意区域、或者画面手势非应用区域702中的除了操作对象以外的区域进行长按操作而切换为通常操作模式。

另外，作为其他方法，可以将在显示区域700内的除了操作对象以外的场所且在规定时间内连续地触摸2次的双击操作定义为对模式进行切换的画面手势。具体而言，在通常操作模式下，通过对显示区域700内的除了操作对象以外的任意场所进行双击操作而切换为画面手势模式，在画面手势模式下，通过对画面手势应用区域701内的任意区域、或者画面手势非应用区域702中的除了操作对象以外的区域进行双击操作而切换为通常操作模式。

并且，在画面手势模式时，在无操作状态持续了规定时间的情况下，还能够自动地从画面手势模式切换为通常操作模式(下面，称为画面手势模式自动解除功能)。这里，无操作状态是指在检测出最终的触摸操作的释放之后未进行触摸的状态。在使用画面手势模式自动解除功能的情况下，只要与直至自动解除为止的时间匹配地对项目数据180进行设定即可。

此外，这里作为对模式进行切换的方法的例子而示出了使用开关、长按、双击的方法，但只要能够将多点的同时触摸或者使触摸的位置在规定方向上移动的描画操作等与简单的触摸(轻击)操作区别开，则可以使用任何方法。但是，在存在ON同步的开关的情况下，从防止误操作的观点出发，优选配置用于明确的模式切换的开关(模式切换开关710)。

这里，作为对模式进行切换的方法采用哪一种方法，可编程显示器100的项目数据180的制作者(画面设计者)能够利用制图软件131，并根据应用可编程显示器100的装置或者系统而自由地选择，对项目数据180进行设定。

另外，画面手势非应用区域702的显示内容，可以仅在画面手势模式中切换为预先准备的其他显示内容并进行显示。

下面，对基底画面610、窗口画面620混在一起的情况下的处理进行说明。图7是表示基底画面和窗口画面混在一起的情况下的模式切换和手势操作的一个例子的图。如图7(a)所示，处于在基底画面610中显示有窗口画面620的状态。另外，这里，设为画面手势功能的应用对象是基底画面610，并设为处于通常操作模式下。

在该状态下，如果用户按下基底画面610中的画面手势非应用区域702的模式切换开关710，则进入图7(b)的画面手势模式。此时，仅将基底画面610设为画面手势模式，在与基底画面610重叠显示的窗口画面620中不应用画面手势模式。即，设为对于基底画面610进行画面手势应用区域701内的显示内容的放大·缩小、滚动，但对于窗口画面620的显示并未造成影响。并且，在画面手势模式中，对于未应用画面手势模式的窗口画面620设为不显示。

然后，例如，如果在画面手势模式中且在画面手势应用区域701的规定位置进行捏拉扩张(pinch out)等将显示内容放大的规定操作，则如图7(c)那样对基底画面610进行放大显示。另外，在该状态下，如果进行拖动操作等使显示区域移动的规定操作，则显示区域如图7(d)那样移动。这些操作是画面手势模式，因此即使在操作对象上进行了操作，操作对象也不会进行动作。在附图的例子中，即使在按钮状的操作对象720上进行了操作，按钮状的操作对象720也不会被按下。

然后，如果将基底画面610的画面手势非应用区域702的模式切换开关710按下，则如图7(e)那样进入通常操作模式。此时，在放大、滚动后的状态下的基底画面610中再次对窗口画面620进行重叠显示。

此外，在显示有多个窗口画面的情况下，在想要使其中的1个窗口画面处于画面手势模式的情况下，在该窗口画面中进行模式切换而进入画面手势模式。此时，将除了应用画面手势功能的窗口画面以外的窗口画面设为不显示。另外，对于基底画面可以持续进行显示，但例如也可以以规定的图案对基底画面进行涂抹而在外观上设为不显示，也可以降低基底画面的彩度而进行显示，以使得向用户提示针对基底画面的操作是无效的。

如上所述，对在画面手势模式中暂时将除了应用画面手势功能的画面以外的窗口画面620设为不显示的理由进行说明。其理由之一在于，在如果维持对除了应用画面手势功能的画面以外的窗口画面620进行显示的状态时，在窗口画面620与画面手势应用区域重叠的情况下，有时难以通过画面手势而进行操作。另外，其另一理由在于，存在有可能对除了画面手势操作应用对象以外的窗口画面620进行错误的操作的问题。另一方面，关于基底画面610，通过设为不显示或者设为以此为基准的显示，能够获得明确显示画面手势功能的应用对象的效果。此外，在对应用画面手势功能的画面进行显示、且对基底画面610进行显示并能够对其进行操作的情况下，通过在基底画面610内配置模式切换开关710，还能够将其用于和画面手势非应用区域702相同的用途。

下面，对关于画面手势模式中的手势操作的判定和手势操作时的动作的处理流程进行说明。图8是表示本实施方式所涉及的画面手势模式下的手势操作时的处理流程的一个例子的流程图，图9是表示画面手势模式下的滚动处理的一个例子的图，图10是表示画面手势模式下的缩放操作时的动作的一个例子的图，图11是表示画面手势模式下的放大·缩小处理的一个例子的图。此外，这里，以是画面手势模式为前提。

控制部110利用操作处理部108而周期性地确认由触摸面板(坐标输入部102)检测出的触摸点数和触摸坐标，在控制部110中对其结果进行处理。

首先，操作处理部108确认当前的触摸点数(步骤S31)。在触摸点数为1点的情况下，确认相对于此前的状态在触摸点数上是否发现了变化(步骤S32)。在触摸点数上发现了变化的情况下(步骤S32中为Yes的情况)，即，在此前并未触摸或者触摸了大于或等于2个的点、且此次触摸了1点的情况下，操作处理部108将当前的触摸坐标作为触摸坐标的基点而进行保持(步骤S33)。并且，处理向步骤S31返回。

另一方面，在触摸点数相对于上一次未发生变化的情况下(步骤S32中为No的情况)，操作处理部108对当前的触摸坐标与触摸坐标的基点的位移进行计算(步骤S34)。接下来，控制部110对与相对于从操作处理部108获得的触摸坐标的基点的位移相对应的滚动量进行计算(步骤S35)。这里，滚动量设为使得显示部101上的物理的触摸坐标的变化和滚动量的变化一致。图9(a)示出了显示内容800整体中的、应用了缩放且在显示部101显示的内容是显示区域801的情况。并且，在显示区域801中按照箭头802的方向进行滚动。

然后，控制部110确认滚动的结果、即除了显示内容800的区域以外的区域是否包含于显示区域中(越界)(步骤S36)。在除了显示内容800的区域以外的区域包含于显示区域中的情况下(步骤S36中为No的情况)，对显示位置进行校正以使得不产生越界(步骤S37)。由此，如图9(b)所示，如果使显示区域801沿着箭头802直接滚动，则在滚动后的显示区域810中包含显示内容800和除了显示内容800的区域以外的区域(越界区域)811。因此，如果对显示位置进行校正以不使该越界区域811包含于显示区域810中，则变为校正后的显示区域812。

在此之后、或者在步骤S36中确认为除了显示内容800的区域以外的区域未包含于显示区域中的情况下(步骤S36中为Yes的情况，如图9(a)那样显示区域801包含于显示内容800中的情况)，在无越界的状态下应用滚动，并对向显示部101的显示进行更新(步骤S38)。然后，处理向步骤S31返回。

另外，在步骤S31中判定为当前的触摸点数为2点的情况下，操作处理部108确认相对于此前的状态在触摸点数上是否发现了变化(步骤S39)。在触摸点数上发现了变化的情况下(步骤S39中为Yes的情况)，即，在此前为小于或等于1点的触摸点数、或者大于或等于3点的触摸点数的情况下，操作处理部108将当前的2点的触摸位置的距离作为基准距离而进行保持(步骤S40)。并且，处理向步骤S31返回。

另一方面，在触摸点数相对于上一次未发生变化的情况下(步骤S39中为No的情况)，操作处理部108对步骤S40中求出的基准距离、和当前的2点的触摸位置的距离之间的变化量进行计算(步骤S41)。接下来，控制部110基于从操作处理部108获得的2点的触摸位置的距离的变化量，对缩放量(显示内容的放大、缩小的量)进行计算(步骤S42)。这里，当将基准距离设为D0、将当前的2点间的距离设为D1、将缩放操作开始前的缩放量设为Z0、将最小缩放量设为Zmin、将最大缩放量设为Zmax、将k设为适当的系数时，通过下式(1)对新的缩放量Z进行计算。其中，设为Zmin≤Z≤Zmax。

Z＝k·Z0·D1/D0···(1)

此时，如图10所示，将缩放的中心设为对基准距离D0进行计算时的2点的中点P。图10(a)中的2个输入指示体850与显示部101接触再的基准距离D0的中点P变为缩放的中心。并且，在2个输入指示体850的距离变为D1以后，如图10(b)所示，将中点P设为中心而进行缩放处理。

另外，图11(a)示出针对显示区域821应用了缩放中的缩小的情况。通过该缩放操作，缩放操作之后在显示部101中显示的区域像显示区域822那样变大。

这里，控制部110确认在缩放操作后的显示区域822中是否包含除了显示内容800的区域以外的区域(越界)(步骤S43)。在除了显示内容800的区域以外的区域包含于显示区域中的情况下(步骤S43中为Yes的情况)，对显示位置进行校正以使得不产生越界(步骤S44)。由此，如果像图11(b)所示那样对显示区域821进行缩放(缩小)，则在缩放后的显示区域831中包含显示内容800和除了显示内容800的区域以外的区域(越界区域)841。因此，如果对显示位置进行校正以不使该越界区域841包含于显示区域831中，则变为校正后的显示区域832。

在此之后、或者在步骤S43中确认为除了显示内容800的区域以外的区域未包含于显示区域中的情况下(步骤S43中为No的情况，如图11(b)中的显示区域832那样仅包含显示内容800的情况)，在无越界的状态下应用缩放，并对向显示部101的显示进行更新(步骤S45)。并且，处理向步骤S31返回。

在上述说明中，进行越界的校正以使得滚动、缩放时在显示区域内不存在除了显示内容800的范围以外的区域，但例如也能够以规定的图案对除了显示内容800的范围以外的区域进行涂抹，不进行校正而使得越界的区域显示规定的图案。

此外，基于触摸位置的连续的变化而对手势操作进行判定，但根据坐标输入部102，有时产生即使物理地进行触摸但在电气方面也会捕捉到触摸状态被瞬间地释放的震颤现象，或者产生即使对一点进行触摸但触摸坐标也发生变动的现象。因此，在实际的处理中，优选使操作处理部108具有进行如下信号平滑化处理等的功能，即，不仅使用当前的触摸位置，还使用过去几次收集的触摸位置对移动平均值进行计算。

下面，对应用了滚动、缩放以后的通常操作模式的处理进行说明。在画面手势模式下实施的缩放和/或滚动的结果，即使在此后进入通常操作模式的情况下也持续。图12是表示应用了缩放和/或滚动前后的坐标位置的关系的图。这里，当将不进行缩放和/或滚动的图像的坐标系设为基准坐标系Σv、将显示于画面手势应用区域701的显示内容800的坐标系设为显示内容坐标系Σs、将在基准坐标系Σv中指向画面手势应用区域701的左上坐标的矢量设为Pvs、将缩放量设为Z、将显示内容800的基准点相对于画面手势应用区域701的位移即滚动量设为ΔSv时，通过下式(2)对相对于基准坐标系Σv中的触摸坐标Pvt的、显示内容坐标系Σs中的坐标Pst进行计算。

Pst＝(Pvt－Pvs+ΔSv)/Z···(2)

即，在对画面手势应用区域701内的显示内容800应用了缩放或者滚动的情况下，将显示部101上的触摸位置Pvt视为对显示内容800中的Pst进行了触摸而得到的位置。在无缩放、滚动的状态下对项目数据180内的对象的坐标进行管理，因此利用上述式子对触摸的坐标进行校正，判断操作对象的有无，在Pst指向操作对象内的区域的情况下，执行操作对象的操作。

并且，能够使可编程显示器100具有如下机制，即，作为向被称为脚本或者宏的简易的编程语言的输入信息而获得触摸坐标。通过对脚本和触摸坐标进行组合，例如能够在触摸的位置对图形进行显示，或者能够与触摸的坐标相应地对值进行设定。即使在用于这种用途时，对于触摸坐标，在通常操作模式下，在触摸操作中，除了进行操作对象的操作以外，通过获得显示画面内的触摸坐标并将利用(2)式进行校正后的坐标Pst作为触摸坐标，对于应用了缩放或者滚动的图像也能够在适当的触摸坐标下进行处理。

但是，上述说明将具有能够进行多点的坐标输入的触摸面板的可编程显示器100作为例子，但不限定于可编程显示器100，只要是具有显示部101、以及能够对任意的大于或等于1点的操作坐标进行检测的坐标输入部102的装置，可以是任何装置。另外，将操作视为触摸操作，但例如能够扩展为利用照相机等非接触式的传感器对操作的坐标进行检测的方式。另外，形状可以是在装置的操作盘安装的安装式的，也可以是用手携带的便携式的，或者可以是佩戴于头部的头戴式显示器(Head Mounted Display)之类的装置。

另外，在上述说明中将1点或者2点的触摸操作作为对象，但也可以对大于或等于3点的同时触摸操作起作用。

并且，在上述说明中，示出了画面手势模式和通常操作模式的切换方法、以及与画面手势模式中的操作有关的操作，但它们各自的组合是任意的，无需同时实现所有操作。

在本实施方式中，在画面手势模式时，使针对配置于画面手势应用区域701内的操作对象的操作无效化。由此，作为画面手势应用区域701内的显示内容800的变更操作，在分别像捏拉扩张、捏拉收缩、拖动(轻弹)那样通过伴随有触摸的操作而实施显示内容800的放大、缩小、显示位置变更(滚动)之类的处理时，不会错误地对显示内容800中包含的操作对象进行操作。

另外，显示内容800的变更限定于画面手势应用区域701内，因此通过将画面手势应用区域701的尺寸限定为显示部101内的一部分，使得显示内容800的变更的影响不会波及到画面手势非应用区域702。因此，通过在画面手势非应用区域702配置任意的对象，能够使对象不受到画面手势的影响而始终为可显示或可操作。即，即使通过画面手势并利用开关而将画面手势应用区域701覆盖，通过配置于画面手势非应用区域702的其他开关或者规定的操作，也能够进行向画面手势模式的切换。

并且，在画面手势模式时，在显示画面内进行表示处于画面手势模式中的规定的显示，因此能够在视觉上区别是处于画面手势模式中，还是处于通常操作模式。在不存在这种视觉上的模式的区别的情况下，在用户对计算机装置进行操作时，无法考虑到与模式相应的操作，无法预先推测对于操作的响应。其结果，成为对于用户的压力的主要原因，或者成为误操作的原因。但是，在本实施方式中，进行了视觉上的模式的区别，因此能够考虑到与模式相应的操作，能够预先推测对于操作的响应。其结果，能够去除对于用户的压力的主要原因、或者误操作的原因。

另外，表示处于画面手势模式中的显示功能，设为仅在画面手势模式中进行显示并在通常操作模式时不显示，由此能够实现在通常操作模式时无需对画面进行附加显示的画面设计。

另外，在通过针对除了对象的配置区域以外的区域的规定的操作而对画面手势模式和通常操作模式进行切换的情况下，无需在画面内设置用于对模式进行切换的开关等操作对象。并且，通过与画面手势非应用区域702进行组合，即使在因画面手势应用区域701内的放大显示而该区域内被触摸开关填满的情况下也能够进行模式切换。

工业实用性

如上所述，本发明所涉及的可编程显示器适于具有配置有操作对象的显示画面的触摸面板式的可编程显示器。

标号的说明

100可编程显示器、101显示部、102坐标输入部、103通信接口部、104外部存储接口部、105内部存储部、106文件系统处理部、107显示处理部、108操作处理部、109通信处理部、110控制部、120外部连接仪器、130个人计算机、131制图软件、150外部存储介质、180项目数据、610基底画面、620窗口画面、700显示区域、701画面手势应用区域、702画面手势非应用区域、703粗线、710模式切换开关、720操作对象、850输入指示体。

Claims (9)

1.一种可编程显示器，其进行经由通信线路而连接的控制装置的监视及操作，

该可编程显示器的特征在于，具有：

显示单元；

坐标输入单元，其对与所述显示单元接触的输入指示体的大于或等于1点的操作坐标进行检测；

显示处理单元，其在显示于所述显示单元上的显示画面内，对包含仅进行信息的显示的显示对象、或者能够进行操作的操作对象在内的多个对象进行显示；

操作处理单元，其根据通过所述坐标输入单元获得的所述输入指示体的所述操作坐标，提取所述输入指示体的变化；

控制单元，其对应于所述输入指示体的变化，进行规定的动作；以及

切换单元，其对通过画面手势进行的操作的有效化和无效化进行切换，

所述显示画面具有：画面手势应用区域，在该画面手势应用区域中能够利用通过所述画面手势进行的操作来实现显示内容的变更；以及画面手势非应用区域，在该画面手势非应用区域中不能够利用通过所述画面手势进行的操作来实现显示内容的变更，

无论通过所述画面手势进行的操作的是有效还是无效，都能够对配置在所述画面手势非应用区域中的所述操作对象进行操作，

所述操作对象能够通过在通过所述输入指示体进行触碰时执行针对所述操作对象的操作的ON同步而进行操作，

所述画面手势非应用区域始终设定在所述显示画面内的规定的区域中，

所述切换单元，在通过所述画面手势进行的操作无效的情况下，使针对所述画面手势非应用区域的所述操作对象的操作有效化，在通过所述画面手势进行的操作有效的情况下，使针对所述画面手势应用区域的所述操作对象的操作无效化，使所述画面手势有效化，

所述显示处理单元，在通过所述画面手势进行的操作有效的情况下，在所述画面手势应用区域进行规定的显示，

所述控制单元，在通过所述画面手势进行的操作无效的情况下，如果由所述操作处理单元检测出所述输入指示体已与所述操作对象接触，则通过ON同步执行针对所述操作对象的操作。

2.根据权利要求1所述的可编程显示器，其特征在于，

对于所述画面手势应用区域的显示内容的变更，是显示内容的放大、缩小或者所述画面手势应用区域内的显示位置变更。

3.根据权利要求2所述的可编程显示器，其特征在于，

所述坐标输入单元对所述输入指示体的与所述显示单元接触的2点的所述操作坐标进行检测，

所述操作处理单元将操作开始时刻的2点间的距离设为基准距离，对操作开始以后持续进行2点的操作时的当前的2点间的距离与所述基准距离之间的距离变化进行计算，

所述控制单元基于所述距离变化而进行所述画面手势应用区域内的显示内容的放大或缩小。

4.根据权利要求2所述的可编程显示器，其特征在于，

所述坐标输入单元对所述输入指示体的与所述显示单元接触的1点的所述操作坐标进行检测，

所述操作处理单元将操作开始时刻的1点间的坐标设为基准坐标，对操作开始以后持续进行1点的操作时的当前的操作坐标和所述基准坐标之间的位移进行计算，

所述控制单元基于所述位移，进行所述画面手势应用区域内的显示内容的显示位置的变更。

5.根据权利要求1所述的可编程显示器，其特征在于，

所述切换单元，与规定时间的期间内由所述输入指示体持续进行的针对除了所述操作对象以外的区域的触摸的操作相关联。

6.根据权利要求1所述的可编程显示器，其特征在于，

所述切换单元，与规定时间内由所述输入指示体进行的针对除了所述操作对象以外的区域的两次触摸操作相关联。

7.根据权利要求1所述的可编程显示器，其特征在于，

所述切换单元是设置于所述画面手势非应用区域的操作对象。

8.根据权利要求5至7中任一项所述的可编程显示器，其特征在于，

所述切换单元在通过所述画面手势进行的操作有效的状态下，且在无操作状态持续了规定的时间的情况下，从通过所述画面手势进行的操作有效的状态，切换为通过所述画面手势进行的操作无效的状态。

9.根据权利要求1所述的可编程显示器，其特征在于，

画面手势非应用区域设为所述显示画面内的除了所述画面手势应用区域以外的区域，仅在通过所述画面手势进行的操作有效的状态的情况下，切换显示为任意的显示内容。