CN108885518B - 坐标检测方法、坐标检测程序以及坐标检测系统 - Google Patents

Abstract

本发明提供一种坐标检测系统，具备：相机部，对具有多个发光部的透射型显示面板的与显示面相反一侧的面进行拍摄，而获得影像信息；以及影像处理部，根据拍摄得到的影像信息，基于对所述透射型显示面板的发光部发出的光进行反射而产生的反射光的亮度或色度，检测对所述透射型显示面板的所述显示面进行了指示的坐标。

Description

坐标检测方法、坐标检测程序以及坐标检测系统

技术领域

本发明涉及坐标检测方法、坐标检测程序以及坐标检测系统。

背景技术

如今，利用了有机EL的透射型显示器被产品化，有效地利用其透射的特征，期待应用到显示窗等的窗口显示器和标牌。另外，在标牌中，不仅只是显示内容，还要求进行利用了触摸面板等的互动。

对于大型显示器用触摸面板，作为一般的触摸面板，存在电容式类型、红外线式类型等(参照专利文献1)。

现有技术文献

专利文献

专利文献1：日本特开2015-52718号公报

发明内容

发明所要解决的课题

但是，在电容式类型中，在表面需要电极，会损坏透明性(透射性)。在红外线式类型中，因为只有显示器框，因此不会损坏透射性。但是，需要将显示器框设置在进行触摸的操作者侧(显示面侧)，触摸面板的大小和形状会受到限制。

想要解决的问题点在于，没有针对在操作者侧不需要结构物(电极和显示器框)的透射型显示器而言最佳的对于透射型显示器的指示的输入方式。

即，本申请的课题在于，提供一种在操作者侧不需要结构物的透射型显示器中，能够在确保透射性的同时检测操作者对于透射型显示器的指示(包含基于人的触摸的指示)的坐标检测方法等。

用于解决课题的手段

本发明提供一种坐标检测方法，包括：拍摄步骤，对显示影像的透射型显示面板所具备的且与显示所述影像的显示面不同的面进行拍摄；以及检测步骤，根据拍摄得到的影像信息，基于从所述透射型显示面板所包含的发光部发出并经反射的反射光的亮度或色度，检测对所述透射型显示面板的所述显示面进行了指示的坐标。

本发明提供一种坐标检测程序，用于使计算机执行以下处理：拍摄处理，对显示影像的透射型显示面板所具备的且与显示所述影像的显示面不同的面进行拍摄；以及检测处理，根据拍摄得到的影像信息，基于从所述透射型显示面板所包含的发光部发出并经反射的反射光的亮度或色度，检测对所述透射型显示面板的所述显示面进行了指示的坐标。

本发明提供一种坐标检测系统，具备：相机部，对显示影像的透射型显示面板所具备的且与显示所述影像的显示面不同的面进行拍摄；以及影像处理部，根据拍摄得到的影像信息，基于从所述透射型显示面板所包含的发光部发出并经反射的反射光的亮度或色度，检测对所述透射型显示面板的所述显示面进行了指示的坐标。

发明效果

根据本发明，对显示影像的透射型显示面板所具备的且与显示影像的显示面不同的面进行拍摄，根据拍摄得到的影像信息，基于从透射型显示面板所包含的发光部发出并经反射的反射光的亮度或色度，检测对透射型显示面板的显示面进行了指示的坐标。由此，能够提供在操作者侧不需要结构物就能够在确保透射性的同时检测操作者对于透射型显示面板的指示的坐标检测方法。

附图说明

图1是从正面侧示出构成本发明的实施方式的透射型有机EL显示器的单元的结构的概略框图。

图2是从侧面侧示出构成本发明的实施方式的透射型有机EL显示器的单元的结构的概略框图。

图3是从侧面侧示出操作者没有在本发明的实施方式的透射型有机EL显示器中进行触摸时的、来自单元的光的反射的概略框图。

图4是从侧面侧示出操作者在本发明的实施方式的透射型有机EL显示器中进行了触摸时的、来自单元的光的反射的概略框图。

图5是示出从背面观察本发明的实施方式的透射型有机EL显示器时的透射型有机EL显示器的状态的图。

图6是用于说明本实施方式的检测系统的特征的图。

图7是示出本发明的第1实施方式的检测系统的结构的概略框图。

图8是示出图7所示的检测系统的处理的流程图。

图9是示出本发明的第2实施方式的检测系统的结构的概略框图。

图10是示出图9所示的检测系统的处理的流程图。

具体实施方式

以下，参照附图对本发明的一个实施方式的检测系统进行说明。图1是从正面侧示出构成本发明的实施方式的透射型有机EL显示器(透射型显示面板)的单元(自发光元件)的结构的概略框图。另外，图2是从侧面侧示出构成本发明的实施方式的透射型有机EL显示器的单元的结构的概略框图。

透射型有机EL显示器构成为，图1和图2所示的单元1以像素量配置为多个矩阵状。图1是从正面侧观察单元1的图，图2是从侧面侧观察单元1的图。

如图1所示，单元1构成为，包括透射部2以及RGB发光部(由R发光部3、G发光部4以及B发光部5构成的有机EL元件)。

透射部2占单元1的一半区域，作为对面侧(里侧)的前表面为可透视的部分。R发光部3是向前表面侧自发光红色的非透射部。另外，G发光部4是向前表面侧自发光绿色的非透射部。另外，B发光部5是向前表面侧自发光蓝色的非透射部。

如图2所示，当横向观察单元1时具有如下结构：在透射部2和非透射部6(图1所示的R发光部3、G发光部4以及B发光部5)之上贴有罩玻璃7。

图3是从侧面侧示出操作者没有在本发明的实施方式的透射型有机EL显示器中进行触摸时的、来自单元的光的反射的概略框图。另外，

图4是从侧面侧示出操作者在本发明的实施方式的透射型有机EL显示器中进行了触摸时的、来自单元的光的反射的概略框图。图3和图4示出图1和图2所示的单元1配置成多个矩阵状而成的透射型有机EL显示器8的结构。

如图3所示，从非透射部6出来的大部分的光(由实线所示)透射罩玻璃7，向前表面、即操作者侧放出。一部分的光(由虚线所示)被罩玻璃7反射，透过透射部2而返回到背面。

但是，如图4所示，当操作者用手指F等接触罩玻璃7的表面时，该部分的反射率变化，大量的光透过透射部2而返回到背面。

如上所述，有机EL显示器是如液晶显示器那样不需要背光且进行自发光的显示器装置。

图5是示出从背面观察本发明的实施方式的透射型有机EL显示器时的透射型有机EL显示器的状态的图。

图5示出在如图4所示操作者用手指F接触了罩玻璃7的表面时，从背面观察透射型有机EL显示器8时的透射型有机EL显示器的状态。如图5所示，当观察透射型有机EL显示器8的整体时，只有手指接触的部分PF看起来很明亮。另外，对于操作者的手中的手指的接触部分PF以外的手的部分PH，也可以从与显示面不同的面通过透射型有机EL显示器的透射部2进行视觉确认。

另外，在本实施方式中，操作者(人物)触摸透射型有机EL显示器是作为对透射型有机EL显示器进行指示(输入)的方法的一例来进行说明的，还存在其他的指示方法。即，不仅是通过基于人的手指的直接的触摸来对透射型有机EL显示器进行指示的方法，例如，还存在如下方法：使用输入设备(例如触摸笔)对透射型有机EL显示器进行指示的方法；以及通过使手指等成为以产生反射光的程度靠近透射型有机EL显示器的状态，从而对透射型有机EL显示器进行指示的方法。

图6是用于说明本实施方式的检测系统的特征的图。检测系统100构成为包含透射型有机EL显示器8(显示器装置)、相机部11以及PC20。

相机部11从背面对透射型有机EL显示器8(影像显示部)进行拍摄，即对显示影像的透射型有机EL显示器8所具备的且与显示影像的显示面不同的面进行拍摄。

PC(Personal Computer)20构成为包含具有影像处理功能的影像处理部。影像处理部根据来自相机部11的影像信息，对被操作者M触摸而变亮的部分PF进行图像处理并进行提取，根据提取结果计算显示面中的部分PF的XY坐标位置(触摸坐标信息)。此处，影像处理部根据通过相机部11拍摄得到的影像信息，基于从透射型有机EL显示器8所包含的发光部发出并经反射的反射光的亮度或色度来检测坐标。

PC20具有的控制部根据来自影像处理部的触摸坐标信息，进行使显示的影像变化或者进行预先确定的动作等的控制。

PC20具有的影像输出部根据来自控制部的指示来输出影像。

透射型有机EL显示器8显示从影像输出部输出的影像。

如上所述，检测系统100从背面对透射型有机EL显示器8进行拍摄，根据拍摄得到的影像信息，基于所获取的反射光的亮度或色度来检测坐标。因此，在操作者侧不需要结构物的透射型有机EL显示器8中，能够提供能够在确保透射性的同时检测操作者的触摸(指示)的检测方法等。

[第1实施方式]

图7是示出本发明的第1实施方式的检测系统的结构的概略框图。

检测系统100a构成为包含相机部11、影像处理部21、控制部22、影像输出部23以及影像显示部24。

相机部11从背面对影像显示部24进行拍摄，将该影像信息发送给影像处理部21。

影像处理部21从来自相机部11的影像信息，对被操作者触摸而变亮的部分PF进行图像处理并进行提取，根据提取结果计算显示面中的部分PF的XY坐标位置(触摸坐标信息)。此处，影像处理部21根据通过相机部11拍摄得到的影像信息，基于所获取的反射光的亮度或色度来检测坐标。

更具体地讲，在操作者触摸之前的帧与触摸之后的帧之间存在亮度的差时，且该差超过了某预先设定的阈值时(第1条件)，影像处理部21判断为存在操作者的触摸。即，影像处理部21计算进行指示之前的帧与进行了指示之后的帧之间的反射光的亮度的差，根据所计算的差是否超过阈值来判断指示的有无。

另外，影像处理部21计算判断为存在触摸时的所触摸的部分的XY坐标位置，将计算结果作为触摸坐标信息来通知给控制部22。

控制部22根据来自影像处理部的触摸坐标信息，进行使显示的影像变化或者进行预先确定的动作等的控制。更具体地讲，在触摸坐标信息与显示在影像显示部24的指示按钮(检测对象的影像)的坐标信息相同的情况下，控制部22进行上述的控制。

影像输出部23根据来自控制部22的指示，对影像显示部24输出影像。

影像显示部24显示从控制部22输出的影像。

图8是示出图7所示的检测系统100a的处理的流程图。

影像显示部24显示影像(步骤ST1)。具体地讲，影像显示部24显示从影像输出部23输出的影像。

相机部11从背面对影像显示部24进行拍摄(步骤ST2)。具体地讲，相机部11从背面对影像显示部24进行拍摄，将该影像信息不断地发送给影像处理部21。

影像处理部21判断从相机部11发送的影像信息中是否存在明亮的部分(步骤ST3)。在满足上述第1条件时，影像处理部21判断为存在操作者的触摸。即，在操作者触摸之前的帧与触摸之后的帧之间存在亮度的差时，且该差超过某预先设定的阈值时(第1条件)，影像处理部21判断为存在操作者的触摸。

影像处理部21计算XY坐标位置并进行发送(步骤ST4)。即，在判断为存在触摸时(步骤ST3-是)，影像处理部21计算所触摸的部分的XY坐标位置，将计算结果作为触摸坐标信息通知给控制部22。

控制部22根据所触摸的XY坐标(触摸坐标)来进行动作(步骤ST5)。即，控制部22根据来自影像处理部的触摸坐标信息，进行使显示的影像变化或者进行预先确定的动作等的控制。更具体地讲，在触摸坐标信息与显示在影像显示部24的指示按钮的坐标信息相同时，控制部22进行上述控制。

根据本实施方式，从背面对影像显示部24进行拍摄，根据通过相机部11拍摄得到的影像信息，基于影像处理部21获取的反射光的亮度来检测坐标。因此，在操作者侧不需要结构物的影像显示部24中，能够提供确保透射性的同时能够检测操作者的触摸(指示)的检测方法等。

[第2实施方式]

图9是示出本发明的第2实施方式的检测系统的结构的概略框图。

检测系统100b构成为包含相机部11、影像处理部21a、控制部22、影像输出部23a及影像显示部24。

检测系统100b的结构虽然与第1实施方式的检测系统100a的装置结构相同，但是存在下述的不同点。

即，在从影像输出部23a向影像处理部21a发出反馈这一点上不同。即，来自影像输出部23a的影像不仅输入给影像显示部24，还输入给影像处理部21a。

相机部11从背面对影像显示部24进行拍摄，将该影像信息发送给影像处理部21a。

影像处理部21a从来自相机部11的影像信息，对被操作者触摸而变亮的部分PF进行图像处理并进行提取，根据提取结果计算显示面中的部分PF的XY坐标位置(触摸坐标信息)。此处，影像处理部21a根据通过相机部11拍摄得到的影像信息，基于所获取的反射光的亮度或色度来检测坐标。

更具体地讲，在操作者触摸之前的帧与触摸之后的帧之间存在亮度的差时，且该差超过某预先设定的阈值时(第1条件)，影像处理部21a判断为影像信息变亮。但是，存在来自外部的光进入到窗口显示器的可能性，例如在窗口显示器沿着道路设置时，车的前灯等作为环境光而进入。因此，在检测变亮的部分时，影像处理部21a进行是否与从影像输出部23a输入的影像的相同位置的影像的色度一致的比较。并且，在色度一致时(第2条件)，被触摸并变亮的部分为该部分的反射光，因此影像处理部21a判断为存在操作者的触摸。另一方面，在色度完全不同时，认为变亮的部分是由环境光引起，判断为不存在操作者的触摸。另外，影像处理部21a计算判断为存在触摸时的所触摸的部分的XY坐标位置，将计算结果作为触摸坐标信息通知给控制部22。

控制部22根据来自影像处理部21a的触摸坐标信息，进行使显示的影像变化或者进行预先确定的动作等的控制。更具体地讲，在触摸坐标信息与显示在影像显示部24的指示按钮的坐标信息相同时，控制部22进行上述的控制。

影像输出部23a根据来自控制部22的指示，对影像显示部24输出影像。另外，为了如上所述使影像处理部21a计算触摸坐标信息，影像输出部23a对影像处理部21a输出影像。

影像显示部24显示从影像输出部23a输出的影像。

图10是示出图9所示的检测系统的处理的流程图。

影像显示部24显示影像(步骤ST11)。具体地讲，影像显示部24显示从影像输出部23a输出的影像。

相机部11从背面对影像显示部24进行拍摄(步骤ST12)。具体地讲，相机部11从背面对影像显示部24进行拍摄，将该影像信息不断地发送给影像处理部21a。

影像处理部21a判断在从相机部11发送的影像信息中是否存在明亮的部分(步骤ST13)。在满足上述第1条件时，影像处理部21a判断为存在操作者的触摸。即，在操作者触摸之前的帧与触摸之后的帧之间存在亮度的差时，且该差超过某预先设定的阈值时(第1条件)，影像处理部21a判断为在影像信息中存在明亮的部分。

影像处理部21a判断颜色是否与从影像输出部23a输出的影像的相同部分相同(步骤ST14)。具体地讲，在检测变亮的部分时(步骤ST13-是)，影像处理部21a进行是否与从影像输出部23a输入的影像的相同位置的影像的色度一致的比较。并且，在色度一致时(第2条件)，被触摸并变亮的部分为该部分的反射光，因此影像处理部21a判断为存在操作者的触摸。

影像处理部21a计算XY坐标位置并进行发送(步骤ST15)。即，在判断为存在触摸时(步骤ST14-是)，影像处理部21a计算所触摸的部分的XY坐标位置，将计算结果作为触摸坐标信息来通知给控制部22。

控制部22根据被触摸的XY坐标(触摸坐标)进行动作(步骤ST16)。即，控制部22根据来自影像处理部的触摸坐标信息，进行使显示的影像变化或者进行预先确定的动作等的控制。更具体地讲，在触摸坐标信息与显示在影像显示部24的指示按钮的坐标信息相同时，控制部22进行上述的控制。

根据本实施方式，从背面对影像显示部24进行拍摄，根据通过相机部11拍摄得到的影像信息，基于影像处理部21a获取的反射光的亮度和色度来检测坐标，因此利用在显示中使用的光来确保透射性，而且，能够减少环境光的影响。因此，在操作者侧不需要结构物的透射型显示器中，能够提供确保透射性的同时能够检测操作者的触摸(指示)的检测方法等。

以上，虽然对本发明的优选实施方式进行了说明，但是本发明并不限定于这些实施方式及其变形例。能够在不脱离本发明的要旨的范围内，进行结构的附加、省略、置换以及其他的变更。

例如，在第2实施方式中，对“计算拍摄得到的影像信息中触摸之前的帧与触摸之后的帧之间的反射光的亮度的差，在所计算的差超过预先设定的阈值，且反射光的色度与输出到显示面的指示按钮的影像的色度相同时，判断为存在触摸”的结构进行了记载。也可以使该结构为“计算拍摄得到的影像信息中触摸之前的帧与触摸之后的帧之间的反射光的亮度的差，在所计算的差超过预先设定的阈值，且拍摄得到的影像信息包含有操作者(人物)的影像时，判断出存在触摸”的结构。由此，能够排除环境光。

另外，在显示包含人的影像时，由于放映影像的是影像输出部，因此能够与操作者区別。

另外，在实施方式的说明中，虽然对指示按钮为一个的情况进行了说明，但是也可以是指示按钮存在多个的、所谓的多点触摸结构。

另外，在实施方式的说明中，虽然对操作者为一人的情况进行了说明，但是操作者也可以是多个人。

另外，在实施方式的说明中，虽然对透射型有机EL显示器从前表面和背面中的前表面侧显示影像的结构进行了说明，但是也可以是在双面显示影像的结构。

另外，也可以将用于实现检测系统100、100a、100b的功能的检测程序记录在计算机可读取的记录介质中，将记录在该记录介质中的程序读入到计算机系统并执行，从而在检测系统100、100a、100b中，进行相机部进行的拍摄步骤和影像处理部进行的检测步骤。另外，此处所说的“计算机系统”包含OS和周边设备等硬件。

另外，如果是利用WWW系统的情况，则计算机系统还包含主页提供环境(或者显示环境)。

另外，“计算机可读取的记录介质”是指，软盘、光磁盘、ROM、CD-ROM等便携式介质，内置于计算机系统的硬盘等存储装置。而且“计算机可读取的记录介质”还包含如由通过因特网等网路或电话线路等通信线路发送程序时的服务器和客户端构成的计算机系统内部的易失性存储器(RAM)那样以一定时间保存程序的介质。另外，上述程序可以是用于实现上述功能的一部分的程序，进而也可以是能够通过与已经记录在计算机系统的程序的组合来实现将上述功能的程序。

产业利用性

根据本发明，从背面对显示器装置进行拍摄，根据拍摄得到的影像信息，基于所获取的反射光的亮度或色度来检测坐标。因此，在操作者侧不需要结构物的透射型显示器中，能够提供能够在确保透射性的同时检测操作者的触摸(指示)的检测方法等。

标号说明

1 单元

2 透射部

3 R发光部

4 G发光部

5 B发光部

6 非透射部

7 罩玻璃

8 透射型有机EL显示器

11 相机部

21、21a 影像处理部

22 控制部

23、23a 影像输出部

24 影像显示部

20 PC

100、100a、100b 检测系统

Claims (6)

1.一种坐标检测方法，包括：

拍摄步骤，对具有多个发光部的透射型显示面板的与显示面相反一侧的面进行拍摄，而获得影像信息；以及

检测步骤，根据拍摄得到的影像信息，基于对所述透射型显示面板的每个发光部发出的光进行反射而产生的反射光的亮度或色度，检测对所述透射型显示面板的所述显示面进行了指示的坐标，

其中，在检测所述坐标时，根据拍摄到的影像信息，计算在第一状态下的帧和在第二状态下的帧之间的所述反射光的亮度的差，然后通过判断计算的差是否超过阈值来判断有无指示，其中，所述第一状态是物体接触显示面板之前的状态，所述第二状态是所述物体与所述显示面板接触或在所述显示面板附近从而来自所述显示面板的显示光被所述物体反射导致一定量的所述反射光的状态，

其中，在所述检测步骤中，

计算拍摄得到的影像信息中进行指示之前的帧与进行了指示之后的帧之间的反射光的亮度的差，根据所述亮度的差是否超过阈值，

且在所述反射光的色度与输出到所述显示面的检测对象的影像的色度相同时，

判断为存在指示。

2.根据权利要求1所述的坐标检测方法，其中，

在所述检测步骤中，

计算拍摄得到的影像信息中进行指示之前的帧与进行了指示之后的帧之间的反射光的亮度的差，根据所述亮度的差是否超过阈值，

且在拍摄得到的影像信息中包含人物的影像时，

判断为存在指示。

3.根据权利要求1或2所述的坐标检测方法，其中，

输出到所述显示面的影像包含多个检测对象的影像。

4.根据权利要求1或2所述的坐标检测方法，其中，

所述透射型显示面板的发光部包含多个有机EL元件。

5.一种记录介质，存储有坐标检测程序，该坐标检测程序具备以下处理：

拍摄处理，对具有多个发光部的透射型显示面板的与显示面相反一侧的面进行拍摄，而获得影像信息；以及

检测处理，根据拍摄得到的影像信息，基于对所述透射型显示面板的每个发光部发出的光进行反射而产生的反射光的亮度或色度，检测对所述透射型显示面板的所述显示面进行了指示的坐标，

其中，在检测所述坐标时，根据拍摄到的影像信息，计算在第一状态下的帧和在第二状态下的帧之间的所述反射光的亮度的差，然后通过判断计算的差是否超过阈值来判断有无指示，其中，所述第一状态是物体接触显示面板之前的状态，所述第二状态是所述物体与所述显示面板接触或在所述显示面板附近从而来自所述显示面板的显示光被所述物体反射导致一定量的所述反射光的状态，

其中，在所述检测处理中，

计算拍摄得到的影像信息中进行指示之前的帧与进行了指示之后的帧之间的反射光的亮度的差，根据所述亮度的差是否超过阈值，

且在所述反射光的色度与输出到所述显示面的检测对象的影像的色度相同时，

判断为存在指示。

6.一种坐标检测系统，具备：

相机部，对具有多个发光部的透射型显示面板的与显示面相反一侧的面进行拍摄，而获得影像信息；以及

影像处理部，根据拍摄得到的影像信息，基于对所述透射型显示面板的每个发光部发出的光进行反射而产生的反射光的亮度或色度，检测对所述透射型显示面板的所述显示面进行了指示的坐标，

其中，在检测所述坐标时，根据拍摄到的影像信息，计算在第一状态下的帧和在第二状态下的帧之间的所述反射光的亮度的差，然后通过判断计算的差是否超过阈值来判断有无指示，其中，所述第一状态是物体接触显示面板之前的状态，所述第二状态是所述物体与所述显示面板接触或在所述显示面板附近从而来自所述显示面板的显示光被所述物体反射导致一定量的所述反射光的状态，

其中，在所述检测中，

计算拍摄得到的影像信息中进行指示之前的帧与进行了指示之后的帧之间的反射光的亮度的差，根据所述亮度的差是否超过阈值，

且在所述反射光的色度与输出到所述显示面的检测对象的影像的色度相同时，

判断为存在指示。

Images