CN102027439A - 显示装置和控制方法 - Google Patents

显示装置和控制方法 Download PDF

Info

Publication number
CN102027439A
CN102027439A CN2009801171584A CN200980117158A CN102027439A CN 102027439 A CN102027439 A CN 102027439A CN 2009801171584 A CN2009801171584 A CN 2009801171584A CN 200980117158 A CN200980117158 A CN 200980117158A CN 102027439 A CN102027439 A CN 102027439A
Authority
CN
China
Prior art keywords
display device
touch
image
touch operation
display frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2009801171584A
Other languages
English (en)
Inventor
吉本良治
名古和行
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of CN102027439A publication Critical patent/CN102027439A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04186—Touch location disambiguation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明提供一种显示装置，在检测到触摸操作的情况下，由显示装置自身就能确定触摸操作方向。显示装置(1)中配置：光传感器内置LCD(10)，从所述显示部的内部拍摄对显示画面的触摸操作；触摸操作方向判别部(15)，根据所拍摄的图像判别相对于触摸操作位置的触摸操作方向。

Description

显示装置和控制方法
技术领域
本发明涉及一种具备触摸面板等显示部的显示装置。
背景技术
对于能触摸输入的显示装置，典型的是能够通过在LCD(LiquidCrystal Display)上层叠一张电阻膜方式或静电容量方式等的薄片来实现。这种显示装置被应用于银行等设置的ATM、用来购买车票等的售票机、汽车导航系统、便携设备、游戏设备等各种情况，将其作为能够直观输入的接口。
基本上，对于这种能触摸输入的显示装置，用户都能以一点或多点输入。该显示装置能判断是否触碰了显示画面的某个位置。
作为实现触摸输入的技术已知如下的方式：除了电阻膜方式、静电容量方式、红外线方式、电磁感应方式、超声波方式以外，还有通过对光传感器内置LCD拍摄的图像进行解析从而检测触摸位置来实现触摸输入的方式。例如，JP特开2006-244446号公报(专利文献1)中对光传感器内置LCD进行了说明。
这样，周知存在多个用于检测触摸位置的技术。但是，仅仅是触摸位置的检测，还无法判别相对于触摸位置的触摸操作方向。
因此，在JP特开2006-47534号公报(专利文献2)中提出了如下的技术：对于从左右观看的人能显示不同图像的分屏(dual view)显示LCD型车载用导航系统中，判别是从驾驶席和助手席的其中哪一个对显示画面进行了触摸操作，并根据其判别结果进行显示控制。该系统通过对车内的椅子或方向盘接地的人体由驾驶席和助手席将各自不同的信号传达至显示装置，以此判别坐在左右哪个位置的人进行了触摸操作。
专利文献1：JP特开2006-244446号公报
专利文献2：JP特开2006-47534号公报
但是，在专利文献2提出的系统中，人需要一直坐在椅子上、或者一直触摸方向盘等，接触显示装置以外添置的信号传达装置。因此，上述系统仅在特定的状况下能判别触摸操作方向。此外，在显示装置外部还需要用于传达信号的大规模的装置。因此，对于在户外手持的情况下利用的移动设备等将无法应用上述系统。
在专利文献2中除了通过人体传达判别信号的方式以外，还提出了如下的方式：在车内的后方顶部设置照相机，对从助手席以及驾驶席后方拍摄到显示装置的显示画面的图像进行解析，以此来判别触摸操作方向的方式。
但是，在该方式中，在由头部或背部等障碍物挡住了触摸的部分、或人与人的手交错的情况下，上述系统正确检测出是从哪个方向进行的触摸将很困难。此外，与在显示装置外部设置信号传达装置的方式相同，移动设备等在外部手持的情况下将无法应用该方法。
发明内容
本发明是为解决上述问题而提出的，其目的在于提供一种显示装置和该显示装置中的控制方法，在检测到触摸操作的情况下，显示装置其自身能确定触摸操作方向(触摸操作中相对于显示画面的触摸方向)。
本发明所涉及的显示装置具备：显示部，具有显示画面；摄像部，从所述显示部内部拍摄对所述显示画面的触摸操作；触摸位置检测部，检测所述触摸操作中对所述显示画面的触摸位置；以及方向判别部，根据所述摄像部的摄像而得到的图像，判别所述触摸操作中相对于所述显示画面的触摸方向。
优选所述方向判别部根据所述摄像部进行摄像而得到的图像之中以所述触摸位置为基准的规定范围的图像，判别所述触摸方向。
优选所述方向判别部在由所述摄像部拍摄到为了所述触摸操作而接触所述显示画面的手指或触摸部件时，根据所述触摸位置的周边图像的浓度变化，判别所述触摸方向。
优选所述摄像部是光传感器或温度传感器。
优选所述触摸位置检测部根据所述摄像部拍摄的图像检测触摸位置。
根据本发明，从显示部的内部拍摄对显示画面的触摸操作，根据其摄像图像判别相对于触摸位置的触摸操作方向。因此，在检测到触摸操作的情况下，能以显示装置自身确定触摸操作方向。
附图说明
图1是表示实施方式1中的显示装置1的概略结构的框图。
图2是用于说明光传感器内置LCD功能的图。
图3是表示摄像图像的例子的图。
图4是用于说明通过确定浓度梯度方向来判别触摸操作方向的判别方法原理的图。
图5是用于说明触摸操作方向判别处理P1的流程图。
图6是用于说明触摸操作方向判别处理P1的概念图。
图7是表示用于决定触摸操作方向的基准的处理步骤的流程图。
图8是用于说明根据边沿特征量分布判别触摸操作方向的判别方向原理的图。
图9是用于说明触摸操作方向判别处理P2的流程图。
图10是用于说明指纹特征的图。
图11是将显示装置应用于游戏机时的画面图。
图12是操作权限数据的概念图。
图13是表示显示装置用于判定棋子操作的有效/无效的处理步骤的流程图。
图14是表示设置了静电容量方式的触摸面板的显示装置的概略结构的框图。
图15是表示本发明的实施方式2中的显示装置的概略结构框图。
图16是表示LCD的显示画面例的图。
图17是用于说明“基于椭圆长轴方向的判别方法”的原理的图。
图18是表示根据“基于椭圆长轴方向的判别方法”的处理步骤的流程图。
图中：
1、2、11-显示装置
10、18-光传感器内置LCD
14-触摸位置检测部
15-触摸操作方向判别部
17-静电容量方式触摸面板
20-光传感器内置分屏显示LCD
具体实施方式
以下，参照附图对本发明的实施方式进行说明。在以下的说明中，对相同的部件以及结构要素附于相同的符号，并设它们的名称以及功能也相同。
(实施方式1)
图1是表示本发明的实施方式1的显示装置1的概略结构框图。显示装置1例如可用于游戏机。
显示装置1具备光传感器内置LCD(液晶面板/显示器)10，该光传感器内置LCD10在各像素中内置光传感器，不仅能显示还能进行图像拍摄。显示装置1还具备触摸位置检测部14，其对光传感器内置LCD10拍摄的图像进行解析从而检测触摸位置。显示装置1还具备触摸方向判别部15，其对光传感器内置LCD10拍摄的图像进行解析，从而判别从哪个方向进行的触摸。显示装置1还具备控制部19，其接受表示触摸位置和触摸操作方向的数据，进行显示装置1的全部控制。显示装置1还具备存储部12，其保存数据和命令。显示装置1还具备图像生成部13，其生成对画面显示的图像。
当检测到对显示画面的触摸操作时，光传感器内置LCD10从显示画面内部对触摸操作时的图像进行拍摄。光传感器内置LCD10将拍摄到的图像输入至触摸位置检测部14。触摸位置检测部14通过对图像进行解析来检测触摸位置。
作为检测触摸位置的方法，例如采用边沿特征量提取、图案匹配等技术。这样，通过图像处理进行触摸位置检测，即使同时触摸画面的多个位置，触摸位置检测部14也能检测出这些多个触摸位置。因此，操作者能够同时操作画面上显示的多个操作对象。此外，也能多个人同时进行操作。
触摸操作方向判别部15以触摸位置检测部14检测出的触摸位置为基准，对光传感器内置LCD10所得到的图像进行解析。通过该解析，触摸操作方向判别部15判别触摸操作方向。
控制部19利用触摸位置检测部14所得到的触摸位置、和触摸操作方向判别部15所得到的触摸操作方向，例如进行作为游戏机的显示装置1的控制。
作为光传感器内置LCD10，对应于各像素内置传感器(省略图示)，该光传感器主要反应可见光区域的频率。如图2所例示那样，光传感器内置LCD10的各光传感器被设计成接受室内光和太阳光等的外光、从背光灯16照射的光被置于显示画面上的手指100等反射而成的反射光。光传感器内置LCD10将光传感器接收到的光由AD转换器转换为数字值，作为黑白的灰度(浓淡)图像输出。
光传感器得到的触摸操作时的图像，因外光和背光灯的强度、手指的放置方式等而不同。图3例示了3个典型的例子。
即便外光的强度发生变化，与显示画面相接的或者位于其附近的指肚部分的亮度不怎么变化。相对于此，外光没有被手指遮挡的部分依然受到外光亮度的变化。因此，外光没有被手指遮挡的部分与指肚部分相比相对地变黑或变白，其对比度发生变化。
图3(a)是一例显示装置1的显示画面被比较亮的外光照射时的图像。如图3(a)所示，没被手指遮住光的外侧部分较白。一部分与画面相接的指肚图像101因背光灯16的反射光而稍白。指影图像102由于被遮挡住光而变黑。
图3(b)是一例比较暗的外光的情况下的图像。如图3(b)所示，仅其一部分与画面相接的指肚图像101因背光灯16的反射光而稍白，其他部分较黑。
图3(c)是一例外光是太阳光那样的平行光且非常亮的情况下的图像。由于与一部分与画面相接的指肚图像101的背光灯16所形成的反射光相比，指肚图像101周围的外光更强，因此仅指肚图像101较黑。
接下来，对触摸操作方向判别部15判别触摸操作方向的方法进行详细说明。触摸操作方向判别部15根据光传感器内置LCD10拍摄的图像之中以触摸位置为基准的规定范围的图像，判别触摸操作方向。作为触摸操作方向判别部15判别触摸操作方向的方法，以下依次说明“根据浓度梯度方向的判别方法”、“根据边沿特征量分布的判别方法”、“根据指纹形状的判别方法”的三种方法。
(根据浓度梯度方向的判别方法)
图4是用于说明通过确定浓度梯度方向来判别触摸操作方向的原理的图。
在该判别方法中，将光传感器内置LCD10拍摄到的显示画面整体的画面之中被检测到的触摸位置作为基准，通过研究触摸位置周边的黑白灰度图像的浓度梯度方向来判别触摸操作方向。
图4(a)中表示由光传感器内置LCD10拍摄到的图像之中触摸位置周边的图像。该图像中与图3(a)同样，显示了一部分与画面相接的手指的指肚图像101、指影图像102。此外，图中的十字标记105是用于说明由触摸位置检测部14检测到的触摸位置的标记。触摸位置由十字中心位置表示。十字标记105在实际的图像中并未显示。
仔细观察图4(a)的指肚图像101就会发现如下特征：如“指肚部分的放大图”所示，以触摸位置为基准，指尖方向由于手指靠近画面因反射光而拍摄得较白；另一方面，越是朝向指根方向，反射光的强度越弱而图像的浓度越浓，拍摄得较黑。这是因为，手指以从手腕向斜下方倾斜的角度触摸画面。此外，不仅手指，由触摸笔进行触摸操作的情况下，当然也会出现同样的特征。
因此，在图4(a)的例子中，可认为指肚图像101之中图像浓度变浓的方向是朝向手腕侧的指根方向、或者朝向操作者的方向。因此，在图4(a)的例子中，确定图像浓度变浓的浓度梯度分哪敢想，从而将该方向作为触摸操作方向来进行判别即可。
图4(b)中表示根据该原理判别触摸操作方向是上下左右4个方向的哪一个的判别基准。如图4(b)所示，根据指肚图像101的浓度梯度方向(图中的“白→黑”)，能够判别出触摸操作方向是左、右、上、下4个方向的哪一个。
此外，尽管图4(b)中为了容易理解仅例示了4个方向的触摸操作方向，但通过更加细致地计算浓度梯度方向，能在加上倾斜方向的8个方向甚至16个方向等，更详细地判别触摸操作方向。
此外，这里虽然将灰度图像从白朝向黑的方向(指根方向)判别为触摸操作方向，但是也可以将从黑朝向白的方向(指尖方向)判别为触摸操作方向。
一般，在触摸位置附近，因例如因手指与显示画面用力相接的部分、轻轻相接的部分、稍稍悬浮的部分等，而可得到不同的灰度图像。因此，显示装置1像这样根据灰度图像的浓度梯度来判别触摸操作方向，从而能够精确地判别触摸操作方向。
接下来，参照图5以及图6，根据图4所示的判定原理对显示装置1判别触摸操作方向的具体步骤进行说明。图5是用于说明显示装置1实行的触摸方向判别处理P1的流程图。此外，图6是用于说明触摸操作方向判别处理P1的概念图。
在触摸操作方向判别处理P1中，显示装置1首先取得以触摸位置坐标为中心的灰度图像(S1)。所取得的灰度图像例如是光传感器内置LCD10拍摄的图像之中、如图6(a)所示那样以十字标记105的十字中心表示的触摸位置坐标为中心的纵横L1×L1的正方形解析区域80中包含的图像。在此，L1的长度以标准手指的大小为基准进行预先设定，并包含指肚图像101。
此外，显示装置1中也可以设置登记用户手指尺寸的功能，根据其登记尺寸显示装置1来设定解析区域80的尺寸。此外，解析区域80的形状并不限于正方形，也可以是长方形、圆形、或椭圆形。
接下来，为了对取得的灰度图像计算浓度梯度方向，显示装置1分别针对横方向(x方向)以及纵方向(y方向)实行索贝尔(Sobel)滤波处理(S2、S3)。图6(b)是分别对应横方向(x方向)以及纵方向(y方向)的索贝尔滤波的一例。此外，这里虽然例示了使用索贝尔滤波器，但只要是边沿提取用的滤波器都可以使用。
显示装置1通过对解析区域80内的灰度图像应用索贝尔滤波，从而针对构成灰度图像的每个像素计算横方向(x方向)以及纵方向(y方向)的索贝尔值。图6(b)是表示具有浓度梯度角θ的浓度梯度向量111的图，该浓度梯度角θ针对特定的像素根据横方向(x方向)的索贝尔值Gx和纵方向(y方向)的索贝尔值Gy而求得。
接下来，显示装置1根据S2以及S3中针对每个像素计算出的横方向及纵方向的索贝尔值，将各像素的浓度梯度方向归类为上下左右4个方向的其中一个(S4)。如图6(b)所示，对应各像素计算横方向(x)方向的索贝尔值Gx和纵方向(y方向)的索贝尔值Gy，但显示装置1由于将浓度梯度方向分类为上下左右4个方向，将基于Gx和Gy之中绝对值较大的值的方向决定为该像素的浓度梯度方向。在此，横方向的索贝尔值为正时表示左方向，为负时表示右方向；纵方向的索贝尔值为正时表示上方向，为负时表示下方向。
例如，若(Gx，Gy)＝(-10，+15)，则显示装置1将Gy方向即纵方向中对应+方向的上方向决定为该像素的浓度梯度方向。不过，考虑到噪声等影响，设绝对值在预先规定的阈值以下时，显示装置1无法确定对应该像素的浓度梯度方向。
显示装置1像这样通过将各像素的浓度梯度方向归类为上下左右4个方向的其中一个，从而针对解析区域80所包含的图像，如图6(c)图示那样计算每个像素的浓度梯度方向。
接下来，显示装置1计算上下左右方向的浓度梯度方向之中最多的方向，将该值判别为触摸操作方向(S5)，并结束处理。
此外，在显示装置1判别4个以上的方向时，只要根据在各像素计算出的横方向和纵方向的索贝尔值的值来定义倾斜方向即可。例如，根据S2和S3的处理结果，显示装置1针对每个像素计算浓度梯度向量111。然后，显示装置1比较合成各像素的浓度梯度向量111而得到的合成向量的倾斜角、和上下左右倾斜方向，从而将角度差最少的方向判别为触摸操作方向。
或者，显示装置1在从4个方向中判别触摸操作方向的情况下，也可以比较合成向量的倾斜角和上下左右方向，从而将角度差最少的方向判别为触摸操作方向。
以上，所说明的根据浓度梯度方向的判别方法，应用于假定拍摄到图3(a)所示的图像的情况。但是，实际上也存在图3(b)和图3(c)这种摄像图像输入至触摸操作方向判别部15的情况。
特别如图3(c)所示，图像中没有出现指影图像，指肚图像101的背景较白的情况下，根据浓度梯度方向判定触摸操作方向时的判定方向与图3(a)的情况相反。这是因为：与在背光灯的跟前照射的手指的指肚触摸位置相比，从触摸位置朝向指根方向的手指的指肚部分被较强的外光照射，因此在指肚图像中指肚触摸位置附近的图像的像素浓度比指肚的指根侧图像浓。
因此，优选显示装置1不是仅在以触摸位置为基准的指肚部分的图像处判别触摸操作方向，而是将指肚部分以外的图像也作为判断因素加入条件中，来判别触摸操作方向。
因此，为了显示装置1能将指肚部分以外的图像也作为判断因素加入条件中，来判别触摸操作方向，图7中表示用于决定触摸操作方向基准的处理步骤的流程图。
参照图7，首先显示装置1针对检测到触摸操作时拍摄的图像判定是否存在指影(S11)。是否存在指影例如以如下方式判定。预先根据将存在指影时的图像作为对象的直方图等来采集像素浓度分布数据，并将此数据存储在显示装置1中。在S11中，显示装置1根据摄像图像生成基于直方图等的像素浓度分布数据，并将此数据与预先存储的像素浓度分布数据进行比较，在获得一定值以上的相似度时判定为存在指影。
如图3(a)所示图像中存在指影图像102的情况下，显示装置1将图像浓度变浓的方向(参照图4(b))决定为触摸操作方向(S14)。相对于此，在图像中不存在指影图像的情况下，显示装置1判断指肚图像101的背景是否为白色(S12)。
例如，在图3(b)所示的情况下，S12中判断为否；在图3(c)所示的情况下，S12中判断为是。
在S12中判断为否时，显示装置1使处理进入步骤S14，将图像浓度变浓的方向决定为触摸操作方向。与此相对，在S12中判断为是时，显示装置1将图像浓度变淡的方向决定为触摸操作方向(S13)。
以上，在所说明的图7的处理步骤中，显示装置1将图像浓度变淡的方向决定为触摸操作方向的情况下，图5所示的触摸操作方向判别处理P1中的上下方向以及左右方向的判断相反。因此，显示装置1判断：横方向的索贝尔值为正时表示右方向，为负时表示左方向；纵方向的索贝尔值为正时表示下方向，为负时表示上方向。
(根据边沿特征量分布的判别方法)
接下来，对根据边沿特征量分布显示装置1判别触摸操作方向的判别方法进行说明。图8是用于说明根据边沿特征量分布判别触摸操作方向的判别方法的原理的图。
在该判别方法中，在由光传感器内置LCD10拍摄到的显示画面整体的图像之中将检测到的触摸位置作为基准，显示装置1从触摸位置周边的黑白灰度图像提取指尖周边部分的边沿从而判别触摸操作方向。
图8(a)的左侧表示由光传感器内置LCD10拍摄到的图像之中触摸位置周边的图像。该图像中与图4(a)同样地示出了一部分与画面相接的手指的指肚图像101、指影图像102、将触摸位置检测部14检测出的触摸位置表示在十字中心位置的十字标记105。
指影图像102如图所示，在指尖的尖端部分为较高的浓度值，与背景的浓度差较为明显，另一方面越是朝向指根方向其浓度值越淡。因此，当显示装置1以这种图像为对象进行边沿提取时，得到图8(a)的右侧所示的边沿103。由于边沿103表示指尖部分，因此当以触摸位置为基准时，处于与边沿103相对位置的开口表示指根方向即操作者方向。
图8(b)中表示根据该原理将触摸操作方向判别为上下左右4个方向的其中一个的判别基准。如图8(b)所示，显示装置1根据由边沿提取处理得到的边沿的开口方向，判别触摸操作方向是左、右、上、下的4个方向的哪一个。
此外，尽管图8(b)中为了容易理解仅例示了4个触摸操作方向，但显示装置1可以通过对边沿的开口方向进行更加精细的计算，从而以加入了倾斜方向的8个方向甚至16个方向等，更详细地判别触摸操作方向。
此外，尽管这里以将指根方向(边沿开口方向)判别为触摸操作方向的方式构成显示装置1，但是也可以以将指尖方向判别为触摸操作方向的方式构成显示装置1。
这样，通过应用该边沿检测技术，显示装置1，例如因手指用力与显示画面上相接的部分、轻轻相接的部分、稍稍悬浮的部分等，得到不同的触摸位置近旁的边沿特征量。显示装置1通过分析该边沿特征量的分布，判别触摸操作方向，从而能够根据设置在显示画面上的手指等微小的接触程度精确地判别触摸操作方向。
接下来，参照图9，对根据图8所示的判定原理显示装置1判别触摸操作方向的具体步骤进行说明。图9是用于说明由显示装置1实行的触摸操作方向判别处理P2的流程图。
在触摸操作方向判别处理P2中，显示装置1首先取得以触摸位置的坐标为中心的灰度图像(S21)。所取得的灰度图像例如是光传感器内置LCD10拍摄的图像之中、图8(a)所示那样以十字标记105的十字中心表示的触摸位置坐标为中心的正方形解析区域中包含的图像。在此，解析区域的尺寸以标准手指的大小为基准进行预先设定，使得包含指肚图像101和指影图像102的一部分。此外，与图5的步骤S1同样，显示装置1中也可以设置登记用户手指尺寸的功能，根据其登记尺寸显示装置1来设定解析区域的尺寸。此外，解析区域的形状并不限于正方形，也可以是长方形、圆形、或椭圆形。
接下来，显示装置1根据所取得的灰度图像，实行提取边沿特征量的处理(S22)。在边沿特征量的提取中，显示装置1使用除索贝尔滤波以外的边沿提取用滤波。然后，显示装置1利用规定阈值提取边沿特征量。
接下来，显示装置1确定从中心坐标(触摸位置的坐标)看去边沿特征量较少的方向、即开口方向，将所确定的开口方向判别为触摸操作方向(S23)。由此，显示装置1结束处理。
或者，在步骤S23中，显示装置1也可以求得具有边沿特征量的多个像素的重心坐标，从而判别触摸操作方向。具体而言，首先，显示装置1提取具有规定阈值以上的边沿特征量的多个像素。接下来，显示装置1对各个提取像素加上对应像素值大小的权重之后，计算重心坐标。显示装置1在连接计算出的中心坐标和解析区域的中心坐标(触摸位置的坐标)的直线上，将从重心坐标位置朝向触摸位置坐标位置的方向设定为触摸操作方向。
此外，使用了边沿特征量的触摸操作方向的判别当然并不限定于上述例子，也可以采用其他方法，只要能够根据边沿特征量判别触摸操作方向即可。
(根据指纹的判别方法)
接下来，说明显示装置1根据指纹判别触摸操作方向的判别方法。如图10所示，人的指纹中存在如下特点：越是靠近指尖则横方向的线的花纹越多，而越是指根部分纵方向的线的花纹越多。在此，显示装置1利用这种指纹的特征来判别触摸操作方向。
具体而言，首先，显示装置1以指肚图像为对象，与根据浓度梯度方向的判别方法同样地，利用索贝尔滤波等针对每个像素计算索贝尔值。接下来，显示装置1根据计算出的索贝尔值，与根据浓度梯度方向的判别方法同样地计算分配给各像素的方向。接下来，显示装置1根据计算出的分配给各像素的方向的分布，确定指尖部分和指根部分。
未必总在图10的方向来拍摄指纹，这样虽因触摸操作方向会产生倾斜，但由于纵方向的花纹与横方向的花纹垂直，因此通过分析这2方向的分布，能够粗略地确定指尖和指根的方向。由此，显示装置1能判别触摸操作方向。
这样，显示装置1从手指进行触摸操作时的灰度图像读取指纹的花纹，进而根据其花纹判别方向。由此，显示装置1能精度良好地判别触摸操作方向。
根据指纹判别触摸操作方向的判别方法并不限于上述内容。例如，可考虑如下的方法：预先将操作者的指纹登记在显示装置1中，显示装置1通过图案匹配对拍摄到的指肚图像和登记的指纹进行比较，从而判别触摸操作方向。
接下来，对将上述各种判别方法应用于显示装置1的控制的例子进行说明。在此，以曲棍球游戏的控制为例进行说明。
如图11所示，显示装置1在显示画面上显示操作者从左右方向操作来玩曲棍球游戏的画面。在以下的说明中，将从图11所示的显示画面的左方向(图面的球门30a侧)操作棋子的人称为“操作者A”，将从右方向(图面的球门30b侧)操作棋子的人称为“操作者B”，将曲棍球游戏中操作者A的球队称为“球队A”，将操作者B的球队称为“球队B”。在显示装置1中，规定操作者A从图11的左侧操作，操作者B从右侧操作。
显示装置1在显示画面的两端图像显示了球队A的球门30a、以及球队B的球门30b。此外，显示装置1在两球门之间图像显示了以五角形图形显示的球队A的5个棋子20a、以八角形图形显示的球队B的5个棋子20b、通过与棋子20a和20b撞击从而移动方向变化的球30。显示装置1中针对各棋子20a、20b显示1～5的后背号码。图中手指100a表示操作者A的手指，手指100b表示操作者B的手指。此外，以下将后背号码为n(n为1以上5以下的自然数)的棋子称为“棋子n”。
操作者A、B通过手指100a、100b彼此操作自己球队的棋子20a、20b，使球30进入对方球队的球门30a、30b。当球进入对方球队的球门时，显示装置1计算得分。基于操作者A、B的操作的以上游戏控制，例如通过显示装置1的控制部19(参照图1)来实行。
显示装置1对各棋子分配图12例示的操作权限。显示装置1以A球队的棋子20a仅能由操作者A操作的方式控制显示装置1的动作。此外，显示装置1以B球队的棋子20b仅能由操作者B操作的方式控制显示装置1的动作。
如图12所示，显示装置1通过在触摸操作方向上识别有无操作权限来实现上述控制。也就是说，显示装置1针对A球队的棋子20a，仅在触摸操作方向为左时使操作有效。另一方面，显示装置1针对B球队的棋子20b，仅在触摸操作方向为右时使操作有效。此外，由于球30基本上是经由棋子20a、20b而被操作，因此显示装置1并不将其操作权限分配给A、B的任意一个。如图12所示的操作权限数据例如存储在显示装置1的存储部12中。
图13是表示用于显示装置1根据操作权限数据判定棋子的操作为有效/无效的处理步骤的流程图。
首先，显示装置1判定是否由触摸位置检测部14检测到了对棋子的触摸操作(S31)。显示装置1在没有检测到对棋子的触摸操作的情况下结束处理。
在图11所示的例子中，操作者A正要操作A球队的棋子20a中的“棋子1”和“棋子2”。操作者B正要操作B球队的棋子20b中的“棋子3”和“棋子5”。该情况下，显示装置1在步骤S31中判断有触摸操作。
接下来，显示装置1判别检测到触摸操作的棋子的种类(图12的ID)(S32)。在图11的情况下，显示装置1根据检测到的4个触摸位置和各棋子20a、20b的当前位置，确定操作者要操作的“棋子”ID是“1”、“2”、“8”、“10”。
接下来，显示装置1，按照所确定的各棋子，分别确定由触摸操作方向判别部15判别出的操作方向(S33)。接着，显示装置1比对按照各棋子确定的触摸操作方向、和对应各棋子存储的触摸操作方向(S34)。显示装置1按照各棋子判定触摸操作方向是否一致(S35)。
在图11的情况下，显示装置1将针对A球队的“棋子1”、“棋子2”的触摸操作方向确定为左，并判断为操作者A正在进行操作。与此相对，显示装置1将针对B球队的“棋子3”、“棋子5”的触摸操作方向确定为右，并判断为操作者B正在进行操作。这些所确定的信息与图12的操作权限数据进行匹配。该情况下，在步骤S35中针对任何棋子都判定为判别出的触摸操作方向与对应棋子存储的触摸操作方向一致。其结果显示装置1使各棋子的操作有效(S36)。因此，在图11的例子的情况下，操作者A、B都能移动想要操作的棋子。
但是，即便例如操作者A想要操作B球队的“棋子1”，由于与图12的操作权限数据不匹配，因此显示装置1在S35中判断为否。其结果显示装置1使操作者A对B球队的“棋子1”的操作无效。由此，操作者A无法操作并移动B球队的“棋子1”。
这样，显示装置1以触摸位置检测部14检测出的触摸位置和各棋子20a、20b的当前位置来确定检测出触摸操作的“棋子”。显示装置1根据触摸操作方向判别部15判别的方向来确定“操作者”。由此，显示装置1可进行操作者仅能操作被赋予操作权限的“棋子”之类的控制。
因此，显示装置1通过判别操作输入者，在操作者为多人的情况下也能准确地确定是谁要进行操作。
此外，在相同画面上存在多个操作对象，多个操作输入者对其进行操作的情况下，显示装置1通过使其仅能对操作对象与操作输入者的操作权限一致的棋子进行操作，从而能够防止操作输入者进行误操作。再有，显示装置1可在游戏等当中加入彼此仅能操作自己球队的棋子的限制。
以上，根据所说明的实施方式中的显示装置1，通过对进行输入的手指或笔等的图像进行解析，能检测触摸位置并判别出触摸操作方向。因此，控制部19能够根据表示触摸位置的信号以及表示触摸操作方向的信号、和存储于存储部12中的信息，判断出位于哪个方向的操作者进行操作。因此，控制部19能进行与给操作者的操作权限相应的信息处理。
此外，根据本实施方式所涉及的显示装置1，对设置在显示画面后方的光传感器所得到的图像进行解析，能够判别出从画面看去是处于哪个方向的人在操作显示在显示画面上的操作对象。因此，显示装置1能以小规模的结构正确地判别出操作方向。
也就是说，对于显示装置1，就算在显示画面的前方存在某种障碍物，在用于判别操作方向的输入图像中反应出障碍物从而不会对判别带来干扰。此外，显示装置1不需要像背景技术中介绍的系统那样在显示装置外部设置通过人体传达信号的装置。因此，显示装置1能以显示装置单体的小规模且简单的结构下判别触摸操作方向，并进行后面的信息处理。
在上述的实施方式中，以通过对从光传感器内置LCD10得到的图像进行解析从而检测触摸位置为例子进行了说明。但是，用于检测触摸位置的结构当然并不限于此，也可考虑其他方式。
例如，也可以变更图1的显示装置1的结构，像图14例示的显示装置11那样在光传感器内置LCD18上设置静电容量方式的触摸面板17。该情况下，显示装置11由静电容量方式的触摸面板17检测触摸位置。此外，显示装置11通过对静电容量方式的触摸面板17得到的触摸位置和光传感器内置LCD18得到的图像进行解析，来判别触摸操作方向。
此外，对于触摸面板也可以采用电阻膜方式、红外线方式、电磁感应方式、超声波方式等各种触摸面板方式的任意一种，只要能检测触摸位置即可。
但是，通过对光传感器内置LCD得到的图像进行解析来判别触摸操作方向的情况下，优选不使用静电容量方式等的触摸面板，而由光传感器内置LCD一并检测出触摸位置。这是因为：能够减少电阻膜这种的触摸面板部件、和在显示画面上配置电阻膜的工序，从而使得显示装置的结构变得简单。进而，由于结构变得简单，因此还有成本变低的优点。
此外，在上述实施方式中，虽然作为拍摄图像的摄像装置(输入图像的输入装置)，主要以反应可见光区域的光频率的光传感器内置LCD为例进行了说明，但摄像装置的结构当然不限定于此，也可以考虑其他结构。
例如，可预先将反应可见光区域以外的频率、主要为红外线频率的光传感器内置在显示装置1、11中。然后，在显示装置1、11中，从显示画面后方照射出的红外线被手指或笔等反射，将反射的红外线输入光传感器中。进而，显示装置1、11将该输入的红外线转换为图像。这样，当使用反应可见光以外主要为红外线的光传感器时，显示装置1、11能够不受室内光等的外光影响，得到指肚的反射和指影的图像。此外，由于反应红外线的光传感器得到的图像利用手指的反射，因此与反应可见光区域频率的光传感器得到的图像基本相同。
这样，显示装置1、11通过由光传感器取得背光灯对手指等操作输入物体的反射光等作为图像，从而能详细掌握手指或触摸笔等操作输入物体对显示画面的接触程度。
或者，显示装置1、11也可以代替光传感器而内置温度传感器，将放置手指或笔等时的温度变化转换为图像并作为输入图像。对于由温度传感器得到的图像，只要确定如图3(b)或图3(c)那样放置了手指的部分是变暖还是变冷，就能获得具有放置手指的部分与周围对比度不同的图像。此外，由于手指用力与显示画面相接的部分和手指轻轻相接的部分出现温度差，因此指肚部分的图像成为图4所示的黑白灰度图像。也就是说，温度传感器得到的图像与光传感器得到的图像为相同图像。
显示装置1、11通过由温度传感器取得图像，能详细把握手指或触摸笔等操作输入物体在显示画面上的接触程度。此外，也像光传感器那样不怎么受室内光和太阳光这些外光影响。因此，显示装置1、11能仅取得因操作输入物体而引起的温度变化。
这样，显示装置1、11利用算法从上述的主要反应可见光区域的光传感器得到的图像中检测出触摸位置并判别触摸方向，从而也能根据红外线等光传感器及温度传感器所得到的图像检测触摸位置并判别触摸方向。
此外，作为摄像装置也可以采用其他方式的传感器或照相机，只要能在防止手指或笔等的情况下拍摄图像即可。
(实施方式2)
在实施方式1中，作为显示装置1的一个实施方式，说明了将显示装置1应用于游戏机的例子。再有，通过代替光传感器内置LCD10而以组装光传感器内置分屏显示LCD的结构来实现显示装置，从而能将该显示装置应用于汽车导航系统。
图15是表示本发明的实施方式2中的显示装置2的概略结构的框图。显示装置2是具备光传感器内置分屏显示LCD20的汽车导航系统。
显示装置2，具备光传感器内置分屏显示LCD20(以下简称为“LCD20”)以及上述说明的触摸位置检测部14。显示装置2还具备控制部21，根据从触摸操作方向判别部15输入的信号进行左右方向操作者的识别和LCD20的控制等。显示装置20还具备存储部22，其存储与控制相关的各种信息。显示装置22还具备输出装置26～28(电视接收机26、导航装置27、DVD播放器28)，其输出各种视听用数据。显示装置2还具备图像选择部25，将从各输出装置26～28输入的数据分为左方向用图像和右方向用图像并选择性进行输出。显示装置2还具备左方向显示控制部23以及右方向显示控制部24，其根据图像选择部25输出的图像数据对LCD20进行图像显示控制，使得分别对应左方向和右方向在LCD画面上显示应显示的图像。
图16是表示LCD20的显示画面的例子的图。如图16(c)所示，显示装置2在放映出云罩山巅风景的电视画面上显示着用于选择电视频道的频道按钮(图中能看见“2ch”)401。相对于此，如图16(d)所示，显示装置2在导航用地图上还显示着用于使地图滚动的滚动按钮301。分屏显示的LCD20，具有同时显示功能，从助手席侧观看显示图16(c)的画面、从驾驶席侧观看显示图16(d)的画面。
在图16(c)所示的画面中，助手席侧的操作者通过用自己的手指100L触碰频道按钮401就能任意变更电视频道。另一方面，在图16(d)所示的画面中，驾驶席侧的操作者通过用自己的手指100R触碰滚动按钮301就能任意滚动地图。
但是，如图16(a)所示，在画面上频道按钮401和滚动按钮301重复配置在相同位置。因此，在助手席侧的操作者操作了频道按钮401时，需要显示装置2能够判别该操作是由助手席侧的操作者进行的。
此外，如图16(b)所示，在驾驶席侧的操作者操作滚动按钮301并且助手席侧的操作者同时操作频道按钮401时，显示装置2还需要如下功能。也就是说，需要显示装置2能够判别触摸按钮的手指是驾驶席侧操作者的手指100R还是助手席侧操作者的手指100L。再有，显示装置2需要起动按钮301、401之中对应操作者的按钮功能。
本实施方式2所涉及的显示装置2，与实施方式1所说明的显示装置1、11同样，除了触摸位置检测部14还具备触摸操作方向判别部。因此，显示装置2能够检测对按钮301、401的触摸操作，进而确定该触摸操作是来自助手席侧的触摸操作还是来自驾驶席侧的触摸操作。
其结果，例如即便在图16(a)所示的这种情况下，通过触摸操作方向判别部15也能够判别出是从左侧助手席进行的操作。因而，显示装置2仅实行TV节目的频道操作，而不作为针对地图的操作进行反应。或者，即便在图16(b)所示的情况下，根据由触摸位置检测装置14检测出的2点触摸位置和由触摸操作方向判别部15判别出的触摸操作方向，显示装置2能够判别出左侧助手席的人按下的按钮是频道按钮41，右侧驾驶席的人按下的按钮是滚动按钮301。这样，即便在TV节目的频道按钮401与地图操作的滚动按钮301重复配置在相同位置的情况下，左侧助手席的人进行的操作也仅反映在TV节目的选择操作上，右侧驾驶席的人进行的操作也仅反映在地图的滚动操作上。
另外，在此是以车内配置的汽车导航系统为前提，以与电视操作相关的按钮和与导航相关的按钮为例进行的说明，但汽车导航系统以及与此相关的内容源(source)仅仅是一例。当然，对于以分屏显示画面为中心，让一方(例如驾驶席侧)操作的内容源与让另一方(例如助手席侧)操作的内容源不同的系统也能够应用。
此外，作为实施方式2中的触摸操作方向判别15的判别方法，也可以采用实施方式1所说明的“根据浓度梯度方向的判别方法”、“根据边沿特征量分布的判别方法”、“根据指纹形状的判别方法”的任意一种。
或者，作为由触摸操作方向判别部15进行的判别方法，也可采用接下来说明的“根据椭圆长轴方向的判别方法”。
图17是用于说明“根据椭圆长轴方向的判别方法”的原理的图。将显示装置2应用于汽车导航系统的情况下，画面被配置在驾驶席与助手席之间。因此，若考虑通常的操作方式，则从驾驶席侧以及助手席侧触摸画面时的手指的触摸操作方向被限制在一定范围内。再有，触摸操作方向的范围两者并不重复。
例如，如图17(a)所示，一般可认为连接从画面左侧操作的操作者(助手席侧的操作者)手指100L前端和指根的直线、与画面的x轴方向所成的角(触摸操作方向角)Φ处于超过0度未达到90度的范围。根据同样的原因，从右侧操作的操作者(驾驶席侧的操作者)手指100R的触摸操作方向角的范围是与左侧操作的操作者的相应方向角左右对称的范围。因此，从左侧操作的操作者的触摸操作方向的角度与从右侧操作的操作者的触摸操作方向的角度不重复。
因此，如图17(b)所示，显示装置2在拍摄到检测出触摸操作时的指肚图像101L、101R时，根据椭圆形状的指肚图像101L、101R，如图17(c)所示那样计算长轴52。再有，例如若长轴52的倾斜度为正，则显示装置2将触摸操作方向判别为“左”；若长轴的倾斜度为负，则将触摸操作方向判别为“右”。也就是说，显示装置2根据长轴的倾斜度判别左右的触摸操作方向。
这样，关注于手指进行触摸操作时的指肚部分的形状为椭圆状，显示装置2通过根据该椭圆的长轴朝向判别触摸操作方向，从而能精确地判别触摸操作方向。
此外，显示装置2尽管在此根据椭圆的长轴52的倾斜度判别触摸操作方向，但当然并不限定于椭圆的长轴52。显示装置52也可以根据椭圆的短轴判别触摸操作方向。
椭圆的长轴例如以如下方式能够计算。例如图17(d)所示，显示装置2根据二值化处理或边沿检测处理所得到的椭圆图像计算外切长方形和对角线。在此计算出的一对对角线为长轴和短轴。如图17(d)所示，与短轴相比，在长轴方向上因指肚而分布着较多的浓度值高的像素。因此，显示装置2对长轴上的像素和短轴上的像素的分布进行运算，将以黑白进行二值化之后的像素值中黑色较多的对角线判别为椭圆的长轴方向。
接下来，参照图18所示的流程图，根据图17所示的判定原理说明显示装置2的动作。显示装置2首先判定是否检测到对按钮301、401的触摸操作(S41)。当检测到触摸操作时，显示装置2根据触摸操作位置的椭圆形状的指肚图像，判别长轴的倾斜方向(S42)。
接下来，显示装置2判别长轴的倾斜方向是否为正方向(图17的Φ是否满足0°＜Φ＜90°)(S43)。在判别为正方向时，显示装置2起动分配给对应左侧操作者即助手席侧的按钮401的功能(S44)。与此相对，在判别为负方向时，显示装置2起动分配给对应右侧操作者即驾驶席侧的按钮301的功能(S45)。
根据实施方式2所涉及的显示装置2，不需要为了确定操作者而在显示装置的外部设置照相机或者在椅子和方向盘上设置信号传送装置。因此，仅由显示装置2就能够判别操作者是从左右的哪一方进行的操作。此外，由于从显示画面的内侧拍摄图像，因此能够排除干扰判别的障碍物。因此，例如图16(a)所示那样助手席或驾驶席的人手重合的情况等、在显示画面的前方存在某种障碍物的情况下，也能正确地判别触摸操作方向。由此，显示装置2能够以小规模的结构正确地判别助手席侧的和驾驶席侧的哪个人按下了重合配置的按钮等。
此外，也可以将助手席用的按钮和驾驶席用的按钮配置在不重合的位置，使得能够区别是助手席侧和驾驶席侧的哪一个人按下了按钮。但是，存在显示按钮的区域受限的问题，在这一点上本实施方式2所涉及的显示装置2是有效的。
根据各实施方式所涉及的显示装置，不需要在显示装置的外部设置照相机或信号传达装置等。因而，该显示装置在显示画面前方存在某种障碍物、站着或躺着的所有状况下都能够正确地判别从哪个方向进行的触摸。因此，显示装置能利用该判别的信息正确地进行后面的信息处理。此外，由于能仅以显示装置的简单的结构正确地判别从哪个方向进行的操作，因此，能够将成本控制在与现有的触摸面板所带的显示装置相同程度。因而，可在手持显示装置这种移动用途等多个情况下，利用各实施方式所涉及的显示装置。
以上，列举了所说明的各实施方式的变形例和特征点。
(1)显示装置可以将触摸位置检测部14检测出的触摸位置作为基准来解析图像，判别触摸操作方向。
(2)在各实施方式1、2中，显示装置将拍摄的图像之中规定范围的图像作为对象进行图像解析，从而判别触摸操作方向。这样，由于显示装置仅以触摸位置周边的图像为对象进行处理来判别触摸操作方向，因此能够使处理简单化、高速化。再有，显示装置不需要关注不必要的图像区域。因而，显示装置能够提高触摸操作方向判别的精度。此外，通过使处理简单化，能够减少制成电路时的门数。因此，能削减显示装置的制造成本。不过，相对于此，显示装置也可以将拍摄的全图像作为解析对象。
(3)由触摸操作方向判别部15进行判别方法当然不限于上述实施方式所举的例子，也可以采用其他判别方法，只要能根据图像判别触摸操作方向即可。
(4)在各实施方式1、2中，以手指进行触摸操作的情况为例进行了说明。但是，在触摸笔等部件进行触摸操作的情况下也能应用各实施方式1、2。这是因为：在由触摸笔等进行触摸操作的情况下，以检测出触摸操作的坐标位置为中心的影图像会如图4所示那样被拍摄到。
(5)实施方式2所涉及的显示装置2也可以构成为不包括电视接收机26、导航装置27、DVD播放器28的结构。
(6)在实施方式2中说明的“根据椭圆长轴的判别方法”也可以应用于实施方式1所涉及的显示装置1、11中。
(7)可以对显示装置1、2、11应用“根据浓度梯度方向的判别方法”、“根据边沿特征量分布的判别方法”、“根据指纹形状的判别方法”、以及“根据椭圆长轴的判别方法”之中的任意判别方法。再有，显示装置1、2、11也可以设置多个触摸操作方向判别部15，使得能够选择实行基于这多个判别方法之中的任意多个判别方法的判别处理。此外，显示装置1、2、11也可以设置选择操作部，使得能够由操作者的操作来选择多个触摸操作方向判别部15的其中一个。或者，显示装置1、2、11也可以使多个触摸操作方向判别部15共同发挥功能，根据其多个判别结果判别触摸操作方向。
本次公开的实施方式的全部内容仅仅是例示，而不应理解为受到限制。上述所说明的并不是本发明的范围，其范围在权利要求书中示出，应该理解为在与权利要求书同等意义及范围内可进行任意变更。
权利要求书(按照条约第19条的修改)
1.一种显示装置(1、2、11)，接受触摸输入，其特征在于具备：
显示部(10、18、20)，具有显示画面；
摄像部，从所述显示部(10、18、20)内部拍摄作为所述触摸输入的对所述显示画面的触摸操作；
触摸位置检测部(14)，检测所述触摸操作中对所述显示画面的触摸位置；以及
方向判别部(15)，根据所述摄像部的摄像而得到的图像，判别所述触摸操作中对所述显示画面的触摸方向。
2.根据权利要求1所述的显示装置(1、2、11)，其特征在于，
所述方向判别部(15)根据所述摄像部进行摄像而得到的图像之中、以所述触摸位置为基准的规定范围的图像，判别所述触摸方向。
3.根据权利要求1所述的显示装置(1、2、11)，其特征在于，
所述方向判别部(15)在由所述摄像部拍摄到为了所述触摸操作而接触所述显示画面的手指或触摸部件时，根据所述触摸位置的周边图像的浓度变化，判别所述触摸方向。
4.根据权利要求1所述的显示装置(1、2、11)，其特征在于，
所述方向判别部(15)包括：浓度梯度方向计算部，在由所述摄像部(10、18、20)拍摄到为了所述触摸操作接触所述显示画面的手指或触摸部件时，计算所述触摸位置的周边图像的浓度梯度方向，
根据所述浓度梯度方向计算部计算出的浓度梯度方向，判别所述触摸方向。
5.根据权利要求1所述的显示装置(1、2、11)，其特征在于，
所述方向判别部(15)包括：边沿特征量分布计算部，在由所述摄像部(10、18、20)拍摄到为了所述触摸操作而接触所述显示画面的手指或触摸部件时，计算所述触摸位置的周边图像的边沿特征量分布，
根据所述边沿特征量分布计算部计算出的边沿特征量分布判别所述触摸方向。
6.根据权利要求1所述的显示装置(1、2、11)，其特征在于，
所述方向判别部(15)包括：长轴方向计算部，在由所述摄像部拍摄到为了所述触摸操作而接触所述显示画面的手指时，计算所述触摸位置周边的手指图像的椭圆长轴方向，
根据所述长轴方向计算部计算出的椭圆长轴方向判别所述触摸方向。
7.根据权利要求1所述的显示装置(1、2、11)，其特征在于，
所述方向判别部(15)，在由所述摄像部拍摄到为了所述触摸操作而接触所述显示画面的手指时，根据所述触摸位置周边的手指图像的指纹形状判别所述触摸方向。
8.根据权利要求1所述的显示装置(1、2、11)，其特征在于，
所述显示部(10、18、20)能将将根据所述触摸操作而使规定功能有效的多个操作对象图像显示在所述显示画面上，
还具备：存储部(12，22)，对所述多个操作对象图像，分别存储基于所述触摸操作的功能被有效化的触摸方向；以及，
功能有效化部，在检测到对所述操作对象图像的触摸操作时的触摸方向与对应该操作对象图像而存储在所述存储部(12、22)中的触摸方向一致时，使基于对该操作对象图像的触摸操作的功能有效。
9.根据权利要求1所述的显示装置(1、2、11)，其特征在于，
所述显示部(10、18、20)能针对不同的方向显示不同的图像，
在所述显示画面的特定位置，在第1方向上显示通过触摸操作使第1功能有效的第1按钮图像，在所述特定位置上，在第2方向上显示通过触摸操作使第2功能有效的第2按钮图像，
所述显示装置(1、2、11)还具备：功能选择部，在由所述触摸位置检测部(14)检测到的触摸位置是所述特定位置时，根据由所述方向判别部(15)判别的触摸方向，使所述2种功能之中的任意一方有效。
10.根据权利要求1所述的显示装置(1、2、11)，其特征在于，
所述摄像部是光传感器。
11.根据权利要求1所述的显示装置(1、2、11)，其特征在于，
所述摄像部是温度传感器。
12.根据权利要求1所述的显示装置(1、2、11)，其特征在于，
所述触摸位置检测部，根据所述摄像部拍摄的图像检测触摸位置。
13.根据权利要求1所述的显示装置(1、2、11)，其特征在于，
所述显示装置(1、2、11)还具备：控制部(19、21)，控制所述显示装置(1、2、11)的动作，
所述控制部(19、21)使所述显示装置(1、2、11)执行与所述检测到的所述触摸位置和所述判别出的所述触摸方向相应的动作。
14.一种显示装置(1、2、11)，具有显示画面，通过触摸操作中使用的物体接触所述显示画面来接受输入，其特征在于，
具备：摄像部，隔着所述显示画面，对接触所述显示画面的所述物体进行摄像；
检测部(14)，检测所述物体对所述显示画面的接触位置；
判别部(15)，根据所述摄像部进行摄像而得到的图像，判别所述物体相对于所述显示画面的方向；以及
控制部(19、21)，控制所述显示装置(1、2、11)的动作，
所述控制部(19、21)使所述显示装置(1、2、11)执行与所述接触位置和所述判别出的方向相应的动作。
15.一种显示装置(1、2、11)中的控制方法，该显示装置(1、2、11)通过触摸操作中使用的物体接触显示画面来接受输入，其特征在于具备：
隔着所述显示画面，对接触所述显示画面的所述物体进行摄像的步骤；
检测所述物体对所述显示画面的接触位置的步骤；
根据所述摄像部进行摄像而得到的图像，判别所述物体相对于所述显示画面的方向的步骤(S1～S5，S13，S14，S23，S33)；以及
使所述显示装置(1、2、11)执行与所述接触位置和所述判别出的方向相应的动作的步骤(S36，S37，S44，S45)。
16.根据权利要求2所述的显示装置(1、2、11)，其特征在于，
以所述触摸位置为基准的规定范围的图像，是以所述触摸位置为中心的手指或触摸部件接触所述显示部的范围以及接近该显示部的范围的图像。

Claims (15)

1.一种显示装置(1、2、11)，其特征在于具备：
显示部(10、18、20)，具有显示画面；
摄像部，从所述显示部(10、18、20)内部拍摄对所述显示画面的触摸操作；
触摸位置检测部(14)，检测所述触摸操作中对所述显示画面的触摸位置；以及
方向判别部(15)，根据所述摄像部的摄像而得到的图像，判别所述触摸操作中对所述显示画面的触摸方向。
2.根据权利要求1所述的显示装置(1、2、11)，其特征在于，
所述方向判别部(15)根据所述摄像部进行摄像而得到的图像之中、以所述触摸位置为基准的规定范围的图像，判别所述触摸方向。
3.根据权利要求1所述的显示装置(1、2、11)，其特征在于，
所述方向判别部(15)在由所述摄像部拍摄到为了所述触摸操作而接触所述显示画面的手指或触摸部件时，根据所述触摸位置的周边图像的浓度变化，判别所述触摸方向。
4.根据权利要求1所述的显示装置(1、2、11)，其特征在于，
所述方向判别部(15)包括：浓度梯度方向计算部，在由所述摄像部
(10、18、20)拍摄到为了所述触摸操作接触所述显示画面的手指或触摸部件时，计算所述触摸位置的周边图像的浓度梯度方向，
根据所述浓度梯度方向计算部计算出的浓度梯度方向，判别所述触摸方向。
5.根据权利要求1所述的显示装置(1、2、11)，其特征在于，
所述方向判别部(15)包括：边沿特征量分布计算部，在由所述摄像部(10、18、20)拍摄到为了所述触摸操作而接触所述显示画面的手指或触摸部件时，计算所述触摸位置的周边图像的边沿特征量分布，
根据所述边沿特征量分布计算部计算出的边沿特征量分布判别所述触摸方向。
6.根据权利要求1所述的显示装置(1、2、11)，其特征在于，
所述方向判别部(15)包括：长轴方向计算部，在由所述摄像部拍摄到为了所述触摸操作而接触所述显示画面的手指时，计算所述触摸位置周边的手指图像的椭圆长轴方向，
根据所述长轴方向计算部计算出的椭圆长轴方向判别所述触摸方向。
7.根据权利要求1所述的显示装置(1、2、11)，其特征在于，
所述方向判别部(15)，在由所述摄像部拍摄到为了所述触摸操作而接触所述显示画面的手指时，根据所述触摸位置周边的手指图像的指纹形状判别所述触摸方向。
8.根据权利要求1所述的显示装置(1、2、11)，其特征在于，
所述显示部(10、18、20)能将将根据所述触摸操作而使规定功能有效的多个操作对象图像显示在所述显示画面上，
还具备：存储部(12，22)，对所述多个操作对象图像，分别存储基于所述触摸操作的功能被有效化的触摸方向；以及，
功能有效化部，在检测到对所述操作对象图像的触摸操作时的触摸方向与对应该操作对象图像而存储在所述存储部(12、22)中的触摸方向一致时，使基于对该操作对象图像的触摸操作的功能有效。
9.根据权利要求1所述的显示装置(1、2、11)，其特征在于，
所述显示部(10、18、20)能针对不同的方向显示不同的图像，
在所述显示画面的特定位置，在第1方向上显示通过触摸操作使第1功能有效的第1按钮图像，在所述特定位置上，在第2方向上显示通过触摸操作使第2功能有效的第2按钮图像，
所述显示装置(1、2、11)还具备：功能选择部，在由所述触摸位置检测部(14)检测到的触摸位置是所述特定位置时，根据由所述方向判别部(15)判别的触摸方向，使所述2种功能之中的任意一方有效。
10.根据权利要求1所述的显示装置(1、2、11)，其特征在于，
所述摄像部是光传感器。
11.根据权利要求1所述的显示装置(1、2、11)，其特征在于，
所述摄像部是温度传感器。
12.根据权利要求1所述的显示装置(1、2、11)，其特征在于，
所述触摸位置检测部，根据所述摄像部拍摄的图像检测触摸位置。
13.根据权利要求1所述的显示装置(1、2、11)，其特征在于，
所述显示装置(1、2、11)还具备：控制部(19、21)，控制所述显示装置(1、2、11)的动作，
所述控制部(19、21)使所述显示装置(1、2、11)执行与所述检测到的所述触摸位置和所述判别出的所述触摸方向相应的动作。
14.一种显示装置(1、2、11)，具有显示画面，通过触摸操作中使用的物体接触所述显示画面来接受输入，其特征在于，
具备：摄像部，隔着所述显示画面，对接触所述显示画面的所述物体进行摄像；
检测部(14)，检测所述物体对所述显示画面的接触位置；
判别部(15)，根据所述摄像部进行摄像而得到的图像，判别所述物体相对于所述显示画面的方向；以及
控制部(19、21)，控制所述显示装置(1、2、11)的动作，
所述控制部(19、21)使所述显示装置(1、2、11)执行与所述接触位置和所述判别出的方向相应的动作。
15.一种显示装置(1、2、11)中的控制方法，该显示装置(1、2、11)通过触摸操作中使用的物体接触显示画面来接受输入，其特征在于具备：
隔着所述显示画面，对接触所述显示画面的所述物体进行摄像的步骤；
检测所述物体对所述显示画面的接触位置的步骤；
根据所述摄像部进行摄像而得到的图像，判别所述物体相对于所述显示画面的方向的步骤(S1～S5，S13，S14，S23，S33)以及
使所述显示装置(1、2、11)执行与所述接触位置和所述判别出的方向相应的动作的步骤(S36，S37，S44，S45)。
CN2009801171584A 2008-05-12 2009-03-06 显示装置和控制方法 Pending CN102027439A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008124654 2008-05-12
JP2008-124654 2008-05-12
PCT/JP2009/054269 WO2009139214A1 (ja) 2008-05-12 2009-03-06 表示装置および制御方法

Publications (1)

Publication Number Publication Date
CN102027439A true CN102027439A (zh) 2011-04-20

Family

ID=41318587

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801171584A Pending CN102027439A (zh) 2008-05-12 2009-03-06 显示装置和控制方法

Country Status (5)

Country Link
US (1) US20110043489A1 (zh)
EP (1) EP2282254A1 (zh)
JP (1) JPWO2009139214A1 (zh)
CN (1) CN102027439A (zh)
WO (1) WO2009139214A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103677438A (zh) * 2012-09-10 2014-03-26 联想(北京)有限公司 一种数据处理方法及电子设备
CN104052950A (zh) * 2013-03-11 2014-09-17 日立麦克赛尔株式会社 操作检测装置和操作检测方法
CN106446643A (zh) * 2015-08-12 2017-02-22 中兴通讯股份有限公司 终端的控制方法及装置

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9195344B2 (en) * 2002-12-10 2015-11-24 Neonode Inc. Optical surface using a reflected image for determining three-dimensional position information
JP5015097B2 (ja) * 2008-08-29 2012-08-29 シャープ株式会社 画像処理装置、画像処理プログラム、コンピュータ読み取り可能な記録媒体、電子機器及び画像処理方法
CN102782616A (zh) * 2009-10-16 2012-11-14 Rpo有限公司 用于检测和跟踪触摸对象的方法
CN101776836B (zh) * 2009-12-28 2013-08-07 武汉全真光电科技有限公司 投影显示系统及桌面计算机
WO2011102038A1 (ja) * 2010-02-16 2011-08-25 シャープ株式会社 タッチパネル付き表示装置およびその制御方法、並びに制御プログラムおよび記録媒体
JP5615564B2 (ja) * 2010-02-16 2014-10-29 株式会社デンソー 表示装置
US8743090B2 (en) 2010-03-29 2014-06-03 Sharp Kabushiki Kaisha Display device with input unit, control method for same, control program and recording medium
JP5113220B2 (ja) * 2010-06-28 2013-01-09 本田技研工業株式会社 車両用画像表示装置
CN102314263B (zh) * 2010-07-08 2014-02-19 原相科技股份有限公司 光学触控屏幕系统、光学距离判断装置及其方法
US9310923B2 (en) 2010-12-03 2016-04-12 Apple Inc. Input device for touch sensitive devices
US8928635B2 (en) 2011-06-22 2015-01-06 Apple Inc. Active stylus
US8638320B2 (en) 2011-06-22 2014-01-28 Apple Inc. Stylus orientation detection
US9329703B2 (en) 2011-06-22 2016-05-03 Apple Inc. Intelligent stylus
US20130009989A1 (en) * 2011-07-07 2013-01-10 Li-Hui Chen Methods and systems for image segmentation and related applications
KR101900847B1 (ko) * 2011-07-08 2018-09-20 가부시키가이샤 한도오따이 에네루기 켄큐쇼 표시 장치
WO2013039544A1 (en) * 2011-08-10 2013-03-21 Cypress Semiconductor Corporation Methods and apparatus to detect a presence of a conductive object
JP4929414B1 (ja) * 2011-08-31 2012-05-09 楽天株式会社 情報処理装置、情報処理装置の制御方法、プログラム、及び情報記憶媒体
US9244556B2 (en) 2011-09-26 2016-01-26 Nec Corporation Display apparatus, display method, and program
CN102760030A (zh) * 2011-11-28 2012-10-31 联想(北京)有限公司 一种显示方法、装置及电子终端
CN103294233A (zh) * 2012-02-27 2013-09-11 富泰华工业（深圳）有限公司 触摸屏和具有该触摸屏的触摸显示装置
JP5862888B2 (ja) * 2012-07-09 2016-02-16 コニカミノルタ株式会社 操作表示装置およびプログラム
GB201212685D0 (en) * 2012-07-17 2012-08-29 Elliptic Laboratories As Control of electronic devices
US9176604B2 (en) 2012-07-27 2015-11-03 Apple Inc. Stylus device
US9652090B2 (en) 2012-07-27 2017-05-16 Apple Inc. Device for digital communication through capacitive coupling
US9557845B2 (en) 2012-07-27 2017-01-31 Apple Inc. Input device for and method of communication with capacitive devices through frequency variation
TWI489337B (zh) * 2012-11-23 2015-06-21 義隆電子股份有限公司 具虛擬功能鍵之觸控面板的製造方法、干涉判斷方法及觸控裝置
US9367186B2 (en) 2012-12-18 2016-06-14 Logitech Europe S.A. Method and system for discriminating stylus and touch interactions
US9158393B2 (en) 2012-12-18 2015-10-13 Logitech Europe S.A. Active stylus for touch sensing applications
US10048775B2 (en) 2013-03-14 2018-08-14 Apple Inc. Stylus detection and demodulation
US10067580B2 (en) 2013-07-31 2018-09-04 Apple Inc. Active stylus for use with touch controller architecture
WO2015120913A1 (en) * 2014-02-17 2015-08-20 Metaio Gmbh Method and device for detecting a touch between a first object and a second object
US10061449B2 (en) 2014-12-04 2018-08-28 Apple Inc. Coarse scan and targeted active mode scan for touch and stylus
US10325134B2 (en) * 2015-11-13 2019-06-18 Fingerprint Cards Ab Method and system for calibration of an optical fingerprint sensing device
JP6663736B2 (ja) * 2016-02-08 2020-03-13 株式会社アスカネット 非接触表示入力装置及び方法
TWI622893B (zh) * 2016-04-11 2018-05-01 宏碁股份有限公司 電子裝置、及其控制方法與製造方法
US10637933B2 (en) 2016-05-26 2020-04-28 Logitech Europe S.A. Method and apparatus for transferring information between electronic devices
US10474277B2 (en) 2016-05-31 2019-11-12 Apple Inc. Position-based stylus communication
JP6701027B2 (ja) * 2016-08-09 2020-05-27 キヤノン株式会社 撮像装置、その制御方法およびプログラム
US11593918B1 (en) * 2017-05-16 2023-02-28 Apple Inc. Gradient-based noise reduction
US11137896B2 (en) * 2019-12-17 2021-10-05 Harman International Industries, Incorporated System and method for determining a location of a user relative to a user interface for contextual control
FR3108998B1 (fr) * 2020-04-02 2022-02-25 Thales Sa Procede et dispositif pour gerer des appuis « multitouch » sur une surface tactile
US11562638B2 (en) 2020-08-24 2023-01-24 Logitech Europe S.A. Electronic system and method for improving human interaction and activities

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1768322A (zh) * 2003-03-31 2006-05-03 东芝松下显示技术有限公司 显示装置及信息终端装置
CN1942849A (zh) * 2004-04-30 2007-04-04 株式会社Dds 操作输入设备和操作输入程序

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5856824A (en) * 1996-06-25 1999-01-05 International Business Machines Corp. Reshapable pointing device for touchscreens
US7663607B2 (en) * 2004-05-06 2010-02-16 Apple Inc. Multipoint touchscreen
JPH11312053A (ja) * 1998-04-30 1999-11-09 Toyota Motor Corp 画面タッチ式入力装置
JP2005346453A (ja) * 2004-06-03 2005-12-15 Ricoh Co Ltd 画像表示装置
JP2006047534A (ja) 2004-08-03 2006-02-16 Alpine Electronics Inc 表示制御システム
JP4377365B2 (ja) * 2004-10-27 2009-12-02 富士通テン株式会社 表示装置
JP4630744B2 (ja) 2005-02-03 2011-02-09 東芝モバイルディスプレイ株式会社 表示装置
JP4694352B2 (ja) * 2005-11-10 2011-06-08 三菱電機株式会社 指紋照合装置
JP2007331692A (ja) * 2006-06-19 2007-12-27 Xanavi Informatics Corp 車載電子装置およびタッチパネル装置
JP5074714B2 (ja) * 2006-06-27 2012-11-14 クラリオン株式会社 車載ナビゲーション装置
US8022935B2 (en) * 2006-07-06 2011-09-20 Apple Inc. Capacitance sensing electrode with integrated I/O mechanism
JP2008197934A (ja) * 2007-02-14 2008-08-28 Calsonic Kansei Corp 操作者判別方法
EP2073055A1 (en) * 2007-12-20 2009-06-24 TPO Displays Corp. Detection of an incident light distribution

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1768322A (zh) * 2003-03-31 2006-05-03 东芝松下显示技术有限公司 显示装置及信息终端装置
CN1942849A (zh) * 2004-04-30 2007-04-04 株式会社Dds 操作输入设备和操作输入程序

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103677438A (zh) * 2012-09-10 2014-03-26 联想(北京)有限公司 一种数据处理方法及电子设备
CN103677438B (zh) * 2012-09-10 2020-02-21 联想(北京)有限公司 一种数据处理方法及电子设备
CN104052950A (zh) * 2013-03-11 2014-09-17 日立麦克赛尔株式会社 操作检测装置和操作检测方法
CN106446643A (zh) * 2015-08-12 2017-02-22 中兴通讯股份有限公司 终端的控制方法及装置
CN106446643B (zh) * 2015-08-12 2022-01-28 中兴通讯股份有限公司 终端的控制方法及装置

Also Published As

Publication number Publication date
US20110043489A1 (en) 2011-02-24
JPWO2009139214A1 (ja) 2011-09-15
WO2009139214A1 (ja) 2009-11-19
EP2282254A1 (en) 2011-02-09

Similar Documents

Publication Publication Date Title
CN102027439A (zh) 显示装置和控制方法
JP6523925B2 (ja) 生体情報を用いた認証装置及び認証方法
KR101198727B1 (ko) 화상투영장치 및 그 제어 방법
CN104813258B (zh) 数据输入装置
US8649575B2 (en) Method and apparatus of a gesture based biometric system
US10244176B2 (en) Image processing device, image processing method and program
US10116868B2 (en) Display-integrated user-classification, security and fingerprint system
CN106132284B (zh) 光学眼动追踪
CN102422306B (zh) 增强型手持式屏幕感测指针
EP2950180B1 (en) Method for determining screen display mode and terminal device
CN103383595B (zh) 基于用户人脸的分析控制移动终端的装置和方法
US8241122B2 (en) Image processing method and input interface apparatus
US8482557B2 (en) Device and method for setting instructed position during three-dimensional display, as well as program
US20090297062A1 (en) Mobile device with wide-angle optics and a radiation sensor
US20150131876A1 (en) Electronic Apparatus with Segmented Guiding Function and Small-Width Biometrics Sensor, and Guiding Method Thereof
CN107765835A (zh) 点亮屏幕的方法、装置及终端
US20060097985A1 (en) Portable terminal and data input method therefor
CN108830186B (zh) 文本图像的内容提取方法、装置、设备及存储介质
CN102103754A (zh) 被摄体跟踪设备、被摄体区域提取设备及其控制方法
WO2011102038A1 (ja) タッチパネル付き表示装置およびその制御方法、並びに制御プログラムおよび記録媒体
US20110216011A1 (en) Remote control system for electronic device and remote control method thereof
CN106911921A (zh) 基于单个摄像机的投影仪红外触控和自动对焦方法
WO2021035575A1 (zh) 支付过程中防止偷窥的方法及电子设备
US20140085194A1 (en) Image-based object tracking system in 3d space using controller having multiple color clusters
CN112578971A (zh) 页面内容展示方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20110420