CN103314344A

CN103314344A - 触敏触觉显示器

Info

Publication number: CN103314344A
Application number: CN2010800706471A
Authority: CN
Inventors: D·卡尔松
Original assignee: Sony Ericsson Mobile Communications AB
Current assignee: Sony Mobile Communications AB
Priority date: 2010-12-10
Filing date: 2010-12-10
Publication date: 2013-09-18
Anticipated expiration: 2030-12-10
Also published as: CN103314344B; EP2649504A1; US8941603B2; US20120188179A1; WO2012076062A1

Abstract

本技术方案涉及一种包括触敏显示器(111)的装置(800)。该装置(800)进一步包括被配置为接收图像数据的接收单元(701)。该装置(800)进一步包括被配置为在触敏显示器(111)上将该图像数据显示为触觉图像的处理单元(703)，由此，用户可通过触觉来识别包括在触觉图像内的对象。

Description

触敏触觉显示器

技术领域

本发明涉及一种包括触敏显示器的装置，包括该装置的通信设备，以及包括该通信设备的通信系统。

背景技术

增强现实(AR)是用于对物理的现实环境进行生动的直接或间接观察的术语，物理的现实环境的元素被虚拟的计算机产生的感觉输入(例如声音或图形)所增强。

增强现实正成为每日生活复杂的一部分。现今，存在许多增强现实的应用，其使用计算机产生的叠加层仅仅显示摄像机装置捕获的场景。该装置可为例如AR眼镜。当用户使用这些应用的一个时，他需要伸直双臂将使装置距离他的脸半米。这很不方便，直到可以购买常规尺寸的增强现实的眼镜，AR的突破性进展才可能来临。

然而，AR眼镜伴随着输入问题。在今天的增强现实应用中，由于用户正看着触摸显示器，所以输入操作是很容易的；他可以仅仅通过触摸显示器而与其交互。当佩戴着一副AR眼镜来与所显示的图像交互时会存在一些选择。

1.语音命令。用户可询问他的装置他正看到的是什么：例如“我正看的树的物种是什么？”。

2.手势的视频捕获，例如用户可指向他想要与之交互的对象，他的手势的视频将被分析以确定他的意图。

3.眼睛跟踪，例如用户可盯着他想要与之交互的对象。

(2)和(3)的问题在于它们通常是不被社交所接受的，用户可能感觉到粗野的动作或直接盯着感兴趣的对象是不舒服的。

(1)的问题是声音识别是复杂的；为了能够做出各种类型可接受的精确率的语音识别，需要具有解析语音的上下文。例如，当例如使用电话向自动票务系统订票时，存在已知的上下文。该系统知道可能的目标是什么；因此在解析语音时可减小搜索空间。即使如此，如任何使用过这些电话系统的人所了解的，它们远非完美，引发了许多失败。

使用语音识别进行AR的问题是不存在特定的上下文，如在使用票务系统的例子中。该上下文是肉眼可见的所有事物，这对于用于AR目的的使用变得十分困难。

发明内容

因此，目标问题是消除上述缺点的至少一个，并提供一种改进的触敏显示器。

根据本发明的第一方面，通过包括任何形状或尺寸的二维或三维触敏显示器的装置解决该目标问题。该装置包括配置为直接或间接的从图像捕获装置或从存储方式例如USB存储器接收已经捕获或正在捕获的图像数据的接收单元。该装置还包括配置为在触摸显示器上以触觉图像显示图像数据的处理单元，即配置该处理单元分析接收到的图像数据，并以将图像中的对象投影到触敏显示器的平面之上或之下从而用户可通过触觉探测显示的图像中的对象的方式在触敏显示器上呈现接收到的图像数据。

值得注意的是，接收单元和处理单元不需要是两个单独的单元。单一单元，例如处理器，可例如被配置为接收、处理并显示图像数据。

根据本发明的第二方面，通过包括如上所述的装置的通信装置解决该目标问题。该通信装置包括移动电话、媒体播放器、平板装置、个人通信系统(PCS)终端、个人数字助理(PDA)、膝上型轻便计算机、掌上型接收器、摄像机、电视、雷达或任何包括被设计为发送和/或接收无线、电视、电话和/或雷达信号的换能器(transducer)的装置。

根据本发明的第三方面，通过通信系统解决该目标问题，该通信系统包括如上描述的通信装置、被配置为捕获图像并将该图像发送到该通信装置的图像捕获装置。

本技术提供了许多优势，以下是非详尽实例的列表：

本解决方案的优点是在不具有令人不悦的声音和手势命令属性的情况下，使得以自然的方式与AR应用高精确度的接触成为可能。另外，其带来了极具吸引力的命题，通过将视觉输入转化为可触摸的事物从而为用户提供了与日常对象交互的新方式，这是体验世界的新方式。我们知道艾菲尔铁塔看起来的样子，但是辨别艾菲尔铁塔的形状感觉如何？

本技术方案不限于以上提及的特征和优点。本领域技术人员在阅读以下详细的说明书时，将意识到额外的特征和优势。

附图说明

参考示出解决方案的实施方式的附图，现在将在下述详细的说明中更加详细的进一步描述该解决方案，其中：

图1是示出了通信系统的实施方式的示意图。

图2是描述方法的实施方式的信号图和流程图的组合。

图3是示出了摄像机记录的场景的实施方式的示意图。

图4是示出了触觉触摸显示器的实施方式的示意图。

图5是示出了通信系统中的视觉响应的实施方式的示意图。

图6是示出了通信系统中的视觉响应的实施方式的示意图。

图7是描述了方法实施方式的流程图。

图8是示出了装置实施方式的示意图。

附图不一定是按照比例绘制，相反重点在于示出解决方案的原理。

具体实施方式

本技术方案提出了对通信系统(例如AR系统)的输入进行控制的方法，该方法是精确的并且没有令人不悦的声音和姿态命令属性。

如果用户在触觉触敏显示器或屏幕上的虚拟触摸手势可能以某种方式引起现实生活中对象的可视移动，则对象的移动可引起AR系统中的自动反馈。可以想象，该触觉触敏显示器被配置为探测图像中的对象是否被虚拟触摸，并对该虚拟触摸做出物理响应。

图1中示出了通信系统100，例如增强现实系统。该系统100包括例如一副AR眼镜101和通信装置103。该AR眼镜101可被配置为佩戴在用户的头上。该AR眼镜101可连接或集成到通信装置103中。在通信装置103连接到该AR眼镜101的实施方式中，该连接可为任何合适的类型，包括有线或无线链路105。在其他实施方式中，该AR眼镜101可集成到通信装置103中。本领域技术人员会理解，当眼镜101集成到通信装置103中时，眼镜101的形状和尺寸将不是图1中所例示的那样。在示出的实施方式中，眼镜101包括安装在前边的3D摄像机107，该3D摄像机107与佩戴该眼镜的人的视场指向相同的方向。该摄像机107被配置为捕获和/或记录场景的二维或三维视频和/或静态图像。该眼镜101还包括显示器109，在佩戴该眼镜101或观看该眼镜101的外表面时，该显示器109可允许佩戴者观看到叠加图形。

通信装置103可为任何合适类型的通信装置或带有通信能力的计算装置。该通信装置103可为例如但不限于移动电话、智能电话、平板终端、媒体播放器、个人数字助理(PDA)、膝上型轻便电脑、MP3播放器或便携式DVD播放器或类似的媒体内容装置、TV、数字摄像机甚至固定装置例如PC、雷达或任何被配置为传输和/或接收无线、电视、电话和/或雷达信号、数字或模拟信号的装置。

触觉触敏显示器111或触敏显示器是电子视觉2D或3D显示器，可探测显示区域内触摸的存在和位置。该显示区域提供二或三维图像。用户通过触觉可辨别这些图像。用户可使用手指、手或另一个被动对象(例如触笔)来触摸触敏显示器111，即图像。在触敏显示器111上示出的图像中的对象被投影到触敏显示器111的平面之上或之下，因此，用户可通过触觉探测到所显示的图像中的对象。

触敏显示器111使得用户能够与所显示的内容直接交互，而不是通过鼠标或触摸板控制的光标间接地控制所显示的内容。该触觉触敏显示器111可使用例如电活动聚合物(EAP)的技术或在被电场激励时可展示出尺寸或形状改变的任何合适的材料。该触敏显示器111可为任何合适的尺寸和形状。该触觉触敏显示器111可包括在通信装置103中。

该触觉触敏显示器111可以按照二维或三维来呈现场景，按这种意义来说其可呈现场景中的对象的轮廓和纹理，以便用户可能使用他的手来感觉并识别他正通过AR眼镜101观看的对象。AR眼镜101和触敏装置111之间的连接可为任何合适的类型，包括有线或无线链路。

根据一些实施方式，参考图2中描述的信号传输图和流程图的组合、参考描述通信系统100的图1、描述记录的场景的图3、描述叠加的标记的图1以及描述视觉响应的图5和描述选择列表的图6，现在描述使用该触觉触敏显示器111向用户提供触觉反馈的本解决方案的方法。在说明书中，AR眼镜101作为示范性装置使用，然而任何装配AR技术的合适装置都可使用。该方法包括下述步骤，这些步骤可以按照任何合适的顺序来执行。

步骤201

AR眼镜101记录/捕获视觉场景301。如图3所示的，AR眼镜101可使用摄像机107来捕获场景。可将视觉场景301捕获为视频和/或静止图像，该视觉场景301是佩戴眼镜101的用户所看到的场景301。如图3所示，该场景301可例如是设有商店“Chocolate”的街道。

在一些实施方式中，视觉场景301是从一些其它装置(例如装配有AR技术的任何装置)或从存储器装置(例如USB存储器)直接或间接地捕获或已经捕获。

直接还是间接捕获视觉场景301取决于该场景是由触敏显示器111外部的AR眼镜所捕获还是由触敏显示器111本身所捕获。

步骤202

AR眼镜101向触敏显示器111发送所记录的视觉场景301，即图像数据。该发送可是实时的(即在用户观看场景301时连续执行)、按需的、或周期性的。在一些实施方式中，通过有线或无线连接来执行这种发送。

触敏显示器111可包括被配置为从AR眼镜101接收所记录的视觉图像301的接收器(未示出)。

在捕获的场景301被发送到将场景301呈现为图像的触敏显示器111之前可通过使其经过滤波机制而将其简化。该滤波机制可移除所捕获的场景301的对于呈现场景301中的对象的轮廓和纹理而言非必要的部分和/或细节。

步骤203

包括在触敏显示器111中的处理单元(未示出)处理和/或分析所记录的视觉场景301。处理时，该处理器可执行对所记录的视觉场景301的滤波以发现所捕获的场景的轮廓。在处理单元中执行的滤波可是AR眼镜101中滤波机制的补充，或可代替AR眼镜101中的滤波机制。

在一些实施方式中，如果触敏显示器111包括接收器，则也可将该接收器配置为向处理单元提供所记录的视觉场景301。

步骤204

在触觉敏感显示器111上，所捕获的场景301被呈现为2D或3D图像，就此意义来说该触敏显示器111呈现场景301中的轮廓和纹理，以便用户可使用他的手来感知和识别他通过AR眼镜101正看到或一直在看的对象，或使用AR眼镜或通过一些其他装置已经捕获的对象。换句话说，所捕获的场景301作为触觉图像被显示在触敏显示器111上。用户可通过触觉来辨别该触觉图像中的对象。

连续地、周期性地、按需地或者当用户触摸该触敏显示器111时，将所捕获的场景301在触敏显示器111上显示为触觉图像。

步骤205

该触敏显示器111从用户接收触觉输入，即触敏显示器111接收输入数据。该触觉输入可为用户触摸或轻敲在触敏显示器111上显示的对象。

当用户触摸触觉触敏显示器111时，该触觉触敏显示器111记录该手势并可以显示如图4中虚线圈所示的叠加标记401，作为AR眼镜101的显示器109中或触敏显示器111上的层。当看着现实生活对象时，用户可使用触觉触敏显示器111来触摸这些现实生活对象的视觉表现，给予用户触摸并感觉他正在看的或他已经记录的对象的能力。使用图4中示出的场景的实例，用户可触摸触敏显示器111上示出的商店“Chocolate”。

步骤206

当用户已经触摸或记录了触敏显示器111上的对象，例如商店“Chocolate”时，该处理器处理触觉输入，即该处理器执行与轻敲对象相对应或相关联的动作。例如，该处理器可检索商店“Chocolate”的地理位置。该处理器可在例如定位或导航单元的协助下执行该处理。

步骤207

可在触摸显示器111上如图5所示的，或在AR眼镜101的显示器中提供基于触觉输入的视觉响应501。可以使用在AR眼镜101中或触敏显示器111上，或眼镜101和触敏显示器111二者中的叠加层来示出触摸手势的位置。可将该AR眼镜101配置为在用户佩带该AR眼镜101时，将该用户需要的信息覆盖在触敏显示器111上的图像上。例如，作为对用户触摸了触敏显示器111上的商店的视觉响应501，提供商店“Chocolate”的网址。这给予了用户对其触摸动作的视觉响应或反馈。

这模拟了用手来触摸对象的现实生活经验。用户可在眼镜101的显示器109中或触敏显示器111上看到他的手在触敏显示器111上正触摸什么，这强化了触摸体验。例如，如图5所示的，当用户触摸了触敏显示器111上的商店“Chocolate”的记号时，在眼镜101的显示器109上或触敏显示器111上出现了包括例如“Chocolate”的网页地址的视觉响应501。

为了能够提供对于触摸动作的视觉响应501，在一些实施方式中，触敏显示器111可以包括定位或导航单元(未示出)，该定位或导航单元被配置为获得用户的地理位置，即AR眼镜101的位置。定位单元可使用基于卫星的定位系统，例如全球定位系统(GPS)或伽利略定位系统(Galileo)，或者该定位单元可使用例如wifi定位等等。该定位单元可将AR眼镜101的地理位置发送给处理单元。可以用摄像机107的覆盖范围的尺寸，即佩戴AR眼镜101的用户所看到的场景301的尺寸，来预配置该处理单元。该处理器被配置为使用地理位置来映射触敏显示器111上显示的图像。因此，当用户触摸触敏显示器111上的对象时，例如图5所示的商店“Chocolate”的标记时，该处理单元可确定被触摸对象的位置，即商店Chocolate的位置。通过了解被触摸对象的地理位置，例如商店Chocolate的位置，该处理单元可通过例如在电话簿里查找地理位置、在因特网上搜索地理位置等等来获得与被触摸对象有关的进一步信息。

在一些实施方式中，视觉响应可提供与触觉输入相关联的进一步信息，例如提供进一步信息的选择列表或指向进一步信息的链接。当用户选择了触敏显示器111上的图像上的对象时，可向他提供该对象可用的不同信息的选择列表。选择列表中的不同项目可以是与对象有关的直接信息，或指向与对象有关的进一步信息的链接。例如，当用户选择了商店Chocolate时，可给予用户触摸/选择该视觉响应501的机会。当选择或触摸该视觉响应501时，用户可获得如图6所例示的选择列表601。该选择列表601可包括指向到商店的行走方向、营业时间、价格、相同类别的其他商店等等的链接。选择了其中一个链接后，在触敏显示器111上通过在触敏显示器111上显示的图像上叠加而向用户提供所选择的信息，或者在AR眼镜101的显示器109中提供所选择的信息。

返回到图2。

步骤208

增强现实系统100等待摄像机107所捕获的新场景，即，用户转动他的头或新的数据被提供给AR系统100，该方法从步骤201再次开始。

现在将从装置800的角度来描述以上描述过的方法。图7是描述装置800中的当前方法的流程图。该装置800包括触敏显示器111。在一些实施方式中，该触敏显示器111是二维或三维触觉触敏显示器111。在一些实施方式中，该触敏显示器111包括在被电场激励时表现出尺寸或形状改变的材料。该方法包括在装置800中执行的步骤：

步骤701

此步骤相当于图2中的步骤201和202。该装置800接收图像数据。

在一些实施方式中，图像数据是从图像数据捕获装置101接收的。在一些实施方式中，该图像数据捕获装置101包括具有摄像机107的增强现实眼镜。

步骤703

此步骤相当于图2中的步骤203、204、205、206、207和208。装置800在触敏显示器111上以触觉图像来显示该图像数据。用户可通过触觉来辨别包括在触觉图像中的对象。

在一些实施方式中，在触敏显示器111上连续地、周期性地、按需地或当用户触摸触敏显示器111时以触觉图像来显示图像数据。

在一些实施方式中，所接收的图像数据被处理为触觉图像。

在一些实施方式中，从触敏显示器111接收输入数据。该输入数据与触觉图像中的被触摸对象相关联。

在一些实施方式中，在触敏显示器111或第二显示器109上显示所接收的输入数据。在一些实施方式中，第二显示器109被包括在图像捕获装置101中。

在一些实施方式中，提供触敏显示器111的地理位置。

为了执行图2和7中所示的方法步骤，提供了图8中所示的装置800。该装置800包括触敏显示器111。在一些实施方式中，该触敏显示器111是二维或三维触觉触敏显示器。在一些实施方式中，该触敏显示器111包括在被电场激励时展示尺寸或形状改变的材料。

该装置800进一步包括被配置为接收图像数据的接收单元801。在一些实施方式中，配置该接收单元801从图像数据捕获装置101接收图像数据。在一些实施方式中，该图像数据捕获装置101包括具有摄像机107的增强现实眼镜。在一些实施方式中，该接收单元801进一步被配置为从触敏显示器111接收输入数据。该输入数据与触觉图像中触摸到的对象相关联。

该装置800进一步包括被配置为在触敏显示器111上以触觉图像来显示图像数据的处理单元803。用户使用触觉可辨别包括在触觉图像中的对象。在一些实施方式中，该处理单元803被进一步配置为连续地、周期性地、按需地或者在用户触摸该触敏显示器111时以触觉图像来显示图像数据。在一些实施方式中，该处理单元803进一步被配置为将接收到的图像数据处理为触觉图像。

在一些实施方式中，该处理单元803被进一步配置为在触敏显示器111上或在第二显示器109上显示所接收的输入数据。在一些实施方式中，第二显示器109被包括在该图像捕获装置101中。

在一些实施方式中，该装置800进一步包括被配置为提供触敏显示器111的地理位置的定位单元805。

该处理单元803可为例如数字信号处理器(DSP)、专用集成电路(ASIC)处理器或现场可编程门阵列(FPGA)处理器或微处理器。

值得注意的是接收单元801和处理单元803不必是两个单独的单元。一个单元，例如处理器可例如被配置为接收、处理和显示图像数据。

以上提及的通信装置103包括以上关于图8描述的装置800。该通信装置103可由移动电话、媒体播放器、平板装置、个人通信系统(PCS)终端、个人数字助理(PDA)、膝上型计算机、掌上电脑接收器、摄像机、电视、雷达或包括设计为传输和/或接收无线、电视、电话和/或雷达信号的换能器的任何装置所组成。

以上提交的通信系统100包括通信装置103。该通信装置103包括以上关于图8描述的装置800以及被配置为捕获图像并向通信装置103发送图像的图像捕获装置101。

本解决方案不限于以上描述的优选实施方式。可使用各种替代选择、改变和等同物。因此，以上的实施方式将不作为对该技术方案范围的限制，该技术方案的范围由附加的权利要求所定义。

值得注意的是，并未指明单复数的元件并不排除复数的情况。

值得强调的是，在说明书中使用的措辞“包括”用于指出规定的特征、整体、步骤或部件的存在，但并不排除一个或多个其他特征、整体、步骤、元件或这些组合的存在或增加。

同样值得强调的是，在不偏离本解决方案的情况下可以与权利要求中出现的顺序不同的另一个顺序执行在所附权利要求中定义的方法的步骤。

Claims

1.一种包括触敏显示器(111)的装置(800)，该装置(800)进一步包括：

接收单元(701)，其被配置为接收图像数据；以及

处理单元(703)，其被配置为在所述触敏显示器(111)上将所述图像数据显示为触觉图像，由此，用户能通过触觉来辨别包括在所述触觉图像中的对象。

2.根据权利要求1所述的装置(800)，其中，所述处理单元(803)被配置为连续地、周期性地、按需地或当用户触摸所述触敏显示器(111)时，在所述触敏显示器(111)上将所述图像数据显示为触觉图像。

3.根据权利要求1-2中任一项所述的装置(800)，其中，所述接收单元(801)被配置为从图像数据捕获装置(101)接收所述图像数据。

4.根据权利要求3所述的装置(800)，其中，所述图像数据捕获装置(101)包括具有摄像机(107)的增强现实眼镜。

5.根据权利要求1-4中任一项所述的装置(800)，其中，所述处理单元(803)被进一步配置为将所接收的图像数据处理为触觉图像。

6.根据权利要求1-5中任一项所述的装置(800)，其中，所述接收单元(801)被进一步配置为从所述触敏显示器(111)接收输入数据，由此，所述输入数据与所述触觉图像中的被触摸对象相关联。

7.根据权利要求6所述的装置(800)，其中，所述处理单元(803)被进一步配置为将所接收的输入数据显示在所述触敏显示器(111)或第二显示器(109)上。

8.根据权利要求1-7中任一项所述的装置(800)，所述装置(800)进一步包括

定位单元(705)，其被配置为提供所述触敏显示器(111)的地理位置。

9.根据权利要求1-7中任一项所述的装置(800)，其中，所述触敏显示器(111)是二维或三维触觉触敏显示器。

10.根据权利要求1-9中任一项所述的装置(800)，其中，所述触敏显示器(111)包括在被电场激励时尺寸或形状表现出改变的材料。

11.一种通信装置(103)，该通信装置(103)包括根据前述权利要求1-10中任一项所述的装置(800)。

12.根据权利要求11所述的通信装置(103)，其中，所述通信装置(103)包括移动电话、媒体播放器、平板装置、个人通信系统终端、个人数字助理、膝上型计算机、掌上型接收器、摄像机、电视、雷达或任何包括被设计为发送和/或接收无线电、电视、电话和/或雷达信号的换能器的设备。

13.一种通信系统(100)，所述通信系统(100)包括：

根据权利要求11-12中任一项所述的通信装置(103)；以及

图像捕获装置(101)，其被配置为捕获图像并将该图像发送到所述通信装置(103)。

14.一种装置(800)中的方法，其中，所述装置(800)包括触敏显示器(111)，所述方法包括以下步骤：

接收(701)图像数据；以及

在所述触敏显示器(111)上将所述图像数据显示(703)为触觉图像，由此，用户能通过触觉来辨别包括在所述触觉图像中的对象。

15.根据权利要求14所述的方法，其中，在所述触敏显示器(111)上连续地、周期性地、按需地或在用户触摸所述触敏显示器(111)时将所述图像数据显示为触觉图像。