CN104423884A - 数据和/或通信设备及其控制方法 - Google Patents

Abstract

本发明涉及一种通过数据设备和/或通信设备及其控制方法，在此设备和控制方法中消除了对应于额定触摸位置的虚拟操作元件被用户感觉的相对位置与视角的依赖关系。感应触摸的屏幕包括在用于表示虚拟操作元件的平面的显示装置之上的平面的、透明的输入装置。图像采集装置采集用户的眼睛的图像。图像分析模块确定图像中眼睛的位置。角度确定模块根据图像中眼睛的位置确定视角。偏差测定模块测定取决于视角的额定触摸位置和屏幕上的实际触摸位置之间的偏差。修正级通过修正实际触摸位置的偏差获得经修正的触摸位置且提供其作为操作信号，该操作信号用于通过在实际触摸位置触摸屏幕操作对应于额定触摸位置的虚拟操作元件。

Description

数据和/或通信设备及其控制方法

技术领域

本发明涉及一种数据和/或通信设备及其控制方法。

背景技术

现代数据设备和/或通信设备，尤其是其移动的构型，例如移动电话机——所谓的智能手机、平板电脑或者导航设备、尤其是用于车辆中的，大部分都被装配有触摸感应的屏幕——所谓的触摸屏，通过该触摸屏，通过用户借助手指或者指示笔的触摸能够实现输入数据和/或命令。在这种触摸感应的屏幕中，一个基本上平地构造的、透明的输入元件定位在基本上平地构造的显示装置之上，该输入元件包括一定数量的感应触摸的输入元件。操作元件，即所谓的虚拟操作元件的图像能够重现于显示装置上。通过触摸每个处于这些虚拟操作元件之上的输入元件来实现对这些虚拟操作元件的操作。

此外还存在这种设备，其还配备有图像输入采集装置，其中该图像采集装置至少布置在该设备自身的与该感应触摸的屏幕基本上相同的壳体侧，并且因此也被称作前摄像机。这种前摄像机的优选的使用目的是例如为视频电话获取用户的面孔。

在操作感应触摸的屏幕时，令大量用户感觉到烦扰的缺点在于，该被用户感知的额定触摸位置与对应的虚拟操作元件的相对位置取决于用户的视角。在此感应触摸的屏幕的表面上的每个位置均被称作额定触摸位置，其应该被用户触摸，以操作特定的、对应于该额定触摸位置的、合适的虚拟操作元件，即每个均刚好为处于虚拟操作元件上方的输入元件或者处于那里的多个输入元件的位置。用户的视角为感应触摸的屏幕的表面和在虚拟操作单元上的用户的视线之间的角度。因此该虚拟操作元件相对于输入元件的布置使得该用户取决于其视角并造成错误状况。

发明内容

本发明的任务是提供一种数据和/或通信设备及其控制方法，其中，消除由用户感知的额定触摸位置与对应的虚拟操作元件之间的相对位置同用户视角的依赖关系。

该任务通过一种数据和/或通信设备解决，其包括：感应触摸的屏幕，其中，基本上构造为平面的、透明的输入装置包括多个输入元件且定位在基本上构造为平面的、设置用于重现虚拟操作元件的显示装置上；图像采集装置，其构造用于采集用户的至少一只眼睛的图像；以及控制装置，其包括：图像分析级，其用于在所采集的图像中确定该用户的至少一只眼睛的位置；角度确定级，其用于根据该采集的图像中的该用户的至少一只眼睛的位置中来确定该用户的视角；偏差确定级，其用于确定取决于视角的在感应触摸的屏幕上的额定触摸位置和由用户选择的实际触摸位置之间的偏差；以及修正级，该修正级用于通过以所确定的偏差修正实际触摸位置来获得经修正的触摸位置并且用于提供作为操作信号的经修正的触摸位置，该操作信号用于通过在实际触摸位置触摸感应触摸的屏幕操作对应于额定触摸位置的虚拟操作元件。

如前所述的图像分析级的基本结构在如面孔识别领域中是已知的，例如对个人身份文件的照片，尤其是护照照片的处理。其设置用于通过模式识别的方法在所采集的图像中确定该用户的至少一只眼睛或者甚至两只眼睛的位置。该定位报告由角度确认级提供，该角度确认级设置用于确定角度，该用户从该角度看向图像采集装置中。由此通过该已知的数据和/或通信设备的结构进一步确定该用户的视角，即该用户从至少一只眼睛的位置看向感应触摸的屏幕、尤其是看向所选择的虚拟操作元件上的视角。

该偏差确认级构造用于确定额定触摸位置和由用户在该感应触摸的屏幕上选择的实际触摸位置之间的偏差。其中在感应触摸的屏幕的表面上的每个位置被称作实际触摸位置，其从用户的视角来看与该确定的、对应于额定触摸位置的合适的虚拟操作元件对准，因此从用户的视角来看处于所谓的虚拟操作元件之上，换言之从用户的视角来看对应于该虚拟操作元件且因此在选择该虚拟操作元件时错误地替代额定触摸位置地被选择和触摸。

根据本发明修正级实现两个功能。一方面其作用于通过以确定的偏差修正实际的触摸位置获得经修正的触摸位置。其中该经修正的触摸位置是这样的触摸位置或者在此表示在感应触摸的屏幕上的协调说明，其在修正地确定额定触摸位置的偏差时响应且因此修正地用于选择期望的虚拟操作元件。另一方面该修正级作用于提供作为操作信号的经修正的触摸位置，以通过在实际触摸位置触摸感应触摸的屏幕来操作对应于额定触摸位置的虚拟操作元件。从而通过以确定的偏差修正该实际的触摸位置，而使得在该实际的触摸位置对该感应触摸的屏幕的表面的触摸选择对应于期望的额定触摸位置的虚拟操作元件。

因此本发明基于这种认识，即在这种环境下触摸位置取决于用户视角的原因在于，该输入装置、即多个输入元件的感应触摸的表面，与处于该输入装置下的显示装置的发光表面具有由设计决定的确定的间距。鉴于感应触摸的屏幕上倾斜的视角产生了视差，该视差造成了在虚拟操作元件和处于其上的输入装置之间的偏差。因此，在当点击绘制在该显示装置上的屏幕键盘上的字母时会例如出现击中相邻的字母的情况。因此通过本发明所解决的该任务在于，借助于图像采集装置、尤其是以内置前摄像机的形式的图像采集装置自动修正数据和/或通信设备中的视差。

本发明能够提高数据和/或通信设备的操作可靠性，因为用户始终击中期望的虚拟操作元件不依赖于数据和/或通信设备的迅速定向，用户根据其瞬时视角在取决于该瞬时视角的实际触摸位置上点击期望的虚拟操作元件。因此通过本发明，即使当视角偏离该感应触摸的屏幕的垂直线时，用户也能够精确操作数据和/或通信设备。数据和/或通信设备甚至识别和补偿相对于该垂直线的更大的偏离。通过提高输入的精确度甚至能够缩小各虚拟元件之间的距离，而不限制用户的操纵性。

根据本发明的数据和/或通信设备的优选的改进，该控制装置还包括间距确定级，其用于从至少一只眼睛的图像中获取用户的至少一只眼睛与图像采集装置之间的间距且该偏差确认级构造用于确定取决于视角以及附加地取决于用户的至少一只眼睛与该图像采集装置的间距的额定触摸位置和由用户在感应触摸的屏幕上选择的实际触摸位置之间的偏差。

通过该发明能够以有利的方式考虑图像采集装置和所选的虚拟操作元件之间的距离的影响，其尤其在大面积的屏幕和在此相对来说紧靠布置的图像采集装置上从一个到另一个操作元件能够具有极大的不同。通过三角计算能够基于图像采集装置和所选的虚拟操作元件之间的设备特定的距离，准确来讲由图像采集装置测定的用户的眼睛在图像采集装置上的角度和用户的眼睛与图像采集装置的距离准确确定视角。

该间距确定级能够可选地以不同的方式实现。优选地其能够构造用于确定在所采集的图像上用户的两眼之间的距离。在用户的实际眼睛间距给定的前提下，其要么能够在用户处一次性测量并且能够输入到数据和/或通信设备中，要么在采用由对大量用户、例如95％的潜在用户的分析得出的这些距离的平均值的情况下，能够通过使用辐射率确定用户的至少一只眼睛与该图像采集装置的距离。在此用户的至少一只眼睛与该图像采集装置的距离反比于所采集的图像中用户的眼睛之间的距离。

在另一个优选的方案中该间距确定模块构造用于确定用户的眼睛的所采集的图像中的虹膜的图像的直径。在用户的实际虹膜直径给定的前提下，其要么能够在用户处一次测定且能够输入到数据和/或通信设备中，要么在采用由对大量用户、例如95％的潜在用户的分析得出的这些虹膜直径的平均值的情况下，能够再次通过使用辐射率确认用户的至少一只眼睛与该图像采集装置的距离。

有利地该图像采集装置能够借助于紧贴在用户的至少一只眼睛上的自动对焦装置、也被称为图像焦点调整装置或者自动调焦器来实现，并且该距离确定模块构造用于根据该对焦装置的对焦调整推导用户的至少一只眼睛与该图像采集装置的距离。

此外上述任务通过用于控制根据上述说明书构造的数据和/或通信设备的方法解决，其中，采集用户的至少一只眼睛的图像；通过分析所采集的图像确定其中该用户的至少一只眼睛的位置；根据所采集的图像中用户的至少一只眼睛的位置确定用户的视角；确定取决于视角的额定触摸位置和由用户在感应触摸的屏幕上选择的实际触摸位置之间的偏差；通过将实际触摸位置修正所测定的偏差来获取经修正的触摸位置；以及提供作为操作信号的经修正的触摸位置，以通过在实际触摸位置触摸该感应触摸的屏幕来操作对应于额定触摸位置的虚拟操作元件。

根据本发明的方法通过上面已经描述的方式能够提高数据和/或通信设备的功能的操纵性和精确性，且通过提高该设备的精度还能够缩小每个虚拟操作元件之间的距离，而不限制用户的可操作性。

根据本发明的方法的有利的技术方案在下文中说明。

根据本发明的方法的优选的改进，根据至少一只眼睛的图像进一步确定用户的至少一只眼睛与图像采集装置的间距并且确定额定触摸位置与由用户在感应触摸的屏幕上选择的实际触摸位置之间的偏差，该偏差取决于视角以及附加地取决于用户的至少一只眼睛与图像采集装置之间的间距。因此如以上所阐明的能够考虑图像采集装置和所选的虚拟操作元件之间的距离的影响。

根据本发明的方法的另一个优选的改进，采集用户的两只眼睛的图像并且通过分析所采集的图像确定其中用户的两只眼睛的中间眼睛位置，以及在另一个方法步骤中可选地代替用户的至少一只眼睛的位置地分析中间眼睛位置。在此两只眼睛的中点、即基本上为用户鼻梁的位置被称为中间眼睛位置。因此能够确定有效的、在用户的两只眼睛的视角上至少大致均匀地调整的经修正的触摸位置。

在本发明的方法的另一个优选的实施方式中，确认图像中两眼位置相互之间的间距作为确定用户的两只眼睛和/或中间眼睛位置与图像采集装置的间距的基础。在由单个的或者统计的测量之一确定的、固定地给定的用户的实际眼睛间距的所述前提下，用户的至少一只眼睛与图像采集装置的间距能够在使用辐射率的过程中重新通过以下方式确定，即用户的至少一只眼睛与图像采集装置的间距反比于所采集的图像中用户的两眼相互间的间距。

根据本发明所的方法的另一个实施方式，确定至少一只眼睛的图像中的虹膜的直径和/或通过调节紧贴于至少一只眼睛的图像上的图像采集装置的自动对焦装置来获得用户的至少一只眼睛和/或中间眼睛位置与图像采集装置的间距作为用于确定用户的至少一只眼睛和/或中间眼睛位置与图像采集装置的间距的基础。用于确定虹膜直径的方法变型具有以下优点，即为了其实施仅仅需要少的设备成本且基于对潜在的用户要么能够容易地测定要么从能够获取具有决定性意义的统计取样基础。如果与此相反该图像采集装置配备有紧贴于至少一只眼睛的图像之上的自动对焦装置，那么其能够实现非常简化的方法进程。

根据本发明的方法可选地也能够借助于数据处理装置或者计算机实现。为此为了解决最初所提出的任务尤其设置一种计算机程序产品，其具有用于执行前述方法的至少一个变型的程序部分。此外该任务还能够通过可机读的、尤其是计算机可读的数据结构解决，其通过前述方法的至少一个变型和/或通过前述方式的至少一个计算机程序产品而产生。此外该任务通过可机读的、尤其是计算机可读的数据载体解决，其记录和/或存储至少一个这种计算机程序产品和/或已经保留至少一个这种用于调用的数据结构。

附图说明

本发明的实施例在附图中示出且在下文中进一步描述，其中相同的元件在所有图中标记为同样的附图标记并且省略对这些元件的重复描述。其中：

图1示出了一种根据本发明构造的数据和/或通信设备的示例；以及

图2示出了根据图1的数据和/或通信设备的细节和其功能的示意图。

具体实施方式

图1中以附图标记100标记数据和/或通信设备，例如移动电话机或者所谓的平板电脑、配备有感应触摸的屏幕101，其包括构造为平面的、透明的、包括多个单体输入元件102的输入装置103，该输入装置定位于构造为平面的、布置用于重现虚拟的操作元件104的显示装置105之上。相对于图1更详细的感应触摸的屏幕101的剖面示意图在图2中再次给出。刚好位于由用户从所有现有的虚拟的操作元件104中选择的虚拟操作元件106之上，在对应于所选的虚拟的操作元件106的额定触摸位置107处布置输入元件108，该输入元件108必须被触摸以操作所选的虚拟的操作元件106并且该输入元件被称作额定输入元件。基于输入装置103及与此同时额定输入元件108的表面109与显示装置105及与此同时所选的虚拟操作元件106的表面115的间距dz，由于输入装置103及因此感应触摸的屏幕101的表面109与用户的视线110之间的用户的视角ax以及从用户眼睛出发到所选的虚拟的操作元件106之上的视线110，代替额定输入元件108地，沿着表面109与额定输入元件108偏差dx的实际输入元件112看起来像位于所选择的虚拟的操作元件106之上。但是该实际输入元件112实际上位于实际触摸位置113处，刚好在另一个虚拟的操作元件114之上，该虚拟的操作元件114与所选的虚拟的操作元件106不同且同样相距dx，其没有根据本发明的方法地通过触摸该实际的输入元件112来违背用户意图地操作。

该数据和/或通信设备100还包括构造用于采集用户的眼睛111的图像的图像采集装置116，该图像采集装置116在所示实施例中有利地作为所谓的前摄像机布置在在该数据和/或通信设备100的壳体117中的感应触摸的屏幕101旁，但是优选地至少大致布置在壳体117的与感应触摸的屏幕101相同的侧，以能够获取在操作该数据和/或通信设备100时其采集区域内相对于数据设备和/或通信设备100的用户的眼睛111的所有常规位置。此外在所述实施例中用户通过其看向图像采集装置116的角度以fx标记；该角度能够通过比较视角ax与感应触摸的屏幕101的表面109和用户看向图像采集装置116的视线方向118之间的角度来测量。以sx标记眼睛111和图像采集装置116之间的间距。图1中还以dpcx标记图像采集装置116和实际触摸位置113之间的间距，此外该间距还取决于数据和/或通信设备100，尤其是感应触摸的屏幕101和壳体117的结构和尺寸。

该数据和/或通信设备100还包括控制装置119。其包括用于在由图像采集装置116采集的图像中、优选地用户的脸部图像，有利地借助于图像识别程序来确定用户的至少一只眼睛的位置或者中间的眼睛位置的图像分析级120，为此该图像分析级120通过图像数据连接121从图像采集装置116中获取图像数据。描述用户的至少一只眼睛的位置的数据通过另一根导线122被传送到角度确定级123，角度确定级123设置用于根据所采集的图像中用户的至少一只眼睛111的位置来确定用户的视角ax。该角度确定级123与偏差测定级125连接，偏差测定模块125用于测定由视角ax确定的额定触摸位置107和由用户在感应触摸的屏幕101上选择的实际触摸位置113之间的偏差dx。为此常数值级129向偏差测定级125发送间距dz。修正级127连接在偏差测定级125旁，该修正级127用于通过以测定的偏差dx修正实际触摸位置113获取经修正的触摸位置以及用于提供作为操作信号的修正位置，该操作信号用于通过在实际触摸位置113触摸感应触摸的屏幕101操作对应于额定触摸位置107的、所选的虚拟操作元件106。以上描述是对以下由表面109的两个坐标中的仅仅一个——标记为x——简化的附图的描述。相同的方式也适用于第二、与之垂直的方向的坐标y，为此在控制装置119中设置用于确定沿着坐标y测量的元件ay的视角的另一个角度确定装置124，用于测定取决于视角ay的偏差dy的另一个偏差测定模块126，以及另一个修正级128。两个坐标由图像采集装置116获取，因此从x方向和y方向上确定至少一只眼睛的位置。该视角ax、ay以及输入装置103及与此同时感应触摸的屏幕101的表面109和从眼睛111到图像采集装置116上的用户视线118之间沿着坐标x、y的角度fx，fy是所采集的图像中眼睛的列位置和行位置的显函数。该函数取决于镜头和图像采集元件，例如半导体、图像采集装置116并且被唯一确定。

在该最简单的实施方式中被测量的角度fx和与此对应的fy假定为视角ax、ay；角度变换能够被取消。当沿着坐标y测量眼睛111与图像采集装置116的间距sx和与此对应的间距sy时，——相对于间距dpcx较大——或者与此对应地沿着坐标y测量的间距dpcy，其作为近似值是可靠的。这些偏差符合

dx＝dz*cot(ax)或者dy＝dz*cot(ay)

在修正级127或者128中用户在实际触摸位置113处的输入以坐标x、y来修正这些偏差且借助于坐标x+dx、y+dy得到被经修正的触摸位置。因此正好击中该用户打算的额定触摸位置107。

在优选的实施中该控制装置119分别包括间距确定模块130、131，间距确定模块130、131用于从眼睛111的图像中确定间距sx或者sy，优选地通过图像中两只眼睛的位置的间距确定、虹膜直径的确定或者紧贴在眼睛111的图像上的自动对焦装置成型。间距sx或者sy也能够简化地近似地假设为恒定的，例如到大约40cm。接着该偏差测定级n125、126被构造为测定取决于间距sx、sy的偏差dx、dy。因此考虑图像采集装置116中视角ax、ay与用户的视线fx、fy的偏离并且优化修正的精确度。此外与该输入装置103连接的级132为实际触摸位置113提供坐标x、y，由此在另一个级133中在考虑数据和/或通信设备100的结构的情况下确定间距dpcx、dpcy并传送给偏差测定级125、126。间距dpcx+dx以及dpcy+dy尤其简单地且不需迭代步骤地确定，其仅仅取决于该数据和/或通信设备100的结构和额定触摸位置107，但是不取决于视角ax、ay。dpcx能够以足够的精度约等于dpcx+dx使用且dpcy能够以足够的精度约等于dpcy+dy使用，因为dx<<dpcx且dx<<dpcx。这些偏差于是符合：

dx＝dz*(dpcx+sx*cos(fx))/(sx*sin(fx))以及

dy＝dz*(dpcy+sy*cos(fy))/(sy*sin(fy))

图像生成级134与显示装置105连接且用于生成用于表示虚拟的操作元件104的图像数据。其坐标在比较模块135中以经修正的触摸位置的坐标x+dx、y+dy标记。该比较结果被传向另一个信号处理装置136。

Claims (10)

1.一种数据和/或通信设备(100)，其包括：

-感应触摸的屏幕(101)，其中，基本上构造为平面的、透明的输入装置(103)包含多个输入元件(102)并且定位在基本上构造为平面的、被设置用于重现虚拟操作元件(104)的显示装置(105)上；

-图像采集装置(116)，其被构造用于采集用户的至少一只眼睛(111)的图像；以及

-控制装置(119)，所述控制装置(119)包含：

-图像分析级(120)，所述图像分析级(120)用于确定所采集的图像中的所述用户的所述至少一只眼睛(111)的位置；

-角度确定级(123、124)，所述角度确定级(123、124)用于根据所述所采集的图像中的所述用户的所述至少一只眼睛(111)的所述位置来确定所述用户的视角(ax、ay)；

-偏差确定级(125、126)，所述偏差测定级(125、126)用于确定取决于所述视角(ax、ay)的额定触摸位置(107)和由所述用户在所述感应触摸的屏幕(101)上选择的实际触摸位置(113)之间的偏差(dx、dy)；以及

-修正级(127、128)

-其用于通过将所述实际触摸位置(113)修正所述偏差(dx、dy)来获取经修正的触摸位置；以及

-用于提供作为操作信号的所述经修正的触摸位置，所述操作信号用于通过在所述实际触摸位置(113)触摸所述感应触摸的屏幕(101)来操作对应于(106)所述额定触摸位置(107)的虚拟操作元件(104)。

2.根据权利要求1所述的数据和/或通信设备(100)，其特征在于，所述控制装置(119)还包括间距确定级(130、131)，所述间距确定级(130、131)用于根据所述至少一只眼睛(111)的图像确定所述用户的所述至少一只眼睛(111)与所述图像采集装置(116)之间的间距(sx、sy)并且所述偏差确定级(125、126)构造用于确定所述额定触摸位置(107)和由所述用户在所述感应触摸的屏幕(101)上选择的所述实际触摸位置(113)之间的、取决于所述视角(ax、ay)以及附加地取决于所述用户的所述至少一只眼睛(111)与所述图像采集装置(116)的间距(sx、sy)的所述偏差(dx、dy)。

3.一种用于控制根据权利要求1或2构造的数据和/或通信设备(100)的方法，其中

-采集用户的至少一只眼睛(111)的图像；

-通过在所述数据和/或通信设备中分析所采集的图像来确定所述用户的所述至少一只眼睛(111)的位置；

-根据所述所采集的图像中的所述至少一只眼睛(111)的所述位置确定所述用户的视角(ax、ay)；

-确定取决于所述视角(ax、ay)的额定触摸位置(107)和由所述用户在感应触摸的屏幕(101)上选择的实际触摸位置(113)之间的偏差；

-通过将所述实际触摸位置(113)修正所测定的偏差(dx、dy)来获取经修正的触摸位置；以及

-提供作为操作信号的所述经修正的触摸位置，所述操作信号用于通过在所述实际触摸位置(113)触摸所述感应触摸的屏幕(101)来操作对应于所述额定触摸位置(107)的虚拟操作元件(106)。

4.根据权利要求3所述的方法，其特征在于，根据所述至少一只眼睛(111)的所述图像进一步确定所述用户的所述至少一只眼睛(111)与所述图像采集装置的间距(sx、sy)并且确定所述额定触摸位置(107)和由所述用户在所述感应触摸的屏幕(101)上选择的所述实际触摸位置(113)之间的、取决于所述视角(ax、ay)以及附加地取决于所述用户的所述至少一只眼睛(111)与所述图像采集装置(116)之间的间距(sx、sy)的所述偏差(dx、dy)。

5.根据权利要求3或4所述的方法，其特征在于，采集用户的两只眼睛(111)的图像并通过在所述数据和/或通信设备中分析所采集的图像来确定所述用户的所述两只眼睛(111)的中间眼睛位置，以及在另一个方法步骤中可选的代替所述用户的所述至少一只眼睛(111)的所述位置地分析所述中间眼睛位置。

6.根据权利要求5所述的方法，其特征在于，作为确定所述用户的眼睛(111)和/或所述用户的中间眼睛位置与所述图像采集装置(116)之间的所述间距(sx、sy)的基础，确定所述图像中的所述眼睛(111)相互之间的位置的间距。

7.根据权利要求3、4或5所述的方法，其特征在于，作为确定所述用户的所述至少一只眼睛(111)和/或所述用户的中间眼睛位置与所述图像采集装置(116)之间的所述间距(sx、sy)的基础，确定所述至少一只眼睛(111)在所述图像中的虹膜的直径和/或通过调节紧贴在所述至少一只眼睛(111)的所述图像上的所述图像采集装置(116)的自动对焦装置来获取所述至少一只眼睛(111)和/或所述用户的中间眼睛位置与所述图像采集装置(116)的所述间距(sx、sy)。

8.一种计算机程序产品，具有用于执行根据所述权利要求3到7中任一项所述方法的程序部分。

9.一种可机读的、尤其是计算机可读的数据结构，其通过根据所述权利要求3到7中至少一项所述的方法和/或通过至少一个根据权利要求8所述的计算机程序产品而产生。

10.一种可机读的、尤其是计算机可读的数据载体，其上记录和/或存储至少一个根据权利要求8所述的计算机程序产品和/或其上已经保留至少一个根据权利要求9所述的用于调用的数据结构。