CN106020497A - 显示设备、系统及显示处理方法 - Google Patents

Abstract

本发明公开了一种显示设备、系统及显示处理方法。其中，该显示设备包括：佩戴装置，用于将显示设备佩戴在使用者的头部；显示装置，设置在显示设备中，显示装置的屏幕与使用者的眼睛位置对应；眼球侦测装置，用于侦测使用者的眼球视线位置；图像装置，用于接收根据眼球视线位置处理后的图像，并将图像输出到显示装置进行显示；处理器，用于获取眼球视线位置显示的内容，在确定内容支持交互的情况下，调用传感器，并根据传感器的信号进行交互；传感器，用于收集使用者发出的信号，并将信号传输给处理器。本发明解决了现有技术中显示设备的人机交互方式单一，智能程度低的技术问题。

Description

显示设备、系统及显示处理方法

技术领域

本发明涉及显示领域，具体而言，涉及一种显示设备、系统及显示处理方法。

背景技术

随着技术的发展，显示设备被越来越广泛的人群使用。但相关技术中，显示设备需要用户对其进行手动操作才会执行相应操作，因此存在人机交互方式单一，智能程度低的问题，影响了用户的体验效果。

针对现有技术中显示设备的人机交互方式单一，智能程度低的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种显示设备、系统及显示处理方法，以至少解决现有技术中显示设备的人机交互方式单一，智能程度低的技术问题。

根据本发明实施例的一个方面，提供了一种显示设备，包括：佩戴装置，用于将所述显示设备佩戴在使用者的头部；显示装置，设置在所述显示设备中，所述显示装置的屏幕与所述使用者的眼睛位置对应；眼球侦测装置，用于侦测所述使用者的眼球视线位置；图像装置，用于接收根据所述眼球视线位置处理后的图像，并将所述图像输出到所述显示装置进行显示；处理器，用于获取所述眼球视线位置显示的内容，在确定所述内容支持交互的情况下，调用传感器，并根据所述传感器的信号进行交互；所述传感器，用于收集所述使用者发出的信号，并将所述信号传输给所述处理器。

进一步地，所述图像中的所述眼球视线位置的部分的分辨率和/或色彩深度高于所述图像中的其他位置。

进一步地，所述传感器包括以下至少之一：肌肉电流传感器、脑电信号传感器。

进一步地，还包括以下至少之一：触摸感应单元，用于接收触摸信号，其中，所述触摸信号用于对所述显示设备进行控制；语音识别单元，用于接收语音信号并进行识别，其中，所述语音信号用于对所述显示设备进行控制。

进一步地，还包括：生物特征识别单元，用于获取所述使用者的生物特征，并根据所述生物特征判断所述使用者的权限。

进一步地，所述生物特征识别单元包括以下至少之一：指纹识别单元、虹膜识别单元。

进一步地，还包括：通信模块，用于与服务器进行通信，从所述服务器上接收所述图像并将所述图像发送给所述图像装置。

进一步地，所述通信模块包括以下至少之一：有线通信网络模块、无线通信网络模块。

进一步地，所述显示装置包括半导体显示装置，所述半导体显示装置包括以下至少之一：液晶显示装置、电子墨水显示装置、OLED显示装置。

根据本发明实施例的另一方面，还提供了一种显示系统，包括上述内容所提供的任一种所述的显示设备，还包括：服务器，用于获取眼球视线侦测结果，根据所述眼球视线侦测结果对图像进行处理，并将处理后的图像传输给所述显示设备。

根据本发明的另一方面，还提供了一种显示处理方法，包括：侦测佩戴显示设备的使用者的眼球视线位置；接收根据所述眼球视线位置处理后的图像，并将所述图像输出到显示装置进行显示；获取所述眼球视线位置显示的内容；在确定所述内容支持交互的情况下，收集所述使用者发出的信号；根据所述信号进行所述内容的交互处理。

进一步地，所述图像中的所述眼球视线位置的部分的分辨率和/或色彩深度高于所述图像中的其他位置。

进一步地，收集所述使用者发出的信号包括以下至少之一：通过肌肉电流传感器收集所述信号、通过脑电信号传感器收集所述信号。

进一步地，所述方法还包括以下至少之一：接收触摸信号，其中，所述触摸信号用于对显示设备进行控制；接收语音信号并进行识别，其中，所述语音信号用于对所述显示设备进行控制。

进一步地，所述方法还包括：获取所述使用者的生物特征，并根据所述生物特征判断所述使用者的权限。

进一步地，所述生物特征包括以下至少之一：指纹、虹膜。

进一步地，接收根据所述眼球视线位置处理后的图像包括：与服务器进行通信，从所述服务器上接收所述图像。

采用本发明上述实施例，先通过眼球侦测装置获取显示设备使用者的眼球视线位置，再由处理器获取对眼球视线位置处理后的图像所显示的内容，并且在该内容支持交互的情况下，根据使用者发送的信号与所显示的内容进行交互，达到了无需用户手动操作就能够与显示设备进行交互的目的，实现了用户与显示设备交互方式的多样化，提高了显示设备的智能程度，进而解决了现有技术中显示设备的人机交互方式单一，智能程度低的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种显示设备的示意图；以及

图2是根据本发明实施例的一种显示系统的示意图；

图3是根据本发明实施例的显示处理方法的流程图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

根据本发明实施例，提供了一种显示设备。图1是根据本发明实施例的一种显示设备的示意图。如图1所示，该显示设备包括佩戴装置11、显示装置13、眼球侦测装置15、图像装置17、处理器19和传感器21，其中：

佩戴装置11，用于将显示设备佩戴在使用者的头部。

显示装置13，设置在显示设备中，显示装置的屏幕与使用者的眼睛位置对应。

眼球侦测装置15，用于侦测使用者的眼球视线位置。

图像装置17，用于接收根据眼球视线位置处理后的图像，并将图像输出到显示装置进行显示。

处理器19，用于获取眼球视线位置显示的内容，在确定内容支持交互的情况下，调用传感器，并根据传感器的信号进行交互，也即，根据传感器采集到的信号与显示的内容进行交互。

传感器21，用于收集使用者发出的信号，并将信号传输给处理器。

采用本发明上述实施例，先通过眼球侦测装置获取显示设备使用者的眼球视线位置，再由处理器获取对眼球视线位置处理后的图像所显示的内容，并且在该内容支持交互的情况下，根据使用者发送的信号与所显示的内容进行交互，达到了无需用户手动操作就能够与显示设备进行交互的目的，实现了用户与显示设备交互方式的多样化，提高了显示设备的智能程度，进而解决了现有技术中显示设备的人机交互方式单一，智能程度低的技术问题。

可选地，该显示设备为头戴式显示设备。在本发明实施例中，当使用者佩戴好显示设备，并正常启动后，该显示设备的系统初始化，眼球侦测装置和传感器开始工作。

可选地，在本发明实施例中，显示装置包括显示屏。

具体地，该显示屏的显示方式并不限于平面显示，还可以曲面显示或柔性显示，及三维立体显示等。

可选地，显示屏可以包括：半导体显示屏幕，上述半导体显示屏幕包括但不局限于：液晶屏、电子墨水屏幕、OLED屏幕。

具体地，显示屏的物理工艺也不限于液晶屏，也可以使用OLED或电子墨水等，还可以使用有机电致发光屏幕等半导体显示屏，以及非半导体显示屏。其中，所用透明导电物材料也不限于是纳米铟锡金属氧化物(简称ITO)，还可以使用纳米银、石墨烯以及metal mesh(金属网格)等形式。

可选地，眼球侦测装置在侦测使用者的眼球视线位置的同时，还可以计时。在显示装置记录眼球视线在显示屏上的坐标区域及视线运动轨迹，以及眼球视线运动时间。所述运动包含眼球视线聚焦在某一区域持续静止的情形。需要说明的是，此坐标区域不会超过显示屏的显示范围。

可选地，在本发明实施例中，图像中的眼球视线位置的部分的分辨率和/或色彩深度高于图像中的其他位置。

可选地，传感器包括以下至少之一：肌肉电流传感器、脑电信号传感器。

脑电信号是脑神经细胞电生理活动在大脑皮层或头皮表面的反映。脑电信号传感器可以是侵入式或非侵入式，或者二者的结合。侵入式是把电极植入脑内，来获取脑电信号。非侵入式则电极不需要植入脑内。

可选地，显示设备还包括信号处理单元，当传感器为脑电信号传感器时，脑电信号传感器感测使用者的脑电信号，信号处理单元根据感测到的使用者的脑电信号，进行脑电信号特征提取和特征识别，分析使用者操作意图，并转换成控制信号。

为了方便使用者更加方便的使用显示设备，可选地，在本发明实施例中，显示设备还包括以下至少之一：触摸感应单元，用于接收触摸信号，其中，触摸信号用于对显示设备进行控制；语音识别单元，用于接收语音信号并进行识别，其中，语音信号用于对显示设备进行控制。

当显示装置放置于使用者的肢体或未放置在使用者身体上时，用户可以通过发送触摸信号或语音信号这两种辅助方式实现与显示设备的交互。

其中，触控的方式不限于电容式触控、可包含超声波触控等方式。

在本发明实施例中，通过在显示设备中增加触摸感应单元和/或语音识别单元，达到了方便用户操作显示设备的目的，提高了用户体验。

为了进一步提高显示设备安全性，在本发明实施例中，显示设备还包括生物特征识别单元，该生物特征识别单元用于获取使用者的生物特征，并根据生物特征判断使用者的权限。

其中，生物特征可以是指纹或者虹膜，或者其它能区别出用户身份的标识特征。

所述生物特征数据可以是单生物特征或多生物特征数据，如纹理(包括指纹、掌纹、静脉及相关附属特征，如汗孔等)、生物膜(如虹膜、视网膜等)、面孔、耳道、语音(声纹)、体形，个人习惯(例如敲击屏幕的力度和频率)等。

具体地，生物特征识别单元可以将接收到或者采集到的生物特征与预先存储的生物特征进行对比，如果二者一致，说明上述生物特征对应的用户具有操作显示设备的权限，显示设备响应该用户的操作，如果二者不一致，说明上述生物特征对应的用户不具有操作显示设备的权限，则显示设备不响应该用户的操作。

在本发明实施例中，通过在显示设备中设置有生物特征识别单元，没有权限的用户无法操作显示设备，达到了提高显示设备的使用安全性的技术效果，避免了用户信息泄露等情况的出现。

可选地，生物特征识别单元包括以下至少之一：指纹识别单元、虹膜识别单元。

具体地，若通过指纹这种生物特征来识别用户权限，则生物特征识别单元只包括指纹识别单元；若通过虹膜这种生物特征来识别用户权限，则生物特征识别单元只包括虹膜识别单元；若通过指纹和虹膜这两种生物特征共同来识别用户权限，则生物特征识别单元包括指纹识别单元和虹膜识别单元。

可选地，生物特征识别单元还可以包含图像采集单元，可以通过可见光或红外光获取生物特征图像，以对用户进行鉴权。

可选地，在本发明实施例中，显示设备还包括：通信模块。该通信模块用于与服务器进行通信，从服务器上接收图像并将图像发送给图像装置。

具体地，服务器会对眼球视线位置进行处理，并通过通信模块将眼球视线位置处理后的图像发送给图像装置。

具体地，服务器中包括图像处理单元，接收原始图像时，将眼球视线的侦测结果(即，眼球视线位置)提供给图像装置；根据侦测结果，定义原始图像中的眼球聚焦区域及其余区域。对其余区域进行影像处理，使得其余区域的分辨率及色彩深度两者中的至少之一低于眼球聚焦区域，生成处理后的影像(即，眼球视线位置处理后的图像)，并将处理后的影像通过图像装置输出至显示装置进行显示。

可选地，通信模块包括以下至少之一：有线通信网络模块、无线通信网络模块。

具体地，可以通过局域网或广域网，以无线形式、有线形式、光纤网络或电信号的形式传输。

可选地，显示设备还包括内容分析单元。该分析单元用于对眼球聚焦区域显示的内容进行分析，判断该内容是否支持输入交互，并同时进行脑电信号的感测与处理过程。

需要说明的是，内容是否支持交互的判断与脑电信号的感测与处理过程是并列执行的，因为是否支持交互判断的下一步执行需要用到脑电信号的感测与处理过程的输出结果。

具体地，支持输入交互的内容为：例如，对于一个应用程序(APP)图标或对话框等，可支持点击或光标输入；不支持输入交互的内容如：某类型网页(不含超链接或其它输入界面)或某视频画面(不包含控制条)不支持输入。需要说明的是，视频画面的控制条是可以支持输入的。

若判断出输入交互不支持，则依据脑电信号的感测与处理过程输出结果，判断是否调整显示画面。若是，则调整画面；若否，则保持当前显示画面。其中，调整显示画面包含放大、缩小、画面上下或左右移动、旋转、翻转等。

若判断出输入交互支持，则依据脑电信号的感测与处理过程输出结果，判断是否执行输入操作。若是，则执行相应输入；若否，保持当前显示画面。

需要说明的是，本发明上述实施例中，除脑电信号传感器需要佩戴在使用者的头部和/或植入使用者脑内以外，其它部件或装置可以放置于使用者身体其它部位，或者不放置于使用者身体上，可根据环境使用情况(如室内居家、室外等)任意组合。这些单元或装置之间可以使用有线或无线形式连接。

通过上述描述可知，本发明实施例提供的显示设备不仅提高了人机交互的效率，还提高人机交互的智能化程度。

根据本发明实施例，还提供了一种显示系统。如图2所示，该显示系统包括显示设备100和服务器200。

其中，显示设备100为本发明实施例上述内容所提供的任一种显示设备。服务器200用于获取眼球视线位置，根据眼球视线位置对图像进行处理，并将处理后的图像传输给显示设备。

在本实施例中还提供了一种显示处理方法，图3是根据本发明实施例的显示处理方法的流程图，如图3所示，该流程包括如下步骤：

步骤S302，侦测佩戴着显示设备的使用者的眼球视线位置；

步骤S304，接收根据眼球视线位置处理后的图像，并将图像输出到显示装置进行显示；

步骤S306，获取眼球视线位置显示的内容；

步骤S308，在确定该内容支持交互的情况下，收集使用者发出的信号；

步骤S310，根据使用者发出的信号进行内容的交互处理。

通过上述步骤，不仅仅能够根据使用这的眼球视线位置来找到使用者此时所使用的内容，而且还可以判断出使用者此时是在观看画面，还是希望能够在画面的这个位置进行输入，然后可以收集使用者发出的信号来进行交互。这种交互的处理方法，在一定程度上解决了类似于VR(Virtual Reality，即虚拟现实)这种设备输入不方便的问题，提供了使用的便捷性。

为了取得更好的显示效果，可以对眼球视线位置的部分图像进行调整，以突出显示效果，例如，该图像中的眼球视线位置的部分的分辨率和/或色彩深度可以高于该图像中的其他位置。通过这样的处理方式，可以提高使用者的用户体验。

收集使用者发出的信号的方式有很多种，一种比较简单的方式是可以提示用户发出声音，然后通过声音收集装置进行收集，并进一步的判断用户所希望进行交互的内容。随着技术的发展，限制使用肌肉电流或者脑电进行控制的方式也得到了比较好的发展，此时，还可以通过肌肉电流传感器和/或脑电信号传感器收集该信号。相比于声音的收集方式，这两种收集的方式会相对安静一些，并且能增加产品的科技感。在使用脑电信号或者肌肉电流方式时，可以首先进行训练，让使用者训练出脑电信号或者肌肉电流与交互的信号的对应关系，然后在收集到这两种信号中的至少之一时，就可以根据预先训练的对应关系查出使用者希望进行交互的内容。

在一个可选的实施方式中，语音信号还可以用来控制显示设备，例如，可以说出“关机”“开机”等，还可以使用“亮度调高”“声音调高”等命令来对显示设备进行控制。如果在意声音的控制方式，还可以在显示设备上设置一块触摸板或者触摸屏幕，通过触摸信号来对显示设备进行控制，例如，可以通过在触摸板或触摸屏幕不同位置接收到的触摸信号来判断使用者希望发出的控制命令，另外，还可以使用不同的触摸方式来表示不同的控制命令。

为了使显示设备的使用更加安全，还可以获取使用者的生物特征(例如，指纹和/或虹膜)，并根据生物特征判断该使用者的权限。

随着使用者所使用的产品的计算能力的不断加强，图像的处理可以在使用者所使用的产品上进行，当然，在某种情况下，服务器的计算能力优于用户产品，此时，显示时，设备可以与服务器进行通信，从该服务器上接收图像。

采用本发明上述实施例，先通过显示设备中的眼球侦测装置获取显示设备使用者的眼球视线位置，再由显示设备中的处理器获取对眼球视线位置处理后的图像所显示的内容，并且在该内容支持交互的情况下，根据使用者发送的信号与所显示的内容进行交互，达到了无需用户手动操作就能够与显示设备进行交互的目的，实现了用户与显示设备交互方式的多样化，提高了显示设备的智能程度，进而解决了现有技术中显示设备的人机交互方式单一，智能程度低的技术问题。

此外，还可以通过显示设备中的内容分析单元、眼球侦测装置、传感器等不同功能的部件组合分析，对显示内容、用户视线停留时间及脑电信号进行分析等，分析并记录该显示设备使用的用户行为。服务器可以根据显示设备记录的数据，运用大数据等分析手段，分析用户行为习惯，并借助人工智能的技术手段，通过对显示设备的配置进行更新升级，进一步提高智能化程度，增强人机交互的便捷性。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (17)

1.一种显示设备，其特征在于，包括：

佩戴装置，用于将所述显示设备佩戴在使用者的头部；

显示装置，设置在所述显示设备中，所述显示装置的屏幕与所述使用者的眼睛位置对应；

眼球侦测装置，用于侦测所述使用者的眼球视线位置；

图像装置，用于接收根据所述眼球视线位置处理后的图像，并将所述图像输出到所述显示装置进行显示；

处理器，用于获取所述眼球视线位置显示的内容，在确定所述内容支持交互的情况下，调用传感器，并根据所述传感器的信号进行交互；

所述传感器，用于收集所述使用者发出的信号，并将所述信号传输给所述处理器。

2.根据权利要求1所述的显示设备，其特征在于，所述图像中的所述眼球视线位置的部分的分辨率和/或色彩深度高于所述图像中的其他位置。

3.根据权利要求1所述的显示设备，其特征在于，所述传感器包括以下至少之一：肌肉电流传感器、脑电信号传感器。

4.根据权利要求1所述的显示设备，其特征在于，还包括以下至少之一：

触摸感应单元，用于接收触摸信号，其中，所述触摸信号用于对所述显示设备进行控制；

语音识别单元，用于接收语音信号并进行识别，其中，所述语音信号用于对所述显示设备进行控制。

5.根据权利要求1所述的显示设备，其特征在于，还包括：

生物特征识别单元，用于获取所述使用者的生物特征，并根据所述生物特征判断所述使用者的权限。

6.根据权利要求5所述的显示设备，其特征在于，所述生物特征识别单元包括以下至少之一：指纹识别单元、虹膜识别单元。

7.根据权利要求1所述的显示设备，其特征在于，还包括：

通信模块，用于与服务器进行通信，从所述服务器上接收所述图像并将所述图像发送给所述图像装置。

8.根据权利要求7所述的显示设备，其特征在于，所述通信模块包括以下至少之一：

有线通信网络模块、无线通信网络模块。

9.根据权利要求1所述的显示设备，其特征在于，所述显示装置包括：

半导体显示装置，所述半导体显示装置包括以下至少之一：液晶显示装置、电子墨水显示装置、OLED显示装置。

10.一种显示系统，其特征在于，包括权利要求1至9中任一项所述的显示设备，还包括：

服务器，用于获取眼球视线侦测结果，根据所述眼球视线侦测结果对图像进行处理，并将处理后的图像传输给所述显示设备。

11.一种显示处理方法，其特征在于，包括：

侦测佩戴着显示设备的使用者的眼球视线位置；

接收根据所述眼球视线位置处理后的图像，并将所述图像输出到显示装置进行显示；

获取所述眼球视线位置显示的内容；

在确定所述内容支持交互的情况下，收集所述使用者发出的信号；

根据所述信号进行所述内容的交互处理。

12.根据权利要求11所述的方法，其特征在于，所述图像中的所述眼球视线位置的部分的分辨率和/或色彩深度高于所述图像中的其他位置。

13.根据权利要求11所述的方法，其特征在于，收集所述使用者发出的信号包括以下至少之一：通过肌肉电流传感器收集所述信号、通过脑电信号传感器收集所述信号。

14.根据权利要求11所述的方法，其特征在于，所述方法还包括以下至少之一：

接收触摸信号，其中，所述触摸信号用于对显示设备进行控制；

接收语音信号并进行识别，其中，所述语音信号用于对所述显示设备进行控制。

15.根据权利要求11所述的方法，其特征在于，所述方法还包括：

获取所述使用者的生物特征，并根据所述生物特征判断所述使用者的权限。

16.根据权利要求15所述的方法，其特征在于，所述生物特征包括以下至少之一：指纹、虹膜。

17.根据权利要求11至16中任一项所述的方法，其特征在于，接收根据所述眼球视线位置处理后的图像包括：

与服务器进行通信，从所述服务器上接收所述图像。