CN111309183B - 触控显示系统及其控制方法 - Google Patents

触控显示系统及其控制方法 Download PDF

Info

Publication number
CN111309183B
CN111309183B CN202010119465.4A CN202010119465A CN111309183B CN 111309183 B CN111309183 B CN 111309183B CN 202010119465 A CN202010119465 A CN 202010119465A CN 111309183 B CN111309183 B CN 111309183B
Authority
CN
China
Prior art keywords
user
touch
touch display
display panel
range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010119465.4A
Other languages
English (en)
Other versions
CN111309183A (zh
Inventor
张晓�
揭育顺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN202010119465.4A priority Critical patent/CN111309183B/zh
Publication of CN111309183A publication Critical patent/CN111309183A/zh
Priority to US17/414,375 priority patent/US11803232B2/en
Priority to PCT/CN2020/140694 priority patent/WO2021169569A1/zh
Application granted granted Critical
Publication of CN111309183B publication Critical patent/CN111309183B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412Digitisers structurally integrated in a display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0428Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by sensing at the edges of the touch surface the interruption of optical paths, e.g. an illumination plane, parallel to the touch surface which may be virtual
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种触控显示系统及其控制方法。该触控显示系统包括触控显示面板及控制器。触控显示面板包括触控区域,且被配置为感应用户的触控操作;控制器与触控显示面板耦接,配置为获取待操作触控显示面板的用户的体征信息,且根据所述用户的体征信息,调整用于所述用户的在所述触控区域中进行触控操作的触控范围。

Description

触控显示系统及其控制方法
技术领域
本公开的实施例涉及一种触控显示系统及其控制方法。
背景技术
触摸屏(Touch Screen)又称为“触控屏”,是一种可接收用户通过触摸 方式输入的输入信号的感应式显示装置。在很多电子设备中都使用了触摸 屏来显示图形和文本,以及提供可供用户与电子设备进行交互的用户界 面。触摸屏检测并响应于该触摸屏上的触摸操作。电子设备可以在触摸屏 上显示一个或多个软按键、菜单以及其他用户界面对象。用户可以通过接 触界面对象所在的位置,进行滑动、点击、长按等操作,来与电子设备进行交互。例如,可以在教室、会议室中设置大尺寸的触摸屏,通过触摸屏 上的书写应用方便用户直接与触摸屏进行书写交互以用于教学、会议。
发明内容
本公开至少一个实施例提供了一种触控显示系统,该触控显示系统包括 触控显示面板以及控制器。触控显示面板包括触控区域,且被配置为感应用 户的触控操作;控制器,与所述触控显示面板耦接,配置为获取待操作触控 显示面板的用户的体征信息,且根据所述用户的体征信息,调整用于所述用 户的在所述触控区域中进行触控操作的触控范围。
例如,本公开至少一个实施例提供的触控显示系统还包括设置在所述触 控显示面板的周边的至少一个光发射器以及至少一个光接收器,所述至少一 个光发射器以及所述至少一个光接收器分别与所述控制器耦接;所述控制器 配置为获取所述至少一个光接收器的光线信息,根据所述光线信息确定被用 户阻挡的光线对应的光发射器以及所述被用户阻挡的光线对应的光发射器 周边的光线未被阻挡的光发射器,并根据所述被用户阻挡的光线对应的光发 射器以及所述光线未被阻挡的光发射器确定用户的体征信息在所述触控显 示面板上的投影的位置,所述控制器还配置为根据所述用户的体征信息在所 述触控显示面板上的投影的位置确定所述触控范围,其中,所述用户的体征 信息包括用户的头顶与所述触控显示面板的位置所在的地面的相对高度,所 述至少一个光发射器配置为发射非可见光,以及所述至少一个光接收器配置 为接收非可见光。
例如,在本公开至少一个实施例提供的触控显示系统中,所述控制器配 置为获取待操作触控显示面板的用户的体征信息,包括:实时获取所述用户 在所述触控区域附近的体征信息。例如,在本公开至少一个实施例提供的触 控显示系统,还包括:图像采集装置,与所述控制器耦接,配置为获取包含 触控区域附近的用户的用户图像信息;所述控制器配置为根据所述用户图像 信息获取所述用户的体征信息。
例如,本公开至少一个实施例提供的触控显示系统,还包括:测距装置, 配置为获取所述用户与所述触控显示面板的水平距离;其中,所述控制器还 与所述测距装置耦接,且被配置为根据所述水平距离获取所述用户相对于所 述触控区域的体征信息。所述体征信息包括所述用户的头顶、肩膀、手肘及 手腕至少之一与所述触控显示面板的位置所在的地面的相对高度。
例如,在本公开至少一个实施例提供的触控显示系统中,所述图像采集 装置还配置为获取的所述用户在所述触控显示面板的显示侧前的用户图像 信息;所述控制器还配置为根据所述用户图像信息获取所述用户的头顶、肩 膀、手肘及手腕至少之一相对于所述触控显示面板的位置所在的地面的相对 高度。
例如,在本公开至少一个实施例提供的触控显示系统中,所述测距装置 还配置为获取所述用户在所述触控显示面板前距离所述触控显示面板的显 示侧的一个或多个位置的一个或多个的水平距离;所述控制器还配置为根据 所述水平距离和所述用户图像信息获取所述用户的头顶、肩膀、手肘及手腕 至少之一相对于所述触控显示面板的位置所在的地面的相对高度。
例如,在本公开至少一个实施例提供的触控显示系统中,所述控制器还配置 为根据所述用户图像信息利用图像识别方法确定所述用户的头顶、肩膀、手 肘及手腕至少之一相对于所述图像采集装置的位置信息,且根据所述位置信 息、所述用户与所述触控显示面板的水平距离、以及所述图像采集装置相对 于所述触控显示面板的位置所在地面的相对高度,得到所述用户的头顶、肩 膀、手肘及手腕至少之一相对于所述触控显示面板的位置所在的地面的相 对高度。
例如,在本公开至少一个实施例提供的触控显示系统中,所述测距装置 包括至少两个不同位置的摄像头,至少两个所述摄像头彼此分离设置在所述 触控显示面板上,所述控制器配置为通过所述两个摄像头分别同时拍摄得到 的用户图像信息计算获取用户在所述触控显示面板前距离所述触控显示面 板的显示侧的一个或多个位置的一个或多个水平距离。
例如,本公开至少一个实施例提供的触控显示系统中,所述控制器被配 置为调整用于所述用户的在所述触控区域中触控操作的触控范围,包括:基 于所述用户的头顶、肩膀、手肘及手腕至少之一相对于所述触控显示面板的 位置所在的地面的相对高度,获取用于所述用户在所述触控区域中的触控范 围。
例如,本公开至少一个实施例提供的触控显示系统中,所述控制器被配 置为根据所述用户相对于所述触控区域的体征信息,调整用于所述用户的在 所述触控区域中的触控范围,包括:获取所述触控显示面板的显示侧前方所 述用户的所在位置的头顶、肩膀、手肘及手腕至少之一相对于所述触控显示 面板的位置所在的地面的相对高度;根据所述头顶的相对高度确定所述触控 显示面板上相对于所述触控显示面板的位置所在的地面相同高度位置,将所 述相同高度位置作为所述头顶相对应的显示位置;将所述用户的肩膀与手腕 的相对高度的差值作为第一长度;将所述用户的头顶与手肘的相对高度的差 值作为第二长度;以及将所述头顶相对应的显示位置作为调整后的触控起始 点坐标,由所述第一长度与所述第二长度确定所述用户的触控范围;所述用 户的触控范围为以所述第一长度作为一边长、以所述第二长度作为相邻的另 一边长的矩形范围,所述触控起始点坐标为所述矩形范围的上顶点。
例如,在本公开至少一个实施例提供的触控显示系统中,所述控制器还 配置为确定所述调整后的触控范围后,当所述用户在调整后的触控范围内进 行触控操作时,根据所述触控操作在触控范围内的位置,调整所述触控范围 内对应于所述触控操作的待显示内容的显示方式。
例如,本公开至少一个实施例提供的触控显示系统中,所述控制器还配 置为当用户在调整后的触控范围内进行书写操作时,若写入所述触控范围内 的书写内容位于所述触控范围的边界处,所述书写内容被换行显示。
例如,本公开至少一个实施例提供的触控显示系统中,所述体征信息还 包括所述用户的常用手信息;所述控制器还配置为获取所述用户的常用手信 息,若所述用户的常用手信息为右手,则所述触控起始点坐标为所述矩形范 围的左上顶点,若取所述用户的常用手信息为左手,则所述触控起始点坐标 为所述矩形范围的右上顶点。
例如,本公开至少一个实施例提供的触控显示系统,还包括:存储装置, 其中,所述存储装置包括用户信息库,所述用户信息库包括所述用户的身份 信息以及所述用户的体征信息,所述身份信息包括用户的身份验证信息,所 述身份验证信息为用户的生物特征信息或登录数据库的密码信息。
例如,本公开至少一个实施例提供的触控显示系统中,所述控制器还配 置为获取所述用户信息库中预存的所述用户的体征信息。
例如,本公开至少一个实施例提供的触控显示系统中,所述控制器还配 置为获取预存的体征信息之前,获取所述用户的身份信息,以及获取与所述 用户身份信息对应的体征信息。
例如,本公开至少一个实施例提供的触控显示系统中,所述控制器还配 置为判断所述调整之后的触控范围的边界坐标是否超出所述触控区域,若是, 发出提醒信息提醒所述用户移动身体或手臂位置,并重新确定所述矩形范围, 以使得所述矩形范围的触控范围全部在所述触控显示面板的所述触控区域 内。
例如,本公开至少一个实施例提供的触控显示系统中,所述控制器还配 置为根据用户呼出调整触控范围的输入指令启动调整用于所述用户的在所 述触控区域中进行触控操作的触控范围。
本公开至少一个实施例还提供一种触控显示系统的控制方法,该控制方 法适用于具有触控显示面板的触控显示系统,包括:获取待操作触控显示面 板的用户的体征信息,以及根据所述用户的体征信息,调整用于所述用户的 在所述触控显示面板的触控区域中进行触控操作的触控范围。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例的附图作 简单地介绍,显而易见地,下面描述中的附图仅仅涉及本公开的一些实施例, 而非对本公开的限制。
图1为本公开一实施例提供的一种触控显示系统的示意性框图;
图2为本公开另一实施例提供的一种触控显示系统的示意性框图;
图3A为本公开一实施例提供的用户站立在竖直放置的触控显示系统之 前的示意图;
图3B为本公开另一实施例提供的用户站立在竖直放置的触控显示系统 之前的示意图;
图4为本公开一实施例提供的用户在触控显示面板前距离触控显示面板 的水平距离的计算原理图;
图5为本公开另一实施例提供的用户在触控显示面板前距离触控显示面 板的水平距离的计算原理图;
图6为本公开一实施例提供的一种触控显示系统的控制方法的流程图;
图7为本公开另一实施例提供的一种触控显示系统的控制方法的流程 图;以及
图8为本公开再一实施例提供的一种触控显示系统的控制方法的示意 图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公 开实施例的附图,对本公开实施例的技术方案进行清楚、完整地描述。显然, 所描述的实施例是本公开的一部分实施例,而不是全部的实施例。基于所描 述的本公开的实施例,本领域普通技术人员在无需创造性劳动的前提下所获 得的所有其他实施例,都属于本公开保护的范围。
除非另外定义,本公开使用的技术术语或者科学术语应当为本公开所属 领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第 二”以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分不 同的组成部分。同样,“一个”、“一”或者“该”等类似词语也不表示数量限制, 而是表示存在至少一个。“包括”或者“包含”等类似的词语意指出现该词前面 的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同,而不排 除其他元件或者物件。
触摸屏作为一种可接收用户通过触摸方式输入的输入信号的感应式显 示装置,可以将显示技术、触控技术、通信技术等相结合,从而具有显示、 书写、会议视频等多种功能,并具有反应迅速、易于交互等许多优点。目前, 触摸屏被多种不同业务场景的显示设备采用,例如,具有书写应用的电子白 板、具有书写、视频、文件管理等应用的会议机等平板显示设备,可以很好 地解决无纸化问题,并且在办公、会议和教学场景中得到越来越多的应用。 在上述场景中,触摸屏多为大尺寸(例如,55寸、65寸、75寸、85寸或98 寸等)直立式触摸屏,用户通常需要近距离对触摸屏进行演示、书写等操作。 触摸屏的尺寸大小可以根据实际应用场景(例如办公、会议和教学等)的场 地空间的大小来选择,在经济条件允许的情况下,越大的场地空间需要越大 的触摸屏尺寸。
在使用包含触摸屏的显示设备的过程中,为了能更好地进行交流,用户 通常需要近距离地进行触控操作,比如,文字书写、批注等场景下的操作。 但是,对于大尺寸的触摸屏,用户难以对屏幕上的触控区域的全部范围进行 操作,例如,部分用户由于身高低于屏幕底端,难以对屏幕顶端进行操作; 部分用户由于身高高于屏幕顶端,不便对屏幕底端进行操作。
对此,可以采用可升降的触摸屏来解决上述问题,通过在触摸屏上安装 可升降装置(例如,可升降支架),使用户可根据自身需要调节触摸屏的高 度,从而使不同身高的用户均可在触摸屏的触控区域的全范围内操作触摸屏。 但是,上述升降装置占用的空间较大,并且需要增加硬件成本,例如增加电 机、滑轨、锁定装置等的成本,同时在使用电机的时候还可能出现调整时间 长、有噪音等问题;此外,对于在一定时间内需要多人演示的情况下,频繁 的调整需要浪费大量时间。因此,在用户使用上述大尺寸的触摸屏过程中存 在很多的不便,使得用户体验较差。
本公开至少一实施例提供了一种触控显示系统,该触控显示系统包括触 控显示面板以及控制器。触控显示面板包括触控区域,且被配置为感应用户 的触控操作;控制器与触控显示面板耦接,配置为获取待操作触控显示面板 的用户的体征信息,且根据用户的体征信息,调整用于用户的在触控区域中 进行触控操作的触控范围。
触控显示系统例如为电子白板或会议机等会议或教学等场景下的产品, 可以是液晶、OLED等显示产品,也可以是电磁感应技术等的书写显示产品。
本公开上述实施例提供的触控显示系统可根据用户的体征信息调整用 于用户的在触控区域中进行触控操作的触控范围,使得具有不同体征信息的 用户(例如,不同身高、臂长的用户)可以方便的对触控显示系统进行操作, 由此例如可以适用于大尺寸的触摸装置。
本公开至少一实施例还提供了一种触控显示系统的控制方法,该控制方 法适用于上述具有触控显示面板的触控显示系统,包括:获取待操作触控显 示面板的用户的体征信息,以及根据用户的体征信息,调整用于用户的在触 控显示面板的触控区域中进行触控操作的触控范围。
下面结合附图对本公开的各个实施例及其示例进行非限制性的详细说 明。
本公开至少一实施例提供了一种触控显示系统,图1为本公开一实施例 提供的一种触控显示系统的示意性框图。
如图1所示,触控显示系统10包括触控显示面板120以及控制器130。 触控显示面板120与控制器130耦接。触控显示面板120包括触控区域121, 且被配置为感应用户的触控操作。例如,触控区域121的尺寸例如为55寸、 65寸、75寸、85寸或98寸等。控制器130配置为获取待操作触控显示面板 120的用户的体征信息,且根据用户的体征信息调整用于用户的在触控区域 121中进行触控操作的触控范围。例如,触控显示面板120的用户的体征信 息可以是预先存储的用户的体征信息,例如,身高、肩膀、手肘等的高度, 还可以是用户站立在触控显示面板120之前时,通过控制器130实时获取的 用户的体征信息。
需要说明的是,触控显示面板120可以为内嵌式的或者外挂式的具有触 控以及显示功能的显示面板,触控区域是具有触控以及显示功能的区域。内 嵌式的触控显示面板,例如通过电路共用等方式,将实现触控功能的电路内 嵌在显示面板的显示区内部,以实现触控以及显示的双重功能。外挂式的触 控显示面板将具有实现触控功能的电路,例如通过胶粘贴等方式,叠置于具 有显示功能的显示面板的外侧,以实现触控以及显示的双重功能。所以,用 户可以针对触控区域进行触控操作,并且用于触控操作的提示符或触控操作的结果可以直接显示在触控区域中。
例如,该触控显示系统10例如是直立式触摸屏,例如固定设置于支架 上或悬挂于竖墙上,用户可以站立在触控显示系统10前使用手或触控笔等 进行触控操作。
例如,在一些示例中,触控范围可以为全部触控区域,也可以为触控区 域的一部分,用户可在触控范围内对触控显示系统10进行操作,这些操作 包括文字、图画等的书写、滑动、点击、长按等应用或功能等的呼出或退出 时的操作,由此实现交互等。由于这些操作功能在触控显示面板上的位置(太 高或者距离用户太远)可能给用户带来不便(升高、臂长等的限制),需要对 触控范围进行调整。例如,触控显示面板120的触控区域可以覆盖整个触控 显示面板120。
例如,在一些实施例中,调整用于用户的在触控区域121中的触控范围, 在不同的场景有不同的方案。例如,调整后的触控范围可以为触控显示面板 120的全部触控区域121,也可以为触控区域121的一部分,使得用户可方 便地在触控范围内对触控显示系统10进行操作。又例如,调整触控范围具 体为调整某些应用窗口的触控范围或调整显示桌面的触控范围,或调整文档 的触控范围。调整触控范围可以是在原来的触控画面上叠加新的窗口,使得 窗口作为一个用户的调整后的触控范围。
例如,触控显示面板120将感应的触控信息直接或间接传输给控制器 130,控制器130根据当前正在运行的应用程序确定通过获取的触控信息进 行何种操作。例如,用户在触控范围内的书写信息可以被采集、识别,并且 还可以进一步显示到相配合的触控显示面板120上,例如,通过触控显示面 板120对触控范围内书写信息的捕捉,通过例如控制器130按照用户选择的 字体大小和实际书写信息的比例,将书写信息缩放到需要显示的字体。例如, 放大后的书写信息从触控显示面板120的左上角开始显示。
例如,触控显示面板120可以为具有触控以及显示功能的液晶显示面板、 有机发光二极管显示面板、无机发光二极管显示面板等。实现触控功能的模 块(或电路)可以为电阻型、电容型、红外型、表面声波型等,并通过外挂 或内嵌等方式集成到显示面板的显示区域以实现触控以及显示功能。本公开 实施例对于触控显示面板的类型不做限制。
根据本公开的上述实施例提供的触控显示系统,通过获取待操作触控显 示面板120的用户的体征信息,并根据用户的体征信息,调整用于用户的在 触控区域121中的触控范围,使得具有不同体征信息的用户(例如,不同身 高、臂长的用户)可以方便地对触控显示系统10进行操作,由此例如可以 适用于大尺寸的触摸装置。
例如,在一些实施例中,控制器130配置为获取待操作触控显示面板120 的用户的相对于触控区域121的体征信息。例如,控制器130可以实时获取 站立在触控显示面板120之前的用户的体征信息。触控显示面板120可以是 移动的,控制器130还可以根据触控显示面板120位置的变动去测量用户的 体征信息。例如,控制器130根据用户相对于触控区域121的体征信息,调 整用于用户的在触控区域121中的触控范围,使得调整后的触控范围可以满 足该用户的触控需求,如相对于人站立时的上下范围合适或左右范围合适。
例如,在一些实施例中,如图1所示,触控显示系统10还可以包括图 像采集装置110。图像采集装置110与控制器130耦接,配置为获取用户的 图像信息,并且将其直接或间接通过信号线(例如总线)提供给控制器130。 控制器130可以根据用户图像信息获取用户的体征信息。例如,图像采集装 置110可以包括摄像头,使用摄像头获取用户图像信息。
例如,摄像头可以包括CCD(Charged Coupled Device)图像传感器、 CMOS(Complementary Metal-Oxide-Semiconductor)图像传感器等用于对周边 环境的图像采集装置。本公开实施例对于摄像头的结构(例如图像传感器、 镜头等)以及规格(例如分辨率等)不作限制。
例如,控制器130可以为中央处理器(CPU)、数字信号处理器(DSP)、 可编程逻辑控制器(PLC)等,本公开的实施例对此不作限制。
例如,在一些实施例中,如图1所示,触控显示系统10还可以包括测 距装置140。测距装置140配置为获取用户与触控显示面板120的水平距离。 控制器130还与测距装置140耦接,且被配置为根据水平距离获取用户相对 于触控区域121的体征信息。例如,测距装置140还可以和图像采集装置110 连接。测距装置140,例如可以为红外测距装置,被配置为获取用户与触控 显示面板120的水平距离。
例如,在一些实施例中,用户的体征信息可以包括用户的头顶、肩膀、 手肘及手腕至少之一与触控显示面板120的位置所在地面的相对高度。
例如,在一些示例中,用户的体征信息还可以进一步包括用户的常用手 信息,比如常用左手或常用右手,或常用的某个手指头。
例如,在一些示例中,图像采集装置110还配置为获取的用户在触控显 示面板120的显示侧前的用户图像信息。控制器130还配置为根据用户图像 信息,例如采用图像识别方法,获取用户的头顶、肩膀、手肘及手腕至少之 一相对于触控显示面板120的位置所在的地面的相对高度。
如图3A所示,图像采集装置110包括摄像头N。用户站立在竖直放置 的触控显示系统10之前,用户正面面对或背面背对触控显示系统10的触控 显示面板120,用户的正面或背面平行于触控显示面板120。用户站立的平 面也为触控显示面板120的位置所在的地面,即,用户与触控显示面板120 在同一水平面上。用户身体与手臂均垂直于地面。例如,触控显示系统10通 过摄像头N获取用户在触控显示系统10的触控显示面板120前的用户图像信息,利用图像识别方法由用户图像信息确定用户的头顶P、肩膀S、手肘 E及手腕W的位置。摄像头N可以位于触控显示面板120顶端中心处,即 图3A中N点处,N点高于用户的头顶P。例如,摄像头N可以是与触控显 示面板120一体设置,也可以是与触控显示面板120分离设置。
本公开实施例获取的头顶P、肩膀S、手肘E及手腕W至少之一的相对 高度与用户的竖直站立时身体所处的相对于触控显示系统10的触控显示面 板120的长度方向(平行于地面的方向)上的方位无关,本公开实施例不以 此为限。
例如,在一些实施例中,如图3A以及图4所示,测距装置140还配置 为获取用户在触控显示面板120前距离触控显示面板120的显示侧的一个或 多个位置的一个或多个的水平距离。控制器130还配置为根据水平距离和用 户图像信息获取用户的头顶P、肩膀S、手肘E及手腕W至少之一相对于触 控显示面板120的位置所在的地面的相对高度。
例如,如图3A以及图4所示,控制器130还配置为根据用户图像信息 利用图像识别方法确定用户的头顶P、肩膀S、手肘E及手腕W相对于图像 采集装置110的位置信息,且根据位置信息、用户与触控显示面板的水平距 离d、以及图像采集装置110相对于触控显示面板120的位置所在地面的相 对高度,得到用户的头顶P、肩膀S、手肘E及手腕W相对于触控显示面板 120的位置所在的地面的相对高度。
图像采集装置110,即采用图3A中的摄像头N,距离地面的垂直高度 H(即,图像采集装置110相对于触控显示面板120的位置所在地面的相对 高度)可以在安装触控显示系统10之后通过测量得到;或者,当地面为水 平表面时,用于触控显示系统10的支架或竖墙和用户在同一水平上,则无 需测量垂直高度H的绝对值。通过测距装置140,例如红外测距装置,获取 用户在触控显示面板120前距离触控显示面板120的水平距离d。使用图像 识别方法根据图像采集装置110(摄像头N)获取的用户图像信息确定用户 的头顶P,计算头顶P相对于图像采集装置110的位置信息,例如,计算头 顶P相对触控显示系统10上摄像头N的夹角M。根据夹角M、用户与触控 显示面板的水平距离d、图像采集装置110距离地面的垂直高度H,根据如 下公式,可得到用户头顶相对触控显示面板120的位置所在的地面的高度Hp。
Figure BDA0002392517010000111
利用与上述头顶P相同的计算方法可得到用户肩膀S相对触控显示面 板120的位置所在的地面高度Hs,用户手肘E相对触控显示面板120的位 置所在的地面高度He,用户手腕W相对触控显示面板120的位置所在的地 面高度Hw。用户头顶与用户手肘高度差为:Hp-He,用户肩膀与用户手腕 高度差为Hs-Hw
例如,在一些实施例中,测距装置140包括至少两个摄像头,至少两个 摄像头彼此分离设置在触控显示面板120上,控制器130配置为通过两个摄 像头分别同时拍摄得到的用户图像信息计算获取用户在触控显示面板120前 距离触控显示面板120的显示侧的一个或多个位置的一个或多个水平距离。 请注意,这里的“同时拍摄”也包括“基本同时拍摄”,即允许两个摄像头拍摄 时间略有不同,只要不妨碍进行后续的计算即可。
例如,如图3B所示,触控显示系统10包括摄像头N1和摄像头N2。 摄像头N1和摄像头N2的相对于触控显示面板120的底边的高度一致并分 别设置(例如一体设置或者分离设置)在触控显示面板120的两侧,例如当用 户站立在触控显示面板120前且位于摄像头N1和摄像头N2之间时,摄像 头N1和摄像头N2分别同时获取用户在触控显示系统10的触控显示面板 120前的用户图像信息,通过摄像头N1和摄像头N2分别同时拍摄的用户图 像信息,利用例如三角定位法,计算获取用户在触控显示面板120前距离触 控显示面板120的水平距离d。
如图5所示,通过测量得到摄像头N1和摄像头N2的水平距离为b,摄 像头N1和摄像头N2的焦距均为f,Ol与O2分别为摄像头N1和摄像头N2 的光心,la和lb为头顶P在摄像头N1和摄像头N2的图像视差,对于任意 头顶P,la-lb为固定值。根据三角测量法,可根据如下公式计算得到用户在 触控显示面板120前距离触控显示面板120的水平距离d。
Figure BDA0002392517010000112
得到水平距离d之后,利用公式(1)的计算方法,可得到用户头顶P相 对地面高度Hp。基于与上述计算用户头顶P的相同的计算方法,可以得到 用户肩膀S相对地面(即,触控显示面板120的位置所在的地面)高度Hs, 用户手肘E相对地面高度He,用户手腕W相对地面高度Hw。用户头顶与 用户手肘高度差为:Hp-He,用户肩膀与用户手腕高度差为Hs-Hw
例如,在其它示例中,用户的头顶P相对地面高度Hp(即用户的身高) 也可以通过允许用户在文本框中进行输入的方式直接获取。例如,在用户使 用触控显示面板进行书写等操作时,在触控显示面板上展示一个或多个文本 框,用户可以通过选择数值或者直接输入数值的方式将他/她的身高Hp输入, 以供后续计算中使用。
例如,在一些实施例中,如图3A以及图3B所示,控制器130被配置 为调整用于用户的在触控区域121中触控操作的触控范围,包括:基于用户 的头顶P、肩膀S、手E肘及手腕W至少之一相对于触控显示面板120的位 置所在的地面的相对高度,获取用于用户在触控区域121中的触控范围。控 制器130调整用于用户的在触控区域121中的触控范围,使得调整后的触控 范围可以满足该用户的触控需求,如相对于人站立时的上下范围合适或左右 范围合适。
例如,在一些实施例中,如图3A以及图3B所示,控制器130被配置 为根据用户相对于触控区域121的体征信息,调整用于用户的在触控区域 121中的触控范围,示例地,调整触控范围的详细过程如下。
例如,获取触控显示面板120的显示侧前方用户的所在位置的头顶P、 肩膀S、手肘E及手腕W的相对于触控显示面板120的位置所在的地面的 相对高度,例如获取用户的头顶P在触控显示系统10的触控显示面板120 的侧前方用户相对于触控显示面板120的位置所在的地面的相对高度Hp。
根据头顶P的相对高度Hp确定触控显示面板120上相对于触控显示面 板120的位置所在的地面具有相同高度的位置,将该位置作为头顶P相对应 的显示位置。例如,利用图像识别方法,获取用户头顶点P在触控显示面板 121上的投影坐标P(X,Y),将投影坐标P(X,Y)作为头顶P相对应的 显示位置。
将用户的肩膀S与手腕E的相对高度的差值作为第一长度L1,例如, 第一长度L1为Hs-Hw。将用户的头顶P与手肘E的相对高度的差值作为 第二长度L2,例如,第二长度L2为Hp-He
将头顶P相对应的显示位置作为调整后的触控起始点坐标,例如,触控 起始点坐标为投影坐标P(X,Y),由第一长度L1、第二长度L2以及触控 起始坐标确定用户的触控范围。用户的触控范围为以第一长度L1作为一边 长、以第二长度L2作为相邻的另一边长的矩形范围,触控起始点坐标,即 投影坐标P(X,Y)为矩形范围的上顶点。
例如,如图3A以及图3B所示,触控范围位于触控区域121内,触控 范围为矩形范围,该矩形范围的一边(例如长边)与地面平行,长度为第一 长度L1,另一边与地面垂直,长度为第二长度L2,该矩形范围的上顶点为 用户头顶P在触控显示系统10上的投影坐标P(X,Y)。触控范围可以确定 为以用户头顶P在触控显示系统10上的投影坐标P(X,Y)为起始点(例 如为矩形的左上角的顶点或右上角的顶点),以L1×L2为范围的矩形区域。
例如,在上述示例中,触控范围也可以为其它形状的区域,例如,平行 四边形、多边形等。将头顶P在触控显示系统10上的投影坐标P(X,Y) 为左上角或右上角的顶点。
例如,在其它实施例中,触控显示系统10还可以包括设置在触控显示 面板120的周边的至少一个光发射器以及至少一个光接收器。至少一个光发 射器以及至少一个光接收器分别与控制器130耦接。例如,触控显示系统10 包括多个光发射器以及多个光接收器,分别均匀围绕布置在触控显示面板 120的周边。每一个光发射器以及每一个光接收器的位置都是固定的,并将 上述位置信息发送给控制器130。光接收器配置为接收非可见光,例如红外 光。光发射器配置为发射非可见光,例如红外光。光发射器与光接收器一一 对应,例如,一个位置的光发射器发射的光线被与之对应的光接收器接收。 若某个光发射器的发射的光线被阻挡,那么与其对应的光接收器将接收不到 光线。控制器130配置为获取光接收器的光线信息,例如,光接收器是否接 受到光线。控制器130可以根据光接收器反馈的光线信息确定被用户阻挡的 光线对应的光发射器,以及被用户阻挡的光线对应的发射器周边的光线未被 阻挡的光发射器,并根据用户阻挡的光线对应的发射器以及光线未被阻挡的光发射器确定用户的体征信息在触控显示面板120上的投影的位置。例如当 用户靠近触控显示面板120时,用户的身体将阻挡光发射器的光线使得光接 收器不能接收到光线,可以根据光接收器反馈的是否接收到光线等信息确定 被用户的身体阻挡的光发射器,根据被用户的身体阻挡的光发射器的位置以 及未被阻挡的光发射器的位置可以确定用户的体征信息,例如头顶在触控显 示面板120上的投影的位置,也即,用户头顶P在触控显示系统10上的投 影坐标P(X,Y)。控制器130可以根据用户的头顶在触控显示面板120上 的投影的位置确定用于用户的在触控区域121中触控操作的触控范围。
例如,在一些实施例中,控制器130还配置为确定调整后的触控范围后, 当用户在调整后的触控范围内进行触控操作时,根据触控操作在触控范围内 的位置,调整触控范围内对应于触控操作的待显示内容的显示方式。例如, 当用户进行书写操作时,触控范围可以根据书写内容的长短、格式等进行不 同方式的显示,例如,换行显示、居中显示,以提供更加便于用户在触控范 围内进行书写操作的显示方法。
例如,在一些实施例中,控制器130还配置为当用户在调整后的触控范 围内进行书写操作时,若写入触控范围内的书写内容位于触控范围的边界处, 书写内容被换行显示。例如,当用户在进行书写操作时,当一行的书写内容 显示到触控范围的边界处,例如从触控范围的左侧开始书写,书写到触控范 围的右侧边界处时,书写内容被更换到下一行或者上一行进行显示,以便于 用户在合适的高度上进行书写。
例如,在一些示例中,用户可以使用触控笔等工具在触控显示面板120 的触控范围内进行书写等操作。在用户进行书写时,为了防止影响观看者对 显示面板的观看,触控范围的边框颜色可以设置为与触控显示面板120的底 色接近的一种颜色。例如,还可以在触控范围内提供设置字体大小的选择功 能,该字体大小是最终显示在触控显示面板120上的字体的字号。例如,在 用户书写完成后,用户在触控范围内的书写信息可以显示到触控显示面板 120上,例如,通过触控显示面板120选择的字体大小和实际书写信息的比 例,将书写信息缩放到需要显示的字体。例如,放大后的书写信息从触控显 示面板的左上角开始显示。
例如,在一些实施例中,控制器130还配置为获取用户的常用手信息。 若用户的常用手信息为右手,则触控起始点坐标为矩形范围的左上顶点,若 取用户的常用手信息为左手,则触控起始点坐标为矩形范围的右上顶点。例 如,如图3A以及图3B所示,在触控显示面板120在用户的面前呈现一个 具有触控功能的触控范围,也即书写区域,在该书写区域的范围内书写的起 始点是头顶P在触控显示面板121上的投影坐标P(X,Y),当常用手为右 手时,书写区域(即,触控区域)为以P(X,Y)作为左上角的起始顶并以 L1×L2为范围的矩形区域。当常用手为左手时,书写区域(即,触控区域) 为以P(X,Y)作为右上角的起始顶并以L1×L2为范围的矩形区域。
例如,在一些实施例中,如图3A以及图3B所示,控制器130还配置 为判断调整之后的触控范围的边界坐标是否超出触控区域121,若是,发出 提醒信息提醒用户移动身体或手臂位置,并重新确定矩形范围,以使得矩形 范围的触控范围全部在触控显示面板120的触控区域121内。例如,当用户 在触控区域121内的触控范围内进行书写内容时,若用户一直向同一个方向 书写(例如,向左侧或者右侧)或者用户站在靠近触控区域121的边界处书写时,若触控范围的边界(例如,位于左侧或者右侧的边界)超出触控区域 121的边界,此时,触控显示系统10提醒用户(可以通过显示操作,例如箭 头、指示信号等,以及语音提示等)可以移动身体或手臂位置。例如,可以 采用向用户发送语音提醒信息,例如“请向左或向右移动”、或者采用在触控 区域121上弹出指示箭头,提示用户向箭头指引的方向移动。在用户移动身 体或手臂位置的同时,触控区域121也会随着用户一起移动,使得触控区域121的起始点始终与用户的头顶保持一致。
例如,在一些实施例中,控制器130还配置为根据用户呼出调整触控范 围的输入指令启动调整用于用户的在触控区域121中进行触控操作的触控范 围。例如,控制器130通过触控显示面板120接收用户在触控范围内进行的 输入指令,例如使用触控笔将文字内容书写到触控范围内、或者通过语音的 方式将文字内容书写到触控范围内,控制器130根据用户在触控范围内进行 的输入指令进一步调整触控范围。例如,控制器130可以在用户进行触控操 作时实时对触控范围调整。
再例如,用户在使用前可以在触控显示系统10的触控显示面板120或 其他输入设备(例如遥控器)上选择进入触控范围的调整模式,以启动触控 显示系统10对触控范围进行调整的功能,以便于设置用于进行例如书写操 作的操作区域。例如,可以在触控显示面板120或者在其他收入设备上设置 控制书写操作的调整模式的按钮,或者在触控显示系统10上设置语音命令 识别模块,通过语音例如“开始书写模式”等进入书写模式,并首先调整触控 范围以便于进行书写操作。例如,用户也可以在书写操作完毕之后,可以退 出书写操作的调整模式。
例如,在一些实施例中,如图1所示,触控显示系统10还包括存储装 置150。存储装置150与控制器130耦接。存储装置150包括用户信息库, 用户信息库包括用户的身份信息以及用户的体征信息。身份信息包括用户的 身份验证信息,身份验证信息为用户的生物特征信息或登录数据库的密码信 息。例如,用户信息库中的用户体征信息包括:用户头顶P相对地面高度Hp、 用户肩膀S相对地面高度Hs,用户手肘E相对地面高度He,用户手腕W相 对地面高度Hw、用户头顶与用户手肘高度差为:Hp-He、以及用户肩膀与 用户手腕高度差为Hs-Hw等。身份验证信息或登录数据库的密码信息例如 为人脸图像、用户的至少一个手指的指纹信息或身份识别号码等。
例如,在一些实施例中,控制器130还配置为获取预存的体征信息之前, 获取用户的身份信息,以及获取与用户身份信息对应的体征信息。
例如,在确定了用户的触控范围之后,结合用户的身份信息将用户的体 征信息存储至用户信息库,事后可以通过用户的身份信息从用户信息库来获 取用户的体征信息。例如,也可以在用户使用触控显示系统10进行书写等 操作之前,将用户的体征信息以及身份信息预存到用户信息库中。在用户第 二次使用触控显示系统10时,触控显示系统10只需要测出用户在触控显示 面板120前距离触控显示面板120的水平距离,通过用户的身份信息调用预 存在用户信息库中的体征信息,就可以得到用户的触控范围,省去测量以及 计算所需的时间。
例如,存储用户信息库的存储器130可以为半导体存储器、磁介质存储 器等。例如用户信息库可以运行于触控显示系统中,或运行于网络服务器, 触控显示系统可以通过访问该网络服务器从而访问该用户信息库。
根据需要,该触控显示系统10还可以包括例如通信装置、扬声器、麦 克风等,通过通信装置与网络服务器或其他外设(例如遥控器)等进行通信, 通过扬声器发出声音,通过麦克风采集声音信号。该通信装置例如可以为有 线通信装置或无线通信装置。
本公开至少一实施例还提供一种触控显示系统,图2为本公开另一实施 例提供的一种触控显示系统的示意性框图。
例如,如图2所示,触控显示系统20包括至少两个摄像头、控制器230 以及触控显示面板220。触控显示面板220包括触控区域221,且被配置为 感应用户的触控操作。例如,触控区域221的尺寸例如为55寸、65寸、75 寸、85寸或98寸等。控制器230配置为获取待操作触控显示面板220的用 户的体征信息,且根据用户的体征信息调整用于用户的在触控区域221中进 行触控操作的触控范围。例如,触控显示面板220的用户的体征信息可以是 预先存储的用户的体征信息,例如,身高、肩膀、手肘等的高度,还可以是 用户站立在触控显示面板220之前时,通过控制器230实时获取的用户的体 征信息。
需要说明的是,触控显示面板220可以为内嵌式的或者外挂式的具有触 控以及显示功能的显示面板,触控区域是具有触控以及显示功能的区域。内 嵌式的触控显示面板,例如通过电路共用等方式,将实现触控功能的电路内 嵌在显示面板的显示区内部,以实现触控以及显示的双重功能。外挂式的触 控显示面板将具有实现触控功能的电路,例如通过胶粘贴等方式,叠置于具 有显示功能的显示面板的外侧,以实现触控以及显示的双重功能。所以,用 户可以针对触控区域进行触控操作,并且用于触控操作的提示符或触控操作的结果可以直接显示在触控区域中。
例如,该触控显示系统20例如是直立式触摸屏,例如固定设置于支架 上或悬挂于竖墙上,用户可以站立在触控显示系统20前使用手或触控笔等 进行触控操作。
例如,在一些示例中,触控范围可以为全部触控区域,也可以为触控区 域的一部分,用户可在触控范围内对触控显示系统20进行操作,这些操作 包括文字、图画等的书写、滑动、点击、长按等应用或功能等的呼出或退出 时的操作,由此实现交互等。由于这些操作在触控显示面板上的位置(太高 或者距离用户太远)可能给用户带来不便(升高、臂长等的限制),需要对触 控范围进行调整。例如,触控显示面板120的触控区域可以覆盖整个触控显 示面板120。
例如,在一些实施例中,调整用于用户的在触控区域221中的触控范围, 在不同的场景有不同的方案。例如,调整后的触控范围可以为触控显示面板 220的全部触控区域221,也可以为触控区域221的一部分,使得用户可方 便地在触控范围内对触控显示系统20进行操作。又例如,调整触控范围具 体为调整某些应用窗口的触控范围或调整显示桌面的触控范围,或调整文档 的触控范围。调整触控范围可以是在原来的触控画面上叠加新的窗口,使得 窗口作为一个用户的调整后的触控范围。
例如,触控显示面板220将感应的触控信息直接或间接传输给控制器 230,控制器230根据当前正在运行的应用程序确定通过获取的触控信息进 行何种操作。例如,用户在触控范围内的书写信息可以被采集、识别,并且 还可以进一步显示到相配合的触控显示面板220上,例如,通过触控显示面 板220对触控范围内书写信息的捕捉,通过例如控制器230按照用户选择的 字体大小和实际书写信息的比例,将书写信息缩放到需要显示的字体。例如, 放大后的书写信息从触控显示面板220的左上角开始显示。
例如,触控显示面板220可以为具有触控以及显示功能的液晶显示面板、 有机发光二极管显示面板、无机发光二极管显示面板等。实现触控功能的模 块(或电路)可以为电阻型、电容型、红外型、表面声波型等,并通过外挂 或内嵌等方式集成到显示面板的显示区域以实现触控以及显示功能。本公开 实施例对于显示面板的类型不做限制。
根据本公开的上述实施例提供的触控显示系统,通过获取待操作触控显 示面板220的用户的体征信息,并根据用户的体征信息,调整用于用户的在 触控区域221中的触控范围,使得具有不同体征信息的用户(例如,不同身 高、臂长的用户)可以方便地对触控显示系统进行操作,由此例如可以适用 于大尺寸的触摸装置。
例如,如图2所示,控制器230分别与触控显示面板220连接。至少两 个摄像头包括摄像头211和摄像头212分别与控制器230连接。摄像头211 和摄像头212的相对高度一致并分别设置在触控显示面板220的两侧,摄像 头211和摄像头212分别获取用户在触控显示系统的触控显示面板220前的 用户图像信息,通过摄像头211和摄像头212分别同时拍摄的图像计算获取 用户在触控显示面板220前距离触控显示面板220的水平距离。水平距离的 计算原理与图5所示的水平距离d的计算原理相同。在图5中,通过摄像头 N1和摄像头N2分别同时拍摄的用户图像信息,利用例如三角定位法,计算 获取用户在触控显示面板120前距离触控显示面板120的水平距离d。
例如,摄像头211和摄像头212可以与触控显示面板220一体设置,也 可以分离设置。又例如,摄像头211和摄像头212也可以分离或一体设置在 触控显示面板220的两侧并且高度一致。本公开不易摄像头211和摄像头 212的设置方式或者设置位置为限。
根据用户图像信息通过图像识别方法获取用户头顶相对地面的高度Hp, 用户肩膀S相对地面高度Hs,用户手肘E相对地面高度He,用户手腕W相 对地面高度Hw。用户头顶与用户手肘高度差为:Hp-He,用户肩膀与用户 手腕高度差为Hs-Hw。将用户的肩膀与手腕的相对高度的差值作为第一长 度L1;将用户的头顶与手肘的相对高度的差值作为第二长度L2。例如,如 图3A以及图3B所示,第一长度L1为Hs-Hw,第二长度L2为Hp-He
例如,在其它示例中,用户的头顶P相对地面高度Hp(即用户的身高) 也可以通过允许用户在文本框中进行输入的方式直接获取。例如,在用户使 用触控显示面板进行书写等操作时,在触控显示面板上展示一个或多个文本 框,用户可以通过选择数值或者直接输入数值的方式将他/她的身高Hp输入, 以供后续计算中使用。
例如,摄像头211和摄像头212可以包括CCD(Charged Coupled Device) 图像传感器或CMO图像传感器等用于对周边环境的图像采集的装置。本公 开实施例对于摄像头的结构(例如图像传感器、镜头等)以及规格(例如分 辨率等)不作限制。
例如,控制器230可以为中央处理器(CPU)、数字信号处理器(DSP)、 可编程逻辑控制器(PLC)等,本公开的实施例对此不作限制。例如,控制 器230被配置为根据用户相对于触控区域221的体征信息,调整用于用户的 在触控区域221中的触控范围,调整触控范围的详细过程如下。
例如,获取触控显示面板220的显示侧前方用户的所在位置的头顶P、 肩膀S、手肘E及手腕W相对于触控显示面板220的位置所在的地面的相 对高度,例如获取用户的头顶P在触控显示系统20的触控显示面板220的 侧前方用户相对于触控显示面板120的位置所在的地面的相对高度Hp。
根据头顶P的相对高度Hp确定触控显示面板220上相对于触控显示面 板220的位置所在的地面具有相同高度的位置,将该位置作为头顶P相对应 的显示位置。例如,利用图像识别方法,获取用户头顶点P在触控显示面板 220上的投影坐标P(X,Y),将投影坐标P(X,Y)为头顶P相对应的显 示位置。
将用户的肩膀S与手腕E的相对高度的差值作为第一长度L1,例如, 第一长度L1为Hs-Hw。将用户的头顶P与手肘W的相对高度的差值作为 第二长度L2,例如,第二长度L2为Hp-He
将头顶P相对应的显示位置作为调整后的触控起始点坐标,例如,触控 起始点坐标为投影坐标P(X,Y),由第一长度L1、第二长度L2以及触控 起始坐标确定用户的触控范围。用户的触控范围为以第一长度L1作为一边 长、以第二长度L2作为相邻的另一边长的矩形范围,触控起始点坐标,即 投影坐标P(X,Y)为矩形范围的上顶点。
例如,在一些示例中,触控范围位于触控区域221内,触控范围为矩形 范围,该矩形范围的一边(例如长边)与地面平行,长度为第一长度L1,另 一边与地面垂直,长度为第二长度L2,该矩形范围的上顶点为用户头顶P在 触控显示系统20上的投影坐标P(X,Y)。触控范围可以确定为以用户头顶 P在触控显示系统20上的投影坐标P(X,Y)为起始点(例如为矩形的左 上角的顶点或右上角的顶点),以L1×L2为范围的矩形区域。
例如,在上述示例中,触控范围也可以为其它形状的区域,例如,平行 四边形、多边形等。将头顶P在触控显示系统20上的投影坐标P(X,Y) 为左上角或右上角的顶点。
例如,在其它实施例中,触控显示系统20还可以包括设置在触控显示 面板220的周边的至少一个光发射器以及至少一个光接收器。至少一个光发 射器以及至少一个光接收器分别与控制器230耦接。例如,触控显示系统20 包括多个光发射器以及多个光接收器,分别均匀围绕布置在触控显示面板 220的周边。每一个光发射器以及每一个光接收器的位置都是固定的,并将 上述位置信息发送给控制器230。光接收器配置为接收非可见光,例如红外 光。光发射器配置为发射非可见光,例如红外光。光发射器与光接收器一一 对应,例如,一个位置的光发射器发射的光线被与之对应的光接收器接收。 若某个光发射器的发射的光线被阻挡,那么与其对应的光接收器将接收不到 光线。控制器230配置为获取光接收器的光线信息,例如,光接收器是否接 受到光线。控制器230可以根据光接收器反馈的光线信息确定被用户阻挡的 光线对应的光发射器,以及被用户阻挡的光线对应的发射器周边的光线未被 阻挡的光发射器,并根据用户阻挡的光线对应的发射器以及光线未被阻挡的光发射器确定用户的体征信息在触控显示面板220上的投影的位置。例如, 当用户靠近触控显示面板220时,用户的身体将阻挡光发射器的光线使得光 接收器不能接收到光线,可以根据光接收器反馈的是否接收到光线的信息确 定被用户的身体阻挡的光发射器,根据被用户的身体阻挡的光发射器的位置 以及未被阻挡的光发射器的位置可以确定用户的体征信息,例如头顶在触控 显示面板220上的投影的位置,也即,用户头顶P在触控显示系统20上的 投影坐标P(X,Y)。控制器230可以根据用户的头顶在触控显示面板220 上的投影的位置确定用户在触控区域中进行触控操作的触控范围。
例如,在一些实施例中,控制器230还配置为确定调整后的触控范围后, 当用户在调整后的触控范围内进行触控操作时,根据触控操作在触控范围内 的位置,调整触控范围内对应于触控操作的待显示内容的显示方式。例如, 当用户进行书写操作时,触控范围可以根据书写内容的长短、格式等进行不 同方式的显示,例如,换行显示、居中显示,以提供更加便于用户在触控范 围内进行书写操作的显示方法。
例如,在一些实施例中,控制器230还配置为当用户在调整后的触控范 围内进行书写操作时,若写入触控范围内的书写内容位于触控范围的边界处, 书写内容被换行显示。例如,当用户在进行书写操作时,当一行的书写内容 显示到触控范围的边界处,例如从触控范围的左侧开始书写,书写到触控范 围的右侧边界处时,书写内容被更换到下一行或者上一行进行显示,以便于 用户在合适的高度上进行书写。
例如,在一些示例中,用户可以使用触控笔等工具在触控显示面板220 的触控范围内进行书写等操作。在用户进行书写时,为了防止影响观看者对 触控显示面板的观看,触控范围的边框颜色可以设置为与触控显示面板220 的底色接近的一种颜色。例如,还可以在触控范围内提供设置字体大小的选 择功能,该字体大小是最终显示在触控显示面板220上的字体的字号。例如, 在用户书写完成后,用户在触控范围内的书写信息可以显示到触控显示面板 220上,例如,通过触控显示面板220选择的字体大小和实际书写信息的比例,将书写信息缩放到需要显示的字体。例如,放大后的书写信息从触控显 示面板的左上角开始显示。
例如,在一些实施例中,控制器230还配置为获取用户的常用手信息。 若用户的常用手信息为右手,则触控起始点坐标为矩形范围的左上顶点,若 取用户的常用手信息为左手,则触控起始点坐标为矩形范围的右上顶点。例 如,如图3A以及图3B所示,触控起始点坐标为投影坐标P(X,Y),当常 用手为右手时,书写区域(即,触控区域)为以P(X,Y)作为左上角的起 始顶并以L1×L2为范围的矩形区域。当常用手为左手时,书写区域(即,触 控区域)为以P(X,Y)作为右上角的起始顶并以L1×L2为范围的矩形区 域。
例如,在一些实施例中,控制器230还配置为判断调整之后的触控范围 的边界坐标是否超出触控区域221,若是,发出提醒信息提醒用户移动身体 或手臂位置,并重新确定矩形范围,以使得矩形范围的触控范围全部在触控 显示面板220的触控区域221内。例如,当用户在触控区域221内的触控范 围内进行书写内容时,若用户一直向同一个方向书写(例如,向左侧或者右 侧)或者用户站在靠近触控区域221的边界处书写时,触控范围的边界(例 如,位于左侧或者右侧的边界)将在不经意将超出触控区域221的边界,此 时,触控显示系统20提醒用户(可以通过显示操作,例如箭头、指示信号 等,以及语音提示等)可以移动身体或手臂位置。例如,可以采用向用户发 送语音提醒信息,例如“请向左或向右移动”、或者采用在触控区域221上 弹出指示箭头,提示用户向箭头指引的方向移动。在用户移动身体或手臂位 置的同时,触控区域221也会随着用户一起移动,使得触控区域221的起始 点始终与用户的头顶保持一致。
例如,在一些实施例中,如图2所示,控制器230还配置为根据用户呼 出调整触控范围的输入指令启动调整用于用户的在触控区域221中进行触控 操作的触控范围。例如,控制器230通过触控显示面板220接收用户在触控 范围内进行的输入指令,例如使用触控笔将文字内容书写到触控范围内、或 者通过语音的方式将文字内容书写到触控范围内,控制器230根据用户在触 控范围内进行的输入指令进一步调整触控范围。例如,控制器230可以在用 户进行触控操作时实时对触控范围调整。
例如,在一些示例中,触控显示系统20还包括储装置250。存储装置 250与控制器230耦接。存储装置250包括用户信息库,用户信息库包括用 户的身份信息以及用户的体征信息。身份信息包括用户的身份验证信息,身 份验证信息为用户的生物特征信息或登录数据库的密码信息。例如,用户信 息库中的用户体征信息包括:用户头顶P相对地面高度Hp、用户肩膀S相 对地面高度Hs,用户手肘E相对地面高度He,用户手腕W相对地面高度 Hw、用户头顶与用户手肘高度差为:Hp-He、以及用户肩膀与用户手腕高 度差为Hs-Hw等。身份验证信息或登录数据库的密码信息例如为人脸图像、 用户的至少一个手指的指纹信息或身份识别号码等。
例如,在一些实施例中,控制器230还配置为获取预存的体征信息之前, 获取用户的身份信息,以及获取与用户身份信息对应的体征信息。
例如,在确定了用户的触控范围之后,结合用户的身份信息将用户的体 征信息存储至用户信息库,事后可以通过用户的身份信息从用户信息库来获 取用户的体征信息。例如,也可以在用户使用触控显示系统20进行书写等 操作之前,将用户的体征信息以及身份信息预存到用户信息库中。在用户第 二次使用触控显示系统20时,触控显示系统20只需要测出用户在触控显示 面板220前距离触控显示面板220的水平距离,通过用户的身份信息调用预 存在用户信息库中的体征信息,就可以得到用户的触控范围,省去测量以及 计算所需的时间。
例如,存储用户信息库的存储器230可以为半导体存储器、磁介质存储 器等。例如用户信息库可以运行于触控显示系统中,或运行于网络服务器, 触控显示系统可以通过访问该网络服务器从而访问该用户信息库。
根据需要,该触控显示系统20还可以包括例如通信装置、麦克风等, 通过通信装置与网络服务器或其他外设(例如遥控器)等进行通信,通过麦 克风采集声音信号。该通信装置例如可以为有线通信装置或无线通信装置。
需要说明的是,为表示清楚、简洁,本公开实施例并没有给出触控显示 系统的全部组成单元。为实现触控显示系统的必要功能,本领域技术人员可 以根据具体需要提供、设置其他未示出的组成单元,本公开的实施例对此不 作限制。
本公开至少一实施例还提供了一种触控显示系统的控制方法,图6为本 公开一实施例提供的一种触控显示系统的控制方法的流程图。
如图6所示,该控制方法适用于具有触控显示面板的触控显示系统,该 触控显示系统例如是置于承载设备上的直立式触摸屏,例如固定设置于支架 上或悬挂于墙上,用户可以站立在触控显示系统前使用手或触控笔等进行触 控操作;该触控显示系统的构造已经在上述实施例中做了详细介绍,这里不 再赘述。该控制方法包括如下的步骤S110~步骤S120。
步骤S110:获取待操作触控显示面板的用户的体征信息。
例如,在一些示例中,该触控显示系统的触控区域包括触控范围,触控 范围可以为全部触控区域,也可以为触控区域的一部分,用户可在触控范围 内对触控显示系统进行操作,这些操作包括文字、图画等的书写、滑动、点 击、长按等应用或功能等的呼出或退出时的操作,由此实现交互等。
例如,在一些示例中,用户的体征信息包括用户的头顶、肩膀、手肘及 手腕至少之一相对触控区域的高度。
例如,在一些示例中,用户的体征信息还可以进一步包括用户的常用手 信息,比如常用左手或常用右手,或常用的某个手指头。
例如,用户的体征信息可至少部分通过获取用户在触控显示系统的触控 显示面板前的用户图像信息来获取,也可以获取预先存储的该用户的体征信 息。步骤S110的一些具体示例将参考图7进行详细描述。
步骤S120:根据用户的体征信息,调整用于用户的在触控区域中进行触 控操作的触控范围,使得调整后的触控范围可以满足该用户的触控需求,如 相对于人站立时的上下范围合适或左右范围合适。
调整用于用户的在触控区域中的触控范围,在不同的场景有不同的方案。
例如,在一些示例中,调整后的触控范围可以为触控显示面板的全部触 控区域,也可以为触控区域的一部分,使得用户可方便地在触控范围内对触 控显示系统进行操作。又例如,调整触控范围具体为调整某些应用窗口的触 控范围或调整显示桌面的触控范围,或调整文档的触控范围。调整触控范围 可以是在原来的触控画面上叠加新的窗口,使得窗口作为一个用户的调整后 的触控范围。
步骤S120的一些具体示例将参考图7进行详细描述。
根据本公开的上述实施例提供的控制方法,通过获取待操作触控显示面 板的用户的体征信息,并根据用户的体征信息,调整用于用户的在触控区域 中的触控范围,使得具有不同体征信息的用户(例如,不同身高、臂长的用 户)可以方便地对触控显示系统进行操作,由此例如可以适用于大尺寸的触 摸装置。
图7为本公开另一实施例提供的用于一种触控显示系统的控制方法的流 程图。同样地,该控制方法适用于包括触控显示面板的触控显示系统,该触 控显示系统例如是直立式触摸屏,例如固定设置于支架上或悬挂于竖墙上, 用户可以站立在触控显示系统前使用手或触控笔等进行触控操作。图7所示 的实施例包括步骤S210~步骤S220。
步骤S210:获取用户的头顶、肩膀、手肘及手腕至少之一的相对高度。
例如,在一些实施例中,获取用户的头顶、肩膀、手肘及手腕至少之一 的相对高度,包括:获取用户在触控显示系统的触控显示面板前的用户图像 信息;根据用户图像信息获取用户的头顶、肩膀、手肘及手腕至少之一的相 对高度。
如图3A以及图4所示,在本示例中,用户站立在竖直放置的触控显示 系统10之前,用户正面面对或背面背对触控显示系统的触控显示面板,用 户的正面或背面平行于触控显示面板;以用户站立的平面作为地面,用户身 体与手臂均垂直于地面。例如,触控显示系统10可以包括触控区域121。例 如,触控显示系统10通过至少一个摄像头获取用户在触控显示系统10的触 控显示面板前的用户图像信息,利用图像识别方法由用户图像信息确定用户 的头顶P、肩膀S、手肘E及手腕W的位置。例如,触控显示系统10包括 摄像头N,摄像头N可以位于触控显示系统10顶端中心处,即图3A中N 点处,N点高于用户的头顶P。
本公开实施例获取的头顶、肩膀、手肘及手腕至少之一的相对高度与用 户的竖直站立时身体所处的相对于触控显示系统的触控显示面板的长度方 向(平行于地面的方向)上的方位无关,本公开实施例不以此为限。
例如,在一些示例中,根据用户图像信息获取用户的头顶、肩膀、手肘 及手腕至少之一的相对高度,包括:获取用户在触控显示面板前距离触控显 示面板的水平距离,并且根据水平距离和用户图像信息获取用户的头顶、肩 膀、手肘及手腕至少之一的相对高度。
例如,在一些示例中,触控显示系统包括至少一个摄像头与测距装置, 通过至少一个摄像头获取用户在触控显示系统的触控显示面板前的用户图 像信息,通过测距装置获取用户在触控显示面板前距离触控显示面板的水平 距离。
根据水平距离和用户图像信息获取用户的头顶、肩膀、手肘及手腕至少 之一的相对高度,即用户头顶相对地面的高度Hp、用户肩膀S相对地面高 度Hs,用户手肘E相对地面高度He,用户手肘W相对地面高度Hw。使用 图像识别方法根据摄像头获取的用户图像信息确定用户的头顶P,计算头顶 P相对触控显示系统上摄像头N的夹角M,根据上述公式(1)得到用户头 顶相对地面的高度Hp。采用同样的方法可以得到用户肩膀S相对地面高度 Hs,用户手肘E相对地面高度He,用户手腕W相对地面高度Hw。用户头 顶与用户手肘高度差为:Hp-He,用户肩膀与用户手腕高度差为Hs-Hw
例如,在一些示例中,触控显示系统包括分开设置的至少两个摄像头, 获取用户在触控显示面板前距离触控显示面板的水平距离包括:通过至少两 个摄像头分别同时拍摄的用户图像信息计算获取用户在触控显示面板前距 离触控显示面板的水平距离。请注意,这里的“同时拍摄”也包括“基本同时 拍摄”,即允许两个摄像头拍摄时间略有不同,只要不妨碍进行后续的计算即 可。
例如,如图3B所示,触控显示系统10包括摄像头N1和摄像头N2。 摄像头N1和摄像头N2的相对于触控显示面板的底边的高度一致并分别设 置(例如一体设置或者分离设置)在触控显示面板120的两侧,例如当用户 站立在触控显示面板120前且位于摄像头N1和摄像头N2之间时,摄像头 N1和摄像头N2分别同时获取用户在触控显示系统10的触控显示面板120 前的用户图像信息,通过摄像头N1和摄像头N2分别同时拍摄的用户图像 信息,利用例如三角定位法,使用公式(2)计算获取用户在触控显示面板 120前距离触控显示面板120的水平距离d。水平距离d的计算方法的计算 原理如图4所示,在已经在上述对触控显示系统10的描述中详细介绍,这 里不再详细赘述。得到水平距离d之后,利用公式(1)的计算方法,可得到 用户头顶P相对地面高度Hp。基于与上述计算用户头顶P的相同的计算方 法,可以得到用户肩膀S相对地面高度Hs,用户手肘E相对地面高度He, 用户手腕W相对地面高度Hw。用户头顶与用户手肘高度差为:Hp-He, 用户肩膀与用户手腕高度差为Hs-Hw
例如,在其它示例中,用户的头顶P相对地面高度Hp(即用户的身高) 也可以通过允许用户在文本框中进行输入的方式直接获取。例如,在用户使 用触控显示面板进行书写等操作时,在触控显示面板上展示一个或多个文本 框,用户可以通过选择数值或者直接输入数值的方式将他/她的身高Hp输入, 以供后续计算中使用。
步骤S220:调整用于用户的在触控区域中的触控范围。例如,基于用户 的头顶P、肩膀S、手肘E及手腕W的相对高度,获取用于用户在触控区域 中的触控范围。
例如,在一些示例中,如图7所示,步骤S220包括步骤S221~S223。
步骤S221:获取用户的头顶在触控显示面板的投影坐标。例如,利用图 像识别方法,获取用户头顶点P在触控显示面板上的投影坐标P(X,Y)。
步骤S222:将用户的肩膀与手腕的相对高度的差值作为第一长度;将用 户的头顶与手肘的相对高度的差值作为第二长度。例如,如图3A以及图3B 所示,第一长度L1为Hs-Hw,第二长度L2为Hp-He
步骤S223:将投影坐标作为触控起始点坐标,由第一长度与第二长度确 定用户的触控范围。
如图3A以及图3B所示,例如,在一些示例中,触控范围位于触控区域 121内,触控范围为矩形范围,该矩形范围的一边(例如长边)与地面平行, 长度为第一长度L1,另一边与地面垂直,长度为第二长度L2,该矩形范围 的上顶点为用户头顶P在触控显示面板上的投影坐标P(X,Y)。触控范围 可以确定为以用户头顶P在触控显示面板上的投影坐标P(X,Y)为起始点 (例如为矩形的左上角的顶点或右上角的顶点),以L1×L2为范围的矩形区 域。
例如,在上述示例中,触控范围也可以为其它形状的区域,例如,平行 四边形、多边形等。将头顶P在触控显示面板上的投影坐标P(X,Y)为左 上角或右上角的顶点。
例如,在一些示例中,在用户书写前,触控显示面板在用户的面前通过 显示出实线或虚线方框的方式呈现一个书写区域,以提示用户进行操作,该 书写区域的范围可以为上述实施例确定的触控范围,书写的起始点是头顶P 在触控显示面板上的投影坐标P(X,Y),以P(X,Y)起始顶并以L1×L2 为范围的矩形区域。
例如,在一些示例中,用户可以使用触控笔等工具在触控显示面板的触 控范围内进行书写等操作。在用户进行书写时,为了防止影响观看者对显示 面板的观看,触控范围的边框颜色可以设置为与触控显示面板的底色接近的 一种颜色。例如,还可以在触控范围内提供设置字体大小的选择功能,该字 体大小是最终显示在触控显示面板上的字体的字号。例如,在用户书写完成 后,用户在触控范围内的书写信息可以显示到触控显示面板上,例如,通过 触控显示面板对触控范围内书写信息的捕捉,通过例如触控显示系统的控制器按照用户选择的字体大小和实际书写信息的比例,将书写信息缩放到需要 显示的字体。例如,放大后的书写信息从触控显示面板的左上角开始显示。
例如,在一些示例中,获取用户的体征信息还包括:获取用户的常用手 信息;若用户的常用手信息为右手,则触控起始点坐标为矩形范围的左上顶 点,若取用户的常用手信息为左手,则触控起始点坐标为矩形范围的右上顶 点。
如图3A以及图3B所示,在触控显示面板在用户的面前呈现一个具有 触控功能的书写区域,在书写区域的范围内书写的起始点是头顶P在触控显 示面板上的投影坐标P(X,Y),当常用手为右手时,书写区域(即,触控 区域)为以P(X,Y)作为左上角的起始顶并以L1×L2为范围的矩形区域。 当常用手为左手时,书写区域(即,触控区域)为以P(X,Y)作为右上角 的起始顶并以L1×L2为范围的矩形区域。
例如,在一些示例中,将用户的身份信息以及用户的体征信息存储至用 户信息库,身份信息可以包括人脸图像或身份识别号码等。例如,身份信息 还可以包括用户的至少一个手指的指纹信息。
例如,在确定了用户的触控范围之后,结合用户的身份信息将用户的体 征信息存储至用户信息库,事后可以通过用户的身份信息从用户信息库来获 取用户的体征信息。例如,也可以在用户使用触控显示系统进行书写等操作 之前,将用户的体征信息以及身份信息预存到用户信息库中。在用户第二次 使用触控显示系统时,触控显示系统只需要测出用户触控显示面板前距离触 控显示面板的水平距离,通过用户的身份信息调用预存在用户信息库中的体 征信息,就可以得到用户的触控范围。
例如,用户信息库可以运行于触控显示系统中,或运行于网络服务器, 触控显示系统可以通过访问该网络服务器从而访问该用户信息库。用户信息 库中的信息可以存储在存储器中,存储器可以为半导体存储器、磁介质存储 器等。
例如,如图8所示,本公开一些实施例提供的一种用于触控显示系统的 控制方法。同样地,该控制方法适用于包括触控显示面板的触控显示系统, 该触控显示系统例如是直立式触摸屏,例如固定设置于支架上或悬挂于竖墙 上,用户可以站立在触控显示系统前使用手或触控笔等进行触控操作。该控 制方法包括步骤S301至步骤S313。
步骤S301:获取整理触控范围的指令。例如,用户在使用前可以在触控 显示系统的触控显示面板或其他输入设备(例如遥控器)上选择进入触控范 围的调整模式,以启动触控显示系统对触控范围进行调整的功能,以便于设 置用于进行例如书写操作的操作区域。例如,可以在触控显示面板或者在其 他收入设备上设置控制书写操作的调整模式的按钮,或者在触控显示系统上 设置语音命令识别模块,通过语音例如“开始书写模式”等进入书写模式,并 首先调整触控范围以便于进行书写操作。例如,用户也可以在书写操作完毕之后,可以退出书写操作的调整模式。
步骤S302:获取用户身份信息。例如,可以通过摄像头获取用户的人脸 图像,通过图像识别方法得到人脸图像的特征。又例如,用户在使用触控显 示系统时,可以在触控显示系统的触控显示面板上显示的用户登录界面中输 入用户的身份识别号码。再例如,用户也可以在触控显示系统的指纹识别区 域中输入用户的指纹信息。
步骤S303:将用户身份信息与用户信息库中预存的用户身份信息进行 匹配。例如,将步骤S302中获取的人脸图像的特征,用户的身份识别号码 等、指纹信息等,与用户信息库中预存储的用户身份信息进行匹配。若用户 身份信息中有至少一项与预存的用户身份信息匹配成功,则可以确定当前用 户的体征信息已经存储在用户信息库中,那么进入步骤S304。若匹配不成功, 则可以确定当前用户的体征信息没有存储在用户信息库中,那么进入步骤 S305。
步骤S304,调用用户信息库中预存的用户体征信息,以获得用户相对于 触控区域的体征信息。例如,将用户预存的用户体征信息包括:用户头顶P 相对地面高度Hp、用户肩膀S相对地面高度Hs,用户手肘E相对地面高度 He,用户手腕W相对地面高度Hw、用户头顶与用户手肘高度差为:Hp- He、以及用户肩膀与用户手腕高度差为Hs-Hw。然后,进入步骤S310。
步骤S305:获取用户的头顶、肩膀、手肘及手腕至少之一的相对高度。 例如,步骤S305可以进一步包括步骤S306及步骤S307。
步骤S306:获取用户在触控显示系统的触控显示面板前的用户图像信 息。例如,通过至少一个摄像头获取用户在触控显示系统的触控显示面板前 的用户图像信息,并且通过测距装置获取用户在触控显示面板前距离触控显 示面板的水平距离d。又例如,通过至少两个摄像头分别同时拍摄的图像计 算获取用户在触控显示面板前距离触控显示面板的水平距离d。
步骤S307:根据用户图像信息获取用户的头顶、肩膀、手肘及手腕至少 之一的相对高度。例如,使用图像识别方法根据摄像头获取的用户图像信息 确定用户的头顶P,计算头顶P相对触控显示系统上摄像头N的夹角M,根 据上述公式(1)得到用户头顶相对地面的高度Hp。采用同样的方法可以得 到用户肩膀S相对地面高度Hs,用户手肘E相对地面高度He,用户手腕W 相对地面高度Hw。
步骤S308:获取用户的常用手信息。若用户的常用手信息为右手,则触 控起始点坐标为矩形范围的左上顶点,若取用户的常用手信息为左手,则触 控起始点坐标为矩形范围的右上顶点。
步骤S309:将用户的身份信息以及用户的体征信息存储至用户信息库。 当用户在一次使用触控显示系统时可以通过身份信息的匹配,而直接调用用 户信息库中的用户体征信息,省去测量以及计算所需的时间。
步骤S310:将用户的肩膀与手腕的相对高度的差值作为第一长度;将用 户的头顶与手肘的相对高度的差值作为第二长度。例如,如图3A以及图3B 所示,例如,第一长度L1为Hs-Hw,第二长度L2为Hp-He
步骤S311:将投影坐标作为触控起始点坐标,由第一长度与第二长度确 定用户的触控范围。
例如,如图3A以及图3B所示,触控范围位于触控区域121内,触控 范围为矩形范围,该矩形范围的一边与地面平行,长度为第一长度L1,另一 边与地面垂直,长度为第二长度L2,该矩形范围的上顶点为用户头顶P在 触控显示面板上的投影坐标P(X,Y)。触控范围可以确定为以用户头顶P 在触控显示面板上的投影坐标P(X,Y)为起始点,以L1×L2为范围的矩 形区域。当常用手为右手时,触控范围的左上角的顶点为以P(X,Y);当 常用手为左手时,触控范围的右上角的顶点为P(X,Y)。
步骤S312:判断触控范围是否全部处于触控区域内。例如,若触控范围 未全部处于触控显示系统的触控区域内,则进入步骤S313,若触控范围完全 位于触控区域内,则允许(例如提示)用户开始书写等操作。
步骤S313:触控显示系统提醒用户移动位置,以改变触控显示系统提醒 用户移动位置,以使得触控范围例如全部在触控显示面板的触控区域内,从 而可以实现触控、显示一体化操作。例如,触控显示系统可以向用户发出移 动位置的语言提醒,或者在触控显示面板上以例如箭头的形式指示用户进行 移动位置。
需要说明的是,上述实施例中的多个步骤的顺序只是示例性的,可以根 据功能需求等对步骤的顺序进行调整,本公开实施例不以此为限制。
当用户需要的书写的触控区域距离触控显示面板中显示信息的区域存 在一定距离时,触控显示系统提醒用户(可以通过显示操作,例如箭头、指 示信号等,以及语音提示等)可以移动位置。在用户移动位置的同时,触控 区域也会随着用户一起移动,使得触控区域的起始点始终与用户的头顶保持 一致。
有以下几点需要说明:
(1)本公开实施例附图只涉及到与本公开实施例涉及到的结构,其他 结构可参考通常设计。
(2)在不冲突的情况下,本公开的实施例及实施例中的特征可以相互 组合以得到新的实施例。
以上,仅为本公开的具体实施方式,但本公开的保护范围并不局限于此, 任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,可轻易想到变 化或替换,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应 以权利要求的保护范围为准。

Claims (17)

1.一种触控显示系统,包括:
触控显示面板,包括触控区域,且被配置为感应用户的触控操作;
控制器,与所述触控显示面板耦接,配置为获取待操作触控显示面板的用户的体征信息,且根据所述用户的体征信息,调整用于所述用户的在所述触控区域中进行触控操作的触控范围,
其中,所述体征信息包括所述用户的头顶、肩膀、手肘及手腕至少之一与所述触控显示面板的位置所在的地面的相对高度,
所述控制器被配置为调整用于所述用户的在所述触控区域中触控操作的触控范围,包括:
基于所述用户的头顶、肩膀、手肘及手腕至少之一相对于所述触控显示面板的位置所在的地面的相对高度,获取用于所述用户在所述触控区域中的触控范围,
其中,所述控制器被配置为根据所述用户相对于所述触控区域的体征信息,调整用于所述用户的在所述触控区域中的触控范围,包括:
获取所述触控显示面板的显示侧前方所述用户的所在位置的头顶、肩膀、手肘及手腕至少之一相对于所述触控显示面板的位置所在的地面的相对高度;
根据所述头顶的相对高度确定所述触控显示面板上相对于所述触控显示面板的位置所在的地面相同高度位置,将所述相同高度位置作为所述头顶相对应的显示位置;
将所述用户的肩膀与手腕的相对高度的差值作为第一长度;
将所述用户的头顶与手肘的相对高度的差值作为第二长度;以及
将所述头顶相对应的显示位置作为调整后的触控起始点坐标,由所述第一长度与所述第二长度确定所述用户的触控范围;
所述用户的触控范围为以所述第一长度作为一边长、以所述第二长度作为相邻的另一边长的矩形范围,所述触控起始点坐标为所述矩形范围的上顶点;
其中,所述控制器还配置为确定所述调整后的触控范围后,当所述用户在调整后的触控范围内进行触控操作时,根据所述触控操作在触控范围内的位置,调整所述触控范围内对应于所述触控操作的待显示内容的显示方式。
2.根据权利要求1所述的触控显示系统,还包括:设置在所述触控显示面板的周边的至少一个光发射器以及至少一个光接收器,所述至少一个光发射器以及所述至少一个光接收器分别与所述控制器耦接;
所述控制器配置为获取所述至少一个光接收器的光线信息,根据所述光线信息确定被用户阻挡的光线对应的光发射器以及所述被用户阻挡的光线对应的光发射器周边的光线未被阻挡的光发射器,并根据所述被用户阻挡的光线对应的光发射器以及所述光线未被阻挡的光发射器确定用户的体征信息在所述触控显示面板上的投影的位置,
所述控制器还配置为根据所述用户的体征信息在所述触控显示面板上的投影的位置确定所述触控范围,
其中,所述用户的体征信息包括用户的头顶与所述触控显示面板的位置所在的地面的相对高度,所述至少一个光发射器配置为发射非可见光,以及所述至少一个光接收器配置为接收非可见光。
3.根据权利要求1所述的触控显示系统,其中,所述控制器配置为获取待操作触控显示面板的用户的体征信息,包括:
实时获取所述用户在所述触控区域附近的体征信息。
4.根据权利要求3所述的触控显示系统,还包括:
图像采集装置,与所述控制器耦接,配置为获取包含触控区域附近的用户的用户图像信息;
所述控制器配置为根据所述用户图像信息获取所述用户的体征信息。
5.根据权利要求4所述的触控显示系统,还包括:
测距装置,配置为获取所述用户与所述触控显示面板的水平距离;
其中,所述控制器还与所述测距装置耦接,且被配置为根据所述水平距离获取所述用户相对于所述触控区域的体征信息。
6.根据权利要求5所述的触控显示系统,其中,
所述图像采集装置还配置为获取的所述用户在所述触控显示面板的显示侧前的用户图像信息;
所述控制器还配置为根据所述用户图像信息获取所述用户的头顶、肩膀、手肘及手腕至少之一相对于所述触控显示面板的位置所在的地面的相对高度。
7.根据权利要求6所述的触控显示系统,其中,所述测距装置还配置为获取所述用户在所述触控显示面板前距离所述触控显示面板的显示侧的一个或多个位置的一个或多个的水平距离;
所述控制器还配置为根据所述水平距离和所述用户图像信息获取所述用户的头顶、肩膀、手肘及手腕至少之一相对于所述触控显示面板的位置所在的地面的相对高度。
8.根据权利要求7所述的触控显示系统,其中,所述控制器还配置为根据所述用户图像信息利用图像识别方法确定所述用户的头顶、肩膀、手肘及手腕至少之一相对于所述图像采集装置的位置信息,且根据所述位置信息、所述用户与所述触控显示面板的水平距离、以及所述图像采集装置相对于所述触控显示面板的位置所在地面的相对高度,得到所述用户的头顶、肩膀、手肘及手腕至少之一相对于所述触控显示面板的位置所在的地面的相对高度。
9.根据权利要求7所述的触控显示系统,其中,
所述测距装置包括至少两个不同位置的摄像头,至少两个所述摄像头彼此分离设置在所述触控显示面板上,
所述控制器配置为通过所述两个摄像头分别同时拍摄得到的用户图像信息计算获取用户在所述触控显示面板前距离所述触控显示面板的显示侧的一个或多个位置的一个或多个水平距离。
10.根据权利要求1所述的触控显示系统,其中,所述控制器还配置为当用户在调整后的触控范围内进行书写操作时,若写入所述触控范围内的书写内容位于所述触控范围的边界处,所述书写内容被换行显示。
11.根据权利要求1所述的触控显示系统,其中,
所述体征信息还包括所述用户的常用手信息;
所述控制器还配置为获取所述用户的常用手信息,
若所述用户的常用手信息为右手,则所述触控起始点坐标为所述矩形范围的左上顶点,若取所述用户的常用手信息为左手,则所述触控起始点坐标为所述矩形范围的右上顶点。
12.根据权利要求1-11任一项所述的触控显示系统,还包括:存储装置,
其中,所述存储装置包括用户信息库,所述用户信息库包括所述用户的身份信息以及所述用户的体征信息,
所述身份信息包括用户的身份验证信息,所述身份验证信息为用户的生物特征信息或登录数据库的密码信息。
13.根据权利要求12所述的触控显示系统,其中,所述控制器还配置为获取所述用户信息库中预存的所述用户的体征信息。
14.根据权利要求13所述的触控显示系统,其中,所述控制器还配置为获取预存的体征信息之前,获取所述用户的身份信息,以及获取与所述用户身份信息对应的体征信息。
15.根据权利要求1所述的触控显示系统,其中,所述控制器还配置为判断所述调整之后的触控范围的边界坐标是否超出所述触控区域,
若是,发出提醒信息提醒所述用户移动身体或手臂位置,并重新确定所述矩形范围,以使得所述矩形范围的触控范围全部在所述触控显示面板的所述触控区域内。
16.根据权利要求1所述的触控显示系统,其中,所述控制器还配置为根据用户呼出调整触控范围的输入指令启动调整用于所述用户的在所述触控区域中进行触控操作的触控范围。
17.一种触控显示系统的控制方法,适用于具有触控显示面板的触控显示系统,包括:
获取待操作触控显示面板的用户的体征信息,以及
根据所述用户的体征信息,调整用于所述用户的在所述触控显示面板的触控区域中进行触控操作的触控范围,
其中,所述体征信息包括所述用户的头顶、肩膀、手肘及手腕至少之一与所述触控显示面板的位置所在的地面的相对高度,
根据所述用户的体征信息,调整用于所述用户的在所述触控显示面板的触控区域中进行触控操作的触控范围,包括:
基于所述用户的头顶、肩膀、手肘及手腕至少之一相对于所述触控显示面板的位置所在的地面的相对高度,获取用于所述用户在所述触控区域中的触控范围;
其中,根据所述用户相对于所述触控区域的体征信息,调整用于所述用户的在所述触控区域中的触控范围,包括:
获取所述触控显示面板的显示侧前方所述用户的所在位置的头顶、肩膀、手肘及手腕至少之一相对于所述触控显示面板的位置所在的地面的相对高度;
根据所述头顶的相对高度确定所述触控显示面板上相对于所述触控显示面板的位置所在的地面相同高度位置,将所述相同高度位置作为所述头顶相对应的显示位置;
将所述用户的肩膀与手腕的相对高度的差值作为第一长度;
将所述用户的头顶与手肘的相对高度的差值作为第二长度;以及
将所述头顶相对应的显示位置作为调整后的触控起始点坐标,由所述第一长度与所述第二长度确定所述用户的触控范围;
所述用户的触控范围为以所述第一长度作为一边长、以所述第二长度作为相邻的另一边长的矩形范围,所述触控起始点坐标为所述矩形范围的上顶点;
其中,在确定所述调整后的触控范围后,当所述用户在调整后的触控范围内进行触控操作时,根据所述触控操作在触控范围内的位置,调整所述触控范围内对应于所述触控操作的待显示内容的显示方式。
CN202010119465.4A 2020-02-26 2020-02-26 触控显示系统及其控制方法 Active CN111309183B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010119465.4A CN111309183B (zh) 2020-02-26 2020-02-26 触控显示系统及其控制方法
US17/414,375 US11803232B2 (en) 2020-02-26 2020-12-29 Touch display system and control method thereof
PCT/CN2020/140694 WO2021169569A1 (zh) 2020-02-26 2020-12-29 触控显示系统及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010119465.4A CN111309183B (zh) 2020-02-26 2020-02-26 触控显示系统及其控制方法

Publications (2)

Publication Number Publication Date
CN111309183A CN111309183A (zh) 2020-06-19
CN111309183B true CN111309183B (zh) 2022-04-15

Family

ID=71157075

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010119465.4A Active CN111309183B (zh) 2020-02-26 2020-02-26 触控显示系统及其控制方法

Country Status (3)

Country Link
US (1) US11803232B2 (zh)
CN (1) CN111309183B (zh)
WO (1) WO2021169569A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111309183B (zh) * 2020-02-26 2022-04-15 京东方科技集团股份有限公司 触控显示系统及其控制方法
TWI748771B (zh) * 2020-11-30 2021-12-01 優派國際股份有限公司 顯示器高度調整裝置、調整顯示器高度的方法、內儲電腦程式之電腦可讀取記錄媒體以及電腦程式產品
CN112835446B (zh) * 2021-01-22 2023-08-08 杭州海康威视数字技术股份有限公司 一种安装高度指示信息的确定方法、装置及电子设备
CN113552996B (zh) * 2021-09-22 2022-03-25 深圳技术大学 一种根据人体姿态自动调节界面布局的方法及触控屏设备
WO2023173388A1 (en) * 2022-03-18 2023-09-21 Microsoft Technology Licensing, Llc Interaction customization for a large-format display device
CN114911384B (zh) * 2022-05-07 2023-05-12 青岛海信智慧生活科技股份有限公司 镜子显示器及其远程控制方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103440089A (zh) * 2013-06-25 2013-12-11 百度在线网络技术(北京)有限公司 一种用户设备的界面调整方法及用户设备
CN104714731A (zh) * 2013-12-12 2015-06-17 中兴通讯股份有限公司 终端界面的显示方法及装置
CN107329655A (zh) * 2017-06-27 2017-11-07 努比亚技术有限公司 一种窗口调节方法、移动终端以及计算机可读存储介质
JP2017220138A (ja) * 2016-06-10 2017-12-14 京セラドキュメントソリューションズ株式会社 入力装置、および画像処理装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8400406B1 (en) * 2003-11-03 2013-03-19 Imaging Systems Technology, Inc. IR touch
JP4412737B2 (ja) * 2007-09-06 2010-02-10 シャープ株式会社 情報表示装置
KR101364814B1 (ko) * 2009-06-16 2014-02-19 인텔 코오퍼레이션 핸드헬드 디바이스를 위한 적응형 버츄얼 키보드
CN102043544A (zh) * 2009-10-23 2011-05-04 鸿富锦精密工业(深圳)有限公司 具有红外触摸功能的电子装置及其控制方法
CN102043575B (zh) * 2009-10-23 2012-12-19 鸿富锦精密工业(深圳)有限公司 具优化配置功能的触摸电子装置及优化配置方法
US9542097B2 (en) * 2010-01-13 2017-01-10 Lenovo (Singapore) Pte. Ltd. Virtual touchpad for a touch device
US8836643B2 (en) * 2010-06-10 2014-09-16 Qualcomm Incorporated Auto-morphing adaptive user interface device and methods
TW201222396A (en) * 2010-11-22 2012-06-01 Acer Inc Touch-controlled apparatus and method for displaying a virtual keyboard on the touch-controlled apparatus thereof
WO2013035229A1 (ja) * 2011-09-05 2013-03-14 Necカシオモバイルコミュニケーションズ株式会社 携帯端末装置、携帯端末制御方法及びプログラム
KR101972924B1 (ko) * 2011-11-11 2019-08-23 삼성전자주식회사 휴대용 기기에서 부분 영역의 터치를 이용한 전체 영역 지정을 위한 방법 및 장치
KR101496512B1 (ko) * 2012-03-08 2015-02-26 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR102137240B1 (ko) 2013-04-16 2020-07-23 삼성전자주식회사 디스플레이 영역을 조절하기 위한 방법 및 그 방법을 처리하는 전자 장치
US9229529B2 (en) 2013-12-19 2016-01-05 Sony Corporation Apparatus and control method based on motion
US9223955B2 (en) * 2014-01-30 2015-12-29 Microsoft Corporation User-authentication gestures
KR102279790B1 (ko) * 2015-03-10 2021-07-19 엘지전자 주식회사 차량용 디스플레이 장치
KR20170109283A (ko) * 2016-03-21 2017-09-29 현대자동차주식회사 차량 및 차량의 제어방법
CN108604158A (zh) * 2016-12-01 2018-09-28 华为技术有限公司 一种终端应用操作区的自定制方法和终端
CN111309183B (zh) 2020-02-26 2022-04-15 京东方科技集团股份有限公司 触控显示系统及其控制方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103440089A (zh) * 2013-06-25 2013-12-11 百度在线网络技术(北京)有限公司 一种用户设备的界面调整方法及用户设备
CN104714731A (zh) * 2013-12-12 2015-06-17 中兴通讯股份有限公司 终端界面的显示方法及装置
JP2017220138A (ja) * 2016-06-10 2017-12-14 京セラドキュメントソリューションズ株式会社 入力装置、および画像処理装置
CN107329655A (zh) * 2017-06-27 2017-11-07 努比亚技术有限公司 一种窗口调节方法、移动终端以及计算机可读存储介质

Also Published As

Publication number Publication date
US11803232B2 (en) 2023-10-31
US20220164049A1 (en) 2022-05-26
WO2021169569A1 (zh) 2021-09-02
CN111309183A (zh) 2020-06-19

Similar Documents

Publication Publication Date Title
CN111309183B (zh) 触控显示系统及其控制方法
US11995774B2 (en) Augmented reality experiences using speech and text captions
US11132063B2 (en) Information processing apparatus for interactively performing work based on input content in extended work space
KR101541561B1 (ko) 유저 인터페이스 장치, 유저 인터페이스 방법, 및 기록 매체
US9317198B2 (en) Multi display device and control method thereof
CN109683716B (zh) 基于眼睛跟踪的可见度提高方法和电子装置
CN108227914A (zh) 透明显示装置、使用其的控制方法及其控制器
US10379610B2 (en) Information processing device and information processing method
EP2930593A1 (en) Multi-display system and method for controlling thereof
CN103731602A (zh) 多显示设备及其拍摄方法
US11107287B2 (en) Information processing apparatus and information processing method
US11869156B2 (en) Augmented reality eyewear with speech bubbles and translation
WO2015159602A1 (ja) 情報提供装置
US20160070410A1 (en) Display apparatus, electronic apparatus, hand-wearing apparatus and control system
WO2017163897A1 (ja) 情報表示システム及び情報提供端末
WO2017163895A1 (ja) 情報表示システム及び情報提供端末
US10594993B2 (en) Image projections
JP7155781B2 (ja) 情報処理装置及び情報処理プログラム
KR20080041051A (ko) 관람자의 시선 방향을 고려한 전시 시스템의 인터페이스방법 및 장치
JP2017224985A (ja) 情報処理装置、電子黒板、プログラム
US20200302643A1 (en) Systems and methods for tracking
US11954241B2 (en) Information display system and information display method
KR102257761B1 (ko) 터치스크린과 레일형 가이드를 이용한 지문인식시스템 및 방법
US20240143257A1 (en) Hybrid structure displays
JP2019082649A (ja) 映像表示システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant