CN106843502B - 一种三维显示的触控互动系统及方法 - Google Patents

一种三维显示的触控互动系统及方法 Download PDF

Info

Publication number
CN106843502B
CN106843502B CN201710142881.4A CN201710142881A CN106843502B CN 106843502 B CN106843502 B CN 106843502B CN 201710142881 A CN201710142881 A CN 201710142881A CN 106843502 B CN106843502 B CN 106843502B
Authority
CN
China
Prior art keywords
touch
ultrasonic
control
operator
control position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710142881.4A
Other languages
English (en)
Other versions
CN106843502A (zh
Inventor
丁小梁
王海生
刘英明
韩艳玲
郑智仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201710142881.4A priority Critical patent/CN106843502B/zh
Publication of CN106843502A publication Critical patent/CN106843502A/zh
Priority to PCT/CN2017/104510 priority patent/WO2018161551A1/zh
Priority to US15/769,409 priority patent/US10649586B2/en
Application granted granted Critical
Publication of CN106843502B publication Critical patent/CN106843502B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04166—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/043—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/043—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves
    • G06F3/0436—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves in which generating transducers and detecting transducers are attached to a single acoustic waves transmission substrate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明公开了一种三维显示的触控互动系统及方法，在开启三维触控互动模式后，根据至少两个超声波发射器发射的超声波信号的发射时间和至少两个超声波感应器接收的由操作者触控部位反射后的超声波信号的接收时间，确定操作者触控部位与显示面板的相对位置关系后；根据显示面板当前显示的三维物体和操作者触控部位与显示面板的相对位置关系，控制超声波发射器向操作者触控部位发射设定功率的超声波信号，以对操作者触控部位的触控行为进行反馈，使操作者的触控部位得到触觉感受。通过控制超声波的发射功率来模拟当前显示的三维物体的材质，使操作者的触控部位感受到与该材质相匹配的阻力，以实现高质量的触控互动和触觉感知，提高操作者的用户体验。

Description

一种三维显示的触控互动系统及方法
技术领域
本发明涉及三维显示技术领域，尤其涉及一种三维显示的触控互动系统及方法。
背景技术
目前，虚拟现实(AV/VR)技术逐渐成为热门话题。在诸如电视机等显示设备上已经可以实现裸眼三维(3D)显示，以模拟视觉的感知。但是，对于触觉的感知，目前的技术还只是停留在对于触控的三维位置获取层面，并不能真正达到模拟触觉的感知。
因此，如何提高在进行三维显示时对于触觉的感知，以实现高质量的触控互动，提高使用者的用户体验，是本领域急需解决的技术问题。
发明内容
有鉴于此，本发明实施例提供了一种三维显示的触控互动系统及方法，用以实现三维触控互动。
因此，本发明实施例提供了一种三维显示的触控互动系统，包括：显示面板，设置于所述显示面板侧边的至少两个超声波发射器和至少两个超声波感应器，位置检测装置以及主控装置；
所述位置检测装置分别与所述超声波发射器和所述超声波感应器连接，用于在开启三维触控互动模式后，根据至少两个所述超声波发射器发射的超声波信号的发射时间和至少两个超声波感应器接收的由操作者触控部位反射的超声波信号的接收时间，确定操作者触控部位与所述显示面板的相对位置关系；
所述主控装置分别与所述显示面板、所述超声波发射器和所述位置检测装置连接，用于根据所述显示面板当前显示的三维物体和所述操作者触控部位与所述显示面板的相对位置关系，控制所述超声波发射器向所述操作者触控部位发射设定功率的超声波信号，以对所述操作者触控部位的触控行为进行反馈，所述设定功率与所述三维物体的材质和所述三维物体与所述操作者触控部位的触控关系相互匹配。
在一种可能的实现方式中，在本发明实施例提供的上述触控互动系统中，还包括：分别与位置检测装置和所述主控装置连接的景深校正装置；
所述主控装置，还用于在开启所述三维触控互动模式之前，控制所述显示面板显示至少两幅景深测试图像；
所述位置检测装置，用于根据所述至少两个超声波发射器发射的超声波信号的发射时间和所述至少两个超声波感应器接收的由操作者触控部位反射后的超声波信号的接收时间，确定操作者触控部位与所述显示面板的相对位置关系；
所述景深校正装置，用于根据所述景深测试图像和所述操作者触控部位与所述显示面板的相对位置关系，对所述操作者感受到的景深与所述景深测试图像的预设景深之间的误差进行校正。
在一种可能的实现方式中，在本发明实施例提供的上述触控互动系统中，所述位置检测装置包括四个超声波感应器，所述位置检测装置，具体用于控制至少两个所述超声波发射器发出第一超声波信号扫描与所述超声波感应器所在区域对应的触控互动区域；根据各所述超声波感应器接收到的由操作者触控部位反射后的第一超声波信号之间的接收时间之差，确定所述操作者触控部位相对于所述超声波感应器的方位角；控制所述超声波发射器向所述方位角发出第二超声波信号；根据各所述超声波感应器接收到的由操作者触控部位反射后的第二超声波信号的接收时间与各所述超声波发射器发射的所述第二超声波信号的发射时间之差，确定所述操作者触控部位与各所述超声波感应器的绝对距离；根据所述操作者触控部位与各所述超声波感应器的绝对距离的平均值，确定所述操作者触控部位与所述显示面板的相对位置关系。
在一种可能的实现方式中，在本发明实施例提供的上述触控互动系统中，所述位置检测装置，具体用于控制分别位于所述显示面板两侧的两组所述超声波发射器发射所述第一超声波信号的相位，以每组所述超声波发射器发射的两个所述第一超声波信号通过波的干涉作用形成的发射能量最大的方向作为扫描方向，控制两组所述超声波发射器的扫描方向以相反方向转动扫描与所述超声波感应器所在区域对应的触控互动区域，且两组所述超声波发射器的扫描区域互不重叠。
在一种可能的实现方式中，在本发明实施例提供的上述触控互动系统中，所述超声波发射器为扬声器。
另一方面，本发明实施例还提供了一种三维显示的触控互动方法，包括：
在开启三维触控互动模式后，根据至少两个超声波发射器发射的超声波信号的发射时间和至少两个超声波感应器接收的由操作者触控部位反射后的超声波信号的接收时间，确定操作者触控部位与所述显示面板的相对位置关系；
根据所述显示面板当前显示的三维物体和所述操作者触控部位与所述显示面板的相对位置关系，控制所述超声波发射器向所述操作者触控部位发射设定功率的超声波信号，以对所述操作者触控部位的触控行为进行反馈，所述设定功率与所述三维物体的材质和所述三维物体与所述操作者触控部位的触控关系相互匹配。
在一种可能的实现方式中，在本发明实施例提供的上述触控互动方法中，在开启所述三维触控互动模式之前，还包括：
控制所述显示面板显示至少两幅景深测试图像；
根据所述至少两个超声波发射器发射的超声波信号的发射时间和所述至少两个超声波感应器接收的由操作者触控部位反射后的超声波信号的接收时间，确定操作者触控部位与所述显示面板的相对位置关系；
根据所述景深测试图像和所述操作者触控部位与所述显示面板的相对位置关系，对所述操作者感受到的景深与所述景深测试图像的预设景深之间的误差进行校正。
在一种可能的实现方式中，在本发明实施例提供的上述触控互动方法中，所述根据至少两个超声波发射器发射的超声波信号的发射时间和至少两个超声波感应器接收的由操作者触控部位反射后的超声波信号的接收时间，确定操作者触控部位与所述显示面板的相对位置关系，具体包括：
所述超声波感应器为四个；
控制至少两个所述超声波发射器发出第一超声波信号扫描与所述超声波感应器所在区域对应的触控互动区域；
根据各所述超声波感应器接收到的由操作者触控部位反射后的第一超声波信号之间的接收时间之差，确定所述操作者触控部位相对于所述超声波感应器的方位角；
控制所述超声波发射器向所述方位角发出第二超声波信号；
根据各所述超声波感应器接收到的由操作者触控部位反射后的第二超声波信号的接收时间与各所述超声波发射器发射的所述第二超声波信号的发射时间之差，确定所述操作者触控部位与各所述超声波感应器的绝对距离；
根据所述操作者触控部位与各所述超声波感应器的绝对距离的平均值，确定所述操作者触控部位与所述显示面板的相对位置关系。
在一种可能的实现方式中，在本发明实施例提供的上述触控互动方法中，控制至少两个所述超声波发射器发出第一超声波信号扫描与所述超声波感应器所在区域对应的触控互动区域，具体包括：
控制分别位于所述显示面板两侧的两组所述超声波发射器发射所述第一超声波信号的相位，以每组所述超声波发射器发射的两个所述第一超声波信号通过波的干涉作用形成的发射能量最大的方向作为扫描方向，控制两组所述超声波发射器的扫描方向以相反方向转动扫描与所述超声波感应器所在区域对应的触控互动区域，且两组所述超声波发射器的扫描区域互不重叠。
在一种可能的实现方式中，在本发明实施例提供的上述触控互动方法中，所述显示面板为电视机，所述超声波发射器为所述电视机的扬声器。
本发明实施例的有益效果包括：
本发明实施例提供的一种三维显示的触控互动系统及方法，在开启三维触控互动模式后，首先根据至少两个超声波发射器发射的超声波信号的发射时间和至少两个超声波感应器接收的由操作者触控部位反射后的超声波信号的接收时间，确定操作者触控部位与显示面板的相对位置关系后；接着，根据显示面板当前显示的三维物体和操作者触控部位与显示装置的相对位置关系，控制超声波发射器向操作者触控部位发射设定功率的超声波信号，以对操作者触控部位的触控行为进行反馈，其中，设定功率与三维物体的材质和三维物体与操作者触控部位的触控关系相互匹配。通过控制超声波对触控行为进行反馈，使操作者的触控部位得到触觉感受；并通过控制超声波的发射功率来模拟当前显示的三维物体的材质，使操作者的触控部位感受到与该材质相匹配的阻力，以实现高质量的触控互动和触觉感知，提高操作者的用户体验。
附图说明
图1为本发明实施例提供的三维显示的触控互动方法的流程图之一；
图2为本发明实施例提供的三维显示的触控互动方法的流程图之二；
图3为本发明实施例提供的三维显示的触控互动方法的具体流程图；
图4为本发明实施例提供的三维显示的触控互动方法中的原理示意图；
图5为本发明实施例提供的三维显示的触控互动方法应用的显示面板的结构示意图；
图6为本发明实施例提供的三维显示的触控互动系统的结构示意图。
具体实施方式
下面结合附图，对本发明实施例提供的三维显示的触控互动系统及方法的具体实施方式进行详细地说明。
本发明实施例提供了一种三维显示的触控互动方法，如图1所示，具体包括以下步骤：
S101、在开启三维触控互动模式后，根据至少两个超声波发射器发射的超声波信号的发射时间和至少两个超声波感应器接收的由操作者触控部位反射后的超声波信号的接收时间，确定操作者触控部位与显示面板的相对位置关系；
S102、根据显示面板当前显示的三维物体和操作者触控部位与显示面板的相对位置关系，控制超声波发射器向操作者触控部位发射设定功率的超声波信号，以对操作者触控部位的触控行为进行反馈，设定功率与三维物体的材质和三维物体与操作者触控部位的触控关系相互匹配。
具体地，由于本发明实施例提供的上述三维显示的触控互动方法通过控制超声波对触控行为进行反馈，可以使操作者的触控部位得到触觉感受；并通过控制超声波的发射功率来模拟当前显示的三维物体的材质，使操作者的触控部位感受到与该材质相匹配的阻力，以实现高质量的触控互动和触觉感知，提高操作者的用户体验。
进一步地，在采用本发明实施例提供的上述三维显示的触控互动方法进行三维触控互动时，由于每个操作者的感知会存在差异，有可能出现当前显示的三维物体的设定景深和操作者实际感受到的景深不一致的情况，导致在根据超声波确定操作者触控部位后，对触控部位进行触控行为的反馈时出现偏差的情况。因此，较佳地，在进行三维触控互动之前，最好根据操作者的感知对三维显示的景深进行校正。
基于此，在具体实施时，在本发明实施例提供的上述三维显示的触控互动方法中，为提高触控精度以提高触控互动体验，如图2所示，还可以包括以下步骤：
S201、在开启三维触控互动模式之前，控制显示面板显示至少两幅景深测试图像；在具体实施时，一般选择显示三幅景深测试图像；
S202、根据至少两个超声波发射器发射的超声波信号的发射时间和至少两个超声波感应器接收的由操作者触控部位反射后的超声波信号的接收时间，确定操作者触控部位与显示面板的相对位置关系；
S203、根据景深测试图像和操作者触控部位与显示面板的相对位置关系，对操作者感受到的景深与景深测试图像的预设景深之间的误差进行校正。
在具体实施时，上述步骤S203根据景深测试图像和操作者触控部位与显示面板的相对位置关系，对操作者感受到的景深与景深测试图像的预设景深之间的误差进行校正，具体可以采用多种方式，例如可以将显示的每两幅景深测试图像的预设景深之差与通过超声波探测到的触控部位所在位置表示的操作者实际感知到的各景深测试图像的景深之差进行比较，并进行归一化校正使两者相互匹配。
在具体实施时，在执行本发明实施例提供的上述三维显示的触控互动方法中的景深校正过程中，可以逐一显示多幅景深测试图像，并在每次显示景深测试图像之后采用超声波探测操作者触控部位相对于显示面板的位置；也可以同时显示多幅景深测试图像，之后逐一通过超声波探测获取操作者触控部位相对于显示面板的位置，在此不做限定。
在具体实施时，在本发明实施例提供的上述三维显示的触控互动方法中，不管是在开启三维触控互动模式后的步骤S101根据至少两个超声波发射器发射的超声波信号的发射时间和至少两个超声波感应器接收的由操作者触控部位反射后的超声波信号的接收时间，确定操作者触控部位与显示面板的相对位置关系，还是在开启三维触控互动模式之前的步骤S202根据至少两个超声波发射器发射的超声波信号的发射时间和至少两个超声波感应器接收的由操作者触控部位反射后的超声波信号的接收时间，确定操作者触控部位与显示面板的相对位置关系，均最少只需要两个超声波接收器实现位置确定功能是由于：每个超声波接收器均可以确定物体距离超声波接收器所在的球面的距离，而两个超声波接收器构成的两个球面必然会相交，存在一个弧面，而超声波发射器发射出的超声波方向已知，频率已知，且超声波发射器和超声波接收器的相对位置关系固定，即可确定物体所在位置。
具体地，上述步骤S101和S202如图3所示，均可以通过以下具体的步骤实现：
所述超声波感应器为四个；
S301、控制至少两个超声波发射器发出第一超声波信号扫描与超声波感应器所在区域对应的触控互动区域；以使第一超声波信号经过位于触控互动区域的操作者触控部位反射后被各超声波感应器接收；
S302、根据各超声波感应器接收到的由操作者触控部位反射后的第一超声波信号之间的接收时间之差，确定操作者触控部位相对于超声波感应器的方位角；即根据各超声波感应器接收到的经过操作者触控部位反射后的第一超声波信号的接收时间之间的差值，确定出操作者触控部位相对于各超声波感应器的方位角；经过此步骤仅能确定出操作者触控部位的相对位置，还需要通过下述步骤确定操作者触控部位的绝对位置；
S303、控制超声波发射器向方位角发出第二超声波信号；在具体实施时，可以控制全部超声波发射器向对应的方位角发出第二超声波信号，也可以仅控制部分超声波发射器向对应的方位角发射第二超声波信号，在此不做限定；
S304、根据各超声波感应器接收到的由操作者触控部位反射后的第二超声波信号的接收时间与各超声波发射器发射的第二超声波信号的发射时间之差，确定操作者触控部位与各超声波感应器的绝对距离；在具体实施时，可以根据各超声波感应器接收到的经过操作者触控部位反射后的第二超声波信号的时间，确定操作者触控部位与各超声波感应器的绝对距离；
S305、根据操作者触控部位与各超声波感应器的绝对距离的平均值，确定操作者触控部位与显示面板的相对位置关系。
在具体实施时，在本发明实施例提供的上述三维显示的触控互动方法中的步骤S301控制至少两个超声波发射器发出第一超声波信号扫描与超声波感应器所在区域对应的触控互动区域，具体可以采用如下方式实现：
如图4所示，控制分别位于显示面板两侧的两组超声波发射器401发射第一超声波信号的相位，以每组超声波发射器401发射的两个第一超声波信号通过波的干涉作用形成的发射能量最大的方向作为扫描方向A和B，控制两组超声波发射器401的扫描方向A和B以相反方向(图4中虚线箭头方向)转动扫描与超声波感应器402所在区域对应的触控互动区域，且两组超声波发射器401的扫描区域互不重叠。这样可以节省扫描时间。在图4中，O表示操作者触控部位。
上述仅是举例说明步骤S301控制至少两个超声波发射器发出第一超声波信号扫描与超声波感应器所在区域对应的触控互动区域的具体实现方式，本领域内技术人员应该理解，本发明实施例中的步骤S301还可以有其他实现方式，而不以此为限。
目前，随着电视机产品的音响效果逐渐提升，声道数也增多，在本发明实施例提供的上述三维显示的触控互动方法应用于电视机进行三维触控互动时，可以利用电视机的四声道音响结构，使每个声道喇叭发射超声波，并且在音响部位放置至少四个超声波感应器，以实现对三维触控的互动。即在具体实施时，如图5所示，超声波发射器可以为扬声器。这样，可以利用扬声器发出对定位的操作者触控部位的位置发出大功率超声波，使操作者得到触觉感受。如触摸的三维虚拟物体是不同的物体材质，还可以控制音响来进行不同功率的超声波发射，使得操作者感受到不同材质，或者有不同阻力的感受。
基于同一发明构思，本发明实施例还提供了一种三维显示的触控互动系统，由于该系统解决问题的原理与前述一种三维显示的触控互动方法相似，因此该系统的实施可以参见方法的实施，重复之处不再赘述。
具体地，本发明实施例提供的一种三维显示的触控互动系统，如图6所示，包括：显示面板611，设置于显示面板611侧边的至少两个超声波发射器612和至少两个超声波感应器613，位置检测装置614和主控装置615；
位置检测装置614分别与超声波发射器612和超声波感应器613连接，用于在开启三维触控互动模式后，根据至少两个超声波发射器612发射的超声波信号的发射时间和至少两个超声波感应器接收的由操作者触控部位反射的超声波信号的接收时间，确定操作者触控部位与显示面板的相对位置关系；
主控装置615分别与显示面板611、超声波发射器612和位置检测装置614连接，用于根据显示面板611当前显示的三维物体和操作者触控部位与显示面板的相对位置关系，控制超声波发射器612向操作者触控部位发射设定功率的超声波信号，以对操作者触控部位的触控行为进行反馈，设定功率与三维物体的材质和三维物体与操作者触控部位的触控关系相互匹配。
在具体实施时，在本发明实施例提供的上述三维显示的触控互动系统中，如图6所示，还可以包括：分别与位置检测装置614和主控装置615连接的景深校正装置616；
主控装置615，还用于在开启三维触控互动模式之前，控制显示面板611显示至少两幅景深测试图像；
位置检测装置614，用于根据至少两个超声波发射器612发射的超声波信号的发射时间和至少两个超声波感应器613接收的由操作者触控部位反射后的超声波信号的接收时间，确定操作者触控部位与显示面板的相对位置关系；
景深校正装置616，用于根据景深测试图像和操作者触控部位与显示面板的相对位置关系，对操作者感受到的景深与景深测试图像的预设景深之间的误差进行校正。
在具体实施时，在本发明实施例提供的上述三维显示的触控互动系统中，所述位置检测装置614包括四个超声波感应器，位置检测装置614，具体用于控制至少两个超声波发射器612发出第一超声波信号扫描与超声波感应器所在区域对应的触控互动区域；根据各超声波感应器613接收到的由操作者触控部位反射后的第一超声波信号的接收时间之差，确定操作者触控部位相对于超声波感应器的方位角；控制超声波发射器612向方位角发出第二超声波信号；根据各超声波感应器613接收到的由操作者触控部位反射后的第二超声波信号的接收时间与各超声波发射器612发射的第二超声波信号的发射时间之差，确定操作者触控部位与各超声波感应器的绝对距离；根据操作者触控部位与各超声波感应器的绝对距离的平均值，确定操作者触控部位与显示面板的相对位置关系。
在具体实施时，在本发明实施例提供的上述三维显示的触控互动系统中，位置检测装置614，具体用于控制分别位于显示面板611两侧的两组超声波发射器612发射第一超声波信号的相位，以每组超声波发射器612发射的两个第一超声波信号通过波的干涉作用形成的发射能量最大的方向作为扫描方向，控制两组超声波发射器612的扫描方向以相反方向转动扫描与超声波感应器613所在区域对应的触控互动区域，且两组超声波发射器612的扫描区域互不重叠。
在具体实施时，在本发明实施例提供的上述三维显示的触控互动系统中，超声波发射器612为扬声器。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明实施例可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，本发明实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
本领域技术人员可以理解附图只是一个优选实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
本领域技术人员可以理解实施例中的装置中的模块可以按照实施例描述进行分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
本发明实施例提供的上述三维显示的触控互动系统及方法，在开启三维触控互动模式后，首先根据至少两个超声波发射器发射的超声波信号的发射时间和至少两个超声波感应器接收的由操作者触控部位反射后的超声波信号的接收时间，确定操作者触控部位与显示面板的相对位置关系后；接着，根据显示面板当前显示的三维物体和操作者触控部位与显示面板的相对位置关系，控制超声波发射器向操作者触控部位发射设定功率的超声波信号，以对操作者触控部位的触控行为进行反馈，其中，设定功率与三维物体的材质和三维物体与操作者触控部位的触控关系相互匹配。通过控制超声波对触控行为进行反馈，使操作者的触控部位得到触觉感受；并通过控制超声波的发射功率来模拟当前显示的三维物体的材质，使操作者的触控部位感受到与该材质相匹配的阻力，以实现高质量的触控互动和触觉感知，提高操作者的用户体验。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (5)

1.一种三维显示的触控互动系统，其特征在于，包括：显示面板，设置于所述显示面板侧边的至少两个超声波发射器和至少两个超声波感应器，位置检测装置以及主控装置；
所述位置检测装置分别与所述超声波发射器和所述超声波感应器连接，用于在开启三维触控互动模式后，根据至少两个所述超声波发射器发射的超声波信号的发射时间和至少两个超声波感应器接收的由操作者触控部位反射的超声波信号的接收时间，确定操作者触控部位与所述显示面板的相对位置关系；
所述主控装置分别与所述显示面板、所述超声波发射器和所述位置检测装置连接，用于根据所述显示面板当前显示的三维物体和所述操作者触控部位与所述显示面板的相对位置关系，控制所述超声波发射器向所述操作者触控部位发射设定功率的超声波信号，以对所述操作者触控部位的触控行为进行反馈，所述设定功率与所述三维物体的材质和所述三维物体与所述操作者触控部位的触控关系相互匹配；
其中，所述位置检测装置包括四个超声波感应器，所述位置检测装置，具体用于控制至少两个所述超声波发射器发出第一超声波信号扫描与所述超声波感应器所在区域对应的触控互动区域；根据各所述超声波感应器接收到的由操作者触控部位反射后的第一超声波信号之间的接收时间之差，确定所述操作者触控部位相对于所述超声波感应器的方位角；控制所述超声波发射器向所述方位角发出第二超声波信号；根据各所述超声波感应器接收到的由操作者触控部位反射后的第二超声波信号的接收时间与各所述超声波发射器发射的所述第二超声波信号的发射时间之差，确定所述操作者触控部位与各所述超声波感应器的绝对距离；根据所述操作者触控部位与各所述超声波感应器的绝对距离的平均值，确定所述操作者触控部位与所述显示面板的相对位置关系；
其中，所述位置检测装置，具体用于控制分别位于所述显示面板两侧的两组所述超声波发射器发射所述第一超声波信号的相位，以每组所述超声波发射器发射的两个所述第一超声波信号通过波的干涉作用形成的发射能量最大的方向作为扫描方向，控制两组所述超声波发射器的扫描方向以相反方向转动扫描与所述超声波感应器所在区域对应的触控互动区域，且两组所述超声波发射器的扫描区域互不重叠。
2.如权利要求1所述的触控互动系统，其特征在于，还包括：分别与位置检测装置和所述主控装置连接的景深校正装置；
所述主控装置，还用于在开启所述三维触控互动模式之前，控制所述显示面板显示至少两幅景深测试图像；
所述位置检测装置，用于根据所述至少两个超声波发射器发射的超声波信号的发射时间和所述至少两个超声波感应器接收的由操作者触控部位反射后的超声波信号的接收时间，确定操作者触控部位与所述显示面板的相对位置关系；
所述景深校正装置，用于根据所述景深测试图像和所述操作者触控部位与所述显示面板的相对位置关系，对所述操作者感受到的景深与所述景深测试图像的预设景深之间的误差进行校正。
3.如权利要求1所述的触控互动系统，其特征在于，所述超声波发射器为扬声器。
4.一种三维显示的触控互动方法，其特征在于，包括：
在开启三维触控互动模式后，根据至少两个超声波发射器发射的超声波信号的发射时间和至少两个超声波感应器接收的由操作者触控部位反射后的超声波信号的接收时间，确定操作者触控部位与所述显示面板的相对位置关系；
根据所述显示面板当前显示的三维物体和所述操作者触控部位与所述显示面板的相对位置关系，控制所述超声波发射器向所述操作者触控部位发射设定功率的超声波信号，以对所述操作者触控部位的触控行为进行反馈，所述设定功率与所述三维物体的材质和所述三维物体与所述操作者触控部位的触控关系相互匹配；
其中，所述根据至少两个超声波发射器发射的超声波信号的发射时间和至少两个超声波感应器接收的由操作者触控部位反射后的超声波信号的接收时间，确定操作者触控部位与所述显示面板的相对位置关系，具体包括：
所述超声波感应器为四个；
控制至少两个所述超声波发射器发出第一超声波信号扫描与所述超声波感应器所在区域对应的触控互动区域；
根据各所述超声波感应器接收到的由操作者触控部位反射后的第一超声波信号之间的接收时间之差，确定所述操作者触控部位相对于所述超声波感应器的方位角；
控制所述超声波发射器向所述方位角发出第二超声波信号；
根据各所述超声波感应器接收到的由操作者触控部位反射后的第二超声波信号的接收时间与各所述超声波发射器发射的所述第二超声波信号的发射时间之差，确定所述操作者触控部位与各所述超声波感应器的绝对距离；
根据所述操作者触控部位与各所述超声波感应器的绝对距离的平均值，确定所述操作者触控部位与所述显示面板的相对位置关系；
其中，控制至少两个所述超声波发射器发出第一超声波信号扫描与所述超声波感应器所在区域对应的触控互动区域，具体包括：
控制分别位于所述显示面板两侧的两组所述超声波发射器发射所述第一超声波信号的相位，以每组所述超声波发射器发射的两个所述第一超声波信号通过波的干涉作用形成的发射能量最大的方向作为扫描方向，控制两组所述超声波发射器的扫描方向以相反方向转动扫描与所述超声波感应器所在区域对应的触控互动区域，且两组所述超声波发射器的扫描区域互不重叠。
5.如权利要求4所述的触控互动方法，其特征在于，在开启所述三维触控互动模式之前，还包括：
控制所述显示面板显示至少两幅景深测试图像；
根据所述至少两个超声波发射器发射的超声波信号的发射时间和所述至少两个超声波感应器接收的由操作者触控部位反射后的超声波信号的接收时间，确定操作者触控部位与所述显示面板的相对位置关系；
根据所述景深测试图像和所述操作者触控部位与所述显示面板的相对位置关系，对所述操作者感受到的景深与所述景深测试图像的预设景深之间的误差进行校正。
CN201710142881.4A 2017-03-10 2017-03-10 一种三维显示的触控互动系统及方法 Expired - Fee Related CN106843502B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201710142881.4A CN106843502B (zh) 2017-03-10 2017-03-10 一种三维显示的触控互动系统及方法
PCT/CN2017/104510 WO2018161551A1 (zh) 2017-03-10 2017-09-29 三维显示的触控互动系统及方法
US15/769,409 US10649586B2 (en) 2017-03-10 2017-09-29 System and method for touch and interaction in a three-dimension display

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710142881.4A CN106843502B (zh) 2017-03-10 2017-03-10 一种三维显示的触控互动系统及方法

Publications (2)

Publication Number Publication Date
CN106843502A CN106843502A (zh) 2017-06-13
CN106843502B true CN106843502B (zh) 2019-10-18

Family

ID=59145178

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710142881.4A Expired - Fee Related CN106843502B (zh) 2017-03-10 2017-03-10 一种三维显示的触控互动系统及方法

Country Status (3)

Country Link
US (1) US10649586B2 (zh)
CN (1) CN106843502B (zh)
WO (1) WO2018161551A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106843502B (zh) * 2017-03-10 2019-10-18 京东方科技集团股份有限公司 一种三维显示的触控互动系统及方法
CN107368189A (zh) * 2017-07-14 2017-11-21 信利光电股份有限公司 一种实现三维触控功能的触控显示装置及方法
CN108803925A (zh) * 2018-05-24 2018-11-13 上海闻泰信息技术有限公司 触屏效果的实现方法、装置、终端和介质
CN110928472B (zh) * 2018-09-19 2023-05-05 阿里巴巴集团控股有限公司 物品处理方法、装置及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103455171A (zh) * 2013-09-09 2013-12-18 吉林大学 一种三维交互电子白板系统及方法
CN104035561A (zh) * 2014-06-11 2014-09-10 京东方科技集团股份有限公司 触觉反馈系统、方法和触摸显示装置
CN104331152A (zh) * 2010-05-24 2015-02-04 原相科技股份有限公司 三维影像互动系统
CN104407692A (zh) * 2014-09-30 2015-03-11 深圳市亿思达科技集团有限公司 基于超声波的全息图像交互式显示方法、控制方法及系统
CN104699235A (zh) * 2013-12-05 2015-06-10 浙江大学 基于超声波的三维空间成像交互方法及系统
CN105426024A (zh) * 2015-11-25 2016-03-23 吉林大学 一种基于超声波聚焦的触觉反馈系统及方法
CN105872214A (zh) * 2016-03-28 2016-08-17 维沃移动通信有限公司 一种基于超声波的操作指令识别的方法及终端

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2878409B2 (ja) 1989-09-04 1999-04-05 株式会社リコー ３次元物体撮像方式
GB0916707D0 (en) * 2009-09-23 2009-11-04 Elliptic Laboratories As Acoustic motion determination
WO2014038813A1 (en) * 2012-09-04 2014-03-13 Samsung Electronics Co., Ltd. Adaptating a number of aggregation levels for control channel elements
US9390598B2 (en) * 2013-09-11 2016-07-12 Blackberry Limited Three dimensional haptics hybrid modeling
KR102201733B1 (ko) * 2013-09-30 2021-01-12 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
KR102315184B1 (ko) * 2014-11-21 2021-10-20 삼성디스플레이 주식회사 표시 장치
CN104679238A (zh) 2014-12-29 2015-06-03 深圳市亿思达科技集团有限公司 一种基于信号传输的全息交互装置和方法
CN104991686A (zh) 2015-07-31 2015-10-21 上海复旦上科多媒体有限公司 一种超声波触控系统
CN106843502B (zh) 2017-03-10 2019-10-18 京东方科技集团股份有限公司 一种三维显示的触控互动系统及方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104331152A (zh) * 2010-05-24 2015-02-04 原相科技股份有限公司 三维影像互动系统
CN103455171A (zh) * 2013-09-09 2013-12-18 吉林大学 一种三维交互电子白板系统及方法
CN104699235A (zh) * 2013-12-05 2015-06-10 浙江大学 基于超声波的三维空间成像交互方法及系统
CN104035561A (zh) * 2014-06-11 2014-09-10 京东方科技集团股份有限公司 触觉反馈系统、方法和触摸显示装置
CN104407692A (zh) * 2014-09-30 2015-03-11 深圳市亿思达科技集团有限公司 基于超声波的全息图像交互式显示方法、控制方法及系统
CN105426024A (zh) * 2015-11-25 2016-03-23 吉林大学 一种基于超声波聚焦的触觉反馈系统及方法
CN105872214A (zh) * 2016-03-28 2016-08-17 维沃移动通信有限公司 一种基于超声波的操作指令识别的方法及终端

Also Published As

Publication number Publication date
WO2018161551A1 (zh) 2018-09-13
CN106843502A (zh) 2017-06-13
US20190073088A1 (en) 2019-03-07
US10649586B2 (en) 2020-05-12

Similar Documents

Publication Publication Date Title
CN106843502B (zh) 一种三维显示的触控互动系统及方法
KR101652744B1 (ko) 국소형 햅틱 피드백
US10133353B2 (en) Three dimensional tactile feedback system
US10048811B2 (en) Detecting touch input provided by signal transmitting stylus
CN106843475A (zh) 一种实现虚拟现实交互的方法及系统
AU2008202776B2 (en) Dynamic source parameter selection for seismic vibrator data acquisition
CN103890701B (zh) 用于主动超声触摸装置的方法和设备
JP2019530049A (ja) 触覚振動子デバイスによる反響定位
IL285551A (en) Detection and calibration methods in sensing-based systems
CN105426024A (zh) 一种基于超声波聚焦的触觉反馈系统及方法
JP2013542828A5 (zh)
KR100813998B1 (ko) 3차원 위치 추적 방법 및 장치
CN103593093A (zh) 一种触控显示装置及其实现方法
CN104991686A (zh) 一种超声波触控系统
CN105702119A (zh) 基于三屏汽车驾驶模拟器的视角调节方法、装置及系统
KR100928249B1 (ko) 3차원 음향공간내의 가상위치에 하나 이상의 음원을존재하게 하는 모의 실험 방법 및 장치
EP3200050B1 (en) Touch screen and touch point positioning method
EP3182734B1 (en) Method for using a mobile device equipped with at least two microphones for determining the direction of loudspeakers in a setup of a surround sound system
CN104679238A (zh) 一种基于信号传输的全息交互装置和方法
CN109188378B (zh) 一种超声多普勒回波信号仿真方法
CN110226151A (zh) 可穿戴超声触觉反馈系统
WO2019218141A1 (zh) 一种剪切波弹性测量方法及剪切波弹性成像系统
JP2017527032A5 (zh)
Volná et al. Acoustic signal processing via neural network towards motion capture systems
US20180283911A1 (en) System for calibrating refracted vibrations in the context of simulation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20191018

CF01 Termination of patent right due to non-payment of annual fee