CN112925430A - 实现悬浮触控的方法、3d显示设备和3d终端 - Google Patents

实现悬浮触控的方法、3d显示设备和3d终端 Download PDF

Info

Publication number
CN112925430A
CN112925430A CN201911231145.1A CN201911231145A CN112925430A CN 112925430 A CN112925430 A CN 112925430A CN 201911231145 A CN201911231145 A CN 201911231145A CN 112925430 A CN112925430 A CN 112925430A
Authority
CN
China
Prior art keywords
touch
display screen
display
naked eye
view naked
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911231145.1A
Other languages
English (en)
Inventor
刁鸿浩
黄玲溪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vision Technology Venture Capital Pte Ltd
Beijing Ivisual 3D Technology Co Ltd
Original Assignee
Vision Technology Venture Capital Pte Ltd
Beijing Ivisual 3D Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vision Technology Venture Capital Pte Ltd, Beijing Ivisual 3D Technology Co Ltd filed Critical Vision Technology Venture Capital Pte Ltd
Priority to CN201911231145.1A priority Critical patent/CN112925430A/zh
Priority to US17/780,059 priority patent/US20220413619A1/en
Priority to EP20896365.2A priority patent/EP4068061A4/en
Priority to PCT/CN2020/133323 priority patent/WO2021110030A1/zh
Priority to TW109142959A priority patent/TWI825367B/zh
Publication of CN112925430A publication Critical patent/CN112925430A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04186—Touch location disambiguation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00—Aspects of the constitution of display devices
    • G09G2300/04—Structural and physical details of display devices
    • G09G2300/0439—Pixel structures
    • G09G2300/0452—Details of colour pixel setup, e.g. pixel composed of a red, a blue and two green components
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请涉及3D影像领域，公开了一种实现悬浮触控的方法，包括：控制多视点裸眼3D显示屏显示3D触控对象，以及获取用户相对多视点裸眼3D显示屏的悬浮触控位置；和当悬浮触控位置与3D触控对象的显示位置相匹配时，生成触控触发信息。本申请还公开一种实现悬浮触控的3D显示设备和3D终端。

Description

实现悬浮触控的方法、3D显示设备和3D终端
技术领域
本公开涉及裸眼式3D(立体)显示技术，例如涉及基于多视点裸眼3D显示屏实现悬浮触控的方法、3D显示设备和3D终端。
背景技术
3D影像是视像行业中热点的技术之一，推动着从平面显示向3D显示的技术变革。3D显示技术是3D影像产业中的一环，主要分为两类，即眼镜式3D显示和裸眼式3D显示技术。裸眼式3D显示技术是一种用户无需佩戴眼镜而能够直接观看到3D显示画面的技术。与眼镜式3D显示相比，裸眼式3D显示属于自由3D显示技术，减少了对用户的约束。
通常，裸眼式3D显示是基于视点的，在空间中不同位置处形成视差图像(帧)的序列，使得具有视差关系的3D图像对可以分别进入人的左右眼当中，从而给用户带来3D感。
显示触控技术为触控操作者、用户提供了便捷、高效的信息输入，使得操作者、用户能够高效地进行信息互动，在3D显示中进行触控信息采集尤为必要，能够提升用户对的身临其境的感受，还能进一步提升用户信息输入、信息互动的效率，现有的3D显示采集触控点的方式和常规2D采集触控点的方式一致，在显示面板上设置金属线，感测到电容或者电压变化之后或者触控点的位置，此种的方式造成显示是3D效果，但是触控仍然是在2D平面内检测，造成感官不统一的问题，有效影响了用户的信息输入，信息交互的效率。
本背景技术仅为了便于了解本领域的相关技术，并不视作对现有技术的承认。
发明内容
为了对披露的实施例的一些方面有基本的理解，下面给出了一些实施例的概述，其不是要确定关键/重要组成元素或描绘发明的保护范围，而是作为后面的详细说明的序言。
本公开实施例意图提供一种实现悬浮触控的方法、3D显示设备和3D终端，意图实现触控和显示感官统一。
在一个方案中，提供了一种实现悬浮触控的方法，其特征在于，包括：控制多视点裸眼3D显示屏显示3D触控对象，以及获取用户相对多视点裸眼3D显示屏的悬浮触控位置；和当悬浮触控位置与3D触控对象的显示位置相匹配时，生成触控触发信息。
在一些实施例中，多视点裸眼3D显示屏包括多个复合子像素，多个复合子像素中的每个复合子像素包括对应多个视点的多个子像素；控制多视点裸眼3D显示屏显示3D触控对象包括：根据用户的眼部所在视点，基于3D信号动态渲染多视点裸眼3D显示屏中的复合子像素中的子像素，以向用户以3D效果显示3D触控对象。
在一些实施例中，获取用户相对多视点裸眼3D显示屏的悬浮触控位置包括：采集用户的用户图像；根据用户图像获取用户的触控媒介相对多视点裸眼3D显示屏的空间位置；其中，触控媒介包括用户的手指或者触控笔。
在一些实施例中，3D触控对象的显示位置包括3D触控对象的景深和平面位置。
在一些实施例中，当悬浮触控位置与3D触控对象的显示位置相匹配时，生成触控触发信息包括：当悬浮触控位置与3D触控对象的平面位置相匹配，且悬浮触控位置相对多视点裸眼3D显示屏的间距与3D触控对象的景深相匹配时，生成触控触发信息，其中，触控触发信息包括与悬浮触控位置相匹配的3D触控对象。
在一些实施例中，当悬浮触控位置相对多视点裸眼3D显示屏的间距与3D触控对象的景深相匹配时，生成触控触发信息包括：当悬浮触控位置相对多视点裸眼3D显示屏的间距小于3D触控对象的景深时，生成触控触发信息；或者，当悬浮触控位置相对多视点裸眼3D显示屏的间距与3D触控对象的景深的差值在阈值范围内时，生成触控触发信息；或者，当悬浮触控位置相对多视点裸眼3D显示屏的间距与3D触控对象的景深的差值在阈值范围内，且悬浮触控位置相对多视点裸眼3D显示屏的间距小于3D触控对象的景深时，生成触控触发信息。
在另一方案中，提供了一种实现悬浮触控的3D显示设备，其特征在于，包括：多视点裸眼3D显示屏；3D处理装置，被配置为控制多视点裸眼3D显示屏显示3D触控对象；图像采集装置，被配置为采集用户图像；悬浮触控位置生成装置，被配置为根据用户图像获取用户相对多视点裸眼3D显示屏的悬浮触控位置；和触控检测装置，被配置为当悬浮触控位置与3D触控对象的显示位置匹配时，生成触控触发信息。
在一些实施例中，悬浮触控位置生成装置被配置为根据用户图像获取用户的触控媒介相对多视点裸眼3D显示屏的空间位置，其中，触控媒介包括用户的手指或者触控笔。
在一些实施例中，多视点裸眼3D显示屏包括多个复合子像素，多个复合子像素中的每个复合子像素包括对应多个视点的多个子像素；3D处理装置被配置为根据用户的眼部所在视点，基于3D信号动态渲染多视点裸眼3D显示屏中的复合子像素中的子像素。
在一些实施例中，还包括眼部追踪装置，被配置为获取用户的眼部所在视点。
在一些实施例中，3D触控对象的显示位置包括3D触控对象的景深和平面位置；触控检测装置被配置为当悬浮触控位置与3D触控对象的平面位置相匹配，且悬浮触控位置相对多视点裸眼3D显示屏的间距与3D触控对象的景深相匹配时，生成触控触发信息；其中，触控触发信息包括与悬浮触控位置匹配的3D触控对象。
在一些实施例中，触控检测装置被配置为：当悬浮触控位置相对多视点裸眼3D显示屏的间距小于3D触控对象的景深时，生成触控触发信息；或者，当悬浮触控位置相对多视点裸眼3D显示屏的间距与3D触控对象的景深的差值在阈值范围内时，生成触控触发信息；或者，当悬浮触控位置相对多视点裸眼3D显示屏的间距与3D触控对象的景深的差值在阈值范围内，且悬浮触控位置相对多视点裸眼3D显示屏的间距小于3D触控对象的景深时，生成触控触发信息。
在另一方案中，提供了一种实现悬浮触控的3D终端，包括：处理器；和存储有程序指令的存储器；其特征在于，处理器被配置为在执行程序指令时，执行如上文描述的实现悬浮触控的方法。
本公开中的悬浮触控技术，区别于2D触控，能够在3D空间中实现位置匹配生成触控触发信息。
以上的总体描述和下文中的描述仅是示例性和解释性的，不用于限制本申请。
附图说明
一个或多个实施例通过与之对应的附图进行示例性说明，这些示例性说明和附图并不构成对实施例的限定，附图中具有相同参考数字标号的元件示为类似的元件，附图不构成比例限制，并且其中：
图1A至图1D是根据本公开实施例的3D显示设备的结构示意图；
图2A是根据本公开实施例的用户进行悬浮触控的示意图；
图2B是根据本公开实施例的实现悬浮触控的方法流程示意图；
图2C是根据本公开实施例的在实现悬浮触控过程中显示屏显示区域示意图；
图3是根据本公开实施例的3D显示设备的结构示意图；
图4A至图4C是根据本公开实施例的复合像素的示意图；
图5A至图5E是根据本公开实施例的3D信号的视频帧所包含图像的格式及内容的示意图；
图6是本公开实施例提供的设置至少两个3D处理装置的示意图；
图7是根据本公开实施例的实现悬浮触控的3D终端的计算机结构示意图。
附图标记：
1000：3D显示设备；100：多视点裸眼3D显示屏；CP：复合像素；CSP：复合子像素；SP：子像素；101：处理器；110：显示面板；120：光栅；122：寄存器；130：3D处理装置；131：缓存器；140：信号接口；150：眼部追踪装置；151：眼部追踪数据接口；D：悬浮触控位置相对多视点裸眼3D显示屏的间距；DOF：景深；SZ：显示区域；2000：3D显示设备；210：图像采集装置；220：悬浮触控位置生成装置；230：触控检测装置；400：复合像素；410、420、430、440、450、460、470、480、490：复合子像素；411、421、431、441、451、461、471、481、491：子像素；501、502：并列格式的图像；503、504：上下格式的图像；505、506、507：复合图像；700：处理器；701：存储器；702：通信接口；703：总线。
具体实施方式
为了能够更加详尽地了解本公开实施例的特点与技术内容，下面结合附图对本公开实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本公开实施例。
在本文中，“裸眼3D显示”涉及用户(例如观看者)无需佩戴3D显示用的眼镜而能在平面显示器上观察到3D的显示图像的技术，包括但不限于“视差屏障”、“柱状透镜”、“指向式背光”技术。
在本文中，“多视点”具有本领域的常规含义，意指在空间中不同位置(视点)处能观看到显示屏的不同像素或子像素显示的不同图像。在本文中，多视点将意味着至少3个视点。
在本文中，“光栅”具有本领域中广义的解释，包括但不限于“视差屏障”光栅和“透镜”光栅、如“柱状透镜”光栅。
在本文中，“透镜”或“透镜光栅”具有本领域的常规含义，例如包括柱状透镜和球面透镜。
常规的“像素”意指2D显示器或者作为2D显示器显示时就其分辨率而言的最小显示单位。
然而，在本文的一些实施例中，当应用于裸眼3D显示领域的多视点技术时所称的“复合像素”指裸眼3D显示器提供多视点显示时的最小显示单位，但不排除用于多视点技术的单个复合像素可包括或呈现为多个2D显示的像素。在本文中，除非具体说明为“3D显示”或“多视点”应用的复合像素或3D像素，像素将指2D显示时的最小显示单位。同样，当描述为多视点的裸眼3D显示“复合子像素”时，将指裸眼3D显示器提供多视点显示时的复合像素中呈现的单个颜色的复合子像素。在本文中，“复合子像素”中的子像素将指单个颜色的最小显示单位，其往往是与视点相对应的。
在本公开的一些实施例中，如图1A至图1D所示，提供了一种3D显示设备，包括多视点裸眼3D显示屏100，多视点裸眼3D显示屏包括显示面板110和设置在显示面板110上的光栅120，显示面中板110上设有m×n个复合像素CP并因此限定出m×n的显示分辨率；复合像素CP包括多个复合子像素CSP，各复合子像素CSP由对应于i个视点的i个同色子像素SP构成，i≥3。多视点裸眼3D显示屏100能够根据视点信息生成与视点信息对应的图像，渲染与视点信息对应的复合像素CP中的多个子像素SP，整体观看效果上，显示出与视点信息对应的图像。例如，用户的左眼在视点3，右眼在视点6；对应地，多视点裸眼显示屏100中的所有的复合像素CP中的对应视点3的子像素共同对应左眼图像中的各个像素点进行渲染，对应视点6的子像素共同对应右眼图像中的各个像素点进行渲染，从而让用户观看到3D显示效果。
本公开实施例中的多视点裸眼3D显示屏100中的光栅120将子像素SP的光线投射到空间中的不同位置，眼部处于不同的空间位置能够看到复合像素CP中不同的子像素SP发出的光。
本公开的实施例中多视点裸眼3D显示屏100在显示触控场景中，显示包含有触控对象的3D显示画面，触控对象的显示效果也为3D效果，通常，触控对象的显示深度值是参考显示平面来定义的，所以可以通过检测用户的悬浮触控位置获取到悬浮触控位置相对显示平面的空间位置，从而获知悬浮触控位置是否与触控对象匹配上，如果匹配，则触发触控对象所绑定的事件，例如生成，OnClick(butten num)事件，事件例如可为打开某个文件、关闭某个文件、支付某个订单、发送某个信息等等，本公开实施例中的获取的触控触发信息可以与用户设定的功能绑定，需要说明的是，本公开中生成的触控触发信息除了生成触发事件外，还可生成触发时悬浮触控位置的空间位置、平面位置、之后一段时间的轨迹等等。
在本公开的一些实施例中，提供了一种3D显示设备1000，也可运用到上述的生成触控触发信息的过程中，实现悬浮触控，其包括：多视点裸眼3D显示屏100，包括m×n个复合像素CP并因此限定出m×n的显示分辨率；用于接收3D信号的视频帧的信号接口140，其中，3D信号的视频帧包含具有m×n分辨率的两幅图像或者包含具有2m×n或m×2n分辨率的复合图像；和3D处理装置130。
在一些实施例中，3D处理装置与多视点裸眼3D显示屏通信连接。
在一些实施例中，3D处理装置与多视点裸眼3D显示屏的驱动装置通信连接。
在一些实施例中，每个复合像素CP包括多个复合子像素CSP，各复合子像素由对应于i个视点的i个同色子像素构成，其中i≥3。
在一些实施例中，3D处理装置130配置为基于两幅图像之一渲染各复合子像素中至少一个子像素并基于两幅图像中另一幅渲染各复合子像素中至少另一个子像素。
在另外的一些实施例中，3D处理装置130配置为基于复合图像渲染各复合子像素中至少两个子像素。
图1A示出了本公开实施例提供的3D显示设备1000的结构示意图。参考图1A，在本公开实施例中提供了一种3D显示设备1000，其可包括多视点裸眼3D显示屏100、3D处理装置130和用于接收3D信号的视频帧的信号接口140。本公开中的3D显示设备1000能够运用到实现悬浮触控的方法中，被配置为显示3D触控对象。
在图1A所示的实施例中，多视点裸眼3D显示屏100可包括m×n个复合像素并因此限定出m×n的显示分辨率。如图1A所示，多视点裸眼3D显示屏100包括m列n行个复合像素CP并因此限定出m×n的显示分辨率。
在一些实施例中，每个复合像素CP包括多个复合子像素，各复合子像素由对应于i个视点的i个同色子像素构成，i≥3。在图1A所示的实施例中，i＝6，但可以想到i为其他数值。在所示的实施例中，多视点裸眼3D显示器可相应地具有i(i＝6)个视点(V1-V6)，但可以想到可以相应地具有更多或更少个视点。
结合参考图1A和图4A，在所示的实施例中，每个复合像素包括三个复合子像素，并且每个复合子像素由对应于6视点(i＝6)的6个同色子像素构成。三个复合子像素分别对应于三种颜色，即红(R)、绿(G)和蓝(B)。也就是说，每个复合像素的三个复合子像素分别具有6个红色、6个绿色或6个蓝色的子像素。
在图1A和图4A所示的实施例中，复合像素400中的复合子像素410、420、430呈单列布置。各复合子像素410、420、430包括呈单行形式的子像素411、421、431。但可以想到，复合像素中的复合子像素不同排布方式或复合子像素中的子像素的不同排布形式。
如图4B所示，各复合子像素440、450、460呈单行布置，并且分别包括呈单列形式的子像素441、451、461。
如图4C所示，复合像素400中的三个复合子像素470、480、490例如呈“品”字状布置。在图4C所示的实施例中，各复合子像素470、480、490中的子像素471、481、491可呈阵列形式(3×2)。
在一些实施例中，例如图1A-1C所示，3D显示设备1000可设置有单个3D处理装置130。该单个3D处理装置130同时处理对多视点裸眼3D显示屏100的各复合像素的各复合子像素的渲染，多视点裸眼3D显示屏可以是大尺寸多视点裸眼3D显示屏。
在另一些实施例中，例如图6所示，3D显示设备1000可设置有至少两个3D处理装置130，它们并行、串行或串并行结合地处理对多视点裸眼3D显示屏100的各复合像素的各复合子像素的渲染，多视点裸眼3D显示屏可以是大尺寸多视点裸眼3D显示屏。
本领域技术人员将明白，上述至少两个3D处理装置可以有其他的方式分配且并行处理例如大尺寸的多视点裸眼3D显示屏100的多行多列复合像素或复合子像素，这落入本公开的范围内。
在一些实施例中，3D处理装置130还可以选择性地包括缓存器131，以便缓存所接收到的视频帧。
在一些实施例中，3D处理装置130为FPGA或ASIC芯片或FPGA或ASIC芯片组。
继续参考图1A，3D显示设备1000还可包括通过信号接口140通信连接至3D处理装置130的处理器101。在本文所示的一些实施例中，处理器101被包括在计算机或智能终端、如移动终端中或作为其处理器单元。但是可以想到，在一些实施例中，处理器101可以设置在3D显示设备的外部，例如3D显示设备可以为带有3D处理装置的多视点裸眼3D显示器，例如非智能的裸眼3D电视或者非智能的影院显示屏。
为简单起见，下文中的3D显示设备的示例性实施例内部包括处理器。进而，信号接口140构造为连接处理器101和3D处理装置130的内部接口。在本公开的一些实施例中，作为3D显示设备1000的内部接口的信号接口140可以为MIPI、mini-MIPI接口、LVDS接口、min-LVDS接口或Display Port接口。在一些实施例中，如图1A所示，3D显示设备1000的处理器101还可包括寄存器122。寄存器122可用于暂存指令、数据和地址。
在一些实施例中，3D显示设备1000还可包括用于实时获取眼部追踪数据的眼部追踪装置或眼部追踪数据接口，从而3D处理装置130可以基于眼部追踪数据渲染复合像素(复合子像素)中的相应子像素。例如图1B所示的实施例中，3D显示设备1000还包括通信连接至3D处理装置130的眼部追踪装置150,由此3D处理装置130可以直接接收眼部追踪数据。在图1C所示的实施例中，眼部追踪装置(未示出)例如可以直接连接处理器101，而3D处理装置130经由眼部追踪数据接口151从处理器101获得眼部追踪数据。在另一些实施例中，眼部追踪装置可同时连接处理器和3D处理装置，这一方面3D处理装置130可以直接从眼部追踪装置获取眼部追踪数据，另一方面可以使得眼部追踪装置获取的信息可以被处理器处理。
在一些实施例中，3D显示设备1000还可包括图像采集装置，用于采集用户的用户图像，例如面部图像，使得3D处理装置130可以将采集的面部图像特征与授权的面部图像特征进行匹配，判断是否满足条件。
结合参考图1A至图1C和图5A至图5E，描述本公开一些实施例的3D显示设备内的3D信号的传输和显示。在所示的实施例中，多视点裸眼3D显示屏100可以限定出6个视点V1-V6，用户的眼部在各视点(空间位置)可看到多视点裸眼3D显示屏100的显示面板中各复合像素的复合子像素中相应的子像素的显示。用户的两只眼睛在不同的视点看到的两个不同画面形成视差，在大脑中合成3D画面。
在本公开的一些实施例中，3D处理装置130通过例如作为内部接口的信号接口140从处理器101接收例如为解压缩的3D信号的视频帧。各视频帧可包含具有m×n图像分辨率的两幅图像或者包含具有2m×n或m×2n图像分辨率的复合图像，或者由其构成。
在一些实施例中，两幅图像或复合图像可以包括不同类型的图像以及可以呈各种排布形式。
如图5A所示，3D信号的视频帧包含并列格式的具有m×n图像分辨率的两幅图像501、502或由其构成。在一些实施例中，两幅图像可以分别为左眼视差图像和右眼视差图像。在一些实施例中，两幅图像可以分别为渲染色彩图像和景深图像。
如图5B所示，3D信号的视频帧包含上下格式的具有m×n图像分辨率的两幅图像503、504或由其构成。在一些实施例中，两幅图像可以分别为左眼视差图像和右眼视差图像。在一些实施例中，两幅图像可以分别为渲染色彩图像和景深图像。
如图5C所示，3D信号的视频帧包含左右交织格式的具有2m×n图像分辨率的复合图像505。在一些实施例中，复合图像可以为左右交织的左眼和右眼视差复合图像、左右交织的渲染色彩和景深复合图像。
如图5D所示，3D信号的视频帧包含上下交织格式的具有m×2n图像分辨率的复合图像506。在一些实施例中，复合图像可以为上下交织的左眼和右眼视差复合图像。在一些实施例中，复合图像可以为上下交织的渲染色彩和景深的复合图像。
如图5E所示，3D信号的视频帧包含棋盘格式的具有2m×n图像分辨率的复合图像507。在一些实施例中，复合图像可以为棋盘格式的左眼和右眼视差复合图像。在一些实施例中，复合图像可以为棋盘格式的渲染色彩图像和景深图像。
本领域技术人员将明白，附图所示的实施例仅是示意性的，3D信号的视频帧所包含的两幅图像或复合图像可以包括其他类型的图像以及可以呈其他排布形式，这落入本公开的范围内。
在一些实施例中，m×n的分辨率可以为全高清(FHD)以上的分辨率，包括但不限于，1920×1080、1920×1200、2048×1280、2560×1440、3840×2160等。
在一些实施例中，3D处理装置130在接收到包括两幅图像的视频帧后，基于两幅图像之一渲染各复合子像素中至少一个子像素并基于两幅图像中另一幅渲染各复合子像素中至少另一个子像素。类似地，在一些实施例中，3D处理装置在接收到包括复合图像的视频帧后，基于复合图像渲染各复合子像素中至少两个子像素。例如，根据复合图像中的第一图像(部分)渲染至少一个子像素，根据第二图像(部分)渲染至少另一个子像素。
在一些实施例中，这例如是基于眼部追踪数据来动态渲染。
作为解释而非限制地，由于在本公开实施例中的3D处理装置130通过例如构造为内部接口的信号接口140接收到的视频帧数据包含的两幅图像，各图像的分辨率(或复合图像分辨率的一半)与按照视点划分的复合像素(其包括按照视点划分的复合子像素)相对应。一方面，由于视点信息与传输过程无关，这能够实现处理计算量小且分辨率不受损失的裸眼3D显示；另一方面，由于复合像素(复合子像素)对应于视点设置，显示屏的渲染能够以“点对点”的方式实现，大大降低了计算量。相比之下，常规的裸眼3D显示器的图像或视频的传输和显示仍以2D显示面板为基础，不仅存在分辨率下降和渲染计算量剧增的问题，还可能存在多次格式调整和图像或视频显示适配的问题。
在一些实施例中，处理器101的寄存器122可用于接收有关多视点裸眼3D显示屏100的显示要求的信息，该信息典型地为与i个视点无关地且与多视点裸眼3D显示屏100的m×n分辨率相关的信息，以便处理器101向多视点裸眼3D显示屏100发送符合其显示要求的3D信号的视频帧。该信息例如可以为用于初始建立视频传输发送的数据包。
因此，在传输3D信号的视频帧时，处理器101无需考虑与多视点裸眼3D显示屏100的i个视点相关的信息(i≥3)。而是，处理器101凭借寄存器122接收到的与大尺寸多视点裸眼3D显示屏100的m×n分辨率相关的信息就能够向多视点裸眼3D显示屏100发送符合其要求的3D信号的视频帧。
在一些实施例中，3D显示设备1000还可以包括编解码器，配置为对压缩的3D信号解压缩和编解码并将解压缩的3D信号经信号接口140发送至3D处理装置130。
在一些实施例中，3D显示设备1000的处理器101从存储器读取或从3D显示设备1000以外、例如通过外部接口接收3D信号的视频帧，然后经由信号接口140将读取到的或接收到的3D信号的视频帧传输到3D处理装置130。
在一些实施例中，3D显示设备1000还包括格式调整器(未示出)，其例如集成在处理器101中，构造为编解码器或者作为GPU的一部分，用于预处理3D信号的视频帧，以使其包含的两幅图像具有m×n的分辨率或者使其包含的复合图像具有2m×n或m×2n的分辨率。
在另一方案中，还提供了一种裸眼3D显示系统，包括处理器单元和上述的3D显示设备，处理器单元与3D显示设备通信连接。
在一些实施例中，裸眼3D显示系统构造为具有处理器单元的智能电视或者影院的智能影屏。
多视点裸眼3D显示屏100用于显示三维(3D)图像或视频等。多视点裸眼3D显示屏100包括显示面板。显示面板可以采用液晶显示屏(LCD)，有机发光二极管(OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(AMOLED)，柔性发光二极管(FLED)，Mini-LED，Micro-LED，Micro-OLED，量子点发光二极管(QLED)等。
在一些实施例中，眼部追踪装置150通信连接至3D处理装置130，从而3D处理装置130可以基于眼部追踪数据渲染复合像素(复合子像素)中的相应子像素。在一些实施例中，眼部追踪装置150还可连接处理器，例如旁路连接处理器。
参考图2A，示意了多视点裸眼3D显示屏100显示3D触控对象，3D触控对象例如为3D显示效果的按键。当用户的手指或其他触控媒介的空间位置与3D显示效果的按键的显示位置匹配时，生成触控触发信息，表示用户触碰了3D显示效果的按键。
本公开中用户无需像2D触控中那样必须要与显示面板或者触控面板抵近到一定距离内，才会生成触控触发信号，而是在相对多视点裸眼3D显示屏的空间位置上与3D触控对象的显示位置匹配时，即可生成触控触发信号，实现了悬浮触控。提升了操作感受，实现了显示与触控的感官统一。
参考图2B所示，本公开的实施例提供了一种实现悬浮触控的方法，包括：
S100、控制多视点裸眼3D显示屏显示3D触控对象；多视点裸眼3D显示屏包括多个复合子像素，各个复合子像素包括对应视点的子像素，根据用户眼部所在视点，基于3D信号动态渲染多视点裸眼3D显示屏中的复合子像素中的子像素，根据3D图像信号渲染对应3D触控对象的子像素，给用户呈现出裸眼3D显示效果。本公开中，采用多视点裸眼3D显示屏进行显示和触控检测，能够为不同的用户提供的对应其视点的显示效果，还能对不同的用户提供触控触发信息的功能，实现多个用户进行触控操作。
S200、获取用户相对多视点裸眼3D显示屏的悬浮触控位置。
作为解释而非限制性地，可以通过采集用户图像获取用户相对多视点裸眼3D显示屏的悬浮触控位置；本公开中采用图像检测获取悬浮触控位置，采集的图像为裸眼3D显示屏的显示方向上的图像，一般地，步骤S100中，会对用户眼部进行检测，从而实现裸眼3D的显示效果，即，用户相对裸眼3D显示屏为可检测到的，如果能够检测到用户的眼部从而实现裸眼3D，则，用户需要在裸眼3D显示屏的显示区域中，如图2C，当用户处在显示区域SZ中时，多视点裸眼3D显示屏100朝向用户的方向为显示方向，这时，采集显示方向上的或者显示区域中的图像获取到用户图像。
本公开对悬浮触控位置的检测，可以通过对用户的手指的空间位置进行检测来获取悬浮触控位置，一般地，如果用户持有触摸笔，通过图像对触摸笔进行空间位置检测获取悬浮触控位置，用户还可能持有其他物品，如带有特定图像的物体，例如，端部是圆球的指挥棒，端部是三角锥的指挥棒等，本公开可以通过图像进行模式匹配获取图像中用于触摸的物体或者身体部位的图像中位置，然后通过双目视觉3D成像原理获取用于触摸的物体或者身体部位的空间位置，由于采集图像的装置的坐标系与多视点裸眼3D显示屏的坐标系固定，通过简单的换算即能获知悬浮触控位置相对多视点裸眼3D显示屏空间位置。上述用于触摸的物体或者身体部位即为用户的触控媒介。
需要说明的是，上述获取空间位置的方式，除了双目视觉3D成像原理来获取，还可采用结构光摄像头获取空间位置，图像采集装置的采集方向一般与多视点裸眼3D显示屏100的显示方向一致。
在进行图像检测时，可以进行全图像的匹配，也可在触控媒介高概率出现的区域进行检测，例如，已经预知了3D触控对象的显示位置，则采集图像时，可着重采集显示位置周边的区域，进行识别获取触控媒介的空间位置信息。
本公开中，采集图像除了可以识别触控媒介获取悬浮触控位置外，还可进行触控权限控制，从用户图像中提取出身份标识，如用户人脸，与授权的人脸进行匹配，匹配通过后再进行悬浮触控位置识别，从而能够保证未授权用户不能触控3D触控对象。
S300、当悬浮触控位置与3D触控对象的显示位置匹配时，生成触控触发信息。将悬浮触控位置与3D触控对象的显示位置进行匹配，当满足预设的条件时，生成触控触发信息。显示位置包括显示的平面位置信息，如，在显示屏100中的二维坐标信息，还包括景深，一般地，3D触控对象的景深的起点位于多视点裸眼3D显示屏的显示平面上，在图2A中，景深DOF让用户看到的感受即为，3D触控对象(按键)，在位于离多视点裸眼3D显示屏100与景深DOF相同的距离处显示3D触控对象，自然地，用户需要触碰时，将会把触控媒介向3D触控对象的显示位置靠近，当位置之间小于一定阈值时生成触控触发信息。
本公开中，多视点裸眼3D显示屏100显示的3D图像中，会对每个3D触控对象设置ID号，当生成触控触发信息时，触控触发信息可以携带上述的ID号，便于后续的交互和信息输入的标识。
本公开中，还可包括预先标定的步骤，将图像采集装置的坐标系与显示屏100的显示坐标系进行标定，确定两个坐标系之间的转换参数。
本公开的一些实施例中，可以采用直角坐标系来表达空间位置，例如，3D触控对象的显示位置包括3D触控对象的景深DOF和平面位置(x，y)。当然，也可采用极坐标的方式进行表达。在位置匹配时，考虑各个坐标的差值，满足一定条件时，生成触控触发信息。
在一些实施例中，步骤S300中：
当悬浮触控位置与3D触控对象的平面位置匹配，且悬浮触控位置相对多视点裸眼3D显示屏的间距与3D触控对象的景深匹配时，生成触控触发信息，其中，触控触发信息包括与悬浮触控位置匹配的3D触控对象。被触碰的3D触控对象的标记信息将会被附加到触控触发信息中，从而告知外部接口哪个触控对象被触碰，从而实现用户信息输入的功能。本公开实施例通过景深与间距值进行匹配生成触控触发信息。参考图2A，本公开的一些实施例中悬浮触控位置可为手指末端的位置，相对多视点裸眼3D显示屏的间距D，与景深DOF匹配(即差值在一定范围内)时，生成触控触发信息。本公开实施例中，平面位置的匹配过程，可以通过坐标的距离值进行匹配，即，距离值小于阈值时，匹配通过，大于阈值时，未匹配。还可通过各个坐标差值都小于阈值时，认定为平面位置匹配，当有其中一个坐标差值大于阈值时，认定平面位置未匹配。
在一些实施例中，步骤S300中：
当悬浮触控位置相对多视点裸眼3D显示屏的间距与3D触控对象的景深匹配时，生成触控触发信息包括：当悬浮触控位置相对多视点裸眼3D显示屏的间距小于3D触控对象的景深时，生成触控触发信息；当悬浮触控位置越过了3D触控对象时，生成触控触发信息。
在一些实施例中，步骤S300中：
当悬浮触控位置相对多视点裸眼3D显示屏的间距与3D触控对象的景深匹配时，生成触控触发信息包括：当悬浮触控位置相对多视点裸眼3D显示屏的间距与3D触控对象的景深的差值在阈值范围内时，生成触控触发信息。
在一些实施例中，步骤S300中：
当悬浮触控位置相对多视点裸眼3D显示屏的间距与3D触控对象的景深匹配时，生成触控触发信息包括：当悬浮触控位置相对多视点裸眼3D显示屏的间距与3D触控对象的景深的差值在阈值范围内，且悬浮触控位置相对多视点裸眼3D显示屏的间距小于3D触控对象的景深时，生成触控触发信息。
一般地，如果间距小于景深时，生成触控触发信息后，可在一定时间段内针对触控媒介进行锁定状态，即不会再产生触控触发信息。也可以实时检测悬浮触控位置相对多视点裸眼3D显示屏的间距与3D触控对象的景深的关系，如果一旦生成触控触发信息后，间距一直小于景深，或者间距与景深的差值一直在阈值范围内，则不再生成触控触发信息。如果中间出现了间距大于景深或者间距与景深的差值超过了阈值范围，则解锁定状态，从而实现有效检测触碰触发。
在一些实施例中，步骤S300中：
当悬浮触控位置相对多视点裸眼3D显示屏的间距与3D触控对象的景深匹配时，生成触控触发信息包括：当悬浮触控位置相对多视点裸眼3D显示屏的当前间距小于3D触控对象的景深，且上一检测周期中悬浮触控位置相对多视点裸眼3D显示屏的间距大于3D触控对象的景深时，生成触控触发信息；本公开中周期性地获取悬浮触控位置的空间位置，通过判断悬浮触控位置从间距大于景深跳变到间距小于景深时，生成触控触发信息，避免出现，一直触发的情况的发生。
本公开实施例中的生成的触控触发信息将用来指示接下来的事件发生，如，文件打开，文件关闭，订单支付，页面跳转等，具体地，用户可根据用户进行设定。
在一些实施例中，针对同样的3D触控对象，所带来的事件可以设置不同，例如，可以将某些事件与用户绑定，识别出用户的身份特征之后，获取到用户的触控触发信息后，执行与用户绑定的事件。例如，针对A用户触控3D按键所对应发生的事件为调整按键颜色为红色，针对B用户，触控3D按键所对应发生的事件为调整按键颜色为绿色。由于，本公开中按键的图像显示采用了多视点裸眼3D显示屏，可以针对不同的视点显示不同的颜色、图案，从而能够保证用户A与用户B能够同时进行输入与交互，实现了信息输入的高效与可靠。
本公开中的方法能够在离显示屏100一段距离的位置获取用户的悬浮触控位置，当悬浮触控位置和显示屏100的间距与3D触控对象的景深匹配时，能够生成触控触发信息，从而实现悬浮触控。
参见图3，本公开的另一些实施例中提供了一种实现悬浮触控的3D显示设备2000，其特征在于，包括：
如上述实施例中的多视点裸眼3D显示屏100；
如上述实施例中的3D处理装置130，配置为控制多视点裸眼3D显示屏100显示3D触控对象；
图像采集装置210，配置为采集多用户图像；
悬浮触控位置生成装置220，配置为根据用户图像获取用户相对多视点裸眼3D显示屏100的悬浮触控位置；和
触控检测装置230，配置为当悬浮触控位置与3D触控对象的显示位置匹配时，生成触控触发信息。
悬浮触控位置生成装置220配置为根据用户图像获取用户的触控媒介相对多视点裸眼3D显示屏的空间位置，其中，触控媒介包括用户的手指或者触控笔。通过图像检测获取具体的位置信息，可以采用双摄像头进行检测，也可采用结构光摄像头进行检测，检测时，可以全面副图像进行匹配检测，也可以在3D触控对象的显示位置周围进行匹配检测，以提升处理效率。
本公开中的悬浮触控位置生成装置220与触控检测装置230可以集成在一起，也可以分开设置。
本公开实施例中可以将触控检测装置230集成到3D处理装置130中，或者集成设置在一起。这样能减小数据传输的距离，提高检测的实时性。3D显示处理130将3D触控对象的显示位置发送给触控检测装置230。
多视点裸眼3D显示屏100包括多个复合子像素，各个复合子像素包括对应视点的子像素；3D处理装置130配置为根据用户眼部所在视点，基于3D信号动态渲染多视点裸眼3D显示屏100中的复合子像素CSP中的子像素SP。
本公开的实施例中，3D显示设备2000还包括眼部追踪装置150，被配置为获取用户眼部所在视点。眼部追踪装置150将用户眼部所在视点发送给3D处理装置130，使3D处理装置130根据用户所在视点进行3D显示。
在一些实施例中，3D触控对象的显示位置包括3D触控对象的景深和平面位置；
触控检测装置230配置为当悬浮触控位置与3D触控对象的平面位置匹配，且悬浮触控位置相对多视点裸眼3D显示屏100的间距与3D触控对象的景深匹配时，生成触控触发信息，其中，触控触发信息包括与悬浮触控位置匹配的3D触控对象。
当触控检测装置230在确定悬浮触控位置与3D触控对象的平面位置匹配之后，进行景深与间距之间的关系，在一些实施例中，触控检测装置230配置为：
当悬浮触控位置相对多视点裸眼3D显示屏100的间距小于3D触控对象的景深时，生成触控触发信息。
在一些实施例中，触控检测装置230配置为：
当悬浮触控位置相对多视点裸眼3D显示屏的当前间距小于3D触控对象的景深，且上一检测周期中悬浮触控位置相对多视点裸眼3D显示屏的间距大于3D触控对象的景深时，生成触控触发信息。
在一些实施例中，触控检测装置230配置为：
当悬浮触控位置相对多视点裸眼3D显示屏的间距与3D触控对象的景深的差值在阈值范围内时，生成触控触发信息。
在一些实施例中，触控检测装置230配置为：
当悬浮触控位置相对多视点裸眼3D显示屏的间距与3D触控对象的景深的差值在阈值范围内，且悬浮触控位置相对多视点裸眼3D显示屏的间距小于3D触控对象的景深时，生成触控触发信息。
本公开中的实现悬浮触控的多视点裸眼3D显示设备2000能够在距离显示设备一定距离内通过拍摄用户的触控媒介的图像，获取触控媒介相对显示设备的空间位置，将空间位置与3D触控对象的显示位置进行匹配，匹配通过后生成带有被触碰的3D触控对象的触控触发信息。
本公开中的显示设备，能够实现多视点裸眼3D显示，供不同的用户观看3D触控对象，并供这些用户实现悬浮触控，进一步地，在相同的3D触控对象下，针对不同的用户，实现不同的事件生成，供不同的人实现同步的信息输入和信息交互。在一些实施例中本公开中的3D显示设备2000还能针对用户的人脸图像进行身份之别，鉴权之后，才会进行触控检测。
本公开实施例提供了一种实现悬浮触控的3D终端，其结构如图7所示，包括：
处理器700和存储器701，还可以包括通信接口702和总线703。其中，处理器700、通信接口702、存储器701可以通过总线703完成相互间的通信。通信接口702可以用于信息传输。处理器700可以调用存储器701中的逻辑指令，以执行上述实施例的实现悬浮触控的方法。
此外，上述的存储器701中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器701作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令/模块。处理器700通过运行存储在存储器701中的程序指令/模块，从而执行功能应用以及数据处理，即实现上述方法实施例中的实现悬浮触控的方法。
存储器701可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器701可以包括高速随机存取存储器，还可以包括非易失性存储器。
本公开实施例提供了一种产品，例如，计算机、手机，包括了上述的实现悬浮触控的3D终端。
本公开实施例提供了一种计算机可读存储介质，存储有计算机可执行指令，该计算机可执行指令设置为执行上述实现悬浮触控的方法。
本公开实施例提供了一种计算机程序产品，包括存储在计算机可读存储介质上的计算机程序，该计算机程序包括程序指令，当该程序指令被计算机执行时，使上述计算机执行上述实现悬浮触控的方法。
上述的计算机可读存储介质可以是暂态计算机可读存储介质，也可以是非暂态计算机可读存储介质。
以上描述和附图充分地示出了本公开的实施例，以使本领域技术人员能够实践它们。其他实施例可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施例的部分和特征可以被包括在或替换其他实施例的部分和特征。本公开实施例的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。当用于本申请中时，虽然术语“第一”、“第二”等可能会在本申请中使用以描述各元件，但这些元件不应受到这些术语的限制。这些术语仅用于将一个元件与另一个元件区别开。比如，在不改变描述的含义的情况下，第一元件可以叫做第二元件，并且同样第，第二元件可以叫做第一元件，只要所有出现的“第一元件”一致重命名并且所有出现的“第二元件”一致重命名即可。第一元件和第二元件都是元件，但可以不是相同的元件。而且，本申请中使用的用词仅用于描述实施例并且不用于限制权利要求。
本文中，每个实施例重点说明的可以是与其他实施例的不同之处，各个实施例之间相同相似部分可以互相参见。对于实施例公开的方法、产品等而言，如果其与实施例公开的方法部分相对应，那么相关之处可以参见方法部分的描述。
本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，可以取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法以实现所描述的功能，但是这种实现不应认为超出本公开实施例的范围。本领域技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本文所披露的实施例中，所揭露的方法、产品(包括但不限于装置、设备等)，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，可以仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例。另外，在本公开实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
附图中的流程图和框图显示了根据本公开实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，上述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。在附图中的流程图和框图所对应的描述中，不同的方框所对应的操作或步骤也可以以不同于描述中所披露的顺序发生，有时不同的操作或步骤之间不存在特定的顺序。例如，两个连续的操作或步骤实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

Claims (13)

1.一种实现悬浮触控的方法，其特征在于，包括：
控制多视点裸眼3D显示屏显示3D触控对象，以及获取用户相对所述多视点裸眼3D显示屏的悬浮触控位置；和
当所述悬浮触控位置与所述3D触控对象的显示位置相匹配时，生成触控触发信息。
2.根据权利要求1所述的方法，其特征在于，所述多视点裸眼3D显示屏包括多个复合子像素，所述多个复合子像素中的每个复合子像素包括对应多个视点的多个子像素；
所述控制多视点裸眼3D显示屏显示3D触控对象包括：
根据所述用户的眼部所在视点，基于3D信号动态渲染所述多视点裸眼3D显示屏中的复合子像素中的子像素，以向所述用户以3D效果显示所述3D触控对象。
3.根据权利要求1所述的方法，其特征在于，获取所述用户相对所述多视点裸眼3D显示屏的悬浮触控位置包括：
采集所述用户的用户图像；
根据所述用户图像获取所述用户的触控媒介相对所述多视点裸眼3D显示屏的空间位置；
其中，所述触控媒介包括所述用户的手指或者触控笔。
4.根据权利要求1所述的方法，其特征在于，所述3D触控对象的显示位置包括所述3D触控对象的景深和平面位置。
5.根据权利要求4所述的方法，其特征在于，当所述悬浮触控位置与所述3D触控对象的显示位置相匹配时，生成触控触发信息包括：
当所述悬浮触控位置与所述3D触控对象的平面位置相匹配，且所述悬浮触控位置相对所述多视点裸眼3D显示屏的间距与所述3D触控对象的景深相匹配时，生成触控触发信息，
其中，所述触控触发信息包括与所述悬浮触控位置相匹配的3D触控对象。
6.根据权利要求5所述的方法，其特征在于，当所述悬浮触控位置相对所述多视点裸眼3D显示屏的间距与所述3D触控对象的景深相匹配时，生成触控触发信息包括：
当所述悬浮触控位置相对所述多视点裸眼3D显示屏的间距小于所述3D触控对象的景深时，生成触控触发信息；
或者，
当所述悬浮触控位置相对所述多视点裸眼3D显示屏的间距与所述3D触控对象的景深的差值在阈值范围内时，生成触控触发信息；
或者，
当所述悬浮触控位置相对所述多视点裸眼3D显示屏的间距与所述3D触控对象的景深的差值在阈值范围内，且所述悬浮触控位置相对所述多视点裸眼3D显示屏的间距小于所述3D触控对象的景深时，生成触控触发信息。
7.一种实现悬浮触控的3D显示设备，其特征在于，包括：
多视点裸眼3D显示屏；
3D处理装置，被配置为控制所述多视点裸眼3D显示屏显示3D触控对象；
图像采集装置，被配置为采集用户图像；
悬浮触控位置生成装置，被配置为根据所述用户图像获取用户相对所述多视点裸眼3D显示屏的悬浮触控位置；和
触控检测装置，被配置为当所述悬浮触控位置与所述3D触控对象的显示位置匹配时，生成触控触发信息。
8.根据权利要求7所述的3D显示设备，其特征在于，所述悬浮触控位置生成装置被配置为根据所述用户图像获取所述用户的触控媒介相对所述多视点裸眼3D显示屏的空间位置，
其中，所述触控媒介包括所述用户的手指或者触控笔。
9.根据权利要求7所述的3D显示设备，其特征在于，所述多视点裸眼3D显示屏包括多个复合子像素，所述多个复合子像素中的每个复合子像素包括对应多个视点的多个子像素；
所述3D处理装置被配置为根据所述用户的眼部所在视点，基于3D信号动态渲染所述多视点裸眼3D显示屏中的复合子像素中的子像素。
10.根据权利要求9所述的3D显示设备，其特征在于，还包括眼部追踪装置，被配置为获取所述用户的眼部所在视点。
11.根据权利要求7所述的3D显示设备，其特征在于，所述3D触控对象的显示位置包括所述3D触控对象的景深和平面位置；
所述触控检测装置被配置为当所述悬浮触控位置与所述3D触控对象的平面位置相匹配，且所述悬浮触控位置相对所述多视点裸眼3D显示屏的间距与所述3D触控对象的景深相匹配时，生成触控触发信息；
其中，所述触控触发信息包括与所述悬浮触控位置匹配的3D触控对象。
12.根据权利要求11所述的3D显示设备，其特征在于，所述触控检测装置被配置为：
当所述悬浮触控位置相对所述多视点裸眼3D显示屏的间距小于所述3D触控对象的景深时，生成触控触发信息；
或者，
当所述悬浮触控位置相对所述多视点裸眼3D显示屏的间距与所述3D触控对象的景深的差值在阈值范围内时，生成触控触发信息；
或者，
当所述悬浮触控位置相对所述多视点裸眼3D显示屏的间距与所述3D触控对象的景深的差值在阈值范围内，且所述悬浮触控位置相对所述多视点裸眼3D显示屏的间距小于所述3D触控对象的景深时，生成触控触发信息。
13.一种实现悬浮触控的3D终端，包括：
处理器；和
存储有程序指令的存储器；
其特征在于，所述处理器被配置为在执行所述程序指令时，执行如权利要求1至6任一项所述的方法。
CN201911231145.1A 2019-12-05 2019-12-05 实现悬浮触控的方法、3d显示设备和3d终端 Pending CN112925430A (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201911231145.1A CN112925430A (zh) 2019-12-05 2019-12-05 实现悬浮触控的方法、3d显示设备和3d终端
US17/780,059 US20220413619A1 (en) 2019-12-05 2020-12-02 Method, 3d display device and 3d terminal for realizing floating touch
EP20896365.2A EP4068061A4 (en) 2019-12-05 2020-12-02 METHOD, 3D DISPLAY DEVICE AND 3D TERMINAL FOR PERFORMING FLOATING TOUCH
PCT/CN2020/133323 WO2021110030A1 (zh) 2019-12-05 2020-12-02 实现悬浮触控的方法、3d显示设备和3d终端
TW109142959A TWI825367B (zh) 2019-12-05 2020-12-04 實現懸浮觸控的方法、3d顯示設備和3d終端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911231145.1A CN112925430A (zh) 2019-12-05 2019-12-05 实现悬浮触控的方法、3d显示设备和3d终端

Publications (1)

Publication Number Publication Date
CN112925430A true CN112925430A (zh) 2021-06-08

Family

ID=76160799

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911231145.1A Pending CN112925430A (zh) 2019-12-05 2019-12-05 实现悬浮触控的方法、3d显示设备和3d终端

Country Status (5)

Country Link
US (1) US20220413619A1 (zh)
EP (1) EP4068061A4 (zh)
CN (1) CN112925430A (zh)
TW (1) TWI825367B (zh)
WO (1) WO2021110030A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2627426A (en) * 2022-12-13 2024-08-28 Temporal Res Ltd An imaging method and an imaging device

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101750746A (zh) * 2008-12-05 2010-06-23 财团法人工业技术研究院 立体影像显示器
US20110083106A1 (en) * 2009-10-05 2011-04-07 Seiko Epson Corporation Image input system
CN102253713A (zh) * 2011-06-23 2011-11-23 康佳集团股份有限公司 面向三维立体影像显示系统
CN102572484A (zh) * 2012-01-20 2012-07-11 深圳超多维光电子有限公司 立体显示控制方法、立体显示控制装置和立体显示系统
CN102802014A (zh) * 2012-08-01 2012-11-28 冠捷显示科技（厦门）有限公司 一种多人跟踪功能的裸眼立体显示器
CN102866508A (zh) * 2012-10-12 2013-01-09 福州大学 可实现2d/3d切换的led裸眼立体显示装置及制作方法
US20140111627A1 (en) * 2011-06-20 2014-04-24 Panasonic Corporation Multi-viewpoint image generation device and multi-viewpoint image generation method
CN105319775A (zh) * 2015-12-03 2016-02-10 京东方科技集团股份有限公司 一种三维显示装置及其驱动方法
CN105867597A (zh) * 2014-12-31 2016-08-17 深圳创锐思科技有限公司 3d交互方法及3d显示设备
CN106324848A (zh) * 2016-10-31 2017-01-11 昆山国显光电有限公司 显示面板及其实现悬浮触控和裸眼3d的方法
CN106502376A (zh) * 2015-09-08 2017-03-15 天津三星电子有限公司 一种3d触控操作方法、电子设备及3d眼镜

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI454987B (zh) * 2011-10-21 2014-10-01 Innolux Display Corp 觸控系統及其匹配方法
KR20130093369A (ko) * 2012-02-14 2013-08-22 삼성디스플레이 주식회사 표시 장치 및 이를 이용한 입체 영상 표시 방법
US9916009B2 (en) * 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
US9625997B2 (en) * 2013-07-19 2017-04-18 Microchip Technology Incorporated Human interface device and method
US9927933B2 (en) * 2014-07-10 2018-03-27 Microchip Technology Germany Gmbh Method and system for gesture detection and touch detection
JP6365660B2 (ja) * 2014-12-26 2018-08-01 株式会社ニコン 検出装置、電子機器、検出方法およびプログラム
US10152154B2 (en) * 2015-01-22 2018-12-11 Superd Technology Co., Ltd. 3D interaction method and display device
US10013065B2 (en) * 2015-02-13 2018-07-03 Microsoft Technology Licensing, Llc Tangible three-dimensional light display
CN106919294B (zh) * 2017-03-10 2020-07-21 京东方科技集团股份有限公司 一种3d触控交互装置、其触控交互方法及显示装置
US10901551B2 (en) * 2018-03-01 2021-01-26 Microchip Technology Incorporated Method and system for touchless gesture detection and hover and touch detection
CN110448895A (zh) * 2018-09-29 2019-11-15 网易（杭州）网络有限公司 游戏中的信息处理方法和装置
CN110456903B (zh) * 2018-11-09 2023-05-26 网易（杭州）网络有限公司 三维绘画方法、装置、存储介质、处理器及终端

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101750746A (zh) * 2008-12-05 2010-06-23 财团法人工业技术研究院 立体影像显示器
US20110083106A1 (en) * 2009-10-05 2011-04-07 Seiko Epson Corporation Image input system
US20140111627A1 (en) * 2011-06-20 2014-04-24 Panasonic Corporation Multi-viewpoint image generation device and multi-viewpoint image generation method
CN102253713A (zh) * 2011-06-23 2011-11-23 康佳集团股份有限公司 面向三维立体影像显示系统
CN102572484A (zh) * 2012-01-20 2012-07-11 深圳超多维光电子有限公司 立体显示控制方法、立体显示控制装置和立体显示系统
CN102802014A (zh) * 2012-08-01 2012-11-28 冠捷显示科技（厦门）有限公司 一种多人跟踪功能的裸眼立体显示器
CN102866508A (zh) * 2012-10-12 2013-01-09 福州大学 可实现2d/3d切换的led裸眼立体显示装置及制作方法
CN105867597A (zh) * 2014-12-31 2016-08-17 深圳创锐思科技有限公司 3d交互方法及3d显示设备
CN106502376A (zh) * 2015-09-08 2017-03-15 天津三星电子有限公司 一种3d触控操作方法、电子设备及3d眼镜
CN105319775A (zh) * 2015-12-03 2016-02-10 京东方科技集团股份有限公司 一种三维显示装置及其驱动方法
CN106324848A (zh) * 2016-10-31 2017-01-11 昆山国显光电有限公司 显示面板及其实现悬浮触控和裸眼3d的方法

Also Published As

Publication number Publication date
WO2021110030A1 (zh) 2021-06-10
TW202122990A (zh) 2021-06-16
US20220413619A1 (en) 2022-12-29
EP4068061A4 (en) 2024-01-10
TWI825367B (zh) 2023-12-11
EP4068061A1 (en) 2022-10-05

Similar Documents

Publication Publication Date Title
US9280951B2 (en) Stereoscopic image display device, image processing device, and stereoscopic image processing method
CN211128024U (zh) 3d显示设备
CN112929639B (zh) 人眼追踪装置、方法及3d显示设备、方法和终端
US9549174B1 (en) Head tracked stereoscopic display system that uses light field type data
EP1742490B1 (en) Stereoscopic image display device
US20150085089A1 (en) Stereoscopic image display device, terminal device, stereoscopic image display method, and program thereof
US8279221B2 (en) 3D graphics processor and autostereoscopic display device using the same
CN112929636B (zh) 3d显示设备、3d图像显示方法
KR20120075829A (ko) 적응적 부화소 렌더링 장치 및 방법
TWI772997B (zh) 多視點3d顯示屏、多視點3d顯示設備
JP6591667B2 (ja) 画像処理システム、画像処理装置、及びプログラム
CN211128025U (zh) 多视点裸眼3d显示屏、多视点裸眼3d显示设备
CN112929638B (zh) 眼部定位方法、装置及多视点裸眼3d显示方法、设备
CN112929643B (zh) 3d显示设备、方法及终端
TWI825367B (zh) 實現懸浮觸控的方法、3d顯示設備和3d終端
TWI463863B (zh) 影像處理方法
CN107592520A (zh) Ar设备的成像装置及成像方法
JP2015037282A (ja) 画像処理装置、画像処理方法及びプログラム
JPH08201941A (ja) ３次元画像形成方法
WO2021110032A1 (zh) 多视点3d显示设备和3d图像显示方法
CN214756700U (zh) 3d显示设备
JP5428723B2 (ja) 画像生成装置、画像生成方法、および、プログラム
US20240323333A1 (en) Display device and a method of driving the same
CN112929641B (zh) 3d图像显示方法、3d显示设备
EP2641639A1 (en) Information processing apparatus, information processing program, information processing system and information processing method, capable of stereoscopic display

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210608