CN102799272A

CN102799272A - 屏内3d虚拟触控系统

Info

Publication number: CN102799272A
Application number: CN2012102344368A
Authority: CN
Inventors: 吴宇珏
Original assignee: Individual
Current assignee: Individual
Priority date: 2012-07-06
Filing date: 2012-07-06
Publication date: 2012-11-28

Abstract

本发明涉及电子智能技术领域，具体地说是一种屏内3D虚拟触控系统。一种屏内3D虚拟触控系统，包括摄像头、3D虚拟操控笔、内置有控制系统的触屏，其特征在于：在内置有控制系统的触屏四个直角处设有4个摄像头，内置有控制系统的触屏上设有3D虚拟操控笔；所述的3D虚拟操控笔由色环、活动笔杆、固定笔杆组成，活动笔杆的一端嵌入固定笔杆内，活动笔杆的另一端套设有色环，固定笔杆的末端靠近活动笔杆处设有另一色环。同现有技术相比，一种屏幕3D虚拟触控系统，让用户除了眼睛能感受3D虚拟世界外，更可以用手和身体感受3D虚拟世界代理的乐趣。

Description

屏内3D虚拟触控系统

技术领域

本发明涉及电子智能技术领域，具体地说是一种屏内3D虚拟触控系统。

背景技术

随着个人电子智能产品不断的技术创新和观念突破，人类对智能设备的交流已经不再受限于键盘和鼠标和平面的显示器，大量的触控技术，如基于感应的电阻、电容和电磁式的触控屏，基于视觉成像的虚拟操控，基于方位和加速度的操控，已经涌现，3D显示屏更是各种技术、各种规格层出不穷，3D相机、3D视频、3D游戏和操作界面更是比比皆是。

但奇观的是在屏内3D虚拟触控技术方面却一直没有一种简便而且好用的技术或产品可以提供最终用户任何一种可以在屏幕内操控虚拟3D对象的体验；而这方面的潜在需求确实非常非常的强烈的。

发明内容

本发明为克服现有技术的不足，提供一种屏内3D虚拟触控系统，让用户除了眼睛能感受3D虚拟世界外，更可以用手和身体感受3D虚拟世界带来的乐趣。

为实现上述目的，设计一种屏内3D虚拟触控系统，包括摄像头、3D虚拟操控笔、内置有控制系统的触屏，其特征在于：在内置有控制系统的触屏四个直角处设有4个摄像头，内置有控制系统的触屏上设有3D虚拟操控笔；所述的3D虚拟操控笔由色环、活动笔杆、固定笔杆组成，活动笔杆的一端嵌入固定笔杆内，活动笔杆的另一端套设有色环，固定笔杆的末端靠近活动笔杆处设有另一色环；3D虚拟操控笔接触内置有控制系统的触屏，进行3D虚拟触点坐标推算和显示的计算，流程如下：（a）3D触控软件开启获得内置有控制系统的触屏中心位置X0，Y0，Z0，并且摄像头也一并开启，摄像头自动捕获用户双眼中心的位置X3，Y3，Z3；（b）当3D虚拟操控笔触碰到内置有控制系统的触屏时，3D触控软件获得触点的3D绝对坐标X1，Y1，Z1，与此同时，摄像头获得色环的图像，计算出色环的位置x’，y’及角度σ’0，φ’0，并且推算出色环的3D绝对坐标X2，Y2，Z2，ω1；（c）3D触控软件根据触点及色环的绝对坐标推算出触点到色环的初始长度L及极坐标角度值σ1，φ1，ω1；（d）当3D虚拟操控笔的触点及色环的位置发生移动、压缩或拉升活动笔杆时，3D触控软件随时更新触点及色环的动态坐标及动态极坐标角度值；（e）3D触控软件根据初始长度L，动态极坐标角度值及色环的动态坐标，推算出虚拟触点的动态绝对坐标X’3，Y’3，Z’3；（f）当3D虚拟操控笔在旋转运动时，摄像头自动捕捉色环的不同状态并推算出转动值ω’1；（g）3D触控软件得到虚拟触点的移动、摆动及伸缩量；（h）将3D触控软件中预设的虚拟触控工具外形、颜色及物理特性，3D触控软件得出的移动、摆动及伸缩量，转动值ω’1以及捕获用户双眼中心的位置X3，Y3，Z3计算出需要在内置有控制系统的触屏上显示的触控工具、触控对象、触控结果及背景图像。

所述的3D虚拟操控笔由固定笔杆、活动笔杆、控制电路板、蓝牙天线、马达电源、压敏开关、压力弹簧、丝杆马达、丝杆弹簧、螺旋丝杠、螺旋螺母组成，活动笔杆的一端嵌入至固定笔杆内，活动笔杆内嵌设有螺旋丝杠，螺旋丝杠外套设有丝杆弹簧，丝杠弹簧的一端连接螺旋螺母，丝杆弹簧的另一端连接丝杠马达的一端，丝杠马达的另一端连接压力弹簧的一端，压力弹簧的另一端连接压敏开关的一端，压敏开关的另一端连接马达电源的一端，所述的3D虚拟操控笔内置设有控制电路板，所述的3D虚拟操控笔外置设有蓝牙天线。

所述的色环与另一色环上颜色顺序为红色、紫色、蓝色、青色、绿色、黄色，并且相邻两个颜色之间相差60°。

实现屏内3D虚拟触控的流程如下：（a）用户按开机键打开CPU及内置有控制系统的触屏，控制系统内的软件自动开启；（b）用户运用3D虚拟操控笔在内置有控制系统的触屏上点击3D触控菜单，内置有控制系统的触屏判定触控点位置后进入相应的菜单或程序，然后进入3D触控软件；（c）摄像头开始工作，自动捕捉内置有控制系统的触屏上方人眼的位置，并且随时捕获及更新人体视觉中心位置；（d）用户运用3D虚拟操控笔在内置有控制系统的触屏上移动时，内置有控制系统的触屏自动捕获触点的位移；（e）用户运用3D虚拟操控笔在内置有控制系统的触屏上移动且旋转时，摄像头捕获3D虚拟操控笔在空间移动和旋转时的色环状态；（f）3D触控软件提取内置有控制系统的触屏上触点的位移及空间中色环的状态推算出虚拟触控点的位置和动作；（g）3D触控软件自动加入虚拟对象的颜色、形状、材质及工具的特征；（h）3D触控软件推算出触控事件的结果，然后开启振子及喇叭工作，用户就可以在听觉及体感得到效果；（i）3D触控软件将摄像头不断捕获人体视觉中心的位置及推算出触控事件的结果计算触控工具、对象和场景的3D图像，并投射到内置有控制系统的触屏上，用户就可以在视觉上得到效果。

本发明同现有技术相比，一种屏幕3D虚拟触控系统，让用户除了眼睛能感受3D虚拟世界外，更可以用手和身体感受3D虚拟世界代理的乐趣。

附图说明

图1为本发明示意图。

图2为屏内3D虚拟操控笔结构示意图。

图3为屏内3D虚拟操控笔另一种结构示意图。

图4为操控笔色环展开示意图。

图5为整体系统工作流程框图。

图6为虚拟触点坐标推算和显示的软件计算流程框图。

图7为单轴触控的工作原理图。

图8为双轴触控的工作原理图。

具体实施方式

下面根据附图对本发明做进一步的说明。

如图1，图2所示，在内置有控制系统的触屏3四个直角处设有4个摄像头1，内置有控制系统的触屏3上设有3D虚拟操控笔2；所述的3D虚拟操控笔由色环、活动笔杆、固定笔杆组成，活动笔杆2-2的一端嵌入固定笔杆2-4内，活动笔杆2-2的另一端套设有色环2-1，固定笔杆2-4的末端靠近活动笔杆2-2处设有另一色环2-3。

如图3所示，屏内3D虚拟操控笔由固定笔杆、活动笔杆、控制电路板、蓝牙天线、马达电源、压敏开关、压力弹簧、丝杆马达、丝杆弹簧、螺旋丝杠、螺旋螺母组成，活动笔杆2-2的一端嵌入至固定笔杆2-4内，活动笔杆2-2的另一端套设有色环，固定笔杆2-4的末端靠近活动笔杆2-2处设有另一色环；活动笔杆2-2内嵌设有螺旋丝杠9，螺旋丝杠9外套设有丝杆弹簧8，丝杠弹簧8的一端连接螺旋螺母10，丝杆弹簧8的另一端连接丝杠马达7的一端，丝杠马达7的另一端连接压力弹簧6的一端，压力弹簧6的另一端连接压敏开关5的一端，压敏开关5的另一端连接马达电源4的一端，3D虚拟操控笔内置设有控制电路板， 3D虚拟操控笔外置设有蓝牙天线。当压敏开关5感受到活动笔杆2-2带动螺旋丝杆9和丝杠马达7的压力，通过内置的控制电路向丝杆马达7发出旋转指令，收缩螺旋丝杆9和活动笔杆2-2；反之压力解除时丝杆马达7反向转动。当屏内3D触控软件根据推算出3D虚拟操控笔在屏内的位置后，根据实际的屏幕内的3D事件：接触到刚性物体、弹性物体、反弹的物体时，系统会根据最终的推算结果将指令通过外置的蓝牙天线传递给3D虚拟操控笔内置的控制电路，来控制丝杆马达7的锁死、振动、反转等动作，实现操控的触感。

如图4所示，色环与另一色环上颜色顺序为红色、紫色、蓝色、青色、绿色、黄色，并且相邻两个颜色之间相差60°。

如图5所示，实现屏内3D虚拟触控的流程如下：（a）用户按开机键打开CPU及内置有控制系统的触屏，控制系统内的软件自动开启；（b）用户运用3D虚拟操控笔在内置有控制系统的触屏上点击3D触控菜单，内置有控制系统的触屏判定触控点位置后进入相应的菜单或程序，然后进入3D触控软件；（c）摄像头开始工作，自动捕捉内置有控制系统的触屏上方人眼的位置，并且随时捕获及更新人体视觉中心位置；（d）用户运用3D虚拟操控笔在内置有控制系统的触屏上移动时，内置有控制系统的触屏自动捕获触点的位移；（e）用户运用3D虚拟操控笔在内置有控制系统的触屏上移动且旋转时，摄像头捕获3D虚拟操控笔在空间移动和旋转时的色环状态；（f）屏内3D触控软件提取内置有控制系统的触屏上触点的位移及空间中色环的状态推算出虚拟触控点的位置和动作；（g）屏内3D触控软件自动加入虚拟对象的颜色、形状、材质及工具的特征；（h）屏内3D触控软件推算出触控事件的结果，然后开启振子及喇叭工作，这样用户就可以在听觉及体感得到效果；（i）3D触控软件将摄像头不断捕获人体视觉中心的位置及推算出触控事件的结果计算触控工具、对象和场景的3D图像，并投射到内置有控制系统的触屏上，这样用户就可以在视觉上得到效果。

如图6所示，屏内3D虚拟触点坐标推算和显示的计算流程如下：（a）屏内3D触控软件开启获得内置有控制系统的触屏中心位置X0，Y0，Z0，并且摄像头也一并开启，摄像头自动捕获用户双眼中心的位置X3，Y3，Z3；（b）当3D虚拟操控笔触碰到内置有控制系统的触屏时，屏内3D触控软件获得触点的3D绝对坐标X1，Y1，Z1，与此同时，摄像头获得色环的图像，计算出色环的位置x’，y’及角度σ’0，φ’0，并且推算出色环的3D绝对坐标X2，Y2，Z2，ω1；（c）3D触控软件根据触点及色环的绝对坐标推算出触点到色环的初始长度L=√(X2-X1)2+(Y2-Y1)2+(Z2-Z1)2及极坐标角度值σ1= arctan[（X2-X1）/(Y2-Y1)]，φ1= arcsin[（Z2-Z1）/L]，ω1；（d）当3D虚拟操控笔的触点及色环的位置发生移动、压缩或拉升活动笔杆时，屏内3D触控软件随时更新触点及色环的动态坐标及动态极坐标角度值；（e）3D触控软件根据初始长度L、动态极坐标角度值及色环的动态坐标，推算出虚拟触点的动态坐标X’3 =X2+cos(φ1) *sin(σ1) *L，Y’3=Y2+ cos(φ1) *cos(σ1) *L，Z’3=Z2+sin(φ1)*L；（f）当3D虚拟操控笔在旋转运动时，摄像头自动捕捉色环的不同状态并推算出转动值ω’1；（g）3屏内D触控软件得到虚拟触点的移动、摆动及伸缩量；（h）将屏内3D触控软件中预设的虚拟触控工具外形、颜色及物理特性，屏内3D触控软件得出的移动、摆动及伸缩量，转动值ω’1以及捕获用户双眼中心的位置X3，Y3，Z3计算出需要在内置有控制系统的触屏上显示的触控工具、触控对象、触控结果及背景图像。

当3D虚拟操控笔开始接触内置有控制系统的触屏时，通过内置有控制系统的触屏可以得到第一触控点在屏幕上的位置；同时内置有控制系统的触屏四周的摄像头矩阵开启，捕获屏外第二控制点的位置；通过计算两触控点的位置，可以得到两触控点间的初始距离L和触控轴与触屏间的3D夹角；

当3D虚拟操控笔继续在触屏上移动时，内置有控制系统的触屏继续捕获并修正第一触控点在屏幕上的位置；同时内置有控制系统的触屏四周的摄像矩阵也继续捕获和修正屏外第二控制点的位置；通过重新计算两触控点的位置，可以得到两点间最新的距离及与触屏间的3D夹角，同过计算可以得到3D虚拟触点的虚拟位置；通过对两触控点的距离的实时监控和计算，我们可以得到最新触控轴的位置，推算出它的移动、摆动、抽拉动作；同过摄像头矩阵对3D虚拟操控笔上色环的色斑变化监控，还可以得到触控轴转动的信息；通过同时对两组或多组触控轴的实时位置监控，推算出它们的虚拟位置，通过提前设定的虚拟工具类型我们可以对虚拟对象进行虚拟操作。

如图7所示，一个拧螺丝的动作，操控者将3D虚拟操控笔接触到触屏后，进行移动、下压、旋转时，当3D虚拟操控笔在触屏上移动时，触屏及摄像矩阵根据3D虚拟操控笔末端的色环的位置进行计算，从而在触屏内的3D虚拟的环境中显现出来；当3D虚拟操控笔在触屏上下压时，摄像矩阵不断捕获两色环之间的距离，并进行计算，计算得出的下压距离在触屏内的3D虚拟的环境中也同样向下运动同样的距离；当3D虚拟操控笔在进行旋转时，摄像矩阵随时捕捉色环的状态，然后进行计算，计算得出的旋转值在3D虚拟的环境下做出同样的旋转动作，使操控者在触屏内，也就是在3D环境中完成拧螺丝的一个动作。

如图8所示，运用虚拟筷子夹东西的动作，同样的，操控者利用两支3D虚拟操控笔在触屏上进行移动、下压等如同运用筷子的动作，在触屏内的3D环境中能实现筷子夹取食物的动作。

运用触屏内3D虚拟操控技术，我们可以实现3D上网、交互、游戏；3D设计、绘画、雕塑；3D的虚拟模型加工、玩具组合；3D教育、实验；3D种植、园艺、建筑；3D的手术、解剖，等等，这些操作不但更真实，而且更为精确的进行3D触控，而且可以提供真实的3D触控的体感反馈，使操控者有着身临其境的感觉，让操控者充分享受3D虚拟世界带来的乐趣。

Claims

1.一种屏内3D虚拟触控系统，包括摄像头、3D虚拟操控笔、内置有控制系统的触屏，其特征在于：在内置有控制系统的触屏（3）四个直角处设有4个摄像头（1），内置有控制系统的触屏（3）上设有3D虚拟操控笔（2）；所述的3D虚拟操控笔由色环、活动笔杆、固定笔杆组成，活动笔杆（2-2）的一端嵌入固定笔杆（2-4）内，活动笔杆（2-2）的另一端套设有色环（2-1），固定笔杆（2-4）的末端靠近活动笔杆（2-2）处设有另一色环（2-3）；3D虚拟操控笔接触内置有控制系统的触屏，进行3D虚拟触点坐标推算和显示的计算，流程如下：（a）3D触控软件开启获得内置有控制系统的触屏中心位置X0，Y0，Z0，并且摄像头也一并开启，摄像头自动捕获用户双眼中心的位置X3，Y3，Z3；（b）当3D虚拟操控笔触碰到内置有控制系统的触屏时，3D触控软件获得触点的3D绝对坐标X1，Y1，Z1，与此同时，摄像头获得色环的图像，计算出色环的位置x’，y’及角度σ’0，φ’0，并且推算出色环的3D绝对坐标X2，Y2，Z2，ω1；（c）3D触控软件根据触点及色环的绝对坐标推算出触点到色环的初始长度L及极坐标角度值σ1，φ1，ω1；（d）当3D虚拟操控笔的触点及色环的位置发生移动、压缩或拉升活动笔杆时，3D触控软件随时更新触点及色环的动态坐标及动态极坐标角度值；（e）3D触控软件根据初始长度L，动态极坐标角度值及色环的动态坐标，推算出虚拟触点的动态绝对坐标X’3，Y’3，Z’3；（f）当3D虚拟操控笔在旋转运动时，摄像头自动捕捉色环的不同状态并推算出转动值ω’1；（g）3D触控软件得到虚拟触点的移动、摆动及伸缩量；（h）将3D触控软件中预设的虚拟触控工具外形、颜色及物理特性，3D触控软件得出的移动、摆动及伸缩量，转动值ω’1以及捕获用户双眼中心的位置X3，Y3，Z3计算出需要在内置有控制系统的触屏上显示的触控工具、触控对象、触控结果及背景图像。

2.根据权利要求1所述的一种屏内3D虚拟触控系统，其特征在于：所述的3D虚拟操控笔由固定笔杆、活动笔杆、控制电路板、蓝牙天线、马达电源、压敏开关、压力弹簧、丝杆马达、丝杆弹簧、螺旋丝杠、螺旋螺母组成，活动笔杆（2-2）的一端嵌入至固定笔杆（2-4）内，活动笔杆（2-2）的另一端套设有色环，固定笔杆（2-4）的末端靠近活动笔杆（2-2）处设有另一色环；活动笔杆（2-2）内嵌设有螺旋丝杠（9），螺旋丝杠（9）外套设有丝杆弹簧（8），丝杠弹簧（8）的一端连接螺旋螺母（10），丝杆弹簧（8）的另一端连接丝杠马达（7）的一端，丝杠马达（7）的另一端连接压力弹簧（6）的一端，压力弹簧（6）的另一端连接压敏开关（5）的一端，压敏开关（5）的另一端连接马达电源（4）的一端，所述的3D虚拟操控笔内置设有控制电路板，所述的3D虚拟操控笔外置设有蓝牙天线。

3.根据权利要求1所述的一种屏内3D虚拟触控系统，其特征在于：所述的色环与另一色环上颜色顺序为红色、紫色、蓝色、青色、绿色、黄色，并且相邻两个颜色之间相差60°。

4.根据权利要求1所述的一种屏内3D虚拟触控系统，其特征在于：实现3D虚拟触控的流程如下：（a）用户按开机键打开CPU及内置有控制系统的触屏，控制系统内的软件自动开启；（b）用户运用3D虚拟操控笔在内置有控制系统的触屏上点击3D触控菜单，内置有控制系统的触屏判定触控点位置后进入相应的菜单或程序，然后进入3D触控软件；（c）摄像头开始工作，自动捕捉内置有控制系统的触屏上方人眼的位置，并且随时捕获及更新人体视觉中心位置；（d）用户运用3D虚拟操控笔在内置有控制系统的触屏上移动时，内置有控制系统的触屏自动捕获触点的位移；（e）用户运用3D虚拟操控笔在内置有控制系统的触屏上移动且旋转时，摄像头捕获3D虚拟操控笔在空间移动和旋转时的色环状态；（f）3D触控软件提取内置有控制系统的触屏上触点的位移及空间中色环的状态推算出虚拟触控点的位置和动作；（g）3D触控软件自动加入虚拟对象的颜色、形状、材质及工具的特征；（h）3D触控软件推算出触控事件的结果，然后开启振子及喇叭工作，用户就可以在听觉及体感得到效果；（i）3D触控软件将摄像头不断捕获人体视觉中心的位置及推算出触控事件的结果计算触控工具、对象和场景的3D图像，并投射到内置有控制系统的触屏上，用户就可以在视觉上得到效果。