CN113434046A - 三维交互系统、方法、计算机设备及可读存储介质 - Google Patents
三维交互系统、方法、计算机设备及可读存储介质 Download PDFInfo
- Publication number
- CN113434046A CN113434046A CN202110721487.2A CN202110721487A CN113434046A CN 113434046 A CN113434046 A CN 113434046A CN 202110721487 A CN202110721487 A CN 202110721487A CN 113434046 A CN113434046 A CN 113434046A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- user
- operation data
- display device
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 35
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 28
- 230000002452 interceptive effect Effects 0.000 claims abstract description 23
- 238000004891 communication Methods 0.000 claims abstract description 5
- 239000011521 glass Substances 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 230000003190 augmentative effect Effects 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims description 2
- 210000001508 eye Anatomy 0.000 description 9
- 230000008859 change Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 210000002105 tongue Anatomy 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
Abstract
本发明公开了一种三维交互系统、方法、计算机设备及可读存储介质，三维交互系统包括三维显示设备、二维输入设备、姿态传感器、深度摄像设备以及处理设备；其中，处理设备分别与三维显示设备、二维输入设备、姿态传感器以及深度摄像设备通信连接，二维输入设备用以获取用户输入的二维操作数据，姿态传感器用于获取用户操作的位姿数据，深度摄像设备用于获取包含二维输入设备、姿态传感器以及用户的深度图像，处理设备基于深度图像，对位姿数据和/或二维操作数据进行转换，以得到显示在三维显示设备上的三维操作数据。上述系统可以利用各种二维输入设备，将其输入转换为三维操作，有效提高三维交互操作的易用性和效率，并保持较低的成本。
Description
技术领域
本发明实施例涉及计算机技术，尤其涉及一种三维交互系统、方法、装置、计算机设备及存储介质。
背景技术
近年来，三维设计的需求越来越大，但美术人员与建模人员一般习惯于使用传统的二维输入设备，这些二维输入设备在立体空间的交互操作中存在很多的不便。因此逐渐出现了一些专用的手势交互设备与手持式控制器设备，但隔空作画的方式没有力度反馈，容易使人疲劳，还不能够作为生产力工具使用。而带力反馈的三维控制器的价格又比较昂贵，难以大范围推广。
发明内容
基于此，针对上述技术问题，本发明提供一种三维交互系统、方法、计算机设备及可读存储介质，可以提高三维交互操作的易用性和效率，并保持较低成本。
第一方面，本发明实施例提供了一种三维交互系统，所述三维交互系统包括三维显示设备、二维输入设备、姿态传感器、深度摄像设备以及处理设备；其中，所述处理设备分别与所述三维显示设备、所述二维输入设备、所述姿态传感器以及所述深度摄像设备通信连接，所述二维输入设备用以获取用户输入的二维操作数据，所述姿态传感器用于获取用户操作的位姿数据，所述深度摄像设备用于获取包含所述二维输入设备、所述姿态传感器以及用户的深度图像，所述处理设备基于所述深度图像，对所述位姿数据和/或所述二维操作数据进行转换，以得到显示在所述三维显示设备上的三维操作数据。
上述三维交互系统，可以利用各种二维输入设备，并将其输入转换为三维操作，不改变用户的使用习惯，也不需要成本较高的专用三维输入设备，从而可以有效提高三维交互的易用性和效率，并保持较低的成本。
在其中一个实施例中，所述三维显示设备包括三维眼镜、立体显示器、增强现实显示设备以及混合现实显示设备中的至少一种；所述二维输入设备包括鼠标、键盘、触控板以及绘图板中的至少一种。
在其中一个实施例中，所述二维输入设备上设置有识别标记，所述处理设备在所述深度图像内通过所述识别标记对所述二维输入设备进行捕捉跟踪。
在其中一个实施例中，所述姿态传感器为正二十面体形状的九轴姿态传感器。
在其中一个实施例中，所述三维显示设备的数量为多个，所述三维操作分别以不同角度在多个所述三维显示设备上同步显示。
第二方面，本发明实施例提供了一种三维交互方法，应用于上述三维交互系统中，所述方法包括：
获取用户输入的二维操作数据以及用户操作的位姿数据；
获取包含二维输入设备、姿态传感器以及用户的深度图像；
基于所述深度图像，对所述位姿数据和/或所述二维操作数据进行转换，以得到三维操作数据。
上述三维交互方法，可以利用各种二维输入设备，并将其输入转换为三维操作，不改变用户的使用习惯，也不需要成本较高的专用三维输入设备，从而可以有效提高三维交互的易用性和效率，并保持较低的成本。
在其中一个实施例中，所述基于所述深度图像，对所述位姿数据和/或所述二维操作数据进行转换，以得到三维操作数据的步骤包括：
基于所述深度图像创建虚拟立体空间；
获取包含所述二维输入设备、所述姿态传感器以及用户的真实立体空间到所述虚拟立体空间的变换矩阵；
根据所述变换矩阵将所述位姿数据和/或所述二维操作数据映射至所述虚拟立体空间，以得到所述三维操作数据。
在其中一个实施例中，所述真实立体空间为所述三维显示设备所处的指定原点的物理空间的坐标系，所述虚拟立体空间为以所述三维显示设备中显示的立体内容使用的虚拟坐标系。
第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述的三维交互方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述的三维交互方法。
附图说明
图1为一个实施例中三维交互系统的结构示意图；
图2为一个实施例中三维交互方法的流程示意图；
图3为一个实施例中步骤基于深度图像，对位姿数据和/或二维操作数据进行转换，以得到三维操作数据的流程示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
图1为一个实施例中三维交互系统的结构示意图。如图1所示，在一个实施例中，一种三维交互系统10，包括三维显示设备110、二维输入设备120、姿态传感器130、深度摄像设备140以及处理设备150；其中，处理设备150分别与三维显示设备110、二维输入设备120、姿态传感器130以及深度摄像设备140通信连接，二维输入设备120用以获取用户输入的二维操作数据，姿态传感器130用于获取用户操作的位姿数据，深度摄像设备140用于获取包含二维输入设备120、姿态传感器130以及用户的深度图像，处理设备150基于深度图像，对位姿数据和/或二维操作数据进行转换，以得到显示在三维显示设备110上的三维操作数据。
具体地，在三维交互系统10中，三维显示设备110为用户用于观看三维图像的设备，三维显示设备110的具体种类和规格可以根据实际需求确定，例如三维显示设备110可以包括三维显示其或者三维眼镜等。三维显示设备110上一般显示有用户需要处理的三维模型等影像，用户需要进行的三维交互操作也会实时显示在三维显示设备110上。二维输入设备120为用户进行二维操作输入的设备，二维输入设备120的具体种类和规格可以根据实际需求确定，例如二维输入设备120可以包括鼠标、键盘等，用户通过二维输入设备120向三维交互系统10中输入常用的二维操作数据，例如光标移动、文字指令等。用户还可以通过将姿态传感器130输入位姿数据，位姿数据中具体包括用户移动可以通过移动姿态传感器130时的位置信息与姿态信息。三维交互系统10中还设置有深度摄像设备140，深度摄像设备140可以获取当前空间内的深度图像，深度图像中包含二维输入设备120、姿态传感器130以及用户。
处理设备150一般可以为计算机设备或其他处理芯片等，三维显示设备110、二维输入设备120、姿态传感器130以及深度摄像设备140均通过有线或无线的方式与处理设备150通信连接，二维输入设备120、姿态传感器130以及深度摄像设备140将各自获取到的数据发送给处理设备150，处理设备150对各类信息进行融合处理后生成用户所需要进行的三维操作数据，并在三维现实设备110上进行显示。
进一步地，处理设备150可以根据用户输入或操作各设备时的深度图像，获取与二维操作数据或位姿数据相对应的三维转换数据，将该三维转换数据与二维操作数据或位姿数据按照预设规则相结合即可得到三维操作数据。三维交互系统10可以实现的三维操作的种类和数量可以根据实际情况确定，例如可以在立体空间内绘制立体曲线，将绘制的线条同步映射到三维现实设备110上的三维影像上，还可以进行立体雕刻、选中顶点、纹理绘制等操作，或者基于半透明渲染的立体图片作为参考背景，并进行立体网格的空中勾勒轮廓和实施拓扑；或者将获取到的用户表情移植到虚拟人脸，并进行立体镜像预览等。
上述三维交互系统10，可以利用各种二维输入设备，并将其输入转换为三维操作，不改变用户的使用习惯，也不需要成本较高的专用三维输入设备，从而可以有效提高三维交互的易用性和效率，并保持较低的成本。
在一个实施例中，在上述实施例的基础上，三维交互系统10中的深度摄像设备140可以为一个或多个深度相机，深度相机的种类可以根据实际情况确定，例如可以是一定间距的双目相机，也可以是一个或多个一体化的深度摄像头。深度摄像设备140一般可以设置在三维显示设备110的上方中心位置或底部中心位置，指向用户的人脸一般状态下的所在位置。在使用多个深度摄像设备140时，其它的深度相机专门用于拍摄用户桌面摆放的二维输入设备120、姿态传感器130以及用户的手部，多个深度摄像设备140具体可以采用分为两组阵列分别固定于三维显示设备110两侧面向桌面倾斜安装。
进一步地，深度摄像设备140可以捕捉用户双眼位置数据和表情数据，例如通过人脸识别模块提取面部表情数据，具体包含人脸、耳朵、舌头、瞳孔位置关键点和面部变形数值。如果用户佩戴有眼镜，并且眼镜和人眼在一定范围内正常叠合，则可以捕捉眼镜两个镜框分别的中心点位置。对于用户的人脸、人眼以及眼镜等识别用到的推理模型，可以由图片数据库进行人工智能训练产生，通过人脸识别模块提取面部表情数据，含人脸、耳朵、舌头、瞳孔位置关键点和面部蒙皮(blendshape)变形数值。深度摄像设备140还可以捕捉用户的手部数据，例如获取用户指尖位置数据，处理设备150可以根据该指尖位置数据生成绘制曲线或进行批注等三维操作数据。
在一个实施例中，还可以通过特定的识别标记点对用户眼部进行定位，深度摄像设备140可以捕捉识别标记的位置，例如识别标记可以采用圆形反光高亮度的标记点，该标记点可以贴于用户眉心位置、眼镜镜框位置等，从而确定用户眼睛的中心位置。标记点可以采用近红外波长材质涂抹，如观看距离较近，则可用三维显示设备110本身发出发热光线，如观看距离较远，则需增加外置补光光源。深度摄像设备140一般可以采用彩色RGB传感器，并设置近红外滤光片(波长覆盖400-850nm)。
在一个实施例中，在上述实施例的基础上，三维显示设备110包括三维眼镜、立体显示器、增强现实显示设备以及混合现实显示设备中的至少一种。具体地，三维显示设备110具体可以采用多种设备及其组合，例如三维显示设备可以包含二维显示器与三维红蓝眼镜或三维观屏眼镜、裸眼透镜、光栅立体显示器，快门/偏光立体显示器、三维投影仪及配套眼镜、头戴式AR(增强现实)显示器以及MR(混合现实)立体显示器等。
进一步地，在一个实施例中，三维显示设备110同时采用多种设备进行融合使用，从而可以达到更新颖的三维显示效果。多种三维显示设备融合使用的具体搭配可以根据实际显示需求确定，例如可以将二维显示器搭配三维眼镜搭使用，或者将三维眼镜与三维投影仪搭配使用，或者将立体显示器与AR/MR设备搭配使用等。在进行多种三维显示设备110融合使用时，处理设备150可以根据不同三维显示设备110的位置、视角等信息，分别同步输出与其相匹配的立体内容到各个三维显示设备110，并控制各个三维显示设备110上显示的立体内容进行叠加和融合。
在一个实施例中，在上述实施例的基础上，二维输入设备120包括鼠标、键盘、触控板以及绘图板中的至少一种。
具体地，对于不同种类的二维输入设备120，会输入不同的二维操作数据，后续处理设备150也会相应生成不同的三维操作数据。例如，针对传统的键盘设备，处理设备150可以将键盘设备输入的每个键值扩展增加三维坐标信息，并映射到虚拟立体空间的键盘坐标中，并可以使用光学识别提取键帽上的符号并自动确定键盘设备的尺寸和键位分布，也可让用户选择使用预设的多种键盘型号，并预览和设置键盘设备的规格尺寸。
针对传统的二维鼠标设备，处理设备150可以将鼠标设备在桌面的水平方向的移动数据增加垂直方向的高度信息，还可以再结合其他的操作输入，例如触摸和推拉触控板获取差值变量，以修改鼠标设备的高度信息差值，从而进行三维的鼠标光标操作。
针对触控板或绘图板以及配套的手写笔等设备，触控板或绘图板可以获取用户手部或手写笔在其表面点击时的单点二维坐标，或者接触式绘图路径的二维坐标以及相对应的压力值。处理设备150可以通过触控板或绘图板获取的压力值控制三维显示设备110中虚拟画板坐标系的垂直方向上的空间位置数据，同时将路径信息映射到水平方向的平面上。
在一个实施例中，在上述实施例的基础上，姿态传感器130为正二十面体形状的九轴姿态传感器。姿态传感器130的外形设计可以采用正二十面体(icosphere)形状，正二十面体的任一三角面都能平稳摆放于桌面，使用较为方便。姿态传感器130的三角面可以采用渐变色块填充，用于进行六自由度姿态追踪，姿态传感器130的内部可以设置有源的IMU(惯性测量)电路模块，提供精确的微动响应。
进一步地，对姿态传感器130可实施校准功能，具体地，处理设备150获取姿态传感器130的磁场变量的值偏离所在地区的校准基准值时，则可判定为被干扰，此时切换为光学方式进行校准，最终将位姿传感器130提供的位姿数据同步到三维显示设备110中的模型位姿。
在一个实施例中，二维输入设备120上设置有识别标记，处理设备150在深度图像内通过识别标记对二维输入设备120进行捕捉跟踪。二维输入设备120上的识别标记具体可以通过特定图案的识别标记码贴纸或硬纸板等实现，识别标记贴于需追踪的二维输入设备120上的预设位置处。而对于二维输入设备120中的手写笔，可以设置一个特定颜色的笔帽作为识别标记。。
在一个实施例中，在上述实施例的基础上，三维显示设备110的数量为多个，三维操作分别以不同角度在多个三维显示设备110上同步显示。。
具体地，在三维交互系统10中，可以同时进行多屏同步视角可变换的立体渲染，将同一套立体模型和标注等信息传输到不同视角对应的三维显示设备110。还可以通过多个三维显示设备110进行立体拼接，例如通过立体软件的配置界面在虚拟立体空间进行指定，依据追踪到的观看者位置，可较为准确地同步地在多个三维显示设备110上绘制出正确透视关系的同一个场景的不同局部的立体画面。还可以通过多个三维显示设备110进行分区放大，例如对选定区域，在扩展的三维显示设备110上切换到放大后的立体空间进行查看。而当三维显示设备110为头戴式AR显示设备或MR显示设备时，可以同步输出不同视角的立体内容到AR显示设备或MR显示设备和立体显示器，并控制多个画面相叠加和融合。还可以使用云数据同步技术，将三维场景同步渲染到多个三维显示设备110，从而实现支持多人协同设计和评审。
图3为一个实施例中三维交互方法的流程示意图，如图1所示，在一个实施例中，一种三维交互方法，应用于上述实施例中的三维交互系统中，三维交互方法具体可以包括：
步骤S220：获取用户输入的二维操作数据以及用户操作的位姿数据。
具体地，在三维交互系统工作时，首先需要获取用户通过二维输入设备获取用户输入的二维操作数据，以及用户通过姿态传感器获取的用户操作的位姿数据。其中，二维输入设备具体可以包括三维眼镜、立体显示器、增强现实显示设备以及混合现实显示设备等。姿态传感器则可以采用正二十面体的形状，同时内部设置有源的IMU(惯性测量)电路模块，以提供精确的微动响应。
步骤S240：获取包含二维输入设备、姿态传感器以及用户的深度图像。
具体地，在获取二维操作数据以及位姿数据后，还需要通过三维交互系统中的深度摄像设备获取当前空间内的深度图像，深度图像中包含二维输入设备、姿态传感器以及用户。深度摄像设备具体可以捕捉用户的眼部、手部以及表情等，还可以捕捉各种二维输入设备以及姿态传感器，具体可以在用户手部、眼部以及各类设备上设置特定的识别标记，以便于对深度图像中的用户和设备进行捕捉跟踪。
步骤S260：基于深度图像，对位姿数据和/或二维操作数据进行转换，以得到三维操作数据。
具体地，在获取深度图像后，可以基于深度图像建立一个虚拟立体空间，并且将虚拟立体空间和真实立体空间进行映射，使两者可以点对点正确叠合，根据深度图像计算出三维虚拟空间坐标系内用户以及各设备的位置和姿态信息，从而将各类信息进行融合处理后生成用户所需要进行的三维操作数据，并在三维现实设备上进行显示。
上述三维交互方法，可以利用各种二维输入设备，并将其输入转换为三维操作，不改变用户的使用习惯，也不需要成本较高的专用三维输入设备，从而可以有效提高三维交互的易用性和效率，并保持较低的成本。
图3为一个实施例中步骤基于深度图像，对位姿数据和/或二维操作数据进行转换，以得到三维操作数据的流程示意图，在上述实施例的基础上，如图3所示，在一个实施例中，上述三维交互方法的步骤S260具体可以包括：
步骤S262：基于深度图像创建虚拟立体空间；
步骤S264：获取包含二维输入设备、姿态传感器以及用户的真实立体空间到虚拟立体空间的变换矩阵。
步骤S266：根据变换矩阵将位姿数据和/或二维操作数据映射至虚拟立体空间，以得到三维操作数据。
具体地，为了对二维操作数据与和三维操作数据进行转换，首先可以基于深度摄像设备获取的深度图像创建一个当前环境的虚拟立体空间，在一个具体的实施例中，真实立体空间为三维显示设备所处的指定原点的物理空间的坐标系，虚拟立体空间为以三维显示设备中显示的立体内容使用的虚拟坐标系。在深度图像中提取出其中有识别标记或无识别标记物件相对于深度摄像设备坐标系的三维坐标，通过视觉标定，提取出修正后的深度摄像设备坐标三维显示设备屏幕坐标系的变换矩阵；真实立体空间与虚拟立体空间之间转换矩阵具体可以由人眼或眼镜追踪模块等给出，当两者中心重合于一点时，可简化为一个缩放系数。在确定真实立体空间到虚拟立体空间的变换矩阵后，可以根据变换矩阵将位姿数据和/或二维操作数据映射至虚拟立体空间，从而得到所需要的三维操作数据。
可以理解的是，本发明实施例所提供的三维交互系统可执行本发明任意实施例所提供的三维交互方法，具备执行方法相应的功能模块和有益效果。上述实施例中三维交互系统所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
在一个实施例中，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可以在处理器上运行的计算机程序。处理器在运行该程序时可以执行如下步骤：获取用户输入的二维操作数据以及用户操作的位姿数据；获取包含二维输入设备、姿态传感器以及用户的深度图像；基于深度图像，对位姿数据和/或二维操作数据进行转换，以得到三维操作数据。
可以理解的是,本发明实施例所提供的一种计算机设备,其处理器执行存储在存储器上的程序不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的三维交互方法中的相关操作。
进一步地，上述计算机中处理器的数量可以是一个或多个，处理器与存储器可以通过总线或其他方式连接。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至设备/终端/服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
在一个实施例中，本发明还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时可以使得处理器执行如下步骤：获取用户输入的二维操作数据以及用户操作的位姿数据；获取包含二维输入设备、姿态传感器以及用户的深度图像；基于深度图像，对位姿数据和/或二维操作数据进行转换，以得到三维操作数据。
可以理解的是,本发明实施例所提供的一种包含计算机程序的计算机可读存储介质,其计算机可执行的程序不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的三维交互方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例中所述的方法。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的较佳实施例及所运用技术原理，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明专利的保护范围由所附的权利要求范围决定。
Claims (10)
1.一种三维交互系统，其特征在于，所述三维交互系统包括三维显示设备、二维输入设备、姿态传感器、深度摄像设备以及处理设备；其中，所述处理设备分别与所述三维显示设备、所述二维输入设备、所述姿态传感器以及所述深度摄像设备通信连接，所述二维输入设备用以获取用户输入的二维操作数据，所述姿态传感器用于获取用户操作的位姿数据，所述深度摄像设备用于获取包含所述二维输入设备、所述姿态传感器以及用户的深度图像，所述处理设备基于所述深度图像，对所述位姿数据和/或所述二维操作数据进行转换，以得到显示在所述三维显示设备上的三维操作数据。
2.根据权利要求1所述的三维交互系统，其特征在于，所述三维显示设备包括三维眼镜、立体显示器、增强现实显示设备以及混合现实显示设备中的至少一种；所述二维输入设备包括鼠标、键盘、触控板以及绘图板中的至少一种。
3.根据权利要求1所述的三维交互系统，其特征在于，所述二维输入设备上设置有识别标记，所述处理设备在所述深度图像内通过所述识别标记对所述二维输入设备进行捕捉跟踪。
4.根据权利要求1所述的三维交互系统，其特征在于，所述姿态传感器为正二十面体形状的九轴姿态传感器。
5.根据权利要求1所述的三维交互系统，其特征在于，所述三维显示设备的数量为多个，所述三维操作分别以不同角度在多个所述三维显示设备上同步显示。
6.一种三维交互方法，应用于权利要求1至5中任意一项所述的三维交互系统中，其特征在于，所述方法包括：
获取用户输入的二维操作数据以及用户操作的位姿数据；
获取包含二维输入设备、姿态传感器以及用户的深度图像；
基于所述深度图像，对所述位姿数据和/或所述二维操作数据进行转换，以得到三维操作数据。
7.根据权利要求4所述的方法，其特征在于，所述基于所述深度图像，对所述位姿数据和/或所述二维操作数据进行转换，以得到三维操作数据的步骤包括：
基于所述深度图像创建虚拟立体空间；
获取包含所述二维输入设备、所述姿态传感器以及用户的真实立体空间到所述虚拟立体空间的变换矩阵；
根据所述变换矩阵将所述位姿数据和/或所述二维操作数据映射至所述虚拟立体空间，以得到所述三维操作数据。
8.根据权利要求7所述的方法，其特征在于，所述真实立体空间为所述三维显示设备所处的指定原点的物理空间的坐标系，所述虚拟立体空间为以所述三维显示设备中显示的立体内容使用的虚拟坐标系。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求6至8中任意一项所述的三维交互方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求6至8中任意一项所述的三维交互方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110721487.2A CN113434046A (zh) | 2021-06-28 | 2021-06-28 | 三维交互系统、方法、计算机设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110721487.2A CN113434046A (zh) | 2021-06-28 | 2021-06-28 | 三维交互系统、方法、计算机设备及可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113434046A true CN113434046A (zh) | 2021-09-24 |
Family
ID=77754980
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110721487.2A Withdrawn CN113434046A (zh) | 2021-06-28 | 2021-06-28 | 三维交互系统、方法、计算机设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113434046A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114173109A (zh) * | 2022-01-12 | 2022-03-11 | 纵深视觉科技(南京)有限责任公司 | 一种观看用户跟踪方法、装置、电子设备及存储介质 |
-
2021
- 2021-06-28 CN CN202110721487.2A patent/CN113434046A/zh not_active Withdrawn
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114173109A (zh) * | 2022-01-12 | 2022-03-11 | 纵深视觉科技(南京)有限责任公司 | 一种观看用户跟踪方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220084279A1 (en) | Methods for manipulating objects in an environment | |
| US9651782B2 (en) | Wearable tracking device | |
| CN103793060B (zh) | 一种用户交互系统和方法 | |
| WO2017075932A1 (zh) | 基于三维显示的手势操控方法和系统 | |
| US7755608B2 (en) | Systems and methods of interfacing with a machine | |
| US10186084B2 (en) | Image processing to enhance variety of displayable augmented reality objects | |
| US9979946B2 (en) | I/O device, I/O program, and I/O method | |
| US9933853B2 (en) | Display control device, display control program, and display control method | |
| Mohr et al. | Mixed reality light fields for interactive remote assistance | |
| Chan et al. | Enabling beyond-surface interactions for interactive surface with an invisible projection | |
| US9906778B2 (en) | Calibration device, calibration program, and calibration method | |
| US20190050132A1 (en) | Visual cue system | |
| US11776182B1 (en) | Techniques for enabling drawing in a computer-generated reality environment | |
| EP3172721B1 (en) | Method and system for augmenting television watching experience | |
| US10171800B2 (en) | Input/output device, input/output program, and input/output method that provide visual recognition of object to add a sense of distance | |
| Yee et al. | Augmented reality in-situ 3D sketching of physical objects | |
| CN113961107A (zh) | 面向屏幕的增强现实交互方法、装置及存储介质 | |
| CN113434046A (zh) | 三维交互系统、方法、计算机设备及可读存储介质 | |
| Narducci et al. | Enabling consistent hand-based interaction in mixed reality by occlusions handling | |
| EP3088991B1 (en) | Wearable device and method for enabling user interaction | |
| Hsu et al. | HoloTabletop: an anamorphic illusion interactive holographic-like tabletop system | |
| US10415959B2 (en) | Method for calibrating an augmented reality visual rendering system comprising at least one display device that is partially transparent with respect to the user thereof, and associated system | |
| CN116055708B (zh) | 一种感知可视交互式球幕三维立体成像方法及系统 | |
| CN111399631B (zh) | 虚拟内容显示方法、装置、终端设备及存储介质 | |
| Jung et al. | Interactive auto-stereoscopic display with efficient and flexible interleaving |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20210924 |
|
| WW01 | Invention patent application withdrawn after publication |