CN104090465A - 一种三维交互式投影成像方法 - Google Patents
一种三维交互式投影成像方法 Download PDFInfo
- Publication number
- CN104090465A CN104090465A CN201410268953.6A CN201410268953A CN104090465A CN 104090465 A CN104090465 A CN 104090465A CN 201410268953 A CN201410268953 A CN 201410268953A CN 104090465 A CN104090465 A CN 104090465A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- imaging method
- projection imaging
- interactive projection
- palm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 19
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 18
- 230000033001 locomotion Effects 0.000 claims abstract description 14
- 238000000034 method Methods 0.000 claims abstract description 6
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 4
- 239000000779 smoke Substances 0.000 claims description 8
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 5
- 230000000644 propagated effect Effects 0.000 claims description 5
- 230000035807 sensation Effects 0.000 claims description 5
- NIXOWILDQLNWCW-UHFFFAOYSA-N acrylic acid group Chemical group C(C=C)(=O)O NIXOWILDQLNWCW-UHFFFAOYSA-N 0.000 claims description 4
- 239000011521 glass Substances 0.000 claims description 4
- 239000000203 mixture Substances 0.000 claims description 4
- 239000003595 mist Substances 0.000 claims description 3
- 230000006399 behavior Effects 0.000 abstract 2
- 230000003287 optical effect Effects 0.000 abstract 2
- 230000003993 interaction Effects 0.000 abstract 1
- 230000002194 synthesizing effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 5
- 210000004247 hand Anatomy 0.000 description 3
- 238000005452 bending Methods 0.000 description 2
- 210000003414 extremity Anatomy 0.000 description 2
- 238000000889 atomisation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000010419 fine particle Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明涉及一种三维交互式投影成像方法。首先，建立三维模型；通过体感设备实时采集用户特定动作及行为，以控制所建立的三维模型进行相应的变化；其次，实时将所述步骤S02变化后的三维模型分解为N个二维面，其中，N为自然数，且N＞1；最后，通过影像输出设备，实时的将分解后的N个二维面分别投影到折射和衍射成角度的各透明介质上，实时变化的三维虚拟影像。本发明通过体感设备捕捉人体特定动作及行为（诸如手掌、手指或其他肢体动作的不同变化）来实现人与虚拟场景的相交互，且其投影方式为通过光学折射和衍射在透明介质中合成3D影像。
Description
技术领域
本发明涉及一种三维交互式投影成像方法。
背景技术
传统的三维成像都是在显示屏等显示设备中实现，同时其实现人体与虚拟场景的交互需要采用鼠标及键盘等传统输入设备，对于全息投影一般也只是停留在幻想阶段。
而本发明通过体感设备捕捉人体特定动作及行为（诸如手掌、手指或其他肢体动作的不同变化）来实现人与虚拟场景的相交互，且其投影方式为通过光学折射和衍射在透明介质中合成3D影像。
发明内容
本发明的目的在于提供一种能够实现人体动作与虚拟场景相交互的三维交互式投影成像方法。
为实现上述目的，本发明的技术方案是：一种三维交互式投影成像方法，包括如下步骤，
步骤S01：建立三维模型；
步骤S02：通过体感设备实时采集用户特定动作及行为，以控制所述步骤S01所建立的三维模型进行相应的变化；
步骤S03：实时将所述步骤S02变化后的三维模型分解为N个二维面，其中，N为自然数，且N＞1；
步骤S04：通过影像输出设备，实时的将步骤S03分解后的N个二维面分别投影到折射和衍射成角度的各透明介质上，实时变化的三维虚拟影像。
在本发明实施例中，所述用户特定动作及行为为用户手势信息，所述用户手势信息包括手掌、手指及手持工具的状态信息。
在本发明实施例中，所述步骤S02至S03，具体实现过程为：
步骤S21：给所述体感设备采集的所有手掌、手指及手持工具均分配一个唯一标识，并形成每一帧的数据，所述每一帧数据包括所有手掌的列表及信息、所有手指的列表及信息和手持工具的列表及信息；
步骤S22：根据所述步骤S21所得的每一帧数据，生成运动信息，该运动信息包括旋转的轴向向量、旋转的角度、描述旋转的矩阵、缩放因子、平移向量、手掌中心位置、手掌移动的速度、手掌的法向量、手掌朝向的方向、手指及手持工具的长度、宽度、方向、指尖位置和指尖速度；
步骤S23：根据所述步骤S22的运动信息控制所述步骤S01的三维模型进行相应的变化，
步骤S24：将所述步骤S23变化后的三维模型分解为N个二维面，同时保证重组后的N个二维面同时联动。
在本发明实施例中，所述N为2。
在本发明实施例中，所述N为4。
在本发明实施例中，所述体感设备包括Leap Motion体感传感器和Kinect摄像机。
在本发明实施例中，所述透明介质包括玻璃、亚克力板、全息投影薄膜、水雾以及水雾混合物。
在本发明实施例中，所述影像输出设备包括显示器及投影机。
相较于现有技术，本发明具有以下有益效果：本发明通过体感设备捕捉人体特定动作及行为（诸如手掌、手指或其他肢体动作的不同变化）来实现人与虚拟场景的相交互，且其投影方式为通过光学折射和衍射在透明介质中合成3D影像。
附图说明
图1为本发明三维交互式投影成像原理图。
图2为本发明手掌的法向量和方向图。
图3为本发明手掌球的圆心和半径示意图。
图4为本发明手持工具示意图。
图5为本发明手指方向和指尖位置示意图。
具体实施方式
下面结合附图，对本发明的技术方案进行具体说明。
如图1所示，本发明的一种三维交互式投影成像方法，包括如下步骤，
步骤S01：建立三维模型；
步骤S02：通过体感设备实时采集用户特定动作及行为，以控制所述步骤S01所建立的三维模型进行相应的变化；
步骤S03：实时将所述步骤S02变化后的三维模型分解为N个二维面，其中，N为自然数，且N＞1；
步骤S04：通过影像输出设备，实时的将步骤S03分解后的N个二维面分别投影到折射和衍射成角度的各透明介质上，实时变化的三维虚拟影像。
所述用户特定动作及行为为用户手势信息，所述用户手势信息包括手掌、手指及手持工具的状态信息。
所述步骤S02至S03，具体实现过程为：
步骤S21：给所述体感设备采集的所有手掌、手指及手持工具均分配一个唯一标识，并形成每一帧的数据，所述每一帧数据包括所有手掌的列表及信息、所有手指的列表及信息和手持工具的列表及信息；
步骤S22：根据所述步骤S21所得的每一帧数据，生成运动信息，该运动信息包括旋转的轴向向量、旋转的角度、描述旋转的矩阵、缩放因子、平移向量、手掌中心位置、手掌移动的速度、手掌的法向量、手掌朝向的方向、手指及手持工具的长度、宽度、方向、指尖位置和指尖速度；
步骤S23：根据所述步骤S22的运动信息控制所述步骤S01的三维模型进行相应的变化，
步骤S24：将所述步骤S23变化后的三维模型分解为N个二维面，同时保证重组后的N个二维面同时联动。
所述体感设备包括Leap Motion体感传感器和Kinect摄像机以及其他体感设备等。
所述透明介质包括玻璃、亚克力板、全息投影薄膜、水雾以及水雾混合物等其他透明介质。
所述影像输出设备包括显示器及投影机等其他影像输出设备。
以下为本发明的具体实施例。
本发明的三维交互式投影成像方法，即透明介质的三维空气成像原理如下：通过软件编程，将设计好的三维CAD文件分别投影到屏幕的若干个面（1-4个面），结合体感传感器的软件接口编程，使得若干个面的影像同时联动。分别控制联动的4个面的影像通过影像输出设备（如显示器、投影机等）分别输出到透明介质上，再通过折射和衍射到角度为45度的若干个面透明介质表面，从而合成出整个可触摸控制的3D虚拟影像。让人可以从全方位观察并控制3D影像，而无需任何辅助控制设备，也无需佩戴任何观看设备。
本实施例中采用Leap Motion 传感器，根据该传感器内置的两个摄像头从不同角度捕捉的画面，重建出手掌在真实世界三维空间的运动信息。
具体即，通过Leap Motion 传感器会定期的发送关于手的状态信息，每份这样的信息称为「帧」( frame )。每一个这样的帧包含检测到的；
◆ 所有手掌的列表及信息；
◆ 所有手指的列表及信息；
◆ 手持工具（细的、笔直的、比手指长的东西，例如一枝笔）的列表及信息；
◆ 所有可指向对象（Pointable Object），即所有手指和工具的列表及信息；
Leap Motion 传感器会给所有这些分配一个唯一标识（ID），在手掌、手指、工具保持在视野范围内时，是不会改变的。根据这些 ID，可以查询每个运动对象的信息。
根据每帧和前帧检测到的数据，生成运动信息。例如，若检测到两只手，并且两只手都超一个方向移动，就认为是平移；若是像握着球一样转动，则记为旋转。若两只手靠近或分开，则记为缩放。所生成的数据包含：
◆ 旋转的轴向矢量；
◆ 旋转的角度（顺时针为正）；
◆ 描述旋转的矩阵；
◆ 缩放因子；
◆ 平移矢量；
如图2-3所示，对于每只手，可以检测到如下信息：
◆ 手掌中心的位置（三维矢量，相对于传感器坐标原点，毫米为单
位）；
◆ 手掌移动的速度（毫米每秒）；
◆ 手掌的法矢量（垂直于手掌平面，从手心指向外）；
◆ 手掌朝向的方向；
◆ 根据手掌弯曲的弧度确定的虚拟球体的中心；
◆ 根据手掌弯曲的弧度确定的虚拟球体的半径；
对于每个手掌，亦可检测出平移、旋转（如转动手腕带动手掌转动）、缩放（如手指分开、聚合）的信息。检测的数据如全局变换一样，包括：
◆ 旋转的轴向矢量；
◆ 旋转的角度（顺时针为正）；
◆ 描述旋转的矩阵；
◆ 缩放因子；
◆ 平移矢量；
Leap Motion除了可以检测手指外，也可以检测手持的工具。像上文所说的，就是细的、笔直的、比手指长的物件。
如图4-5所示，对于手指和工具，会统一地称为可指向对象（Pointable Object，每个 Pointable Object 包含了这些信息：
◆ 长度；
◆ 宽度；
◆ 方向；
◆ 指尖位置；
◆ 指尖速度。
根据全局的信息、运动变换，手掌、手指和工具的信息和变换，将设计好的三维CAD文件通过体感传感器的软件接口编程，使得若干个面的影像同时联动，并分别控制联动的4个面的影像通过影像输出设备（如显示器、投影机等）分别输出到透明介质上，再通过折射和衍射到角度为45度的若干个面透明介质表面，从而合成出整个可触摸控制的3D虚拟影像。
三维透明介质的选择：目前可以选择的透明介质有玻璃，亚克力板、全息投影薄膜；另一种透明介质是水雾或者水雾与微小粒子合成的尘埃装水雾，即通过雾化装置产生的高浓度水雾或者水雾混合体喷射出一面雾化的透明空气介质。
以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。
Claims (8)
1.一种三维交互式投影成像方法，其特征在于：包括如下步骤，
步骤S01：建立三维模型；
步骤S02：通过体感设备实时采集用户特定动作及行为，以控制所述步骤S01所建立的三维模型进行相应的变化；
步骤S03：实时将所述步骤S02变化后的三维模型分解为N个二维面，其中，N为自然数，且N＞1；
步骤S04：通过影像输出设备，实时的将步骤S03分解后的N个二维面分别投影到折射和衍射成角度的各透明介质上，实时变化的三维虚拟影像。
2.根据权利要求1所述的一种三维交互式投影成像方法，其特征在于：所述用户特定动作及行为为用户手势信息，所述用户手势信息包括手掌、手指及手持工具的状态信息。
3.根据权利要求2所述的一种三维交互式投影成像方法，其特征在于：所述步骤S02至S03，具体实现过程为：
步骤S21：给所述体感设备采集的所有手掌、手指及手持工具均分配一个唯一标识，并形成每一帧的数据，所述每一帧数据包括所有手掌的列表及信息、所有手指的列表及信息和手持工具的列表及信息；
步骤S22：根据所述步骤S21所得的每一帧数据，生成运动信息，该运动信息包括旋转的轴向向量、旋转的角度、描述旋转的矩阵、缩放因子、平移向量、手掌中心位置、手掌移动的速度、手掌的法向量、手掌朝向的方向、手指及手持工具的长度、宽度、方向、指尖位置和指尖速度；
步骤S23：根据所述步骤S22的运动信息控制所述步骤S01的三维模型进行相应的变化，
步骤S24：将所述步骤S23变化后的三维模型分解为N个二维面，同时保证重组后的N个二维面同时联动。
4.根据权利要求1所述的一种三维交互式投影成像方法，其特征在于：所述N为2。
5.根据权利要求1所述的一种三维交互式投影成像方法，其特征在于：所述N为4。
6.根据权利要求1所述的一种三维交互式投影成像方法，其特征在于：所述体感设备包括Leap Motion体感传感器和Kinect摄像机。
7.根据权利要求1所述的一种三维交互式投影成像方法，其特征在于：所述透明介质包括玻璃、亚克力板、全息投影薄膜、水雾以及水雾混合物。
8.根据权利要求1所述的一种三维交互式投影成像方法，其特征在于：所述影像输出设备包括显示器及投影机。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410268953.6A CN104090465B (zh) | 2014-06-17 | 2014-06-17 | 一种三维交互式投影成像方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410268953.6A CN104090465B (zh) | 2014-06-17 | 2014-06-17 | 一种三维交互式投影成像方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104090465A true CN104090465A (zh) | 2014-10-08 |
| CN104090465B CN104090465B (zh) | 2017-01-11 |
Family
ID=51638191
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410268953.6A Active CN104090465B (zh) | 2014-06-17 | 2014-06-17 | 一种三维交互式投影成像方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104090465B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104771892A (zh) * | 2015-04-02 | 2015-07-15 | 深圳市虚拟现实科技有限公司 | 基于虚拟现实的同步显示方法和系统 |
| CN105700160A (zh) * | 2016-01-19 | 2016-06-22 | 陈超平 | 三维显示装置及适用该三维显示装置的图像处理方法 |
| CN105929630A (zh) * | 2016-05-26 | 2016-09-07 | 上海精密计量测试研究所 | 基于体感交互的360度幻影成像系统 |
| CN106485779A (zh) * | 2016-03-22 | 2017-03-08 | 智合新天（北京）传媒广告股份有限公司 | 一种3d虚拟交互展示平台及展示3d动画的方法 |
| WO2018006379A1 (zh) * | 2016-07-07 | 2018-01-11 | 深圳狗尾草智能科技有限公司 | 一种将三维动画转换为全息动画界面的成像方法及系统 |
| CN108245890A (zh) * | 2018-02-28 | 2018-07-06 | 网易（杭州）网络有限公司 | 控制虚拟场景中物体运动的方法和装置 |
| CN108965855A (zh) * | 2018-07-12 | 2018-12-07 | 深圳超多维科技有限公司 | 一种立体投影方法、装置、设备及存储介质 |
| WO2020228349A1 (zh) * | 2019-05-14 | 2020-11-19 | 广东康云科技有限公司 | 一种基于空气成像的虚拟新闻主播系统及其实现方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102193631A (zh) * | 2011-05-05 | 2011-09-21 | 上海大学 | 可穿戴式三维手势交互系统及其使用方法 |
| CN202306130U (zh) * | 2011-09-28 | 2012-07-04 | 深圳市数虎图像科技有限公司 | 感应互动全息影像系统 |
| GB2498184A (en) * | 2012-01-03 | 2013-07-10 | Liang Kong | Interactive autostereoscopic three-dimensional display |
| JP5901333B2 (ja) * | 2012-02-13 | 2016-04-06 | 三菱電機株式会社 | 文字入力装置、文字入力方法及び文字入力プログラム |
| CN202600353U (zh) * | 2012-03-26 | 2012-12-12 | 上海摩奇贝斯展示设计营造有限公司 | 互动360度幻影成像系统 |
| CN102945079A (zh) * | 2012-11-16 | 2013-02-27 | 武汉大学 | 一种基于智能识别与控制的立体投影系统与方法 |
-
2014
- 2014-06-17 CN CN201410268953.6A patent/CN104090465B/zh active Active
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104771892A (zh) * | 2015-04-02 | 2015-07-15 | 深圳市虚拟现实科技有限公司 | 基于虚拟现实的同步显示方法和系统 |
| CN105700160A (zh) * | 2016-01-19 | 2016-06-22 | 陈超平 | 三维显示装置及适用该三维显示装置的图像处理方法 |
| CN106485779A (zh) * | 2016-03-22 | 2017-03-08 | 智合新天（北京）传媒广告股份有限公司 | 一种3d虚拟交互展示平台及展示3d动画的方法 |
| CN106485779B (zh) * | 2016-03-22 | 2019-05-03 | 智合新天（北京）传媒广告股份有限公司 | 一种3d虚拟交互展示平台及展示3d动画的方法 |
| CN105929630A (zh) * | 2016-05-26 | 2016-09-07 | 上海精密计量测试研究所 | 基于体感交互的360度幻影成像系统 |
| WO2018006379A1 (zh) * | 2016-07-07 | 2018-01-11 | 深圳狗尾草智能科技有限公司 | 一种将三维动画转换为全息动画界面的成像方法及系统 |
| CN108245890A (zh) * | 2018-02-28 | 2018-07-06 | 网易（杭州）网络有限公司 | 控制虚拟场景中物体运动的方法和装置 |
| CN108245890B (zh) * | 2018-02-28 | 2021-04-27 | 网易（杭州）网络有限公司 | 控制虚拟场景中物体运动的方法和装置 |
| CN108965855A (zh) * | 2018-07-12 | 2018-12-07 | 深圳超多维科技有限公司 | 一种立体投影方法、装置、设备及存储介质 |
| WO2020228349A1 (zh) * | 2019-05-14 | 2020-11-19 | 广东康云科技有限公司 | 一种基于空气成像的虚拟新闻主播系统及其实现方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104090465B (zh) | 2017-01-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104090465B (zh) | 一种三维交互式投影成像方法 | |
| US11086416B2 (en) | Input device for use in an augmented/virtual reality environment | |
| Wang et al. | Real-time hand-tracking with a color glove | |
| CN103793060B (zh) | 一种用户交互系统和方法 | |
| Jetter et al. | " in vr, everything is possible!": Sketching and simulating spatially-aware interactive spaces in virtual reality | |
| LaViola et al. | 3D spatial interaction: applications for art, design, and science | |
| CN110603510B (zh) | 虚拟现实系统中虚拟控制器的位置和取向跟踪 | |
| US20140160162A1 (en) | Surface projection device for augmented reality | |
| CN102693005A (zh) | 使用3d深度相机和3d投影仪来提供交互式体验 | |
| CA2868276A1 (en) | Apparatus and system for interfacing with computers and other electronic devices through gestures by using depth sensing and methods of use | |
| KR20170107357A (ko) | 하나의 단일 감지 시스템을 이용하는 멀티 모드 제스처 기반의 상호작용 시스템 및 방법 | |
| KR102147430B1 (ko) | 가상 공간 멀티 터치 인터랙션 장치 및 방법 | |
| Zaldívar-Colado et al. | A mixed reality for virtual assembly | |
| CN117784950B (zh) | 三维光标实现虚拟触控的方法、存储介质和芯片 | |
| Cho et al. | Xave: Cross-platform based asymmetric virtual environment for immersive content | |
| Messaci et al. | 3d interaction techniques using gestures recognition in virtual environment | |
| Breslauer et al. | Leap motion sensor for natural user interface | |
| Tran et al. | Easy-to-use virtual brick manipulation techniques using hand gestures | |
| Lee et al. | Tunnelslice: Freehand subspace acquisition using an egocentric tunnel for wearable augmented reality | |
| Ismail et al. | Real Hand Gesture in Augmented Reality Drawing with Markerless Tracking on Mobile | |
| TW202236080A (zh) | 物件互動的系統與方法 | |
| Khan | A survey of interaction techniques and devices for large high resolution displays | |
| TWI476678B (zh) | 互動式模擬球體顯示系統 | |
| CN207198800U (zh) | 一种手势识别的vr三维体验系统 | |
| Deherkar et al. | Gesture controlled virtual reality based conferencing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20190624 Address after: Room 508A, South Pioneer Building, Pioneer Park, Xiamen Torch High-tech Zone, Xiamen City, Fujian Province, 361000 Patentee after: Xiamen Cubic Mirage Technology Co.,Ltd. Address before: 350108 Fujian Province Fuzhou Minhou County Science and Technology East Road Fuzhou High-tech Zone Haixi High-tech Industrial Park Innovation Park 10 # Building 1, 128 Patentee before: FUJIAN WATER CUBE 3D DIGITAL TECHNOLOGY CO.,LTD. |
|
| CP02 | Change in the address of a patent holder | ||
| CP02 | Change in the address of a patent holder |
Address after: Room 601 and 602, No. 23 Wangwanghai Road, Software Park, Xiamen Torch High tech Zone, Xiamen, Fujian Province, 361000 (address for legal document delivery) Patentee after: Xiamen Cubic Mirage Technology Co.,Ltd. Address before: Room 508A, South Pioneer Building, Pioneer Park, Xiamen Torch High-tech Zone, Xiamen City, Fujian Province, 361000 Patentee before: Xiamen Cubic Mirage Technology Co.,Ltd. |