CN107392840A - 一种非接触式手势控制的三维模型显示装置 - Google Patents
一种非接触式手势控制的三维模型显示装置 Download PDFInfo
- Publication number
- CN107392840A CN107392840A CN201610333709.2A CN201610333709A CN107392840A CN 107392840 A CN107392840 A CN 107392840A CN 201610333709 A CN201610333709 A CN 201610333709A CN 107392840 A CN107392840 A CN 107392840A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- dimensional image
- linear array
- image
- array
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008859 change Effects 0.000 claims abstract description 10
- 238000006243 chemical reaction Methods 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 22
- 238000003384 imaging method Methods 0.000 claims description 13
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 8
- 238000013507 mapping Methods 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 9
- 230000009471 action Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Classifications
-
- G06T3/08—
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/50—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
- G02B30/56—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels by projecting aerial or floating images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2016—Rotation, translation, scaling
Abstract
本发明公开了一种非接触式手势控制的三维模型显示装置，该装置采用线状阵列作为介质来承载信息从而显示出三维的图形。具体是利用了投影光路的偏差角，将线状阵列中的每条线上的三维像素点对应到二维平面中；通过对三维立体图像与理论线状阵列的交点集进行三维‑二维映射转换，绘制出对应的二维平面图形；通过投影仪将二维平面图形投影到三维线状阵列中，形成三维立体图像；通过实时判断手持装置的变化而改变二维平面图形使得三维线状阵列中的三维活动图像发生变化。本发明将二维平面图像通过投影的方式立体化，并通过三维线状阵列使其能活动成像，并进行非接触式的手势控制方式对三维图像进行实时的控制变换，效果凸出。
Description
所属技术领域
本专利属于显示技术领域，具体涉及一种非接触式手势控制的三维显示装置及其线状显示阵列。
背景技术
随着技术发展，研究领域和消费市场上出现了一些显示立体效果的显示终端。目前主流的三维显示技术包括眼镜式三维显示技术和裸眼式三维显示技术。眼镜式三维显示技术主要通过佩戴立体眼睛，根据人眼的视差在大脑中形成立体画面，但由于人们在观察时必须佩戴附加的设备，因此，眼镜式立体显示技术仅适用于固定场合，如家用电视、电影院等；裸眼式三维显示技术尚不如眼镜式显示技术成熟，主要通过物理光学装置向用户的左眼和右眼提供不同的视差图像，立体成像的效果并不是很理想。
此外，上述的两种技术都是被动式的立体显示技术，即观察者不能自主选择观察视角和距离，并且每个观察者不管处于什么位置和角度都只能看到同样的立体画面，和真实生活中的立体视觉完全不同，因此能够解决上述问题的主动式立体显示就成为该领域研究的新途径。
同时，在大型活动展出、科技馆空间体验、产品发布会等场合，也越来越需要三维的图像显示以及通过手势控制的更为简捷的展示方法。而传统的方式只能进行平面展示或者是三维实物展示，在光线昏暗或者夜晚的时候，三维实物必须借助于外部光源进行展示，但是，展示效果仍然不尽如人意。所以一种非接触式手势控制的三维模型显示装置成为目前亟待解决的技术问题。
发明内容
本发明为了解决现有技术的不足，提供一种基于线状阵列的三维活动图像显示及其非接触式手势控制的方法。
本发明解决其技术问题所采用的技术方案包括两个方面：
一、构建一种基于线状阵列的三维活动图像显示装置
为了达到立体显示的目的，本发明采用线状阵列作为介质来承载信息从而显示出三维的图形。此处所涉及的线状阵列是指一系列整齐排列的平行线，这些平行线与其所垂直的某一平面的所有交点应组成一个二维点集。通过对照相机“小孔成像”原理的逆应用，将二 维图像通过投影仪投射到该线状阵列上，从而将二维图像的一部分宽度信息转换为非同排线上的深度差异。
具体实现通过以下步骤：
(1)标定：将三维线状阵列中的每一个三维像素点都对应到投影仪的二维平面图像的像素点上，建立二维-三维坐标映射表；
(2)绘图：绘制出理论的三维立体图像；
(3)交集：在计算机上将理论三维立体图像与拟构出的线状阵列求交点集合；
(4)转换：将上述三维交点集合通过三维-二维坐标映射表转换为二维坐标集合；
(5)制图：运用上述二维坐标集合制作二维图像
(6)投影：通过投影仪将二维图像投射至真实三维线状阵列装置上，形成最终的三维立体模型。
此方法的有益效果在于：将三维像素点对应到二维平面的过程中利用了投影光路的偏差角，使三维线状空间中的每一个像素点都可以一一映射到二维空间中。同时，由于二维平面图像是通过特殊的坐标映射表转换而成，所以还可以通过二维平面图像隐藏三维信息，再将二维平面图像加载到三维成像空间中，方可显示出正确的三维信息。
二、非接触的手势控制方法
为了达到更好的交互效果，本发明提供一种基于陀螺仪的手势控制方法。
具体来说，就是为体验者提供一套装有陀螺仪的可穿戴设备，如手套。通过对陀螺仪的实时状态(如：角速度等)进行处理，从而推测出当前的手势变化，进而对理论三维立体图像进行对应修改，再通过本发明提供的方法一中的步骤投影出新的真实三维图像。
通过蓝牙或wifi等途径保持陀螺仪与主计算机的实时通信，可使得体验者的动作与所显示的三维图像变化同步，从而完成对立体显示图像的非接触控制。
本发明的有益效果是：
(1)本发明的主要思想是将二维图像投影到三维空间中，通过一定的处理方式呈现三维图像，从而形成活动的三维实体场景显示效果。由此实现在任意视角观察到场景的真实三维实体活动图形显示，比现有的其他立体视觉产生方法更具可被接受，该方法在发布会产品展示、科技馆互动学习等方面有重要的应用前景。
(2)只要建立了二维-三维坐标关系映射图，理论上可以计算出任意立体模型的二维投影图像。通过改变二维平面图像使三维线状阵列中的三维活动图像变化，采用计算机程序控制投影仪，可实时演算将二维图像转化为三维图像。
(3)虽然将二维图像转到三维中不可避免的要在深度上消耗许多像素点，但是，通过用多个投影仪分区域显示，由每个区域的子图形组合成最终的三维立体图像的方法，理论上可以使显示区域无限制的扩展。
附图说明
下面结合附图和实施例对本发明进一步说明。
下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述优点将会变得更加清楚。
图1是三维图像显示框架原理图。
图2是三维成像线状空间的示意图。
图3是双投影及手势控制系统框架原理图。
图4是双投影系统显示空间俯视图，I和II区域分别由投影I和投影II负责点亮。
具体实施方式
本发明公开了一种基于线状阵列的三维活动图像显示及其非接触式手势控制方法，包括以下步骤：
(1)建立三维-二维映射图：将三维线状阵列中的每一个三维像素点都对应到投影仪的二维平面图像的像素点上，可以采用二维坐标到三维坐标的转换方法，将二维横坐标转换为三维空间中的x-y坐标，将二维纵坐标转换为三维空间中的z坐标，x-y坐标对应三维图像的成像平面，z坐标对应三维图像的景深。具体实现方法如下：
首先，按照附图一将系统固定好。在二维图像中找到对应三维立方体空间中任意一个顶点的像素点，为了便于操作可以找最靠近投影仪那一面上的四个顶点，将二维图像的横坐标平移，对应三维图像中的像素点高度不变，即z坐标不变。在找到四个顶点之后，每一根成像线列都可以从z坐标的方向分成n份，线列的长度为l，顶点坐标为x0，则该线列上所有像素点的坐标即为i的取值范围为0到n，因此z坐标方向的分辨率即为n，根据xi的坐标可以推算出二维平面图像中对应的像素坐标，由于投影光路的平行性，二维平面图像中对应线状成像的区域也为直线，直线的长度为α×l，α＜1，因此对应的二维平面图像的坐标变换为i的取值范围为0到n，在二维平面图像上取点时，可以 先找到对应三维空间中顶点的二维像素点，然后按照的间距向下寻找下一个点，通过此方法可以找出一块线状成像区域上的全部点。
其可以使用VisualStudio编写对二维平面图像操作的程序，然后在平面图像中寻找与三维空间中对应的二维像素点：
步骤(1)：打开VisualStudio编写对二维平面图像操作的程序，将二维平面图像像素设置为1366*768，与投影仪的像素相同。
步骤(2)：在二维平面图像左上角开始寻找对应三维空间中顶点中的像素点。
步骤(3)：调用函数，让像素点沿z轴的方向纵向移动，根据三维空间中线状成像区域中对应的成像点的变化情况，调整二维平面图像中的像素点的大小和移动方向。
步骤(4)：当点亮某一条线的某个点时，合理微调，让三维线状阵列中该成像像素点与周围亮度形成的对比度尽可能高。
步骤(5)：记录线状阵列中每一条线(第i行、第j列)的最高(记为1)、最低点(记为0)所对应的二维坐标(记为(x1，y1)、(x0，y0))。
步骤(6)：每一条线上的所有信息可以表示为(i，j，k)，其中i、j为该线行、列数，k为高度(最低点为0、最高点为1)。建立映射关系(i，j，k)——>(x，y)，其中x＝x0+(x1-x0)*k，y＝y0+(y1-y0)*k。
按如上步骤对所有三维线阵中的点建立(i，j，k)——>(x，y)的映射图。
(2)用3D制图软件(如：maya)绘制出将要显示的三维立体图像(设为a)。
(3)在制图软件中，绘制与实际一一对应的线状阵列(设为B)，如附图二中黑线所示。
(4)将以绘制好的三维立体图像a与线状阵列B重叠并求出交点集(设为C)，将这部分交点集求出并记录。同时为了之后对其方便地进行放大、缩小、旋转等显示控制。在这里应将a进行放大n倍、缩小n倍、顺时针旋转5度、逆时针旋转5度等操作形成新的立体图像a`，并按相同方法求出交点集C`。
(5)将上述交点集C以及其他各种经过变换的C`通过三维-二维映射图转化为二维图像集(设为P)，并将其作为数据保存，保存名称中包含位置大小状态，如：“P-顺-1”代表a顺时针旋转5度后所得图形的二维转换图。
(6)建立陀螺仪与PC的数据通信，测试陀螺仪。
(7)手持陀螺仪模拟接近、远离、侧移等行动(分别对应立体图像的缩小、放大、旋转)，并一边记录数据，观察数据的变化方式，将这几种变化方式(记作不同的Case)总结记录。
(8)已经完成如上操作，就可以在系统中显示三维立体图形了。展示任何图形时，都从 二维图像集中的初始状态图像开始显示(如：“P-初”)。
(9)开始用手移动陀螺仪，同时判断是否满足(7)中已记录的几种Case。并对图形进行相应变换。具体通过帧投影的方式以显示三维的动态图像，如：陀螺仪侧移，判断满足Case后，判断当前图形状态(主要通过名称)，假设是“P-顺-1”状态，接下来可以按照10帧的速度依次显示“P-顺-2”“P-顺-3”“P-顺-4”“P-顺-5”“P-顺-6”等图形，以在视觉上达到动态的体验。
本发明提供了一种非接触式手势控制的三维模型显示装置，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。
Claims (5)
1.一种非接触式手势控制的三维模型显示装置，其特征在于：
(1)将三维线状阵列中的每一个三维像素点都对应到投影仪的二维平面图像的像素点上，构建特殊的三维-二维映射图；
(2)通过绘制三维图像与理论线状阵列的交点集构造出待转换的三维图像，并将其转换为二维图形；
(3)将二维平面图像通过投影装置投影到三维线状阵列中；
(4)通过改变二维平面图像使三维线状阵列中的三维活动图像变化 。
2.根据权利要求1所述的一种基于线状阵列的三维活动图像显示方法，其特征在于，步骤一所述，将三维线状阵列中的每一个三维像素点都对应到投影仪的二维平面图像的像素点上，利用了投影光路的偏差角，使三维线状空间中的每一个像素点都可以一一映射到二维空间中。
3.根据权利要求1所述的一种基于线状阵列的三维活动图像显示方法，其特征在于，采用了基于固定线状阵列的三维坐标到二维坐标的转换方法，包括以下步骤：将二维横坐标转换为三维空间中的x-y坐标，将二维纵坐标转换为三维空间中的z坐标，x-y坐标对应三维图像的成像平面，z坐标对应三维图像的景深。
4.根据权利要求1所述的一种基于线状阵列的三维活动图像显示方法，其特征在于，特征(3)所述，将二维平面图像投影到三维线状阵列中采用了投影仪平行光投射角偏差的方式，使平行光线在三维线状阵列中产生景深效果。当三维线状阵列中每一根线在三维成像空间中均匀分布时，投影仪平行光投射角偏差最小，从而平行光线在三维线状阵列中产生的景深效果也就最好。
5.根据权利要求1所述的一种基于线状阵列的三维活动图像显示方法，其特征在于，特征(4)所述，通过改变二维平面图像使三维线状阵列中的三维活动图像变化，采用程序处理陀螺仪信息以控制投影仪，通过实时演算将二维图像转化为三维图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610333709.2A CN107392840A (zh) | 2016-05-17 | 2016-05-17 | 一种非接触式手势控制的三维模型显示装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610333709.2A CN107392840A (zh) | 2016-05-17 | 2016-05-17 | 一种非接触式手势控制的三维模型显示装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107392840A true CN107392840A (zh) | 2017-11-24 |
Family
ID=60338108
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610333709.2A Pending CN107392840A (zh) | 2016-05-17 | 2016-05-17 | 一种非接触式手势控制的三维模型显示装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107392840A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110161827A (zh) * | 2019-05-22 | 2019-08-23 | 广东工业大学 | 一种基于图形模型的三维全息投影方法和装置以及设备 |
-
2016
- 2016-05-17 CN CN201610333709.2A patent/CN107392840A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110161827A (zh) * | 2019-05-22 | 2019-08-23 | 广东工业大学 | 一种基于图形模型的三维全息投影方法和装置以及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103337095B (zh) | 一种真实空间三维地理实体的立体虚拟显示方法 | |
| CN104427325B (zh) | 快速集成图像生成方法及与用户交互的裸眼三维显示系统 | |
| US7787009B2 (en) | Three dimensional interaction with autostereoscopic displays | |
| CN101729920B (zh) | 一种自由视角立体视频显示方法 | |
| CN105763865A (zh) | 一种基于透明液晶的裸眼3d增强现实的方法及装置 | |
| CN104820497B (zh) | 一种基于增强现实的3d交互显示系统 | |
| CN108513123A (zh) | 一种集成成像光场显示的图像阵列生成方法 | |
| CN103440677A (zh) | 一种基于Kinect体感设备的多视点自由立体交互系统 | |
| CN101065783A (zh) | 水平透视显示 | |
| CN103077552B (zh) | 一种基于多视点视频的三维展示方法 | |
| CN104618706A (zh) | 一种分时实现多人多角度全息立体显示的移动终端及方法 | |
| CN103354616A (zh) | 在平面显示器上实现立体显示的方法和系统 | |
| CN203773476U (zh) | 基于3d交互的虚拟现实系统 | |
| CN102005062A (zh) | 用于三维立体显示的三维图像的产生方法及装置 | |
| Zhai et al. | Multiuser collaborative viewport via temporal psychovisual modulation [applications corner] | |
| CN102361497B (zh) | 一种空间立体视频的显示方法 | |
| CN106204746A (zh) | 一种可实现3d模型实时上色的增强现实系统 | |
| CN108076208A (zh) | 一种显示处理方法及装置、终端 | |
| CN105388623A (zh) | 一种显示装置 | |
| CN104598035B (zh) | 基于3d立体图像显示的光标显示方法、智能设备及系统 | |
| CN204559792U (zh) | 用于显示屏显示立体图像或视频的装置及显示设备 | |
| Wang et al. | Relating visual and pictorial space: Binocular disparity for distance, motion parallax for direction | |
| CN107392840A (zh) | 一种非接触式手势控制的三维模型显示装置 | |
| CN102063735A (zh) | 通过改变视点角度制作三维图像源的方法和装置 | |
| CN104618711A (zh) | 一种多区实现自由视角全息立体显示的设备及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20171124 |
|
| WD01 | Invention patent application deemed withdrawn after publication |