CN110096144A - 一种基于三维重建的交互全息投影方法及系统 - Google Patents
一种基于三维重建的交互全息投影方法及系统 Download PDFInfo
- Publication number
- CN110096144A CN110096144A CN201910276519.5A CN201910276519A CN110096144A CN 110096144 A CN110096144 A CN 110096144A CN 201910276519 A CN201910276519 A CN 201910276519A CN 110096144 A CN110096144 A CN 110096144A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- data
- image
- dimensional reconstruction
- interaction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000003993 interaction Effects 0.000 title claims abstract description 32
- 230000033001 locomotion Effects 0.000 claims abstract description 21
- 230000010365 information processing Effects 0.000 claims abstract 2
- 238000012545 processing Methods 0.000 claims description 40
- 230000008859 change Effects 0.000 claims description 17
- 238000004891 communication Methods 0.000 claims description 7
- 239000011521 glass Substances 0.000 claims description 4
- NIXOWILDQLNWCW-UHFFFAOYSA-N acrylic acid group Chemical group C(C=C)(=O)O NIXOWILDQLNWCW-UHFFFAOYSA-N 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 239000000463 material Substances 0.000 claims description 2
- 238000012546 transfer Methods 0.000 claims description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 2
- 230000000644 propagated effect Effects 0.000 claims 1
- 230000035807 sensation Effects 0.000 claims 1
- 208000003464 asthenopia Diseases 0.000 abstract description 3
- 230000001953 sensory effect Effects 0.000 abstract description 3
- 230000000007 visual effect Effects 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000000605 extraction Methods 0.000 description 6
- 230000002452 interceptive effect Effects 0.000 description 5
- 238000005266 casting Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000001093 holography Methods 0.000 description 3
- 238000005096 rolling process Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000000697 sensory organ Anatomy 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 208000030984 MIRAGE syndrome Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- TVLSRXXIMLFWEO-UHFFFAOYSA-N prochloraz Chemical compound C1=CN=CN1C(=O)N(CCC)CCOC1=C(Cl)C=C(Cl)C=C1Cl TVLSRXXIMLFWEO-UHFFFAOYSA-N 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000012780 transparent material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/22—Processes or apparatus for obtaining an optical image from holograms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Processing Or Creating Images (AREA)
- Holo Graphy (AREA)
Abstract
本发明公开了一种基于三维重建的交互全息投影方法及系统，通过采集物体的三维图像信息，将信息处理后进行三维重建，并将三维重建在全息投影金字塔上显示三维图像，通过传感器控制模型的变化，大大提高用户的感官体验；通过对三维数据进行预处理得到预处理数据，使得计算机能过滤掉传感器采集到的运动的动态模糊像素，实时产生准确平滑的全息投影图像，减少了视觉疲劳；通过应用投影仪，能提高投影设备的灵活性，使适用于不同规格的全息投影金字塔；通过应用幕布可以得出清晰均匀的全息投影图像。
Description
技术领域
本公开涉及计算机图像处理、虚拟现实、增强现实以及人工智能领域，尤其涉及一种基于三维重建的交互全息投影方法及系统。
背景技术
全息投影技术(front-projected holographic display)是一种利用干涉和衍射原理记录并再现物体真实三维图像技术，是一种无需配戴眼镜的3D技术。这项技术不仅可以产生立体的空中幻像，还可以与用户之间产生互动，给予用户良好的视觉体验。这项技术已广泛应用于博物馆、科技馆、3D动漫、产品展示、楼盘展示、舞台节目等。
目前，市场上以及在博物馆、科技馆、楼盘展示等所用的全息投影技术主要是利用预先设好的视频片段，反复播放，缺少与用户之间的互动，从而大大降低了用户的感官体验；市面上常用的全息投影设备都是以显示屏作为投影设备，且通常一种投影设备只能适用于一种规格的金字塔，缺少灵活性；而且目前的交互式全息投影技术不支持三维模型的直接解析导入和实时浏览，缺少实时效果，从而极大地影响使用范围及技术产品推广；还有就是目前的全息投影技术不支持实时采集三维立体图像，对于数据库缺少的三维立体图像无法进行投影，应用于通讯领域更无法进行。
发明内容
本公开提供一种基于三维重建的交互全息投影方法及系统，可通过Kinect，RealSense，Leap Motion，人体红外传感器等传感器控制模型的变化，大大提高用户的感官体验；通过对三维数据进行预处理得到预处理数据，使得计算机能过滤掉传感器采集到的运动的动态模糊像素，实时产生准确平滑的全息投影图像，减少了视觉疲劳，全息影像进行交互体验。
为了实现上述目的，根据本公开的一方面，提供一种基于三维重建的交互全息投影方法，所述方法包括以下步骤：
步骤1，采集三维数据；
步骤2，对三维数据进行预处理得到预处理数据；
步骤3，通过预处理数据进行三维模型解析得到三维模型；
步骤4，捕捉用户的体感信息进行处理三维模型并输出全息投影图像。
进一步地，在步骤1中，所述采集三维数据的方法为根据Kinect，Real Sense，红外传感器，超声波传感器等传感器，采集深度图像、彩色图像、空间坐标、距离等物体或空间信息。
进一步地，在步骤2中，所述对三维数据进行预处理得到预处理数据的方法为以下步骤：
步骤2.1，将三维数据中的图像灰度化得到灰度图；
步骤2.2，计算灰度图中各像素的灰度的方向变化值其中，Δh为水平方向的变化梯度，Δv为垂直方向的变化梯度，其中，u(i,j)为各像素点值，i,j为灰度图的像素矩阵坐标值；
步骤2.3，将方向变化值转化为极坐标的形式，
步骤2.4，当灰度图中像素u(i,j)方向变化值的绝对值|g|>t时，则将像素更新为其中，t为方向变化阈值，t的默认值为当前像素的前像素u(i-1,j-1)和后像素u(i+1,j+1)的方向变化值的平均值；
步骤2.5，像素更新后获得的图形即为预处理数据。
进一步地，在步骤2中，所述对三维数据进行预处理得到预处理数据的方法为，不进行处理，直接将三维数据作为处理后的预处理数据。
进一步地，在步骤3中，所述通过预处理数据进行三维模型解析得到三维模型的方法为：通过KinectFusion算法进行三维解析，
步骤3.1，读入的预处理数据转换为三维点云并且计算每一点的法向量；
步骤3.2，计算得到的带有法向量的点云，和通过光线投影算法根据上一帧位姿从模型投影出来的点云，利用ICP算法配准计算位姿；
步骤3.3，根据计算得到的位姿，将当前帧的点云融合到网格模型中去；
步骤3.4，根据当前帧相机位姿利用光线投影算法从模型投影得到当前帧视角下的点云，并且计算其法向量，用来对下一帧的输入图像配准；
步骤3.5，循环步骤3.1到步骤3.4，通过获取三维模型不同视角下的点云，重建完整的三维模型表面。
进一步地，在步骤3中，所述通过预处理数据进行三维模型解析得到三维模型的方法为：通过摄像机标定、预处理数据的特征提取、立体匹配、三维重建；
预处理数据的特征提取的特征主要包括特征点、特征线和区域，以特征点为匹配基元，通过基于方向导数的方法，基于图像亮度对比关系的方法，基于数学形态学的方法其中任意一种进行特征提取；
立体匹配是指根据所提取的特征来建立图像对之间的一种对应关系，也就是将同一物理空间点在两幅不同图像中的成像点进行映射对应起来；
三维重建为结合摄像机标定的内外参数，恢复出三维场景信息。
进一步地，在步骤4中，所述捕捉用户的体感信息进行处理三维模型并输出全息投影图像的方法为：将体感控制器Leap Motion与个人电脑连接，捕捉用户的体感信息进行处理三维模型并输出全息投影图像，通过游戏引擎Unity3d，通过Leap Motion获取用户手势，并经过个人电脑处理，调整Unity3d里面摄像头的位置，实现切换模型，改变模型的大小、位置、景点游览等；对于景点游览，当用户放开手掌时，视野向前走；当用户捏紧两个拳头，视野停住；当用户左手放开、右手捏紧时，视野向左旋转；当用户左手捏紧、右手放开时，视野向右旋转，控制三维模型的缩放、移动、翻滚、切换等功能，进行景点游览、楼盘展示。
本公开的另一方面，还提供了一种基于三维重建的交互全息投影系统，所述系统包括体感传感器、3D采集平台、数据处理终端、投影仪、幕布、全息投影金字塔，体感传感器与所述数据处理终端连接，用于捕捉用户的体感信息进行处理三维模型并输出全息投影图像；所述3D采集平台用于采集物体的三维图像信息，并传输到所述数据处理终端；所述体感信息和所述3D采集平台采集到的三维图像信息，经过所述数据处理终端处理形成可通过所述投影仪投影到所述幕布，且通过所述幕布显示于所述全息投影金字塔上的三维图像。
进一步地，所述3D采集平台可以通过无线或有线通讯方式与所述数据处理终端进行数据信息传输。
更进一步地，所述无线通讯方式可以Zigbee、Z-Wave、蓝牙以及Wifi中的至少一种。
更进一步地，所述数据处理终端处理信息内容为本公开提供的一种基于三维重建的交互全息投影方法。
更进一步地，所述投影仪与所述数据处理终端电连接，用于接收来自所述数据处理终端处理后的信息，并形成全息投影源图像。
更进一步地，所述幕布设置于所述投影仪与所述全息投影金字塔之间，所述全息投影源图像从所述投影仪输出经过所述幕布呈现于所述全息投影金字塔里。
更进一步地，所述全息投影金字塔可以由亚克力板、玻璃、PC板和全息膜中任意一种材料组成。
本公开的有益效果为：本发明通过3D采集平台计算机解析传感器数据，使得模型具有实时性以及可通讯性；通过Kinect，Real Sense，Leap Motion，人体红外传感器等传感器控制模型的变化，大大提高用户的感官体验；通过对三维数据进行预处理得到预处理数据，使得计算机能过滤掉传感器采集到的运动的动态模糊像素，实时产生准确平滑的全息投影图像，减少了视觉疲劳；通过应用投影仪，能提高投影设备的灵活性，使适用于不同规格的全息投影金字塔；通过应用幕布可以得出清晰均匀的全息投影图像。
附图说明
通过对结合附图所示出的实施方式进行详细说明，本公开的上述以及其他特征将更加明显，本公开附图中相同的参考标号表示相同或相似的元素，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，在附图中：
图1是本公开包含三维重建的交互式全息投影系统的组成框图；
图2为本公开一个优选实施例的结构示意图。
具体实施方式
以下将结合实施例和附图对本公开的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本公开的目的、方案和效果。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
本公开提出一种基于三维重建的交互全息投影方法，具体包括以下步骤：
为了便于理解本公开，下面将参照相关附图对本公开进行更全面的描述。附图中给出了本公开的首选实施例。但是，本公开可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本公开的公开内容更加透彻全面。
需要说明的是，本文所使用的所有的技术和科学术语与属于本公开的技术领域的技术人员通常理解的含义相同。本文中在本公开的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本公开。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
根据本公开的一方面，提供一种基于三维重建的交互全息投影方法，所述方法包括以下步骤：
步骤1，采集三维数据；
步骤2，对三维数据进行预处理得到预处理数据；
步骤3，通过预处理数据进行三维模型解析得到三维模型；
步骤4，捕捉用户的体感信息进行处理三维模型并输出全息投影图像。
进一步地，在步骤1中，所述采集三维数据的方法为根据Kinect，Real Sense，红外传感器，超声波传感器等传感器，采集的深度图像、彩色图像、空间坐标、距离等物体或空间信息。
进一步地，在步骤2中，所述对三维数据进行预处理得到预处理数据的方法为以下步骤：
步骤2.1，将三维数据中的图像灰度化得到灰度图；
步骤2.2，计算灰度图中各像素的灰度的方向变化值其中，Δh为水平方向的变化梯度，Δv为垂直方向的变化梯度，
其中，u(i,j)为各像素点值，i,j为灰度图的像素矩阵坐标值；
步骤2.3，将方向变化值转化为极坐标的形式，
步骤2.4，当灰度图中像素u(i,j)方向变化值的绝对值|g|>t时，则将像素更新为其中，t为方向变化阈值，t的默认值为当前像素的前像素u(i-1,j-1)和后像素u(i+1,j+1)的方向变化值的平均值；
步骤2.5，像素更新后获得的图形即为预处理数据。
进一步地，在步骤2中，所述对三维数据进行预处理得到预处理数据的方法还可以为，对三维数据不进行处理，直接将三维数据作为处理后的预处理数据。
进一步地，在步骤3中，所述通过预处理数据进行三维模型解析得到三维模型的方法为：通过KinectFusion算法进行三维解析，所述三维解析的方法包括：
步骤3.1，读入的预处理数据转换为三维点云并且计算每一点的法向量；
步骤3.2，计算得到的带有法向量的点云，和通过光线投影算法根据上一帧位姿从模型投影出来的点云，利用ICP算法配准计算位姿；
步骤3.3，根据计算得到的位姿，将当前帧的点云融合到网格模型中去；
步骤3.4，根据当前帧相机位姿利用光线投影算法从模型投影得到当前帧视角下的点云，并且计算其法向量，用来对下一帧的输入图像配准；
步骤3.5，循环步骤3.1到步骤3.4，通过获取三维模型不同视角下的点云，重建完整的三维模型表面。
进一步地，在步骤3中，所述通过预处理数据进行三维模型解析得到三维模型的方法为：通过摄像机标定、预处理数据的特征提取、立体匹配、三维重建；
预处理数据的特征提取的特征主要包括特征点、特征线和区域，以特征点为匹配基元，通过基于方向导数的方法，基于图像亮度对比关系的方法，基于数学形态学的方法其中任意一种进行特征提取；
立体匹配是指根据所提取的特征来建立图像对之间的一种对应关系，也就是将同一物理空间点在两幅不同图像中的成像点进行映射对应起来；
三维重建为结合摄像机标定的内外参数，恢复出三维场景信息。
进一步地，在步骤4中，所述捕捉用户的体感信息进行处理三维模型并输出全息投影图像的方法为：将体感控制器Leap Motion与个人电脑连接，捕捉用户的体感信息进行处理三维模型并输出全息投影图像，通过游戏引擎Unity3d，通过Leap Motion获取用户手势，并经过个人电脑处理，调整Unity3d里面摄像头的位置，实现切换模型，改变模型的大小、位置、景点游览等；对于景点游览，当用户放开手掌时，视野向前走；当用户捏紧两个拳头，视野停住；当用户左手放开、右手捏紧时，视野向左旋转；当用户左手捏紧、右手放开时，视野向右旋转，控制三维模型的缩放、移动、翻滚、切换等功能，进行景点游览、楼盘展示。
为了说明本公开提供的包含三维重建的交互式全息投影系统的结构，图1示出公开实用例的包含三维重建的交互式全息投影系统的结构。
如图1所示，本公开供的一种包含三维重建的交互式全息投影系统，所述系统包括体感传感器100、数据处理终端102、投影仪104、幕布106、全息投影金字塔108、3D采集平台110。其中，体感传感器100与该数据处理终端102连接，用于捕获用户的体感信息并进行体感交互，通过本公开的一种基于三维重建的交互全息投影方法处理三维模型并输出全息投影图像；该3D采集平台110用于采集物体的三维图像信息，并传输到该数据处理终端；该体感信息和该3D采集平台110采集到的三维图像信息，经过该数据处理终端102处理形成可通过该投影仪104投影到该幕布106，且通过该幕布106显示于该全息投影金字塔108上的三维图像，数据处理终端包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序。
在图1所示实例中，以圆柱体为例，在投影仪104以及幕布106的作用下，四个不同方向的圆柱体投影在全息投影金字塔108上，并在全息投影金字塔108的四个面(除了底面)清楚的看到四个不同方向的圆柱体。俯视幕布可以清楚的看到三维模型(此处为圆柱体)的前后左右四个方向观看的图像。从远处观看全息投影金字塔108，就如同一个实实在在的三维物体漂浮在空中。利用体感控制器Leap Motion 100，通过不同的手势或动作，控制模型的缩放、移动、翻滚、切换等功能，进行景点游览、楼盘展示等。
在100方面，本实施例还可以应用Kinect，Real Sense，红外传感器等。
图2所示实例中，将体感控制器Leap Motion 100与个人电脑102连接，通过软件捕捉用户的体感信息进行处理三维模型并输出全息投影图像，该软件可选用游戏引擎Unity3d，通过Leap Motion获取用户手势，并经过个人电脑处理，调整Unity3d里面摄像头的位置，实现切换模型，改变模型的大小、位置、景点游览等。对于景点游览，当用户放开手掌时，视野向前走；当用户捏紧两个拳头，视野停住；当用户左手放开、右手捏紧时，视野向左旋转；当用户左手捏紧、右手放开时，视野向右旋转。
在三维图像投影的软件方面，本实施例可以应用任意一种可以通过多个虚拟摄像头获取三维图像多方图像的软件。
在100方面，还可以应用Kinect，Real Sense，人体红外传感器等。
图2所示实例中，先锋机器人(pioneer3-AT)110承载着Kinect2传感器。在本实施例中，向先锋机器人110发出建立人体模型的指令时，先锋机器人110会向正前方的人体移动，并绕着人体走一圈并建立人体的三维模型，该三维模型传输给个人电脑102。当本实施例给予先锋机器人110建出该房间的点云地图，先锋机器人会实时规划路线并确保建出整个房间的三维点云地图，最后把三维点云地图传输到个人电脑上。
在102方面，本实施例还可以使用云计算机、计算机等处理终端。
在110方面，本实施例可以应用先锋机器人、服务机器人等移动平台，利用Kinect，Real Sense，红外传感器，超声波传感器等传感器，采集物体信息，并经过数据处理终端中的处理器建立物体三维图像。移动平台可以是一个，也可以是多个。移动平台上负责获取数据的传感器可以是一个，也可以是多个。
图2所示实例中，成像框架112中，若一开始全息投影金字塔108的底部尺寸为1m*1m，后面由于用户需求要用一个底部尺寸为1.5m*1.5m的全息投影金字塔108，只需要更换一张合适尺寸的幕布106和对于尺寸的全息投影金字塔108，并且调整投影仪104的高度以及焦距即可。
在108方面，可以实用亚克力板、玻璃、PC板等透明材料，必要时候可以使用全息膜。
通过上述实施方式可以看出，本公开提供的包含三维重建的交互全息投影系统，通过3D采集平台计算机解析传感器数据，使得模型具有实时性以及可通讯性；通过Kinect，Real Sense，Leap Motion，人体红外传感器等体感传感器控制模型的变化，大大提高用户的感官体验；通过计算机解析三维模型，使得计算机能实时产生全息投影图像；通过应用投影仪，能提高投影设备的灵活性，使适用于不同规格的全息投影金字塔；通过应用幕布可以得出清晰均匀的全息投影图像。
所述一种基于三维重建的交互全息投影系统可以通过桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备作为计算工具。所述一种基于三维重建的交互全息投影系统，可运行的系统可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述例子仅仅是一种基于三维重建的交互全息投影系统的示例，并不构成对一种基于三维重建的交互全息投影系统的限定，可以包括比例子更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述一种基于三维重建的交互全息投影系统还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述一种基于三维重建的交互全息投影系统运行系统的控制中心，利用各种接口和线路连接整个一种基于三维重建的交互全息投影系统可运行系统的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述一种基于三维重建的交互全息投影系统的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
尽管本公开的描述已经相当详尽且特别对几个所述实施例进行了描述，但其并非旨在局限于任何这些细节或实施例或任何特殊实施例，而是应当将其视作是通过参考所附权利要求考虑到现有技术为这些权利要求提供广义的可能性解释，从而有效地涵盖本公开的预定范围。此外，上文以发明人可预见的实施例对本公开进行描述，其目的是为了提供有用的描述，而那些目前尚未预见的对本公开的非实质性改动仍可代表本公开的等效改动。
当然上述实施例只为说明本公开的技术构思及特点，其目的在于让熟悉此项技术的人能够了解本公开的内容并据以实施，并不能以此限制本公开的保护范围。凡根据本公开主要技术方案的精神实质所做的修饰，都应涵盖在本公开的保护范围之内。
Claims (10)
1.一种基于三维重建的交互全息投影方法，其特征在于，所述方法包括以下步骤：
步骤1，采集三维数据；
步骤2，对三维数据进行预处理得到预处理数据；
步骤3，通过预处理数据进行三维模型解析得到三维模型；
步骤4，捕捉用户的体感信息进行处理三维模型并输出全息投影图像。
2.根据权利要求1所述的一种基于三维重建的交互全息投影方法，其特征在于，在步骤1中，所述采集三维数据的方法为根据Kinect，Real Sense，红外传感器，超声波传感器采集物体或空间信息。
3.根据权利要求1所述的一种基于三维重建的交互全息投影方法，其特征在于，在步骤2中，所述对三维数据进行预处理得到预处理数据的方法为以下步骤：
步骤2.1，将三维数据中的图像灰度化得到灰度图；
步骤2.2，计算灰度图中各像素的灰度的方向变化值其中，Δh为水平方向的变化梯度，Δv为垂直方向的变化梯度，其中，u(i,j)为各像素点值，i,j为灰度图的像素矩阵坐标值；
步骤2.3，将方向变化值转化为极坐标的形式，
步骤2.4，当灰度图中像素u(i,j)方向变化值的绝对值|g|>t时，则将像素更新为其中，t为方向变化阈值，t的默认值为当前像素的前像素u(i-1,j-1)和后像素u(i+1,j+1)的方向变化值的平均值；
步骤2.5，像素更新后获得的图形即为预处理数据。
4.根据权利要求1所述的一种基于三维重建的交互全息投影方法，其特征在于，在步骤2中，所述对三维数据进行预处理得到预处理数据的方法为，不进行处理，直接将三维数据作为处理后的预处理数据。
5.根据权利要求1所述的一种基于三维重建的交互全息投影方法，其特征在于，在步骤4中，所述捕捉用户的体感信息进行处理三维模型并输出全息投影图像的方法为：将体感控制器Leap Motion与个人电脑连接，捕捉用户的体感信息进行处理三维模型并输出全息投影图像。
6.一种基于三维重建的交互全息投影系统，所述系统包括体感传感器、3D采集平台、数据处理终端、投影仪、幕布、全息投影金字塔，其特征在于，所述体感传感器与所述数据处理终端连接，所述3D采集平台用于采集物体的三维图像信息且与所述数据处理终端连接，所述数据处理终端与所述投影仪连接，所述幕布设置于所述投影仪与所述全息投影金字塔之间，所述幕布用于将所述投影仪的投影在所述全息投影金字塔上显示三维图像。
7.根据权利要求6所述的一种基于三维重建的交互全息投影系统，其特征在于，所述体感传感器用于捕获用户的体感信息并进行体感交互，所述3D采集平台用于采集物体的三维图像信息，并传输到所述数据处理终端，所述数据处理终端用于将所述体感信息和所述3D采集平台采集到的三维图像信息处理形成可通过所述投影仪投影到所述幕布。
8.根据权利要求7所述的一种基于三维重建的交互全息投影系统，其特征在于，所述3D采集平台可以通过无线或有线通讯方式与所述数据处理终端进行数据信息传输。
9.根据权利要求8所述的一种基于三维重建的交互全息投影系统，其特征在于，所述无线通讯方式可以Zigbee、Z-Wave、蓝牙以及Wifi中的至少一种。
10.根据权利要求6-9中任一项所述的一种基于三维重建的交互全息投影系统，其特征在于，所述全息投影金字塔由亚克力板、玻璃、PC板和全息膜中任意一种材料组成。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910276519.5A CN110096144B (zh) | 2019-04-08 | 2019-04-08 | 一种基于三维重建的交互全息投影方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910276519.5A CN110096144B (zh) | 2019-04-08 | 2019-04-08 | 一种基于三维重建的交互全息投影方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110096144A true CN110096144A (zh) | 2019-08-06 |
| CN110096144B CN110096144B (zh) | 2022-11-15 |
Family
ID=67444439
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910276519.5A Active CN110096144B (zh) | 2019-04-08 | 2019-04-08 | 一种基于三维重建的交互全息投影方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110096144B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111786465A (zh) * | 2020-06-23 | 2020-10-16 | 国网智能科技股份有限公司 | 一种变电站巡检机器人无线充电系统及方法 |
| WO2023031886A1 (en) * | 2021-09-04 | 2023-03-09 | Narayana Kikkeri Harshavardhana | A method, a processing unit and a projector device for rendering interactive holographs |
| CN116819925A (zh) * | 2023-08-29 | 2023-09-29 | 廊坊市珍圭谷科技有限公司 | 一种基于全息投影的互动娱乐系统及方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105469105A (zh) * | 2015-11-13 | 2016-04-06 | 燕山大学 | 一种基于视频监控的香烟烟雾检测方法 |
| US20160125619A1 (en) * | 2014-10-30 | 2016-05-05 | Intelescope Solutions Ltd. | System and method for directionality based row detection |
| CN105629653A (zh) * | 2016-04-07 | 2016-06-01 | 廖小烽 | 一种基于三维模型的交互式全息投影方法 |
| CN106970709A (zh) * | 2017-03-30 | 2017-07-21 | 宁波万维显示科技有限公司 | 一种基于全息成像的3d交互方法和装置 |
| CN107067470A (zh) * | 2017-04-05 | 2017-08-18 | 东北大学 | 基于红外热像仪与深度相机的便携式三维温度场重建系统 |
| US20170255023A1 (en) * | 2016-03-02 | 2017-09-07 | Gwangju Institute Of Science And Technology | Display system based on hologram and hologram display method using the same |
| WO2017173744A1 (zh) * | 2016-04-08 | 2017-10-12 | 杭州先临三维科技股份有限公司 | 一种多测量模式的三维测量系统及测量方法 |
| US20180150148A1 (en) * | 2015-06-30 | 2018-05-31 | Iview Displays (Shenzhen) Company Ltd. | Handheld interactive device and projection interaction method therefor |
| CN108765548A (zh) * | 2018-04-25 | 2018-11-06 | 安徽大学 | 基于深度相机的三维场景实时重建方法 |
-
2019
- 2019-04-08 CN CN201910276519.5A patent/CN110096144B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160125619A1 (en) * | 2014-10-30 | 2016-05-05 | Intelescope Solutions Ltd. | System and method for directionality based row detection |
| US20180150148A1 (en) * | 2015-06-30 | 2018-05-31 | Iview Displays (Shenzhen) Company Ltd. | Handheld interactive device and projection interaction method therefor |
| CN105469105A (zh) * | 2015-11-13 | 2016-04-06 | 燕山大学 | 一种基于视频监控的香烟烟雾检测方法 |
| US20170255023A1 (en) * | 2016-03-02 | 2017-09-07 | Gwangju Institute Of Science And Technology | Display system based on hologram and hologram display method using the same |
| CN105629653A (zh) * | 2016-04-07 | 2016-06-01 | 廖小烽 | 一种基于三维模型的交互式全息投影方法 |
| WO2017173744A1 (zh) * | 2016-04-08 | 2017-10-12 | 杭州先临三维科技股份有限公司 | 一种多测量模式的三维测量系统及测量方法 |
| CN106970709A (zh) * | 2017-03-30 | 2017-07-21 | 宁波万维显示科技有限公司 | 一种基于全息成像的3d交互方法和装置 |
| CN107067470A (zh) * | 2017-04-05 | 2017-08-18 | 东北大学 | 基于红外热像仪与深度相机的便携式三维温度场重建系统 |
| CN108765548A (zh) * | 2018-04-25 | 2018-11-06 | 安徽大学 | 基于深度相机的三维场景实时重建方法 |
Non-Patent Citations (7)
| Title |
|---|
| YING-WEI CHUANG等: "Driver posture recognition for 360-degree holographic media browsing", 《2017 10TH INTERNATIONAL CONFERENCE ON UBI-MEDIA COMPUTING AND WORKSHOPS (UBI-MEDIA)》 * |
| 吕宝媛等: "一种基于Leap Motion的交互全息投影方法", 《信息技术与网络安全》 * |
| 张继超: "《遥感原理与应用》", 30 August 2018 * |
| 朱庆等: "面向三维城市建模的多点云数据融合方法综述", 《武汉大学学报(信息科学版)》 * |
| 焦明连等: "《测绘与地理信息技术》", 31 October 2018 * |
| 肖文等: "基于CAD光相位模型的数字全息检测方法研究", 《现代电子技术》 * |
| 胡颖等: "基于MATLAB的图像预处理技术研究", 《辽宁师专学报(自然科学版)》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111786465A (zh) * | 2020-06-23 | 2020-10-16 | 国网智能科技股份有限公司 | 一种变电站巡检机器人无线充电系统及方法 |
| WO2023031886A1 (en) * | 2021-09-04 | 2023-03-09 | Narayana Kikkeri Harshavardhana | A method, a processing unit and a projector device for rendering interactive holographs |
| CN116819925A (zh) * | 2023-08-29 | 2023-09-29 | 廊坊市珍圭谷科技有限公司 | 一种基于全息投影的互动娱乐系统及方法 |
| CN116819925B (zh) * | 2023-08-29 | 2023-11-14 | 廊坊市珍圭谷科技有限公司 | 一种基于全息投影的互动娱乐系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110096144B (zh) | 2022-11-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110599605B (zh) | 图像处理方法及装置、电子设备和计算机可读存储介质 | |
| CN102834849B (zh) | 进行立体视图像的描绘的图像描绘装置、图像描绘方法、图像描绘程序 | |
| CN108648257B (zh) | 全景画面的获取方法、装置、存储介质及电子装置 | |
| KR101295471B1 (ko) | 이미지 프로세싱을 기반으로 한 3ｄ 공간 차원용 시스템 및 방법 | |
| US20150371447A1 (en) | Method and Apparatus for Providing Hybrid Reality Environment | |
| CN108027653A (zh) | 虚拟环境中的触觉交互 | |
| CN109242961A (zh) | 一种脸部建模方法、装置、电子设备和计算机可读介质 | |
| CN108305312A (zh) | 3d虚拟形象的生成方法和装置 | |
| GB2440993A (en) | Providing control using a wide angle image capture means | |
| CN110096144A (zh) | 一种基于三维重建的交互全息投影方法及系统 | |
| EP3533218B1 (en) | Simulating depth of field | |
| CN108961367A (zh) | 三维虚拟偶像直播中角色形象变形的方法、系统及装置 | |
| CN110648274B (zh) | 鱼眼图像的生成方法及装置 | |
| CN106797458A (zh) | 真实对象的虚拟改变 | |
| CN109151540A (zh) | 视频图像的交互处理方法及装置 | |
| CN107862718B (zh) | 4d全息视频捕捉方法 | |
| CN106780707B (zh) | 模拟场景中全局光照的方法和装置 | |
| CN108416832A (zh) | 媒体信息的显示方法、装置和存储介质 | |
| CN111862348B (zh) | 视频显示方法、视频生成方法、装置、设备及存储介质 | |
| CN109035415B (zh) | 虚拟模型的处理方法、装置、设备和计算机可读存储介质 | |
| Zioulis et al. | 3D tele-immersion platform for interactive immersive experiences between remote users | |
| WO2004012141A2 (en) | Virtual reality immersion system | |
| CN109328462A (zh) | 一种用于流视频内容的方法及装置 | |
| CN108933954A (zh) | 视频图像处理方法、机顶盒以及计算机可读存储介质 | |
| CN112308977A (zh) | 视频处理方法、视频处理装置和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |