CN107908384A - 一种实时显示全息人像的方法、装置、系统及存储介质 - Google Patents

一种实时显示全息人像的方法、装置、系统及存储介质 Download PDF

Info

Publication number
CN107908384A
CN107908384A CN201711153916.0A CN201711153916A CN107908384A CN 107908384 A CN107908384 A CN 107908384A CN 201711153916 A CN201711153916 A CN 201711153916A CN 107908384 A CN107908384 A CN 107908384A
Authority
CN
China
Prior art keywords
portrait data
holographic
effective
portrait
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711153916.0A
Other languages
English (en)
Inventor
张婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Xingye Information Technology Co Ltd
Original Assignee
Shenzhen Xingye Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Xingye Information Technology Co Ltd filed Critical Shenzhen Xingye Information Technology Co Ltd
Priority to CN201711153916.0A priority Critical patent/CN107908384A/zh
Publication of CN107908384A publication Critical patent/CN107908384A/zh
Priority to US15/956,705 priority patent/US10620585B2/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1407—General aspects irrespective of display type, e.g. determination of decimal point position, display with fixed or driving decimal point, suppression of non-significant zeros
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005—Adaptation of holography to specific applications
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2249—Holobject properties
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G03H1/268—Holographic stereogram
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G02B2027/0174—Head mounted characterised by optical features holographic
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005—Adaptation of holography to specific applications
    • G03H2001/0088—Adaptation of holography to specific applications for video-holography, i.e. integrating hologram acquisition, transmission and display
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00—Object characteristics
    • G03H2210/40—Synthetic representation, i.e. digital or optical object decomposition
    • G03H2210/42—Synthetic representation, i.e. digital or optical object decomposition from real object, e.g. using 3D scanner
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20216—Image averaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Holo Graphy (AREA)

Abstract

本申请实施例公开了一种实时显示全息人像的方法、装置、系统及存储介质，用于降低时延实现实时显示。本申请实施例方法包括：通过体感设备采集人物的人像数据；获取预设范围内的人像数据作为有效人像数据；对所述有效人像数据进行模糊处理并存储；将模糊处理后的有效人像数据按照先入先出原则一帧一帧发送给全息显示设备，以使人物的有效人像数据实时显示在全息显示设备的全息投影之上，实现了实时显示全息人像，具有较低时延性，提高了用户体验。

Description

一种实时显示全息人像的方法、装置、系统及存储介质
技术领域
本申请涉及三维体感技术领域，尤其涉及一种实时显示全息人像的方法、装置、系统及存储介质。
背景技术
随着社会以及经济的不断发展，电子设备越来越多，譬如全息显示设备、体感设备等。Microsoft HoloLens是微软首个不受线缆限制的全息计算机设备，能让用户与数字内容交互，并与周围真实环境中的全息影像互动。Hololens是微软推出的MR(混合现实)产品，即同时包含了VR(虚拟现实)技术与AR(增强现实)术，佩戴Hololens可以令佩戴者在现实中看到全息虚拟影像。
但目前全息显示方法延时性高，无法实现实时全息显示，这就导致人物动作与全息投影不同步，大大降低了用户体验。
发明内容
本申请实施例提供了一种实时显示全息人像的方法、装置、系统及存储介质，用于降低时延，实现实时显示。
本申请实施例提供的实时显示全息人像的方法，包括：
体感设备采集人物的人像数据；
获取预设范围内的人像数据作为有效人像数据；
对所述有效人像数据进行模糊处理并存储；
将模糊处理后的有效人像数据按照先入先出原则一帧一帧发送给全息显示设备，以使人物的有效人像数据实时显示在全息显示设备的全息投影之上。
可选地，所述获取预设范围内的人像数据作为有效人像数据包括：
通过体感设备的色彩摄像头及深度摄像头采集人物的人像数据，所述人像数据中每个像素点都有对应的坐标；
根据预设范围对应的坐标区间，将所述坐标在所述坐标区别内的人像数据作为有效人像数据。
可选地，所述对所述有效人像数据进行模糊处理并存储，包括：
采用均值滤波技术对对所述有效人像数据进行模糊处理；
将模糊处理后的有效人像数据一帧一帧存储。
可选地，所述人像数据包括深度信息及颜色信息；所述对所述有效人像数据进行存储，包括：
通过向数据体插入相应参数的函数将所述有效人像数据对应的深度信息和颜色信息一帧一帧保存至预先设置的深度信息向量列表和颜色信息向量列表中。
可选地，所述深度信息向量列表和颜色信息向量列表分别只保存一帧的有效人像数据对应的深度信息和颜色信息。
可选地，所述将模糊处理后的有效人像数据按照先入先出原则一帧一帧发送给全息显示设备，以使人物的有效人像数据实时显示在全息显示设备的全息投影之上，包括：
将模糊处理后的有效人像数据按照先入先出原则一帧一帧发送给与体感设备数据连接的计算机设备；
所述计算机设备，将模糊处理后的有效人像数据一帧一帧发送给与计算机设备数据连接的、设置在人物头部的全息显示设备：
所述全息显示设备将模糊处理后的有效人像数据一帧一帧实时显示在全息显示设备的全息投影之上，以使人物的动作实时同步在全息显示设备中。
可选地，所述体感设备为Kinect体感外设；所述全息显示设备为Hololens全息计算机设备。
本申请实施例提供的实时显示全息人像的装置，包括：
采集模块，用于通过体感设备采集人物的人像数据；
有效获取模块，用于获取预设范围内的人像数据作为有效人像数据；
图像处理模块，用于对所述有效人像数据进行模糊处理并存储；
发送显示模块，用于将模糊处理后的有效人像数据按照先入先出原则一帧一帧发送给全息显示设备，以使人物的有效人像数据实时显示在全息显示设备的全息投影之上。
本申请实施例提供的实时显示全息人像的系统，包括体感设备、计算机设备及全息显示设备；所述体感设备有线或无线连接计算机设备；所述计算机设备有线或无线连接全息显示设备；
所述体感设备采集人物的人像数据发送给计算机设备；
所述计算机设备获取预设范围内的人像数据作为有效人像数据；
所述计算机设备对所述有效人像数据进行模糊处理并存储；
所述计算机设备将模糊处理后的有效人像数据按照先入先出原则一帧一帧发送给全息显示设备；
所述全息显示设备将人物的有效人像数据实时显示在全息显示设备的全息投影之上。
本申请实施例提供的计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的实时显示全息人像的方法。
从以上技术方案可以看出，本申请实施例具有以下优点：
本实施例中，通过体感设备采集人物的人像数据；获取预设范围内的人像数据作为有效人像数据；对所述有效人像数据进行模糊处理并存储；将模糊处理后的有效人像数据按照先入先出原则一帧一帧发送给全息显示设备，以使人物的有效人像数据实时显示在全息显示设备的全息投影之上，实现了实时显示全息人像，具有较低时延性，提高了用户体验。
附图说明
图1为本申请实施例中实时显示全息人像的方法的一个实施例示意图；
图2为本申请实施例中实时显示全息人像的装置的一个实施例示意图；
图3为本申请实施例中实时显示全息人像的系统的结构示意图。
具体实施方式
本申请实施例提供了一种实时显示全息人像的方法、装置、系统及存储介质，用于降低时延实现实时显示。为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
下面对本申请实施例中的具体流程进行描述，请参阅图1，本申请实施例中实时显示全息人像的方法一个实施例包括：
100、体感设备采集人物的人像数据。
本实施例中，本申请提供了一个实时显示全息人像的系统，通过体感设备采集人物的人像数据。所述体感设备可为Kinect体感外设，Kinect是微软公布的XBOX360体感周边外设。Kinect体感设备彻底颠覆了游戏的单一操作，使人机互动的理念更加彻底的展现出来，增强了游戏的操作方式，提高了用户体验。当然，所述体感设备还可为其他具有同样功能的用于采集人体三维体感的体感外设。
200、获取预设范围内的人像数据作为有效人像数据。
本实施例中，体感设备采集人物的人像数据，本申请进一步根据人物具体的应用场景的环境，预先设定合理的能够捕捉人像的边界范围，预设范围内的人像数据作为有效人像数据。也就是说，预设范围内的人像数据对于后续的处理识别才是有用的，这个步骤剔除了无效人像数据，进一步提高了传输效率和准确率。进一步对人像数据进行校准和裁剪处理，得到预设范围内的人像数据作为有效人像数据。
300、对所述有效人像数据进行模糊处理并存储。
本实施例中，对有效人像数据进行模糊处理，使得有效人像数据传输过程更加高效，也为画面提供了羽化的效果使得全息显示设备中显示的人像更加平滑。如果未加入模糊处理的人像数据，则会在人像轮廓的显示上，出现一定白边，即有效人像数据传输过程中所受到的干扰，加入模糊处理后，能够有效的减少人像轮廓上显示出的干扰，达到全息显示设备呈现的人像画面相对平滑的效果。然后计算机设备将模糊处理后的有效人像数据存储。
400、将模糊处理后的有效人像数据按照先入先出原则一帧一帧发送给全息显示设备，以使人物的有效人像数据实时显示在全息显示设备的全息投影之上。
本实施例中，将计算机设备内存中保存的有效人像数据输送至全息显示设备，并由全息显示设备将有效人像数据以全息的方式在全息显示设备的屏幕前输出，输出的结果即为有效人像数据组成的人像，由体感设备实时发送有效人像数据至全息显示设备，因此，全息显示设备中的人像与人物达到同步效果，最终实现了全息显示设备实时显示全息人像的效果。
关于先入先出规则，需要说明的是，计算机设备中存储的有效人像数据每一帧均会进行更替，也就是一帧一帧的更替，将上一帧的有效人像数据发送给全息显示设备后，就会替换为下一帧的有效人像数据，从而达到实时性。
本实施例中，体感设备采集人物的人像数据发送给计算机设备；计算机设备获取预设范围内的人像数据作为有效人像数据；计算机设备对所述有效人像数据进行模糊处理并存储；计算机设备将模糊处理后的有效人像数据按照先入先出原则一帧一帧发送给全息显示设备，以使人物的有效人像数据实时显示在全息显示设备的全息投影之上，实现了实时显示全息人像，具有较低时延性，提高了用户体验。
进一步地，所述获取预设范围内的人像数据作为有效人像数据包括：
通过体感设备的色彩摄像头及深度摄像头采集人物的人像数据，所述人像数据中每个像素点都有对应的坐标；
根据预设范围对应的坐标区间，将所述坐标在所述坐标区别内的人像数据作为有效人像数据。
在本实施例中，以体感设备为Kinect设备为例，Kinect设备的采集端通过色彩摄像头以及深度摄像头对环境中人像数据进行采集，也就是采集人物对应的颜色信息和深度信息。Kinect设备对有效人像数据进行采集，所采集的人像数据中各个像素点均有其对应坐标：(x，y，z)，根据Kinect设备应用场景的环境，设定合理的能够捕捉的边界坐标参数(也就是预设范围)：Xmin、Xmax、Ymin、Ymax、Zmin和Zmax，根据边界坐标参数的数值，有效人像数据的像素点坐标范围应是(Xmin至Xmax，Ymin至Ymax，Zmin至Zmax)，即人像数据中像素点对应坐标(x，y，z)需满足Xmin<x<Xmax、Ymin<y<Ymax、Zmin<z<Zmax，如此，则人像数据中的该像素点可视为有效人像数据。有效人像数据均有其对应颜色，颜色来源为Kinect采集端采集人像过程中被采集人物对应的实际颜色，Kinect采集端是实时进行数据采集，即应用场景中每一帧画面均会被采集并提取其中的有效人像数据。
进一步地，所述对所述有效人像数据进行模糊处理并存储，包括：
采用均值滤波技术对对所述有效人像数据进行模糊处理；
将模糊处理后的有效人像数据一帧一帧存储。
本实施例中，本申请进一步对有效人像数据进行模糊处理，以全息显示设备为HoloLens设备为例，利用均值滤波技术对有效人像点源信息进行blur(模糊)处理，使得有效人像点源信息传输过程更加高效，也为画面提供了羽化的效果(Hololens设备中显示的人像更加平滑)，如果Hololens设备观察未加入均值滤波技术处理的人像点源信息，则在人像轮廓的显示上，出现一定白边，即有效人像点源信息传输过程中所受到的干扰，加入均值滤波技术后，能够有效的减少人像轮廓上显示出的干扰，达到Hololens设备呈现的人像画面相对平滑的效果。
在实际应用时，均值滤波技术对应的公式为：g(x，y)＝1/mΣf(x，y)，其中g(x，y)表示处理后图像在该点上的灰度，m表示包含当前像素在内的像素总个数。具体来说，平滑线性滤波是典型的线性滤波算法，它是指在图像上对目标像素给一个模板，该模板包括了其周围的临近像素(以目标象素为中心的周围8个象素，构成一个滤波模板，即去掉目标象素本身)，再用模板中的全体像素的平均值来代替原来像素值。平滑线性滤波也叫均值滤波，其采用的主要方法为领域平均法。平滑线性滤波的基本原理是用均值代替原图像中的各个像素值，即对待处理的当前像素点(x，y)，选择一个模板，该模板由其近邻的若干像素组成，求模板中所有像素的均值，再把该均值赋予当前像素点(x，y)，作为处理后图像在该点上的灰度个g(x，y)，即个g(x，y)＝1/m∑f(x，y)，m为该模板中包含当前像素在内的像素总个数，∑f(x，y)为模板内所有像素点的灰度合。平滑线性滤波处理降低了图像的“尖锐”变化。由于典型的随机噪声由灰度级的急剧变化组成，因此常见的平滑处理的应用就是降低噪声。
然后，将模糊处理后的有效人像数据一帧一帧存储。具体来说，所述人像数据包括深度信息及颜色信息；所述对所述有效人像数据进行存储，包括：通过向数据体插入相应参数的函数将所述有效人像数据对应的深度信息和颜色信息一帧一帧保存至预先设置的深度信息向量列表和颜色信息向量列表中。
本实施例中，计算机设备中设置有Kinect服务端，本申请在Kinect采集端声明两个类型为vector的列表(goodVertices和goodColorPoints)作为储存有效人像数据的载体，其中，Vector指三维向量。算法中涉及的数据都是用三维向量来存储每个像素的信息；goodVertices和goodColorPoints分表代表有效深度信息(向量列表)和有效颜色信息(向量列表)，也就是深度信息向量列表和颜色信息向量列表。
Kinect采集端通过c++中push_back()函数(也就是向数据体插入相应参数的函数)将有效人像数据(以坐标的形式)及其对应的颜色储存于先前声明的两个类型为vector的列表goodVertices和goodColorPoints里面，两个列表中储存的有效人像数据始终为采集端采集到的有效人像点源信息(也就是有效人像数据)的最后一帧，即列表goodVertices和列表goodColorPoints在开启Kinect设备后，其中的有效人像点源信息每一帧均会进行更替，以达到实时性。也就是说，所述深度信息向量列表和颜色信息向量列表分别只保存一帧的有效人像数据对应的深度信息和颜色信息。
进一步地，所述将模糊处理后的有效人像数据按照先入先出原则一帧一帧发送给全息显示设备，以使人物的有效人像数据实时显示在全息显示设备的全息投影之上，包括：
将模糊处理后的有效人像数据按照先入先出原则一帧一帧发送给与体感设备数据连接的计算机设备；
所述计算机设备，将模糊处理后的有效人像数据一帧一帧发送给与计算机设备数据连接的、设置在人物头部的全息显示设备：
所述全息显示设备将模糊处理后的有效人像数据一帧一帧实时显示在全息显示设备的全息投影之上，以使人物的动作实时同步在全息显示设备中。
本实施例中，以体感设备为Kinect体感外设；所述全息显示设备为Hololens全息计算机设备为例，进行详细说明，其中Hololens全息计算机设备是佩戴在人物头部的。Kinect采集端将储存在goodVertices和goodColorPoints列表中的最后一帧有效人像点源信息发送至计算机设备的Kinect服务端；Hololens设备与Kinect服务端连接并进行数据传输。设置Hololens设备的IP地址与PC终端(也就是计算机涉笔)的IP地址，确保Kinect服务端所连接的PC终端与Hololens设备处于同一网络环境下。在Kinect服务端开启监听模式，当Kinect服务端所连接的PC终端与Hololens处于同一网络环境下，Hololens的佩戴者通过开启Hololens中的软件，从而触发Hololens中添加的对应flag(一个标记，用于表示buffer[0]的状态)，即buffer[0]＝0，当Kinect服务端会根据监听到的由Hololens发送过来的buffer[0]＝0的消息时，随即将Kinect服务端内存中保存的有效人像点源信息输送至Hololens，并由Hololens将有效人像点源信息以全息的方式在Hololens屏幕前输出，输出的结果即为有效点源信息组成的人像，由于Kinect采集端实时发送有效数据至Kinect服务端，因此，Hololens中的人像与人物达到同步效果，最终实现了Hololens实时的显示全息人像效果。
当然，当Hololens退出软件或者与Kinect的连接中断后，则buffer[0]≠0，当Kinect监听到buffer[0]≠0的消息时，不会再向Hololens发送有效人像点源信息。
本发明为了解决Hololens实时显示全息人像的问题，利用Kinect设备的人像采集技术，将在现实环境中采集到的有效人像点源信息以坐标的形式储存在列表之中，当Hololens与Kinect设备所连接的PC的终端处于同一网络环境下，开启软件(本发明)，将会触发相应的消息，Kinect设备监听到这个消息后，会将采集到的有效人像点源信息以帧的形式发送给Hololens，Hololens将收到的有效人像点源信息实时的全息显示，最终达到预期效果Hololens实时显示全息人像。
上面对本申请实施例中的实时显示全息人像的方法进行了描述，下面对本申请实施例中的实时显示全息人像的装置进行描述：
请参阅图2，本申请实施例中实时显示全息人像的装置的一个实施例包括：
采集模块10，用于通过体感设备采集人物的人像数据；
有效获取模块20，用于获取预设范围内的人像数据作为有效人像数据；
图像处理模块30，用于对所述有效人像数据进行模糊处理并存储；
发送显示模块40，用于将模糊处理后的有效人像数据按照先入先出原则一帧一帧发送给全息显示设备，以使人物的有效人像数据实时显示在全息显示设备的全息投影之上。
上面从模板化功能实体的角度对本申请实施例中的终端进行描述，下面从硬件处理的角度对本申请实施例中的实时显示全息人像的系统进行描述，请参阅图3，本申请实施例中的实时显示全息人像的系统包括：
体感设备310、计算机设备320及全息显示设备330；所述体感设备310有线或无线连接计算机设备320；所述计算机设备320有线或无线连接全息显示设备330；
所述体感设备310采集人物340的人像数据发送给计算机设备320；
所述计算机设备320获取预设范围内的人像数据作为有效人像数据；
所述计算机设备320对所述有效人像数据进行模糊处理并存储；
所述计算机设备320将模糊处理后的有效人像数据按照先入先出原则一帧一帧发送给全息显示设备330；
所述全息显示设备330将人物340的有效人像数据实时显示在全息显示设备330的全息投影之上。
需要说明的是，为了提高传输效率，优选地，所述体感设备310硬件连接计算机设备320，也就是有线连接。而为了减少对人物的空间限制，计算机设备320无线连接全息显示设备330。在实际应用时，体感设备310也可获取预设范围内的人像数据作为有效人像数据及对所述有效人像数据进行模糊处理，然后存储在计算机设备320中。全息显示设备330是设置在人物340(或者说用户)的头部，用户头戴全息显示设备330。优选地，所述体感设备为Kinect体感外设；所述全息显示设备为Hololens全息计算机设备；所述计算机设备为PC终端。
以下结合图3对本申请的实时显示全息人像的方法详细描述如下：
步骤1：在现实空间中架设Kinect设备，Kinect设备摄像头应高1.5米，角度与水平面呈正30°夹角，待采集人像点源信息的人物与摄像头正前方保持1.3m-1.5m的距离最佳。
步骤2：准备一台PC终端，在PC终端上安装Kinect的SDK(KinectSDK-v2.0_1409-Setup或更高版本)，接下来安装LiveScanClient和LiveScanServer，其中LiveScanClient为Kinect采集端的运行软件(Kinect采集端会将采集到的有效人像点源信息发送至Kinect服务端)，LiveScanServer为Kinect服务端的运行软件(Kinect服务端将Kinect采集端发送来的数据储存在指定列表中且仅储存最后一帧)。
步骤3：将PC端与Kinect设备进行硬件连接，并开启LiveScanSever软件中的StartServer功能，即开启Kinect服务端的服务，作用包括进行监听后续是否Hololens有向服务端发送连接请求。
步骤4：开启LiveScanClient软件中的Connect功能，作用包括将Kinect采集端与Kinect服务端进行内部连接，Kinect采集端就可以将有效人像点源信息发送至Kinect服务端；同时开启Kinect服务端的Show line功能，作用包括生成新的窗口，将接收到的有效人像点源信息显示在对应窗口之中以便观察同时校准人物与Kinect设备的位置；同时在点击Kinect服务端软件的“Show line”按钮，开启“校准和裁剪”窗口，在该窗口中，用户可以实时观察到自己的3d影像和原点的位置关系，从而调整Kinect安装位置或者人体站立位置，实现最佳图像采集点位。同时在该校准和裁剪窗口可以进行画面裁剪，通过调整X,Y,Z三个轴向的最大值和最小值，裁剪掉无效区域，保留有效成像空间(也就是预设范围)。经过者两步，实现最佳的3d图像采集效果。也就是对人像数据进行校准和裁剪处理得到有效人像数据。
步骤5：开启Hololens，并将其与Kinect设备所连接的PC终端进行Ip地址配置，或者将PC终端与Hololens连接在同一路由器下，确保其同属于一个网络环境下。
步骤6：由待采集人像点源信息的人物佩戴Hololens，而后开启Hololens中的软件(本发明)，通过软件所编写的功能，Hololens可以提取到Kinect设备上的实时有效人像点源信息，而后，将人像点源信息显示在Hololens的全息投影之上，人物实时的动作均会在Hololens中进行同步。
综上所述，这样，本发明便可以实现基于Kinect图像捕捉的Hololens全息人像实时显示，具有较低时延性，提高了用户体验。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种实时显示全息人像的方法，其特征在于，包括：
体感设备采集人物的人像数据；
获取预设范围内的人像数据作为有效人像数据；
对所述有效人像数据进行模糊处理并存储；
将模糊处理后的有效人像数据按照先入先出原则一帧一帧发送给全息显示设备，以使人物的有效人像数据实时显示在全息显示设备的全息投影之上。
2.根据权利要求1所述的方法，其特征在于，所述获取预设范围内的人像数据作为有效人像数据包括：
通过体感设备的色彩摄像头及深度摄像头采集人物的人像数据，所述人像数据中每个像素点都有对应的坐标；
根据预设范围对应的坐标区间，将所述坐标在所述坐标区别内的人像数据作为有效人像数据。
3.根据权利要求1所述的方法，其特征在于，所述对所述有效人像数据进行模糊处理并存储，包括：
采用均值滤波技术对对所述有效人像数据进行模糊处理；
将模糊处理后的有效人像数据一帧一帧存储。
4.根据权利要求1所述的方法，其特征在于，所述人像数据包括深度信息及颜色信息；所述对所述有效人像数据进行存储，包括：
通过向数据体插入相应参数的函数将所述有效人像数据对应的深度信息和颜色信息一帧一帧保存至预先设置的深度信息向量列表和颜色信息向量列表中。
5.根据权利要求1所述的方法，其特征在于，所述深度信息向量列表和颜色信息向量列表分别只保存一帧的有效人像数据对应的深度信息和颜色信息。
6.根据权利要求1所述的方法，其特征在于，所述将模糊处理后的有效人像数据按照先入先出原则一帧一帧发送给全息显示设备，以使人物的有效人像数据实时显示在全息显示设备的全息投影之上，包括：
将模糊处理后的有效人像数据按照先入先出原则一帧一帧发送给与体感设备数据连接的计算机设备；
所述计算机设备，将模糊处理后的有效人像数据一帧一帧发送给与计算机设备数据连接的、设置在人物头部的全息显示设备：
所述全息显示设备将模糊处理后的有效人像数据一帧一帧实时显示在全息显示设备的全息投影之上，以使人物的动作实时同步在全息显示设备中。
7.根据权利要求1所述的方法，其特征在于，所述体感设备为Kinect体感外设；所述全息显示设备为Hololens全息计算机设备。
8.一种实时显示全息人像的装置，其特征在于，包括：
采集模块，用于通过体感设备采集人物的人像数据；
有效获取模块，用于获取预设范围内的人像数据作为有效人像数据；
图像处理模块，用于对所述有效人像数据进行模糊处理并存储；
发送显示模块，用于将模糊处理后的有效人像数据按照先入先出原则一帧一帧发送给全息显示设备，以使人物的有效人像数据实时显示在全息显示设备的全息投影之上。
9.一种实时显示全息人像的系统，其特征在于，包括体感设备、计算机设备及全息显示设备；所述体感设备有线或无线连接计算机设备；所述计算机设备有线或无线连接全息显示设备；
所述体感设备采集人物的人像数据发送给计算机设备；
所述计算机设备获取预设范围内的人像数据作为有效人像数据；
所述计算机设备对所述有效人像数据进行模糊处理并存储；
所述计算机设备将模糊处理后的有效人像数据按照先入先出原则一帧一帧发送给全息显示设备；
所述全息显示设备将人物的有效人像数据实时显示在全息显示设备的全息投影之上。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任意一项所述方法的步骤。
CN201711153916.0A 2017-11-18 2017-11-18 一种实时显示全息人像的方法、装置、系统及存储介质 Pending CN107908384A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201711153916.0A CN107908384A (zh) 2017-11-18 2017-11-18 一种实时显示全息人像的方法、装置、系统及存储介质
US15/956,705 US10620585B2 (en) 2017-11-18 2018-04-18 Method, device, system and storage medium for displaying a holographic portrait in real time

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711153916.0A CN107908384A (zh) 2017-11-18 2017-11-18 一种实时显示全息人像的方法、装置、系统及存储介质

Publications (1)

Publication Number Publication Date
CN107908384A true CN107908384A (zh) 2018-04-13

Family

ID=61846530

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711153916.0A Pending CN107908384A (zh) 2017-11-18 2017-11-18 一种实时显示全息人像的方法、装置、系统及存储介质

Country Status (2)

Country Link
US (1) US10620585B2 (zh)
CN (1) CN107908384A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112685510B (zh) * 2020-12-29 2023-08-08 科来网络技术股份有限公司 一种基于全流量标签的资产标签方法、计算机程序及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103297501A (zh) * 2013-05-07 2013-09-11 杭州玄鸟数字技术有限公司 全息投影实时交互系统
CN104883557A (zh) * 2015-05-27 2015-09-02 世优（北京）科技有限公司 实时全息投影方法、装置及系统
CN105139446A (zh) * 2015-08-07 2015-12-09 河海大学常州校区 一种基于kinect的全息虚拟试衣系统
CN105869160A (zh) * 2016-03-28 2016-08-17 武汉理工大学 利用Kinect实现三维建模和全息显示的方法及系统
CN106970709A (zh) * 2017-03-30 2017-07-21 宁波万维显示科技有限公司 一种基于全息成像的3d交互方法和装置
US20170257610A1 (en) * 2014-09-16 2017-09-07 Ingenuity I/O Device and method for orchestrating display surfaces, projection devices, and 2d and 3d spatial interaction devices for creating interactive environments

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4075418B2 (ja) * 2002-03-15 2008-04-16 ソニー株式会社 画像処理装置及び画像処理方法、印刷物製造装置及び印刷物製造方法、並びに印刷物製造システム
DE102007024235B4 (de) * 2007-05-21 2009-04-30 Seereal Technologies S.A. Holografisches Rekonstruktionssystem sowie -verfahren mit erweitertem Sichtbarkeitsbereich
US20140267598A1 (en) * 2013-03-14 2014-09-18 360Brandvision, Inc. Apparatus and method for holographic poster display
KR102101740B1 (ko) * 2013-07-08 2020-04-20 엘지전자 주식회사 이동 단말기 및 이의 제어방법
US9679369B2 (en) * 2013-09-12 2017-06-13 Ventana 3D Llc Depth key compositing for video and holographic projection
US9465361B2 (en) * 2014-03-31 2016-10-11 Disney Enterprises, Inc. Image based multiview multilayer holographic rendering algorithm
CN105912098A (zh) * 2015-12-10 2016-08-31 乐视致新电子科技（天津）有限公司 一种基于体感的操作组件控制方法和系统
US10432944B2 (en) * 2017-08-23 2019-10-01 Avalon Holographics Inc. Layered scene decomposition CODEC system and methods
US10859852B2 (en) * 2018-03-01 2020-12-08 Ventana 3D, Llc Real-time video processing for pyramid holographic projections

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103297501A (zh) * 2013-05-07 2013-09-11 杭州玄鸟数字技术有限公司 全息投影实时交互系统
US20170257610A1 (en) * 2014-09-16 2017-09-07 Ingenuity I/O Device and method for orchestrating display surfaces, projection devices, and 2d and 3d spatial interaction devices for creating interactive environments
CN104883557A (zh) * 2015-05-27 2015-09-02 世优（北京）科技有限公司 实时全息投影方法、装置及系统
CN105139446A (zh) * 2015-08-07 2015-12-09 河海大学常州校区 一种基于kinect的全息虚拟试衣系统
CN105869160A (zh) * 2016-03-28 2016-08-17 武汉理工大学 利用Kinect实现三维建模和全息显示的方法及系统
CN106970709A (zh) * 2017-03-30 2017-07-21 宁波万维显示科技有限公司 一种基于全息成像的3d交互方法和装置

Also Published As

Publication number Publication date
US10620585B2 (en) 2020-04-14
US20190155215A1 (en) 2019-05-23

Similar Documents

Publication Publication Date Title
US11238568B2 (en) Method and system for reconstructing obstructed face portions for virtual reality environment
EP3096208B1 (en) Image processing for head mounted display devices
CN109448099B (zh) 画面的渲染方法、装置、存储介质及电子装置
CN113313818B (zh) 一种三维重建方法、装置及系统
KR100917486B1 (ko) 컴퓨터 그래픽 애니메이션용 안면 근육 및 눈 움직임 추적시스템 및 방법
CN107479699A (zh) 虚拟现实交互方法、装置及系统
KR102491140B1 (ko) 가상 아바타 생성 방법 및 장치
CN109671141B (zh) 图像的渲染方法和装置、存储介质、电子装置
CN109242940B (zh) 三维动态图像的生成方法和装置
CN108416832B (zh) 媒体信息的显示方法、装置和存储介质
CN108874114A (zh) 实现虚拟对象情绪表达的方法、装置、计算机设备及存储介质
CN105739703A (zh) 面向无线头戴显示设备的虚拟现实体感交互系统及方法
CN108668050A (zh) 基于虚拟现实的视频拍摄方法和装置
CN110189202A (zh) 一种三维虚拟试衣方法及系统
CN108983974B (zh) Ar场景处理方法、装置、设备和计算机可读存储介质
CN108388889A (zh) 用于分析人脸图像的方法和装置
CN105184622A (zh) 利用虚拟技术帮助消费者网络购物
CN113965773A (zh) 直播展示方法和装置、存储介质及电子设备
CN114821675A (zh) 对象的处理方法、系统和处理器
CN107908384A (zh) 一种实时显示全息人像的方法、装置、系统及存储介质
CN109660508A (zh) 数据可视化方法、电子装置、计算机设备及存储介质
CN113110733A (zh) 一种基于远程双工的虚拟现场交互方法及系统
CN112218111A (zh) 图像的显示方法和装置、存储介质和电子设备
CN113450448A (zh) 图像的处理方法、装置和系统
CN109685911A (zh) 一种可实现虚拟试衣的ar眼镜及其实现方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180413

RJ01 Rejection of invention patent application after publication