CN117333645A - 一种环形全息交互系统及其设备 - Google Patents
一种环形全息交互系统及其设备 Download PDFInfo
- Publication number
- CN117333645A CN117333645A CN202311425785.2A CN202311425785A CN117333645A CN 117333645 A CN117333645 A CN 117333645A CN 202311425785 A CN202311425785 A CN 202311425785A CN 117333645 A CN117333645 A CN 117333645A
- Authority
- CN
- China
- Prior art keywords
- image
- module
- unit
- virtual
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 48
- 238000012545 processing Methods 0.000 claims abstract description 54
- 238000005516 engineering process Methods 0.000 claims abstract description 24
- 238000009877 rendering Methods 0.000 claims abstract description 22
- 230000002452 interceptive effect Effects 0.000 claims abstract description 21
- 238000000034 method Methods 0.000 claims abstract description 15
- 238000005286 illumination Methods 0.000 claims abstract description 11
- 238000013507 mapping Methods 0.000 claims abstract description 11
- 238000003709 image segmentation Methods 0.000 claims abstract description 5
- 238000007781 pre-processing Methods 0.000 claims abstract description 5
- 230000000007 visual effect Effects 0.000 claims description 31
- 230000000694 effects Effects 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 16
- 238000003066 decision tree Methods 0.000 claims description 14
- 238000013461 design Methods 0.000 claims description 13
- 238000004458 analytical method Methods 0.000 claims description 11
- 230000015572 biosynthetic process Effects 0.000 claims description 9
- 238000003786 synthesis reaction Methods 0.000 claims description 9
- 230000006399 behavior Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 239000000463 material Substances 0.000 claims description 6
- 230000008451 emotion Effects 0.000 claims description 5
- 230000007613 environmental effect Effects 0.000 claims description 4
- 230000008921 facial expression Effects 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 4
- 238000004519 manufacturing process Methods 0.000 claims description 4
- 238000003058 natural language processing Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 238000007405 data analysis Methods 0.000 claims description 3
- 238000007418 data mining Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 238000010801 machine learning Methods 0.000 claims description 3
- 238000007637 random forest analysis Methods 0.000 claims description 3
- 238000002310 reflectometry Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 230000033764 rhythmic process Effects 0.000 claims description 3
- 238000004088 simulation Methods 0.000 claims description 3
- 238000012706 support-vector machine Methods 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 2
- 230000001360 synchronised effect Effects 0.000 abstract description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/60—3D [Three Dimensional] animation of natural phenomena, e.g. rain, snow, water or plants
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/506—Illumination models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/004—Annotating, labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/028—Multiple view windows (top-side-front-sagittal-orthogonal)
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种环形全息交互系统及其设备，涉及全息舱虚拟直播技术领域；包括图像处理模块：用于对输入的2D图像进行处理，包括图像预处理、图像分割、图像识别操作；3D扫描模块：通过激光或结构光技术，对被拍摄主体进行三维扫描，获取其三维模型数据；3D建模和渲染模块：该模块负责将虚拟人物的模型进行三维建模，并对其进行纹理贴图、光照设置渲染处理。本发明提供沉浸式的虚拟现实体验，满足人们对立体视觉的追求；支持多种方案的同步显示，适应不同场景的需求；采用图像处理、3D扫描、AR虚拟直播、M‑view多视角互动直播等技术，实现系统的高效运行。
Description
技术领域
本发明涉及全息舱虚拟直播技术领域，尤其涉及一种环形全息交互系统及其设备。
背景技术
随着科技的发展，人们对于虚拟现实和增强现实技术的需求越来越高；传统的显示设备只能提供二维平面的视觉效果，无法满足人们对于立体视觉的追求。
经检索，中国专利申请号为CN202210247469.X的专利，公开了一种虚拟人直播互动系统，涉及虚拟人直播技术领域；为了提升互动效果；具体包括中心控制模块、分析模块、题库、关键词库、终端管理模块；其中，所述中心控制模块包括虚拟人控制子模块、功能性控制子模块；其中，题库包括出题子库、答题子库；其中，终端管理模块包括弹幕子模块、角色生成子模块；其中，虚拟人控制子模块用于虚拟人的生成以及控制虚拟人的行为。上述专利中的虚拟人直播互动系统存在以下不足：虽能够实现虚拟人直播的功能，但是视觉效果一般，还有待改进。
发明内容
本发明的目的是解决现有技术中存在的缺点，而提出的一种环形全息交互系统及其设备。
为了实现上述目的，本发明采用了如下技术方案：
一种环形全息交互系统，包括图像处理模块：用于对输入的2D图像进行处理，包括图像预处理、图像分割、图像识别操作；
3D扫描模块：通过激光或结构光技术，对被拍摄主体进行三维扫描，获取其三维模型数据；
3D建模和渲染模块：该模块负责将虚拟人物的模型进行三维建模，并对其进行纹理贴图、光照设置渲染处理；
动画制作模块：该模块采用骨骼动画、面部表情捕捉技术为虚拟人物添加动作和表情动画；
AR虚拟直播模块：通过全息投影技术，将虚拟形象投影到显示终端上，实现用户与虚拟形象的互动；
M-view多视角互动直播模块：通过多摄像头阵列和深度传感器，实现对被拍摄主体的多视角捕捉和实时拼接，为用户提供多角度观看的体验；
空间布局模块：根据用户需求和环境条件，对显示终端进行空间布局设计。
优选的：所述图像处理模块包括：
图像增强单元：通过调整图像的亮度、对比度、饱和度参数，增强图像的清晰度和视觉效果；
图像去噪单元：通过滤波算法去除图像中的噪声，提高图像的质量和清晰度；
图像分割单元：将图像分割成不同的区域或对象，以便后续处理或识别；
图像识别单元：利用机器学习算法对图像进行分析和识别，提取出其中的关键信息；
所述3D扫描模块包括：
点云重建单元：将三维空间中的一系列点坐标转换为三维模型，形成物体的三维表示；
纹理映射单元：根据物体表面的纹理信息，将其映射到生成的三维模型上，增加真实感；
光照模拟单元：模拟光线在物体表面的反射和折射效果，使生成的三维模型更加逼真；
几何校正单元：纠正扫描过程中产生的畸变，确保生成的三维模型符合预期的形状和尺寸。
优选的：所述3D建模和渲染模块包括：
三维建模单元：根据设计需求，创建物体的三维模型，包括几何形状、纹理贴图；
材质编辑单元：为三维模型添加不同的材质属性，包括颜色、透明度、反射率，以模拟真实物体的外观效果；
灯光设置单元：设置场景中的光源，包括点光源、平行光、聚光灯，以模拟不同光线条件下的效果；
渲染引擎单元：使用渲染引擎将三维模型进行实时渲染，生成逼真的图像或动画；
所述动画制作模块包括：
角色动画单元：设计并实现人物或其他角色的动作；
特效动画单元：添加各种视觉效果，增强动画的视觉冲击力；
摄像机运动单元：控制摄像机的位置、旋转和缩放参数，实现不同视角下的观察效果；
时间轴编辑单元：在时间轴上安排动画帧的顺序和持续时间，调整动画的节奏和流畅度。
优选地：所述AR虚拟直播模块包括：
实时视频采集单元：采集用户当前的视频画面，并将其传输给AR虚拟直播模块进行处理；
虚拟物体叠加单元：将虚拟物体叠加在实时视频画面上，实现虚拟与现实的融合效果；
手势识别单元：检测用户的手势动作，并根据手势指令进行相应的操作或交互；
环境感知单元：利用传感器获取周围环境的信息，包括位置、光照，以提供更真实的虚拟体验。
优选地：所述M-view多视角互动直播模块包括：
视角切换单元：根据用户的指令或需求，切换不同的视角进行直播或观看；
视角合成单元：将多个视角的画面合成为一个完整的画面，提供全景式的观看体验；
视角标注单元：在画面中添加文字、箭头标注信息，帮助用户理解不同视角之间的关系；
视角优化单元：根据用户的反馈和行为数据，优化视角选择策略，提供更个性化的观看体验。
优选的：所述图像处理模块在进行图像处理时，通过卷积核对输入图像进行卷积操作，从而提取出图像的特征，卷积操作的公式如下：
其中，X表示输入图像，Y表示输出特征图，k表示卷积核，m和n分别表示卷积核在输入图像上的行和列方向上的偏移量。
优选的：所述图像处理模块在进行图像处理时，通过支持向量机进行图像分类，具体的公式如下：
其中，xi表示第j个样本的特征向量，yj表示第j个样本的标签，ωi表示第i个超平面的法向量，bi表示偏置项。
优选的：所述图像处理模块在进行图像处理时，通过构建多个决策树并结合它们的预测结果来获得更准确、稳定的输出，在图像处理中，通过随机森林进行图像分类，具体的公式如下：
其中，Fk(x)表示第k个决策树对样本x的分裂结果，I[y＝j]表示特征向量x被划分到第j个类别的概率，vote(x,xj)表示第j个决策树对样本x的预测结果，bk表示第k个决策树的偏置项。
优选的：所述交互系统还包括：
音频处理模块：对用户的语音指令进行识别和处理；
语音识别和合成模块：该模块负责将用户的语音指令转化为计算机代码，并将虚拟人物的回应通过语音合成技术转化为语言音频输出；
自然语言处理模块：该模块负责对用户的文本输入进行处理，包括语义分析、情感分析。
优选的：所述交互系统还包括：
人机交互界面设计模块：该模块基于手势识别、触摸反馈技术，设计虚拟人物与用户之间的交互界面；
个性化推荐系统模块：该模块负责根据用户的兴趣和行为数据，为其推荐合适的虚拟人物或内容；
数据分析和挖掘模块：该模块负责收集和分析用户在与虚拟人物交互过程中产生的数据。
一种环形全息交互系统的设备，所述设备为全息舱，所述的环形全息交互系统搭载于该全息舱内。
本发明的有益效果为：
1.本发明提供沉浸式的虚拟现实体验，满足人们对立体视觉的追求；支持多种方案的同步显示，适应不同场景的需求；采用图像处理、3D扫描、AR虚拟直播、M-view多视角互动直播等技术，实现系统的高效运行。
2.本发明通过全息投影技术实现了将虚拟形象投影到显示终端上的功能；可以将虚拟形象呈现得更加立体化、逼真化，从而为用户提供更加沉浸的视觉体验。同时，该模块还具备虚拟形象生成、虚拟形象运动控制、虚拟形象交互等功能，可以实现多种不同的交互方式和效果。
3.本发明的M-view多视角互动直播模块能够通过多摄像头阵列和深度传感器实现了对被拍摄主体的多视角捕捉和实时拼接功能；这种方法可以使用户从不同的角度观察被拍摄主体，从而实现更加全面、丰富的观看体验。同时，该模块还具备多视角捕捉、多视角拼接、多视角显示等功能，可以满足不同用户的需求和偏好。
附图说明
图1为本发明提出的一种环形全息交互系统的流程图。
具体实施方式
下面结合具体实施方式对本专利的技术方案做进一步详细地说明。
实施例1：
一种环形全息交互系统，包括：
图像处理模块：用于对输入的2D图像进行处理，包括图像预处理、图像分割、图像识别等操作；
3D扫描模块：通过激光或结构光技术，对被拍摄主体进行三维扫描，获取其三维模型数据；
3D建模和渲染模块：该模块负责将虚拟人物的模型进行三维建模，并对其进行纹理贴图、光照设置等渲染处理，以实现逼真的视觉效果；
动画制作模块：该模块采用骨骼动画、面部表情捕捉技术为虚拟人物添加各种动作和表情动画，使其能够更加生动地与用户进行互动；
AR虚拟直播模块：通过全息投影技术，将虚拟形象投影到显示终端上，实现用户与虚拟形象的互动；该模块包括虚拟形象生成、虚拟形象运动控制、虚拟形象交互等功能；
M-view多视角互动直播模块：通过多摄像头阵列和深度传感器，实现对被拍摄主体的多视角捕捉和实时拼接，为用户提供多角度观看的体验；该模块包括多视角捕捉、多视角拼接、多视角显示等功能；
空间布局模块：根据用户需求和环境条件，对显示终端进行空间布局设计，实现最佳的视觉效果。
所述环形全息交互系统的全系交互方法包括如下步骤：
S1：用户选择三维模型的生成方案，其中选择已有的三维模型转入S4步骤；设定三维模型转入S2步骤；
S2：进行通过系统的图像库或上传输入2D图像；
S3：图像处理模块对输入的2D图像进行处理，包括图像预处理、图像分割、图像识别，获取模型数据，转入S5步骤；
S4：系统通过激光或结构光技术，对被拍摄主体进行三维扫描，获取其模型数据，得到三维模型；
S5：3D建模和渲染模块根据模型数据或已有的三维模型，将虚拟人物的模型进行三维建模和优化，对其进行纹理贴图、光照设置渲染处理，以实现逼真的视觉效果；
S6：动画制作模块采用骨骼动画、面部表情捕捉技术为虚拟人物添加各种动作和表情动画，使其能够更加生动地与用户进行互动；
S7：AR虚拟直播模块搭载于全息舱内，通过全息投影技术，将虚拟形象投影到显示终端上，实现用户与虚拟形象的互动；该模块包括虚拟形象生成、虚拟形象运动控制、虚拟形象交互功能；
S8：根据用户需求和环境条件，对显示终端进行空间布局设计，实现最佳的视觉效果。
其中，所述S4中，系统基于M-view多视角互动直播模块的多摄像头阵列和深度传感器，来实时捕捉拍摄主体的多视角捕捉和实时拼接，将其实时捕捉到的动作拼接到用于直播的虚拟人物动作中；为用户提供多角度观看的体验。
其中，所述图像处理模块包括：
图像增强单元：通过调整图像的亮度、对比度、饱和度参数，增强图像的清晰度和视觉效果；
图像去噪单元：通过滤波算法去除图像中的噪声，提高图像的质量和清晰度；
图像分割单元：将图像分割成不同的区域或对象，以便后续处理或识别；
图像识别单元：利用机器学习算法对图像进行分析和识别，提取出其中的关键信息。
其中，所述3D扫描模块包括：
点云重建单元：将三维空间中的一系列点坐标转换为三维模型，形成物体的三维表示；
纹理映射单元：根据物体表面的纹理信息，将其映射到生成的三维模型上，增加真实感；
光照模拟单元：模拟光线在物体表面的反射和折射效果，使生成的三维模型更加逼真；
几何校正单元：纠正扫描过程中产生的畸变，确保生成的三维模型符合预期的形状和尺寸。
其中，所述3D建模和渲染模块包括：
三维建模单元：根据设计需求，创建物体的三维模型，包括几何形状、纹理贴图；
材质编辑单元：为三维模型添加不同的材质属性，包括颜色、透明度、反射率，以模拟真实物体的外观效果；
灯光设置单元：设置场景中的光源，包括点光源、平行光、聚光灯，以模拟不同光线条件下的效果；
渲染引擎单元：使用渲染引擎将三维模型进行实时渲染，生成逼真的图像或动画。
其中，所述动画制作模块包括：
角色动画单元：设计并实现人物或其他角色的动作，包括走路、跑步、跳跃等基本动作；
特效动画单元：添加各种视觉效果，如火焰、烟雾、爆炸等，增强动画的视觉冲击力；
摄像机运动单元：控制摄像机的位置、旋转和缩放等参数，实现不同视角下的观察效果；
时间轴编辑单元：在时间轴上安排动画帧的顺序和持续时间，调整动画的节奏和流畅度。
其中，所述AR虚拟直播模块包括：
实时视频采集单元：采集用户当前的视频画面，并将其传输给AR虚拟直播模块进行处理；
虚拟物体叠加单元：将虚拟物体叠加在实时视频画面上，实现虚拟与现实的融合效果；
手势识别单元：检测用户的手势动作，并根据手势指令进行相应的操作或交互；
环境感知单元：利用传感器获取周围环境的信息，包括位置、光照，以提供更真实的虚拟体验。
其中，所述M-view多视角互动直播模块包括：
视角切换单元：根据用户的指令或需求，切换不同的视角进行直播或观看；
视角合成单元：将多个视角的画面合成为一个完整的画面，提供全景式的观看体验；
视角标注单元：在画面中添加文字、箭头等标注信息，帮助用户理解不同视角之间的关系；
视角优化单元：根据用户的反馈和行为数据，优化视角选择策略，提供更个性化的观看体验。
为了进行语音交互，所述交互系统还包括：
音频处理模块：对用户的语音指令进行识别和处理，实现与虚拟形象的语音交互功能；
语音识别和合成模块：该模块负责将用户的语音指令转化为计算机代码，并将虚拟人物的回应通过语音合成技术转化为语言音频输出；
自然语言处理模块：该模块负责对用户的文本输入进行处理，包括语义分析、情感分析等，以便更好地理解用户的需求并提供相应的服务。
其中，所述音频处理模块包括：
声音录制单元：录制用户的声音并保存为音频文件，用于后续的音频处理或分析；
音频降噪单元：去除音频中的噪声和杂音，提高音频的质量和清晰度；
音频剪辑单元：对音频进行剪切、拼接操作，生成新的音频片段或合并多个音频文件；
音效添加单元：向音频中添加各种音效效果，包括混响、回声等，提升音频的表现力和娱乐性。
其中，所述语音识别和合成模块包括：
语音输入单元：通过麦克风或其他音频设备采集用户的语音输入；
语音处理单元：对采集到的语音数据进行处理，包括降噪、语音分割等；
语音识别单元：将处理后的语音数据转化为文本信息，实现文字转换功能；
语音合成单元：将文本信息转化为语音输出，实现自动朗读或合成语音的功能。
其中，所述自然语言处理模块包括：
文本分析单元：对输入的文本进行分析和理解，提取关键信息或实体；
语义分析单元：对文本的意义进行解析，判断句子之间的逻辑关系；
情感分析单元：分析文本中表达的情感倾向；
文本分类单元：根据预设的标签或规则，将文本进行分类或归类。
其中，所述图像处理模块在进行图像处理时，通过卷积核对输入图像进行卷积操作，从而提取出图像的特征，卷积操作的公式如下：
其中，X表示输入图像，Y表示输出特征图，K表示卷积核，m和n分别表示卷积核在输入图像上的行和列方向上的偏移量。
当获取卷积核在输入图像上的偏移量后，我们可以使用这些偏移量来构建卷积核；具体来说，对于给定的卷积核K，其行和列方向上的偏移量分别为mm和nn，则该卷积核可以表示为：
其中，Kij表示卷积核在输入图像上第i行、第j列位置的值；然后，我们可以将这个卷积核应用到输入图像上，以提取出图像的特征信息；具体而言，对于输入图像的每个像素点(X,Y)，我们可以将其周围的像素点的卷积核值相加，得到该像素点对应的输出特征图的像素值：
Y＝X*KT+C0
其中，C0是一个常数项，用于控制输出特征图的尺度。最后，我们可以将多个卷积层的输出特征图进行池化操作(如最大池化或平均池化)，以进一步提取出图像的重要特征信息。
其中，所述图像处理模块在进行图像处理时，通过支持向量机进行图像分类，具体的公式如下：
其中，xi表示第j个样本的特征向量，yj表示第j个样本的标签，ωi表示第i个超平面的法向量，bi表示偏置项。
实施例2：
一种环形全息交互系统，为了提升用户体验，本实施例在实施例1的基础上，所述交互系统还包括：
人机交互界面设计模块：该模块基于手势识别、触摸反馈技术，设计虚拟人物与用户之间的交互界面，以提供更加直观和自然的交互体验；
个性化推荐系统模块：该模块负责根据用户的兴趣和行为数据，为其推荐合适的虚拟人物或内容，以提高用户体验和满意度；
数据分析和挖掘模块：该模块负责收集和分析用户在与虚拟人物交互过程中产生的数据，以便进一步优化系统性能和改进用户体验。
其中，所述个性化推荐系统模块：
用户画像单元：收集和分析用户的个人信息和行为数据，构建用户画像模型；
物品特征提取单元：从数据库中提取待推荐物品的特征描述信息；
相似度计算单元：计算用户画像与待推荐物品之间的相似度，用于推荐算法的选择；
推荐排序单元：根据相似度计算结果和其他相关因素，对推荐列表进行排序和筛选。
其中，所述图像处理模块在进行图像处理时，通过构建多个决策树并结合它们的预测结果来获得更准确、稳定的输出，在图像处理中，通过随机森林进行图像分类，具体的公式如下：
其中，Fk(x)表示第k个决策树对样本x的分裂结果，I[y＝j]表示特征向量x被划分到第j个类别的概率，vote(x,xj)表示第j个决策树对样本x的预测结果，bk表示第k个决策树的偏置项。
实施例3：
一种环形全息交互系统的设备，所述设备为全息舱，所述环形全息交互系统搭载于全息舱内。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种环形全息交互系统，其特征在于，所述环形全息交互系统的全系交互方法包括如下步骤：
S1：用户选择三维模型的生成方案，其中选择已有的三维模型转入S4步骤；设定三维模型转入S2步骤；
S2：进行通过系统的图像库或上传输入2D图像；
S3：图像处理模块对输入的2D图像进行处理，包括图像预处理、图像分割、图像识别，获取模型数据，转入S5步骤；
S4：系统通过激光或结构光技术，对被拍摄主体进行三维扫描，获取其模型数据，得到三维模型；
S5：3D建模和渲染模块根据模型数据或已有的三维模型，将虚拟人物的模型进行三维建模和优化，对其进行纹理贴图、光照设置渲染处理，以实现逼真的视觉效果；
S6：动画制作模块采用骨骼动画、面部表情捕捉技术为虚拟人物添加各种动作和表情动画，使其能够更加生动地与用户进行互动；
S7：AR虚拟直播模块搭载于全息舱内，通过全息投影技术，将虚拟形象投影到显示终端上，实现用户与虚拟形象的互动；该模块包括虚拟形象生成、虚拟形象运动控制、虚拟形象交互功能；
S8：根据用户需求和环境条件，对显示终端进行空间布局设计，实现最佳的视觉效果；
其中，所述S4中，系统基于M-view多视角互动直播模块的多摄像头阵列和深度传感器，来实时捕捉拍摄主体的多视角捕捉和实时拼接，将其实时捕捉到的动作拼接到用于直播的虚拟人物动作中；为用户提供多角度观看的体验。
2.根据权利要求1所述的一种环形全息交互系统，其特征在于，所述图像处理模块包括：
图像增强单元：通过调整图像的亮度、对比度、饱和度参数，增强图像的清晰度和视觉效果；
图像去噪单元：通过滤波算法去除图像中的噪声，提高图像的质量和清晰度；
图像分割单元：将图像分割成不同的区域或对象，以便后续处理或识别；
图像识别单元：利用机器学习算法对图像进行分析和识别，提取出其中的关键信息；
所述3D扫描模块包括：
点云重建单元：将三维空间中的一系列点坐标转换为三维模型，形成物体的三维表示；
纹理映射单元：根据物体表面的纹理信息，将其映射到生成的三维模型上，增加真实感；
光照模拟单元：模拟光线在物体表面的反射和折射效果，使生成的三维模型更加逼真；
几何校正单元：纠正扫描过程中产生的畸变，确保生成的三维模型符合预期的形状和尺寸。
3.根据权利要求1所述的一种环形全息交互系统，其特征在于，所述3D建模和渲染模块包括：
三维建模单元：根据设计需求，创建物体的三维模型，包括几何形状、纹理贴图；
材质编辑单元：为三维模型添加不同的材质属性，包括颜色、透明度、反射率，以模拟真实物体的外观效果；
灯光设置单元：设置场景中的光源，包括点光源、平行光、聚光灯，以模拟不同光线条件下的效果；
渲染引擎单元：使用渲染引擎将三维模型进行实时渲染，生成逼真的图像或动画；
所述动画制作模块包括：
角色动画单元：设计并实现人物或其他角色的动作；
特效动画单元：添加各种视觉效果，增强动画的视觉冲击力；
摄像机运动单元：控制摄像机的位置、旋转和缩放参数，实现不同视角下的观察效果；
时间轴编辑单元：在时间轴上安排动画帧的顺序和持续时间，调整动画的节奏和流畅度。
4.根据权利要求1所述的一种环形全息交互系统，其特征在于，所述AR虚拟直播模块包括：
实时视频采集单元：采集用户当前的视频画面，并将其传输给AR虚拟直播模块进行处理；
虚拟物体叠加单元：将虚拟物体叠加在实时视频画面上，实现虚拟与现实的融合效果；
手势识别单元：检测用户的手势动作，并根据手势指令进行相应的操作或交互；
环境感知单元：利用传感器获取周围环境的信息，包括位置、光照，以提供更真实的虚拟体验。
5.根据权利要求1所述的一种环形全息交互系统，其特征在于，所述M-view多视角互动直播模块包括：
视角切换单元：根据用户的指令或需求，切换不同的视角进行直播或观看；
视角合成单元：将多个视角的画面合成为一个完整的画面，提供全景式的观看体验；
视角标注单元：在画面中添加文字、箭头标注信息，帮助用户理解不同视角之间的关系；
视角优化单元：根据用户的反馈和行为数据，优化视角选择策略，提供更个性化的观看体验。
6.根据权利要求2所述的一种环形全息交互系统，其特征在于，所述图像处理模块在进行图像处理时，通过卷积核对输入图像进行卷积操作，从而提取出图像的特征，卷积操作的公式如下：
其中，X表示输入图像，Y表示输出特征图，K表示卷积核，m和n分别表示卷积核在输入图像上的行和列方向上的偏移量。
7.根据权利要求2所述的一种环形全息交互系统，其特征在于，所述图像处理模块在进行图像处理时，通过支持向量机进行图像分类，具体的公式如下：
其中，xi表示第j个样本的特征向量，yj表示第j个样本的标签，ωi表示第i个超平面的法向量，bi表示偏置项。
8.根据权利要求2所述的一种环形全息交互系统，其特征在于，所述图像处理模块在进行图像处理时，通过构建多个决策树并结合它们的预测结果来获得更准确、稳定的输出，在图像处理中，通过随机森林进行图像分类，具体的公式如下：
其中，Fx(x)表示第k个决策树对样本x的分裂结果，I[y＝j]表示特征向量x被划分到第j个类别的概率，vote(x,xj)表示第j个决策树对样本x的预测结果，bk表示第k个决策树的偏置项。
9.根据权利要求1所述的一种环形全息交互系统，其特征在于，所述交互系统还包括：
音频处理模块：对用户的语音指令进行识别和处理；
语音识别和合成模块：该模块负责将用户的语音指令转化为计算机代码，并将虚拟人物的回应通过语音合成技术转化为语言音频输出；
自然语言处理模块：该模块负责对用户的文本输入进行处理，包括语义分析、情感分析；
所述交互系统还包括：
人机交互界面设计模块：该模块基于手势识别、触摸反馈技术，设计虚拟人物与用户之间的交互界面；
个性化推荐系统模块：该模块负责根据用户的兴趣和行为数据，为其推荐合适的虚拟人物或内容；
数据分析和挖掘模块：该模块负责收集和分析用户在与虚拟人物交互过程中产生的数据。
10.一种环形全息交互系统的设备，其特征在于，所述设备为全息舱，权利要求1-9任一项所述的环形全息交互系统搭载于该全息舱内。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311425785.2A CN117333645A (zh) | 2023-10-31 | 2023-10-31 | 一种环形全息交互系统及其设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311425785.2A CN117333645A (zh) | 2023-10-31 | 2023-10-31 | 一种环形全息交互系统及其设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117333645A true CN117333645A (zh) | 2024-01-02 |
Family
ID=89295415
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311425785.2A Withdrawn CN117333645A (zh) | 2023-10-31 | 2023-10-31 | 一种环形全息交互系统及其设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117333645A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117934674A (zh) * | 2024-02-05 | 2024-04-26 | 深圳萌想文化传播有限公司 | 深度学习与三维动画交互式协作方法及系统 |
| CN118012275A (zh) * | 2024-04-10 | 2024-05-10 | 北京航空航天大学 | 一种三维工业ct虚拟现实交互系统 |
| CN118135638A (zh) * | 2024-04-09 | 2024-06-04 | 北京邮电大学 | 一种基于人工智能的面部表情识别系统 |
| CN118172516A (zh) * | 2024-05-13 | 2024-06-11 | 威海海洋职业学院 | 一种用于虚拟现实的图像数据处理方法及系统 |
-
2023
- 2023-10-31 CN CN202311425785.2A patent/CN117333645A/zh not_active Withdrawn
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117934674A (zh) * | 2024-02-05 | 2024-04-26 | 深圳萌想文化传播有限公司 | 深度学习与三维动画交互式协作方法及系统 |
| CN117934674B (zh) * | 2024-02-05 | 2024-09-17 | 深圳萌想文化传播有限公司 | 深度学习与三维动画交互式协作方法及系统 |
| CN118135638A (zh) * | 2024-04-09 | 2024-06-04 | 北京邮电大学 | 一种基于人工智能的面部表情识别系统 |
| CN118012275A (zh) * | 2024-04-10 | 2024-05-10 | 北京航空航天大学 | 一种三维工业ct虚拟现实交互系统 |
| CN118012275B (zh) * | 2024-04-10 | 2024-06-07 | 北京航空航天大学 | 一种三维工业ct虚拟现实交互系统 |
| CN118172516A (zh) * | 2024-05-13 | 2024-06-11 | 威海海洋职业学院 | 一种用于虚拟现实的图像数据处理方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112215927B (zh) | 人脸视频的合成方法、装置、设备及介质 | |
| US11736756B2 (en) | Producing realistic body movement using body images | |
| US11783524B2 (en) | Producing realistic talking face with expression using images text and voice | |
| CN117333645A (zh) | 一种环形全息交互系统及其设备 | |
| US10049477B1 (en) | Computer-assisted text and visual styling for images | |
| CN107515674A (zh) | 一种基于虚拟现实与增强现实的采矿操作多交互实现方法 | |
| US11581020B1 (en) | Facial synchronization utilizing deferred neural rendering | |
| CN111638784B (zh) | 人脸表情互动方法、互动装置以及计算机存储介质 | |
| US11582519B1 (en) | Person replacement utilizing deferred neural rendering | |
| CN114332374A (zh) | 一种虚拟显示方法、设备以及存储介质 | |
| CN115049016B (zh) | 基于情绪识别的模型驱动方法及设备 | |
| CN117391122A (zh) | 一种基于元宇宙中建立的3d数字人互助式聊天方法 | |
| Wang et al. | Wuju opera cultural creative products and research on visual image under VR technology | |
| CN114373050A (zh) | 一种基于HoloLens的化学实验教学系统及方法 | |
| Shen et al. | Boosting consistency in story visualization with rich-contextual conditional diffusion models | |
| CN113506377A (zh) | 一种基于虚拟漫游技术的教学培训方法 | |
| Mattos et al. | Multi-view mouth renderization for assisting lip-reading | |
| CN113673567B (zh) | 基于多角度子区域自适应的全景图情感识别方法及系统 | |
| CN114967914A (zh) | 一种虚拟显示方法、装置、设备以及存储介质 | |
| CN112764530A (zh) | 一种基于触控手柄和增强现实眼镜的弹药识别方法 | |
| CN112070901A (zh) | 一种园林的ar场景构建方法、装置、存储介质及终端 | |
| US20220165032A1 (en) | Content distribution system, content distribution method, and content distribution program | |
| CN117808934A (zh) | 一种数据处理方法及相关设备 | |
| Sra et al. | Deepspace: Mood-based image texture generation for virtual reality from music | |
| Zhang et al. | Virtual Museum Scene Design Based on VRAR Realistic Interaction under PMC Artificial Intelligence Model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20240102 |
|
| WW01 | Invention patent application withdrawn after publication |